CN111259907A - 内容识别方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种内容识别方法、装置以及电子设备。方法包括：获取当前帧图像，检测屏幕当前所显示的目标区域是否在当前帧图像中，目标区域为前一帧图像中对应的进行内容识别的区域，在屏幕保持显示目标区域以及对目标区域进行内容识别所得到的识别结果。通过该方式可在实时获取当前帧图像的过程中，先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳定。

Description

内容识别方法、装置以及电子设备

技术领域

本申请涉及机器视觉技术领域，更具体地，涉及一种内容识别方法、装置以及电子设备。

背景技术

OCR(Optical Character Recognition)是指利用光学技术和计算机技术以及计算机视觉技术把印在或写在纸上的文字识别读取出来，并转换成一种计算机能够接受，人又能够理解的格式。但是，在相关的OCR识别过程中识别结果的稳定性还有待提升。

发明内容

鉴于上述问题，本申请提出了一种内容识别方法、装置以及电子设备，以改善上述问题。

第一方面，本申请提供了一种内容识别方法，所述方法包括：获取当前帧图像；检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域；若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

第二方面，本申请提供了一种内容识别装置，所述装置包括：图像获取单元，用于获取当前帧图像；目标检测单元，用于检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域；内容识别控制单元，用于若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

第三方面，本申请提供了一种电子设备，包括屏幕、处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。

本申请提供的一种内容识别方法、装置以及电子设备，通过获取当前帧图像，并检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳定。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种内容识别方法的流程图；

图2示出了本申请实施例中一种当前帧图像与前一帧图像的示意图；

图3示出了本申请实施例中另一种当前帧图像与前一帧图像的示意图；

图4示出了本申请实施例中一种目标区域的示意图；

图5示出了本申请实施例中另一种目标区域的示意图；

图6示出了本申请实施例中一种识别结果的示意图；

图7示出了本申请另一实施例提出的一种内容识别方法的流程图；

图8示出了本申请再一实施例提出的一种内容识别方法的流程图；

图9示出了本申请实施例中再一种目标区域的示意图；

图10示出了本申请又一实施例提出的一种内容识别方法的流程图；

图11示出了本申请一实施例提出的一种内容识别装置的结构框图；

图12示出了本申请另一实施例提出的一种内容识别装置的结构框图；

图13示出了本申请的用于执行根据本申请实施例的内容识别方法的另一种电子设备的结构框图；

图14示出了本申请实施例的用于保存或者携带实现根据本申请实施例的内容识别方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着计算机视觉技术的发展，更多的电子设备具备了关于视觉识别的功能。例如，通过具备OCR功能的电子设备，能够将纸张上的内容或者甚至是显示器中所显示的静态文本内容快速的识别为计算机所能识别的内容。OCR(Optical Character Recognition)是指利用光学技术和计算机技术以及计算机视觉技术把印在或写在纸上的文字识别读取出来，并转换成一种计算机能够接受，人又能够理解的格式。例如，用户可以采用具备OCR功能的手机拍摄一张纸质的名片，进而将名片中的信息全部转换为可存储在手机中的计算机信息。

但是，发明人在对相关的基于OCR的内容识别技术的研究中发现，如果在识别过程中进行内容识别的电子设备处于抖动状态，就会造成识别过程的不稳定或者识别结果显示的不稳定。具体的，对于电子设备而言，在进行内容识别的时候可能是用户用手握持的，如果人手在握持过程中出现抖动，则往往会导致电子设备采集的画面出现模糊，进而引入图像噪音，也就增加了基于OCR进行识别的难度，再者，因为实时识别出来的字符在电子涉笔实时的显示的时候，会随着用户的手的抖动而抖动，用户想要实时的识别OCR得到的字符就会因为抖动而产生困难，影响使用者的体验。例如，当前是对纸张进行内容识别，而纸张中对应有区域A和区域B，那么若电子设备采集的对象不断在区域A和区域B之间进行抖动，那么电子设备所显示的识别结果也会不断的在基于区域A所识别出的识别结果和基于区域B所识别出的识别结果之间进行快速的切换，造成用户无法稳定的看清具识别结果的内容。

因此，发明人提出了本申请提供的内容识别方法、装置以及电子设备，通过获取当前帧图像，并检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳定。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，本申请实施例提供的一种内容识别方法，所述方法包括：

S110：获取当前帧图像。

在本申请实施例中，当前帧图像为用于进行目标区域比对的图像。在本实施例中可以通过多种方式来确定当前帧图像。

作为一种方式，可以直接将电子设备所获取到的最新一帧图像作为当前帧图像。可选的，电子设备可以通过其配置的图像采集装置来进行图像采集，在这种方式下，可以将图像采集装置最新采集的一帧图像直接作为当前帧图像。对应的，在这种方式下，前一帧图像即为图像采集装置前一次采集的一帧图像。示例性的，如图2所示，图2中虚线箭头所示的方向为时间推移方向，图2中右侧图像会相对在左侧的图像所对应的采集时刻更晚，在这种情况下，若当前帧图像为其中的图像10，那么图像10所对应的前一帧图像就为其中的图像11。

作为另外一种方式，可以将电子设备所获取到的图像经过预处理后所得到的图像作为当前帧图像。可选的，可以在电子设备通过图像采集装置获取到最新的且是时间顺序上连续的多帧图像后，对该多帧图像进行预处理以便从该多帧图像中选择一帧图像作为当前帧图像。需要说明的是，最新的多帧图像可以理解为还未经过预处理的多帧图像。

在这种方式中，可以有多种的从多帧图像中选择一帧图像作为当前帧图像的方式，那么对应的预处理的方式也会有多种。

作为一种预处理的方式，可以将该多帧图像中对应的运动参数满足指定运动条件的一帧图像作为当前帧图像。需要说明的是，若是通过电子设备自身配置的图像采集装置进行图像采集的过程中，若电子设备出现抖动，那么就可能会造成图像采集装置所采集的图像出现模糊的情况。而电子设备若出现抖动，则电子设备中所配置的加速度传感器会采集到电子设备的加速度，在这种方式下，电子设备对应每采集到的一帧图像都可以配置一对应的加速度作为对应的运动参数。可以理解的是，电子设备在检测加速度的过程中可以是实时检测的，即对应于每一个时刻都会对应一个加速度。而在进行图像采集的过程中，也可以获取到图像采集的时刻，从而通过将图像采集的时刻和加速度所对应的时刻关联起来，就可以获取到所采集的每一帧图像所对应的加速度。例如，如下表1所示：

ID	加速度	时刻
			1	a	时刻1
2	b	时刻2
			3	c	时刻3

在上表中存储了时刻与所对应的加速度。再者，在如下表2所示：

ID	图像	时刻
			1	图像1	时刻1
2	图像2	时刻2
			3	图像3	时刻3

在上表中存储了所采集的图像与所对应的被采集的时刻。那么通过表1和表2就可以确定，图像1是对应在时刻1被采集的，而在时刻1所对应的加速度为a，那么就可以确定图像1所对应的加速度为a，对应的，图像2是对应在时刻2被采集的，而在时刻2所对应的加速度为b，那么就可以确定图像2所对应的加速度为b，图像3是对应在时刻3被采集的，而在时刻3所对应的加速度为c，那么就可以确定图像3所对应的加速度为c。

在这种方式下，运动参数对应的指定运动条件为加速度最小。可选的，若电子设备获取到最新的且是时间顺序上连续的多帧图像包括图像1、图像2、图像3以及图像4，且图像1对应的加速度为a，图像2对应的加速度为b，图像3对应的加速度为c，图像4对应的加速度为d，若其中d相比a、b以及c都较小，那么就可以将加速度d所对应的图像4作为从多帧图像中选出的当前帧图像。

需要说明的是，所对应的加速度越大那么图像出现抖动而造成模糊的概率就越大，从而通过基于加速度筛选当前帧图像的预处理方式，可以选择模糊概率最低的图像作为当前帧图像，以便提升后续检测目标区域是否在当前帧图像中的准确性。

作为另外一种预处理的方式，可以将多帧图像中所占用的存储空间最小的图像作为当前帧图像。需要说明的是，图像采集装置即使是在相同的拍摄姿态进行拍照，而若出现抖动造成所采集的图像出现模糊，那么模糊的图像相对清晰的图像所占用的存储空间更小，进而就可以将电子设备获取到最新的且是时间顺序上连续的多帧图像中所占用的存储空间最大的一帧图像作为当前帧图像。可选的，若电子设备获取到最新的且是时间顺序上连续的多帧图像包括图像1、图像2、图像3以及图像4，且图像1所占用的存储空间大小为m1，图像2所占用的存储空间大小为m2，图像3所占用的存储空间大小为m3，图像4所占用的存储空间大小为m4，若其中m3相比m1、m2以及m4都较大，那么就可以将m3所对应的图像3作为从多帧图像中选出的当前帧图像。

需要说明的是，所对应的占用存储空间越大的图像相对而言出现模糊的概率会更低，从而通过基于占用存储空间筛选当前帧图像的预处理方式，可以选择模糊概率最低的图像作为当前帧图像，以便提升后续检测目标区域是否在当前帧图像中的准确性。

其中，无论是前述的不采用预处理的方式，还是采用预处理的方式中，电子设备所获取到的图像除了可以为自身所配置的图像采集装置进行采集得到的外，还可以为通过网络从其他设备获取到。可选的，可以通过互联网从服务器中获取到，还可以通过局域网络从其他用户的电子设备中获取到。

需要说明的是，在通过预处理的方式从获取到最新的且是时间顺序上连续的多帧图像中选择当前帧图像的情况下，前一帧图像就对应为前一次基于预处理的方式从前一次获取到最新的且是时间顺序上连续的多帧图像中选择当前帧图像。示例性的，如图3所示，其中的图像集合20a中所包括的图像10、图像11以及图像12为这一次最新采集的到的时间顺序上连续的多帧图像，而其中的集合20b中所包括的图像13、图像14以及图像15为前一次最新采集的到的时间顺序上连续的多帧图像，若基于前述预处理的方式从图像集合20a中确定的当前帧图像为图像11，若基于前述预处理的方式从图像集合20b中确定的当前帧图像为图像14，那么对于作为当前帧图像的图像11而言，前一帧图像就可以理解为该图像14。

S120：检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域。

需要说明的是，在首次获取到当前帧图像后，并不是直接对首次获取的当前帧图像进行全部区域的内容识别，而是从该首次获取的当前帧图像中确定部分区域进行内容识别，而该进行内容识别的区域则为目标区域。并且，在电子屏幕中也仅显示目标区域的内容。例如，如图4所示，在图4中的区域16为首次采集的当前帧图像的所有区域，而可以将其中的阴影部分作为目标区域。对应的，在执行S110之前目标区域就已经在先确定。

继而在获取到执行S110之后，就可以继续检测目标区域是否在当前帧图像中。可选的，电子设备可以将目标区域作为一个追踪目标，而基于目标追踪算法模式来检测目标区域是否在当前帧图像中。

S130：若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

需要说明的是，电子设备在执行S110之前已经在屏幕中显示了目标区域以及对目标区域进行内容识别所得到的识别结果，在检测到目标区域在所述当前帧图像中的情况下，就可以判定电子设备的用户主观上并未向切换当前进行内容识别的区域，从而就可以继续在屏幕中保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果，以便及时用户主观上并未想切换当前进行内容识别的区域，但是因为意外的手抖也不会造成电子设备重新进行内容识别而进行识别结果的频繁切换，而造成识别结果显示的不稳定。

例如，图5所示的目标区域(即图5中的阴影部分)和图4所示的目标区域的图像内容是相同的。如图5所示，图5中的目标区域相比该目标区域在图4中所示的位置已经不同。但是，图5中所示的目标区域依然未超出本次采集的当前帧图像17所在的范围外，从而就可以在电子设备的屏幕中依然显示对该阴影部分进行内容识别所得到的识别结果。

下面再对本实施例使得识别结果显示更为稳定的原理进行距离说明。

示例性的，如图6所示，在待进行识别的纸张上显示有“Hello World”,那么在电子设备的图像采集装置朝向“Hello”时，所显示的识别结果可以为图6中的识别结果1，在电子设备的图像采集装置朝向“World”时，所显示的识别结果可以为图6中的识别结果2。其中，因为“Hello”和“World”距离较近，若电子设备发生抖动则可能造成电子设备从朝向“Hello”切换为朝向“World”之间频率切换，而就可能造成屏幕所显示的识别结果不断在图6所示的识别结果1和识别结果2中切换。

可选的，所述方法还包括：若所述目标区域不在所述当前帧图像中，获取所述当前帧图像所对应的新的目标区域，在所述屏幕显示所述新的目标区域，以及对所述新的目标区域进行内容识别所得到的识别结果。需要说明的，本实施例中的目标区域不在所述当前帧图像中，可以理解为实质上目标区域只有一部分在当前帧图像中，或者目标区域完全不在当前帧图像中。所以在检测到目标区域不在所述当前帧图像中的情况下，表征用户主观上已经切换为进行内容识别的区域，进而就需要重新确定新的目标区域。

需要说明的是，在本实施例中，内容识别可以包括对文本、图片或者视频进行识别。作为一种方式，内容识别可以为基于OCR方式进行图文的识别，或者也是可以进行人脸识别等。

本申请提供的一种内容识别方法，通过获取当前帧图像，并检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳。

请参阅图7，本申请实施例提供的一种内容识别方法，所述方法包括：

S210：获取当前帧图像。

S220：基于目标跟踪算法模型检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域。

在本实施例中，作为一种方式，可以采用KCF(Kernel Correlation Filter)目标跟踪算法模型。KCF目标跟踪算法模型原理就在于根据当前帧的信息和之前帧的信息训练出一个相关滤波器，然后与新输入的帧进行相关性计算，得到的置信图就是预测的跟踪结果，显然，得分最高的那个点(或者块)就是最可能的跟踪结果。示例性的，在电子设备首次获取到当前帧图像中的目标区域后，就可以将该确定的目标区域对应的图像输入到相关滤波器中对该相关滤波器进行训练，以得到训练后的相关滤波器。进而在后续获取到当前帧图像后，就可以将后续获取到当前帧图像输入到该训练后的相关滤波器中，所能得到的置信图，那么该置信图就是预测的目标区域。

作为一种方式，所述基于目标跟踪算法模型检测屏幕当前所显示的目标区域是否在所述当前帧图像中，包括：将所述当前帧图像输入到目标跟踪算法模型中；获取所述目标跟踪算法模型输出的与跟踪目标匹配的目标中心的位置信息，所述跟踪目标为所述目标区域，基于所述位置信息确定所述目标区域是否在所述当前帧图像中。需要说明的是，在这种方式中，目标跟踪算法模型可以将识别出的与目标区域匹配的置信区域作为目标，继而将该目标中心的位置信息进行输出。其中，目标中心可以理解为对角线的交点。

作为一种方式，所述位置信息包括基于目标原点确定的目标坐标系中的横坐标值以及纵坐标值，所述基于所述位置信息确定所述目标区域是否在所述当前帧图像中，包括：

获取所述前一帧图像在所述目标坐标系中的宽度值以及高度值，以及所述所述目标区域占所述前一帧图像的比例；若检测到所述横坐标值、纵坐标值、所述宽度值以及高度值满足目标条件，确定所述目标区域在所述当前帧图像中；其中，所述目标条件包括：所述横坐标值与第一目标乘积值的差大于0，所述第一目标乘积值为所述比例与所述宽度值的乘积的一半；所述横坐标值与所述第一目标乘积值和小于所述宽度值；所述纵坐标值与第二目标乘积值的差大于0，所述第二目标乘积值为所述比例与所述高度值的乘积的一半；以及所述纵坐标值与所述第二目标乘积值和小于所述高度值。

示例性的，前一帧图像在所述目标坐标系中的宽度值以及高度值分别为w和h，若目标区域占所述前一帧图像的比例为80％，则目标区域的宽度值和高度值分别为0.8w和0.8h。若所述位置信息包括基于目标原点确定的目标坐标系中的横坐标值以及纵坐标值分别为x和y。那么前述的目标条件可以包括：

S230：若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

可选的，所述方法还包括：若所述目标区域不在所述当前帧图像中，获取所述当前帧图像所对应的新的目标区域；在所述屏幕显示所述新的目标区域，以及对所述新的目标区域进行内容识别所得到的识别结果。需要说明的，本实施例中的目标区域不在所述当前帧图像中，可以理解为实质上目标区域只有一部分在当前帧图像中，或者目标区域完全不在当前帧图像中。所以在检测到目标区域不在所述当前帧图像中的情况下，表征用户主观上已经切换进行内容识别的区域，进而就需要重新确定新的目标区域。

本申请提供的一种内容识别方法，通过获取当前帧图像，并基于目标跟踪算法模型检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳。

请参阅图8，本申请实施例提供的一种内容识别方法，所述方法包括：

S310：获取当前帧图像。

S320：检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域。

S330：若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

S340：若所述目标区域不在所述当前帧图像中，获取所述当前帧图像所对应的新的目标区域。

示例性的，如图9所示，图9所示的图像18为S310所获取的当前帧图像，而其中的阴影部分为屏幕当前所显示的目标区域的内容，那么在图9所示的情况下，其中的阴影部分已经移动出了图像18的范围，进而就可以获取所述当前帧图像所对应的新的目标区域。需要说明的是，图9只是示例性的示出阴影部分超出当前帧图像的范围。

作为一种方式，对于不同的用户在使用电子设备时的状态时有所不同的。例如，对于年纪较大的用户或者手部不适的用户，在使用电子设备进行图像采集的过程中，电子设备可能会相对年纪较轻或者手部健康的用户使用时抖动更为厉害。那么为了能够使得本实施例提供的内容识别方法可以更好的适配不同的用户，可以进一步的在用户的使用电子设备的过程中，根据用户的使用习惯来生成抖动参数，进而在这种方式下，作为一种方式，所述获取所述当前帧图像所对应的新的目标区域，包括：获取抖动参数；基于所述抖动参数确定目标比例；将所述当前帧图像对应所述目标比例的区域作为新的目标区域。

需要说明的是，其中的抖动参数表征的是用户在使用电子设备过程中的抖动规律，并且，对于该抖动规律可以为在特定状态下的抖动规律，例如，可以是在进行图像采集过程中的抖动规律。作为一种方式，所述获取抖动参数，包括：获取所述屏幕所属电子设备在指定状态下的抖动频率作为抖动参数；所述基于所述抖动参数确定目标比例，包括：基于抖动频率与比例之间的映射关系，确定与所述在指定状态下的抖动频率所对应的比例作为目标比例。可选的，所述指定状态包括所述电子设备处于指定的姿态。

用户在使用电子设备进行内容识别的过程中和用户使用电子设备进行拍照的过程中，电子设备的姿态都是相似的，即都会将电子设备竖直持拿。那么作为一种方式，电子设备可以在检测到电子设备在进行拍照的过程中就开始采集电子设备的抖动频率进而作为抖动参数，其中抖动频率可以为抖动次数与时长的比值，该时长可以为电子设备的图像采集装置处于一次运行状态过程中的时间长度。

S350：在所述屏幕显示所述新的目标区域，以及对所述新的目标区域进行内容识别所得到的识别结果。

需要说明的是，在执行S350获取到新的目标区域后，若下一次又重新执行S310以及S320时，所对应的前一帧图像所对应的目标区域即为执行S350所获取到的新的目标区域。

本申请提供的一种内容识别方法，通过获取当前帧图像，检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳。

并且，在本实施例中，若所述目标区域不在所述当前帧图像中，会获取所述当前帧图像所对应的新的目标区域，以便持续进行当前帧图像所对应的内容识别。

请参阅图10，本申请实施例提供的一种内容识别方法，所述方法包括：

S410：获取当前帧图像。

S420：从所述当前帧图像中确定部分区域作为目标区域，并对所述目标区域进行内容识别。

需要说明的是，目标区域为用于在电子设备的屏幕中进行显示以及进行内容识别的区域。

S430：在屏幕中显示所述目标区域以及所述进行内容识别所得到的识别结果。

S440：获取新的当前帧图像。

S450：检测屏幕当前所显示的目标区域是否在所述新的当前帧图像中。

S460：若所述目标区域在所述新的当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

S470：若所述目标区域不在所述新的当前帧图像中，获取所述新的当前帧图像所对应的新的目标区域。

S480：在所述屏幕显示所述新的目标区域，以及对所述新的目标区域进行内容识别所得到的识别结果。

本申请提供的一种内容识别方法、装置以及电子设备，通过获取当前帧图像，并检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳定。

请参阅图11，本申请实施例提供的一种内容识别装置400，所述装置400包括：

图像获取单元410，用于获取当前帧图像；

目标检测单元420，用于检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域；

内容识别控制单元430，用于若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

作为一种方式，目标检测单元420，具体用于基于目标跟踪算法模型检测屏幕当前所显示的目标区域是否在所述当前帧图像中。可选的，目标检测单元420，具体用于将所述当前帧图像输入到目标跟踪算法模型中；获取所述目标跟踪算法模型输出的与跟踪目标匹配的目标中心的位置信息，所述跟踪目标为所述目标区域；基于所述位置信息确定所述目标区域是否在所述当前帧图像中。

其中，作为一种方式，所述位置信息包括基于目标原点确定的目标坐标系中的横坐标值以及纵坐标值。在这种方式下，目标检测单元420，具体用于获取所述目标区域在所述目标坐标系中的宽度值以及高度值，以及所述所述目标区域占所述前一帧图像的比例；若检测到所述横坐标值、纵坐标值、所述宽度值以及高度值满足目标条件，确定所述目标区域在所述当前帧图像中；其中，所述目标条件包括：所述横坐标值与第一目标乘积值的差大于0，所述第一目标乘积值为所述比例与所述宽度值的乘积；所述横坐标值与所述第一目标乘积值和小于所述宽度值；所述纵坐标值与第二目标乘积值的差大于0，所述第二目标乘积值为所述比例与所述高度值的乘积；以及所述纵坐标值与所述第二目标乘积值和小于所述高度值。

作为一种方式，如图12所示，所述装置400还包括：

目标区域确定单元440，用于若所述目标区域不在所述当前帧图像中，获取所述当前帧图像所对应的新的目标区域。在这种方式下，内容识别控制单元430，还用于在所述屏幕显示所述新的目标区域，以及对所述新的目标区域进行内容识别所得到的识别结果。其中，可选的，目标区域确定单元440，具体用于获取抖动参数；基于所述抖动参数确定目标比例；将所述当前帧图像对应所述目标比例的区域作为新的目标区域。

作为一种方式，目标区域确定单元440，具体用于获取所述屏幕所属电子设备在指定状态下的抖动频率作为抖动参数；基于抖动频率与比例之间的映射关系，确定与所述在指定状态下的抖动频率所对应的比例作为目标比例。可选的，所述指定状态包括所述电子设备处于指定的姿态。

本申请提供的一种内容识别装置，通过获取当前帧图像，并检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳定。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图13对本申请提供的一种电子设备进行说明。

请参阅图13，基于上述的内容识别方法，本申请实施例还提供的另一种包括可以执行前述内容识别方法的处理器102的电子设备200。电子设备200还包括屏幕103、存储器104、图像采集器件105、以及网络模块106。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable GateArray，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所述网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。

请参考图14，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

综上所述，本申请提供的一种内容识别方法、装置以及电子设备，通过获取当前帧图像，并检测屏幕当前所显示的前一帧图像中对应的进行内容识别的目标区域是否在所述当前帧图像中，若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。从而通过该方式可通过在实时获取当前帧图像的过程中，会先检测前一帧图像中进行内容识别的目标区域是否已经超出当前帧图像的范围，在未超出当前帧范围的情况下，进而依然在屏幕中显示前一帧图像对应的进行内容识别的目标区域以及对应的识别结果，以便防止因为抖动而使得实时采集的当前帧图像内容的频繁变化进而造成识别结果显示不稳定。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种内容识别方法，其特征在于，所述方法包括：

获取当前帧图像；

检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域；

若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述检测屏幕当前所显示的目标区域是否在所述当前帧图像中，包括：

基于目标跟踪算法模型检测屏幕当前所显示的目标区域是否在所述当前帧图像中。

3.根据权利要求2所述的方法，其特征在于，所述基于目标跟踪算法模型检测屏幕当前所显示的目标区域是否在所述当前帧图像中，包括：

将所述当前帧图像输入到目标跟踪算法模型中；

获取所述目标跟踪算法模型输出的与跟踪目标匹配的目标中心的位置信息，所述跟踪目标为所述目标区域；

基于所述位置信息确定所述目标区域是否在所述当前帧图像中。

4.根据权利要求3所述的方法，其特征在于，所述位置信息包括基于目标原点确定的目标坐标系中的横坐标值以及纵坐标值，所述基于所述位置信息确定所述目标区域是否在所述当前帧图像中，包括：

获取所述前一帧图像在所述目标坐标系中的宽度值以及高度值，以及所述所述目标区域占所述前一帧图像的比例；

若检测到所述横坐标值、纵坐标值、所述宽度值以及高度值满足目标条件，确定所述目标区域在所述当前帧图像中；其中，所述目标条件包括：

所述横坐标值与第一目标乘积值的差大于0，所述第一目标乘积值为所述比例与所述宽度值的乘积的一半；

所述横坐标值与所述第一目标乘积值和小于所述宽度值；

所述纵坐标值与第二目标乘积值的差大于0，所述第二目标乘积值为所述比例与所述高度值的乘积的一半；以及

所述纵坐标值与所述第二目标乘积值和小于所述高度值。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

若所述目标区域不在所述当前帧图像中，获取所述当前帧图像所对应的新的目标区域；

在所述屏幕显示所述新的目标区域，以及对所述新的目标区域进行内容识别所得到的识别结果。

6.根据权利要求5所述的方法，其特征在于，所述获取所述当前帧图像所对应的新的目标区域，包括：

获取抖动参数；

基于所述抖动参数确定目标比例；

将所述当前帧图像对应所述目标比例的区域作为新的目标区域。

7.根据权利要求6所述的方法，其特征在于，所述获取抖动参数，包括：

获取所述屏幕所属电子设备在指定状态下的抖动频率作为抖动参数；

所述基于所述抖动参数确定目标比例，包括：

基于抖动频率与比例之间的映射关系，确定与所述在指定状态下的抖动频率所对应的比例作为目标比例。

8.根据权利要求7所述的方法，其特征在于，所述指定状态包括所述电子设备处于指定的姿态。

9.一种内容识别装置，其特征在于，所述装置包括：

图像获取单元，用于获取当前帧图像；

目标检测单元，用于检测屏幕当前所显示的目标区域是否在所述当前帧图像中，所述目标区域为前一帧图像中对应的进行内容识别的区域，且所述目标区域为所述前一帧图像中的部分区域；

内容识别控制单元，用于若所述目标区域在所述当前帧图像中，在所述屏幕保持显示所述目标区域以及对所述目标区域进行内容识别所得到的识别结果。

10.一种电子设备，其特征在于，包括屏幕、处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现权利要求1-8任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-8任一所述的方法。

Images