CN113936231A - 目标物识别方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种目标物识别方法、装置以及电子设备。方法包括：响应于电子设备采集到目标物，分别从电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，目标物图像为目标物对应的图像；从多个目标物图像中确定参考目标物图像，参考目标物图像为多张目标物图像中质量满足指定条件的目标物图像；通过特征获取模型获取参考目标物图像所对应的目标物的特征；基于特征对目标物进行识别。从而通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

Description

目标物识别方法、装置以及电子设备

技术领域

本申请涉及图像处理技术领域，更具体地，涉及一种目标物识别方法、装置以及电子设备。

背景技术

当前在许多场景下都有对图像中的目标物体进行识别的需求。例如，对图像中的人脸进行识别。但是，相关的对图像中的目标物体进行识别的方式还存在识别精度有待提升的问题。

发明内容

鉴于上述问题，本申请提出了一种目标物识别方法、装置以及电子设备，以实现改善上述问题。

第一方面，本申请提供了一种目标物识别方法，所述方法包括：响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；基于所述特征对所述目标物进行识别。

第二方面，本申请提供了一种目标物识别方法，应用于服务器，所述方法包括：对电子设备所采集的图像进行检测；响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；基于所述特征对所述目标物进行识别，并将识别结果返回给所述电子设备。

第三方面，本申请提供了一种目标物识别装置，运行于电子设备，所述装置包括：图像获取单元，用于响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；图像筛选单元，用于从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；特征提取单元，用于通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；目标物识别单元，用于基于所述特征对所述目标物进行识别。

第四方面，本申请提供了一种目标物识别装置，运行于服务器，所述装置包括：目标物检测单元，用于对电子设备所采集的图像进行检测；图像获取单元，用于响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；图像筛选单元，用于从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；特征提取单元，用于通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；目标物识别单元，用于基于所述特征对所述目标物进行识别，并将识别结果返回给所述电子设备。

第五方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第六方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请提供的一种目标物识别方法、装置以及电子设备，会在电子设备采集到目标物之后，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，然后再从多个目标物图像中确定满足指定条件的目标物图像作为参考目标物图像，并通过特征获取模型获取所述参考目标物图像所对应的目标物的特征，基于所述特征对所述目标物进行识别。从而通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的一种目标物识别方法的一种应用场景的示意图；

图2示出了本申请实施例提出的一种目标物识别方法的流程图；

图3示出了本申请提出的一种多帧图像的示意图；

图4示出了本申请提出的一种获取多个目标物图像的示意图；

图5示出了本申请提出的另一种获取多个目标物图像的示意图；

图6示出了本申请提出的一种获取参考目标物图像的示意图；

图7示出了本申请另一实施例提出的一种目标物识别方法的流程图；

图8示出了本申请提出的姿态角度的示意图；

图9示出了本申请再一实施例提出的一种目标物识别方法的流程图；

图10示出了本申请中对人脸进行仿射变换的示意图；

图11示出了本申请再一实施例提出的一种目标物识别方法的流程图；

图12示出了本申请再一实施例提出的一种目标物识别方法的流程图；

图13示出了本申请实施例提出的一种目标物识别装置的结构框图；

图14示出了本申请另一实施例提出的一种目标物识别装置的结构框图；

图15示出了本申请提出的一种电子设备的结构框图；

图16是本申请实施例的用于保存或者携带实现根据本申请实施例的目标物识别方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着技术的发展，目标物识别技术在许多场景下都有所应用。例如，在门禁系统中，进行识别的目标物可以为人脸，那么门禁系统在通过摄像头采集到考勤人员的人脸图像后，会通过该人脸图像进行人脸识别。再例如，在交通系统中，进行识别的目标物可以为车辆，那么交通系统在通过道路上的摄像头采集到车辆图像进后，会通过该车辆图像进行车辆识别。

但是，发明人发现，相关的对图像中的目标物体进行识别的方式还存在识别精度有待提升的问题。例如，在一种相关的方式中，为了提升进行目标物识别的效率以及降低对运行目标物识别算法的电子设备的性能要求，采用轻量化的模型来进行目标物的检测以及对检测出的目标物进行识别。但是，该轻量化的模型会存在对目标物的识别精度不高的问题。

因此，发明人提出了本申请中的一种目标物识别方法、装置以及电子设备，该方法会在电子设备采集到目标物之后，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，然后再从多个目标物图像中确定满足指定条件的目标物图像作为参考目标物图像，并通过特征获取模型获取所述参考目标物图像所对应的目标物的特征，基于所述特征对所述目标物进行识别。从而通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

下面先对本申请实施例所涉及的应用场景进行介绍。

在本申请实施例中，所提供的目标物识别方法可以由电子设备100执行。其中，电子设备100可以包括有图像采集装置以及处理器。其中，图像采集装置可以用于进行图像采集。处理器则可以用于对图像采集装置所采集的图像进行处理。例如，该处理可以包括检测图像采集装置所采集的图像中是否有目标物，并且在检测到有目标物的情况下，执行本申请实施例提供的目标物识别方法中的步骤。

下面则结合附图来对本申请所涉及的实施例进行介绍。

请参阅图2，本申请提供的一种目标物识别方法，应用于电子设备，所述方法包括：

S110：响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像。

其中，在本申请实施例中，目标物为需要进行识别的物体。例如，目标物可以包括人脸或者车辆等类型的物体。再者，在本申请实施例中，目标物具体所包括的类型可以由用户进行配置。例如，若本申请实施例提供的方法应用在安防或者考勤等场景中，那么用户可以设定目标物包括人脸。再例如，若本申请实施例提供的方法应用在交通场景中，用户可以设定目标物包括车辆。

再者，在本申请实施例中所确定的目标物可以同时包括多个类型的物体。那么，在确定目标物包括多个类型的物体的情路下，电子设备可以对采集图像中是否包括该多个类型的物体进行检测。并且，在电子设备检测到所采集图像中存在至少一个类型的物体时，则确定采集到目标物。例如，用户所设定的目标物包括人脸和车辆，那么电子设备在检测到所采集图像中存在人脸或者车辆的情况下，就确定采集到目标物。并且，在所设定的目标物包括多个类型的物体的情况下。在获取目标物图像的过程中，所获取到的多个目标物图像各自所对应的目标物的类型相同。

在电子设备开始进行图像采集后，可以检测电子设备所采集的图像中是否有目标物，若检测到电子设备所采集的图像中出现有目标物，则确定电子设备采集到目标物，进而再从电子设备采集的多帧图像中获取目标物图像。其中，需要说明的是，用于进行目标物图像获取的多帧图像可以为在确定电子设备采集到目标物之后所采集的图像。可选的，该多帧图像可以为在确定电子设备采集到目标物之后所连续采集的多帧图像。示例性的，如图3所示，电子设备先采集到图像10，并在图像10中检测到了目标物，那么则电子设备可以将采集图像10之后所采集的图像11、图像12、图像12以及图像14作为采集的多帧图像。进而如图4所示，分别从图像11、图像12、图像13以及图像14中获取目标物图像。例如，从图像11中获取到目标物图像21，从图像12中获取到目标物图像22，从图像13中获取到目标物图像23，从图像14中获取到目标物图像24，那么所得到的多个目标物图像则包括目标物图像21、目标物图像22、目标物图像23以及目标物图像24。另外，如前述内容所示，用户所设定目标物的可以有多种。那么对应的，如图5所示，若图像11、图像12、图像12以及图像14中会包括有两个不同类型的物体，则在获取目标物图像的过程中，可以针对每个类型的物体进行目标物图像的获取。例如，获取的目标物图像21、目标物图像22、目标物图像23以及目标物图像24属于同一个目标物类型的物体的对应的目标物图像，目标物图像31、目标物图像32、目标物图像33以及目标物图像34属于同一个目标物类型的物体的对应的目标物图像。

需要说明的是，作为一种方式，在电子设备采集到目标物之后，电子设备可以以较快的频率去获取后续进行目标物获取的多帧图像，进而使得该多帧图像中均可以提取到该同一个目标物的至少部分图像。可选的，该较快的频率为每秒采集30帧图像。

再者，可选的，电子设备也可以将首次采集到目标物的那帧图像作为后续获取目标物图像的多帧图像中的第一帧图像。例如，请再参阅图4，若通过电子设备采集的图像10首次检测到目标物，则可以将图像10、图像11、图像12、图像12以及图像14作为采集的多帧图像，进而分别从图像10、图像11、图像12、图像12以及图像14中获取目标物图像。可选的，在目标物为人脸的情况下，所获取的目标物图像可以为人脸图像。

S120：从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像。

其中，为了便于在后续的目标物识别过程中具有较为精准的识别效果，可以从多个目标物图像中确定出质量较佳的目标物图像用于后续进行目标物的识别。在本申请实施例中，质量满足指定条件的目标物图像则为质量较佳的目标物图像。例如，如图6所示，若多个目标物图像包括目标物图像21、目标物图像22、目标物图像23以及目标物图像24，若其中的目标物图像23对应的质量满足指定条件，则可以将目标物图像23作为参考目标物图像。

S130：通过特征获取模型获取所述参考目标物图像所对应的目标物的特征。

其中，本申请实施例中，目标物的特征为用于对目标物进行唯一性表征的内容。例如，目标物的特征可以为通过特征获取模型所获取到的目标物对应的特征向量。

S140：基于所述特征对所述目标物进行识别。

在本申请实施例中，对目标物进行识别可以理解为获取目标物的识别内容作为识别结果。例如，若目标物为人脸，那么人脸的识别内容可以包括名字、性别以及年龄等相关信息。若目标物为车辆，那么车辆的识别内容可以包括品牌以及颜色等。

作为一种方式，若目标物的特征为特征向量，可以预先建立有特征向量与识别内容的对应关系。其中，可以通过指定库来存储对应的特征向量与识别内容。在这种方式下，所述基于所述特征对所述目标物进行识别，包括：基于所述参考目标物图像对应的特征向量在指定库中进行匹配；从所述指定库中获取目标特征向量，所述目标特征向量为所述指定库中，与所述参考目标物图像对应的特征向量的匹配程度的排序满足目标排序条件的特征向量；将所述目标特征向量对应的识别内容作为所述目标物对应的识别结果。

其中，在基于目标物的特征向量对目标物进行识别的过程中，可以基于目标物的特征向量在指定库中进行搜索，而在搜索的过程中，可以是将目标物的特征向量与指定库中的存储的特征向量进行一一匹配，从而获取到指定库中的每个特征向量与所述参考目标物图像对应的特征向量的匹配程度，然后对该指定库中的每个特征向量与所述参考目标物图像对应的特征向量的匹配程度进行排序，将排序满足目标排序条件的特征向量作为目标特征向量。可选的，该目标排序条件包括排序在最前的N个特征向量。

示例性的，在该指定库中存储的内容包括如下表所示：

ID	特征	识别内容
			1	特征向量1	识别内容1
2	特征向量2	识别内容2
			3	特征向量3	识别内容3
4	特征向量4	识别内容4
			5	特征向量5	识别内容5

若在对目标物进行识别的过程中，若目标物的特征向量与特征向量1的匹配程度为P1，若目标物的特征向量与特征向量2的匹配程度为P2，若目标物的特征向量与特征向量3的匹配程度为P3，若目标物的特征向量与特征向量4的匹配程度为P4，若目标物的特征向量与特征向量5的匹配程度为P5。其中，P5大于P4，P4大于P3，P3大于P2，P2大于P1。若目标排序条件包括排序在最前的3个特征向量，那么在这种情况下，所获取得到的目标特征向量包括特征向量5、特征向量4以及特征向量3。进而会将识别内容3、识别内容4以及识别内容5作为所述目标物对应的识别结果。

需要说明的是，在本申请实施例中，排序在最前的N个特征向量的具体数量可以根据用户的选择进行改变，也可以根据当前的实际场景进行改变。例如，若本申请实施例提供的目标物识别方法是应用在考勤场景中，那么排序在最前的N个特征向量中的N可以为1，也就是会将最接近的1个特征向量作为目标特征向量。而在安防场景下，为了便于提供更多的选择，则可以将排序在最前的N个特征向量中的N设置为大于2的数值。

本实施例提供的一种目标物识别方法，会在电子设备采集到目标物之后，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，然后再从多个目标物图像中确定满足指定条件的目标物图像作为参考目标物图像，并通过特征获取模型获取所述参考目标物图像所对应的目标物的特征，基于所述特征对所述目标物进行识别。从而通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

请参阅图7，本申请提供的一种目标物识别方法，应用于电子设备，所述方法包括：

S210：响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像。

S220：分别获取多个目标物图像各自的质量评分。

在本申请实施例中，可以通过对目标物图像进行评分的方式来获取得到参考目标物图像。

在这种方式中，所述分别获取多个目标物图像各自的质量评分，可以包括：基于评分参数分别获取多个目标物图像各自的质量评分，所述评分参数包括图像清晰度以及目标物的姿态角度中的至少一个，其中，所述图像清晰度与所述质量评分成正比，所述姿态角度与所述质量评分成反比。

其中，评分参数为从目标物图像中获取的用于对目标物图像进行评分的参数。例如，图像清晰度以及目标物的姿态角度等评分参数均是从对应的目标物图像中获取得到的。其中，清晰度指图像上各细部影纹及其边界的清晰程度，或者说图像清晰度表征的是所对应的目标物图像的清晰程度，目标物图像对应的图像清晰度越高，那么则可以更为准确的对目标物图像中的目标物进行识别。例如，若目标物为人脸，那么图像清晰度越高的人脸越容易使得设备辨别出其具体是谁。再例如，目标物为车辆，那么图像清晰度越高的车辆则越容易使得设备识别其品牌等信息。其中，姿态角度表征的是目标物的指定部分(例如，人脸正面)被采集到的程度。其中，姿态角度越小则该指定部分被采集到的程度越高。

示例性的，如图8所示，以目标物为人脸为例，在图5所示的目标无图像a、目标无图像b以及目标无图像c。其中，目标物图像a对应的姿态角度为姿态角度a，目标物图像b对应的姿态角度为姿态角度b，目标物图像c对应的姿态角度为姿态角度c。可以理解的是，其中目标物图像a中的人脸的人脸正面是正对电子设备的，所以其被采集的程度最高。其中目标物图像b中的人脸的人脸正面是斜对电子设备的，所以其被采集的程度相对目标物图像a中的人脸的人脸正面被采集程度更低。其中目标物图像c中的人脸的人脸正面是侧对电子设备的，所以其被采集的程度相对目标物图像b中的人脸的人脸正面被采集程度更低。那么在这种情况下，目标物图像a对应的姿态角度β1小于目标物图像b对应的姿态角度β2，目标物图像b对应的姿态角度β2小于目标物图像c对应的姿态角度β3。对应的，电子设备则可以通过获取的目标物图像对应的姿态角度来确定目标物的指定部分相对电子设备的朝向。

作为一种方式，在评分参数有多种可以选择的情况下，电子设备用于对目标物图像进行评分的评分参数可以从多种中选择一个或者多个。例如，在评分参数有图像清晰度、图像分辨率以及姿态角度的情况下，可以单独选择图像清晰度来对多个目标物图像进行评分以获取参考目标物图像。再者，也可以单独选择图像分辨率来对多个目标物图像进行评分以获取参考目标物图像。另外，也可以单独选择姿态角度来对多个目标物图像进行评分以获取参考目标物图像。而在可以选择多个参考来进行评分的情况下，可以选择图像清晰度以及图像分辨率对多个目标物图像进行评分以获取参考目标物图像。也可以选择图像清晰度以及姿态角度对多个目标物图像进行评分以获取参考目标物图像。还可以选择图像分辨率以及姿态角度对多个目标物图像进行评分以获取参考目标物图像。还可以选择结合图像清晰度、图像分辨率以及姿态角度三种参数来对多个目标物图像进行评分以获取参考目标物图像。

可选的，电子设备可以根据当前的实际需求来从多个待选的评分参数中选择用于对目标物图像进行评分的评分参数。

作为一种方式，电子设备可以根据当前的可用于进行目标物识别的资源来确定评分参数具体包括的参数的数量。需要说明的是，获取目标物图像对应的参数需要消耗电子设备的资源(例如，处理器资源或者内存资源)。那么如果需要从目标物图像中所获取的参数越多，那么则需要消耗的资源则就越多，对应的，在需要的资源大于可以用于进行目标物识别的资源的情况下，则就可能会造成电子设备卡顿。可选的，在电子设备中可以存储有可用于进行目标物识别的资源与评分参数的数量和种类的对应关系。在这种方式下，电子设备可以先获取到当前可用于进行目标物识别的资源，然后根据该资源以及前述的对应关系来获取得到当前用于对目标参考物进行评分的评分参数。

示例性的，可用于进行目标物识别的资源与评分参数的数量和种类的对应关系可以如下表所示：

如上表所示，若当前获取到的可用于进行目标物识别的资源为S1，那么则确定当前用于进行评分的评分参数的数量为1个，且用于进行评分的评分参数为图像清晰度。若当前获取到的可用于进行目标物识别的资源为S3，那么则确定当前用于进行评分的评分参数的数量为2个，且用于进行评分的评分参数为图像清晰度和姿态角度。

作为一种方式，在评分参数有多个的情况下，对于同一个目标物图像，可以通过将基于每个评分参数所得到的评分进行加权求和的方式来得到每个目标物图像的评分。例如，对于目标物图像a，基于图像清晰度所得到的评分为p1，基于姿态角度所得到的评分为p2，并且，图像清晰度对应的权重为q1，姿态角度对应的权重为q2，那么目标物图像a对应的最后评分为(p1×q1)+(p2×q2)。

在这种方式下，多个评分参数各自对应的权重也可以根据当前实际需求进行确定。例如，可以根据当前所确定目标物来确定用于对目标物图像进行评分的多个评分参数各自对应的权重。例如，在目标物为人脸的情况下，可以确定姿态角度对应的权重最高。在目标物为车辆的情况下，可以确定图像清晰度对应的权重最高。

S230：将对应的质量评分最高的目标物图像作为参考目标物图像。

S240：通过特征获取模型获取所述参考目标物图像所对应的目标物的特征。

S250：基于所述特征对所述目标物进行识别。

本实施例提供的一种目标物识别方法，通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。并且，在本实施例中，可以结合图像清晰度和目标物的姿态角度来对目标物图像进行评分，从而有利于准确的筛选出质量最佳的目标物图像作为参考目标物图像，以便进一步的提升最终的识别精度。

请参阅图9，本申请提供的一种目标物识别方法，应用于电子设备，所述方法包括：

S310：响应于电子设备采集到目标物，检测所述目标物是否已经执行过识别。

需要说明的是，在电子设备进行图像采集的过程中，可以对电子设备的每张图像进行目标物检测，也就是说，电子设备会多次检测到采集到目标物。那么在电子设备每次采集到目标物的情况下，都再次执行一次识别操作，则可能会造成资源浪费，并且也会给电子设备造成一定的数据处理压力。

作为一种改善上述问题的方式，所述检测所述目标物是否已经执行过识别，包括：检测所述目标物是否已经处于目标跟踪状态；若处于所述目标跟踪状态，则确定已经执行过识别，其中，所述目标跟踪状态为在所述目标物被所述电子设备首次采集到触发。需要说明的是，在本申请实施例中，可以在电子设备首次检测到目标物后，就开始对目标物进行目标跟踪，那么被执行目标跟踪的目标物则处于目标跟踪状态。可选的，电子设备可以基于模板匹配的方式进行目标跟踪，或者可以基于贝叶斯滤波的方式进行目标跟踪等。

S320：若已经执行过识别，则结束流程。

S330：若还未执行过识别，则分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像。

S340：从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像。

作为一种方式，所述从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像，包括：分别对所述多个目标物图像进行仿射变换对齐处理(Affine Transformation)，以得到处理后的多个目标物图像，其中，所述仿射变换对齐处理用于将目标物图像中的目标物中的指定物体对齐到水平位置；从所述处理后的多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述处理后的多个目标物图像中质量满足指定条件的目标物图像。示例性的，以目标物为人脸，指定物体为人脸中的眼镜为例，如图10所示，因为采集角度的问题，在图10所示的左侧图像中，人脸的两个眼睛并未处于同一水平位置，那么在经过仿射变换对齐处理后，则可以得到图10中右侧图像中所示的人脸。在图10的右侧图像中所示的人脸中，眼睛会相比左侧图像更加相对齐平。

S350：通过特征获取模型获取所述参考目标物图像所对应的目标物的特征。

S360：基于所述特征对所述目标物进行识别。

本实施例提供的一种目标物识别方法，通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。并且，在本实施例中，对于所检测到的目标物，会先检测该目标物在被采集到后是否已经执行过识别，若还未执行过识别，则才会触发去获取该目标物对应的多个目标物图像，以便后续获取到参考目标物对象，以对该目标物进行识别，从而有利于避免重复的对用户一个目标物进行识别的操作而造成资源浪费。

请参阅图11，本申请提供的一种目标物识别方法，应用于电子设备，所述方法包括：

S410：基于轻量化的检测模型对所述电子设备采集的图像进行目标物检测。

S420：响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像。

S430：从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像。

S440：通过轻量化的特征获取模型获取所述参考目标物图像所对应的目标物的特征。

S450：基于所述特征对所述目标物进行识别。

需要说明的是，轻量化的模型相比普通的模型具有更少的网络参数，进而可以减少模型在运行过程中的运算量。因此，轻量化的模型在运行过程中可以相比普通的模型所消耗的资源更少。但是，与此同时，轻量化的模型在数据处理精度方面会受到一定的影响。例如，在基于轻量化的检测模型对所述电子设备采集的图像进行目标物检测的过程中，可能会将其他物体当做目标物。再例如，在通过轻量化的特征获取模型获取所述参考目标物图像所对应的目标物的特征的过程中，所获取的特征也可能会出现误差。

可选的，本申请实施例中所采用的轻量化的检测模型以及轻量化的特征获取模型可以为基于MobileNet方式或者ShuffleNe方式所构建的模型。

本实施例提供的一种目标物识别方法，通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。并且，在本实施例中，对于目标物的检测以及特征的获取都是通过轻量化的模型进行的，从而使得可以在降低对电子设备的性能要求的情况下，依然可以实现准确的目标物的识别。并且，可以减少对目标物的检测以及对目标物的识别的整个过程，对电子设备的系统算力、带宽及功耗的需求。

请参阅图12，本申请提供的一种目标物识别方法，应用于服务器，所述方法包括：

S510：对电子设备所采集的图像进行检测。

在本实施例中，在电子设备开始进行图像采集后，电子设备可以实时的将所采集的图像传输给服务器，而服务器则会对所介绍的图像进行逐帧检测，以检测电子设备是否采集到目标物。

S520：响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；

S530：从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；

S540：通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；

S550：基于所述特征对所述目标物进行识别，并将识别结果返回给所述电子设备。

在电子设备接收到识别结果之后，可以根据当前进行识别的需求来对识别结果进行处理。例如，若当前的识别需求是获取到目标物的信息，则获取到的识别结果则可以包括目标物的相关信息，进而电子设备可以对该相关信息进行实时显示。若当前的识别需求是进行鉴权，获取到的识别结果则可以包括表征鉴权是否通过的消息，对应的，电子设备则可以通过该表征鉴权是否通过的消息来确定后续的步骤。例如，后续的步骤可以包括允许开门。再例如，后续的步骤可以包括人脸签到成功等。

本实施例提供的一种目标物识别方法，通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

请参阅图13，本申请提供的一种目标物识别装置600，运行于电子设备，所述装置600包括：

图像获取单元610，用于响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像。

图像筛选单元620，用于从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像。

特征提取单元630，用于通过特征获取模型获取所述参考目标物图像所对应的目标物的特征。

目标物识别单元640，用于基于所述特征对所述目标物进行识别。

作为一种方式，所述指定条件包括对应的质量评分最高。在这种方式中，图像筛选单元620，具体用于分别获取多个目标物图像各自的质量评分；将对应的质量评分最高的目标物图像作为参考目标物图像。可选的，图像筛选单元620，具体用于基于评分参数分别获取多个目标物图像各自的质量评分，所述评分参数包括图像清晰度以及目标物的姿态角度中的至少一个，其中，所述图像清晰度与所述质量评分成正比，所述姿态角度与所述质量评分成反比。

作为一种方式，图像获取单元610，具体用于响应于电子设备采集到目标物，检测所述目标物是否已经执行过识别；若还未执行过识别，则分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像。可选的，图像获取单元610，具体用于检测所述目标物是否已经处于目标跟踪状态；若处于所述目标跟踪状态，则确定已经执行过识别，其中，所述目标跟踪状态为在所述目标物被所述电子设备首次采集到触发。

作为一种方式，图像筛选单元620，具体用于分别对所述多个目标物图像进行仿射变换对齐处理，以得到处理后的多个目标物图像，其中，所述仿射变换对齐处理用于将目标物图像中的目标物中的指定物体对齐到水平位置；从所述处理后的多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述处理后的多个目标物图像中质量满足指定条件的目标物图像。

作为一种方式，装置600还包括：目标物检测单元650，用于基于轻量化的检测模型对所述电子设备采集的图像进行目标物检测。对应的，特征提取单元630，具体用于通过轻量化的特征获取模型获取所述参考目标物图像所对应的目标物的特征。

作为一种方式，目标物识别单元640，具体用于基于所述参考目标物图像对应的特征向量在指定库中进行匹配；从所述指定库中获取目标特征向量，所述目标特征向量为所述指定库中，与所述参考目标物图像对应的特征向量的匹配程度的排序满足目标排序条件的特征向量。

作为一种方式，所述目标物包括人脸。

请参阅图14，本申请提供的一种目标物识别装置700，运行于服务器，所述装置700包括：

目标物检测单元710，用于对电子设备所采集的图像进行检测。

图像获取单元720，用于响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像。

图像筛选单元730，用于从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像。

特征提取单元740，用于通过特征获取模型获取所述参考目标物图像所对应的目标物的特征。

目标物识别单元750，用于基于所述特征对所述目标物进行识别，并将识别结果返回给所述电子设备。

本实施例提供的一种目标物识别装置，会在电子设备采集到目标物之后，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，然后再从多个目标物图像中确定满足指定条件的目标物图像作为参考目标物图像，并通过特征获取模型获取所述参考目标物图像所对应的目标物的特征，基于所述特征对所述目标物进行识别。从而通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性。另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

下面将结合图15对本申请提供的一种电子设备进行说明。

请参阅图15，基于上述的目标物识别方法、装置，本申请实施例还提供的一种可以执行前述目标物识别方法的电子设备1000。电子设备1000包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、摄像头106以及音频采集装置108。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备1000的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。作为一种方式，处理器102可以为神经网络芯片。例如，可以为嵌入式神经网络芯片(NPU)。

存储器104可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。

再者，电子设备1000除了前述所示的器件外，还可以包括网络模块110以及传感器模块112。

所述网络模块110用于实现电子设备1000与其他设备之间的信息交互，例如，传输设备控制指令、操纵请求指令以及状态信息获取指令等。而当电子设备200具体为不同的设备时，其对应的网络模块110可能会有不同。

传感器模块112可以包括至少一种传感器。具体地，传感器模块112可包括但并不限于：水平仪、光传感器、运动传感器、压力传感器、红外热传感器、距离传感器、加速度传感器、以及其他传感器。

其中，压力传感器可以检测由按压在电子设备1000产生的压力的传感器。即，压力传感器检测由用户和电子设备之间的接触或按压产生的压力，例如由用户的耳朵与移动终端之间的接触或按压产生的压力。因此，压力传感器可以用来确定在用户与电子设备1000之间是否发生了接触或者按压，以及压力的大小。

其中，加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备1000姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等。另外，电子设备1000还可配置陀螺仪、气压计、湿度计、温度计等其他传感器，在此不再赘述。

音频采集装置110，用于进行音频信号采集。可选的，音频采集装置110包括有多个音频采集器件，该音频采集器件可以为麦克风。

作为一种方式，电子设备1000的网络模块为射频模块，该射频模块用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。所述射频模块可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。例如，该射频模块可以通过发送或者接收的电磁波与外部设备进行交互。例如，射频模块可以向目标设备发送指令。

请参考图16，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

综上所述，本申请提供的一种目标物识别方法、装置以及电子设备，会在电子设备采集到目标物之后，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，然后再从多个目标物图像中确定满足指定条件的目标物图像作为参考目标物图像，并通过特征获取模型获取所述参考目标物图像所对应的目标物的特征，基于所述特征对所述目标物进行识别。从而通过获取到多个目标物图像之后，选择其中的质量满足指定条件的目标物图像(参考目标物图像)作为后续进行识别的图像的方式，使得有利于提升特征获取模型获取得到特征的准确度，进而有利于提升基于该特征进行目标物识别的准确度。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种目标物识别方法，其特征在于，所述方法包括：

响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；

从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；

通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；

基于所述特征对所述目标物进行识别。

2.根据权利要求1所述的方法，其特征在于，所述指定条件包括对应的质量评分最高，所述从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像，包括：

分别获取多个目标物图像各自的质量评分；

将对应的质量评分最高的目标物图像作为参考目标物图像。

3.根据权利要求2所述的方法，其特征在于，所述分别获取多个目标物图像各自的质量评分，包括：

基于评分参数分别获取多个目标物图像各自的质量评分，所述评分参数包括图像清晰度以及目标物的姿态角度中的至少一个，其中，所述图像清晰度与所述质量评分成正比，所述姿态角度与所述质量评分成反比。

4.根据权利要求1所述的方法，其特征在于，所述响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，包括：

响应于电子设备采集到目标物，检测所述目标物是否已经执行过识别；

若还未执行过识别，则分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像。

5.根据权利要求4所述的方法，其特征在于，所述检测所述目标物是否已经执行过识别，包括：

检测所述目标物是否已经处于目标跟踪状态；

若处于所述目标跟踪状态，则确定已经执行过识别，其中，所述目标跟踪状态为在所述目标物被所述电子设备首次采集到触发。

6.根据权利要求1所述的方法，其特征在于，所述从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像，包括：

分别对所述多个目标物图像进行仿射变换对齐处理，以得到处理后的多个目标物图像，其中，所述仿射变换对齐处理用于将目标物图像中的目标物中的指定物体对齐到水平位置；

从所述处理后的多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述处理后的多个目标物图像中质量满足指定条件的目标物图像。

7.根据权利要求1所述的方法，其特征在于，所述响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像之前还包括：

基于轻量化的检测模型对所述电子设备采集的图像进行目标物检测；

所述通过特征获取模型获取所述参考目标物图像所对应的目标物的特征，包括：

通过轻量化的特征获取模型获取所述参考目标物图像所对应的目标物的特征。

8.根据权利要求1所述的方法，其特征在于，参考目标物图像对应的特征包括参考目标物图像对应的特征向量，所述基于所述特征对所述目标物进行识别，包括：

基于所述参考目标物图像对应的特征向量在指定库中进行匹配；

从所述指定库中获取目标特征向量，所述目标特征向量为所述指定库中，与所述参考目标物图像对应的特征向量的匹配程度的排序满足目标排序条件的特征向量；

将所述目标特征向量对应的识别内容作为所述目标物对应的识别结果。

9.根据权利要求1-8任一所述的方法，其特征在于，所述目标物包括人脸。

10.一种目标物识别方法，其特征在于，应用于服务器，所述方法包括：

对电子设备所采集的图像进行检测；

响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；

从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；

通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；

基于所述特征对所述目标物进行识别，并将识别结果返回给所述电子设备。

11.一种目标物识别装置，其特征在于，运行于电子设备，所述装置包括：

图像获取单元，用于响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；

图像筛选单元，用于从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；

特征提取单元，用于通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；

目标物识别单元，用于基于所述特征对所述目标物进行识别。

12.一种目标物识别装置，其特征在于，运行于服务器，所述装置包括：

目标物检测单元，用于对电子设备所采集的图像进行检测；

图像获取单元，用于响应于电子设备采集到目标物，分别从所述电子设备采集的多帧图像中获取目标物图像，得到多个目标物图像，所述目标物图像为所述目标物对应的图像；

图像筛选单元，用于从所述多个目标物图像中确定参考目标物图像，所述参考目标物图像为所述多张目标物图像中质量满足指定条件的目标物图像；

特征提取单元，用于通过特征获取模型获取所述参考目标物图像所对应的目标物的特征；

目标物识别单元，用于基于所述特征对所述目标物进行识别，并将识别结果返回给所述电子设备。

13.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；

一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-9任一所述的方法。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行权利要求1-9任一所述的方法。

Images