CN109409325B - 一种识别方法和电子设备 - Google Patents

Abstract

本申请提供的一种识别方法，包括：获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数；根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份。采用该方法，在通过对视频数据的影像进行识别得到初步识别结果不满足预设条件时，则根据该视频数据的相关参数进行辅助识别步骤，以实现确定该待识别对象的身份。该方案中，当通过较少的照片难以进行精确识别时，可以综合除了图像特征以外的其他维度的相关信息进行辅助识别，提高了识别的准确度。

Description

一种识别方法和电子设备

技术领域

本申请涉及识别领域，更具体的说，是涉及一种识别方法和电子设备。

背景技术

在人工智能时代的大环境下，人脸检测和识别技术已经被广泛的应用于金融、安防、教育、医疗等领域，成为重要的用户身份识别和认证手段。

一般是对用户在摄像头前拍摄的单张人脸照片进行识别。但是采用单张人脸照片进行识别的准确性较低。其容易受到光照条件、拍摄角度、人脸遮挡以及图片模糊等众多因素的影响。

现有技术中，一般采用发掘前后帧联系等相关手段避开甚至放弃对这部分数据的识别，但是在样本数据较少的情况下，对该照片中人脸进行识别的困难较大并且准确度较差。

发明内容

有鉴于此，本申请提供了一种识别方法，解决了现有技术中基于识别过程中采集的较少的照片难以对其中的人脸进行识别的问题。

为实现上述目的，本申请提供如下技术方案：

一种识别方法，包括：

获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数；

根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；

基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份。

上述方法，优选的，所述根据所述视频数据的相关参数，执行辅助识别步骤，包括：

依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，所述输出结果表征所述待识别对象的身份。

上述方法，优选的，所述依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，具体包括：

依据所述视频数据获取得到相关参数；

依据预先训练好的第一模型，对所述初步识别结果和所述相关参数进行处理，得到输出结果。

上述方法，优选的，所述依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，具体包括：

依据所述视频数据获取得到相关参数；

依据预先训练好的第二模型，对所述视频数据以及所述相关参数进行处理，得到输出结果。

上述方法，优选的，所述依据所述视频数据获取得到相关参数，包括：

分析所述视频数据，得到采集所述视频数据时生成的第一参数；

和/或

分析所述视频数据，得到第一影像，所述第一影像中包含第一对象以及所述待识别对象；依据所述第一对象获取第二参数，所述第二参数表征所述第一对象的身份。

一种电子设备，包括：

存储器，用于至少存储一组指令集；

处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：

获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数；

根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；

基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份。

上述电子设备，优选的，所述处理器根据所述视频数据的相关参数，执行辅助识别步骤时，用于：

依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，所述输出结果表征所述待识别对象的身份。

上述电子设备，优选的，所述处理器依据预先训练好的模型，对所述相关参数进行处理，得到输出结果时，具体用于：

依据所述视频数据获取得到相关参数；

依据预先训练好的第一模型，对所述初步识别结果和所述相关参数进行处理，得到输出结果。

上述电子设备，优选的，所述处理器依据预先训练好的模型，对所述相关参数进行处理，得到输出结果时，具体用于：

依据所述视频数据获取得到相关参数；

依据预先训练好的第二模型，对所述视频数据以及所述相关参数进行处理，得到输出结果。

上述电子设备，优选的，所述处理器依据所述视频数据获取得到相关参数时，用于：

分析所述视频数据，得到采集所述视频数据时生成的第一参数；

和/或

分析所述视频数据，得到第一影像，所述第一影像中包含第一对象以及所述待识别对象；依据所述第一对象获取第二参数，所述第二参数表征所述第一对象的身份。

经由上述的技术方案可知，与现有技术相比，本申请提供了一种识别方法，包括：获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数；根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份。采用该方法，在通过对视频数据的影像进行识别得到初步识别结果不满足预设条件时，则根据该视频数据的相关参数进行辅助识别步骤，以实现确定该待识别对象的身份。该方案中，当通过较少的照片难以进行精确识别时，可以综合除了图像特征以外的其他维度的相关信息进行辅助识别，提高了识别的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的识别方法的一种实现流程图；

图2为本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1所示的，为本申请提供的一种识别方法的一种实现流程图，该方法可以包括以下步骤：

步骤S101：获取视频数据，该视频数据中包含至少一帧含有待识别对象的影像以及相关参数。

本申请实施例中，上述视频数据中包含多帧影像，且至少有一帧影像中含有待识别对象。该视频数据的相关参数可以是与识别上述含有待识别对象的影像所使用的参数不同的参数。识别上述含有待识别对象的影像所使用的参数通常是图像特征，则，视频数据的相关参数可以是非图像特征。其中，图像特征可以是指待识别对象的脸部的图像特征，或者，可以是待识别对象的眼部的图像特征，图像特征可以包括如下几种特征中的至少一种：颜色特征、纹理特征、形状特征和空间关系特征等。

步骤S102：根据预设的识别规则识别上述含有待识别对象的影像，得到初步识别结果。

识别上述含有待识别对象的影像的过程可以包括：

基于图像特征，将上述待识别对象与各个已知身份的对象进行匹配，得到初步识别结果，该初步识别结果中包括：待识别对象与各个已知身份的对象的相似度。具体可以为：

提取上述含有待识别对象的影像中，待识别对象的图像特征，基于该待识别对象的图像特征，以及预置特征数据库中各个已知身份的对象的图像特征，计算待识别对象与各个已知身份的对象的相似度。具体相似度的计算方式可以参看现有成熟的技术，如距离度量或相似度度量等，这里不再详述。

当初步识别结果表征已知身份的对象中存在与待识别对象的相似度大于预设阈值的对象时，认为初步识别结果满足预设条件，说明识别到了上述视频数据中待识别对象的身份，此时，将已知身份的对象中与待识别对象的相似度最大的对象的身份确定为待识别对象的身份。

当初步识别结果表征已知身份的对象中不存在与待识别对象的相似度大于预设阈值的对象时，认为该初步识别结果不满足预设条件，说明无法确定上述视频数据中待识别对象的身份。

综上所述，上述初步识别结果具体可以为：是否识别到待识别对象的身份；则初步识别结果满足预设条件为：识别到待识别对象的身份，初步识别结果不满足预设条件为：未识别到待识别对象的身份，即待识别对象的身份未知。

初步识别结果不满足预设条件可能是受到如下多种因素中至少一种因素的影响：光照条件、拍摄角度、人脸遮挡以及图片模糊等。

步骤S103：基于上述初步识别结果不满足预设条件，根据上述视频数据的上述相关参数，执行辅助识别步骤，得到上述视频数据中待识别对象的身份。

在上述初步识别结果不满足预设条件的情况下，利用上述相关参数对待识别对象进行进一步的识别，即进行辅助识别步骤。

综上，本申请实施例提供的信息处理方法，在通过对视频数据的影像进行识别得到初步识别结果不满足预设条件时，则根据该视频数据的相关参数进行辅助识别步骤，以实现确定该待识别对象的身份。该方案中，当通过较少的照片难以进行精确识别时，可以综合除了图像特征以外的其它维度的相关信息进行辅助识别，提高了识别的准确度。

例如，基于本申请实施例，当通过较少的照片难以对人脸进行识别(即无法确定其身份)时，可以综合除了图像特征以外的其它维度的相关信息进行辅助识别，提高人脸识别的准确度。

在一可选的实施例中，上述根据视频数据的相关参数，执行辅助识别步骤的一种实现方式可以为：

依据预先训练好的模型，对上述相关参数进行处理，得到输出结果，该输出结果表征待识别对象的身份。可以结合上述初步识别结果对上述相关参数进行处理，也可以结合上述视频数据对上述相关参数进行处理。

上述预先训练好的模型可以是深度神经网络模型。

输出结果表征待识别对象的身份为某个特定的身份(即某个已知身份的对象的身份)，或者，输出结果表征待识别对象的身份为未知，即该待识别对象不是任意一个已知对象。

在一可选的实施例中，上述依据预先训练好的模型，对上述相关参数进行处理，得到输出结果的一种实现方式可以为：

依据上述视频数据获取得到相关参数。

依据预先训练好的第一模型，对上述初步识别结果和相关参数进行处理，得到输出结果。

其中，对初步识别结果和相关参数进行处理具体可以为：依据相关参数对上述待识别对象与各个已知身份的对象的相似度进行调整。在进行调整后，与初始识别结果相比，待识别对象与某个已知身份的对象的相似度可能变大，也可能变小，也有可能不变。待识别对象与不同的已知身份的对象的相似度的变化情况可能相同，也可能不同，即，对相似度进行调整后，待识别对象与已知身份的第一对象的相似度可能变小了，待识别对象与已知身份的第二对象的相似度可能变大了，待识别对象与已知身份的第三对象的相似度可能没变。

根据调整后的相似度，若存在与待识别对象的相似度大于预设阈值的对象，则将已知身份的对象中与待识别对象的相似度最大的对象的身份确定为待识别对象的身份；若不存在与待识别对象的相似度大于预设阈值的对象，则该待识别对象的身份为未知。

在另一可选的实施例中，上述依据预先训练好的模型，对上述相关参数进行处理，得到输出结果的一种实现方式可以为：

依据上述视频数据获取得到相关参数。

依据预先训练好的第二模型，对视频数据以及相关参数进行处理，得到输出结果。

在一些场景中，会存在多个待识别对象，每个待识别对象对应一段视频数据，在这种情况下，本申请实施例中，首先对视频数据中包含待识别对象的影像进行识别，若初步识别结果满足预设条件，说明识别到了待识别对象的身份，则无需采用相关参数进行辅助识别，只有初步识别结果不满足预设条件时，才获取相关参数，使用第二模型对视频数据和相关参数进行处理，得到待识别对象的最终的识别结果。

可以理解的是，对应每个待识别对象，均可以直接使用第二模型对该识别对象对应的视频数据和相关参数进行处理，得到待识别对象的身份。但相较于对视频数据中包含待识别对象的影像进行识别以得到待识别对象的身份，使用第二模型对视频数据和相关参数进行处理需要的处理的数据量较大，因此，使用第二模型对视频数据和相关参数进行处理会耗费较大的计算资，因而，与所有待识别对象均使用第二模型进行识别相比，本申请的方案能够降低计算资源的耗费量。

在一可选的实施例中，在获取到输出结果后，可以将该视频数据及输出结果保存到数据库中，一方面，可以供相关人员查看，另一方面，还可以将该视频数据及输出结果添加到样本集中用于进一步的大数据分析与统计学习，以便形成类似于人类日常生活经验的统计数据，从而可以对模型进行更新、优化，形成良性的迭代循环，进一步提高识别的准确度。

在将视频数据及输出结果添加到样本集中时，可以先判断该输出结果是否有效，即判断该输出结果是否正确，在确定正确的情况下，再将视频数据及输出结果添加到样本集中。其中，输出结果是否正确可以人为标记。

在一可选的实施例中，上述依据视频数据获取得到相关参数的一种实现方式可以为：

分析上述视频数据，得到采集视频数据时生成的第一参数。该第一参数可以是上述视频数据的采集时间和/或采集地点等。

和/或，

分析上述视频数据，得到第一影像，该第一影像中包含第一对象以及待识别对象；依据第一对象获取第二参数，该第二参数表征第一对象的身份。

基于这些相关参数，前述第一模型和第二模型均可以基于各个样本视频数据的上述相关参数训练得到。其中，每个样本视频数据对应一个待识别对象，不同的样本视频数据对应不同的待识别对象，一个样本视频数据中，除了包括待识别对象外，还可以包括其他对象。

在训练之前，可以先根据所有的样本视频数据统计得到的各个待识别对象在每一个时间段(即样本视频数据的持续时段)出现的概率，和/或，各个待识别对象在每个采集地点(即样本视频数据对应的采集地点)出现的概率，和/或，待识别对象之间的关联关系(例如，一起出现的概率)训练第一模型或第二模型。

训练第一模型的过程可以为：对于每一个样本视频数据，将该样本视频数据对应的初步识别结果(即，该样本视频中的待识别对象与特征数据库中的各个已知身份的对象的相似度)，以及相关参数输入到该第一模型中，该第一模型会根据该样本数据的相关参数获取统计信息(即，各个对象在该样本视频数据对应的时间段和/或采集地点出现的概率，和/或，各个待识别对象与第一对象同时出现的概率，其中第一对象与该样本视频中与待识别对象位于同一影像中的对象)，然后，第一模型根据初步识别结果以及统计信息输出一个识别结果，然后根据该识别结果对模型参数进行调整，并根据调整后的模型参数对下一个样本视频数据对应的初步识别结果和统计信息进行处理，依此类推，直至满足预设的训练结束条件。

训练第二模型的过程可以为：对于每一个样本视频数据，直接将该样本视频数据，以及该样本视频数据的相关参数输入到第二模型，该第二模型根据该样本视频数据，以及该样本视频数据的相关参数输出一个识别结果，然后根据该识别结果对模型参数进行调整，并根据调整后的模型参数对下一个样本视频数据以及相关参数进行处理，依此类推，直至满足预设的训练结束条件。

与上述本申请提供的一种识别方法实施例相对应的，本申请还提供了应用该识别方法的电子设备实施例。

如图2所示，为本申请实施例提供的电子设备的一种结构示意图，该电子设备可以包括以下结构：

存储器21和处理器22；其中，

存储器21用于至少存储一组指令集；

处理器22用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：

获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数；

根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；

基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份。

在一可选的实施例中，处理器22根据所述视频数据的相关参数，执行辅助识别步骤时，可以用于：

依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，所述输出结果表征所述待识别对象的身份。

在一可选的实施例中，处理器22依据预先训练好的模型，对所述相关参数进行处理，得到输出结果时，具体可以用于：

依据所述视频数据获取得到相关参数；

依据预先训练好的第一模型，对所述初步识别结果和所述相关参数进行处理，得到输出结果。

在一可选的实施例中，处理器22依据预先训练好的模型，对所述相关参数进行处理，得到输出结果时，具体可以用于：

依据所述视频数据获取得到相关参数；

依据预先训练好的第二模型，对所述视频数据以及所述相关参数进行处理，得到输出结果。

在一可选的实施例中，处理器22依据所述视频数据获取得到相关参数时，可以用于：

分析所述视频数据，得到采集所述视频数据时生成的第一参数；

和/或

分析所述视频数据，得到第一影像，所述第一影像中包含第一对象以及所述待识别对象；依据所述第一对象获取第二参数，所述第二参数表征所述第一对象的身份。

本申请提供的电子设备可以用于企业考勤监控场景中，在该场景中，考勤监控系统具有图像采集单元，用于采集视频，所采集的视频中包括待识别人物的脸部或眼部图像。下面以脸部图像为例进行说明。

对于每一个人物的视频，该视频中至少有一帧影像包含待识别人物。当基于该视频进行员工识别时，先从包含待识别人物的影像中提取待识别人物的脸部特征，然后，将该待识别人物的脸部特征与特征数据库中各个员工的脸部特征进行比对，以确定待识别人物与各个员工的相似度，若待识别人物与第一员工的相似度最大，且待识别人物与第一员工的相似度大于预设阈值，则可以确定待识别人物为第一员工；若待识别人物与各个员工的相似度均小于预设阈值，可以认为待识别人物的身份未知，即无法确定该待识别人物是哪一个员工，或者该待识别人物不是企业员工。

当待识别人物的身份未知时，获取视频的相关参数，将该相关参数以及待识别人物与各个员工的相似度输入预先训练好的第一模型，得到待识别人物与各个员工的新的相似度，根据该新的相似度确定待识别人物的身份：若待识别人物与第一员工的新的相似度最大，且待识别人物与第一员工的新的相似度大于预设阈值，则可以确定待识别人物为第一员工；若待识别人物与各个员工的新的相似度均小于预设阈值，可以认为待识别人物的身份未知，即无法确定该待识别人物是哪一个员工，或者该待识别人物不是企业员工。

或者，

当待识别人物的身份未知时，获取视频的相关参数，将该相关参数以及视频输入预先训练好的第二模型，得到待识别人物与各个员工的新的相似度，根据该新的相似度确定待识别人物的身份：若待识别人物与第一员工的新的相似度最大，且待识别人物与第一员工的新的相似度大于预设阈值，则可以确定待识别人物为第一员工；若待识别人物与各个员工的新的相似度均小于预设阈值，可以认为待识别人物的身份未知，即无法确定该待识别人物是哪一个员工，或者该待识别人物不是企业员工。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

对所提供的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种识别方法，包括：

获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数，所述相关参数是非图像特征；

根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；

基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份；

其中，获取得到视频数据的相关参数包括：

分析所述视频数据，得到采集所述视频数据时生成的第一参数，所述第一参数包括视频数据的采集时间和/或采集地点；

和/或，分析所述视频数据，得到第一影像，所述第一影像中包含第一对象以及所述待识别对象，依据所述第一对象获取第二参数，所述第二参数表征所述第一对象的身份。

2.根据权利要求1所述的方法，所述根据所述视频数据的相关参数，执行辅助识别步骤，包括：

依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，所述输出结果表征所述待识别对象的身份。

3.根据权利要求2所述的方法，所述依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，具体包括：

依据所述视频数据获取得到相关参数；

依据预先训练好的第一模型，对所述初步识别结果和所述相关参数进行处理，得到输出结果。

4.根据权利要求2所述的方法，所述依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，具体包括：

依据所述视频数据获取得到相关参数；

依据预先训练好的第二模型，对所述视频数据以及所述相关参数进行处理，得到输出结果。

5.一种电子设备，包括：

存储器，用于至少存储一组指令集；

处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：

获取视频数据，所述视频数据中包含至少一帧含有待识别对象的影像以及相关参数，所述相关参数是非图像特征；

根据预设的识别规则识别所述含有待识别对象的影像，得到初步识别结果；

基于所述初步识别结果不满足预设条件，根据所述视频数据的相关参数，执行辅助识别步骤，得到所述视频数据中的待识别对象的身份；

其中，获取得到视频数据的相关参数包括：

分析所述视频数据，得到采集所述视频数据时生成的第一参数，所述第一参数包括视频数据的采集时间和/或采集地点；

和/或，分析所述视频数据，得到第一影像，所述第一影像中包含第一对象以及所述待识别对象，依据所述第一对象获取第二参数，所述第二参数表征所述第一对象的身份。

6.根据权利要求5所述的电子设备，所述处理器根据所述视频数据的相关参数，执行辅助识别步骤时，用于：

依据预先训练好的模型，对所述相关参数进行处理，得到输出结果，所述输出结果表征所述待识别对象的身份。

7.根据权利要求6所述的电子设备，所述处理器依据预先训练好的模型，对所述相关参数进行处理，得到输出结果时，具体用于：

依据所述视频数据获取得到相关参数；

依据预先训练好的第一模型，对所述初步识别结果和所述相关参数进行处理，得到输出结果。

8.根据权利要求6所述的电子设备，所述处理器依据预先训练好的模型，对所述相关参数进行处理，得到输出结果时，具体用于：

依据所述视频数据获取得到相关参数；

依据预先训练好的第二模型，对所述视频数据以及所述相关参数进行处理，得到输出结果。

Images