CN111368674B - 图像识别方法及装置 - Google Patents

Abstract

本发明公开了一种图像识别方法及装置，其中，该方法包括：获取待识别图像，并识别图像中的人脸区域；基于人脸检测算法识别人脸区域中的多个特征点；根据预定规则和多个特征点确定特定特征信息；将特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别待识别图像。通过本发明，可以提高图像识别效率，从而提高用户的体验感。

Description

图像识别方法及装置

技术领域

本发明涉及图像识别领域，具体涉及一种图像识别方法及装置。

背景技术

随着生物识别技术的发展，尤其是对无感支付的良好体验的追求，人脸识别技术在刷脸支付等场景得到了广泛应用。在刷脸支付等需要进行人脸搜索的场景中，通常需要在N个人脸照中搜索当前人脸照的用户归属，如通过一一比对的方法搜索，由于图片比对算法的效率较低且需比对的照片数量较大，因而会导致搜索效率低下，严重影响用户体验。

发明内容

有鉴于此，本发明提供一种图像识别方法及装置，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种图像识别方法，所述方法包括：获取待识别图像，并识别图像中的人脸区域；基于人脸检测算法识别所述人脸区域中的多个特征点；根据预定规则和所述多个特征点确定特定特征信息；将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像。

上述基于人脸检测算法识别所述人脸区域中的多个特征点包括：基于人脸检测算法识别所述人脸区域中的特征区域；在所述特征区域中确定预定数量的多个特征点。

上述根据预定规则和所述多个特征点确定特定特征信息包括：根据预定规则从所述多个特征点中选择特定特征点；根据所述特定特征点的位置信息确定所述特定特征信息。

上述将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像包括：将所述特定特征信息与所述特征库存储的特征信息进行比对操作；当比对操作结果中存在与所述特定特征信息的相似度超过预定阈值的特征信息时，所述待识别图像识别成功。

所述特征库的特征信息基于特征类别进行分类，将所述特定特征信息与所述特征库存储的特征信息进行比对操作包括：将所述特定特征信息与所述特征库中对应类别的特征信息进行比对操作。

根据本发明的第二方面，提供一种图像识别装置，所述装置包括：图像获取单元，用于获取待识别图像；人脸区域识别单元，用于识别图像中的人脸区域；特征点识别单元，用于基于人脸检测算法识别所述人脸区域中的多个特征点；特征信息确定单元，用于根据预定规则和所述多个特征点确定特定特征信息；识别单元，用于将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像。

上述特征点识别单元包括：特征区域识别模块，用于基于人脸检测算法识别所述人脸区域中的特征区域；特征点识别模块，用于在所述特征区域中确定预定数量的多个特征点。

上述特征信息确定单元包括：特定特征点选择模块，用于根据预定规则从所述多个特征点中选择特定特征点；特征信息确定模块，用于根据所述特定特征点的位置信息确定所述特定特征信息。

上述识别单元包括：比对模块，用于将所述特定特征信息与所述特征库存储的特征信息进行比对操作；识别模块，用于当比对操作结果中存在与所述特定特征信息的相似度超过预定阈值的特征信息时，所述待识别图像识别成功。

上述特征库的特征信息基于特征类别进行分类，所述比对模块具体用于：将所述特定特征信息与所述特征库中对应类别的特征信息进行比对操作。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图像识别方法的步骤。

根据本发明的第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像识别方法的步骤。

由上述技术方案可知，通过识别获取的待识别图像中的人脸区域，并根据预定规则和识别的人脸区域中的多个特征点确定特定特征信息，之后将特定特征信息与特征库中存储的特征信息进行比对操作，以此来识别图像，由于仅通过人脸区域中的特定特征进行识别，因而可以提高图像识别效率，从而提高用户的体验感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的图像识别方法的流程图；

图2是根据本发明实施例的图像识别装置的结构框图；

图3是根据本发明实施例的特征点识别单元23的结构框图；

图4是根据本发明实施例的特征信息确定单元24的结构框图；

图5是根据本发明实施例的识别单元25的结构框图；

图6是根据本发明实施例的图像识别装置的示例结构图；

图7是根据本发明实施例的基于图6所示结构的图像识别流程图；

图8是根据本发明实施例的特征点位置示意图；

图9是根据本发明实施例的电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在目前的刷脸支付等进行人脸搜索的场景中，由于图片比对算法的效率较低且需比对的照片数量较大，因而会导致搜索效率低下，严重影响用户体验。基于此，本发明实施例基于面部关键特征检测技术，提供了一种图像识别方案，以提高图像识别效率，从而提高用户的体验感。

图1是根据本发明实施例的图像识别方法的流程图，如图1所示，该方法包括：

步骤101，获取待识别图像，并识别图像中的人脸区域。

步骤102，基于人脸检测算法识别所述人脸区域中的多个特征点。

具体地，先基于人脸检测算法识别所述人脸区域中的特征区域；之后，在所述特征区域中确定预定数量的多个特征点。

这里的人脸检测算法可以是Opencv(一个跨平台计算机视觉库)或DLIB(一种人脸检测软件)识别算法，可以实现对人脸图像上的眼睛、嘴巴等进行不同的特征描述，如杏眼、圆眼、厚嘴唇、薄嘴唇等。

步骤103，根据预定规则和所述多个特征点确定特定特征信息。

具体而言，根据预定规则从所述多个特征点中选择特定特征点；之后根据所述特定特征点的位置信息确定所述特定特征信息。

例如，可以根据眼睛区域的不同特征点的位置信息确定该眼睛的特征信息，如杏眼、圆眼等。

这里的预定规则可以是，例如，选择眼睛、嘴巴等区域作为特定特征点的选择区域。

步骤104，将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像。

具体而言，将所述特定特征信息与所述特征库存储的特征信息进行比对操作；当比对操作结果中存在与所述特定特征信息的相似度超过预定阈值(例如，90％)的特征信息时，表示待识别图像识别成功。

通过识别获取的待识别图像中的人脸区域，并根据预定规则和识别的人脸区域中的多个特征点确定特定特征信息，之后将特定特征信息与特征库中存储的特征信息进行比对操作，以此来识别图像，由于仅通过人脸区域中的特定特征进行识别，因而可以提高图像识别效率，从而可以提高用户的体验感。

优选地，特征库的特征信息可以基于特征类别(例如，杏眼、圆眼、厚嘴唇、薄嘴唇等)进行分类，这样在执行比对操作时，可以将所述特定特征信息与所述特征库中对应类别的特征信息进行比对操作，从而可以提高比对效率，进一步提高图像识别效率。

基于相似的发明构思，本发明实施例还提供一种图像识别装置，优选地，该装置用于实现上述方法实施例中的流程。

图2是根据本发明实施例的图像识别装置的结构框图，如图2所示，该装置包括：图像获取单元21、人脸区域识别单元22、特征点识别单元23、特征信息确定单元24和识别单元25，其中：

图像获取单元21，用于获取待识别图像；

人脸区域识别单元22，用于识别图像中的人脸区域；

特征点识别单元23，用于基于人脸检测算法识别所述人脸区域中的多个特征点；

特征信息确定单元24，用于根据预定规则和所述多个特征点确定特定特征信息；

识别单元25，用于将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像。

通过人脸区域识别单元22识别图像获取单元21获取的待识别图像中的人脸区域，特征信息确定单元24根据预定规则和特征点识别单元23识别的人脸区域中的多个特征点确定特定特征信息，之后识别单元25将特定特征信息与特征库中存储的特征信息进行比对操作，以此来识别图像，由于仅通过人脸区域中的特定特征进行识别，因而可以提高图像识别效率，从而提高用户的体验感。

具体地，如图3所示，上述特征点识别单元23包括：特征区域识别模块231和特征点识别模块232，其中：特征区域识别模块231，用于基于人脸检测算法识别所述人脸区域中的特征区域；特征点识别模块232，用于在所述特征区域中确定预定数量的多个特征点。

如图4所示，特征信息确定单元24包括：特定特征点选择模块241和特征信息确定模块242，其中：特定特征点选择模块241，用于根据预定规则从所述多个特征点中选择特定特征点；特征信息确定模块242，用于根据所述特定特征点的位置信息确定所述特定特征信息。

如图5所示，识别单元25包括：比对模块251和识别模块252，其中：

比对模块251，用于将所述特定特征信息与所述特征库存储的特征信息进行比对操作。优选地，特征库的特征信息可以基于特征类别进行分类。因而，比对模块251可以将所述特定特征信息与所述特征库中对应类别的特征信息进行比对操作，这样可以减少比对信息，提高比对效率，从而可以进一步提高图像识别效率，提高用户的体验感。

识别模块252，用于当比对操作结果中存在与所述特定特征信息的相似度超过预定阈值的特征信息时，表示待识别图像识别成功，返回该特征信息对应的用户信息。

上述各单元、各模块的具体执行过程，可以参见上述方法实施例中的描述，此处不再赘述。

在实际操作中，上述各单元、各模块可以组合设置、也可以单一设置，本发明不限于此。

为了更好地理解本发明实施例，以下结合图6给出图像识别装置的具体实施例。

图6是根据本发明实施例的图像识别装置的示例结构图，如图6所示，该装置包括：参数设置单元1、人脸信息采集单元2、人脸信息处理单元3，以及人脸信息存储单元4。其中，参数设置单元1、人脸信息处理单元3与人脸信息存储单元4相连接，人脸信息采集单元2与人脸信息处理单元3相连接。以下分别详细描述各单元。

参数设置单元1，用于预先设置比对操作中的相似度阈值，即，设置进行比对的两个特征之间的相似度，例如，达到90％(即，阈值为90％)认为是同一人，将设置的相似度阈值保存在人脸信息存储单元4的参数存储模块41中。

人脸信息采集单元2，用于采集待识别的人脸图像(或称为照片)，并将所述人脸图像发送给人脸信息处理单元3。

人脸信息处理单元3，接收人脸信息采集单元2发送过来的人脸图像，完成人脸图像的特征串(即，特征区域)的计算、面部特征定位以及特征描述信息计算。该人脸信息处理单元3具体包括：主控模块31、特征串计算模块32、面部特征定位模块33、特征描述计算模块34以及特征串搜索模块35，其中：

主控模块31接收人脸信息采集单元2发送过来的人脸图像，调用其它模块完成人脸图像特征串的计算和特征描述信息的计算。

特征串计算模块32从主控模块31接收人脸图像信息，计算所述人脸图像信息的特征串，该特征串为特征区域，例如眼睛区域、嘴巴区域、鼻子区域等，并将所述特征串信息反馈给主控模块31。

具体而言，特征串为人脸的特征描述串，由多个特征点的位置与人脸区域截图组成。具体的计算过程包括：先用Opencv或DLIB识别出人脸，进行旋转与缩放到宽度为例如一百像素尺寸的人脸图片，之后使用Opencv或DLIB识别出人脸的多个特征点位置，最后将人脸截图与多个特征点的位置信息以特征的数据结构保存得到该特征串。

面部特征定位模块33从主控模块31接收人脸图像中的特征串信息，通过利用面部关键特征点检测技术(可使用DLIB等开源库实现)，识别人脸图像中预定数量(例如，68个)的特征点的位置信息，将特征点位置信息反馈给主控模块31。

特征描述计算模块34从主控模块31接收人脸特征点位置信息，计算人脸图像的特征描述信息并反馈给主控模块31。

具体地，特征描述信息的计算过程包括：将识别的68个特征点缩放与旋转对齐到指定的尺寸，再根据不同特征描述信息选取不同的特征点位置、距离比例等进行计算。最终得出的特征描述可以包括：眼睛的倾斜情况、嘴唇的厚度情况等特征描述信息。

特征串搜索模块35从主控模块31接收所述人脸图像的特征描述信息，利用特征描述信息在数据库中筛选符合当前特征描述信息的人脸图像集合，再利用特征比对，当匹配到特征相似度大于或等于相似度阈值时，表示匹配成功，返回该匹配到的用户信息。

人脸信息存储单元4，包括：参数存储模块41和人脸信息存储模块42。其中，参数存储模块41用于存储相似度阈值，例如，两张照片为同一人的相似度分数；人脸信息存储单元42存储人脸模板信息，包括：模板照片信息、模板特征串、特征描述信息，如嘴唇厚度、眼眼倾斜情况等描述信息。

图7是基于图6所示结构的图像识别流程图，如图7所示，该流程包括：

步骤701：人脸信息采集单元2完成人脸照片(即，上述人脸图像)的采集，并将采集的所述人脸照片发送给人脸信息处理单元3。

步骤702：人脸信息处理单元3的主控模块31接收人脸信息采集单元2发送的人脸照片，调用特征串计算模块32对所述人脸照片计算特征串，并将所述特征串反馈给主控模块31。

步骤703：主控模块31调用面部特征定位模块33，通过面部关键特征点检测技术，对面部特征点定位，即，识别人脸照片中的68个关键特征点信息，之后可以将多个特征点信息馈给主控模块31。

步骤704：主控模块31调用特征描述计算模块34，根据眼睛和嘴巴的位置信息，计算所述人脸中的眼睛倾斜、嘴唇厚度等特征描述信息。

具体地计算过程包括：使用Opencv或DLIB计算68个特征点的位置，之后选取眼角的两个坐标点进行计算，如左眼最左边的坐标为(X1,Y1)，左眼最右边的坐标为(X2,Y2),则眼睛的倾斜角度为(Y2-Y1)/(X2-X1)，并将计算结果发送给主控模块31。其他特征描述信息，例如，嘴巴、鼻子、脸型等，都可以通过相似计算来得到。

图8示出了多个特征点的位置，如图8所示，通过获取眼睛(或嘴巴)各特征点的坐标信息，就可以计算眼睛的倾斜角度(或嘴唇的厚度)，从而得到眼睛(或嘴巴)的特征描述信息。

步骤705：主控模块31根据步骤704计算的特征描述信息，从人脸信息存储单元查询获取该特征描述的人脸模板集合。

在数据库存储人脸特征信息时，可以增加特征描述字段，这样，在比对操作时，可以使用特征描述信息先进行过滤，如筛选眼睛倾斜角度在某个范围的记录等，之后，在筛选出的记录中进行比对操作，这样比对的数量比较少，可以提高比对效率，从而可以提高图像识别效率。

步骤706：对步骤705获得的人脸模板集合进行比对搜索，当匹配到相似度超过阈值的照片时，表示匹配成功，此时停止搜索；当未匹配到达到阈值的照片时，表示匹配失败，此时退出搜索。

步骤707：返回搜索结果。

由以上描述可知，通过根据用户的面部特征预先建立特征库(或称为数据库)，在对人脸照片进行识别时，可以先识别眼睛、嘴巴等特征描述信息，再利用特征描述信息在特征库中进行检索和比对，可以减少人脸特征的比对次数，提高搜索比对效率，从而可以提升用户体验。

图9是根据本发明实施例的电子设备的示意图。图9所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器901和存储器902。处理器901和存储器902通过总线903连接。存储器902适于存储处理器901可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器901执行以实现上述图像识别方法中的步骤。

上述处理器901可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器901通过执行存储器902所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线903将上述多个组件连接在一起，同时将上述组件连接到显示控制器904和显示装置以及输入/输出(I/O)装置905。输入/输出(I/O)装置905可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置905通过输入/输出(I/O)控制器906与系统相连。

其中，存储器902可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述图像识别方法的步骤。

综上所述，本发明实施例提出了一种基于面部关键特征点检测技术的人脸搜索方案，在建立数据库时，预先对所有人脸照片增加特征描述信息，当识别人脸照片时，先识别人脸特征描述信息，计算人脸照片中眼睛倾斜情况、嘴唇厚度情况等特征描述信息，在根据数据库进行比对操作时，筛选符合特征描述的人脸照片集合，之后在该集合中进行比对操作，这样就可以减少比对过程中人脸特征的比对次数，提高搜索效率，从而可以提升用户体验感。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种图像识别方法，其特征在于，所述方法包括：

获取待识别图像，并识别图像中的人脸区域；

基于人脸检测算法识别所述人脸区域中的多个特征点；

根据预定规则和所述多个特征点确定特定特征信息；

将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像；

基于人脸检测算法识别所述人脸区域中的多个特征点包括：

基于人脸检测算法识别所述人脸区域中的特征区域；

在所述特征区域中确定预定数量的多个特征点；

将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像包括：

将所述特定特征信息与所述特征库存储的特征信息进行比对操作；

当比对操作结果中存在与所述特定特征信息的相似度超过预定阈值的特征信息时，所述待识别图像识别成功；

所述特征库的特征信息基于特征类别进行分类，将所述特定特征信息与所述特征库存储的特征信息进行比对操作包括：

将所述特定特征信息与所述特征库中对应类别的特征信息进行比对操作；

所述根据预定规则和所述多个特征点确定特定特征信息，包括：

根据预定规则从所述多个特征点中选择特定特征点；所述预定规则为：选择眼睛、嘴巴区域作为特定的特征点的选择区域；

根据所述特定特征点的位置信息确定所述特定特征信息；

当所述选择区域为眼睛区域时，所述根据预定规则和所述多个特征点确定特定特征信息，包括：

通过获取眼睛的各特征点的坐标信息，计算眼睛的倾斜角度作为眼睛的特征描述信息；

选取眼角的两个坐标点进行计算，左眼最左边的坐标为(X1,Y1)，左眼最右边的坐标为（X2,Y2）,眼睛的倾斜角度为(Y2-Y1)/(X2-X1)。

2.一种图像识别装置，其特征在于，所述装置包括：

图像获取单元，用于获取待识别图像；

人脸区域识别单元，用于识别图像中的人脸区域；

特征点识别单元，用于基于人脸检测算法识别所述人脸区域中的多个特征点；

特征信息确定单元，用于根据预定规则和所述多个特征点确定特定特征信息；

识别单元，用于将所述特定特征信息与预先存储的特征库中的特征信息进行比对操作，以识别所述待识别图像；

所述特征点识别单元包括：

特征区域识别模块，用于基于人脸检测算法识别所述人脸区域中的特征区域；

特征点识别模块，用于在所述特征区域中确定预定数量的多个特征点；

所述识别单元包括：

比对模块，用于将所述特定特征信息与所述特征库存储的特征信息进行比对操作；

识别模块，用于当比对操作结果中存在与所述特定特征信息的相似度超过预定阈值的特征信息时，所述待识别图像识别成功；

所述特征库的特征信息基于特征类别进行分类，所述比对模块具体用于：

将所述特定特征信息与所述特征库中对应类别的特征信息进行比对操作；

所述特征信息确定单元包括：

特定特征点选择模块，用于根据预定规则从所述多个特征点中选择特定特征点；所述预定规则为：选择眼睛、嘴巴区域作为特定的特征点的选择区域；

特征信息确定模块，用于根据所述特定特征点的位置信息确定所述特定特征信息；

当所述选择区域为眼睛区域时，所述特征信息确定单元具体用于：

通过获取眼睛的各特征点的坐标信息，计算眼睛的倾斜角度作为眼睛的特征描述信息；

选取眼角的两个坐标点进行计算，左眼最左边的坐标为(X1,Y1)，左眼最右边的坐标为（X2,Y2）,眼睛的倾斜角度为(Y2-Y1)/(X2-X1)。

3.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述图像识别方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1所述图像识别方法的步骤。