CN101635029A

CN101635029A - 一种人脸识别方法与移动终端

Info

Publication number: CN101635029A
Application number: CN200910085797A
Authority: CN
Inventors: 何菊
Original assignee: Vimicro Corp
Current assignee: Vimicro Corp
Priority date: 2009-06-01
Filing date: 2009-06-01
Publication date: 2010-01-27

Abstract

本发明公开了一种人脸识别方法与移动终端。本发明方法包括：移动终端获取摄像头输出的视频图像的图像数据，并从图像数据中提取亮度数据；根据亮度数据，使用人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；根据被识别人脸的对应视频图像的大小、移动终端的屏幕大小及被识别人脸在对应视频图像中的坐标位置，确定出被识别的人脸在移动终端的屏幕上的显示大小和显示位置，在移动终端屏幕上显示出被识别的人脸。采用本发明的方法与系统，能通过移动终端低成本地实现人脸识别。

Description

一种人脸识别方法与移动终端

技术领域

本发明涉及图像处理，尤其涉及一种移动终端，以及使用移动终端根据视频图像进行人脸识别的方法。

背景技术

随着计算机及图像处理技术的发展，人脸识别技术已比较成熟。根据输入的视频图像，提取图像数据中的亮度分量数据，根据亮度数据计算出人脸特征点(眼睛、眉毛、鼻子和嘴巴等)，再匹配人脸模型中的相应特征点位置，从而识别出人脸。

现有技术中，实现人脸识别一般采用专门的处理芯片及相应的显示装置。由该专门的处理芯片对输入的图像进行处理，再通过相应的显示装置显示识别出的人脸。该种专门的处理芯片成本比较高。

现有技术中，已有比较成熟的人脸识别算法软件，能较准确地实现人脸识别，本申请的申请人在之前的多个相关专利申请中，也公开了多种实现人脸识别的算法。

随着移动终端的普及和人脸识别应用场景的拓展，如何以较低的成本在移动终端中实现人脸识别功能，是业界渴望解决的一个问题。

发明内容

本发明提供一种人脸识别方法与移动终端，实现通过移动终端进行人脸识别。

本发明提供的人脸识别方法，包括：

移动终端获取摄像头输出的视频图像的图像数据，并从所述图像数据中提取亮度数据；

移动终端根据所述亮度数据，使用人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；

根据所述对应视频图像的大小、移动终端的屏幕大小及所述坐标位置，确定出被识别的人脸在所述移动终端的屏幕上的显示大小和显示位置；

按照确定出的显示大小和显示位置在所述移动终端的屏幕上显示出被识别的人脸。

本发明还提供一种移动终端，包括：

摄像头，用于获取视频图像，并输出图像数据；

图像亮度数据获取单元，用于获取摄像头输出的图像数据，并从所述图像数据中提取亮度数据；

人脸识别模块，用于根据提取的所述亮度数据，使用人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；

显示确定模块，用于根据所述对应视频图像的大小、移动终端的屏幕大小及所述坐标位置，确定出被识别的人脸在所述移动终端的屏幕上的显示大小和显示位置；

显示模块，用于按照确定出的显示大小和显示位置在所述移动终端的屏幕上显示出被识别的人脸。

本发明通过移动终端获取摄像头输出的视频图像的图像数据，并从所述图像数据中提取亮度数据；根据亮度数据，使用已有的各种人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；再根据视频图像的大小、移动终端的屏幕大小及被识别的人脸在视频图像中的坐标位置，确定出被识别的人脸在移动终端的屏幕上的显示大小和显示位置；从而显示出被识别的人脸。采用本发明提供的上述方法，由于仅需提取图像的亮度数据进行处理，计算处理相对较简单；根据获取的图像亮度数据，利用现有技术中已有的各种人脸识别算法，定位出被识别的人脸，无需在移动终端中新增功能强大的硬件或芯片来实现人脸识别，实现成本较低；本发明通过对识别出的人脸进行坐标位置的变换，就可以利用移动终端已有的显示屏幕显示出被识别的人脸，充分利用了移动终端的已有硬件，进一步降低了实现成本，相应地增强了移动终端的功能。

进一步，本发明识别出人脸在对应视频图像中的坐标位置后，可以根据视频图像的大小、移动终端的屏幕大小及被识别的人脸在视频图像中的坐标位置，确定出被识别的人脸在移动终端的屏幕上的显示大小和显示位置；普遍适应于具有各种不同显示屏幕大小的各类型移动终端，具备通用性。

附图说明

图1为本发明实施例提供的人脸识别方法流程图；

图2为本发明实施例提供的移动终端结构示意图。

具体实施方式

本发明提供一种通过移动终端实现人脸识别方法及移动终端。

下面结合附图，对本发明提供的人脸识别方法流程，以及具备人脸识别功能的移动终端的结构进行详细描述。

参见图1，本发明实施例提供的人脸识别方法流程图，包括：

步骤S101、获取摄像头输出的视频图像的图像数据，并从图像数据中提取亮度数据；

步骤S102、根据提取的亮度数据，使用人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；

步骤S103、根据被识别的人脸对应的视频图像的大小、移动终端的屏幕大小、以及被识别的人脸在对应视频图像中的坐标位置，确定出被识别的人脸在移动终端屏幕上的显示大小和显示位置；

步骤S104、按照确定出的显示大小和显示位置在移动终端屏幕上显示出被识别的人脸。

图1所示人脸识别方法流程的具体说明如下：

首先使用摄像头获取视频图像，并输出视频图像的图像数据。一般移动终端都具备照相功能，自带摄像头，并能输出视频图像的图像数据。本发明为了实现人脸识别，需要从图像数据中提取亮度分量，即提取图像数据中亮度数据。由于现有技术中不同的移动终端其硬件结构及功能不同，因此，根据不同结构及功能的移动终端，可以有如下的几种实现方式：

一、当移动终端的摄像头输出的图像数据为YUV(Y表示亮度，U、V分别是色彩偏差)格式的图像数据，且移动终端中已经设置有与输出的YUV图像数据信号具有相同时序结构的时序电路时，可以利用移动终端中已有的时序电路来接收摄像头输出的YUV格式的图像数据，直接提取Y数据(即图像亮度数据)，用于人脸识别。

二、当移动终端的摄像头输出的图像数据为YUV格式的图像数据，但移动终端中未设置有与输出的YUV图像数据信号具有相同时序结构的时序电路时，需要使用一多媒体物理芯片，该多媒体物理芯片中包含有与输出的YUV图像数据信号具有相同时序结构的时序电路，通过该多媒体芯片中的时序电路获取摄像头输出的YUV格式的图像数据，并从中提取亮度数据。现有技术中，能实现该种功能的多媒体物理芯片有很多种类型。实际应用中，只需选用一种具有与摄像头输出的YUV图像数据信号具有相同时序结构的时序电路的多媒体芯片，并集成到移动终端中，接收摄像头输出的图像数据，就可以实现获取图像数据的亮度数据。

三、当移动终端的摄像头输出的图像数据为RGB(Red Green Blue，红绿蓝)格式的图像数据，且移动终端中未设置与YUV图像数据信号具有相同时序结构的时序电路时，需要使用一多媒体物理芯片，该种多媒体物理芯片中需要包含图像格式转换单元，以及与YUV图像数据具有相同时序结构的时序电路；由其中的图像格式转换单元将摄像头输出的GRB格式的图像数据转换为YUV格式的图像数据，再由其中的时序电路获取转换后的YUV格式的图像数据，并从中提取亮度数据。将RGB格式的图像数据转换为YUV格式的图像数据的具体转换方法为现有技术，本发明对此不作详细描述。

提取到视频图像的亮度数据后，就可以使用现有技术中的各种人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置。本发明对具体采用哪种人脸识别算法不作限定。实际应用中，人脸识别算法的对应软件程序可以存储在移动终端的软件系统中，并接受移动终端的基带(Base band)单元(包含有CPU的主控单元)的统一控制。

下面给出一种人脸识别控制的具体实现方式：

由移动终端中的CPU启动一个独立的控制进程，用于进行人脸识别。该进程启动后，发一个启动消息给设置的软件定时器，由该定时器定时获取亮度数据，并存储到缓存区中。为了实现亮度数据的有序存储并使用存储的亮度数据进行人脸识别，可以设置两个缓存区(为描述方便，下文称之为第一缓存区和第二缓存区)。首先，定时器将获取的亮度数据存入第一缓存区中，当第一缓存区存满后，发一个开始计算消息，启动人脸识别算法进程，由人脸识别算法进程根据第一缓存区中存储的亮度数据及人脸识别算法进行人脸识别；同时，定时器将后续获取的亮度数据存入第二缓存区中，直至第二缓存区存满。当人脸识别算法进程已使用完第一缓存区中的亮度数据进行人脸识别后，清空该第一缓存区中存储的亮度数据并通知定时器，定时器在第二缓存区存满后，可以再次使用已被清空的第一缓存区存储后续获取的亮度数据。对于第二缓存区，采用与第一缓存区相同的处理方式。这样，第一缓存区与第二缓存区可以实现乒乓使用，轮流存储由定时器获取的图像的亮度数据，并轮流输出存储的亮度数据给人脸识别算法进程使用。

由于定时器获取亮度数据存入到第一缓存区和第二缓存区所需要的时长，与人脸识别算法进程进行人脸识别所需要的处理时长之间，没有时间上的相互制约关系，因此，有可能存在第一缓存区和第二缓存区都已存满的状态，在这种情况下，为减少占用的CPU资源，可以暂时关闭定时器；直至任一缓存区为空后，再启动定时器获取亮度数据。

输出亮度数据给人脸识别算法进程后，使用人脸识别算法，就可以确定出被识别的人脸在对应视频图像中的坐标位置。由于本发明需要通过移动终端的屏幕来显示出被识别出的人脸，而使用人脸识别算法得到的是被识别的人脸在摄像头拍摄的视频图像中的对应坐标位置，因此，为了通过移动终端的屏幕展示出被识别的人脸，还根据进行人脸的坐标转换，确定出被识别的人脸在移动终端的屏幕上的显示大小和显示位置，以便通过移动终端的屏幕能够完整地显示出被识别了人脸。

具体的坐标转换方法为：

假设摄像头拍摄的原始视频图像的宽度表示为capsizeW，原始视频图像的高度表示为capsizeH；为了使得从原始视频图像中定位出的人脸能够不变形地显示在移动终端的屏幕上，且由于摄像头拍摄的原始视频图像的大小一般都大于移动终端显示屏幕的大小，因此，还需要对原始视频图像进行正比例缩小，使正比例缩小后的图像不大于移动终端实际能够显示的图像大小，假设原始视频图像正比例缩小后的宽度表示为FaceDW，原始视频图像正比例缩小后的高度表示为FaceDH；

假设移动终端屏幕的取景框的宽度表示为SPanelW，移动终端屏幕的取景框的高度表示为SPanelH；移动终端屏幕实际显示的大小为取景框正比例缩小以后的对应尺寸，其中，移动终端屏幕实际显示的宽度表示为PanelW，移动终端屏幕实际显示的高度表示为PanelH；

假设进行坐标转换后，在移动终端屏幕上显示的被识别人脸的宽度为W_后；使用人脸识别算法确定出的被识别人脸在对应的原始视频图像中的宽度为W_原；假设进行坐标转换后，在移动终端屏幕上显示的被识别人脸的高度为H_后；使用人脸识别算法确定出的被识别人脸在对应的原始视频图像中的主度为H_原；

则坐标转换的计算规则如下：

W_后＝W_原×capsizeW×PanelW/FaceDW/SPanelW；式(1)

H_后＝H_原×capsizeH×PanelH/FaceDH/SPanelH；式(2)

举一个具体的例子，假设原始拍摄的视频图像大小为640×480，即capsizeW＝640，capsizeH＝480；原始视频图像正比例缩小后，对应的FaceDW＝160，FaceDH＝120，即正比例缩小为原来的1/4；假设移动终端屏幕的取景框的宽度SPanelW＝360，高度SPanelH＝480；移动终端屏幕实际显示的宽度PanelW＝240，高度PanelH＝320，即正比例缩小为取景框的2/3；

根据式(1)，W_后＝W_原×640×240/160/360＝2.67W_原；

根据式(2)，H_后＝H_原×480×320/120/480＝2.67H_原。

由此可见，在移动终端屏幕上显示出的被识别的人脸，相对于原始拍摄图像中的被识别人脸，在宽度和高度上都放大了2.67倍，实现了对被识别人脸的不变形的放大显示。

通过式(1)和式(2)，只确定出了被识别的人脸在移动终端屏幕上的显示大小；同时还需要确定出被识别的人脸在移动终端屏幕上的显示位置。假设以被识别人脸在对应的原始视频图像中的左上角点为偏移参考点，该参考点在原始视频图像中的宽度偏移值为X_前，该参考点在原始视频图像中的高度偏移值为Y_前，该参考点在移动终端的显示屏幕中的宽度偏移值为X_后，该参考点在移动终端的显示屏幕中的高度偏移值Y_后，则有：

X_后＝X_前×capsizeW×PanelW/FaceDW/SPanelW；式(3)

Y_后＝Y_前×capsizeH×PanelH/FaceDH/SPanelH；式(4)

根据上式(3)计算出的X_后，再与根据下式(5)计算出的X_后’进行比较，

X_后’＝(capsizeW×PanelW/SPanelW-PanelW)/2 式(5)

当X_后大于X_后’时，则使：

X_后＝(capsizeW×PanelW/SPanelW-PanelW)/2；式(6)

否则，使：

X_后＝0；式(7)

根据式(4)确定出被识别人脸在移动终端的显示屏幕中的高度偏移值，根据式(6)或式(7)确定出被识别人脸在移动终端的显示屏幕中的宽度偏移值。

仍采用上述具体例子：

根据式(3)，X_后＝X_前×640×240/160/360＝2.67X_前；

根据式(4)，Y_后＝Y_前×480×320/120/480＝2.67Y_前；

根据式(5)，X_后’＝(640×240/360-240)/2＝93.3；

由此可见，被识别的人脸在移动终端的显示屏幕中的高度偏移值为其在原始拍摄图像中高度偏移量的2.67倍，与人脸显示时的放大倍数相同。而宽度方向，由于原始拍摄图像为宽度大、高度小的横向图像，而例子中移动终端的显示屏幕为宽度小、高度大的纵向图像，所以宽度方向的偏移量不能是简单的倍数关系，需要将式(3)的计算结果与式(5)的计算结果比较，并根据比较结果，按照式(6)或式(7)确定具体的宽度偏移值。

通过上述坐标变换，确定出被识别人脸在移动终端的显示屏幕中的显示大小和显示位置后，就可以按照确定出的显示大小和显示位置在移动终端的屏幕上显示出被识别的人脸，从而实现通过移动终端进行人脸识别。根据上述坐标变换的方法描述可知，本发明适应于具有各种不同显示屏幕大小的各类型移动终端，具备通用性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读取存储介质中，如：ROM/RAM、磁碟、光盘等。

基于同一发明构思，本发明实施例还提供一种能进行人脸识别的移动终端，其结构示意图如图2所示，包括：

摄像头21，用于获取视频图像，并输出图像数据；

图像亮度数据获取单元22，用于获取摄像头输出的图像数据，并从图像数据中提取亮度数据；

人脸识别模块23，用于根据提取的亮度数据，使用人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；

显示确定模块24，用于根据被识别的人脸对应的视频图像的大小、移动终端的屏幕大小及被识别的人脸在对应视频图像中的坐标位置，确定出被识别的人脸在移动终端的屏幕上的显示大小和显示位置；

显示模块25，用于按照确定出的显示大小和显示位置在移动终端的屏幕上显示出被识别的人脸。

一实施例中，图像亮度数据获取单元22为一多媒体物理芯片，该多媒体物理芯片中包含有与摄像头21输出的YUV图像数据具有相同时序结构的时序电路；由时序电路获取摄像头21输出的YUV格式的图像数据，并从图像数据中提取亮度数据。

另一实施例中，图像亮度数据获取单元22为包含有图像格式转换单元以及与YUV图像数据具有相同时序结构的时序电路的物理芯片；其中的图像格式转换单元获取摄像头21输出的GRB格式的图像数据并转换为YUV格式的图像数据，由其中的时序电路获取转换后的YUV格式的图像数据，并从中提取亮度数据。

实际应用中，人脸识别模块23、显示确定模块24和显示模块25都可以为软件模块，集成于移动终端的软件系统中。

综上所述，本发明通过获取摄像头输出的视频图像的图像数据，并提取亮度数据，使用已有的各种人脸识别算法，确定出被识别的人脸在对应视频图像中的坐标位置；再通过坐标转换，在移动终端的屏幕上显示出被识别的人脸。由于仅需提取图像的亮度数据进行处理，并利用现有技术中已有的各种人脸识别算法，定位出被识别的人脸，无需在移动终端中新增功能强大的硬件或芯片，低成本地实现了通过移动终端进行人脸识别。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1、一种人脸识别方法，其特征在于，包括：

2、如权利要求1所述的方法，其特征在于，所述获取摄像头输出的视频图像的图像数据，并从所述图像数据中提取亮度数据；具体包括：

使用一多媒体物理芯片，由所述多媒体物理芯片中包含的与输出的YUV图像数据信号具有相同时序结构的时序电路获取摄像头输出的YUV格式的图像数据，并从所述图像数据中提取亮度数据。

3、如权利要求1所述的方法，其特征在于，所述获取摄像头输出的视频图像的图像数据，并从所述图像数据中提取亮度数据；具体包括：

使用一多媒体物理芯片，由所述多媒体物理芯片中包含的图像格式转换单元将所述摄像头输出的GRB格式的图像数据转换为YUV格式的图像数据，以及由所述多媒体物理芯片中包含的与输出的YUV图像数据信号具有相同时序结构的时序电路获取转换后的YUV格式的图像数据，并从中提取亮度数据。

4、如权利要求1-3任一所述的方法，其特征在于，所述从所述图像数据中提取亮度数据，具体包括：

使用一定时器，定时获取亮度数据，并存储到缓存区中。

5、如权利要求4所述的方法，其特征在于，所述存储到缓存区域中，具体包括：

使用两个缓存区，当其中一个缓存区存满后，切换到另一个缓存区；且任一缓存区存满后，使用其存储的亮度数据进行人脸识别，并在识别完成后，清空该缓存区。

6、如权利要求5所述的方法，其特征在于，若两个缓存区都已存满，则关闭所述定时器；直至任一缓存区为空后，再启动所述定时器。

7、一种移动终端，其特征在于，包括：

摄像头，用于获取视频图像，并输出图像数据；

8、如权利要求7所述的移动终端，其特征在于，所述图像亮度数据获取单元为一多媒体物理芯片，所述多媒体物理芯片中包含有与所述摄像头输出的YUV图像数据具有相同时序结构的时序电路；所述时序电路获取摄像头输出的YUV格式的图像数据，并从所述图像数据中提取亮度数据。

9、如权利要求7所述的移动终端，其特征在于，所述图像亮度数据获取单元为多媒体物理芯片，所述多媒体物理芯片中包含图像格式转换单元以及与YUV图像数据具有相同时序结构的时序电路；所述图像格式转换单元将所述获取摄像头输出的GRB格式的图像数据转换为YUV格式的图像数据，所述时序电路获取转换后的YUV格式的图像数据，并从中提取亮度数据。

10、如权利要求7-9任一所述的移动终端，其特征在于，所述人脸识别模块、显示确定模块和显示模块为软件模块。