CN103971111B - 图像处理方法以及终端设备 - Google Patents

图像处理方法以及终端设备 Download PDF

Info

Publication number
CN103971111B
CN103971111B CN201310045007.0A CN201310045007A CN103971111B CN 103971111 B CN103971111 B CN 103971111B CN 201310045007 A CN201310045007 A CN 201310045007A CN 103971111 B CN103971111 B CN 103971111B
Authority
CN
China
Prior art keywords
image
reference object
facial area
face
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310045007.0A
Other languages
English (en)
Other versions
CN103971111A (zh
Inventor
刘思翔
张乃雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201310045007.0A priority Critical patent/CN103971111B/zh
Publication of CN103971111A publication Critical patent/CN103971111A/zh
Application granted granted Critical
Publication of CN103971111B publication Critical patent/CN103971111B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

图像处理方法和终端设备,所述图像处理方法应用于终端设备,所述终端设备包括用于拍摄图像的摄像头单元,所述图像处理方法包括:获得包含拍摄对象的第一图像;确定所述第一图像中的所述拍摄对象的面部区域,并基于所述面部区域产生第二图像;基于所述第二图像提取所述拍摄对象的面部纹理特征向量;根据预设的分类模型计算所述面部纹理特征向量与所述分类模型中的标准特征分类面之间的距离;以及基于所述距离判断所述拍摄对象的性别。

Description

图像处理方法以及终端设备
技术领域
本发明涉及一种图像处理方法以及应用该图像处理方法的终端设备。
背景技术
当前,诸如智能手机或平板电脑之类的终端设备大部分均配备摄像头模块以向终端设备的用户提供拍照功能。随着用户对照片质量的要求越来越高,对终端设备具有所拍摄的图像进行后期处理的功能的要求越来越高。例如,在用户使用终端设备拍摄人像时,往往需要对所拍摄的人像照片进行处理(如,消除红眼,皮肤美化)等等。这里,由于男性和女性的特征往往不一样,因此需要进行的后期处理也是不相同的。在这种情况下,如果用户需要对拍摄的照片进行处理,由于现有技术中的终端设备不能识别所拍摄的照片中的对象的性别,因此该用户不得手动选择性别并应用对应的处理,而这会大大增加用户操作的繁琐程度(尤其在大量照片的情况下),并且不利地降低用户的使用体验。因此,希望提供一种终端设备能够在摄像头单元拍摄照片之后自动识别所拍摄的照片的中对象(人像)的性别的技术。
发明内容
为了解决现有技术中的上述技术问题,根据本发明的一方面,提供一种图像处理方法,应用于终端设备,所述终端设备包括用于拍摄图像的摄像头单元,所述图像处理方法包括:获得包含拍摄对象的第一图像;确定所述第一图像中的所述拍摄对象的面部区域,并基于所述面部区域产生第二图像;基于所述第二图像提取所述拍摄对象的面部纹理特征向量;根据预设的分类模型计算所述面部纹理特征向量与所述分类模型中的标准特征分类面之间的距离;以及基于所述距离判断所述拍摄对象的性别。
此外,根据本发明的一个实施例,其中所述第二图像为标准面部图像;以及产生第二图像的步骤进一步包括:确定所述面部区域在第一图像中的倾斜角度以及所述面部区域的大小;基于所述面部区域在第一图像中的倾斜角度校正所述面部区域的倾斜;以及基于所述面部区域的大小执行所述面部区域的缩放以使所述面部区域与所述标准面部图像的大小一致。
此外,根据本发明的一个实施例,其中所述第二图像提取所述拍摄对象的面部纹理特征向量的步骤进一步包括:基于LBP模型从所述第二图像中产生所述面部纹理特征向量;以及将所述面部纹理特征向量进行归一化。
此外,根据本发明的一个实施例,其中所述标准特征分类面由预设的分类模型通过训练数据产生。
此外,根据本发明的一个实施例,其中基于所述距离判断所述拍摄对象的性别的步骤包括:通过预设的概率分布模型将所述距离转换为概率值;如果所述概率值高于第一阈值,则将所述拍摄对象判断为男性;如果所述概率值低于第二阈值,则将所述拍摄对象判断为女性,其中所述概率分布模型根据训练数据获得。
此外,根据本发明的另一方面,提供一种终端设备,包括:摄像头单元,配置来拍摄图像;以及处理单元,配置来对所述摄像头拍摄的图像进行分析,其中所述处理单元获得所述摄像头单元拍摄的包含拍摄对象的第一图像,确定所述第一图像中的所述拍摄对象的面部区域并基于所述面部区域产生第二图像,基于所述第二图像提取所述拍摄对象的面部纹理特征向量,根据预设的分类模型计算所述面部纹理特征向量与所述分类模型中的标准特征分类面之间的距离,并且基于所述距离判断所述拍摄对象的性别。
此外,根据本发明的一个实施例,其中所述第二图像为标准面部图像;以及在所述处理单元产生第二图像时,所述处理单元确定所述面部区域在第一图像中的倾斜角度以及所述面部区域的大小,基于所述面部区域在第一图像中的倾斜角度校正所述面部区域的倾斜,以及基于所述面部区域的大小执行所述面部区域的缩放以使所述面部区域与所述标准面部图像的大小一致。
此外,根据本发明的一个实施例,其中在基于所述第二图像提取所述拍摄对象的面部纹理特征向量时,所述处理单元基于LBP模型从所述第二图像中产生所述面部纹理特征向量,以及将所述面部纹理特征向量进行归一化。
此外,根据本发明的一个实施例,其中所述标准特征分类面由预设的分类模型通过训练数据产生。
此外,根据本发明的一个实施例,其中在基于所述距离判断所述拍摄对象的性别时,所述处理单元通过预设的概率分布模型将所述距离转换为概率值,其中如果所述概率值高于第一阈值,则所述处理单元将所述拍摄对象判断为男性;如果所述概率值低于第二阈值,则所述处理单元将所述拍摄对象判断为女性;以及所述概率分布模型根据训练数据获得。
附图说明
图1是图解根据本发明实施例的终端设备的示意方框图;
图2是图解所产生的标准面部图像的示意图;
图3A和图3B是图解不同性别的人像的面部纹理特征向量的示意图;以及
图4是图解根据本发明实施例的图像处理方法的示意流程图。
具体实施方式
将参照附图详细描述根据本发明的各个实施例。这里,需要注意的是,在附图中,将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分,并且将省略关于它们的重复描述。
下面将参照图1描述根据本发明实施例的终端设备。这里,根据本发明实施例的终端设备可以是诸如智能手机、平板电脑或笔记本之类的终端设备。
如图1所示,根据本发明实施例的终端设备1可以包括摄像头单元10以及处理单元11。
这里,摄像头单元10可以由任意的摄像头模块实现,并且用于拍摄对象(如,人物)并产生所拍摄的图像。
处理单元11可以由任意的处理器或微处理器实现。这里,处理单元11可以根据预设的程序或应用执行预定的处理。根据本发明的实施例,处理单元11可以对摄像头10拍摄的图像进行分析。例如,处理单元11可以获得摄像头单元10拍摄的包含拍摄对象(如,人物)的图像(下面称为第一图像),确定该第一图像中的拍摄对象的面部区域并基于面部区域产生面部图像(下面称为第二图像)。然后,处理单元11可以基于根据第二图像提取拍摄对象的面部纹理特征向量,根据预设的分类模型计算拍摄对象的面部纹理特征向量与特定的分类模型中的标准特征分类面之间的距离,并且基于该距离判断拍摄对象的性别。
下面,将详细描述处理单元11执行的操作。具体地,在终端设备1的用户通过使用终端设备1上提供的拍照应用拍摄照片时,通过摄像头单元10产生图像(照片)。
在这种情况下,处理单元11可以获得摄像头单元10拍摄图像,并且根据拍照应用中提供的功能(程序)对该图像进行分析以及后期处理。根据本发明的实施例,处理单元11可以基于拍照应用中所提供的功能来判断摄像头10拍摄的图像是否为包含拍摄对象(如,人物)的第一图像。这里,处理单元11可以基于任意的面部识别技术(如,利用类Haar特征、LBP特征或HOG特征的级联分类器)来执行判断步骤,由于上述面部识别技术对于本领域技术人员来说是熟知的,因此这里不再赘述。
在处理单元11确定摄像头10拍摄的图像为包含拍摄对象(如,人物)的第一图像时,处理单元11可以基于拍照应用中的特定功能对第一图像中的拍摄对象(人物)进行分析来确定其性别。这里,处理单元11所执行的处理可以由,例如,拍照应用性别分析功能(程序)实现。
具体地,在处理单元11确定摄像头10拍摄的图像为包含拍摄对象(如,人物)的第一图像之后,处理单元11可以确定该第一图像中的拍摄对象的面部区域并基于面部区域产生第二图像(面部图像)。这里,处理单元11可以基于上述的任意的面部识别技术确定第一图像中的拍摄对象的面部区域,并且根据所确定的面部区域产生第二图像。
这里,为了减少图像分析的误差并减少计算量,所产生的第二图像可以是标准面部图像。这里,标准面部图像表示关于拍摄对象的具有预设尺寸的标准正像。例如,标准面部图像的大小可以根据性别分析的精度设置(精度越高,标准面部图像的尺寸越大),并且可以由实验值确定。这里,例如,标准面部图像的大小可以为160×128,这里,该数值不是对本发明的限定,还可以采用具有其它分辨率的标准面部图像。这里,由于标准面部图像表示关于拍摄对象的具有预设尺寸的标准正像,因此在处理单元11确定第一图像中的拍摄对象的面部区域之后,处理单元11进一步确定该面部区域在第一图像中的倾斜角度以及面部区域的大小。具体地,处理单元11可以通过确定拍摄对象的双眼(如,双眼的连线)在第一图像中的倾斜角度来确定拍摄对象的面部区域的倾斜角度,并且可以通过确定面部区域的尺寸(分辨率)来确定面部区域的大小。在处理单元11确定拍摄对象的面部区域的倾斜角度以及面部区域的大小之后,处理单元11可以基于面部区域在第一图像中的倾斜角度校正该面部区域的倾斜并且基于面部区域的大小执行面部区域的缩放使得该面部区域与标准面部图像的大小一致以产生第二图像。例如,可以基于面部区域在第一图像中的倾斜角度反向旋转该面部区域,在面部区域大于标准面部图像时缩小该面部区域,而在面部区域小于标准面部图像时缩小该面部区域使得面部区域的大小与标准面部图像的大小一致以产生第二图像。例如,图2示出了所产生的标准面部图像的示意图。如图2所示,通过校正面部区域的倾斜以及执行面部区域的缩放产生了作为标准面部图像的第二图像。
然后,处理单元11对第二图像进行分析。具体地,处理单元11基于根据第二图像提取(计算)拍摄对象的面部纹理特征向量。例如,在基于第二图像提取拍摄对象的面部纹理特征向量时,处理单元11可以基于LBP模型从第二图像中产生面部纹理特征向量。这里,由于基于LBP模型产生面部纹理特征向量对于本领域技术人员来说是熟知的,因此仅对其进行简单介绍。处理单元11可以基于LBP(局部二值模式)模型计算第二图像中的每个像素点与相邻像素点的差异(如,颜色,亮度值)等等,由此产生一组向量X=(x1......xn)。该向量中的每个元素(x1......xn)表示第二图像中的所有像素点,而每个元素的值代表该特定像素点与相邻像素点之间的差异,因此该向量可以表示拍摄对象的面部纹理特征。图3A和图3B分别显示了不同性别的拍摄对象的面部纹理特征向量。从图3A和3B可知,不同性别的拍摄对象的面部纹理特征是有明显区别的,因此该面部纹理特征向量可以由于判断拍摄对象的性别。
具体地,可以通过将所产生的拍摄对象的面部纹理特征向量输入到预设的分类模型来判断拍摄对象的性别。这里,由于不同人物的面部纹理特征向量中的特定元素的值(绝对最大值以及最小值)通常是不固定的且难于比对,因此在将拍摄对象的面部纹理特征向量输入到预设的分类模型之前,为了增加判断的精确度并减少误差出现的概率,处理单元11还将该面部纹理特征向量进行归一化。具体地,处理单元11可以将面部纹理特征向量中的每个元素的值除以其最大元素值,使得归一化之后的面部纹理特征向量中的每个元素的值均在0-1之间,以便于后续处理。
在进行归一化处理之后,处理单元11将面部纹理特征向量输入到预设的分类模型。这里,预设的分类模型可以是SVM(支持向量机)模型。这里,由于SVM模型对于本领域技术人员来说是熟知的,因此仅对其进行简单介绍。SVM模型可以基于训练数据产生用于进行分类的“超平面”(从训练数据产生的分类函数,如f(a1x1......anxn)=0)。例如,在提供1000份面部纹理特征向量(500男,500女)作为训练数据的情况下,SVM模型可以基于面部纹理特征向量以及与面部纹理特征向量对应的性别计算出用于分类面部纹理特征向量的“超平面(hyper plane)”,下面称为面部纹理特征分类面。这里,面部纹理特征分类面(分类函数)中的系数(如,a1......an)可以基于用作训练数据的面部纹理特征向量计算出。在这种情况下,在SVM模型基于训练数据建立的空间中,性别均为男性的训练数据(面部纹理特征向量)均位于超平面(面部纹理特征分类面)的一侧(即,f(a1x1......anxn)<0),而性别均为女性的训练数据(面部纹理特征向量)均位于面部纹理特征分类面的另一侧(即,f(a1x1......anxn)>0),并且上述用作训练数据的面部纹理特征向量(作为空间中的点)与超平面(面部纹理特征分类面)存在预定的距离d。在SVM模型基于训练数据进行学习并建立了面部纹理特征分类面之后,该SVM模型可以用于分析输入面部纹理特征向量。这里,对于SVM模型来说,其输入为面部纹理特征向量,而其输出为面部纹理特征向量距离面部纹理特征分类面的距离d。这里,可以配置SVM模型,使得对于f(a1x1......anxn)<0的面部纹理特征向量X=(x1......xn)来说,将面部纹理特征向量到面部纹理特征分类面的距离d设置负号,而使f(a1x1......anxn)>0的面部纹理特征向量X=(x1......xn),将面部纹理特征向量到面部纹理特征分类面的距离d设置正号以进行区分。
在这种情况下,在处理单元11将拍摄对象的面部纹理特征向量输入到SVM模型之后,处理单元11基于SVM模型计算拍摄对象的面部纹理特征向量与标准特征分类面之间的距离。然后,处理单元11基于该距离判断拍摄对象的性别。这里,例如,如果该距离d为正值,则处理单元11可以判断该面部纹理特征向量所对应的拍摄对象为女性,而如果该距离d为负值,则处理单元11可以判断该面部纹理特征向量所对应的拍摄对象为男性。
通过上述配置,可以通过获得摄像头单元10所拍摄的图像中的拍摄对象的面部纹理特征来判断拍摄对象的性别,由此大大增强了终端设备的拍照应用的能力。
另外,根据本发明的另一个实施例,由于SVM模型的训练数据是非穷尽的且不能涵盖所有情况,因此存在某些拍摄对象(中性面部特征)不能准确识别的情况。在这种情况下,还可以在基于面部纹理特征向量到面部纹理特征分类面的距离d判断拍摄对象的性别时,处理单元11还可以通过预设的概率分布模型将该距离d转换为概率值。
具体地,可以通过如下概率公式计算距离d与性别概率之间的关系:
其中,d为距离,A为在距离为d下的性别概率,α和β为加权系数。这里,可以通过训练数据计算加权系数α和β。例如,在之前描述的f(a1x1......anxn)<0的面部纹理特征向量到面部纹理特征分类面的距离d为负,而f(a1x1......anxn)>0的面部纹理特征向量到面部纹理特征分类面的距离d为正的示例中,将作为训练数据的面部纹理特征向量到面部纹理特征分类面的距离d带入到上面的公式中,并且通过回溯算法利用大量训练数据来获得α和β的值。例如,根据本发明的一个优选实施例,在利用训练数据通过回溯算法获得α和β的值时,如果设定概率值在50%以上表示男性,而概率值在50%以上表示女性,则可以通过回溯算利用大量训练数据推出α和β。例如,在上述情况中,通过测试,α和β的优选实验值可以分别是21.262和-0.409。这里,需要注意的是,上述α和β的优选实验值意欲说明本发明而非对本发明的限制。这里,根据距离d的符号(正负号)的定义、用于划分性别的概率值的不同,α和β可以相应地发生变化,并且可能基于训练数据的不同而不同。因此,只要能够通过训练数据以及相关数据的定义可以导出α和β值,这些α和β可以包含在本发明的保护范围内。
在确定了α和β的值之后,上面的概率公式就可以用于判断拍摄对象的性别。这里,需要注意的之前描述的利用训练数据构建SVM模型以及概率公式的过程可以预先完成,并且将所构建的SVM模型以及概率公式存储在终端设备1以供处理单元11使用。
根据本发明的实施例,处理单元11通过将拍摄对象的面部纹理特征向量到面部纹理特征分类面的距离d代入上述概率公式来得出与距离d相关的概率值。如果处理单元11确定所获得的概率值高于第一阈值,则处理单元11将拍摄对象判断为男性。此外,如果处理单元11确定概率值低于第二阈值,则处理单元11将拍摄对象判断为女性。这里,可以根据判断的精度确定该第一阈值以及第二阈值。根据本发明的一个优选实施例,第一阈值可以为70%,而第二阈值可以为50%。此外,本发明不限于此,为了增加判断的精确度,可以提高第一阈值并降低第二阈值(如,第一阈值为80%,第二阈值为40%),或者为了增加提供判断结果的范围,可以减小第一阈值并提高第二阈值(如,第一阈值为60%,第二阈值为55%)。这里,第一阈值需要高于第二阈值。在这种情况下,如果处理单元11确定所获得的概率值在第一阈值和第二阈值之间,则处理单元11可以确定该拍摄对象的性别为“未知”,并且可以通过终端设备1的显示单元(未示出)向用户提示该情况,并且可以提示用户通过手动方式确定拍摄对象的性别。
通过上述配置,可以通过概率的方式进一步判断拍摄对象的性别以降低判断出错的几率,由此能够增强终端设备1的拍照应用的使用体验。
下面将参照图4描述根据本发明实施例的图像处理方法。图4是图解根据本发明实施例的图像处理方法的示意流程图。这里,图4的方法可以应用到图1所示的具有摄像头单元10的终端设备1中。
如图4所示,在步骤S401,获得包含拍摄对象的第一图像。
具体地,处理单元11获得摄像头单元10拍摄图像。这里,处理单元11判断摄像头10拍摄的图像是否为包含拍摄对象(如,人物)的第一图像。
在步骤S402,确定第一图像中的拍摄对象的面部区域,并基于面部区域产生第二图像。
具体地,在处理单元11确定摄像头10拍摄的图像为包含拍摄对象(如,人物)的第一图像之后,处理单元11可以确定该第一图像中的拍摄对象的面部区域并基于面部区域产生第二图像(面部图像)。这里,处理单元11可以基于上述的任意的面部识别技术确定第一图像中的拍摄对象的面部区域,并且根据所确定的面部区域产生第二图像。
这里,为了减少图像分析的误差并减少计算量,所产生的第二图像可以是标准面部图像。这里,标准面部图像表示关于拍摄对象的具有预设尺寸的标准正像。例如,标准面部图像的大小可以根据性别分析的精度设置(精度越高,标准面部图像的尺寸越大),并且可以由实验值确定。
由于标准面部图像表示关于拍摄对象的具有预设尺寸的标准正像,因此步骤S402还可以进一步包括:确定面部区域在第一图像中的倾斜角度以及面部区域的大小;基于面部区域在第一图像中的倾斜角度校正面部区域的倾斜;以及基于面部区域的大小执行面部区域的缩放以使面部区域与标准面部图像的大小一致。
具体地,在处理单元11确定第一图像中的拍摄对象的面部区域并产生第二图像时,处理单元11进一步确定该面部区域在第一图像中的倾斜角度以及面部区域的大小。例如,处理单元11可以通过确定拍摄对象的双眼(如,双眼的连线)在第一图像中的倾斜角度来确定拍摄对象的面部区域的倾斜角度,并且可以通过确定面部区域的尺寸(分辨率)来确定面部区域的大小。在处理单元11确定拍摄对象的面部区域的倾斜角度以及面部区域的大小之后,处理单元11可以基于面部区域在第一图像中的倾斜角度校正该面部区域的倾斜并且基于面部区域的大小执行面部区域的缩放使得该面部区域与标准面部图像的大小一致以产生第二图像。例如,可以基于面部区域在第一图像中的倾斜角度反向旋转该面部区域,在面部区域大于标准面部图像时缩小该面部区域,而在面部区域小于标准面部图像时缩小该面部区域使得面部区域的大小与标准面部图像的大小一致以产生第二图像。
在步骤S403,基于第二图像提取拍摄对象的面部纹理特征向量。
具体地,处理单元11基于根据第二图像提取(计算)拍摄对象的面部纹理特征向量。例如,在基于第二图像提取拍摄对象的面部纹理特征向量时,处理单元11基于LBP(局部二值模式)模型从第二图像中产生面部纹理特征向量。例如,处理单元11可以基于LBP模型计算第二图像中的每个像素点与相邻像素点的差异(如,颜色,亮度值)等等,由此产生一组向量X=(x1......xn)。该向量中的每个元素(x1......xn)表示第二图像中的所有像素点,而每个元素的值代表该特定像素点与相邻像素点之间的差异,因此该向量可以表示拍摄对象的面部纹理特征。
这里,由于不同人物的面部纹理特征向量中的特定元素的值(绝对最大值以及最小值)通常是不固定的且难于比对,因此在将拍摄对象的面部纹理特征向量输入到预设的分类模型之前,为了增加判断的精确度并减少误差出现的概率,处理单元11还将该面部纹理特征向量进行归一化。具体地,处理单元11可以将面部纹理特征向量中的每个元素的值除以其最大元素值,使得归一化之后的面部纹理特征向量中的每个元素的值均在0-1之间,以便于后续处理。
在步骤S404,根据预设的分类模型计算面部纹理特征向量与分类模型中的标准特征分类面之间的距离。
具体地,处理单元11将面部纹理特征向量输入到预设的分类模型。这里,预设的分类模型可以是SVM(支持向量机)模型。这里,SVM模型可以基于训练数据产生用于进行分类的“超平面”(从训练数据产生的分类函数,如f(a1x1......anxn)=0)。例如,在提供1000份面部纹理特征向量(500男,500女)作为训练数据的情况下,SVM模型可以基于面部纹理特征向量以及与面部纹理特征向量对应的性别计算出用于分类面部纹理特征向量的“超平面”(面部纹理特征分类面)。这里,面部纹理特征分类面(分类函数)中的系数(如,a1......an)可以基于用作训练数据的面部纹理特征向量计算出。在这种情况下,在SVM模型基于训练数据建立的空间中,性别均为男性的训练数据(面部纹理特征向量)均位于超平面(面部纹理特征分类面)的一侧(即,f(a1x1......anxn)<0),而性别均为女性的训练数据(面部纹理特征向量)均位于面部纹理特征分类面的另一侧(即,f(a1x1......anxn)>0),并且上述用作训练数据的面部纹理特征向量(作为空间中的点)与超平面(面部纹理特征分类面)存在预定的距离d。在SVM模型基于训练数据进行学习并建立了面部纹理特征分类面之后,该SVM模型可以用于分析输入面部纹理特征向量。这里,对于SVM模型来说,其输入为面部纹理特征向量,而其输出为面部纹理特征向量距离面部纹理特征分类面的距离d。这里,可以配置SVM模型,使得对于f(a1x1......anxn)<0的面部纹理特征向量X=(x1......xn)来说,将面部纹理特征向量到面部纹理特征分类面的距离d设置负号,而使f(a1x1......anxn)>0的面部纹理特征向量X=(x1......xn),将面部纹理特征向量到面部纹理特征分类面的距离d设置正号以进行区分。
在这种情况下,在处理单元11将拍摄对象的面部纹理特征向量输入到SVM模型之后,处理单元11基于SVM模型计算拍摄对象的面部纹理特征向量与标准特征分类面之间的距离。
然后,在步骤S405,基于距离判断拍摄对象的性别。
具体地,处理单元11基于该距离判断拍摄对象的性别。这里,例如,如果该距离d为正值,则处理单元11可以判断该面部纹理特征向量所对应的拍摄对象为女性,而如果该距离d为负值,则处理单元11可以判断该面部纹理特征向量所对应的拍摄对象为男性。
然而,本发明不限于此,由于SVM模型的训练数据是非穷尽的且不能涵盖所有情况,因此存在某些拍摄对象(中性面部特征)不能准确识别的情况。因此,根据本发明的一个实施例,步骤S405还可以包括:通过预设的概率分布模型将距离转换为概率值;如果概率值高于第一阈值,则将拍摄对象判断为男性;如果概率值低于第二阈值,则将拍摄对象判断为女性,其中概率分布模型根据训练数据获得。
具体地,处理单元11还可以通过预设的概率分布模型将该距离d转换为概率值。例如,可以通过如下概率公式计算距离d与性别概率之间的关系:
其中,d为距离,A为在距离为d下的性别概率,α和β为加权系数。这里,可以通过训练数据计算加权系数α和β。例如,在之前描述的f(a1x1......anxn)<0的面部纹理特征向量到面部纹理特征分类面的距离d为负,而f(a1x1......anxn)>0的面部纹理特征向量到面部纹理特征分类面的距离d为正的示例中,将作为训练数据的面部纹理特征向量到面部纹理特征分类面的距离d带入到上面的公式中,并且通过回溯算法利用大量训练数据来获得α和β的值。例如,根据本发明的一个优选实施例,在利用训练数据通过回溯算法获得α和β的值时,如果设定概率值在50%以上表示男性,而概率值在50%以上表示女性,则可以通过回溯算利用大量训练数据推出α和β。例如,在上述情况中,通过测试,α和β的优选实验值可以分别是21.262和-0.409。这里,需要注意的是,上述α和β的优选实验值意欲说明本发明而非对本发明的限制。这里,根据距离d的符号(正负号)的定义、用于划分性别的概率值的不同,α和β可以相应地发生变化,并且可能基于训练数据的不同而不同。因此,只要能够通过训练数据以及相关数据的定义可以导出α和β值,这些α和β可以包含在本发明的保护范围内。
在确定了α和β的值之后,上面的概率公式就可以用于判断拍摄对象的性别。这里,需要注意的之前描述的利用训练数据构建SVM模型以及概率公式的过程可以预先完成,并且将所构建的SVM模型以及概率公式存储在终端设备1以供处理单元11使用。这里,处理单元11通过将拍摄对象的面部纹理特征向量到面部纹理特征分类面的距离d代入上述概率公式来得出与距离d相关的概率值。如果处理单元11确定所获得的概率值高于第一阈值,则处理单元11将拍摄对象判断为男性。此外,如果处理单元11确定概率值低于第二阈值,则处理单元11将拍摄对象判断为女性。这里,可以根据判断的精度确定该第一阈值以及第二阈值。根据本发明的一个优选实施例,第一阈值可以为70%,而第二阈值可以为50%。此外,本发明不限于此,为了增加判断的精确度,可以提高第一阈值并降低第二阈值(如,第一阈值为80%,第二阈值为40%),或者为了增加提供判断结果的范围,可以减小第一阈值并提高第二阈值(如,第一阈值为60%,第二阈值为55%)。这里,第一阈值需要高于第二阈值。在这种情况下,如果处理单元11确定所获得的概率值在第一阈值和第二阈值之间,则处理单元11可以确定该拍摄对象的性别为“未知”,并且可以通过终端设备1的显示单元(未示出)向用户提示该情况,并且可以提示用户通过手动方式确定拍摄对象的性别。
在上面详细描述了本发明的各个实施例。然而,本领域技术人员应该理解,在不脱离本发明的原理和精神的情况下,可对这些实施例进行各种修改,组合或子组合,并且这样的修改应落入本发明的范围内。

Claims (8)

1.一种图像处理方法,应用于终端设备,所述终端设备包括用于拍摄图像的摄像头单元,所述图像处理方法包括:
获得包含拍摄对象的第一图像;
确定所述第一图像中的所述拍摄对象的面部区域,并基于所述面部区域产生第二图像;
基于所述第二图像提取所述拍摄对象的面部纹理特征向量;
根据预设的分类模型计算所述面部纹理特征向量与所述分类模型中的标准特征分类面之间的距离;以及
基于所述距离判断所述拍摄对象的性别;
其中,基于所述距离判断所述拍摄对象的性别的步骤包括:
通过预设的概率分布模型将所述距离转换为概率值;
如果所述概率值高于第一阈值,则将所述拍摄对象判断为男性;
如果所述概率值低于第二阈值,则将所述拍摄对象判断为女性;
如果所述概率值在第一阈值和第二阈值之间,则将所述拍摄对象判断为为未知;
其中所述概率分布模型根据训练数据获得。
2.如权利要求1所述的方法,其中
所述第二图像为标准面部图像;以及
产生第二图像的步骤进一步包括:
确定所述面部区域在第一图像中的倾斜角度以及所述面部区域的大小;
基于所述面部区域在第一图像中的倾斜角度校正所述面部区域的倾斜;以及
基于所述面部区域的大小执行所述面部区域的缩放以使所述面部区域与所述标准面部图像的大小一致。
3.如权利要求1所述的方法,其中基于所述第二图像提取所述拍摄对象的面部纹理特征向量的步骤进一步包括:
基于LBP模型从所述第二图像中产生所述面部纹理特征向量;以及
将所述面部纹理特征向量进行归一化。
4.如权利要求1所述的方法,其中
所述标准特征分类面由预设的分类模型通过训练数据产生。
5.一种终端设备,包括:
摄像头单元,配置来拍摄图像;以及
处理单元,配置来对所述摄像头拍摄的图像进行分析,其中
所述处理单元获得所述摄像头单元拍摄的包含拍摄对象的第一图像,确定所述第一图像中的所述拍摄对象的面部区域并基于所述面部区域产生第二图像,基于所述第二图像提取所述拍摄对象的面部纹理特征向量,根据预设的分类模型计算所述面部纹理特征向量与所述分类模型中的标准特征分类面之间的距离,并且基于所述距离判断所述拍摄对象的性别;其中
在基于所述距离判断所述拍摄对象的性别时,所述处理单元通过预设的概率分布模型将所述距离转换为概率值,
其中如果所述概率值高于第一阈值,则所述处理单元将所述拍摄对象判断为男性;
如果所述概率值低于第二阈值,则所述处理单元将所述拍摄对象判断为女性;
如果所述概率值在第一阈值和第二阈值之间,则所述处理单元将所述拍摄对象判断为为未知;以及
所述概率分布模型根据训练数据获得。
6.如权利要求5所述的终端设备,其中
所述第二图像为标准面部图像;以及
在所述处理单元产生第二图像时,所述处理单元确定所述面部区域在第一图像中的倾斜角度以及所述面部区域的大小,基于所述面部区域在第一图像中的倾斜角度校正所述面部区域的倾斜,以及基于所述面部区域的大小执行所述面部区域的缩放以使所述面部区域与所述标准面部图像的大小一致。
7.如权利要求5所述的终端设备,其中
在基于所述第二图像提取所述拍摄对象的面部纹理特征向量时,所述处理单元基于LBP模型从所述第二图像中产生所述面部纹理特征向量,以及将所述面部纹理特征向量进行归一化。
8.如权利要求5所述的终端设备,其中
所述标准特征分类面由预设的分类模型通过训练数据产生。
CN201310045007.0A 2013-02-04 2013-02-04 图像处理方法以及终端设备 Active CN103971111B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310045007.0A CN103971111B (zh) 2013-02-04 2013-02-04 图像处理方法以及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310045007.0A CN103971111B (zh) 2013-02-04 2013-02-04 图像处理方法以及终端设备

Publications (2)

Publication Number Publication Date
CN103971111A CN103971111A (zh) 2014-08-06
CN103971111B true CN103971111B (zh) 2018-07-06

Family

ID=51240582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310045007.0A Active CN103971111B (zh) 2013-02-04 2013-02-04 图像处理方法以及终端设备

Country Status (1)

Country Link
CN (1) CN103971111B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832675A (zh) * 2017-10-16 2018-03-23 广东欧珀移动通信有限公司 拍照处理方法及相关产品
CN109508623A (zh) * 2018-08-31 2019-03-22 杭州千讯智能科技有限公司 基于图像处理的物品识别方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102266241A (zh) * 2011-08-05 2011-12-07 上海交通大学 融合人脸和指纹视觉信息的协同性别识别方法
CN102542252A (zh) * 2011-11-18 2012-07-04 江西财经大学 智能广告投放系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101482923B (zh) * 2009-01-19 2012-05-23 刘云 视频监控中人体目标的检测与性别识别方法
US8457605B2 (en) * 2010-10-04 2013-06-04 Telefonica, S.A. Method for gender identification of a cell-phone subscriber
CN102722698B (zh) * 2012-05-17 2014-03-12 上海中原电子技术工程有限公司 多姿态人脸检测与跟踪方法及系统
CN102902986A (zh) * 2012-06-13 2013-01-30 上海汇纳网络信息科技有限公司 自动性别识别系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102266241A (zh) * 2011-08-05 2011-12-07 上海交通大学 融合人脸和指纹视觉信息的协同性别识别方法
CN102542252A (zh) * 2011-11-18 2012-07-04 江西财经大学 智能广告投放系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于人脸图像的性别识别与年龄估计研究;陆丽;《中国博士学位论文全文数据库信息科技辑》;20101015;第I138-32页 *

Also Published As

Publication number Publication date
CN103971111A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
CN105608447B (zh) 对人体面部微笑表情深度卷积神经网络的检测方法
JP6849824B2 (ja) セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
US10726244B2 (en) Method and apparatus detecting a target
CN108351961B (zh) 以图像为基础的生物识别系统及计算机实施方法
US10133921B2 (en) Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
US10635946B2 (en) Eyeglass positioning method, apparatus and storage medium
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
US8750573B2 (en) Hand gesture detection
US8792722B2 (en) Hand gesture detection
US9575566B2 (en) Technologies for robust two-dimensional gesture recognition
US9053537B2 (en) Classifier for use in generating a diffuse image
US9576210B1 (en) Sharpness-based frame selection for OCR
WO2020253127A1 (zh) 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
KR20180065889A (ko) 타겟의 검측 방법 및 장치
US9418316B1 (en) Sharpness-based frame selection for OCR
CN111935479B (zh) 一种目标图像确定方法、装置、计算机设备及存储介质
CN106056083B (zh) 一种信息处理方法及终端
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
Ahmed et al. Combining iris and periocular biometric for matching visible spectrum eye images
CN110415212A (zh) 异常细胞检测方法、装置及计算机可读存储介质
WO2021081008A1 (en) Shoe authentication device and authentication process
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置
CN110288560A (zh) 一种图像模糊检测方法及装置
Ebihara et al. Efficient face spoofing detection with flash
WO2015064292A1 (ja) 画像の特徴量に関する処理システム、処理方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant