CN108960093A - 脸部转动角度的识别方法及设备 - Google Patents

脸部转动角度的识别方法及设备 Download PDF

Info

Publication number
CN108960093A
CN108960093A CN201810644055.4A CN201810644055A CN108960093A CN 108960093 A CN108960093 A CN 108960093A CN 201810644055 A CN201810644055 A CN 201810644055A CN 108960093 A CN108960093 A CN 108960093A
Authority
CN
China
Prior art keywords
identification
face image
feature
face
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810644055.4A
Other languages
English (en)
Inventor
王兴旺
王毅敏
郝庆晟
潘涛
张为
杨子民
钱烨
朱林
李�杰
洪刚
张龙澎
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ali Sports Co Ltd
Original Assignee
Ali Sports Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ali Sports Co Ltd filed Critical Ali Sports Co Ltd
Priority to CN201810644055.4A priority Critical patent/CN108960093A/zh
Publication of CN108960093A publication Critical patent/CN108960093A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种脸部转动角度的识别方法及设备,能够根据样本脸部图像获取特征识别区域,并进一步将特征识别区域与该样本脸部图像的比值确定为识别特征,再通过神经网络算法对识别特征进行建模,得到用于识别脸部转动角度的识别模型,在对识别脸部图像进行类似的操作得到相应识别特征后,再根据得到的识别模型对相应识别特征进行识别,得到识别脸部图像对应的脸部转动角度。本申请提供的方案由于从脸部图像中提取了与现有技术不同的识别特征,从而更好地表达了脸部图像中的信息,避免使用完整的脸部图像进行训练,提高了模型训练的效率,识别的效果更好、效率更高,能够高精度地识别出脸部图像的转动角度。

Description

脸部转动角度的识别方法及设备
技术领域
本申请涉及人脸识别领域,尤其涉及一种脸部转动角度的识别方法及设备。
背景技术
在人脸识别的具体实践中,尤其是在体育行业,往往会有识别运动员或参赛人员的脸部转动角度的需求。当前技术下对人脸转动角度的识别,通常是先根据训练好的人脸模型得到多个人脸关键点的位置信息,再计算关键点的旋转向量,将旋转向量转换为旋转欧拉角,从而得到人脸的转动角度。这种技术方案可通过AdaBoost方法或SVM方法等实现,该方案存在的主要问题是需要对不同转动角度的人脸建立不同的分类器,从而导致模型复杂且对转动角度的识别较为粗糙,同时由于多个分类器的存在从而使得计算时间较长,识别效率低下,实用性不足。现有技术中还有直接将人脸图像通过卷积神经网络算法进行训练识别的方案,由于直接对人脸图像进行训练需要海量的神经元支持,因此该方案的神经网络结构比较复杂,训练时间很长而且识别结果不佳。
申请内容
本申请的一个目的是提供一种脸部转动角度的识别方法及设备,用以解决现有技术下难以对人脸图像中脸部转动角度进行准确、快速、有效地识别的问题。
为实现上述目的,本申请提供了一种脸部转动角度的识别方法,其中,该方法包括:
获取样本脸部图像,并对所述样本脸部图像进行特征提取;通过神经网络算法对提取特征进行建模,获取脸部转动角度的识别模型;
获取识别脸部图像;根据所述识别脸部图像,通过椭圆肤色检测算法获取目标识别脸部图像;根据所述目标识别脸部图像获取特征识别区域,将所述特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,所述特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域;根据所述目标识别脸部图像的特征,使用所述脸部转动角度的识别模型进行识别,确定所述目标识别脸部图像对应的脸部转动角度。
进一步地,对所述样本脸部图像进行特征提取,包括:
根据所述样本脸部图像,通过椭圆肤色检测算法获取目标样本脸部图像;根据所述目标样本脸部图像获取样本特征识别区域,将样本特征识别区域与所述目标样本脸部图像的比值信息确定为所述目标样本脸部图像的特征,所述样本特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域。
进一步地,获取识别脸部图像,包括:
获取包含人脸的图像,通过人脸检测算法获取识别脸部图像。
进一步地,根据所述识别脸部图像,通过椭圆肤色模型算法获取目标识别脸部图像,包括:
通过椭圆肤色检测算法将所述识别脸部图像划分为肤色不同的连通区域,并将面积最大的连通区域确定为目标识别脸部图像。
进一步地,根据所述目标识别脸部图像获取特征识别区域,包括:
通过脸部特征检测算法对所述目标识别脸部图像进行特征检测,获取特征识别区域。
进一步地,将特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,包括:
根据特征识别区域的量度信息,将所述特征识别区域到所述目标识别脸部图像中心的距离与所述目标识别脸部图像宽度的比值确定为所述目标识别脸部图像的特征。
进一步地,将特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,包括:
根据特征识别区域的量度信息,将左眼识别区域与右眼识别区域的比值确定为所述目标识别脸部图像的特征。
进一步地,左眼识别区域与右眼识别区域的比值,包括左眼识别区域与右眼识别区域的水平方向宽度比值和面积比值。
本申请还提供了一种脸部转动角度的识别设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备执行前述脸部转动角度的识别方法。
本申请还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现前述脸部转动角度的识别方法。
与现有技术相比,本申请提供的方案能够根据样本脸部图像获取特征识别区域,并进一步将特征识别区域与该样本脸部图像的比值确定为识别特征,再通过神经网络算法对识别特征进行建模,得到用于识别脸部转动角度的识别模型,在对识别脸部图像进行类似的操作得到相应识别特征后,再根据得到的识别模型对相应识别特征进行识别,得到识别脸部图像对应的脸部转动角度。本申请提供的方案由于从脸部图像中提取了与现有技术不同的识别特征,从而更好地表达了脸部图像中的信息,避免使用完整的脸部图像进行训练,提高了模型训练的效率,识别的效果更好、效率更高,能够高精度地识别出脸部图像的转动角度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本申请的一些实施例提供的一种脸部转动角度的识别方法的流程图;
图2为本申请的一些实施例提供的特征识别区域的示意图。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请提供了一种脸部转动角度的识别方法,如图1所示,该方法包括如下步骤:
步骤S101,获取样本脸部图像,并对所述样本脸部图像进行特征提取,通过神经网络算法对提取特征进行建模,获取脸部转动角度的识别模型;
步骤S102,获取识别脸部图像;根据所述识别脸部图像,通过椭圆肤色检测算法获取目标识别脸部图像;根据所述目标识别脸部图像获取特征识别区域,将所述特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,所述特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域;根据所述目标识别脸部图像的特征,使用所述脸部转动角度的识别模型进行识别,确定所述目标识别脸部图像对应的脸部转动角度。
该方案尤其适合用于对脸部图像的脸部转动角度进行识别的场景,能够根据样本脸部图像获取特征识别区域,并进一步将特征识别区域与该样本脸部图像的比值确定为识别特征,再通过神经网络算法对识别特征进行建模,得到用于识别脸部转动角度的识别模型,在对识别脸部图像进行类似的操作得到相应识别特征后,再根据得到的识别模型对相应识别特征进行识别,得到识别脸部图像对应的脸部转动角度。
在步骤S101中,首先获取样本脸部图像。样本脸部图像是脸部图像的集合,每一张样本脸部图像采用了人工方式对脸部转动角度进行了标注,例如,10张脸部转动角度为5度的图像,10张脸部转动角度为20度的图像,10张脸部转动角度为40度的图像,这30张图像即可构成样本脸部图像。本申请的一些实施例中,为提高脸部转动角度的识别精度,样本脸部图像包含有从-45度到45度,分辨率为1度的90个脸部转动角度的图像,每个脸部转动角度对应多张脸部图像。样本脸部图像提供建立脸部转动角度的识别模型的训练数据,训练数据的转动角度识别信息已经确定,例如,某张脸部图像通过人工识别确定转动角度为5度,则该图像的转动角度信息可为“5”来表示。
获得样本脸部图像后,下一步对样本脸部图像进行特征提取。本申请的一些实施例中,对样本脸部图像进行特征提取,包括如下步骤:根据样本脸部图像,通过椭圆肤色检测算法获取目标样本脸部图像;根据目标样本脸部图像获取样本特征识别区域,将样本特征识别区域与目标样本脸部图像的比值信息确定为目标样本脸部图像的特征。在此,样本特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域。由于对样本脸部图像进行特征提取的方法和步骤与对识别脸部图像进行特征提取的方法和步骤相同,因此这里不再赘述。
在上述步骤中对样本脸部图像进行特征提取,可获得样本脸部图像的提取特征,再通过神经网络算法对提取的特征进行建模,可得到脸部转动角度的识别模型。在此,该脸部转动角度的识别模型虽然是基于样本脸部图像建立的,但可用来对识别脸部图像进行脸部转动角度识别,得到识别脸部图像的脸部转动角度。
本申请的一些实施例中,神经网络算法采用深度神经网络算法(DNN),DNN是近几年在工业界和学术界新型的一个机器学习领域的流行话题,DNN算法成功地将以往的识别率提高了一个显著的档次。
DNN神经网络的结构由输入层、隐藏层和输出层构成,输入层包括多个输入神经元,用于输入要进行训练的特征;隐藏层包括输入层与输出层之间的多个神经元,这些神经元可以划分为多层,用于对输入特征进行训练;输出层包括用于输出特征训练结果的多个神经元。
本申请的一些实施例中,输入层可包含8个神经元,用于输入根据脸部图像获得的8个特征,隐藏层中包括4层神经元,每层中初始神经元的数量设置为输入层神经元数量的约1.5倍即13个,输出层中包含90个神经元,分别对应从-45度到45度的分辨率为1度的90个脸部转动角度,这里神经元输出的是为对应转动角度的概率,概率越大,说明对应该转动角度的可能性越大,将概率最大值对应的转动角度确定为脸部图像对应的脸部转动角度。
在深度神经网络里算法中,激活函数和损失函数是非常重要的两种函数,激活函数给神经元引入了非线性因素,使得神经网络可以任意逼近任何非线性函数,这样神经网络就可以应用到众多的非线性模型中;损失函数则定义为神经网络对输入值的预测值和真实值不一样的程度,通过对其的不断优化,得到参数最优的神经网络。
在神经网络算法中,可选择的激活函数可以包括但不限于Sigmoid、Softmax、Tanh、ReLU函数等。当Sigmoid和Tanh作为激活函数使用时,由于是将变量映射到0,1之间,因此当输入数据非常大或者非常小的时候,会造成神经元的梯度接近于0,即“梯度消失”现象,使得神经网络难于继续学习。Softmax作为激活函数使用时,能将一个含任意实数的K维向量“压缩”到另一个K维实向量中,使得每一个元素的范围都在(0,1)之间,并且所有元素的和为1,因此很适用于多分类的问题。ReLU函数是一种线性函数,因此作为激活函数使用时不存在“梯度消失”和“梯度爆炸”的问题,而且计算速度和收敛速度都比Sigmoid和Tanh函数快很多,是一种比较理想的激活函数。
本申请的一些实施例中,激活函数是经过精心选择的,隐藏层中使用ReLU函数作为激活函数,输出层中使用Softmax作为激活函数对脸部转动角度进行识别,通过在深度神经网络的不同层中使用不同的激活函数,可以将激活函数的特点与对应层的功能相匹配,能够使得神经网络的训练效率更高。在具体的实践中,在隐藏层或输出层中使用其它激活函数都难以实现较好的训练效率。
在深度神经网络算法中,通常使用平方代价函数作为损失函数,但是将平方代价函数作为损失函数的问题在于随着不断的训练,神经网络的学习速度会变慢。因此,本申请的一些实施例中,将标定的脸部转动角度与预测脸部转动角度之间的交叉熵作为损失函数,通过将样本脸部图像的交叉熵进行最小化来对神经网络进行训练,将交叉熵作为损失函数可有效避免神经网络学习减速的问题。优选地,本申请的一些实施例中,交叉熵的定义与一次加载训练图像的数量有关,例如,每次加载10张图像,相应的交叉熵可定义为其中为某张图像标定的脸部转动角度;为通过神经网络预测的脸部转动角度。
通过深度神经网络算法建立的识别模型可能会存在过拟合的问题,即对样本脸部图像的脸部转动角度的识别效果较好,但是对识别脸部图像的脸部转动角度的识别效果较差,解决神经网络模型过拟合问题可采用的方法包括但不限于:正则化方法、提前终止训练方法、增加样本量方法、dropout方法等。正则化方法是指在损失函数中加入正则项,在训练时有抑制特殊特征的作用。提前终止训练方法是指在模型的能力提升时训练集的误差先减小再增大,此时可以提前终止算法以减缓过拟合现象。增加样本量方法就是增加训练集中的样本数目,但是在实际情况下比较困难。Dropout方法中采用了每次随机临时删除神经元的方式,如果把每种神经网络的结构当作一种模型,那么dropout方法相当于多种模型(当删除率为50%,模型的数目是最多的),训练多次相当于在多种的模型中选择不同的模型,从而能够结合多种模型的优点,整个dropout过程就相当于对很多个不同的神经网络取平均,不同的神经网络产生不同的过拟合,一些互为“反向”的拟合相互抵消,整体上减少过拟合。此外dropout方法减少了神经元之间的依赖性,使神经网络更加能学习到与其他神经元之间的更加健壮的特征。
本申请的一些实施例中,采用dropout方法来解决过拟合问题,drouput方法能够结合多种模型的优点,也降低了具体实现的难度。优选地,本申请的一些实施例中,在神经网络初始训练时为全连接网络,然后按照50%的概率随机临时删除隐藏层的某些神经元,输入、输出神经元保持不变,然后正常训练网络,在一次训练完成后,恢复被删掉的神经元,此时被删除的神经元保持原状态,没有被删除的神经元已经更新,再随机删除神经元进行训练,重复这个过程直到达到训练结束的条件。
本申请的一些实施例中,采用随机梯度下降方法作为神经元对深度神经网络进行训练。随机梯度下降方法基于梯度下降方法,梯度下降方法中,首先计算每张样本脸部图像的特征的损失函数,再计算误差函数关于神经网络中所有参数的梯度,然后使用梯度不断迭代优化神经网络参数,直到所有样本脸部图像的特征的损失函数变得最优,梯度下降方法最大的缺点就是每一次都需要计算所有样本脸部图像的特征的梯度,比较耗时。随机梯度下降使用部分样本脸部图像的梯度代替整体样本脸部图像的梯度,虽然不是每次迭代得到的损失函数都向着全局最优方向,但是整体的方向是向全局最优解的,最终的结果是在全局最优解附近,因此可以极大地提高计算速度和效率。
优选地,本申请的一些实施例中,对深度神经网络进行训练时,初始可采用0.03的学习率,学习率经过20轮完整训练周期后下降10%,每一步迭代加载10张训练样本脸部图像,直到完成样本脸部图像中所有图像的特征数据的学习。
本申请的一些实施例中,通过样本脸部图像建立脸部转动角度的识别模型,为了避免过度拟合,该识别模型对样本脸部图像的脸部转动角度的识别并不是100%准确,同样,该识别模型对识别脸部图像的脸部转动角度的识别准确率也不可能达到100%,只要该识别模型对样本脸部图像和识别脸部图像的识别准确率比较接近,都能达到较高的准确率,即可认为该识别模型的识别效果较好。
在深度神经网络中,神经元模型通常定义为:Y=W*X+B,其中Y为神经元输出,W为权值,B为偏执项,X为神经元输入。本申请的一些实施例中,在初始化神经元模型时会加入少量噪声,噪声的加入可以打破权值设置时的对称性,可以避免神经元阶段输出恒为0的问题。优选地,本申请的一些实施例中,深度神经网络中的神经元使用期望为0,方差为1/8的正态分布噪声如(0.119,0.084,-0.166,0.153,-0.170,0.418,0.288,0.50306793)来初始化神经元的权值,从而能够保证神经网络中所有神经元起始时有近似同样的输出分布,初始时的偏执项设为0。
在步骤S102中,首先获取识别脸部图像,在此,识别脸部图像是只包含人脸的图像,不包含人体的其它部位,在具体实践中,只获取人脸部分的图像通常较为困难,照片或视频的拍摄过程中都会拍到人体的其它部分,因此为了获得识别脸部图像,需要对原始图像进行初步的处理。因此,本申请的一些实施例中,首先获取包含人脸的图像,图像中包含一张或多张人脸,也可能包含人体的其它部分如手臂、腿部等,再通过人脸检测算法对包含人脸的图像进行检测,获取图像中所有的人脸图像,将这些人脸图像作为识别脸部图像。
在此,识别脸部图像是相对于样本脸部图像来说的,识别脸部图像也是脸部图像的集合,与样本识别图像不同的是,识别脸部图像中的图像并没有通过人工标注出脸部转动角度,图像中的脸部转动角度需要通过已经建好的识别模型给出。
一般来说,人脸检测是指假设在输入图像中存在一个或者多个人脸区域的情况下,确定图像中全部人脸的位置、大小和姿势的过程。当前,人脸检测算法可大致归结为三类:基于几何特征的方法、基于模板的方法和基于模型的方法。基于几何特征的方法是最早、最传统的方法,通常需要和其他算法结合才能有比较好的效果;基于模板的方法可以分为基于相关匹配的方法、特征脸方法、线性判别分析方法、奇异值分解方法、神经网络方法、动态连接匹配方法等。基于模型的方法则有基于隐马尔柯夫模型,主动形状模型和主动外观模型的方法等。
本申请的一些实施例中,为降低人脸检测方案的复杂性,优选采用OpenCV中的Haar特征对包含人脸的图像进行检测,获取识别脸部图像。OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS等多种操作系统上。OpenCV是一种轻量且高效的运行库,主要接口为C++语言,但是依然保留了大量的C语言接口,同时也提供了Python、Ruby、MATLAB等多种语言的接口,它实现了图像处理和计算机视觉方面的很多通用算法。OpenCV中的Haar特征可用于对人脸和非人脸进行分类,实质上是一个分类器,Haar分类器用到了Boosting算法中的AdaBoost算法,把AdaBoost算法训练出的强分类器进行了级联,并且在底层的特征提取中采用了高效率的矩形特征和积分图方法。
在得到识别脸部图像之后,由于此时得到的图像只是初步的人脸检测图像,该图像中还存在噪声区域,还需要进行图像去噪。本申请的一些实施例中,通过椭圆肤色模型算法进行图像去噪,即通过椭圆肤色模型算法对识别脸部图像进行处理,得到目标识别脸部图像,该目标识别脸部图像用于后续的特征提取。具体地,是通过椭圆肤色检测算法将识别脸部图像划分为肤色不同的连通区域,并将面积最大的连通区域确定为目标识别脸部图像。
肤色模型根据肤色从背景中分离人脸目标,由于人的肤色在外观上的差异主要是由亮度引起的,在色度空间中,不同人的肤色分布趋于集中在一个较小的区域内,实验表明肤色在YCbCr颜色空间的CbCr平面上分布在一个近似的椭圆区域范围内,因此可通过判断一个像素点的CbCr值是否落在肤色分布的椭圆区域内来确定其是否为肤色。在此,YCbCr颜色空间是一种色彩模型,其中Y是指亮度,Cr代表光源中的红色分量,Cb代表光源中的蓝色分量。
本申请的一些实施例中,通过使用椭圆肤色检测算法将识别脸部图像中检测出的肤色区域和非肤色区域涂为不同的颜色,此时该识别脸部图像中还存在若干的噪声区域,再在图像中查找面积最大的连通区域,该区域就是目标识别脸部区域,将该目标识别脸部区域保存为图像即为目标识别脸部图像。
在步骤S102中,得到目标识别脸部图像后,再根据该图像获取特征识别区域,在此,特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域,如图2所示。具体地,是通过脸部特征检测算法对目标识别脸部图像进行特征检测,获取特征识别区域。
本申请的一些实施例中,采用OpenCV中实现的脸部特征检测算法对目标识别脸部图像进行特征检测,获取多个特征识别区域,并得到特征识别区域的量度信息,在此,每个特征识别区域为矩形区域,该矩形区域中包含了人脸的特征:左眼、右眼、鼻子或嘴巴。特征识别区域的量度信息包括了该特征识别区域的多种数值信息,例如区域的位置(顶点的位置)、区域的长度、区域的宽度、区域的面积等等。
在步骤S102中,还包括将特征识别区域与目标识别脸部图像的比值信息确定为目标识别脸部图像的特征。在本申请的一些实施例中,确定目标识别脸部图像的特征包括两种方式:方式一,根据特征识别区域的量度信息,将特征识别区域到目标识别脸部图像中心的距离与目标识别脸部图像宽度的比值确定为目标识别脸部图像的特征;方式二,根据特征识别区域的量度信息,将左眼识别区域与右眼识别区域的比值确定为所述目标识别脸部图像的特征。
在方式一中,目标识别脸部图像中心可以是目标识别脸部图像的垂直方向中心线,特征识别区域作为一个矩形区域,其到目标识别脸部图像的垂直方向中心线的距离可以有多种计算方式,例如,可计算特征识别区域的中心点到目标识别脸部图像的垂直方向中心线的直线距离,也可计算特征识别区域的某个顶点到目标识别脸部图像的垂直方向中心线的直线距离。优选地,本申请的一些实施例中,特征识别区域中的左眼识别区域、右眼识别区域、鼻子识别区域、嘴巴识别区域根据各自的区域中心点计算到目标识别脸部图像的垂直方向中心线的直线距离,从而得到4个特征距离。在本申请的一些实施例中,还根据嘴巴识别区域的左上角顶点和右上角顶点计算这两个顶点到目标识别脸部图像的垂直方向中心线的直线距离,从而再得到2个特征距离。
在方式一中得到的6个特征距离,再分别与目标识别脸部图像宽度的一半相除,得到相应的比值,将得到的比值作为目标识别脸部图像的特征,因此由方式一可得到目标识别脸部图像的6个特征值。
在方式二中,需计算左眼识别区域与右眼识别区域的比值,并将该比值作为目标识别脸部图像的特征。在此,左眼识别区域与右眼识别区域有多种量度信息,两种之间的比值也可以有多种形式。优选地,为更好地描述左眼识别区域和右眼识别区域之间与脸部转动角度相关的特征,本申请的一些实施例中,选择左眼识别区域与右眼识别区域的水平方向宽度的比值和面积的比值作为左眼识别区域与右眼识别区域的比值,并将这两种比值确定为目标识别脸部图像的特征。
因此,通过方式一和方式二两种方式可得到目标识别脸部图像的8个特征值,这8个特征值共同构成目标识别脸部图像的特征,这些特征会随着脸部转动角度的不同而有所变化。
在步骤S102中,可根据目标识别脸部图像的特征,使用脸部转动角度的识别模型进行识别,确定目标识别脸部图像对应的脸部转动角度。在此,是通过将获取的目标识别脸部图像的特征输入到脸部转动角度的识别模型中,该模型通过相应的计算后输出每种脸部转动角度的对应概率,将概率最大值对应的脸部转动角度确定为目标识别脸部图像对应的脸部转动角度。
本申请的一些实施例还提供了一种脸部转动角度的识别设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备执行前述脸部转动角度的识别方法。
本申请的一些实施例还提供了一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现前述脸部转动角度的识别方法。
综上所述,本申请提供的方案能够根据样本脸部图像获取特征识别区域,并进一步将特征识别区域与该样本脸部图像的比值确定为识别特征,再通过神经网络算法对识别特征进行建模,得到用于识别脸部转动角度的识别模型,在对识别脸部图像进行类似的操作得到相应识别特征后,再根据得到的识别模型对相应识别特征进行识别,得到识别脸部图像对应的脸部转动角度。本申请提供的方案由于从脸部图像中提取了与现有技术不同的识别特征,从而更好地表达了脸部图像中的信息,避免使用完整的脸部图像进行训练,提高了模型训练的效率,识别的效果更好、效率更高,能够高精度地识别出脸部图像的转动角度。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本申请的一个实施例包括一个设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

Claims (10)

1.一种脸部转动角度的识别方法,其中,该方法包括:
获取样本脸部图像,并对所述样本脸部图像进行特征提取,通过神经网络算法对提取特征进行建模,获取脸部转动角度的识别模型;
获取识别脸部图像;根据所述识别脸部图像,通过椭圆肤色检测算法获取目标识别脸部图像;根据所述目标识别脸部图像获取特征识别区域,将所述特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,所述特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域;根据所述目标识别脸部图像的特征,使用所述脸部转动角度的识别模型进行识别,确定所述目标识别脸部图像对应的脸部转动角度。
2.根据权利要求1所述的方法,其中,对所述样本脸部图像进行特征提取,包括:
根据所述样本脸部图像,通过椭圆肤色检测算法获取目标样本脸部图像;根据所述目标样本脸部图像获取样本特征识别区域,将样本特征识别区域与所述目标样本脸部图像的比值信息确定为所述目标样本脸部图像的特征,所述样本特征识别区域包括左眼识别区域、右眼识别区域、鼻子识别区域和嘴巴识别区域。
3.根据权利要求1所述的方法,其中,获取识别脸部图像,包括:
获取包含人脸的图像,通过人脸检测算法获取识别脸部图像。
4.根据权利要求1所述的方法,其中,根据所述识别脸部图像,通过椭圆肤色模型算法获取目标识别脸部图像,包括:
通过椭圆肤色检测算法将所述识别脸部图像划分为肤色不同的连通区域,并将面积最大的连通区域确定为目标识别脸部图像。
5.根据权利要求1所述的方法,其中,根据所述目标识别脸部图像获取特征识别区域,包括:
通过脸部特征检测算法对所述目标识别脸部图像进行特征检测,获取特征识别区域。
6.根据权利要求1所述的方法,其中,将特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,包括:
根据特征识别区域的量度信息,将所述特征识别区域到所述目标识别脸部图像中心的距离与所述目标识别脸部图像宽度的比值确定为所述目标识别脸部图像的特征。
7.根据权利要求1所述的方法,其中,将特征识别区域与所述目标识别脸部图像的比值信息确定为所述目标识别脸部图像的特征,包括:
根据特征识别区域的量度信息,将左眼识别区域与右眼识别区域的比值确定为所述目标识别脸部图像的特征。
8.根据权利要求7所述的方法,其中,左眼识别区域与右眼识别区域的比值,包括左眼识别区域与右眼识别区域的水平方向宽度比值和面积比值。
9.一种脸部转动角度的识别设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备执行权利要求1至8中任一项所述的方法。
10.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。
CN201810644055.4A 2018-06-21 2018-06-21 脸部转动角度的识别方法及设备 Withdrawn CN108960093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810644055.4A CN108960093A (zh) 2018-06-21 2018-06-21 脸部转动角度的识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810644055.4A CN108960093A (zh) 2018-06-21 2018-06-21 脸部转动角度的识别方法及设备

Publications (1)

Publication Number Publication Date
CN108960093A true CN108960093A (zh) 2018-12-07

Family

ID=64492018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810644055.4A Withdrawn CN108960093A (zh) 2018-06-21 2018-06-21 脸部转动角度的识别方法及设备

Country Status (1)

Country Link
CN (1) CN108960093A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949213A (zh) * 2019-03-15 2019-06-28 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN110083723A (zh) * 2019-04-24 2019-08-02 成都大熊猫繁育研究基地 一种小熊猫个体识别方法、设备及计算机可读存储介质
US20200268252A1 (en) * 2019-02-27 2020-08-27 Deep Smart Light Limited Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning
CN111862296A (zh) * 2019-04-24 2020-10-30 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
CN113288156A (zh) * 2021-05-18 2021-08-24 浙江大学 一种任意导联视角的心电数据的生成方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN104123543A (zh) * 2014-07-23 2014-10-29 泰亿格电子(上海)有限公司 一种基于人脸识别的眼球运动识别方法
CN104834898A (zh) * 2015-04-09 2015-08-12 华南理工大学 一种人物摄影图像的质量分类方法
CN105105938A (zh) * 2015-07-14 2015-12-02 南京邮电大学 基于人脸朝向识别与跟踪的智能轮椅控制方法及系统
CN105787478A (zh) * 2016-04-14 2016-07-20 中南大学 基于神经网络和灵敏度参数的人脸转向识别方法
CN106778676A (zh) * 2016-12-31 2017-05-31 中南大学 一种基于人脸识别及图像处理的注意力评估方法
CN107301406A (zh) * 2017-07-13 2017-10-27 珠海多智科技有限公司 基于深度学习的快速人脸角度识别方法
JP2018055470A (ja) * 2016-09-29 2018-04-05 国立大学法人神戸大学 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN108021902A (zh) * 2017-12-19 2018-05-11 珠海瞳印科技有限公司 头部姿态识别方法、头部姿态识别装置和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
CN103605965A (zh) * 2013-11-25 2014-02-26 苏州大学 一种多姿态人脸识别方法和装置
CN103793693A (zh) * 2014-02-08 2014-05-14 厦门美图网科技有限公司 一种人脸转向的检测方法及其应用该方法的脸型优化方法
CN104123543A (zh) * 2014-07-23 2014-10-29 泰亿格电子(上海)有限公司 一种基于人脸识别的眼球运动识别方法
CN104834898A (zh) * 2015-04-09 2015-08-12 华南理工大学 一种人物摄影图像的质量分类方法
CN105105938A (zh) * 2015-07-14 2015-12-02 南京邮电大学 基于人脸朝向识别与跟踪的智能轮椅控制方法及系统
CN105787478A (zh) * 2016-04-14 2016-07-20 中南大学 基于神经网络和灵敏度参数的人脸转向识别方法
JP2018055470A (ja) * 2016-09-29 2018-04-05 国立大学法人神戸大学 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN106778676A (zh) * 2016-12-31 2017-05-31 中南大学 一种基于人脸识别及图像处理的注意力评估方法
CN107301406A (zh) * 2017-07-13 2017-10-27 珠海多智科技有限公司 基于深度学习的快速人脸角度识别方法
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
CN108021902A (zh) * 2017-12-19 2018-05-11 珠海瞳印科技有限公司 头部姿态识别方法、头部姿态识别装置和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
REIN-LIEN HSU等: "Face Detection in Color Images", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
张文霞等: "驾驶人头部姿态估计研究", 《时代汽车》 *
朱宇鑫等: "基于概率神经网络(PNN)的人脸朝向识别", 《应用科技》 *
王科俊等: "一种快速眼睛定位与人脸平面旋转校正方法", 《计算机辅助设计与图形学学报》 *
许海柱: "图象中眼睛和嘴巴的检测与定位", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200268252A1 (en) * 2019-02-27 2020-08-27 Deep Smart Light Limited Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning
US11747205B2 (en) * 2019-02-27 2023-09-05 Deep Smart Light Ltd. Noninvasive, multispectral-fluorescence characterization of biological tissues with machine/deep learning
CN109949213A (zh) * 2019-03-15 2019-06-28 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN109949213B (zh) * 2019-03-15 2023-06-16 百度在线网络技术(北京)有限公司 用于生成图像的方法和装置
CN110083723A (zh) * 2019-04-24 2019-08-02 成都大熊猫繁育研究基地 一种小熊猫个体识别方法、设备及计算机可读存储介质
CN111862296A (zh) * 2019-04-24 2020-10-30 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN110083723B (zh) * 2019-04-24 2021-07-13 成都大熊猫繁育研究基地 一种小熊猫个体识别方法、设备及计算机可读存储介质
CN111862296B (zh) * 2019-04-24 2023-09-29 京东方科技集团股份有限公司 三维重建方法及装置、系统、模型训练方法、存储介质
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
CN113288156A (zh) * 2021-05-18 2021-08-24 浙江大学 一种任意导联视角的心电数据的生成方法
CN113288156B (zh) * 2021-05-18 2022-02-11 浙江大学 一种任意导联视角的心电数据的生成方法

Similar Documents

Publication Publication Date Title
CN108960093A (zh) 脸部转动角度的识别方法及设备
US7953253B2 (en) Face detection on mobile devices
KR102433971B1 (ko) 얼굴 표정 인식 및 주석처리를 위한 시스템 및 방법
CN106960202B (zh) 一种基于可见光与红外图像融合的笑脸识别方法
US8638993B2 (en) Segmenting human hairs and faces
US7643659B2 (en) Facial feature detection on mobile devices
CN109389074B (zh) 一种基于人脸特征点提取的表情识别方法
González-Briones et al. A multi-agent system for the classification of gender and age from images
CN103400110B (zh) Atm取款机前的异常人脸检测方法
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
CN106951840A (zh) 一种人脸特征点检测方法
CN108710829A (zh) 一种基于深度学习的表情分类及微表情检测的方法
US20080310759A1 (en) Generic face alignment via boosting
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN104123749A (zh) 一种图像处理方法及系统
CN109271930B (zh) 微表情识别方法、装置与存储介质
Yu et al. An object-based visual attention model for robotic applications
CN109685713B (zh) 化妆模拟控制方法、装置、计算机设备及存储介质
CN101964064A (zh) 一种人脸比对方法
CN102654903A (zh) 一种人脸比对方法
CN108629336A (zh) 基于人脸特征点识别的颜值计算方法
CN107871107A (zh) 人脸认证方法和装置
CN109063626A (zh) 动态人脸识别方法和装置
CN110110603A (zh) 一种基于面部生理信息的多模态唇读方法
Al-dahoud et al. A method for location based search for enhancing facial feature detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181207

WW01 Invention patent application withdrawn after publication