CN110462625B - 面部识别装置 - Google Patents

Abstract

面部识别装置具备：判定部，其根据拍摄人的面部得到的拍摄图像判定佩戴在面部的佩戴物的有无；获取部，其在通过判定部判定为在面部有佩戴物的情况下，获取表示距面部的表面的佩戴物的高度的高度信息；制成部，其基于高度信息制成三维面部模型；以及拟合部，其使用三维面部模型对拍摄图像所包含的面部进行拟合。

Description

面部识别装置

技术领域

本发明涉及识别人的面部的面部识别装置。

背景技术

以往，利用了识别人的面部的面部识别装置。对于这样的识别人的面部的技术，例如有下述示出出处的专利文献1－3所记载的技术。

专利文献1所记载的墨镜穿戴检测装置构成为具备获取输入图像的图像输入部、和根据输入图像检测穿戴墨镜的人的图像处理部。图像处理部具备：头部提取单元，其从输入图像提取相当于人的头部的头部区域；黑色像素提取单元，其提取头部区域所包含的大致呈黑色的黑色像素；特征量计算单元，其基于黑色像素的分布计算头部区域的特征量；以及判定单元，其使用特征量，若黑色像素大致左右对称地分布则判定为人穿戴墨镜，若黑色像素未大致左右对称地分布则判定为人未穿戴墨镜。

专利文献2所记载的面部状态检测装置利用面部图像拍摄单元拍摄对象者的面部，并基于拍摄到的面部图像，检测该对象者的面部的方向。该面部状态检测装置具备：眼镜检测单元，其检测对象者是否佩戴眼镜；映入检测单元，其在眼镜检测单元检测到对象者佩戴了眼镜时，检测在该眼镜是否存在映入；特征量检测单元，其检测在该映入检测单元中检测到的映入映像的位置，或者检测出的眼镜的特征量；以及面部的方向检测单元，其基于在特征量检测单元中检测出的特征量，检测对象者的面部的方向。

专利文献3所记载的图像处理装置具备：分辨率转换单元，其将输入图像的至少规定的结构物的部分转换为所希望的分辨率；利用通过对示出了规定的结构物的具有与所希望的分辨率相同的分辨率的多个图像进行规定的统计处理得到的统计特征量来表现结构物的模型；以及重建单元，其使分辨率转换后的输入图像中的结构物与模型适应，重建表示适应后的结构物的图像。

专利文献1：日本特开2010－186274号公报

专利文献2：日本特开2002－226516号公报

专利文献3：日本特开2006－350498号公报

专利文献1所记载的墨镜穿戴检测装置根据图像上的人根据边缘、亮度值以及左右对称性等判定是否佩戴墨镜。因此，虽然能够检测墨镜的佩戴的有无，但未假定人朝向侧面的情况下的拟合，不能够检测朝向侧面的面部。

专利文献2所记载的面部状态检测装置检测墨镜，并检测向镜片的背景的映入。基于与映入的车内的柱、反射镜的对位或者眼镜框的状态来检测面部方向。因此，在未产生向镜片的映入的情况下不能够检测面部方向。另外，根据墨镜的形状而映入的映像不同，所以对位并不容易，需要使用专用的墨镜。

专利文献3所记载的图像处理装置使用面部的三维模型和在图像检测出的特征点(2D)检测面部，并变更分辨率。因此，除了由装饰物遮挡了面部的部件的情况，或者本来面部的部件就被墨镜、口罩遮挡的情况之外，在面部的识别中面部的部件被帽子的帽檐等遮挡的情况下也不能够适当地进行识别。

因此，要求即使在面部有佩戴物的情况下，也能够适当地识别面部的面部识别装置。

发明内容

本发明所涉及的面部识别装置的特征构成在于具备：判定部，其根据拍摄人的面部得到的拍摄图像判定佩戴于上述面部的佩戴物的有无；获取部，其在通过上述判定部判定为在上述面部有佩戴物的情况下，获取表示距上述面部的表面的上述佩戴物的高度的高度信息；制成部，其基于上述高度信息制成三维面部模型；以及拟合部，其使用上述三维面部模型拟合上述拍摄图像所包含的面部这一点。

根据这样的特征构成，能够根据拍摄人的面部得到的拍摄图像确定佩戴物，并制成与佩戴物匹配的三维面部模型进行拟合。因此，即使在面部有佩戴物的情况下，也能够适当地识别面部。

另外，优选面部识别装置还具备：存储部，其预先存储上述佩戴物与上述高度信息的关系；以及确定部，其在通过上述判定部判定为在上述面部有佩戴物的情况下，确定上述佩戴物，上述获取部从上述存储部获取通过上述确定部确定的佩戴物的高度信息。

根据这样的构成，通过将预先准备的一般的口罩或者墨镜的形状与没有佩戴物的情况下的三维面部模型重叠能够容易地制成佩戴了口罩或者墨镜的情况下的三维面部模型。

或者，面部识别装置也可以构成为还具备：旋转量计算部，其在基于上述拟合部的拟合后，跟踪上述面部的特征点计算上述面部的旋转量，上述旋转量计算部在上述佩戴物为帽子且上述人低下头而上述特征点被上述帽子遮挡的情况下，从跟踪对象除去遮挡的上述特征点。

根据这样的构成，在由于面部朝下而特征点被遮挡的情况下，从跟踪对象除去遮挡的特征点，并继续跟踪基于帽子的帽檐部分的特征点，所以能够防止追踪的特征点突然消失而看不到面部。因此，能够精度良好地进行面部识别。

另外，优选通过图像识别处理计算并求出距上述面部的表面的上述佩戴物的高度。

根据这样的构成，例如能够通过单眼立体匹配技术，把握帽子的帽檐的三维形状。因此，即使在佩戴物为帽子的情况下，也能够基于该三维形状容易地制成三维面部模型。

附图说明

图1是示意地表示面部识别装置的构成的框图。

图2是表示佩戴物的一个例子的图。

图3是没有佩戴物的情况下的三维面部模型。

图4是佩戴物为墨镜的情况下的三维面部模型。

图5是佩戴物为口罩的情况下的三维面部模型。

图6是佩戴物为帽子的情况下的三维面部模型。

图7是表示未使用墨镜用三维面部模型的情况下以及使用了墨镜用三维面部模型的情况下的识别结果的差异的图。

图8是表示面部识别装置的处理的流程图。

具体实施方式

本发明所涉及的面部识别装置构成为即使在佩戴了佩戴物的面部的方向改变的情况下，也能够适当地识别面部。以下，对本实施方式的面部识别装置1进行说明。

图1使示意地表示本实施方式的面部识别装置1的构成的框图。如图1所示，面部识别装置1构成为具备拍摄图像获取部10、判定部11、确定部12、获取部13、存储部14、制成部15、拟合部16、以及旋转量计算部17，各功能部为了进行面部识别的处理，以CPU为核心部件由硬件或者软件或者其双方构建。在本实施方式中，列举面部识别装置1识别坐在车辆所具备的座椅的人的面部的情况下的例子进行说明。

拍摄图像获取部10从车辆所具备的座椅的前方朝向座椅进行拍摄。拍摄图像获取部10例如适合使用即使在光量较少的情况下(夜间或者背阴处)也能够辨别在获取的拍摄图像映现的物体的红外线照相机。该拍摄图像获取部10也能够利用其它的装置具有的红外线照相机。在本实施方式中，拍摄图像获取部10将拍摄范围以及拍摄方向设定为在人坐在车辆的座椅上的情况下，至少该人的面部包含于拍摄图像。通过拍摄图像获取部10获取的拍摄图像传递到后述的判定部11。

判定部11根据拍摄了人的面部的拍摄图像判定佩戴于面部的佩戴物的有无。首先，判定部11检测从拍摄图像获取部10传递来的拍摄图像中映现面部的面部区域。虽然省略说明，但能够通过使用了公知的机械学习的面部识别处理进行面部区域的检测。接下来，判定部11判定在检测到的面部区域内映现的面部是否佩戴了佩戴物。本实施方式中的佩戴物是指墨镜、口罩、帽子。在图2的(a)示出佩戴墨镜的面部的一个例子，在图2的(b)示出佩戴口罩的面部的一个例子，在图2的(c)示出佩戴帽子的面部的一个例子。通过公知的面部识别处理判定这样的佩戴物的有无。判定部11在判定为在面部有佩戴物的情况下向后述的确定部12传递判定结果，在判定为在面部没有佩戴物的情况下将判定结果传递到后述的拟合部16。

确定部12在通过判定部11判定为在面部有佩戴物的情况下，确定佩戴物。如上述那样，在通过判定部11判定为在面部有佩戴物的情况下对确定部12传递判定结果。确定部12接受该判定结果，确定面部区域所包含的佩戴于面部的佩戴物。对于佩戴物的确定来说，例如在面部区域的双眼的位置、及其附近被与其它的区域的颜色不同的颜色覆盖的情况下能够确定为墨镜，在面部区域的鼻子、嘴的位置、及其附近被与其它的区域的颜色不同的颜色覆盖的情况下能够确定为口罩。另外，例如在覆盖面部区域中面部的上部的情况下能够确定为帽子。能够通过公知的图像识别处理进行这样的确定。确定部12的确定结果传递到后述的获取部13。

获取部13在通过判定部11判定为在面部有佩戴物的情况下，获取表示距面部的表面的佩戴物的高度的高度信息。在“通过判定部11判定为在面部有佩戴物的情况下”，既可以构成为判定部11直接对获取部13示出判定结果，也可以构成为如上述那样判定部11向确定部12传递判定结果，且在确定部12确定出佩戴物时，确定部12向获取部13示出确定结果，从而示出通过判定部11判定为在面部有佩戴物。距离面部的表面的佩戴物的高度在佩戴物为墨镜的情况下，是指从面部的表面到墨镜的各部的高度，在佩戴物为口罩的情况下，是指从面部的表面到口罩的各部的高度，在佩戴物为帽子的情况下，是指从面部的表面到帽子的各部的高度。距离面部的表面的佩戴物的高度既可以是从面部的表面到佩戴物的全部的边缘部的高度，也可以为了减少运算处理而是到佩戴物的一部分的边缘部的高度。这样的佩戴物的高度在面部识别装置1中作为高度信息进行处理。

这里，在本实施方式中，在存储部14预先存储有佩戴物与高度信息的关系。对于佩戴物与高度信息的关系来说，在佩戴物为墨镜的情况下，是表示距面部的表面的墨镜的高度的关系，在佩戴物为口罩的情况下，是表示距面部的表面的口罩的高度的关系。这样的墨镜、口罩是一般的高度，所以适合预先存储佩戴物与高度信息的关系。然而，根据形状、帽檐部的大小而存在各种帽子，所以也可以不在存储部14预先存储帽子与高度信息的关系。

获取部13从存储部14获取通过确定部12确定的佩戴物的高度信息。即，获取部13在通过确定部12确定为佩戴物是墨镜的情况下获取预先存储于存储部14的墨镜的高度信息，在通过确定部12确定为佩戴物是口罩的情况下获取预先存储于存储部14的口罩的高度信息。由此，获取部13能够获取表示从面部的表面开始的一般的墨镜或者口罩的高度的高度信息。

另一方面，作为佩戴物的帽子如上述那样形状多种多样。因此，获取部13通过使用了通过拍摄图像获取部10获取的拍摄图像的图像识别处理计算并求出距面部的表面的佩戴物的高度。图像识别处理首先根据拍摄图像识别三维形状，并通过利用了时间序列的一般的单眼立体匹配技术，利用图像识别获取帽子的帽檐的三维形状即可。通过获取部13获取的高度信息传递到后述的制成部15。

制成部15基于高度信息制成三维面部模型。高度信息从获取部13传递到制成部15。三维面部模型是指以三维的方式示出人的面部的模型，是构成为能够沿着以面部的中心为基准规定的X轴、Y轴、Z轴各个方向并进，并且，能够以这些X轴、Y轴、Z轴为轴心旋转的模型。根据佩戴物准备这样的三维面部模型。

在图3示出面部没有佩戴物的情况下的三维面部模型。黑圆点是面部识别所使用的特征点，白圆点是为了使理解变得容易而示出的面部的部分。制成部15基于这样的没有佩戴物的情况下的三维面部模型和高度信息，制成与佩戴物对应的三维面部模型。具体而言，在佩戴墨镜的情况下，制成部15制成基于墨镜的高度信息将双眼的周围的高度提高的墨镜用的三维面部模型。墨镜用的三维面部模型如图4所示。此外，在图4中以虚线示出提高之前的特征点，并以黑圆点示出提高后的特征点。为了使理解变得更容易也以双点划线示出墨镜。鼻子、嘴的周围的特征点不根据墨镜的佩戴而变化，所以直接使用没有佩戴物的情况下的特征点。

另外，在佩戴口罩的情况下，制成部15制成基于口罩的高度信息提高鼻子以及嘴的周围的高度的口罩用的三维面部模型。口罩用的三维面部模型如图5所示。此外，在图5中也以虚线示出提高之前的特征点，并以黑圆点示出提高后的特征点。为了使理解变得更容易也以双点划线示出口罩。眼睛的周围的特征点不根据口罩的佩戴而变化，所以直接使用没有佩戴物的情况下的特征点。

此外，特别是对于墨镜用三维面部模型、以及口罩用三维面部模型来说，既可以在每次使用都制成，也可以预先存储制成的模型，并在使用时读出进行使用。

另一方面，如上述那样，在佩戴物为帽子的情况下，获取部13通过图像识别处理，利用图像识别获取帽子的帽檐的三维形状，制成部15将获取的三维形状与没有佩戴物的情况下的三维面部模型重叠，制成帽子用的三维面部模型。在每次确定为佩戴物是帽子时，根据帽子的形状制成该帽子用的三维面部模型即可。帽子用的三维面部模型的一个例子如图6所示。在图6中，为了使理解变得容易，以双点划线示出帽子。制成部15像这样制成与佩戴物对应的三维面部模型。通过制成部15制成的三维面部模型传递到后述的拟合部16。

拟合部16使用三维面部模型对拍摄图像所包含的面部进行拟合。三维面部模型从制成部15传递而来。另外，在拟合部16也从拍摄图像获取部10传递有拍摄图像。拟合部16检测拍摄图像所包含的面部的特征点。面部的特征点例如是指眉头、眉尾、眼角、眼尾、鼻柱、嘴角等。除了这些特征点之外，在面部佩戴了墨镜的情况下，例如墨镜的边缘部成为特征点，在佩戴了口罩的情况下，例如口罩的边缘部成为特征点。另外，在佩戴了帽子的情况下，例如帽子的帽檐部成为特征点。另一方面，在根据佩戴物制成的三维面部模型也设定上述那样的特征点。“拟合”是指使物A与和该物A不同的物B匹配(一致)，在本实施方式中是指使上述的“拍摄图像所包含的面部的特征点”与“三维面部模型的特征点”匹配(一致)。因此，拟合部16使三维面部模型沿着以三维面部模型的中心为基准规定的X轴、Y轴、Z轴的方向并进，或者以X轴、Y轴、Z轴为轴心旋转三维面部模型，以使与拍摄图像所包含的面部所佩戴的佩戴物对应的三维面部模型的特征点与拍摄图像的特征点一致。

在图7的(a)示出使用没有佩戴物时的三维面部模型对佩戴了墨镜的人的面部进行拟合的情况下的拟合结果，在图7的(b)示出使用墨镜用三维面部模型对佩戴了墨镜的人的面部进行拟合的情况下的拟合结果。为了使理解变得容易，在图7中以黑圆点示出上述的特征点，并以白圆点示出面部的轮廓。如图7的(a)所示，在使用没有佩戴物时的三维面部模型的情况下的拟合结果中若使三维面部模型与特征点(墨镜的外边缘部分)一致，则在三维面部模型的轮廓(以白圆点示出的轮廓)与拍摄图像的轮廓(以虚线示出的轮廓)之间产生偏移(与后述的图7的(b)的例子相比较大)。虽然未图示，但在使用没有佩戴物时的三维面部模型对佩戴了口罩的人的面部进行拟合的情况下也相同。

另一方面，在使用墨镜用三维面部模型对佩戴了墨镜的人的面部进行拟合的情况下，如图7的(b)所示，即使在使三维面部模型与特征点(墨镜的外边缘部分)一致的情况下，三维面部模型的轮廓与拍摄图像的轮廓之间的偏移与图7的(a)的例子相比也较小。像这样通过使用与佩戴物对应的三维面部模型进行拟合，能够适当地使三维面部模型与拍摄图像内的面部的方向匹配。拟合部16进行拟合时的三维面部模型的并进量、旋转量传递到后述的旋转量计算部17。另外，此时，表示与三维面部模型的特征点一致的拍摄图像的特征点的信息也合适地传递到后述的旋转量计算部17。

旋转量计算部17在拟合部16的拟合后，跟踪面部的特征点计算面部的旋转量。如上述那样，在旋转量计算部17从拟合部16传递有使三维面部模型的特征点与拍摄图像的特征点一致的情况下的并进量以及旋转量，并且传递有表示与三维面部模型的特征点一致的拍摄图像的特征点的信息。由此，旋转量计算部17能够对规定的基准方向(例如朝向拍摄图像获取部10的方向)，计算拟合部16进行拟合时使用的拍摄图像所包含的面部的旋转量。

另外，在旋转量计算部17从拍摄图像获取部10依次传递有获取的拍摄图像。旋转量计算部17基于来自拟合部16的表示与三维面部模型的特征点一致的拍摄图像的特征点的信息，确定该特征点，并在从拍摄图像获取部10依次传递来的拍摄图像中，对该特征点进行跟踪(跟随)。旋转量计算部17根据该追随量以及追随方向计算拍摄图像所包含的面部的旋转量。

这里，在拍摄图像所包含的人佩戴了带帽檐的帽子的情况下，若旋转量计算部17进行特征点的跟踪时人低下头，则有特征点(例如眼睛、眉毛等)被帽檐遮挡的情况。因此，优选旋转量计算部17在佩戴物为帽子，且人低下头而特征点被帽子遮挡的情况下，从跟踪对象除去被遮挡的特征点。通过像这样构成，通过从跟踪对象除去遮挡的特征点，并继续跟踪基于帽子的帽檐部分的特征点，能够防止追踪的特征点突然消失而看不到面部。因此，不会错误地将遮挡的特征点使用于旋转量的计算所以能够防止误计算，面部识别装置1能够精度良好地进行面部识别。

接下来，使用图8的流程图对面部识别装置1的面部识别处理进行说明。首先，拍摄图像获取部10获取拍摄图像(步骤#1)。判定部11使用该拍摄图像判定在面部是否有佩戴物(步骤#2)。

在通过确定部12确定为佩戴物是口罩的情况下(步骤#3：是)，拟合部16使用口罩用的三维面部模型(步骤#4)。拟合部16检测拍摄图像的特征点(步骤#5)，并将三维面部模型的特征点与从拍摄图像检测出的特征点拟合(步骤#6)。

旋转量计算部17根据将三维面部模型的特征点与从拍摄图像检测出的特征点拟合时的旋转量以及并进量、和基于检测出的特征点的跟踪的旋转量以及旋转方向，计算面部的方向(步骤#7)。

在步骤#3中，通过确定部12确定为佩戴物不是口罩(步骤#3：否)，而是墨镜的情况下(步骤#8：是)，拟合部16使用墨镜用的三维面部模型(步骤#9)，从步骤#5开始继续处理。

在步骤#8中，通过确定部12确定为佩戴物不是墨镜(步骤#8：否)，而是帽子的情况下(步骤#10：是)，拟合部16使用形状可变用的三维面部模型(步骤#11)，所以制成部15基于表示距面部的佩戴物的高度的高度信息，更新形状可变用的三维面部模型(步骤#12)。拟合部16检测拍摄图像的特征点(步骤#13)，并将三维面部模型的特征点与从拍摄图像检测出的特征点拟合(步骤#14)。

旋转量计算部17根据将三维面部模型的特征点与从拍摄图像检测出的特征点拟合时的旋转量以及并进量、和基于检测出的特征点的跟踪的旋转量以及旋转方向，计算面部的方向(步骤#15)。这里，在特征点被帽子遮挡的情况下(步骤#16：是)，旋转量计算部17从跟踪对象除去遮挡的特征点(步骤#17)。

在步骤#16中，特征点未被帽子遮挡的情况下(步骤#16：否)，继续处理。另外，在步骤#10中，未确定为佩戴物是帽子的情况下(步骤#10：否)，使用无佩戴物的三维面部模型(步骤#18)，从步骤#5开始继续处理。面部识别装置1沿着这样的流程进行处理。

〔其它的实施方式〕

在上述实施方式中，以面部识别装置1具备确定部12以及存储部14为例进行了说明，但面部识别装置1也可以不具备确定部12以及存储部14。在这样的情况下，面部识别装置1构成为制成部15基于通过获取部13获取的高度信息，制成三维面部模型即可。

在上述实施方式中，以面部识别装置1具备旋转量计算部17为例进行了说明，但面部识别装置1也可以不具备旋转量计算部17。在这样的情况下，构成为面部识别装置1进行三维面部模型的特征点与拍摄图像所包含的面部的拟合，并由其它的装置进行其后的处理即可。

在上述实施方式中，以通过图像识别处理计算并求出距面部的表面的佩戴物的高度为例进行了说明，但也能够利用其它的方法求出，也可以将佩戴物的高度预先设定为规定的值。

在上述实施方式中，列举面部识别装置1识别坐在车辆所具备的座椅的人的面部的情况下的例子进行了说明，但也能够将面部识别装置1使用于其它的用途。

本发明能够使用于识别人的面部的面部识别装置。

附图标记说明

1：面部识别装置，11：判定部，12：确定部，13：获取部，14：存储部，15：制成部，16：拟合部，17：旋转量计算部。

Claims (4)

1.一种面部识别装置，具备：

判定部，其根据拍摄人的面部得到的拍摄图像判定佩戴于上述面部的佩戴物的有无；

获取部，其在通过上述判定部判定为在上述面部有佩戴物的情况下，获取表示距上述面部的表面的上述佩戴物的高度的高度信息；

制成部，其基于上述高度信息制成三维面部模型；以及

拟合部，其使用上述三维面部模型拟合上述拍摄图像所包含的面部。

2.根据权利要求1所述的面部识别装置，其中，还具备：

存储部，其预先存储有上述佩戴物与上述高度信息的关系；以及

确定部，其在通过上述判定部判定为在上述面部有佩戴物的情况下，确定上述佩戴物，

上述获取部从上述存储部获取通过上述确定部确定的佩戴物的高度信息。

3.根据权利要求1所述的面部识别装置，其中，还具备：

旋转量计算部，其在基于上述拟合部的拟合后，跟踪上述面部的特征点来计算上述面部的旋转量，

在上述佩戴物为帽子且上述人低下头而上述特征点被上述帽子遮挡的情况下，上述旋转量计算部从跟踪对象除去遮挡的上述特征点。

4.根据权利要求1或者3所述的面部识别装置，其中，

通过图像识别处理计算并求出距上述面部的表面的上述佩戴物的高度。

Images