CN111742191A - 三维位置推定装置及三维位置推定方法 - Google Patents

Abstract

本发明的三维位置推定装置(100)包括：特征点提取部(11)，其检测车厢内拍摄用的摄像头(2)所拍摄的拍摄图像中与乘客的脸部对应的区域，并提取该检测出的区域中的多个特征点；特征点间距离计算部(12)，其计算多个特征点中的距离计算用特征点间的距离即第1特征点间距离；脸部方向检测部(13)，其检测乘客的脸部方向；头部位置角度计算部(14)，其计算表示乘客的头部相对于摄像头(2)的拍摄轴的位置的头部位置角度；特征点间距离校正部(15)，其使用脸部方向检测部(13)所得出的检测结果和头部位置角度来将第1特征点间距离校正为第2特征点间距离，该第2特征点间距离是头部中的与距离计算用特征点对应的部位配置为沿着相对于摄像头(2)的拍摄面的平行面的状态下的距离计算用特征点间的距离；以及三维位置推定部(16)，其使用头部位置角度、第2特征点间距离和基准特征点间距离来推定头部的三维位置。

Description

三维位置推定装置及三维位置推定方法

技术领域

本发明涉及三维位置推定装置及三维位置推定方法。

背景技术

以往，开发了如下技术：提取对包含人体头部的区域进行拍摄而得的图像中的特征点，计算基于该提取出的特征点的特征点间距离，并使用该计算出的特征点间距离来推定头部的三维位置。例如，专利文献1中公开了如下方法：将头发部分的水平宽度用作为特征点间距离来推定头部的三维位置。

现有技术文献

专利文献

专利文献1：

日本专利特开平5-196425号公报

发明内容

发明所要解决的技术问题

近年来，在所谓的“驾驶员监测系统”等车载用系统中，要求高精度地推定乘客的头部的三维位置。

这里，在使用特征点间距离来推定头部的三维位置的现有技术中，由于乘客的脸部方向变化、或乘客的头部发生移动，导致所计算的特征点间距离的值变动。由于所计算的特征点间距离的值发生变动，存在无法准确地推定三维位置的问题。

本发明是为了解决上述问题而完成的，其目的在于降低因脸部方向的变化和头部的移动等而带来的影响，并提高三维位置的推定精度。

解决技术问题所采用的技术方案

本发明的三维位置推定装置包括：特征点提取部，该特征点提取部检测由车厢内拍摄用的摄像头所拍摄的拍摄图像中与乘客的脸部对应的区域，并提取该检测出的区域中的多个特征点；特征点间距离计算部，该特征点间距离计算部计算多个特征点中的距离计算用特征点间的距离即第1特征点间距离；脸部方向检测部，该脸部方向检测部检测乘客的脸部方向；头部位置角度计算部，该头部位置角度计算部计算表示乘客的头部相对于摄像头的拍摄轴的位置的头部位置角度；特征点间距离校正部，该特征点间距离校正部使用脸部方向检测部所得出的检测结果和头部位置角度来将第1特征点间距离校正为第2特征点间距离，该第2特征点间距离是头部中的与距离计算用特征点对应的部位配置为沿着相对于摄像头的拍摄面的平行面的状态下的距离计算用特征点间的距离；以及三维位置推定部，该三维位置推定部使用头部位置角度、第2特征点间距离和基准特征点间距离来推定头部的三维位置。

发明效果

根据本发明，由于构成上述那样，因此能降低因脸部方向的变化和头部的移动等而带来的影响，并能提高三维位置的推定精度。

附图说明

图1是示出本发明实施方式1所涉及的三维位置推定装置的主要部分的框图。

图2是示出拍摄图像中的对象特征点的位置坐标的一个示例的说明图。

图3中，图3A是示出拍摄画角和头部位置角度相对于水平方向的一个示例的说明图。图3B是示出拍摄画角和头部位置角度相对于垂直方向的一个示例的说明图。

图4中，图4A是示出特征点间距离校正部进行校正前的特征点间距离的一个示例的说明图。图4B是示出特征点间距离校正部进行校正的图像的说明图。图4C是示出特征点间距离校正部进行校正后的特征点间距离的一个示例的说明图。

图5中，图5A是示出本发明实施方式1所涉及的三维位置推定装置的硬件结构的框图。图5B是示出本发明实施方式1所涉及的三维位置推定装置的其它硬件结构的框图。

图6是示出本发明实施方式1所涉及的三维位置推定装置的动作的流程图。

图7是示出本发明实施方式2所涉及的三维位置推定装置的主要部分的框图。

图8是示出对象乘客的头部位于基准位置的状态的一个示例的说明图。

图9是示出与式(10)～式(15)中所包含的各值对应的位置关系的一个示例的说明图。

图10是示出本发明实施方式2所涉及的三维位置推定装置的动作的流程图。

图11是示出本发明实施方式3所涉及的三维位置推定装置的主要部分的框图。

图12是示出本发明实施方式3所涉及的三维位置推定装置的动作的流程图。

具体实施方式

以下，为了对本发明进行更加详细的说明，根据附图对用于实施本发明的方式进行说明。

实施方式1.

图1是示出实施方式1所涉及的三维位置推定装置的主要部分的框图。图2是示出拍摄图像中的对象特征点的位置坐标的一个示例的说明图。图3A是示出拍摄画角和头部位置角度相对于水平方向的一个示例的说明图。图3B是示出拍摄画角和头部位置角度相对于垂直方向的一个示例的说明图。图4A是示出特征点间距离校正部进行校正前的特征点间距离的一个示例的说明图。图4B是示出特征点间距离校正部进行校正的图像的说明图。图4C是示出特征点间距离校正部进行校正后的特征点间距离的一个示例的说明图。参照图1～图4，对实施方式1的三维位置推定装置100进行说明。

图中，1是车辆。车辆1设有车厢内拍摄用的摄像头2。摄像头2例如由安装于车辆1的仪表板的可见光摄像头或红外线摄像头构成。摄像头2具有拍摄画角θ、φ，该拍摄画角θ、φ能对包含就坐于车辆1的驾驶座或副驾驶座中的至少一方(以下称为“前座”)的乘客的脸部在内的范围进行拍摄。

这里，θ是相对于水平方向(沿着由图中x轴和z轴规定的虚拟的平面的方向)的拍摄画角，φ是相对于垂直方向(沿着由图中y轴和z轴规定的虚拟的平面的方向)的拍摄画角。另外，拍摄画角的单位是度(deg)。

特征点提取部11检测摄像头2拍到的拍摄图像CI中的与乘客的脸部相对应的区域(以下称为“脸部区域”)。具体而言，例如，特征点提取部11使用Haar-Like(类哈尔)特征量，利用AdaBoost(自适应增强)或Cascade(级联)等算法来检测脸部区域。另外，在拍摄图像CI中乘客的脸的一部分被乘客的手等所遮挡的情况下，特征点提取部11可以利用所谓的“物体追踪”来检测脸部区域。该物体追踪可以使用粒子滤波或模板匹配等算法。

此外，特征点提取部11提取脸部区域中的多个特征点。具体而言，例如，特征点提取部11提取对应于乘客的右眼的特征点、对应于乘客的左眼的特征点、对应于乘客的两眼间的中心部的特征点、对应于乘客的鼻尖的特征点、以及对应于乘客的嘴的中心部的特征点等。

特征点间距离计算部12计算特征点提取部11所提取出的多个特征点中的任意2个特征点(以下称为“距离计算用特征点”)间的距离(以下称为“特征点间距离”)。具体而言，例如，特征点间距离计算部12计算对应于乘客的右眼的特征点与对应于乘客的左眼的特征点之间的距离。或者，例如，特征点间距离计算部12计算对应于乘客的两眼间的中心部的特征点与对应于乘客的嘴的中心部的特征点之间的距离。另外，特征点间距离是拍摄图像CI中的距离，特征点间距离的单位是像素(pixel)。

脸部方向检测部13检测乘客的脸部方向。具体而言，例如，脸部方向检测部13获取表示由特征点提取部11所提取出的多个特征点各自的位置坐标的信息，并基于这些特征点的位置关系来检测脸部方向。或者，例如，脸部方向检测部13获取表示拍摄图像CI的图像数据，并基于根据Random Forest(随机森林)等算法的机器学习的结果来检测脸部方向。在后者的情况下，无需图1中的特征点提取部11与脸部方向检测部13间的连接线。

头部位置角度计算部14计算表示乘客的头部相对于摄像头2的拍摄轴IA的位置的角度(以下称为“头部位置角度”)θ’、φ’。这里，θ’是相对于水平方向的头部位置角度，φ’是相对于垂直方向的头部位置角度。另外，头部位置角度的单位是度(deg)。

具体而言，例如，头部位置角度计算部14预先存储有拍摄画角θ、φ的值、拍摄图像CI中相对于第1轴方向(图中x轴方向)的分辨率m的值、以及拍摄图像CI中相对于第2轴方向(图中y轴方向)的分辨率n的值。另外，分辨率的单位是像素(pixel)。头部位置角度计算部14选择特征点提取部11所提取出的多个特征点中的任意1个特征点(以下称为“对象特征点”)，并从特征点提取部11中获取表示拍摄图像CI中的对象特征点的位置坐标(x，y)的信息。头部位置角度计算部14利用以下的式(1)和式(2)来计算头部位置角度θ’、φ’。

x:tanθ’＝(m/2):tan(θ/2) (1)

y:tanφ’＝(n/2):tan(φ/2) (2)

更严格地说，利用式(1)和式(2)进行计算的头部位置角度θ’、φ’表示乘客的头部中与对象特征点对应的部位(以下称为“对象部位”)的位置。

图2中，示出与乘客的双眼间的中心部对应的特征点c作为对象特征点被选择的情况下的对象特征点的位置坐标(x，y)的一个示例。如图2所示，在拍摄图像CI中与拍摄轴IA对应的位置的坐标、即拍摄图像CI中的中心部的位置坐标被设定为(0，0)。

图3中，示出拍摄画角θ、φ及头部位置角度θ’、φ’的一个示例。图3中的H示出乘客的头部。此外，图3中的CL表示相对于车辆1的前后方向(图中z轴方向)平行、且相对于车辆1的左右方向(图中x轴方向)通过乘客就坐的座位的中心部的虚拟直线(以下称为“座位中心线”)。

特征点间距离校正部15使用脸部方向检测部13所得出的检测结果以及头部位置角度计算部14所计算出的头部位置角度θ’、φ’，对特征点间距离计算部12所计算出的特征点间距离进行校正。

这里，参照图4，对特征点间距离校正部15所进行的校正方法的具体示例进行说明。如图4A所示，由特征点间距离计算部12来计算距离计算用特征点a、b间的距离d。与此相对，特征点间距离校正部15使用脸部方向检测部13所得出的检测结果和头部位置角度θ’、φ’，来计算相对于拍摄轴IA的乘客的脸部方向角度ψ(参照图4B)。图4B中的IA’表示相对于拍摄轴IA平行、且通过乘客的头部中与距离计算用特征点a、b对应的部位A、B间的中心部的虚拟的轴。

以下，将相对于摄像头2的拍摄轴IA正交、且通过摄像头2的焦点的虚拟的平面称为“拍摄面”。图4B中的IS’表示相对于摄像头2的拍摄面平行、且通过乘客的头部中与距离计算用特征点a、b对应的部位A、B间的中心部的虚拟的平面(以下称为“平行面”)。特征点间距离校正部15根据脸部方向角度ψ使部位A、B间的线段旋转(图中A→A’且B→B’)，由此来计算假设部位A、B配置为沿着平行面IS’的状态下的与部位A’、B’对应的特征点a’、b’间的距离d’(参照图4C)。特征点间距离校正部15将该计算出的距离d’设为校正后的特征点间距离。

三维位置推定部16使用头部位置角度计算部14所计算出的头部位置角度θ’、φ’、特征点间距离校正部15所得出的校正后的特征点间距离d’、以及预先存储于三维位置推定部16的基准特征点间距离D，来推定实际空间中的乘客的头部的三维位置。

更具体而言，三维位置推定部16利用以下的式(3)和式(4)、以及式(5)或式(6)来计算三维位置坐标(X，Y，Z)。该三维位置坐标(X，Y，Z)表示实际空间中的对象部位的三维位置、即实际空间中的乘客的头部的三维位置。

X＝x*D/d’ (3)

Y＝y*D/d’ (4)

Z＝X/tanθ’ (5)

Z＝Y/tanφ’ (6)

这里，基准特征点间距离D是成为实际空间中与距离计算用特征点对应的部位间的宽度的基准的值，单位为毫米(mm)。因此，三维位置坐标(X，Y，Z)中的X、Y和Z各自的单位也是毫米(mm)。

实施方式1中，基准特征点间距离D的值是基于针对多个人的实测值的统计值来设定的。具体而言，例如，对于多个人中的每一个人，对与距离计算用特征点a、b对应的部位A、B间的宽度、即两眼间的宽度进行实际测定。该测定出的宽度的平均值作为基准特征点间距离D的值预先存储于三维位置推定部16。

由特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15和三维位置推定部16构成三维位置推定装置100的主要部分。

接着，参照图5，对三维位置推定装置100的主要部分的硬件结构进行说明。

如图5A所示，三维位置推定装置100由计算机构成，具有处理器31和存储器32。存储器32中存储有程序，该程序用于使计算机作为特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15和三维位置推定部16来发挥功能。通过由处理器31读取存储于存储器32的程序并执行，从而实现特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15和三维位置推定部16的功能。

处理器31例如使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、微处理器、微控制器或DSP(Digital SignalProcessor：数字信号处理器)等。存储器32例如使用RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable ProgrammableRead Only Memory：可擦可编程只读存储器)或EEPROM(Electrically ErasableProgrammable Read-Only Memory：电可擦可编程只读存储器)等半导体存储器、磁盘、光盘或光磁盘等。

或者，如图5B所示，特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15和三维位置推定部16的功能可以由处理电路33来实现。处理电路33例如使用ASIC(Application Specific Integrated Circuit：专用集成电路)、PLD(Programmabel Logic Device：可编程逻辑器件)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)、SoC(System-on-a-Chip：系统级芯片)或系统LSI(Large-Scale Integration：大规模集成电路)等。

接着，参照图6的流程图，对三维位置推定装置100的动作进行说明。以下，将特征点间距离计算部12所计算出的特征点间距离、即特征点间距离校正部15进行校正前的特征点间距离称为“第1特征点间距离”。此外，将特征点间距离校正部15进行校正后的特征点间距离称为“第2特征点间距离”。

首先，步骤ST1中，特征点提取部11检测摄像头2所得出的拍摄图像CI中的脸部区域，并提取脸部区域中的多个特征点。

接着，步骤ST2中，脸部方向检测部13检测乘客的脸部方向。

接着，步骤ST3中，头部位置角度计算部14计算头部位置角度θ’、φ’。

接着，步骤ST4中，特征点间距离计算部12计算特征点提取部11所提取出的多个特征点中的距离计算用特征点间的距离、即第1特征点间距离。

接着，步骤ST5中，特征点间距离校正部15使用脸部方向检测部13所得出的检测结果以及头部位置角度计算部14所计算出的头部位置角度θ’、φ’，将特征点间距离计算部12所计算出的第1特征点间距离校正为第2特征点间距离。

接着，步骤ST6中，三维位置推定部16使用头部位置角度计算部14所计算出的头部位置角度θ’、φ’、特征点间距离校正部15进行校正后的特征点间距离(即第2特征点间距离)、以及预先存储的基准特征点间距离D，来推定实际空间中的乘客的头部的三维位置。

通过使用脸部方向检测部13所得出的检测结果和头部位置角度θ’、φ’来校正特征点间距离d，并使用头部位置角度θ’、φ’和校正后的特征点间距离d’来推定三维位置，从而在乘客的脸未朝向正面、或乘客的头部不在座位中心线CL上的情况下，也能使三维位置推定部16所计算的三维位置坐标(X，Y，Z)接近实际空间中的实际的头部的位置(更严格而言，实际的对象部位的位置)。即，能降低因脸部方向的变化和头部的移动等而带来的影响，能提高三维位置的推定精度。

另外，摄像头2可以与三维位置推定装置100一体构成。该情况下，三维位置推定装置100可以具有供摄像头2使用的拍摄用的照明装置。

此外，特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15和三维位置推定部16可以分别设置于搭载于车辆1的车载信息设备、自由携带至车辆1的移动信息终端、或与该车载信息设备或该移动信息终端自由通信的服务器装置中的某一个。即，三维位置推定系统可以由该车载信息设备、该移动信息终端或该服务器装置之中的任意两个以上构成。

此外，距离计算用特征点也可以是特征点提取部11所提取出的多个特征点中的任意3个以上的特征点。该情况下，特征点间距离可以是该3个以上的特征点中的各2个特征点间的距离。

如上所述，实施方式1的三维位置推定装置100包括：特征点提取部11，该特征点提取部11检测车厢内拍摄用的摄像头2所拍摄的拍摄图像CI中与乘客的脸部对应的区域，并提取该检测出的区域中的多个特征点；特征点间距离计算部12，该特征点间距离计算部12计算多个特征点中的距离计算用特征点间的距离即第1特征点间距离d；脸部方向检测部13，该脸部方向检测部13检测乘客的脸部方向；头部位置角度计算部14，该头部位置角度计算部14计算表示乘客的头部相对于摄像头2的拍摄轴IA的位置的头部位置角度θ’、φ’；特征点间距离校正部15，该特征点间距离校正部15使用脸部方向检测部13所得出的检测结果和头部位置角度θ’、φ’来将第1特征点间距离d校正为第2特征点间距离d’，该第2特征点间距离d’是头部中的与距离计算用特征点对应的部位配置为沿着相对于摄像头2的拍摄面的平行面IS’的状态下的距离计算用特征点间的距离；以及三维位置推定部16，该三维位置推定部16使用头部位置角度θ’、φ’、第2特征点间距离d’和基准特征点间距离D来推定头部的三维位置。由此，能降低因脸部方向的变化和头部的移动等而带来的影响，能提高三维位置的推定精度。

此外，实施方式1的三维位置推定方法包括：步骤ST1，该步骤ST1中，特征点提取部11检测车厢内拍摄用的摄像头2所拍摄的拍摄图像CI中与乘客的脸部对应的区域，并提取该检测出的区域中的多个特征点；步骤ST4，该步骤ST4中，特征点间距离计算部12计算多个特征点中的距离计算用特征点间的距离即第1特征点间距离d；步骤ST2，该步骤ST2中，脸部方向检测部13检测乘客的脸部方向；步骤ST3，该步骤ST3中，头部位置角度计算部14计算表示乘客的头部相对于摄像头2的拍摄轴IA的位置的头部位置角度θ’、φ’；步骤ST5，该步骤ST5中，特征点间距离校正部15使用脸部方向检测部13所得出的检测结果和头部位置角度θ’、φ’来将第1特征点间距离d校正为第2特征点间距离d’，该第2特征点间距离d’是头部中的与距离计算用特征点对应的部位配置为沿着相对于摄像头2的拍摄面IS的平行面IS’的状态下的距离计算用特征点间的距离；以及步骤ST6，该步骤ST6中，三维位置推定部16使用头部位置角度θ’、φ’、第2特征点间距离d’和基准特征点间距离D来推定头部的三维位置。由此，能降低因脸部方向的变化和头部的移动等而带来的影响，能提高三维位置的推定精度。

实施方式2.

图7是示出实施方式2所涉及的三维位置推定装置的主要部分的框图。图8是示出对象乘客的头部位于基准位置的状态的一个示例的说明图。图9是示出与式(10)～式(15)中所包含的各值对应的位置关系的一个示例的说明图。参照图7～图9，对实施方式2的三维位置推定装置100a进行说明。此外，图7中，对与图1所示的模块相同的模块标注相同标号并省略说明。

实施方式1的三维位置推定装置100将针对多个人的实测值的统计值用作为基准特征点间距离D。与此相对，实施方式2的三维位置推定装置100a执行针对当前就坐于车辆1的前座的乘客(以下称为“对象乘客”)的个人认证处理，并根据个人认证处理的结果来设定对象乘客用的基准特征点间距离D的值。

个人认证处理部17执行针对对象乘客的个人认证处理。具体而言，例如，个人认证处理部17检测拍摄图像CI中的脸部区域，并提取脸部区域中的个人认证用的特征量。个人认证处理部17判定与表示该提取出的特征量等的信息(以下称为“个人认证用信息”)相同的个人认证用信息是否存储于存储装置3。

以下，将个人认证用信息和专用的基准特征点间距离D的值已存储于存储装置3的乘客称为“已登记乘客”。此外，将个人认证用信息和专用的基准特征点间距离D的值未存储于存储装置3的乘客称为“未登记乘客”。即，个人认证处理部17所进行的个人认证处理是判定对象乘客是未登记乘客还是已登记乘客的处理。

个人认证处理部17在判定为对象乘客是未登记乘客的情况下，使存储装置3存储对象乘客的个人认证用信息。存储装置3例如由HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)等辅助存储装置构成。

在个人认证处理部17执行个人认证处理时，引导控制部18执行将对象乘客的头部引导至规定的位置(以下称为“基准位置”)的控制(以下称为“引导控制”)。基准位置例如是座位中心线CL上的位置。

更具体而言，引导控制部18使显示装置4显示将对象乘客的头部引导至基准位置的图像(以下称为“引导图像”)，或使语音输出装置5输出将对象乘客的头部引导至基准位置的语音(以下称为“引导语音”)。显示装置4例如由与三维位置推定装置100a一体的液晶显示器或有机EL(Electro Luminescence：电致发光)显示器构成。语音输出装置5例如由搭载于车辆1的扬声器构成。对象乘客按照引导图像或引导语音所进行的引导，将头部移动到基准位置。

在个人认证处理部17判定为对象乘客是未登记乘客的情况下，基准特征点间距离设定部19在引导控制部18进行了引导后的状态下，计算对象乘客用的基准特征点间距离D的值。基准特征点间距离设定部19将该计算出的值设定为三维位置推定部16中的基准特征点间距离D的值。此外，基准特征点间距离设定部19将该计算出的值与对象乘客的个人认证用信息关联起来存储于存储装置3。由此，作为未登记乘客的对象乘客成为已登记乘客。

即，在由个人认证处理部17判定为对象乘客是已登记乘客的情况下，对象乘客用的基准特征点间距离D的值已存储在存储装置3中。该情况下，基准特征点间距离设定部19获取存储于存储装置3的对象乘客用的基准特征点间距离D的值，并将该获取到的值设定为三维位置推定部16中的基准特征点间距离D的值。

这里，说明对象乘客用的基准特征点间距离D的值的计算方法。基准特征点间距离设定部19例如使用下述那样的几何式来计算对象乘客用的基准特征点间距离D的值。

基准特征点间距离设定部19在引导控制部18进行了引导后的状态下，执行与特征点提取部11相同的处理来提取多个特征点，并执行与头部位置角度计算部14相同的处理来计算头部位置角度θ’、φ’。此外，基准特征点间距离设定部19中预先存储有拍摄轴IA与座位中心线CL间的宽度Xseat的值。基准特征点间距离设定部19利用以下的式(7)～式(9)，来计算引导后的状态下的对象乘客的头部的三维位置坐标(X，Y，Z)。

X＝Xseat (7)

Z＝Xseat/tanθ’ (8)

Y＝Z*tanφ’ (9)

图8中，示出Xseat、引导后的状态下的头部位置角度θ’以及引导后的状态下的对象乘客的头部的三维位置坐标(X，Y，Z)中的Z的一个示例。如图8所示，能利用式(8)来计算Z。

基准特征点间距离设定部19中预先存储有摄像头2的拍摄画角θ、φ的值以及摄像头2的焦点距离f的值。基准特征点间距离设定部19在引导控制部18进行了引导后的状态下，通过执行与脸部方向检测部13相同的处理来检测对象乘客的脸部方向，并计算对象乘客相对于拍摄面IS的脸部方向角度γ。基准特征点间距离设定部19执行与特征点间距离计算部12相同的处理，由此来计算在引导后的状态下所提取出的多个特征点中的任意2个特征点间的距离d。

这里，如图9所示，将2个特征点中的一个特征点在拍摄面IS上的位置设为a1，并将对象乘客的头部中的与该特征点对应的部位(即右眼)在实际空间中的位置设为A1。此外，将2个特征点中的另一个特征点在拍摄面IS上的位置设为b2，并将对象乘客的头部中的与该特征点对应的部位(即左眼)在实际空间中的位置设为B2。基准特征点间距离设定部19利用基于以下的式(10)～式(14)的式(15)，来计算对象乘客用的基准特征点间距离D的值。

A1＝(Ztanθ’+D/2cosγ,Z+D/2sinγ) (10)

B2＝(Ztanθ’-D/2cosγ,Z-D/2sinγ) (11)

a1＝(Ztanθ’+D/2cosγ)/(Z+D/2sinγ)*f (12)

b2＝(Ztanθ’-D/2cosγ)/(Z-D/2sinγ)*f (13)

d＝a1-b2

＝(Ztanθ’+D/2cosγ)/(Z+D/2sinγ)*f

-(Ztanθ’-D/2cosγ)/(Z-D/2sinγ)*f(14)

d*D^2+4*f*Z*sinγ(tanθ’-tanγ)*D+4*d*Z^2*(sinγ)^2＝0 (15)

另外，引导后的状态下的多个特征点可以由特征点提取部11来提取，以代替基准特征点间距离设定部19。引导后的状态下的头部位置角度θ’、φ’可以由头部位置角度计算部14来计算，以代替基准特征点间距离设定部19。引导后的状态下的脸部方向可以由脸部方向检测部13来检测，以代替基准特征点间距离设定部19。引导后的状态下的2个特征点间的距离d可以由特征点间距离计算部12来计算，以代替基准特征点间距离设定部19。即，这些参数可以在计算基准特征点间距离D的值的处理以及推定头部的三维位置的处理中共享。图7中，省略了这些情况下的模块间的连接线的图示。

由特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15、三维位置推定部16、个人认证处理部17、引导控制部18和基准特征点间距离设定部19来构成三维位置推定装置100a的主要部分。

三维位置推定装置100a的主要部分的硬件结构与实施方式1中参照图5所说明的相同，因此省略详细说明。即，用于实现个人认证处理部17、引导控制部18和基准特征点间距离设定部19的功能的程序存储于存储器32，由处理器31读取并执行该程序，从而实现个人认证处理部17、引导控制部18和基准特征点间距离设定部19的功能。或者，用处理电路33来实现个人认证处理部17、引导控制部18和基准特征点间距离设定部19的功能。

接着，参照图10的流程图，对三维位置推定装置100a的动作进行说明。另外，步骤ST1～ST6的处理的内容与实施方式1中参照图6进行了说明的内容相同，因此省略说明。

首先，特征点提取部11执行步骤ST1的处理。

接着，在步骤ST11中，个人认证处理部17执行针对对象乘客的个人认证处理。即，个人认证处理部17判定对象乘客是未登记乘客还是已登记乘客，并将判定结果输出至基准特征点间距离设定部19。此外，在判定为对象乘客是未登记乘客的情况下，个人认证处理部17使存储装置3存储对象乘客的个人认证用信息。

当个人认证处理部17执行个人认证处理时，在步骤ST12中，引导控制部18执行引导控制。更具体而言，引导控制部18使显示装置4显示引导图像，或使语音输出装置5输出引导语音。

接着，脸部方向检测部13执行步骤ST2的处理，然后，头部位置角度计算部14执行步骤ST3的处理，接下来，特征点间距离计算部12执行步骤ST4的处理，然后，特征点间距离校正部15执行步骤ST5的处理。

在个人认证处理部17判定为对象乘客是未登记乘客的情况下(步骤ST13“是”)，在步骤ST14中，基准特征点间距离设定部19利用式(15)计算对象乘客用的基准特征点间距离D的值。基准特征点间距离设定部19将该计算出的值设定为三维位置推定部16中的基准特征点间距离D的值。此外，基准特征点间距离设定部19将该计算出的值与对象乘客的个人认证用信息关联起来存储于存储装置3。

另一方面，在由个人认证处理部17判定为对象乘客是已登记乘客的情况下(步骤ST13“否”)，对象乘客用的基准特征点间距离D的值已存储在存储装置3中。因此，步骤ST15中，基准特征点间距离设定部19获取存储于存储装置3的对象乘客用的基准特征点间距离D的值，并将该获取到的值设定为三维位置推定部16中的基准特征点间距离D的值。

接着，三维位置推定部16执行步骤ST6的处理。此时，步骤ST14或步骤ST15中由基准特征点间距离设定部19所设定的值被用作为基准特征点间距离D。

通常，头部中的与距离计算用特征点对应的部位间的宽度(例如两眼间的宽度)因人而异。因此，从进一步提高三维位置的推定精度的观点出发，优选也对每个乘客设定基准特征点间距离D的值。即，通过执行针对对象乘客的个人认证处理，并根据个人认证处理的结果来设定对象乘客用的基准特征点间距离D的值，从而能降低与头部中对应于距离计算用特征点的部位间的宽度有关的个人差异的影响。其结果是，能进一步提高三维位置的推定精度。

另外，基准特征点间距离设定部19中可以预先存储有与实施方式1相同的基准特征点间距离D的值、即基于针对多个人的实测值的统计值而设定的基准特征点间距离D的值。在个人认证处理部17所进行的个人认证处理失败的情况下(即、不明确对象乘客是已登记乘客还是未登记乘客的情况下)，基准特征点间距离设定部19可以将该预先存储的值设定为三维位置推定部16中的基准特征点间距离D的值。

此外，根据个人认证处理的内容或精度等，有时无需执行个人认证处理时的引导控制。该情况下，引导控制部18在步骤ST14的处理之前先执行引导控制即可，引导控制的执行时刻并不限于与个人认证处理的执行时刻相同的时刻。例如，在图10所示的流程图中，可以在步骤ST13为“是”的情况下执行引导控制，接着执行步骤ST14的处理。由此，在对象乘客为已登记乘客的情况下引导控制的执行被取消，因此，对象乘客无需遵从引导，能降低对象乘客的心理负担。

此外，除了将对象乘客的头部引导至基准位置以外，引导控制也可以是将对象乘客的脸部方向引导至规定的方向的控制(例如，进行引导以使得乘客的脸朝向正面的控制)。即，基准特征点间距离设定部19可以在对象乘客的头部位于基准位置、且对象乘客的脸部方向为规定的方向的状态下，计算对象乘客用的基准特征点间距离D的值。

此外，在判定为对象乘客是未登记乘客的情况下，可以执行如下控制来代替引导控制：求出对象乘客的头部中与距离计算用特征点对应的部位间的宽度的实测值的输入。该情况下，基准特征点间距离设定部19可以将通过触摸面板或硬件键盘等操作输入装置而输入的实测值设定为三维位置推定部16中的基准特征点间距离D的值，并将该输入的实测值与对象乘客的个人认证用信息关联起来存储于存储装置3。

如上所，实施方式2的三维位置推定装置100a包括：个人认证处理部17，该个人认证处理部17执行针对对象乘客的个人认证处理；以及基准特征点间距离设定部19，该基准特征点间距离设定部19根据个人认证处理的结果，来设定三维位置推定部16中的基准特征点间距离D的值。由此，能降低与头部中对应于距离计算用特征点的部位间的宽度有关的个人差异的影响，能进一步提高三维位置的推定精度。

此外，在对象乘客用的基准特征点间距离D的值已存储于存储装置3的情况下，基准特征点间距离设定部19将该存储的值设定为三维位置推定部16中的基准特征点间距离D的值。由此，在对象乘客为已登记乘客的情况下引导控制的执行被取消，因此，对象乘客无需遵从引导，能降低对象乘客的心理负担。

此外，三维位置推定装置100a具备执行将头部引导至基准位置的控制的引导控制部18，在对象乘客用的基准特征点间距离D的值未存储于存储装置3的情况下，基准特征点间距离设定部19在引导控制部18进行引导后的状态下计算对象乘客用的基准特征点间距离D的值，并将该计算出的值设定为三维位置推定部16中的基准特征点间距离D的值。由此，能在恰当的状态下计算对象乘客用的基准特征点间距离D的值。

此外，在个人认证处理部17执行个人认证处理时，引导控制部18执行将头部引导至基准位置的控制。由此，能在步骤ST14的处理之前执行引导控制。其结果是，能在对象乘客的头部位于基准位置的可能性较高的状态下执行步骤ST14的处理，因此，能准确地计算对象乘客用的基准特征点间距离D的值。

此外，在计算出对象乘客用的基准特征点间距离D的值时，基准特征点间距离设定部19将该计算出的值与对象乘客的个人认证用信息关联起来存储于存储装置3。由此，作为未登记乘客的对象乘客成为已登记乘客，可以省去下次及以后的计算处理。

实施方式3.

图11是示出实施方式3所涉及的三维位置推定装置的主要部分的框图。参照图11，对实施方式3的三维位置推定装置100b进行说明。此外，图11中，对与图7所示的模块相同的模块标注相同标号并省略说明。

实施方式2的三维位置推定装置100a在对象乘客为未登记乘客的情况下，将对象乘客的头部引导至基准位置，并在引导后的状态下计算对象乘客用的基准特征点间距离D的值。与此相对，实施方式3的三维位置推定装置100b在对象乘客为未登记乘客的情况下，判定对象乘客的头部位于基准位置的可能性较高的时刻，并在该判定出的时刻计算对象乘客用的基准特征点间距离D的值。

时刻判定部20在个人认证处理部17判定为对象乘客是未登记乘客的情况下，判定对象乘客的头部位于基准位置的可能性比其它时刻要高的时刻。在个人认证处理部17判定为对象乘客是未登记乘客的情况下，基准特征点间距离设定部19在时刻判定部20所判定出的时刻，计算对象乘客用的基准特征点间距离D的值。

即，时刻判定部20所判定的时刻是能计算对象乘客用的基准特征点间距离D的值的时刻。以下，将时刻判定部20所判定的时刻称为“可计算时刻”。

这里，说明时刻判定部20判定可计算时刻的方法的具体示例。另外，设对象乘客是车辆1的驾驶员。

时刻判定部20从设置于车辆1的ECU(Electronic Control Unit：电子控制单元)或车轮速度传感器等获取表示车辆1的行驶速度的信息(以下称为“车速信息”)。时刻判定部20使用车速信息来判定车辆1的行驶速度是否在规定的阈值以上。即，时刻判定部20判定车辆1是否处于高速行驶中。

此外，时刻判定部20从设置于车辆1的ECU或转向角传感器等获取表示车辆1的转向角的信息(以下称为“转向角信息”)。时刻判定部20使用转向角信息，判定车辆1的转向角是否在包含0度的规定的角度范围(以下称为“第1角度范围”)内。即，时刻判定部20判定车辆1的转向方向是否为直行方向。

此外，时刻判定部20获取表示拍摄图像CI的图像数据，并执行针对拍摄图像CI的图像识别处理。时刻判定部20利用图像识别处理来检测连接乘客的两肩间的直线(以下称为“第1直线”)，并判定第1直线是否为大致水平。此外，时刻判定部20利用图像识别处理来检测将乘客的头部的中心部与乘客的腰的中心部连接的直线(以下称为“第2直线”)，并判定第1直线与第2直线间的角度是否在包含90度的规定的角度范围(以下称为“第2角度范围”)内。

在车辆1的行驶速度在阈值以上且车辆1的转向角在第1角度范围内且第1直线为大致水平且第1直线与第2直线间的角度在第2角度范围内的情况下，驾驶员的头部位于驾驶座的座位中心线CL上的可能性较高。因此，时刻判定部20在上述条件被满足时，判定为是可计算时刻。

由特征点提取部11、特征点间距离计算部12、脸部方向检测部13、头部位置角度计算部14、特征点间距离校正部15、三维位置推定部16、个人认证处理部17、基准特征点间距离设定部19和时刻判定部20来构成三维位置推定装置100b的主要部分。

三维位置推定装置100b的主要部分的硬件结构与实施方式1中参照图5所说明的相同，因此省略详细说明。即，用于实现个人认证处理部17、基准特征点间距离设定部19和时刻判定部20的功能的程序存储于存储器32，由处理器31读取并执行该程序，从而实现个人认证处理部17、基准特征点间距离设定部19和时刻判定部20的功能。或者，用处理电路33来实现个人认证处理部17、基准特征点间距离设定部19和时刻判定部20的功能。

接着，参照图12的流程图，对三维位置推定装置100b的动作进行说明。另外，步骤ST1～ST6的处理的内容与实施方式1中参照图6进行了说明的内容相同，因此省略说明。

首先，特征点提取部11执行步骤ST1的处理。

接着，在步骤ST21中，个人认证处理部17执行针对对象乘客的个人认证处理。即，个人认证处理部17判定对象乘客是未登记乘客还是已登记乘客，并将判定结果输出至基准特征点间距离设定部19和时刻判定部20。此外，在判定为对象乘客是未登记乘客的情况下，个人认证处理部17使存储装置3存储对象乘客的个人认证用信息。

接着，脸部方向检测部13执行步骤ST2的处理，然后，头部位置角度计算部14执行步骤ST3的处理，接下来，特征点间距离计算部12执行步骤ST4的处理，然后，特征点间距离校正部15执行步骤ST5的处理。

在个人认证处理部17判定为对象乘客是未登记乘客的情况下(步骤ST22“是”)，在步骤ST23中，时刻判定部20判定是否为可计算时刻。当为可计算时刻时(步骤ST23“是”)，在步骤ST24中，基准特征点间距离设定部19利用式(15)来计算对象乘客用的基准特征点间距离D的值。基准特征点间距离设定部19将该计算出的值设定为三维位置推定部16中的基准特征点间距离D的值。此外，基准特征点间距离设定部19将该计算出的值与对象乘客的个人认证用信息关联起来存储于存储装置3。

另一方面，在由个人认证处理部17判定为对象乘客是已登记乘客的情况下(步骤ST22“否”)，对象乘客用的基准特征点间距离D的值已存储在存储装置3中。因此，步骤ST25中，基准特征点间距离设定部19获取存储于存储装置3的对象乘客用的基准特征点间距离D的值，并将该获取到的值设定为三维位置推定部16中的基准特征点间距离D的值。

接着，三维位置推定部16执行步骤ST6的处理。此时，步骤ST24或步骤ST25中由基准特征点间距离设定部19所设定的值被用作为基准特征点间距离D。

由此，通过由时刻判定部20判定可计算时刻，从而能省去引导控制。其结果是，对象乘客无需按照引导控制使头部移动到基准位置，能减轻对象乘客的心理负担。

另外，基准特征点间距离设定部19中可以预先存储有与实施方式1相同的基准特征点间距离D的值、即基于针对多个人的实测值的统计值而设定的基准特征点间距离D的值。在个人认证处理部17所进行的个人认证处理失败的情况下(即、不明确对象乘客是已登记乘客还是未登记乘客的情况下)，基准特征点间距离设定部19可以将该预先存储的值设定为三维位置推定部16中的基准特征点间距离D的值。此外，在时刻判定部20开始步骤ST23的处理后，经过了规定时间仍未判定为可计算时刻的情况下，基准特征点间距离设定部19将该预先存储的值设定为三维位置推定部16中的基准特征点间距离D的值。

此外，时刻判定部20对车辆1的行驶速度是否在阈值以上这一条件、车辆1的转向角是否在第1角度范围内这一条件、第1直线是否为大致水平这一条件、或第1直线与第2直线间的角度是否在第2角度范围内这一条件中的至少1个条件进行判定即可。通过使成为判定对象的条件减少，从而能减轻处理器31或处理电路33的处理负担。另一方面，通过使成为判定对象的条件增加，从而能提高可计算时刻的判定精度。即，能判定对象乘客的头部位于基准位置的可能性更高的时刻。

此外，时刻判定部20可以判定对象乘客的头部位于基准位置的可能性比其它时刻要高、且对象乘客的脸部方向为规定的方向(例如，对象乘客的脸部朝向正面)的可能性比其它时刻要高的时刻。

如上所述，实施方式3的三维位置推定装置100b具备时刻判定部20，该时刻判定部20判定头部位于基准位置的可能性比其它时刻要高的时刻，在对象乘客用的基准特征点间距离D的值未存储于存储装置3的情况下，基准特征点间距离设定部19在时刻判定部20所判定出的时刻计算对象乘客用的基准特征点间距离D的值，并将该计算出的值设定为三维位置推定部16中的基准特征点间距离D的值。由此，能在恰当的时刻计算对象乘客用的基准特征点间距离D的值。此外，能省去引导控制，并能减轻对象乘客的心理负担。

此外，时刻判定部20使用表示对象乘客所搭乘的车辆1的行驶速度的信息以及表示车辆1的转向角的信息，来判定对象乘客的头部位于基准位置的可能性比其它时刻要高的时刻。在对象乘客为车辆1的驾驶员的情况下，当车辆1处于高速行驶中、且车辆1的转向方向为直行方向时，驾驶员的头部位于驾驶座的座位中心线CL上的可能性较高。能利用这点来判定可计算时刻。

另外，本发明申请在其发明的范围内可对各实施方式进行自由组合，或者对各实施方式的任意的结构要素进行变形，或在各实施方式中省略任意的结构要素。

工业上的实用性

本发明的三维位置推定装置例如能适用于驾驶员监测系统等车载用系统。

标号说明

1 车辆，

2 摄像头，

3 存储装置，

4 显示装置，

5 语音输出装置，

11 特征点提取部，

12 特征点间距离计算部，

13 脸部方向检测部，

14 头部位置角度计算部，

15 特征点间距离校正部，

16 三维位置推定部，

17 个人认证处理部，

18 引导控制部，

19 基准特征点间距离设定部，

20 时刻判定部，

31 处理器，

32 存储器，

33 处理电路，

100、100a、100b 三维位置推定装置。

Claims (9)

1.一种三维位置推定装置，其特征在于，包括：

特征点提取部，该特征点提取部检测车厢内拍摄用的摄像头所拍摄的拍摄图像中与乘客的脸部对应的区域，并提取该检测出的区域中的多个特征点；

特征点间距离计算部，该特征点间距离计算部计算所述多个特征点中的距离计算用特征点间的距离即第1特征点间距离；

脸部方向检测部，该脸部方向检测部检测所述乘客的脸部方向；

头部位置角度计算部，该头部位置角度计算部计算表示所述乘客的头部相对于所述摄像头的拍摄轴的位置的头部位置角度；

特征点间距离校正部，该特征点间距离校正部使用所述脸部方向检测部所得出的检测结果和所述头部位置角度来将所述第1特征点间距离校正为第2特征点间距离，该第2特征点间距离是所述头部中的与所述距离计算用特征点对应的部位配置为沿着相对于所述摄像头的拍摄面的平行面的状态下的所述距离计算用特征点间的距离；以及

三维位置推定部，该三维位置推定部使用所述头部位置角度、所述第2特征点间距离和基准特征点间距离来推定所述头部的三维位置。

2.如权利要求1所述的三维位置推定装置，其特征在于，包括：

个人认证处理部，该个人认证处理部执行针对所述乘客的个人认证处理；以及

基准特征点间距离设定部，该基准特征点间距离设定部根据所述个人认证处理的结果，来设定所述三维位置推定部中的基准特征点间距离的值。

3.如权利要求2所述的三维位置推定装置，其特征在于，

所述基准特征点间距离设定部在所述乘客用的基准特征点间距离的值已存储在存储装置中的情况下，将该存储的值设定为所述三维位置推定部中的基准特征点间距离的值。

4.如权利要求2所述的三维位置推定装置，其特征在于，

具备引导控制部，该引导控制部执行将所述头部引导至基准位置的控制，

在所述乘客用的基准特征点间距离的值未存储在存储装置中的情况下，所述基准特征点间距离设定部在所述引导控制部进行了引导后的状态下计算所述乘客用的基准特征点间距离的值，并将该计算出的值设定为所述三维位置推定部中的基准特征点间距离的值。

5.如权利要求4所述的三维位置推定装置，其特征在于，

所述引导控制部在所述个人认证处理部执行所述个人认证处理时，执行将所述头部引导至所述基准位置的控制。

6.如权利要求2所述的三维位置推定装置，其特征在于，

具备时刻判定部，该时刻判定部判定所述头部位于基准位置的可能性比其它时刻要高的时刻，

在所述乘客用的基准特征点间距离的值未存储在存储装置中的情况下，所述基准特征点间距离设定部在所述时刻判定部所判定出的时刻计算所述乘客用的基准特征点间距离的值，并将该计算出的值设定为所述三维位置推定部中的基准特征点间距离的值。

7.如权利要求6所述的三维位置推定装置，其特征在于，

所述时刻判定部使用表示所述乘客所搭乘的车辆的行驶速度的信息以及表示所述车辆的转向角的信息，来判定所述头部位于所述基准位置的可能性比其它时刻要高的时刻。

8.如权利要求1至7的任一项所述的三维位置推定装置，其特征在于，

所述基准特征点间距离设定部在计算出所述乘客用的基准特征点间距离的值时，将该计算出的值与所述乘客的个人认证用信息关联起来存储于所述存储装置。

9.一种三维位置推定方法，其特征在于，包括：

特征点提取部检测车厢内拍摄用的摄像头所拍摄的拍摄图像中与乘客的脸部对应的区域，并提取该检测出的区域中的多个特征点的步骤；

特征点间距离计算部计算所述多个特征点中的距离计算用特征点间的距离即第1特征点间距离的步骤；

脸部方向检测部检测所述乘客的脸部方向的步骤；

头部位置角度计算部计算表示所述乘客的头部相对于所述摄像头的拍摄轴的位置的头部位置角度的步骤；

特征点间距离校正部使用所述脸部方向检测部所得出的检测结果和所述头部位置角度来将所述第1特征点间距离校正为第2特征点间距离的步骤，其中，所述第2特征点间距离是所述头部中的与所述距离计算用特征点对应的部位配置为沿着相对于所述摄像头的拍摄面的平行面的状态下的所述距离计算用特征点间的距离；以及

三维位置推定部使用所述头部位置角度、所述第2特征点间距离和基准特征点间距离来推定所述头部的三维位置的步骤。

Images