CN111665513B - 面部特征部检测装置、面部特征部检测方法 - Google Patents

面部特征部检测装置、面部特征部检测方法 Download PDF

Info

Publication number
CN111665513B
CN111665513B CN202010118789.6A CN202010118789A CN111665513B CN 111665513 B CN111665513 B CN 111665513B CN 202010118789 A CN202010118789 A CN 202010118789A CN 111665513 B CN111665513 B CN 111665513B
Authority
CN
China
Prior art keywords
feature
face
unit
dimensional coordinates
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010118789.6A
Other languages
English (en)
Other versions
CN111665513A (zh
Inventor
石井卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Publication of CN111665513A publication Critical patent/CN111665513A/zh
Application granted granted Critical
Publication of CN111665513B publication Critical patent/CN111665513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

提供能够更准确地估计面部的特征部的位置的面部特征部检测装置、面部特征部检测方法。本发明提供面部特征部检测装置(10)，其特征在于，具有：特征部传感器(11)，取得与对象者的特征部相关的信息；特征部检测部(12)，根据所述特征部传感器所取得的与对象者的特征部相关的信息，检测对象者的面部的特征部；三维坐标计算部(13)，计算所述对象者的特征部的三维坐标；以及特征部位置估计部(15)，依据所述对象者的特征部以左右对称的方式存在，基于所述特征部检测部所检测出的第一特征部的所述三维坐标，估计存在于与该第一特征部左右对称的位置处的第二特征部的三维坐标。

Description

面部特征部检测装置、面部特征部检测方法
技术领域
本发明涉及面部特征部检测装置及面部特征部检测方法。
背景技术
在汽车等的车厢内有道路噪声或发动机音等噪音源，要求减小乘坐者所感受到的噪音。在车厢内出于各种制约，基于吸音或隔音等的被动噪音控制的应对存在极限。于是，尝试利用ANC(主动噪声控制)，使用扬声器及麦克风来减小乘坐者所感受到的噪音。另外，将在作为靠近乘坐者的耳朵的位置的头枕中内置了扬声器及麦克风的ANC，以下称为头枕ANC。
在ANC中要求在作为控制点的乘坐者的耳朵的附近配置参考麦克风。这是因为，ANC的效果被认可的范围是距离控制点为声波的波长的十分之一的半径的范围。示出波长与消音区域的关系的一例。
在1500Hz为±22〔mm〕以下
在4000Hz为±8.5〔mm〕以下
在头枕中内置的麦克风不限于被包含在该范围中，因此消音区域未形成于耳朵周边。因此，为了使头枕ANC有效果，优选采用使消音区域移动的被称为虚拟传感的技术。通过虚拟传感，能够使消音区域移动。但是，为了进行该虚拟传感，要求高精度地检测耳朵的位置。说明检测耳朵的位置的几个方法。
图1是说明单目相机所进行的耳朵的位置的检测方法的图。通过针对图像数据进行图像处理，检测面部、眼睛、鼻子、耳朵等。例如，车载的面部特征部检测装置保持面部的特征部的统计数据。在该方法中，根据标准性的眼睛的宽度等来估计面部的进深并估计耳朵的位置，因此由于个人差异造成的误差大。另外，有时由于面部朝向，一侧的耳朵未被单目相机拍摄而无法检测出耳朵。
图2是说明深度传感器中的一般的误差因素和遮蔽区域的图。图2的(a)表示使用LRF(激光测距仪)作为深度传感器来照射激光的范围。如果使用深度传感器201，则能够对到物体的距离进行计测。但是，在希望求出到物体206的左侧面的距离的情况下，由于激光不直接照射到侧面，因此在近前的点204或者背景上的点202处反射。在情形2中，激光虽然在物体的斜面上反射，但在被扫描的面相对于激光照射为锐角的情况下，仅仅偏差1个扫描就导致距离l(字母l)大为变化，因此照射方向的微小偏差有可能造成大的误差。另外，还存在如下问题：在边缘附近，由于点光的漫反射或分辨率不足，无法高精度地检测深度距离。人的耳朵的位置位于头部的侧面，因此同样地，照射方向的微小偏差有可能造成大的误差。
图2的(b)表示并用相机和LRF的情况下的例子。如图2的(b)所示，在并用相机209和LRF201的情况下，相机209和LRF201无法被配置在物理上相同的位置，因此如图2的(b)所示，按各传感器具有不同的视场角和遮蔽区域。在有物体210的情况下，从相机209则区域211成为遮蔽区域，从深度传感器201则区域212成为遮蔽区域。像这样在综合多个传感器或相机信息的情况下，需要考虑全部传感器的遮蔽区域。
在这些区域中，无法将各传感器数据信息建立对应，无法计测正确的深度距离，因此在测定距离的情况下需要利用某种方法(例如附近的点)进行插值，由此发生误差。在人的面部的情况下，耳朵的位置位于面部的侧面，因此容易被包含在遮蔽区域中。
图3是说明使用了深度传感器但发生了误检测的情况的图。在图3的(a)中，深度传感器201将照射到脸颊的光误检测为照射到耳朵的点光。像这样，在面部与背景的边界的边缘附近，由于点光的漫反射或分辨率不足，无法高精度地检测耳朵的位置。在图3的(b)中相反地，深度传感器201所照射的点光没有照射到面部而照射到背景，而误检测了耳朵的位置。像这样，在边缘附近，容易发生距离的测定点与期望的测定点偏差的误匹配，而且测定点向横向微小地偏差就会产生大的误差。
针对这样的不佳情况，考虑不仅针对耳朵的位置进行实测，而且根据面部的特征部进行估计的技术(例如参考专利文献1)。在专利文献1中公开了一种车载音响装置，在未检测到一侧耳朵的情况下，根据眼睛的位置估计耳朵的位置。
在先技术文献
专利文献
[专利文献1]日本特开2015－231063号公报
[非专利文献1]西村正治等，主动噪声控制，日本，株式会社corona社，2017年10月6日发行
发明内容
发明所要解决的课题
但是，根据现有方法，存在如下问题：需要事先计测乘坐者的耳朵的位置的麻烦，或者是基于利用了统计信息而得到的不准确的位置信息进行估计的方法。
本发明鉴于上述课题，其目的在于，提供在无事先计测的情况下能够考虑个人差异而更准确地估计面部的特征部的位置的面部特征部检测装置。
用于解决课题的手段
鉴于上述课题，本发明提供一种面部特征部检测装置，其特征在于，具有：特征部传感器，取得与对象者的特征部相关的信息；特征部检测部，根据所述特征部传感器所取得的与对象者的特征部相关的信息，检测对象者的面部的特征部；三维坐标计算部，计算所述对象者的特征部的三维坐标；以及特征部位置估计部，依据所述对象者的特征部以左右对称的方式存在，基于所述特征部检测部所检测出的第一特征部的所述三维坐标，估计存在于与该第一特征部左右对称的位置处的第二特征部的三维坐标。
发明效果
能够提供一种能够更准确地估计面部的特征部的位置的面部特征部检测装置。
附图说明
图1是说明单目相机所进行的耳朵的位置的检测方法的图。
图2是说明深度传感器中的一般性的误差因素和遮蔽区域的图。
图3是说明使用了深度传感器但发生了误检测的情况的图。
图4是说明耳朵的位置的确定方法的概略的图。
图5是表示面部特征部检测装置的整体构成的车辆的侧视图的一例。
图6是以框状表示面部特征部检测装置所具有的功能的功能框图的一例。
图7是说明正中线的图的一例。
图8是说明基于从面部图像检测出的眼睛、鼻子、耳朵的三维坐标来估计无法检测出的耳朵的三维坐标的估计方法的图。
图9是表示反馈控制系统的系统构成例的图。
图10是表示面部特征部检测装置根据一侧耳朵的三维坐标估计另一侧耳朵的三维坐标的次序的流程图的一例。
图11是积蓄阶段中的面部特征部检测装置的功能框图的一例。
图12是表示面部朝向(横滚角、偏航角、俯仰角)的一例的图。
图13是说明面部朝向的估计方法的图的一例。
图14是示意性地表示使面部朝向向正面方向逆旋转而生成的3D模型的图。
图15是表示在积蓄阶段中面部特征部检测装置积蓄面部的特征部的3D模型的次序的流程图的一例。
图16是估计耳朵的位置的阶段中的面部特征部检测装置的功能框图的一例。
图17是说明从3D模型存储部取得的正面朝向的耳朵的三维坐标的图。
图18是表示在根据3D模型估计耳朵的位置的阶段中面部特征部检测装置估计特征部的次序的流程图的一例。
图19是说明面部特征部检测装置中的三维坐标的估计方法的效果的图。
图20是根据面部图像生成面部和身体的整体的三维数据，并在其上重合3D模型的图。
图21是表示通过TOF相机及高精细度的深度传感器再现的面部的形状的一例的图。
附图标记说明：
8 车辆
9 头枕
10 面部特征部检测装置
18、19 麦克风
20a、20b 扬声器
具体实施方式
以下，作为用于实施本发明的方式的一例，参照附图举出实施例说明面部特征部检测装置及面部特征部检测装置所进行的面部特征部检测方法。
[实施例1]
＜本实施例的耳朵的位置的确定方法的概略＞
图4是说明本实施例的耳朵的位置的确定方法的概略的图。此外，在本实施方式中，将从被检测面部的特征部的对象者观看的方向，作为面部朝向的方向。设想车辆的乘坐者作为对象者，因此以下将对象者称为乘坐者。在图4中，乘坐者朝向右方向。因此，面部特征部检测装置无法测定右耳221的位置。在这样的情况下，面部特征部检测装置如下估计右耳221的位置。
(1)面部特征部检测装置根据所摄像的面部图像，常时检测眼睛、鼻子、耳朵等特征部。面部特征部检测装置使用该特征部，估计面部的正中线223。所谓正中线223，是将面部从中央进行左右分割的中心线，由于有进深所以实际上成为面。例如，经过双眼的中心和鼻子并以穿过双眼的矢量作为法线矢量的平面是正中线223。
(2)接下来，面部特征部检测装置依据左右的耳朵存在于大致左右对称的位置，估计右耳221的位置。在从左耳222向正中线223垂下的垂线的交点H，将从左耳222到正中线223的距离d沿正中线223的法线方向相加，所得到的位置是右耳221的位置。
像这样，本实施例的面部特征部检测装置即使在由于乘坐者朝向左或者右方向而无法测定某一侧的耳朵的位置的情况下，依据左右的耳朵位于左右对称的位置，能够估计另一侧的耳朵的位置。
＜关于用语＞
面部的特征部是面部所包含的面部的部分，例如指的是眼睛、鼻子、口、眉、耳朵、脸颊、下颌、前额等。
特征部的三维坐标是使用所设定的坐标系表示空间中的特征部的位置的信息。
通过传感器直接检测出的特征部是第一特征部，与第一特征部对称的特征部是第二特征部。
＜整体构成图＞
图5是表示面部特征部检测装置的整体构成的车辆的侧视图的一例。如图5的(a)所示，面部特征部检测装置10搭载于车辆8的中央仪表群、仪表盘、仪表板内等。其中，搭载位置不限于这些。在面部特征部检测装置10，连接着对面部的特征部的三维坐标进行测定的特征部传感器11、扬声器20a、20b、麦克风18、19(带麦克风的扬声器)。特征部传感器11如图1所示，配置在能够对乘坐者的面部进行摄像的位置。例如，使光轴朝向车厢内地配置于仪表板内或者转向柱，或者使光轴朝向乘坐者的面部地配置在遮阳板或前方的前挡风玻璃盖板的上方等。
扬声器20a、20b、麦克风18、19如图5的(b)所示，被搭载于头枕9，能够实现头枕ANC。通过估计乘坐者的耳朵的位置，不仅能够提高ANC的性能，而且还能够提高所谓立体声音响的性能。此外，头枕ANC不仅能够适用于驾驶席，还能够适用于副驾驶席、后部座席。另外，不限于小汽车，只要是有头枕9的交通工具则都能够适用。例如，也能够搭载于电动轮椅、乘坐1～2人的个人通勤工具、飞机、电车(火车)、船舶等。另外，为了估计耳朵的位置无需乘坐交通工具，在室内等也能够使用面部特征部检测装置10。并不必须利用于ANC或立体声音响。
本实施方式的面部特征部检测装置10可以是仅对耳朵的位置进行测定的装置，但也可以具有AV(Audio Visual：视听)的再现(播放)功能。通过具有AV功能，能够使针对左右的耳朵的位置优化的音响到达。这样的面部特征部检测装置10有时被称为调谐器或者汽车音响等。另外，将搭载于车辆8的装置总称为车载装置。
另外，面部特征部检测装置10也可以被称为导航装置或者PND(PortableNavigation Device：便携式导航设备)。即，对从出发地到目的地的路线进行探索并设定至道路地图，在显示器所显示的电子地图上显示路线和当前地点，或者基于路线在前进路径变更的近前输出语音引导，或者通过动画等对合适的前进路径进行引导。另外，也可以具有与互联网通信的功能等。
此外，将主要具有AV功能和通信功能的面部特征部检测装置10称为智能屏互联系统(display audio)。智能屏互联系统通过与智能电话等终端装置通信来提供导航的功能。在该情况下，搭载于智能电话的应用程序制作导航画面，智能屏互联系统通过通信取得该导航画面并显示于显示器。在智能电话上运行的这样的应用程序已知CarPlay(注册商标)或Android Auto(注册商标)等。面部特征部检测装置10也可以是智能屏互联系统。
面部特征部检测装置10也可以能够切换车载的状态与可便携的状态。也就是说，面部特征部检测装置10也可以能够拆装于车辆。
另外，面部特征部检测装置10主要是专用于车辆的专用终端，但也可以是通用的信息处理终端。通用的信息处理终端例如指的是智能电话、平板电脑终端、便携电话、PDA(Personal Digital Assistant：个人数码助手)或者笔记本PC等。这些装置平常被作为信息处理终端利用，但在执行对耳朵的位置进行测定的应用程序软件的情况下，与专用终端同样进行图4中说明的耳朵的位置的估计处理。
＜关于功能＞
图6是以框状表示面部特征部检测装置10所具有的功能的功能框图的一例。面部特征部检测装置10具有特征部检测部12、三维坐标计算部13、正中线估计部14、特征部位置估计部15及ANC控制部16。面部特征部检测装置10具有作为具备CPU、RAM、ROM、闪存、I/O、通信装置及电池等的信息处理装置的功能。图示的功能是通过CPU执行从闪存向RAM展开的应用程序软件(或者也称为程序)并对各种硬件进行控制来实现的功能或者手段。
特征部检测部12从特征部传感器11取得映现着乘坐者的面部的面部图像，从面部图像中检测眼睛、鼻子、耳朵等特征部。首先，特征部传感器11有时是立体相机、或者单目相机(也可以是立体相机)+深度传感器。在哪种情况下都摄像1张以上的面部图像，因此使用以预先准备的眼睛、鼻子、耳朵等的图像作为雏形与面部图像进行比较的模式匹配、或通过深度学习等机器学习生成的识别器，来检测特征部。特征部检测部12将特征部二维坐标送出至三维坐标计算部13。此外，相机的内部参数及外部参数被校准，使用这些参数和从深度传感器得到的深度数据，能够根据特征部的二维坐标计算三维空间上的坐标。该坐标是例如以相机的光学原点作为中心的坐标系。
三维坐标计算部13计算特征部的三维坐标。首先，在特征部传感器11是立体相机的情况下，面部图像由左右的相机分别摄像，因此特征部检测部12利用被称为块匹配的方法对左右的面部图像进行比较，按面部图像的每个像素或者像素块来检测视差。另外，将该视差通过Z＝BF/D转换为距离(Z为距离，B为相机间的基线长度，F为焦距，D为视差)。
在特征部传感器11是相机+深度传感器的情况下，深度传感器沿特征部的方向检测出的深度是到特征部的距离。深度传感器照射激光的方向与相机的像素预先建立了对应，如果知晓映现着特征部的像素则能知晓该像素的距离。三维坐标计算部13将特征部三维坐标送出至正中线估计部14。
正中线估计部14主要使用双眼和鼻子的三维坐标估计面部的正中线。如上所述正中线实质上是面。详细情况在图7、图8中说明。由正中线估计部14估计正中线，作为特征部被检测出的耳朵的三维坐标和正中线被送出至特征部位置估计部15。
特征部位置估计部15根据正中线和被检测出的一侧的耳朵的三维坐标，估计另一侧的耳朵的三维坐标。详细情况在图7、图8中说明。
以上得到的双耳的三维坐标被送出至ANC控制部16。ANC控制部16利用双耳的三维坐标，实现头枕ANC。
＜正中线、另一侧的耳朵的三维坐标的估计＞
使用图7说明正中线的估计方法。图7是说明正中线223的图，图8是说明基于从面部图像检测出的眼睛、鼻子、耳朵的三维坐标来估计无法检测出的耳朵的三维坐标的估计方法的图。图7的(a)表示头部的俯视图，图7的(b)表示主视图。正中线223是将头部左右对称地分割的线(面)。可知相对于正中线223，右耳51与左耳52左右对称，右眼53与左眼54左右对称，鼻尖55位于正中线223上。
接下来，使用图8说明正中线的求法。图8的黑圆点表示以下的特征部。
E1：右眼
E2：左眼
N：鼻尖
Y1：右耳
Y2：左耳
面部的正中线223是将面部从中央以左右对称的方式分割的中心线，因此是穿过右眼E1与左眼E2的中点M、及鼻尖N的面。面的方程式只要有法线矢量和穿过面的1点的坐标则可确定。在图8中，从中点M连结到右眼E1的矢量(ME1)是法线矢量。此外，为了方便标记，在图8的说明中将矢量用()表示。正中线223穿过中点M及鼻尖N。将中点M的坐标作为(xo，yo，zo)，将矢量(ME1)的分量作为(a，b，c)，正中线估计部14如下求出正中线223。
a(x－x0)+b(y－y0)+c(z－z0)＝0
ax+by+cz+d＝0……(1)
其中，d为常数。
接下来，作为如图8所示的面部朝向，从面部图像未检测出右耳Y1。但是，由于检测出左耳Y2，因此依据右耳Y1相对于正中线223位于左右对称的位置，特征部位置估计部15估计右耳Y1的三维坐标。
将左耳Y2的坐标作为(x1，y1，z1)。将从左耳Y2向正中线223垂下的垂线的垂足作为H。矢量(Y2H)与矢量(ME1)平行，因此
(Y2H)＝k(ME1)
如果将原点作为O(0，0，0)，则
(OH)＝(OY2)+(Y2H)
＝(x1，y1，z1)+k(a，b，c)
点H位于正中线上，因此
a(x1+ka)+b(y1+kb)+c(z1+kc)+d＝0
∴k＝－(ax1+by1+cz1+d)/(a2+b2+c2)
因此，根据
(Y2H)＝
(－(ax1+by1+cz1+d)/(a2+b2+c2)a，－(ax1+by1+cz1+d)/(a2+b2+c2)b，－(ax1+by1+cz1+d)/(a2+b2+c2)c)
(OY1)＝(OY2)+(Y2Y1)
＝(OY2)+2(Y2H)
能够求出右耳Y1的坐标。
＜关于头枕ANC＞
图9是表示反馈控制系统的系统构成例的图。此外，关于ANC由于是公知的，因此简单说明。反馈控制系统具有：对左右耳位置附近的噪音的减小效果进行观测的麦克风18、19(也将其称为误差传感器)、以及生成用于抵消左右耳位置附近的噪音的虚拟噪音(二次音源)的扬声器20a、20b。噪音控制滤波器230的滤波器由系数更新部240更新，以使由配置于头枕9的麦克风18、19检测出的噪音与配置于头枕9的扬声器20a、20b所输出的虚拟噪音的差量即误差信号成为最小。需要作为从二次音源(扬声器)到误差传感器(麦克风)的传播路径的二次路径的二次路径模型241、242。在噪音控制滤波器的系数的更新中使用Filtered－x算法。此外，ANC既可以是前馈控制，也可以是使用反馈控制和前馈控制双方的混合控制。另外，在像本实施方式这样设置多个麦克风和扬声器的情况下，也可以除此之外还追加去除串音成分的控制。
在三维声场中适用了ANC的情况下，能够以误差麦克风位置为中心生成消音区域，但消音区域的大小由作为控制对象的噪音的频率决定。具体而言，在波长的1/10的直径的球状(或者新月状)的范围中减小10dB程度的噪音。例如，在100Hz的情况下的消音区域的直径是34cm，但在1000Hz的情况下的消音区域的直径是3.4cm而变得非常小，因此为了在宽带中控制噪音，准确地估计耳朵的位置是重要的。
在本实施方式中，能够采用如下被称为虚拟传感的技术：利用对耳朵的位置进行估计，来使消音区域移动。虚拟传感技术有需要事先学习的方法和不需要事先学习的方法。在不需要事先学习的虚拟传感技术中，一般利用多个麦克风，估计在物理上不能设置麦克风的位置(称为虚拟麦克风)的声压，在虚拟麦克风位置生成消音区域。在需要事先学习的虚拟传感技术中，事先确认误差麦克风位置与虚拟麦克风位置之间的传播函数或向各个麦克风位置的二次路径的特性。在事先学习的阶段中，在虚拟麦克风位置实际上设置麦克风。此外，关于ANC或虚拟传感技术可参考非专利文献1。
对双耳的三维坐标进行计算或者估计，也能够适宜地利用于立体声音响。在立体声音响中，为了使声音无延迟地传递到双耳，分别估计从用于音乐的扬声器到双耳的位置的距离。然后，调整从各扬声器输出声音的定时，以便相对于从各扬声器到各耳朵的距离不产生延迟。另外，与从各扬声器到各耳朵的距离相应地调整输出以成为同等程度的音量。另外，进行声音的相位控制，以使声音的相位到达耳朵时达到峰值。
＜动作次序＞
图10是表示面部特征部检测装置10根据一侧的耳朵的三维坐标估计另一侧的耳朵的三维坐标的次序的流程图的一例。图10的处理在成为进行ANC的状况(例如行驶中)时开始，但如果需要估计耳朵的位置则适宜执行即可。
由于特征部传感器11反复对面部图像进行摄像，特征部检测部12对乘坐者进行摄像并检测特征部(S1)。
三维坐标计算部13计算特征部的三维坐标(S2)。作为特征部，除了眼睛、鼻子、耳朵以外还可以检测眉、鼻孔、口、轮廓等。
特征部检测部12判断是否检测出两侧的耳朵(S3)。仅基于是否检测到2个耳朵来判断即可。也就是说，判断是否由于面部朝向是向右所以未检测出右耳的三维坐标，或者由于面部朝向是向左所以未检测出左耳的三维坐标。另外，在朝向正面的情况下有时无法准确地检测出两侧的耳朵，在该情况下可以如实施例2中说明的那样估计面部朝向并适用实施例2的方法，或者，在正面方向的情况下不进行耳朵的位置的估计。在步骤S3的判断为是的情况下，处理前进至步骤S6。
在步骤S3的判断为否的情况下，正中线估计部14估计面部的正中线223(S4)。然后，特征部位置估计部15估计相对于正中线223与计算出了三维坐标的一侧的耳朵对称的另一侧的耳朵的三维坐标(S5)。
然后，ANC控制部16使用双耳的三维坐标来执行ANC(S6)。
＜总结＞
如上所述，本实施例的面部特征部检测装置10在由于面部朝向而无法检测出一侧的耳朵的位置的情况下，也能够利用正中线223估计无法检测出的另一侧的耳朵的位置，因此能够进一步提高ANC控制的效果。
[实施例2]
根据实施例1，能够估计由于面部朝向而无法检测出的耳朵的位置，但在面部朝向为正面的情况下，如图3所说明的那样容易产生误匹配。另外，根据各人，面部部分的位置有时从对象位置偏离数mm～数cm，有时不能说是估计了准确的耳朵位置。在本实施例中，说明利用面部朝向来形成特征部的3D模型，根据3D模型估计由于面部朝向而无法检测出的耳朵的位置的面部特征部检测装置10。
＜关于功能＞
在本实施例中，分为积蓄3D模型的积蓄阶段、使用3D模型来估计耳朵的位置并执行ANC等的阶段。
图11是积蓄阶段中的面部特征部检测装置10的功能框图的一例。图11的面部特征部检测装置10具有特征部检测部12、三维坐标计算部13、面部朝向估计部21、面部朝向逆旋转部22及3D模型积蓄部23。关于特征部检测部12和三维坐标计算部13的功能，与实施例1同样即可。
面部朝向估计部21基于双眼和鼻尖的三维坐标，估计面部朝向(横滚角、偏航角(首摇角)、俯仰角)。详细在图12、图13中说明。面部朝向估计部21将面部朝向(横滚角、偏航角、俯仰角)送出至面部朝向逆旋转部22。
面部朝向逆旋转部22使三维坐标向与面部朝向估计部21所估计的面部朝向相反的方向逆旋转与面部朝向相应的量。例如，在面部朝向是横滚角＝α、偏航角＝β、俯仰角＝γ的情况下，使特征部的三维坐标旋转与横滚角＝－α、偏航角＝－β、俯仰角＝－γ相应的量。由此，特征部的三维坐标成为朝向正面方向时的值，因此面部朝向逆旋转部22将正面方向三维坐标送出至3D模型积蓄部23。
3D模型积蓄部23将正面方向三维坐标积蓄至3D模型存储部24。即，与眼睛、鼻子、耳朵等标签建立对应地积蓄正面方向三维坐标。正面方向三维坐标每当面部图像被摄像时被积蓄，因此正面方向三维坐标随着时间被积蓄。如后述，误差大的正面方向三维坐标被删除，因此逐渐积蓄精度高的正面方向三维坐标。
＜关于面部朝向＞
使用图12、图13说明面部朝向。图12是表示面部朝向(横滚角、偏航角、俯仰角)的一例的图。面部能够按图12的(a)所示的3个轴分别旋转。将如图12的(b)所示使面部上下旋转的情况下的角度称为俯仰角，将如图12的(c)所示使面部倾斜旋转的情况下的角度称为横滚角，将如图12的(d)所示使面部左右旋转的情况下的角度称为偏航角(首摇角)。
图13是说明面部朝向的估计方法的图的一例。图13中，以圆形表现面部，形成了将右眼53、左眼54和鼻尖55连结的三角形301。在提出的系统中，能够使用三维数据更准确地估计面部朝向。在面部朝向之中，关于偏航角和俯仰角，能够将三角形301的法线矢量n与X轴、Y轴所成的角分别计算为偏航角、俯仰角。另外，在使得各面部部分的三维坐标以三角形301的重心作为中心按偏航角、俯仰角的顺序逆旋转而设为仅旋转了横滚角的状态之后，计算从左眼球中心位置向右眼球中心位置的矢量与X轴的角度并作为横滚角。此外，在将面部朝向定义为“相对于朝向水平时经过两眼球中心的铅直面所成的角度”的情况下，在人看着相机正面的状态下，由三角形301形成的面也相对于面部朝向基准面在俯仰方向具有某程度的角度。另外，根据相机的设置角，朝向正面时的角度不同，因此也可以使用统计数据或相机的设置角度等进行角度的校正。
＜3D模型的积蓄＞
使用图14说明3D模型的积蓄。图14是示意性地表示使面部朝向向正面方向逆旋转而生成的3D模型的图。图14的(a)是实际的面部朝向向右的情况，未积蓄右耳51的三维坐标。在该情况下，面部朝向逆旋转部22使面部朝向向正面方向逆旋转。也就是说，逆旋转与估计了右眼53、左眼54、鼻尖55及左耳52的三维坐标而得到的偏航角相应的量。通过逆旋转，如图14的(d)所示，面部朝向成为正面方向，因此3D模型积蓄部23在3D模型存储部24中积蓄右眼53、左眼54、鼻尖55及左耳52的三维坐标。也就是说，图14的(d)相当于3D模型存储部24。
图14的(b)是实际的面部朝向为正面朝向的情况，未积蓄右耳51和左耳52的三维坐标。在该情况下，不需要使面部朝向向正面方向逆旋转。3D模型积蓄部23在3D模型存储部24中积蓄右眼53、左眼54及鼻尖55的三维坐标。此外，为了方便制图，在图14的(b)中省略了与图14的(d)的连结线。
图14的(c)是实际的面部朝向向左的情况，不积蓄左耳52的三维坐标。在该情况下，面部朝向逆旋转部22使面部朝向向正面方向逆旋转。也就是说，逆旋转与估计了右眼53、左眼54、鼻尖55及右耳51的三维坐标而得到的偏航角相应的量。通过逆旋转，如图14的(d)所示面部朝向成为正面方向，3D模型积蓄部23在3D模型存储部24中积蓄右眼53、左眼54、鼻尖55及右耳51的三维坐标。此外，为了制图方便，在图14的(c)中省略了与图14的(d)的连结线。
此外，三维坐标相对于特征部传感器11等的固定的坐标系被测定，但乘坐者的面部不仅面部朝向发生变化，而且也进行左右和前后的平行移动。如果在平行移动的状态下积蓄三维坐标，则即使进行逆旋转，特征部的三维坐标也存在偏差。因此，优选针对左右和前后的平行移动在进行逆旋转之前加以取消。例如，以三角形301的重心成为原点的方式进行平行移动之后进行逆旋转并进行3D模型的正规化。此外，上述作为例子将原点设为三角形301的重心，但3D模型的原点位置也可以设定为双耳的中心或鼻头等其他位置。
＜积蓄阶段的动作＞
图15是表示在积蓄阶段中面部特征部检测装置10积蓄面部的特征部的3D模型的次序的流程图的一例。图15的处理在车辆的行驶中反复执行。
首先，由于特征部传感器11反复对面部图像进行摄像，特征部检测部12对乘坐者进行摄像并检测特征部(S11)。
三维坐标计算部13计算特征部的三维坐标(S12)。作为特征部，除了眼睛、鼻子、耳朵以外还可以检测眉、鼻孔、口、轮廓等。
接下来，面部朝向估计部21估计面部朝向(偏航角、俯仰角、横滚角)(S13)。
然后，面部朝向估计部21判断面部朝向是否为正面方向(S14)。这是因为：在正面方向的情况下，左右的耳朵的位置有可能存在误差。在该情况下，处理前进至步骤S15。
3D模型积蓄部23不使面部朝向逆旋转，而将正面方向的眼睛和鼻子的三维坐标积蓄至3D模型存储部24(S15)。也就是说，不积蓄耳朵的三维坐标。
在面部朝向不是正面方向的情况下(S14为否)，由于高精度地检测出右耳或者左耳的可能性高，因此面部朝向逆旋转部22使面部的朝向向正面方向逆旋转(S16)。实际上也可以判断是否检测出右耳或者左耳。
另外，面部朝向估计部21判断面部朝向是否为阈值以上(S17)。在面部朝向不是正面方向，而且是极端大的面部朝向的情况下(S17为是)，将与面部朝向相应地取舍的特征部积蓄至3D模型(S18)。例如，在偏航角、俯仰角、横滚角极端大的情况下，即使求出了特征部的三维坐标也中止积蓄。此时的阈值针对偏航角、俯仰角、横滚角既可以相同也可以不同。例如，与面部朝向相应地如下对特征部进行取舍并积蓄。
偏航角为阈值以上：仅积蓄检测出的耳朵的三维坐标，不积蓄眼睛和鼻子的三维坐标。
横滚角为阈值以上：即使横滚角大，眼睛、鼻子的特征部也被高精度地检测，因此不进行过滤处理。由于不是正面朝向，因此积蓄所检测出的耳朵的三维坐标。
俯仰角为阈值以上：如果俯仰角大，则由于鼻子或头发等而眼睛的三维坐标有可能包含误差，因此仅积蓄鼻子的三维坐标，而不积蓄眼睛的三维坐标。由于不是正面朝向，因此积蓄所检测出的耳朵的三维坐标。
将如步骤S15或S18那样在正面方向的情况下或与面部朝向相应地中止积蓄，称为“过滤处理”。
在面部朝向不是正面方向，且不是阈值以上的情况下(S17为否)，3D模型积蓄部23将面部朝向逆旋转部22向正面方向逆旋转后的特征部的三维坐标，积蓄至3D模型存储部24(S19)。即，除了眼睛、鼻子之外，在向右的情况下积蓄左耳的三维坐标，在向左的情况下积蓄右耳的三维坐标。
通过如步骤S15、S18那样与面部朝向相应地仅积蓄精度高的特征部的三维坐标，能够使得误差大的三维坐标不被反映至3D模型。
另外，3D模型积蓄部23按特征部的每个种类删除最背离于平均的特征部(S20)。该处理按每一定时间、每次积蓄一定数量的特征部、或者每次积蓄新的三维坐标，随着时间反复执行。由于从误差大的特征部删除，因此能够随着时间提高3D模型的精度。
＜关于对耳朵的位置进行估计的阶段的功能＞
接着，说明使用3D模型对耳朵的位置进行估计的阶段的功能。图16是对耳朵的位置进行估计的阶段中的面部特征部检测装置10的功能框图的一例。图16的面部特征部检测装置10具有特征部检测部12、三维坐标计算部13、面部朝向估计部21、3D模型信息取得部25、面部朝向旋转部26及ANC控制部16。关于特征部检测部12、三维坐标计算部13、面部朝向估计部21及ANC控制部16的功能，与图6或者图11同样即可。
3D模型信息取得部25从3D模型存储部24取得正面朝向的耳朵的三维坐标。面部朝向旋转部26与面部朝向估计部21所估计的面部朝向相应地，使正面朝向的耳朵的三维坐标旋转。由此，即使无法检测出耳朵，也能够计算当前的面部朝向中的耳朵的三维坐标。
＜关于从3D模型存储部取得正面朝向的耳朵的三维坐标＞
图17是说明从3D模型存储部24取得的正面朝向的耳朵的三维坐标的图。首先，图17的(d)表示3D模型存储部24。
图17的(a)是实际的面部朝向向右的情况，右耳51的三维坐标未被计算。在该情况下，3D模型信息取得部25从3D模型存储部24取得右耳51的三维坐标。另外，面部朝向旋转部26使右耳51的三维坐标旋转至该向右的状态。通过使用当前的面部朝向来反映所积蓄的3D模型的特征部，能够置换无法看到的特征部或检测精度低的特征部。
图17的(b)是实际的面部朝向为正面朝向的情况，不使用右耳51和左耳52的三维坐标。在该情况下，3D模型信息取得部25从3D模型存储部24取得右耳51和左耳52的三维坐标。由于面部朝向为正面，面部朝向旋转部26不使三维坐标旋转即可。
图17的(c)是实际的面部朝向向左的情况，左耳52的三维坐标未被计算。在该情况下，3D模型信息取得部25从3D模型存储部24取得左耳52的三维坐标。另外，面部朝向旋转部26使左耳52的三维坐标旋转至该向左的状态。
像这样，能够在3D模型中置换未检测出的特征部或检测精度低的特征部。
此外，生成的3D模型被事先与个人的识别信息建立对应地保存，由此通过与个人认证并用，使用针对各人优化的3D模型，能够省略积蓄的阶段并估计特征部的位置。
＜根据3D模型对耳朵的位置进行估计的阶段的动作＞
图18是表示在根据3D模型对耳朵的位置进行估计的阶段中面部特征部检测装置10估计特征部的次序的流程图的一例。图18的处理在成为进行ANC的状况(例如行驶中)时开始，但如果需要估计耳朵的位置则适宜地执行即可。此外，步骤S21～S23与图15的步骤S11～S13同样即可。
接下来，特征部检测部12判断是否未能检测出1个或者2个耳朵，或者，面部朝向估计部21判断面部朝向是否为正面方向或者面部的朝向是否为阈值以上(S24)。也就是说，判断是否未能检测出特征部或是否检测精度低。在步骤S24的判断为否的情况下，处理前进至步骤S27。
在步骤S24的判断为是的情况下，3D模型信息取得部25从3D模型存储部24取得未能检测出或者检测精度低的耳朵的三维坐标(S25)。也能够与作为过滤处理的对象的面部朝向等相应地，取得检测精度低的耳朵以外的特征部的三维坐标。
接下来，面部朝向旋转部26使从3D模型存储部24取得的耳朵的三维坐标旋转至面部的朝向(S26)。另外，面部朝向旋转部26与面部的平行移动相应地使耳朵的三维坐标平行移动。
然后，ANC控制部16使用双耳的三维坐标来执行ANC(S27)。
根据本实施例，即使在耳朵的位置不对称的乘坐者的情况下，也能够准确地估计耳朵的位置。另外，能够排除向脸颊或背景等的误匹配。不是积蓄面部整体的三维坐标，而是仅保持特征部的时序数据，因此处理负荷小，处理速度高。另外，删除误差大的特征部的三维坐标，因此随着时间经过，能够不断提高3D模型的精度。
＜实验结果＞
图19是说明本实施例的面部特征部检测装置10中的三维坐标的估计方法的效果的图。图19的(a)～(c)以三维分布图表示50点的特征部的时序数据。图19的(a)是无过滤处理的3D模型，图19的(b)是有过滤处理但未删除误差大的特征部的3D模型，图19的(c)是有过滤处理且删除了误差大的特征部的3D模型。
图19的(a)的3D模型中，可知右眼53、左眼54、鼻尖55的位置的偏差少，但由于误匹配导致的右耳51、左耳52的位置的偏差大。图19的(b)的3D模型中，误匹配被去除，右耳51、左耳52的位置的偏差变小。进而，在图19的(c)中，可知右耳51、左耳52的位置几乎没有误差，偏差被减小。
图20是根据面部图像生成面部和身体的整体的三维数据，并在其上重合3D模型的图。图20的(a)、(b)表示无过滤处理的情况，在正面附近左耳52被匹配至脸颊(检测出了与实际不同的耳朵位置)。
图20的(c)、(d)表示有过滤处理的情况，在正面附近也能够检测出准确的左耳52的位置。
＜总结＞
·通过将积蓄的特征部的三维坐标与当前的面部朝向/位置相应地转换，置换无法看到的特征部或检测精度低的特征部，从而无论面部朝向如何，都能够稳定地得到特征部的位置。
·在现有方法中，仅能够利用2D相机估计大致的位置(不考虑个人差异)，但根据本实施例，能够进行比以往更高精度(从以往的数十〔mm〕级到数mm级)的耳朵位置估计。
·在现有方法中，在考虑基于个人差异的特性时，需要根据眼睛的位置估计大致的位置，或者事先测定每个人的眼睛或耳朵的距离，但根据本实施例，能够直接测定耳朵位置，因此无需这种事先处理。
·由于生成特征部的3D模型，因此能够减少使用存储器量或运算量，通过更廉价的系统也能够实现。
＜其他适用例＞
以上使用实施例说明了用于实施本发明的具体实施方式，但本发明不限定于这些实施例，在不脱离本发明的主旨的范围内能够施加各种变形及置换。
例如，作为特征部传感器的一例，使用彩色相机(或者红外线相机)和深度传感器(测距仪)进行了说明，但也可以使用TOF(Time Of Flight：飞行时间)相机。图21的(a)是TOF相机401的斜视图的一例。TOF相机401是能够根据被脉冲发光的近红外光从被摄体的反射时间，按每个像素计测进深距离的距离图像传感相机。因此，能够一次得到图像数据和距离信息。
另外，如果是能够提取面部的凹凸等面部的特征部那样高精细度的深度传感器，则即使不并用2D相机而仅通过深度传感器就能够检测出特征部。图21的(b)表示通过高精细度的深度传感器再现的面部的形状。通过这样的面部的形状，也能够根据凹凸检测特征部。
另外，在实施例1中，在检测正中线时利用了双眼的中心坐标和鼻尖，但也可以使用眼角、鼻孔、嘴角、下颌等其他特征部来检测正中线。但是，优选尽量使用不由于表情而变化的部位。另外，不限于适用于耳朵，能够适用于左右对称的特征部。
另外，在本实施方式中，搭载于车辆8的面部特征部检测装置10进行处理，但也可以将一部分或者整体的处理由服务器进行。例如，面部特征部检测装置10将面部图像发送至服务器，服务器进行图10中说明的处理。或者，服务器进行图15中说明的3D模型的积蓄、或图18中说明的特征部的三维坐标的取得。
另外，在本实施方式中，在积蓄三维坐标时与面部朝向相应地设置阈值，但除了通过阈值来判定是否积蓄的方法以外，也能够与面部朝向相应地进行加权并通过加权平均求出3D模型的坐标。

Claims (3)

1.一种面部特征部检测装置，其特征在于，具有：
特征部传感器，取得与对象者的特征部相关的信息；
特征部检测部，根据所述特征部传感器所取得的与对象者的特征部相关的信息，检测对象者的面部的特征部；
三维坐标计算部，计算所述对象者的特征部的三维坐标；
面部朝向估计部，基于所述特征部检测部所检测出的特征部的所述三维坐标，估计所述对象者的面部朝向；
3D模型信息取得部，从3D模型存储部取得所述对象者的面部的特征部的三维坐标，所述3D模型存储部中积蓄了正面方向的面部朝向的所述对象者的面部的特征部的三维坐标；以及
面部朝向旋转部，使所述3D模型信息取得部所取得的所述对象者的面部的特征部的三维坐标，旋转至所述面部朝向估计部所估计的面部朝向，
所述面部朝向旋转部使从所述3D模型存储部取得的耳朵的三维坐标，旋转至所述面部朝向估计部所估计的面部朝向，从而估计由于面部朝向而根据所述特征部传感器所取得的所述信息无法检测出的所述对象者的耳朵的位置，
所述面部特征部检测装置具有：
面部朝向逆旋转部，与所述面部朝向估计部所估计的面部朝向相应地，使所述三维坐标计算部所计算的所述对象者的面部的特征部逆旋转，计算面部朝向为正面方向的所述特征部的所述三维坐标；以及
3D模型积蓄部，将所述面部朝向逆旋转部所计算的面部朝向为正面方向的所述特征部的所述三维坐标，积蓄至所述3D模型存储部，
所述3D模型积蓄部每一定时间，按特征部的每个种类计算所述3D模型存储部中积蓄的所述特征部的所述三维坐标的平均，将最偏离于平均的所述特征部的所述三维坐标从所述3D模型存储部删除。
2.如权利要求1所述的面部特征部检测装置，其特征在于，
所述3D模型积蓄部在所述面部朝向估计部所估计的面部朝向为正面方向的情况下，不将正面方向的耳朵的所述三维坐标积蓄至所述3D模型存储部。
3.一种面部特征部检测方法，其特征在于，具有如下步骤：
特征部传感器取得与对象者的特征部相关的信息；
特征部检测部根据所述特征部传感器所取得的与对象者的特征部相关的信息，检测对象者的面部的特征部；
三维坐标计算部计算所述对象者的特征部的三维坐标；
面部朝向估计部基于所述特征部检测部所检测出的特征部的所述三维坐标，估计所述对象者的面部朝向；
3D模型信息取得部从3D模型存储部取得所述对象者的面部的特征部的三维坐标，所述3D模型存储部中积蓄了正面方向的面部朝向的所述对象者的面部的特征部的三维坐标；以及
面部朝向旋转部使所述3D模型信息取得部所取得的所述对象者的面部的特征部的三维坐标，旋转至所述面部朝向估计部所估计的面部朝向，
在所述面部特征部检测方法中，使从所述3D模型存储部取得的耳朵的三维坐标旋转至所述面部朝向估计部所估计的面部朝向，从而估计由于面部朝向而根据所述特征部传感器所取得的所述信息无法检测出的所述对象者的耳朵的位置，
所述面部特征部检测方法具有如下步骤：
面部朝向逆旋转部与所述面部朝向估计部所估计的面部朝向相应地，使所述三维坐标计算部所计算的所述对象者的面部的特征部逆旋转，计算面部朝向为正面方向的所述特征部的所述三维坐标；
3D模型积蓄部将所述面部朝向逆旋转部所计算的面部朝向为正面方向的所述特征部的所述三维坐标，积蓄至所述3D模型存储部；
所述3D模型积蓄部每一定时间，按特征部的每个种类计算所述3D模型存储部中积蓄的所述特征部的所述三维坐标的平均，将最偏离于平均的所述特征部的所述三维坐标从所述3D模型存储部删除。
CN202010118789.6A 2019-03-05 2020-02-25 面部特征部检测装置、面部特征部检测方法 Active CN111665513B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019039902A JP7055762B2 (ja) 2019-03-05 2019-03-05 顔特徴部検出装置、顔特徴部検出方法
JP2019-039902 2019-03-05

Publications (2)

Publication Number Publication Date
CN111665513A CN111665513A (zh) 2020-09-15
CN111665513B true CN111665513B (zh) 2024-05-07

Family

ID=69500538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010118789.6A Active CN111665513B (zh) 2019-03-05 2020-02-25 面部特征部检测装置、面部特征部检测方法

Country Status (4)

Country Link
US (1) US11062125B2 (zh)
EP (1) EP3716143A1 (zh)
JP (1) JP7055762B2 (zh)
CN (1) CN111665513B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2021224864A1 (en) * 2020-02-21 2022-09-29 Ditto Technologies, Inc. Fitting of glasses frames including live fitting
CN111800688B (zh) * 2020-03-24 2022-04-12 深圳市豪恩声学股份有限公司 一种主动降噪方法、装置、电子设备及存储介质
US11568655B2 (en) * 2020-03-26 2023-01-31 Intel Corporation Methods and devices for triggering vehicular actions based on passenger actions
CN114205701B (zh) * 2020-09-17 2023-01-03 Oppo广东移动通信有限公司 降噪方法、终端设备及计算机可读存储介质
US11386609B2 (en) 2020-10-27 2022-07-12 Microsoft Technology Licensing, Llc Head position extrapolation based on a 3D model and image data
JP7418386B2 (ja) * 2021-12-14 2024-01-19 矢崎総業株式会社 顔向き判定システム
CN117146828B (zh) * 2023-10-30 2024-03-19 网思科技股份有限公司 拣货路径引导方法、装置、存储介质及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
JP2007257333A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 車両乗員顔向き検出装置および車両乗員顔向き検出方法
CN102413414A (zh) * 2010-10-13 2012-04-11 微软公司 用于扩展现实的高精度3维音频的系统和方法
CN105528571A (zh) * 2014-10-17 2016-04-27 欧姆龙株式会社 区域信息估计装置、区域信息估计方法以及空调装置
WO2018127901A1 (en) * 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
US7436988B2 (en) * 2004-06-03 2008-10-14 Arizona Board Of Regents 3D face authentication and recognition based on bilateral symmetry analysis
JP4989249B2 (ja) * 2007-02-14 2012-08-01 トヨタ自動車株式会社 目検知装置、居眠り検知装置及び目検知装置の方法
JP4850768B2 (ja) * 2007-03-27 2012-01-11 独立行政法人情報通信研究機構 ３次元の人の顔の表面データを再構築するための装置及びプログラム
JP5751865B2 (ja) * 2011-03-03 2015-07-22 セコム株式会社 顔画像処理装置
WO2015029982A1 (ja) * 2013-08-29 2015-03-05 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP2015231063A (ja) 2014-06-03 2015-12-21 矢崎総業株式会社 車載音響装置
WO2017047309A1 (ja) * 2015-09-14 2017-03-23 ヤマハ株式会社 耳形状解析方法、耳形状解析装置および耳形状モデル生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1694056A (zh) * 2004-05-06 2005-11-09 阿尔派株式会社 操作输入装置及操作输入方法
JP2007257333A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 車両乗員顔向き検出装置および車両乗員顔向き検出方法
CN102413414A (zh) * 2010-10-13 2012-04-11 微软公司 用于扩展现实的高精度3维音频的系统和方法
CN105528571A (zh) * 2014-10-17 2016-04-27 欧姆龙株式会社 区域信息估计装置、区域信息估计方法以及空调装置
WO2018127901A1 (en) * 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Efficient Technique for Ear Detection in 3D: Invariant to Rotation and Scale;Surya Prakash 等;《2012 5th IAPR International Conference on Biometrics》;20120806;97-102 *
基于声源定位的头部姿态检测系统研究与实现;康雁 等;《东北大学学报》;20180115;第39卷(第01期);26-30, 49 *

Also Published As

Publication number Publication date
US11062125B2 (en) 2021-07-13
EP3716143A1 (en) 2020-09-30
US20200285834A1 (en) 2020-09-10
JP2020144546A (ja) 2020-09-10
JP7055762B2 (ja) 2022-04-18
CN111665513A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111665513B (zh) 面部特征部检测装置、面部特征部检测方法
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
WO2021197189A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
EP3033999B1 (en) Apparatus and method for determining the state of a driver
EP4339938A1 (en) Projection method and apparatus, and vehicle and ar-hud
US11127194B2 (en) Image processing apparatus and image processing method
JP6701532B2 (ja) 画像処理装置および画像処理方法
JP2020080485A (ja) 運転支援装置、運転支援システム、運転支援方法およびプログラム
US11455810B2 (en) Driver attention state estimation
CN111854620B (zh) 基于单目相机的实际瞳距测定方法、装置以及设备
US20210229553A1 (en) Display control device, display control method, and program
JP2017068424A (ja) 姿勢計測装置及び姿勢計測方法
JP2019148491A (ja) 乗員監視装置
JP6572538B2 (ja) 下方視判定装置および下方視判定方法
JP2018101212A (ja) 車載器および顔正面度算出方法
JP2022040819A (ja) 画像処理装置及び画像処理方法
JP5568761B2 (ja) 視野推定装置、視野推定方法、コンピュータプログラム及び記録媒体
JP4246691B2 (ja) 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
CN115065818A (zh) 一种抬头显示系统的投影方法和装置
JP2021056968A (ja) 物体判定装置
US20240219562A1 (en) Tracking facial expressions using ultrasound and millimeter waves
WO2023286228A1 (ja) 顔情報登録支援装置
WO2023102849A1 (zh) 一种信息录入的方法、装置和交通工具
US20240331409A1 (en) Generation method, display device, and generation device
JP2024112560A (ja) 運転手用の行動評価装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant