CN114103961A - 面部信息获取装置以及面部信息获取方法 - Google Patents

面部信息获取装置以及面部信息获取方法 Download PDF

Info

Publication number
CN114103961A
CN114103961A CN202110952306.7A CN202110952306A CN114103961A CN 114103961 A CN114103961 A CN 114103961A CN 202110952306 A CN202110952306 A CN 202110952306A CN 114103961 A CN114103961 A CN 114103961A
Authority
CN
China
Prior art keywords
face
driver
information
input
information acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110952306.7A
Other languages
English (en)
Other versions
CN114103961B (zh
Inventor
谷口觉
泽井俊一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN114103961A publication Critical patent/CN114103961A/zh
Application granted granted Critical
Publication of CN114103961B publication Critical patent/CN114103961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/22—
    • B60K35/65—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • B60K2360/149—
    • B60K2360/21—
    • B60K2360/741—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

提供面部信息获取装置以及面部信息获取方法，能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息。面部信息获取装置具备：行为获取部，从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息；输入画面显示部，使具有从驾驶员受理信息的输入的输入栏的画面显示于搭载于车辆的显示部；以及校正信息获取部，从多个面部图像中的在画面显示于所述显示部的期间生成的面部图像获取用于校正面部信息的校正信息。

Description

面部信息获取装置以及面部信息获取方法
技术领域
本发明涉及获取车辆的驾驶员的面部信息的面部信息获取装置以及面部信息获取方法。
背景技术
已知根据由设置于车辆的车室内的驾驶员监控摄像机获取到的驾驶员的面部图像来推测驾驶员的情绪的技术。车辆的行驶控制装置能够根据推测出的驾驶员的情绪来变更车辆的行为。
为了恰当地推测驾驶员的情绪，优选获取将视线朝向预定的方向的驾驶员的面部图像。在专利文献1中，记载有如下面部辨识系统，该面部辨识系统在设置于显示部的外部边缘附近的摄影部的附近对在显示用于引导人物的视线的显示信息的定时由摄影部获取到的图像中摄像到的人物的面部进行辨识。
现有技术文献
专利文献
专利文献1：日本特开2014-178920号公报
发明内容
为了用设置于车室内的驾驶员监控摄像机获取驾驶员将视线朝向预定的方向的面部图像而在显示器中显示预定的信息而引导视线对于驾驶员而言是繁琐的，是不优选的。
本发明的目的在于提供能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息的面部信息获取装置。
本发明的面部信息获取装置具备：行为获取部，从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息；输入画面显示部，使具有从驾驶员受理信息的输入的输入栏的画面显示于搭载于车辆的显示部；以及校正信息获取部，从多个面部图像中的在画面显示于显示部的期间生成的面部图像获取用于校正面部信息的校正信息。
在本发明的面部信息获取装置中，优选为输入画面显示部使输入栏配置于显示部的一端以及另一端的画面显示于显示部，校正信息获取部从在配置于显示部的一端的输入栏受理来自驾驶员的信息的输入的期间生成的面部图像获取第1校正信息，从在配置于显示部的另一端的输入栏受理来自驾驶员的信息的输入的期间生成的面部图像获取第2校正信息。
在本发明的面部信息获取装置中，优选为面部信息是表示驾驶员的视线方向的信息，校正信息是表示驾驶员的右眼的视线方向与左眼的视线方向的差异的信息。
在本发明的面部信息获取装置中，优选为面部信息是表示驾驶员的视线方向的信息，校正信息是表示驾驶员的眼睛的三维位置的信息。
在本发明的面部信息获取装置中，优选为面部信息是表示驾驶员的表情的信息，校正信息是表示驾驶员的无表情时的表情的信息。
本发明的面部信息获取方法包括：从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息，使具有从驾驶员受理信息的输入的输入栏的画面显示于搭载于车辆的显示部，从多个面部图像中的在画面显示于显示部的期间生成的面部图像获取用于校正面部信息的校正信息。
根据本发明的面部信息获取装置，能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息。
附图说明
图1是安装面部信息获取装置的车辆的概略结构图。
图2是面部信息获取装置的硬件示意图。
图3是面部信息获取装置所具有的处理器的功能框图。
图4是示出面部图像的摄影的例子的图。
图5是示出显示部中的显示的例子的图。
图6是面部信息获取处理的流程图。
符号说明
1：车辆；5：面部信息获取装置；531：行为获取部；532：输入画面显示部；533：校正信息获取部。
具体实施方式
以下，参照附图详细地说明能够以不使车辆的驾驶员感到繁琐的方式获取驾驶员的面部信息的面部信息获取装置。面部信息获取装置从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部图像。另外，面部信息获取装置使具有受理来自驾驶员的信息的输入的输入栏的画面显示于搭载于车辆的显示部。然后，面部信息获取装置从多个面部图像中的在具有输入栏的画面显示于显示部的期间生成的面部图像获取用于校正面部图像的校正信息。
图1是安装面部信息获取装置的车辆的概略结构图。
车辆1具有驾驶员监控摄像机2、触摸面板显示器3、仪表显示器4以及面部信息获取装置5。驾驶员监控摄像机2以及触摸面板显示器3与面部信息获取装置5经由遵循控制器局域网络这样的标准的车内网络能够通信地连接。
驾驶员监控摄像机2是用于获取表示驾驶员的面部的面部图像的传感器的一个例子。驾驶员监控摄像机2具有由CCD或者C－MOS等对于红外光具有灵敏度的光电变换元件的阵列构成的2维检测器和使该2维检测器上的作为摄影对象的区域的像成像的成像光学系统。另外，驾驶员监控摄像机2具有发出红外光的光源。驾驶员监控摄像机2例如朝向落座于驾驶座的驾驶员的面部地安装于车室内的前方上部。驾驶员监控摄像机2每隔预定的摄影周期(例如1/30秒～1/10秒)对驾驶员照射红外光，输出拍摄到驾驶员的面部的面部图像。
触摸面板显示器3是显示部的一个例子，例如具有液晶显示器或者有机EL显示器这样的显示设备，显示从面部信息获取装置5接收到的显示用的数据。另外，触摸面板显示器3具有重叠于显示设备的例如静电电容式的触摸传感器这样的输入设备，将与驾驶员针对触摸面板显示器3的操作相应的坐标信息发送到面部信息获取装置5。触摸面板显示器3将具有用于受理行驶路径的搜索中的目的地、在当前位置的周边进行的点搜索中的点类别、车室空调的设定条件这样的各种信息的输入的输入栏的画面显示于显示设备。另外，触摸面板显示器3利用输入设备来受理从驾驶员向输入栏的信息的输入。触摸面板显示器3例如设置于车室内的仪表盘中央附近。
仪表显示器4例如具有液晶显示器或者有机EL显示器这样的显示设备，显示从未图示的车辆控制装置接收到的行驶速度、行驶距离、各种警告这样的行驶关联信息。另外，仪表显示器4也可以显示车辆1的标识等用于引导驾驶员的视线的图像信息。仪表显示器4设置于仪表盘的驾驶员落座的驾驶座的前方。
面部信息获取装置5是具有通信接口、存储器以及处理器的ECU(ElectronicControl Unit，电子控制单元)。面部信息获取装置5使触摸面板显示器3显示具有输入栏的画面，并且使用驾驶员监控摄像机2摄影到的面部图像来执行面部信息获取处理。
图2是面部信息获取装置5的硬件示意图。面部信息获取装置5具备通信接口51、存储器52以及处理器53。
通信接口51是通信部的一个例子，具有用于将面部信息获取装置5连接于车内网络的通信接口电路。通信接口51将接收到的数据供给给处理器53。另外，通信接口51将从处理器53供给的数据输出到外部。
存储器52具有易失性的半导体存储器以及非易失性的半导体存储器。存储器52保存由处理器53进行的处理中使用的各种数据、例如用于从面部图像获取面部信息以及校正信息的运算参数、表示触摸面板显示器3以及仪表显示器4的三维位置的位置信息等。另外，存储器52保存各种应用程序、例如执行面部信息获取处理的面部信息获取程序等。
处理器53是控制部的一个例子，具有1个以上的处理器及其周边电路。处理器53也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其它运算电路。
图3是面部信息获取装置5所具有的处理器53的功能框图。
面部信息获取装置5的处理器53作为功能块而具有行为获取部531、输入画面显示部532以及校正信息获取部533。处理器53所具有的这些各部分是通过在处理器53上执行的程序来安装的功能模块。或者，处理器53所具有的这些各部分也可以作为独立的集成电路、微型处理器或者固件而安装于面部信息获取装置5。
行为获取部531经由通信接口51接收由驾驶员监控摄像机2生成的多个面部图像。行为获取部531从接收到的多个面部图像的各个面部图像获取驾驶员的面部信息。
图4是示出面部图像的摄影的例子的图。
在车辆1的车室内，驾驶员D将视线朝向配置于前方的触摸面板显示器3。也可以在驾驶员D的视线方向上配置有方向盘SW。驾驶员监控摄像机2拍摄出显示有驾驶员D的面部的面部图像。
行为获取部531例如作为表示驾驶员的面部的行为的面部信息而获取表示驾驶员的视线方向的信息。视线方向根据车辆1的行进方向与驾驶员的视线之间的水平方向或者铅垂方向的角度来表示。
行为获取部531通过将获取到的面部图像输入到以检测瞳孔以及光源的角膜反射图像的位置的方式预先学习的识别器，从而确定面部图像所包含的驾驶员的眼睛中的瞳孔以及角膜反射图像的位置。然后，行为获取部531根据瞳孔与角膜反射图像的位置关系，检测视线方向。
识别器例如能够设为具有从输入侧向输出侧串联地连接的多个层的卷积神经网络(CNN)。通过预先将包括瞳孔以及角膜反射图像的面部图像用作训练数据而输入到CNN，进行学习，从而CNN作为确定瞳孔以及角膜反射图像的位置的识别器而动作。
行为获取部531也可以通过将面部图像输入到识别器，从而确定驾驶员的眼睛中的内眼角以及虹膜的位置，根据内眼角与虹膜的位置关系来检测视线方向。在该情况下，驾驶员监控摄像机2也可以具有高灵敏度可见光传感器，该高灵敏度可见光传感器在夜晚的车室内的环境下也能够适当地输出拍摄到驾驶员的面部的图像。
另外，面部信息也可以是表示驾驶员的表情的信息。驾驶员的表情根据从面部图像检测的多个面部动作单位中的面部特征量来表示。行为获取部531通过将面部图像输入到以检测外眼角、嘴角这样的多个面部动作单位的位置的方式预先学习的识别器，从而确定面部图像所包含的面部动作单位的位置。然后，行为获取部531通过比较所确定的面部动作单位的位置和各面部动作单位的预定的基准位置，从而检测面部特征量。基准位置例如可以是标准的面部模型中的各面部动作单位的位置，另外也可以是从驾驶员的面部图像检测到的各面部动作单位的位置的平均值。
另外，面部信息也可以是驾驶员的面部朝向。驾驶员的面部朝向根据车室内的三维空间中的驾驶员的头部的俯仰(pitch)、横摆(yaw)以及侧倾(roll)中的1个以上的角度来表示。行为获取部531通过将获取到的面部图像输入到以检测外眼角、内眼角、嘴角点这样的面部的预定部位的位置的方式学习的识别器，从而确定面部图像所包含的预定部位的位置。然后，行为获取部531将从面部图像检测到的预定部位的位置与标准的面部的三维模型进行对比。然后，将各部位的位置与从面部图像检测到的部位的位置最匹配时的三维模型中的面部朝向检测为面部图像中的面部朝向。
输入画面显示部532判定是否存在驾驶员的信息输入的请求，在判定为存在请求的情况下，使具有受理驾驶员的信息输入的输入栏的画面显示于触摸面板显示器3。输入画面显示部532在从由处理器53执行的其它程序受理驾驶员的信息输入的请求的情况下，判定为存在信息输入的请求。另外，输入画面显示部532在经由通信接口51从与车内网络连接的其它ECU等信息处理装置(未图示)接收到请求驾驶员输入信息的信号的情况下，判定为存在信息输入的请求。
图5是示出触摸面板显示器3中的显示的例子的图。
图5示意地示出了从落座于驾驶座的驾驶员看的车室内前方的视界。触摸面板显示器3配置于车室内的左右方向的中央附近(图5中的左侧)。仪表显示器4配置于设置有方向盘SW的驾驶座的正前方(图5中的右侧)。
在触摸面板显示器3中显示有具有输入栏3a以及3b的画面。输入栏3a配置于触摸面板显示器3的一端(左上)。输入栏3a例如是显示与驾驶员对触摸面板显示器3的操作相应的字符的栏。另外，输入栏3b配置于触摸面板显示器3的另一端(右下)。输入栏3b例如是受理将显示于输入栏3a的字符确定为输入字符的操作的确定按钮。
在仪表显示器4中，显示有用于引导驾驶员的视线的标识4a。此外，触摸面板显示器3中的输入栏3a、3b以及仪表显示器4中的标识4a无需同时显示，在不同的时刻显示它们中的任意方。另外，也可以存在在触摸面板显示器3或者仪表显示器4中它们中的哪个都不显示的时刻。例如，输入栏3a、3b在判定为存在来自驾驶员的信息输入的请求时被显示。另外，将标识4a显示将车辆1点火之后的预定时间(例如5秒)。
校正信息获取部533从自驾驶员监控摄像机2接收到的面部图像中的在具有输入栏的画面显示于触摸面板显示器3的期间摄影到的面部图像获取校正信息。校正信息是用于校正面部信息的信息。
校正信息获取部533通过将面部图像输入到以检测瞳孔以及光源的角膜反射图像的位置的方式预先学习的识别器，从而确定面部图像所包含的驾驶员的眼睛中的瞳孔以及角膜反射图像的位置。然后，校正信息获取部533根据左右各自的眼睛中的瞳孔与角膜反射图像的位置关系，检测驾驶员的右眼的视线方向与左眼的视线方向的差异作为校正信息。表示驾驶员的右眼的视线方向与左眼的视线方向的差异的校正信息能够用于校正作为由行为获取部531获取到的驾驶员的视线方向的面部信息。
另外，校正信息获取部533也可以确定通过在触摸面板显示器3中显示输入栏3a的位置并在从在输入栏3a显示于触摸面板显示器3的一端时获取到的面部图像检测的视线方向上延伸的直线。此时，校正信息获取部533将通过在触摸面板显示器3中显示输入栏3b的位置并在从在输入栏3b显示于触摸面板显示器3的一端时获取到的面部图像检测的视线方向上延伸的直线一并确定。然后，校正信息获取部533通过求出这些直线的交点，从而检测驾驶员的眼睛的三维位置作为校正信息。表示驾驶员的眼睛的三维位置的校正信息能够用于校正作为由行为获取部531获取到的驾驶员的视线方向的面部信息。
另外，校正信息获取部533也可以通过将面部图像输入到以检测外眼角、嘴角这样的多个面部动作单位的位置的方式预先学习的识别器，从而检测面部图像所包含的面部动作单位的位置作为表示无表情时的面部动作单位的位置的校正信息。表示无表情时的面部动作单位的位置的校正信息能够用于校正作为由行为获取部531获取到的面部特征量的面部信息。
另外，校正信息获取部533通过将面部图像输入到以检测瞳孔以及光源的角膜反射图像的位置的方式预先学习的识别器，从而确定面部图像所包含的驾驶员的眼睛中的瞳孔以及角膜反射图像的位置。然后，校正信息获取部533也可以根据左右各自的眼睛中的瞳孔与角膜反射图像的位置关系，检测驾驶员的视线方向作为校正信息。表示驾驶员的视线方向的校正信息能够用于校正作为由行为获取部531获取到的驾驶员的面部朝向的面部信息。
校正信息获取部533获取的校正信息也可以是表示驾驶员的面部的眼睛、鼻子、嘴巴这样的部位的大小的信息、表示驾驶员的面部的特征点的左右的非对称性的信息、表示驾驶员的左右的瞳孔或者虹膜的三维中心位置的信息。
校正信息获取部533也可以从自驾驶员监控摄像机2接收到的面部图像中的在具有输入栏的画面显示于触摸面板显示器3且触摸面板显示器3受理来自驾驶员的输入的期间生成的面部图像获取校正信息。校正信息获取部533也可以从自驾驶员监控摄像机2接收到的面部图像中的在触摸面板显示器3受理从驾驶员向输入栏3a的输入的期间生成的面部图像获取第1校正信息，从在触摸面板显示器3受理从驾驶员向输入栏3b的输入的期间生成的面部图像获取第2校正信息。
另外，校正信息获取部533也可以从在触摸面板显示器3受理从驾驶员向相同的输入栏的输入的期间摄影到的多个面部图像获取校正信息。
图6是面部信息获取处理的流程图。面部信息获取装置5的处理器53在车辆1行驶的期间按照预定的周期重复执行面部信息获取处理。
首先，行为获取部531从对车辆1的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示驾驶员的面部的行为的面部信息(步骤S1)。
接下来，输入画面显示部532判定是否存在来自驾驶员的信息输入的请求(步骤S2)。在判定为没有来自驾驶员的信息输入的请求的情况下(步骤S2：否)，处理器53结束面部信息获取处理。
在被判定为存在来自驾驶员的信息输入的请求的情况下(步骤S2：是)，输入画面显示部532将具有受理来自驾驶员的信息输入的输入栏的画面显示于触摸面板显示器3(步骤S3)。
接着，校正信息获取部533从多个面部图像中的在具有输入栏的画面显示于触摸面板显示器3的期间摄影到的面部图像获取用于校正面部信息的校正信息(步骤S4)，结束面部信息获取处理。
应理解的是，本领域技术人员无需不脱离本发明的精神以及范围，就能够对其进行各种变更、置换以及修正。

Claims (6)

1.一种面部信息获取装置，具备：
行为获取部，从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示所述驾驶员的面部的行为的面部信息；
输入画面显示部，使具有从所述驾驶员受理信息的输入的输入栏的画面显示于搭载于所述车辆的显示部；以及
校正信息获取部，从所述多个面部图像中的在所述画面显示于所述显示部的期间生成的面部图像获取用于校正所述面部信息的校正信息。
2.根据权利要求1所述的面部信息获取装置，其中，
所述输入画面显示部使所述输入栏配置于所述显示部的一端以及另一端的画面显示于所述显示部，
所述校正信息获取部从在配置于所述显示部的一端的所述输入栏受理来自所述驾驶员的信息的输入的期间生成的面部图像获取第1校正信息，从在配置于所述显示部的另一端的所述输入栏受理来自所述驾驶员的信息的输入的期间生成的面部图像获取第2校正信息。
3.根据权利要求1或者2所述的面部信息获取装置，其中，
所述面部信息是表示所述驾驶员的视线方向的信息，
所述校正信息是表示所述驾驶员的右眼的视线方向与左眼的视线方向的差异的信息。
4.根据权利要求1或者2所述的面部信息获取装置，其中，
所述面部信息是表示所述驾驶员的视线方向的信息，
所述校正信息是表示所述驾驶员的眼睛的三维位置的信息。
5.根据权利要求1所述的面部信息获取装置，其中，
所述面部信息是表示所述驾驶员的表情的信息，
所述校正信息是表示所述驾驶员的无表情时的表情的信息。
6.一种面部信息获取方法，包括：
从对车辆的驾驶员的面部进行摄影而得到的多个面部图像的各个面部图像获取表示所述驾驶员的面部的行为的面部信息，
使具有从所述驾驶员受理信息的输入的输入栏的画面显示于搭载于所述车辆的显示部，
从所述多个面部图像中的在所述画面显示于所述显示部的期间生成的面部图像获取用于校正所述面部信息的校正信息。
CN202110952306.7A 2020-08-26 2021-08-19 面部信息获取装置以及面部信息获取方法 Active CN114103961B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-142607 2020-08-26
JP2020142607A JP7367637B2 (ja) 2020-08-26 2020-08-26 顔情報取得装置および顔情報取得方法

Publications (2)

Publication Number Publication Date
CN114103961A true CN114103961A (zh) 2022-03-01
CN114103961B CN114103961B (zh) 2023-12-12

Family

ID=80358563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110952306.7A Active CN114103961B (zh) 2020-08-26 2021-08-19 面部信息获取装置以及面部信息获取方法

Country Status (3)

Country Link
US (1) US20220066551A1 (zh)
JP (1) JP7367637B2 (zh)
CN (1) CN114103961B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103890811A (zh) * 2011-12-13 2014-06-25 松下电器产业株式会社 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
CN106028913A (zh) * 2014-02-19 2016-10-12 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法、视线方向检测系统以及视线方向检测系统的校准控制方法
CN107407977A (zh) * 2015-03-05 2017-11-28 索尼公司 信息处理设备、控制方法及程序
US20190147270A1 (en) * 2017-11-15 2019-05-16 Omron Corporation Information processing apparatus, driver monitoring system, information processing method and computer-readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2956844B1 (en) * 2013-02-14 2017-05-24 Facebook, Inc. Systems and methods of eye tracking calibration
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103890811A (zh) * 2011-12-13 2014-06-25 松下电器产业株式会社 计测对象提取装置、面部形状估计装置、计测对象提取方法以及面部形状估计方法
CN106028913A (zh) * 2014-02-19 2016-10-12 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法、视线方向检测系统以及视线方向检测系统的校准控制方法
CN107407977A (zh) * 2015-03-05 2017-11-28 索尼公司 信息处理设备、控制方法及程序
US20190147270A1 (en) * 2017-11-15 2019-05-16 Omron Corporation Information processing apparatus, driver monitoring system, information processing method and computer-readable storage medium

Also Published As

Publication number Publication date
US20220066551A1 (en) 2022-03-03
JP2022038225A (ja) 2022-03-10
CN114103961B (zh) 2023-12-12
JP7367637B2 (ja) 2023-10-24

Similar Documents

Publication Publication Date Title
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
US9785235B2 (en) Display control apparatus, display control method of display control apparatus, and eye gaze direction detection system
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US10346698B2 (en) Vehicle display system and method of controlling vehicle display system
US20180264940A1 (en) Vehicle display system and method of controlling vehicle display system
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
JP6669182B2 (ja) 乗員監視装置
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
CN109415020B (zh) 辉度控制装置、辉度控制系统以及辉度控制方法
JP2017126151A (ja) 視線検出装置および視線検出方法
CN114103961B (zh) 面部信息获取装置以及面部信息获取方法
US20230227044A1 (en) Apparatus, method, and computer program for monitoring driver
US11694449B2 (en) Driver monitor and method for monitoring driver
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
US11919522B2 (en) Apparatus and method for determining state
JP7301256B2 (ja) 顔向き判定装置および顔向き判定方法
JP2020144573A (ja) 運転者監視装置
CN109866683A (zh) 车辆用驾驶支援装置
CN114103991B (zh) 行驶控制装置以及行驶控制方法
US20230394702A1 (en) Device, method, and computer program for estimating seat position
US20240029454A1 (en) Line of sight estimating device, storage medium for storing computer program for line of sight estimation, and line of sight estimating method
JP7374373B2 (ja) 体格判定装置および体格判定方法
US20230206658A1 (en) Apparatus, method, and computer program for determining driver's behavior
JP2017199264A (ja) 運転支援装置
JP2024059261A (ja) 道路標示検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant