CN110192224A - 驾驶员状态推断装置以及驾驶员状态推断方法 - Google Patents

驾驶员状态推断装置以及驾驶员状态推断方法 Download PDF

Info

Publication number
CN110192224A
CN110192224A CN201780084000.6A CN201780084000A CN110192224A CN 110192224 A CN110192224 A CN 110192224A CN 201780084000 A CN201780084000 A CN 201780084000A CN 110192224 A CN110192224 A CN 110192224A
Authority
CN
China
Prior art keywords
driver
image
center position
head center
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780084000.6A
Other languages
English (en)
Inventor
柳川由纪子
日向匡史
相泽知祯
木下航一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110192224A publication Critical patent/CN110192224A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本发明的目的在于提供一种不受驾驶员的就坐位置和面部朝向等不同的影响，能够由图像精度良好地推断现实世界中驾驶员的头部位置的驾驶员状态推断装置，其具有拍摄就坐于驾驶席的驾驶员的包括面部的图像的单目相机11和CPU12，CPU12具有利用与单目相机11所拍摄的图像中的驾驶员的面部相适合的三维面部形状模型，推断图像中的驾驶员的头部中心位置x的头部中心位置推断部23、根据头部中心位置推断部23所推断的图像中的驾驶员的头部中心位置x和包含单目相机11的规格以及位置姿势的信息，推断设置在驾驶席的正面方向的原点O与现实世界中的驾驶员的头部中心位置H的距离B的距离推断部28。

Description

驾驶员状态推断装置以及驾驶员状态推断方法
技术领域
本发明涉及驾驶员状态推断装置以及驾驶员状态推断方法，更具体地涉及能够推断驾驶员的头部位置或者相对于车辆前方正面的驾驶员的面部的朝向等驾驶员状态的驾驶员状态推断装置以及驾驶员状态推断方法。
背景技术
以往开发有由车内的相机所拍摄的驾驶员的图像来检测驾驶员的动作或者视线等状态，由此进行驾驶员所必要的信息的提示或者警告等的技术。
另外，在近年开发得到发展的自动驾驶系统中，即使是自动驾驶，为了顺利进行从自动驾驶向手动驾驶的转换，需要对驾驶员是否处于驾驶可能的状态进行推断的技术，对车内相机所拍摄的图像进行解析，并由此推断驾驶员状态的技术的开发在发展。
为了推断驾驶员的状态，需要检测驾驶员的头部位置和面部朝向的技术。例如，在专利文件1中，公开了检测车内相机所拍摄的图像中的驾驶员的面部区域，并基于检测到的面部区域，推断驾驶员的头部位置的技术。
上述驾驶员头部位置的具体的推断方法是首先检测头部位置相对于车内照相机的的角度。该头部位置的角度的检测方法是检测图像上的面部区域的中心位置，将该检测的面部区域的中心位置作为头部位置(头部的中心位置)，求出通过该面部区域中心位置的头部位置直线，确定该头部位置直线的角度(头部位置相对于车内相机的角度)。
接着检测头部位置直线上的头部位置。该头部位置直线上的头部位置的检测方法为，先储存存在于从车内相机起的一定距离的面部区域的标准大小，将该标准大小与实际所检测的面部区域的大小相比较，求出从车内相机到头部位置的距离。然后推断从车内相机起只离开求得的距离的头部位置直线上的位置，作为头部位置。
另外，专利文件1所记载的驾驶员的面部朝向的推断方法是从面部图像检测出特征点(面部的各部位)，然后根据这些实际检测的特征点与面部的朝向为正面时的特征点的变位量，推断驾驶员的面部朝向。发明要解决的技术问题
专利文件1中所记载的头部位置的推断方法是将图像上的头部位置(头部的中心位置)作为面部区域的中心位置为基准进行检测的，但面部区域的中心位置随着面部的朝向而改变。因此即使是头的中心位置在同一位置，而由于面部的朝向不同，从而在图像上检测出的面部区域的中心位置(头部位置)也分别在不同位置检出。因此图像上检测的头部位置与现实世界的头部位置被检测出在不同的位置，从而就有不能精度良好地推断现实世界的头部位置的问题。
另外，车辆的驾驶席，一般来说是可以在前后方向调整坐席位置的。车内的相机比如设置在驾驶席的斜前方时，即使驾驶员的面部朝向是朝正面的，由于驾驶席的前后位置的不同，即由于驾驶员的头部位置的不同，从而使得车内相机所拍摄出的驾驶员的面部的朝向(角度)被在不同的角度检出。具体地，检出的车内相机所拍出的驾驶员的面部朝向(角度)，在驾驶席位于偏前方时，比驾驶席位于偏后时大。因此专利文件1所记载的面部朝向的推断方法，随着驾驶席的前后位置(驾驶员的头部位置)的不同而变化，从而就有不能对应车内相机所拍出的驾驶员的面部朝向(角度)的差异的情况，也不能准确检测驾驶员的相对于车辆前方正面的面部的朝向的课题。
专利文献
专利文献1特开2014-218140号公报
发明内容
本发明是为了解决上述课题，目的在于提供一种不受驾驶员的面部朝向不同以及驾驶位置的不同的影响，能够由图像精度良好地推断现实世界的驾驶员的头部位置的驾驶员状态推断装置以及驾驶员状态推断方法。
为了实现该目的，本发明所涉及的驾驶员状态推断装置(1)，是由所拍摄的图像推断驾驶员状态的驾驶员状态推断装置，其特征在于，具有对坐在驾驶席的驾驶员的包括面部的图像进行拍摄的单眼拍摄部和至少一个硬件处理器；所述至少一个硬件处理器具有头部中心位置推断部和距离推断部，其中所述头部中心位置推断部利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部中心位置；所述距离推断部根据该头部中心位置推断部推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格与位置姿势的信息，推断在所述驾驶席的正面方向设置的原点与现实世界的所述驾驶员的头部中心位置之间的距离。
根据上述驾驶员状态推断装置(1)，由于使用与所述图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部中心位置，所以能够与所述驾驶员的面部朝向的不同无关，精度良好地推断所述图像中的所述驾驶员的头部中心位置。通过精度良好地推断所述图像中的所述驾驶员的头部中心位置，从而能够根据该头部中心位置和包括所述拍摄部规格(画像角度和解像度等)以及位置姿势(角度和从原点的距离等)信息，精度良好地推断设置于所述驾驶席的正面方向的原点与现实世界的所述驾驶员的头部中心位置的距离。
另外，本发明涉及的驾驶员状态推断装置(2)，其特征在于，在上述驾驶员状态推断装置(1)中，所述至少一个硬件处理器包括利用由所述距离推断部所推断的所述距离，判断所述驾驶员是否处于驾驶操作可能状态的驾驶操作可否判定部。
根据上述驾驶员状态推断装置(2)，可以根据所述距离推断部所推断的所述距离，判定所述驾驶员是否处于驾驶操作可能的状态。例如，将所述原点设定为方向盘位置的话，则基于所述距离，能够判定所述驾驶员是否处于手可以够得着方向盘的范围内的状态，能够适当地进行所述驾驶员的监控。
另外本发明涉及的驾驶员状态推断装置(3)，其特征在于，在上述驾驶员状态推断装置(1)或者(2)中，所述至少一个硬件处理包括：由所述拍摄部所拍摄的图像检测相对于所述拍摄部的所述驾驶员的面部朝向的面部朝向检出部；根据所述头部中心位置推断部所推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格和位置姿势的信息，推断现实世界中从所述驾驶员的头部中心位置向所述拍摄部的方向与所述驾驶席的正面方向之间所形成的角度的角度推断部；以及根据所述面部朝向检出部检出的所述驾驶员的面部朝向与所述角度推断部推断的角度，推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向的面部朝向推断部。
根据上述驾驶员状态推断装置(3)，根据精度良好地推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格(画像角度与解像度等)以及位置姿势(角度)的信息，能够精度良好地推断现实世界中从所述驾驶员的头部中心位置向所述拍摄部的方向与所述驾驶席的正面方向间所形成的角度。通过利用该推断的角度，能够不受所述驾驶席的位置(驾驶员的头部位置)的不同以及所述驾驶员的面部朝向的不同的影响，从驾驶员的相对于所述拍摄部的面部的朝向，精度良好地推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向。
另外本发明涉及的驾驶员状态推断装置(4)，其特征在于，在上述驾驶员状态推断装置(3)中，至少一个硬件处理器具备基于所述面部朝向推断部推断的所述驾驶员的面部朝向，判定所述驾驶员的状态的驾驶员状态判定部。
根据上述驾驶员状态推断装置(4)，根据所述面部朝向推断部推断的所述驾驶员的面部朝向，能够精度良好地判定所述驾驶员的状态，比如往别处看的状态等，能够适当地进行所述驾驶员的监控。
另外本发明涉及的驾驶员状态推断方法(1)，是使用具备对坐在驾驶席的驾驶员的包括面部的图像进行拍摄的的单眼拍摄部和至少一个硬件处理器的装置，利用所述拍摄部拍摄的图像，推断驾驶员的状态的驾驶员状态推断方法，其特征在于，所述至少一个硬件处理器包括头部中心位置推断步骤和距离推断步骤，其中所述头部中心位置推断步骤利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部中心位置；所述距离推断步骤根据该头部中心位置推断步骤推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格及位置姿势的信息，推断设置于所述驾驶席的正面方向的原点与现实世界中的所述驾驶员的头部中心位置间的距离。
根据上述驾驶员状态推断方法(1)，能够不受所述驾驶席的位置(驾驶员的头部位置)的不同和所述驾驶员的面部朝向的不同的影响，推断设在所述驾驶席的正面方向的原点与现实世界中的所述驾驶员的头部中心位置间的距离。从而可以利用该推断的距离判定所述驾驶员是否处于驾驶操作可能的状态。
另外，本发明涉及的驾驶员状态推断方法(2)，其特征在于，在上述驾驶员状态推断方法(1)中，所述至少一个硬件处理器包括由所述拍摄的图像检出所述驾驶员相对于所述拍摄部的面部朝向的面部朝向检出步骤；根据所述头部中心位置推断步骤推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格及位置姿势的信息，推断现实世界中的从所述驾驶员的头部中心位置向所述拍摄部的方向与所述驾驶席的正面方向之间所成的角度的角度推断步骤；以及根据由所述面部朝向检出步骤检出的所述驾驶员的面部朝向和由所述角度推断步骤所推断的角度，推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向的面部朝向推断步骤。
根据上述驾驶员状态推断方法(2)，能够不受所述驾驶席的位置(驾驶员的头部位置)的不同或者所述驾驶员的面部朝向的不同的影响，能够从驾驶员相对于所述拍摄部的面部朝向，精度良好地推断以所述驾驶席的正面方向为基准的所述驾驶员的面部的朝向。
附图说明
图1是概略地显示了包含本发明的实施方式所涉及的驾驶员状态推断装置的自动驾驶系统的主要部件的框图。
图2是显示实施方式所涉及的驾驶员状态推断装置的构成的框图。
图3是用来说明实施方式涉及的驾驶员状态推断方法的车内平面图。
图4是用来说明实施方式涉及的驾驶员状态推断装置所推断的图像中的头部中心位置与驾驶席位置的关系的图解图。
图5是用来说明实施方式涉及的驾驶员状态推断装置所推断的图像中的头部中心位置与驾驶员的面部朝向的关系等的图解图。
图6是显示了实施方式涉及的驾驶员状态推断装置中处理器进行的处理动作的流程图。
具体实施方式
以下基于附图说明本发明涉及的驾驶员状态推断装置、以及驾驶员状态推断方法的实施方式。另外，以下所述的实施方式是本发明的较佳具体实例，虽然有技术上的各种限定，但是在以下的说明中只要没有对于本发明进行限定的记载，本发明的范围就不受这些形态的限制。
图1是概略地显示了包含本发明的实施方式所涉及的驾驶员状态推断装置的自动驾驶系统的主要部件的框图。
图2是显示实施方式所涉及的驾驶员状态推断装置的构成的框图。
自动驾驶系统1是使车辆沿着道路自动行走的系统，包括驾驶员状态推断装置10、HMI(Human Machine Interface)40以及自动驾驶控制装置50而构成，这些各种装置通过通讯总线60连接。另外，通讯总线60上还连接有自动驾驶或者驾驶员的手动驾驶的控制所必须的各种传感器或者控制装置(无图示)。
驾驶员状态推断装置10由所拍摄的图像推断驾驶员的状态，具体地，进行以驾驶席的正面方向为基准的驾驶员的面部朝向的推断处理，从方向盘位置到驾驶员的头部中心位置为止的距离的推断处理，基于这些推断结果，判定驾驶员的位置姿势等的状态，进行将这些判定结果输出的处理等。
驾驶员状态推断装置10包括单目相机11、CPU12、ROM13、ROM14、储存部15以及输出输入接口(I/F)16而构成，这些各部分藉由通讯总线17连接。
作为拍摄部的单目相机11能够定期地(比如1秒钟30至60次)拍摄坐在驾驶席的驾驶员的包括面部的图像，包括单眼透镜系、CCD或者CMOS等的拍摄元件以及照射近红外光的近红外LED等红外线照射器等(任意一种都无图示)而构成。
CPU12是硬件处理器，读取ROM13中所储存的程序，并基于该程序，进行对从单目相机11取得的图像数据的各种处理等。还可以装备多个CPU12。
用来使CPU12实行图2所示的面部检出部22、头部中心位置推断部23、角度推断部25、面部朝向推断部26、向别处看判定部27、距离推断部28以及驾驶操作可否判定部29的处理的程序或者三维(3D)面部形状模型适合处理方式24等储存在ROM13中。另外，还可以将CPU12实行的所述程序的全部或者一部分储存在与ROM13不同的储存部15或者其他储存介质中(非图示)。
在RAM14中临时储存CPU12实行各种处理所必须的数据和从ROM13中读取的程序等。
储存部15包括储存单目相机11拍摄的图像数据的图像储存部15a和储存单目相机11的画角、像素(宽x竖)等规格信息、单目相机11的安装位置或者安装角度等位置姿势信息等的信息储存部15b。另外，CPU12还可以进行使单目相机11所拍摄的图像数据储存在储存部15的一部分的图像储存部15a的处理(储存指示)和从图像储存部15a读取图像的处理(读取指示)。单目相机11的安装位置和安装角度等位置姿势信息，例如设置成在HMI40中可以读取单目相机11的设定菜单的构成，在安装时只要从所述设定菜单能够进行事先输入设定即可。储存部15例如可以是由EEPROM、闪存等的一个以上的不挥发性半导体存储器构成。输入输出接口(I/F)16是用来藉由通讯总线60与各种外部装置进行数据交换的设备。
HMI40根据从驾驶员状态推断装置10发出的信号，进行将向别处看或者驾驶姿势等的状态通知给驾驶员的处理、将自动驾驶系统1的运行状况和自动驾驶的解除信息等通知给驾驶员的处理、将自动驾驶控制相关的操作信号输出给自动驾驶控制装置50的处理等。HMI40例如，包括在驾驶员容易可视确认的位置上设置的表示部41和声音输出部42，以及未图示的操作部和声音输入部等而构成。
自动驾驶控制装置50，还与未图示的动力源控制装置、操舵控制装置、制动控制装置、周边监控传感器、导航系统、与外部进行通讯的通讯装置等连接，根据从这些部分所取得的信息，将为了进行自动驾驶的控制信号输出到各控制装置，进行车辆的自动行走控制(自动操舵控制和自动速度调整控制等)。
在对图2所示的驾驶员状态推断装置10的各部分进行说明前，使用图3至图5，关于利用驾驶员状态推断装置10的驾驶员状态推断方法进行说明。
图3是用来说明利用驾驶员状态推断装置10的驾驶员状态推断方法的车内平面图。图4是用来说明驾驶员状态推断装置10所推断的图像中的头部中心位置与驾驶席位置的关系等的图解图。图5是用来说明驾驶员状态推断装置10所推断的图像中的头部中心位置与驾驶员的面部朝向的关系等的图解图。
如图3所示，假定驾驶员30坐在驾驶席31。在驾驶席31的正面前方设置有方向盘32，驾驶席31可以在前后方向上进行位置调整。单目相机11设置在驾驶席31的左斜前方，以能够拍摄包括驾驶员的面部的图像的方式设置。另外，单目相机11的设置位置姿势不限定于该形式。
在本实施方式中，以方向盘32的中心位置为原点O，以连结原点O与坐席中心S的线段为L1，在原点O处与线段L1垂直相交的线段为L2时，单目相机11的安装角度设定为相对于线段L2为角度θ，单目相机11的拍摄面中心I与原点O的距离设定为A。另外，设定在线段L1上的现实世界中驾驶员30的头部中心位置为H。原点O成为以单目相机11与现实世界的驾驶员30的头部中心位置H连接的线段L3为斜边的直角三角形的直角顶点。另外，原点O的位置还可以设在方向盘32的中心位置以外的位置。
另外单目相机11的画角以α、图像11a的宽度方向的像素为Width表示。图像11a中的驾驶员30A的头部中心位置(宽度方向的像素)以x表示、显示图像11a中的驾驶员30A的头部中心位置x的线段(垂直线)以Lx表示。
另外，以相对于单目相机11的现实世界的驾驶员30的面部朝向(角度)为φ1，以从驾驶员30的头部中心位置H开始的单目相机11的方向(线段L3)与驾驶席31的正面方向(线段L1)所成的角度为φ2，以驾驶席31的正面方向(线段L1)为基准的驾驶员30的面部朝向(角度)为φ3进行说明。
驾驶员状态推断装置10进行后述的三维面部形状模型的相适合处理来推断拍摄的图像11a中的驾驶员30A的头部中心位置x。
如果能够推断驾驶员30A的头部中心位置x，则可以利用已知的信息，即单目相机11的规格(画角α、宽度方向的像素Width)、单目相机11的位置姿势(安装角度θ、从原点O开始的距离A)，通过下式1求得角度φ2(线段L3与线段L1所成的角度)。另外，在严格考虑单目相机11的镜头偏斜等的情况时，使用内部参数进行校准。
式1：φ2＝90°－((90°－θ)－α/2+α×x/Width)
＝θ+α/2－α×x/Width
接着，使用后述的三维面部形状模型的相适合处理等所求得的相对于单目相机11的驾驶员30的面部朝向(角度φ1)，通过计算式2：角度φ1-角度φ2，能够求出以驾驶员31的正面方向(线段L1)为基准的驾驶员30的面部朝向(角度)φ3。
求出驾驶席31的坐席位置(前后位置)，即在驾驶员30的头部位置上所成的不同的角度的角度φ2，利用该角度φ2，通过修正角度φ1(相对于单目相机11的面部的朝向)，能够与驾驶席31的坐席位置无关地，准确地求出以驾驶席31的正面方向(线段L1)为基准的驾驶员30的面部朝向(角度)φ3。
另外，如果能够求得角度φ2，则原点O，拍摄面中心I，头部中心位置H三点所形成的三角形，是以原点O为直角顶点的直角三角形，从而可以利用由已知的原点O到拍摄面中心I的距离A、角度φ2，通过以下式3，推断从驾驶员30的头部中心位置H起到原点O(方向盘32)止的距离B。利用所推断的距离B，能够判断驾驶员30是否处在可以操作方向盘的状态(在可能操作方向盘的范围内)。
式3：B＝A/tanφ2
(且、φ2＝θ+α/2－α×x/Width)
(但是、θ+α/2＞α×x/Width)
在图4的(a)至(d)中，显示了将驾驶席31的位置分阶段地向前方移动时的车内平面图以及与单目相机11所拍摄的图像11a的关系。在任一情况下，驾驶员30都是朝向车辆前方正面的状态。在图像11a中，图像11a中的驾驶员30A的头部中心位置x以线段Lx表示。
通过使驾驶席31向前方移动，则相对于单目相机11的驾驶员30的面部的朝向(角度)φ1，逐渐增大。因此仅根据角度φ1，不能正确地把握驾驶员30是否是面向车辆前方正面。
另一方面，通过使驾驶席31向前方移动，则现实世界的驾驶员30的头部中心位置H也向前方移动，表示图像11a中的驾驶员30A的头部中心位置x的线段Lx，在图像11a中向左侧移动。随着表示图像11a中的头部中心位置x的线段Lx向左侧移动，角度φ2(线段L3与线段L1所形成的角度)也增大。
因此计算上式2：角度φ1-角度φ2，求出以驾驶席31的正面方向(线段L1)为基准的驾驶员30的面部朝向(角度)φ3，则该情况下，φ3＝φ1-φ2的值，大约为0，在任一种的坐席位置，都可以推断驾驶员30面向车辆前方正面。
另外，利用从已知的原点O到拍摄面的中心I的距离A，角度φ2，通过上述式3，则可以推断从驾驶员30的头部中心位置H到原点O(方向盘)为止的距离B。
在图5的(a)～(c)显示了，驾驶席31为同一位置，而改变驾驶员30的面部朝向时的车内平面图以及单目相机11所拍摄的图像11a和与该图像11a相适合的三维面部形状模型33及表示头部中心位置x的线段Lx、通过对三维面部形状模型33的图像11a的相适合处理而推断的驾驶员30A的头部中心位置x以线段Lx表示的图像。
图5(a)显示驾驶员30的面部朝向为相对于车辆前方正面方向面向右侧的情形。图5(b)显示驾驶员30的面部朝向为面向车辆前方正面的情形。图5(c)显示驾驶员30的面部朝向为相对于车辆前方正面方向面向左侧的情形。
如图5(a)～(c)的图像11a所示，驾驶员30A的面部的眼睛、鼻子、嘴等器官点的位置，随着面部朝向而变化，但头部中心位置x(线段Lx)不随面部的朝向而变化。另外驾驶席31在同一位置时，头部中心位置x(线段Lx)不因驾驶员30的性别(男性、女性)或者体格等的不同而产生差异(错位)，基本上在相同位置。
驾驶员30的面部朝向变化，则相对于单目相机11的驾驶员30的面部的朝向(角度)φ1发生变化。因此，仅通过角度φ1，不能准确地把握驾驶员30朝着哪个方向。
另一方面，即使驾驶员30改变面部朝向的情形，现实世界的驾驶员30的头部中心位置H与显示图像11a中的驾驶员30A的头部中心位置x的线段Lx的位置，也几乎不变化。因此，以上述式1所求得的角度φ2(线段L3与线段L1所成的角度)，即使是驾驶员30改变了面部朝向的情形下，也显示出近似相同的值。
因此，计算上述式2：角度φ1-角度φ2，通过求出以驾驶席31的正面方向(线段L1)为基准的驾驶员30的面部朝向(角度)φ3，就能够大致准确地推断相对于驾驶席31的正面方向的驾驶员30的面部朝向(角度)。另外，利用已知的从原点O到拍摄面中心I的距离A、角度φ2，通过上式3，能够推断驾驶员30的从头部中心位置H到原点O(方向盘)的距离B。
接着基于图2所示的方框图说明驾驶员状态推断装置10的具体构成。
驾驶员状态推断装置10是将储存在ROM13的各种程序读出到RAM14，在CPU12进行运行，从而进行图像输入部21、面部检出部22、头部中心位置推断部23、三维(3D)面部形状模型适合处理方式24、角度推断部25、面部朝向推断部26、往别处看判定部27、距离推断部28以及驾驶操作可否判定部29的处理的装置。
图像输入部21，进行将单目相机11所拍摄的驾驶员的包含面部的图像数据从图像储存部15a读出，输入RAM14的处理。
面部检出部22进行根据单目相机11所拍摄的图像检测驾驶员的面部的处理。由图像检测面部的方法没有特别限定，采用高速高精度检测面部的方法。例如，把面部局部区域的明暗差(亮度差)和边缘强度、这些局部区域间的关联性(共现性)作为特征量掌握，通过将这些多数的特征量组合学习，制作检出器，通过具备分层构造的检出器(掌握面部大体的阶层到掌握面部细节的阶层的构造)，能够高速地进行面部区域检测。另外，为了对应面部朝向和倾斜，还可以设置分别学习了面部朝向和倾斜的多个检出器。
头部中心位置推断部23使三维面部形状模型33(参照图5)与图像11a中的驾驶员30A的面部相适合(符合)，使用该适合的三维面部形状模型33，进行推断图像11a中的驾驶员30A的头部中心位置x的处理。使三维面部形状模型与图像中的人的面部相适合的技术，可以适当地利用特开2007-249280号公报、特许第4501937号公报等所记载的技术，但不受此限制。
说明使三维面部形状模型与图像中的驾驶员的面部相适合的技术的一个实例的概略。
通过事先学习处理，进行三维面部形状模型的取得，网膜构造的取样以及通过典型层间分析的误差推断行列的取得，通过这些学习处理的学习结果(误差推断行列、正规化参数等)储存到ROM13内的3D面部形状模型适合处理方式24。
三维面部形状模型是对于多数人的面部图像，输入眼梢、大眼角、鼻孔的两端、唇的两端等面部器官的特征的器官点，将这些平均三维坐标间结合而作成的。在各特征的器官点，为了提高其特征的器官点的检出精度，实施通过网膜构造的取样。所谓网膜构造，是指所着眼的特征器官点周围呈放射状离散(越接近中心越密集，越离开就越疏散的点列)配置的网状的取样构造。
三维面部形状模型，可以使用从正面看面部时的左右水平方向的轴作为X轴，将上下垂直方向的轴作为Y轴，将深度(前后)方向的轴作为Z轴时的X轴周围的旋转(pitch)、Y轴周围的旋转(yaw)、Z轴周围的旋转(roll)、扩大缩小等的多个参数，自由自在地变形。
误差推断行列是将三维面部形状模型的各特征器官点配置在错误位置(与应该检出特征器官点不同的位置)时，应该向哪个反向修正的相关关系的学习结果(从特征器官点的特征量，自正解位置的向参数的变化部分的变换行列)。
误差推断行列的取得方法，是制作正解位置的三维面部形状模型(正解模型)的变形参数(正解模型参数)，接着通过随机数等，制作将正解模型参数在一定范围内错位的错位位置模型。接着以根据错位配置模型取得的取样特征量和错位配置模型与正解模型的差(参数变化部分)作为一组，获取作为相关关系的学习结果。
关于对三维面部形状模型33的图像11a中的驾驶员30A的面部相适合处理进行说明。根据面部检出部22所检出的面部检出结果，在相对于面部位置、朝向、大小等合适位置上初期配置三维面部形状模型33。检出初期位置上的特征器官点的位置，算出在特征器官点的特征量。将该特征量输入误差推断行列，算出向正解位置附近的形状变化参数的变化部分。在现在位置的三维面部形状模型33的形状变化参数中，加上上述算出的正解位置附近的形状变化参数的变化部分。通过这些处理，三维面部形状模型33就能高速地适合图像上的正解位置附近。上述三维面部形状模型的控制方法，称为Active StructuredAppearance Model(ASAM)。
此外，由于使用三维面部形状模型33，所以不但是面部的器官的位置和形状，还可以直接求出相对于单目相机11的面部姿势，即，面部所朝的方向和其角度φ1。
另外，从三维面部形状模型33，推断在三维的头部中心位置，比如假定头部为球体时的该球体的中心位置(中心轴)，在二维图像11a上投影，推断图像11a中的驾驶员30A的头部中心位置x。作为将三维头部中心位置投影到二维平面的方法，可以采用平行投影法、单点透视投影等透视投影法等各种方法。
角度推断部25根据由头部中心位置推断部23所推断的图像11a中的驾驶员30A的头部中心位置x和包括储存在信息储存部15b的单目相机11的规格(画角α、宽度方向的像素Width)以及位置姿势(角度)的信息，根据上述式1(φ2＝θ+α/2-αxX/Width)，推断从现实世界的驾驶员30的头部中心位置H开始的单目相机11的方向(线段L3)与驾驶席31的正面方向(线段L1)所成的角度φ2。
面部朝向推断部26，根据面部检出部22的检出处理或者在头部中心位置推断部23的三维面部形状模型适合处理时检出的驾驶员的面部朝向(角度φ1)和角度推断部25推断的角度φ2，推断以驾驶席31的正面方向(通过原点O的线段L1)为基准的驾驶员30的面部朝向(角度φ3＝φ1-φ2).
往别处看判定部27，根据面部朝向推断部26所推断的驾驶员30的面部朝向(角度φ3)，例如将ROM13或者信息储存部15b中所储存的、非往别处看状态的角度范围读出到RAM14，通过进行比较演算，判定是否为往别处看的状态，将显示该判定结果的信号输出到HMI40或者自动驾驶控制装置50。
距离推断部28，根据头部中心位置推断部23所推断的图像11a中的驾驶员30A的头部中心位置x和信息储存部15b所储存的单目相机11的规格(画角α、宽度方向的像素Width)以及位置姿势(角度θ与距离A)的信息(换言之，角度φ2与距离A)，通过上式3(B＝A/tanφ2)推断驾驶席31的正面方向上所设定的原点O与现实世界的驾驶员30的头部中心位置H的距离B。
驾驶操作可否判定部29，基于距离推断部28所推断的距离B，判定驾驶员30是否处于可进行驾驶操作的状态，比如将ROM13或者信息储存部15b所储存的、进行合适的方向盘操作的可能的范围读出到RAM14，通过进行比较演算，判定驾驶员30是否处于手可以够得着方向盘32的范围内，将显示该判定结果的信号输出到HMI40或者自动驾驶控制装置50。
图6是显示了实施方式涉及的驾驶员状态推断装置10中CPU12进行处理动作的流程图。单目相机11，比如每秒可拍摄30～60帧的图像，在各帧或者每隔一定间隔的帧，进行该处理。
首先，在步骤S1，从图像储存部15a中获取由单目相机11所拍摄的图像11a(包括驾驶员面部的图像)数据，在步骤S2，进行从获取的图像11a检出驾驶员30A的面部(面部区域、面部的朝向等)的处理。
在步骤S3，在相对于所检出的图像11a的面部位置的合适的位置(初期位置)上设置三维面部形状模型33。在步骤S4，求出初期位置的各特征的器官点的位置，取得基于网膜构造的各特征器官点的特征量。
在步骤S5，将取得的特征量输入误差推断行列，获取三维面部形状模型33与正解模型参数的误差推断量。在步骤S6，在现在位置的三维面部形状模型33的形状变化参数中加上上述误差推断量，获取正解模型参数的推断値。
在步骤S7，判断所取得的正解模型参数是否在正常范围内，处理是否完结。在步骤S7，如果判断处理尚未完结，则返回步骤S4，获取根据取得的正解模型参数作成的新的三维面部形状模型33的各特征器官点的特征量。另一方面，在步骤S7，如果判断处理完结了，则进行步骤S8，结束向正解位置附近的三维面部形状模型33的配置。
在步骤S9，由配置在正解位置附近的三维面部形状模型33的参数中所包含的相似变换(平行移动、旋转)参数，求出相对于单目相机11的驾驶员30的面部朝向(角度φ1)。相对于单目相机11朝向右的角度为+(加号)，朝向左的角度为-(减号)表示。
在步骤S10，使用三维面部形状模型33，求出图像11a中的驾驶员30A的头部中心位置x。例如由三维面部形状模型33推断三维头部中心位置(假定头部为球体，该球体的中心位置)，在二维图像11a上投影，推断图像11a中的驾驶员30A的头部中心位置x。
在接下来的步骤S11中，根据步骤S9所推断的图像11a中的驾驶员30A的头部中心位置x和包括单目相机11的规格(画角α、宽度方向的像素Width)以及位置姿势(角度θ)的信息，基于上述式1推断从现实世界的驾驶员30的头部中心位置H向单目相机11的方向(线段L3)与驾驶席31的正面方向(线段L1)所成的角度φ2。
在接下来的步骤S12中，推断以驾驶席31的正面方向(原点O)为基准的驾驶员30的面部朝向(角度φ3)。具体地，求出步骤S9所求得的相对于单目相机11的驾驶员30的面部朝向(角度φ1)与步骤S11所推断的角度φ2(线段L3与线段L1所成的角)的差(φ1-φ2)。将相对于驾驶席31的正面方向(原点O)，朝向右的角度为+(加号)，朝向左的角度为-(减号)来表示。
在步骤S13，读取RAM13或者信息储存部15b所存储的、非往旁边看的状态的角度范围，通过进行比较演算，判定角度φ3是否处于非往旁边看状态的角度范围内(-φA<φ3<φB)。-φA、+φB表示判定为往旁边看状态的角度。在步骤S13，如果判定为非往旁边看状态(-φA<φ3<φB)，则进行步骤S15，另一方面，如果判定为往旁边看状态(非-φA<φ3<φB)，则进行步骤S14。
在步骤S14，将往旁边看的状态信号输出到HMI40或者自动驾驶控制装置50。在HMI40，输入往旁边看的状态信号，则比如在显示部显示往旁边看的警告提示或者通过声音输出部42进行往旁边看警告提示。另外，在自动驾驶控制装置50，输入往旁边看的状态信号时，则比如实行减速控制等。
在步骤S15，根据上述式3(B＝A/tanφ2)，推断驾驶席31的正面方向所设置的原点O与现实世界的驾驶员30的头部中心位置H的距离B。
在步骤S16中，读取RAM13或者信息存储部15b中所存储的、能够进行适合的方向盘操作的范围，通过进行比较演算，判定距离B是否是可以操作方向盘的合适的范围内(距离D1<距离B<距离D2)。例如，距离D1可以设定为40cm，距离D2可以设定为70cm左右的值。在步骤S16中，如果判定距离B是能够进行方向盘操作的合适的范围内，则随后结束处理，另一方面如果判定距离B不是可以进行方向盘操作的适合的范围内，则进行步骤S17。
在步骤S17，对HMI40或者自动驾驶控制装置50输出驾驶操作不可的信号，然后结束处理。在HMI40输入驾驶操作不可的信号时，例如在显示部41显示驾驶姿势和坐席位置的警告或者通过声音输出部42进行警告驾驶姿势或坐席位置的通知。另外在自动驾驶控制装置50中输入驾驶操作不可的信号时，例如进行减速控制等。另外还可以将步骤S12～S14的处理和步骤S15～S17的处理的顺序替换，另外还可以在时间经过的不同的时点，分别实施步骤S12～S14的处理和步骤S15～S17的处理。
根据实施方式所涉及的驾驶员状态推断装置10，由于使用与图像11a中的驾驶员30A的面部所适合的三维面部形状模型33，能够推断图像11a中的驾驶员30A的头部中心位置x，所以如图5所说明的那样，能够与驾驶员30的面部朝向的不同无关地，精度良好地推断图像11a中的驾驶员30A的头部中心位置x。
因为能够精度良好地推断图像11a中的驾驶员30A的头部中心位置x，所以能够根据头部中心位置x和已知信息的单目相机11的规格信息(画角α、宽度方向的像素Width)以及位置姿势信息(角度θ)而精度良好地推断从现实世界的驾驶员30的头部中心位置H向单目相机11的方向(线段L3)与驾驶席31的正面方向(通过原点O的线段L1)之间所成的角度φ2。
因此通过使用角度φ2，从而可以不受驾驶席31的位置(驾驶员30的头部位置)不同和驾驶员30的面部朝向的不同的影响，从相对于单目相机11的驾驶员的面部的朝向(角度φ1)，精度良好地推断以驾驶席31的正面方向(原点O)为基准的驾驶员30的面部朝向(φ3)。
另外，根据面部朝向推断部26所推断的驾驶员面部朝向(角度φ3)，能够精度良好地判定现实世界的驾驶员30的状态，比如往旁边看的状态等。
另外，根据由头部中心位置推断部23所推断的图像11a中的驾驶员30A的头部中心位置x与已知信息的单目相机11的规格信息(画角α、宽度方向的像素Width)，以及位置姿势信息(角度θ或者原点O起的距离A等)，能够精度良好地推断设置在驾驶席31的正面方向的原点O与现实世界中驾驶员30的头部中心位置H的距离B。从而基于距离推断部28所推断的距离B，能够判定驾驶员30是否处于可进行方向盘操作的合适的范围内。
根据驾驶员状态推断装置10，不需要在单目相机11之外再增加设置其他的传感器，就能够精度良好地推断上述到驾驶员为止的距离B和驾驶员的面部的朝向(角度φ3)，能够实现装置构成的简单化。另外，由于不需要设置所述其他的传感器，所以不需要由其所产生的追加处理，能够降低对CPU12所施加的负荷，能够实现装置的小型化和低成本化。
通过驾驶员状态推断装置10搭载在自动驾驶系统1上，能够适合地对驾驶员进行自动驾驶监控，即使是在自动驾驶的行走控制困难的情形下，也能够迅速且安全地进行向手动驾驶的切换，能够提高自动驾驶系统1的安全性。
(附注1)
一种驾驶员状态推断装置，是由拍摄的图像推断驾驶员状态的驾驶员状态推断装置，其特征在于，包括拍摄坐在驾驶席的驾驶员的包括面部的图像的单眼拍摄部，至少一个储存部和至少一个硬件处理器；所述至少一个储存部包括储存所述拍摄部拍摄的图像的图像储存部和储存包含所述拍摄部的规格以及位置姿势的信息的信息储存部；所述至少一个硬件处理器包括将所述拍摄部拍摄的图像储存在所述图像储存部的储存指示部、从所述图像储存部读出所述图像的读出指示部、利用与从所述图像储存部读出的所述图像中的所述驾驶员的面部相适合的三维面部形状模型推断所述图像中的所述驾驶员的头部中心位置的头部中心位置推断部以及根据由该头部中心位置推断部推断的所述图像中的所述驾驶员的头部中心位置和包括从所述信息储存部读出的所述拍摄部的规格和位置姿势的信息，推断设置在所述驾驶席的正面方向的原点与现实世界中的所述驾驶员的头部中心位置的距离的距离推断部。
(附注2)
一种驾驶员状态推断方法，所述驾驶员状态推断方法是利用包括拍摄坐在驾驶席的驾驶员的包括面部的图像的单眼拍摄部和至少一个储存部以及至少一个硬件处理器的装置，通过所述拍摄部拍摄的图像，推断驾驶员的状态的驾驶员状态推断方法，其特征在于，所述至少一个储存部包括储存所述拍摄部拍摄的图像的图像储存部和储存包含所述拍摄部的规格以及位置姿势的信息的信息储存部；所述至少一个硬件处理器包括使所述拍摄部拍摄的图像储存在所述图像储存部的储存指示步骤、从所述图像储存部读出所述图像的读出步骤和利用与从所述图像储存部读出的所述图像中的所述驾驶员的面部相适合的三维面部形状模型推断所述图像中的所述驾驶员的头部中心位置的头部中心位置推断步骤以及根据由该头部中心位置推断步骤所推断的所述图像中的所述驾驶员的头部中心位置与包含从所述信息储存部读出的所述拍摄部的规格和位置姿势的信息，推断设置在所述驾驶席的正面方向的原点与现实世界的所述驾驶员的头部中心位置的距离的距离推断步骤。
产业上的利用可能性
本发明可以广泛应用于需要监视驾驶员的状态的自动驾驶系统等，主要是汽车产业领域。
符号说明
10 驾驶员状态推断装置
11 单目相机
11a 图像
12 CPU
13 ROM
14 RAM
15 储存部
15a 图像储存部
15b 信息储存部
21 图像输入部
22 面部检出部
23 头部中心位置推断部
24 3D面部形状模型适合处理方式
25 角度推断部
26 面部朝向推断部
27 往别处看判定部
28 距离推断部
29 驾驶操作可否判定部
30 现实世界的驾驶员
30A 图像中的驾驶员
31 驾驶席
32 方向盘
Lx 线段(表示图像中的头部中心位置x)
O 原点
S 席位中心
H 现实世界的驾驶员的头部中心位置
I 拍摄面的中心
L1、L2、L3 线段
α 画角
θ 单目相机的安装角度。

Claims (6)

1.一种驾驶员状态推断装置，是由所拍摄的图像推断驾驶员的状态的驾驶员状态推断装置，其特征在于，具有拍摄坐在驾驶席的驾驶员的包括面部的图像的单眼拍摄部和至少一个硬件处理器；
所述至少一个硬件处理器具有头部中心位置推断部和距离推断部，其中所述头部中心位置推断部利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型，推断所述图像中的所述驾驶员的头部的中心位置；所述距离推断部根据所述头部中心位置推断部所推断的所述图像中的所述驾驶员的头部中心位置和包含所述拍摄部的规格及位置姿势的信息，推断在所述驾驶席的正面方向所设置的原点与现实世界的所述驾驶员的头部中心位置之间的距离。
2.根据权利要求1所述的驾驶员状态推断装置，其特征在于，所述至少一个硬件处理器包括利用由所述距离推断部所推断的所述距离，判定所述驾驶员是否处于可以操作驾驶的状态的驾驶操作可否判断部。
3.根据权利要求1或者权利要求2所述的驾驶员状态推断装置，其特征在于，所述至少一个硬件处理器具备：
由所述拍摄部所拍摄的图像，检出相对于所述拍摄部的所述驾驶员的面部朝向的面部朝向检出部；
根据所述头部中心位置推断部推断的所述图像中的所述驾驶员的头部中心位置以及包含所述拍摄部的规格和位置姿势的信息，推断现实世界中从所述驾驶员的头部中心位置的所述拍摄部的方向与所述驾驶席的正面方向所成的角度的角度推断部；
根据所述面部朝向检出部检出的所述驾驶员的面部朝向与所述角度推断部推断的角度，推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向的面部朝向推断部。
4.根据权利要求3所述的驾驶员状态推断装置，其特征在于，所述至少一个硬件处理器具备根据所述面部朝向推断部推断的所述驾驶员的面部的朝向，判定所述驾驶员的状态的驾驶员状态判定部。
5.一种驾驶员状态推断方法，所述驾驶员状态推断方法使用对就坐于驾驶席的驾驶员的包括面部进行拍摄的单眼拍摄部和至少一个硬件处理器的装置，利用所述拍摄部拍摄的图像推断驾驶员的状态的驾驶员状态推断方法，其特征在于，所述至少一个硬件处理器包括头部中心位置推断步骤和距离推断步骤，其中所述头部中心位置推断步骤利用与所述拍摄部拍摄的图像中的所述驾驶员的面部相适合的三维面部形状模型推断所述图像中的所述驾驶员的头部中心位置；所以距离推断步骤根据所述头部中心位置推断步骤推断的所述图像中的所述驾驶员的头部中心位置和包括所述拍摄部的规格和位置姿势的信息，推断设置于所述驾驶席的正面方向的原点与现实世界中的所述驾驶员的头部中心位置的距离。
6.根据权利要求5所述的驾驶员状态推断方法，其特征在于，所述至少一个硬件处理器包括：由所述拍摄的图像检出相对于所述拍摄部的所述驾驶员的面部朝向的面部朝向检出步骤和根据所述头部中心位置推断步骤推断的所述图像中的所述驾驶员的头部中心位置与包含所述拍摄部的规格及位置姿势的信息，推断现实世界中的自所述驾驶员的头部中心位置的所述拍摄部的方向与所述驾驶席的正面方向所成的角度的角度推断步骤；以及根据由所述面部朝向检出步骤检出的所述驾驶员的面部朝向与由所述角度推断步骤所推断的角度，推断以所述驾驶席的正面方向为基准的所述驾驶员的面部朝向的面部朝向推断步骤。
CN201780084000.6A 2017-03-14 2017-07-27 驾驶员状态推断装置以及驾驶员状态推断方法 Pending CN110192224A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017048502A JP6708152B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法
JP2017-048502 2017-03-14
PCT/JP2017/027244 WO2018167995A1 (ja) 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法

Publications (1)

Publication Number Publication Date
CN110192224A true CN110192224A (zh) 2019-08-30

Family

ID=63523754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084000.6A Pending CN110192224A (zh) 2017-03-14 2017-07-27 驾驶员状态推断装置以及驾驶员状态推断方法

Country Status (5)

Country Link
US (1) US20190347499A1 (zh)
JP (1) JP6708152B2 (zh)
CN (1) CN110192224A (zh)
DE (1) DE112017007237T5 (zh)
WO (1) WO2018167995A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6785175B2 (ja) * 2017-03-27 2020-11-18 日産自動車株式会社 ドライバモニタ方法及びドライバモニタ装置
US11491940B2 (en) * 2019-04-19 2022-11-08 GM Global Technology Operations LLC System and method for detecting improper posture of an occupant using a seatbelt restraint system
CN113247010A (zh) * 2021-05-11 2021-08-13 上汽通用五菱汽车股份有限公司 巡航车速控制方法、车辆及计算机可读存储介质
US11724703B2 (en) * 2021-07-01 2023-08-15 Harman International Industries, Incorporated Method and system for driver posture monitoring

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006213146A (ja) * 2005-02-02 2006-08-17 Toyota Motor Corp 運転者の顔向き判定装置
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
US20140249717A1 (en) * 2011-10-06 2014-09-04 Honda Motor Co., Ltd. Visually-distracted-driving detection device
CN204452046U (zh) * 2015-03-17 2015-07-08 山东理工大学 一种长途驾驶防瞌睡装置
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
CN105354987A (zh) * 2015-11-26 2016-02-24 南京工程学院 车载型疲劳驾驶检测与身份认证装置及其检测方法
CN106471556A (zh) * 2014-06-23 2017-03-01 株式会社电装 驾驶员的驾驶不能状态检测装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1191397A (ja) * 1997-09-22 1999-04-06 Toyota Motor Corp 自動走行車両制御装置
JP4867729B2 (ja) * 2006-03-14 2012-02-01 オムロン株式会社 情報処理装置および方法、記録媒体、並びに、プログラム
JP5262570B2 (ja) * 2008-10-22 2013-08-14 トヨタ自動車株式会社 車両デバイス制御装置
JP5500183B2 (ja) * 2012-01-12 2014-05-21 株式会社デンソー 車両用衝突安全制御装置
JP2014218140A (ja) 2013-05-07 2014-11-20 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006213146A (ja) * 2005-02-02 2006-08-17 Toyota Motor Corp 運転者の顔向き判定装置
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
US20140249717A1 (en) * 2011-10-06 2014-09-04 Honda Motor Co., Ltd. Visually-distracted-driving detection device
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
CN106471556A (zh) * 2014-06-23 2017-03-01 株式会社电装 驾驶员的驾驶不能状态检测装置
CN204452046U (zh) * 2015-03-17 2015-07-08 山东理工大学 一种长途驾驶防瞌睡装置
CN105354987A (zh) * 2015-11-26 2016-02-24 南京工程学院 车载型疲劳驾驶检测与身份认证装置及其检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴明山等: "《企业内机动车驾驶作业 初训》", 28 February 2007, 东南大学出版社 *

Also Published As

Publication number Publication date
JP6708152B2 (ja) 2020-06-10
US20190347499A1 (en) 2019-11-14
DE112017007237T5 (de) 2019-12-12
JP2018151930A (ja) 2018-09-27
WO2018167995A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
CN110192224A (zh) 驾驶员状态推断装置以及驾驶员状态推断方法
US11727642B2 (en) Image processing apparatus, image processing method for image processing apparatus, and program
KR102136241B1 (ko) 표정 검출 성능을 갖는 머리-장착형 디스플레이
CN106716515B (zh) 驾驶员状态判定装置
CN109919049A (zh) 基于深度学习人脸姿态估计的疲劳检测方法
CN104573622B (zh) 人脸检测装置、方法
EP3796193A1 (en) Method and apparatus for unlocking head-mounted display device
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
US20160224852A1 (en) Vehicle operator monitoring system and method
CN109934076A (zh) 视觉盲区的场景图像的生成方法、装置、系统及终端设备
CN107229922A (zh) 一种疲劳驾驶监测方法及装置
KR20220116237A (ko) 스마트 트레드밀
JP5092776B2 (ja) 視線方向検出装置及び視線方向検出方法
CN110913751A (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
CN107289931A (zh) 一种定位刚体的方法、装置和系统
CN108182377A (zh) 基于摄影测量技术的人眼视线检测方法及装置
CN108171728A (zh) 基于混合相机系统的无标记运动物体姿态恢复方法及装置
CN109774723A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体
CN106778660A (zh) 一种人脸姿态校正方法及装置
CN107851305A (zh) 后部交叉交通快速检视
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
CN109415020A (zh) 辉度控制装置、辉度控制系统以及辉度控制方法
CN114220149A (zh) 一种头部姿势真值的获取方法、装置、设备及存储介质
CN107704836A (zh) 基于物体检测的疲劳驾驶检测方法
JP2021078692A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190830