CN113879317B - 驾驶员监视装置 - Google Patents

驾驶员监视装置 Download PDF

Info

Publication number
CN113879317B
CN113879317B CN202110730829.7A CN202110730829A CN113879317B CN 113879317 B CN113879317 B CN 113879317B CN 202110730829 A CN202110730829 A CN 202110730829A CN 113879317 B CN113879317 B CN 113879317B
Authority
CN
China
Prior art keywords
face
driver
color
vehicle
orientation angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110730829.7A
Other languages
English (en)
Other versions
CN113879317A (zh
Inventor
原健一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113879317A publication Critical patent/CN113879317A/zh
Application granted granted Critical
Publication of CN113879317B publication Critical patent/CN113879317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Abstract

提供适当判定驾驶员面部颜色变化的驾驶员监视装置，具备：检测部，根据在不同时刻对车辆的驾驶员面部进行摄影而得到的多个面部图像检测各个面部图像中车辆的前后方向与驾驶员面部朝向所成的面部朝向角度和驾驶员面部的预定区域的颜色；面部颜色存储部，在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定面部朝向角度范围的情况下使存储部存储从第1面部图像检测到的预定区域的颜色；及面部颜色判定部，在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围且从第2面部图像检测到的预定区域的颜色与存储于存储部的预定区域的颜色之差超过变化阈值的情况下判定为面部颜色异常。

Description

驾驶员监视装置
技术领域
本发明涉及监视车辆的驾驶员的面部颜色的驾驶员监视装置。
背景技术
车辆的驾驶员的面部颜色与身体状态相应地变化。在驾驶员的面部颜色与通常的面部颜色不同的情况下，驾驶员的身体状态与通常不同，交通事故的风险有可能会增加。提出了监视驾驶中的驾驶员的面部颜色，根据面部颜色的变化来控制车辆的动作的技术。
在专利文献1中，记载有比较由摄像部摄像到的车辆的驾驶员的面部图像和存储于存储部的面部图像，判定面部颜色的变化，在存在变化的情况下进行车辆停止控制的饮酒驾驶防止装置。
现有技术文献
专利文献
专利文献1：日本特开2010－052635号公报
发明内容
驾驶员为了对车辆的周围倾注足够的注意，所以将头朝向各种方向。当在摄像到的面部图像以及所存储的面部图像中，面部朝向不一致的情况下，有可能会无法适当地判定面部颜色的变化。
本发明的目的在于提供适当地判定驾驶员的面部颜色的变化的驾驶员监视装置。
本发明提供一种驾驶员监视装置，具备：检测部，根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的车辆的前后方向与驾驶员的面部朝向所成的面部朝向角度和驾驶员的面部的预定区域的颜色；面部颜色存储部，在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从第1面部图像检测到的预定区域的颜色；面部颜色判定部，在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围，且从第2面部图像检测到的预定区域的颜色与存储于存储部的预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
在本发明的驾驶员监视装置中，优选第1时刻是比驾驶员从车辆下车的时刻靠前第1宽限时间的时刻，第2时刻是从驾驶员乘坐到车辆的时刻起第2宽限时间后的时刻。
在本发明的驾驶员监视装置中，优选第1时刻是比车辆的驱动源成为关断的时刻靠前第1宽限时间的时刻，第2时刻是从车辆的驱动源成为接通的时刻起第2宽限时间后的时刻。
在本发明的驾驶员监视装置中，优选检测部检测车辆的驾驶员为多个人物中的哪个人物，面部颜色存储部针对每个检测到的人物而存储预定区域的颜色，面部颜色判定部针对每个检测到的人物而判定是否为面部颜色异常。
本发明的驾驶员监视装置优选为还具备异常处置部，在被判定为面部颜色异常的情况下，该异常处置部执行向驾驶员的通知或者使车辆停止的控制。
本发明提供一种驾驶员监视方法，包括：根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的车辆的前后方向与驾驶员的面部朝向所成的面部朝向角度和驾驶员的面部的预定区域的颜色；在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从第1面部图像检测到的预定区域的颜色；以及在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围，且从第2面部图像检测到的预定区域的颜色与存储于存储部的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
根据本发明的驾驶员监视装置，能够适当地判定驾驶员的面部颜色的变化。
附图说明
图1是安装驾驶员监视装置的车辆的概略结构图。
图2是ECU的硬件示意图。
图3是ECU所具有的处理器的功能框图。
图4是说明驾驶员监视装置的动作概要的图。
图5是驾驶员监视处理的流程图。
图6是面部颜色判定处理的流程图。
图7是面部颜色存储处理的流程图。
符号说明
1：车辆；5：ECU；531：检测部；532：面部颜色存储部；533：面部颜色判定部；534：异常处置部。
具体实施方式
以下，参照附图详细地说明适当地判定驾驶员的面部颜色的变化的驾驶员监视装置。驾驶员监视装置根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的车辆的前后方向与驾驶员的面部朝向所成的面部朝向角度和驾驶员的面部的预定区域的颜色。另外，驾驶员监视装置在从在第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从第1面部图像检测到的预定区域的颜色。然后，驾驶员监视装置在从在比第1时刻靠后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于面部朝向角度范围，且从第2面部图像检测到的预定区域的颜色与存储于存储部的预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
图1是安装驾驶员监视装置的车辆的概略结构图。
车辆1具有引擎2、驱动器监视器摄像机3、仪表显示器4以及ECU5(ElectronicControl Unit，电子控制单元)。引擎2、驱动器监视器摄像机3以及仪表显示器4与ECU5经由遵循控制器局域网络这样的标准的车内网络能够通信地连接。
引擎2是车辆1的驱动源的一个例子，提供使车辆1行驶的动力。引擎2通过成为接通而起动，成为能够对车辆1提供动力的状态。另外，引擎2通过成为关断而停止，成为无法对车辆1提供动力的状态。在车辆1中，作为驱动源，也可以不搭载引擎2，而搭载根据电力来提供动力的马达。
驱动器监视器摄像机3是用于对驾驶员的面部图像进行摄影的传感器的一个例子。驱动器监视器摄像机3具有CCD或者C－MOS等由对于可见光具有灵敏度的光电变换元件的阵列构成的2维检测器和将该2维检测器上的作为摄影对象的区域的像成像的成像光学系统。驱动器监视器摄像机3例如朝向坐在驾驶座的驾驶员的面部地安装于车室内的前方上部。驱动器监视器摄像机3每隔预定的摄影周期(例如1分～10分)而输出拍摄到驾驶员的面部的面部图像。面部图像是关于各像素而具有RGB(红、绿、蓝)各自的值的彩色图像。
仪表显示器4是显示部的一个例子，例如具有液晶显示器。仪表显示器4依照经由车内网络从ECU5收取到的信号，将与车辆1的行驶有关的信息以能够视觉辨认的方式显示给驾驶员。
ECU5是驾驶员监视装置的一个例子，使用驱动器监视器摄像机3生成的图像来执行驾驶员监视处理，使仪表显示器4进行动作。
图2是ECU5的硬件示意图。ECU5具备通信接口51、存储器52以及处理器53。
通信接口51是通信部的一个例子，具有用于将ECU5与车内网络连接的通信接口电路。通信接口51将接收到的数据提供给处理器53。另外，通信接口51将从处理器53提供的数据输出到外部。
存储器52是存储部的一个例子，具有易失性的半导体存储器以及非易失性的半导体存储器。存储器52存储用于由处理器53进行的处理的各种数据、例如用于根据驾驶员的面部朝向角度来判定是否存储检测到的面部颜色的面部朝向角度范围、表示检测到的面部颜色的面部颜色信息、用于判定驾驶员的面部颜色是否为异常的变化阈值等。另外，存储器52存储各种应用程序、例如用于执行驾驶员监视处理的驾驶员监视程序等。
处理器53是控制部的一个例子，具有一个以上的处理器及其周边电路。处理器53也可以还具有逻辑运算单元、数值运算单元或者图形处理单元这样的其它运算电路。
图3是ECU5所具有的处理器53的功能框图。
ECU5的处理器53作为功能块而具有检测部531、面部颜色存储部532、面部颜色判定部533以及异常处置部534。处理器53所具有的这些各部分是通过在处理器53上执行的程序而安装的功能模块。或者，处理器53所具有的这些各部分也可以作为独立的集成电路、微型处理器或者固件而安装于ECU5。
检测部531在不同的时刻重复获取从驱动器监视器摄像机3对车辆1的驾驶员的面部进行摄影而得到的面部图像。检测部531根据获取到的各个面部图像，检测驾驶员的面部朝向角度以及驾驶员的面部的预定区域的颜色。
面部朝向角度由车辆1的行进方向与驾驶员使面部朝向的方向之间的水平方向或者铅垂方向的角度表示。检测部531通过将获取到的面部图像输入到以检测外眼角、内眼角、嘴角点这样的面部的预定部位的方式学习的识别器，从而确定面部图像所包含的预定部位的位置。然后，检测部531将从面部图像检测到的预定部位的位置与标准的面部的3维模型进行对比。然后，将各部位的位置与从面部图像检测到的部位的位置最匹配时的3维模型中的面部朝向角度检测为面部图像中的面部朝向角度。
将识别器例如能够设为具有从输入侧向输出侧串联地连接的多个层的卷积神经网络(CNN)。预先将包含面部的预定部位的面部图像用作训练数据而输入到CNN进行学习，从而CNN作为确定面部的预定部位的位置的识别器进行动作。
另外，检测部531检测驾驶员的面部中的、脸颊或者额头这样的预定区域的颜色。检测部531在面部图像中，根据所确定的预定部位，确定与所对比的标准的面部的3维模型中的预定区域对应的区域，检测所确定的区域的颜色的代表值。检测部531将所确定的区域所包含的各像素的值从基于RGB的表达变换为基于HSV(色相、饱和度、亮度值)的表达。检测部531作为所确定的区域的颜色的代表值而检测由HSV表达的所确定的区域所包含的各像素的值中的H的值的平均值。检测部531也可以作为所确定的区域的颜色的代表值而检测H的值的众数或者中位数。另外，检测部531也可以作为所确定的区域的颜色的代表值，除了H的值之外，还检测区域所包含的各像素中的S、V的值的代表值。另外，检测部531也可以作为区域的颜色的代表值，不使用HSV，而使用基于RGB各自的值的代表值。在该情况下，检测部531不进行从驱动器监视器摄像机3获取到的面部图像中的以RGB形式表达的各像素的值向HSV形式的变换。
面部颜色存储部532判定由检测部531检测到的面部朝向角度是否包含于存储于存储器52的面部朝向角度范围(例如±30度)。然后，在被判定为检测到的面部朝向角度包含于面部朝向角度范围的情况下，面部颜色存储部532使存储器52存储检测到的区域的颜色的代表值。
面部颜色判定部533比较在面部朝向角度包含于面部朝向角度范围时检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差。然后，在颜色之差超过存储于存储器52的变化阈值的情况下，判定为驾驶员的面部颜色为异常。
在检测部531作为预定区域的颜色而检测H的值的情况下，关于H的值而设定变化阈值。此时，面部颜色判定部533关于H的值，比较检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差。然后，在H的值之差超过变化阈值的情况下，判定为驾驶员的面部颜色为异常。另外，在检测部531作为预定区域的颜色而检测HSV的各个的值的情况下，关于HSV的各个而设定变化阈值。此时，面部颜色判定部533关于HSV的各个而比较检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差。然后，在HSV的全部或者过半数的差超过变化阈值的情况下，判定为驾驶员的面部颜色为异常。另外，面部颜色判定部533也可以通过比较将关于HSV的各个而计算出的差(Dh、Ds、Dv)代入到预定的计算式(D＝a＊Dh+b＊Ds+c＊Dv)而求出的值和作为单一的值而设定的变化阈值，从而判定面部颜色的异常。此外，在检测部531不通过HSV而通过RGB来检测区域的颜色的情况下，面部颜色判定部533也能够通过与HSV中的面部颜色判定同样的手法来判定面部颜色。
异常处置部534在由面部颜色判定部533判定出驾驶员的面部颜色异常的情况下，执行与面部颜色的异常对应的车辆1的控制。异常处置部534经由车内网络将预定的控制信号发送到仪表显示器4，使将检测到面部颜色的异常这一情况通知给驾驶员的图像显示。或者，异常处置部534经由车内网络将预定的控制信号发送到使引擎2、车辆1减速的制动装置(未图示)、变更车辆1的行进方向的转向装置(未图示)，使车辆1停止。
异常处置部534也可以经由车内网络将预定的控制信号发送到扬声器(未图示)，使通知检测到驾驶员的面部颜色的异常这一情况的声音再生。另外，异常处置部534也可以经由车内网络将预定的控制信号发送到进行与车外的设备的无线通信的数据通信模块，使表示检测到驾驶员的面部颜色的异常这一情况的数据发送到服务器(未图示)。接收到表示检测到驾驶员的面部颜色的异常这一情况的数据的服务器能够执行使救护车辆向车辆1行驶、提醒在车辆1的附近行驶的其它车辆注意这样的控制。
图4是说明驾驶员监视装置的动作概要的图。
在图4中，图像Pa以及图像Pb是从驱动器监视器摄像机3获取到的面部图像。从图像Pa检测到的驾驶员的面部朝向角度为α。α超过作为面部朝向角度范围的上限的角度θ，图像Pa中的面部朝向角度不包含于面部朝向角度范围，所以从图像Pa检测到的预定区域的颜色不存储于存储器52。
从图像Pb检测到的驾驶员的面部朝向角度为0度，包含于面部朝向角度范围。因此，从图像Pb检测到的预定区域的颜色(Hb、Sb、Vb)存储于存储器52。
图像Pc是从驱动器监视器摄像机3获取到的图像。从图像Pc检测到的驾驶员的面部朝向角度为0度，包含于面部朝向角度范围。因此，从图像Pc检测到的预定区域的颜色(Hc、Sc、Vc)与存储于存储器52的预定区域的颜色(Hb、Sb、Vb)进行比较。在Hb与Hc之差的绝对值比关于H的变化阈值HTH大，Sb与Sc之差的绝对值比关于S的变化阈值STH大，Vb与Vc之差的绝对值比关于V的变化阈值VTH大的情况下，判定为面部颜色的异常。
图5是驾驶员监视处理的流程图。ECU5的处理器53从车辆1的引擎2成为接通起至成为关断为止执行驾驶员监视处理。
首先，处理器53当引擎2成为接通时，执行面部颜色判定处理(步骤S1)，根据从驱动器监视器摄像机3获取到的面部图像和在前次的驾驶员监视处理中存储于存储器52的预定区域的颜色的信息，判定驾驶员的面部颜色是否为异常。面部颜色判定处理的详细内容将在后面叙述。接着，处理器53执行面部颜色存储处理(步骤S2)，将从自驱动器监视器摄像机3获取到的面部图像检测到的预定区域的颜色的信息存储于存储器52。面部颜色存储处理的详细内容将在后面叙述。处理器53判定引擎2是否成为关断(步骤S3)，在未成为关断的情况下(步骤S3：否)，每隔预定时间而重复面部颜色存储处理。在引擎2成为关断的情况下(步骤S3：是)，处理器53结束驾驶员监视处理。
在步骤S3中刚要检测到引擎2成为关断之前执行步骤S2的面部颜色存储处理的时刻是第1时刻的例子。从执行步骤S2的面部颜色存储处理起至检测到在步骤S3中引擎2成为关断为止的时间(例如1分钟)是第1宽限时间的例子。另外，执行步骤S1的面部颜色存储处理的时刻是比第1时刻靠后的第2时刻的例子。从引擎2成为接通起至执行步骤S1的面部颜色存储处理为止的时间(例如1分钟)是第2宽限时间的例子。在面部颜色判定处理中，在前次的驾驶员监视处理中，使用在比引擎成为关断的时刻靠前预定时间的时刻存储于存储器52的预定区域的颜色的信息。因此，在最初执行驾驶员监视处理的情况下，不执行面部颜色判定处理。此外，处理器53也可以在最初执行驾驶员监视处理的情况下，作为预定区域的颜色的信息而使用预先设定的初始值，执行面部颜色判定处理。
图6是面部颜色判定处理的流程图。ECU5的处理器53在驾驶员监视处理中的步骤S1中，执行以下的面部颜色判定处理。
首先，处理器53的检测部531根据对车辆1的驾驶员的面部进行摄影而得到的面部图像，检测面部朝向角度和驾驶员的面部的预定区域的颜色(步骤S11)。
接下来，处理器53的面部颜色判定部533判定检测到的面部朝向角度是否包含于预定的面部朝向角度范围(步骤S12)。在被判定为检测到的面部朝向角度不包含于预定的面部朝向角度范围的情况下(步骤S12：否)，处理器53的处理返回到步骤S11，重复由检测部进行的面部朝向角度以及预定区域的颜色的检测。
在被判定为检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下(步骤S12：是)，面部颜色判定部533判定检测到的预定区域的颜色与存储于存储器52的预定区域的颜色之差是否超过变化阈值(步骤S13)。
在被判定为颜色之差超过变化阈值的情况下(步骤S13：是)，面部颜色判定部533判定为面部颜色异常(步骤S14)，处理器53的异常处置部534执行预定的处理(步骤S15)，结束面部颜色判定处理。在被判定为颜色之差不超过变化阈值的情况下(步骤S13：否)，面部颜色判定部533无需判定为面部颜色异常，而结束面部颜色判定处理。
图7是面部颜色存储处理的流程图。ECU5的处理器53在驾驶员监视处理中的步骤S2中，执行以下的面部颜色存储处理。
首先，处理器53的检测部531根据对车辆1的驾驶员的面部进行摄影而得到的面部图像，检测面部朝向角度和驾驶员的面部的预定区域的颜色(步骤S21)。
接下来，处理器53的面部颜色存储部532判定检测到的面部朝向角度是否包含于预定的面部朝向角度范围(步骤S22)。在被判定为检测到的面部朝向角度不包含于预定的面部朝向角度范围的情况下(步骤S22：否)，面部颜色存储部532结束面部颜色存储处理。
在被判定为检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下(步骤S22：是)，面部颜色存储部532使存储器52存储检测到的预定区域的颜色(步骤S23)，结束面部颜色存储处理。
通过如以上那样进行动作，本实施方式的驾驶员监视装置能够适当地判定驾驶员的面部颜色的变化。
根据变形例，驾驶员监视装置将比驾驶员从车辆1下车的时刻靠前第1宽限时间的时间设为第1时刻，将从驾驶员乘坐到车辆1的时刻起第2宽限时间后的时刻设为第2时刻，执行驾驶员监视处理。在该情况下，驾驶员监视装置将检测到用于驾驶员使车辆1的引擎2成为接通或者关断的车锁的时刻设为乘坐的时刻，将检测不到车锁的时刻设为下车的时刻。通过这样进行动作，驾驶员监视装置能够根据在从驾驶员的乘坐至下车为止的旅程中存储的面部颜色，判定接下来的旅程中的驾驶员的面部颜色。驾驶员监视装置也可以将从自驱动器监视器摄像机3获取到的图像检测到与驾驶员的面部对应的面部区域的时刻设为乘坐的时刻，将检测不到面部区域的时刻设为下车的时刻。另外，驾驶员监视装置也可以将由设置于车辆1的驾驶座的重量传感器(未图示)检测到超过预定的重量阈值的重量的时刻设为乘坐的时刻，将未检测到超过重量阈值的重量的时刻设为下车的时刻。
根据不同的变形例，驾驶员监视装置在作为车辆1的驾驶员的人物存在多个的情况下，针对每个驾驶员而判定驾驶员的面部颜色的异常。为此，首先，检测部531根据面部图像，检测车辆1的驾驶员为多个人物中的哪个人物。检测部531通过将获取到的面部图像输入到以检测每个人物的面部的特征的不同的方式学习的识别器，从而检测面部图像所呈现的人物。
然后，面部颜色存储部532针对每个检测到的人物，存储从面部图像检测到的预定区域的颜色。另外，面部颜色判定部533针对每个检测到的人物，判定是否为面部颜色异常。
此外，检测部531也可以通过基于面部图像的人物检测以外的方法来检测人物。例如，检测部531也可以根据驾驶员为了使引擎2成为接通而使用的车锁的标识符，检测驾驶员是哪个人物。
应理解的是，本领域技术人员能够不脱离本发明的精神以及范围的情况下对其施加各种变更、置换以及修正。

Claims (6)

1.一种驾驶员监视装置，具备：
检测部，根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的所述车辆的前后方向与所述驾驶员的面部朝向所成的面部朝向角度和所述驾驶员的面部的预定区域的颜色；
面部颜色存储部，在从在作为从所述驾驶员的乘坐至下车为止的第一旅程中包含的时刻的、比所述驾驶员从所述车辆下车的时刻靠前第1宽限时间的第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从所述第1面部图像检测到的预定区域的颜色；以及
面部颜色判定部，在从在作为所述第一旅程之后的从所述驾驶员的乘坐至下车为止的第二旅程中包含的时刻的、从所述驾驶员乘坐到所述车辆的时刻起第2宽限时间后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于所述面部朝向角度范围，且从所述第2面部图像检测到的所述预定区域的颜色与存储于所述存储部的所述预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
2.一种驾驶员监视装置，具备：
检测部，根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的所述车辆的前后方向与所述驾驶员的面部朝向所成的面部朝向角度和所述驾驶员的面部的预定区域的颜色；
面部颜色存储部，在从在作为从所述驾驶员的乘坐至下车为止的第一旅程中包含的时刻的、比所述车辆的驱动源成为关断的时刻靠前第1宽限时间的第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从所述第1面部图像检测到的预定区域的颜色；以及
面部颜色判定部，在从在作为所述第一旅程之后的从所述驾驶员的乘坐至下车为止的第二旅程中包含的时刻的、从所述车辆的驱动源成为接通的时刻起第2宽限时间后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于所述面部朝向角度范围，且从所述第2面部图像检测到的所述预定区域的颜色与存储于所述存储部的所述预定区域的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
3.根据权利要求1或2所述的驾驶员监视装置，其中，
所述检测部检测所述车辆的驾驶员为多个人物中的哪个人物，
所述面部颜色存储部针对每个检测到的所述人物而存储所述预定区域的颜色，
所述面部颜色判定部针对每个检测到的所述人物而判定是否为面部颜色异常。
4.根据权利要求1或2所述的驾驶员监视装置，其中，
所述驾驶员监视装置还具备异常处置部，在被判定为面部颜色异常的情况下，该异常处置部执行向所述驾驶员的通知或者使所述车辆停止的控制。
5.一种驾驶员监视方法，包括：
根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的所述车辆的前后方向与所述驾驶员的面部朝向所成的面部朝向角度和所述驾驶员的面部的预定区域的颜色；
在从在作为从所述驾驶员的乘坐至下车为止的第一旅程中包含的时刻的、比所述驾驶员从所述车辆下车的时刻靠前第1宽限时间的第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从所述第1面部图像检测到的预定区域的颜色；以及
在从在作为所述第一旅程之后的从所述驾驶员的乘坐至下车为止的第二旅程中包含的时刻的、从所述驾驶员乘坐到所述车辆的时刻起第2宽限时间后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于所述面部朝向角度范围，且从所述第2面部图像检测到的所述预定区域的颜色与存储于所述存储部的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
6.一种驾驶员监视方法，包括：
根据在不同的时刻对车辆的驾驶员的面部进行摄影而得到的多个面部图像，检测各个面部图像中的所述车辆的前后方向与所述驾驶员的面部朝向所成的面部朝向角度和所述驾驶员的面部的预定区域的颜色；
在从在作为从所述驾驶员的乘坐至下车为止的第一旅程中包含的时刻的、比所述车辆的驱动源成为关断的时刻靠前第1宽限时间的第1时刻摄影到的第1面部图像检测到的面部朝向角度包含于预定的面部朝向角度范围的情况下，使存储部存储从所述第1面部图像检测到的预定区域的颜色；以及
在从在作为所述第一旅程之后的从所述驾驶员的乘坐至下车为止的第二旅程中包含的时刻的、从所述车辆的驱动源成为接通的时刻起第2宽限时间后的第2时刻摄影到的第2面部图像检测到的面部朝向角度包含于所述面部朝向角度范围，且从所述第2面部图像检测到的所述预定区域的颜色与存储于所述存储部的颜色之差超过变化阈值的情况下，判定为面部颜色异常。
CN202110730829.7A 2020-07-02 2021-06-30 驾驶员监视装置 Active CN113879317B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020114989A JP7327301B2 (ja) 2020-07-02 2020-07-02 運転者監視装置
JP2020-114989 2020-07-02

Publications (2)

Publication Number Publication Date
CN113879317A CN113879317A (zh) 2022-01-04
CN113879317B true CN113879317B (zh) 2023-08-22

Family

ID=79010658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110730829.7A Active CN113879317B (zh) 2020-07-02 2021-06-30 驾驶员监视装置

Country Status (2)

Country Link
JP (1) JP7327301B2 (zh)
CN (1) CN113879317B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2007295946A (ja) * 2006-04-27 2007-11-15 Konica Minolta Holdings Inc 酒気帯び検知システム及び酒気帯び検知方法
JP2010240094A (ja) * 2009-04-03 2010-10-28 Toyota Motor Corp 酒気帯び推定装置
CN109034132A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 一种驾驶异常行为的检测方法
CN109760689A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员监视系统
CN110077414A (zh) * 2019-04-04 2019-08-02 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
US10442443B1 (en) * 2018-05-09 2019-10-15 GM Global Technology Operations LLC Providing driver feedback
CN110459304A (zh) * 2019-07-19 2019-11-15 汕头大学 一种基于面部图像的健康状态诊断系统
CN110751051A (zh) * 2019-09-23 2020-02-04 江苏大学 一种基于机器视觉的异常驾驶行为检测方法
WO2020129146A1 (ja) * 2018-12-18 2020-06-25 三菱電機株式会社 表示制御装置及び表示制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010052635A (ja) * 2008-08-29 2010-03-11 Equos Research Co Ltd 飲酒運転防止装置
US11334066B2 (en) * 2013-03-27 2022-05-17 Pixart Imaging Inc. Safety monitoring apparatus and method thereof for human-driven vehicle
US10235822B2 (en) * 2014-04-25 2019-03-19 Vivint, Inc. Automatic system access using facial recognition

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295946A (ja) * 2006-04-27 2007-11-15 Konica Minolta Holdings Inc 酒気帯び検知システム及び酒気帯び検知方法
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2010240094A (ja) * 2009-04-03 2010-10-28 Toyota Motor Corp 酒気帯び推定装置
CN109760689A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员监视系统
US10442443B1 (en) * 2018-05-09 2019-10-15 GM Global Technology Operations LLC Providing driver feedback
CN109034132A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 一种驾驶异常行为的检测方法
WO2020129146A1 (ja) * 2018-12-18 2020-06-25 三菱電機株式会社 表示制御装置及び表示制御方法
CN110077414A (zh) * 2019-04-04 2019-08-02 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统
CN110459304A (zh) * 2019-07-19 2019-11-15 汕头大学 一种基于面部图像的健康状态诊断系统
CN110751051A (zh) * 2019-09-23 2020-02-04 江苏大学 一种基于机器视觉的异常驾驶行为检测方法

Also Published As

Publication number Publication date
US20220004789A1 (en) 2022-01-06
JP7327301B2 (ja) 2023-08-16
CN113879317A (zh) 2022-01-04
JP2022012858A (ja) 2022-01-17

Similar Documents

Publication Publication Date Title
US9662977B2 (en) Driver state monitoring system
JP2546415B2 (ja) 車両運転者監視装置
US10397564B2 (en) Image monitoring apparatus, image display system, and vehicle
JP6730096B2 (ja) 乗員状態監視装置
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
US20180232588A1 (en) Driver state monitoring device
US20150165974A1 (en) Image monitoring apparatus, movable object, program and failure determining method
KR101546893B1 (ko) 졸음 운전 방지 시스템
US11453401B2 (en) Closed eye determination device
CN111583609A (zh) 一种预警策略差异化设置方法
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
JP4858516B2 (ja) 顔向き検出装置
CN113879317B (zh) 驾驶员监视装置
CN107640160A (zh) 车辆安全驾驶辅助系统及其控制方法
US11772563B2 (en) In-vehicle multi-monitoring device for vehicle
US20230192115A1 (en) Method and system for assisting a driver of a road vehicle
US20220272302A1 (en) In-vehicle monitoring device for vehicle
US11983941B2 (en) Driver monitor
KR102457629B1 (ko) 차량 실내 뒷좌석 상태 확인 장치
WO2020179656A1 (ja) 運転者監視装置
JP7359087B2 (ja) ドライバモニタ装置及びドライバモニタ方法
CN115336248B (zh) 车辆用记录控制装置以及记录控制方法
JP4692447B2 (ja) 居眠り検知装置、居眠り検知方法
JP2004287845A (ja) 車両運転者の視線検出装置
US11958425B2 (en) System and method for controlling a driver facing camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant