CN109758167B - 驾驶员状态检测装置 - Google Patents

驾驶员状态检测装置 Download PDF

Info

Publication number
CN109758167B
CN109758167B CN201811317283.7A CN201811317283A CN109758167B CN 109758167 B CN109758167 B CN 109758167B CN 201811317283 A CN201811317283 A CN 201811317283A CN 109758167 B CN109758167 B CN 109758167B
Authority
CN
China
Prior art keywords
driver
threshold range
vehicle
face
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811317283.7A
Other languages
English (en)
Other versions
CN109758167A (zh
Inventor
佐藤润
原健一郎
春日井纯也
山内航一郎
友末和宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN109758167A publication Critical patent/CN109758167A/zh
Application granted granted Critical
Publication of CN109758167B publication Critical patent/CN109758167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

一种抑制误判定为驾驶员未专注驾驶的情况的驾驶员状态检测装置(1、1’)，其具备：驾驶员监视照相机(10)，对车辆(80)的驾驶员的脸部进行拍摄而生成驾驶员的脸部图像；脸部信息检测部(21)，基于脸部图像而检测驾驶员的脸部朝向或者视线；阈值范围设定部(22)，设定被允许作为驾驶员的脸部朝向或者视线的阈值范围；驾驶员状态判定部(23)，在驾驶员的脸部朝向或者视线达到规定时间以上地被维持为阈值范围外的情况下判定为驾驶员未专注驾驶；和道路辨别部(24)，辨别在车辆的行进方向上距车辆规定距离的前方的道路形状。阈值范围设定部与由道路辨别部辨别出的道路形状对应地使阈值范围扩张。

Description

驾驶员状态检测装置
技术领域
本发明涉及驾驶员状态检测装置。
背景技术
以往，已知有使用设置于车辆的拍摄单元而用于检测未专注驾驶等驾驶员状态的装置。例如，在专利文献1所记载的未专注驾驶判定装置中，从由拍摄单元输出的驾驶员的脸部图像中检测驾驶员的视线，在检测到的视线处于规定范围外的情况下，判定为驾驶员未专注驾驶。另外，在车辆通过弯道时，使上述规定范围朝向转弯方向位移规定量。
专利文献1：日本特开2012－058769号公报
驾驶员为了确认安全，不仅需要目视观察车辆的行进方向的车辆、也需要目视观察周围的其他车辆。然而，若在弯道处使未专注驾驶判定用的阈值范围向转弯方向位移，则在进入弯道时驾驶员目视观察了周围的其他车辆的情况下，存在判定为驾驶员未专注驾驶的担忧。
另外，在车辆的行进方向前方存在坡道的情况下，驾驶员为了确认前方而目视观察与坡道的坡度对应的方向。此时，若维持阈值范围，则存在前方确认用的目视观察被判定为未专注驾驶的担忧。
发明内容
鉴于上述课题，本发明的目的在于抑制误判定为驾驶员未专注驾驶的情况。
本公开的要旨如下。
(1)一种驾驶员状态检测装置，其中，具备：驾驶员监视照相机，其对车辆的驾驶员的脸部进行拍摄而生成该驾驶员的脸部图像；脸部信息检测部，其基于上述脸部图像对上述驾驶员的脸部朝向或者视线进行检测；阈值范围设定部，其设定被允许作为上述驾驶员的脸部朝向或者视线的阈值范围；驾驶员状态判定部，其在上述驾驶员的脸部朝向或者视线维持在上述阈值范围外达到规定时间以上的情况下，判定为上述驾驶员未专注驾驶；以及道路辨别部，其辨别在上述车辆的行进方向上距该车辆规定距离的前方的道路形状，上述阈值范围设定部与由上述道路辨别部辨别出的上述道路形状对应地使上述阈值范围扩张。
(2)根据上述(1)所记载的驾驶员状态检测装置，其中，上述阈值范围设定部在由上述道路辨别部辨别出的上述道路形状为弯道的情况下，在该弯道的方向上使上述阈值范围扩张规定量。
(3)根据上述(2)所记载的驾驶员状态检测装置，其中，上述阈值范围设定部在上述弯道的曲率半径相对较小的情况下，与该曲率半径相对较大的情况相比，使上述规定量增大。
(4)根据上述(1)～(3)中任一个所记载的驾驶员状态检测装置，其中，上述阈值范围设定部在由上述道路辨别部辨别出的上述道路形状为坡道的情况下，在该坡道的坡度方向上使上述阈值范围扩张规定量。
(5)根据上述(4)所述的驾驶员状态检测装置，其中，上述阈值范围设定部在上述坡道的坡度相对较大的情况下，与该坡度相对较小的情况相比使上述规定量增大。
(6)根据上述(1)～(5)中任一个所记载的驾驶员状态检测装置，其中，还具备位置检测部，其对在上述车辆的行进方向上行驶于其他车道的先行车辆与上述车辆的相对的位置关系进行检测，上述阈值范围设定部基于由上述位置检测部检测到的上述相对的位置关系使上述阈值范围扩张规定量。
(7)根据上述(6)所记载的驾驶员状态检测装置，其中，对于上述阈值范围设定部而言，在从上述车辆观察时的上述先行车辆的方向与上述车辆的行进方向所成的角度相对较大的情况下，与该角度相对较小的情况相比使上述规定量增大。
(8)根据上述(6)所记载的驾驶员状态检测装置，其中，上述阈值范围设定部在上述车辆与上述先行车辆的相对距离相对较短的情况下，与该相对距离相对较长的情况相比使上述规定量增大。
根据本发明，能够抑制误判定为驾驶员未专注驾驶的情况。
附图说明
图1是表示本发明的第一实施方式所涉及的驾驶员状态检测装置的结构的框图。
图2是示意地表示搭载了驾驶员状态检测装置的车辆的内部的图。
图3是表示第一实施方式中的阈值范围设定处理的控制程序的流程图。
图4是表示弯道的曲率半径与规定量的关系的映射。
图5是表示坡道的坡度与规定量的关系的映射。
图6是表示第一实施方式中的驾驶员状态判定处理的控制程序的流程图。
图7是表示本车辆与先行车辆的位置关系的一个例子的图。
图8是表示本发明的第二实施方式所涉及的驾驶员状态检测装置的结构的框图。
图9是表示第二实施方式中的阈值范围设定处理的控制程序的流程图。
图10是表示从车辆观察时的先行车辆的方向与车辆的行进方向所成的角度和规定量的关系的映射。
图11是表示车辆与先行车辆的相对距离和规定量的关系的映射。
附图标记的说明
1、1’...驾驶员状态检测装置；10...驾驶员监视照相机；20...电子控制单元(ECU)；21...脸部信息检测部；22...阈值范围设定部；23...驾驶员状态判定部；24...道路辨别部；25...位置检测部；80...车辆。
具体实施方式
以下，参照附图对本发明的实施方式进行详细的说明。此外，在以下的说明中，对于相同的构成要素标注相同的参照编号。
＜第一实施方式＞
以下，参照图1～图6对本发明的第一实施方式进行说明。图1是表示本发明的第一实施方式所涉及的驾驶员状态检测装置的结构的框图。驾驶员状态检测装置1搭载于车辆，对车辆的驾驶员的状态进行检测。驾驶员状态检测装置1具备驾驶员监视照相机10以及电子控制单元(ECU)20。
图2是示意地表示搭载有驾驶员状态检测装置的车辆的内部的图。驾驶员监视照相机10对车辆80(本车辆)的驾驶员的脸部进行拍摄而生成驾驶员的脸部图像。驾驶员监视照相机10设置于车辆80的内部。具体而言，如图2所示，驾驶员监视照相机10设置于车辆80的转向柱81的上部。在图2中，用虚线示出了驾驶员监视照相机10的投影范围。此外，驾驶员监视照相机10也可以设置于车辆80的方向盘82、车内后视镜、仪表板、仪表罩等。另外，驾驶员状态检测装置1也可以具备多个驾驶员监视照相机10。
驾驶员监视照相机10由摄像头以及投光器构成。例如，摄像头是CMOS(互补型金属氧化膜半导体)摄像头或者CCD(电荷耦合元件)摄像头，投光器是LED(发光二极管)。另外，优选投光器为近红外LED，以便在夜间等低照度时也能够不给驾驶员带来不适感地对驾驶员的脸部进行拍摄。例如，投光器是配置于摄像头的两侧的两个近红外LED。另外，也可以在摄像头设置有可见光截止滤光片那样的滤光片。由驾驶员监视照相机10生成的驾驶员的脸部图像被从驾驶员监视照相机10向ECU20发送。
ECU20是具备只读存储器(ROM)以及随机存取存储器(RAM)那样的存储器、中央运算装置(CPU)、输入端口、输出端口、通信模块等的微型计算机。在本实施方式中，设置有一个ECU20，但也可以以功能为单位设置有多个ECU。ECU20具有脸部信息检测部21、阈值范围设定部22、驾驶员状态判定部23以及道路辨别部24。
脸部信息检测部21对驾驶员的脸部信息进行检测。具体而言，脸部信息检测部21基于由驾驶员监视照相机10生成的驾驶员的脸部图像来对驾驶员的脸部朝向或者视线进行检测。
脸部信息检测部21例如通过以下的方法来对驾驶员的脸部朝向进行检测。脸部信息检测部21预先存储有驾驶员朝向正面时的脸部形状数据。脸部形状数据可以是一般的人的脸部数据，也可以针对每个驾驶员而取得。脸部形状数据存储于ECU20的存储器。脸部信息检测部21进行所生成的驾驶员的脸部图像和脸部形状数据的匹配。脸部信息检测部21以使两者的一致率为最大的方式使驾驶员的脸部图像旋转，并根据一致率变为最大时的旋转角度来检测驾驶员的脸部朝向。
另外，脸部信息检测部21也可以通过以下的方法来检测驾驶员的脸部朝向。脸部信息检测部21预先存储有驾驶员的脸部朝向不同的多个脸部形状数据。脸部形状数据可以是一般的人的脸部数据，也可以针对每个驾驶员而取得。脸部形状数据存储于ECU20的存储器。脸部信息检测部21进行所生成的驾驶员的脸部图像和多个脸部形状数据的匹配。脸部信息检测部21将两者的一致率变为最大的脸部形状数据的脸部朝向作为驾驶员的脸部朝向来进行检测。另外，脸部信息检测部21也可以通过日本特开2000-976762号公报或者日本特开2003－44853号公报所记载的其他公知的方法来检测驾驶员的脸部朝向。
脸部信息检测部21例如通过以下的方法对驾驶员的视线进行检测。脸部信息检测部21从所生成的驾驶员的脸部图像中确定脸部区域，并抽出眼、鼻、口等脸部部件的特征点从而检测脸部部件。并且，脸部信息检测部21对浦肯野像(角膜反射像)的位置和瞳孔中心的位置进行检测，基于浦肯野像和瞳孔中心的位置关系对驾驶员的视线进行检测。此外，脸部信息检测部21也可以基于浦肯野像和瞳孔中心的位置关系、以及所检测到的驾驶员的脸部朝向对驾驶员的视线进行检测。
阈值范围设定部22对被允许作为驾驶员的脸部朝向或者视线的阈值范围进行设定。阈值范围不仅在左右方向(横摆方向)，也在上下方向(间距方向)上被设定。在人的眼中存在有效视野，因此在驾驶员朝向右侧时左侧的视野变窄，在驾驶员朝向左侧时右侧的视野变窄。因此，驾驶员为了对左右两方较宽的范围进行监视，驾驶员需要尽可能朝向正面。
因此，阈值范围通常被设定为以0°为中心的规定范围(例如，左右方向±15°，上下方向±15°)。然而，根据车辆80所行驶的道路形状，驾驶员为了确认安全而应观察的方向变化。例如，在车辆80的行进方向前方存在弯道的情况下，驾驶员为了确认行进道路上的安全，需要将视线以及脸部朝向从正面偏移而观察弯道的前端。另外，在车辆80的行进方向前方存在坡道的情况下，驾驶员为了确认行进道路上的安全，需要将视线以及脸部朝向从正面偏移而观察坡道的前端。
因此，若将阈值范围维持为上述规定范围，则存在如下担忧：无论驾驶员是否正在进行安全确认，都判定为驾驶员未专注驾驶，从而给予驾驶员警报。另外，若使阈值范围向转弯方向或者坡道的坡度方向位移，则在进入弯道或者坡道时驾驶员目视观察了周围的其他车辆的情况下，存在判定为驾驶员未专注驾驶而给予驾驶员警报的担忧。因此，在本实施方式中，阈值范围设定部22与在车辆80的行进方向上距车辆80规定距离的前方的道路形状对应地使阈值范围扩张。由此，能够抑制误判定为驾驶员未专注驾驶的情况。
例如，阈值范围设定部22在道路形状为弯道的情况下，在弯道的方向上使阈值范围扩张规定量。规定量是预先决定的值。此外，阈值范围设定部22也可以基于弯道的曲率半径来设定规定量。弯道的曲率半径越小，则弯道的弯曲程度越强烈，因此驾驶员的脸部朝向以及视线的移动量变多。因此，阈值范围设定部22也可以构成为，在弯道的曲率半径相对较小的情况下，与弯道的曲率半径相对较大的情况相比，使上述规定量增大。由此，阈值范围被设定为与弯道的曲率半径对应的值，因此能够进一步抑制在进入弯道时误判定为驾驶员未专注驾驶的情况。
另外，阈值范围设定部22在道路形状为坡道的情况下，在坡道的坡度方向上使阈值范围扩张规定量。规定量是预先决定的值。此外，阈值范围设定部22也可以基于坡道的坡度来设定规定量。坡道的坡度越大，则驾驶员的脸部朝向以及视线的移动量越多。因此，阈值范围设定部22也可以构成为，在坡道的坡度相对较大的情况下，与坡道的坡度相对较小的情况相比，使上述规定量增大。由此，阈值范围被设定为与坡道的坡度对应的值，因此能够进一步抑制在进入坡道时误判定为驾驶员未专注驾驶的情况。
道路形状的辨别通过道路辨别部24来进行。道路辨别部24辨别在车辆80的行进方向上距车辆80规定距离的前方的道路形状。
在车辆80设置有导航装置40，存储于导航装置40的信息被向ECU20发送。导航装置40具有GPS接收器，利用GPS接收器来检测车辆80的当前位置。另外，导航装置40存储有地图信息。在地图信息中包含道路的位置信息、道路的形状信息(例如弯道与直道的种类、弯道的曲率半径、道路坡度等)、合流地点、分流地点等位置信息、道路种类等的信息等。
道路辨别部24基于从导航装置40取得的道路信息来辨别道路形状。此外，道路辨别部24也可以基于从车辆80的外部接收到的道路信息来辨别道路形状。例如，道路辨别部24也可以通过与车辆80的外部的数据中心的通信、车辆80与其他车辆之间的车车间通信、经由路边设备的路车间通信等来接收道路信息。
驾驶员状态判定部23判定驾驶员的状态。具体而言，在驾驶员的脸部朝向或者视线被维持在阈值范围外达到阈值时间以上的情况下，驾驶员状态判定部23判定为驾驶员未专注驾驶。
驾驶员状态判定部23在判定为驾驶员未专注驾驶的情况下，给予驾驶员警报。例如，驾驶员状态判定部23经由人机接口(Human Machine Interface(HMI))30而在视觉上或者听觉上给予驾驶员警报。HMI30是用于在驾驶员与车辆80之间进行信息的输入输出的接口。HMI30例如由显示文字或者图像信息的显示器、产生声音的扬声器、用于供驾驶员进行输入操作的操作按钮、触摸面板、微型电脑等构成。
＜阈值范围设定处理＞
以下，参照图3以及图4的流程图，对使用驾驶员状态检测装置1而用于检测驾驶员的未专注驾驶的控制进行详细的说明。图3是表示第一实施方式中的阈值范围设定处理的控制程序的流程图。本控制程序是通过ECU20以规定的时间间隔反复执行的。在本控制程序中，设定脸部朝向或者视线的阈值范围。
首先，在步骤S101中，道路辨别部24从导航装置40或者车辆80的外部取得在车辆80的行进方向上距车辆80规定距离的前方的道路信息。规定距离例如为100～800m。另外，规定距离也可以是车辆80在规定时间(例如1～5秒)后所到达的距离。
接着，在步骤S102中，道路辨别部24基于在步骤S101中取得的道路信息，判定在车辆80的行进方向上距车辆80规定距离的前方的道路形状是否为弯道。在判定为道路形状为弯道的情况下，本控制程序进入步骤S103。
在步骤S103中，阈值范围设定部22使左右方向的阈值范围扩张规定量。规定量是预先决定的值。在弯道的方向为右的情况下，右侧(正侧)的阈值范围扩张。即，左右方向的阈值范围的上限值变大(例如从+15°向+45°变更)。另一方面，在弯道的方向为左的情况下，左侧(负侧)的阈值范围扩张。即，左右方向的阈值范围的下限值变小(例如从－15°向－45°变更)。在步骤S103后，结束本控制程序。
另一方面，在步骤S102中判定为道路形状不是弯道的情况下，本控制程序进入步骤S104。在步骤S104中，道路辨别部24基于在步骤S101中取得的道路信息，判定在车辆80的行进方向上距车辆80规定距离的前方的道路形状是否为坡道。在判定为道路形状是坡道的情况下，本控制程序进入步骤S105。
在步骤S105中，阈值范围设定部22使上下方向的阈值范围扩张规定量。规定量是预先决定的值。在坡道的坡度方向为上的情况下、即道路形状为上坡道的情况下，上侧(正侧)的阈值范围扩张。即，上下方向的阈值范围的上限值变大(例如从+15°向+45°变更)。另一方面，在坡道的坡度方向为下的情况下、即道路形状为下坡道的情况下，下侧(负侧)的阈值范围扩张。即，上下方向的阈值范围的下限值变小(例如从－15°向－45°变更)。在步骤S105后，结束本控制程序。
另一方面，在步骤S104中判定为道路形状不是坡道的情况下，本控制程序进入步骤S106。在步骤S106中，阈值范围设定部22使阈值范围初始化。即，阈值范围返回至扩张前的原来的值，被设定为以0°为中心的规定范围(例如，左右方向±15°，上下方向±15°)。在步骤S106后，结束本控制程序。
此外，阈值范围设定部22在步骤S103中使左右方向的阈值范围扩张规定量时，也可以使用图4所示的映射来设定规定量。在该映射中，规定量作为弯道的曲率半径的函数而被示出。规定量随着曲率半径变小而线形增大。此外，规定量也可以如图4的虚线所示地，随着曲率半径变小而阶段性地(阶梯状)增大。
另外，在步骤S105中使上下方向的阈值范围扩张规定量时，阈值范围设定部22也可以使用图5所示的映射来设定规定量。在该映射中，规定量作为坡道的坡度的函数而被示出。规定量随着坡道的坡度变大而线形增大。此外，规定量也可以如图5的虚线所示地，随着坡道的坡度变大而阶段性地(阶梯状)增大。
另外，也可以省略步骤S102以及步骤S103或者步骤S104以及步骤S105。
＜驾驶员状态判定处理＞
图6是表示第一实施方式中的驾驶员状态判定处理的控制程序的流程图。本控制程序是通过ECU20以规定的时间间隔反复执行的。在本控制程序中，判定驾驶员是否未专注驾驶。
首先，在步骤S201中，脸部信息检测部21从驾驶员监视照相机10取得驾驶员的脸部图像。由驾驶员监视照相机10生成驾驶员的脸部图像。
接着，在步骤S202中，脸部信息检测部21基于驾驶员的脸部图像来检测驾驶员的脸部朝向或者视线。例如，驾驶员的脸部朝向或者视线是通过上述任一方法来检测的。
接着，在步骤S203中，驾驶员状态判定部23判定驾驶员的脸部朝向或者视线是否在阈值范围内。阈值范围在图3的控制程序中由阈值范围设定部22设定。在判定为驾驶员的脸部朝向或者视线处于阈值范围内的情况下，本控制程序进入步骤S208。在步骤S208中，驾驶员状态判定部23将累计时间ET复位为零。在步骤S208后，结束本控制程序。
另一方面，在步骤S203中判定为脸部朝向或者视线处于阈值范围外的情况下，本控制程序进入步骤S204。在步骤S204中，驾驶员状态判定部23对累计时间ET进行更新。具体而言，将累计时间ET加上微小时间Δt所得的值作为新的累计时间ET。累计时间ET是驾驶员的脸部朝向或者视线被维持在阈值范围外的时间。累计时间ET的初始值是零。另外，微小时间Δt是与本控制程序的执行间隔相当的值。
接着，在步骤S205中，驾驶员状态判定部23判定累计时间ET是否在阈值时间Tref以上。阈值时间Tref被预先决定，例如为1～5秒。在判定为累计时间ET不足阈值时间Tref的情况下，结束本控制程序。
另一方面，在判定为累计时间ET处于阈值时间Tref以上的情况下，本控制程序进入步骤S206。在步骤S206中，驾驶员状态判定部23判定为驾驶员未专注驾驶。接着，在步骤S207中，驾驶员状态判定部23经由HMI30给予驾驶员警报。接着，在步骤S208中，驾驶员状态判定部23将累计时间ET复位为零。在步骤S208后，结束本控制程序。
＜第二实施方式＞
对于第二实施方式所涉及的驾驶员状态检测装置的结构以及控制而言，除了以下说明的点之外，基本上与第一实施方式所涉及的驾驶员状态检测装置的结构以及控制相同。因此，以下，针对本发明的第二实施方式，以与第一实施方式不同的部分为中心进行说明。
图7是表示本车辆与先行车辆的位置关系的一个例子的图。在车辆80(本车辆)的行进方向上存在在其他车道行驶的先行车辆90的情况下，存在先行车辆90进行车道变更等的可能性，因此驾驶员需要对先行车辆90进行监视。然而，若脸部朝向或者视线的阈值范围被维持于规定范围，则存在如下担忧：尽管驾驶员正对先行车辆90进行监视，也判定为驾驶员未专注驾驶，从而给予驾驶员警报。因此，在第二实施方式中，基于在车辆80的行进方向上在其他车道行驶的先行车辆90与车辆80的相对的位置关系使阈值范围扩张规定量。
图8是表示本发明的第二实施方式所涉及的驾驶员状态检测装置的结构的框图。驾驶员状态检测装置1’具备驾驶员监视照相机10以及电子控制单元(ECU)20。ECU20具有脸部信息检测部21、阈值范围设定部22、驾驶员状态判定部23、道路辨别部24以及位置检测部25。另外，在车辆80设置有HMI30、导航装置40以及其他车辆检测装置50。
其他车辆检测装置50对车辆80的周围的其他车辆进行检测。其他车辆检测装置50例如是毫米波雷达、激光雷达、立体相机等中的至少一个。其他车辆检测装置50的输出向ECU20发送。位置检测部25基于其他车辆检测装置50的输出，对在车辆80的行进方向上行驶于其他车道的先行车辆90与车辆80的相对的位置关系进行检测。
阈值范围设定部22基于由位置检测部25检测到的先行车辆90与车辆80的相对的位置关系使阈值范围扩张规定量。由此，阈值范围被设定为与先行车辆90和车辆80的相对的位置关系对应的值，因此能够抑制在先行车辆90的监视时误判定为驾驶员未专注驾驶的情况。
例如，对于阈值范围设定部22而言，在从车辆80观察时的先行车辆90的方向X与车辆80的行进方向Y所成的角度α相对较大的情况下，与角度α相对较小的情况相比使上述规定量变大。此外，方向X是将能够从车辆80看到的先行车辆90的任意的点与车辆80的驾驶座附近的点连结的直线。位置检测部25基于其他车辆检测装置50的输出来计算角度α。
另外，基本上车辆80与先行车辆90的相对距离越短，角度α就越大。因此，对于阈值范围设定部22而言，在车辆80与先行车辆90的相对距离相对较短的情况下，也可以与相对距离相对较长的情况相比使上述规定量增大。
＜阈值范围设定处理＞
图9是表示第二实施方式中的阈值范围设定处理的控制程序的流程图。本控制程序是通过ECU20以规定的时间间隔反复执行的。在本控制程序中，设定脸部朝向或者视线的阈值范围。
首先，在步骤S301中，位置检测部25判定是否检测到先行车辆90。在判定为检测到先行车辆90的情况下，本控制程序进入步骤S302。在步骤S302中，阈值范围设定部22使左右方向的阈值范围扩张规定量。阈值范围设定部22使用图10所示那样的映射来设定规定量。在该映射中，规定量作为角度α的函数被示出。规定量随着角度α变大而线形增大。此外，规定量也可以如图10的虚线所示地，随着角度α变大而阶段性地(阶梯状)增大。
另外，阈值范围设定部22也可以使用图11所示的映射来设定规定量。在该映射中，规定量作为车辆80与先行车辆90的相对距离的函数被示出。规定量随着相对距离变短而线形增大。此外，规定量也可以如图11的虚线所示地，随着相对距离变短而阶段性地(阶梯状)增大。
在步骤S302之后，本控制程序进入步骤S303。另一方面，在步骤S301中判定为未检测到先行车辆90的情况下，本控制程序跳过步骤S302而进入步骤S303。步骤S303～步骤S308与图3的步骤S101～步骤S106相同，因此省略说明。
此外，在第二实施方式中，也与第一实施方式相同地执行图6的驾驶员状态判定处理的控制程序。
以上，对本发明所涉及的优选的实施方式进行了说明，但本发明并不限定于这些实施方式，能够在权利要求书的记载内实施各种修正以及变更。

Claims (7)

1.一种驾驶员状态检测装置，其中，具备：
驾驶员监视照相机，其对车辆的驾驶员的脸部进行拍摄而生成该驾驶员的脸部图像；
脸部信息检测部，其基于所述脸部图像对所述驾驶员的脸部朝向或者视线进行检测；
阈值范围设定部，其设定被允许作为所述驾驶员的脸部朝向或者视线的阈值范围；
驾驶员状态判定部，其在所述驾驶员的脸部朝向或者视线维持在所述阈值范围外达规定时间以上的情况下，判定为所述驾驶员未专注驾驶；以及
道路辨别部，其辨别在所述车辆的行进方向上距该车辆规定距离的前方的道路形状，
所述阈值范围设定部与由所述道路辨别部辨别出的所述道路形状对应地使所述阈值范围扩张，
还具备位置检测部，该位置检测部对在所述车辆的行进方向上行驶于其他车道的先行车辆与所述车辆的相对的位置关系进行检测，
所述阈值范围设定部基于由所述位置检测部检测到的所述相对的位置关系使所述阈值范围扩张规定量。
2.根据权利要求1所述的驾驶员状态检测装置，其中，
所述阈值范围设定部在由所述道路辨别部辨别出的所述道路形状为弯道的情况下，在该弯道的方向上使所述阈值范围扩张规定量。
3.根据权利要求2所述的驾驶员状态检测装置，其中，
所述阈值范围设定部在所述弯道的曲率半径相对较小的情况下，与该曲率半径相对较大的情况相比使所述规定量增大。
4.根据权利要求1～3中任一项所述的驾驶员状态检测装置，其中，
所述阈值范围设定部在由所述道路辨别部辨别出的所述道路形状为坡道的情况下，在该坡道的坡度方向上使所述阈值范围扩张规定量。
5.根据权利要求4所述的驾驶员状态检测装置，其中，
所述阈值范围设定部在所述坡道的坡度相对较大的情况下，与该坡度相对较小的情况相比使所述规定量增大。
6.根据权利要求1所述的驾驶员状态检测装置，其中，
所述阈值范围设定部在从所述车辆观察时的所述先行车辆的方向与所述车辆的行进方向所成的角度相对较大的情况下，与该角度相对较小的情况相比使所述规定量增大。
7.根据权利要求1所述的驾驶员状态检测装置，其中，
所述阈值范围设定部在所述车辆与所述先行车辆的相对距离相对较短的情况下，与该相对距离相对较长的情况相比使所述规定量增大。
CN201811317283.7A 2017-11-09 2018-11-07 驾驶员状态检测装置 Active CN109758167B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-216486 2017-11-09
JP2017216486A JP6915502B2 (ja) 2017-11-09 2017-11-09 ドライバ状態検出装置

Publications (2)

Publication Number Publication Date
CN109758167A CN109758167A (zh) 2019-05-17
CN109758167B true CN109758167B (zh) 2022-02-01

Family

ID=66326670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811317283.7A Active CN109758167B (zh) 2017-11-09 2018-11-07 驾驶员状态检测装置

Country Status (3)

Country Link
US (1) US10800424B2 (zh)
JP (1) JP6915502B2 (zh)
CN (1) CN109758167B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627787B2 (ja) * 2017-01-17 2020-01-08 トヨタ自動車株式会社 ドライバ状態検出装置
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP6809262B2 (ja) 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
JP7020215B2 (ja) * 2018-03-19 2022-02-16 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP6844568B2 (ja) * 2018-03-27 2021-03-17 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
US20190367038A1 (en) * 2018-06-04 2019-12-05 Sharp Kabushiki Kaisha Driver monitoring device
JP7309480B2 (ja) * 2019-06-27 2023-07-18 フォルシアクラリオン・エレクトロニクス株式会社 車載装置、及び車載装置の制御方法
US11429185B2 (en) * 2019-09-19 2022-08-30 GM Global Technology Operations LLC Apparatus and method for assessing occupant gazes
CN110909718B (zh) * 2019-12-11 2024-04-19 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
JP7342744B2 (ja) * 2020-03-11 2023-09-12 いすゞ自動車株式会社 安全運転判定装置
JP7342743B2 (ja) * 2020-03-11 2023-09-12 いすゞ自動車株式会社 安全運転判定装置
JP2021144505A (ja) * 2020-03-12 2021-09-24 パナソニックＩｐマネジメント株式会社 推定装置および推定方法
CN111583609A (zh) * 2020-04-20 2020-08-25 惠州市德赛西威智能交通技术研究院有限公司 一种预警策略差异化设置方法
CN111731311B (zh) * 2020-05-29 2023-04-07 阿波罗智联(北京)科技有限公司 车机行驶的安全控制方法、装置、设备以及存储介质
JP7302534B2 (ja) 2020-06-01 2023-07-04 トヨタ自動車株式会社 状態判定装置および状態判定方法
US11654921B2 (en) * 2020-11-10 2023-05-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for limiting driver distraction
CN112668553B (zh) * 2021-01-18 2022-05-13 东莞先知大数据有限公司 一种司机间断瞭望行为检测方法、装置、介质及设备
DE102021104917A1 (de) 2021-03-02 2022-09-08 Bayerische Motoren Werke Aktiengesellschaft Fahrerüberwachungssystem für kraftfahrzeug
CN115447600B (zh) * 2022-11-08 2023-05-16 蔚来汽车科技(安徽)有限公司 基于深度学习的车辆防拥堵方法、控制器和存储介质
CN117197786B (zh) * 2023-11-02 2024-02-02 安徽蔚来智驾科技有限公司 驾驶行为检测方法、控制装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796768A (ja) * 1993-09-27 1995-04-11 Nissan Motor Co Ltd 前方注視度検知装置
JP2010257293A (ja) * 2009-04-27 2010-11-11 Toyota Motor Corp ドライバ状態監視装置及び車両制御装置
JP2012058769A (ja) * 2010-09-03 2012-03-22 Honda Motor Co Ltd 脇見判定装置
CN103110400A (zh) * 2011-09-02 2013-05-22 沃尔沃汽车公司 车辆驾驶员的视觉输入

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0660290B1 (en) * 1993-12-27 2000-07-12 Nissan Motor Co., Ltd. Apparatus and method for navigating vehicle to destination using display unit
DE60330980D1 (de) * 2002-10-15 2010-03-04 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
US8301343B2 (en) * 2007-05-02 2012-10-30 Toyota Jidosha Kabushiki Kaisha Vehicle behavior control device
TWI334517B (en) * 2007-08-30 2010-12-11 Ind Tech Res Inst Method for predicting lane line and lane departure warning system using the same
CA2649731C (en) * 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
WO2011125166A1 (ja) * 2010-04-05 2011-10-13 トヨタ自動車株式会社 生体状態判定装置
US8825304B2 (en) * 2010-06-30 2014-09-02 Microsoft Corporation Mediation of tasks based on assessments of competing cognitive loads and needs
JP5794298B2 (ja) * 2011-04-08 2015-10-14 トヨタ自動車株式会社 運転支援システム
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
JP5554879B2 (ja) * 2011-06-20 2014-07-23 本田技研工業株式会社 車載機器操作装置及び報知装置
TWI434239B (zh) * 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
EP2755192A4 (en) * 2011-10-06 2015-05-27 Honda Motor Co Ltd VISUALALLY DISTANCE DRIVING DETECTION DEVICE
US9265458B2 (en) * 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) * 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
WO2015019542A1 (ja) * 2013-08-08 2015-02-12 パナソニックＩｐマネジメント株式会社 視野算出装置および視野算出方法
US9398144B2 (en) * 2013-10-24 2016-07-19 Cellco Partnership Mobile device mode of operation for visually impaired users
JP6292054B2 (ja) * 2013-11-29 2018-03-14 富士通株式会社 運転支援装置、方法、及びプログラム
KR102209511B1 (ko) * 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
US11228700B2 (en) * 2015-10-07 2022-01-18 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
JP6737057B2 (ja) * 2016-08-10 2020-08-05 富士通株式会社 視線検出装置、視線検出方法、及び視線検出プログラム
JP2018067198A (ja) * 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置
US10173586B1 (en) * 2017-09-11 2019-01-08 Stanislav D Kashchenko System and method for automatically activating turn indicators in a vehicle
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796768A (ja) * 1993-09-27 1995-04-11 Nissan Motor Co Ltd 前方注視度検知装置
JP2010257293A (ja) * 2009-04-27 2010-11-11 Toyota Motor Corp ドライバ状態監視装置及び車両制御装置
JP2012058769A (ja) * 2010-09-03 2012-03-22 Honda Motor Co Ltd 脇見判定装置
CN103110400A (zh) * 2011-09-02 2013-05-22 沃尔沃汽车公司 车辆驾驶员的视觉输入

Also Published As

Publication number Publication date
JP2019087143A (ja) 2019-06-06
US20190135295A1 (en) 2019-05-09
JP6915502B2 (ja) 2021-08-04
CN109758167A (zh) 2019-05-17
US10800424B2 (en) 2020-10-13

Similar Documents

Publication Publication Date Title
CN109758167B (zh) 驾驶员状态检测装置
CN108068698B (zh) 车辆系统以及车辆
US11267461B2 (en) Driving assistance apparatus and driving assistance method
CN106004879B (zh) 车辆行驶辅助系统及其控制方法
CN109080641B (zh) 驾驶意识推定装置
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
JP6369487B2 (ja) 表示装置
EP3489066A2 (en) Method for controlling vehicle based on condition of driver
US10604160B2 (en) Driver condition detection system
CN107054218B (zh) 标识信息显示装置和方法
CN107209987B (zh) 用于交通标志验证的驾驶员辅助系统和方法
JP2008186416A (ja) 物体検出装置、通信システム、および車車間通信装置
CN107408338A (zh) 驾驶员辅助系统
JP2014178971A (ja) 車両用衝突警報装置
CN113246993A (zh) 驾驶支援系统
CN111937055A (zh) 驾驶辅助装置
JP2020086907A (ja) 漫然運転判定装置
JP2005284975A (ja) 走行安全装置
JP2015106395A (ja) 信号情報提示装置
CN114312826B (zh) 自动驾驶系统
CN113799784B (zh) 驾驶员监视系统
JP6992417B2 (ja) ドライバ状態検出装置
JP2019087017A (ja) ドライバ状態検出装置
KR102175793B1 (ko) 인지 장애 경고 방법 및 장치
JP7432198B2 (ja) 状況認識推定システム及び運転支援システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant