CN109080641B - 驾驶意识推定装置 - Google Patents

驾驶意识推定装置 Download PDF

Info

Publication number
CN109080641B
CN109080641B CN201810568081.3A CN201810568081A CN109080641B CN 109080641 B CN109080641 B CN 109080641B CN 201810568081 A CN201810568081 A CN 201810568081A CN 109080641 B CN109080641 B CN 109080641B
Authority
CN
China
Prior art keywords
driving
driver
vehicle
visual confirmation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810568081.3A
Other languages
English (en)
Other versions
CN109080641A (zh
Inventor
岸浩司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN109080641A publication Critical patent/CN109080641A/zh
Application granted granted Critical
Publication of CN109080641B publication Critical patent/CN109080641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明提供驾驶意识推定装置，能够适当地推定驾驶员的驾驶意识。是将本车辆的驾驶员的驾驶意识作为驾驶准备程度进行推定的驾驶意识推定装置，具备：视觉确认对象识别部，基于本车辆的外部传感器的检测结果来识别驾驶准备程度的推定所利用的视觉确认对象；驾驶员视线识别部，识别驾驶员的视线；视觉确认反应指标运算部，基于驾驶员视线识别部识别出的驾驶员的视线来运算驾驶员对视觉确认对象的视觉确认反应指标；以及驾驶准备程度推定部，基于视觉确认反应指标来推定驾驶准备程度。

Description

驾驶意识推定装置
技术领域
本发明涉及驾驶意识推定装置。
背景技术
作为与考虑驾驶员的状况的系统有关的技术文献，以往公知有日本特开2016－15137号公报。该公报中示出计算能够可靠地继续自动行驶的剩余时间亦即准备时间(leadtime)和到驾驶员介入自动驾驶(与手动驾驶对应)为止的反应时间的车辆用自动行驶系统。在该系统中，当准备时间与反应时间之差亦即缓和时间(comfort time)成为零时，进行针对驾驶员的警告等对策。
专利文献1：日本特开2016－15137号公报
然而，在上述的现有系统中，对于驾驶员的驾驶意识未进行适当的考虑。因此，在现有的系统中，即使在驾驶员的驾驶意识高时，也在缓和时间为零时进行警告等对策，从而有可能使驾驶员感觉烦恼。为了这样考虑驾驶员的驾驶意识来进行警告等车辆控制，需要以足够的精度推定驾驶员的驾驶意识。对于该点，驾驶意识的适当的推定存在改善的余地。
发明内容
鉴于此，在本技术领域中，希望提供能够适当地推定驾驶员的驾驶意识的驾驶意识推定装置。
为了解决上述课题，本发明的一个方式所涉及的驾驶意识推定装置是推定本车辆的驾驶员的驾驶意识作为驾驶准备程度的驾驶意识推定装置，具备：视觉确认对象识别部，基于本车辆的外部传感器的检测结果，识别驾驶准备程度的推定所利用的视觉确认对象；驾驶员视线识别部，识别驾驶员的视线；视觉确认反应指标运算部，基于驾驶员视线识别部识别出的驾驶员的视线来运算驾驶员对视觉确认对象的视觉确认反应指标；以及驾驶准备程度推定部，基于视觉确认反应指标来推定驾驶准备程度。
根据本发明的一个方式所涉及的驾驶意识推定装置，由于认为驾驶意识高的驾驶员与驾驶意识低的驾驶员相比，对于前方的插入车辆等视觉确认对象的视觉确认的反应快，所以能够基于视觉确认反应指标来适当地推定与驾驶员的驾驶意识有关的驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，可以还具备运算视觉确认对象的刺激强度指标的刺激强度指标运算部，刺激强度指标运算部在视觉确认对象识别部将其他车辆识别为视觉确认对象的情况下，基于本车辆与其他车辆的相对状况以及其他车辆的视觉确认面积中的至少一方来运算其他车辆的刺激强度指标，驾驶准备程度推定部基于刺激强度指标和视觉确认反应指标，推定驾驶准备程度。
根据该驾驶意识推定装置，由于认为若作为视觉确认对象给予驾驶员的刺激不同，则驾驶员的反应也不同，所以通过考虑根据作为视觉确认对象的其他车辆与本车辆的相对状况以及/或者其他车辆的视觉确认面积运算出的其他车辆的刺激强度指标，能够更适当地推定驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，可以还具备运算视觉确认对象的刺激强度指标的刺激强度指标运算部，刺激强度指标运算部在视觉确认对象识别部将道路形状识别为视觉确认对象的情况下，基于道路形状的曲率半径以及道路形状上的行驶辆数中的至少一方，运算道路形状的刺激强度指标，驾驶准备程度推定部基于刺激强度指标和视觉确认反应指标来推定驾驶准备程度。
根据该驾驶意识推定装置，因为认为若作为视觉确认对象给予驾驶员的刺激不同，则驾驶员的反应也不同，所以通过考虑根据弯道、合流区间等道路形状上的曲率半径以及/或者行驶辆数(可以还考虑车辆的左右方向、前后方向的加速度、旋转角加速度)运算出的视觉确认对象的刺激强度指标，能够更适当地推定驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，可以还具备运算视觉确认对象的刺激强度指标的刺激强度指标运算部，刺激强度指标运算部在视觉确认对象识别部将道路上的设置物识别为视觉确认对象的情况下，基于设置物的视觉确认面积运算设置物的刺激强度指标，驾驶准备程度推定部基于刺激强度指标和视觉确认反应指标来推定驾驶准备程度。
根据该驾驶意识推定装置，因为认为若作为视觉确认对象给予驾驶员的刺激不同则驾驶员的反应也不同，所以通过考虑道路上的设置物的视觉确认面积，能够更适当地推定驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，可以还具备识别驾驶员的瞬目状态的瞬目状态识别部，驾驶准备程度推定部基于驾驶员的瞬目状态修正驾驶准备程度。
根据该驾驶意识推定装置，由于驾驶员的瞬目状态根据驾驶意识而变化，所以基于瞬目状态修正驾驶准备程度，因此能够避免在驾驶意识低的状态下驾驶员偶然地观看视觉确认对象的方向时错误地将驾驶准备程度推定得高，能够更适当地推定驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，可以还具备基于驾驶员视线识别部识别出的驾驶员的视线来识别驾驶员的视线的移动范围的移动范围识别部，驾驶准备程度推定部基于移动范围来修正驾驶准备程度。
根据该驾驶意识推定装置，因为驾驶员的视线的移动范围根据驾驶意识而变化，所以基于移动范围修正驾驶准备程度，因此能够避免在驾驶意识低的状态下驾驶员偶然地观看视觉确认对象的方向时错误地将驾驶准备程度推定得高，能够更适当地推定驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，可以还具备基于本车辆的照相机的拍摄图像来识别本车辆的前方的风景的光流的光流识别部，驾驶准备程度推定基于光流识别部识别出的光流和驾驶员视线识别部识别出的驾驶员的视线来修正驾驶准备程度。
根据该驾驶意识推定装置，因为驾驶意识低的驾驶员的视线存在被风景流动的方向亦即光流的朝向吸引的趋势，所以通过基于光流和驾驶员的视线修正驾驶准备程度，能够更适当地推定驾驶准备程度。
在上述的一个方式所涉及的驾驶意识推定装置中，驾驶准备程度推定部可以对每个视觉确认对象进行多次的驾驶准备程度的推定，根据视觉确认对象进行驾驶准备程度的加权，基于在预先设定的时间内推定出的多次的驾驶准备程度和加权来运算综合驾驶准备程度。
根据该驾驶意识推定装置，通过根据对每个视觉确认对象推定出的多次的驾驶准备程度和与视觉确认对象对应的加权来运算综合驾驶准备程度，能够避免由于暂时的看漏而驾驶员的驾驶意识被过低地推定，能够输出与预先设定的时间内的综合性的驾驶员的驾驶意识有关的综合驾驶准备程度。
如以上说明那样，根据本发明的各种方式，能够适当地推定驾驶员的驾驶意识。
附图说明
图1是表示第一实施方式所涉及的驾驶意识推定装置的框图。
图2(a)是用于对插入车辆(interruption vehicle)的刺激强度指标的运算进行说明的图。图2(b)是表示插入车辆与本车辆的横向距离的时间变化的图表。图2(c)是表示从视觉确认对象的面积重心到视线的距离的时间变化的图表。
图3是用于对视觉确认对象是弯道的情况下的视觉确认反应指标的运算进行说明的图。
图4(a)是表示在自动驾驶中的本车辆M的行驶中出现的多个视觉确认对象的例子的图。图4(b)是表示与多个视觉确认对象的例子对应的综合驾驶准备程度(integrateddriving readiness degree)的时间变化的图表。
图5(a)是表示在自动驾驶中的本车辆M的行驶中出现的多个视觉确认对象的其他例子的图。图5(b)是表示与多个视觉确认对象的其他例子对应的综合驾驶准备程度的时间变化的图表。
图6是表示第一实施方式所涉及的驾驶意识推定装置的驾驶准备程度推定处理的流程图。
图7是表示第二实施方式所涉及的驾驶意识推定装置的框图。
图8是表示第二实施方式所涉及的驾驶意识推定装置的驾驶准备程度推定处理的流程图。
图9是表示第三实施方式所涉及的驾驶意识推定装置的框图。
图10(a)是表示驾驶员的视线的移动范围的一个例子的图。图10(b)是表示驾驶员的视线的移动范围的其他例子的图。
图11是表示第三实施方式所涉及的驾驶意识推定装置的驾驶准备程度推定处理的流程图。
图12是表示第四实施方式所涉及的驾驶意识推定装置的框图。
图13是用于对本车辆的前方的风景的光流(optical flow)进行说明的图。
图14是表示第四实施方式所涉及的驾驶意识推定装置的驾驶准备程度推定处理的流程图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
[第一实施方式]
图1所示的第一实施方式所涉及的驾驶意识推定装置100是进行与驾驶员的驾驶意识有关的驾驶准备程度[Readiness]的推定的装置。在驾驶意识推定装置100中，利用驾驶意识高的驾驶员想要主动地视觉确认的视觉确认对象来进行驾驶准备程度的推定。后面将描述视觉确认对象、驾驶准备程度。此外，驾驶意识推定装置100也可以构成执行本车辆的自动驾驶的自动驾驶系统的一部分。
[第一实施方式所涉及的驾驶意识推定装置的构成]
以下，对本实施方式所涉及的驾驶意识推定装置100的构成进行说明。如图1所示，驾驶意识推定装置100具备综合管理装置的ECU[Electronic Control Unit：电子控制单元]10。
ECU10是具有CPU[Central Processing Unit：中央处理单元]、ROM[Read OnlyMemory：只读存储器]、RAM[Random Access Memory：随机存取存储器]等的电子控制单元。在ECU10中，例如通过将存储于ROM的程序加载到RAM，并由CPU执行加载到RAM的程序来实现各种功能。ECU10也可以由多个电子控制单元构成。
在ECU10连接有驾驶员监控摄像机(driver monitor camera)1、外部传感器2、内部传感器3、GPS[Global Positioning System：全球定位系统]接收部4、地图数据库5、HMI6。另外，ECU10与自动驾驶ECU7连接。
驾驶员监控摄像机1在本车辆的转向柱的盖上设置于驾驶员的正面的位置，拍摄驾驶员的头部。为了从多个方向拍摄驾驶员，也可以设置多个驾驶员监控摄像机1。驾驶员监控摄像机1将拍摄驾驶员而得到的驾驶员图像发送到ECU10。
外部传感器2是检测本车辆的周边环境的检测设备。外部传感器2包括照相机和雷达传感器。
照相机例如设置于本车辆的挡风玻璃的里侧，拍摄本车辆的前方。照相机也可以设置于本车辆的背面以及侧面。照相机将本车辆周围的拍摄信息发送到ECU10。照相机既可以是单眼照相机，也可以是立体照相机。立体照相机具有被配置为再现两眼视差的两个拍摄部。
雷达传感器是利用电波(例如毫米波)或者光来检测车辆的周边的障碍物的检测设备。雷达传感器例如包含毫米波雷达或者激光雷达[LIDAR：Light Detection andRanging：光检测和测距]。雷达传感器通过将电波或者光向本车辆的周边发送，并接收被障碍物反射的电波或者光来检测障碍物。雷达传感器将检测到的障碍物信息发送到ECU10。障碍物包含护栏、建筑物等固定物，此外还包含行人、自行车、其他车辆等。
内部传感器3是检测本车辆的车辆状态的检测设备。内部传感器3包括车速传感器、加速度传感器、以及横摆率传感器。车速传感器是检测本车辆的速度的检测器。作为车速传感器，例如可使用对于本车辆的车轮或者与车轮一体旋转的驱动轴等设置来检测车轮的旋转速度的轮速传感器。车速传感器将检测到的车速信息(轮速信息)发送到ECU10。
加速度传感器是检测本车辆的加速度的检测器。加速度传感器例如包括检测本车辆的前后方向的加速度的前后加速度传感器、以及检测本车辆的横向加速度的横向加速度传感器。加速度传感器例如将本车辆的加速度信息发送至ECU10。横摆率传感器是检测本车辆的重心绕垂直轴的横摆率(旋转角速度)的检测器。作为横摆率传感器，例如能够使用陀螺传感器。横摆率传感器将检测到的本车辆的横摆率信息发送到ECU10。
GPS接收部4通过从三个以上GPS卫星接收信号来测量本车辆的位置(例如本车辆的纬度以及经度)。GPS接收部4将测量出的本车辆的位置信息发送到ECU10。此外，也可以代替GPS，驾驶意识推定装置100通过使用了外部传感器2的检测结果和地图信息的SLAM[Simultaneous Localization and Mapping：同时定位和地图构建]技术来获取本车辆的位置信息。
地图数据库5是存储地图信息的数据库。地图数据库5例如形成在搭载于本车辆的HDD[Hard Disk Drive：硬盘驱动器]内。地图信息包含道路的位置信息、道路形状的信息(例如弯道、直线部的种类、弯道的曲率等)、道路的宽度信息、道路的高度信息、交叉路口、合流地点以及分岔地点的位置信息、以及建筑物的位置信息等。地图信息也可以包含与引导板、标识等道路上的设置物有关的位置信息。此外，地图数据库5也可以存储于能够与本车辆通信的管理中心等设施的计算机。
HMI6是用于在驾驶意识推定装置100与驾驶员之间进行信息的输入输出的接口。HMI6例如具备本车辆的显示器以及扬声器。HMI6根据来自ECU10的控制信号进行显示器的图像输出以及从扬声器的声音输出。HMI6也可以具备HUD[Head Up Display：平视显示器]。
自动驾驶ECU7是搭载于本车辆且用于执行本车辆的自动驾驶的电子控制单元。自动驾驶是指驾驶员不进行驾驶操作而自动地使本车辆行驶的车辆控制。在SAE[Society ofAutomotive Engineers：汽车工程师协会]J3016中与自动驾驶的程度对应地规定了自动驾驶等级0～自动驾驶等级4。
自动驾驶ECU7基于GPS接收部4的本车辆的位置信息、地图数据库5的地图信息、后述的本车辆的行驶环境以及车辆状态来生成沿着预先设定的目的路径的行驶计划。目的路径由本车辆的乘员或者公知的导航系统设定。自动驾驶ECU7按照行驶计划执行自动驾驶。自动驾驶ECU7通过向本车辆的促动器(发动机促动器、转向操纵促动器、制动器促动器等)发送控制信号来执行自动驾驶。自动驾驶ECU7通过公知的方法生成行驶计划并且执行自动驾驶。
接下来，对ECU10的功能性构成进行说明。此外，以下说明的ECU10的功能的一部分也可以是在能够与本车辆通信的管理中心等设施的计算机以及/或者自动驾驶ECU7中执行的方式。另外，ECU10也可以与自动驾驶ECU7一体。
ECU10具备驾驶员图像获取部11、行驶环境识别部12、车辆状态识别部13、视觉确认对象识别部14、驾驶员视线识别部15、刺激强度指标运算部16、视觉确认反应指标运算部17、以及驾驶准备程度推定部18。
驾驶员图像获取部11从驾驶员监控摄像机1获取驾驶员图像。驾驶员图像获取部11在驾驶员监控摄像机1具有多个照相机的情况下，将各照相机的驾驶员图像建立关联来获取。
行驶环境识别部12识别本车辆的周围的行驶环境。行驶环境识别部12基于外部传感器2的检测结果、GPS接收部4的位置信息、地图数据库5的地图信息、以及关于自动驾驶ECU7的自动驾驶的信息，来识别行驶环境。行驶环境识别部12通过公知的方法识别本车辆的周围的行驶环境。行驶环境包含本车辆的周围的障碍物的状况以及道路状况。此外，行驶环境识别部12不一定需要使用自动驾驶ECU7的信息，也可以仅利用外部传感器2的检测结果。
行驶环境识别部12基于外部传感器2的检测结果来识别本车辆的周围的障碍物的状况。本车辆的周围的障碍物的状况包含障碍物相对于本车辆的位置、障碍物相对于本车辆的相对速度、障碍物相对于本车辆的移动方向等。行驶环境识别部12也可以基于外部传感器2的照相机对本车辆前方的拍摄图像并通过公知的方法进行白线识别。行驶环境识别部12能够通过公知的方法识别插到本车辆的前方的插入车辆、制动中的前行车辆、从侧方超过本车辆的超车车辆等。
另外，行驶环境识别部12基于外部传感器2的检测结果来识别本车辆的前方的道路形状(弯道、交叉路口、合流区间等)作为道路状况。行驶环境识别部12也可以通过公知的方法识别各道路形状下的行驶辆数。
具体而言，行驶环境识别部12可以识别在合流区间合流到本车辆的车道的车道上的其他车辆的行驶辆数。行驶环境识别部12也可以基于外部传感器2的检测结果通过公知的方法来识别道路上的设置物(引导板、标识、路面标识、以及信号灯等)。此外，行驶环境识别部12也可以根据本车辆的位置信息和地图信息来识别本车辆的前方的道路形状，也可以根据本车辆的位置信息和地图信息识别道路上的设置物。
车辆状态识别部13基于内部传感器3的检测结果识别行驶中的本车辆的状态。车辆状态包含本车辆的车速、本车辆的加速度、本车辆的横摆率。具体而言，车辆状态识别部13基于车速传感器的车速信息识别本车辆的车速。车辆状态识别部13基于加速度传感器的加速度信息识别本车辆的加速度(前后加速度以及横向加速度)。车辆状态识别部13基于横摆率传感器的横摆率信息识别本车辆的横摆率。此外，ECU10不一定需要具有车辆状态识别部13。
视觉确认对象识别部14基于行驶环境识别部12识别出的行驶环境来识别驾驶员的驾驶准备程度的推定所利用的视觉确认对象。视觉确认对象包含视觉确认对象车、道路形状、道路上的设置物中的至少一个。
视觉确认对象车是指驾驶员的驾驶准备程度的推定所利用的其他车辆。视觉确认对象车包含插到本车辆的前方的插入车辆、制动中(刹车灯点亮中)的前行车辆、使自动驾驶中的本车辆产生了速度变化的前行车辆、从侧方超过本车辆的超车车辆中的至少一个。
使自动驾驶中的本车辆产生了速度变化的前行车辆包含由于前行车辆的减速等而自动驾驶中的本车辆与前行车辆的距离变小从而使本车辆产生减速的前行车辆、自动驾驶中的本车辆跟随前行车辆的情况下前行车辆突然加速从而通过自动驾驶使本车辆产生加速的前行车辆等。该情况下的前行车辆也可以限定为使本车辆产生规定值以上的减速度或者加速度的前行车辆。
成为视觉确认对象的道路形状包含弯道、交叉路口、合流区间(也包括与本车辆的行驶车道合流的车道)、以及分岔区间(也包括从本车辆的行驶车道分岔的车道)中的至少一个。成为视觉确认对象的弯道可以限定为曲率半径是一定值(例如640m)以下且弯道长度是一定长度(例如60m)以上的弯道。成为视觉确认对象的道路上的设置物包含引导板、标识、路面标识、以及信号灯等中的至少一个。
视觉确认对象识别部14例如在基于行驶环境识别部12识别出的行驶环境判定为在本车辆的相邻车道行驶的其他车辆与本车辆的横向距离(本车辆的车宽度方向的距离)小于横向距离阈值的情况下，将该其他车辆识别为视觉确认对象车的插入车辆。此外，视觉确认对象识别部14也可以在其他车辆跨过白线进入到本车辆的行驶车道时，将该其他车辆识别为视觉确认对象的插入车辆。
视觉确认对象识别部14也可以在基于外部传感器2的照相机的拍摄图像识别出前行车辆的刹车灯的点亮的情况下，将制动中的前行车辆识别为视觉确认对象车。此外，视觉确认对象识别部14也可以通过判定前行车辆的制动(减速)来将制动中的前行车辆识别为视觉确认对象车。
另外，视觉确认对象识别部14也可以通过从自动驾驶ECU7获取与本车辆的自动驾驶有关的信息，来将使自动驾驶中的本车辆产生速度变化的前行车辆识别为视觉确认对象车。视觉确认对象识别部14也可以基于行驶环境识别部12识别出的行驶环境将在本车辆的侧方进行超车的超车车辆识别为视觉确认对象车。此外，视觉确认对象识别部14也可以在由于交通拥堵等本车辆的车速是规定阈值以下时不将超车车辆识别为视觉确认对象车。视觉确认对象识别部14也可以利用车车间通信来识别视觉确认对象车。
视觉确认对象识别部14例如能够基于行驶环境识别部12识别出的行驶环境，通过公知的方法识别成为视觉确认对象的道路形状以及设置物。视觉确认对象识别部14也可以基于车辆的位置信息和地图信息，将进入本车辆的一定距离内的道路形状以及设置物识别为视觉确认对象。视觉确认对象识别部14也可以基于外部传感器2的照相机的拍摄图像，在通过公知的图像处理等判定为驾驶员能够对视觉确认对象进行视觉确认时，识别视觉确认对象。
驾驶员视线识别部15基于驾驶员图像获取部11获取到的驾驶员图像识别驾驶员的视线。驾驶员视线识别部15通过利用公知的方法根据驾驶员图像检测驾驶员的眼球以及眼球的动作来识别驾驶员的视线。
刺激强度指标运算部16运算视觉确认对象识别部14识别出的视觉确认对象的刺激强度指标。刺激强度指标是指与视觉确认对象中的吸引驾驶员的视线的容易度有关的指标。
〈视觉确认对象是视觉确认对象车的情况〉
刺激强度指标运算部16在视觉确认对象识别部14识别出其他车辆(视觉确认对象车)作为视觉确认对象的情况下，基于本车辆与视觉确认对象车的相对状况以及视觉确认对象车的视觉确认面积中的至少一方，运算视觉确认对象车的刺激强度指标。
本车辆与视觉确认对象车的相对状况包含本车辆与视觉确认对象车的车间距离、本车辆与视觉确认对象车的相对速度、本车辆与视觉确认对象车的车间时间[THW:TimeHead-Way：车头时距]、本车辆与视觉确认对象车的碰撞富余时间[TTC:Time ToCollision：碰撞时间]中的至少一方。本车辆与视觉确认对象车的相对速度包含本车辆的前后方向的相对速度以及本车辆的横向(车宽度方向)的相对速度中的至少一个。另外，本车辆与视觉确认对象车的相对状况也包含从驾驶员看到的视觉确认对象车的移动速度(视觉确认对象车在驾驶员的视场中的表观的移动速度)。
视觉确认对象车的视觉确认面积是指视觉确认对象车在驾驶员的视场中所占的面积。能够将拍摄本车辆的前方的照相机的拍摄图像或者对拍摄图像实施了规定的图像处理(视点变换处理等)的图像视为驾驶员的视场。此时，在图像上视觉确认对象车所占的面积为视觉确认面积。视觉确认面积也可以作为使用了视角(单位：deg)的视角面积来识别。
《视觉确认对象车是插入车辆的情况》
对视觉确认对象车是插入车辆的情况进行说明。插入车辆是从与本车辆所行驶的车道亦即行驶车道相邻的相邻车道插到本车辆的前面的其他车辆。
图2(a)是用于对插入车辆的刺激强度指标的运算进行说明的图。图2(a)示出观看本车辆的前方的驾驶员的视场G。这里，通过对于从外部传感器2的照相机看到的本车辆前方的拍摄图像实施转换成从本车辆的驾驶员看到的视点的图像的视点变换处理，来获得驾驶员的视场G。图2(a)示出插入车辆(卡车)Np、视场G中的插入车辆Np的横向宽度WN、视场G中的插入车辆Np的纵向宽度HN。横向宽度WN以及纵向宽度HN例如能够将单位作为deg表现。箭头DN表示视场G中的插入车辆Np的移动方向。
在图2(a)所示的状况中，视觉确认对象识别部14将插入车辆Np识别为视觉确认对象车(视觉确认对象)。例如在相邻车道上比本车辆行驶在前方的其他车辆与本车辆的横向距离(本车辆的车宽度方向的距离)为横向阈值以下的情况下，视觉确认对象识别部14将该其他车辆识别为作为视觉确认对象车的插入车辆Np。横向阈值是为了判定其他车辆是否是插入车辆(视觉确认对象车)而预先设定的阈值。
刺激强度指标运算部16在插入车辆Np被识别为视觉确认对象车的情况下，基于本车辆与插入车辆Np的相对状况和插入车辆Np的视觉确认面积来运算插入车辆Np的刺激强度指标。
刺激强度指标运算部16识别驾驶员的视场G中的插入车辆Np的横向的移动速度作为本车辆与插入车辆Np的相对状况。刺激强度指标运算部16能够基于照相机的拍摄图像，通过公知的图像处理识别驾驶员的视场G中的插入车辆Np的横向的移动速度。驾驶员的视场G中的插入车辆Np的横向的移动速度例如能够表示为单位：deg/sec。另外，刺激强度指标运算部16通过公知的图像处理识别驾驶员的视场G中的插入车辆Np的视觉确认面积(横向宽度WN×纵向宽度HN)。
此外，刺激强度指标运算部16能够不采用当前的相对速度，而采用从当前时刻到一定时间之前的横向的相对速度的最大值。同样，刺激强度指标运算部16能够不采用当前的视觉确认面积，而采用从当前时刻到一定时间之前的视觉确认面积的最大值。也可以不是一定时间，而是从视觉确认对象识别部14识别插入车辆Np起到通过后述的视觉确认反应指标运算部17判定为驾驶员对插入车辆Np进行了视觉确认的时间。
刺激强度指标运算部16基于本车辆与插入车辆Np的横向的相对速度和插入车辆Np的视觉确认面积，运算插入车辆Np的刺激强度指标。刺激强度指标运算部16例如运算对本车辆与插入车辆Np的横向的相对速度乘以插入车辆Np的视觉确认面积而得到的值作为插入车辆Np的刺激强度指标。
《视觉确认对象车是超车车辆的情况》
刺激强度指标运算部16在识别出超车车辆作为视觉确认对象车的情况下，基于本车辆与超车车辆的相对状况和超车车辆的大小来运算超车车辆的刺激强度指标。
刺激强度指标运算部16基于行驶环境识别部12识别出的行驶环境，识别本车辆的前后方向上的本车辆与超车车辆的相对速度作为本车辆与超车车辆的相对状况。刺激强度指标运算部16基于行驶环境识别部12识别出的行驶环境来识别实际的超车车辆的大小。实际的超车车辆的大小例如是由本车辆的雷达检测到的超车车辆的大小(全长、高度等)。
刺激强度指标运算部16基于本车辆的前后方向上的本车辆与超车车辆的相对速度和超车车辆的大小来运算超车车辆的刺激强度指标。刺激强度指标运算部16能够使用预先设定的运算式或者表格数据来运算超车车辆的刺激强度指标。例如本车辆与超车车辆的相对速度越大，则刺激强度指标运算部16将超车车辆的刺激强度指标运算为越大的值。另外，也可以超车车辆的大小越大，则刺激强度指标运算部16将超车车辆的刺激强度指标运算为越大的值。
《视觉确认对象车是制动中的前行车辆的情况》
刺激强度指标运算部16在识别出制动中的前行车辆(刹车灯点亮中的前行车辆)作为视觉确认对象车的情况下，基于本车辆与前行车辆的相对状况和前行车辆的刹车灯的亮度对比度来运算前行车辆的刺激强度指标。前行车辆是在本车辆的行驶车道上行驶在本车辆的前面一个的车辆。刹车灯的亮度对比度是驾驶员的视场G中的刹车灯的亮度与背景的亮度的对比度。刹车灯的亮度对比度能够通过公知的图像处理求出。
刺激强度指标运算部16基于行驶环境识别部12识别出的行驶环境来识别本车辆与前行车辆的车间距离作为本车辆与前行车辆的相对状况。刺激强度指标运算部16基于外部传感器2的照相机的拍摄图像来识别前行车辆的刹车灯的亮度对比度。
刺激强度指标运算部16基于本车辆与前行车辆的车间距离和前行车辆的刹车灯的亮度对比度来运算前行车辆的刺激强度指标。刺激强度指标运算部16能够使用预先设定的运算式或者表格数据来运算前行车辆的刺激强度指标。例如前行车辆的刹车灯的亮度对比度越大，则刺激强度指标运算部16将前行车辆的刺激强度指标运算为越大的值。也可以本车辆与前行车辆的车间距离越小，则刺激强度指标运算部16将前行车辆的刺激强度指标运算为越大的值。刺激强度指标运算部16也可以考虑本车辆与前行车辆的相对车速、本车辆与前行车辆的相对加速度等来运算刺激强度指标。
《视觉确认对象车是使自动驾驶中的本车辆产生速度变化的前行车辆的情况》
刺激强度指标运算部16在识别出使自动驾驶中的本车辆产生速度变化的前行车辆作为视觉确认对象车的情况下，基于前行车辆的视觉确认面积以及本车辆的加速度(或者减速度)运算前行车辆的刺激强度指标。
刺激强度指标运算部16基于外部传感器2的照相机的拍摄图像来识别驾驶员的视场G中的前行车辆的视觉确认面积。刺激强度指标运算部16基于车辆状态识别部13识别出的车辆状态来识别本车辆的加速度或者减速度。刺激强度指标运算部16基于前行车辆的视觉确认面积以及本车辆的加速度(或者减速度)，使用预先设定的运算式或者表格数据运算前行车辆的刺激强度指标。例如前行车辆的视觉确认面积越大，则刺激强度指标运算部16将前行车辆的刺激强度指标运算为越大的值。也可以本车辆的加速度(或者减速度)越大，则刺激强度指标运算部16将前行车辆的刺激强度指标运算为越大的值。
〈视觉确认对象是道路形状的情况〉
刺激强度指标运算部16在视觉确认对象识别部14将道路形状作为视觉确认对象识别出的情况下，基于道路形状的曲率或者道路形状上的行驶辆数来运算道路形状的刺激强度指标。
《视觉确认对象是弯道的情况》
具体而言，刺激强度指标运算部16在视觉确认对象是弯道的情况下，基于行驶环境识别部12识别出的弯道的曲率半径和车辆状态识别部13识别出的本车辆的车速来运算弯道的刺激强度指标。刺激强度指标运算部16例如将对弯道的曲率半径乘以本车辆的车速而得到的值运算为弯道的刺激强度指标。此外，刺激强度指标运算部16也可以从本车辆的行驶历史记录(位置信息和白线识别信息或者横摆率信息建立了关联的行驶历史记录)识别弯道的曲率半径。
《视觉确认对象是合流区间的情况》
刺激强度指标运算部16在视觉确认对象是合流区间的情况下，基于行驶环境识别部12识别出的合流区间的行驶辆数来运算合流区间的刺激强度指标。合流区间例如能够为距离在地图上预先设定的合流地点向近前侧规定距离的区间。除了本车辆的行驶车道上的行驶辆数以外，合流区间的行驶辆数也可以为与行驶车道合流的车道上的行驶辆数。此外，分岔区间的情况也与合流区间相同。
《视觉确认对象是交叉路口的情况》
刺激强度指标运算部16在视觉确认对象是交叉路口的情况下，基于行驶环境识别部12识别出的交叉路口的行驶辆数来运算交叉路口的刺激强度指标。对行驶辆数进行计数的交叉路口的范围例如能够为在地图上被预先设定为交叉路口的范围。
〈视觉确认对象是设置物的情况〉
刺激强度指标运算部16在视觉确认对象识别部14将设置物作为视觉确认对象识别出的情况下，基于设置物的视觉确认面积运算设置物的刺激强度指标。刺激强度指标运算部16基于照相机的拍摄图像，通过公知的图像处理，识别驾驶员的视场G中的设置物的视觉确认面积。刺激强度指标运算部16例如运算设置物的视觉确认面积作为刺激强度指标。此外，刺激强度指标运算部16在视觉确认对象的设置物是信号灯的情况下，也可以基于信号灯的视觉确认面积以及信号灯的亮度对比度来运算刺激强度指标。
视觉确认反应指标运算部17运算驾驶员对于视觉确认对象的视觉确认反应指标。视觉确认反应指标是指与驾驶员对于视觉确认对象的视线的反应有关的指标。视觉确认反应指标运算部17基于视觉确认对象识别部14识别出的视觉确认对象和驾驶员视线识别部15识别出的驾驶员的视线来运算视觉确认反应指标。
视觉确认反应指标运算部17例如基于从由视觉确认对象识别部14识别视觉确认对象到驾驶员对视觉确认对象进行视觉确认的反应时间(反应延迟)来运算视觉确认反应指标。视觉确认反应指标运算部17也可以在通过公知的方法判定为驾驶员的视线位于视觉确认对象上时，识别为驾驶员对视觉确认对象进行视觉确认。
这里，图2(b)是表示插入车辆Np与本车辆的横向距离的时间变化的图表。图2(b)的纵轴是插入车辆Np与本车辆的横向距离，横轴是时间。图2(b)中示出视觉确认对象识别部14识别出作为视觉确认对象的插入车辆Np的时刻t1。在图2(b)中，视觉确认对象识别部14在插入车辆Np与本车辆的横向距离变为0.5m以下时，将插入车辆识别为视觉确认对象。
图2(c)是表示从视觉确认对象的面积重心到视线的距离的时间变化的图表。图2(c)的纵轴是从视觉确认对象的面积重心到视线的距离，横轴是时间。从视觉确认对象的面积重心到视线的距离是指在驾驶员的视场G上从视觉确认对象的视觉确认面积的面积重心到驾驶员的视线的距离。面积重心例如是视觉确认对象的视觉确认面积的中心的位置。视觉确认反应指标运算部17基于视觉确认对象识别部14识别出的视觉确认对象和驾驶员视线识别部15识别出的驾驶员的视线，通过公知的方法，识别从视觉确认对象的面积重心到视线的距离。
图2(c)示出通过视觉确认反应指标运算部17识别为驾驶员对视觉确认对象进行了视觉确认的时刻t2。另外，示出从时刻t1到时刻t2的经过时间TR。经过时间TR相当于到驾驶员对视觉确认对象进行视觉确认为止的反应时间。在图2(b)以及图2(c)所示的状况中，视觉确认反应指标运算部17例如运算直到驾驶员对视觉确认对象进行视觉确认为止的反应时间的倒数作为视觉确认反应指标。
此外，这里对插入车辆Np是视觉确认对象的情况进行了说明，但直到驾驶员对视觉确认对象进行视觉确认为止的反应时间能够使用于所有种类的视觉确认对象的视觉确认反应指标的运算。
另外，视觉确认反应指标运算部17也可以基于从视觉确认对象识别部14识别出视觉确认对象的时刻起在一定时间内驾驶员是否对视觉确认对象进行了视觉确认的判定结果，进行视觉确认反应指标的运算。视觉确认反应指标运算部17例如在视觉确认对象识别部14将超车车辆识别为视觉确认对象的情况下，判定从识别出的时刻起在一定时间内驾驶员是否对超车车辆进行了视觉确认。在一定时间内驾驶员对超车车辆进行了视觉确认的情况下，视觉确认反应指标运算部17将预先设定的值(例如1)运算为视觉确认反应指标。在一定时间内驾驶员未对超车车辆进行视觉确认的情况下，视觉确认反应指标运算部17将预先设定的值(例如0.1)运算为视觉确认反应指标。
视觉确认反应指标运算部17也可以在视觉确认对象是弯道的情况下，基于驾驶员视觉确认弯道的前方的时间的长度和TP出现时间长度，运算驾驶员对于弯道的视觉确认反应指标。这里，图3是用于对视觉确认对象是弯道的情况下的视觉确认反应指标的运算进行说明的图。图3示出弯道R、弯道R的左侧的白线L1、弯道R的右侧的白线L2、本车辆M、本车辆M的正面方向DM、从本车辆M延伸的切线DT、切线DT与弯道R的内侧的白线L2的交点亦即切点TP、夹着切线DT延伸的虚线D1、D2。另外，将本车辆的正面方向DM与切线DT所成的角度作为θA。弯道R例如是距离本车辆M为100m以内且曲率半径是640m以下并且弯道长度是60m以上的弯道。
在图3中，从本车辆M延伸的切线DT的起点是本车辆M的驾驶席。虚线D1、D2的起点也相同。虚线D1是以本车辆M的驾驶席为基准而使切线DT向左侧移动一定角度α1(例如5deg)的直线。同样，虚线D2是以本车辆M的驾驶席为基准而使切线DT向右侧移动一定角度α2(例如5deg)的直线。α1和α2作为一个例子是相同的值。
在图3所示的状况中，视觉确认反应指标运算部17在驾驶员的视线位于虚线D1与虚线D2之间的情况下，判定为驾驶员正对弯道的前方进行视觉确认。视觉确认反应指标运算部17对驾驶员正对弯道的前方进行视觉确认的时间进行计数。
另外，视觉确认反应指标运算部17基于车辆状态识别部13识别出的车辆状态、本车辆的位置信息、以及地图信息，运算驾驶员能够视觉确认切点TP的时间的长度亦即TP出现时间长度。视觉确认反应指标运算部17也可以在本车辆M的正面方向DM与切线DT所成的角度θA为一定角度(例如10deg)以上时开始TP出现时间长度的计数，在本车辆M的正面方向DM与切线DT所成的角度θA小于一定角度时结束TP出现时间长度的计数。视觉确认反应指标运算部17例如运算将驾驶员正对弯道的前方进行视觉确认的时间的长度除以TP出现时间长度而得到的值作为驾驶员对于弯道的视觉确认反应指标。
驾驶准备程度推定部18基于刺激强度指标运算部16运算出的视觉确认对象的刺激强度指标和视觉确认反应指标运算部17运算出的驾驶员对于视觉确认对象的视觉确认反应指标，推定驾驶员的驾驶准备程度。
驾驶准备程度推定部18例如推定对将视觉确认反应指标除以刺激强度指标而得到的值乘以预先设定的系数所得到的值作为驾驶准备程度。将该点表示为下述的公式(1)。在公式(1)中，αi是与视觉确认对象i对应地预先设定的系数。
【公式1】
Figure BDA0001685042220000171
驾驶准备程度推定部18对每个视觉确认对象进行多次驾驶准备程度的推定，并且根据视觉确认对象进行驾驶准备程度的加权。驾驶准备程度推定部18例如根据视觉确认对象的刺激强度指标进行驾驶准备程度的加权。驾驶准备程度推定部18在视觉确认对象的刺激强度指标小于加权用阈值的情况下，与刺激强度指标是加权用阈值以上的情况相比，增大该视觉确认对象下的驾驶准备程度的加权的值。加权用阈值是预先设定的阈值。也可以视觉确认对象的刺激强度指标越大，则驾驶准备程度推定部18越增大该视觉确认对象下的驾驶准备程度的加权的值。
驾驶准备程度推定部18也可以根据视觉确认对象的视觉确认面积来进行驾驶准备程度的加权。由于认为在视觉确认对象的视觉确认面积小于视觉确认面积阈值的情况下，即使是刺激强度指标大的情况，也容易产生看漏，所以可以与视觉确认对象的视觉确认面积是视觉确认面积阈值以上的情况相比，驾驶准备程度推定部18减小驾驶准备程度的加权的值。视觉确认面积阈值是预先设定的值。驾驶准备程度推定部18也可以仅在视觉确认对象是视觉确认对象车或者设置物的情况下，进行与视觉确认面积对应的驾驶准备程度的加权。另外，驾驶准备程度推定部18也可以在视觉确认对象是弯道的情况下，根据弯道的曲率进行驾驶准备程度的加权。也可以弯道的曲率越大，则驾驶准备程度推定部18越增大驾驶准备程度的加权的值。
驾驶准备程度推定部18在预先设定的时间内推定了多次的驾驶准备程度的情况下，综合多次的驾驶准备程度来运算综合驾驶准备程度。预先设定的时间内例如是从综合驾驶准备程度的运算开始的时刻(当前时刻)起的一定时间内。综合驾驶准备程度能够作为下述的公式(2)运算。βi是用于运算综合驾驶准备程度的每个视觉确认对象的加权系数。n是在一定时间内出现的视觉确认对象的数量。m是在一定时间内出现的视觉确认对象的种类的总数。
【公式2】
Figure BDA0001685042220000181
这里，图4(a)是表示在自动驾驶中的本车辆M的行驶中出现的多个视觉确认对象的例子的图。图4(a)示出视觉确认对象出现的状况C1～C6。状况C1是本车辆M被作为视觉确认对象的超车车辆N1超车的状况。状况C2是本车辆M被作为视觉确认对象的超车车辆N2超车的状况。状况C3是追上前行车辆N3而本车辆M减速从而前行车辆成为视觉确认对象的状况。
状况C4是本车辆M穿过视觉确认对象的标识Gp1的下方的状况。因为标识Gp1为稍小的标识所以刺激强度指标为小的值。状况C5是本车辆M在作为视觉确认对象的分岔区间行驶的状况。状况C6是本车辆M在作为视觉确认对象的合流区间行驶的状况。在状况C6中，在合流到本车辆M的行驶车道的车道上存在其他车辆N4，自动驾驶中的本车辆M进行车道变更以避免其他车辆N4。
图4(b)是表示与多个视觉确认对象的例子对应的综合驾驶准备程度的时间变化的图表。图4(b)的纵轴是综合驾驶准备程度，横轴是时间。如图4(b)所示，驾驶准备程度推定部18能够使用对于从当前时刻起过去5分钟的期间出现的视觉确认对象的刺激强度指标和视觉确认反应指标由上述的公式(2)求出综合驾驶准备程度。
图4(b)所示的阈值Th作为一个例子是提醒用的阈值。驾驶准备程度推定部18也可以在综合驾驶准备程度变为阈值Th以下的情况下，提醒驾驶员驾驶意识降低这一情况。驾驶准备程度推定部18通过向HMI6发送控制信号，来利用对显示器的图像显示以及/或者从扬声器的声音输出对驾驶员进行提醒。此外，驾驶准备程度推定部18也可以在驾驶席安装有振动机构的情况下，通过振动来对驾驶员进行提醒。
如图4(a)以及图4(b)所示，因为在状况C1中驾驶员对超车车辆N1进行了视觉确认所以驾驶准备程度推定部18使综合驾驶准备程度增加。因为在状况C2中驾驶员也对超车车辆N2进行了视觉确认所以驾驶准备程度推定部18维持综合驾驶准备程度。因为在状况C3中追上前行车辆N3而本车辆M减速但驾驶员的视觉确认的反应是中间程度，所以驾驶准备程度推定部18稍稍减少综合驾驶准备程度。在状况C4中因为驾驶员对标识Gp1进行了视觉确认，所以驾驶准备程度推定部18使综合驾驶准备程度稍稍增加。在状况C5中因为驾驶员对分岔区间进行了视觉确认，所以驾驶准备程度推定部18使综合驾驶准备程度稍稍增加。同样，在状况C6中因为驾驶员对合流区间进行了视觉确认，所以驾驶准备程度推定部18使综合驾驶准备程度稍稍增加。
接着，图5(a)是表示在自动驾驶中的本车辆M的行驶中出现的多个视觉确认对象的其他例子的图。图5(a)示出视觉确认对象出现的状况C7～C11。状况C7是本车辆M被作为视觉确认对象的超车车辆N5超车的状况。状况C8是作为视觉确认对象的插入车辆N6插到本车辆M与前行车辆N7之间的状况。状况C9是本车辆M穿过视觉确认对象的标识Gp2的下方的状况。由于标识Gp2是大于图4(a)的标识Gp1的标识，所以刺激强度指标也为大的值。状况C10是前行车辆N9进行制动而刹车灯点亮的状况。状况C11是相同的前行车辆N9再次进行制动而刹车灯点亮的状况。
图5(b)是表示与多个视觉确认对象的其他例子对应的综合驾驶准备程度的时间变化的图表。图5(b)的纵轴是综合驾驶准备程度，横轴是时间。如图5(a)以及图5(b)所示，在状况C7中因为驾驶员对超车车辆N5进行了视觉确认所以驾驶准备程度推定部18使综合驾驶准备程度增加。在状况C8中因为驾驶员未对插入车辆N6进行视觉确认所以驾驶准备程度推定部18使综合驾驶准备程度大幅减少。此时，因为综合驾驶准备程度变为阈值Th以下，所以驾驶准备程度推定部18可以对驾驶员提醒驾驶意识降低这一情况。
在状况C9中因为驾驶员未对标识Gp2进行视觉确认，所以驾驶准备程度推定部18进一步减少综合驾驶准备程度。在状况C10中因为驾驶员对于制动中的前行车辆N9的视觉确认大幅延迟，所以驾驶准备程度推定部18使综合驾驶准备程度稍稍减少。在状况C11中因为驾驶员未对制动中的前行车辆N9进行视觉确认，所以驾驶准备程度推定部18进一步减少综合驾驶准备程度。
此外，驾驶准备程度推定部18不必一定使用上述的公式(2)来运算综合驾驶准备程度。驾驶准备程度推定部18也可以在预先设定的时间内相同种类的视觉确认对象出现多次的情况下，运算从各视觉确认对象推定出的多次的驾驶准备程度的平均值作为综合驾驶准备程度。视觉确认对象的种类能够分为插入车辆、超车车辆、制动中的前行车辆、使自动驾驶中的本车辆产生速度变化的前行车辆、道路形状、设置物等。作为视觉确认对象的种类，可以更细化地区分道路形状，也可以更细化地区分设置物。在预先设定的时间内出现了多个种类的视觉确认对象的情况且视觉确认对象的视觉确认反应指标由相同的基准表示的情况下，驾驶准备程度推定部18也可以运算从多个种类的视觉确认对象推定出的多次的驾驶准备程度的平均值作为综合驾驶准备程度。视觉确认反应指标由相同的基准表示的情况是例如多个视觉确认反应指标由反应时间表示的情况或者视觉确认反应指标由视觉确认频率(视觉确认的建立)表示的情况等。此外，综合驾驶准备程度也可以不是平均值，而运算为越是后推定出的驾驶准备程度(接近当前时刻的驾驶准备程度)则越增大加权，越接近后推定出的驾驶准备程度的值。
此外，驾驶准备程度推定部18不必一定运算综合驾驶准备程度。在当前的驾驶准备程度为预先设定的提醒用的阈值以下的情况下，驾驶准备程度推定部18也可以对驾驶员提醒驾驶意识降低这一情况。驾驶准备程度推定部18在综合驾驶准备程度或者驾驶准备程度为阈值Th以下的情况下，也可以通过向自动驾驶ECU7发送信号来变更自动驾驶的内容。驾驶准备程度推定部18不必一定对每个视觉确认对象进行多次的驾驶准备程度的推定，不必一定进行加权。
〈第一实施方式的驾驶准备程度推定处理〉
接下来，参照图6对第一实施方式所涉及的驾驶意识推定装置100中的驾驶准备程度推定处理进行说明。图6是表示驾驶意识推定装置100的驾驶准备程度推定处理的流程图。图6的流程图所示的处理例如在自动驾驶的执行时开始。此外，图6的流程图所示的处理也可以在ACC[Adaptive Cruise Control：自适应巡航]、LKA[Lane Keeping Assist：车道保持辅助]等驾驶辅助控制的执行时或者驾驶员的手动驾驶时开始。
如图6所示，作为S10，驾驶意识推定装置100的ECU10判定是否由视觉确认对象识别部14识别出视觉确认对象。视觉确认对象识别部14基于行驶环境识别部12识别出行驶环境来识别驾驶员的驾驶准备程度的推定所利用的视觉确认对象。
ECU10在判定为未识别出视觉确认对象的情况下(S10：否)，结束这次的处理。然后，ECU10在不满足预先设定的结束条件的情况下，在一定时间后再次从S10反复进行判定。结束条件例如是自动驾驶的结束、本车辆M的点火开关OFF等。ECU10在判定为识别出视觉确认对象的情况下(S10：是)移至S12。
在S12中，ECU10通过刺激强度指标运算部16运算视觉确认对象的刺激强度指标。刺激强度指标运算部16在视觉确认对象是其他车辆(视觉确认对象车)的情况下，基于本车辆与视觉确认对象车的相对状况以及视觉确认对象车的视觉确认面积中的至少一方，运算视觉确认对象车的刺激强度指标。刺激强度指标运算部16在视觉确认对象是道路形状的情况下，基于道路形状的曲率或者道路形状上的行驶辆数，运算道路形状的刺激强度指标。刺激强度指标运算部16在视觉确认对象是设置物的情况下，基于设置物的视觉确认面积，运算设置物的刺激强度指标。
在S14中，ECU10通过视觉确认反应指标运算部17运算驾驶员对于视觉确认对象的视觉确认反应指标。视觉确认反应指标运算部17基于视觉确认对象识别部14识别出的视觉确认对象和驾驶员视线识别部15识别出的驾驶员的视线，运算视觉确认反应指标。
在S16中，ECU10通过驾驶准备程度推定部18推定驾驶准备程度。驾驶准备程度推定部18基于刺激强度指标运算部17运算出的视觉确认对象的刺激强度指标和视觉确认反应指标运算部17运算出的驾驶员对于视觉确认对象的视觉确认反应指标，推定驾驶员的驾驶准备程度。驾驶准备程度推定部18例如使用上述的公式(1)推定驾驶准备程度。驾驶准备程度推定部18也可以使用上述的公式(2)运算综合驾驶准备程度。
〈第一实施方式所涉及的驾驶意识推定装置的作用效果〉
根据以上说明的第一实施方式所涉及的驾驶意识推定装置100，因为可认为驾驶意识高的驾驶员与驾驶意识低的驾驶员相比，对于前方的插入车辆等视觉确认对象的视觉确认的反应较快，所以能够基于视觉确认反应指标适当地推定与驾驶员的驾驶意识有关的驾驶准备程度。
另外，根据驾驶意识推定装置100，因为可认为若作为视觉确认对象给予驾驶员的刺激不同则驾驶员的反应也不同，所以通过考虑视觉确认对象的刺激强度指标，能够更适当地推定驾驶准备程度。
具体而言，驾驶意识推定装置100在视觉确认对象是其他车辆(视觉确认对象车)的情况下，通过考虑根据视觉确认对象车与本车辆的相对状况以及/或者视觉确认对象车的视觉确认面积运算出的视觉确认对象车的刺激强度指标，能够更适当地推定驾驶准备程度。另外，驾驶意识推定装置100在视觉确认对象是弯道、合流区间等道路形状的情况下，通过考虑根据道路形状上的曲率半径以及/或者行驶辆数运算出的视觉确认对象的刺激强度指标，能够更适当地推定驾驶准备程度。驾驶意识推定装置100在视觉确认对象是标识等设置物的情况下，通过考虑道路上的设置物的视觉确认面积，能够更适当地推定驾驶准备程度。
另外，驾驶意识推定装置100通过根据对每个视觉确认对象推定出的多次的驾驶准备程度和与视觉确认对象对应的加权运算综合驾驶准备程度，能够避免由于暂时的看漏而过低地推定驾驶员的驾驶意识，能够输出与预先设定的时间内的综合性的驾驶员的驾驶意识有关的综合驾驶准备程度。
[第二实施方式]
图7是表示第二实施方式所涉及的驾驶意识推定装置的框图。图7所示的第二实施方式所涉及的驾驶意识推定装置200与第一实施方式相比，基于驾驶员的瞬目状态来修正驾驶准备程度的点不同。
〈第二实施方式所涉及的驾驶意识推定装置的构成〉
具体而言，图7所示的驾驶意识推定装置200的ECU20与第一实施方式相比，具备瞬目状态识别部21的点和驾驶准备程度推定部22的功能不同。对与第一实施方式相同或者相当的构成标注相同的附图标记，省略重复的说明。
瞬目状态识别部21基于驾驶员图像获取部11获取到的驾驶员图像，通过公知的图像处理，识别驾驶员的瞬目状态。瞬目状态至少包含瞬目时间长度。瞬目时间长度是指一次瞬目的时间的长度。瞬目状态也可以包含每恒定时间的瞬目次数。
驾驶准备程度推定部22基于瞬目状态识别部21识别出的驾驶员的瞬目状态来修正驾驶准备程度。驾驶准备程度推定部22能够使用预先设定的运算式或者表格数据来修正驾驶准备程度。这里，驾驶准备程度推定部22基于通过视觉确认反应指标运算部17判定为驾驶员正对视觉确认对象进行视觉确认的期间的驾驶员的瞬目状态，来修正与该视觉确认对象对应的驾驶员的驾驶准备程度。
具体而言，驾驶准备程度推定部22通过例如下述的公式(3)来修正驾驶准备程度。在公式(3)中，基准瞬目时间长度是预先设定的固定值。平均瞬目时间长度是驾驶员正对视觉确认对象进行视觉确认的期间的瞬目时间长度的平均值。
【公式3】
Figure BDA0001685042220000231
此外，驾驶准备程度推定部22也可以在平均瞬目时间长度是基准瞬目时间长度以上的情况下，通过对驾驶准备程度乘以规定系数(0以上且小于1的系数)，来进行驾驶准备程度的修正。因为在驾驶意识高的驾驶员对视觉确认对象进行视觉确认的情况下(对有兴趣的对象进行视觉确认的情况)，每恒定时间的瞬目次数减少，所以驾驶准备程度推定部22可以在每恒定时间的瞬目次数是规定阈值以下时进行使驾驶准备程度增加的修正。驾驶准备程度推定部22也可以不管驾驶员是否正对视觉确认对象进行视觉确认，都基于一定时间的驾驶员的瞬目状态来修正驾驶准备程度。
〈第二实施方式的驾驶意识推定处理〉
接下来，参照图8对第二实施方式所涉及的驾驶意识推定装置200中的驾驶意识推定处理进行说明。图8是表示第二实施方式所涉及的驾驶意识推定装置200的驾驶准备程度推定处理的流程图。图8所示的流程图的处理能够以与图6所示的第一实施方式的流程图相同的条件开始。此外，图8的S20～S24与图6的S10～S14相同，所以简化说明。
如图8所示，作为S20，驾驶意识推定装置200的ECU20判定是否由视觉确认对象识别部14识别出视觉确认对象。ECU20在判定为未识别出视觉确认对象的情况下(S20：否)，结束这次的处理。然后，ECU20在不满足预先设定的结束条件的情况下，在一定时间后再次从S20反复进行判定。ECU20在判定为识别出视觉确认对象的情况下(S20：是)移至S22。
在S22中，ECU20通过刺激强度指标运算部16运算视觉确认对象的刺激强度指标。在S24中，ECU20通过视觉确认反应指标运算部17运算驾驶员对于视觉确认对象的视觉确认反应指标。
在S26中，ECU20通过瞬目状态识别部21识别驾驶员的瞬目状态。瞬目状态识别部21基于驾驶员图像获取部11获取到的驾驶员图像，通过公知的图像处理，来识别驾驶员的瞬目状态。
在S28中，ECU20通过驾驶准备程度推定部22进行驾驶准备程度的推定以及修正。驾驶准备程度推定部22与第一实施方式的驾驶准备程度推定部18相同地推定驾驶准备程度。驾驶准备程度推定部22基于瞬目状态识别部21识别出的驾驶员的瞬目状态修正驾驶准备程度。驾驶准备程度推定部22例如通过上述的公式(3)来进行驾驶准备程度的修正。
〈第二实施方式所涉及的驾驶意识推定装置的作用效果〉
根据以上说明的第二实施方式所涉及的驾驶意识推定装置200，由于驾驶员的瞬目状态根据驾驶员的意识变化所以基于瞬目状态修正驾驶准备程度，因此能够避免在驾驶意识低的状态下驾驶员偶然地观看视觉确认对象的方向时错误地将驾驶准备程度推定得高，能够更适当地推定驾驶准备程度。
[第三实施方式]
图9是表示第三实施方式所涉及的驾驶意识推定装置的框图。图9所示的第三实施方式所涉及的驾驶意识推定装置300与第一实施方式相比，基于驾驶员的视线的移动范围修正驾驶准备程度的点不同。
〈第三实施方式所涉及的驾驶意识推定装置的构成〉
具体而言，图9所示的驾驶意识推定装置300的ECU30与第一实施方式相比，具备移动范围识别部31的点和驾驶准备程度推定部32的功能不同。对与第一实施方式相同或者相当的构成标注相同的附图标记，省略重复的说明。
移动范围识别部31基于驾驶员图像获取部11获取到的驾驶员图像和外部传感器2的照相机的拍摄图像，通过公知的方法识别驾驶员的视线移动了的范围亦即移动范围。移动范围识别部31例如识别从当前时刻到过去一定时间的期间中的驾驶员的视线的移动范围。驾驶员的视线的移动范围是指驾驶员的视场G上的包含驾驶员的视线(视点)的移动轨迹的范围。
这里，图10(a)是表示驾驶员的视线的移动范围的一个例子的图。图10(a)示出从当前时刻到过去一定时间为止的驾驶员的视线的移动轨迹Sc和驾驶员的视线的移动范围SV1。后面将描述图10(a)的3deg的意思。如图10(a)所示，移动范围识别部31检测驾驶员的视场G中的视线的移动轨迹Sc，识别出移动范围SV1作为内包移动轨迹Sc的最小的圆范围。
驾驶准备程度推定部32基于移动范围识别部31识别出的驾驶员的视线的移动范围来修正驾驶准备程度。例如在移动范围识别部31识别为圆范围的驾驶员的视线的移动范围的直径小于移动范围阈值的情况下，由于有驾驶意识低的驾驶员偶然地对视觉确认对象进行视觉确认的可能性，所以驾驶准备程度推定部32将驾驶准备程度修正为小的值。驾驶准备程度推定部32在驾驶员的视线的移动范围的直径是移动范围阈值以上的情况下，不修正驾驶准备程度。移动范围阈值是预先设定的阈值，例如能够为3deg。
因为图10(a)中的驾驶员的视线的移动范围SV1的直径小于3deg，所以驾驶准备程度推定部32修正驾驶准备程度。驾驶准备程度推定部32例如通过将规定系数(0以上且小于1的系数)乘以驾驶准备程度来进行驾驶准备程度的修正。另一方面，图10(b)是表示驾驶员的视线的移动范围的其他例子的图。图10(b)的移动范围SV2大于图10(a)的移动范围SV1，直径超过3deg。因此，驾驶准备程度推定部32不基于图10(b)中的驾驶员的视线的移动范围SV2进行驾驶准备程度的修正。
此外，驾驶准备程度推定部32也可以通过下述的公式(4)进行驾驶准备程度的修正。
【公式4】
Figure BDA0001685042220000251
〈第三实施方式的驾驶意识推定处理〉
接下来，参照图11对第三实施方式所涉及的驾驶意识推定装置300中的驾驶意识推定处理进行说明。图11是表示第三实施方式所涉及的驾驶意识推定装置300的驾驶准备程度推定处理的流程图。图11所示的流程图的处理能够以与图6所示的第一实施方式的流程图相同的条件开始。此外，图11的S30～S34与图6的S10～S14相同，所以简化说明。
如图11所示，作为S30，驾驶意识推定装置300的ECU30判定是否由视觉确认对象识别部14识别出视觉确认对象。ECU30在判定为未识别出视觉确认对象的情况下(S30：否)，结束这次的处理。然后，ECU30在不满足预先设定的结束条件的情况下，在一定时间后再次从S30反复进行判定。ECU30在判定为识别出视觉确认对象的情况下(S30：是)，移至S32。
在S32中，ECU30通过刺激强度指标运算部16运算视觉确认对象的刺激强度指标。在S34中，ECU30通过视觉确认反应指标运算部17运算驾驶员对视觉确认对象的视觉确认反应指标。
在S36中，ECU30通过移动范围识别部31识别驾驶员的视线的移动范围。移动范围识别部31基于驾驶员图像获取部11获取到的驾驶员图像和外部传感器2的照相机的拍摄图像，通过公知的方法，识别从当前时刻到过去一定时间的期间驾驶员的视线移动的范围亦即移动范围。
在S38中，ECU30通过驾驶准备程度推定部32进行驾驶准备程度的推定以及修正。驾驶准备程度推定部32与第一实施方式的驾驶准备程度推定部18相同地推定驾驶准备程度。驾驶准备程度推定部32通过移动范围识别部31基于驾驶员的视线的移动范围来修正驾驶准备程度。驾驶准备程度推定部32例如在驾驶员的视线的移动范围的直径是移动范围阈值以上的情况下，不进行驾驶准备程度的修正。驾驶准备程度推定部32在驾驶员的视线的移动范围的直径小于移动范围阈值的情况下，进行通过乘以规定系数来使驾驶准备程度为小的值的修正。
〈第三实施方式所涉及的驾驶意识推定装置的作用效果〉
根据以上说明的第三实施方式的驾驶意识推定装置300，因为驾驶员的视线的移动范围根据驾驶意识变化，所以基于移动范围修正驾驶准备程度，因此能够避免在驾驶意识低的状态下驾驶员偶然地观看视觉确认对象的方向时错误地将驾驶准备程度推定得高，能够更适当地推定驾驶准备程度。
[第四实施方式]
图12是表示第四实施方式所涉及的驾驶意识推定装置的框图。图12所示的第四实施方式所涉及的驾驶意识推定装置400与第一实施方式相比，基于驾驶员的视线的移动范围来修正驾驶准备程度的点不同。
〈第四实施方式所涉及的驾驶意识推定装置的构成〉
具体而言，图12所示的驾驶意识推定装置400的ECU40与第一实施方式相比，具备光流识别部41的点和驾驶准备程度推定部42的功能不同。对与第一实施方式相同或者相当的构成标注相同的附图标记，省略重复的说明。
光流识别部41基于外部传感器2的照相机的拍摄图像，通过公知的图像处理，识别本车辆M的前方的风景的光流。这里，图13是用于对本车辆M的前方的风景的光流进行说明的图。在图13中，为了易于理解而示出隔着本车辆M的挡风玻璃的风景。图13示出本车辆M的挡风玻璃F、本车辆M的左侧的光流的箭头PL、本车辆M的右侧的光流的箭头PR、某个时刻T1中的驾驶员的视线的位置Sc1、时刻T1后的时刻T2中的驾驶员的视线的位置Sc2。时刻T1与时刻T2的差例如是0.1秒。
如图13所示，由于本车辆M的前方的风景因本车辆M的行驶而朝向后方流动，所以光流识别部41识别箭头PL以及箭头PR这样的光流。
驾驶准备程度推定部42基于光流识别部41识别出的光流和驾驶员视线识别部15识别出的驾驶员的视线来修正驾驶准备程度。由于可认为驾驶意识低的驾驶员的视线被风景的流动吸引，所以在如图13所示那样光流的方向与驾驶员的视线的移动方向(位置变化的朝向)一致的情况下，驾驶准备程度推定部42将驾驶准备程度修正为小的值。
此外，光流的朝向与驾驶员的视线的移动方向一致不需要是完全一致。也可以在距离光流的朝向的一定角度的范围内包含驾驶员的视线的移动方向的情况下，判定为光流的朝向与驾驶员的视线的移动方向一致。一定角度的范围是例如在驾驶员的视场G或者挡风玻璃F上向上3deg且向下3deg的范围。
驾驶准备程度推定部42例如在光流的朝向与驾驶员的视线的移动方向一致的时间长度是一致时间长度阈值(例如1秒)以上的情况下，根据该时间长度修正驾驶准备程度。驾驶准备程度推定部42也可以通过下述的公式(5)修正驾驶准备程度。一致时间长度是光流的朝向与驾驶员的视线的移动方向一致的时间的长度。
【公式5】
Figure BDA0001685042220000271
〈第四实施方式的驾驶意识推定处理〉
接下来，参照图14对第四实施方式所涉及的驾驶意识推定装置400中的驾驶意识推定处理进行说明。图14是表示第四实施方式所涉及的驾驶意识推定装置400的驾驶准备程度推定处理的流程图。图14所示的流程图的处理能够以与图6所示的第一实施方式的流程图相同的条件开始。此外，图14的S40～S44与图6的S10～S14相同，所以简化说明。
如图14所示，作为S40，驾驶意识推定装置400的ECU40判定是否由视觉确认对象识别部14识别出视觉确认对象。ECU40在判定为未识别出视觉确认对象的情况下(S40：否)，结束这次的处理。然后，ECU40在不满足预先设定的结束条件的情况下，在一定时间后再次从S40反复进行判定。ECU40在判定为识别出视觉确认对象的情况下(S40：是)，移至S42。
在S42中，ECU40通过刺激强度指标运算部16运算视觉确认对象的刺激强度指标。在S44中，ECU40通过视觉确认反应指标运算部17运算驾驶员对于视觉确认对象的视觉确认反应指标。
在S46中，ECU40通过光流识别部41识别本车辆M的前方的风景的光流。光流识别部41基于外部传感器2的照相机的拍摄图像，通过公知的图像处理识别本车辆M的前方的风景的光流。
在S48中，ECU40通过驾驶准备程度推定部42进行驾驶准备程度的推定以及修正。驾驶准备程度推定部42与第一实施方式的驾驶准备程度推定部18相同地推定驾驶准备程度。驾驶准备程度推定部42基于光流识别部41识别出的光流和驾驶员视线识别部15识别出的驾驶员的视线，修正驾驶准备程度。驾驶准备程度推定部42例如在光流的朝向与驾驶员的视线的移动方向一致的时间长度是一致时间长度阈值(例如1秒)以上的情况下，通过上述的公式(5)将驾驶准备程度修正为小的值。
〈第四实施方式所涉及的驾驶意识推定装置的作用效果〉
根据以上说明的第四实施方式所涉及的驾驶意识推定装置400，因为驾驶意识低的驾驶员的视线存在被风景流动的方向亦即光流的朝向吸引的趋势，所以能够通过基于光流和驾驶员的视线修正驾驶准备程度，来更适当地推定驾驶准备程度。
以上，对本发明的优选实施方式进行了说明，但本发明并不局限于上述的实施方式。本发明能够以上述的实施方式为代表，通过基于本领域技术人员的知识实施各种变更、改进而得到的各种方式来实施。
例如，也可以组合采用第二实施方式的驾驶意识推定装置200、第三实施方式的驾驶意识推定装置300以及第四实施方式的驾驶意识推定装置400的任意两个实施方式，还可以采用全部三个实施方式。
驾驶意识推定装置100～400不必一定与自动驾驶ECU7连接，不需要构成自动驾驶系统的一部分。另外，驾驶意识推定装置100～400不必一定具备刺激强度指标运算部16。驾驶意识推定装置100～400也可以根据视觉确认反应指标运算部17运算出的视觉确认反应指标来推定驾驶准备程度。驾驶意识推定装置100～400例如能够基于视觉确认反应指标，根据预先设定的运算式或者表格数据推定驾驶准备程度。驾驶意识推定装置100～400也可以采用视觉确认反应指标的值作为驾驶准备程度。
刺激强度指标运算部16也可以在视觉确认对象是插入车辆的情况下，除了插入车辆的视觉确认面积以及驾驶员的视场G中的插入车辆Np的横向的移动速度以外，还基于插入车辆的方向指示灯的亮度对比度来运算插入车辆的刺激强度指标。刺激强度指标运算部16也可以仅使用插入车辆的视觉确认面积以及驾驶员的视场G中的插入车辆Np的横向的移动速度中的一方来运算插入车辆的刺激强度指标。
刺激强度指标运算部16也可以在视觉确认对象是超车车辆的情况下，仅基于本车辆M与超车车辆的相对速度以及超车车辆的大小中的一方，运算超车车辆的刺激强度指标。刺激强度指标运算部16也可以在视觉确认对象是制动中的前行车辆的情况下，仅基于本车辆M与前行车辆的车间距离以及相对速度中的一方，运算前行车辆的刺激强度指标。刺激强度指标运算部16也可以在视觉确认对象是使自动驾驶中的本车辆产生速度变化的前行车辆的情况下，仅基于前行车辆的视觉确认面积，运算前行车辆的刺激强度指标。此外，使自动驾驶中的本车辆产生速度变化的前行车辆也可以是使ACC等驾驶辅助控制中的本车辆产生速度变化的前行车辆。刺激强度指标运算部16也可以在视觉确认对象是弯道的情况下，仅基于弯道的曲率半径运算弯道的刺激强度指标。
视觉确认反应指标运算部17也可以在视觉确认对象是弯道的情况下，基于驾驶员的眼球的移动频率和驾驶员的眼球的移动距离，运算视觉确认反应指标。驾驶员的眼球的移动频率是指在一定时间内(例如1秒内)驾驶员的眼球移动的次数。驾驶员的眼球的移动频率以及移动距离能够使用公知的定义。
视觉确认反应指标运算部17能够基于驾驶员图像获取部11识别出的驾驶员图像，通过与眼球运动(扫视)有关的公知方法，求出驾驶员的眼球的移动频率和驾驶员的眼球的移动距离。在本车辆的弯道行驶中驾驶意识高的驾驶员每当本车辆前进时都使眼球频繁地短距离移动以便对弯道的更前方进行视觉确认，另一方面，驾驶意识低的驾驶员的眼球追随流动的风景，或者持续看一点且眼球运动停留在狭窄的范围，所以移动次数减少而移动距离增加。视觉确认反应指标运算部17例如能够通过下述的公式(6)求出驾驶员对弯道的视觉确认反应指标。
【公式6】
Figure BDA0001685042220000291
视觉确认反应指标运算部17也可以基于在多个同种的视觉确认对象中驾驶员对视觉确认对象进行了视觉确认的概率来运算视觉确认反应指标。驾驶员对视觉确认对象进行了视觉确认的概率例如能够通过将从当前时刻起在一定时间内驾驶员对某种类的视觉确认对象进行了视觉确认的次数除以该种视觉确认对象的出现次数而求出。具体而言，在一定时间内出现多次插入车辆的情况下，视觉确认反应指标运算部17也可以根据驾驶员对各个插入车辆进行了视觉确认的次数(对于一个插入车辆仅计数一次)来求出驾驶员对插入车辆进行视觉确认的概率。视觉确认反应指标运算部17基于驾驶员对插入车辆进行了视觉确认的概率，来运算一定时间内的视觉确认反应指标。能够将在所有种类的视觉确认对象中驾驶员对视觉确认对象进行了视觉确认的概率使用于视觉确认反应指标的运算。
驾驶意识推定装置100可以将方向指示灯点亮中的前行车辆包含到视觉确认对象。可认为若是驾驶意识高的驾驶员，则在前行车辆使方向指示灯点亮的情况下，会对该前行车辆进行视觉确认。视觉确认对象识别部14例如能够基于外部传感器2的照相机的拍摄图像来识别方向指示灯点亮中的前行车辆。刺激强度指标运算部16在方向指示灯点亮中的前行车辆是视觉确认对象的情况下，基于本车辆与前行车辆的相对状况(例如车间距离)和前行车辆的方向指示灯的亮度对比度来运算前行车辆的刺激强度指标。视觉确认反应指标运算部17基于从由视觉确认对象识别部14将方向指示灯点亮中的前行车辆识别为视觉确认对象到驾驶员对视觉确认对象进行视觉确认为止的反应时间来运算视觉确认反应指标。驾驶准备程度推定部18基于刺激强度指标运算部16运算出的视觉确认对象的刺激强度指标和视觉确认反应指标运算部17运算出的驾驶员对于视觉确认对象的视觉确认反应指标，推定与方向指示灯点亮中的前行车辆对应的驾驶员的驾驶准备程度。
驾驶意识推定装置100也可以将本车辆M的反射镜(后视镜、侧面镜等)包含于视觉确认对象。能够认为驾驶意识高的驾驶员检查本车辆的反射镜的频率高。刺激强度指标运算部16在基于行驶环境识别部12识别出的行驶环境判定为存在后续车的情况下，与判定为不存在后续车的情况相比，使后视镜的刺激强度指标为较大的值。刺激强度指标运算部16在判定为相邻车道上存在后方车辆的情况下，与判定为不存在该后方车辆的情况相比，使相邻车道侧的侧面镜的刺激强度指标为较大的值。此外，驾驶意识推定装置100不必一定运算反射镜的刺激强度指标。
视觉确认反应指标运算部17基于驾驶员对反射镜的视觉确认频率来运算反射镜的视觉确认反应指标。视觉确认反应指标运算部17能够基于驾驶员视线识别部15识别出的驾驶员的视线来求出驾驶员对反射镜的视觉确认频率。驾驶准备程度推定部18基于反射镜的刺激强度指标和驾驶员对反射镜的视觉确认反应指标，推定驾驶准备程度。
附图标记说明
1…驾驶员监控摄像机，2…外部传感器，3…内部传感器，4…GPS接收部，5…地图数据库，6…HMI，7…自动驾驶ECU，10、20、30、40…ECU，11…驾驶员图像获取部，12…行驶环境识别部，13…车辆状态识别部，14…视觉确认对象识别部，15…驾驶员视线识别部，16…刺激强度指标运算部，17…视觉确认反应指标运算部，18、22、32、42…驾驶准备程度推定部，21…瞬目状态识别部，31…移动范围识别部，41…光流识别部，100、200、300、400…驾驶意识推定装置。

Claims (7)

1.一种驾驶意识推定装置，将本车辆的驾驶员的驾驶意识作为驾驶准备程度进行推定，其中，上述驾驶意识推定装置具备：
视觉确认对象识别部，基于上述本车辆的外部传感器的检测结果来识别上述驾驶准备程度的推定所利用的视觉确认对象；
驾驶员视线识别部，识别上述驾驶员的视线；
视觉确认反应指标运算部，基于上述驾驶员视线识别部识别出的上述驾驶员的视线，运算上述驾驶员对上述视觉确认对象的视觉确认反应指标；以及
驾驶准备程度推定部，基于上述视觉确认反应指标来推定上述驾驶准备程度，
还具备运算上述视觉确认对象的刺激强度指标的刺激强度指标运算部，
上述刺激强度指标运算部在上述视觉确认对象识别部将其他车辆识别为上述视觉确认对象的情况下，基于上述本车辆与上述其他车辆的相对状况以及上述其他车辆的视觉确认面积中的至少一方，运算上述其他车辆的上述刺激强度指标，
上述驾驶准备程度推定部基于上述刺激强度指标和上述视觉确认反应指标来推定上述驾驶准备程度。
2.一种驾驶意识推定装置，将本车辆的驾驶员的驾驶意识作为驾驶准备程度进行推定，其中，上述驾驶意识推定装置具备：
视觉确认对象识别部，基于上述本车辆的外部传感器的检测结果来识别上述驾驶准备程度的推定所利用的视觉确认对象；
驾驶员视线识别部，识别上述驾驶员的视线；
视觉确认反应指标运算部，基于上述驾驶员视线识别部识别出的上述驾驶员的视线，运算上述驾驶员对上述视觉确认对象的视觉确认反应指标；以及
驾驶准备程度推定部，基于上述视觉确认反应指标来推定上述驾驶准备程度，
还具备运算上述视觉确认对象的刺激强度指标的刺激强度指标运算部，
上述刺激强度指标运算部在上述视觉确认对象识别部将道路形状识别为上述视觉确认对象的情况下，基于上述道路形状的曲率半径以及上述道路形状上的行驶辆数中的至少一方，运算上述道路形状的上述刺激强度指标，
上述驾驶准备程度推定部基于上述刺激强度指标和上述视觉确认反应指标来推定上述驾驶准备程度。
3.一种驾驶意识推定装置，将本车辆的驾驶员的驾驶意识作为驾驶准备程度进行推定，其中，上述驾驶意识推定装置具备：
视觉确认对象识别部，基于上述本车辆的外部传感器的检测结果来识别上述驾驶准备程度的推定所利用的视觉确认对象；
驾驶员视线识别部，识别上述驾驶员的视线；
视觉确认反应指标运算部，基于上述驾驶员视线识别部识别出的上述驾驶员的视线，运算上述驾驶员对上述视觉确认对象的视觉确认反应指标；以及
驾驶准备程度推定部，基于上述视觉确认反应指标来推定上述驾驶准备程度，
还具备运算上述视觉确认对象的刺激强度指标的刺激强度指标运算部，
上述刺激强度指标运算部在上述视觉确认对象识别部将道路上的设置物识别为上述视觉确认对象的情况下，基于上述设置物的视觉确认面积来运算上述设置物的上述刺激强度指标，
上述驾驶准备程度推定部基于上述刺激强度指标和上述视觉确认反应指标来推定上述驾驶准备程度。
4.根据权利要求1～3中的任意一项所述的驾驶意识推定装置，其中，
还具备识别上述驾驶员的瞬目状态的瞬目状态识别部，
上述驾驶准备程度推定部基于上述驾驶员的瞬目状态来修正上述驾驶准备程度。
5.根据权利要求1～3中的任意一项所述的驾驶意识推定装置，其中，
还具备基于上述驾驶员视线识别部识别出的上述驾驶员的视线来识别上述驾驶员的视线的移动范围的移动范围识别部，
上述驾驶准备程度推定部基于上述移动范围来修正上述驾驶准备程度。
6.根据权利要求1～3中的任意一项所述的驾驶意识推定装置，其中，
还具备基于上述本车辆的照相机的拍摄图像来识别上述本车辆的前方的风景的光流的光流识别部，
上述驾驶准备程度推定部基于上述光流识别部识别出的上述光流和上述驾驶员视线识别部识别出的上述驾驶员的视线来修正上述驾驶准备程度。
7.根据权利要求1～3中的任意一项所述的驾驶意识推定装置，其中，
上述驾驶准备程度推定部对每个上述视觉确认对象进行多次的上述驾驶准备程度的推定，根据上述视觉确认对象进行上述驾驶准备程度的加权，基于在预先设定的时间内推定出的多次的上述驾驶准备程度和上述加权来运算综合驾驶准备程度。
CN201810568081.3A 2017-06-08 2018-06-05 驾驶意识推定装置 Active CN109080641B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017113502A JP6638701B2 (ja) 2017-06-08 2017-06-08 運転意識推定装置
JP2017-113502 2017-06-08

Publications (2)

Publication Number Publication Date
CN109080641A CN109080641A (zh) 2018-12-25
CN109080641B true CN109080641B (zh) 2021-04-20

Family

ID=64458073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810568081.3A Active CN109080641B (zh) 2017-06-08 2018-06-05 驾驶意识推定装置

Country Status (4)

Country Link
US (1) US10814880B2 (zh)
JP (1) JP6638701B2 (zh)
CN (1) CN109080641B (zh)
DE (1) DE102018113488B4 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10502574B2 (en) * 2016-09-20 2019-12-10 Waymo Llc Devices and methods for a sensor platform of a vehicle
JP2020050220A (ja) * 2018-09-28 2020-04-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 制御装置及び制御方法
JP2020050221A (ja) * 2018-09-28 2020-04-02 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 制御装置及び制御方法
CN109902637B (zh) * 2019-03-05 2021-03-19 长沙智能驾驶研究院有限公司 车道线检测方法、装置、计算机设备和存储介质
CN111723828B (zh) * 2019-03-18 2024-06-11 北京市商汤科技开发有限公司 注视区域检测方法、装置及电子设备
JP7145830B2 (ja) * 2019-09-12 2022-10-03 Kddi株式会社 符号化パラメータ特徴量を利用した対象識別方法、装置及びプログラム
JP7358958B2 (ja) 2019-12-11 2023-10-11 トヨタ自動車株式会社 運転意識推定装置
KR20210079946A (ko) * 2019-12-20 2021-06-30 주식회사 만도 차량 및 그 제어 방법
JP2021105958A (ja) * 2019-12-27 2021-07-26 マツダ株式会社 ドライバ状態推定装置およびドライバ状態推定方法
JP7331729B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
JP7331728B2 (ja) * 2020-02-19 2023-08-23 マツダ株式会社 運転者状態推定装置
JP7279685B2 (ja) 2020-04-23 2023-05-23 トヨタ自動車株式会社 情報処理システム
JP7302554B2 (ja) 2020-09-03 2023-07-04 トヨタ自動車株式会社 立ち乗り式車両
CN112277958B (zh) * 2020-10-27 2022-02-11 武汉光庭信息技术股份有限公司 一种驾驶员制动行为分析方法
US11328591B1 (en) * 2021-01-25 2022-05-10 Ford Global Technologies, Llc Driver assistance system for drivers using bioptic lenses
CN114103998B (zh) * 2021-12-03 2024-03-19 智己汽车科技有限公司 一种基于驾驶员视线的智能驾驶车辆控制方法、系统及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7884705B2 (en) * 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
CN102361590A (zh) * 2009-10-15 2012-02-22 松下电器产业株式会社 驾驶注意量判别装置、方法以及计算机程序
CN103204166A (zh) * 2011-11-17 2013-07-17 通用汽车环球科技运作有限责任公司 用于闭环驾驶员注意力管理的系统和方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN105599773A (zh) * 2015-12-29 2016-05-25 山东科技大学 一种基于车辆运动姿态的驾驶员状态提示装置及其方法
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU767533B2 (en) 1999-01-27 2003-11-13 Compumedics Limited Vigilance monitoring system
JP5179686B2 (ja) * 2001-09-25 2013-04-10 株式会社豊田中央研究所 運転行動危険度演算装置
JP2008084219A (ja) * 2006-09-28 2008-04-10 Aisin Seiki Co Ltd 前方カーブ警報装置
DE102008007149B4 (de) 2007-03-30 2019-05-02 Volkswagen Ag Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
JP5040851B2 (ja) * 2008-08-07 2012-10-03 トヨタ自動車株式会社 脇見運転判定装置
DE102011084367A1 (de) 2011-10-12 2013-04-18 Bayerische Motoren Werke Aktiengesellschaft Feststellen der fahrerseitigen Wahrnehmung eines in der Umgebung eines Kraftfahrzeugs befindlichen Objektes
DE102012214852B4 (de) 2012-08-21 2024-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Selektieren von Objekten in einem Umfeld eines Fahrzeugs
JP6218618B2 (ja) * 2014-01-21 2017-10-25 アルパイン株式会社 運転支援装置、運転支援方法及び運転支援プログラム
DE102014212596A1 (de) 2014-06-30 2015-12-31 Robert Bosch Gmbh Autonomes Fahrsystem für ein Fahrzeug bzw. Verfahren zur Durchführung des Betriebs
JP6699831B2 (ja) 2016-04-28 2020-05-27 トヨタ自動車株式会社 運転意識推定装置
JP6548850B2 (ja) 2017-03-03 2019-07-24 三菱電機株式会社 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
DE102017111468A1 (de) 2017-05-24 2018-11-29 Automotive Safety Technologies Gmbh Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7884705B2 (en) * 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
CN101980660A (zh) * 2008-09-19 2011-02-23 松下电器产业株式会社 注意力分散检测装置、注意力分散检测方法及计算机程序
CN102361590A (zh) * 2009-10-15 2012-02-22 松下电器产业株式会社 驾驶注意量判别装置、方法以及计算机程序
CN103204166A (zh) * 2011-11-17 2013-07-17 通用汽车环球科技运作有限责任公司 用于闭环驾驶员注意力管理的系统和方法
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN106446771A (zh) * 2015-08-12 2017-02-22 福特全球技术公司 驾驶员注意力评估
CN105599773A (zh) * 2015-12-29 2016-05-25 山东科技大学 一种基于车辆运动姿态的驾驶员状态提示装置及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Driver Inattention Detection based on Eye;Luke Fletcher;《The International Journal of Robotics Research》;20090630(第6期);第774-801页 *

Also Published As

Publication number Publication date
CN109080641A (zh) 2018-12-25
JP6638701B2 (ja) 2020-01-29
DE102018113488A1 (de) 2018-12-20
JP2018203169A (ja) 2018-12-27
US20180354523A1 (en) 2018-12-13
US10814880B2 (en) 2020-10-27
DE102018113488B4 (de) 2023-02-02

Similar Documents

Publication Publication Date Title
CN109080641B (zh) 驾驶意识推定装置
US11208098B2 (en) Camera system for intelligent driver assistance system, and driver assistance system and method
US9963149B2 (en) Vehicle control device
CN108263383B (zh) 在协同自适应巡航控制系统中控制速度的装置和方法
US9747800B2 (en) Vehicle recognition notification apparatus and vehicle recognition notification system
JP6460008B2 (ja) 自動運転装置
EP3339124B1 (en) Autonomous driving system
US9074906B2 (en) Road shape recognition device
CN109841088B (zh) 车辆驾驶辅助系统及方法
US10691125B2 (en) Blinker judgment device and autonomous driving system
CN112771592B (zh) 用于警告机动车的驾驶员的方法、控制设备及机动车
CN111361552A (zh) 自动驾驶系统
JP2020064402A (ja) 表示装置
US11755022B2 (en) Vehicle control device
CN111383477B (zh) 信息提示装置
US20190147269A1 (en) Information processing apparatus, driver monitoring system, information processing method and computer-readable storage medium
US20190147270A1 (en) Information processing apparatus, driver monitoring system, information processing method and computer-readable storage medium
CN114194186A (zh) 车辆行驶控制装置
KR101519215B1 (ko) 운전보조시스템 및 그 제어방법
CN117068150A (zh) 基于车道位置无意识的车道保持
KR20200082457A (ko) A d a s 알람 출력 제어 방법 및 장치
JP7216695B2 (ja) 周囲車両監視装置及び周囲車両監視方法
JP7185571B2 (ja) 視認方向推定装置、視認方向推定方法、およびプログラム
WO2021235043A1 (ja) 車両制御装置
KR102175793B1 (ko) 인지 장애 경고 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant