CN109795504B - 认知时机推定装置以及认知时机推定方法 - Google Patents
认知时机推定装置以及认知时机推定方法 Download PDFInfo
- Publication number
- CN109795504B CN109795504B CN201811354153.0A CN201811354153A CN109795504B CN 109795504 B CN109795504 B CN 109795504B CN 201811354153 A CN201811354153 A CN 201811354153A CN 109795504 B CN109795504 B CN 109795504B
- Authority
- CN
- China
- Prior art keywords
- driver
- cognitive
- trip
- boundary
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001149 cognitive effect Effects 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000004424 eye movement Effects 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 230000004397 blinking Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 abstract description 4
- 210000001508 eye Anatomy 0.000 description 18
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3655—Timing of guidance instructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Eye Examination Apparatus (AREA)
Abstract
为在恰当时机向驾驶员提示信息,提供能十分正确地推定驾驶员的认知行动的时机的认知时机推定装置以及认知时机推定方法。本发明是当车辆在由多个行程组成的行驶路径上行驶时推定驾驶员进行认知与下一个行程相关的信息的认知行动的时机的认知时机推定装置;具有:获取包含与驾驶员的驾驶操作相关的信息及与行驶路径相关的信息中至少一方的行驶信息的行驶信息获取部;基于行驶信息推定行程间的分界处的行程推定部;检测驾驶员的规定的眼部动作的眼部检测部;和对每个行程间的分界处,基于车辆通过该分界处的时刻和检测到规定的眼部动作的时刻,判定车辆通过该分界处时驾驶员是否已进行认知行动,以此推定驾驶员进行认知行动的时机的认知时机推定部。
Description
技术领域
本发明涉及认知时机推定装置,尤其涉及为了在恰当的时机向驾驶员提示信息而基于车辆的行程推定驾驶员的认知行动时机的认知时机推定装置以及认知时机推定方法。
背景技术
在日本特开2013-250663号公报(专利文献1)中记载了驾驶情景识别装置。在该驾驶情景识别装置中,检测出驾驶员的操作以及车辆动作等,并且检测出与这些信息的微分值相当的微分值信息。此外,基于这些驾驶员的操作和车辆动作等信息以及它们的微分值信息,生成与车辆的状态对应的符号串,并且从对该符号串进行分段的驾驶词语(drivingword)的序列中识别出驾驶情景(行程)。而且,在记载于专利文献1的驾驶情景识别装置中,基于检测到的驾驶员的操作和车辆动作等,例如识别出驾驶员试图开始车道变更的驾驶情景、以及试图对车辆进行驻车的驾驶情景等。此外,在识别到的这些驾驶情景中,对变更目标车道的后方状况自动进行图像显示,或者自动开启驻车支援系统,以此支援驾驶。
现有技术文献:
专利文献:
专利文献1:日本特开2013-250663号公报。
发明内容
发明要解决的问题:
然而,在专利文献1记载的驾驶情景识别装置中,存在无法以足够的精度推定车辆的驾驶情景的分界处,从而无法在恰当的时机向驾驶员提示信息的问题。即,存在许多应向驾驶车辆的驾驶员提示的信息,如果将这些大量的信息全部显示,那么驾驶员不得不从显示的信息中挑选并识别出此刻驾驶状况所需的信息。从大量信息中选出所需信息并进行识别的作业极其繁杂,也会成为致使驾驶员的混乱的原因,因此即便提示了信息驾驶员也无法充分有效地利用这些信息。相对于此,从大量信息中,配合驾驶员的认知行动的时机地提示所需的信息,以此驾驶员能够容易识别出所提示的信息,并且能够在驾驶行动中能够充分有效地利用信息。
因此,本发明的目的在于提供一种为了在恰当的时机向驾驶员提示信息而能够十分正确地推定驾驶员的认知行动的时机的认知时机推定装置以及认知时机推定方法。
解决问题的手段:
为了解决所述问题,本发明是当车辆在由多个行程组成的行驶路径上行驶时,推定驾驶员进行认知与下一个行程相关的信息的认知行动的时机的认知时机推定装置;具有:获取包含与驾驶员的驾驶操作相关的信息以及与所述行驶路径相关的信息中的至少一方的行驶信息的行驶信息获取部;基于所述行驶信息推定所述行程间的分界处的行程推定部;检测驾驶员的规定的眼部动作的眼部检测部;和对每个所述行程间的分界处,基于车辆通过该分界处的时刻与检测到所述规定的眼部动作的时刻,判定当车辆通过该分界处时驾驶员是否已进行认知行动,以此推定驾驶员进行认知行动的时机的认知时机推定部。
在如此构成的本发明中,行驶信息获取部获取与驾驶员的驾驶操作相关的信息以及与车辆行驶的行驶路径相关的信息中的至少一方,并且行程推定部基于该信息推定行程的分界处。另一方面,眼部检测部检测驾驶员的规定的眼部动作。认知时机推定部基于车辆通过由行程推定部所推定的行程的分界处的时刻和眼部检测部检测到驾驶员的规定的眼部动作的时刻,判定是否已进行驾驶员的认知行动,以此推定驾驶员进行认知行动的时机。
驾驶车辆的驾驶员被认为并不总是会对周围的道路状况等进行一定的注意,而是会在即将开始对一个行程的驾驶行动前认知车辆的周边交通环境等,并且基于此建立下一个行程的驾驶计划并进行驾驶行动。因此,通过提示在驾驶中的行程分界处附近能够看到的、而且与驾驶员的认知行动时机相配的合适的信息,以此驾驶员能够容易地对提示的信息进行注意并充分有效地利用信息。然而,根据本案发明人的研究,由驾驶员进行的认知行动并不总是会出现在每个行程的分界处,而认知行动的进行时机因驾驶员的个性和熟练程度等而不同,难以特别确定驾驶员的认知行动的时机。
本案发明人进一步研究表明当驾驶员进行认知行动的情况下,行程的分界处与驾驶员的眼部移动之间存在一定的关系。根据如上构成的本发明,认知时机推定部基于车辆通过由行程推定部所推定的行程的分界处的时刻和由眼部检测部检测到驾驶员的规定的眼部动作的时刻,推定出驾驶员的认知行动的时机,因此能够十分正确地推定出驾驶员的认知行动的时机。借助于此,能够在驾驶员进行注意的时机提示所需的信息,驾驶员能够充分有效地利用所提示的信息。
在本发明中,优选地,所述认知时机推定部在车辆通过行程间的分界处的时刻前的规定的认知行动时间以内检测到所述规定的眼部动作的情况下,判定车辆通过该分界处时驾驶员已进行认知行动;所述规定的眼部动作包含预先规定的量以上的视线的移动或者眨眼。
根据本案发明人的研究,逐步明确了车辆的驾驶员在即将从当前的行程转移至下一个行程之前会进行用于掌握下一个行程中道路状况等的认知行动,并且一边建立下一个行程的计划一边继续驾驶。而且,明确了在像上述那样掌握下一个行程的道路状况等时,驾驶员会在一定程度上较大幅度地移动视线或者眨眼。根据如上构成的本发明,在车辆即将通过行程的分界处的时刻之前的规定期间,当检测到驾驶员的规定量以上的视线移动或者眨眼时,推定在车辆通过该行程的分界处时已进行驾驶员的认知行动,因此能够正确地推定驾驶员的认知行动。
在本发明中,优选地,当车辆通过与判断为驾驶员已进行认知行动的行程间的分界处对应的地点时,在车辆通过该地点的时刻的规定的认知准备时间前,将与下一个行程相关的信息显示于显示器。
根据如此构成的本发明,在车辆通过与推定为进行了认知行动的行程的分界处对应的地点的时刻的规定的认知准备时间前,提示对应于下一个行程的信息,因此在驾驶员进行认知行动时能够适时获取与下一个行程相关的信息,并且能够有效地利用所提示的信息。借助于此,驾驶员能够容易地建立下一个行程的驾驶计划,并且能够减轻驾驶员的负担。
在本发明中,所述认知行动时间可以是0.5秒至1秒。像这样,通过设定上述认知行动时间,以此能够准确地推定出驾驶员进行认知行动的时机。
而且,本发明是当车辆在由多个行程组成的行驶路径上行驶时,推定驾驶员进行认知与下一个行程相关的信息的认知行动的时机的认知时机推定方法;具有:获取包含与驾驶员的驾驶操作相关的信息以及与所述行驶路径相关的信息中的至少一方的行驶信息的行驶信息获取步骤;基于所述行驶信息推定所述行程间的分界处的行程推定步骤;检测驾驶员的规定的眼部动作的眼部检测步骤;和对每个所述行程间的分界处,基于车辆通过该分界处的时刻和检测到所述规定的眼部动作的时刻,判定当车辆通过该分界处时驾驶员是否已进行认知行动,以此推定驾驶员进行认知行动的时机的认知时机推定步骤。
发明效果:
根据本发明的认知时机推定装置以及认知时机推定方法,为了在恰当的时机向驾驶员提示信息,能够十分正确地推定驾驶员的认知行动的时机。
附图说明
图1是示意性示出驾驶车辆的驾驶员的驾驶资源(resource)的投入量的图;
图2是示出根据本发明实施形态的认知时机推定装置的概略结构的框图;
图3是示出使用本发明实施形态的认知时机推定装置进行行驶的行驶路径的一个示例的图;
图4是示出由本发明实施形态的认知时机推定装置进行的处理的流程图;
图5是示出在图3所示的行驶路径中推定得到的认知行动时机的一个示例的图;
符号说明:
1 车辆控制器;
2 认知时机推定装置;
4 行驶信息获取部;
6 行程推定部;
8 眼部检测部;
10 认知时机推定部;
12 车载导航系统;
14 通信装置;
16 驾驶监控摄像机;
18 驾驶操作传感器;
20 显示器(信息提示装置)。
具体实施方式
接着,参照附图说明根据本发明实施形态的认知时机推定装置以及认知时机推定方法;
图1是示意性示出驾驶车辆的驾驶员的驾驶资源(注意力)的投入量的图。
由图1的实线可知达到一定熟练程度的驾驶员在车辆的驾驶中不总是投入一定的驾驶资源,而是根据行程在所需的时机集中地投入驾驶资源,除此以外的时候驾驶资源的投入量较少。即,驾驶员一边重复在车辆的驾驶中对一定程度上接下来的周边交通环境进行预估而建立驾驶计划,按照该计划使车辆行驶后,再次对前方的周边交通环境进行预估而建立驾驶计划这一过程一边继续驾驶。驾驶员的驾驶资源在建立该驾驶计划时被集中地投入,当按照驾驶计划行驶时驾驶资源的投入量减少。即,驾驶员在建立驾驶计划时,投入大量的驾驶资源进行认知行动,集中获取与下一个行程的周边交通环境相关的信息。相对于此,驾驶初学者等如图1的虚线所示具有总是投入接近最高水平的驾驶资源的倾向,当长时间持续驾驶时有可能极度地蓄积疲劳。或者,如图1的单点划线所示,对于驾驶资源的投入量总是较少的驾驶员而言,存在无法进行足够安全的驾驶的可能性。
如上所述,一定熟练程度的驾驶员所投入的驾驶资源是在行驶中,在每个行程的规定的分界处具有峰值,然而出现峰值的行程的分界处对于每个驾驶员而言都各自不同,通常认为依赖于驾驶员的个性、驾驶的熟练程度、对驾驶的行驶路径的熟悉程度等。例如,熟练程度较高的驾驶员或者在已熟悉的行驶路径上驾驶的驾驶员的情况下,能够暂时掌握直至远处为止的周边交通环境,因此通常认为具有出现驾驶资源峰值的间隔变长的倾向。
另一方面,如果想要对驾驶员提示与周边交通环境相关的信息以进行驾驶支援,通常认为行之有效的是在驾驶员投入大量的驾驶资源进行认知行动,并且想要收集与下一个行程相关的信息的时机(timing)将其进行提示。在驾驶员为了收集与下一个行程相关的信息而进行认知行动的时机,提示与下一个行程相关的信息,以此驾驶员能够容易接受并充分有效地利用信息。本实施形态的认知时机推定装置以及认知时机推定方法的目的在于十分正确地推定出如上所述的驾驶员投入大量驾驶资源进行认知行动的时机。
接着,参照图2至图5说明根据本发明实施形态的认知时机推定装置及认知时机推定方法的结构以及作用;
图2是示出根据本发明实施形态的认知时机推定装置的概略结构的框图。图3是示出使用本实施形态的认知时机推定装置进行行驶的行驶路径的一个示例的图。图4是示出由本实施形态的认知时机推定装置进行的处理的流程图。图5是示出在图3所示的行驶路径中推定得到的认知行动的时机的一个示例的图。
如图2所示,本实施形态的认知时机推定装置内设于搭载在车辆上的车辆控制器1中。即,车辆控制器1由微型处理器、存储器、接口电路以及使它们工作的软件等(以上未图示)构成,而本实施形态的认知时机推定装置2是作为它们工作的功能的一部分来实现的。而且,认知时机推定装置2由行驶信息获取部4、行程推定部6、眼部检测部8和认知时机推定部10进行实现。
而且,车辆控制器1与车载导航系统12、通信装置14、驾驶监控摄像机16、驾驶操作传感器18以及作为信息提示装置的显示器20连接;
车载导航系统12形成为将车辆周边的地图数据以及直到驾驶员设定的目的地为止的路径信息作为导航信息发送至车辆控制器1的结构。
通信装置14形成为如下结构:除了来自GPS卫星的电波的接收等一般性电波的收发以外,通过车车间通信还能够接收来自行驶在驾驶中的车辆附近的车辆以及在附近驻车停车的车辆的电波,从而获取周边存在的车辆信息。而且,通信装置14形成为通过路车间通信还能够获取存在于车辆周边的步行者等信息的结构。
驾驶监控摄像机16形成为从前方对车辆的驾驶座上驾驶的驾驶员的头部等进行拍摄的结构。从驾驶监控摄像机16发送过来的图像数据在车辆控制器1中被图像解析,从而检测出驾驶员的状态。
驾驶操作传感器18是形成为检测驾驶员对车辆的操作的结构的传感器,作为这样的传感器,有转向角传感器、加速踏板传感器、制动踏板传感器等。来自各传感器的信号被输入至车辆控制器1,从而解析出驾驶员对车辆的驾驶操作。
显示器20是配置于能从车辆的驾驶座进行视觉确认的位置上的显示装置,形成为显示应当对驾驶员提示的信息的结构。而且,显示器20可以构成车载导航系统12的一部分,也可以通过具备触摸面板以此兼作信息输入装置。
接着,参照图3至图5说明根据本发明实施形态的认知时机推定装置2的作用;
首先,如图3所示,居住在自家住宅H的驾驶员使用车辆的车载导航系统12输入到达目的地P的行驶路径。与输入的行驶路径相关的信息由认知时机推定装置2所具备的行驶信息获取部4获取。
接着,认知时机推定装置2所具备的行程推定部6基于行驶信息获取部4获取的信息推定构成行驶路径的各行程间的分界处。在图3所示的示例中,行程推定部6提取出以下七个行程作为行程:从自家住宅H直至交叉点C1处左转之前的行程a;在交叉点C1处左转后直至通过交叉点C2之前的行程b;通过交叉点C2后直至在交叉点C3处左转为止的行程c;在交叉点C3处左转后直至进入弯道B之前的行程d;进入弯道B后直至弯道B结束为止的行程e;弯道B结束后直至在交叉点C4处左转之前的行程f;以及在交叉点C4处左转后直至到达目的地为止的行程g。然而,对于被驾驶员意识到的行程(一系列驾驶操作),存在个体差异,并非所有的驾驶员都会在即将转移至由行程推定部6提取的各个行程之前进行认知行动并建立驾驶计划。
接着,参照图4以及图5说明在车辆于图3的行驶路径上行驶的情况下的根据本发明实施形态的认知时机推定装置2的作用以及认知时机推定方法。
首先,当驾驶员操作车辆所具备的车载导航系统12以此设定图3所示的行驶路径(目的地)时,在图4的步骤S1中作为行驶信息获取步骤,通过认知时机推定装置2的行驶信息获取部4获取已设定的行驶路径的地图数据。
接着,在步骤S2中,判断驾驶员设定的行驶路径是否有过去的行驶履历。当无行驶履历时进至步骤S3,当有行驶履历时进入步骤S8。
当过去无行驶履历时,在步骤S3中作为行程推定步骤,认知时机推定装置2的行程推定部6根据行驶路径推定行程的分界处。在图3所示的示例中,行程推定部6基于行驶路径推定上述的行程a至行程g。此外,行程推定部6将比被设想为从某一行程转移至下一个行程的时间点提前规定时间的时间点设定为作为驾驶员进行认知行动的时机的基准认知时机。像这样,在行驶于过去无行驶履历的路径的情况下,将驾驶员有可能进行认知行动的时机假定为基准认知时机。优选地,基准认知时机设定于比被设想为进行行程转移的时间点提前约1.5秒至约1秒的时间点。
即,如图5中虚线所示,行程推定部6将车辆通过行驶路径中的行程a至行程g的分界处的时刻设定为图5的时刻t3、t6、t9、t12、t15、t18,并且将这些时刻的规定的认知准备时间Tr前的时间点假设为基准认知时机t1、t4、t7、t10、t13以及t16。
接着,当驾驶员开始车辆的驾驶时,作为眼部检测步骤,搭载于车辆的驾驶监控摄像机16以规定的时间间隔拍摄驾驶员头部的图像。拍摄到的图像的数据依次被发送至车辆控制器1,认知时机推定装置2的眼部检测部8对图像数据进行图像解析,从而检测出驾驶员的视线的移动以及有无眨眼。当通过图像解析检测到作为驾驶员的眼部移动的、规定量以上的视线移动或者眨眼时,眼部检测部8如图5的下段所示产生规定的脉冲信号。另外,驾驶员视线的移动(规定的眼部动作)包括驾驶员转动眼球导致的眼部移动以及驾驶员转动头部导致的眼部移动。图5所示的示例中,在时刻t2与时刻t3之间以及时刻t3与t4之间等中,检测到驾驶员的眼部移动,从而产生脉冲信号。
此外,驾驶员使车辆行驶,当到达被设想为从行程a向行程b转移的时刻t3的规定的认知准备时间Tr(约1秒~约1.5秒)前即时刻t1时,认知时机推定装置2向显示器20发送信号,显示与作为下一个行程的行程b对应的信息(步骤S4)。另外,从行程a向行程b的转移时刻能够根据通过车载导航系统12获得的车辆的位置信息、车辆的行驶速度进行推定。在像这样推定出的时刻的认知准备时间Tr前,显示与下一个行程对应(相关)的信息。
在这里,与行程b对应的信息是指在行程b中预定进行行驶的行驶区间内驻车停车的车辆信息、步行者的信息、在该行驶区间中进行的道路工程的信息等。这些信息可以通过车车间通信或者路车间通信从通信装置14获得,或者可以通过车载导航系统12获得。另外,像这样在显示器20上显示的与下一个行程对应的信息是与车辆行驶相关的信息,而与道路沿途的饮食店和便利店等相关的信息以及与驾驶员或乘客的嗜好相关的信息等则不包含在其中。
接着,在图4的步骤S5中,在行程a与行程b之间的分界处基于眼部检测部8的输出信号判定驾驶员是否在进行认知行动。即,作为认知时机推定步骤,认知时机推定装置2的认知时机推定部10基于车辆通过由行程推定部6推定的行程的分界处的时刻和由眼部检测部8检测到驾驶员的规定的眼部动作的时刻推定驾驶员的认知行动的时机。
在本实施形态中,在行程推定部6推定出的行程分界处的时间点以前的规定的认知行动时间Ts以内,在通过眼部检测部8检测出驾驶员的眼部移动的情况下,推定在该行程的分界处进行了驾驶员的认知行动。优选地,规定的认知行动时间Ts比认知准备时间Tr短,且设定为约0.5秒至约1秒。
在图5所示的示例中,在时刻t3以前的规定的认知行动时间Ts以内(时刻t2与t3之间)通过眼部检测部8检测出驾驶员的眼部移动,因此推定在行程a与行程b之间的分界处已进行驾驶员的认知行动;
接着,在图4的步骤S6中,对在行程a与行程b之间的分界处驾驶员已进行认知行动的这一情况进行存储。
此外,在步骤S7中,判断步骤S6中处理的行程的分界处是否与行程推定部6推定出的最后的行程相关。如果是最后的行程,则终止图4所示的流程图的一轮处理。如果不是最后的行程,则返回至步骤S4,并且执行步骤S3中所设定的与下一个基准认知时机相关的处理。像这样,直至到达设定的行驶路径的最后行程为止重复进行相同的处理。即,在每个行程间的分界处,判定驾驶员是否进行了认知行动,以此推定驾驶员进行认知行动的时机。
在图5所示的示例中,在比车辆通过行程b与行程c之间的分界处的时刻t6提前认知准备时间Tr的时刻t4上,显示与作为下一个行程的行程C对应的信息。然而在时刻t6以前的认知行动时间Ts以内(时刻t5与t6之间),通过眼部检测部8未检测出驾驶员的眼部移动,因此判定当车辆通过行程b与行程c之间的分界处时未进行驾驶员的认知行动。即,在图5所示的示例中,认为驾驶员将行程推定部6推定的行程b与行程c认作是单一的行程,并且在即将转移至行程b之前还进行了与行程c相关的认知行动。
另外,在行程b中,在时刻t3与时刻t4之间检测出驾驶员的眼部移动,然而该驾驶员的眼部移动并非在车辆通过行程间的分界处的时刻的附近(稍前处)进行,因此判断为驾驶员的认知行动并未进行。像这样,基于驾驶员的规定的眼部移动被检测到的时刻与车辆通过行程间的分界处的时刻之间的关系判定驾驶员的认知行动的有无,以此能够排除驾驶员的张望等与认知行动无关的视线移动或眨眼等。
同样地,在行程c与行程d之间的分界处的时刻t9判定为正进行驾驶员的认知行动,在行程d与行程e之间的分界处的时刻t12判定为未进行驾驶员的认知行动,在行程e与行程f之间的分界处的时刻t15判定为正进行驾驶员的认知行动,在行程f与行程g之间的分界处的时刻t18判定为正进行驾驶员的认知行动。像这样,认知时机推定装置2推定在从图3所示的自家住宅H至目的地P之间的行驶路径上驾驶员如图5所示在车辆即将通过其间标有*号的各行程分界处的时刻之前进行认知行动,并且将其存储于车辆控制器1的存储器(未图示)中。
另一方面,在图4所示的流程图的步骤S2中,当判断出相对已设定的行驶路径存在行驶履历时,进入步骤S8。在步骤S8中,从存储器(未图示)读取以往行驶于同一行驶路径时存储的驾驶员的认知行动的时机。
接着,在步骤S9中,在车辆通过驾驶员意识到的行程的分界处(在图5中标有*号的分界处)的时刻的认知准备时间Tr前,将与下一个行程对应的信息显示于显示器20。图5所示的示例中,在比车辆通过驾驶员意识到的行程a与行程b之间的分界处的时刻(时刻t3)提前认知准备时间Tr的时刻t1,将与被驾驶员认为是单一行程的行程b以及行程c相关的信息显示于显示器20。认为驾驶员在时刻t1前后进行对行程b以及行程c的认知行动并建立此期间的驾驶计划。因此,驾驶员能够在适当的时刻获取与下一个行程对应的信息,并且能够充分有效地利用显示在显示器20上的信息。
另外,在图4所示流程图的步骤S8以下执行的处理中的车辆通过各行程分界处的时刻是指被推定为当前行驶中的车辆到达该分界处的时刻,而不能等同于先前执行的步骤S3以下的处理中的时刻。
另一方面,当车辆通过行程b与行程c之间的分界处时(时刻t6),由于存储有驾驶员不进行认知行动这一情况,因此在其稍前的时刻t4不执行显示器20上的信息的显示。之后,认知时机推定装置2在时刻t7上进行与行程d以及行程e对应的信息的显示,在时刻t13上进行与行程f对应的信息的显示,在时刻t16上进行与行程g对应的信息的显示,从而终止图4所示的流程图的一轮处理。
根据本发明实施形态的认知时机推定装置2,认知时机推定部10基于车辆通过由行程推定部6推定的行程的分界处(图3)的时刻、和由眼部检测部8检测出驾驶员的规定的眼部动作的时刻,推定出驾驶员的认知行动的时机(图5中标有*号的分界处),因此能够十分正确地推定出驾驶员的认知行动的时机。借助于此,能够在驾驶员进行注意的时机提示所需的信息,驾驶员够使充分有效地利用所提示的信息。
而且,根据本实施形态的认知时机推定装置2,在车辆通过已推定的行程的分界处的时刻(图5的时刻t3、t6、t9、t12、t15以及t18)以前的规定时间(Ts)以内,在检测到驾驶员的规定量以上的视线的移动或者眨眼的情况下,推定在车辆通过该行程的分界处时(图5的时刻t3、t9、t15以及t18)进行了驾驶员的认知行动,因此能够正确推定出驾驶员的认知行动。
此外,根据本实施形态的认知时机推定装置2,在通过被推定为进行认知行动的行程的分界处的时刻(图5的时刻t3、t9、t15以及t18)的规定时间前(Tr)提示与下一个行程对应的信息,因此驾驶员在进行认知行动时能够在适当的时刻获取与下一个行程相关的信息,并且能够有效利用所提示的信息。
以上,说明了本发明优选的实施形态,但是可以对在上述实施形态增加各种变更。尤其是,在上述实施形态中,行驶信息获取部获取车载导航系统中输入的行驶路径,并且行程推定部基于该信息推定出行程的分界处,然而本发明也可以形成为行驶信息获取部获取与驾驶操作传感器相关的信息的结构。即,本发明也可以形成为行驶信息获取部获取转向角传感器、加速踏板传感器等驾驶操作传感器的检测数据,并且基于该数据使行程推定部推定出行程的分界处的结构。或者,本发明还可以形成为使用被输入的行驶路径的信息以及驾驶操作传感器的信息这两者推定行程的分界处的结构。
而且,在上述实施形态中,具备显示器作为信息提示装置,并且将与下一个行程对应的信息显示于显示器,但是本发明也可以形成为具备扬声器等声音产生装置作为信息提示装置的结构。此外,在上述实施形态中,认知时机推定装置的功能全都是通过搭载于车辆的车辆控制器的微型处理器等来实现的,但本发明也可以形成为认知时机推定装置的至少一部分功能在可与车辆控制器信息通信的服务器上执行的结构。
Claims (4)
1.一种认知时机推定装置,其特征在于,
是当车辆在由多个行程组成的行驶路径上行驶时,推定驾驶员进行认知与下一个行程相关的信息的认知行动的时机的认知时机推定装置;
具有:
获取包含与驾驶员的驾驶操作相关的信息以及与所述行驶路径相关的信息中的至少一方的行驶信息的行驶信息获取部;
基于所述行驶信息推定所述行程间的分界处的行程推定部;
检测驾驶员的规定的眼部动作的眼部检测部;和
对每个所述行程间的分界处,基于车辆通过该分界处的时刻与检测到预先规定的量以上的视线的移动的时刻或者检测到眨眼的时刻,判定当车辆通过该分界处时驾驶员是否已进行认知行动,以此判断推定出的所述行程间的分界处是否符合驾驶员意识到的行程的分界处,基于所述行程间的分界处中的、判断为符合驾驶员意识到的行程的分界处的分界处,推定驾驶员进行认知行动的时机的认知时机推定部;
所述认知时机推定部在检测到预先规定的量以上的视线的移动的时刻或者检测到眨眼的时刻在车辆通过行程间的分界处的时刻前的规定的认知行动时间以内的情况下,判定车辆通过该分界处时驾驶员已进行认知行动。
2.根据权利要求1所述的认定时机推定装置,其特征在于,
在车辆通过与判断为驾驶员已进行认知行动的行程间的分界处对应的地点时,在车辆通过该地点的时刻的规定的认知准备时间前,将与下一个行程相关的信息显示于显示器。
3.根据权利要求1或2所述的认定时机推定装置,其特征在于,
所述认知行动时间为0.5秒至1秒。
4.一种认定时机推定方法,其特征在于,
是当车辆在由多个行程组成的行驶路径上行驶时,推定驾驶员进行认知与下一个行程相关的信息的认知行动的时机的认知时机推定方法;
具有:
获取包含与驾驶员的驾驶操作相关的信息以及与所述行驶路径相关的信息中的至少一方的行驶信息的行驶信息获取步骤;
基于所述行驶信息推定所述行程间的分界处的行程推定步骤;
检测驾驶员的规定的眼部动作的眼部检测步骤;和
对每个所述行程间的分界处,基于车辆通过该分界处的时刻和检测到预先规定的量以上的视线的移动的时刻或者检测到眨眼的时刻,判定当车辆通过该分界处时驾驶员是否已进行认知行动,以此判断推定出的所述行程间的分界处是否符合驾驶员意识到的行程的分界处,基于所述行程间的分界处中的、判断为符合驾驶员意识到的行程的分界处的分界处,推定驾驶员进行认知行动的时机的认知时机推定步骤;
所述认知时机推定步骤在检测到预先规定的量以上的视线的移动的时刻或者检测到眨眼的时刻在车辆通过行程间的分界处的时刻前的规定的认知行动时间以内的情况下,判定车辆通过该分界处时驾驶员已进行认知行动。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220578A JP6598141B2 (ja) | 2017-11-16 | 2017-11-16 | 認知時機推定装置及び認知時機推定方法 |
JP2017-220578 | 2017-11-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109795504A CN109795504A (zh) | 2019-05-24 |
CN109795504B true CN109795504B (zh) | 2022-05-13 |
Family
ID=66335370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811354153.0A Active CN109795504B (zh) | 2017-11-16 | 2018-11-14 | 认知时机推定装置以及认知时机推定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10713511B2 (zh) |
JP (1) | JP6598141B2 (zh) |
CN (1) | CN109795504B (zh) |
DE (1) | DE102018008973B4 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112668548B (zh) * | 2021-01-15 | 2024-07-12 | 重庆大学 | 一种驾驶员发呆检测方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5233729B2 (ja) * | 2009-02-18 | 2013-07-10 | トヨタ自動車株式会社 | ナビゲーション装置 |
CN104442823A (zh) * | 2013-09-20 | 2015-03-25 | 丰田自动车株式会社 | 驾驶辅助装置 |
CN104737216A (zh) * | 2012-10-17 | 2015-06-24 | 丰田自动车株式会社 | 驾驶辅助装置 |
CN105072986A (zh) * | 2013-03-22 | 2015-11-18 | 丰田自动车株式会社 | 驾驶支援装置、驾驶支援方法、信息提供装置、信息提供方法、导航装置以及导航方法 |
WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
CN107336710A (zh) * | 2016-04-28 | 2017-11-10 | 丰田自动车株式会社 | 驾驶意识推定装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009128210A (ja) | 2007-11-26 | 2009-06-11 | Sanyo Electric Co Ltd | ナビゲーション装置 |
US20100324818A1 (en) | 2009-06-19 | 2010-12-23 | Gm Global Technology Operations, Inc. | Presentation of navigation instructions using variable content, context and/or formatting |
US8405714B2 (en) * | 2010-06-03 | 2013-03-26 | Panasonic Corporation | Pupil hidden state detecting apparatus and vehicle-mounted camera employing the same |
JP5681611B2 (ja) | 2011-11-09 | 2015-03-11 | 株式会社日立製作所 | ナビゲーションシステム、ナビゲーション装置、方法及びサーバ |
JP5867296B2 (ja) | 2012-05-30 | 2016-02-24 | 株式会社デンソー | 運転シーン認識装置 |
BR112015013489A2 (pt) * | 2012-12-11 | 2017-07-11 | Klin Ami | sistemas e métodos para a detecção de blink inibição como um marcador de engajamento e percebido saliência estímulo |
US9751534B2 (en) | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
JP6324262B2 (ja) | 2014-08-22 | 2018-05-16 | 三菱電機株式会社 | 安全運転支援システム |
DE112016000308T5 (de) | 2015-01-09 | 2017-10-19 | Harman International Industries, Incorporated | Techniken zum Einstellen des Detaillierungsgrads von Fahranweisungen |
US9925872B1 (en) | 2016-11-14 | 2018-03-27 | Denso International America, Inc. | System for monitoring driver alertness and adapting vehicle settings thereto |
JP6540663B2 (ja) | 2016-11-18 | 2019-07-10 | トヨタ自動車株式会社 | 車両システム |
WO2018189909A1 (ja) * | 2017-04-14 | 2018-10-18 | 堺ディスプレイプロダクト株式会社 | 車両の日除け装置 |
DE102017007705A1 (de) | 2017-08-14 | 2019-02-14 | Preh Car Connect Gmbh | Ausgeben einer Manöveranweisung mittels einer Navigationseinrichtung |
-
2017
- 2017-11-16 JP JP2017220578A patent/JP6598141B2/ja active Active
-
2018
- 2018-11-14 CN CN201811354153.0A patent/CN109795504B/zh active Active
- 2018-11-14 DE DE102018008973.9A patent/DE102018008973B4/de active Active
- 2018-11-15 US US16/192,557 patent/US10713511B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5233729B2 (ja) * | 2009-02-18 | 2013-07-10 | トヨタ自動車株式会社 | ナビゲーション装置 |
CN104737216A (zh) * | 2012-10-17 | 2015-06-24 | 丰田自动车株式会社 | 驾驶辅助装置 |
CN105072986A (zh) * | 2013-03-22 | 2015-11-18 | 丰田自动车株式会社 | 驾驶支援装置、驾驶支援方法、信息提供装置、信息提供方法、导航装置以及导航方法 |
CN104442823A (zh) * | 2013-09-20 | 2015-03-25 | 丰田自动车株式会社 | 驾驶辅助装置 |
WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
CN107336710A (zh) * | 2016-04-28 | 2017-11-10 | 丰田自动车株式会社 | 驾驶意识推定装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109795504A (zh) | 2019-05-24 |
US10713511B2 (en) | 2020-07-14 |
US20190147276A1 (en) | 2019-05-16 |
DE102018008973A8 (de) | 2019-06-27 |
JP2019091329A (ja) | 2019-06-13 |
JP6598141B2 (ja) | 2019-10-30 |
DE102018008973A1 (de) | 2019-05-16 |
DE102018008973B4 (de) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9723243B2 (en) | User interface method for terminal for vehicle and apparatus thereof | |
JP6508072B2 (ja) | 報知制御装置及び報知制御方法 | |
CN105365819B (zh) | 驾驶辅助装置和驾驶辅助方法 | |
CN110291570B (zh) | 驾驶模式切换控制装置、方法和程序 | |
DE102018104801A1 (de) | Unterstützen von fahrern bei fahrbahnspurwechseln | |
JP4973786B2 (ja) | 運転支援装置 | |
JP6090340B2 (ja) | ドライバ感情推定装置 | |
JP5255945B2 (ja) | 車両用運転評価装置 | |
JP5987923B2 (ja) | ドライバ感情に基づく運転支援装置 | |
JP2016215658A (ja) | 自動運転装置および自動運転システム | |
CN111149138B (zh) | 行驶特性学习方法及行驶辅助装置 | |
CN106696824A (zh) | 车辆行驶辅助方法及装置、车辆 | |
JP6149842B2 (ja) | ドライバ感情推定装置及び方法 | |
CN115662171A (zh) | 变道提示方法、装置、电子设备及车辆 | |
CN113631411B (zh) | 显示控制装置、显示控制方法及记录介质 | |
EP3975153A1 (en) | Vehicle-launching warning device, system and method | |
CN109795504B (zh) | 认知时机推定装置以及认知时机推定方法 | |
US11325609B2 (en) | Vehicle driving assist system | |
JP2015084253A (ja) | ドライバ感情推定装置 | |
US11222552B2 (en) | Driving teaching device | |
CN111661064B (zh) | 车辆控制装置、车辆控制方法、车辆以及存储介质 | |
JP2014104840A (ja) | 車載画像処理装置 | |
US20240174233A1 (en) | Vehicle control device, vehicle control method, and non-transitory storage medium storing a vehicle control program | |
JP2008152385A (ja) | 車両用問題出題装置 | |
CN109649398B (zh) | 导航辅助系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |