CN110348281A - 警报装置 - Google Patents

警报装置 Download PDF

Info

Publication number
CN110348281A
CN110348281A CN201910267906.2A CN201910267906A CN110348281A CN 110348281 A CN110348281 A CN 110348281A CN 201910267906 A CN201910267906 A CN 201910267906A CN 110348281 A CN110348281 A CN 110348281A
Authority
CN
China
Prior art keywords
vehicle
attentively
driver
information
blinkpunkt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910267906.2A
Other languages
English (en)
Inventor
塚尾公祐
塚嵜浩伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toushin Seiki Co Ltd
Aisin Corp
Original Assignee
Toushin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toushin Seiki Co Ltd filed Critical Toushin Seiki Co Ltd
Publication of CN110348281A publication Critical patent/CN110348281A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

提供一种可根据驾驶员的注视情况适当地进行通知的警报装置。警报装置具备：本车信息获取部，获取表示本车的状态的本车信息；车外信息获取部，获取表示本车的车外的情况的车外信息；注视对象物计算部，根据本车信息和车外信息计算本车的驾驶员应注视的对象物；视线信息获取部，获取表示驾驶员的视线的方向的视线信息；眼球位置信息获取部，获取表示驾驶员的三维坐标上的眼球位置的眼球位置信息；注视点计算部，根据视线信息和眼球位置信息计算驾驶员正在注视的注视点；判定部，根据应注视的对象物和注视点判定驾驶员是否注视应注视的对象物；通知部，当判定为驾驶员未注视应注视的对象物时，进行通知。

Description

警报装置
技术领域
本发明涉及一种警报装置，根据车辆驾驶时的驾驶员的注视情况进行警报。
背景技术
当驾驶车辆时，从防止事故发生、行驶的顺利化的角度出发，期望驾驶员充分地把握车辆周围的情况。因此，研究了根据驾驶员的视线进行通知的技术(例如专利文献1)。
专利文献1所记载的通知控制装置具备：确定单元，该确定单元确定需要使用者的确认的对象即要确认对象；方向检测单元，该方向检测单元检测使用者的脸或者视线的方向；确认检测单元，该确认检测单元根据检测出的脸或者视线的方向，对使用者是否确认了要确认对象进行检测；以及通知控制单元，在未检测到使用者确认了要确认对象时，该通知控制单元对需要要确认对象的确认的情况进行通知，在检测到使用者确认了要确认对象时，该通知控制单元以限制通知需要确认要确认对象的情况的方式控制向使用者的通知。
现有技术文献
专利文献
专利文献1：日本特开2007-94618号公报
发明要解决的问题
专利文献1所记载的技术使用由CCD照相机等单目一维照相机拍摄的图像对使用者(驾驶员)的脸的方向、视线的方向进行检测。因此，如果例如对每个人输入教师图像等而不对每个人进行调节的话，不能计算出包含三维信息的注视点，从而检测精度较差。因此，不能根据驾驶员的注视情况适当地进行通知。
发明内容
因此，期望能够根据驾驶员的注视情况适当地进行通知的警报装置。
用于解决课题的手段
本发明的警报装置的特征结构是，具备：本车信息获取部，该本车信息获取部获取表示本车的状态的本车信息；车外信息获取部，该车外信息获取部获取表示所述本车的车外的情况的车外信息；注视对象物计算部，该注视对象物计算部根据所述本车信息和所述车外信息计算所述本车的驾驶员应注视的对象物；视线信息获取部，该视线信息获取部获取表示所述驾驶员的视线的方向的视线信息；眼球位置信息获取部，该眼球位置信息获取部获取表示所述驾驶员的三维坐标上的眼球位置的眼球位置信息；注视点计算部，该注视点计算部根据所述视线信息和所述眼球位置信息计算所述驾驶员正在注视的注视点；判定部，该判定部根据所述应注视的对象物和所述注视点判定所述驾驶员是否注视所述应注视的对象物；以及通知部，当判定为所述驾驶员未注视所述应注视的对象物时，该通知部进行通知。
根据这样的结构，在三维坐标上计算出驾驶员的注视点，因此即使在例如驾驶员的头的位置移动的情况下，也能够精度良好地判定驾驶员是否注视到应注视的对象物。因此，能够根据驾驶员的注视情况适当地进行通知。
并且，优选的是，所述注视点计算部计算所述本车的车外的注视点。
根据这样的结构，即使当在车外存在应注视的对象物时，也能够精度良好地判定驾驶员是否注视到应注视的对象物。因此，能够根据车外的情况适当地进行通知。
并且，优选的是，所述判定部设定假想平面上的注视区域，所述假想平面包含在所述车外应注视的所述应注视的对象物，当在该注视区域内包含所述注视点时，判定为所述驾驶员正在注视所述应注视的对象物。
根据这样的结构，能够容易地判定驾驶员是否正在注视车外的应注视的对象物。因此，能够根据驾驶员的注视情况适当地进行通知。
附图说明
图1是表示警报装置的结构的框图。
图2是表示注视区域的图。
图3是表示警报装置的处理的流程图。
符号的说明
1：警报装置
10：本车信息获取部
11：车外信息获取部
12：注视对象物计算部
13：视线信息获取部
14：眼球位置信息获取部
15：注视点计算部
16：判定部
17：通知部
具体实施方式
本发明的警报装置构成为，能够根据驾驶员的注视情况适当地进行通知。以下，对本实施方式的警报装置1进行说明。
1.警报装置的结构
图1是示意性地表示警报装置1的结构的框图。如图1所示，警报装置1具备本车信息获取部10、车外信息获取部11、注视对象物计算部12、视线信息获取部13、眼球位置信息获取部14、注视点计算部15、判定部16、通知部17的各功能部。各功能部将CPU作为核心部件由硬件或者软件或者这两者构成，以进行通知驾驶员的处理。
本车信息获取部10获取表示本车的状态的本车信息。本车的信息是指表示车辆在行驶过程中的车辆的状态的信息。具体而言，是表示车辆的行驶方向(行进方向)的行驶方向信息、表示车辆的位置的位置信息、表示车辆的制动的动作状态的制动信息、表示车辆的变速杆的位置的档位信息等。
能够接收GPS(Global Positioning System：全球定位系统)信号、GNSS(GlobalNavigation Satellite System：全球卫星导航系统)信号，并根据接收到的信号获取行驶方向信息、位置信息。能够根据车辆所具备的制动传感器的检测结果获取制动信息。能够根据车辆所具备的档位传感器的检测结果获取档位信息。
本车信息获取部10获取这样的行驶方向信息、位置信息、制动信息、以及档位信息等。这些各信息作为本车信息向后述的注视对象物计算部12传递。
车外信息获取部11获取表示本车的车外的情况的车外信息。本车的车外的情况是指，例如表示包含车辆行驶的场所的周围的地图的地图信息、表示在车辆的周围是否存在物体的物体信息、表示车辆行驶时的交通量的交通量信息。能够根据在车辆所具备的车辆行驶用信息系统中使用的地图获取地图信息。能够根据车辆所具备的周边监视传感器等的检测结果获取物体信息。能够根据在车辆所具备的车辆行驶用信息系统中使用的VICS(Vehicle Information and Communication System：车辆信息通信系统)(注册商标)信息获取交通量信息。
车外信息获取部11获取这样的地图信息、物体信息、交通量信息等。这些各信息作为车外信息向后述的注视对象物计算部12传递。
注视对象物计算部12根据本车信息和车外信息计算本车的驾驶员应注视的对象物。本车信息从本车信息获取部10传递。车外信息从车外信息获取部11传递。本车的驾驶员应注视的对象物是指，存在于车辆的周围的物体中的、车辆的驾驶员在驾驶时应确认的对象物。具体而言，是信号灯、道路标识、在车辆的周围通行的人、自行车、其他车等。
当例如根据地图信息和VICS信息推定出本车在道路上顺利地行驶时，注视对象物计算部12将信号灯、道路标识等计算为应注视的对象物。并且，当车辆因红灯信号停车时，将信号灯、本车的先行车辆计算为应注视的对象物。并且，当从红灯信号变为绿灯信号而本车起动时，将在车辆的周围通行的人、自行车、其他车等计算为应注视的对象物。当然，这样的应注视的对象物是一例，根据车辆的行驶情况假定各种对象物。
表示通过注视对象物计算部12计算出的应注视的对象物的信息包含表示该对象物的位置的信息，向后述的判定部16传递。
视线信息获取部13获取表示驾驶员的视线的方向的视线信息。驾驶员的视线是指本车的驾驶员的视线。因此，驾驶员的视线的方向是指本车的驾驶员的视线的方向。优选的是，例如通过设于车内的摄像机获取包含驾驶员的脸的拍摄图像，使用该拍摄图像并通过公知的图像识别处理检测这样的驾驶员的视线的方向。当然，也能够构成为通过其他的方法检测驾驶员的视线的方向。表示这样的驾驶员的视线的方向的信息在警报装置1被当作视线信息向后述的注视点计算部15传递。
眼球位置信息获取部14获取表示驾驶员的三维坐标上的眼球位置的眼球位置信息。驾驶员是指本车的驾驶员。三维坐标上的眼球位置不是X-Y坐标系的眼球位置，而是X-Y-Z坐标系的眼球位置。因此，当着眼于驾驶员的脸时，不只是脸的横向和纵向，也考虑了深度方向的位置。例如将距离图像传感器设于车内，能够从该距离图像传感器的检测结果获取这样的三维坐标上的眼球位置。当然，也能够使用立体照相机进行获取。表示这样的驾驶员的三维坐标上的眼球位置的信息在警报装置1被当作眼球位置信息向后述的注视点计算部15传递。
注视点计算部15根据视线信息和眼球位置信息计算驾驶员所注视的注视点。视线信息从视线信息获取部13传递。眼球位置信息从眼球位置信息获取部14传递。驾驶员所注视的注视点是指本车的驾驶员实际上注视的点。
注视点计算部15根据由视线信息显示的视线的方向以及三维坐标上的眼球位置计算位于驾驶员的视线的方向上、三维坐标上的驾驶员实际上观察的点。由注视点计算部15计算出的注视点作为表示注视点的信息向后述的判定部16传递。
本实施方式中，构成为像上述那样地，注视对象物计算部12将存在于车辆的周围的物体中的车辆的驾驶员在驾驶时应确认的对象物计算为本车的驾驶员应注视的对象物，因此注视点计算部15计算本车的车外的注视点。
判定部16根据应注视的对象物和注视点判定驾驶员是否注视应注视的对象物。应注视的对象物由注视对象物计算部12计算，作为表示应注视的对象物的信息从注视对象物计算部12传递。注视点由注视点计算部15计算，作为表示注视点的信息从注视点计算部15传递。判定部16根据注视点是否位于驾驶员应注视的对象物，判定驾驶员是否注视应注视的对象物。
也可以是，判定部16设定包含在车外应注视的对象物的假想平面上的注视区域，当在该注视区域内包含注视点时即可判定为驾驶员正在注视应注视的对象物。例如，如图2所示，考虑本车因红灯信号停车，且其他车停在本车的前方的情况。此处为了容易理解，在本车标注符号2，在其他车标注符号3进行说明。在这种情况下，其他车3相当于在车外应注视的对象物。判定部16首先设定包含这样的对象物(其他车3)的假想平面4。此时，判定部16将假想平面4设定为以其他车3的后端部5为基准距本车的驾驶员的眼球位置等距离。接着，判定部16设定假想平面4的包含其他车3的后端部5(例如保险杠等)的注视区域6。当像视线方向A那样在注视区域6包含驾驶员的注视点(图2中标注符号7)时，判定部16判定为驾驶员正在注视应注视的其他车3。另一方面，当像视线方向B那样地在注视区域6不包含驾驶员的注视点7时，判定部16判定为驾驶员未注视应注视的其他车3。
另外，应注视的对象物是其他车3只是一例，即使应注视的对象物是信号灯、行人等也能够同样地判定。判定部16的判定结果向后述的通知部17传递。
返回图1，当判定为驾驶员未注视应注视的对象物时，通知部17通知到驾驶员。从判定部16向通知部17传递判定结果。当该判定结果是表示驾驶员未注视应注视的对象物的判定结果时，则通知部17进行通知。作为通知，既可以是例如明示驾驶员未注视的通知，也可以是督促驾驶员注视的通知。在这种的情况下，也能够构成为，与通知一起，也通知表示应注视的对象物是什么的信息。并且，通知部17既可以构成为提前通知警报，也可以构成为变更通知方法。另外，当从判定部16传递来的判定结果是表示驾驶员注视应注视的对象物的判定结果时，通知部17既可以不进行通知，也可以构成为当在规定时间后进行通知时限制该通知。
2.警报装置的处理
接着，使用图3的流程图对警报装置1的处理进行说明。首先，本车信息获取部10获取本车信息(步骤#01)。并且，车外信息获取部11获取车外信息(步骤#02)。注视对象物计算部12根据本车信息和车外信息计算应注视的对象物(注视对象物)(步骤#03)。
另一方面，视线信息获取部13获取视线信息(步骤#04)。并且，眼球位置信息获取部14获取眼球位置信息(步骤#05)。注视点计算部15根据视线信息和眼球位置信息计算注视点(步骤#06)。
另外，对于步骤#01-步骤#03的处理和步骤#04-步骤#06的处理，也可以是，与步骤#01-步骤#03的处理相比先进行步骤#04-步骤#06的处理，也可以是，并列进行步骤#01-步骤#03的处理和步骤#04-步骤#06的处理。
判定部16根据注视对象物和注视点判定驾驶员是否注视注视对象物。当由判定部16判定为驾驶员正在注视注视对象物时(步骤#07：是)，通知部17限制通知(步骤#08)。另一方面，当由判定部16判定为驾驶员未注视注视对象物时(步骤#07：否)，通知部17进行通知(步骤#09)。步骤#08和步骤#09之后结束一连串的处理。警报装置1沿着这样的流程进行处理。
3.警报装置的利用方式
接着，对警报装置1的利用方式进行说明。另外，以下的利用方式只是示例，警报装置1的利用方式不限定于以下的示例。
3-1.关于车辆的死角的注视的利用方式
在车辆存在对于驾驶员来说难以视觉确认的区域(死角)。警报装置1能够利用于判定驾驶员是否注视这样的死角、以及与其判定结果对应的通知。此处，作为示例描述了本车右转进入泊车区域、狭窄的小巷等的情况。
在这种情况下，本车信息获取部10获取表示本车的转向盘的舵角的舵角信息、以及表示本车的车速的车速信息。并且，车外信息获取部11获取拍摄到的作为本车的死角的区域的拍摄图像。该拍摄图像既可以是只包含作为死角的区域的角落视图图像，也可以是包含作为死角的区域和其周围的周边视图图像。并且，车外信息获取部11获取表示在本车的周围是否存在物体的物体信息。该物体信息包含表示物体的位置的信息。注视对象物计算部12将作为死角的区域，即车辆的左前方作为注视对象(注视对象物)来计算。
视线信息获取部13获取驾驶员的视线信息，眼球位置信息获取部14获取驾驶员的眼球位置信息。注视点计算部15根据视线信息和眼球位置信息计算驾驶员的注视点。
判定部16判定驾驶员的注视点是否位于车辆的左前方。当判定部16的判定结果表示驾驶员的注视点位于车辆的左前方时，通知部17在驾驶员的视野内且不遮挡看向由物体信息表示的物体的视线的位置显示通过车外信息获取部11获取的拍摄到的作为本车的死角的区域的拍摄图像。
这样一来，警报装置1能够利用于如下那样的系统：用于在车辆的前方角部可能与任何物体接触的情况下，不将眼睛从作为死角的区域离开就可以视觉确认。在这样的利用方式中，在车辆以低速转弯时，能够对驾驶员看向与车辆转弯的方向相反的一侧的前方的视线进行检测，并显示拍摄到的作为死角的区域的图像。
3-2.关于车辆起动时的注视的利用方式
当车辆从停止的状态前进起动时，驾驶员应该注意前方。并且，也存在在车辆停止时，驾驶员无意地使制动踏板的踏力变弱，导致车辆起动的情况。警报装置1能够利用于在车辆起动时判定驾驶员是否注视前方、以及与其判定结果对应的通知。
在这种情况下，本车信息获取部10获取表示本车的车速的车速信息。并且，车外信息获取部11获取拍摄到的本车的前方的情况的拍摄图像。当根据车速信息确定车辆停止时，注视对象物计算部12将车辆的前方计算为注视对象(注视对象物)。
视线信息获取部13获取驾驶员的视线信息，眼球位置信息获取部14获取驾驶员的眼球位置信息。注视点计算部15根据视线信息和眼球位置信息计算驾驶员的注视点。
判定部16判定驾驶员的注视点是否位于车辆的前方。当判定部16的判定结果表示驾驶员的注视点不在车辆的前方的情况下，当车辆开始前进起动时，通知部17发出警报(例如发出警报音)。并且，也能够代替该警报，或者与警报一起，进行制动控制以使车辆的前进停止。
这样一来，警报装置1能够利用于如下那样的系统：当驾驶员在不看前方的状态下开始行动(包含无意识的行驶)时，发出警报、进行制动控制。
3-3.关于看向物体的视线的诱导的利用方式
车辆行驶过程中的驾驶员的疏忽驾驶(脇見運転)是非常危险的。警报装置1能够利用于唤起进行疏忽驾驶的驾驶员的注意。
在这种情况下，本车信息获取部10获取表示本车的转向盘的舵角的舵角信息、以及表示本车的车速的车速信息。并且，车外信息获取部11获取表示在本车的周围是否存在物体的物体信息。该物体信息包含表示物体的位置的信息。注视对象物计算部12将由物体信息表示的物体计算为注视对象物。
视线信息获取部13获取驾驶员的视线信息，眼球位置信息获取部14获取驾驶员的眼球位置信息。注视点计算部15根据视线信息和眼球位置信息计算驾驶员的注视点。
判定部16判定驾驶员的注视点是否位于车辆的前方的物体。当判定部16的判定结果表示驾驶员的注视点不位于车辆的前方的物体时，通知部17进行将驾驶员的视线方向从当前的方向向车辆的前方的物体的方向诱导的通知。作为这样的通知，既能够例如显示箭头以诱导视线来进行通知，也能够通过语音来进行通知。另外，箭头的显示优选在，例如挡风玻璃、侧玻璃、监视器、平视显示器、仪表显示器等上进行。
这样一来，警报装置1能够利用于如下那样的系统：当驾驶员疏忽时，在行驶方向上检测到作为障碍物的物体(例如其他车、人等)时，使驾驶员的视线的方向向物体存在的方向诱导。
3-4.关于通过驾驶员的视线进行的设备操作的利用方式
在车辆行驶的过程中，驾驶员将手从转向盘拿开来操作设备是危险的。警报装置1能够利用于如下那样的系统：驾驶员不将手从转向盘拿开就能够操作设备。
在这种情况下，通过语音进行操作，并且能够通过驾驶员的视线来进行该语音的操作的设备设于车内。因此，在本利用方式中，注视对象物相当于车内的设备。
视线信息获取部13获取驾驶员的视线信息，眼球位置信息获取部14获取驾驶员的眼球位置信息。注视点计算部15根据视线信息和眼球位置信息计算驾驶员的注视点。
判定部16判定驾驶员的注视点是否位于能够由车内的语音进行操作的设备预先设定的时间以上。当判定部16的判定结果表示驾驶员的注视点位于所述设备时，通知部17对所述设备指示允许由语音进行操作。由此，驾驶员能够不将手从转向盘拿开就进行设备的操作。
这样一来，根据警报装置1，能够容易地确认驾驶员对能够由语音进行操作的设备的操作意图。
3-5.关于对驾驶员提示信息的利用方式
在车辆的行驶过程中，存在驾驶员想了解车外的物体(例如建筑物等)是什么的情况，但是驾驶员不能将手从转向盘拿开来操作便携终端等进行查找。因此，警报装置1能够利用于如下那样的系统：能够对驾驶员存疑的物体的信息进行提示。
在这种情况下，本车信息获取部10获取表示本车的行驶方向、位置的位置信息。并且，车外信息获取部11获取本车行驶的周围的地图即地图信息。
视线信息获取部13获取驾驶员的视线信息，眼球位置信息获取部14获取驾驶员的眼球位置信息。注视点计算部15根据视线信息和眼球位置信息计算驾驶员的注视点。
此处，当驾驶员发出例如“那是什么”的疑问时，通知部17通知位于驾驶员的注视地点的物体(例如建筑物)的信息。该通知能够在例如挡风玻璃、监视器、平视显示器、仪表显示器等所表示的物体上重叠显示指标(例如框架)，用语音、显示通知该物体的信息。并且，也可以是，当判定为驾驶员正在注视除建筑物以外的道路标识、标志牌等时，通知该物体的信息。
这样一来，根据警报装置1，即使是驾驶员初次访问的场所，也能够容易地找到建筑物、商店，使不熟悉日本的道路标识的来自外国的访问者识别道路标识。
4.其他的实施方式
上述实施方式中，对以下内容进行了说明：判定部16设定包含在车外应注视的对象物的假想平面4上的注视区域6，当该注视区域6内包含注视点时，判定为驾驶员正在注视应注视的对象物。然而，判定部16也能够构成为不设定假想平面4和注视区域6地进行判定。
本发明能够用于根据车辆驾驶时的驾驶员的注视情况进行警报的警报装置。

Claims (13)

1.一种警报装置，具备：
本车信息获取部，该本车信息获取部获取表示本车的状态的本车信息；
车外信息获取部，该车外信息获取部获取表示所述本车的车外的情况的车外信息；
注视对象物计算部，该注视对象物计算部根据所述本车信息和所述车外信息计算所述本车的驾驶员应注视的对象物；
视线信息获取部，该视线信息获取部获取表示所述驾驶员的视线的方向的视线信息；
眼球位置信息获取部，该眼球位置信息获取部获取表示所述驾驶员的三维坐标上的眼球位置的眼球位置信息；
注视点计算部，该注视点计算部根据所述视线信息和所述眼球位置信息计算所述驾驶员正在注视的注视点；
判定部，该判定部根据所述应注视的对象物和所述注视点判定所述驾驶员是否注视所述应注视的对象物；以及
通知部，当判定为所述驾驶员未注视所述应注视的对象物时，该通知部进行通知。
2.如权利要求1所述的警报装置，其中，
所述注视点计算部计算所述本车的车外的注视点。
3.如权利要求1或2所述的警报装置，其中，
所述判定部设定假想平面上的注视区域，所述假想平面包含在所述车外应注视的所述应注视的对象物，当在该注视区域内包含所述注视点时，判定为所述驾驶员正在注视所述应注视的对象物。
4.如权利要求1至3中任一项所述的警报装置，其中，
当根据所述本车信息推定出所述本车在道路上顺利地行驶时，所述注视对象物计算部将信号灯或者道路标识计算为所述驾驶员应注视的所述应注视的对象物。
5.如权利要求1至3中任一项所述的警报装置，其中，
当信号灯从红灯信号变为绿灯信号而所述本车起动时，所述注视对象物计算部将在所述本车的周围通行的人、在所述本车的周围通行的自行车、以及在所述本车的周围通行的其他车中的至少一个计算为所述应注视的对象物。
6.如权利要求1至3中任一项所述的警报装置，其中，
所述通知部对所述驾驶员未注视所述应注视的对象物的情况进行通知。
7.如权利要求1至5中任一项所述的警报装置，其中，
所述通知部通知所述驾驶员以督促注视所述应注视的对象物。
8.如权利要求1至7中任一项所述的警报装置，其中，
所述通知部对表示所述应注视的对象物是什么的信息进行通知。
9.如权利要求1至8中任一项所述的警报装置，其中，
在所述驾驶员的所述注视点不位于前方的情况下，当所述本车开始前进起动时，所述通知部发出警报。
10.如权利要求9所述的警报装置，其中，
所述通知部使所述本车的前进停止。
11.如权利要求1至10中任一项所述的警报装置，其中，
当所述判定部判定所述驾驶员的所述注视点是否位于所述本车的前方的对象物，且当判定结果表示所述驾驶员的所述注视点不位于所述本车的前方的所述应注视的对象物时，
所示通知部进行如下那样的通知：将所述驾驶员的视线的方向从当前的方向向所述本车的前方的所述应注视的对象物的方向诱导。
12.如权利要求1至11中任一项所述的警报装置，其中，
所述通知部显示箭头以诱导所述驾驶员的所述视线。
13.如权利要求1至3中任一项所述的警报装置，其中，
当想了解位于所述驾驶员的注视地点的对象物是什么时，所述通知部对位于所述驾驶员的所述注视地点的对象物的信息进行通知。
CN201910267906.2A 2018-04-04 2019-04-03 警报装置 Pending CN110348281A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018072539A JP2019185218A (ja) 2018-04-04 2018-04-04 警報装置
JP2018-072539 2018-04-04

Publications (1)

Publication Number Publication Date
CN110348281A true CN110348281A (zh) 2019-10-18

Family

ID=67991683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910267906.2A Pending CN110348281A (zh) 2018-04-04 2019-04-03 警报装置

Country Status (4)

Country Link
US (1) US10632912B2 (zh)
JP (1) JP2019185218A (zh)
CN (1) CN110348281A (zh)
DE (1) DE102019108772A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292548A (zh) * 2020-02-06 2020-06-16 温州大学 一种基于视觉注意力的安全驾驶方法
CN113570901A (zh) * 2020-04-27 2021-10-29 北京七鑫易维信息技术有限公司 车辆驾驶的辅助方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354913B1 (en) * 2019-11-27 2022-06-07 Woven Planet North America, Inc. Systems and methods for improving vehicle predictions using point representations of scene
CN113696897B (zh) * 2020-05-07 2023-06-23 沃尔沃汽车公司 驾驶员分神预警方法和驾驶员分神预警系统
US11651692B2 (en) 2021-10-07 2023-05-16 Qualcomm Incorporated Presenting relevant warnings to a vehicle operator

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3324295B2 (ja) * 1994-09-26 2002-09-17 日産自動車株式会社 車両用視線方向計測装置
JP3785669B2 (ja) 1996-03-05 2006-06-14 日産自動車株式会社 視線方向計測装置
JP2007094618A (ja) * 2005-09-28 2007-04-12 Omron Corp 通知制御装置および方法、記録媒体、並びに、プログラム。
US7889244B2 (en) * 2005-12-27 2011-02-15 Panasonic Corporation Image processing apparatus
JP5974915B2 (ja) * 2013-01-29 2016-08-23 株式会社デンソー 覚醒度検出装置、および覚醒度検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292548A (zh) * 2020-02-06 2020-06-16 温州大学 一种基于视觉注意力的安全驾驶方法
CN113570901A (zh) * 2020-04-27 2021-10-29 北京七鑫易维信息技术有限公司 车辆驾驶的辅助方法及装置

Also Published As

Publication number Publication date
US20190308554A1 (en) 2019-10-10
DE102019108772A1 (de) 2019-10-10
JP2019185218A (ja) 2019-10-24
US10632912B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
CN110348281A (zh) 警报装置
CN108369780B (zh) 视觉认知援助系统以及视认对象物的检测系统
US9248796B2 (en) Visually-distracted-driving detection device
CN105620489B (zh) 驾驶辅助系统及车辆实时预警提醒方法
JP7288326B2 (ja) 自動運転システム
JP5160564B2 (ja) 車両情報表示装置
US9443429B2 (en) Optimum gaze location on full windscreen display
KR20120037253A (ko) 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
JP2017033542A (ja) 情報表示装置
JP6218618B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
JP2008046744A (ja) 接近移動体表示装置、システム及び方法
CN107408338A (zh) 驾驶员辅助系统
JP2008070955A (ja) 移動体を表示するための表示システム、車載装置、画像送信装置及び表示方法
WO2018150676A1 (ja) 運転切替支援装置、及び運転切替支援方法
WO2018150677A1 (ja) 運転切替支援装置、及び運転切替支援方法
KR101281629B1 (ko) 센서를 이용한 운전 안내 시스템
CN109285372A (zh) 用于运行驾驶员辅助系统的方法和设备和驾驶员辅助系统
JP4502844B2 (ja) 警告装置及び警告方法
JP2018100008A (ja) 車両用表示装置
CN110539638A (zh) 一种交通设备辅助驾驶的方法及装置
WO2018003278A1 (ja) 車両挙動判定装置、コンピュータプログラム及び車両挙動判定方法
JP2008046761A (ja) 移動体画像処理システム、装置及び方法
JP7376996B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
KR20130055105A (ko) 차선 안내 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan's Asahi 2 chome 1 GA

Applicant before: AISIN SEIKI Kabushiki Kaisha

CB02 Change of applicant information