CN114987458A - 驾驶辅助装置、驾驶辅助方法以及记录介质 - Google Patents
驾驶辅助装置、驾驶辅助方法以及记录介质 Download PDFInfo
- Publication number
- CN114987458A CN114987458A CN202210137954.1A CN202210137954A CN114987458A CN 114987458 A CN114987458 A CN 114987458A CN 202210137954 A CN202210137954 A CN 202210137954A CN 114987458 A CN114987458 A CN 114987458A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- driver
- degree
- collision
- familiarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013459 approach Methods 0.000 claims abstract description 109
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000035484 reaction time Effects 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 15
- 238000005259 measurement Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种驾驶辅助装置、驾驶辅助方法以及记录介质。该驾驶辅助装置具有:存储部(22),其对表示车辆(2)的驾驶员的对环境的熟悉程度的信息进行存储;检测部(32),其基于由被搭载于车辆(2)上的传感器(12)所得到的表示车辆(2)的周围的状况的传感器信号,从而对存在于车辆(2)的周围的物体进行检测;接近判定部(33),其对物体是否接近到具有与车辆(2)发生碰撞的可能性的程度进行判定;报知部(34),其在被判定为物体接近到具有与车辆(2)发生碰撞的可能性的程度的情况下,在与车辆(2)的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在车辆(2)上的通知设备(14)而向驾驶员报知该接近。
Description
技术领域
本发明涉及一种在车辆的行驶中在检测到某些危险时,唤起驾驶员对该危险的注意的驾驶辅助装置、驾驶辅助方法以及驾驶辅助用计算机程序。
背景技术
已提出有一种在车辆的行驶中在检测到某些危险时,唤起驾驶员对该危险的注意的技术(参照日本特开2015-219531号公报)。
在日本特开2015-219531号公报所公开的技术中,基于由对本车辆的周围所存在的物体和本车辆的距离进行检测的周围传感器所获得的检测结果,从而对本车辆和物体是否为小于预定距离地接近或接触的接近状态进行判定。并且,在被判定为处于接近状态的情况下,将该情况的主旨报知给本车辆的驾驶员。
发明内容
如果关于物体向本车辆的接近的报知的时机过早,则存在让驾驶员感到厌烦的情况。相反地,如果关于物体向本车辆的接近的报知的时机过晚,则存在让驾驶员产生焦躁,以致驾驶员无法适当地执行用于避免与该接近的物体的碰撞的车辆的操作的可能性。
因此,本发明的目的在于,提供一种能够在适当的时机向车辆的驾驶员报知物体向车辆的接近的驾驶辅助装置。
根据一个实施方式,提供了一种驾驶辅助装置。该驾驶辅助装置具有:存储部,其对表示车辆的驾驶员的对环境的熟悉程度的信息进行存储;检测部,其基于由被搭载于车辆上的传感器所得到的表示车辆的周围的状况的传感器信号,从而对存在于车辆的周围的物体进行检测;接近判定部,其对物体是否接近到具有与车辆发生碰撞的可能性的程度进行判定;报知部,其在被判定为物体接近到具有与车辆发生碰撞的可能性的程度的情况下,在与车辆的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在车辆上的通知设备而向驾驶员报知该接近。
在该驾驶辅助装置中,优选为,接近判定部在判定为物体接近到具有与车辆发生碰撞的可能性的程度的情况下,对直至该碰撞为止的预测时间进行计算,报知部在预测时间成为驾驶员的对环境的熟悉程度越高则被设定得越短的表示报知的时机的时间阈值以下的情况下,向驾驶员报知该接近。
在这种情况下,优选为,表示驾驶员的对环境的熟悉程度的信息包括驾驶员的居住地以及该居住地处的驾驶员的居住年数,报知部在被判定为物体接近到具有与车辆发生碰撞的可能性的程度时的车辆的位置为驾驶员的居住地的情况下,驾驶员的居住年数越长,则将时间阈值设定得越短。
进一步地,优选为,报知部将被判定为物体接近到具有与车辆发生碰撞的可能性的程度时的车辆的位置为驾驶员的居住地的情况下的时间阈值设定得短于该位置不是驾驶员的居住地的情况下的时间阈值。
此外,在该驾驶辅助装置中,优选为,表示驾驶员的对环境的熟悉程度的信息包括每个预定的区域或者预定的道路区间的驾驶员的行驶次数,包含被判定为物体接近到具有与车辆发生碰撞的可能性的程度时的车辆的位置的区域或者道路区间中的驾驶员的行驶次数越多,则报知部将时间阈值设定得越短。
优选为,该驾驶辅助装置还具有学习部,所述学习部对从向驾驶员报知了接近到具有与车辆发生碰撞的可能性的程度的物体的接近之后起直至驾驶员实施用于避免碰撞的车辆的操作为止的反应时间进行记录,并根据该反应时间、和被判定为物体接近到具有与车辆发生碰撞的可能性的程度时的车辆的位置处的驾驶员的对环境的熟悉程度,从而对报知的时机进行学习。
根据另一个方式,提供了一种驾驶辅助方法。该驾驶辅助方法包括如下内容,即:基于由被搭载于车辆上的传感器所得到的表示车辆的周围的状况的传感器信号,从而对存在于车辆的周围的物体进行检测,对物体是否接近到具有与车辆发生碰撞的可能性的程度进行判定,在被判定为物体接近到具有与车辆发生碰撞的可能性的程度的情况下,在与被存储于存储部中的车辆的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在车辆上的通知设备而向驾驶员报知该接近。
根据又一个方式,提供了一种用于使被搭载于车辆上的处理器予以执行的驾驶辅助用计算机程序。该驾驶辅助用计算机程序包括用于使被搭载于车辆上的处理器执行如下处理的命令,所述处理为,基于由被搭载于车辆上的传感器所得到的表示车辆的周围的状况的传感器信号,从而对存在于车辆的周围的物体进行检测,对物体是否接近到具有与车辆发生碰撞的可能性的程度进行判定,在被判定为物体接近到具有与车辆发生碰撞的可能性的程度的情况下,在与被存储于存储部中的车辆的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在车辆上的通知设备而向驾驶员报知该接近。
本发明所涉及的驾驶辅助装置起到了能够在适当的时机向车辆的驾驶员报知物体向车辆的接近这样的效果。
附图说明
图1为包括驾驶辅助装置在内的驾驶辅助系统的概要结构图。
图2为被安装有驾驶辅助装置的车辆的概要结构图。
图3为作为驾驶辅助装置的一个实施方式的电子控制装置的硬件结构图。
图4为与驾驶辅助处理相关的电子控制装置的处理器的功能框图。
图5A为表示驾驶员的对环境的熟悉程度与关于物体的接近的报知时机之间的关系的一个示例的图。
图5B为表示驾驶员的对环境的熟悉程度与关于物体的接近的报知时机之间的关系的一个示例的图。
图6为电子控制装置中的驾驶辅助处理的动作流程图。
图7为服务器的硬件结构图。
图8为与学习处理相关的服务器的处理器的功能框图。
具体实施方式
以下,在参照附图的同时,对驾驶辅助装置、在驾驶辅助装置中被执行的驾驶辅助方法及驾驶辅助用计算机程序、以及包括驾驶辅助装置在内的驾驶辅助系统进行说明。该驾驶辅助装置在检测到与车辆接近的物体时,会向驾驶员报知该接近。此时,该驾驶辅助装置通过基于表示驾驶员的对环境的熟悉程度的信息来决定向驾驶员报知该接近的时机,从而能够在适当的时机下向驾驶员报知物体向车辆的接近。
图1为,包括驾驶辅助装置在内的驾驶辅助系统的概要结构图。在本实施方式中,驾驶辅助系统1被搭载于车辆2上,并且具有作为驾驶辅助装置的一个示例的电子控制装置(ECU)3、和服务器4。ECU3例如通过接入经由网关(未图示)等而与服务器4所连接的通信网络5相连接的无线基站6,从而以能够经由无线基站6以及通信网络5而与服务器4进行通信的方式被连接。另外,虽然在图1中仅图示出了一个车辆2以及一个ECU3,但是驾驶辅助系统1也可以具有多个车辆2以及被安装在多个车辆2的每一个上的ECU3。同样地,也可以使多个无线基站6与通信网络5相连接。此外,服务器4例如能够设为,在有效利用大数据等先进技术的智慧城市或者网联城市中被利用于交通管理的服务器。
ECU3在检测到与车辆2接近、且具有与车辆2发生碰撞的危险性的物体(例如,行人或其他车辆)时,在根据车辆2的驾驶员的环境的熟悉程度而设定的时机下向驾驶员报知该接近。在本实施方式中,驾驶员的环境的熟悉程度与物体向车辆2的接近的报知的时机之间的关系由服务器4来学习,并通过被通知给车辆2的ECU3从而被更新。因此,服务器4将与表示驾驶员的对环境的熟悉程度的信息一起而从车辆2的ECU3中取得从物体向车辆2的接近的报知起至驾驶员开始进行为了避免碰撞的车辆2的操作为止的反应时间。服务器4在接收到预定数量的表示该反应时间和熟悉程度的信息的组时,基于这些组,从而对与熟悉程度相应的物体向车辆2的接近的报知的时机进行学习。
图2为,被安装有驾驶辅助装置的车辆2的概要结构图。在本实施方式中,车辆2具有:GPS接收器11、用于对车辆2的周围进行拍摄的摄像机12、用于对车辆2的驾驶员进行拍摄的驾驶员监视摄像机13、通知设备14、无线通信终端15、和作为驾驶辅助装置的一个示例的ECU3。GPS接收器11、摄像机12、驾驶员监视摄像机13、通知设备14以及无线通信终端15与ECU3经由遵照控制器局域网这样的标准的车内网络从而以能够通信的方式被连接在一起。
GPS接收器11为位置测量部的一个示例,其按照每个预定的周期而接收来自GPS卫星的GPS信号,并基于所接收到的GPS信号从而对车辆2的自身位置进行定位。而且,GPS接收器11按照每个预定的周期经由车内网络而向ECU3输出表示基于GPS信号的车辆2的自身位置的定位结果的定位信息。另外,车辆2也可以具有GPS接收器11以外的遵照卫星定位系统的接收器。在这种情况下,该接收器只要对车辆2的自身位置进行定位即可。
摄像机12为,取得表示车辆2的周围的状况的传感器信号的传感器部的一个示例。摄像机12具有由CCD或者C-MOS等、对可见光具有灵敏度的光电转换元件的阵列所构成的二维检测器、和对在该二维检测器上成为拍摄对象的区域的像进行成像的成像光学系统。而且,摄像机12以对车辆2的周围的预定的拍摄区域、例如车辆2的前方区域或者后方区域进行拍摄的方式被安装在车辆2上。摄像机12按照每个预定的拍摄周期(例如1/30秒~1/10秒)来对拍摄区域进行拍摄,并生成映现出该拍摄区域的图像。所生成的图像为,传感器信号的一个示例。另外,也可以在车辆2上设置有拍摄方向或者焦点距离不同的多个摄像机12。
摄像机12每当生成图像时,便经由车内网络而向ECU3输出该生成的图像。
驾驶员监视摄像机13与摄像机12同样地具有由CCD或者C-MOS等、对可见光或者红外光具有灵敏度的光电转换元件的阵列所构成的二维检测器、和对在该二维检测器上成为拍摄对象的区域的像进行成像的成像光学系统。驾驶员监视摄像机13也可以进一步具有红外LED这样的用于对驾驶员进行照明的光源。而且,驾驶员监视摄像机13以使落座于车辆2的驾驶员座椅上的驾驶员的头部被包括在其拍摄对象区域中的方式、也就是以能够对驾驶员的头部进行拍摄的方式,而朝向驾驶员地被安装在例如仪表板或其附近处。而且,驾驶员监视摄像机13按照每个预定的拍摄周期(例如1/30秒~1/10秒)而对驾驶员进行拍摄,并生成映现出驾驶员的图像(以下,称为驾驶员图像)。由驾驶员监视摄像机13获得的驾驶员图像既可以为彩色图像,或者也可以为灰色图像。驾驶员监视摄像机13每当生成驾驶员图像时,便经由车内网络而向ECU3输出该生成的驾驶员图像。
通知设备14为,被设置在车辆2的车厢内,并且以光、语音、文字显示或者图像显示方式而向驾驶员实施预定的通知的设备。因此,通知设备14具有例如扬声器、光源或者显示装置中的至少任意一种。而且,通知设备14在从ECU3接收到对物体向车辆2的接近进行警告的通知时,将通过来自扬声器的语音、光源的发光或闪烁、或者由显示装置实施的警告消息或警告图标的显示,从而向驾驶员报知该接近。
无线通信终端15为通信部的一个示例,并且执行遵照预定的无线通信标准的无线通信处理。在本实施方式中,无线通信终端15在从ECU3接收到表示驾驶员的对环境的熟悉程度的信息以及表示驾驶员的反应时间的信息时,将生成包含这些信息在内的上行链路(uplink)的无线信号,并将所生成的无线信号向无线基站6进行发送。此外,无线通信终端15从无线基站6接收包含表示驾驶员的对环境的熟悉程度和物体向车辆2的接近的报知的时机之间的关系的信息在内的下行链路(downlink)的无线信号,并将该信息送至ECU3。
ECU3对驾驶员的驾驶进行辅助。在本实施方式中,ECU3基于通过摄像机12而获得的图像来对向车辆2接近的物体进行检测,并经由通知设备14而向驾驶员报知该接近。
图3为,ECU3的硬件结构图。如图3所示那样,ECU3具有通信接口21、存储器22和处理器23。通信接口21、存储器22以及处理器23既可以作为单独的电路而被构成,或者也可以作为一个集成电路而被一体构成。
通信接口21具有用于将ECU3与车内网络相连接的接口电路。而且,通信接口21每当从GPS接收器11接收到定位信息时,便将该定位信息送至处理器23。此外,通信接口21每当从摄像机12接收到图像时,便将该图像送至处理器23。同样地,通信接口21每当从驾驶员监视摄像机13接收到驾驶员图像时,便将该驾驶员图像送至处理器23。进一步地,通信接口21在从无线通信终端15接收到表示驾驶员的对环境的熟悉程度和物体向车辆2的接近的报知的时机之间的关系的信息时,会将该信息送至处理器23。另外,通信接口21在从处理器23接收到对物体向车辆2的接近进行警告的通知时,会向通知设备14输出该通知。另外,通信接口21在从处理器23接收到表示自物体向车辆2的接近的报知起由驾驶员产生的反应时间以及驾驶员的对环境的熟悉程度的信息时,将向无线通信终端15输出这些信息。
存储器22为存储部的一个示例,并且例如具有易失性的半导体存储器以及非易失性的半导体存储器。而且,存储器22对在由ECU3的处理器23所执行的驾驶辅助处理中被使用的各种算法以及各种数据进行存储。例如,存储器22对被利用于根据从摄像机12接收到的图像的物体的检测、以及被检测到的物体是否向车辆2接近的判定中的各种参数等进行存储。此外,存储器22对驾驶员的识别编号以及面部图像这样的用于对驾驶员进行识别的识别信息、表示驾驶员的对环境的熟悉程度的熟悉程度信息、以及表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的信息进行存储。另外,驾驶员的识别信息以及熟悉程度信息按照针对车辆2而被登记的每个驾驶员而被存储在存储器22中。进一步地,存储器22临时性地对定位信息、图像、驾驶员图像、以及在驾驶辅助处理的中途所生成的各种数据进行存储。
在本实施方式中,熟悉程度信息例如能够设为驾驶员在当前居住的地域中的居住年数。这是因为,可设想为居住年数越长,则驾驶员在该地域中对驾驶越熟悉的缘故。在这种情况下,表示驾驶员的居住地以及居住年数的信息例如在驾驶员被登记至车辆2中时,经由被设置在车辆2的车厢内的用户界面(未图示)而被输入,并被保存在存储器22中。另外,驾驶员的居住地例如被规定为,以驾驶员所居住的住址为中心的预定的区域(例如,半径几km的圆形区域)或者包括其住址在内的预定的行政区划(例如,市、街、村中的任意一个)。此外,熟悉程度信息并不限于上述的示例,也可以为每个预定的区域或者每个道路的预定的区间的行驶次数。在这种情况下,在存储器22中,针对被登记的各个驾驶员而被存储有按照每个预定的区域或每个道路的预定的区间来表示行驶次数的计数器。而且,处理器23只需每当车辆2在任意一个区域或者道路区间内进行行驶时,参照定位信息以及地图信息而对该行驶的区域或者道路区间进行特别指定,并针对处于驾驶中的驾驶员而将特别指定的区域或者道路区间的计数器的值增加1即可。进一步地,也可以在驾驶员被登记于车辆2中时,将通过驾驶员监视摄像机13而拍摄到的表示该驾驶员的面部的驾驶员图像作为该驾驶员的面部图像而保存在存储器22中。在下文中,有时会将被登记在车辆2中的驾驶员称为登记驾驶员。
此外,表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的初始信息,例如在车辆2出厂时被存储在存储器22中。在从服务器4接收到表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的信息之前,只需根据该初始信息来设定报知的时机即可。而且,当ECU3从服务器4接收到表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的信息时,只需以接收到的信息来对上述的初始信息进行更新即可。在此之后,只需根据被更新了的表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的信息来对报知的时机进行设定即可。
处理器23具有一个或者多个CPU(CentralProcessingUnit:中央处理器)及其周边电路。处理器23也可以进一步具有逻辑运算单元、数值运算单元或者图形处理单元这样的其他运算电路。而且,处理器23执行驾驶辅助处理。
图4为,与驾驶辅助处理相关的处理器23的功能框图。处理器23具有识别部31、检测部32、接近判定部33、报知部34和反应时间通知部35。处理器23所具有的这些各部分例如为,通过在处理器23上进行工作的计算机程序而被实现的功能模块。或者,处理器23所具有的这些各部分也可以为,被设置在处理器23中的专用的运算电路。
识别部31基于驾驶员图像从而对驾驶员进行识别。因此,识别部31例如对在车辆2的点火开关被开启以后从驾驶员监视摄像机13中得到的驾驶员图像、和被存储于存储器22中的各个登记驾驶员的面部图像进行对照。识别部31只需根据被利用于对图像中所表示的面部进行对照的面部认证方法中的任意一种来对驾驶员图像和各个登记驾驶员的面部图像进行对照即可。例如,识别部31使用模板匹配或识别器从而从驾驶员图像中对面部的各个特征点(例如,内眼角、外眼角、鼻尖点、嘴角点)进行检测,并且对表示所检测到的特征点间的位置关系的信息进行计算。然后,识别部31只需通过将表示所计算出的位置关系的信息和表示从各个登记驾驶员的面部图像中同样检测到的特征点间的位置关系的信息进行比较,从而对与驾驶员图像中所表示的面部最类似的面部图像进行判定即可。然后,识别部31将与被判定为和驾驶员监视图像中所表示的面部最类似的面部图像相对应的登记驾驶员识别作为正在驾驶车辆2的驾驶员。
识别部31将处于驾驶中的驾驶员的识别编号通知给报知部34。另外,处于驾驶中的驾驶员只需被识别一次即可。因此,当处于驾驶中的驾驶员的识别编号被通知给报知部34时,识别部31的处理也可以不再执行,直至车辆2的点火开关在被关闭之后再次被开启为止。
检测部32每当ECU3从摄像机12中接收到图像时,便根据该图像而对位于车辆2的周围的成为检测对象的物体进行检测。在本实施方式中,成为检测对象的物体为具有与车辆2发生碰撞的危险的物体,例如为其他车辆或行人这样的移动物体、以及护栏、电线杆或道路上的落下物这样的存在于车辆2所行驶的道路上或其周围的结构物。在下文中,有时会将成为检测对象的物体仅称为物体或者对象物体。
检测部32例如通过将图像输入至识别器中,从而对图像中所表示的对象物体进行检测。作为这样的识别器,检测部32能够使用基于AI或者人工智能技术的识别器、特别是基于机器学习或深度学习的识别器。更具体而言,在检测部32中,作为识别器而能够使用基于所谓的神经网络的识别器、例如SingleShotMultiBoxDetector或FasterR-CNN这样的具有卷积神经网络型(CNN)的架构的深度神经网络(DNN)。或者,检测部32也可以使用AdaBoost识别器这样的、基于其他机器学习方法的识别器。这样的识别器利用大量的示教图像这样的大数据来实施预先学习,以便从图像中对成为检测对象的物体进行检测。
识别器输出表示被检测到的物体所表示的区域(以下,称为物体区域)的信息。例如,识别器作为这样的信息而输出将物体区域包围起来的外接矩形。因此,检测部32针对被检测到的物体中的每一个而将表示物体区域的信息送至接近判定部33。
根据改变例,也可以在车辆2上设置有针对每个方位而对距存在于车辆2的周围的物体的距离进行测量并输出表示该测量结果的测距信号的距离传感器(未图示)。在这种情况下,检测部32也可以基于来自该距离传感器的测距信号,从而对存在于车辆2的周围的物体进行检测。另外,距离传感器成为取得表示车辆的周围的状况的传感器信号的传感器的另一个示例,测距信号成为传感器信号的另一个示例。在这种情况下,检测部32只需通过以根据测距信号来对车辆2的周围的物体进行检测方式将测距信号输入到被实施了预先学习的识别器中,从而对车辆2的周围的物体进行检测即可。或者,检测部32也可以按照根据测距信号来对物体进行检测的其他方法,从而对车辆2的周围的物体进行检测。在这种情况下,检测部32将针对被检测到的物体中的每一个而将表示该物体的方位以及距离的信息送至接近判定部33。
接近判定部33针对通过检测部32而被检测到的物体的每一个,从而对其是否接近到具有与车辆2发生碰撞的危险的程度进行判定。为此,接近判定部33通过对由检测部32所检测到的物体的每一个进行追踪,从而对直至预定时间前为止的该物体所通过的轨迹进行预测。接近判定部33针对处于追踪中的物体的每一个,从而对将来的各个时间点下的、预测的轨迹上的位置(以下,有时会称为预测位置)处的该物体与车辆2的预测位置之间的距离进行计算。然后,接近判定部33在针对处于追踪中的任意一个物体而言在任意一个时间点下距车辆2的预测位置的距离均成为预定的阈值以下的情况下,判定为该处于追踪中的物体接近到了具有与车辆2发生碰撞的危险的程度。在下文中,将从当前时刻起直至该处于追踪中的物体的预测位置和车辆2的预测位置之间的距离成为预定的阈值以下为止的预测时间称为碰撞预测时间。
在这种情况下,接近判定部33通过将Lucas-Kanade法这样的基于光流的追踪处理应用于由摄像机12获得的最新的图像中所着眼的物体区域以及过去的图像中的物体区域,从而对该物体区域中所表示的物体进行追踪。因此,接近判定部33例如通过将SIFT或者Harris算子这样的特征点提取用的滤波器应用于所着眼的物体区域中,从而从该物体区域中提取多个特征点。然后,接近判定部33只需通过针对多个特征点的每一个而根据所应用的追踪方法来对与过去的图像中的物体区域中的相对应的点进行特别指定,从而对光流进行计算即可。或者,接近判定部33也可以通过将被应用于从图像检测到的移动物体的追踪中的其他追踪方法应用于最新的图像中的所着眼的物体区域以及过去的图像中的物体区域,从而对该物体区域中所表示的物体进行追踪。
接近判定部33通过针对处于追踪中的各个物体而使用摄像机12的光轴方向、焦点距离以及设置高度等信息来执行视点转换处理,从而将该物体的图像内坐标转换为以摄像机12的位置为基准的鸟瞰图像上的坐标(鸟瞰坐标)。然后,接近判定部33针对根据追踪过程中所获得的一系列图像而得到的各个鸟瞰坐标,从而使用获得这些一系列图像时的车辆2的位置来执行使用了KalmanFilter(卡尔曼滤波)或Particlefilter(粒子滤波)等的预测处理。由此,接近判定部33能够对该物体的直至预定时间前为止的预测轨迹进行推断。另外,各个图像取得时的车辆2的位置例如能够设为该图像被取得时的定位信息中所表示的车辆2的位置。或者,各个图像取得时的车辆2的位置也可以通过对该图像和地图信息进行对照并求取该图像中所表示的各个地上物与地图信息中所表示的相对应的地上物最一致的车辆2的位置,从而被推断出来。
此外,在基于测距信号而检测到物体的情况下,接近判定部33只要通过基于各个测距信号取得时的车辆2的位置和各个测距信号中的从车辆2起至该物体的方位以及距离来执行预测处理,从而对该物体的预测轨迹进行推断即可。
进一步地,接近判定部33只要基于最近的预定期间中的车辆2的横摆率、车速以及加速度来对直至预定时间前为止的各个时间点下的车辆2的预测位置进行计算即可。另外,ECU3只要从被搭载于车辆2上的横摆率传感器(未图示)、车速传感器(未图示)以及加速度传感器(未图示)中取得车辆2的横摆率、车速以及加速度即可。
根据改变例,有时ECU3会以沿着车辆2所位于的车道(以下,称为本车道)进行行驶的方式对车辆2的各部进行控制。在这样的情况下,接近判定部33也可以在处于追踪中的任意一个物体位于本车道上、且位于车辆2的前方的情况下,判定为该物体接近到具有与车辆2发生碰撞的危险的程度。在这种情况下,接近判定部33只要通过将距该物体的距离的推断值除以车辆2的当前的车速,从而对碰撞预测时间进行计算即可。
接近判定部33在针对处于追踪中的任意一个物体而判定为该处于追踪中的物体接近到具有与车辆2发生碰撞的危险的程度的情况下,将该判定结果通知给报知部34。进一步地,接近判定部33将碰撞预测时间通知给报知部34。
报知部34在从接近判定部33接收到处于追踪中的任意一个物体接近到具有与车辆2发生碰撞的危险的程度的这一判定结果时,从存储器22中读取表示与驾驶员的对环境的熟悉程度相应的、物体向车辆2的接近的报知的时机的时间阈值。另外,表示驾驶员的对环境的熟悉程度和时间阈值之间的关系的信息为,上述的表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的信息的一个示例。此时,报知部34根据从识别部31通知的驾驶员的识别信息来读取表示该驾驶员的对环境的熟悉程度的信息。
如上文所述,在表示驾驶员的对环境的熟悉程度的信息为驾驶员的居住地以及居住年数的情况下,报知部34对由从GPS接收器11接收到的定位信息所特别指定的车辆2的当前位置是否为驾驶员的居住地进行判定。然后,报知部34在车辆2的当前位置为驾驶员的居住地的情况下,从存储器22中读取与驾驶员的居住年数相应的时间阈值。另一方面,在车辆2的当前位置并非为驾驶员的居住地的情况下,报知部34从存储器22中读取相当于驾驶员的居住地之外的时间阈值。另外,被设想为,居住年数越长,则驾驶员对在其居住地周边的车辆2的驾驶越熟悉,并且其对物体向车辆2的接近的报知的反应也越快。因此,在表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的初始信息中,居住年数越长,则时间阈值被设定得越短。此外,在车辆2的当前位置并非为驾驶员的居住地的情况下,具有驾驶员对在车辆2的当前位置附近的车辆2的驾驶并不熟悉的可能性。因此,车辆2的当前位置并非为驾驶员的居住地的情况下的时间阈值被设定得长于车辆2的当前位置为驾驶员的居住地的情况下的时间阈值。
此外,在表示驾驶员的对环境的熟悉程度的信息为针对每个预定的区域或者针对每个道路的预定的区间的行驶次数的情况下,报知部34从存储器22中读取与包括车辆2的当前位置在内的区域或者道路区间有关的行驶次数。然后,报知部34从存储器22中读取与该行驶次数相对应的时间阈值。在这种情况下,被设想为,与包括车辆2的当前位置在内的区域或者道路区间有关的行驶次数越多,则驾驶员对在车辆2的当前位置附近的车辆2的驾驶越熟悉,并且其对物体向车辆2的接近的报知的反应也越快。因此,在表示驾驶员的对环境的熟悉程度和物体的接近的报知的时机之间的关系的初始信息中,行驶次数越多,则时间阈值被设定得越短。
报知部34将碰撞预测时间与读取到的时间阈值进行比较。然后,报知部34在碰撞预测时间为时间阈值以下的情况下,通过向通知设备14输出对物体向车辆2的接近进行警告的通知,从而向驾驶员报知该接近。另一方面,在碰撞预测时间与时间阈值相比较长的情况下,报知部34并不向驾驶员报知物体向车辆2的接近。由此,报知部34能够在确保驾驶员充分地应对物体向车辆2的接近的时间的同时,抑制该接近的报知过早而使驾驶员感到厌烦的情况。
图5A以及图5B为,分别表示驾驶员的对环境的熟悉程度和关于物体的接近的报知时机之间的关系的一个示例的图。在图5A以及图5B中,横轴表示时间。此外,设为在图5A中示出的碰撞预测时间Tp的长度与在图5B中示出的碰撞预测时间Tp的长度相等。
在图5A中,图示出了驾驶员对环境较为熟悉的情况。在该示例中,由于驾驶员对环境较为熟悉,因此时间阈值Thm被设定得相对较短,因此,使得碰撞预测时间Tp与时间阈值Thm相比而较长。因此,在当前时刻t下,并不会报知物体的接近。然后,根据当前时刻之后的物体的举动,如果碰撞预测时间Tp缩短到成为时间阈值Thm以下,则在该时间点下向驾驶员报知物体的接近。另一方面,根据当前时刻之后的物体的举动,如果该物体与车辆2的碰撞没有被预测到,则在结果上该物体的接近将原样保持而不报知给驾驶员,从而不用实施对于驾驶员来说无用的报知。
在图5B中,图示出了驾驶员对环境并不熟悉的情况。在该示例中,由于驾驶员对环境并不熟悉,因此时间阈值Thm被设定得相对较长,因此,使得碰撞预测时间Tp与时间阈值Thm相比而较短。因此,在当前时刻t下,会向驾驶员报知物体的接近。在该示例中,由于即使碰撞预测时间Tp相对较长也会向驾驶员报知物体的接近,因此即使驾驶员对环境并不熟悉,也充分地确保了驾驶员应对该物体的接近的时间。
反应时间通知部35对从报知物体向车辆2的接近起至驾驶员实施用于避免与该物体的碰撞的操作为止的反应时间(以下,有时仅称为反应时间)进行计测。用于避免碰撞的操作为,例如用于使车辆2减速的制动器的操作、或者用于对车辆2的前进路线进行变更的转向装置的操作。然后,反应时间通知部35将表示该反应时间、以及报知物体向车辆2的接近时的车辆2的位置处的驾驶员的对环境的熟悉程度的信息经由无线通信终端15而向服务器4进行发送。
图6为,ECU3中的驾驶辅助处理的动作流程图。ECU3的处理器23每当从摄像机12接收到图像时,便根据以下的动作流程图来执行驾驶辅助处理。
处理器23的检测部32每当ECU3从摄像机12接收到图像时,便从该图像中,对位于车辆2的周围的成为检测对象的物体进行检测(步骤S101)。
处理器23的接近判定部33通过针对被检测部32检测到的物体的每一个而对该物体进行追踪,从而求取直至预定时间前为止的该物体的预测轨迹(步骤S102)。然后,接近判定部33针对处于追踪中的物体中的每一个,而对直至预定时间前为止的各个时间点下的、预测轨迹上的预测位置与车辆2的预测位置之间的距离是否成为预定的阈值Thd以下进行判定(步骤S103)。在针对任意一个物体而言其在任意一个时间点下预测轨迹上的预测位置与车辆2的预测位置之间的距离成为阈值Thd以下的情况下(步骤S103-是),接近判定部33判定为该物体接近到具有与车辆2发生碰撞的危险的程度(步骤S104)。
处理器23的报知部34从存储器22中读取与驾驶员的对环境的熟悉程度相应的时间阈值Thm(步骤S105)。然后,报知部34针对被判定为接近到具有与车辆2发生碰撞的危险的程度的物体,从而对直至该物体的预测位置与车辆2的预测位置之间的距离成为预定的阈值Thd以下的预测时刻为止的碰撞预测时间是否成为时间阈值Thm以下进行判定(步骤S106)。在该碰撞预测时间为时间阈值Thm以下的情况下(步骤S106-是),报知部34经由通知设备14而向驾驶员报知物体向车辆2的接近(步骤S107)。此后,处理器23的反应时间通知部35对从物体向车辆2的接近的报知起至驾驶员实施用于避免与该物体的碰撞的操作为止的反应时间进行计测。然后,反应时间通知部35将表示反应时间以及驾驶员的对环境的熟悉程度的信息经由无线通信终端15而向服务器4进行发送(步骤S108)。然后,处理器23结束驾驶辅助处理。
另一方面,在针对处于追踪中的任何物体而言预测轨迹上的预测位置与车辆2的预测位置之间的距离均未成为预定的阈值Thd以下的情况下(步骤S103-否),接近判定部33判定为,没有接近到具有与车辆2发生碰撞的危险的程度的物体(步骤S109)。然后,处理器23结束驾驶辅助处理。此外,当在步骤S106中碰撞预测时间长于时间阈值Thm的情况下(步骤S106-否),处理器23将在不向驾驶员报知物体的接近的条件下结束驾驶辅助处理。
接下来,对服务器4进行说明。图7为,服务器4的硬件结构图。服务器4具有通信接口41、储存器装置42、存储器43和处理器44。通信接口41、储存器装置42以及存储器43与处理器44经由信号线而被连接在一起。服务器4也可以进一步具有键盘以及鼠标这样的输入装置、和液晶显示器这样的显示装置。
通信接口41为通信部的一个示例,并且具有用于将服务器4与通信网络5相连接的接口电路。并且,通信接口41被构成,能够经由通信网络5以及无线基站6而与车辆2进行通信。即,通信接口41将从车辆2经由无线基站6以及通信网络5而接收到的、表示驾驶员的反应时间以及驾驶员的对环境的熟悉程度的信息等送至处理器44。此外,通信接口41将从处理器44接收到的、表示驾驶员的对环境的熟悉程度和物体向车辆2的接近的报知的时机之间的关系的信息等,经由通信网络5以及无线基站6而向车辆2进行发送。
储存器装置42为存储部的一个示例,并且例如具有硬盘装置或者光记录介质及其接入装置。并且,储存器装置42对表示驾驶员的反应时间以及驾驶员的对环境的熟悉程度的信息进行存储。储存器装置42也可以进一步地对车辆2的识别信息进行存储。而且,储存器装置42也可以对在处理器44上被执行的、用于执行学习处理的计算机程序进行存储,其中,所述学习处理用于对驾驶员的对环境的熟悉程度和物体向车辆2的接近的报知的时机之间的关系进行学习。再进一步地,储存器装置42也可以对表示驾驶员的对环境的熟悉程度和物体向车辆2的接近的报知的时机之间的关系的信息进行存储。
存储器43为存储部的另一个示例,例如具有非易失性的半导体存储器以及易失性的半导体存储器。并且,存储器43临时性地对学习处理的执行过程中所生成的各种数据、以及通过与车辆2的通信而取得的各种数据等进行存储。
处理器44为控制部的一个示例,并且具有一个或多个CPU(CentralProcessingUnit)及其周边电路。处理器44也可以进一步具有逻辑运算单元或者数值运算单元这样的其他运算电路。并且,处理器44在表示驾驶员的反应时间以及驾驶员的对环境的熟悉程度的信息积存有预定数量以上时,执行学习处理。
图8为,与学习处理相关的处理器44的功能框图。处理器44具有学习部51和通知部52。处理器44所具有的这些各个部为,通过在处理器44上所执行的计算机程序从而被实现的功能模块。或者,处理器44所具有的这些各个部也可以为,被设置在处理器44中的专用的运算电路。
学习部51基于驾驶员的对环境的熟悉程度和反应时间,从而对与驾驶员的对环境的熟悉程度相应的物体向车辆2的接近的报知的时机进行计算。例如,学习部51针对每个驾驶员的对环境的熟悉程度、例如针对每个居住年数或者针对每个行驶次数,从而对反应时间的平均值进行计算。然后,学习部51针对每个驾驶员的对环境的熟悉程度,从而将与该熟悉程度有关的反应时间的平均值加上预定的偏移时间而得到的值设为与该熟悉程度有关的物体向车辆2的接近的报知的时机(上述的时间阈值)。由此,学习部51能够对与驾驶员的对环境的熟悉程度相应的适当的报知的时机进行设定。或者,学习部51将各个驾驶员的对环境的熟悉程度和反应时间的组合作为大数据中所包含的各个数据,从而在对用于计算与驾驶员的对环境的熟悉程度相应的物体向车辆2的接近的报知的时机的学习模型中加以利用。这样的学习模型能够设为基于AI或者人工智能的学习模型。更具体而言,这样的学习模型能够设为基于神经网络这样的机器学习或者深度学习的学习模型。学习部51也可以利用这样的学习模型,从而对针对每个驾驶员的对环境的熟悉程度的报知的时机进行计算。
当通过学习部51而计算出了针对每个驾驶员的对环境的熟悉程度的报知的时机时,通知部52将生成包括针对每个驾驶员的对环境的熟悉程度的物体向车辆2的接近的报知的时机在内的报知时机信息。然后,通知部52将所生成的报知时机信息经由通信接口41、通信网络5以及无线基站6而通知给车辆2。
如以上所说明的那样,由于该驾驶辅助装置基于表示驾驶员的对环境的熟悉程度的信息来决定向驾驶员报知物体向车辆的接近的时机,因此能够在适当的时机下向驾驶员报知物体向车辆的接近。
根据改变例,物体向车辆2的接近的报知的时机也可以不仅基于驾驶员的对环境的熟悉程度而且还基于驾驶员的对于车辆2的驾驶熟练程度、或者车辆2的周围的环境本身来决定。例如,被设想为,驾驶员的对于车辆2的驾驶熟练程度越低,则从物体向车辆2的接近的报知起的驾驶员的反应时间越长。此外,优选为,车辆2的周围的环境对于驾驶员来说越是难以进行车辆2的驾驶的环境,则越尽可能早地向驾驶员报知物体向车辆2的接近。因此,报知部34也可以以如下方式对根据驾驶员的对环境的熟悉程度而决定的报知的时机进行修正,所述方式为,驾驶员的对于车辆2的驾驶熟练程度越低、或者车辆2的周围的环境越是难以进行驾驶的环境,则越更加提前地实施报知。例如,报知部34只要以驾驶员的对于车辆2的驾驶熟练程度越低、或者车辆2的周围的环境越是难以进行驾驶的环境,则越加长上述的时间阈值变长的方式来对该时间阈值进行修正即可。另外,驾驶员的对于车辆2的驾驶熟练程度例如能够设为,从驾驶员购买车辆2之后算起的年数、或者从驾驶员取得驾驶执照之后算起的年数。在这种情况下,这些年数越短,则驾驶员的对于车辆2的驾驶熟练程度越低。另外,这些年数与表示驾驶员的居住地以及居住年数的信息同样地,例如只要在驾驶员被登记到车辆2中时,经由被设置于车辆2的车厢内的用户界面(未图示)而被输入并被保存在存储器22中即可。此外,关于车辆2的周围的环境,例如被设想为,与白天相比夜晚为很难驾驶的环境、与晴天相比雨天为很难驾驶的环境、与宽阔的道路相比狭窄的道路很难驾驶的环境、或者与没有汇流的地点相比具有汇流的地点很难驾驶的环境。因此,报知部34在从被设置于车辆2上的钟表(未图示)上得到的当前时刻被包含在相当于夜晚的时间段中的情况下,将根据驾驶员的对环境的熟悉程度而决定的报知的时机修正为,更加提前地实施报知。或者,报知部34以由被设置于车辆2上的雨量传感器(未图示)所检测到的雨量越多则越使根据驾驶员的对环境的熟悉程度而决定的报知的时机提前的方式,来对该时机进行修正。再或者,报知部34参照定位信息中所表示的车辆2的当前位置以及地图信息,从而对车辆2的当前位置是否为汇流地点、或者车辆2的当前位置处的道路的宽度是否为预定宽度以下进行判定。然后,在车辆2的当前位置为汇流地点、或者车辆2的当前位置处的道路的宽度为预定宽度以下的情况下,报知部34将根据驾驶员的对环境的熟悉程度而决定的报知的时机修正为,更加提前地实施报知。如此,报知部34通过根据驾驶员的对于车辆2的驾驶熟练程度、或者车辆2的周围的环境,从而对物体的接近的报知的时机进行修正,从而能够在更加适当的时机下向驾驶员报知该接近。
此外,服务器4的处理器44的学习部51也可以根据驾驶员的对环境的熟悉程度、驾驶员的驾驶熟练程度以及车辆2的周围的环境的每个组合的反应时间,从而与上述的实施方式同样地对该每个组合的报知的时机进行学习。在这种情况下,ECU3的处理器23的反应时间通知部35只要将表示驾驶员的驾驶熟练程度以及车辆2的周围的环境的信息与表示反应时间以及熟悉程度的信息一起向服务器4进行发送即可。
根据其他改变例,ECU3的处理器23也可以执行与服务器4的处理器44的学习部51相同的学习处理。在这种情况下,反应时间通知部35也可以将表示反应时间以及驾驶员的对环境的熟悉程度的信息保存在存储器22中,以便被设置在处理器23中的学习部51能够加以利用。此外,也可以省略服务器4。进一步地,在车辆2的驾驶员被限定于预先特别指定的一名人物的情况下,也可以省略识别部31的处理。
基于上述的实施方式或者改变例的ECU3也可以被安装在不仅能够应用手动驾驶控制,而且还能够应用自动驾驶控制的车辆中。此外,基于上述的实施方式或者改变例的、实现ECU3的处理器23的功能的计算机程序也可以以被记录在半导体存储器、磁性记录介质或者光记录介质这样的计算机可读取的便携性的记录介质中的形式来提供。
如上文所述,本领域技术人员能够在本发明的范围内以与所实施的方式相匹配的方式实施各种各样的变更。
Claims (8)
1.一种驾驶辅助装置,具有:
存储部,其对表示车辆的驾驶员的对环境的熟悉程度的信息进行存储;
检测部,其基于由被搭载于所述车辆上的传感器所得到的表示所述车辆的周围的状况的传感器信号,从而对存在于所述车辆的周围的物体进行检测;
接近判定部,其对所述物体是否接近到具有与所述车辆发生碰撞的可能性的程度进行判定;
报知部,其在被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度的情况下,在与所述车辆的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在所述车辆上的通知设备而向所述驾驶员报知该接近。
2.如权利要求1所述的驾驶辅助装置,其中,
所述接近判定部在判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度的情况下,对直至该碰撞为止的预测时间进行计算,
所述报知部在所述预测时间成为所述驾驶员的对环境的熟悉程度越高则被设定得越短的表示所述时机的时间阈值以下的情况下,向所述驾驶员报知所述接近。
3.如权利要求2所述的驾驶辅助装置,其中,
表示所述驾驶员的对环境的熟悉程度的信息包括所述驾驶员的居住地以及该居住地处的所述驾驶员的居住年数,
所述报知部在被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度时的所述车辆的位置为所述驾驶员的居住地的情况下,所述驾驶员的居住年数越长,则将所述时间阈值设定得越短。
4.如权利要求3所述的驾驶辅助装置,其中,
所述报知部将被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度时的所述车辆的位置为所述驾驶员的居住地的情况下的所述时间阈值设定得短于该位置不是所述驾驶员的居住地的情况下的所述时间阈值。
5.如权利要求2所述的驾驶辅助装置,其中,
表示所述驾驶员的对环境的熟悉程度的信息包括每个预定的区域或者预定的道路区间的所述驾驶员的行驶次数,
包含被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度时的所述车辆的位置的区域或者道路区间中的所述驾驶员的行驶次数越多,则所述报知部将所述时间阈值设定得越短。
6.如权利要求1~5中的任意一项所述的驾驶辅助装置,其中,
还具有学习部,所述学习部对从向所述驾驶员报知了接近到具有与车辆发生碰撞的可能性的程度的物体的接近之后起直至所述驾驶员实施用于避免所述碰撞的所述车辆的操作为止的反应时间进行记录,并根据该反应时间、和被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度时的所述车辆的位置处的所述驾驶员的对环境的熟悉程度,从而对所述时机进行学习。
7.一种驾驶辅助方法,该方法包括如下内容,即:
基于由被搭载于车辆上的传感器所得到的表示所述车辆的周围的状况的传感器信号,从而对存在于所述车辆的周围的物体进行检测,
对所述物体是否接近到具有与所述车辆发生碰撞的可能性的程度进行判定,
在被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度的情况下,在与被存储于存储部中的所述车辆的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在所述车辆上的通知设备而向所述驾驶员报知该接近。
8.一种记录介质,其上记录有用于使被搭载于车辆上的处理器执行如下处理的驾驶辅助用计算机程序,所述处理为:
基于由被搭载于所述车辆上的传感器所得到的表示所述车辆的周围的状况的传感器信号,从而对存在于所述车辆的周围的物体进行检测,
对所述物体是否接近到具有与所述车辆发生碰撞的可能性的程度进行判定,
在被判定为所述物体接近到具有与所述车辆发生碰撞的可能性的程度的情况下,在与被存储于存储部中的所述车辆的驾驶员的对环境的熟悉程度相应的时机下,经由被设置在所述车辆上的通知设备而向所述驾驶员报知该接近。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021023466A JP7302615B2 (ja) | 2021-02-17 | 2021-02-17 | 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム |
JP2021-023466 | 2021-02-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114987458A true CN114987458A (zh) | 2022-09-02 |
Family
ID=82801054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210137954.1A Pending CN114987458A (zh) | 2021-02-17 | 2022-02-15 | 驾驶辅助装置、驾驶辅助方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11702094B2 (zh) |
JP (1) | JP7302615B2 (zh) |
CN (1) | CN114987458A (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69516934T2 (de) | 1994-04-15 | 2000-10-05 | Honda Motor Co Ltd | Vorrichtung zur Fahrhilfe eines Fahrzeugs |
JPH07277041A (ja) * | 1994-04-15 | 1995-10-24 | Honda Motor Co Ltd | 車両用走行支援装置 |
JP2010117751A (ja) * | 2008-11-11 | 2010-05-27 | Denso Corp | 車両用運転支援装置 |
JP5716700B2 (ja) * | 2012-04-16 | 2015-05-13 | トヨタ自動車株式会社 | 運転支援装置 |
US9324233B2 (en) * | 2014-03-04 | 2016-04-26 | Nissan North America, Inc. | Vehicle contact warning method and system |
JP2015219531A (ja) | 2014-05-13 | 2015-12-07 | 株式会社デンソー | 車載装置および走行画像保管システム |
JP2018054374A (ja) * | 2016-09-27 | 2018-04-05 | パナソニックIpマネジメント株式会社 | 車載インタフェース装置及び判断方法 |
JP6565859B2 (ja) * | 2016-10-14 | 2019-08-28 | トヨタ自動車株式会社 | 車両制御システム |
US11126871B2 (en) * | 2016-12-21 | 2021-09-21 | Ford Motor Company | Advanced warnings for drivers of vehicles for upcoming signs |
US20180215395A1 (en) * | 2017-02-02 | 2018-08-02 | Intel Corporation | Context derived driver assistance |
EP3413288A1 (en) * | 2017-06-09 | 2018-12-12 | Honda Research Institute Europe GmbH | Method for assisting a person in acting in a dynamic environment and corresponding system |
JP7056308B2 (ja) * | 2018-03-28 | 2022-04-19 | マツダ株式会社 | 車両用警報装置 |
-
2021
- 2021-02-17 JP JP2021023466A patent/JP7302615B2/ja active Active
-
2022
- 2022-01-07 US US17/570,570 patent/US11702094B2/en active Active
- 2022-02-15 CN CN202210137954.1A patent/CN114987458A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220258757A1 (en) | 2022-08-18 |
JP2022125720A (ja) | 2022-08-29 |
JP7302615B2 (ja) | 2023-07-04 |
US11702094B2 (en) | 2023-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7052663B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
US11804048B2 (en) | Recognizing the movement intention of a pedestrian from camera images | |
JP7147420B2 (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US8995723B2 (en) | Detecting and recognizing traffic signs | |
CN113264047B (zh) | 车辆控制装置及存储车辆控制用程序的非易失性存储介质 | |
US11170272B2 (en) | Object detection device, object detection method, and computer program for object detection | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
US9460343B2 (en) | Method and system for proactively recognizing an action of a road user | |
JPWO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
JP7135665B2 (ja) | 車両制御システム、車両の制御方法及びコンピュータプログラム | |
JP6468568B2 (ja) | 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム | |
KR20180007785A (ko) | 무인자동차의 보행자 보호 시스템 | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
US20230316539A1 (en) | Feature detection device, feature detection method, and computer program for detecting feature | |
JP2021163432A (ja) | 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置 | |
CN114987458A (zh) | 驾驶辅助装置、驾驶辅助方法以及记录介质 | |
JP7147464B2 (ja) | 画像選択装置及び画像選択方法 | |
CN114333414A (zh) | 停车让行检测装置、停车让行检测系统以及记录介质 | |
JP7491260B2 (ja) | 人検出装置、人検出方法及び人検出用コンピュータプログラム | |
JP2011090490A (ja) | 障害物認識装置 | |
JP2022146384A (ja) | 物体検出装置 | |
JP2023092183A (ja) | 追跡装置、追跡方法及び追跡用コンピュータプログラム | |
JP2022124740A (ja) | 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム | |
JP2023094930A (ja) | 挙動予測方法及び挙動予測装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |