CN115123280A - 驾驶支援装置、驾驶支援方法以及存储介质 - Google Patents

驾驶支援装置、驾驶支援方法以及存储介质 Download PDF

Info

Publication number
CN115123280A
CN115123280A CN202210141323.7A CN202210141323A CN115123280A CN 115123280 A CN115123280 A CN 115123280A CN 202210141323 A CN202210141323 A CN 202210141323A CN 115123280 A CN115123280 A CN 115123280A
Authority
CN
China
Prior art keywords
vehicle
report
driving support
reference object
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210141323.7A
Other languages
English (en)
Inventor
喜多正一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN115123280A publication Critical patent/CN115123280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供驾驶支援装置。驾驶支援装置具备识别部和报告控制部。识别部基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于交通指示灯与车辆之间的参照对象。报告控制部在识别部识别出的参照对象中存在规定种类的参照对象的情况下，将规定种类的参照对象的后端作为基准，根据基准与车辆的距离以及可否行进显示的识别结果对报告装置进行控制，以向车辆的乘员进行报告。

Description

驾驶支援装置、驾驶支援方法以及存储介质
技术领域
本发明涉及驾驶支援装置、驾驶支援方法以及存储介质。
背景技术
具有这样的技术：通过交通指示灯向车辆的乘员报告表示不允许行进来支援乘员的驾驶，使得车辆能够在交叉路口的近前具有富余地停止。例如，在日本特开2012-203785号公报中记载有如下技术：将与交叉路口的中心等基准地点隔开了规定距离的地点作为控制基准地点，在不超过控制基准地点且基于接收到的交通指示灯的信息而判断为不能通过交叉路口的情况下，进行报告。
发明内容
在日本特开2012-203785号公报中，将交叉路口内的规定的地点作为基准地点，来决定判断是否向乘员进行报告的地点。然而，根据交叉路口或在本车辆的前方行驶的车辆等的状况，有时期望动态地决定进行与可否行进相关的信息的报告的位置。
本发明的方案的目的之一在于，提供一种能够根据状况来决定基于交通指示灯所示的可否行进的信息而向车辆的乘员进行报告的位置的驾驶支援装置、驾驶支援方法以及存储介质。
本发明的第一方案的驾驶支援装置具备：识别部，其基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于所述交通指示灯与所述车辆之间的参照对象；以及报告控制部，其在所述识别部识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
第二方案在上述第一方案的驾驶支援装置的基础上也可以是，所述规定种类的参照对象包括停止线和在所述车辆行驶的车道中存在于前方的其他车辆，所述报告控制部在识别出的所述参照对象包括所述停止线和所述其他车辆的情况下，将所述停止线和所述其他车辆中的与所述车辆更近的参照对象的后端作为所述基准。
第三方案在上述第二方案的驾驶支援装置的基础上也可以是，所述规定种类的参照对象还包括人行横道，所述报告控制部在识别出的所述参照对象不包括停止线且包括所述人行横道和所述其他车辆的情况下，将所述人行横道和所述其他车辆中的与所述车辆更近的参照对象的后端作为所述基准。
第四方案在上述第三方案的驾驶支援装置的基础上也可以是，所述规定种类的参照对象还包括交叉路口端部，所述报告控制部在识别出的所述参照对象不包括停止线和人行横道且包括所述交叉路口端部和所述其他车辆的情况下，将所述交叉路口端部和所述其他车辆中的与所述车辆更近的参照对象的后端作为所述基准。
第五方案在上述第四方案的驾驶支援装置的基础上也可以是，所述报告控制部在识别出的所述参照对象均不包括停止线、人行横道以及交叉路口端部的情况下，将从所述交通指示灯向所述车辆的方向分离了规定距离的位置和所述其他车辆的后端的位置中的与所述车辆较近的位置作为所述基准。
第六方案在上述第二方案至上述第五方案中任一方案的驾驶支援装置的基础上也可以是，所述报告控制部在所述车辆与所述其他车辆的距离为规定以下的情况下，对所述报告装置进行控制，使得停止所述报告。
第七方案在上述第一方案至上述第六方案中任一方案的驾驶支援装置的基础上也可以是，所述报告控制部根据所述可否行进显示的识别结果和所述车辆的速度对所述报告装置进行控制，使得进行所述报告。
第八方案在上述第一方案至上述第七方案中任一方案的驾驶支援装置的基础上也可以是，所述报告控制部在所述基准与所述车辆的距离为与所述车辆的速度相应的距离内的情况下，对所述报告装置进行控制，使得进行所述报告。
第九方案在上述第一方案至上述第八方案中任一方案的驾驶支援装置的基础上也可以是，所述车辆具备图像取得部，该图像取得部取得车辆的前方的所述图像。
本发明的第十方案的驾驶支援方法为，计算机执行如下处理：基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于所述交通指示灯与所述车辆之间的参照对象；以及在识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
本发明的第十一方案是一种存储程序的存储介质，所述程序使计算机执行如下处理：基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于所述交通指示灯与所述车辆之间的参照对象；以及在识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
根据第一方案～第十一方案，能够基于车辆前方的参照对象的检测结果，来决定成为计算进行与交通指示灯的可否行进显示的检测结果相应的报告的位置的基准的位置，因此，能够在适合于车辆周边的状况的时机进行报告。
根据第二方案，能够支援乘员，使得能够在其他车辆和停止线中的与本车辆较近的任意一方的近前保持适当的距离而停止。
根据第三方案，即便在没有识别出停止线的情况下，也能够支援乘员，使得能够在其他车辆和人行横道中的与本车辆较近的任意一方的近前保持适当的距离而停止。
根据第四方案，即便在没有识别出停止线和人行横道的情况下，也能够支援乘员，使得能够在其他车辆和交叉路口端部中的与本车辆较近的任意一方的近前保持适当的距离而停止。
根据第五方案，即便在没有识别出停止线、人行横道以及交叉路口端部的情况下，也能够支援乘员，使得能够在其他车辆和交叉路口附近中的与本车辆较近的任意一方的近前保持适当的距离而停止。
根据第六方案，在本车辆过于接近其他车辆的情况下停止报告，由此，能够容易使乘员的注意转移到前方。
根据第七方案，即便在交通指示灯的可否行进显示的检测结果相同的情况下，也能够根据本车辆的速度来改变报告的内容，或者不进行报告。
根据第八方案，在本车辆的速度较快的情况下，能够尽早报告交通指示灯显示不允许行进的情况，从而支援乘员，使得能够保持适当的距离而停止。
根据第九方案，能够容易地取得本车辆的前方的图像。
附图说明
图1是本发明的一实施方式的车辆系统的结构图。
图2是示出实施方式的驾驶支援装置所识别的参照对象的图。
图3是示出实施方式的驾驶支援装置所识别的参照对象的图。
图4是示出实施方式的驾驶支援装置所识别的参照对象的图。
图5是示出实施方式的驾驶支援装置的处理的流程图。
图6是示出实施方式的驾驶支援装置的处理的流程图。
具体实施方式
以下，参照附图对本发明的驾驶支援装置、驾驶支援方法以及程序的实施方式进行说明。
图1是利用了实施方式的驾驶支援装置的车辆系统1的结构图。搭载车辆系统1的车辆例如为二轮、三轮、四轮等的车辆，其驱动源为柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。
车辆系统1例如具备外界传感器10、物体识别装置16、HMI(Human MachineInterface)30、车辆传感器40、驾驶操作件80、驾驶支援装置100、行驶驱动力输出装置200、制动装置210、以及转向装置220。这些装置和设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等相互连接。需要说明的是，图1所示的结构只不过是一例，可以省略结构的一部分，还可以追加其他结构。
外界传感器10取得搭载车辆系统1的车辆(以下为本车辆M)的外界的信息。外界传感器10具备相机11、雷达装置12以及LIDAR(Light Detection and Ranging)14。相机11例如是利用了CCD(Charge Coupled Device)或CMOS(Complementary Metal OxideSemiconductor)等固体摄像元件的数码相机。相机11安装在本车辆M的任意部位。在拍摄前方的情况下，相机11安装在前风窗玻璃上部或车室内后视镜背面等。相机11例如周期地重复拍摄本车辆M的周边。相机11也可以是立体摄影机。
雷达装置12向本车辆M的周边辐射毫米波等电波，并且，检测被物体反射后的电波(反射波)而至少检测物体的位置(距离及方位)。雷达装置12安装在本车辆M的任意部位。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。
LIDAR14向本车辆M的周边照射光(或者接近光的波长的电磁波)，测定散射光。LIDAR14基于从发光到受光的时间，检测距对象的距离。所照射的光例如是脉冲状的激光。LIDAR14安装在本车辆M的任意部位。
物体识别装置16对相机11、雷达装置12以及LIDAR14中的一部分或全部的检测结果进行传感器融合处理，识别物体的位置、种类、速度等。物体识别装置16向驾驶支援装置100输出识别结果。物体识别装置16可以将相机11、雷达装置12以及LIDAR14的检测结果直接向驾驶支援装置100输出。
HMI30是对本车辆M的乘员提示各种信息的报告装置。另外，HMI30受理乘员所进行的输入操作。HMI30包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。
车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的方向的方位传感器等。
驾驶操作件80例如包括油门踏板、制动踏板、变速杆、转向盘、异形方向盘、操纵杆、其他的操作件。
驾驶支援装置100具备识别部120、报告控制部140以及行驶控制部160。识别部120、报告控制部140以及行驶控制部160例如通过CPU(Central Processing Unit)等硬件处理器执行程序(软件)而实现。另外，这些构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等硬件(包括电路部(circuitry))来实现，还可以通过软件与硬件的协同配合来实现。程序可以被预先保存在驾驶支援装置100的HDD或闪存器等存储装置(具备非暂时性的存储介质的存储装置)中，也可以保存在DVD或CD-ROM等可装卸的存储介质中，通过将存储介质(非暂时性的存储介质)装配于驱动装置而被安装到驾驶支援装置100的HDD或闪存器。
识别部120例如将基于AI(Artificial Intelligence；人工智能)的功能和基于预先赋予的模型的功能并行地实现。例如，识别部120在识别交通指示灯的情况下，也可以通过并行地执行基于深度学习等进行的交通指示灯的识别、与基于图案匹配进行的交通指示灯的识别，并且综合地评价双方的识别结果来识别交通指示灯。另外，例如，在识别交叉路口的情况下，可以通过如下方式实现：并行地执行基于深度学习等进行的交叉路口的识别、与基于预先赋予的条件(具有图案可匹配的信号、道路标志等)进行的识别，针对双方进行评分并综合地进行评价。需要说明的是，识别部120也可以进行基于AI的图像识别和基于预先赋予的模型的图像识别中的一方。
识别部120基于从相机11、雷达装置12以及LIDAR14经由物体识别装置16输入的信息，来识别位于本车辆M的周边的物体的位置、速度、以及加速度等状态。物体的位置例如被识别为以本车辆M的代表点(重心或驱动轴中心等)为原点的绝对坐标上的位置，并用于驾驶控制。驾驶支援包括向乘员的报告和本车辆M的行驶控制。
另外，识别部120例如识别本车辆M所行驶的车道(行驶车道)。例如，识别部120通过比较从地图信息得到的道路划分线的图案(例如实线与虚线的排列)和根据由相机11拍摄到的图像而识别的本车辆M的周边的道路划分线的图案，来识别行驶车道。地图信息存储在设置于内部或外部的未图示的存储装置中。需要说明的是，不限于道路划分线，识别部120也可以通过识别包括道路划分线、路肩、路缘、中央隔离带、护栏等在内的行驶路边界(道路边界)，来识别行驶车道。另外，识别部120识别暂时停止线、人行横道等道路事项。识别部120基于从相机11、雷达装置12以及LIDAR14经由物体识别装置16输入的信息，与上述的物体的位置同样地计算道路事项的位置。
通过上述的功能，识别部120基于由相机11拍摄到的本车辆M的前方的图像，来识别交通指示灯以及存在于交通指示灯与本车辆M之间的参照对象。参照对象可以包括物体和道路事项。具体而言，参照对象包括存在于与本车辆M相同的车道的其他车辆、暂时停止线、人行横道、交叉路口端部。识别部120能够取得识别出的这些参照对象的位置。另外，识别部120基于图像来识别交通指示灯的状态。交通指示灯的状态包括可否行进的显示。
报告控制部140对HMI30进行控制，以向本车辆M的乘员进行报告。报告控制部140具备基准决定部142。基准决定部142将基于识别部120识别出的参照对象中的规定种类的参照对象与本车辆M的距离而选择出的参照对象的后端作为计算基准。计算基准是用于计算向本车辆M的乘员开始报告的地点的基准。后端是指在参照对象中最接近本车辆M的点。根据识别部120识别出的参照对象的后端的位置与本车辆的位置的差分来计算参照对象的后端与本车辆M的距离。以下，将开始报告的地点记载为报告开始基准。
报告控制部140使基于识别部120的识别结果而得到的信息显示于HMI30的画面，或者通过声音从HMI30的扬声器输出。作为一例，报告控制部140使HMI30输出与交通指示灯的可否行进的识别结果及本车辆M的速度相应的信息。报告控制部140对HMI30进行指示，使得在本车辆M通过了报告开始基准的时机开始该输出。报告控制部140将从由基准决定部142决定的计算基准向本车辆M的方向接近了距离Ds的地点作为报告开始基准。另外，报告控制部140也可以在本车辆M经过了报告结束基准的时机停止向HMI30输出信息。报告控制部140将从其他车辆等规定种类的参照对象向本车辆M的方向接近了距离De(＜Ds)的地点作为报告结束基准。需要说明的是，距离Ds、De也可以是与识别部120的识别结果或车辆传感器40输出的规定的信息相应的距离。例如，报告控制部140也可以根据本车辆M的速度来决定距离Ds、De。具体而言，当本车辆M正在以当前的速度行驶并且进行了制动操作时，报告控制部140将直至本车辆M以规定的加速度以下停止为止所需的距离以上设为距离Ds。另外，在本车辆M正在以当前的速度行驶并且行驶控制部160基于识别部120的识别结果进行了制动装置210的控制的情况下，报告控制部140基于直至本车辆M停止为止所需的距离来决定距离De。
行驶控制部160进行本车辆M的行驶控制。行驶控制例如是指对本车辆M的速度或转向中的一方或双方进行控制。行驶控制部160基于识别部120的识别结果、车辆传感器40的检测结果来控制制动装置210。例如，行驶控制部160在规定的参照对象与本车辆M的距离为与速度相应的规定距离以内的情况下，对制动装置210进行控制。
行驶驱动力输出装置200将用于供车辆行驶的行驶驱动力(转矩)向驱动轮输出。行驶驱动力输出装置200例如具备内燃机、电动机及变速器等的组合、以及对它们进行控制的ECU(Electronic Control Unit)。ECU按照从行驶控制部160输入的信息或者从驾驶操作件80输入的信息，来控制上述的结构。
制动装置210例如具备制动钳、向制动钳传递液压的气缸、使气缸产生液压的电动马达、以及制动ECU。制动ECU按照从行驶控制部160输入的信息或者从驾驶操作件80输入的信息来控制电动马达，将与制动操作相应的制动转矩向各车轮输出。制动装置210可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向气缸传递的机构作为备用。需要说明的是，制动装置210不限于上述说明的结构，也可以是按照从行驶控制部160输入的信息来控制致动器并将主液压缸的液压向气缸传递的电子控制式液压制动装置。
转向装置220例如具备转向ECU和电动马达。
电动马达例如使力作用于齿轮齿条机构来变更转向轮的方向。转向ECU按照从行驶控制部160输入的信息或者从驾驶操作件80输入的信息，对电动马达进行驱动来变更转向轮的方向。
图2、图3和图4是示出驾驶支援装置100所识别的参照对象的图。在驾驶支援装置100的识别部120基于本车辆M的前方的图像而识别的参照对象中，可以包含交通指示灯A1、其他车辆A2、暂时停止线A3、人行横道A4、以及交叉路口端部A5。其他车辆A2是在本车辆M所行驶的车道中存在于本车辆M的前方的其他车辆。识别部120将其他车辆A2、暂时停止线A3、人行横道A4、交叉路口端部A5、以及从交通指示灯A1向本车辆M接近了距离D1的地点A6中的最接近本车辆M的地点作为计算基准。距离D1例如为2m左右。车辆在进入交叉路口时，依次通过暂时停止线A3、人行横道A4、交叉路口端部A5、地点A6。于是，在识别部120识别出暂时停止线A3、人行横道A4、交叉路口端部A5中的两个以上作为参照对象的情况下，基准决定部142基于这些参照对象的种类的信息，将与本车辆M较近的参照对象选择为基准候选。这样，不用实际上计测距离，能够根据参照对象的种类来选择距离与本车辆M较近的参照对象。基准决定部142在暂时停止线A3、人行横道A4以及交叉路口端部A5都没有被识别出的情况下，将地点A6作为基准候选。需要说明的是，识别部120也可以计算本车辆M与暂时停止线A3的距离、本车辆M与人行横道A4的距离、本车辆M与交叉路口端部A5的距离、本车辆M与地点A6的距离，将距离最短的参照对象选择为基准候选。
在没有识别出其他车辆A2的情况下，基准决定部142将基准候选的后端作为计算基准。另一方面，在识别出其他车辆A2的情况下，基准决定部142比较本车辆M与其他车辆A2的距离以及本车辆M与基准候选的距离。如图2所示，在本车辆M与其他车辆A2的距离较短的情况下，基准决定部142将其他车辆A2的后端决定为计算基准。基准决定部142将从其他车辆A2的后端向本车辆M的方向分离了距离Ds的地点C1作为报告开始基准。另外，基准决定部142将从其他车辆A2的后端向本车辆M的方向分离了距离De的地点C2作为报告结束基准。
另一方面，如图3所示，在本车辆M与基准候选的距离较短的情况下，基准决定部142将基准候选的后端决定为计算基准。在图3中，基准决定部142将暂时停止线A3的后端判断为计算基准。基准决定部142将从暂时停止线A3的后端向本车辆M的方向分离了距离Ds的地点C3作为报告开始基准。另外，基准决定部142将从其他车辆A2的后端向本车辆M的方向分离了距离De的地点C4作为报告结束基准。
报告控制部140在判定为本车辆M通过了报告开始基准时，基于识别部120识别出的交通指示灯A1的可否行进显示而进行报告。例如，报告控制部140在本车辆M通过了报告开始基准的时机，在交通指示灯A1的点亮颜色为黄色或红色并且本车辆M的速度为规定以上的情况下，向乘员报告不允许行进这一旨意。
在图4中，基准决定部142将从其他车辆A2的后端向本车辆M的方向分离了距离Ds的地点C5作为报告开始基准。在识别部120识别出交通指示灯A1的不允许行进显示的时间点，本车辆M已经通过了报告开始基准。在该情况下，报告控制部140立即向乘员报告不允许行进这一旨意。
需要说明的是，基准决定部142也可以将通过地点C1、地点C3或地点C5且与本车辆M的行进方向垂直的线段作为报告开始基准，还可以将以计算基准的后端为中心的半径为距离Ds的圆的圆周上作为报告开始基准。同样，基准决定部142也可以将通过地点C2或地点C4且与本车辆M的行进方向垂直的线段作为报告结束基准，还可以将以其他车辆A2的后端为中心的半径为距离De的圆的圆周上作为报告结束基准。
需要说明的是，基准决定部142在识别部120每次基于新的图像进行识别时，决定新的报告开始基准和报告结束基准。报告控制部140基于新决定的报告开始基准和报告结束基准进行报告。
图5是示出驾驶支援装置100所执行的计算基准决定处理的流程图。驾驶支援装置100重复进行图5所示的计算基准决定处理。
基准决定部142判定识别部120是否基于本车辆M的前方的图像而识别出交通指示灯(步骤S105)。基准决定部142在判定为识别部120没有识别出交通指示灯的情况下，重复进行步骤S105的处理。基准决定部142在判定为识别部120识别出交通指示灯的情况下，判定在本车辆M的行驶车道的前方是否识别出其他车辆(步骤S110)。基准决定部142在步骤S110中判定为识别出其他车辆的情况下，对车辆识别标志设定1(步骤S115)，在步骤S110中判定为没有识别出其他车辆的情况下，对车辆识别标志设定0(步骤S120)。
基准决定部142判定识别部120是否在本车辆M的前方识别出停止线(步骤S125)。基准决定部142在判定为识别部120识别出停止线的情况下，将停止线作为基准候选(步骤S130)。基准决定部142在判定为识别部120没有识别出停止线的情况下，判定识别部120是否在本车辆M的前方识别出人行横道(步骤S135)。基准决定部142在判定为识别部120识别出人行横道的情况下，将人行横道作为基准候选(步骤S140)。基准决定部142在判定为识别部120没有识别出人行横道的情况下，判定识别部120是否在本车辆M的前方识别出交叉路口端部(步骤S145)。基准决定部142在判定为识别部120识别出交叉路口端部的情况下，将交叉路口端部作为基准候选(步骤S150)。基准决定部142在判定为识别部120没有识别出交叉路口端部的情况下，将从在步骤S105中由识别部120识别出的交通指示灯向本车辆M的方向接近了规定距离的地点作为基准候选(步骤S155)。
基准决定部142在步骤S130、步骤S140、步骤S150或步骤S155的处理之后，判定车辆识别标志是否为1(步骤S160)。基准决定部142在判定为车辆识别标志为1的情况下，取得由识别部120识别出的基准候选的后端的位置以及其他车辆的后端的位置。基准决定部142基于取得的这些位置的信息，计算本车辆M与基准候选的后端的距离以及本车辆M与其他车辆的后端的距离。基准决定部142将基准候选的后端和其他车辆的后端中的与本车辆M的距离较近的一方决定为计算基准(步骤S165)。另一方面，基准决定部142在判定为车辆识别标志为1的情况下，将基准候选的后端判定为计算基准(步骤S170)。
图6是示出驾驶支援装置100所执行的报告处理的流程图。驾驶支援装置100在图5的计算基准决定处理之后，进行图6所示的报告处理。
报告控制部140从识别部120取得可否行进信息(步骤S205)。例如，识别部120在交通指示灯的点亮颜色为绿色的情况下判定为允许行进，在交通指示灯的点亮颜色为黄色或红色的情况下判定为不允许行进。另外，识别部120在交通指示灯为箭头式信号且路面标志所示的方向与交通指示灯所示的允许行进的方向不一致的情况下，也可以判定为不允许行进。另外，识别部120在本车辆M的转向灯显示与交通指示灯所示的车辆的允许行进的方向不一致的情况下，也可以判定为不允许行进。
报告控制部140选择与可否行进信息相应的报告信息(步骤S210)。报告控制部140除了可否行进信息之外，也可以进一步使用本车辆M的速度等其他信息来选择报告信息。在不需要报告的情况下，不选择报告信息。报告控制部140判定在步骤S210中是否能够取得报告信息(步骤S215)。报告控制部140在判定为无法取得报告信息的情况下，结束图6的处理。
报告控制部140在判定为能够取得报告信息的情况下，使用基准决定部142决定出的计算基准，来计算报告开始基准(步骤S220)。基准决定部142将从计算基准向本车辆M的方向分离了距离Ds的地点作为报告开始基准。距离Ds例如是与规定的距离或本车辆M的速度相应的距离。报告控制部140判定本车辆M相较于报告开始基准是否更接近计算基准(步骤S225)。报告控制部140在判定为本车辆M相较于报告开始基准更远离计算基准的情况下，重复进行从步骤S210开始的处理。需要说明的是，报告控制部140在判定为本车辆M相较于报告开始基准更远离计算基准的情况下，也可以重复进行从步骤S225开始的处理，还可以结束图6的处理。报告控制部140在判定为本车辆M相较于报告开始基准更接近计算基准的情况下，使HMI30输出报告信息(步骤S230)。报告信息包括使HMI30输出的画面数据、声音数据等。
报告控制部140判定报告是否结束(步骤S235)。报告控制部140在判定为报告结束了的情况下，结束图6的处理。报告控制部140在判定为报告未结束的情况下，计算从存在于本车辆M的行驶车道的前方的其他车辆向本车辆M的方向分离了距离De的地点而作为报告结束基准(步骤S240)。距离De例如是与规定的距离或本车辆M的速度相应的距离。报告控制部140判定本车辆M相较于报告结束基准是否更接近其他车辆(步骤S245)。报告控制部140在判定为本车辆M相较于报告结束基准更远离其他车辆的情况下、或者在没有识别出其他车辆的情况下，重复进行从步骤S235开始的处理。报告控制部140在判定为本车辆M相较于报告结束基准更接近其他车辆的情况下，停止报告(步骤S250)。这是因为，本车辆M接近在前方行驶的其他车辆，本车辆M进入碰撞减轻制动的区域内的可能性变高。通过报告的停止，容易使乘员的注意转移到接近的其他车辆。行驶控制部160在判断为本车辆M进入了碰撞减轻制动的区域内的情况下，对制动装置210进行控制。
需要说明的是，驾驶支援装置100也可以在识别部120检测到交通指示灯的情况下进行图6所示的报告处理，在步骤S220的处理之前，进行图5所示的步骤S110以后的处理。
根据以上说明的实施方式，驾驶支援装置根据存在于本车辆与交通指示灯之间的参照对象的种类，来决定用于计算向车辆的乘员进行基于交通指示灯的检测结果的报告的时机的基准点。因此，能够在与交叉路口的状况或者在本车辆的前方行驶的其他车辆等的状况相应的时机进行报告。
代替上述实施方式的车辆，也能够使用机器人等其他移动体。
上述说明的实施方式能够如以下那样表现。
一种驾驶支援装置，其构成为具备：
存储有程序的存储装置；以及
硬件处理器，
通过所述硬件处理器执行存储于所述存储装置的程序，
基于车辆的前方的图像，来识别交通指示灯的可否行进显示、以及存在于所述交通指示灯与所述车辆之间的参照对象，
在识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
以上，使用实施方式说明了本发明的具体实施方式，但本发明丝毫不被这样的实施方式限定，在不脱离本发明的主旨的范围内能够施加各种变形及替换。

Claims (11)

1.一种驾驶支援装置，其中，
所述驾驶支援装置具备：
识别部，其基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于所述交通指示灯与所述车辆之间的参照对象；以及
报告控制部，其在所述识别部识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
2.根据权利要求1所述的驾驶支援装置，其中，
所述规定种类的参照对象包括停止线和在所述车辆行驶的车道中存在于前方的其他车辆，
所述报告控制部在识别出的所述参照对象包括所述停止线和所述其他车辆的情况下，将所述停止线和所述其他车辆中的与所述车辆更近的参照对象的后端作为所述基准。
3.根据权利要求2所述的驾驶支援装置，其中，
所述规定种类的参照对象还包括人行横道，
所述报告控制部在识别出的所述参照对象不包括停止线且包括所述人行横道和所述其他车辆的情况下，将所述人行横道和所述其他车辆中的与所述车辆更近的参照对象的后端作为所述基准。
4.根据权利要求3所述的驾驶支援装置，其中，
所述规定种类的参照对象还包括交叉路口端部，
所述报告控制部在识别出的所述参照对象不包括停止线和人行横道且包括所述交叉路口端部和所述其他车辆的情况下，将所述交叉路口端部和所述其他车辆中的与所述车辆更近的参照对象的后端作为所述基准。
5.根据权利要求4所述的驾驶支援装置，其中，
所述报告控制部在识别出的所述参照对象均不包括停止线、人行横道以及交叉路口端部的情况下，将从所述交通指示灯向所述车辆的方向分离了规定距离的位置和所述其他车辆的后端的位置中的与所述车辆较近的位置作为所述基准。
6.根据权利要求2至5中任一项所述的驾驶支援装置，其中，
所述报告控制部在所述车辆与所述其他车辆的距离为规定以下的情况下，对所述报告装置进行控制，使得停止所述报告。
7.根据权利要求1至5中任一项所述的驾驶支援装置，其中，
所述报告控制部根据所述可否行进显示的识别结果和所述车辆的速度对所述报告装置进行控制，使得进行所述报告。
8.根据权利要求1至5中任一项所述的驾驶支援装置，其中，
所述报告控制部在所述基准与所述车辆的距离为与所述车辆的速度相应的距离内的情况下，对所述报告装置进行控制，使得进行所述报告。
9.根据权利要求1至5中任一项所述的驾驶支援装置，其中，
所述车辆具备图像取得部，该图像取得部取得车辆的前方的所述图像。
10.一种驾驶支援方法，其中，
计算机执行如下处理：
基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于所述交通指示灯与所述车辆之间的参照对象；以及
在识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
11.一种存储介质，其存储程序，其中，
所述程序使计算机执行如下处理：
基于车辆的前方的图像来识别交通指示灯的可否行进显示以及存在于所述交通指示灯与所述车辆之间的参照对象；以及
在识别出的所述参照对象中存在规定种类的参照对象的情况下，将所述规定种类的参照对象的后端作为基准，根据所述基准与所述车辆的距离以及所述可否行进显示的识别结果对报告装置进行控制，以向所述车辆的乘员进行报告。
CN202210141323.7A 2021-03-11 2022-02-16 驾驶支援装置、驾驶支援方法以及存储介质 Pending CN115123280A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-039287 2021-03-11
JP2021039287A JP2022139065A (ja) 2021-03-11 2021-03-11 運転支援装置、運転支援方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN115123280A true CN115123280A (zh) 2022-09-30

Family

ID=83195781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210141323.7A Pending CN115123280A (zh) 2021-03-11 2022-02-16 驾驶支援装置、驾驶支援方法以及存储介质

Country Status (3)

Country Link
US (1) US20220292963A1 (zh)
JP (1) JP2022139065A (zh)
CN (1) CN115123280A (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
EP3696789B1 (en) * 2017-10-10 2022-08-03 Nissan Motor Co., Ltd. Driving control method and driving control apparatus
CN113492858B (zh) * 2020-04-03 2023-03-28 荷兰移动驱动器公司 基于高精地图的辅助驾驶方法以及车载装置

Also Published As

Publication number Publication date
US20220292963A1 (en) 2022-09-15
JP2022139065A (ja) 2022-09-26

Similar Documents

Publication Publication Date Title
CN109421714B (zh) 车辆控制系统、车辆控制方法及存储介质
US11851090B2 (en) Vehicle control apparatus, vehicle control method, and storage medium
JP7029322B2 (ja) 車両制御装置、車両制御方法、及びプログラム
US11661057B2 (en) Vehicle control device, vehicle control method, and storage medium
JP7286691B2 (ja) 判定装置、車両制御装置、判定方法、およびプログラム
JP7280901B2 (ja) 車両制御装置
US20230398990A1 (en) Mobile body control device, mobile body control method, and storage medium
US20220388533A1 (en) Display method and system
US20220315058A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2023030146A (ja) 車両制御装置、車両制御方法、およびプログラム
US20220297724A1 (en) Mobile object control system, mobile object control method, and storage medium
US20220176956A1 (en) Vehicle control device, vehicle control method, and non-transitory computer-readable recording medium recording program
CN115123280A (zh) 驾驶支援装置、驾驶支援方法以及存储介质
US20230294679A1 (en) Driving assistance device, driving assistance method, and storage medium
JP7489419B2 (ja) 運転支援装置、運転支援方法、およびプログラム
JP7288923B2 (ja) 運転支援装置、運転支援方法、及びプログラム
JP7489420B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US20230294676A1 (en) Driving assistance device, driving assistance method, and storage medium
JP7489415B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US11702079B2 (en) Vehicle control method, vehicle control device, and storage medium
US20230294675A1 (en) Driving assistance device, driving assistance method, and storage medium
US20220289025A1 (en) Mobile object control device, mobile object control method, and storage medium
US20240109550A1 (en) Control device, control method, and storage medium
WO2022144956A1 (ja) 車両制御装置、車両制御方法、およびプログラム
JP2022139069A (ja) 運転支援装置、運転支援方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination