CN109890680A - 驾驶员辅助系统 - Google Patents

驾驶员辅助系统 Download PDF

Info

Publication number
CN109890680A
CN109890680A CN201780067307.5A CN201780067307A CN109890680A CN 109890680 A CN109890680 A CN 109890680A CN 201780067307 A CN201780067307 A CN 201780067307A CN 109890680 A CN109890680 A CN 109890680A
Authority
CN
China
Prior art keywords
vehicle
risk
mobile device
driver
described image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780067307.5A
Other languages
English (en)
Inventor
R·M·泰勒
J·S·格林
S·K·程佳尔瓦
N·卢克马尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Delphi Automotive Systems LLC
Original Assignee
Delphi Automotive Systems LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Automotive Systems LLC filed Critical Delphi Automotive Systems LLC
Publication of CN109890680A publication Critical patent/CN109890680A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/28—
    • B60K35/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B60K2360/167—
    • B60K2360/173—
    • B60K2360/176—
    • B60K2360/178—
    • B60K2360/179—
    • B60K2360/21—
    • B60K2360/569—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Abstract

驾驶员辅助系统(20)的说明性示例实施例包括被配置成被安装到车辆并提供该车辆附近的图像的成像设备(22，28)。移动设备(30)被配置成由驾驶员携带并且具有全球定位系统(GPS)能力，该GPS能力至少提供与移动设备(30)的位置变化有关的距离变化率信息的指示。处理器利用关于来自成像设备(22，28)的图像的信息和来自移动设备(30)的距离变化率信息的指示。处理器基于图像确定在车辆附近存在至少一个物体，基于距离变化率信息确定车辆移动的速度，基于至少该图像确定车辆与至少一个物体(64，66)之间的相对移动，以及基于所确定的速度和所确定的相对移动来确定车辆与至少一个物体(64，66)之间的碰撞风险。驾驶员辅助输出(24，30，62)向驾驶员(26)提供对所确定的碰撞风险的风险指示。

Description

驾驶员辅助系统
相关申请的交叉引用
本申请要求2016年10月31日提交的美国临时申请No.62/415,005的优先权。该临时专利申请的全部公开内容籍此通过引用结合到本文件中。
技术领域
该文件的主题涉及车辆引导系统。更具体地但非限制性地，本文件的主题涉及一种驾驶员辅助系统，其利用来自移动设备的距离变化率(range rate)信息并向驾驶员提供碰撞风险指示。
背景技术
电子器件方面和技术方面的创新已使得将各种高级特征结合在机动车辆上成为可能。已研发了各种感测技术以用于检测物体，以用于监测在车辆附近或车辆路径中的周围环境。这种系统对于例如泊车辅助、车道偏离检测和巡航控制调整特征而言是有用的。
虽然期望在车辆上提供增强的特征，但是这并非免费。对于不同的驾驶员辅助能力而言需要各种不同类型的检测器或传感器。每种类型的传感器的添加引入了附加的成本以及处理附加的车载信息的需求。改装现有的车辆以增强其能力尤其具有挑战性。例如，将各种不同类型的传感器改装到车辆上并随后将这些传感器与车载电子器件相结合是困难的。
本发明的实施例提供了添加增强的驾驶员辅助能力而不需要将附加的电子器件结合到车辆中的能力。
发明内容
驾驶员辅助系统的说明性示例实施例包括成像设备，该成像设备被配置成被安装到车辆并提供所述车辆附近的图像。移动设备被配置成由驾驶员携带并且具有全球定位系统(GPS)能力，该GPS能力至少提供与所述移动设备的位置变化有关的距离变化率信息的指示。处理器利用与来自所述成像设备的所述图像有关的信息和来自所述移动设备的距离变化率信息的所述指示。所述处理器基于所述图像确定在所述车辆附近存在至少一个物体，基于所述距离变化率信息来确定车辆移动的速度，基于至少所述图像来确定所述车辆与所述至少一个物体之间的相对移动，以及基于所确定的速度和所确定的相对移动来确定所述车辆与所述至少一个物体之间的碰撞风险。驾驶员辅助输出向所述驾驶员提供了所确定的碰撞风险的风险指示。
在具有前一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述驾驶员辅助输出包括显示屏，所述显示屏显示所述图像的表示，并且所述显示屏提供所述风险指示的视觉表示。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述移动设备包括所述显示屏。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述移动设备配置有允许所述移动设备从所述成像设备接收所述图像的应用程序，并且所述移动设备包括所述处理器。
在具有前一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述移动设备包括蜂窝电话。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述移动设备被配置成提供所述风险指示的可听输出。
具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例包括用户界面，所述用户界面被配置成被支持在在所述车辆中并且所述用户界面包括所述处理器和所述显示屏。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述图像指示所述车辆后方附近的状况，并且所述处理器确定所述车辆是正在前向方向上移动还是在反向方向上移动。如果所述车辆正在所述反向方向上移动，则所述处理器基于至少所确定的车辆移动的速度和所述图像中的所述至少一个物体的位置，来确定所述车辆与所述至少一个物体之间的距离的变化。如果所述车辆正在前向方向上移动，则所述处理器基于来自所述图像的信息确定所述车辆的预期路径。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，如果所述车辆正在前向方向上移动，则所述处理器基于至少来自所述图像的信息来确定所述车辆的预期路径，确定车辆相对于所述预期路径的轨迹，以及基于所确定的车辆移动的速度和所确定的轨迹来确定所述车辆将偏离所述预期路径的风险。所述驾驶员辅助输出向所述驾驶员提供关于车辆将偏离所述预期路径的所确定的风险的指示。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述预期路径包括道路上的标记行驶车道，并且当存在所述车辆将偏离所述预期路径的所述风险时，所述驾驶员辅助输出提供关于所述车辆偏离所述标记行驶车道的警告。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述成像设备包括可视图像检测器和热图像检测器中的至少一者。
在具有先前段落中的任一段落的所述驾驶员辅助系统的一个或多个特征的示例实施例中，所述图像包括多个像素，所述处理器基于所述图像中的与所述车辆相对应的第一区域和所述图像中的与所述至少一个物体相对应的第二区域之间的像素的数量变化来确定所述车辆与所述至少一个物体之间的所述相对移动，并且所述处理器基于所述图像中的所述第一区域与所述第二区域之间的所述像素的当前数量以及所确定的车辆移动的速度来确定所述碰撞风险。
辅助车辆的驾驶员的方法的说明性示例实施例包括：获得所述车辆附近的图像；从具有GPS兼容性并且被配置成由所述驾驶员携带的移动设备获得距离变化率信息，所述移动设备至少提供与所述移动设备的位置变化有关的距离变化率信息的指示；基于所述图像确定在所述车辆附近存在至少一个物体；基于所述距离变化率信息来确定车辆移动的速度；基于至少所述图像来确定所述车辆与所述至少一个物体之间的相对移动；基于所确定的速度和所确定的相对移动来确定所述车辆与所述至少一个物体之间的碰撞风险；以及向所述驾驶员提供所确定的碰撞风险的风险指示。
具有前一段落的所述方法的一个或多个特征的示例实施例包括在显示屏上显示所述图像的表示并在所述显示屏上提供所述风险指示作为可视指示。
在具有先前段落中的任一段落的所述方法的一个或多个特征的示例实施例中，所述移动设备包括所述显示屏。
在具有先前段落中的任一段落的所述方法的一个或多个特征的示例实施例中，所述移动设备包括蜂窝电话。
在具有先前段落中的任一段落的所述方法的一个或多个特征的示例实施例中，所述移动设备被配置成提供所述风险指示的可听输出。
在具有先前段落中的任一段落的所述方法的一个或多个特征的示例实施例中，所述图像指示所述车辆后方附近的状况，并且所述方法包括确定所述车辆是正在前向方向上移动还是在反向方向上移动。如果所述车辆正在所述反向方向上移动，则基于至少所确定的车辆移动的速度和所述图像中的所述至少一个物体的位置，来确定所述车辆与所述至少一个物体之间的距离的变化。如果所述车辆正在所述前向方向上移动，则基于来自所述图像的信息确定所述车辆的预期路径，确定所述车辆相对于所述预期路径的轨迹，基于所确定的速度和所确定的轨迹来确定所述车辆将偏离所述预期路径的风险，以及向所述驾驶员提供关于所述车辆将偏离所述预期路径的所确定的风险的指示。
在具有先前段落中的任一段落的所述方法的一个或多个特征的示例实施例中，所述预期路径包括道路上的标记行驶车道，并且当存在所述车辆将偏离所述预期路径的所述风险时，给所述驾驶员的所提供的指示提供关于所述车辆偏离所述标记行驶车道的警告。
在具有先前段落中的任一段落的所述方法的一个或多个特征的示例实施例中，所述图像包括多个像素，并且所述方法包括：基于所述图像中的与所述车辆相对应的第一区域和所述图像中的与所述至少一个物体相对应的第二区域之间的像素的数量变化来确定所述车辆与所述至少一个物体之间的所述相对移动，以及基于所述图像中的所述第一区域与所述第二区域之间的所述像素的当前数量以及所确定的车辆移动的速度来确定所述碰撞风险。
根据以下具体实施方式，至少一个公开实施例的各种特征和优点对于本领域的技术人员而言将变得显而易见。伴随具体实施方式的附图可以被简要描述如下。
附图说明
图1示意性地示出了根据本发明的实施例设计的与示例车辆相关联的驾驶员辅助系统。
图2是概述了根据本发明的实施例设计的示例方法的流程图。
图3示意性地示出了根据本发明的实施例的在显示屏上提供的示例视觉输出。
具体实施方式
本发明的实施例向车辆驾驶员提供了增强的引导或关于车辆附近的信息。例如，本发明的实施例向驾驶员提供当反向移动车辆时的碰撞风险指示。
图1示意性地示出了具有根据本发明的实施例设计的相关联的驾驶员辅助系统20的车辆。成像设备22被安装到车辆并提供车辆附近(诸如，紧邻车辆后方的区域)的图像。在示例实施例中，成像设备22包括相机，该相机提供相机的视场内车辆20附近的区域的视觉图像。视觉图像可以是摄影图像或视频。
在车辆上支持用户界面(UI)24，使得至少驾驶员输出对于车辆20的驾驶员26而言是可用的。用户界面24的驾驶员输出可以包括显示屏、音频扬声器或两者。在一些实施例中，用户界面24包括允许驾驶员26输入信息或进行选择的输入特征。
所示示例包括热传感器或热相机28，其提供示例车辆20的后部附近的区域的图像。这样的图像包括对基于车辆20附近的物体的温度而检测到的至少一个物体的指示。
当成像设备22、28提供来自可视相机22和热相机28的信息时，由示例驾驶员辅助系统20的成像设备提供的图像信息包含(incorporate)可从两种类型的相机获得的信息，以用于检测靠近该车辆的至少一个物体。
移动设备30被配置成由驾驶员26携带。在一些示例实施例中，移动设备30包括驾驶员26或车辆20的另一乘员的蜂窝电话。移动设备30具有全球定位系统(GPS)能力，该GPS能力提供关于移动设备30的位置的信息。移动设备30的GPS能力还提供指示移动设备30的移动速度的相对距离变化率信息。
移动设备30配置有软件应用程序，该软件应用程序使得来自移动设备30的相对距离变化率信息的使用能够与来自成像设备22、28的信息相关联地使用，以向驾驶员26提供增强的引导。
在一些实施例中，在用户界面24上提供给驾驶员的输出，而在其他实施例中，在移动设备30上提供给驾驶员26的输出。取决于哪个设备用于提供驾驶员输出，移动设备30的处理器或与用户界面24相关联的处理器利用关于来自成像设备22、28的图像的信息以及来自移动设备的距离变化率信息的指示。处理器被配置成基于图像信息确定在车辆附近存在至少一个物体。处理器基于距离变化率信息确定车辆移动的速度。处理器确定车辆与物体之间的相对移动，并基于所确定的速度和所确定的相对移动来确定车辆与物体之间的碰撞风险。在移动设备30或用户界面24上提供的驾驶员输出包括向驾驶员指示所确定的碰撞风险的风险指示。例如，当处理器确定可能发生与车辆附近的至少一个物体的碰撞时，诸如可视或可听指示之类的警告向驾驶员26警报碰撞风险。
在一些示例实施例中，在移动设备30与车辆上所支持的系统20的部件之间建立无线通信链路。无线链路允许来自移动设备30的相对距离变化率信息的通信被并入到由驾驶员辅助系统20做出的确定中。在其他实施例中，车辆将包括插接站(docking station)或基于线路的连接器，以在移动设备30和被支持在车辆上的驾驶员辅助系统20的部件之间建立物理连接，以允许移动设备30与此类部件之间的通信。
图2包括概述根据实施例的示例方法的流程图40。在42处，车辆辅助系统20的处理器确定车辆的行驶方向。可以例如通过从车辆传动系统获得指示车辆传动是处于倒车档还是前进档的信息来作出该确定。在一些实现方式中，可从车辆上的已知设备获得的其他信息可用于确定车辆移动的方向。
如果车辆正反向移动，则处理器在44处从成像设备22、28获得信息。在该示例中，成像设备包括至少视觉相机22，视觉相机22提供视觉感兴趣区域(ROI)信息，诸如，紧邻车辆后方附近的区域。在该示例中，在46处，处理器从热相机28获得热感兴趣区域信息。在48处，处理器对感兴趣区域中的至少一个物体进行定位。在一些实施例中处理器从图像信息中检测物体的方式是使用已知的图像处理技术来识别或检测图像内的物体来完成的。处理器具有识别或确定与图像信息相对应区域内的任何这种物体的位置的能力。
在50处，处理器从移动设备30获得GPS距离变化率信息。在52处，处理器使用距离变化率信息来确定车辆移动的速度。
在给定关于图像中的物体的位置的信息、关于车辆的轨迹的信息(其可以以基于可从车辆上的已知布置获得的转向角信息的已知方式来获得)、以及所确定的速度的情况下，处理器在54处确定物体碰撞风险。根据示例实施例，处理器确定图像中的与物体位置相对应的区域和图像中的与车辆相对应的另一区域之间的距离。可以使用用于检测或确定图像中两个区域之间的距离的已知图像像素处理技术来获得这两个区域之间的距离。利用来自移动设备30的增量距离变化率信息，处理器能够以持续的方式确定车辆的移动速率或速度。基于从图像信息获得的车辆与物体之间的距离、以及车辆速度，处理器能够基于例如车辆按照当前的车辆速度到达该物体将花费的时间量来确定碰撞风险。
在56处，车辆辅助系统20向驾驶员提供关于物体碰撞风险的输出。给驾驶员的输出可以采用多种形式，并且可以按照不同级别或以不同方式被提供。例如，物体碰撞风险可以包括显示屏上的视觉指示，并且可视指示可以取决于碰撞即将发生的程度而不同。替代地，输出可以包括可听碰撞风险指示符，该可听碰撞风险指示符可以取决于可能与物体碰撞的风险等级而不同。例如，随着车辆越来越靠近物体，可以以向驾驶员提供与物体碰撞的风险正在增加的信息的方式改变驾驶员输出。
图3示出了在显示屏62上提供的示例输出60。显示屏62可以位于移动设备30上或者位于被支持在车辆中的用户界面24的一部分上。可以取决于特定的车辆配置来定制驾驶员辅助系统20。例如，当车辆不具有足够的显示屏能力时，安装在移动设备30上的软件应用程序被配置成利用移动设备30上的显示屏来向驾驶员提供输出。即使在当前没有具有车载显示器的备用相机能力来提供驾驶员辅助的车辆中，这样的实施例也允许实现本发明的结果，而不需要对车辆或其车载部件进行显著或昂贵的改变。
图3中所示的示例驾驶员输出包括示出物体64和66的视觉图像，在该示例中，物体64和66分别是另一车辆和个人。驾驶员输出60还包括在68处的对车辆轨迹的指示以及在70处的对紧邻车辆后方的空间的指示。如从图示中可以理解的，驾驶员输出显示器60向驾驶员提供信息以辅助对车辆进行倒车(back up)，同时避免与物体64和66接触。
包括改变显示器的一个或多个方面的颜色或使显示器的一部分闪烁的改变显示器60的各种方式可以用作碰撞风险指示符。一些实施例包括将符号或附加文本添加到所显示的图像作为碰撞风险的指示符。受益于本说明书的本领域技术人员将能够定制碰撞风险指示以满足其特定情况的需要。
一些实施例包括如下的能力：当车辆正在前向方向上移动时提供驾驶员辅助的能力，即使唯一的成像设备获得关于车辆后方附近的信息。如图2中所示的，当处理器在42处确定车辆正在前向方向上移动时，处理器在74处从成像设备22获得后向视觉信息。基于这种图像内的信息，处理器能够在76处估计前向轨迹。一些实施例包括使用关于转向角的信息，例如，已经在车辆上可用并且对于确定前向轨迹有用的信息。
在78处，处理器从移动设备30获得GPS距离变化率信息，并在80处基于该距离变化率信息确定车辆速度。
在74处获得的后向视觉信息提供对车道标记的指示的情况下，行驶车道被确定为车辆的预期路径。例如，可以从关于所获得的视觉图像内的车道标记的信息推断出车辆行驶车道的预期方向。在82处，处理器使用图像信息和所估计的轨迹以及车辆速度来在82处确定的车道偏离风险。在56处，给驾驶员的输出包括当存在车道偏离风险时的对这种车道偏离风险的指示。在示例实施例中，已知的图像处理和图像内容识别技术被用于识别图像内的物体或标记，以用于确定车辆的预期路径。
利用可从移动设备30上的GPS能力获得的相对距离变化率信息允许将车辆速度信息并入到基于关于车辆附近的图像信息的确定中，以便向驾驶员提供附加信息，而无需附加的硬件或改变车载硬件。相反，安装在移动设备上的促进在碰撞风险确定中包括来自该设备的GPS距离变化率信息的软件应用程序向驾驶员辅助提供有成本效益且方便的增强。
前述描述本质上是示例性的，而不是限制性的。对所公开的示例的不一定背离本发明的实质的变化和修改对于本领域技术人员而言可变得显而易见。赋予本发明的法律保护范围仅能通过研究所附权利要求书来确定。

Claims (20)

1.一种驾驶员辅助系统(20)，包括：
成像设备(22，28)，所述成像设备(22，28)被配置成被安装到车辆并提供所述车辆附近的图像；
移动设备(30)，所述移动设备(30)被配置成由驾驶员(26)携带，并且所述移动设备(30)具有全球定位能力，所述全球定位能力至少提供与所述移动设备(30)的位置变化有关的距离变化率信息的指示；
处理器(24，30)，所述处理器(24，30)利用与来自所述成像设备(22，28)的所述图像有关的信息和来自所述移动设备(30)的距离变化率信息的所述指示，以：
基于所述图像确定在所述车辆附近存在至少一个物体(64，66)，
基于所述距离变化率信息确定车辆移动的速度，
基于至少所述图像确定所述车辆与所述至少一个物体(64，66)之间的相对移动，以及
基于所确定的速度和所确定的相对移动来确定所述车辆与所述至少一个物体(64，66)之间的碰撞风险；以及
驾驶员辅助输出(24，30，62)，所述驾驶员辅助输出(24，30，62)向所述驾驶员(26)提供对所确定的碰撞风险的风险指示。
2.如权利要求1所述的驾驶员辅助系统(20)，其特征在于，
所述驾驶员辅助输出(24,30)包括显示屏(62)；
所述显示屏(62)显示所述图像(60)的表示；以及
所述显示屏(62)提供所述风险指示的视觉表示。
3.如权利要求2所述的驾驶员辅助系统(20)，其特征在于，所述移动设备(30)包括所述显示屏(62)。
4.如权利要求3所述的驾驶员辅助系统(20)，其特征在于，
所述移动设备配置有允许所述移动设备(30)从所述成像设备(22，28)接收所述图像的应用程序；以及
所述移动设备包括所述处理器。
5.如权利要求4所述的驾驶员辅助系统(20)，其特征在于，所述移动设备包括蜂窝电话。
6.如权利要求4所述的驾驶员辅助系统(20)，其特征在于，所述移动设备被配置成提供所述风险指示的可听输出。
7.如权利要求2所述的驾驶员辅助系统(20)，其特征在于，包括被配置成被支持在所述车辆中的用户界面(24)，并且其中所述用户界面(24)包括所述处理器和所述显示屏(62)。
8.如权利要求1所述的驾驶员辅助系统(20)，其特征在于，
所述图像指示所述车辆后方附近的状况；
所述处理器确定所述车辆是正在前向方向上还是在反向方向上移动；以及
如果所述车辆正在所述反向方向上移动，则所述处理器基于至少所确定的车辆移动的速度和所述图像中的所述至少一个物体的位置，来确定所述车辆与所述至少一个物体之间的距离的变化，或者
如果所述车辆正在所述前向方向上移动，则所述处理器基于来自所述图像的信息确定所述车辆的预期路径。
9.如权利要求8所述的驾驶员辅助系统(20)，其特征在于，如果所述车辆正在所述前向方向上移动，则所述处理器
基于至少来自所述图像的信息确定所述车辆的预期路径；
确定所述车辆相对于所述预期路径的轨迹；
基于所确定的车辆移动的速度和所确定的轨迹来确定所述车辆将偏离所述预期路径的风险；以及
所述驾驶员输出向所述驾驶员提供关于所述车辆将偏离所述预期路径的所确定的风险的指示。
10.如权利要求9所述的驾驶员辅助系统(20)，其特征在于，
所述预期路径包括道路上的标记行驶车道；以及
当存在所述车辆将偏离所述预期路径的所述风险时，所述驾驶员输出提供所述车辆正偏离所述标记行驶车道的警告。
11.如权利要求1所述的驾驶员辅助系统(20)，其特征在于，所述成像设备(22，28)包括可视图像检测器(22)和热图像检测器(28)中的至少一者。
12.如权利要求1所述的驾驶员辅助系统(20)，其特征在于，
所述图像(60)包括多个像素；
所述处理器基于所述图像中的与所述车辆相对应的第一区域和所述图像中的与所述至少一个物体相对应的第二区域之间的像素的数量变化，来确定所述车辆与所述至少一个物体(64，66)之间的所述相对移动；以及
所述处理器基于所述图像中的所述第一区域与所述第二区域之间的所述像素的当前数量和所确定的车辆移动的速度，来确定所述碰撞风险。
13.一种用于辅助车辆的驾驶员(26)的方法，所述方法包括：
获得所述车辆附近的图像(60)；
从被配置成由所述驾驶员携带的移动设备(30)获得距离变化率信息，所述移动设备(30)具有全球定位系统能力，所述全球定位系统能力至少提供与所述移动设备(30)的位置变化有关的距离变化率信息的指示；
基于所述图像确定在所述车辆附近存在至少一个物体(64，66)；
基于所述距离变化率信息确定车辆移动的速度；
基于至少所述图像确定所述车辆与所述至少一个物体(64，66)之间的相对移动；
基于所确定的速度和所确定的相对移动来确定所述车辆与所述至少一个物体(64，66)之间的碰撞风险；以及
向所述驾驶员(26)提供所确定的碰撞风险的风险指示。
14.如权利要求13所述的方法，其特征在于，包括：
在显示屏(62)上显示所述图像(60)的表示；以及
在所述显示屏(62)上提供所述风险指示作为可视指示。
15.如权利要求14所述的方法，其特征在于，所述移动设备(30)包括所述显示屏(62)。
16.如权利要求15所述的方法，其特征在于，所述移动设备(30)包括蜂窝电话。
17.如权利要求4所述的方法，其特征在于，所述移动设备(30)被配置成提供所述风险指示的可听输出。
18.如权利要求13所述的方法，其特征在于，所述图像(60)指示所述车辆后方附近的状况，并且所述方法包括：
确定所述车辆是正在前向方向上还是在反向方向上移动；以及
如果所述车辆正在所述反向方向上移动，则基于至少所确定的车辆移动的速度和所述图像(60)中的所述至少一个物体(64，66)的位置来确定所述车辆与所述至少一个物体(64，66)之间的距离的变化，或者
如果所述车辆正在所述前向方向上移动，则基于来自所述图像的信息确定所述车辆的预期路径，确定所述车辆相对于所述预期路径的轨迹，基于所确定的速度和所确定的轨迹来确定所述车辆将偏离所述预期路径的风险，以及向所述驾驶员提供与所述车辆将偏离所述预期路径的所确定的风险有关的指示。
19.如权利要求18所述的方法，其特征在于，
所述预期路径包括道路上的标记行驶车道；以及
当存在所述车辆将偏离所述预期路径的所述风险时，给所述驾驶员(26)的所述指示提供关于所述车辆偏离所述标记行驶车道的警告。
20.如权利要求13所述的方法，其特征在于，所述图像(60)包括多个像素，并且所述方法包括：
基于所述图像中的与所述车辆相对应的第一区域和所述图像中的与所述至少一个物体(64，66)相对应的第二区域之间的像素的数量变化，来确定所述车辆与所述至少一个物体之间的所述相对移动；以及
基于所述图像中的所述第一区域与所述第二区域之间的所述像素的当前数量和所确定的车辆移动的速度，来确定所述碰撞风险。
CN201780067307.5A 2016-10-31 2017-10-18 驾驶员辅助系统 Pending CN109890680A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662415005P 2016-10-31 2016-10-31
US62/415,005 2016-10-31
PCT/US2017/057119 WO2018080862A1 (en) 2016-10-31 2017-10-18 Driver assistance system

Publications (1)

Publication Number Publication Date
CN109890680A true CN109890680A (zh) 2019-06-14

Family

ID=62023945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067307.5A Pending CN109890680A (zh) 2016-10-31 2017-10-18 驾驶员辅助系统

Country Status (4)

Country Link
US (1) US20200023840A1 (zh)
EP (1) EP3519268A4 (zh)
CN (1) CN109890680A (zh)
WO (1) WO2018080862A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475625A (zh) * 2020-10-26 2022-05-13 安波福技术有限公司 行驶表面摩擦特性确定

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111348055A (zh) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质
JP2022156752A (ja) * 2021-03-31 2022-10-14 トヨタ自動車株式会社 車両制御システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228419A1 (en) * 2009-03-09 2010-09-09 Gm Global Technology Operations, Inc. method to assess risk associated with operating an autonomic vehicle control system
WO2012031606A1 (en) * 2010-09-06 2012-03-15 Valeo Schalter Und Sensoren Gmbh Method for operating a driver assistance device, driver assistance device and vehicle with a driver assistance device
US20120083960A1 (en) * 2010-10-05 2012-04-05 Google Inc. System and method for predicting behaviors of detected objects

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239380B2 (en) * 2008-05-21 2016-01-19 Adc Automotive Distance Control Systems Gmbh Driver assistance system for avoiding collisions of a vehicle with pedestrians
JP5920452B2 (ja) * 2012-03-06 2016-05-18 トヨタ自動車株式会社 移動情報処理装置及び移動情報処理方法及び運転支援システム
US9552732B2 (en) * 2014-04-02 2017-01-24 Robert Bosch Gmbh Driver assistance system including warning sensing by vehicle sensor mounted on opposite vehicle side

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100228419A1 (en) * 2009-03-09 2010-09-09 Gm Global Technology Operations, Inc. method to assess risk associated with operating an autonomic vehicle control system
WO2012031606A1 (en) * 2010-09-06 2012-03-15 Valeo Schalter Und Sensoren Gmbh Method for operating a driver assistance device, driver assistance device and vehicle with a driver assistance device
US20120083960A1 (en) * 2010-10-05 2012-04-05 Google Inc. System and method for predicting behaviors of detected objects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114475625A (zh) * 2020-10-26 2022-05-13 安波福技术有限公司 行驶表面摩擦特性确定

Also Published As

Publication number Publication date
EP3519268A4 (en) 2020-07-29
US20200023840A1 (en) 2020-01-23
WO2018080862A1 (en) 2018-05-03
EP3519268A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
KR101343331B1 (ko) 차량주변인지 지원장치
US10589673B2 (en) In-vehicle alert device
EP3367366B1 (en) Display control method and display control device
US9956913B2 (en) Surroundings-monitoring device and computer program product
JP6428713B2 (ja) 情報表示装置
CN106462314B (zh) 帮助拖车附接的动态相机视图
US9620009B2 (en) Vehicle surroundings monitoring device
US20160098604A1 (en) Trailer track estimation system and method by image recognition
CN110386146B (zh) 用于处理驾驶员注意力数据的方法和系统
Akhlaq et al. Designing an integrated driver assistance system using image sensors
CN103608217B (zh) 用于求取车辆与位于车辆侧面的对象之间的相对位置的方法
US10866416B2 (en) Display control device and display control method
CN107209987B (zh) 用于交通标志验证的驾驶员辅助系统和方法
CN109415018B (zh) 用于数字后视镜的方法和控制单元
US20140277943A1 (en) Display Apparatus and Method for Assisting Parking
JP2010524102A (ja) 車道経過を表示する方法および制御装置
CN110178141A (zh) 用于操控自主机动车辆的方法
CN109890680A (zh) 驾驶员辅助系统
CN106536281A (zh) 在监控机动车或机动车组合车辆的行驶时支持驾驶员的方法
JP2016175549A (ja) 安全確認支援装置、安全確認支援方法
JP2018100008A (ja) 車両用表示装置
US11545035B2 (en) Driver notification system
JP2007257304A (ja) 障害物認識装置
US11458985B2 (en) Method, device, and computer program for the operation of a vehicle operation system
JP2020086956A (ja) 撮影異常診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190614