CN107406072B - 车辆辅助系统 - Google Patents
车辆辅助系统 Download PDFInfo
- Publication number
- CN107406072B CN107406072B CN201580076795.7A CN201580076795A CN107406072B CN 107406072 B CN107406072 B CN 107406072B CN 201580076795 A CN201580076795 A CN 201580076795A CN 107406072 B CN107406072 B CN 107406072B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- assistance system
- control unit
- current
- scenario
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/02—Active or adaptive cruise control system; Distance control
- B60T2201/022—Collision avoidance systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2510/00—Input parameters relating to a particular sub-units
- B60W2510/10—Change speed gearings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
Abstract
本发明涉及一种用于车辆(100、100')的车辆辅助系统(300)。本发明还涉及对应的计算机实施方法和计算机程序产品。
Description
技术领域
本发明涉及一种车辆辅助系统。本发明还涉及对应的计算机实施方法和计算机程序产品。
背景技术
在辅助驾驶员操作车辆方面的最近进展已成功出现在市场上,因为它们能弥补人类驾驶员的缺点(例如,紧急制动时的不可避免的反应时间)或车辆稳定性的缺陷。提供这种驾驶辅助的系统通常可随车辆安装,并且包括用于检测车辆周围环境的适当的传感器装置(例如,包括雷达、激光雷达、相机)并确定可能的碰撞物。这种系统可另外连接到车辆的制动装置,因此能够通过自动启用的全制动应用来完全防止即将发生的碰撞或至少使碰撞的后果最小化。
上述功能的典型实施方案例如可应用到自动巡航控制系统(ACC系统)中或与自动驾驶车辆(全自动或半自动)相关,其中,例如该ACC系统允许针对前方的第二车辆进行调适,使得车辆之间的距离保持足够长,以使碰撞最小化。在一些情形下,该ACC系统还可考虑到另一(例如,第三)车辆,该另一车辆使其自身处于本车辆与所述第二车辆之间,因而有可能需要将本车辆(紧急)制动。
虽然上文所述的用于驾驶员辅助的实施方案使碰撞风险最小化,但它们通常是基于从车辆或车辆驾驶员的角度观察时可容易地直接看到的障碍物。因此,对以下方面产生了兴趣:能够获取由定位在本车辆的周围环境中的其它传感器装置收集的信息,以允许评估可能的即将出现的交通状况,即,由所述其它传感器装置收集的信息含有从本车辆不易看到的信息。
发明内容
根据本发明的一个方面,通过用于第一车辆的车辆辅助系统至少部分地减轻了上述缺点,其中,该车辆辅助系统包括:通信电路,通信电路被设置成用于图像通信;以及控制单元,该控制单元连接到通信电路,其中该控制单元被配置成:使用通信电路识别至少一个外部相机,该至少一个外部相机被远离第一车辆定位并处于第一车辆周围的预定义周界内;使用通信电路来获取由所述至少一个外部相机产生的图像馈送;基于从第一车辆的内部源提取的车辆信息来确定第一车辆的至少一个当前的或即将出现的车辆场景,该车辆场景包括与第一车辆的当前位置有关的信息;确定所述车辆场景的安全要求;将所述至少一个外部相机产生的图像馈送与所述车辆场景的安全要求相关联;以及,如果所述图像馈送与安全要求之间的相关性表明是匹配的,则基于所述图像馈送而操作第一车辆。
根据本发明,所述通信电路被配置成自动地识别任何外部相机是否位于本车辆(第一车辆)的周围环境中以及任何此种相机是否是可用的,并从所述相机获取图像馈送。基于车辆的操作,确定该安全要求,其中,将该安全要求与来自外部相机的图像馈送相关联,以观察是否存在匹配。在存在匹配的情况下,可基于所述图像馈送的内容对本车辆采取措施。
因此,从本车辆的角度观察时不容易获得的视觉信息可用于提高车辆的操作安全性。也就是说,从外部相机获取的所述图像馈送通常含有当前从本车辆看不到的情形/场景的视觉图示,并且此信息可用于改善对周围环境的理解,以使得甚至可在即将出现的交通场景发生之前对它们做出适当的决策。
应在最广泛的意义上来解释上述表述“基于所述图像馈送而操作第一车辆”。例如,在本发明的可能的实施方案中,该车辆可以是自动驾驶车辆(全自动或半自动),其中所述控制单元可配置成从所获取的图像馈送中提取特定特征。所提取的特征然后例如可用于控制本车辆/第一车辆的速度、车道选择、档位选择等。在本发明的另一个可能的实施方案中,该车辆可以是用户操作的车辆。在这种实施方案中,该车辆的操作例如可通过将所述图像馈送的至少一部分提供给车辆辅助系统所包括的(例如布置在车辆的驾驶室中的)显示器而采取稍微不同的做法。因此,在这种实施方案中,所述图像馈送可被视为在操作车辆时对驾驶员有用的“扩展视角”。
根据本发明,将用于确定至少一个当前的或即将出现的车辆场景的第一车辆的内部源应被理解为包含第一车辆所包括的可提供关于该车辆的操作的信息的任何类型的部件或元件。例如,在一个实施例中,该内部源可以是第一车辆所包括的传感器。这种传感器例如可以是用于确定车辆的转向角的传感器、速度传感器、倾斜度传感器、加速度传感器等。相结合地和/或作为替代,该内部源还可以是车辆所包括的用户接口(例如,档位操纵杆、转向灯操纵杆)的一部分。在本发明的范围内,该内部源还可以是所谓的“虚拟传感器”,其中,类似于可从“普通”传感器预期的那样,使用协同车辆环境数据来创建输出。例如,可使用例如GPS参数来确定车辆的偏航速率,从而产生与可从偏航速率传感器预期的结果相对应的输出。
通常,如上所述的不同内部车辆源可在多个预定状态之间(开/关,不同档位之间,等等)切换,其中,不同的状态可用作当前的和即将出现的车辆场景的指示。例如,在车辆的驾驶员切换到倒档的情况下,该信息可用于确定所述车辆场景是车辆进行倒车。来自内部车辆源的信息可分布在该车辆的内部网络(例如,该车辆所包括的CAN总线)上。
在本发明的实施例中,所述车辆场景选自一组预定的车辆场景,并且针对该组车辆场景中的每一个车辆场景预先确定至少一个安全要求。如上文所理解的,表述“车辆场景”应理解为表示车辆在当前或例如不久的将来可能所处的任何类型的操作和/或情境。关于上述实例,可基于档位操纵杆的操作而将车辆场景确定为“车辆进行倒车”。该车辆场景进而将具有相关的安全要求,例如,被预定义为“可检测到障碍物时的后视视角”。因此,在车辆要倒车(车辆场景)的情况下,车辆辅助系统尝试识别如下的外部相机:该外部相机提供将在车辆的操作期间提供辅助的图像馈送,使得该车辆后方的潜在障碍物能够被识别(安全要求)。
根据本发明,所述外部相机将设在(第一)车辆周围的预定义周界内,而不是被包括在(第一)车辆中。该表述“预定义周界”应被广义地解释。例如,可以基于车辆场景来定义该周界的“大小”。因此,与车辆以相对低的速度倒车的场景相比,当“高速”向前行驶时(高机动性),周界可较大。该周界可不必完全围绕车辆。例如,当基于车辆场景并且当倒车时,该周界可被限定为仅在车辆后方。当然,当在向前方向上行驶时,存在类似的场景。
优选地,由所述至少一个外部相机产生的图像馈送与所述车辆场景的安全要求的相关性进一步基于所述至少一个外部相机的覆盖区域。该表述“覆盖区域”应理解为包括例如相机的视角和有用距离范围以及例如由第一坐标、第二坐标和第三坐标限定的覆盖区域。
根据本发明,车辆的位置与外部相机的“周界”的概念相关。例如可以从第一车辆所包括的全球导航卫星系统(GNSS,例如,GPS等)的接收器获取第一车辆的位置。车辆信息也可以是基于位置的,例如包含从车辆所包括的存储装置获取的地图数据。该地图数据可永久地或暂时存储在车辆中。当以暂时的方式存储时,可以从远程服务器/云服务器以“移动(on the go)”的方式获取地图数据。
在本发明的优选实施例中,第一车辆还包括连接到控制单元的车载相机,并且该控制单元被进一步配置成将第一车辆的相机产生的图像流与所述至少一个外部相机产生的图像流相组合,并且使用显示屏来显示组合后的图像流。因此,根据本发明,能够例如将从车载相机获取的图像数据与从(至少一个)外部相机获取的图像流“拼接”。图像数据的这种组合通常基于外部相机的位置、外部相机的覆盖区域、车载相机的(当前)位置、以及车载相机的相应覆盖区域。
在本发明的可能的实施例中,所述控制单元被进一步配置成获取与车辆的周围环境有关的外部信息,并且基于该外部信息来确定至少一个当前的或即将出现的车辆场景。这种信息例如可以从车辆的周围环境中的“基础设施组件”、从外部相机和/或从第一车辆的预定义周界内的第二/另一/其它车辆获取。在这种实施方案中,所述“外部组件”中的每一个将包含通信能力,并且将能够将“相关”信息传送到第一车辆。第一车辆与第二车辆之间的用于提供指令和/或警告的通信可以是任何形式,通常是基于无线电或光学通信(例如,车辆间通信)。类似地,位置固定的外部相机、基础设施组件之间的通信(例如,传输天气信息、与交通拥堵有关的信息等)等能够以类似的方式被提供,例如被定义为基础设施到车辆通信(infrastructure-to-vehicle communication)。
根据本发明的另一方面,提供一种被配置成与车辆辅助系统一起使用的相机装置,其中该相机装置包括:图像传感器,该图像传感器被配置成采集图像流;通信模块,该通信模块被配置成用于图像通信;以及图像处理电路,该图像处理电路连接到通信模块和图像传感器,其中该图像处理电路被配置成:从外部通信节点接收对图像流的请求,该请求包括外部通信节点的位置;比较该相机装置的位置与外部通信节点的位置;并且,如果外部通信节点处于该相机装置周围的预定义周界内,则将图像流传输到外部通信节点。
该相机装置通常被配置成与上文所述的车辆辅助系统一起使用,从而提供类似的优点。
根据本发明的另一方面,提供了一种操作用于第一车辆的车辆辅助系统的计算机实施方法,该车辆辅助系统包括:通信电路,该通信电路被设置成用于图像通信;和控制单元,该控制单元连接到通信电路,其中所述方法包括以下步骤:识别至少一个外部相机,该至少一个外部相机被远离第一车辆定位并处于第一车辆周围的预定义周界内;获取由所述至少一个外部相机产生的图像馈送;基于从第一车辆的内部源提取的车辆信息来确定第一车辆的至少一个当前的或即将出现的车辆场景,该车辆场景包括与第一车辆的当前位置有关的信息;确定所述车辆场景的安全要求;将所述至少一个外部相机产生的图像馈送与所述车辆场景的安全要求相关联;以及,如果所述图像馈送与所述安全要求之间的相关性表明是匹配的,则基于所述图像馈送来操作第一车辆。
根据本发明的又一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机可读介质,该计算机可读介质上存储有用于操作用于第一车辆的车辆辅助系统的计算机程序组件,该车辆辅助系统包括:通信电路,该通信电路被设置成用于图像通信;和控制单元,该控制单元连接到通信电路,该计算机程序产品包括:用于识别至少一个外部相机的代码,该至少一个外部相机被远离第一车辆定位并处于第一车辆周围的预定义周界内;用于获取由至少一个外部相机产生的图像馈送的代码;用于基于从第一车辆的内部源提取的车辆信息来确定第一车辆的至少一个当前的或即将出现的车辆场景的代码,该车辆场景包括与第一车辆的当前位置有关的信息;用于确定该车辆场景的安全要求的代码;用于将所述至少一个外部相机产生的图像馈送与所述车辆场景的安全要求相关联的代码;以及,用于当所述图像馈送与安全要求之间的相关性表明是匹配的时基于所述图像馈送来操作第一车辆的代码。
所述计算机可读介质可以是任何类型的存储器装置,包括可移除的非易失性随机存取存储器、硬盘驱动器、软盘、CD-ROM、DVD-ROM、USB存储器、SD存储卡或现有技术中已知的类似计算机可读介质中的一种。
下文的描述和所附权利要求书中公开了本发明的其它优点和有利特征。
附图说明
参照附图,下面是作为示例给出的、对本发明实施例的更详细描述。
在附图中:
图1A和图1B示出了配备有根据本发明的当前优选实施例的车辆辅助系统的不同类型的车辆;
图2示出了示例性车辆,该车辆包括用于监测其周围环境的多个车载相机;
图3A提供了车辆辅助系统的部件的范例,并且图3B示出了被配置成与这种车辆辅助系统一起使用的示例性相机装置;
图4结合第一示例性情景概念性地示出了用于执行根据本发明的方法的处理步骤;并且
图5示出了包括配备有车辆辅助系统和多个外部相机的车辆的第二示例性情景。
具体实施方式
现在,将在下文中参照附图更全面地描述本发明,附图中示出了本发明的当前优选的实施例。然而,本发明能够以许多不同的形式来实施,且不应解释为仅限于本文所阐述的实施例;实际上,提供这些实施例是为了充分公开并向本领域技术人员全面传达本发明的范围。在整个说明书中,相同的附图标记表示相同的元件。
现参照附图,尤其是图1A、图1B、图2和图3A,图1A中描绘了一个示例性车辆,它在此被示出为卡车100,该车辆中可包括根据本发明的系统300。系统300当然也能够以可能略微不同的方式实施在轿车100'中,如图1B所示。
卡车100设有多个车载相机202、204、206和208,用于在所有方向上监测周围环境,优选监测该卡车100的前方、后方及两侧。车载相机202、204、206和208优选连接到控制单元302,该控制单元302用于处理由车载相机202、204、206和208提供的信号。该控制单元302可包括通用处理器、专用处理器、包含处理部件的电路、一组分布式处理部件、被配置成用于处理的一组分布式计算机等。上述处理器可以是或可以包括用于进行数据或信号处理或用于执行存储器中储存的计算机代码的任何数量的硬件部件。该存储器可以是用于存储数据和/或计算机代码的一个或多个装置,所述数据或计算机代码用于完成或有助于本说明书描述的各种方法。该存储器可包括易失性存储器或非易失性存储器。该存储器可包括数据库组件、对象代码组件、脚本组件或用于支持本说明书的各种活动的任何其它类型的信息结构。根据示例性实施例,任何分布式或本地存储器装置可与本说明书的系统和方法一起使用。根据示例性实施例,该存储器以通信方式连接到所述处理器(例如,经由电路或任何其它有线连接、无线连接或网络连接),并且包括用于执行本文所述的一个或多个过程的计算机代码。
控制单元302例如也可连接到卡车100的通信接口(例如,CAN总线或类似物,或者专用通信接口),优选用于允许对卡车的元件进行控制(例如,控制其转向)和/或用于控制卡车100的制动装置。因此,根据由控制单元302基于车载相机202、204、206和208所提供的数据而进行的确定,能够控制卡车100的操作,例如包括:允许调整卡车100的方向(控制其转向)和/或速度(控制其制动装置)。
其它部件可连接到控制单元302,例如包括用于确定卡车100的位置的装置,例如,与例如存储在本地或远程数据库306中的地图信息相结合的GPS 304(全球定位系统)。该地图数据可包括例如与道路的类型以及车道的数量和/或道路上的任何静止障碍物有关的信息。此外,控制单元302包括通信电路308,该通信电路308用于允许使用车辆间通信而与“其它”车辆通信和/或用于从卡车100周围的预定义周界内的周围物体/基础设施组件/外部相机接收数据。
现在转到图3B,其示出了被配置成与车辆辅助系统(例如,上文所述的车辆辅助系统300)一起使用的相机装置350。相机装置350包括:至少一个图像传感器352,该至少一个图像传感器352被配置成采集图像流并设有相关的光学器件;图像处理电路(或更一般来说,上文所述的控制单元)354,该图像处理电路354被配置成控制相机装置350的操作;通信模块356,该通信模块356被配置成允许与至少一个外部通信节点进行双向通信;以及存储器模块358,该存储器模块358例如被配置成暂时存储由图像传感器352采集的图像流。控制单元354与图像传感器352、通信模块356和存储器模块358电连通。相机装置350的部件例如布置在防水外壳360内,从而例如允许相机装置350放置在室外。在本发明的一个可能的实施例中,相机装置350放置在灯柱362上的升高的位置处,并且被定位成俯视例如上述卡车100所工作的现场。
如所提到的,相机装置350通常与卡车100所包括的车辆辅助系统300协作,即,它是被远离卡车100定位并处于卡车100周围的预定义周界内的一个外部相机。
进一步参照图4,在车辆辅助系统300例如与相机装置350相结合操作期间,该过程起始于车辆辅助系统300的通信电路308和相机装置350的通信模块356相互识别(S1)。该识别可通过车辆辅助系统300和相机装置350中的一个或二者例如广播它们所处的位置以及它们希望彼此建立通信而进行。在一个实施例中,车辆辅助系统300与相机装置350之间的通信可以是直接通信,例如,被定义为车辆到基础设施(V2I)通信或基础设施到车辆(I2V)通信。车辆辅助系统300与相机装置350之间的上述通信例如可仅通过因特网进行,或者可同时还通过因特网进行。
根据本发明,仅当车辆辅助系统300与相机装置350处于卡车100周围的预定义周界内时,才在二者之间建立通信线路。一旦建立了通信线路,车辆辅助系统300就获取(S2)由相机装置350的至少一个图像传感器352采集的图像馈送。在相关的时间范围内(例如,略微在此之前、在此之后或与此同时),基于从卡车100的内部源提取的车辆信息来确定(S3)第一车辆的至少一个当前的或即将出现的车辆场景。该车辆场景通常包括与卡车100的当前位置有关的信息,例如从GPS 304获取的该信息。
如上文所述,所述车辆场景通常至少部分地基于从卡车100的内部信息源获取的信息。例如,在车辆的驾驶员切换到倒档的状况下,该信息可用于确定所述车辆场景是卡车100进行倒车。来自内部车辆源的信息可分布在卡车100的内部网络(例如,卡车100所包括的CAN总线)上。
所述车辆场景进而将充当用于确定(S4)卡车100的安全要求的输入。在卡车100倒车的情况下,如图4所示,通常希望具有清晰的后视视角,而不存在任何干扰的障碍物,例如在卡车100后方的预定义安全周界内移动的人(例如,所示出的儿童)。
在图4所示的场景中,将在倒车方向上操作该卡车100(第一卡车)。然而,第二卡车的位置使得该第二卡车至少部分遮挡了卡车100的后视视角。根据本发明,车辆辅助系统300从至少一个外部相机获取图像馈送,在示图中,该至少一个外部相机是如下项中的一个或二者:例如位于灯柱362上的相机装置350和/或第二卡车所包括的对应的相机装置。根据本发明,将从外部相机获取的所述图像馈送与早前确定的安全要求相关联(S5),在本实施例中,该安全要求是后方障碍物的提高的可见性。
在用户操作卡车100的情况下,将通过在卡车100所包括的显示单元上呈现来自外部相机的图像流而进一步操作(S6)卡车100,其中该显示单元优选布置在驾驶室内。在另一实施例中,卡车100是半自动驾驶车辆或全自动驾驶车辆,并且该车辆的操作例如包括从获取自外部相机的所述图像馈送中提取特征。从所述图像馈送中提取的特征然后例如可用于控制该车辆的制动系统。
在车辆所包括的显示单元上呈现图像流的情况下,可能希望对卡车100所包括的相机202、204、206和208中的一个相机产生的图像流进行组合、拼接等。在这种实施例中,关于组合来自内部相机和外部相机的图像流,可能希望考虑外部相机的相对位置和观察方向。
最后转到图5,其示出了卡车100所包括的车辆辅助系统300可用于提高卡车100的操作安全性的另一场景。在所示出的实施例中,卡车100正朝着四向交叉路口(十字路口)移动并在道路的右侧行驶。由于多棵树的位置很不幸地使得卡车100的驾驶员不容易看到从交叉道路过来的任何车辆和/或行人等,该十字路口不能为卡车100的驾驶员提供清晰视角。在图5的图示中,当从卡车100的角度观察时,轿车502正从左侧过来,并且自行车504正从右侧过来。此外,自行车504正在街道上“逆向”行驶,这通常是卡车100的驾驶员所预计不到的。
通过本发明,车辆辅助系统300将识别在十字路口处布置在升高的位置处的第一外部相机506和第二外部相机508。当然,另外的外部相机可布置在十字路口处和十字路口周围。此外,轿车502可设有上文所述的相机装置350。当从卡车100的角度观察时,相机506和508正俯视该十字路口的“隐藏”部分。
如上所述,该识别取决于卡车100周围的预定义周界。在本场景中,该周界可以是卡车100周围的固定距离,例如100米。该周界也可取决于卡车100的行驶方向(例如,仅在卡车100的前方)、卡车100的与存储在数据库306中的地图数据相关的位置。当从安全角度看时(例如,基于对遮挡的树的预先了解),卡车100的位置与该地图数据之间的相关性可导致与预定义的“问题区域”相对应的周界。
因此,一旦已识别到相机506和508,车辆辅助系统300就可获取图像流。在本实施例中,对即将出现的十字路口的了解(例如,基于当前位置和地图数据)将限定车辆场景,并且这种车辆场景的预定义的安全要求可被预定义为当从卡车100观察时、左侧和右侧街道/道路的清晰视角。通过本发明,将所述图像流与该安全要求相关联,并且在本实施例中,使用驾驶室中布置的显示单元将所述图像流显示给卡车100的驾驶员。因此,可提前向卡车100的驾驶员告知从右侧过来的自行车504,从而使卡车100的驾驶员在抵达该交叉路口/十字路口之前就准备好采取适当措施(例如,提前充分制动)。因此,即使在卡车100的驾驶员不容易看到例如障碍物的情况下,也可在安全性提高的情况下操作卡车100。根据上文的论述,例如,通过从所获取的来自相机506、508的图像流进行特征提取,还可以向卡车100的驾驶员自动地告知(例如,使用触觉、音频等)轿车502和/或自行车504的存在。
总的来说,本发明涉及一种用于第一车辆的车辆辅助系统,其包括:通信电路,该通信电路被设置成用于图像通信;以及控制单元,该控制单元连接到通信电路,其中该控制单元被配置成:使用通信电路识别至少一个外部相机,所述至少一个外部相机被远离第一车辆定位并处于第一车辆周围的预定义周界内;使用通信电路来获取由所述至少一个外部相机产生的图像馈送;基于从第一车辆的内部源提取的车辆信息来确定第一车辆的至少一个当前的或即将出现的车辆场景,该车辆场景包括与第一车辆的当前位置有关的信息;确定该车辆场景的安全要求;将所述至少一个外部相机产生的图像馈送与该车辆场景的安全要求相关联;以及,如果所述图像馈送与安全要求之间的相关性表明是匹配的,则基于所述图像馈送而操作第一车辆。
这种系统的优点是提高了车辆的操作安全性。具体地,从外部相机获取的图像馈送通常含有从本车辆可能看不到的情形/场景的视觉图示,并且该信息可用于改善对周围环境的理解,以使得甚至在即将出现的交通场景发生之前,就可对即将出现的交通场景作出适当的决策。
此外,可使用现有的计算机处理器或通过(出于此目的或另一目的而并入的)适当系统的专用计算机处理器或通过硬连线系统来实施本公开的控制功能。在本公开的范围内的实施例包括程序产品,该程序产品包括机器可读介质,该机器可读介质用于携载或具有存储于其上的机器可执行指令或数据结构。这种机器可读介质可以是可由通用或专用计算机或者具有处理器的其它机器存取的任何可用介质。举例来说,这种机器可读介质可包括RAM、ROM、EPROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于携载或存储呈机器可执行指令或数据结构形式的期望的程序代码并且可由通用或专用计算机或者具有处理器的其它机器存取的任何其它介质。当在网络或另一通信连接(硬连线、无线、或者硬连线或无线的组合)上将信息传递或提供给机器时,该机器可将该连接适当地视为机器可读介质。因此,任何这种连接都被适当地称为机器可读介质。上述各项的组合也被包括在机器可读介质的范围内。机器可执行指令例如包括使通用计算机、专用计算机或专用处理机执行某一功能或一组功能的指令和数据。
虽然附图可示出一个序列,但这些步骤的顺序可不同于所描绘的顺序。而且,两个或更多个步骤可同时执行或部分同时地执行。这种变型将取决于所选择的软件和硬件系统并取决于设计者的选择。所有这些变型都处于本公开的范围内。同样,可使用基于规则的逻辑和其它逻辑用标准编程技术实现软件实施方案,以实现各种连接步骤、处理步骤、比较步骤和决策步骤。另外,虽然已参考本发明的具体示例性施例描述了本发明,但对于本领域的技术人员来说,许多不同的修改和变型等将变得清楚。此外,单个单元可执行权利要求书中所述的若干装置的功能。在权利要求书中,置于括号内的任何附图标记不应解释为限制权利要求。此外,在权利要求书中,词语“包括”并不排除其它元件或步骤,并且,不定冠词“一”或“一个”不排除多个。
根据对附图、本公开和所附权利要求书的研究,本领域的技术人员可在实践所要求保护的发明时理解并实现所公开的实施例的变型。本领域的技术人员应认识到,本发明不限于优选实施例。
Claims (16)
1.一种用于第一车辆(100、100')的车辆辅助系统(300),包括:
-通信电路(308),所述通信电路(308)被设置成用于图像通信;和
-控制单元(302),所述控制单元(302)连接到所述通信电路(308),
其特征在于,所述控制单元被配置成:
-基于从所述第一车辆(100、100')的内部源提取的车辆信息来确定所述第一车辆(100、100')的至少一个当前的或即将出现的车辆场景,所述至少一个当前的或即将出现的车辆场景基于与所述第一车辆的操作相关的信息,其中所述车辆场景限定了所述第一车辆的当前的或即将出现的操作和情境中的至少一个;
-基于所述车辆场景来选择安全要求,其中所述安全要求限定了所述第一车辆的当前的或即将出现的安全操作的边界;
-使用所述通信电路(308)自动识别至少一个外部相机(350),所述至少一个外部相机(350)被远离所述第一车辆(100、100')定位并处于所述第一车辆(100、100')周围的预定义周界内,所确定的所述预定义周界基于所述第一车辆的所述至少一个当前的或即将出现的车辆场景;
-使用所述通信电路(308)来获取由所述至少一个外部相机(350)产生的图像馈送;
-使用所述控制单元将所述至少一个外部相机(350)产生的所述图像馈送所包含的所述第一车辆的周围环境的视觉图示与所述车辆场景的所述安全要求进行匹配;并且
-使用所述控制单元基于所述图像馈送和所述安全要求之间匹配的结果来操作所述第一车辆(100、100'),其中,所述第一车辆(100、100')的所述操作包括自动控制所述第一车辆(100、100')的速度、车道选择和档位选择中的至少一个。
2.根据权利要求1所述的车辆辅助系统(300),其中,所述第一车辆(100、100')的所述操作基于从所获取的所述图像馈送中提取的特征。
3.根据权利要求1所述的车辆辅助系统(300),其中,所述车辆场景包括与所述第一车辆(100、100')的当前位置有关的信息。
4.根据权利要求1所述的车辆辅助系统(300),其中,所述车辆场景选自一组预定的车辆场景,并且,针对所述一组车辆场景中的每一个车辆场景预先确定至少一个安全要求。
5.根据权利要求1所述的车辆辅助系统(300),其中,由所述至少一个外部相机(350)产生的所述图像馈送与所述车辆场景的所述安全要求的相关性进一步基于所述至少一个外部相机(350)的覆盖区域。
6.根据权利要求1所述的车辆辅助系统(300),其中,从所述第一车辆(100、100')的所述内部源提取的所述车辆信息由所述第一车辆所包括的至少一个可控的车辆部件产生。
7.根据权利要求1所述的车辆辅助系统(300),还包括连接到所述控制单元的显示屏,其中,所述控制单元在基于所述图像馈送而操作所述第一车辆(100、100')时向观察所述显示屏的所述第一车辆的驾驶员显示所述图像馈送。
8.根据权利要求1所述的车辆辅助系统(300),其中,从所述第一车辆(100、100')的内部网络提取的所述车辆信息包括道路地图数据。
9.根据权利要求1所述的车辆辅助系统(300),其中,所述控制单元从所述第一车辆(100、100')所包括的GNSS接收器(304)接收所述第一车辆(100、100')的位置。
10.根据权利要求1所述的车辆辅助系统(300),其中,从所述第一车辆(100、100')的所述内部源提取的所述车辆信息包括与所述第一车辆(100、100')的当前用户操作有关的信息。
11.根据权利要求7所述的车辆辅助系统(300),其中,所述第一车辆(100、100')还包括连接到所述控制单元的车载相机(202、204、206、208),并且所述控制单元被进一步配置成:
-将所述第一车辆(100、100')的所述车载相机(202、204、206、208)产生的图像流与所述至少一个外部相机(350)产生的图像流相组合;并且
-使用所述显示屏来显示组合后的图像流。
12.根据权利要求1所述的车辆辅助系统(300),其中,所述控制单元被进一步配置成:
-获取与所述第一车辆(100、100')的周围环境有关的外部信息;并且
-基于所述外部信息来确定所述至少一个当前的或即将出现的车辆场景。
13.根据权利要求11所述的车辆辅助系统(300),其中,所述外部信息是从所述外部相机(350)、所述第一车辆(100、100')的所述预定义周界内的第二车辆、以及所述第一车辆(100、100')的所述预定义周界内的道路基础设施组件获取的。
14.根据权利要求1所述的车辆辅助系统(300),其中,所述车辆场景是所述第一车辆(100、100')进行倒车,并且,针对所述第一车辆(100、100')倒车的所述安全要求是至少部分地允许提高的障碍物可见度的后视视角。
15.根据权利要求13所述的车辆辅助系统(300),其中,如果挂了倒档,则所述预定义周界仅在所述第一车辆(100、100')后方,并且确定了所述车辆场景。
16.一种操作用于第一车辆(100、100')的车辆辅助系统(300)的计算机实施方法,所述车辆辅助系统(300)包括:通信电路(308),所述通信电路(308)被设置成用于图像通信;和控制单元(302),所述控制单元(302)连接到所述通信电路(308),其中,所述方法包括以下步骤:
-自动识别(S1)至少一个外部相机(350),所述至少一个外部相机(350)被远离所述第一车辆(100、100')定位并处于所述第一车辆(100、100')周围的预定义周界内,所确定的所述预定义周界基于所述第一车辆的至少一个当前的或即将出现的车辆场景;
-获取(S2)由所述至少一个外部相机(350)产生的图像馈送;
-基于从所述第一车辆(100、100')的内部源提取的车辆信息来确定(S3)所述第一车辆(100、100')的至少一个当前的或即将出现的车辆场景,所述车辆场景包括与所述第一车辆(100、100')的当前位置有关的信息,所述至少一个当前的或即将出现的车辆场景基于与所述第一车辆的操作相关的信息,其中所述车辆场景限定了所述第一车辆的当前的或即将出现的操作和情境中的至少一个;
-选择(S4)所述车辆场景的安全要求,其中所述安全要求限定了所述第一车辆的当前的或即将出现的安全操作的边界;
-将所述至少一个外部相机(350)产生的所述图像馈送所包含的所述第一车辆的周围环境的视觉图示与所述车辆场景的所述安全要求进行匹配(S5);以及
-如果所述图像馈送与所述安全要求之间的相关性表明是匹配的,则基于所述图像馈送来操作(S6)所述第一车辆(100、100'),其中,所述第一车辆(100、100')的所述操作包括自动控制所述第一车辆(100、100')的速度、车道选择和档位选择中的至少一个。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2015/054434 WO2016138942A1 (en) | 2015-03-03 | 2015-03-03 | A vehicle assistance system |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107406072A CN107406072A (zh) | 2017-11-28 |
CN107406072B true CN107406072B (zh) | 2019-12-17 |
Family
ID=52598766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580076795.7A Active CN107406072B (zh) | 2015-03-03 | 2015-03-03 | 车辆辅助系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10556586B2 (zh) |
EP (1) | EP3266014A1 (zh) |
JP (1) | JP6679607B2 (zh) |
CN (1) | CN107406072B (zh) |
WO (1) | WO2016138942A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016224510A1 (de) | 2016-12-08 | 2018-06-14 | Audi Ag | Verfahren zur Bereitstellung von Ergebnisdaten, die von einem Kraftfahrzeugumfeld abhängen |
US20190244515A1 (en) * | 2017-09-25 | 2019-08-08 | Continental Automotive Systems, Inc. | Augmented reality dsrc data visualization |
CN108172025B (zh) * | 2018-01-30 | 2021-03-30 | 东软睿驰汽车技术(上海)有限公司 | 一种辅助驾驶方法、装置、车载终端及车辆 |
CN110462703A (zh) * | 2018-03-08 | 2019-11-15 | 百度时代网络技术(北京)有限公司 | 基于碰撞后分析的自动驾驶车辆的车辆动作优化 |
JP7044000B2 (ja) * | 2018-07-20 | 2022-03-30 | 株式会社デンソー | 車両制御装置および車両制御方法 |
JP7166958B2 (ja) | 2019-02-28 | 2022-11-08 | 株式会社日立製作所 | サーバ、車両支援システム |
KR102653404B1 (ko) * | 2020-05-08 | 2024-04-02 | 주식회사 에이치엘클레무브 | 차량의 제어 장치 및 제어 방법 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002054320A (ja) * | 2000-08-10 | 2002-02-20 | Yazaki Corp | 駐車補助装置 |
KR100866450B1 (ko) | 2001-10-15 | 2008-10-31 | 파나소닉 주식회사 | 차량 주위 감시 장치 및 그 조정 방법 |
JP4380561B2 (ja) | 2004-04-16 | 2009-12-09 | 株式会社デンソー | 運転支援装置 |
DE102004049870A1 (de) * | 2004-10-13 | 2006-04-20 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Verbesserung der Sicht von Fahrern von Kraftfahrzeugen |
JP4848893B2 (ja) * | 2006-08-29 | 2011-12-28 | 株式会社デンソー | 交差点情報提供システム及び運転支援システム |
US8531521B2 (en) * | 2006-10-06 | 2013-09-10 | Sightlogix, Inc. | Methods and apparatus related to improved surveillance using a smart camera |
JP4321643B2 (ja) | 2007-08-10 | 2009-08-26 | トヨタ自動車株式会社 | 周辺監視装置 |
JP2009101718A (ja) | 2007-10-19 | 2009-05-14 | Toyota Industries Corp | 映像表示装置及び映像表示方法 |
US8400507B2 (en) | 2008-03-17 | 2013-03-19 | International Business Machines Corporation | Scene selection in a vehicle-to-vehicle network |
JP2010086265A (ja) * | 2008-09-30 | 2010-04-15 | Fujitsu Ltd | 受信装置、データ表示方法、および移動支援システム |
JP2011118483A (ja) * | 2009-11-30 | 2011-06-16 | Fujitsu Ten Ltd | 車載装置および認知支援システム |
CN102616235B (zh) * | 2012-04-09 | 2016-01-20 | 北京航空航天大学 | 一种基于车车通信的协同避撞装置及避撞方法 |
US9296334B2 (en) * | 2012-06-29 | 2016-03-29 | Harman International Industries, Incorporated | Systems and methods for disabling a vehicle horn |
TWI552897B (zh) | 2013-05-17 | 2016-10-11 | 財團法人工業技術研究院 | 影像動態融合方法與裝置 |
JP6467773B2 (ja) * | 2014-02-25 | 2019-02-13 | アイシン・エィ・ダブリュ株式会社 | 経路探索システム、経路探索方法及びコンピュータプログラム |
US9476729B2 (en) * | 2014-05-29 | 2016-10-25 | GM Global Technology Operations LLC | Adaptive navigation and location-based services based on user behavior patterns |
CN106537892B (zh) * | 2014-05-29 | 2021-01-05 | 株式会社尼康 | 摄像装置及车辆 |
CN104057944A (zh) * | 2014-06-26 | 2014-09-24 | 云南昆船智能装备有限公司 | 一种叉车的半自动行驶控制系统及方法 |
US9947215B2 (en) * | 2014-09-26 | 2018-04-17 | Harman International Industries, Incorporated | Pedestrian information system |
US9983013B1 (en) * | 2016-07-08 | 2018-05-29 | Allstate Insurance Company | Automated vehicle control and guidance based on real-time blind corner navigational analysis |
-
2015
- 2015-03-03 JP JP2017546109A patent/JP6679607B2/ja not_active Expired - Fee Related
- 2015-03-03 CN CN201580076795.7A patent/CN107406072B/zh active Active
- 2015-03-03 US US15/542,663 patent/US10556586B2/en active Active
- 2015-03-03 WO PCT/EP2015/054434 patent/WO2016138942A1/en active Application Filing
- 2015-03-03 EP EP15707645.6A patent/EP3266014A1/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
US20180001889A1 (en) | 2018-01-04 |
JP6679607B2 (ja) | 2020-04-15 |
CN107406072A (zh) | 2017-11-28 |
US10556586B2 (en) | 2020-02-11 |
WO2016138942A1 (en) | 2016-09-09 |
EP3266014A1 (en) | 2018-01-10 |
JP2018514016A (ja) | 2018-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107406072B (zh) | 车辆辅助系统 | |
US20230311749A1 (en) | Communication between autonomous vehicle and external observers | |
US11958504B2 (en) | Method and apparatus for controlling a vehicle's driving operation using advance information | |
US11092456B2 (en) | Object location indicator system and method | |
US10012997B2 (en) | Systems and methods for determining the status and details of a traffic light | |
US10699570B1 (en) | Displaying sensor data and supplemental data as a mask for autonomous vehicles | |
US20120087546A1 (en) | Method and device for determining processed image data about a surround field of a vehicle | |
JP2008250503A (ja) | 運転支援装置 | |
WO2012131871A1 (ja) | 情報表示装置、制御方法、プログラム、及び記憶媒体 | |
EP3530521B1 (en) | Driver assistance method and apparatus | |
CN110497919B (zh) | 自动车辆从自主模式转换到手动模式的物体位置历史回放 | |
US11697425B1 (en) | Method and system for assisting drivers in locating objects that may move into their vehicle path | |
CN113696893A (zh) | 跟车方法、车辆及计算机可读存储介质 | |
JP6555413B2 (ja) | 移動体周囲表示方法及び移動体周囲表示装置 | |
US20220065649A1 (en) | Head-up display system | |
WO2023028764A1 (zh) | 一种自动泊车的方法、装置以及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |