CN109916425A - 车辆导航系统和方法 - Google Patents

Abstract

车辆导航系统(10)包括相机(16)和控制器(24)。相机(16)被配置为呈现相机(16)的视场(20)中的主车辆(12)的图像(14)。相机(16)远离主车辆(12)。控制器(24)安装在主车辆(12)上。控制器(24)被配置为接收图像(14)并根据图像(14)中主车辆(12)的位置(32)确定主车辆(12)的车辆坐标(18)。相机(16)可以被配置为在图像(14)上叠加网格线(38)，并且控制器(24)可以被配置为根据网格线(38)确定位置(32)。

Description

车辆导航系统和方法

技术领域

本公开总体上涉及车辆导航系统，并且更具体地涉及确定安装有控制器的主车辆的车辆坐标的控制器，其中根据由远离主车辆的相机呈现的图像中的主车辆的位置确定车辆坐标。

附图说明

现在将参考附图通过示例描述本发明，其中：

图1是根据一个实施例的车辆导航系统的示图；和

图2是根据一个实施例的由图1的系统生成的图像；和

图3是根据一个实施例的操作图1的系统的方法的流程图。

具体实施方式

图1示出了车辆导航系统10的非限制性示例，车辆导航系统10在下文中称为系统10，其利用来自远程相机16(例如，交通相机，以下称为相机16)(即，由远程相机16呈现或捕获或记录)的图像14。如下面将更详细说明的那样，系统10使用图像14来确定主车辆12的车辆坐标18(例如纬度，经度，高度)。主车辆12可以表征为自动车辆。如本文所使用的，术语“自动车辆”可以应用于主车辆12以自动模式操作的情况，即完全自主或无人驾驶模式，其中主车辆12的人类操作员(未示出)可以做的仅仅是指定目的地以操作主车辆12。但是，完全自动化不是必要的。可以设想，当主车辆12以手动模式操作时，本文提出的教导是有用的，其中自动化程度或水平可能仅仅是向通常控制主车辆12的转向、加速器和制动器的人类操作员提供听觉或视觉警告。例如，系统10可以仅根据需要帮助人类操作员改变车道和/或避免干扰和/或与例如诸如另一车辆、行人或道路标志的物体碰撞。

相机16被配置为在主车辆12存在于相机16的视场20中时呈现(即，捕获和/或传输)主车辆12的图像。该图像可以是连续的以合适的帧速率馈送时间戳或单个图像，例如每秒五帧(5fps)。图像可以连续发送或仅在主车辆12请求时发送。如上所述，相机16位于远离主车辆12的位置，即未安装在主车辆12上或不物理连接到主车辆12。本领域技术人员将认识到相机16的合适示例是可商购的。相机16可以包括用于将图像14无线传输或广播到主车辆12的发射机22。该传输可以通过射频(RF)通信，例如专用短程通信(DSRC)、蜂窝网络通信(LTE)、Wi-Fi或其他基于无线电的通信装置。传输可以是直接的或通过具有适当延迟和时间戳的云连接。或者，发射器22可以使用红外光(IR)发射图像14，因此发射范围相对有限并且不会进一步挤占RF频谱。虽然发射器22被示出为相机16的一部分，但这不是必需的。可以设想，相机16可以有线或无线连接到协调图像14的广播或传输的广域交通控制系统(未示出)。

图2示出了由相机16呈现并可选地发送的图像14的实例的非限制性示例。应当理解，相机16实际上不在图像14中，而是被示为其中相机16可以相对于主车辆12定位的示例。图像14使得它表明已经对通过相机16的镜头看到的原始图像进行了一些处理，因为在图像中没有如果相机位于相对较低的高度(例如，小于图像14中示出的交叉点的表面之上20米)，可以预期的明显的透视效果。图像处理领域中的那些技术人员将意识到图像处理算法将容易地获得，其将消除透视效果以提供图像14的这种实例。还意识到相机16可以位于图像14的偏离中心的位置，例如在交叉点的拐角处，并且可以使用图像处理来提供具有所示的明显透视图的图像。除了图像14中的视觉信息之外，诸如时间戳和/或相机16的坐标和观看方向的元数据可以包括在传送图像14的数据流中。

返回图1，系统10包括安装在主车辆12上的控制器24。控制器24可包括处理器26，诸如微处理器或其他控制电路，诸如模拟和/或数字控制电路，包括用于处理数据的专用集成电路(ASIC)，这对于本领域技术人员来说是显而易见的。在下文中，提到控制器24进行配置以做某事将被解释为暗示可选地，处理器26也可以被配置用于相同的事物。

控制器24可以包括存储器28，即非暂时性计算机可读存储介质28，包括非易失性存储器，例如用于存储一个或多个例程、阈值和捕获数据的电可擦除可编程只读存储器(EEPROM)。存储器28可以是处理器26的一部分，或控制器24的一部分，或者与控制器24分开，例如存储在云中的远程存储器。一个或多个例程可以由控制器24或处理器26执行，以基于控制器24从相机16接收的信号执行用于确定主车辆12的车辆坐标18的步骤，如本文所述。

控制器24可以包括配备有输入60的收发器30，输入60被配置为通过例如经由IR、DSRC、LTE或Wi-Fi的无线通信来接收图像14。如下面将更详细解释的，控制器24(或处理器26)被配置为根据(即，基于)图像14中的主车辆12的位置32确定主车辆12的车辆坐标18(例如，纬度、经度、高度)。位置32可以表示为，例如但不限于，图像中的xy位置，其相对于图像14的周边框架(未示出)或者相对于图像14中的某个参考标记或参考物体，例如参考柱34(图2)，或相对于相机16。相机16的相机坐标(例如纬度、经度、高度)可以通过访问数字地图36、读取靠近相机16的QR码来确定，或者可以将相机坐标作为数据与图像14一起传送。还可以预期可以进行必要的旋转和平移以恢复车辆坐标系上的位置(车辆坐标18)。

现在参考图2，图像14可以包括图像14中的网格线38，以帮助确定车辆坐标18。在系统10的一个非限制性实施例中，相机16被配置为将网格线38叠加在图像14上。在这种情况下，由于上述图像处理从图像中去除了透视效果，因此网格线38被示出为等间隔的。或者，可以将网格线38添加到未处理的透视图，其中网格线38根据透视图间隔开。然后可以使用不等间隔的网格线来帮助处理图像以去除透视效果，或者确定主车辆12相对于相机16的相对位置(即位置32)。即，当图像14示出除了图2中所示的俯视图之外的一些透视图时，网格线38可以不等间隔，使得如果/当透视图被转换到俯视图时网格线等间隔。

控制器24被配置为根据网格线38确定位置32。接着，控制器24被配置为相对于网格线38确定车辆坐标18，即根据或基于位置32。车辆坐标18的确定可以基于关于网格线38的内插。沿着网格线38的实例的相对位置或距离可以基于从相机提供的复杂函数作为元数据作为图像14中的部分来表示或确定。可以通过从数字地图中选择已知的物体尺寸或物体位置，或者利用主车辆12的传感器44(例如，相机、雷达、激光雷达、惯性测量单元(IMU)、超声换能器或其任何组合)确定物体的物体尺寸或物体位置并且根据网格线来与相应的尺寸或位置进行比较来完成沿网格线的距离的验证。网格线38的垂直实例相交的点40可以用与图像14通信的坐标来识别，或者可以基于相机或参考物体的相对位置来确定。

再次参考图1，系统10可以包括图像处理器42，其可以在控制器24中或者是相机16的一部分，或者部分在控制器24和相机16中。图像处理器42可以被配置确定图像中主车辆12的位置32。在不包括使用或提供网格线38的一个实施例中，来自传感器44的信号62可用于确定到相机16和/或物体34的距离和方向，然后可以执行已知的几何分析以确定图像14中的多个车辆中的哪一个是主车辆12。然后，利用相机16和/或参考柱34的坐标(其可以包括在图像14中或者从数字地图36中调用)，可以确定车辆坐标18。如果图像14包括网格线38，则可以从图像14测量从主车辆12到点40的一个或多个实例的图像距离和图像方向，并且可以基于点40的相对位置确定车辆坐标18。可选地，确定哪个是主车辆12可以基于图像14中的物体34(例如，参考柱34)的相对位置，或者基于比较图像14中的其他车辆的尺寸、颜色、运动和/或距离和方向46和/或由主车辆12的传感器44检测。

确定多个其他车辆中的哪一个是主车辆12或至少减少可能性的数量的另一种方式是确定主车辆12在道路的哪个车道。在系统10的一个实施例中，图像处理器42安装在主车辆12中，系统包括数字地图36，并且控制器24被配置成确定多个车道48中的哪一个是被占用的车道50，即主车辆12所在的车道。可以设想，诸如相机之类的传感器44和/或低精度全球位置传感器(GPS)或GPS+IMU组合可以确定哪个车道被主车辆12占据。还可以预期与图像处理器42组合的相机可以确定车道标记类型(例如虚线或实线)和/或车道标记颜色(例如黄色或白色)和/或可以帮助识别图像14中由主车辆12占据的占用车道50的路缘/障碍物的存在。

确定多个其他车辆中的哪一个是主车辆12或至少减少可能性的数量的另一种方式是确定到在图像14中指示的另一个车辆52的距离和方向(即，距离和方向46)。这可以包括控制器24基于但不限于其他车辆的颜色和/或其估计位置来创建其他车辆的本地地图，并且在任何必要的变换(即旋转和/或平移)之后，将该自制地图与图像14进行比较。

在又一个实施例中，系统10可以包括安装在主车辆12上的信标54(图1)。信标54被配置为发射光信号56，该光信号56优选地是红外(IR)光，使得主光车辆12附近的人不会被光信号56分心。图像处理器42(如前所述可以在主车辆12和/或相机16中)被配置为根据光信号56的检测来确定图像14中的主车辆12的位置32。可以对光信号进行编码，从而可以区分信标的多个实例，或者可以根据需要开启和关闭信标54，直到图像处理器能够将光信号56与图像14中的任何其他光源区分开，使得图像14中的信标54或光信号56的位置指示图像14中的主车辆12的位置32。

在又一个实施例中，系统10可以包括安装在主车辆12上的属性64(图1和2)。属性64在制造时加载到控制器24中或由车主输入。如前所述可以在主车辆12和/或相机16中的图像处理器42被配置为根据属性64的检测来确定图像14中的主车辆12的位置32。属性64的合适示例包括但不限于主车辆12的车顶或车身上的数字或符号、适合于图像处理器匹配的车辆轮廓、和/或车辆颜色。

图3示出了操作系统10的方法100的非限制性示例。方法100还可以建议操作或编程控制器24或处理器26的方式。

步骤105，操作信标以发射光信号，可以包括操作安装在主车辆12上的信标54的一个或多个实例以发出光信号56。操作可以包括响应于来自图像处理器42的请求来打开和关闭信标54，从而图像处理器42可以将信标54与安装在其他车辆上的其他信标区分开。或者，可以调制光信号以指示例如主车辆12特有的车辆识别号(VIN)。

步骤110，通过远程相机呈现图像，可以包括操作相机16以捕获或记录视场20中存在的物体的一个或多个图像。图像14可以是在时间上来自单个瞬间，其可以包括时间戳。或者，图像14可以是静止图像的突发或序列，或者是由相机16连续广播或输出的视频图像。

步骤115，在图像上叠加网格线，可以包括由相机或控制器24在图像上叠加网格线38。网格线可以是等间隔的，尤其是如果图像是诸如图1中所示的透视校正图像的情况下。或者，网格线可以在主车辆12附近例如靠近主车辆12不超过5米(5米)的地方彼此更靠近，并且在远离主车辆12的视场20的区域中离得更远。如果来自相机16的图像14不是经过透视校正的，网格线38可以间隔开，使得当执行后续图像处理时，图像14的透视校正版本具有等间隔的网格线，如图2所示。

步骤120，从远程相机接收图像，可包括由控制器24或更具体地由收发器30接收来自相机16的图像14(例如，由相机16广播或发送)。相机16必须位于远离主车辆12，即未安装在主车辆12上或以其他方式物理地连接到主车辆12。相机16被瞄准或定向，使得图像14描绘主车辆12。即，主车辆12是在相机16的视场20中。

步骤125，检测图像中的光信号，可以包括控制器24，或者更具体地，图像处理器42，检测图像14中的光信号56。

步骤130，从传感器接收信号，可以包括如果系统10如此配备，则从安装在主车辆12上的传感器44接收信号62。信号62可以包括来自传感器中的相机的另一图像、雷达返回信号、激光雷达点、或者由传感器44检测到的靠近主车辆12的物体的其他指示，或者由上述内容构成。

步骤135，确定到物体/其他车辆的距离/方向，可包括控制器24或处理器26处理来自传感器44的信号62以确定到传感器44检测到的其他车辆52的距离和方向(距离和方向46)。

步骤140，访问数字地图，可以包括控制器24或处理器26访问视场20的数字地图36，以例如调用或检索相机16和/或参考柱34的GPS坐标，或其他地图特征。数字地图还可以包括或提供网格线38和/或点40的GPS坐标。

步骤145，确定占用车道，可包括控制器24或处理器26从数字地图36和图像14确定多个车道48中的哪一个是被占用车道50，其被定义为由主车辆12占据的车道。

步骤150，确定图像中主车辆的位置，可以包括通过在网格线38和/或点40的GPS坐标之间插值来根据(即基于)网格线38确定位置32。步骤150可以另外或者可选地包括根据(即，基于)图像14中的光信号56的检测来确定主车辆12的位置32。

步骤155，确定主车辆的车辆坐标，可以包括根据图像14中主车辆12的位置32确定主车辆12的车辆坐标18(例如，纬度、经度和高度的GPS坐标)。

再次参见图1，系统10包括第一设备24，其包括处理器26的一个或多个实例，存储器28，以及存储在存储器28中的程序的一个或多个实例。一个或多个程序包括用于执行方法100的指令(105,110,115，......155)。系统10还包括非暂时性计算机可读存储介质28或由其组成，其包括一个或多个程序100，用于由第一设备24的一个或多个处理器26执行，所述一个或多个程序包括指令，当由一个或多个处理器26执行时，所述指令使第一设备24执行方法100。

因此，提供了车辆导航系统10(系统10)，用于系统10的控制器24，以及操作系统10的方法100。在密集的城市环境中，例如城市峡谷中，由于缺乏跟踪卫星，跟踪卫星的变化，多径，由于视线问题导致的阻塞校正因子，架空树，不良的蜂窝网络覆盖，接收的和校正因子卫星的非对应性，GPS提供的绝对定位可能不太准确。这里描述的是一种提供精确的全局参考定位(位置和姿势)的系统和方法。该系统和方法对于在两个位置之间的定位期间处理IMU漂移特别有用，所述两个位置足够接近以在漂移之前使用IMU使得IMU确定的定位不可用。

尽管已经根据本发明的优选实施例描述了本发明，但是并不意图限制本发明，而是仅在所附权利要求中阐述的范围内。

Claims (20)

1.一种车辆导航系统(10)，所述系统(10)包括：

相机(16)，其被配置为呈现相机(16)的视场(20)中的主车辆(12)的图像(14)，所述相机(16)设置为远离所述主车辆(12)；以及

安装在所述主车辆(12)上的控制器(24)，所述控制器(24)被配置为接收所述图像(14)并根据所述图像(14)中的所述主车辆(12)的位置(32)来确定所述主车辆(12)的车辆坐标(18)。

2.根据权利要求1所述的系统(10)，其中，所述相机(16)被配置为在所述图像(14)上叠加网格线(38)，并且所述控制器(24)被配置为根据所述网格线(38)确定所述位置(32)。

3.根据权利要求1至2中任一项所述的系统(10)，其中，所述系统(10)包括图像处理器(42)，所述图像处理器(42)被配置为确定所述图像(14)中的所述主车辆(12)的位置(32)。

4.根据权利要求3所述的系统(10)，其中所述图像处理器(42)安装在所述主车辆(12)中，所述系统(10)包括数字地图(36)，并且所述控制器(24)被配置为确定多个车道(48)中的哪个车道是所述主车辆(12)所在的占用车道(50)。

5.根据权利要求3至4中任一项所述的系统(10)，其中，所述系统(10)包括安装在所述主车辆(12)上的传感器(44)，所述传感器(44)被配置为确定到所述图像(14)中指示的物体(34)的距离和方向(46)。

6.根据权利要求3至5中任一项所述的系统(10)，其中，所述相机(16)被配置为在所述图像(14)上叠加网格线(38)，并且所述控制器(24)被配置为根据所述网格线(38)来确定所述位置(32)。

7.根据前述权利要求中任一项所述的系统(10)，其中，所述系统(10)包括安装在所述主车辆(12)上的信标(54)，所述信标(54)被配置为发射光信号(56)，并且所述图像处理器(42)被配置为根据所述光信号(56)的检测来确定所述图像(14)中的所述主车辆(12)的位置(32)。

8.根据前述权利要求中任一项所述的系统(10)，其中，所述系统(10)包括安装在所述主车辆(12)上的属性(64)，所述属性(64)能够在所述图像(14)中检测到，并且所述图像处理器(42)被配置为根据所述属性(64)的检测来确定所述图像(14)中的所述主车辆(12)的位置(32)。

9.一种用于车辆导航系统(10)的控制器(24)，所述控制器(24)包括：

输入(60)，其被配置为从相机(16)接收图像(14)，所述相机(16)被配置为呈现所述相机(16)的视场(20)中的主车辆(12)的图像(14)，所述相机(16)设置为远离所述主车辆(12)；以及

处理器(26)，其被配置为根据所述图像(14)中的所述主车辆(12)的位置(32)来确定所述主车辆(12)的车辆坐标(18)。

10.根据权利要求9所述的控制器(24)，其中，所述相机(16)被配置为在所述图像(14)上叠加网格线(38)，并且所述处理器(26)被配置为根据所述网格线(38)来确定所述位置(32)。

11.根据权利要求9至10中任一项所述的控制器(24)，其中，所述处理器(26)包括图像处理器(42)，所述图像处理器(42)被配置为确定所述图像(14)中的所述主车辆(12)的位置(32)。

12.根据权利要求11所述的控制器(24)，其中，所述处理器(26)被配置为与安装在所述主车辆(12)上的信标(54)通信，所述信标(54)被配置为发射光信号(56)，并且所述图像处理器(42)被配置为根据所述光信号(56)的检测来确定所述图像(14)中的所述主车辆(12)的位置(32)。

13.根据前述权利要求中任一项所述的控制器(24)，其中，所述图像处理器(42)被配置为根据所述主车辆(12)上的属性(64)的检测来确定所述图像(14)中的所述主车辆(12)的位置(32)。

14.一种操作车辆导航系统(10)的方法(100)，所述方法(100)包括：

从相机(16)接收(110)图像(14)，其中所述图像(14)描绘所述相机(16)的视场(20)中的主车辆(12)，所述相机(16)设置为远离所述主车辆(12)；

通过安装在所述主车辆(12)上的控制器(24)接收(120)所述图像(14)；并且

根据所述图像(14)中的所述主车辆(12)的位置(32)来确定所述主车辆(12)的车辆坐标(18)。

15.根据前述权利要求中任一项所述的方法(100)，其中，所述方法(100)包括

通过所述相机(16)在所述图像(14)上叠加(115)网格线(38)；

根据所述网格线(38)来确定所述位置(32)。

16.根据前述权利要求中任一项所述的方法(100)，其中，所述方法(100)包括

访问(140)所述视场(20)的数字地图(36)；

从所述数字地图(36)和所述图像(14)确定(145)多个车道(48)中的哪一个是由所述主车辆(12)占用的占用车道(50)。

17.根据前述权利要求中任一项所述的方法(100)，其中，所述方法(100)包括

从安装在所述主车辆(12)上的传感器(44)接收(130)信号(62)；并且

确定(135)到所述传感器(44)检测到的物体(34)的距离和方向(46)。

18.根据前述权利要求中任一项所述的方法(100)，其中，所述方法(100)包括

操作(105)安装在所述主车辆(12)上的信标(54)以发射光信号(56)；并且

检测(125)所述图像(14)中的所述光信号(56)；并且

根据所述图像(14)中的所述光信号(56)的检测，确定(155)所述主车辆(12)的位置(32)。

19.第一设备(24)，包括：

一个或多个处理器(26)；

存储器(28)；以及

存储在存储器(28)中的一个或多个程序(105-155)，所述一个或多个程序(105-155)包括用于执行根据权利要求14-18中任一项所述的方法(100)的指令。

20.一种非暂时性计算机可读存储介质(28)，包括用于由第一设备(24)的一个或多个处理器(26)执行的一个或多个程序(105-155)，所述一个或多个程序(105-155)包括当由所述一个或多个处理器(26)执行时使所述第一设备(24)执行根据权利要求14-18中任一项所述的方法(100)的指令。