CN111357036A - 基础设施传感器自校准的系统和方法 - Google Patents

Abstract

公开了用于传感器自校准的设备、方法和软件程序，所述自校准包括由传感器感测至少一个视场中的对象，并且从所述感测中生成感测数据；从所述感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；针对检测到的每个标记，提取所述标记的定位信息，并且将所述标记与所提取的其定位信息相关联；以及基于所提取的针对检测到的每个标记的定位信息来校准传感器。

Description

基础设施传感器自校准的系统和方法

技术领域

本发明总体上涉及一种用于促进在具有基础设施的地理区域中的车辆的操作的基础设施，并且特别地涉及一种用于对基础设施传感器进行自校准的系统、软件程序和方法。

背景技术

车辆对车辆（V2V）通信和车辆对基础设施（V2X）通信在控制车辆方面、特别是对于驾驶安全和驾驶辅助系统而言变得越来越重要。在控制驾驶安全和驾驶辅助系统时，尽可能准确地了解车辆和车辆可以与之交互的其它对象的位置是有利的。

牵涉V2X通信的基础设施感测设备包括对设备视场内的对象进行感测的感测设备。这样的感测设备可以例如与交通灯集成，或者是安装在杆、建筑物或其它结构上的独立对象。尽管基础设施感测设备被稳定地安装和/或固定，但是这样的设备的位置可能随着时间而改变。例如，交通灯的定位（纬度、经度和定向）可能基于温度、风、灯上的雪或冰的重量或者在其上安装交通灯的结构等而变化。此外，基于视觉的传感器需要被不时地重新校准。

发明内容

根据示例实施例，公开了一种监视器设备，所述监视器设备包括：处理单元；耦合到所述处理单元的存储器；耦合到所述处理单元的传感器布置，所述传感器布置包括被配置成感测所述传感器的至少一个视场中的对象的多个传感器；以及存储在所述存储器中的程序代码。程序代码具有指令，所述指令在由处理单元执行时，使得处理单元从传感器接收在所述传感器的至少一个视场中的对象的感测数据；在所述感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；针对所检测的每个标记，提取标记和监视器设备之间的定位信息，并将所述标记与所提取的定位信息相关联；并且基于所提取的定位信息校准传感器布置中的传感器。

监视器设备可以包括交通灯，所述交通灯具有耦合到处理单元以用于由此进行控制的多个灯。

在示例实施例中，监视器设备包括耦合到处理单元的收发器，其中存储在存储器中的指令在由处理单元执行时，进一步使得处理单元在传感器校准之后从传感器接收传感器的至少一个视场中的对象的第二感测数据，从所述第二感测数据中检测传感器的至少一个视场中的对象，并且部分地基于所提取的针对每个标记的定位信息来提取第二感测数据的对象相对于监视器设备的定位信息，并且使用收发器来传送与第二感测数据的感测对象相关的信息以及所提取的其定位信息。然后，收发器将与第二感测数据的感测对象相关的信息以及所提取的其定位信息传送给一个或多个其它监视器设备。收发器还将与第二感测数据的感测对象相关的信息以及所提取的其定位信息传送到监视器设备的通信范围内的一个或多个车辆。

存储在存储器中的指令在由处理单元执行时，可以进一步使得处理单元在传感器校准之后，从传感器接收传感器的至少一个视场中的对象的第二感测数据，从第二感测数据中检测传感器的至少一个视场中的对象，并且至少部分地基于所提取的针对每个标记的定位信息来提取第二感测数据的对象相对于监视器设备的定位信息。

监视器设备可以进一步包括耦合到处理单元的收发器，其中至少一个标记可以包括至少一个无源标记和至少一个有源标记，并且其中存储在存储器中的指令在由处理单元执行时，进一步使得处理设备经由收发器接收来自至少一个有源标记的定位信息，将所述至少一个有源标记与从其接收的定位信息相关联；并且基于所述至少一个有源标记的定位信息来校准传感器布置中的传感器。

在示例实施例中，传感器的至少一个视场包括其多个视场，使得针对每个视场重复用于接收、检测、提取和校准的指令。特别地，在针对多个视场中的第二视场执行用于接收、检测、提取和校准的指令之前，针对多个视场中的第一视场执行用于接收、检测、提取和校准的指令。

在其它示例实施例中，校准方法包括：使用传感器感测至少一个视场中的一个或多个第一对象，并从所述感测中生成感测数据；从所述感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；针对检测到的每个标记，提取与所述标记相对应的相对于传感器的定位信息，并且将所述标记与所提取的其定位信息相关联；以及基于所提取的针对检测到的每个标记的定位信息来校准传感器。

该方法可以进一步包括：在校准之后，感测所述至少一个视场中的一个或多个第二对象，并从所述感测中生成第二感测数据；以及基于所提取的针对检测到的每个标记的定位信息，来提取所述一个或多个第二对象相对于传感器的定位信息。该方法可以包括向通信范围内的一个或多个监视器设备或者一个或多个车辆发送与第二对象相关的信息以及所提取的其定位信息。

该方法可以包括从至少一个有源标记接收定位信息，并且将所述至少一个有源标记与从其接收的定位信息相关联，其中校准传感器也基于所述至少一个有源标记的定位信息。

在校准之后，该方法可以包括由经校准的传感器感测至少一个视场中的一个或多个第二对象，并且从所述感测中生成第二感测数据；以及提取所述一个或多个第二对象相对于传感器的定位信息。

在示例实施例中，所述至少一个视场包括至少第一视场和第二视场，并且针对每个视场执行感测、检测、提取和校准。特别地，在针对第二视场执行感测、检测、提取和校准之前，针对第一视场进行感测、检测、提取和校准。

其它示例实施例包括存储在非暂时性介质中并且具有指令的软件程序，所述指令在由耦合到传感器布置的处理单元执行时，使得处理单元：从传感器布置接收传感器布置的至少一个视场中的对象的感测数据；在感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；针对检测到的每个标记，提取所述标记与监视器设备之间的定位信息，并将所述标记与所提取的定位信息相关联；并且基于所提取的定位信息来校准传感器布置中的传感器。

软件程序可以进一步包括指令，所述指令在由处理单元执行时，使得处理单元从至少一个有源标记接收定位信息，并将所述至少一个有源标记与从其接收的定位信息相关联，其中用于校准传感器的指令部分地基于所述至少一个有源标记的定位信息来校准传感器。所述至少一个视场可以包括至少第一视场和第二视场，并且所述指令使得要针对每个视场执行感测、检测、提取和校准。

附图说明

下面将参照示例性实施例结合附图详细解释本发明的各方面，其中：

图1是根据示例实施例的智能交通灯的框图；

图2是具有图1的交通灯的街道交叉口的顶视图；

图3是图示根据示例实施例的图1的交通灯的操作的流程图；以及

图4是根据另一示例实施例的感测设备的框图。

具体实施方式

以下对示例性实施例的描述本质上仅仅是示例性的，并且决不旨在限制本发明、其应用或用途。

示例实施例计及了基础设施感测设备的定位改变，使得由此确定的测量值尽可能精确。

本文中呈现的示例实施例一般针对用于通过提供基础设施传感器的自校准来改进车辆和其它对象的定位计算的系统、软件产品和操作方法。该系统包括部署在基础设施传感器视场内的固定位置处的一个或多个标记。与基础设施传感器相关联的中央处理单元（CPU）提取每个标记和传感器之间的距离和定向，并至少部分地基于所提取的标记距离和定向来校准或重新校准传感器。以这种方式，可以利用随后的校准操作来计及基础设施传感器的任何移动（诸如由于温度上的改变而导致的），从而导致更精确的定位确定，以用于控制交通和其中车辆的操作。

本公开的示例实施例是针对提高基础设施感测设备的距离和定向计算的精确性的。

图1是描绘根据示例实施例的交通灯100的框图。交通灯100包括灯102，灯102的顺序照亮向进入交叉口的车辆的驾驶员提供指令，如众所周知的那样。每个灯102可以是单个灯，或者由诸如发光二极管之类的多个更小的照明设备形成。

灯102耦合到中央处理单元（CPU）104并由其控制。CPU 104可以由一个或多个处理器、处理元件和/或控制器形成。存储器106耦合到CPU 104，并且包括其中存储有程序代码的非易失性存储器，所述程序代码在被CPU 104执行时，导致CPU 104除了其它方面以外，还以某种时序控制灯102的激活和停用，从而控制经过与交通灯100相关联的交叉口的交通。

如图1中所示，交通灯100包括耦合到CPU 104的传感器布置108。在示例实施例中，传感器布置108包括一个或多个传感器、相机和/或其它设备。传感器布置108的传感器的输出被提供给CPU 104，所述CPU 104除了其它方面之外，还检测传感器视场内的对象的存在，并确定到其的距离，如在下面更详细描述的那样。所述对象及其对应的确定距离可以：由交通灯100使用来控制灯102的激活和停用；由交通信号灯100的通信范围内的车辆使用来例如控制这样的车辆的操作；并且由与交通灯100相同地理区域中的其它交通灯使用。

交通灯100进一步包括耦合到 CPU 104的收发器110，以用于通过空中接口传送信息。收发器110包括发射器和接收器。在示例实施例中，交通灯100可以在通过空中接口的通信中利用专用短程通信（DSRC）协议。然而，要理解的是，交通灯100可以利用其它已知的通信协议，包括码分多址（CDMA）、全球移动系统（GSM）、长期演进（LTE）、无线局域网（WLAN）和/或Wi-Fi，和/或尚未开发的用于通过空中接口进行通信的协议。

图2图示了由城市街区B限界的街道S的交叉路口的鸟瞰视图，所述城市街区B具有其中部署了基础设施系统10的人行道/路边区域SW。在该示例实施例中，基础设施系统10包括多个交通灯100，以用于总体上控制通过交叉口的交通流量。基础设施系统10包括四个交通灯100，但是应当理解，可以利用更多或更少的交通灯100。图2中描绘的每个交通灯100可以如图1中示出那样实现。可替换地，与交叉口相关联的交通灯100可以共享公共收发器110、CPU 104和/或存储器106。在图2中，每个交通灯100被安装在灯杆P上或以其他方式悬挂于灯杆P，所述灯杆P由竖向杆分段和与其连接的水平杆分段形成。

因为基础设施系统10的每个交通灯100包括传感器布置108，所以每个交通灯100具有与传感器布置108相关联的至少一个视场FOV。图2图示了一个交通灯100A，其具有与交通灯100A的传感器布置108相关联的至少两个视场FOV1和FOV2。为了简单起见，图2中仅图示了一个交通灯100的（多个）视场FOV，并且应当理解，所描绘的任何交通灯100可以具有一个或多个视场FOV以用于监视活动。

基础设施系统10包括标记20，所述标记20中的每个被部署在至少一个交通灯100的至少一个视场FOV内的固定位置处。图2示出了四个标记，其中的三个位于交通灯100A的视场FOV1、FOV2中。第四标记20位于交通灯100A的杆P的底座处，并且不在交通灯100A的视场FOV1、FOV2内。标记20锚固在地平面或接近地平面的固定定位处。在一个示例实施例中，一个或多个标记20被固定到距地面大约1英尺至大约3英尺的灯杆P上，但是应当理解，标记20可以具有其它高度。被提高到地平面以上允许标记20在积雪期间是可检测的。标记20可以具有预定的大小、形状和/或相对于交通灯100的定向，这有助于由CPU 104相对更简单地进行标识。在其中传感器布置108中的传感器是相机的示例实施例中，标记20可以具有预定的颜色，诸如唯一或独特的颜色。在其中传感器布置108中的传感器利用雷达的示例实施例中，标记20是反射性的。

在一些示例实施例中，标记20是无源标记，并且由采用光学（例如，LiDAR)、RF（例如，雷达）、热和/或其它类似感测技术的传感器布置108来感测。在一些其它示例实施例中，标记20是有源标记，并且主动向交通灯100的传感器布置108发送标记定位数据（经度、纬度和定向）。在该示例实施例中，标记20可以包括与交通灯100的收发器110类似的收发器，以用于通过空中接口向交通灯100发送定位数据。例如，每个标记20可以被配置成以周期性的或其它定期的方式地将其定位数据传输到附近的交通灯100。可替换地，每个标记20可以响应于接收到来自交通灯100的请求，而通过空中接口将其定位数据发送到附近的交通灯100。

将关于图3描述系统10的交通灯100A的操作。在交通灯100A的正常操作期间——其中每个交通灯100控制其灯102并与范围内的其它交通灯100和/或车辆通信——在30处作出交通灯100A要校准其传感器布置108的传感器的确定。CPU 104控制传感器布置108中的传感器来感测视场FOV1和FOV2中的对象。在示例实施例中，每次关于一个视场FOV来感测对象和采取动作。在这种情况下，CPU 104首先在视场FOV1中感测对象，并生成感测数据。接下来，在34处，CPU 104从感测数据中标识视场FOV1中的标记20。CPU 104可以部分地基于保存在存储器106中的与标记20的位置相关的信息来标识视场FOV1中的标记20。针对所标识的每个标记20，然后在36处，CPU 104从感测数据中提取标记相对于传感器布置108和/或交通灯100A本身的距离和定向信息。CPU 104可以利用多种技术中的任何一种来用于计算标记20相对于交通灯100A的距离和定向，并且所执行的（多个）特定技术可以基于感测布置108的传感器类型。

利用新提取的标记定位信息，在38处，CPU 104将视场FOV1中每个标记20的定位信息（距离和定向）关联起来。这可以牵涉CPU 104将定位信息保存在存储器106中，并在将来的对象位置计算中取代先前使用的定位信息。接下来，在40处，CPU 104利用视场FOV1中的感测数据来校准传感器布置108的传感器。该步骤可以牵涉将每个标记20的已知定位信息——所述已知定位信息可以存储在对应交通灯100A的存储器106中——与来自步骤36的对应的新提取的标记定位信息进行比较，使得传感器布置108的传感器基于每次比较而被校准。针对与交通灯100A的传感器布置108相关联的每个视场FOV重复步骤32-40的这种处理。在传感器布置108被完全校准的情况下，在传感器的视场FOV中感测到的对象的将来定位/位置确定（距离和定向）将会更加精确，这将导致系统10和与之通信的车辆利用更加精确的信息来作出交通决策。

如上所述，交通灯100经由使用传感器布置108监视在交叉口处或交叉口周围的对象。在另一示例实施例中，传感器布置108可以沿着没有交通灯100与之相关联的街道和/或街道交叉口来部署。例如，感测或监视设备400（图4）可以包括图1的交通灯100的大部分组件，包括CPU 104、存储器106、传感器布置108和收发器110。然而，感测设备400不包括灯102或存储器106中用于确定其时序的程序代码。相反，感测设备400的CPU 104通过执行存储在其存储器106中的程序代码，简单地感测传感器布置108的传感器的视场FOV中的对象，标识在其视场FOV中的任何感测到的标记20，提取这样的标记的定位信息，基于所提取的标记定位信息来校准感测设备100的传感器布置108中的传感器，并且使用经校准的传感器继续感测视场FOV中的对象。

视觉传感器良好地操作，并且报告精确的检测，但是需要校准和重新校准。交叉口处诸如交通灯杆、路灯杆等的永久性基础设施和/或基础设施设备具有固定且已知的位置，即距交叉点处的基础设施传感器的固定距离。标记被沿着或靠近交通灯、路灯杆等的底座处的地平面放置，并且对于传感器而言是可见的，以用于将每个标记与其距传感器的X距离和Y距离相关联。传感器可以使用硬编码的X距离和Y距离以及其视场中已知且固定的可见标记来校准其自身。这使得视觉传感器（例如相机、雷达）能够使用基础设施设备上的固定标记来进行自校准。

本文中已经以说明性的方式描述了示例实施例，并且应当理解，已经使用的术语旨在具有描述性词语的性质，而不是限制性的。显而易见地，鉴于以上的教导，本发明的许多修改和变化是可能的。上面的描述本质上仅仅是示例性的，并且因此，在不脱离如所附权利要求中限定的本发明的精神和范围的情况下，可以对其进行变化。

Claims (22)

1.一种监视器设备，包括:

处理单元；

存储器，耦合到所述处理单元；

传感器布置，耦合到所述处理单元，所述传感器布置包括被配置成感测所述传感器的至少一个视场中的对象的多个传感器；和

程序代码，存储在存储器中并且具有指令，所述指令在由所述处理单元执行时，使得所述处理单元：

从所述传感器接收所述传感器的至少一个视场中的对象的感测数据；

在所述感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；

针对检测到的每个标记，提取所述标记和所述监视器设备之间的定位信息，并且将所述标记与所提取的定位信息相关联；以及

基于所提取的定位信息校准所述传感器布置中的所述传感器。

2.根据权利要求1所述的监视器设备，其中所述监视器设备包括交通灯，所述交通灯包括耦合到处理单元以用于由其进行控制的多个灯。

3.根据权利要求1所述的监视器设备，进一步包括耦合到处理单元的收发器，其中存储在存储器中的指令在由所述处理单元执行时，进一步使得所述处理单元在所述传感器的校准之后，从所述传感器接收所述传感器的至少一个视场中的对象的第二感测数据，从所述第二感测数据检测所述传感器的所述至少一个视场中的所述对象，并且部分地基于所提取的针对每个标记的定位信息，提取所述第二感测数据的所述对象相对于所述监视器设备的定位信息，并且使用所述收发器来传送与所述第二感测数据的所述感测对象相关的信息以及所提取的其定位信息。

4.根据权利要求3所述的监视器设备，其中收发器将与第二感测数据的感测对象相关的信息以及所提取的其定位信息传送给一个或多个其它监视器设备。

5.根据权利要求3所述的监视器设备，其中收发器将与第二感测数据的感测对象相关的信息以及所提取的其定位信息传送给所述监视器设备的通信范围内的一个或多个车辆。

6.根据权利要求1所述的监视器设备，其中存储在所述存储器中的指令在由处理单元执行时，进一步使得所述处理单元在传感器的校准之后，从所述传感器接收所述传感器的至少一个视场中的对象的第二感测数据，从所述第二感测数据中检测所述传感器的所述至少一个视场中的所述对象，并且至少部分地基于所提取的针对每个标记的定位信息来提取所述第二感测数据的所述对象相对于所述监视器设备的定位信息。

7.根据权利要求1所述的监视器设备，进一步包括耦合到处理单元的收发器，其中所述至少一个标记包括至少一个无源标记和至少一个有源标记，并且其中存储在存储器中的指令在由所述处理单元执行时，进一步使得处理设备：

经由所述收发器接收来自所述至少一个有源标记的定位信息，以及

将所述至少一个有源标记与从其接收的所述定位信息相关联，

其中用以校准传感器布置中的传感器的指令基于所述至少一个有源标记的所述定位信息来校准所述传感器。

8.根据权利要求1所述的监视器设备，其中传感器的至少一个视场包括其多个视场，使得针对每个视场重复用于接收、检测、提取和校准的指令。

9.根据权利要求8所述的监视器设备，其中在针对多个视场中的第二视场执行用于接收、检测、提取和校准的指令之前，针对所述多个视场中的第一视场执行用于接收、检测、提取和校准的指令。

10.一种方法，包括：

使用传感器感测至少一个视场中的一个或多个第一对象，并且从所述感测中生成感测数据；

从所述感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；

针对检测到的每个标记，提取与所述标记相对应的相对于所述传感器的定位信息，并且将所述标记与所提取的其定位信息相关联；以及

基于所提取的针对检测到的每个标记的定位信息来校准所述传感器。

11.根据权利要求10所述的方法，进一步包括：

在校准之后，感测所述至少一个视场中的一个或多个第二对象，并且从所述感测中生成第二感测数据；和

基于所提取的针对检测到的每个标记的定位信息，提取所述一个或多个第二对象相对于所述传感器的定位信息。

12.根据权利要求11所述的方法，进一步包括向一个或多个监视器设备发送与第二对象相关的信息以及所提取的其定位信息。

13.根据权利要求11所述的方法，进一步包括向通信范围内的一个或多个车辆发送与第二对象相关的信息以及所提取的其定位信息。

14.根据权利要求10所述的方法，进一步包括从至少一个有源标记接收定位信息，并且将所述至少一个有源标记与从其接收的所述定位信息相关联，其中对传感器进行校准还基于所述至少一个有源标记的定位信息。

15.根据权利要求10所述的方法，进一步包括：在校准之后，由经校准的传感器感测所述至少一个视场中的一个或多个第二对象，并且从所述感测中生成第二感测数据；以及提取所述一个或多个第二对象相对于所述传感器的定位信息。

16.根据权利要求10所述的方法，其中所述至少一个视场包括至少第一视场和第二视场，并且针对每个视场执行感测、检测、提取和校准。

17.根据权利要求16所述的方法，其中在针对第二视场执行感测、检测、提取和校准之前，针对第一视场执行感测、检测、提取和校准。

18.根据权利要求10所述的方法，其中校准包括，针对检测到的每个标记，将所提取的针对所述标记的定位信息与所述标记的已知定位信息进行比较，其中基于每次比较来校准所述传感器。

19.一种存储在非暂时性介质中并且具有指令的软件程序，所述指令在由耦合到传感器布置的处理单元执行时，使得所述处理单元：

从所述传感器布置接收所述传感器布置的至少一个视场中的对象的感测数据；

在所述感测数据中检测部署在所述至少一个视场内的固定定位处的至少一个标记；

针对检测到的每个标记，提取所述标记与监视器设备之间的定位信息，并且将所述标记与所提取的定位信息相关联；并且

基于所提取的定位信息来校准所述传感器布置中的传感器。

20.根据权利要求19所述的软件程序，进一步包括指令，所述指令在由处理单元执行时使得所述处理单元从至少一个有源标记接收定位信息，并且将所述至少一个有源标记与从其接收的所述定位信息相关联，其中用于校准传感器的指令部分地基于所述至少一个有源标记的所述定位信息来校准所述传感器。

21.根据权利要求19所述的软件程序，其中所述至少一个视场包括至少第一视场和第二视场，并且所述指令使得要针对每个视场执行感测、检测、提取和校准。

22.根据权利要求19所述的软件程序，其中用以校准传感器布置中的传感器的指令包括用于如下的指令：针对每个标记将所提取的针对所述标记的定位信息与其已知定位信息进行比较，以便部分地基于每次比较来校准所述传感器。

Images