CN113301496A - 增强的传感器操作 - Google Patents

增强的传感器操作 Download PDF

Info

Publication number
CN113301496A
CN113301496A CN202110188075.7A CN202110188075A CN113301496A CN 113301496 A CN113301496 A CN 113301496A CN 202110188075 A CN202110188075 A CN 202110188075A CN 113301496 A CN113301496 A CN 113301496A
Authority
CN
China
Prior art keywords
data
objects
vehicle
coordinates
bounding box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110188075.7A
Other languages
English (en)
Inventor
张琳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113301496A publication Critical patent/CN113301496A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“增强的传感器操作”。一种计算机被编程为利用描述第一多个对象的固定基础设施传感器收集第一数据，所述第一数据包括至少一个可移动车辆；识别所述第一多个对象中每一者的相应的第一边界框；并且接收来自所述车辆的包括描述第二多个对象的第二数据的消息，由此至少一个对象包括在所述第一多个对象和所述第二多个对象中。所述计算机识别所述第二多个对象中每一者的相应的第二边界框。所述计算机针对所述第一多个对象和所述第二多个对象两者中的每个对象识别第一边界框和第二边界框的相应的重叠区域。在确定所述重叠区域的平均值低于阈值后，所述计算机将所述第一数据的坐标变换为所述第二数据的坐标。

Description

增强的传感器操作
技术领域
本公开总体上涉及车辆传感器。
背景技术
车辆可以配备有计算机、网络、传感器和控制器以获取关于车辆环境的数据。车辆计算机可以使用所获取的数据来操作车辆部件。车辆传感器可以提供关于车辆环境的数据，例如涉及在车辆环境中要行驶的路线和要避开的对象的数据。此外，车辆可以从一个或多个外部源(例如，中央服务器、安装到基础设施的传感器等)接收数据。
发明内容
一种系统包括计算机，所述计算机包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：利用固定基础设施传感器收集描述第一多个对象的第一数据，所述第一数据包括至少一个可移动车辆；识别包括所述至少一个可移动车辆的所述第一多个对象中每一者的相应的第一边界框；从所述至少一个车辆接收消息，所述消息包括描述第二多个对象的第二数据，由此至少一个对象包括在所述第一多个对象和所述第二多个对象中；识别所述第二多个对象中每一者的相应的第二边界框；针对包括在所述第一多个对象和所述第二多个对象两者中的每个对象，从所述第一数据和所述第二数据识别第一边界框和第二边界框的相应的重叠区域；并且在确定所述重叠区域的平均值低于阈值后将所述第一数据的坐标变换为所述第二数据的坐标。
所述指令还可以包括用于进行以下操作的指令：生成变换矩阵，所述变换矩阵针对包括在所述第一多个对象和所述第二多个对象中的所述对象中的一者将所述第一数据的所述坐标变换为所述第二数据的所述坐标；以及根据所述变换矩阵对所述第一数据的坐标进行变换。
所述指令还可以包括用于进行以下操作的指令：利用基础设施传感器收集新的第一数据，所述新的第一数据描述包括至少一个车辆的新的第一多个对象，以及从所述至少一个车辆接收描述新的第二多个对象的包括新的第二数据的新消息；生成第二变换矩阵，所述第二变换矩阵针对包括在所述新的第一多个对象和所述新的第二多个对象中的至少一个对象将所述新的第一数据的坐标变换为所述新的第二数据的坐标；以及利用所述变换矩阵或所述第二变换矩阵中具有所述第一边界框和所述第二边界框的最大重叠区域的所述一个矩阵对由所述基础设施传感器收集的所述第一数据的所述坐标进行变换。
所述变换矩阵可以是将来自所述第一数据的第一位置和第一航向角映射到来自所述第二数据的第二位置和第二航向角的矩阵。
所述指令还可以包括用于进行以下操作的指令：从多个车辆接收多个消息，直到接收到关于所述第一多个对象中每一者的第二数据为止。
所述指令还可以包括用于进行以下操作的指令：从所述多个对象中每一者周围的所述第一边界框和所述第二边界框的所述重叠区域识别最大重叠区域，以及当所述最大重叠区域低于阈值时对所述第一数据的坐标进行变换。
所述第一边界框和所述第二边界框中的每一个可以是包括描述所述第一多个对象和所述第二多个对象两者中的所述对象中的仅一者的数据的边界。
所述指令还可以包括用于进行以下操作的指令：在确定所述第二数据包括识别出所述第一数据中未识别出的对象的数据后对所述第一数据的所述坐标进行变换。
一种系统包括可移动主车辆中的计算机，所述计算机包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：将从固定基础设施传感器接收的多个对象的识别数据与描述所述主车辆的地理坐标数据进行比较；在确定描述所述主车辆的所述地理坐标数据在所述接收到的识别数据的阈值内后，向服务器发送指示所述基础设施传感器已经检测到所述主车辆的消息；并且在确定描述所述车辆的所述地理坐标数据不在从所述基础设施传感器接收的所述识别数据的所述阈值内后，向所述服务器发送指示所述基础设施传感器尚未检测到所述主车辆的消息。
所述指令还可以包括用于进行以下操作的指令：基于所述车辆的当前速度和所述识别数据的第一时间戳与描述所述主车辆的所述地理坐标数据的第二时间戳之间的时间差，将来自所述识别数据的所述对象中的一者的所识别的位置或航向角与描述所述主车辆的当前位置或航向角的所述地理坐标数据进行比较。
所述服务器可以被编程为当由所述服务器接收的指示所述基础设施传感器尚未检测到一个或多个车辆的消息的数量超过阈值时，对由所述基础设施传感器收集的数据的坐标进行变换。
所述服务器可以被编程为当由所述服务器接收的指示所述基础设施传感器尚未检测到一个或多个车辆的消息的所述数量与由所述基础设施传感器检测到的所述多个对象的数量之间的比率超过第二阈值持续超过时间阈值的时间段时，对由所述基础设施传感器收集的数据的坐标进行变换。
所述基础设施传感器可以被编程为在从所述服务器接收到对由所述基础设施传感器收集的数据的坐标进行变换的消息后识别变换矩阵，所述变换矩阵将所述基础设施传感器收集的多个对象的第一数据映射到关于由一个或多个车辆发送到所述基础设施的所述多个对象的第二数据。
所述识别数据可以包括至少一种类型的对象，所述类型是车辆、行人或骑自行车者中的一种。
所述指令还可以包括用于去除包括所述行人类型或所述骑自行车者类型的对象的识别数据的指令。
一种方法包括：利用固定基础设施传感器收集描述第一多个对象的第一数据，所述第一数据包括至少一个可移动车辆；识别包括所述至少一个可移动车辆的所述第一多个对象中每一者的相应的第一边界框；从所述至少一个车辆接收消息，所述消息包括描述第二多个对象的第二数据，由此至少一个对象包括在所述第一多个对象和所述第二多个对象中；识别所述第二多个对象中每一者的相应的第二边界框；针对包括在所述第一多个对象和所述第二多个对象两者中的每个对象，从所述第一数据和所述第二数据识别第一边界框和第二边界框的相应的重叠区域；以及在确定所述重叠区域的平均值低于阈值后将所述第一数据的坐标变换为所述第二数据的坐标。
所述方法还可以包括：生成变换矩阵，所述变换矩阵针对包括在所述第一多个对象和所述第二多个对象中的所述对象中的一者将所述第一数据的所述坐标变换为所述第二数据的所述坐标；以及根据所述变换矩阵对所述第一数据的坐标进行变换。
所述方法还可以包括：利用基础设施传感器收集新的第一数据，所述新的第一数据描述包括至少一个车辆的新的第一多个对象，以及从所述至少一个车辆接收描述新的第二多个对象的包括新的第二数据的新消息；生成第二变换矩阵，所述第二变换矩阵针对包括在所述新的第一多个对象和所述新的第二多个对象中的至少一个对象将所述新的第一数据的坐标变换为所述新的第二数据的坐标；以及利用所述变换矩阵或所述第二变换矩阵中具有所述第一边界框和所述第二边界框的最大重叠区域的所述一个矩阵对由所述基础设施传感器收集的所述第一数据的所述坐标进行变换。
所述方法还可以包括：从多个车辆接收多个消息，直到接收到关于所述第一多个对象中每一者的第二数据为止。
所述方法还可以包括：从所述多个对象中每一者周围的所述第一边界框和所述第二边界框的所述重叠区域识别最大重叠区域，以及当所述最大重叠区域低于阈值时对所述第一数据的坐标进行变换。
所述方法还可以包括：在确定所述第二数据包括识别出所述第一数据中未识别出的对象的数据后对所述第一数据的所述坐标进行变换。
一种方法包括：将从固定基础设施传感器接收的多个对象的识别数据与描述所述主车辆的地理坐标数据进行比较；在确定描述所述主车辆的所述地理坐标数据在所述接收到的识别数据的阈值内后，向服务器发送指示所述基础设施传感器已经检测到所述主车辆的消息；以及在确定描述所述车辆的所述地理坐标数据不在从所述基础设施传感器接收的所述识别数据的所述阈值内后，向所述服务器发送指示所述基础设施传感器尚未检测到所述主车辆的消息。
所述方法还可以包括：基于所述车辆的当前速度和所述识别数据的第一时间戳与描述所述主车辆的所述地理坐标数据的第二时间戳之间的时间差，将来自所述识别数据的所述对象中的一者的所识别的位置或航向角与描述所述主车辆的当前位置或航向角的所述地理坐标数据进行比较。
所述方法还可以包括：当由所述服务器接收的指示所述基础设施传感器尚未检测到一个或多个车辆的消息的数量超过阈值时，对由所述基础设施传感器收集的数据的坐标进行变换。
所述方法还可以包括：当由所述服务器接收的指示所述基础设施传感器尚未检测到一个或多个车辆的消息的所述数量与由所述基础设施传感器检测到的所述多个对象的数量之间的比率超过第二阈值持续超过时间阈值的时间段时，对由所述基础设施传感器收集的数据的坐标进行变换。
所述方法还可以包括：在从所述服务器接收到对由所述基础设施传感器收集的数据的坐标进行变换的消息后识别变换矩阵，所述变换矩阵将所述基础设施传感器收集的多个对象的第一数据映射到关于由一个或多个车辆发送到所述基础设施的所述多个对象的第二数据。
所述方法还可以包括：去除包括所述行人类型或所述骑自行车者类型的对象的识别数据。
还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。还公开了一种包括所述计算装置的车辆。还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储可由计算机处理器执行以执行上述方法步骤中的任一个的指令。
附图说明
图1是用于校准传感器的示例性系统的框图。
图2是包括基础设施和多个车辆的道路的视图。
图3是车辆中的一个的一对边界框的图示。
图4是用于校准传感器的示例性过程的图示。
图5是用于确定校准传感器的示例性过程的图示。
具体实施方式
基础设施元件中的计算机处理器可以根据由多个车辆提供的数据来校准基础设施传感器。基础设施传感器可以收集关于多个对象的数据。车辆传感器可以具有比基础设施传感器更精细的分辨率，并且来自车辆传感器的数据可以比由基础设施传感器收集的数据更精确和准确。车辆传感器可以收集关于车辆附近的对象的数据，即，与基础设施传感器相比，车辆传感器收集关于更少对象的更准确的数据。处理器可以将车辆数据与基础设施传感器数据进行比较，并且可以生成从基础设施数据到车辆数据的映射。映射(例如，变换矩阵)可以校准新收集的基础设施传感器数据，从而提高基础设施传感器数据的精度和准确度。车辆可以接收由处理器广播的基础设施传感器数据以识别附近的对象，例如，以用于碰撞避免。车辆中的计算机可以确定基础设施传感器数据是否包括关于它们的相应车辆的数据，即，基础设施传感器是否已经检测到车辆。如果基础设施传感器尚未检测到车辆，则计算机可以向中央服务器和/或处理器发送指示未检测到车辆的消息。当中央服务器和/或处理器确定未检测到的车辆的数量超过预定阈值时，中央服务器和/或处理器可以校准基础设施传感器。用来自车辆的更准确的定位数据校准基础设施传感器提供了由基础设施传感器传输到车辆的改进数据。所述改进数据可以包括关于车辆传感器可能未检测到的多个对象的数据。车辆可以使用来自基础设施传感器的改进数据来识别附近的对象而无需车辆传感器的进一步操作，并且在此基础上执行例如控制速度和/或转向的操作。
图1示出了用于校准安装到基础设施元件140的传感器155的示例性系统100。车辆101中的计算机105被编程为从一个或多个传感器110接收所收集的数据115。例如，车辆101的数据115可以包括车辆101的位置、关于车辆周围的环境的数据、关于车辆外部的对象(诸如另一车辆)的数据等。车辆101位置通常以常规形式提供，所述形式为例如经由使用全球定位系统(GPS)的导航系统获得的地理坐标(诸如纬度和经度坐标)。数据115的另外的示例可以包括车辆101系统和部件的测量结果，例如，车辆101速度、车辆101轨迹等。车辆101是可移动的，即，可以从第一位置移动到第二位置。
计算机105通常被编程为在车辆101网络上进行通信，所述网络例如包括常规车辆101的通信总线诸如CAN总线、LIN总线等和/或其他有线和/或无线技术例如以太网、WIFI等。经由网络、总线和/或其他有线或无线机制(例如车辆101中的有线或无线局域网)，计算机105可向车辆101中的各种装置(例如控制器、致动器、传感器等，包括传感器110)发送消息和/或从所述各种装置接收消息。替代地或另外，在计算机105实际上包括多个装置的情况下，车辆网络可以用于在本公开中表示为计算机105的装置之间的通信。另外，计算机105可以被编程用于与网络125进行通信，如下所述，所述网络可以包括各种有线和/或无线联网技术，例如蜂窝、
Figure BDA0002943959060000081
Figure BDA0002943959060000082
低功耗(BLE)、有线和/或无线分组网络等。
数据存储区106可以是任何类型的，例如硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。数据存储区106可以存储从传感器110发送的收集的数据115。数据存储区106可以是与计算机105分开的装置，并且计算机105可以经由车辆101中的网络(例如，通过CAN总线、无线网络等)检索由数据存储区106存储的信息。替代地或另外，数据存储区106可以是计算机105的一部分，例如作为计算机105的存储器。
传感器110可以包括多种装置。例如，车辆101中的各种控制器可以作为传感器110操作，以经由主车辆101网络或总线提供数据115，例如与车辆速度、加速度、方位、子系统和/或部件状态等有关的数据115。此外，其他传感器110可以包括相机、运动检测器等，即用于提供数据115以评估部件的方位、评估道路的斜率等的传感器110。传感器110还可以包括但不限于短程雷达、远程雷达、激光雷达和/或超声换能器。
所收集的数据115可以包括在车辆101中收集的多种数据。上文提供了所收集的数据115的示例，并且此外，数据115通常使用一个或多个传感器110来收集，并且另外可以包括在计算机105中和/或在服务器130处从所收集的数据计算出的数据。通常，所收集的数据115可以包括可由传感器110采集的和/或根据此类数据计算出的任何数据。所收集的数据115可以存储在数据存储区106中。
车辆101可以包括多个车辆部件120。在这种背景下，每个车辆部件120包括适于执行诸如移动车辆101、使车辆101减慢或停止、使车辆101转向等机械功能或操作的一个或多个硬件部件。部件120的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可包括方向盘、转向齿条等中的一者或多者)、制动部件、驻车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
当计算机105操作车辆101时，车辆101为“自主”车辆101。出于本公开的目的，术语“自主车辆”用于指代在完全自主模式下操作的车辆101。完全自主模式被定义为其中车辆101的推进(通常经由包括电动马达和/或内燃发动机的动力传动系统进行)、制动和转向中的每一者都由计算机105控制的模式。半自主模式是其中车辆101的推进(通常经由包括电动马达和/或内燃发动机的动力传动系统进行)、制动和转向中的至少一者至少部分地由计算机105而不是人类操作员控制的模式。在非自主模式(即，手动模式)下，车辆101的推进、制动和转向由人类操作员控制。
系统100还可以包括连接到服务器130和数据存储区135的网络125。计算机105可以还被编程为经由网络125与诸如服务器130等一个或多个远程站点通信，这种远程站点可能包括数据存储区135。网络125表示车辆计算机105可以通过其与远程服务器130进行通信的一种或多种机制。因此，网络125可以是各种有线或无线通信机制中的一种或多种，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何所需组合以及任何所需网络拓扑结构(或当使用多个通信机制时的多个拓扑结构)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用
Figure BDA0002943959060000101
低功耗
Figure BDA0002943959060000102
(BLE)、IEEE 802.11、车辆对车辆(V2V)诸如专用短程通信(DSRC)等)、局域网(LAN)和/或包括互联网的广域网(WAN)。
系统100包括基础设施元件140。在这种背景下，“基础设施元件”是在道路附近的固定结构，诸如杆、桥梁、墙壁等。也就是说，基础设施元件140固定到单个位置。基础设施元件140可以包括处理器145和存储器150。基础设施元件140可以包括基础设施传感器155，即，基础设施传感器155是固定的。基础设施传感器155安装到基础设施元件140。基础设施传感器155收集关于在道路上的一个或多个对象的数据160，并将数据160存储在存储器150中。处理器145可以识别由基础设施传感器155收集的数据160中的对象，例如车辆101、行人、骑自行车的人等。处理器145可以通过网络125与计算机105和服务器130通信。例如，处理器145可以向相应车辆101中的多个计算机105广播数据160，所述数据指示由基础设施传感器155识别的对象。
图2是具有多个车辆101和基础设施元件140的道路的视图。基础设施元件140收集关于在道路上的多个对象的数据160。也就是说，基础设施传感器155收集数据160，并且处理器145分析数据160以识别道路上的一个或多个对象。对象可以是例如可移动车辆101、骑自行车的人、行人等。基础设施传感器155检测第一多个对象。处理器145从车辆101的计算机105接收第二多个对象的数据115。也就是说，基础设施传感器155可以检测不能发送数据115的对象(例如，非自主车辆、行人等)，并且车辆101可以发送基础设施传感器155未检测到的数据115。因此，由基础设施传感器155检测到的第一多个对象可以不同于由处理器145从车辆101的计算机105接收到的第二多个对象。处理器145可以从多个车辆101接收多个消息，直到处理器145已经接收到关于第一多个对象中的每一个的第二数据为止。
基础设施传感器155可以收集每个对象的位置数据160。在这种背景下，“位置数据”是地理坐标数据，例如，全球地理坐标系中的纬度坐标和经度坐标。数据160包括位置和航向角，如下所述。图2示出了基础设施元件140，其定义具有沿着纬度线(即，东西方向)的x轴和沿着经度线(即，南北方向)的y轴以及在基础设施传感器155处的原点的整体坐标系。“位置”是坐标系(例如，全球地理坐标系、本地坐标系等)中的位置。图2中的位置是整体坐标系中的坐标的x，y集合。“航向角”是在对象的当前轨迹与坐标系的轴线之间限定的角度，例如，从正y轴(即，向北方向)逆时针限定的角度θ。
基础设施传感器155可以收集关于每个对象的识别数据160，例如颜色、大小、品牌、型号等。例如，基础设施传感器155可以收集关于每个对象的图像数据160，并且处理器145可以使用常规的图像处理算法(例如，Canny边缘检测、深度神经网络等)来识别每个对象的识别数据160。处理器145可以在基础设施元件140的广播半径内向车辆101中的一个或多个计算机105传输由基础设施传感器155针对每个对象收集的数据160。
识别数据160可以包括对象的类型。“类型”是对象的分类，其至少隐含地包括对象的移动能力。类型可以是例如各自具有相应的移动能力的车辆101、骑自行车的人、行人等。移动能力包括对象可以行进的一个或多个速度，并且可能还包括其他数据，诸如转弯半径。例如，骑自行车的人具有比车辆101更低的最大速度，并且与骑自行车的人的碰撞避免可以使用与避开和另一车辆101碰撞不同的制动和转向技术。
处理器145可以识别每个所识别的对象的边界框200。“边界框”是其中包括所识别的对象的所有数据160且仅包括所识别的对象的数据160的边界。也就是说，边界框200限定仅围绕所识别的对象的地理区域。
每个计算机105可以通过网络125从处理器145接收数据160，如上所述。每个计算机105可以将从处理器145接收的数据160与由车辆101的传感器110收集和/或在数据存储区106中存储的数据115进行比较。例如，车辆101中的一者的计算机105可以将来自处理器145的位置数据160与来自地理坐标数据的车辆101的当前位置进行比较。也就是说，来自处理器145的数据160可以包括由基础设施传感器155检测到的对象的多个位置。如果计算机105确定数据160中的所接收位置中的一个与车辆101的当前位置基本上匹配，如下所述，则计算机105可以确定基础设施传感器155已经检测到计算机105被定位在其中的车辆101。当由数据160提供的位置和航向角在所检测的数据115的相应阈值内时，计算机105确定数据160与车辆101的当前位置和航向角“基本上匹配”，如下所述。如果计算机105确定没有数据160与车辆101的当前位置和航向角基本上匹配，则计算机105可以确定基础设施传感器155尚未检测到车辆101。为了减少被处理的数据160的量，计算机105可以移除具有的类型是行人类型或骑自行车者类型的数据160。也就是说，计算机105可以仅将车辆101的位置和航向角与具有车辆类型的数据160进行比较。
计算机105可以通过将车辆101的定位数据115与针对与通信延时的时间差被调整的数据160进行比较来确定数据160与车辆101的当前位置和航向角基本上匹配：
|x(t′)-Xi(t)|＜vx(t)|t′-t|+d (1)
|y(t′)-Yi(t)|＜vy(t)|t′-t|+d (2)
|θ(t′)-Θi(t)|＜ω(t)|t′-t|+β (3)
其中t是计算机105收集位置和航向角数据115的当前时间，t′是来自处理器145的数据160的时间戳，vx是车辆101在x方向上的当前速度，vy是车辆101在y方向上的当前速度，ω是车辆101的横摆率(即，航向角θ在单位时间内的变化)，d是距离阈值，所述距离阈值是基础设施传感器155的位置检测的准确度(例如，1米)，以及β是角度阈值，所述角度阈值是基础设施传感器155的航向角检测的准确度(例如，5度)。因为处理器145需要时间来将数据160传输到计算机105，所以数据160的时间戳t′会与计算机105的收集时间t不同。因此，将位置数据115及航向角数据160之间的差值与基于时间差t′-t和车辆101的速度和横摆率vx，vy，ω的估计距离和航向角变化进行比较。
当满足方程式1至3中的至少一个，即，数据160与位置X，Y或航向角Θ中的至少一个基本上匹配时，计算机105可以确定基础设施传感器155已经检测到车辆101。否则，计算机105可以确定基础设施传感器155尚未检测到车辆101。当计算机105确定基础设施传感器155尚未检测到车辆101时，计算机105可以通过网络125向处理器145和/或服务器130发送消息。所述消息可以指示基础设施传感器155尚未检测到车辆101。
服务器130和/或处理器145可以从多个车辆101中的每一个接收指示基础设施传感器155尚未检测到车辆101的多个消息。因为每个消息指示基础设施传感器155尚未检测到的车辆101，所以当未检测到的车辆101的数量超过阈值时，服务器130和/或处理器145可以确定基础设施传感器155需要校准。也就是说，当服务器130和/或处理器145接收到超过阈值的消息数量时，服务器130和/或处理器145可以指示基础设施传感器155执行重新校准程序。阈值可以是未检测到的车辆101与基础设施传感器155检测到的总共对象的指定比率。例如，阈值可以是0.30，即，未检测到的车辆101的数量可以是由基础设施传感器检测到的总共对象的至少30％。阈值可以基于例如虚拟基础设施传感器155以指定的校准误差检测到虚拟对象和没有以所述指定的校准误差检测到虚拟车辆101的模拟测试来确定。
替代地或另外，当未检测到的对象与由基础设施传感器155检测到的总共对象的数量之间的比率超过第二阈值持续超过时间阈值的时间段时，服务器130和/或处理器145可以确定校准基础设施传感器155。第二阈值可以是与上述指定比率不同的百分比，例如50％。时间阈值可以是所经过的时间，超过所述时间，服务器130和/或处理器145确定基础设施传感器155不再检测到足够的对象以允许车辆101在道路上执行避开对象。时间阈值可以基于例如虚拟基础设施传感器155以指定的校准误差检测到虚拟对象和没有以所述指定的校准误差检测到虚拟车辆101的模拟测试来确定。
图3是重叠的边界框200、300的图示。如上所述，边界框200是由基础设施传感器155确定的包括来自单个对象的数据160的边界。车辆101中的计算机105可以基于由一个或多个传感器110收集的数据115来识别车辆边界框300。车辆边界框300是由传感器110识别的包括来自车辆101的数据115的边界。也就是说，车辆边界框300是至少包括车辆101的边界，并且计算机105可以使用车辆边界框300来预测与另一个对象的碰撞。例如，计算机105可以致动一个或多个部件120以将车辆边界框300移动远离另一个对象的边界框。边界框200、300在图3中表示为矩形，并且边界框200、300可以是不同的形状，例如椭圆、其他多边形等。
计算机105可以确定边界框200、300之间的重叠区域305。“重叠区域”是边界框200内的也在车辆边界框300内的区域。也就是说，边界框200、300的重叠区域305是边界框200内的数据160与车辆边界框300内的数据115匹配的区域。计算机105可以将从处理器145接收的边界框200的位置数据160与由传感器110识别的车辆边界框300的位置数据115进行比较，以确定重叠区域305。计算机105可以确定“重叠比率”，即重叠区域305与边界框200、300的总区域的比率：
Figure BDA0002943959060000141
其中R重叠是重叠比率，A重叠是重叠区域305的面积，ABB是边界框200的面积，并且AVBB是车辆边界框300的面积。
处理器145可以确定平均重叠比率
Figure BDA0002943959060000151
Figure BDA0002943959060000152
其中N对象是由基础设施传感器155检测到的也已经向处理器145发送数据115的对象的数量，并且∑iR对象，i是重叠比率的总和，其中i是从1到N对象的自然数。也就是说，N对象是重叠边界框200、300的集合的数量。因此，平均重叠比率是边界框200、300的重叠区域相对于边界框200、300的相应大小的平均值。当平均重叠比率低于预定阈值时，处理器145可以确定基础设施传感器155需要校准。阈值可以基于虚拟基础设施传感器155和虚拟车辆101在虚拟基础设施传感器155的特定校准误差下识别不再检测到一个或多个虚拟车辆101时的特定平均重叠比率的模拟测试来确定。阈值可以是至少0.5，例如0.7。当平均重叠比率低于预定阈值时，处理器145可以确定来自基础设施传感器155的数据160不准确并且需要校准。
处理器145可以确定来自多个车辆101的多个重叠比率。处理器145可以识别最大重叠比率，即相对于其重叠边界框200、300的最大重叠区域305。最大重叠比率指示来自基础设施传感器155的数据160与来自传感器110的数据115最接近地对准的车辆101，即，车辆101的最准确检测。处理器145可以将来自具有最大重叠比率的所识别的车辆101的数据115与来自对应于所识别的车辆101的基础设施传感器155的数据160进行比较。也就是说，来自基础设施传感器155的数据160可以是集合pi＝(xi，yi，θi，1)，并且来自计算机105的数据115可以是集合Pi＝(Xi，Yi，Θi)。数据160可以包括车辆101在坐标系xi，yi中的位置和航向角θi，并且最终值1允许处理器145计算位移误差，即，数据160与数据115之间指标化的位移误差。位移误差是补偿车辆101的平移位移距离的恒定值。也就是说，集合pi的坐标在整体坐标系中旋转，定标到集合Pi，并且平移以映射到集合Pi上，例如：
Xi＝a·xi+b·yi+c·θi+s (6)
其中a，b，c，s是恒定的标量值，用于将集合pi映射到集合Pi。位移误差是由标量值s表示的平移位移。来自车辆101的数据115包括地理坐标数据115，即，车辆101在整体坐标系Xi，Yi中的位置和整体航向角Θi。
处理器145可以识别变换矩阵Ti，所述变换矩阵将来自基础设施传感器155的位置和航向角数据的集合pi映射到来自计算机105的位置和航向角数据的集合Pi：piTi＝Pi。也就是说，
Figure BDA0002943959060000161
其中-1上标指示伪逆运算。也就是说，因为集合pi是1×4矩阵并且Pi是1×3矩阵，所以变换矩阵Ti是标量值的4x3矩阵。因此，为了识别变换矩阵Ti，处理器145使用诸如最小二乘的常规技术来确定作为4×1矩阵的“伪逆”矩阵
Figure BDA0002943959060000162
因为集合pi，Pi不是方阵，所以它们不具有真实逆矩阵，并且伪逆运算提供伪逆矩阵，处理器145可以使用所述伪逆矩阵来识别变换矩阵Ti。处理器145可以识别通过网络125发送数据115的每个车辆101的变换矩阵Ti。例如，对于n辆车辆，处理器145可以识别T1，T2，...Tn个变换矩阵。
替代地或另外，处理器145可以为来自n辆车辆101的所有数据115识别单个变换矩阵T。也就是说，处理器145可以收集n辆车辆101的数据160p1，p2，...pn，并且处理器145可以从n辆车辆101接收数据115 P1，P2，...Pn并且可以识别变换矩阵T，所述变换矩阵将所有数据160变换为数据115：
Figure BDA0002943959060000163
T＝A-1B (9)
处理器145可以在指定时间段内收集数据160的集合(示出为矩阵A)，并且可以在指定时间段内接收数据115的集合(示出为矩阵B)以确定变换矩阵T。处理器145可以收集矩阵Ak中的多个数据160集合，其中k是从1到m的整数，表示m个指定时间段中的一个。也就是说，对于每个增量k，处理器145从基础设施传感器155收集新的数据集Ak并从车辆101收集新的数据集Bk。处理器145可以接收矩阵Bk中的多个数据115集合，并且可以在第k时间段内识别变换矩阵Tk。因此，处理器可以确定多个变换矩阵T1，T2，...Tm。
在识别变换矩阵Tk后，处理器145可以识别具有如上所述的最高平均重叠比率
Figure BDA0002943959060000171
的与集合Ak，Bk相关联的变换矩阵T*。也就是说，具有最高平均重叠比率
Figure BDA0002943959060000172
的数据Ak，Bk表示由基础设施传感器155收集的当与从车辆101接收到的数据115比较时最准确的数据160。与具有最高平均重叠比率
Figure BDA0002943959060000173
的数据Ak，Bk相关联的变换矩阵T*被认为是来自基础设施元件140的数据160到来自车辆101的数据115的最准确的变换。处理器145可以使用变换矩阵T*来校准由基础设施传感器155接收的新数据160，即，可以根据变换矩阵T*来变换数据160。根据变换矩阵T*校准数据160将数据160与来自车辆101的数据115最接近地对准。
图4是用于校准基础设施传感器155的示例性过程400的图示。过程400在框405中开始，在框405中，安装在基础设施元件140上的基础设施传感器155检测第一多个对象。基础设施传感器155可以收集关于第一多个对象的数据160，即，第一数据160。在这种背景下，形容词“第一”和“第二”是为了方便区分元件而使用并且不指定顺序。第一数据160可以包括例如第一多个对象中每一者的位置和航向角。基础设施传感器155可以将第一数据160存储在存储器150中。
接下来，在框410中，安装在基础设施元件140上的处理器145从一个或多个车辆101接收描述第二多个对象的第二数据115。每个车辆101中的每个计算机105可以致动一个或多个传感器110以收集关于相应车辆101和/或车辆101附近的对象的第二数据115。例如，每个计算机105可以从全球卫星网络(例如，全球定位系统(GPS)网络)识别车辆101的地理坐标数据115。处理器145可以通过网络125接收第二多个对象的第二数据115。
接下来，在框415中，处理器145识别由基础设施传感器155检测到的每个对象的边界框200和从车辆101接收的第二数据115的每个集合的车辆边界框300。如上所述，“边界框”是包括对应于一个对象的数据115、160的边界。处理器145识别第一多个对象和第二多个对象中的每个对象的相应边界框200、300。
接下来，在框420中，处理器145确定边界框200、300的平均重叠比率。如上所述，处理器145可以确定车辆101中的一者的每对边界框200和车辆边界框300的重叠区域。处理器145可以确定重叠区域的重叠比率，即，重叠面积与边界框200、300的总面积的比率。如上所述，平均重叠比率是对象的所有边界框对200、300的相应重叠比率的平均值。
接下来，在框425中，处理器145确定平均重叠比率是否低于阈值。如上所述，处理器145可以将平均重叠比率与预定阈值进行比较，所述预定阈值是由基础设施传感器155收集的第一数据160与由计算机105收集的第二数据115之间的百分比差。如果平均重叠比率低于阈值，则过程400在框430中继续。否则，过程400在框445中继续。
在框430中，处理器145识别将第一数据160变换为第二数据115的变换矩阵。也就是说，如上所述，变换矩阵将第一数据160映射为与第二数据115基本上匹配。处理器145可以通过对包括第一数据160的矩阵进行伪逆来识别变换矩阵。处理器145可以识别第一数据160和第二数据115的集合的与最高重叠比率对应的变换矩阵，如上所述。
接下来，在框435中，处理器145用变换矩阵变换第一数据160。也就是说，处理器145可以将变换矩阵应用于所有第一数据160以得到经校正的第一数据160。也就是说，处理器145通过应用变换矩阵校正第一数据160来重新校准基础设施传感器155。
接下来，在框440中，处理器145通过网络125向相应车辆101中的一个或多个计算机105广播经校正的第一数据160。在用变换矩阵对第一数据160进行变换以生成经校正的第一数据160之后，计算机105可以接收第一多个对象的更准确的位置和航向角。也就是说，计算机105可以从经校正的第一数据160识别车辆101的相应传感器110可能没有检测到的对象。因此，处理器145可以将来自基础设施传感器155的关于道路上的第一多个对象的第一数据160与来自车辆101的更准确和精确的定位数据115一起使用来将第一多个对象的更准确和精确的位置和航向角提供给车辆101。
在框445中，处理器145确定是否继续过程400。例如，处理器145可以在从服务器130接收到重新校准基础设施传感器155的指令后确定继续过程400。如果处理器145确定继续，则过程400返回到框405。否则，过程400结束。
图5是用于确定校准基础设施传感器155的示例性过程500的图示。过程500在框505中开始，其中主车辆101中的计算机105从基础设施元件140的处理器145接收消息。所述消息可以包括由基础设施传感器155检测到的多个对象的第一数据160。
接下来，在框510中，计算机105将第一数据160与主车辆101的地理坐标数据115进行比较。计算机105可以从服务器130接收指示主车辆101在整体坐标系中的位置和航向角的地理坐标数据115。计算机105可以将与由基础设施传感器155检测到的每个对象相对应的数据160的每个集合与主车辆101的地理坐标数据115进行比较。
接下来，在框515中，计算机105确定地理坐标数据115是否在第一数据160的任何集合的阈值内。当第一数据160的位置或航向角中的至少一者在地理坐标数据115的预定阈值内时，计算机105可以确定基础设施传感器155已经检测到主车辆101。阈值可以是基础设施传感器155的分辨率误差，例如，对于位置是1米和对于航向角是5度。如果地理坐标数据115在第一数据160的阈值内，则过程500在框525中继续。否则，计算机105确定基础设施传感器155尚未检测到主车辆101，并且过程500在框520中继续。
在框520中，计算机105向基础设施元件140的处理器145和/或服务器130发送指示基础设施传感器155尚未检测到主车辆101的消息。所述消息可以包括主车辆101的地理坐标数据115。当处理器145和/或服务器130接收到超过阈值的指示未检测到的车辆101的消息的数量时，处理器145和/或服务器130可以确定基础设施传感器155需要例如根据以上过程400来校准。
在框525中，计算机105确定是否继续过程500。例如，当接近另一个基础设施元件140时，计算机105可以确定继续过程500。如果计算机105确定继续，则过程500返回到框505。否则，过程500结束。
如本文所使用的，修饰形容词的副词“基本上”意指形状、结构、测量结果、值、计算等可能偏离精确描述的几何形状、距离、测量结果、值、计算等，这是因为材料、加工、制造、数据收集器测量结果、计算、处理时间、通信时间等存在缺陷。
计算机105通常各自包括可由诸如上文提及的那些的一个或多个计算设备执行并用于执行上述过程的框或步骤的指令。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，其包括本文所述的过程中的一者或多者。此类指令和其他数据可以使用各种计算机可读介质来存储和传输。计算机105中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可以由计算机读取的数据(例如，指令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括动态随机存取存储器(DRAM)，所述动态随机存取存储器典型地构成主存储器。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD ROM、DVD、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
关于本文所描述的介质、过程、系统、方法等，应理解，虽然此类过程等的步骤已被描述为按照某一有序的序列发生，但是此类过程可以通过以本文所描述的顺序以外的顺序执行所描述的步骤来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。例如，在过程500中，可以省略一个或多个步骤，或者可以与图5中所示不同的顺序执行步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施例而提供，而决不应将其理解为对权利要求进行限制。
因此，应理解，包括上面描述和附图以及所附权利要求的本公开旨在是说明性的而非限制性的。在阅读以上描述后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员来说将是明显的。本发明的范围不应参考以上描述来确定，而是应参考所附的和/或基于此的非临时专利申请中所包括的权利要求连同此类权利要求所赋予权利的等效形式的全部范围来确定。预期并且意图在于，本文所讨论的领域未来将有所发展，并且所公开的系统和方法将并入此类未来实施例中。总而言之，应理解，所公开的主题能够进行修改和变化。
除非另有说明或者上下文另有要求，否则修饰名词的冠词“一/一个”应当被理解为意指一个或多个。短语“基于”包含部分地或完全地基于。
形容词“第一”、“第二”和“第三”贯穿本文用作标识符，而非意图表示重要性或顺序。
根据本发明，提供了一种系统，所述系统具有计算机，所述计算机包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：利用固定基础设施传感器收集描述第一多个对象的第一数据，所述第一数据包括至少一个可移动车辆；识别包括所述至少一个可移动车辆的所述第一多个对象中每一者的相应的第一边界框；从所述至少一个车辆接收消息，所述消息包括描述第二多个对象的第二数据，由此至少一个对象包括在所述第一多个对象和所述第二多个对象中；识别所述第二多个对象中每一者的相应的第二边界框；针对包括在所述第一多个对象和所述第二多个对象两者中的每个对象，从所述第一数据和所述第二数据识别第一边界框和第二边界框的相应的重叠区域；并且在确定所述重叠区域的平均值低于阈值后将所述第一数据的坐标变换为所述第二数据的坐标。
根据一个实施例，所述指令还包括用于进行以下操作的指令：生成变换矩阵，所述变换矩阵针对包括在所述第一多个对象和所述第二多个对象中的所述对象中的一者将所述第一数据的所述坐标变换为所述第二数据的所述坐标；以及根据所述变换矩阵对所述第一数据的坐标进行变换。
根据一个实施例，所述指令还包括用于进行以下操作的指令：利用基础设施传感器收集新的第一数据，所述新的第一数据描述包括至少一个车辆的新的第一多个对象，以及从所述至少一个车辆接收描述新的第二多个对象的包括新的第二数据的新消息；生成第二变换矩阵，所述第二变换矩阵针对包括在所述新的第一多个对象和所述新的第二多个对象中的至少一个对象将所述新的第一数据的坐标变换为所述新的第二数据的坐标；以及利用所述变换矩阵或所述第二变换矩阵中具有所述第一边界框和所述第二边界框的最大重叠区域的所述一个矩阵对由所述基础设施传感器收集的所述第一数据的所述坐标进行变换。
根据一个实施例，所述变换矩阵是将来自所述第一数据的第一位置和第一航向角映射到来自所述第二数据的第二位置和第二航向角的矩阵。
根据一个实施例，所述指令还包括用于进行以下操作的指令：从多个车辆接收多个消息，直到接收到关于所述第一多个对象中每一者的第二数据为止。
根据一个实施例，所述指令还包括用于进行以下操作的指令：从所述多个对象中每一者周围的所述第一边界框和所述第二边界框的所述重叠区域识别最大重叠区域，以及当所述最大重叠区域低于阈值时对所述第一数据的坐标进行变换。
根据一个实施例，所述第一边界框和所述第二边界框中的每一个是包括描述所述第一多个对象和所述第二多个对象两者中的所述对象中的仅一者的数据的边界。
根据一个实施例，所述指令还包括用于进行以下操作的指令：在确定所述第二数据包括识别出所述第一数据中未识别出的对象的数据后对所述第一数据的所述坐标进行变换。
根据本发明，提供了一种系统，所述系统具有可移动主车辆中的计算机，所述计算机包括处理器和存储器，所述存储器包括可由所述处理器执行以进行以下操作的指令：将从固定基础设施传感器接收的多个对象的识别数据与描述所述主车辆的地理坐标数据进行比较；在确定描述所述主车辆的所述地理坐标数据在所述接收到的识别数据的阈值内后，向服务器发送指示所述基础设施传感器已经检测到所述主车辆的消息；并且在确定描述所述车辆的所述地理坐标数据不在从所述基础设施传感器接收的所述识别数据的所述阈值内后，向所述服务器发送指示所述基础设施传感器尚未检测到所述主车辆的消息。
根据一个实施例，所述指令还包括用于进行以下操作的指令：基于所述车辆的当前速度和所述识别数据的第一时间戳与描述所述主车辆的所述地理坐标数据的第二时间戳之间的时间差，将来自所述识别数据的所述对象中的一者的所识别的位置或航向角与描述所述主车辆的当前位置或航向角的所述地理坐标数据进行比较。
根据一个实施例，所述服务器被编程为当由所述服务器接收的指示所述基础设施传感器尚未检测到一个或多个车辆的消息的数量超过阈值时，对由所述基础设施传感器收集的数据的坐标进行变换。
根据一个实施例，所述服务器被编程为当由所述服务器接收的指示所述基础设施传感器尚未检测到一个或多个车辆的消息的所述数量与由所述基础设施传感器检测到的所述多个对象的数量之间的比率超过第二阈值持续超过时间阈值的时间段时，对由所述基础设施传感器收集的数据的坐标进行变换。
根据一个实施例，所述基础设施传感器被编程为在从所述服务器接收到对由所述基础设施传感器收集的数据的坐标进行变换的消息后识别变换矩阵，所述变换矩阵将所述基础设施传感器收集的多个对象的第一数据映射到关于由一个或多个车辆发送到所述基础设施的所述多个对象的第二数据。
根据一个实施例，所述识别数据包括至少一种类型的对象，所述类型是车辆、行人或骑自行车者中的一种。
根据一个实施例，所述指令还包括用于去除包括所述行人类型或所述骑自行车者类型的对象的识别数据的指令。
根据本发明，一种方法包括：利用固定基础设施传感器收集描述第一多个对象的第一数据，所述第一数据包括至少一个可移动车辆；识别包括所述至少一个可移动车辆的所述第一多个对象中每一者的相应的第一边界框；从所述至少一个车辆接收消息，所述消息包括描述第二多个对象的第二数据，由此至少一个对象包括在所述第一多个对象和所述第二多个对象中；识别所述第二多个对象中每一者的相应的第二边界框；针对包括在所述第一多个对象和所述第二多个对象两者中的每个对象，从所述第一数据和所述第二数据识别第一边界框和第二边界框的相应的重叠区域；以及在确定所述重叠区域的平均值低于阈值后将所述第一数据的坐标变换为所述第二数据的坐标。
在本发明的一个方面，所述方法包括：生成变换矩阵，所述变换矩阵针对包括在所述第一多个对象和所述第二多个对象中的所述对象中的一者将所述第一数据的所述坐标变换为所述第二数据的所述坐标；以及根据所述变换矩阵对所述第一数据的坐标进行变换。
在本发明的一个方面，所述方法包括变换矩阵，所述变换矩阵是将来自所述第一数据的第一位置和第一航向角映射到来自所述第二数据的第二位置和第二航向角的矩阵。
在本发明的一个方面，所述方法包括：从多个车辆接收多个消息，直到接收到关于所述第一多个对象中每一者的第二数据为止。
在本发明的一个方面，所述方法包括：在确定所述第二数据包括识别出所述第一数据中未识别出的对象的数据后对所述第一数据的所述坐标进行变换。

Claims (15)

1.一种方法，其包括：
利用固定基础设施传感器收集描述第一多个对象的第一数据，所述第一数据包括至少一个可移动车辆；
识别包括所述至少一个可移动车辆的所述第一多个对象中每一者的相应的第一边界框；
从所述至少一个车辆接收消息，所述消息包括描述第二多个对象的第二数据，由此至少一个对象包括在所述第一多个对象和所述第二多个对象中；
识别所述第二多个对象中每一者的相应的第二边界框；
针对包括在所述第一多个对象和所述第二多个对象两者中的每个对象，从所述第一数据和所述第二数据识别第一边界框和第二边界框的相应的重叠区域；以及
在确定所述重叠区域的平均值低于阈值后将所述第一数据的坐标变换为所述第二数据的坐标。
2.如权利要求1所述的方法，其还包括：生成变换矩阵，所述变换矩阵针对包括在所述第一多个对象和所述第二多个对象中的所述对象中的一者将所述第一数据的所述坐标变换为所述第二数据的所述坐标；以及根据所述变换矩阵对所述第一数据的坐标进行变换。
3.如权利要求2所述的方法，其还包括：利用基础设施传感器收集新的第一数据，所述新的第一数据描述包括至少一个车辆的新的第一多个对象，以及从所述至少一个车辆接收描述新的第二多个对象的包括新的第二数据的新消息；生成第二变换矩阵，所述第二变换矩阵针对包括在所述新的第一多个对象和所述新的第二多个对象中的至少一个对象将所述新的第一数据的坐标变换为所述新的第二数据的坐标；以及利用所述变换矩阵或所述第二变换矩阵中具有所述第一边界框和所述第二边界框的最大重叠区域的所述一个矩阵对由所述基础设施传感器收集的所述第一数据的所述坐标进行变换。
4.如权利要求2所述的方法，其中所述变换矩阵是将来自所述第一数据的第一位置和第一航向角映射到来自所述第二数据的第二位置和第二航向角的矩阵。
5.如权利要求1所述的方法，其还包括：从多个车辆接收多个消息，直到接收到关于所述第一多个对象中每一者的第二数据为止。
6.如权利要求1所述的方法，其还包括：从所述多个对象中每一者周围的所述第一边界框和所述第二边界框的所述重叠区域识别最大重叠区域，以及当所述最大重叠区域低于阈值时对所述第一数据的坐标进行变换。
7.如权利要求1所述的方法，其中所述第一边界框和所述第二边界框中的每一个是包括描述所述第一多个对象和所述第二多个对象两者中的所述对象中的仅一者的数据的边界。
8.如权利要求1所述的方法，其还包括：在确定所述第二数据包括识别出所述第一数据中未识别出的对象的数据后对所述第一数据的所述坐标进行变换。
9.如权利要求5至8中任一项所述的方法，其还包括：生成变换矩阵，所述变换矩阵针对包括在所述第一多个对象和所述第二多个对象中的所述对象中的一者将所述第一数据的所述坐标变换为所述第二数据的所述坐标；以及根据所述变换矩阵对所述第一数据的坐标进行变换。
10.如权利要求2至4、6至8中任一项所述的方法，其还包括：从多个车辆接收多个消息，直到接收到关于所述第一多个对象中每一者的第二数据为止。
11.如权利要求2至5、7至8中任一项所述的方法，其还包括：从所述多个对象中每一者周围的所述第一边界框和所述第二边界框的所述重叠区域识别最大重叠区域，以及当所述最大重叠区域低于阈值时对所述第一数据的坐标进行变换。
12.如权利要求2至7中任一项所述的方法，其还包括：在确定所述第二数据包括识别出所述第一数据中未识别出的对象的数据后对所述第一数据的所述坐标进行变换。
13.一种计算机，所述计算机被编程为执行如权利要求1至8中任一项所述的方法。
14.一种车辆，所述车辆包括如权利要求13所述的计算机。
15.一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令能够由计算机处理器执行以执行如权利要求1至8中任一项所述的方法。
CN202110188075.7A 2020-02-24 2021-02-18 增强的传感器操作 Pending CN113301496A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/798,637 US11367347B2 (en) 2020-02-24 2020-02-24 Enhanced sensor operation
US16/798,637 2020-02-24

Publications (1)

Publication Number Publication Date
CN113301496A true CN113301496A (zh) 2021-08-24

Family

ID=77176266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188075.7A Pending CN113301496A (zh) 2020-02-24 2021-02-18 增强的传感器操作

Country Status (3)

Country Link
US (1) US11367347B2 (zh)
CN (1) CN113301496A (zh)
DE (1) DE102021103779A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022207725A1 (de) 2022-07-27 2024-02-01 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren eines Infrastruktursensorsystems

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3331882B2 (ja) * 1995-12-27 2002-10-07 株式会社デンソー 車両用障害物検出装置の中心軸偏向量算出装置，中心軸偏向量補正装置，および車間制御装置
US20030132855A1 (en) * 2002-01-11 2003-07-17 Swan Richard J. Data communication and coherence in a distributed item tracking system
US20050015201A1 (en) * 2003-07-16 2005-01-20 Sarnoff Corporation Method and apparatus for detecting obstacles
US20080306708A1 (en) 2007-06-05 2008-12-11 Raydon Corporation System and method for orientation and location calibration for image sensors
US7710248B2 (en) * 2007-06-12 2010-05-04 Palo Alto Research Center Incorporated Human-machine-interface (HMI) customization based on collision assessments
JP5973910B2 (ja) 2009-05-15 2016-08-23 パーデュー・リサーチ・ファウンデーションＰｕｒｄｕｅ Ｒｅｓｅａｒｃｈ Ｆｏｕｎｄａｔｉｏｎ 大規模カメラネットワークの較正
US8861842B2 (en) * 2010-02-05 2014-10-14 Sri International Method and apparatus for real-time pedestrian detection for urban driving
FR2976355B1 (fr) 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
US9762450B2 (en) 2014-09-04 2017-09-12 Accenture Global Services Limited System architecture for cloud-platform infrastructure layouts
US9804594B2 (en) 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
US10262229B1 (en) * 2015-03-24 2019-04-16 Hrl Laboratories, Llc Wide-area salient object detection architecture for low power hardware platforms
US9760791B2 (en) * 2015-09-01 2017-09-12 Sony Corporation Method and system for object tracking
WO2017189361A1 (en) 2016-04-29 2017-11-02 Pcms Holdings, Inc. System and method for calibration of vehicle sensors assisted by inter-vehicle communication
US10276043B2 (en) 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
US10521977B2 (en) 2017-03-27 2019-12-31 GM Global Technology Operations LLC Methods and systems for integrated vehicle sensor calibration and maintenance
US20180283880A1 (en) 2017-04-03 2018-10-04 GM Global Technology Operations LLC Infrastructure to vehicle position verification
US10523759B2 (en) 2017-05-26 2019-12-31 Ford Global Technologies Determining infrastructure lamp status using a vehicle
US10809361B2 (en) * 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
US10176596B1 (en) 2017-07-06 2019-01-08 GM Global Technology Operations LLC Calibration verification methods for autonomous vehicle operations
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
US10349011B2 (en) 2017-08-14 2019-07-09 GM Global Technology Operations LLC System and method for improved obstacle awareness in using a V2X communications system
US20190094331A1 (en) 2017-09-25 2019-03-28 Continental Automotive Systems, Inc. System and method of infrastructure sensor self-calibration
US11189163B2 (en) 2017-10-11 2021-11-30 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for infrastructure improvements
CN108229307B (zh) * 2017-11-22 2022-01-04 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
US10473788B2 (en) 2017-12-13 2019-11-12 Luminar Technologies, Inc. Adjusting area of focus of vehicle sensors by controlling spatial distributions of scan lines
US11070988B2 (en) 2017-12-29 2021-07-20 Intel Corporation Reconfigurable network infrastructure for collaborative automated driving
US10403135B2 (en) 2017-12-29 2019-09-03 Intel IP Corporation Network infrastructure for collaborative automated driving
US11263549B2 (en) 2018-03-22 2022-03-01 Here Global B.V. Method, apparatus, and system for in-vehicle data selection for feature detection model creation and maintenance
US11467590B2 (en) 2018-04-09 2022-10-11 SafeAI, Inc. Techniques for considering uncertainty in use of artificial intelligence models
US10298910B1 (en) 2018-06-29 2019-05-21 Zoox, Inc. Infrastructure free intrinsic calibration
US10950125B2 (en) * 2018-12-03 2021-03-16 Nec Corporation Calibration for wireless localization and detection of vulnerable road users
US11139990B2 (en) 2018-12-29 2021-10-05 Intel Corporation Automatically verifying vehicle identity and validating vehicle presence
US11482011B2 (en) * 2019-03-28 2022-10-25 Intel Corporation Acceleration of data processing for object detection
US10992752B2 (en) 2019-03-28 2021-04-27 Intel Corporation Sensor network configuration mechanisms
US11209822B2 (en) * 2019-06-28 2021-12-28 Zoox, Inc. Techniques for contacting a teleoperator
US11055540B2 (en) * 2019-06-28 2021-07-06 Baidu Usa Llc Method for determining anchor boxes for training neural network object detection models for autonomous driving

Also Published As

Publication number Publication date
DE102021103779A1 (de) 2021-08-26
US11367347B2 (en) 2022-06-21
US20210264773A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
US20200049511A1 (en) Sensor fusion
CN108340913B (zh) 碰撞减轻和避免
EP3358302A1 (en) Travel control method and travel control device
CN110861642A (zh) 车辆横向运动控制
US10777084B1 (en) Vehicle location identification
US10160459B2 (en) Vehicle lane direction detection
US11498554B2 (en) Enhanced object detection and response
US11507107B2 (en) Map information system
CN112389426A (zh) 增强的威胁选择
EP4020111B1 (en) Vehicle localisation
US10262476B2 (en) Steering operation
CN112440988A (zh) 增强型威胁评估
US10473772B2 (en) Vehicle sensor operation
US11383704B2 (en) Enhanced vehicle operation
CN113353070A (zh) 车辆检测和响应
US10891951B2 (en) Vehicle language processing
US11673548B2 (en) Vehicle detection and response
US11288889B2 (en) Vehicle operation
CN113301496A (zh) 增强的传感器操作
US11087147B2 (en) Vehicle lane mapping
US11148663B2 (en) Enhanced collision mitigation
US11468767B2 (en) Map information system
US11551456B2 (en) Enhanced infrastructure
US20220404506A1 (en) Online validation of lidar-to-lidar alignment and lidar-to-vehicle alignment
CN111731200A (zh) 便携式装置数据校准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination