CN111885542A - 同步感测系统 - Google Patents

同步感测系统 Download PDF

Info

Publication number
CN111885542A
CN111885542A CN202010374075.1A CN202010374075A CN111885542A CN 111885542 A CN111885542 A CN 111885542A CN 202010374075 A CN202010374075 A CN 202010374075A CN 111885542 A CN111885542 A CN 111885542A
Authority
CN
China
Prior art keywords
receiver
message
data
sender
timestamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010374075.1A
Other languages
English (en)
Inventor
穆斯塔法·帕尔恰米
张琳军
海伦·伊丽莎白·库鲁斯-哈里根
金塔拉斯·文森特·普斯科里奥斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111885542A publication Critical patent/CN111885542A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/004—Synchronisation arrangements compensating for timing error of reception due to propagation delay
    • H04W56/005—Synchronisation arrangements compensating for timing error of reception due to propagation delay compensating for timing error by adjustment in the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W56/00—Synchronisation arrangements
    • H04W56/001—Synchronization between nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“同步感测系统”。在消息接收器中，根据无线接收到消息的时间分配接收时间戳。从所述消息中提取关于对象的对象数据，包括来自消息发送器的针对所述对象的时间戳调整。通过从所述接收时间戳减去所述时间戳调整和估计的消息传输等待时间，向所述对象分配估计的发送器捕获时间戳；向捕获在所述接收器中的接收器对象数据分配接收器捕获时间戳。根据所述估计的发送器捕获时间戳和所述接收器捕获时间戳来合并所述发送器对象数据和所述接收器对象数据，从而生成合并的对象数据。

Description

同步感测系统
技术领域
本公开总体上涉及车辆通信系统。
背景技术
车辆对基础设施(V2I)和车辆对车辆(V2V)通信可以允许车辆向彼此和/或基础设施元件提供关于一个或多个车辆和一个或多个基础设施本地环境中的对象的数据，并且反之亦然。例如，基础设施元件可能够提供关于区域中的对象、障碍等的数据，以支持车辆的路径规划，例如避开障碍和对象，并且/或者车辆可能够向彼此提供此类数据。
发明内容
一种系统具有包括处理器和存储器的计算机，所述存储器存储可由所述处理器执行以进行以下操作的指令：在消息接收器中，根据无线接收到消息的时间分配接收时间戳；从所述消息中提取关于对象的发送器对象数据，包括来自消息发送器的针对所述对象的时间戳调整；通过从所述接收时间戳减去所述时间戳调整和估计的消息传输等待时间，向所述对象分配估计的发送器捕获时间戳；向捕获在所述接收器中的接收器对象数据分配接收器捕获时间戳；以及根据所述估计的发送器捕获时间戳和所述接收器捕获时间戳来合并所述发送器对象数据和所述接收器对象数据，从而生成合并的对象数据。消息接收器或消息发送器可为车辆中的计算机。消息接收器或消息发送器可为固定基础设施元件中的计算机。指令可还包括用于基于所述合并的对象数据致动车辆中的部件的指令。指令可还包括用于传输所述合并的对象数据的指令。所述时间戳调整可为对象感知时间和对象数据捕获时间之间的差值。所述消息传输等待时间可为所述消息从所述发送器行进到所述接收器的以经验确定的估计时间。发送器对象数据可以包括对象的分类、位置或尺寸。指令可还包括用于进行以下操作的指令：在确定所述估计的发送器捕获时间戳和所述接收器捕获时间戳在彼此的指定阈值时间内时合并所述发送器对象数据和所述接收器对象数据。指令可还包括用于进行以下操作的指令：与捕获所述接收器对象数据以及分配所述接收器捕获时间戳基本上同时地接收所述消息以及提取所述发送器对象数据。
一种方法包括：在消息接收器中，根据无线接收到消息的时间分配接收时间戳；从所述消息中提取关于对象的发送器对象数据，包括来自消息发送器的针对所述对象的时间戳调整；通过从所述接收时间戳减去所述时间戳调整和估计的消息传输等待时间，向所述对象分配估计的发送器捕获时间戳；向捕获在所述接收器中的接收器对象数据分配接收器捕获时间戳；以及根据所述估计的发送器捕获时间戳和所述接收器捕获时间戳来合并所述发送器对象数据和所述接收器对象数据，从而生成合并的对象数据。消息接收器或消息发送器可为车辆中的计算机。消息接收器或消息发送器可为固定基础设施元件中的计算机。该方法可还包括基于所述合并的对象数据来致动车辆中的部件。该方法可还包括传输所述合并的对象数据。所述时间戳调整可为对象感知时间和对象数据捕获时间之间的差值。所述消息传输等待时间可为所述消息从所述发送器行进到所述接收器的以经验确定的估计时间。发送器对象数据可以包括对象的分类、位置或尺寸。该方法可还包括：在确定所述估计的发送器捕获时间戳和所述接收器捕获时间戳在彼此的指定阈值时间内时合并所述发送器对象数据和所述接收器对象数据。该方法可还包括：与捕获所述接收器对象数据以及分配所述接收器捕获时间戳基本上同时地接收所述消息以及提取所述发送器对象数据。
附图说明
图1是示出示例性交通通信和控制系统的框图。
图2是示出其中可实现图1的系统的示例性交通场景的图。
图3是在图1的系统的上下文中发送器向接收器发送消息的简化框图。
图4是示出发送器和接收器之间的经验通信等待时间的图。
图5是发送器获取数据并在消息中将该数据(包括该数据的一个或多个时间戳)提供给接收器的示例性过程的流程图。
图6是接收器接收并处理包括数据以及该数据的一个或多个时间戳的消息的示例性过程的流程图。
具体实施方式
图1是示例性基础设施通信和控制系统(或基础设施系统)100的框图。一个或多个车辆105可以彼此和/或向一个或多个基础设施元件140提供数据。为了便于说明，在图1中示出了车辆105和基础设施元件140中的各一个；图2示出了交通场景或区域200，其中基础设施元件140和多个车辆可以彼此交换数据，例如，关于道路205、对象210和本地环境的其他特征的数据。本文公开了用于同步来自不同源(例如，不同车辆105和/或基础设施元件140中的传感器115、145)的数据的系统和方法。
图3是示出包括传感器115、145数据和/或关于对象的数据的数据的传输的简化或通用框图。在图3的上下文中，从发送器305传输到接收器310的消息315的发送器305和/或接收器310可以是车辆105或基础设施140。消息315中的数据可以包括来自车辆105传感器115或基础设施140传感器145的数据。如本文所公开的，发送器305可以在消息315中为消息315中的数据提供如下所述的一个或多个时间戳。消息315的接收器310可以进一步确定由一个或多个接收器310传感器115、145获取的数据的一个或多个时间戳。然后，接收器310可以将来自发送器305的数据的时间戳与在发送器305中获取的数据同步，从而允许融合来自发送器305和接收器310的数据，例如，使得来自相应发送器305和接收器310的数据可以在接收器310中被融合以识别与车辆105的操作(例如，安全导航、避免碰撞等等)有关的对象。
系统100解决了与同步经由V2V和V2I通信等发送和接收的数据有关的问题，并且有利地允许数据消息接收器将来自发送器305的数据与在接收器310中感测到的数据融合，而无需借助外部时钟来同步相应发送器305和接收器310的数据。例如，现有技术可能需要诸如经由全球定位系统(GPS)等提供的全球或外部参考时钟。在处理和消息带宽方面，使用此类外部时钟同步数据可能会非常昂贵；通过本文公开的技术消除了这些处理和带宽需求。避免咨询外部时钟以进行同步是有利的。
车辆
车辆105通常(但不一定)是陆地车辆，诸如汽车、卡车等。另外地或替代地，车辆105可以包括自行车、摩托车等。车辆105包括车辆计算机110、传感器115、用于致动各种车辆部件125的致动器120，以及车辆通信模块130。通信模块130允许车辆计算机110例如经由消息传递或广播协议(诸如专用短程通信(DSRC)、蜂窝和/或可支持车辆对车辆、车辆对基础设施、车辆对云通信等的其他协议)和/或经由分组网络135与一个或多个基础设施元件140和中央服务器170通信。
车辆计算机110包括诸如已知的处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以用于执行各种操作(包括如本文所公开的操作)的指令。
计算机110可以以自主模式、半自主模式或非自主(或手动)模式来操作车辆105。出于本公开的目的，自主模式被限定为其中由计算机110控制车辆105推进、制动和转向中的每一者的模式；在半自主模式下，计算机110控制车辆105推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆105推进、制动和转向中的每一者。
计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。另外，计算机110可以被编程为确定人类操作员是否以及何时控制此类操作。
计算机110可以包括或者例如经由如下文进一步描述的诸如通信总线的车辆105网络通信地耦接到多于一个的处理器，所述处理器例如包括在车辆中所包括的电子控制器单元(ECU)等中、用于监测和/或控制各种车辆部件125(例如，动力传动系统控制器、制动控制器、转向控制器等)。计算机110通常被布置用于在车辆通信网络上进行通信，所述车辆通信网络可以包括车辆中的总线(诸如控制器局域网(CAN)等)和/或其他有线和/或无线机制。
经由车辆105网络，计算机110可以向车辆中的各种装置(例如传感器115、致动器120、人机接口(HMI)等)传输消息和/或从各种装置接收消息(例如，CAN消息)。可替代地或另外地，在计算机110实际上包括多个装置的情况下，车辆105通信网络可以用于在本公开中表示为计算机110的装置之间的通信。此外，如下所述，各种控制器和/或传感器115可以经由车辆通信网络向计算机110提供数据。
车辆105传感器115可以包括诸如已知的用于向计算机110提供数据的多种装置。例如，传感器115可以包括设置在车辆105的顶部上、在车辆105前挡风玻璃后面、在车辆105周围等的一个或多个光探测和测距(LIDAR)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状。作为另一个示例，固定到车辆105保险杠的一个或多个雷达传感器115可以提供数据来提供对象、第二车辆105等相对于车辆105的位置的位置。传感器115还可以替代地或另外包括例如一个或多个相机传感器115(例如，前视、侧视等)，所述相机传感器提供来自车辆105周围的区域的图像。在本公开的上下文中，对象是可以通过可由传感器115检测到的物理现象(例如，光或其他电磁波或声音等)来表示的物理(即，材料)物品。因此，车辆105以及包括以下讨论的其他物品都落在本文的“对象”的定义之内。
车辆105致动器120经由电路、芯片或可以根据如已知的适当控制信号来致动各种车辆子系统的其他电子和/或机械部件来实现。致动器120可用于控制部件125，包括车辆105的制动、加速和转向。
在本公开的上下文中，车辆部件125是一个或多个硬件部件，所述一个或多个硬件部件适于执行机械或机电功能或操作，诸如使车辆105移动、使车辆101减缓或停止、使车辆105转向等。部件125的非限制性示例包括：推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可以包括方向盘、转向齿条等中的一者或多者)、制动部件(如下所述)、停车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等等。
另外，计算机110可以被配置用于经由车辆对车辆通信模块或接口130与车辆105外部的装置通信，例如，通过到另一车辆、到基础设施元件140(通常经由直接射频通信)和/或(通常经由网络135)远程服务器170的车辆对车辆(V2V)或车辆对基础设施(V2I)无线通信(蜂窝和/或DSRC等)。模块130可以包括车辆105的计算机110可以通过其进行通信的一个或多个机制，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望的网络拓扑(或当利用多个通信机制时的拓扑)。经由模块130提供的示例性通信可以包括蜂窝、蓝牙、IEEE 802.11、专用短程通信(DSRC)、蜂窝V2X(CV2X)等。
网络
网络135表示车辆计算机110可以通过其与基础设施元件140和/或中央服务器170通信的一个或多个机制。因此，网络135可以为各种有线或无线通信机制中的一者或多者，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望的网络拓扑(或当利用多个通信机制时的拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用
Figure BDA0002479475190000071
低功耗(BLE)、IEEE 802.11、车辆对车辆(V2V)(诸如专用短程通信(DSRC))等)、局域网(LAN)和/或广域网(WAN)，包括互联网。
基础设施元件
基础设施元件140包括物理结构，诸如塔或其他支撑结构(例如，杆、可安装到桥支撑件的盒子、手机塔、道路标志支撑件等)，基础设施传感器145以及基础设施通信模块150和计算机155可以容纳、安装、储存和/或包含在所述物理结构上或所述物理结构中并且在其上或其中被供电等。为便于说明，在图1中示出了一个基础设施元件140，但系统100可以并且可能会包括数十、数百或数千个元件140。
基础设施元件140通常是静止的，即，固定到特定物理位置并且无法从其移动。基础设施传感器145可以包括一个或多个传感器，诸如上文针对车辆105传感器115所述，例如，激光雷达、雷达、相机、超声传感器等。基础设施传感器145是固定或静止的。也就是说，每个传感器145安装到基础设施元件，以便具有基本上不移动且不改变的视场。
因此，与车辆105传感器115相比，传感器145在很多有利方面提供视场。首先，由于传感器145具有基本上恒定的视场，因此与还必须考虑到传感器145的移动的情况相比，可以利用更少且更简单的处理资源来完成对车辆105和对象位置的确定。此外，传感器145包括车辆105的外部视角，并且有时可以检测到不在一个或多个车辆105传感器115视场内的对象的特征和特性并且/或者可以提供更准确的检测，例如，关于车辆105相对于其他对象的位置和/或移动。更进一步地，传感器145可以经由有线连接与元件140计算机155通信，而车辆105通常可以仅无线地或者仅在有线连接可用时以非常有限的次数与元件140和/或服务器170通信。有线通信更加可靠并且可以比诸如车辆对基础设施通信等的无线通信更为快速。
通信模块150和计算机155通常具有与车辆计算机110和车辆通信模块130共同的特征，并且因此将不进一步描述以避免冗余。尽管为便于说明而未示出，但基础设施元件140还包括电源，诸如电池、太阳能电池单元和/或到电力网的连接。
示例环境
转到图2，可以提供基础设施元件140以监视基础设施元件140周围的限定区域200。例如，限定区域200可以是靠近基础设施元件140的区域。在当前上下文中，“靠近”是指区域200由一个或多个元件140传感器145的视场限定。限定区域200可以替代地是由元件140周围的半径或相对于基础设施元件140的某个其他距离或一组距离限定的区域。
除了车辆105，区域200可以包括其他对象210，例如行人对象210、巨石对象210、自行车对象210等，即区域200可以替代地或另外包括许多其他对象210，例如隆起、凹坑、路沿、护堤、倒下的树木、垃圾、建筑障碍物或锥标等。对象210可被指定为根据由车辆计算机110和/或基础设施140计算机155维护的针对区域200的坐标系来定位，例如根据指定区域200中的坐标的笛卡尔坐标系等。另外，关于对象210的数据可以指定诸如在道路205上或附近的子区域中的障碍或对象的特性，例如高度、宽度等。
数据和消息
图3是在图1的系统100的上下文中发送器305向接收器310发送消息315的简化框图。众所周知，计算机110、155可以被编程为编码和序列化(即转换为一串位)数据，诸如描述对象210的数据，使得该数据可以包括在包括数据包的消息315中，数据包包括序列化数据(或在多个数据包中的每个数据包中，包括其一部分)作为有效载荷，该消息被传输到一个或多个车辆105和/或一个或多个基础设施140(即发送器305和接收器310)或从其传输。发送器305或接收器可以各自是车辆105或基础设施元件140(例如，经由通信模块130、150)。此外，系统100可以包括多个发送器305和/或多个接收器310。例如，如下面进一步讨论的，接收器310可以从相应的发送器305接收关于对象210的多个消息315。
表1列出并说明了用于将发送器305和接收器310之间的数据和/或来自多个发送器305的相应数据与接收器310中的数据同步的数据值。表1中包括的数据值包括时间戳。如本文所使用的术语“时间戳”旨在具有其普通的含义。但是，为清楚起见和避免疑问，本文中的“时间戳”应理解为指定为获取和/或确定数据值而存储或记录的时钟时间。时钟时间可以是由计算机110、155维护的时钟时间。
Figure BDA0002479475190000091
Figure BDA0002479475190000101
表1
等待时间确定
图4是示出发送器和接收器之间的经验通信等待时间的图。通过在各种发送器350和接收器310之间发送DSRC通信并记录传输和接收时间来生成图4。标记为“等待时间(ms)”的水平轴表示等待时间(以毫秒为单位)，即消息315的从发送器305的传输时间到接收器310中的接收时间之间的时间量。标记为“频率”的垂直轴表示记录特定量的等待时间的频率，即该等待时间在测试过程中发生的次数。例如，图4显示测试中最频繁的等待时间是10ms。因此，可以选择10ms作为等待时间L。
过程
图5是发送器305获取数据并在消息315中将该数据(包括该数据的一个或多个时间戳)提供给接收器310的示例性过程500的流程图。过程500的步骤或框可以由计算机110、155根据存储在其存储器中的指令来执行。
过程500可以在框505中开始，在框505中，发送器305中的一个或多个传感器115、145捕获(即，获取)数据。例如，如上所述，传感器115、145可以是激光雷达或相机传感器，并且数据可以包括二维或三维图像数据、点云数据等。另外或替代地，传感器115、145可以获取其他种类的数据，诸如雷达数据。
接下来，在框510中，计算机110、155向框505中获取的数据或数据集(例如，二维图像、激光雷达点云等)分配时间戳tcapture_s。
接下来，在框515中，计算机110、155确定在计算机110、155尝试根据传感器115、145数据识别一个或多个对象210和/或其他物理现象例如降水等之前是否要获取附加数据。如将认识到的，传感器115、145可以基本连续地获取数据，并且不同的传感器115、145可以以不同的间隔或频率来获取数据。例如，可以对计算机110、155进行编程，以从不同的传感器115、145(例如，雷达、激光雷达、二维相机等)收集数据。二维相机可以与激光雷达点云生成速率(例如可能为10赫兹)相比更高的速率(例如70赫兹(例如，每秒70帧))收集数据。因此，考虑到各种传感器115、145的不同的数据收集速率，计算机110、155可以包括周期性地进行感知或数据融合过程以融合来自相应不同传感器115、145的数据以识别对象210的指令，例如，每500ms一次。例如，可以以已知方式执行数据融合，其中各种源例如经由有线或无线连接和/或根据计算机110、155中提供或确定的数据向在计算机110、155中执行的数据融合过程提供数据。计算机110、155中的数据融合过程可以包括编程以周期性地(即，以指定的时间或间隔)从队列中检索所有数据以进行融合，并利用各种数据来进行可称为观察的操作，例如，检测一个或多个对象。如果在进行感知步骤之前要获取附加数据，则过程500返回到框505。否则，过程500前进到框520。
在框520中，计算机110、155执行对象感知，或者可以称为数据融合或传感器融合的操作，以感知一个或多个对象210，并向在框520中感知的一个或多个对象210分配时间戳tpercept_s。感知对象210可以包括生成对对象210进行分类的数据、提供大小和/或形状，即一个或多个尺寸，和/或提供位置，例如根据诸如由GPS系统使用的全球地理坐标等。可以根据预定的类别或类型(例如，行人、岩石、车辆、凹坑等)对对象进行分类，即可以指定对象类型。
接下来，在框525中，计算机110、155确定时间戳调整，例如，值t_diffobj，如上文针对在框520中感知的一个或多个对象所定义的，即，表示数据捕获时间的时间戳与对象210感知时间的时间戳之间的差值。
接下来，在框530中，计算机110、155传输消息315，该消息315包括描述在框520中确定的每个对象210的数据以及针对如在框525中确定的每个对象210的相应的值t_diffobj。消息315可以包括根据已知技术被编码和/或序列化的数据，将数据结构或数据对象序列化为用于存储在例如文件、存储器、缓冲器等中的格式是众所周知的。此外，编码技术是已知的，例如，车辆通信通常使用ASN(抽象语法符号)编码规则，该规则在电信中更普遍地使用。其他可能的示例性编码/封装方案包括协议缓冲(Google)、CORBA、COM(组件对象模型)等。一旦数据被编码和序列化，消息315就可以包括一个或多个数据包。众所周知，数据包可以包括关于对象210的报头和有效载荷数据，并且针对每个对象210的相应的时间戳或值诸如t_diffobj可以包括在消息315中的一个或多个数据包的一个或多个有效载荷中。
在框530之后，过程500结束。但是请注意，过程500可以重复和/或例如在车辆105通电和/或正在操纵等时基本上连续地操作，并且/或者对于基础设施元件140可以基本上连续地操作。
图6是接收器310接收并处理来自发送器305的消息315的示例性过程的流程图，消息315包括数据以及该数据的一个或多个时间戳。过程600的步骤或框可以由计算机110、155根据存储在其存储器中的指令来执行。
过程600可以在框605开始，在框605中，接收器310接收消息315，例如，如关于过程500所描述的那样，由发送器305传输。
接下来，在框610中，接收器310计算机110、155分配时间戳trcpt，即指定接收消息315的时间。
接下来，在框615中，计算机110、155反序列化和/或解码消息315，以提取关于一个或多个对象210的数据以及相应的时间戳或值，诸如针对每个对象210的时间戳调整t_diffobj。
接下来，在框620中，针对在框615中提取的数据中识别出的每个对象210，计算机110、155分配表示在发送器305计算机110、155中感知到对象的估计时间的值，例如值tobj＝trcpt-t_diffobj-L，其中L是估计通信等待时间，即，从发送器305到接收器310的估计传输时间，如上所述。
接下来，在框625中，接收器310中的一个或多个传感器115、145捕获，即获取，数据。例如，如上所述，传感器115、145可以是激光雷达或相机传感器，并且数据可以包括二维或三维图像数据、点云数据等。另外或替代地，传感器115、145可以获取其他种类的数据，诸如雷达数据。
接下来，在框630中，计算机110、155向框625中获取的数据或数据集(例如，二维图像、激光雷达点云等)分配时间戳tcapture_r。
接下来，在框635中，以如上关于过程500的框515所述的方式，计算机110、155确定在计算机110、155尝试根据传感器115、145数据识别一个或多个对象210和/或其他物理现象例如降水等之前是否要获取附加数据。如果要获取附加数据，则过程600返回到框625。否则，过程600前进到框640。此外，应当理解，框605-620和框625-630分别可以基本上同时地或彼此并行地运行，直到在框635中确定前进到框640为止。
在框640中，计算机110、155通过合并来自发送器305的对象数据(根据估计的发送器捕获时间戳tobj)与来自接收器310的关于对象210的数据(根据tcapture_r)来执行对象感知或有时称为数据融合的操作，以感知一个或多个对象210。也就是说，如果tobj和tcapture_r在彼此的指定时间(例如5ms)内，则可以将相应的发送器305和接收器310的数据包括在数据融合或对象感知过程中。此外，计算机110、155可以将融合的对象210数据传输到其他接收器310，例如，基础设施140可以传输或广播该数据以供一个或多个车辆105接收，然后该车辆可以使用该数据来致动一个或多个部件120，例如在道路205上操作，例如转向、或制动，和/或加速。类似地，作为接收器310的车辆105可以使用对象210数据进行操作和/或可以广播关于对象210的数据以供基础设施元件140和/或一个或多个其他车辆105接收(然后可以继而使用该数据进行操作)。
在框640之后，过程600结束。但是，请注意，与过程500一样，过程600可以基本上连续地操作和/或可以重复。
结论
如本文所使用，副词“基本上”意指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。
“基于”涵盖“全部基于或部分基于”。如果在本文中描述了第一件事并且/或者声称其“基于”第二件事，那么第一件事从第二件事推导或计算出，和/或根据算法、过程或程序函数输出，该算法、过程或程序函数接受部分或全部第二件事作为输入并输出部分或全部第一件事。
通常，所描述的计算系统和/或装置可以采用许多计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型：Ford
Figure BDA0002479475190000151
应用程序、AppLink/Smart Device Link中间件、Microsoft
Figure BDA0002479475190000152
操作系统、Microsoft
Figure BDA0002479475190000153
操作系统、Unix操作系统(例如，由加州红木海岸的Oracle公司发布的
Figure BDA0002479475190000154
操作系统)、由纽约阿蒙克市的International Business Machines发布的AIX UNIX操作系统、Linux操作系统、由加州库比蒂诺的Apple Inc.发布的Mac OSX和iOS操作系统、由加拿大滑铁卢的Blackberry，Ltd.发布的BlackBerry OS以及由Google,Inc.和开放手机联盟开发的Android操作系统，或由QNX Software Systems供应的
Figure BDA0002479475190000155
CAR信息娱乐平台。计算装置的示例包括但不限于：车载式车辆计算机、计算机工作站、服务器、台式机、笔记本电脑、膝上型计算机或手持式计算机或者某一其他计算系统和/或装置。
计算机和计算装置总体上包括计算机可执行指令，其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行。计算机可执行指令可由使用各种编程语言和/或技术创建的计算机程序编译或解译，所述编程语言和/或技术包括但不限于单独的或组合的JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用程序中的一些可在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。一般地，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括本文所述的一个或多个过程。此类指令和其他数据可使用多种计算机可读介质来存储和传输。计算装置中的文件总体上是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据集合。
存储器可包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可以采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括有包括耦接到ECU的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储芯片或盒式磁带或者计算机可从中读取的任何其他介质。
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用程序数据库、关系型数据库管理系统(RDBMS)等。每个此类数据存储装置大体包括在采用诸如以上所提及的那些操作系统中的一个操作系统的计算机操作系统的计算装置内，并且经由网络以各种方式中的任一种或多种来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。RDBMS除了用于创建、存储、编辑和执行所存储程序的语言(诸如以上所提及的PL/SQL语言)之外，整体采用结构化查询语言(SQL)。
在一些示例中，系统元件可以被实施为一个或多个计算装置(例如，服务器、个人计算机等)上的存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上以用于执行本文所述的功能的此类指令。
关于本文所述的介质、过程、系统、方法、启发等，应理解，虽然此类过程等的步骤已被描述为根据某一有序的顺序发生，但是可以通过以与本文所述的次序不同的次序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话讲，本文对过程的描述是出于示出某些实施例的目的而提供，而决不应将其理解为对权利要求进行限制。
因此，应当理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用对于所属领域的技术人员将是显而易见的。不应参照以上描述来确定本发明的范围，而是替代地应参照所附权利要求连同此类权利要求所享有的等效物的全部范围来确定本发明的范围。预期并期望本文所论述的技术未来将出现进步，并且所公开的系统和方法将并入此类未来实施例中。总之，应当理解，本发明能够进行修改和变化，并且仅受所附权利要求限制。
除非本文做出相反的明确指示，否则权利要求中使用的所有术语旨在被给予如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应当被解读为叙述所指示的要素中的一者或多者。
根据本发明，提供了一种系统，所述系统具有包括处理器和存储器的计算机，所述存储器存储可由所述处理器执行以进行以下操作的指令：在消息接收器中，根据无线接收到消息的时间分配接收时间戳；从所述消息中提取关于对象的发送器对象数据，包括来自消息发送器的针对所述对象的时间戳调整；通过从所述接收时间戳减去所述时间戳调整和估计的消息传输等待时间，向所述对象分配估计的发送器捕获时间戳；向捕获在所述接收器中的接收器对象数据分配接收器捕获时间戳；以及根据所述估计的发送器捕获时间戳和所述接收器捕获时间戳来合并所述发送器对象数据和所述接收器对象数据，从而生成合并的对象数据。
根据实施例，消息接收器或消息发送器为车辆中的计算机。
根据实施例，消息接收器或消息发送器为固定基础设施元件中的计算机。
根据实施例，本发明还包括用于基于所述合并的对象数据致动车辆中的部件的指令。
根据实施例，本发明还包括用于传输所述合并的对象数据的指令。
根据实施例，所述时间戳调整是对象感知时间和对象数据捕获时间之间的差值。
根据实施例，所述消息传输等待时间是所述消息从所述发送器行进到所述接收器的以经验确定的估计时间。
根据实施例，所述发送器对象数据包括所述对象的分类、位置或尺寸。
根据实施例，本发明还包括用于进行以下操作的指令：在确定所述估计的发送器捕获时间戳和所述接收器捕获时间戳在彼此的指定阈值时间内时合并所述发送器对象数据和所述接收器对象数据。
根据实施例，本发明还包括用于进行以下操作的指令：与捕获所述接收器对象数据以及分配所述接收器捕获时间戳基本上同时地接收所述消息以及提取所述发送器对象数据。
根据本发明，一种方法包括：在消息接收器中，根据无线接收到消息的时间分配接收时间戳；从所述消息中提取关于对象的发送器对象数据，包括来自消息发送器的针对所述对象的时间戳调整；通过从所述接收时间戳减去所述时间戳调整和估计的消息传输等待时间，向所述对象分配估计的发送器捕获时间戳；向捕获在所述接收器中的接收器对象数据分配接收器捕获时间戳；以及根据所述估计的发送器捕获时间戳和所述接收器捕获时间戳来合并所述发送器对象数据和所述接收器对象数据，从而生成合并的对象数据。
根据实施例，消息接收器或消息发送器为车辆中的计算机。
根据实施例，消息接收器或消息发送器为固定基础设施元件中的计算机。
根据实施例，本发明还包括基于所述合并的对象数据致动车辆中的部件。
根据实施例，本发明还包括传输所述合并的对象数据。
根据实施例，所述时间戳调整是对象感知时间和对象数据捕获时间之间的差值。
根据实施例，所述消息传输等待时间是所述消息从所述发送器行进到所述接收器的以经验确定的估计时间。
根据实施例，所述发送器对象数据包括所述对象的分类、位置或尺寸。
根据实施例，本发明还包括：在确定所述估计的发送器捕获时间戳和所述接收器捕获时间戳在彼此的指定阈值时间内时合并所述发送器对象数据和所述接收器对象数据。
根据实施例，本发明还包括：与捕获所述接收器对象数据以及分配所述接收器捕获时间戳基本上同时地接收所述消息以及提取所述发送器对象数据。

Claims (13)

1.一种方法，其包括：
在消息接收器中，根据无线接收到消息的时间分配接收时间戳；
从所述消息中提取关于对象的发送器对象数据，包括来自消息发送器的针对所述对象的时间戳调整；
通过从所述接收时间戳减去所述时间戳调整和估计的消息传输等待时间，向所述对象分配估计的发送器捕获时间戳；
向捕获在所述接收器中的接收器对象数据分配接收器捕获时间戳；以及
根据所述估计的发送器捕获时间戳和所述接收器捕获时间戳来合并所述发送器对象数据和所述接收器对象数据，从而生成合并的对象数据。
2.如权利要求1所述的方法，其中所述消息接收器或所述消息发送器为车辆中的计算机。
3.如权利要求1所述的方法，其中所述消息接收器或所述消息发送器为固定基础设施元件中的计算机。
4.如权利要求1所述的方法，其还包括基于所述合并的对象数据来致动车辆中的部件。
5.如权利要求1所述的方法，其还包括传输所述合并的对象数据。
6.如权利要求1所述的方法，其中所述时间戳调整是对象感知时间和对象数据捕获时间之间的差值。
7.如权利要求1所述的方法，其中所述消息传输等待时间是所述消息从所述发送器行进到所述接收器的以经验确定的估计时间。
8.如权利要求1所述的方法，其中所述发送器对象数据包括所述对象的分类、位置或尺寸。
9.如权利要求1所述的方法，其还包括在确定所述估计的发送器捕获时间戳和所述接收器捕获时间戳在彼此的指定阈值时间内时合并所述发送器对象数据和所述接收器对象数据。
10.如权利要求1所述的方法，其还包括与捕获所述接收器对象数据以及分配所述接收器捕获时间戳基本上同时地接收所述消息以及提取所述发送器对象数据。
11.一种计算机程序产品，其存储用于执行如权利要求1至10中任一项所述的方法的指令。
12.一种计算机，其被编程为执行如权利要求1至10中任一项所述的方法。
13.一种车辆，其包括被编程为执行如权利要求1至10中任一项所述的方法的计算机。
CN202010374075.1A 2019-05-03 2020-05-06 同步感测系统 Pending CN111885542A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/402,340 US10791534B1 (en) 2019-05-03 2019-05-03 Synchronizing sensing systems
US16/402,340 2019-05-03

Publications (1)

Publication Number Publication Date
CN111885542A true CN111885542A (zh) 2020-11-03

Family

ID=72614997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010374075.1A Pending CN111885542A (zh) 2019-05-03 2020-05-06 同步感测系统

Country Status (3)

Country Link
US (1) US10791534B1 (zh)
CN (1) CN111885542A (zh)
DE (1) DE102020112009A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020123808A1 (de) 2020-09-11 2022-03-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erfassen von Umgebungsdaten zur Absicherung einer Umfelderkennung
DE102022211839A1 (de) 2022-11-09 2024-05-16 Robert Bosch Gesellschaft mit beschränkter Haftung Bestimmung einer Höheninformation für ein Objekt im Umfeld eines Fahrzeugs

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748202B2 (en) * 2001-12-12 2004-06-08 Nokia Corporation Method, apparatus and system for synchronizing a cellular communication system to GPS time
US7271764B2 (en) * 2005-06-30 2007-09-18 Intel Corporation Time of arrival estimation mechanism
WO2012019617A1 (de) 2010-08-09 2012-02-16 Siemens Aktiengesellschaft Verfahren und vorrichtung zum synchronisieren von ereignissen autarker systeme
US9555883B1 (en) * 2015-06-25 2017-01-31 Amazon Technologies, Inc. Unmanned aerial vehicle sensor synchronization
US10101747B2 (en) * 2015-12-11 2018-10-16 Uber Technologies, Inc. Formatting sensor data for use in autonomous vehicle communications platform
US10986601B2 (en) * 2017-07-26 2021-04-20 Panoramic Power Ltd. System and method for timing synchronization of a self-powered power sensor

Also Published As

Publication number Publication date
DE102020112009A1 (de) 2020-11-05
US10791534B1 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
CN110880236B (zh) 路况信息处理方法、装置及系统
US10552695B1 (en) Driver monitoring system and method of operating the same
US11003182B2 (en) Vehicle monitoring and control infrastructure
US11016175B2 (en) Transportation infrastructure communication and control
US10841761B2 (en) Adaptive vehicle-to-infrastructure communications
WO2021012153A1 (en) System for sensor synchronization data analysis in autonomous driving vehicle
US20220180106A1 (en) Vehicle neural network localization
CN111885542A (zh) 同步感测系统
US11521491B2 (en) Priority vehicle management
CN115470884A (zh) 用于自动驾驶系统的感知系统开发的平台
US11024175B2 (en) Adaptive vehicle-infrastructure communications
US11710254B2 (en) Neural network object detection
CN112839319A (zh) 蜂窝车联网信息处理方法、装置、系统、终端及存储介质
US11500104B2 (en) Localizing a moving object
CN112446466A (zh) 在深度神经网络中测量置信度
US20210101606A1 (en) Nonautonomous vehicle speed prediction with autonomous vehicle reference
US20210264689A1 (en) Vehicle error alerting system
US11374667B2 (en) Localizing communications interference node
US11449090B2 (en) Synchronizing sensing systems
US20230222811A1 (en) Synchronized vehicle operation
US11946751B2 (en) Determining a vehicle route
CN112462381B (zh) 一种基于车路协同的多激光雷达融合方法
US20230211779A1 (en) Adaptive messaging within a cloud and edge computing environment for v2x applications
WO2023106235A1 (ja) 情報処理装置、情報処理方法、および車両制御システム
US20230231916A1 (en) Vehicle operation for providing attribute data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination