CN113992469A - 数据融合方法、装置、电子设备和计算机可读介质 - Google Patents

数据融合方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN113992469A
CN113992469A CN202111176649.5A CN202111176649A CN113992469A CN 113992469 A CN113992469 A CN 113992469A CN 202111176649 A CN202111176649 A CN 202111176649A CN 113992469 A CN113992469 A CN 113992469A
Authority
CN
China
Prior art keywords
timestamp
data
sequence
target
message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111176649.5A
Other languages
English (en)
Other versions
CN113992469B (zh
Inventor
郭光超
孙磊
倪凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heduo Technology Guangzhou Co ltd
Original Assignee
HoloMatic Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HoloMatic Technology Beijing Co Ltd filed Critical HoloMatic Technology Beijing Co Ltd
Priority to CN202111176649.5A priority Critical patent/CN113992469B/zh
Publication of CN113992469A publication Critical patent/CN113992469A/zh
Application granted granted Critical
Publication of CN113992469B publication Critical patent/CN113992469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/826—Involving periods of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN

Abstract

本公开的实施例公开了数据融合方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取时间戳广播节点发送的时间戳同步报文，其中，时间戳同步报文包括：报文广播时间戳；响应于接收到目标数据报文序列，根据目标数据报文序列中的每个目标数据报文对应的接收时间戳、报文广播时间戳和时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；根据同步时间戳序列和目标数据报文序列，生成融合数据集合。该实施方式提高了数据融合成功率和CAN总线的数据传输效率。

Description

数据融合方法、装置、电子设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及数据融合方法、装置、电子设备和计算机可读介质。
背景技术
随着自动驾驶领域相关技术的发展，自动驾驶车辆逐渐走入人们的视野。实际情况中，自动驾车车辆往往需要多个传感器进行车身周围数据的实时获取，从而使得自动驾驶车辆能够进行自动地进行路径规划和障碍物避障。因此对于多个传感器采集的数据进行处理尤为重要。目前在对多个传感器采集的数据进行处理时，通常采用的方式为：数据融合节点将通过CAN(Controller Area Network，控制器局域网络)总线传输的多个传感器采集的数据进行数据融合。
然而，当采用上述方式时，经常会存在如下技术问题：
第一，多个传感器在CAN总线传输数据时，往往需要对应的传感器设置时间戳，以进行数据融合，然而，当多个传感器的内部时钟不同步时，往往会导致数据融合失败；
第二，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合，然而，通过CAN总线对多个传感器设置的时间戳进行传输，会增加CAN总线的数据传输压力，降低CAN总线的数据传输效率。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了数据融合方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种数据融合的方法，该方法包括：获取时间戳广播节点发送的时间戳同步报文，其中，上述时间戳同步报文包括：报文广播时间戳；响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，上述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；根据上述同步时间戳序列和上述目标数据报文序列，生成融合数据集合。
第二方面，本公开的一些实施例提供了一种数据融合装置，装置包括：获取单元，被配置成获取时间戳广播节点发送的时间戳同步报文，其中，上述时间戳同步报文包括：报文广播时间戳；确定单元，被配置成响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，上述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；生成单元，被配置成根据上述同步时间戳序列和上述目标数据报文序列，生成融合数据集合。
第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的数据融合方法，提高了数据融合成功率和CAN总线的数据传输效率。具体来说，造成数据融合成功率和CAN总线的数据传输效率较低的原因在于：第一，多个传感器在CAN总线传输数据时，往往需要对应的传感器设置时间戳，以进行数据融合，然而，当多个传感器的内部时钟不同步时，往往会导致数据融合失败。第二，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合。然而，通过CAN总线对多个传感器设置的时间戳进行传输时，会增加CAN总线的数据传输压力。基于此，本公开的一些实施例的数据融合方法，首先，获取时间戳广播节点发送的时间戳同步报文，其中，上述时间戳同步报文包括：报文广播时间戳。实际情况中，数据融合节点往往需要获取参与数据融合的多个传感器发送的对应的传感器设置的时间戳，以进行数据融合。然而，当多个传感器的内部时钟不同步时，往往会导致多个传感器在相同时刻发送的时间戳不一致。从而，使得确定的多个传感器在相同时刻发送的目标数据报文对应的同步时间戳不一致。进而，根据错误的同步时间戳序列和目标数据报文序列，进行数据融合，往往会导致数据融合失败。因此，数据融合节点通过获取时间戳广播节点发送的包括报文广播时间戳的时间戳同步报文，进行数据融合。由于，包括报文广播时间戳的时间戳同步报文均是时间戳广播节点发送的，避免了报文广播时间戳不一致的情况。从而，提高了数据融合的成功率。进而，提高了自动驾驶车辆行驶的安全性(例如，通过对自动驾驶车辆周围的激光雷达采集得到的点云数据进行融合，提高了自动驾驶车辆对周围环境的感知。从而，保证了车辆路径规划的准确性。进而，提高了车辆行驶的安全性。)。其次，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合。然而，通过CAN总线对多个传感器设置的时间戳进行传输，会增加CAN总线的数据传输压力，降低CAN总线的数据传输效率。因此，只需要通过CAN总线对时间戳广播节点发送的时间戳同步报文进行传输。从而，降低了CAN总线的数据传输压力。进而，提高了CAN总线的数据传输效率。然后，响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，上述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文。实际情况中，数据融合节点往往是根据参与数据融合的多个传感器发送的对应的传感器设置的时间戳，确定同步时间戳，以进行数据融合。然而，当多个传感器的内部时钟不同步时，往往会导致多个传感器在相同时刻发送的时间戳不一致。从而，造成根据多个传感器发送的时间戳，确定的多个传感器在相同时刻发送的目标数据报文对应的同步时间戳往往不一致。进而，将对应的同步时间戳相近的目标数据报文包括的目标数据进行融合。从而，导致后续的数据融合失败。进而，降低了自动驾驶车辆行驶的安全性。因此，数据融合节点响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定的同步时间戳，避免了同步时间戳不一致的情况。从而，提高了数据融合的成功率和自动驾驶车辆行驶的安全性。最后，根据上述同步时间戳序列和上述目标数据报文序列，生成融合数据集合。实际情况中，为了保证数据融合成功，往往需要确定一致的同步时间戳。然而，多个传感器发送的时间戳，往往是不一致的。从而，通过多个传感器发送的时间戳，确定多个传感器在相同时刻发送的目标数据报文对应的同步时间戳往往不一致。因此，通过均是时间戳广播节点发送的报文广播时间戳，确定同步时间戳，保证了各个目标报文对应的同步时间戳的一致性。从而，使得数据融合成功。其次，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合。然而，通过CAN总线对多个传感器设置的时间戳进行传输，会增加CAN总线的数据传输压力，降低CAN总线的数据传输效率。因此，获取时间戳广播节点发送的时间戳同步报文，只需要通过CAN总线对时间戳广播节点发送的时间戳同步报文进行传输。从而，降低了CAN总线的数据传输压力，进而，提高了CAN总线的数据传输效率。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的数据融合方法的一个应用场景的示意图；
图2是根据本公开的数据融合方法的一些实施例的流程图；
图3是本公开的消息文件的示意图；
图4是根据本公开的数据融合方法的另一些实施例的流程图；
图5是本公开的第一脉冲信号序列和第二脉冲信号序列的示意图；
图6是CAN总线与节点之间的连接关系的示意图；
图7是本公开的用于生成拼接图像的示意图；
图8是根据本公开的数据融合装置的一些实施例的结构示意图；
图9是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的数据融合方法的一个应用场景的示意图。
在图1的应用场景中，首先，计算设备101可以获取时间戳广播节点发送的时间戳同步报文102，其中，上述时间戳同步报文102包括：报文广播时间戳103。然后，计算设备101可以响应于接收到目标数据报文序列104，根据上述目标数据报文序列104中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳103和上述时间戳同步报文的接收时间戳105，确定同步时间戳，得到同步时间戳序列106，其中，上述目标数据报文序列104中的目标数据报文是由目标节点发送的数据报文。最后，计算设备101可以根据上述同步时间戳序列106和上述目标数据报文序列104，生成融合数据集合107。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。
继续参考图2，示出了根据本公开的数据融合方法的一些实施例的流程200。该数据融合方法，包括以下步骤：
步骤201，获取时间戳广播节点发送的时间戳同步报文。
在一些实施例中，数据融合方法的执行主体(例如图1所示的计算设备101)可以通过有线连接或无线连接的方式，获取上述时间戳广播节点发送的上述时间戳同步报文。其中，上述时间戳同步报文可以包括：报文广播时间戳。上述时间戳广播节点可以通过CAN总线与目标车辆上安装的至少一个目标节点进行通信连接。其中，上述时间戳广播节点可以是用于发送时间戳同步报文，以使得对至少一个目标节点中的至少两个目标节点发送的数据报文进行融合的节点。上述至少一个目标节点中的目标节点可以为上述目标车辆上安装的除上述时间戳广播节点以外的节点。例如，目标节点可以是用于进行数据融合的节点。又如，目标节点可以是激光雷达。上述目标车辆安装可以是安装有CAN总线的自动驾驶车辆。上述报文广播时间戳可以是生成上述时间戳同步报文的时间对应的时间戳。
作为示例，当上述时间戳广播节点包括内部时钟时，上述时间戳广播节点可以通过内部时钟记录时间，以发送时间戳同步报文。其中，上述内部时钟可以是利用晶振维持的时钟。
作为又一示例，当上述时间戳广播节点不包括内部时钟时，上述时间戳广播节点可以通过时间同步，以实现内部时钟功能，以发送时间戳同步报文。其中，上述时间同步可以通过以下步骤实现：
第一步，上述时间戳广播节点可以通过NTP(Network Time Protocol，网络时间协议)协议，周期性获取以太网接口所在网络内的NTP服务器的时间。
其中，上述时间戳广播节点可以是NTP客户端。
第二步，上述时间戳广播节点可以记录周期性获取的以太网接口所在网络内的NTP服务器的时间，以实现内部时钟功能，从而实现时间同步。
可选地，上述时间同步还可以通过以下步骤实现：
第一步，上述时间戳广播节点可以通过PTP(Precise Time Protocol，精确时间协议)协议，周期性获取以太网接口所在网络内的PTP主机的时间。
其中，上述时间戳广播节点可以是PTP从机。
第二步，上述时间戳广播节点可以记录周期性获取的以太网接口所在网络内的PTP主机的时间，以实现内部时钟功能，从而实现时间同步。
步骤202，响应于接收到目标数据报文序列，根据目标数据报文序列中的每个目标数据报文对应的接收时间戳、报文广播时间戳和时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列。
在一些实施例中，上述执行主体可以响应于接收到上述目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到上述同步时间戳序列。
其中，上述目标数据报文序列中的目标数据报文可以是由目标节点发送的数据报文。
上述目标数据报文序列中的每个目标数据报文对应的接收时间戳可以是上述执行主体接收目标数据报文的时间对应的时间戳。上述时间戳同步报文的接收时间戳可以是上述执行主体接收上述时间戳同步报文时间对应的时间戳。上述同步时间戳序列中的同步时间戳可以是生成目标数据报文包括的数据的时间对应的时间戳。
作为示例，上述执行主体可以响应于接收到上述目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，通过以下公式，确定同步时间戳：
t1＝t0+(T1-T0)。
其中，t1是上述同步时间戳。t0是上述报文广播时间戳。T1是上述目标数据报文对应的接收时间戳。T0是上述时间戳同步报文的接收时间戳。
例如，目标节点可以是传感器和自动驾驶域控制器。如图3所示，在消息文件301记录了自动驾驶域控制器接收的时间戳同步报文和目标数据报文分别对应的接收时间、发送方、ID(Identity Document,身份标识号)、有效字节和有效数据。其中，接收时间可以是自动驾驶域控制器接收时间戳同步报文或目标数据报文的时间。发送方可以是发送时间戳同步报文或目标数据报文的节点。ID可以是区别发送方的唯一标识。有效字节可以表征有效数据的字节数。有效数据可以是目标数据报文或时间戳同步报文包括的数据。
上述自动驾驶域控制器可以通过上述时间戳广播节点发送的时间戳同步报文包括的有效数据，确定上述时间戳同步报文包括的报文广播时间戳。其中，上述时间戳同步报文包括的有效数据的前4个字节可以表征用于小端存储的上述时间戳同步报文包括的报文广播时间戳的秒数。上述时间戳同步报文包括的有效数据的后4个字节可以表征用于小端存储的上述时间戳同步报文包括的报文广播时间戳的纳秒数。
比如，在消息文件301记录中，上述自动驾驶域控制器在2021-01-01 10:00:00.000时刻接收的时间戳同步报文包括的有效数据是[61 1D BB 20 35A4 E9 00]。通过有效数据[61 1D BB 20 35A4 E9 00]包括的[61 1D BB 20]，可以确定对应的时间戳同步报文包括报文广播时间戳的秒数可以是0x611DBB20＝1629338400。通过有效数据[61 1D BB20 35 A4 E9 00]包括的[35 A4 E9 00]，可以确定对应的时间戳同步报文包括报文广播时间戳的纳秒数可以是0x35A4E900＝900000000。上述执行主体可以根据对应的时间戳同步报文包括报文广播时间戳的秒数和纳秒数，可以确定对应的时间戳同步报文包括报文广播时间戳可以是1629338400.900000000。
上述自动驾驶域控制器可以根据目标数据报文对应的接收时间戳(2021-01-0110:00:00＝1609466400.000000000)、报文广播时间戳(1629338400.900000000)和时间戳同步报文的接收时间戳(2021-01-01 10:00:00.030＝1609466400.030000000)，确定目标数据报文对应的同步时间戳可以是：
1629338400.900000000+(1609466400.030000000-1609466400.000000000)＝1629338400.930000000。
实际情况中，往往是利用多个传感器分别设置的时间戳，确定对应的传感器发送的目标数据报文对应的同步时间戳。为了保证多个传感器发送的目标数据报文对应的同步时间戳一致，往往需要多个传感器分别设置的时间戳保持一致。因此，往往需要将多个传感器的时间与基准时间(如，北京时间)同步，以使得多个传感器分别设置的时间戳保持一致。由此，当根据时间戳广播节点发送的报文广播时间戳，确定同步时间戳时，只需利用时间戳广播节点发送报文广播时间戳。从而，避免了时间戳的一致性的问题。进而，时间戳广播节点可以不与基准时间同步。从而，提高了数据融合的效率。
步骤203，根据同步时间戳序列和目标数据报文序列，生成融合数据集合。
在一些实施例中，上述执行主体可以根据上述同步时间戳序列和上述目标数据报文序列，生成上述融合数据集合。
作为示例，上述目标数据报文序列对应上述同步时间戳序列可以是{[目标节点1：目标数据报文A，同步时间戳a]，[目标节点2：目标数据报文B，同步时间戳b]}。其中，上述目标节点1发送的目标数据报文A对应的同步时间戳可以是同步时间戳a。上述目标节点2发送的目标数据报文B对应的同步时间戳可以是同步时间戳b。比如，当|a-b|＜c时，可以对上述目标数据报文A和上述目标数据报文B包括的数据，通过目标算法进行融合，以生成融合数据集合。其中，c是预设的时间差。c可以用于表征保证数据融合准确的最小的时间差。比如，上述目标数据报文A可以是安装在目标车辆上的前视相机发送的数据报文。上述目标数据报文B可以是安装在目标车辆上的侧视相机发送的数据报文。上述目标算法可以是单应性变换算法。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的数据融合方法，提高了数据融合成功率和CAN总线的数据传输效率。具体来说，造成数据融合成功率和CAN总线的数据传输效率降低的原因在于：第一，多个传感器在CAN总线传输数据时，往往需要对应的传感器设置时间戳，以进行数据融合，然而，当多个传感器的内部时钟不同步时，往往会导致数据融合失败。第二，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合。然而，通过CAN总线对多个传感器设置的时间戳进行传输时，会增加CAN总线的数据传输压力。基于此，本公开的一些实施例的数据融合方法，首先，获取时间戳广播节点发送的时间戳同步报文，其中，上述时间戳同步报文包括：报文广播时间戳。实际情况中，数据融合节点往往需要获取参与数据融合的多个传感器发送的对应的传感器设置的时间戳，以进行数据融合。然而，当多个传感器的内部时钟不同步时，往往会导致多个传感器在相同时刻发送的时间戳不一致。从而，使得确定的多个传感器在相同时刻发送的目标数据报文对应的同步时间戳不一致。进而，根据错误的同步时间戳序列和目标数据报文序列，进行数据融合，往往会导致数据融合失败。因此，数据融合节点通过获取时间戳广播节点发送的包括报文广播时间戳的时间戳同步报文，进行数据融合。由于，包括报文广播时间戳的时间戳同步报文均是时间戳广播节点发送的，避免了报文广播时间戳不一致的情况。从而，提高了数据融合的成功率。进而，提高了自动驾驶车辆行驶的安全性(例如，通过对自动驾驶车辆周围的激光雷达采集得到的点云数据进行融合，提高了自动驾驶车辆对周围环境的感知。从而，保证了车辆路径规划的准确性。进而，提高了车辆行驶的安全性。)。其次，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合。然而，通过CAN总线对多个传感器设置的时间戳进行传输，会增加CAN总线的数据传输压力，降低CAN总线的数据传输效率。因此，只需要通过CAN总线对时间戳广播节点发送的时间戳同步报文进行传输。从而，降低了CAN总线的数据传输压力。进而，提高了CAN总线的数据传输效率。然后，响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，上述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文。实际情况中，数据融合节点往往是根据参与数据融合的多个传感器发送的对应的传感器设置的时间戳，确定同步时间戳，以进行数据融合。然而，当多个传感器的内部时钟不同步时，往往会导致多个传感器在相同时刻发送的时间戳不一致。从而，造成根据多个传感器发送的时间戳，确定的多个传感器在相同时刻发送的目标数据报文对应的同步时间戳往往不一致。进而，将对应的同步时间戳相近的目标数据报文包括的目标数据进行融合。从而，导致后续的数据融合失败。进而，降低了自动驾驶车辆行驶的安全性。因此，数据融合节点响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定的同步时间戳，避免了同步时间戳不一致的情况。从而，提高了数据融合的成功率和自动驾驶车辆行驶的安全性。最后，根据上述同步时间戳序列和上述目标数据报文序列，生成融合数据集合。实际情况中，为了保证数据融合成功，往往需要确定一致的同步时间戳。然而，多个传感器发送的时间戳，往往是不一致的。从而，通过多个传感器发送的时间戳，确定多个传感器在相同时刻发送的目标数据报文对应的同步时间戳往往不一致。因此，通过均是时间戳广播节点发送的报文广播时间戳，确定同步时间戳，保证了各个目标报文对应的同步时间戳的一致性。从而，使得数据融合成功。其次，多个传感器设置的时间戳往往也需要在CAN总线上进行传输，以保证数据融合节点根据时间戳对传感器采集的数据进行融合。然而，通过CAN总线对多个传感器设置的时间戳进行传输，会增加CAN总线的数据传输压力，降低CAN总线的数据传输效率。因此，获取时间戳广播节点发送的时间戳同步报文，只需要通过CAN总线对时间戳广播节点发送的时间戳同步报文进行传输。从而，降低了CAN总线的数据传输压力，进而，提高了CAN总线的数据传输效率。
进一步参考图4，其示出了数据融合方法的另一些实施例的流程400。该数据融合方法的流程400，包括以下步骤：
步骤401，获取时间戳广播节点发送的时间戳同步报文。
在一些实施例中，数据融合方法的执行主体(例如图1所示的计算设备101)可以通过有线连接或无线连接的方式，获取上述时间戳广播节点发送的时间戳同步报文。其中，上述时间戳同步报文可以包括：报文广播时间戳。其中，上述时间戳同步报文为上述时间戳广播节点周期性发送的数据报文。上述时间戳广播节点可以通过CAN总线与目标车辆上安装的至少一个目标节点进行通信连接。其中，上述时间戳广播节点可以是用于发送时间戳同步报文，以使得对至少一个目标节点中的至少两个目标节点发送的数据报文进行融合的节点。上述至少一个目标节点中的目标节点可以为上述目标车辆上安装的除上述时间戳广播节点以外的节点。例如，目标节点可以是用于进行数据融合的节点。又如，目标节点可以是激光雷达。上述目标车辆安装可以是安装有CAN总线的自动驾驶车辆。上述报文广播时间戳可以是生成上述时间戳同步报文的时间对应的时间戳。
上述时间戳同步报文可以通过上述时间戳广播节点生成，上述时间戳同步报文可以通过以下步骤生成：
第一步，获取目标信号。
其中，上述目标信号可以是GNSS(Global Navigation Satellite System，全球导航卫星系统)信号。上述时间戳广播节点可以通过有线连接，或无线连接的方式，获取上述目标信号。
例如，上述时间戳广播节点可以通过板载的GNSS(Global Navigation SatelliteSystem，全球导航卫星系统)接收机接收上述目标信号。其中，GNSS接收机是用于接收GNSS信号的接收机。
第二步，对上述目标信号进行信号解析，以生成第一脉冲信号序列和第二脉冲信号序列。
其中，上述第一脉冲信号序列中的第一脉冲信号可以是PPS(Pulse Per Second，脉冲)信号。上述第二脉冲信号序列中的第二脉冲信号可以是NMEA(National MarineElectronics Association，标准协议)格式的GPRMC信号或者GNRMC信号。其中，GPRMC信号或者GNRMC信号可以包括具体的时间信息(比如，2021年09月02日13时55分16秒)。GPRMC信号或者GNRMC信号可以是GNSS信号包括的两种NMEA格式的信号。
作为示例，上述时间戳广播节点可以通过第一接口接收PPS信号，第二接口接收GPRMC信号或者GNRMC信号。其中，上述第一接口可以是安装在上述时间戳广播节点上，用于接收PPS信号的硬件接口。上述第二接口可以是安装在上述时间戳广播节点上，用于接收GPRMC信号或者GNRMC信号的硬件接口。
第三步，根据上述第一脉冲信号序列和上述第二脉冲信号序列，确定上述时间戳同步报文。
作为示例，如图5所示。上述时间戳广播节点可以通过PPS信号501的上升沿503和GPRMC信号502包括的具体的时间信息504(比如，2021年09月01日11时20分16秒)，确定接收上升沿503对应的信号和具体的时间信息504时的时间。其中，上述时间戳广播节点可以重复通过上升沿和具体的时间信息，确定每一刻的时间，以确定上述时间戳同步报文包括的报文广播时间戳。例如，上述时间戳广播节点可以首先，通过上升沿和具体的时间信息，确定这一刻的时间是2021年09月01日12时50分16秒。接着，可以确定在这一刻生成的时间戳同步报文的时间是2021年09月01日12时50分16秒。最后，可以确定在这一刻生成的时间戳同步报文包括的报文广播时间戳(2021年09月01日12时50分16秒＝1630471816)。
步骤402，响应于接收到目标数据报文序列，根据目标数据报文序列中的每个目标数据报文对应的接收时间戳、报文广播时间戳和时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列。
在一些实施例中，步骤402的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤202，在此不再赘述。
步骤403，对目标数据报文序列中的每个目标数据报文进行报文解封装，以生成解封装数据组序列。
在一些实施例中，上述执行主体可以对上述目标数据报文序列中的每个目标数据报文进行报文解封装，以生成上述解封装数据组序列。
其中，上述解封装数据组序列中的解封装数据组可以是对应的目标数据报文包括的数据组。
步骤404，根据同步时间戳序列，对解封装数据组序列中的解封装数据组进行数据融合，以生成融合数据集合。
在一些实施例中，上述执行主体可以根据上述同步时间戳序列，对上述解封装数据组序列中的解封装数据组进行数据融合，以生成上述融合数据集合。
作为示例，如图6所示CAN总线与节点之间的连接关系示意图。其中，CAN总线601上连接有四个目标节点和时间戳广播节点603。其中，四个目标节点可以包括：GNSS接收机602，自动驾驶域控制器604，轮速传感器605和惯性测量单元606。
例如，当目标车辆行驶到偏僻的路段时，由于，偏僻的路段的GNSS信号较弱，GNSS接收机602无法正常接收GNSS信号。从而，导致自动驾驶域控制器604无法正常接收来自GNSS接收机602的包括GNSS信号的目标数据报文。进而，自动驾驶域控制器604无法通过GNSS信号确定目标车辆的位置。
当自动驾驶域控制器604无法通过GNSS信号确定目标车辆的位置时，自动驾驶域控制器604可以根据上述同步时间戳序列，对上述解封装数据组序列中的解封装数据组进行数据融合，以生成上述融合数据集合。
其中，上述目标数据报文序列可以包括：第一轮速数据报文，第一惯性数据报文，第二轮速数据报文，第二惯性数据报文和GNSS数据报文。上述融合数据集合包括：第二目标位置。上述第一轮速数据报文可以是轮速传感器605发送的数据报文。上述第一惯性数据报文可以是惯性测量单元606发送的数据报文。上述第二轮速数据报文可以是轮速传感器605发送上述第一轮速数据报文之后发送的数据报文。上述第二惯性数据报文可以是惯性测量单元606发送上述第一惯性数据报文之后发送的数据报文。上述GNSS数据报文可以是GNSS接收机602发送的数据报文。上述第二目标位置可以是生成上述第二轮速数据报文包括的数据和上述第二惯性数据报文包括的数据时，目标车辆的位置。
其中，自动驾驶域控制器604根据上述同步时间戳序列，对上述目标数据报文序列对应的解封装数据组序列中的解封装数据组进行数据融合，以生成上述第二目标位置，可以包括以下步骤：
第一步，根据上述第一轮速数据报文对应的时间戳广播节点603发送的上述同步时间戳序列中同步时间戳，和上述第一惯性数据报文对应的时间戳广播节点603发送的上述同步时间戳序列中同步时间戳，确定第一时间差。
其中，上述第一时间差可以是上述第一轮速数据报文对应的上述同步时间戳序列中同步时间戳，和上述第一惯性数据报文对应的上述同步时间戳序列中同步时间戳之间的差值。
第二步，根据上述第二轮速数据报文对应的时间戳广播节点603发送的上述同步时间戳序列中同步时间戳，和上述第二惯性数据报文对应的时间戳广播节点603发送的上述同步时间戳序列中同步时间戳，确定第二时间差。
其中，上述第二时间差可以是上述第二轮速数据报文对应的上述同步时间戳序列中同步时间戳，和上述第二惯性数据报文对应的上述同步时间戳序列中同步时间戳之间的差值。
第三步，响应于确定上述第一时间差和上述第二时间差满足目标融合条件，根据初始速度，初始目标位置，时间间隔，第一目标位置，第一目标行驶方向，第一目标速度和第二目标行驶方向，确定第二目标位置。
其中，上述目标融合条件可以是上述第一时间差和上述第二时间差小于等于目标预设时长。上述目标预设时长可以是保证得到目标预设融合结果的最小的时间差。上述目标预设融合结果可以用于表征上述第二目标位置确定成功。上述初始速度可以是上述目标车辆行驶到偏僻的路段时，自动驾驶域控制器604最后一次接收的GNSS数据报文包括的速度。上述初始目标位置可以是上述目标车辆行驶到偏僻的路段时，自动驾驶域控制器604最后一次接收的GNSS数据报文包括的目标车辆的位置。上述时间间隔可以是上述第一轮速数据报文对应的同步时间戳和上述第二轮速数据报文对应的同步时间戳的差值。上述时间间隔还可以是上述第一惯性数据报文对应的同步时间戳和上述第二惯性数据报文对应的同步时间戳的差值。上述第一目标位置可以是生成上述第一轮速数据报文包括的数据和上述第一惯性数据报文包括的数据时，目标车辆的位置。上述第一目标行驶方向可以表征惯性测量单元606发送的第一惯性数据报文包括的目标车辆的目标侧车轮偏移的角度值。如，上述目标侧车轮可以是目标车辆前侧的车轮。上述第二目标行驶方向可以表征惯性测量单元606发送的第二惯性数据报文包括的目标车辆的上述目标侧车轮偏移的角度值。上述第一目标速度可以是第一轮速数据报文包括的目标车辆的行驶速度。
如，自动驾驶域控制器604可以根据上述初始速度，上述初始目标位置，上述时间间隔，上述第一目标位置，上述第一目标行驶方向，上述第一目标速度和上述第二目标行驶方向，通过以下公式，确定上述第二目标位置：
Figure BDA0003295400610000171
其中，x0是上述初始目标位置对应的横坐标。y0是上述初始目标位置对应的纵坐标。x1是上述第一目标位置对应的横坐标。y1是上述第一目标位置对应的纵坐标。s1是上述初始目标位置到上述第一目标位置的距离。s2是上述初始目标位置到上述第二目标位置的距离。θ1是上述第一目标行驶方向。上述第一目标行驶方向可以表征惯性测量单元606发送的第一惯性数据报文包括的目标车辆的目标侧车轮偏移的角度值。如，上述目标侧车轮可以是目标车辆前侧的车轮。θ2是上述第二目标行驶方向。上述第二目标行驶方向可以表征惯性测量单元606发送的第二惯性数据报文包括的目标车辆的上述目标侧车轮偏移的角度值。v1是上述第一目标速度。t是上述时间间隔。p是上述第二目标位置。x2是上述第二目标位置对应的横坐标。y2是上述第二目标位置对应的纵坐标。其中，第一次计算时，上述第一目标位置可以是上述初始目标位置。上述第一目标速度可以是上述初始速度。
第四步，存储上述第二目标位置和第二目标速度。
其中，上述第二目标速度可以是第二轮速数据报文包括的目标车辆的行驶速度。
例如，上述执行主体可以将上述第二目标位置和上述第二目标速度存储到数据库。
作为又一示例，上述执行主体可以根据上述同步时间戳序列，对上述解封装数据组序列中的解封装数据组进行数据融合，以生成上述融合数据集合。其中，上述目标数据报文序列包括：第一目标数据报文和第二目标数据报文。上述融合数据集合包括：拼接图像。
其中，上述执行主体根据上述同步时间戳序列，对上述第一目标数据报文和上述第二目标数据报文对应的解封装数据组进行数据融合，以生成上述融合数据集合包括的拼接图像，可以包括以下步骤：
第一步，根据上述第一目标数据报文对应的上述同步时间戳序列中同步时间戳，和上述第二目标数据报文对应的上述同步时间戳序列中同步时间戳，确定目标时间差。
其中，上述第一目标数据报文可以是第一目标节点发送的数据报文。上述第一目标节点可以是安装在上述目标车辆上的相机。上述第二目标数据报文可以是第二目标节点发送的数据报文。上述第二目标节点可以是安装在上述目标车辆上的相机。
例如，上述第一目标数据报文对应的上述同步时间戳序列中同步时间戳可以是1629338400.900000000。上述第二目标数据报文对应的上述同步时间戳序列中同步时间戳可以是1629338400.000000000。由于，|1629338400.900000000-1629338400.000000000|＝0.9，从而，可以确定上述目标时间差是0.9。
第二步，响应于确定上述目标时间差满足预设融合条件，将第一解封装数据组中的各个第一解封装数据和第二解封装数据组中的各个第二解封装数据，通过预设方式对齐，以得到对齐数据。
其中，上述预设融合条件可以是上述目标时间差小于等于预设时间。上述预设时间可以是保证得到预设融合结果的最小的目标时间差。上述预设融合结果可以用于表征上述第一解封装数据组中的解封装数据和上述第二解封装数据组中的解封装数据融合成功。上述第一解封装数据组可以是上述第一目标数据报文包括的数据。例如，上述第一解封装数据组可以是多帧图像。上述第二解封装数据组可以是上述第二目标数据报文包括的数据。例如，上述第二解封装数据组可以是多帧图像。
例如，上述第一目标节点可以是安装在上述目标车辆左侧的相机。上述第二目标节点可以是安装在上述目标车辆右侧的相机。上述执行主体可以首先，将上述第一解封装数据组中的各个第一解封装数据进行竖向对齐，得到第一竖向对齐数据。接着，将上述第二解封装数据组中的各个第二解封装数据进行竖向对齐，得到第二竖向对齐数据。最后，将上述第一竖向对齐数据和上述第二竖向对齐数据进行横向对齐，得到上述对齐数据。
第三步，将上述对齐数据包括的图像进行图像拼接处理，以生成上述融合数据集合包括的拼接图像。
比如，如图7所示。上述执行主体可以分别对对齐数据701包括的6帧图像中的3对横向对齐的图像，进行图像拼接(如，单应性变换)，以生成融合数据集合702包括的3帧拼接图像。
通过对上述目标车辆周围的相机采集到的多帧图像进行图像拼接处理，提高了上述目标车辆对周围环境的感知。从而，保证了上述目标车辆的自动避障的准确性。进而，提高了上述目标车辆的安全性。
步骤405，将拼接图像发送至目标终端以供显示。
在一些实施例中，上述执行主体可以将上述拼接图像发送至上述目标终端以供显示。其中，上述目标终端可以是具有显示功能的终端。
从图4中可以看出，与图2对应的一些实施例的描述相比，本公开，通过添加时间戳同步报文为时间戳广播节点周期性发送的数据报文，提高了根据目标数据报文序列中的每个目标数据报文对应的接收时间戳、报文广播时间戳和时间戳同步报文的接收时间戳，确定同步时间戳的效率。
进一步参考图8，作为对上述各图所示方法的实现，本公开提供了一种数据融合装置的一些实施例，这些装置实施例与图2所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，一些实施例的数据融合装置800包括：获取单元801、确定单元802和生成单元803。其中，获取单元801，被配置成获取时间戳广播节点发送的时间戳同步报文，其中，上述时间戳同步报文包括：报文广播时间戳；确定单元802，被配置成响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，上述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；生成单元803，被配置成根据上述同步时间戳序列和上述目标数据报文序列，生成融合数据集合。
可以理解的是，该装置800中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置800及其中包含的单元，在此不再赘述。
下面参考图9，其示出了适于用来实现本公开的一些实施例的电子设备(如图1所示的计算设备101)900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907；包括例如磁带、硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图9中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取时间戳广播节点发送的时间戳同步报文，其中，上述时间戳同步报文包括：报文广播时间戳；响应于接收到目标数据报文序列，根据上述目标数据报文序列中的每个目标数据报文对应的接收时间戳、上述报文广播时间戳和上述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，上述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；根据上述同步时间戳序列和上述目标数据报文序列，生成融合数据集合。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、确定单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，生成单元还可以被描述为“根据同步时间戳序列和目标数据报文序列，生成融合数据集合的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据融合方法，包括：
获取时间戳广播节点发送的时间戳同步报文，其中，所述时间戳同步报文包括：报文广播时间戳；
响应于接收到目标数据报文序列，根据所述目标数据报文序列中的每个目标数据报文对应的接收时间戳、所述报文广播时间戳和所述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，所述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；
根据所述同步时间戳序列和所述目标数据报文序列，生成融合数据集合。
2.根据权利要求1所述的方法，其中，所述根据所述同步时间戳序列和所述目标数据报文序列，生成融合数据集合，包括：
对所述目标数据报文序列中的每个目标数据报文进行报文解封装，以生成解封装数据组序列；
根据所述同步时间戳序列，对所述解封装数据组序列中的解封装数据组进行数据融合，以生成所述融合数据集合。
3.根据权利要求2所述的方法，其中，所述目标数据报文序列包括：第一目标数据报文和第二目标数据报文，所述融合数据集合包括：拼接图像；以及
所述根据所述同步时间戳序列，对所述解封装数据组序列中的解封装数据组进行数据融合，以生成所述融合数据集合，包括：
根据所述第一目标数据报文对应的所述同步时间戳序列中同步时间戳，和所述第二目标数据报文对应的所述同步时间戳序列中同步时间戳，确定目标时间差；
响应于确定所述目标时间差满足预设融合条件，将第一解封装数据组中的各个第一解封装数据和第二解封装数据组中的各个第二解封装数据，通过预设方式对齐，以得到对齐数据；
将所述对齐数据包括的图像进行图像拼接处理，以生成所述拼接图像。
4.根据权利要求1所述的方法，其中，所述时间戳同步报文为所述时间戳广播节点周期性发送的数据报文。
5.根据权利要求1所述的方法，其中，所述时间戳同步报文通过所述时间戳广播节点生成，所述时间戳同步报文通过以下步骤生成：
获取目标信号；
对所述目标信号进行信号解析，以生成第一脉冲信号序列和第二脉冲信号序列；
根据所述第一脉冲信号序列和所述第二脉冲信号序列，确定所述时间戳同步报文。
6.根据权利要求3所述的方法，其中，所述方法还包括：
将所述拼接图像发送至目标终端以供显示。
7.一种数据融合装置，包括：
获取单元，被配置成获取时间戳广播节点发送的时间戳同步报文，其中，所述时间戳同步报文包括：报文广播时间戳；
确定单元，被配置成响应于接收到目标数据报文序列，根据所述目标数据报文序列中的每个目标数据报文对应的接收时间戳、所述报文广播时间戳和所述时间戳同步报文的接收时间戳，确定同步时间戳，得到同步时间戳序列，其中，所述目标数据报文序列中的目标数据报文是由目标节点发送的数据报文；
生成单元，被配置成根据所述同步时间戳序列和所述目标数据报文序列，生成融合数据集合。
8.根据权利要求7所述的数据融合装置，其中，所述生成单元，被进一步配置成：
对所述目标数据报文序列中的每个目标数据报文进行报文解封装，以生成解封装数据组序列；
根据所述同步时间戳序列，对所述解封装数据组序列中的解封装数据组进行数据融合，以生成所述融合数据集合。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至6中任一所述的方法。
CN202111176649.5A 2021-10-09 2021-10-09 数据融合方法、装置、电子设备和计算机可读介质 Active CN113992469B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111176649.5A CN113992469B (zh) 2021-10-09 2021-10-09 数据融合方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111176649.5A CN113992469B (zh) 2021-10-09 2021-10-09 数据融合方法、装置、电子设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN113992469A true CN113992469A (zh) 2022-01-28
CN113992469B CN113992469B (zh) 2022-07-29

Family

ID=79737901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111176649.5A Active CN113992469B (zh) 2021-10-09 2021-10-09 数据融合方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN113992469B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115638812A (zh) * 2022-12-21 2023-01-24 禾多科技（北京）有限公司 自动驾驶传感信息检测方法、装置、设备和计算机介质
CN116142364A (zh) * 2023-02-17 2023-05-23 昆明理工大学 一个电动自行车转弯防滑预警系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118849A (zh) * 2011-03-02 2011-07-06 重庆邮电大学 一种适用于无线传感器网络的时间同步方法
US20160352388A1 (en) * 2015-05-28 2016-12-01 Qualcomm Incorporated DC Power Line Synchronization for Automotive Sensors
US20180041329A1 (en) * 2015-04-29 2018-02-08 Chongqing University Of Posts And Telecommunications Clock synchronization frequency offset estimation method adapted to wia-pa network
CN108900273A (zh) * 2018-08-09 2018-11-27 山东省计算中心（国家超级计算济南中心） 一种无线传感器网络多跳一致的时间同步方法
CN109725572A (zh) * 2018-12-25 2019-05-07 初速度（苏州）科技有限公司 一种多传感器精准时钟同步系统及方法
CN110971327A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 用于环境目标的时间同步方法及装置
US20210043081A1 (en) * 2019-08-09 2021-02-11 Whelen Engineering Company, Inc. Synchronization between devices in emergency vehicles
US20210200162A1 (en) * 2019-12-31 2021-07-01 Continental Automotive Systems, Inc. Multi-interface gps time synchronization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102118849A (zh) * 2011-03-02 2011-07-06 重庆邮电大学 一种适用于无线传感器网络的时间同步方法
US20180041329A1 (en) * 2015-04-29 2018-02-08 Chongqing University Of Posts And Telecommunications Clock synchronization frequency offset estimation method adapted to wia-pa network
US20160352388A1 (en) * 2015-05-28 2016-12-01 Qualcomm Incorporated DC Power Line Synchronization for Automotive Sensors
CN108900273A (zh) * 2018-08-09 2018-11-27 山东省计算中心（国家超级计算济南中心） 一种无线传感器网络多跳一致的时间同步方法
CN110971327A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 用于环境目标的时间同步方法及装置
CN109725572A (zh) * 2018-12-25 2019-05-07 初速度（苏州）科技有限公司 一种多传感器精准时钟同步系统及方法
US20210043081A1 (en) * 2019-08-09 2021-02-11 Whelen Engineering Company, Inc. Synchronization between devices in emergency vehicles
US20210200162A1 (en) * 2019-12-31 2021-07-01 Continental Automotive Systems, Inc. Multi-interface gps time synchronization

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115638812A (zh) * 2022-12-21 2023-01-24 禾多科技（北京）有限公司 自动驾驶传感信息检测方法、装置、设备和计算机介质
CN115638812B (zh) * 2022-12-21 2023-03-10 禾多科技（北京）有限公司 自动驾驶传感信息检测方法、装置、设备和计算机介质
CN116142364A (zh) * 2023-02-17 2023-05-23 昆明理工大学 一个电动自行车转弯防滑预警系统

Also Published As

Publication number Publication date
CN113992469B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN109905194B (zh) 一种车载终端系统和同步数据获取方法、装置
CN113992469B (zh) 数据融合方法、装置、电子设备和计算机可读介质
US7236126B2 (en) AGPS system using NTP server and method for determining the location of a terminal using a NTP server
CN109587405B (zh) 时间同步方法和装置
CN111585682B (zh) 传感器时间同步方法、装置及终端设备
US20200209405A1 (en) Fpga based data acquisition card, data acquisition system and data acquisition method
CN103797735A (zh) 用于使车辆的车载电网中的网络参与者同步的方法和装置
CN112861660B (zh) 激光雷达阵列与相机同步装置、方法、设备及存储介质
CN109871385B (zh) 用于处理数据的方法和装置
US20200124740A1 (en) Method and system for timing synchronization of unmanned aerial vehicle and unmanned aerial vehicle
US20210373181A1 (en) Geo-fusion between imaging device and mobile device
CN115391422B (zh) 车辆感知信息生成方法、装置、设备、介质和程序产品
CN112911700A (zh) 一种车辆时间同步方法、装置及系统
CN115242344A (zh) 时间同步装置和方法、无人车、路侧单元、车联网系统
CN114614934A (zh) 一种时间同步触发装置及方法
CN111263294B (zh) 一种基于飞机广播信号的设备节点间时间同步方法及装置
CN109217959B (zh) 用于同步时间的方法、装置及服务器
CN113780247B (zh) 红绿灯检测方法、装置、电子设备和计算机可读介质
CN116828281A (zh) 车载摄像头系统数据处理方法、装置、设备及介质
KR101967027B1 (ko) 비정상 동작 상황을 개선한 gps를 이용하는 장치의 utc 시간 동기 방법
CN112600641A (zh) 一种网络设备时间同步方法、装置、设备及存储介质
CN110138487B (zh) 一种时间噪声传递特性测量方法和网络节点
WO2022127337A1 (zh) 主时钟装置、从时钟装置和时间同步方法
CN116743300A (zh) 多传感器时钟同步方法和系统
CN113960602B (zh) 轨道误差信息生成方法、装置、电子设备和可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Data fusion methods, devices, electronic devices and computer-readable media

Effective date of registration: 20230228

Granted publication date: 20220729

Pledgee: Bank of Shanghai Co.,Ltd. Beijing Branch

Pledgor: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.

Registration number: Y2023980033668

PE01 Entry into force of the registration of the contract for pledge of patent right
CP03 Change of name, title or address

Address after: 201, 202, 301, No. 56-4 Fenghuang South Road, Huadu District, Guangzhou City, Guangdong Province, 510806

Patentee after: Heduo Technology (Guangzhou) Co.,Ltd.

Address before: 100099 101-15, 3rd floor, building 9, yard 55, zique Road, Haidian District, Beijing

Patentee before: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.

CP03 Change of name, title or address