CN114528940A - 一种多传感器目标融合方法及装置 - Google Patents

一种多传感器目标融合方法及装置 Download PDF

Info

Publication number
CN114528940A
CN114528940A CN202210155624.5A CN202210155624A CN114528940A CN 114528940 A CN114528940 A CN 114528940A CN 202210155624 A CN202210155624 A CN 202210155624A CN 114528940 A CN114528940 A CN 114528940A
Authority
CN
China
Prior art keywords
fusion
data
time
target
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210155624.5A
Other languages
English (en)
Inventor
王发平
余舟
姜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Haixing Zhijia Technology Co Ltd
Original Assignee
Shenzhen Haixing Zhijia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Haixing Zhijia Technology Co Ltd filed Critical Shenzhen Haixing Zhijia Technology Co Ltd
Priority to CN202210155624.5A priority Critical patent/CN114528940A/zh
Publication of CN114528940A publication Critical patent/CN114528940A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种多传感器目标融合方法及装置，该方法包括：获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，待融合数据带有数据产生时刻的时间戳信息；按照待融合数据的接收顺序从待融合数据中选择第一待融合数据；基于第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用第一待融合数据对融合目标列表进行更新。从而实现了去中心化的多传感器目标融合的时间同步方案，提高了融合目标列表更新结果的鲁棒性，并且不受限于传感器的采样频率，无需将所有传感器的采样频率同步，融合操作可在任意时刻进行，该融合方案更具有普适性，提高了方案应用的灵活性。

Description

一种多传感器目标融合方法及装置
技术领域
本发明涉及无人驾驶、无人作业技术领域，具体涉及一种多传感器目标融合方法及装置。
背景技术
在无人驾驶和无人作业中，车辆和设备上搭载的众多传感器负责感知采集周围环境数据，为无人驾驶和无人作业的决策规控提供依据。不同传感器的所感知到的环境信息是不同的，所以要对不同传感器的感知结果进行目标融合。但由于各个传感器采样周期、传输时延、以及处理时间的不同，导致传感器之间以及传感器与计算平台之间存在时间不同步的情况，若直接使用不同时刻的数据进行目标融合，会影响融合后目标位置与运动信息的精度，进而影响到后续的决策规控。
发明内容
有鉴于此，本发明实施例提供了一种多传感器目标融合方法及装置，以克服现有技术中由于传感器与计算平台之间存在时间不同步的情况而影响多传感器目标融合精度的问题。
根据第一方面，本发明实施例提供了一种多传感器目标融合方法，包括：
获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，所述待融合数据带有数据产生时刻的时间戳信息；
按照所述待融合数据的接收顺序从待融合数据中选择第一待融合数据；
基于所述第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用所述第一待融合数据对所述融合目标列表进行更新。
可选地，所述基于所述第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用所述第一待融合数据对所述融合目标列表进行更新，包括：
判断所述第一时间戳对应的第一时刻是否早于所述上一融合时刻；
在所述第一时间戳对应的第一时刻早于所述上一融合时刻时，基于所述第一时刻与所述上一融合时刻的第一时间差，对所述第一待融合数据进行预测更新；
基于更新后的第一待融合数据对所述融合目标列表进行更新。
可选地，在所述第一时间戳对应的第一时刻不早于所述上一融合时刻时，基于所述第一时刻与所述上一融合时刻的第一时间差，对所述融合目标列表进行预测更新；
基于所述第一待融合数据对更新后的融合目标列表进行更新。
可选地，所述方法还包括：
基于所述第一时刻对所述上一融合时刻进行更新，得到当前融合时刻。
可选地，所述基于更新后的第一待融合数据对所述融合目标列表进行更新，包括：
基于更新后的第一待融合数据对所述融合目标列表中各目标的目标属性信息进行融合更新；
基于所述上一融合时刻与当前时刻的第二时间差，对融合更新后的融合目标列表中各目标的目标属性进行预测，得到各目标当前时刻对应的预测结果。
可选地，在对融合更新后的融合目标列表中各目标的目标属性进行预测之前，所述方法还包括：
获取融合更新后的融合目标列表中各目标的目标类型；
基于各目标的目标类型确定对应的更新策略；
基于各目标对应的更新策略，对融合更新后的融合目标列表中各目标的目标属性进行预测。
可选地，所述基于所述第一待融合数据对更新后的融合目标列表进行更新，包括：
基于所述第一待融合数据对更新后融合目标列表中各目标的目标属性信息进行融合更新；
基于所述当前融合时刻与当前时刻的第三时间差，对融合更新后的融合目标列表中各目标的目标属性进行预测，得到各目标当前时刻对应的预测结果。
根据第二方面，本发明实施例提供了一种装置，包括：
获取模块，用于获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，所述待融合数据带有数据产生时刻的时间戳信息；
第一处理模块，用于按照所述待融合数据的接收顺序从待融合数据中选择第一待融合数据；
第二处理模块，用于基于所述第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用所述第一待融合数据对所述融合目标列表进行更新。
根据第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现本发明第一方面及其任意一种可选方式所述的方法。
根据第四方面，本发明实施例提供了一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面及其任意一种可选方式所述的方法。
本发明技术方案，具有如下优点：
本发明实施例提供了一种多传感器目标融合方法及装置，通过获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，待融合数据带有数据产生时刻的时间戳信息；按照待融合数据的接收顺序从待融合数据中选择第一待融合数据；基于第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用第一待融合数据对融合目标列表进行更新。从而在触发数据融合操作时，通过按照待融合数据的接收时间依次进行数据融合处理，并通过判断待融合数据的时间戳与上一融合操作对应的融合时刻的关系，利用待融合数据对融合目标列表进行更新，实现了去中心化的多传感器目标融合的时间同步方案，提高了融合目标列表更新结果的鲁棒性，并且不受限于传感器的采样频率，无需将所有传感器的采样频率同步，融合操作可在任意时刻进行，该融合方案更具有普适性，提高了方案应用的灵活性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的多传感器目标融合方法的流程图；
图2为本发明实施例中的时间同步系统的结构原理图；
图3为本发明实施例中的时间同步系统中时间软同步的另一结构原理图；
图4为本发明实施例中的时间同步系统的时间软同步工作过程示意图；
图5为本发明实施例中的时间同步系统的时间软同步应用示例示意图；
图6为本发明实施例中的多传感器目标融合装置的结构示意图；
图7为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在无人驾驶、无人作业的融合感知系统中，传感器与传感器之间、传感器与控制器之间的时间同步的精度直接影响着融合感知的最终输出结果。但由于硬件自身时钟晶振偏差、各个传感器采样周期不同等因素，数据到达集中式处理模块时，处理模块所获取的各包数据的时间戳并不一致，若直接对采样时刻不一致的多传感器数据进行融合，会严重影响融合精度。有些融合感知系统利用数据到达集中式处理模块的时刻，减去信号传输的时延以及对信号处理的时间，获得信号的采样时刻，进而进行融合处理。但由于无法准确估计信号的传输时延，以及信号处理时间的不确定性，导致无法获取精确的采样时刻，从而影响融合效果。
基于上述问题，本发明实施例提供了一种多传感器目标融合方法，可应用于无人驾驶或无人化作业系统等需要用到多传感器目标融合的场景，在本发明实施例，以无人驾驶系统为例进行说明，该无人驾驶系统包含无人驾驶中央域控制器、激光雷达、毫米波雷达、超声波雷达、红外传感器、摄像头和定位导航仪如GPS等，如图1所示，该多传感器目标融合方法具体包括如下步骤：
步骤S101：获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表。
其中，待融合数据带有数据产生时刻的时间戳信息。
具体地，在本发明实施例中，分别为每一个传感器创建了一个接收数据的线程，然后采用一个先进先出(FIFO)队列统一存储每个线程接收的数据，并按照到达队列的先后顺序进行存储，该队列将暴露给数据处理的模块即融合模块执行本发明实施例提供的多传感器目标融合方法。
示例性地，以目标传感器为摄像头为例，待融合数据为摄像头采集的图像数据，以及该图像数据采集时刻对应的时间戳信息。
步骤S102：按照待融合数据的接收顺序从待融合数据中选择第一待融合数据。
具体地，在本发明实施例中，通过为融合模块单独开辟了一个线程，该线程以固定频率从上述FIFO队列里取出一包数据并进行处理，一般地，该线程的更新频率要高于任意一个传感器的采样频率，以保障数据融合效率。需要说明的是，在对队列进行读写的操作过程中，需要对该队列进行加锁操作，以免对同一内存块造成读写冲突。从而通过与传感器采样周期解耦的方式，使得对于任意的采样周期和传输时延，都可进行时间同步，提高了多传感器目标融合方法的灵活性和普适性。
步骤S103：基于第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用第一待融合数据对融合目标列表进行更新。
具体地，在多传感器目标融合中，通常会维护一个内部的融合目标列表，以此列表作为融合模块的输出。如上，所有传感器发出的数据都会统一存入一个FIFO队列，融合模块在融合周期内按顺序将FIFO队列中的数据包处理完，具体处理方式是：将一包数据与内部的融合目标列表进行位置、速度、类别、尺寸等维度上的融合。因此，当接收到第一包数据时，将以此包数据来初始化目标列表，同时会将此包数据的时间戳赋值给融合目标的时间戳，作为初始融合时刻。后续将利用上一融合时刻与待融合数据对应的时间戳的时间关系，来对应对待融合数据和融合目标列表进行更新处理，将更新后的融合目标列表进行输出。
通过执行上述步骤，本发明实施例提供的多传感器目标融合方法，通过在触发数据融合操作时，按照待融合数据的接收时间依次进行数据融合处理，并通过判断待融合数据的时间戳与上一融合操作对应的融合时刻的关系，利用待融合数据对融合目标列表进行更新，实现了去中心化的多传感器目标融合的时间同步方案，提高了融合目标列表更新结果的鲁棒性，并且不受限于传感器的采样频率，无需将所有传感器的采样频率同步，融合操作可在任意时刻进行，该融合方案更具有普适性，提高了方案应用的灵活性。
具体地，在一实施例中，上述的步骤S103具体包括如下步骤：
步骤S301：判断第一时间戳对应的第一时刻是否早于上一融合时刻。
具体地，传感器产生信号时，会给该信号打上时间戳。融合模块在处理这包数据时，会获取其时间戳t＿sensor，假设上一融合时刻t＿fusion，则判断t＿fusion＞t＿sensor是否为真，若为真，则执行步骤S302，否则执行步骤S304。
步骤S302：在第一时间戳对应的第一时刻早于上一融合时刻时，基于第一时刻与上一融合时刻的第一时间差，对第一待融合数据进行预测更新。
具体地，若判断出t＿fusion＞t＿sensor为真，即传感器时间戳早于融合时刻，此类情况称为先产生的信号后达到融合模块，该数据也称之为乱序数据。对于乱序数据要进行预测处理，预测前先获取时间间隔差dt＝t＿fusion－t＿sensor，然后采用预测模型x＝f(x，dt)对待融合数据进行预测，其中，x指目标的状态向量。从而保证了融合目标列表与待融合数据的时间同步。
从而可以有效解决传感器数据的乱序问题，不丢弃延迟到达的传感器数据，而是进行预测后再输入到融合模块，不损失传感器的帧率和数据，可有效提高融合精度和实时性。
步骤S303：基于更新后的第一待融合数据对融合目标列表进行更新。
具体地，通过基于更新后的第一待融合数据对融合目标列表中各目标的目标属性信息进行融合更新；基于上一融合时刻与当前时刻的第二时间差，对融合更新后的融合目标列表中各目标的目标属性进行预测，得到各目标当前时刻对应的预测结果。
在实际应用中，由于上述涉及的时间都是来源于传感器信号产生的时间。从信号产生到融合模块输出融合目标列表的过程中，会涉及到信号处理的时间、数据传输的时间、融合处理的时间，从而导致时延的发生，所以上述时间都并非当前时刻的实时时间，都是属于历史时间，如果融合模块将对应t＿fusion时刻的融合目标列表而非当前时刻的融合目标列表直接输出给下游模块，则会因为误差过大而影响整个系统的性能，因此需要对这部分时延进行补偿。在本发明实施例中，通过计算当前时刻与上一融合时刻的时间差对融合更新后的融合目标列表中各目标的目标属性进行预测，从而保障了预测结果为当前时刻各目标的实时预测结果。
步骤S304：在第一时间戳对应的第一时刻不早于上一融合时刻时，基于第一时刻与上一融合时刻的第一时间差，对融合目标列表进行预测更新。
具体地，若判断出t＿fusion＞t＿sensor为假，即融合时刻早于传感器时间戳，则对内部的融合目标列表进行预测处理，预测前先获取时间间隔差dt＝t＿sensor－t＿fusion，然后采用预测模型x＝f(x，dt)进行融合目标列表的预测，其中，x指目标的状态向量。
步骤S305：基于第一待融合数据对更新后的融合目标列表进行更新。
步骤S306：基于第一时刻对上一融合时刻进行更新，得到当前融合时刻。
具体地，若判断出t＿fusion＞t＿sensor为假，即融合时刻早于传感器时间戳，则需要更新融合时刻t＿fusion，也就是将t＿sensor的值赋值给t＿fusion。以保证融合目标列表与待融合数据的时间同步。
进一步地，上述步骤S305通过基于第一待融合数据对更新后融合目标列表中各目标的目标属性信息进行融合更新；基于当前融合时刻与当前时刻的第三时间差，对融合更新后的融合目标列表中各目标的目标属性进行预测，得到各目标当前时刻对应的预测结果。从而保证了融合目标列表与待融合数据的时间同步。
在实际应用中，由于上述涉及的时间都是来源于传感器信号产生的时间。从信号产生到融合模块输出融合目标列表的过程中，会涉及到信号处理的时间、数据传输的时间、融合处理的时间，从而导致时延的发生，所以上述时间都并非当前时刻的实时时间，都是属于历史时间，如果融合模块将对应t＿fusion时刻的融合目标列表而非当前时刻的融合目标列表直接输出给下游模块，则会因为误差过大而影响整个系统的性能，因此需要对这部分时延进行补偿。在本发明实施例中，通过计算当前时刻与当前融合时刻的时间差对融合更新后的融合目标列表中各目标的目标属性进行预测，从而保障了预测结果为当前时刻各目标的实时预测结果。
具体地，在一实施例中，在对融合更新后的融合目标列表中各目标的目标属性进行预测之前，本发明实施例提供的多传感器目标融合方法，具体还包括如下步骤：
步骤S401：获取融合更新后的融合目标列表中各目标的目标类型。
具体地，上述融合更新后的融合目标列表是所有目标的集合，由于不同的目标类型的运动特点不同，为了进一步提高各目标的预测准确度，对各目标进行分类预测。融合目标列表都是处于过去时间的目标，因此需要对内部的融合目标列表进行预测，并预测至当前时刻，然后输出给下游模块。需要说明的是，在本发明实施例中，目标类型分为行人和车辆两个类型，在实际应用中，还可以根据实际应用场景及预测精度需求对目标类型进行划分，本发明并不以此为限。
步骤S402：基于各目标的目标类型确定对应的更新策略。
具体地，在本发明实施例中，对于车辆的运动模型会采用恒加速度模型(CA)或恒角速度模型(CTRV)，本发明采用的是恒加速度模型(CA)。示例性地，车辆的运动模型见公式(1)。
Figure BDA0003510437390000111
其中，x,y,vx,vy,ax,ay分别表示横纵坐标的位置、速度、加速度，t表示时间，下标t表示当前时刻的状态值，下标t-1表示上一时刻的状态值。
具体地，在本发明实施例中，对于行人采用恒速度模型(CV)。示例性地，行人的运动模型见公式(2)。
Figure BDA0003510437390000112
其中，x,y,vx,vy分别表示横纵坐标的位置、速度、加速度，t表示时间，下标t表示当前时刻的状态值，下标t-1表示上一时刻的状态值。
步骤S403：基于各目标对应的更新策略，对融合更新后的融合目标列表中各目标的目标属性进行预测。
从而通过对于不同类别的目标采用不同的运动模型进行预测，从而满足更高精度的补偿。
此外，在本发明实施例中，上述多传感器目标融合方法是实现的多传感器目标融合的软件时间同步，为了进一步保障多传感器目标融合的时间同步性，本发明实施例还提供了硬件时间同步方案，具体如下：
如图2所示，在时间硬同步的实现过程中，采用绝对时间同步算法，选取一个传感器作为基准时钟源，示例性地，在本发明实施例中将GPS系统的时间选取为基准时钟源，GPS的PPS脉冲输出引脚分别接入激光雷达和无人驾驶控制器。激光雷达接收到PPS脉冲信号后，校准内部的硬件时钟，使得在采样时获取的时间戳是与GPS系统一致的绝对时间戳。同理，无人驾驶控制器获取相同的绝对时间戳。无人驾驶控制器可输出脉冲信号，接入到摄像头的触发引脚给摄像头授时。至此，激光雷达、摄像头和无人驾驶控制器完成了时间硬同步，三者均以GPS系统输出的绝对时间为基准时钟源。在进行时间硬同步后，所有传感器的时间戳都会以GPS系统输出的绝对时间为基准时钟源。传感器产生信号时，会给该信号打上时间戳，然后执行上述软件时间同步的多传感器目标融合的步骤。
下面将结合具体应用示例，对本发明实施例提供的多传感器目标融合方法构建的时间同步系统进行详细的说明。
如图2所示，本发明实施例构建的时间同步系统包括时间硬同步和时间软同步两部分。此外，在实际应用中，如图3所示，在时间软同步中还可以分别为每一个传感器创建了一个接收数据的线程，然后分别采用一个FIFO队列存储每个线程接收的数据，当融合模块被触发时，会从每个FIFO队列分别取出一包数据，并塞入主缓存区，该主缓存区暴露给融合模块，融合模块会在融合周期内处理完所有的数据。本发明并不以此为限。
图4为时间同步系统的时间软同步工作过程示意图，本发明的时间软同步方案将结合图5作详细说明。附图5以两个传感器为例，代号分别为a和b。
从第一个时间轴即信号产生时间可以看出传感器a和b均以固定周期发射信号，两个传感器的信号产生时间分别为ta0，ta1，ta2…和tb0，tb1，tb2…。
第二个时间轴是融合模块运行的时间，可以看出融合模块以固定周期运行，为t0，t1，t2，t3，t4，…t13，…tn。
以第二个时间轴为基准进行时间演进，从t0时刻开始程序开始运行。
在t’a0时刻有一包数据到达融合模块，该数据是传感器a在ta0时刻产生的，如上，该信号会被存入FIFO队列并处于等待状态，在t3时刻融合模块再次被触发，此时会从FIFO队列中取出该数据，并以该数据来初始化内部的融合目标列表，且融合时刻t＿fusion为ta0。在t3时刻之前，由于没有初始化内部的融合目标列表，即目标列表中的目标数量为0，因此不会输出融合目标给下游模块。在t3时刻融合模块被触发，内部的融合目标列表被初始化，在该时刻也会向下游模块输出融合目标结果。如上，由于内部的融合目标列表对应的是历史时间即ta0，所以在t3时刻输出目标前需要将目标列表预测至t3时刻，如附图5中的黑色实心箭头所示。需要注意的是，预测前需要对目标类别进行判断，判断目标是车或是行人，并分别采用CA模型或CV模型进行预测。
在t4，t5时刻由于融合模块没有接收到新的传感器数据，因此将以ta0时刻的内部融合目标列表为基准进行预测，如附图5中黑色实心箭头所示，然后向下游模块输出融合目标。
在t’b0时刻有一包数据到达融合模块，该数据是传感器b在tb0时刻产生的，如上，该信号会被存入FIFO队列并处于等待状态，在t6时刻融合模块再次被触发，此时会从FIFO队列中取出该数据，并获取这包数据的时间戳t＿sensor为tb0。然后获取融合时刻ta0。由于tb0大于ta0，因此要预测融合目标，如附图5中灰色箭头所示，同时更新融合时刻t＿fusion为tb0。在该时刻也会向下游模块输出融合目标结果。如上，由于内部的融合目标列表对应的是历史时间即tb0，所以在t6时刻输出目标前需要将目标列表预测至t6时刻，如附图5中的黑色实心箭头所示。需要注意的是，预测前需要对目标类别进行判断，判断目标是车或是行人，并分别采用CA模型或CV模型进行预测。
在t7时刻恰好有一包数据到达融合模块，该数据是传感器a在ta1时刻产生的，如上，该信号会被存入FIFO队列并处于等待状态，在t7时刻融合模块再次被触发，此时会从FIFO队列中取出该数据，并获取这包数据的时间戳t＿sensor为ta1。然后获取融合时刻tb0。由于ta1大于tb0，因此要预测融合目标，如附图5中灰色箭头所示，同时更新融合时刻t＿fusion为ta1。在该时刻也会向下游模块输出融合目标结果。如上，由于内部的融合目标列表对应的是历史时间即ta1，所以在t7时刻输出目标前需要将目标列表预测至t7时刻，如附图5中的黑色实心箭头所示。需要注意的是，预测前需要对目标类别进行判断，判断目标是车或是行人，并分别采用CA模型或CV模型进行预测。
在t8时刻由于融合模块没有接收到新的传感器数据，因此将以ta1时刻的内部融合目标列表为基准进行预测，如附图5中黑色实心箭头所示，然后向下游模块输出融合目标。
在t’b1时刻有一包数据到达融合模块，该数据是传感器b在tb1时刻产生的，如上，该信号会被存入FIFO队列并处于等待状态，在t9时刻融合模块再次被触发，此时会从FIFO队列中取出该数据，并获取这包数据的时间戳t＿sensor为tb1。然后获取融合时刻ta1。由于ta1大于tb0，因此要预测传感器目标，如附图5中黑色空心箭头所示，此种情况下融合时刻t＿fusion不更新。在该时刻也会向下游模块输出融合目标结果。如上，由于内部的融合目标列表对应的是历史时间即ta1，所以在t9时刻输出目标前需要将目标列表预测至t9时刻，如附图5中的黑色实心箭头所示。需要注意的是，预测前需要对目标类别进行判断，判断目标是车或是行人，并分别采用CA模型或CV模型进行预测。
综上，本发明实施例提供的多传感器目标融合的软件时间同步方法，并具有鲁棒性更好、泛化能力更强、精度更高的特点。采用一种去中心化的时间同步方案，不区分主从传感器，可有效提高系统的鲁棒性，同时可以保证融合目标的实时输出；通过与传感器采样周期解耦的方式，使得对于任意的采样周期和传输时延，都可进行时间同步，从而不受限于传感器的采样频率，也无需将所有传感器的采样频率同步，也无需必须在整数时刻进行融合，系统更具有普适性；可以有效解决传感器数据的乱序问题；不丢弃延迟到达的传感器数据，而是进行预测后再输入到融合模块，不损失传感器的帧率和数据，可有效提高融合精度和实时性；对处理延时和传输延时的补偿并非简单插值，而是依据不同目标类型选择合适的运动模型，补偿精度更高。
通过执行上述步骤，本发明实施例提供的多传感器目标融合方法，通过在触发数据融合操作时，按照待融合数据的接收时间依次进行数据融合处理，并通过判断待融合数据的时间戳与上一融合操作对应的融合时刻的关系，利用待融合数据对融合目标列表进行更新，实现了去中心化的多传感器目标融合的时间同步方案，提高了融合目标列表更新结果的鲁棒性，并且不受限于传感器的采样频率，无需将所有传感器的采样频率同步，融合操作可在任意时刻进行，该融合方案更具有普适性，提高了方案应用的灵活性。
本发明实施例还提供了一种多传感器目标融合装置，如图6所示，该多传感器目标融合装置具体包括：
获取模块101，用于获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，待融合数据带有数据产生时刻的时间戳信息。详细内容参见上述步骤S101的详细描述，在此不再进行赘述。
第一处理模块102，用于按照待融合数据的接收顺序从待融合数据中选择第一待融合数据。详细内容参见上述步骤S102的详细描述，在此不再进行赘述。
第二处理模块103，用于基于第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用第一待融合数据对融合目标列表进行更新。详细内容参见上述步骤S103的详细描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的多传感器目标融合装置，通过在触发数据融合操作时，按照待融合数据的接收时间依次进行数据融合处理，并通过判断待融合数据的时间戳与上一融合操作对应的融合时刻的关系，利用待融合数据对融合目标列表进行更新，实现了去中心化的多传感器目标融合的时间同步方案，提高了融合目标列表更新结果的鲁棒性，并且不受限于传感器的采样频率，无需将所有传感器的采样频率同步，融合操作可在任意时刻进行，该融合方案更具有普适性，提高了方案应用的灵活性。
如图7所示，本发明实施例还提供了一种电子设备，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法。
上述服务器具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种多传感器目标融合方法，其特征在于，包括：
获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，所述待融合数据带有数据产生时刻的时间戳信息；
按照所述待融合数据的接收顺序从待融合数据中选择第一待融合数据；
基于所述第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用所述第一待融合数据对所述融合目标列表进行更新。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用所述第一待融合数据对所述融合目标列表进行更新，包括：
判断所述第一时间戳对应的第一时刻是否早于所述上一融合时刻；
在所述第一时间戳对应的第一时刻早于所述上一融合时刻时，基于所述第一时刻与所述上一融合时刻的第一时间差，对所述第一待融合数据进行预测更新；
基于更新后的第一待融合数据对所述融合目标列表进行更新。
3.根据权利要求2所述的方法，其特征在于，
在所述第一时间戳对应的第一时刻不早于所述上一融合时刻时，基于所述第一时刻与所述上一融合时刻的第一时间差，对所述融合目标列表进行预测更新；
基于所述第一待融合数据对更新后的融合目标列表进行更新。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
基于所述第一时刻对所述上一融合时刻进行更新，得到当前融合时刻。
5.根据权利要求4所述的方法，其特征在在于，所述基于所述第一待融合数据对更新后的融合目标列表进行更新，包括：
基于所述第一待融合数据对更新后融合目标列表中各目标的目标属性信息进行融合更新；
基于所述当前融合时刻与当前时刻的第三时间差，对融合更新后的融合目标列表中各目标的目标属性进行预测，得到各目标当前时刻对应的预测结果。
6.根据权利要求2所述的方法，其特征在于，所述基于更新后的第一待融合数据对所述融合目标列表进行更新，包括：
基于更新后的第一待融合数据对所述融合目标列表中各目标的目标属性信息进行融合更新；
基于所述上一融合时刻与当前时刻的第二时间差，对融合更新后的融合目标列表中各目标的目标属性进行预测，得到各目标当前时刻对应的预测结果。
7.根据权利要求5或6所述的方法，其特征在于，在对融合更新后的融合目标列表中各目标的目标属性进行预测之前，所述方法还包括：
获取融合更新后的融合目标列表中各目标的目标类型；
基于各目标的目标类型确定对应的更新策略；
基于各目标对应的更新策略，对融合更新后的融合目标列表中各目标的目标属性进行预测。
8.一种多传感器目标融合装置，其特征在于，包括：
获取模块，用于获取各目标传感器发送的待融合数据以及上一融合时刻对应的融合目标列表，所述待融合数据带有数据产生时刻的时间戳信息；
第一处理模块，用于按照所述待融合数据的接收顺序从待融合数据中选择第一待融合数据；
第二处理模块，用于基于所述第一待融合数据对应的第一时间戳与上一融合时刻的关系，利用所述第一待融合数据对所述融合目标列表进行更新。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，以执行如权利要求1－7中任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1－7中任一项所述的方法。
CN202210155624.5A 2022-02-18 2022-02-18 一种多传感器目标融合方法及装置 Pending CN114528940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210155624.5A CN114528940A (zh) 2022-02-18 2022-02-18 一种多传感器目标融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210155624.5A CN114528940A (zh) 2022-02-18 2022-02-18 一种多传感器目标融合方法及装置

Publications (1)

Publication Number Publication Date
CN114528940A true CN114528940A (zh) 2022-05-24

Family

ID=81624282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210155624.5A Pending CN114528940A (zh) 2022-02-18 2022-02-18 一种多传感器目标融合方法及装置

Country Status (1)

Country Link
CN (1) CN114528940A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861839A (zh) * 2022-07-07 2022-08-05 三亚海兰寰宇海洋信息科技有限公司 一种目标数据的处理方法、装置及设备
CN117574314A (zh) * 2023-11-28 2024-02-20 东风柳州汽车有限公司 传感器的信息融合方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861839A (zh) * 2022-07-07 2022-08-05 三亚海兰寰宇海洋信息科技有限公司 一种目标数据的处理方法、装置及设备
CN117574314A (zh) * 2023-11-28 2024-02-20 东风柳州汽车有限公司 传感器的信息融合方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN114528940A (zh) 一种多传感器目标融合方法及装置
US11789119B2 (en) Time synchronization and latency compensation for emulation test system
CN110245565A (zh) 车辆跟踪方法、装置、计算机可读存储介质及电子设备
Huck et al. Precise timestamping and temporal synchronization in multi-sensor fusion
JP6490298B2 (ja) 受信装置及び事象検知時刻の推定方法
EP3542476B1 (en) Systems and methods for synchronizing processor operations over a communications network
CN112214009B (zh) 传感器数据处理方法、装置、电子设备及系统
WO2022205734A1 (zh) 图像时间同步方法、装置、电子设备及存储介质
CN113327344B (zh) 融合定位方法、装置、设备、存储介质及程序产品
KR20210105918A (ko) 자율 주행 차량의 동기화 센서
US20190326916A1 (en) Decentralized synchronization of multiple agents
CN114842445A (zh) 基于多途径融合的目标检测方法、装置、设备及介质
WO2019080879A1 (zh) 数据处理方法、计算机设备和存储介质
JP2017075881A (ja) 物体認識統合装置および物体認識統合方法
CN113269260B (zh) 一种智能驾驶车辆多传感器目标融合及跟踪方法及系统
CN115037703B (zh) 数据处理方法、装置、计算机存储介质及计算机程序产品
CN113765611B (zh) 时间戳确定方法及相关设备
CN115102453A (zh) 一种位置控制系统及方法
CN114088093A (zh) 一种点云地图构建方法、装置、系统及存储介质
CN113556366A (zh) 多传感器数据同步方法及其系统和电子设备
US11985416B2 (en) Electronic device and method with independent time point management
US20230376293A1 (en) Application deployment
CN112484711B (zh) 基于电子罗盘的方向角测量延迟系统及方法
CN112146659A (zh) 一种组合导航系统的滤波方法、装置及存储介质
US20230102907A1 (en) Device with time stamp synchronizing and related method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination