CN116902005A - 一种基于无人驾驶车辆的融合处理方法、装置及介质 - Google Patents

一种基于无人驾驶车辆的融合处理方法、装置及介质 Download PDF

Info

Publication number
CN116902005A
CN116902005A CN202311057998.4A CN202311057998A CN116902005A CN 116902005 A CN116902005 A CN 116902005A CN 202311057998 A CN202311057998 A CN 202311057998A CN 116902005 A CN116902005 A CN 116902005A
Authority
CN
China
Prior art keywords
information
track
obstacle
compensation
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311057998.4A
Other languages
English (en)
Inventor
范敏
田磊
邢庆涛
杨孟
赵玉超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China National Heavy Duty Truck Group Jinan Power Co Ltd
Original Assignee
China National Heavy Duty Truck Group Jinan Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China National Heavy Duty Truck Group Jinan Power Co Ltd filed Critical China National Heavy Duty Truck Group Jinan Power Co Ltd
Priority to CN202311057998.4A priority Critical patent/CN116902005A/zh
Publication of CN116902005A publication Critical patent/CN116902005A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272—Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards

Abstract

本申请提供一种基于无人驾驶车辆的融合处理方法、装置及介质，涉及无人驾驶领域。该方法包括：记录接收到主传感器第一信息的时间为第一时间，根据第一信息中的第一时间戳获取障碍物的航迹时间戳、航迹信息、每个副传感器对应的第二时间戳以及第二信息；根据上述获得的时间，通过卡尔曼滤波模型分别对时间对应的信息进行预测处理，得到各自补偿时间差对应的补偿信息；根据上述得到的补偿信息，分别对的第一信息、第二信息和航迹信息进行信息补偿修正；根据障碍物关联关系和障碍物与航迹的关联关系，对修正补偿结果进行数据融合。本申请的方法，得到的融合结果更加贴近车辆在做出规划决策时所处于的环境，有助于提高系统的性能和安全性。

Description

一种基于无人驾驶车辆的融合处理方法、装置及介质
技术领域
本申请涉及无人驾驶技术领域，尤其涉及一种基于无人驾驶车辆的融合处理方法、装置及介质。
背景技术
无人驾驶汽车是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统。其中，对于环境的感知是综合系统中较为关键的一步，它是综合系统能够进一步做出规划决策的重要参考信息。而对于环境的感知主要体现在对融合信息的获取上，其需要尽可能使得获取的融合信息是进行规划决策时环境的真实状态。传感器将采集获取的信息经过融合后得到需要的融合信息，此时，通过传感器获得的环境信息对应的时间就变得尤为重要。
现有技术中，安装设置在无人驾驶车辆上的多个传感器并不是每次都会同时触发信息采集，为此，采取统一时钟源与时间软同步结合策略，使得各个传感器获取的信息时间尽可能的接近，经过各个传感器融合后的融合信息尽可能为同一时刻的环境状态。
但是，采用上述获取方式所获取的融合信息，虽然采用了统一时钟源与时间软同步结合策略，使得到的融合信息尽可能为同一时刻的环境状态，但是传感器采集的信息还需要进行数据算法处理才能够得到融合信息，在数据算法处理的过程中，环境中的障碍物可能处于运动状态并且无人驾驶车辆同样处于运动状态，因此导致仅仅经过统一时钟源与时间软同步结合策略处理得到的融合信息与进行规划决策时的真实环境会存在一定的时间差，进而基于该融合信息所得到的规划决策也与真实环境的所需要的规划决策存在一定差距。
发明内容
本申请提供一种基于无人驾驶车辆的融合处理方法、装置及介质，用以解决通过传统技术得到的融合信息与进行规划决策时的真实环境会存在一定的时间差问题。
第一方面，本申请提供一种基于无人驾驶车辆的融合处理方法，包括：
记录接收到主传感器采集获取的第一信息时所对应的时间为第一时间，并获取所述第一信息中的第一时间戳、所述无人驾驶车辆中储存的障碍物的航迹时间戳和所述航迹时间戳所对应的航迹信息；
根据所述第一时间戳对每个副传感器进行时间软同步，得到所述每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息；
根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对所述第一信息、所述第二信息和所述航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息；
根据所述补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对所述第一信息、第二信息和航迹信息进行信息补偿修正，得到待融合障碍物信息和待融合航迹信息；
根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合。
在一种可能的设计中，所述根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对所述第一信息、所述第二信息和所述航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，包括：
根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，分别得到所述第一信息对应的第一补偿时间差、所述第二信息对应的第二补偿时间差和所述航迹信息对应的航迹补偿时间差；
采用卡尔曼滤波模型，根据所述第一补偿时间差和第二补偿时间差，对所述第一补偿时间差对应的第一信息和所述第二补偿时间差对应的第二信息进行匀速运动的预测处理，得到补偿障碍物信息和补偿车辆自身状态信息；
采用卡尔曼滤波模型，根据所述航迹补偿时间差，对所述航迹信息进行匀速运动的预测处理，得到补偿航迹信息。
在一种可能的设计中，所述根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，分别得到所述第一信息对应的第一补偿时间差、所述第二信息对应的第二补偿时间差和所述航迹信息对应的航迹补偿时间差，包括：
所述第一时间与所述第一时间戳作差后与所述预设的补偿阈值加和得到所述第一补偿时间差；
所述第一时间与所述第二时间戳作差后与所述预设的补偿阈值加和得到所述第二补偿时间差；
所述第一时间与所述航迹时间戳作差后与所述预设的补偿阈值加和得到所述航迹补偿时间差。
在一种可能的设计中，所述根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合之前，所述方法包括：
根据所述第一时间戳、通过时间软同步得到的每个副传感器对应的第二时间戳和航迹时间戳，将所述第二信息和所述航迹信息更新至所述第一时间戳，得到待关联障碍物信息和待关联航迹信息；
对由每个副传感器和主传感器获得的所述待关联障碍物信息进行数据关联，得到障碍物关联关系；
对所述待关联障碍物信息和所述待关联航迹信息进行数据关联，得到障碍物与航迹的关联关系。
在一种可能的设计中，所述对由每个副传感器和主传感器获得的所述待关联障碍物信息进行数据关联，得到障碍物关联关系，包括：
任意获取对应副传感器或者主传感器的第一待关联障碍物信息和第二待关联障碍物信息中的位置、速度、加速度和运动朝向信息；
根据所述第一待关联障碍物信息和第二待关联障碍物信息中的位置、速度、加速度和运动朝向信息，采用相似度量算法，计算并筛选得到满足预设相似度阈值的第一待关联障碍物信息和第二待关联障碍物信息；
采用匹配算法，得到所述第一待关联障碍物信息和所述第二待关联障碍物信息的障碍物关联关系。
在一种可能的设计中，所述对所述待关联障碍物信息和所述待关联航迹信息进行数据关联，得到障碍物与航迹的关联关系，包括：
获取任一所述待关联障碍物信息和任一所述待关联航迹信息中的位置、速度、加速度和运动朝向信息；
根据所述待关联障碍物信息和所述待关联航迹信息中的位置、速度、加速度和运动朝向信息，采用相似度量算法，计算并筛选得到满足预设相似度阈值的待关联障碍物信息和待关联航迹信息；
采用匹配算法，得到所述待关联障碍物信息和所述待关联航迹信息的障碍物与航迹的关联关系。
在一种可能的设计中，根据所述补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对所述第一信息、第二信息和航迹信息进行信息补偿，得到待融合障碍物信息和待融合航迹信息，包括：
将所述补偿障碍物信息中障碍物的信息变化量分别补偿到所述第一信息和所述第二信息中相对应的障碍物信息中，并根据所述补偿车辆自身状态信息中的信息变化量对补偿得到的障碍物信息进行修正，得到待融合障碍物信息；
将所述补偿航迹信息中航迹信息的变化量补偿到所述航迹信息中，并根据所述补偿车辆自身状态信息中的信息变化量对所述补偿得到的航迹信息进行修正，得到待融合航迹信息。
在一种可能的设计中，所述根据所述第一时间戳对每个副传感器进行时间软同步，得到所述每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息，包括：
根据所述第一时间戳，获取所述每个副传感器标识对应的缓冲队列中与所述第一时间戳最接近的第二时间戳和所述第二时间戳所对应的第二信息。
在一种可能的设计中，所述根据障碍物关联关系和障碍物与航迹的关联关系，分别实现对待融合障碍物信息和待融合航迹信息的数据融合，包括：
基于各个传感器预设的权重，根据所述障碍物关联关系对所述待关联障碍物信息进行信息加权融合，得到实测障碍物信息；
基于对实测障碍物信息和所述待关联航迹信息预设的权重，根据所述障碍物与航迹的关联关系对包含有所述待关联障碍物信息的实测障碍物信息和所述待关联航迹信息进行信息加权融合，得到最优障碍物信息。
第二方面，本申请提供一种融合装置，包括：
信息获取模块，记录接收到主传感器采集获取的第一信息时所对应的时间为第一时间，并获取所述第一信息中的第一时间戳、所述无人驾驶车辆中储存的障碍物的航迹时间戳和所述航迹时间戳所对应的航迹信息；
时间软同步模块，根据所述第一时间戳对每个副传感器进行时间软同步，得到所述每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息；
数据预测处理模块，根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对所述第一信息、所述第二信息和所述航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息；
信息补偿修正模块，根据所述补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对所述第一信息、第二信息和航迹信息进行信息补偿修正，得到待融合障碍物信息和待融合航迹信息；
关联融合模块，根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合。
第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现上述技术方案所述的基于无人驾驶车辆的融合处理方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述技术方案所述的基于无人驾驶车辆的融合处理方法。
本申请提供的一种基于无人驾驶车辆的融合处理方法、装置及介质，该方法通过将算法耗时产生的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对第一信息、第二信息和航迹信息进行信息补偿修正，从而得到更加贴近无人驾车辆在做出规划决策时刻周围环境状态的待融合障碍物信息和待融合航迹信息。根据待融合障碍物信息和待融合航迹信息实现信息数据融合，减少了障碍物检测误差对最终障碍物信息的影响。提高数据的准确性和可靠性，增强对障碍物的感知和跟踪能力，并能够进一步优化后续的决策算法。在此基础上，有助于提高系统的性能和安全性，为实际应用场景中的无人驾驶、智能交通等领域带来更好的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中基于无人驾驶车辆融合处理方法的数据处理示意图；
图2为本申请实施例提供的一种基于无人驾驶车辆的融合处理方法流程示意图；
图3是本申请实施例提供的通过预设的卡尔曼滤波模型分别对第一信息、第二信息和航迹信息进行预测处理的方法示意图；
图4是本申请实施例提供的得到待融合障碍物信息和待融合航迹信息的方法示意图；
图5是本申请实施例提供的得到障碍物关联关系和障碍物与航迹的关联关系的方法示意图；
图6为本申请实施例提供的得到障碍物关联关系的方法示意图；
图7为本申请实施例提供的得到障碍物与航迹的关联关系的方法示意图；
图8是本申请实施例提供的实现待融合障碍物信息和待融合航迹信息数据融合的方法示意图；
图9为本申请实施例提供的融合装置的结构示意图；
图10是本申请实施例提供的以无人驾驶商用汽车为例计算时间差的方法流程示意图；
图11为本申请实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对本申请所涉及的相关概念或名词进行解释：
融合：传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境，从而提高系统决策的正确性。
卡尔曼滤波(Kalman filtering，KF)：是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。
示例性的，图1为现有技术中基于无人驾驶车辆融合处理方法的数据处理示意图。如图1所示，获取上述处理数据所使用的传感器主要包括：相机101、激光雷达102、毫米波雷达103。具体的，相机101、激光雷达102、毫米波雷达103作为数据获取传感器采集获取无人驾驶车辆所处环境的原始环境数据，并将获取的原始数据分别经过相机感知算法、激光雷达感知算法、毫米波雷达感知算法进行识别，将识别得到的结果进行汇总融合，根据汇总得到的融合信息进行规划控制，对无人驾驶车辆做出行驶的规划决策。
此时进行规划控制的融合信息所对应的时间是相机101、激光雷达102、毫米波雷达103采集获取信息的时间。但是感知算法根据传感器进行信息识别以及将识别的结果进行汇总融合是会存在算法时间消耗的，由于外界环境中的障碍物可能处于运动状态的，经过算法消耗的时间，此时外界环境已经发生了变化，汇总得到的融合信息与进行规划控制时的真实环境会存在一定的时间差，进而基于该融合信息所得到的规划决策也与真实环境的所需要的规划决策存在一定差距。
基于此，为了解决上述技术问题，本申请提供了一种基于无人驾驶车辆的融合处理方法，该方法通过将算法消耗的时间所对应的环境变化信息补偿到传感器获取的原始信息中，进一步，在算法消耗的这段时间里，无人驾驶车辆本身也处于运动状态，车辆自身的运动状态也会影响外界环境的感知。为此根据算法消耗时间对应的车辆自身运动状态变化量信息对补偿后的原始信息进行修正。根据修正后的原始信息进行数据汇总融合，此时得到的融合汇总信息更加贴近规划决策时的外界环境。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2本申请实施例提供的一种基于无人驾驶车辆的融合处理方法流程示意图。如图2所示，该方法包括步骤S201-S205：
S201，记录接收到主传感器采集获取的第一信息时所对应的时间为第一时间，并获取第一信息中的第一时间戳、无人驾驶车辆中储存的障碍物的航迹时间戳和航迹时间戳所对应的航迹信息。
在本实施例中，当接收到主传感器采集的第一信息时，首先记录下该信息接收的时间点，作为第一时间。然后，解析该信息，以提取第一时间戳。其中第一时间戳时主传感器采集第一信息所对应的采集时间。并从无人驾驶车辆的存储系统中获取已存在的障碍物的航迹时间戳和相应的航迹信息。其中，障碍物的航迹时间戳和相应的航迹信息为障碍物的无人驾驶车辆中存储的最新(前一帧获取并更新)的障碍物航迹时间戳和相应的航迹信息。这样，不仅记录了第一时间，并获得了第一时间戳，还获取了障碍物的航迹时间戳和对应的航迹信息。这些信息将用于后续处理和分析，为无人驾驶车辆的决策和控制提供重要的输入数据。
S202，根据第一时间戳对每个副传感器进行时间软同步，得到每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息。
在本实施例中，根据主传感器第一信息的第一时间戳对每个副传感器进行时间软同步，这意味着选取的每个副传感器的数据，将会根据主传感器的时间戳来调整，使得副传感器采集数据的时间与主传感器的采集数据的时间尽可能保持同步。通过时间软同步操作，可以得到每个副传感器对应的第二时间戳。以及还可以获得第二时间戳所对应的第二信息，即副传感器在第二时间戳时采集的数据。
S203，根据第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对第一信息、第二信息和航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息。
在本实施例中，卡尔曼滤波模型能够将目标的运动模型表示为一组线性方程，利用卡尔曼滤波对目标的位置进行估计和预测。即通过卡尔曼滤波模型的预测处理，可以根据已有的信息预测未来时刻的状态，从而进行数据补偿。根据第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，利用预设的卡尔曼滤波模型分别对第一信息、第二信息和航迹信息进行预测处理。这样可以得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息。
S204，根据补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对第一信息、第二信息和航迹信息进行信息补偿修正，得到待融合障碍物信息和待融合航迹信息；
在本实施例中，利用补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，对第一信息、第二信息和航迹信息进行信息补偿修正。通过补偿修正处理，可以对原始数据(第一信息、第二信息、航迹信息)进行矫正和修正，使其更准确地反映真实情况。具体的，根据补偿障碍物信息，可对第一信息和第二信息中的障碍物数据进行补偿。同时，根据补偿车辆自身状态信息，可对第一信息和第二信息中已经补偿的障碍物数据进行修正。此外，通过补偿航迹信息，可对航迹信息进行补偿修正。修正后得到的待融合障碍物信息和待融合航迹信息将作为后续数据融合的输入。
S205，根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合。
在本实施例中，根据障碍物关联关系和障碍物与航迹的关联关系，进行数据融合操作。通过融合待融合障碍物信息和待融合航迹信息，可以得到最终的障碍物信息和航迹信息。数据融合的过程是将不同传感器采集到的数据进行整合和合并，以提高数据的准确性和可信度。根据障碍物的关联关系，将来自不同传感器的障碍物信息进行关联和融合。同时，根据障碍物与航迹的关联关系，将来自不同传感器的障碍物信息与已有的航迹信息进行关联和融合。最终得到的融合后的障碍物信息和航迹信息，可以为无人驾驶车辆的决策和控制提供更准确的输入数据。
在本实施例中，通过将算法耗时产生的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对第一信息、第二信息和航迹信息进行信息补偿修正，从而得到更加贴近无人驾车辆在做出规划决策时刻周围环境状态的待融合障碍物信息和待融合航迹信息。根据待融合障碍物信息和待融合航迹信息实现信息数据融合，减少了障碍物检测误差对最终障碍物信息的影响。提高数据的准确性和可靠性，增强对障碍物的感知和跟踪能力，并能够进一步优化后续的决策算法。在此基础上，有助于提高系统的性能和安全性，为实际应用场景中的无人驾驶、智能交通等领域带来更好的效果。
在此需要进一步进行说明的是，传感器(主传感器和副传感器)包括设置在无人驾驶车辆上用于感知环境的传感器(例如相机、激光雷达、毫米波雷达)，也包括用于检测自身车辆状态信息的传感器(例如组合导航)。设置主传感器的目的在于触发时间软同步的进行，本领域技术人员可以根据需求或者经验选择相应的传感器为主传感器，此时，其他的传感器则为副传感器。
在一个具体实施例中，步骤S202中时间软同步具体包括步骤S2021：
S2021：根据第一时间戳，获取每个副传感器标识对应的缓冲队列中与第一时间戳最接近的第二时间戳和第二时间戳所对应的第二信息。
在本实施例中，时间软同步则是利用时间戳进行不同传感器的匹配。尽管设置了统一时钟源为各个传感器授时，即传感器采集信息对应的时间戳是由统一时钟源赋值的。但是由于不同传感器的采集频率不同，传感器采集信息对应的时间是不同的。传感器采集的信息会先缓存，根据预设的队列大小缓存相应大小的队列。当接收到主传感器采集的第一信息时，则根据第一信息中的第一时间戳，获取每个副传感器标识对应的缓冲队列中与第一时间戳最接近的第二时间戳和第二时间戳所对应的第二信息。
具体的，在此以一个主传感器和三个副传感器进行进一步说明，其中用于检测自车状态信息的组合导航为副传感器。将接收到主传感器第一信息的时间表示为tcurrent，主传感器采集获取第一信息对应的第一时间戳为tactivate。根据第一时间戳获取的航迹时间戳为ttrack。对照tactivate，从各副传感器的缓冲队列寻找与其最接近的时间戳，得到第二时间戳分别为tvice_1_n(n是队列大小)、tvice_2_n、tgnss。其中tvice_1_n为1号副传感器对应的时间戳、tvice_2_n为2号副传感器对应的时间戳、tgnss为组合导航对应的时间戳。
在一个实施例中，如图3所示，图3是本申请实施例提供的通过预设的卡尔曼滤波模型分别对第一信息、第二信息和航迹信息进行预测处理的方法示意图，本实施例是对步骤S203的进一步详细说明，具体包括步骤S301-S303：
S301，根据第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，分别得到第一信息对应的第一补偿时间差、第二信息对应的第二补偿时间差和航迹信息对应的航迹补偿时间差。
在本实施例中，通过比较不同时间戳之间的差值和预设的补偿阈值，可以确定需要被补偿的时间差。第一补偿时间差表示第一信息相对于第一时间戳的时间延迟，第二补偿时间差表示第二信息相对于第二时间戳的时间延迟，航迹补偿时间差表示航迹信息相对于航迹时间戳的时间延迟。
在一个具体实施例中，步骤S301中时间差如何得到在此做出进一步说明，具体包括：
第一时间与第一时间戳作差后与预设的补偿阈值加和得到第一补偿时间差。在此以上述给出的一个主传感器和三个副传感器为例。做出进一步说明。具体的，第一补偿时间差用公式表示为：δfusion_activate＝tcurrent-tactivate+δfusion，其中δfusion_activate为第一补偿时间差、δfusion为预设的补偿阈值。
第一时间与第二时间戳作差后与预设的补偿阈值加和得到第二补偿时间差。具体的，对于1号副传感器的第二补偿时间差用公式表示为：δfusion_vice_1＝tcurrent-tvice_1_n+δfusion，其中δfusion_vice_1为1号副传感器的第二补偿时间差、tvice 1n为1号副传感器的第二时间戳。对于2号副传感器的第二补偿时
间差用公式表示为：δfusion_vice_2＝tcurrent-tvice_2_n+δfusion，其中δfusion_vice_2为2号副传感器的第二补偿时间差、tvice 2n为2号副传感器的第二时间戳。对于组合导航对应的第二补偿时间差用公式表示为：δfusion_gnss＝tcurrent-t gnss+δfusion，其中δfusion_gnss为组合导航对应的第二补偿时间差、t gnss为组合导航对应的第二时间戳。
第一时间与航迹时间戳作差后与预设的补偿阈值加和得到航迹补偿时间差。具体的，用公式表示为：δfusion track＝tcurrent-ttrack+δfusion，其中，δfusion track为航迹补偿时间差、ttrack为航迹时间戳。
S302，采用卡尔曼滤波模型，根据第一补偿时间差和第二补偿时间差，对第一补偿时间差对应的第一信息和第二补偿时间差对应的第二信息进行匀速运动的预测处理，得到补偿障碍物信息和补偿车辆自身状态信息。
在本实施例中，采用卡尔曼滤波模型，利用第一补偿时间差和第二补偿时间差对第一补偿时间差对应的第一信息和第二补偿时间差对应的第二信息进行预测处理。可以估计出第一补偿时间差对应的第一信息和第二补偿时间差对应的第二信息在未来时刻的状态。这样，就得到了补偿障碍物信息和补偿车辆自身状态信息。
S303，采用卡尔曼滤波模型，根据航迹补偿时间差，对航迹信息进行匀速运动的预测处理，得到补偿航迹信息。
在本实施例中，利用卡尔曼滤波模型，根据航迹补偿时间差对航迹信息进行预测处理。可以估计出航迹补偿时间差对应的航迹信息在未来时刻的状态，即得到补偿航迹信息。
由于算法消耗的时间相对较短，即需要被补偿的时间差相对较短，在此情况下，采用卡尔曼滤波模型进行匀速运动的预测处理，得到了补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，为后续的信息补偿修正和数据融合提供了更加准确的数据输入。
在一个实施例中，图4是本申请实施例提供的得到待融合障碍物信息和待融合航迹信息的方法示意图。如图4所示，是对步骤S204做出的进一步详细说明，包括步骤S401-S402：
S401，将补偿障碍物信息中障碍物的信息变化量分别补偿到第一信息和第二信息中相对应的障碍物信息中，并根据补偿车辆自身状态信息中的信息变化量对补偿得到的障碍物信息进行修正，得到待融合障碍物信息。
在本实施例中，根据补偿障碍物信息中的信息变化量，将这些变化量补偿到第一信息和第二信息中相应障碍物信息中，例如障碍物的位置、速度、加速度等，实现对障碍物信息的补偿。接下来，使用补偿车辆自身状态信息中的信息变化量对补偿得到的障碍物信息进行修正。根据补偿车辆自身状态信息例如车辆位置、速度、加速度等信息的变化，调整补偿障碍物信息中的障碍物位置、速度、加速度等信息，以考虑车辆自身运动状态对感知到的障碍物的影响。最终得到了待融合的障碍物信息，其中包含了补偿和修正后的障碍物位置、速度、加速度等信息，为后续的数据融合做准备。
S402，将补偿航迹信息中航迹信息的变化量补偿到航迹信息中，并根据补偿车辆自身状态信息中的信息变化量对补偿得到的航迹信息进行修正，得到待融合航迹信息。
在本实施例中，根据补偿航迹信息中的信息变化量，将这些变化量补偿到航迹信息中，例如航迹信息中表示的障碍物的位置、速度、加速度等信息，实现对航迹信息的补偿。使用补偿车辆自身状态信息中的信息变化量对补偿得到的航迹信息进行修正。根据补偿车辆自身状态信息中的车辆位置、速度、加速度等信息的变化，调整补偿航迹信息中的位置、速度、加速的等信息，以考虑车辆自身运动状态对航迹信息的影响。得到了待融合的航迹信息，其中包含了补偿和修正后的航迹表示的障碍物的位置、速度、加速度等信息，为后续的数据融合做准备。
在一个实施例中，图5是本申请实施例提供的得到障碍物关联关系和障碍物与航迹的关联关系的方法示意图。如图5所示，在步骤S205之前，需要得到障碍物关联关系和障碍物与航迹的关联关系，包括步骤S501-S503：
S501，根据第一时间戳、通过时间软同步得到的每个副传感器对应的第二时间戳和航迹时间戳，将第二信息和航迹信息更新至第一时间戳，得到待关联障碍物信息和待关联航迹信息。
在本实施例中，通过将不同副传感器获取的第二信息和航迹信息与第一时间戳对齐，使得它们可以在同一个时间戳上。根据对齐的第一时间戳，将每个副传感器得到的第二信息进行更新，及更新后的第二信息与第一时间戳对应。在此也涉及到根据第一时间戳与第二时间戳的时间差值进行信息预测，从而将预测得到的信息差补偿到原始的第二信息中，实现对第二信息的更新。与上述预测处理采用相同的卡尔曼滤波模型进行预测更新处理。得到的待关联障碍物信息和待关联航迹信息，为接下来的数据关联准备了数据。将位于同一时间戳的信息进行数据关联，进一步提高了数据关联的准确性，以及数据间匹配度也有所提升。
S502，对由每个副传感器和主传感器获得的待关联障碍物信息进行数据关联，得到障碍物关联关系。
在一个具体实施例中，图6为本申请实施例提供的得到障碍物关联关系的方法示意图。如图6所示，包括步骤S601-S603：
S601，任意获取对应副传感器或者主传感器的第一待关联障碍物信息和第二待关联障碍物信息中的位置、速度、加速度和运动朝向信息；
S602，根据第一待关联障碍物信息和第二待关联障碍物信息中的位置、速度、加速度和运动朝向信息，采用相似度量算法，计算并筛选得到满足预设相似度阈值的第一待关联障碍物信息和第二待关联障碍物信息；
S603，采用匹配算法，得到第一待关联障碍物信息和第二待关联障碍物信息的障碍物关联关系。
在本实施例中，传感器能够对周围环境进行数据采集，不同传感器(包括传感器和副传感器)可能使用不同的技术来获取障碍物信息，即不同类型传感器能够获取到同一障碍物的不同信息表示，为此需要将不同传感器中同一障碍物信息关联起来，根据这个关联关系经过融合后形成更加完善精确的障碍物信息。具体的，获取对应不同传感器的第一待关联障碍物信息和第二待关联障碍物信息，其中信息包括但不限于位置、速度、加速度和运动朝向。然后，采用相似度量算法(例如欧式距离算法)计算得到第一待关联障碍物信息和第二待关联障碍物信息的相似度。预设相似度阈值对计算得到的相似度进行筛选得到满足条件的第一待关联障碍物信息和第二待关联障碍物信息，具体的，若待关联障碍物间的相似度不低于预设相似度阈值，则认为两个来自不同传感器的待关联障碍物信息具有匹配可能性，否则，不具备匹配可能性。其中，本领域技术人员可以根据对数据精确性的要求对相似度阈值进行灵活的设置。进一步的，采用匹配算法(例如匈牙利匹配算法或局部最近邻算法)得到第一待关联障碍物信息和第二待关联障碍物信息的障碍物关联关系。
S503，对待关联障碍物信息和待关联航迹信息进行数据关联，得到障碍物与航迹的关联关系。
在一个具体实施例中，图7为本申请实施例提供的得到障碍物与航迹的关联关系的方法示意图。如图7所示，包括步骤S701-S703：
S701，获取任一待关联障碍物信息和任一待关联航迹信息中的位置、速度、加速度和运动朝向信息；
S702，根据待关联障碍物信息和待关联航迹信息中的位置、速度、加速度和运动朝向信息，采用相似度量算法，计算并筛选得到满足预设相似度阈值的待关联障碍物信息和待关联航迹信息；
S703，采用匹配算法，得到待关联障碍物信息和待关联航迹信息的障碍物与航迹的关联关系。
在本实施例中，与上述不同传感器中障碍物之间的数据关联相似，在此则是将障碍物信息与航迹信息进行数据关联。获取任一待关联障碍物信息和任一待关联航迹信息，(例如位置、速度、加速度和运动朝向)。采用相似度量算法，计算并筛选得到满足预设相似度阈值的待关联障碍物信息和待关联航迹信息。若待关联障碍物与待关联航迹之间的相似度不低于预设相似度阈值，则认为待关联障碍物信息和待关联航迹信息具有匹配可能性，否则，不具备匹配可能性。接下来采用匹配算法得到待关联障碍物信息和待关联航迹信息的障碍物与航迹的关联关系，为后续的数据融合和目标跟踪提供准确的输入。
在一个实施例中，图8是本申请实施例提供的实现待融合障碍物信息和待融合航迹信息数据融合的方法示意图，如图8所示，是对步骤S205的进一步说明，包括步骤S801-S802：
S801，基于各个传感器预设的权重，根据障碍物关联关系对待关联障碍物信息进行信息加权融合，得到实测障碍物信息。
在本实施例中，根据各个传感器(包括主传感器和副传感器)的重要性或可靠性，为每个传感器分配权重。权重的分配可以根据传感器的性能指标、精度、可靠性等因素进行确定。根据障碍物关联关系，并考虑每个传感器的权重，将不同传感器获取的障碍物信息进行加权融合，得到实测障碍物信息。在融合过程中考虑了传感器的权重，可以更好地利用信任度较高的传感器数据。这样可以提高数据的可靠性，使得最终的实测障碍物信息更具有可信度。
S802，基于对实测障碍物信息和待关联航迹信息预设的权重，根据障碍物与航迹的关联关系对包含有待关联障碍物信息的实测障碍物信息和待关联航迹信息进行信息加权融合，得到最优障碍物信息。
在本实施例中，根据实测障碍物信息和待关联航迹信息的权重，为每个信息源分配权重。权重的分配可以根据障碍物和航迹的重要性、准确性等因素进行确定。根据障碍物与航迹的关联关系，并考虑对应信息源的权重，将实测障碍物信息和待关联航迹信息进行信息加权融合，得到最优障碍物信息。其中包含了实测障碍物信息和待关联航迹信息的综合结果，以提供更高质量和更准确的障碍物数据用于后续的处理和决策。
将数据融合后的最优障碍物信息发布，供规控模块使用。规控模块负责根据当前的环境信息和系统要求，制定最优的行驶策略和控制策略(例如路径规划、避障决策、速度控制、碰撞预警)。以确保车辆安全、高效地行驶。融合后得到的最优障碍物信息是规控模块中非常重要的输入，因为它提供了其他车辆、行人等障碍物在道路上的位置、速度、加速度等关键信息。经过上述信息关联融合后，规控模块获得更准确、全面的环境感知信息，从而制定更可靠、高效的规划和控制策略，并确保车辆的行驶安全与顺畅。
如图10所示，图10是本申请实施例提供的以无人驾驶商用汽车为例计算时间差的方法流程示意图，在此关于举出具体的例子对数据关联中涉及的更新时间差和信息融合中涉及的补偿时间差进行进一步详细的说明。
以无人驾驶商用汽车为例子，其中传感器包括：组合导航100、相机101、激光雷达102、毫米波雷达103的感知信息为例做出详细介绍。
设置激光雷达102为主传感器，组合导航100、相机101、毫米波雷达103为副传感器。设置ROS时间为统一时钟源，为组合导航100、相机101、激光雷达102、毫米波雷达103授时，即将采集信息的时间赋值给各传感器。感知模块分别对组合导航100、相机101、激光雷达102、毫米波雷达103采集的自车状态、图像、点云、can报文等信息处理并发布。感知模块对相机101采集的信息进行的处理包括但不限于使用计算机视觉技术来解析相机采集的图像，提取出关键的信息；感知模块对激光雷达102采集的数据进行的处理包括但不限于解析每个激光束的反射点，并计算出物体的位置和形状；对毫米波雷达103采集的信息进行的处理包括但不限于去除噪声和杂散信号、解析处理后的数据并准确地计算出障碍物的位置和运动信息。由于本申请不涉及感知模块对传感器采集数据处理部分的改进及优化，为此采用现有的感知模块对数据处理的技术即可，在此不再赘述。
在经过感知模块的信息处理后，得到组合导航100的感知信息、相机101的感知信息、激光雷达102的感知信息、毫米波雷达103的感知信息。这些信息将被融合装置接收并进行信息融合。
激光雷达102设置大小为1的缓冲队列，组合导航100、相机101、毫米波雷达103均设置大小为3的缓冲队列；各传感器感知信息进入缓冲队列，直到融合装置接收到激光雷达102的感知信息；
假设激光雷达采集信息的时间戳为tlidar，将此时接收到激光雷达102的感知信息的ROS时间为tcurrent。对照此时的tlidar，依次从组合导航100、相机101、毫米波雷达103的缓冲队列寻找与其最接近的时间戳tgnss_z(z＝12,3)、tcamera_m(m＝1,2,3)、tradar_n(n＝1,2,3)，以及获取无人驾驶商用车中已存储的航迹最新时间戳ttrack。
在数据关联时需要的更新时间差：首先需要将副传感器采集的信息对应的时间戳与主传感器采集信息的时间戳对齐，并更新副传感器对应的感知信息。其中，相机101需要更新的时间差δlidar_camera＝tlidar-tcamera_m；毫米波雷达103需要更新的时间差δlidar_radar＝tlidar-tradar_n；对于航迹需要更新的额时间差δlidar_track＝tlidar-ttrack。
在信息融合需要的补偿时间差：假设融合装置的算法平均耗时为δfusion，组合导航100需要的补偿时间差δfusion_gnss＝tcurrent-tgnss_z+δfusion；相机101、需要的补偿时间差δfusion_camera＝tcurrent-tcamera_m+δfusion；激光雷达102需要的补偿时间差δfusion_lidar＝tcurrent-tlidar+δfusion；毫米波雷达103需要补偿的时间差δfusion_radar＝tcurrent-tradar_n+δfusion；航迹需要补偿时间差δfusion_track＝tcurrent-ttrack+δfusion。
构建一个障碍物运行状态为匀加速运动的卡尔曼滤波预测模型；进行第一次运动预测：将航迹信息、相机感知信息、毫米波雷达感知信息中障碍物状态信息，根据更新时间差进行障碍物运动和航迹预测，将得到的更新补偿信息中的信息变化量加和到相应传感器对应的感知信息中，得到数据关联需要的信息。
第二次运动预测：将航迹信息、组合导航感知信息、相机感知信息、激光雷达感知信息、毫米波雷达感知信息，根据补偿时间差进行障碍物运动和航迹的预测，将得到的补偿信息中的信息变化量加和到相应传感器对应的感知信息中，将加和后的信息与车辆自身状态信息变化量做差得到信息融合需要的信息数据。
本发明实施例可以根据上述方法示例对电子设备或主控设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图9为本申请实施例提供的融合装置的结构示意图。如图9所示，该融合装置90包括：
信息获取模块901，用于记录接收到主传感器采集获取的第一信息时所对应的时间为第一时间，并获取第一信息中的第一时间戳、无人驾驶车辆中储存的障碍物的航迹时间戳和航迹时间戳所对应的航迹信息；
时间软同步模块902，用于根据第一时间戳对每个副传感器进行时间软同步，得到每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息；
数据预测处理模块903，用于根据第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对第一信息、第二信息和航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息；
信息补偿修正模块904，用于根据补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对第一信息、第二信息和航迹信息进行信息补偿修正，得到待融合障碍物信息和待融合航迹信息；
关联融合模块905，用于根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合。
本实施例提供的融合装置，可执行上述实施例的融合处理方法，其实现原理和技术效果类似，本实施例此处不再赘述。
在前述的基于重载车辆的挡位控制设备的具体实现中，各模块可以被实现为处理器，处理器可以执行存储器中存储的计算机执行指令，使得处理器执行上述的基于重载车辆的挡位控制方法。
图11为本申请实施例提供的电子设备的结构示意图。如图11所示，该电子设备11包括：至少一个处理器111和存储器112。该电子设备11还包括通信部件113。其中，处理器111、存储器112以及通信部件113通过总线114连接。
在具体实现过程中，至少一个处理器111执行存储器112存储的计算机执行指令，使得至少一个处理器111执行如上电子设备侧所执行的融合处理方法。
处理器111的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述针对电子设备以及主控设备所实现的功能，对本发明实施例提供的方案进行了介绍。可以理解的是，电子设备或主控设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的技术方案的范围。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上实施例的方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于电子设备或主控设备中。
本申请还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种基于无人驾驶车辆的融合处理方法，其特征在于，包括：
记录接收到主传感器采集获取的第一信息时所对应的时间为第一时间，并获取所述第一信息中的第一时间戳、所述无人驾驶车辆中储存的障碍物的航迹时间戳和所述航迹时间戳所对应的航迹信息；
根据所述第一时间戳对每个副传感器进行时间软同步，得到所述每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息；
根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对所述第一信息、所述第二信息和所述航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息；
根据所述补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对所述第一信息、第二信息和航迹信息进行信息补偿修正，得到待融合障碍物信息和待融合航迹信息；
根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对所述第一信息、所述第二信息和所述航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，包括：
根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，分别得到所述第一信息对应的第一补偿时间差、所述第二信息对应的第二补偿时间差和所述航迹信息对应的航迹补偿时间差；
采用卡尔曼滤波模型，根据所述第一补偿时间差和第二补偿时间差，对所述第一补偿时间差对应的第一信息和所述第二补偿时间差对应的第二信息进行匀速运动的预测处理，得到补偿障碍物信息和补偿车辆自身状态信息；
采用卡尔曼滤波模型，根据所述航迹补偿时间差，对所述航迹信息进行匀速运动的预测处理，得到补偿航迹信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，分别得到所述第一信息对应的第一补偿时间差、所述第二信息对应的第二补偿时间差和所述航迹信息对应的航迹补偿时间差，包括：
所述第一时间与所述第一时间戳作差后与所述预设的补偿阈值加和得到所述第一补偿时间差；
所述第一时间与所述第二时间戳作差后与所述预设的补偿阈值加和得到所述第二补偿时间差；
所述第一时间与所述航迹时间戳作差后与所述预设的补偿阈值加和得到所述航迹补偿时间差。
4.根据权利要求1所述的方法，其特征在于，所述根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合之前，所述方法包括：
根据所述第一时间戳、通过时间软同步得到的每个副传感器对应的第二时间戳和航迹时间戳，将所述第二信息和所述航迹信息更新至所述第一时间戳，得到待关联障碍物信息和待关联航迹信息；
对由每个副传感器和主传感器获得的所述待关联障碍物信息进行数据关联，得到障碍物关联关系；
对所述待关联障碍物信息和所述待关联航迹信息进行数据关联，得到障碍物与航迹的关联关系。
5.根据权利要求4所述的方法，其特征在于，所述对由每个副传感器和主传感器获得的所述待关联障碍物信息进行数据关联，得到障碍物关联关系，包括：
任意获取对应副传感器或者主传感器的第一待关联障碍物信息和第二待关联障碍物信息中的位置、速度、加速度和运动朝向信息；
根据所述第一待关联障碍物信息和第二待关联障碍物信息中的位置、速度、加速度和运动朝向信息，采用相似度量算法，计算并筛选得到满足预设相似度阈值的第一待关联障碍物信息和第二待关联障碍物信息；
采用匹配算法，得到所述第一待关联障碍物信息和所述第二待关联障碍物信息的障碍物关联关系。
6.根据权利要求4所述的方法，其特征在于，所述对所述待关联障碍物信息和所述待关联航迹信息进行数据关联，得到障碍物与航迹的关联关系，包括：
获取任一所述待关联障碍物信息和任一所述待关联航迹信息中的位置、速度、加速度和运动朝向信息；
根据所述待关联障碍物信息和所述待关联航迹信息中的位置、速度、加速度和运动朝向信息，采用相似度量算法，计算并筛选得到满足预设相似度阈值的待关联障碍物信息和待关联航迹信息；
采用匹配算法，得到所述待关联障碍物信息和所述待关联航迹信息的障碍物与航迹的关联关系。
7.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对所述第一信息、第二信息和航迹信息进行信息补偿，得到待融合障碍物信息和待融合航迹信息，包括：
将所述补偿障碍物信息中障碍物的信息变化量分别补偿到所述第一信息和所述第二信息中相对应的障碍物信息中，并根据所述补偿车辆自身状态信息中的信息变化量对补偿得到的障碍物信息进行修正，得到待融合障碍物信息；
将所述补偿航迹信息中航迹信息的变化量补偿到所述航迹信息中，并根据所述补偿车辆自身状态信息中的信息变化量对所述补偿得到的航迹信息进行修正，得到待融合航迹信息。
8.根据权利要求1至6任一所述的方法，其特征在于，所述根据所述第一时间戳对每个副传感器进行时间软同步，得到所述每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息，包括：
根据所述第一时间戳，获取所述每个副传感器标识对应的缓冲队列中与所述第一时间戳最接近的第二时间戳和所述第二时间戳所对应的第二信息。
9.根据权利要求1至6任一所述的方法，其特征在于，所述根据障碍物关联关系和障碍物与航迹的关联关系，分别实现对待融合障碍物信息和待融合航迹信息的数据融合，包括：
基于各个传感器预设的权重，根据所述障碍物关联关系对所述待关联障碍物信息进行信息加权融合，得到实测障碍物信息；
基于对实测障碍物信息和所述待关联航迹信息预设的权重，根据所述障碍物与航迹的关联关系对包含有所述待关联障碍物信息的实测障碍物信息和所述待关联航迹信息进行信息加权融合，得到最优障碍物信息。
10.一种融合装置，其特征在于，包括：
信息获取模块，记录接收到主传感器采集获取的第一信息时所对应的时间为第一时间，并获取所述第一信息中的第一时间戳、所述无人驾驶车辆中储存的障碍物的航迹时间戳和所述航迹时间戳所对应的航迹信息；
时间软同步模块，根据所述第一时间戳对每个副传感器进行时间软同步，得到所述每个副传感器对应的第二时间戳和第二时间戳所对应的第二信息；
数据预测处理模块，根据所述第一时间、第一时间戳、第二时间戳、航迹时间戳以及预设的补偿阈值，通过预设的卡尔曼滤波模型分别对所述第一信息、所述第二信息和所述航迹信息进行预测处理，得到补偿时间差对应的补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息；
信息补偿修正模块，根据所述补偿障碍物信息、补偿车辆自身状态信息和补偿航迹信息，分别对所述第一信息、第二信息和航迹信息进行信息补偿修正，得到待融合障碍物信息和待融合航迹信息；
关联融合模块，根据障碍物关联关系和障碍物与航迹的关联关系，实现对待融合障碍物信息和待融合航迹信息的数据融合。
11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至9中任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的方法。
CN202311057998.4A 2023-08-21 2023-08-21 一种基于无人驾驶车辆的融合处理方法、装置及介质 Pending CN116902005A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311057998.4A CN116902005A (zh) 2023-08-21 2023-08-21 一种基于无人驾驶车辆的融合处理方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311057998.4A CN116902005A (zh) 2023-08-21 2023-08-21 一种基于无人驾驶车辆的融合处理方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116902005A true CN116902005A (zh) 2023-10-20

Family

ID=88365129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311057998.4A Pending CN116902005A (zh) 2023-08-21 2023-08-21 一种基于无人驾驶车辆的融合处理方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116902005A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Similar Documents

Publication Publication Date Title
Aeberhard et al. High-level sensor data fusion architecture for vehicle surround environment perception
US6718259B1 (en) Adaptive Kalman filter method for accurate estimation of forward path geometry of an automobile
EP2657644B1 (en) Positioning apparatus and positioning method
WO2015053335A1 (ja) 駐車車両検出装置、車両管理システム及び制御方法
CN110781949B (zh) 基于异步式串行多传感器的航迹数据融合方法及存储介质
CN112562405A (zh) 一种雷达视频智能融合与预警方法及系统
CN110929796B (zh) 基于多源传感器决策层数据融合方法、系统及存储介质
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
EP3671272A1 (en) Vehicle sensor fusion based on fuzzy sets
JP6571904B1 (ja) 車載装置、情報処理方法及び情報処理プログラム
CN116902005A (zh) 一种基于无人驾驶车辆的融合处理方法、装置及介质
US11451457B2 (en) Sensor delay time estimation device, sensor delay time estimation method and recording medium
US20220398825A1 (en) Method for generating 3d reference points in a map of a scene
KR20200067506A (ko) 전방위 센서퓨전 장치 및 그의 센서퓨전 방법과 그를 포함하는 차량
CN112313536B (zh) 物体状态获取方法、可移动平台及存储介质
CN115856872A (zh) 一种车辆运动轨迹连续跟踪方法
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
KR101937267B1 (ko) 차량용 트래킹 시스템 및 그것의 동작 방법
Aldrich et al. Low-cost radar for object tracking in autonomous driving: A data-fusion approach
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN111612818A (zh) 新型双目视觉多目标跟踪方法及系统
KR102456151B1 (ko) 레이더 및 카메라 기반의 센서 퓨전 시스템 및 주변 차량의 위치 산출 방법
CN115494494A (zh) 多传感器目标融合方法、装置、电子设备及存储介质
CN113511194A (zh) 一种纵向避撞预警方法及相关装置
US11555913B2 (en) Object recognition device and object recognition method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination