CN115451968A - 智能驾驶的多传感器同步融合方法和装置 - Google Patents

智能驾驶的多传感器同步融合方法和装置 Download PDF

Info

Publication number
CN115451968A
CN115451968A CN202211072161.2A CN202211072161A CN115451968A CN 115451968 A CN115451968 A CN 115451968A CN 202211072161 A CN202211072161 A CN 202211072161A CN 115451968 A CN115451968 A CN 115451968A
Authority
CN
China
Prior art keywords
sensor
flight path
sensors
frame data
latest frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211072161.2A
Other languages
English (en)
Inventor
王潍
段小河
吴雷
吴宏升
史院平
韩志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhitu Technology Co Ltd
Original Assignee
Suzhou Zhitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhitu Technology Co Ltd filed Critical Suzhou Zhitu Technology Co Ltd
Priority to CN202211072161.2A priority Critical patent/CN115451968A/zh
Publication of CN115451968A publication Critical patent/CN115451968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了智能驾驶的多传感器同步融合方法和装置，包括：获取不同类型的多个传感器的最新一帧数据；判断各个传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；如果是，则对各个传感器的最新一帧数据进行时空转换，使各个传感器同步到同一时间和同步到同一坐标原点；确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；将航迹与关联后的传感器的量测进行匹配，得到每条航迹匹配到的所有量测；根据每条航迹匹配到的所有量测构建新的量测；通过新的量测对航迹进行更新；可以提高量测的准确性、减小传感器扰动对系统的影响、准确的匹配目标，同时减小芯片算力的消耗。

Description

智能驾驶的多传感器同步融合方法和装置
技术领域
本发明涉及车辆智能驾驶技术领域，尤其是涉及智能驾驶的多传感器同步融合方法和装置。
背景技术
随着汽车智能化的迅速发展，自动驾驶技术迎来了发展的契机，无人出租车、无人配送车、无人环卫车等多种自动驾驶场景纷纷落地，市面上的大部分电动车也都已经具备了一定水平的自动驾驶功能。传感器作为智能驾驶车辆的眼睛，为车辆提供了丰富的环境数据。不同的传感器发挥着不同的作用，也有各自的优劣势。
现有的技术对繁杂的传感器信息，多采用异步串行的方法进行融合，此方法依据传感器数据流的先后顺序，依次使用不同的传感器数据对目标信息更新。
但是，此方法在融合数据的同时，会将不同传感器的扰动和不可信数据引入融合系统。例如，摄像头优势点在于检测目标类型、长宽高、横向运动等属性，劣势缺点在于检测目标纵向运动属性不准确；毫米波雷达优势在于检测目标纵向运动属性准确，劣势在于检测目标类型、长宽高、横向运动等属性；激光雷达优势在于检测目标横纵向位置、包络线等属性准确，劣势在于目标运动属性不准确。
另外，各种传感器检测目标的属性不同，也给如何判断各个传感器检测到的量测是否属于同一目标带来了挑战。再者，智能驾驶量产的芯片算力有限，异步融合在引入不必要得扰动的同时进行了多次运算，增加了不必要的算力消耗。
发明内容
有鉴于此，本发明的目的在于提供智能驾驶的多传感器同步融合方法和装置，可以提高量测的准确性、减小传感器扰动对系统的影响、准确的匹配目标，同时减小芯片算力的消耗。
第一方面，本发明实施例提供了智能驾驶的多传感器同步融合方法，所述方法包括：
获取不同类型的多个传感器的最新一帧数据；
判断各个所述传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；
如果是，则对各个所述传感器的最新一帧数据进行时空转换，使各个所述传感器同步到同一时间和同步到同一坐标原点；
确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；
将所述航迹与所述关联后的传感器的量测进行匹配，得到每条所述航迹匹配到的所有量测；
根据每条所述航迹匹配到的所有量测构建新的量测；
通过新的量测对所述航迹进行更新。
进一步的，对各个所述传感器的最新一帧数据进行时空转换，使各个所述传感器同步到同一时间和同步到同一坐标原点，包括：
从各个所述传感器中选取主传感器和从传感器；
根据目标运动学方程，将所述从传感器与所述主传感器同步到所述同一时间；
根据坐标旋转平移矩阵，将所述主传感器与所述从传感器同步到所述同一坐标原点。
进一步的，确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器，包括：
确定所述航迹的类型；
根据所述航迹的类型确定所述航迹的属性；
根据所述航迹的属性确定每个属性对应关联门限范围；
如果所述传感器采集的目标均在每个所述属性对应关联门限范围之内，则将所述传感器与航迹关联后，得到所述关联后的传感器。
进一步的，将所述航迹与所述关联后的传感器的量测进行匹配，得到每条所述航迹匹配到的所有量测，包括：
计算所述关联后的每个所述传感器对应的匹配损失函数值；
从所述关联后的每个所述传感器对应的匹配损失函数值中选取最小值；
将所述航迹匹配到所述最小值对应的传感器的量测上。
进一步的，所述方法还包括：
将未匹配到的量测，根据各属性选择优先级表选取最佳量测，并生成新的航迹。
进一步的，所述方法还包括：
当所述航迹在设定时间内没有关联到所述量测时，对所述航迹进行删除操作。
进一步的，获取不同类型的多个传感器的最新一帧数据，包括：
获取所述不同类型的多个传感器的原始数据；
对多个所述传感器的原始数据进行筛选，得到多个所述传感器的最新一帧数据。
第二方面，本发明实施例提供了智能驾驶的多传感器同步融合装置，所述装置包括域控制器，所述域控制器包括同步融合算法单元，所述同步融合算法单元包括：
获取模块，用于获取不同类型的多个传感器的最新一帧数据；
判断模块，用于判断各个所述传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；
时空转换模块，用于当存在区别时，对各个所述传感器的最新一帧数据进行时空转换，使各个所述传感器同步到同一时间和同步到同一坐标原点；
确定模块，用于确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；
匹配模块，用于将所述航迹与所述关联后的传感器的量测进行匹配，得到每条所述航迹匹配到的所有量测；
构建模块，用于根据每条所述航迹匹配到的所有量测构建新的量测；
更新模块，用于通过新的量测对所述航迹进行更新。
第三方面，本发明实施例提供了电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
第四方面，本发明实施例提供了具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如上所述的方法。
本发明实施例提供了智能驾驶的多传感器同步融合方法和装置，包括：获取不同类型的多个传感器的最新一帧数据；判断各个传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；如果是，则对各个传感器的最新一帧数据进行时空转换，使各个传感器同步到同一时间和同步到同一坐标原点；确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；将航迹与关联后的传感器的量测进行匹配，得到每条航迹匹配到的所有量测；根据每条航迹匹配到的所有量测构建新的量测；通过新的量测对航迹进行更新；可以提高量测的准确性、减小传感器扰动对系统的影响、准确的匹配目标，同时减小芯片算力的消耗。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的智能驾驶的多传感器同步融合方法流程图；
图2为本发明实施例二提供的智能驾驶的多传感器同步融合装置示意图；
图3为本发明实施例二提供的另一智能驾驶的多传感器同步融合装置示意图。
图标：
1-同步融合算法单元；11-获取模块；12-判断模块；13-时空转换模块；14-确定模块；15-匹配模块；16-构建模块；17-更新模块；131-毫米波雷达；132-激光雷达；133-摄像头；134-域控制器；135-总线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。
实施例一：
图1为本发明实施例一提供的智能驾驶的多传感器同步融合方法流程图。
参照图1，该方法包括以下步骤：
步骤S101，获取不同类型的多个传感器的最新一帧数据；
步骤S102，判断各个传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；
步骤S103，如果是，则对各个传感器的最新一帧数据进行时空转换，使各个传感器同步到同一时间和同步到同一坐标原点；
步骤S104，确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；
步骤S105，将航迹与关联后的传感器的量测进行匹配，得到每条航迹匹配到的所有量测；
步骤S106，根据每条航迹匹配到的所有量测构建新的量测；
步骤S107，通过新的量测对航迹进行更新。
进一步的，步骤S103包括以下步骤：
步骤S201，从各个传感器中选取主传感器和从传感器；
步骤S202，根据目标运动学方程，将从传感器与主传感器同步到同一时间；
步骤S203，根据坐标旋转平移矩阵，将主传感器与从传感器同步到同一坐标原点。
这里，如果以摄像头、激光雷达和毫米波雷达为例，则可选择摄像头为主传感器，激光雷达和毫米波雷达为从传感器。对各个传感器的最新一帧数据进行时空转换，以确保时间同步和空间同步。其中，坐标原点可以选取前保险杠中心点。
进一步的，步骤S104包括以下步骤：
步骤S301，确定航迹的类型；
步骤S302，根据航迹的类型确定航迹的属性；
步骤S303，根据航迹的属性确定每个属性对应关联门限范围；
步骤S304，如果传感器采集的目标均在每个属性对应关联门限范围之内，则将传感器与航迹关联后，得到关联后的传感器。
具体地，参照如表1所示的量测和航迹关联门限表：
表1
Figure BDA0003829420350000071
βr＝(Px/(Px+MeastLength))θr
βl＝(Px/(Px+MeasLength))θl
(1)
其中，θr为自车前保中心与量测点右边缘点夹角，θl为自车前保中心与量测点左边缘点夹角，βr为最右边一个点与纵轴之间的夹角，βl为最左边一个点与纵轴之间的夹角，MeastLength为量测的长度。
进一步的，步骤S105包括以下步骤：
步骤S401，计算关联后的每个传感器对应的匹配损失函数值；
步骤S402，从关联后的每个传感器对应的匹配损失函数值中选取最小值；
步骤S403，将航迹匹配到最小值对应的传感器的量测上。
具体地，匹配损失函数通过以下方式实现：
Figure BDA0003829420350000081
其中，Tx为航迹的纵向距离，Ty为航迹的横向距离，Tw为航迹的宽度，Ts为航迹的体积，Mw为量测的实际宽度，Ms为量测的体积。
通过匹配损失函数，考虑量测的位姿(位置、速度)、重合度和形状等属性，确保量测与航迹的正确匹配。
多传感器检测到同一目标后，将多个量测构建成一个全新量测的方法。能够有效的避免不同传感器的扰动和不可信数据引入的问题，提高系统的稳定性。
根据每条航迹匹配到的所有量测构建新的量测，包括：确定航迹匹配到的传感器；根据匹配到的传感器的优点和缺点构建各属性选择优先级表；确定航迹的类型；根据航迹的类型确定航迹的属性；根据各属性选择优先级表和航迹匹配到的传感器，确定量测的属性。各属性选择优先级表如表2所示：
表2
量测类型 行人 自行车 车辆 其他
纵向位置 R-L-C R-L-C R-L-C R-L-C
横向位置 C-L-R L-C-R C-L-R C-L-R
纵向速度 R-L-C R-L-C R-L-C R-L-C
横向速度 C-L-R L-C-R C-L-R C-L-R
纵向加速度 R-L-C R-L-C R-L-C R-L-C
横向加速度 C-L-R L-C-R C-L-R C-L-R
量测类型 C-L-R C-L-R C-L-R C-L-R
量测宽度 L-C-R L-C-R L-C-R L-C-R
此处以摄像头、激光雷达和毫米波雷达为例构建的各属性选择优先级表。在表2中，R为毫米波雷达，L为激光雷达，C为摄像头；R-L-C为如果航迹匹配三种传感器量测，则优先选择R为量测的属性，如果未匹配到R则次选L为量测的属性，如果只有摄像头匹配到了则选择C为量测的属性，其他的排序逻辑相同。
进一步的，该方法还包括以下步骤：
步骤S501，将未匹配到的量测，根据各属性选择优先级表选取最佳量测，并生成新的航迹。
进一步的，该方法还包括以下步骤：
步骤S601，当航迹在设定时间内没有关联到量测时，对航迹进行删除操作。
进一步的，步骤S101包括以下步骤：
步骤S701，获取不同类型的多个传感器的原始数据；
步骤S702，对多个传感器的原始数据进行筛选，得到多个传感器的最新一帧数据。
这里，不同类型的多个传感器包括但不限于摄像头、激光雷达和毫米波雷达，通过获取上述传感器采集的原始数据，各传感器检测算法单元对数据进行处理。将处理完成的数据传输给同步融合算法单元。
本申请中，通过多传感器的同步融合方法，传感器配置至少包括不同类型的两种传感器。通过综合考虑各个传感器的优劣势，提供一种新量测以供算法更新使用，同时减少的计算量，降低了芯片算力的消耗。
通过一个关联门内多量测的匹配损失函数，考虑量测的位姿(位置、速度)、重合度、形状等属性，确保量测与航迹的正确匹配。
当多传感器检测到同一目标后，将多个量测构建成一个新的量测；能够有效的避免不同传感器的扰动和不可信数据引入的问题，提高系统的稳定性。
通过传感器和域控制器的感知设备，传感器配置至少包括不同类型的两种传感器。为整个方案的实施和呈现提供了平台。
实施例二：
图2为本发明实施例二提供的智能驾驶的多传感器同步融合装置示意图。
参照图2，该装置包括域控制器，域控制器包括同步融合算法单元，同步融合算法单元1包括：
获取模块11，用于获取不同类型的多个传感器的最新一帧数据；
判断模块12，用于判断各个传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；
时空转换模块13，用于当存在区别时，对各个传感器的最新一帧数据进行时空转换，使各个传感器同步到同一时间和同步到同一坐标原点；
确定模块14，用于确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；
匹配模块15，用于将航迹与关联后的传感器的量测进行匹配，得到每条航迹匹配到的所有量测；
构建模块16，用于根据每条航迹匹配到的所有量测构建新的量测；
更新模块17，用于通过新的量测对航迹进行更新。
参照图3，以摄像头133为第一传感器，以激光雷达132为第二传感器，以毫米波雷达131为第三传感器。域控制器134包括：视觉检测算法单元，用于检测目标对象的属性，同时检测道路车道线；激光雷达检测算法单元，用于检测目标对象的属性；毫米波雷达检测算法单元，用于检测目标对象的属性；同步融合算法单元，用于处理全部的传感器数据；决策控制算法单元，用于车辆行为决策和运动控制。
本申请使用摄像头133、激光雷达132、毫米波雷达131三个传感器为例进行阐述，且三种传感器检测区域相互重叠。摄像头133、激光雷达132、毫米波雷达131通过总线135与域控制器134相连接。但是，本申请的技术方案并不会限制传感器数量和传感器类型，因为每一类传感器都有其优劣势，包括但不限于以上三种传感器。
本发明实施例提供了智能驾驶的多传感器同步融合方法和装置，包括：获取不同类型的多个传感器的最新一帧数据；判断各个传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；如果是，则对各个传感器的最新一帧数据进行时空转换，使各个传感器同步到同一时间和同步到同一坐标原点；确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；将航迹与关联后的传感器的量测进行匹配，得到每条航迹匹配到的所有量测；根据每条航迹匹配到的所有量测构建新的量测；通过新的量测对航迹进行更新；可以提高量测的准确性、减小传感器扰动对系统的影响、准确的匹配目标，同时减小芯片算力的消耗。
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的智能驾驶的多传感器同步融合方法的步骤。
本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，计算机可读介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的智能驾驶的多传感器同步融合方法的步骤。
本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种智能驾驶的多传感器同步融合方法，其特征在于，所述方法包括：
获取不同类型的多个传感器的最新一帧数据；
判断各个所述传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；
如果是，则对各个所述传感器的最新一帧数据进行时空转换，使各个所述传感器同步到同一时间和同步到同一坐标原点；
确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；
将所述航迹与所述关联后的传感器的量测进行匹配，得到每条所述航迹匹配到的所有量测；
根据每条所述航迹匹配到的所有量测构建新的量测；
通过所述新的量测对所述航迹进行更新。
2.根据权利要求1所述的智能驾驶的多传感器同步融合方法，其特征在于，对各个所述传感器的最新一帧数据进行时空转换，使各个所述传感器同步到同一时间和同步到同一坐标原点，包括：
从各个所述传感器中选取主传感器和从传感器；
根据目标运动学方程，将所述从传感器与所述主传感器同步到所述同一时间；
根据坐标旋转平移矩阵，将所述主传感器与所述从传感器同步到所述同一坐标原点。
3.根据权利要求1所述的智能驾驶的多传感器同步融合方法，其特征在于，确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器，包括：
确定所述航迹的类型；
根据所述航迹的类型确定所述航迹的属性；
根据所述航迹的属性确定每个属性对应关联门限范围；
如果所述传感器采集的目标均在每个所述属性对应关联门限范围之内，则将所述传感器与航迹关联后，得到所述关联后的传感器。
4.根据权利要求1所述的智能驾驶的多传感器同步融合方法，其特征在于，将所述航迹与所述关联后的传感器的量测进行匹配，得到每条所述航迹匹配到的所有量测，包括：
计算所述关联后的每个所述传感器对应的匹配损失函数值；
从所述关联后的每个所述传感器对应的匹配损失函数值中选取最小值；
将所述航迹匹配到所述最小值对应的传感器的量测上。
5.根据权利要求1所述的智能驾驶的多传感器同步融合方法，其特征在于，所述方法还包括：
将未匹配到的量测，根据各属性选择优先级表选取最佳量测，并生成新的航迹。
6.根据权利要求1所述的智能驾驶的多传感器同步融合方法，其特征在于，所述方法还包括：
当所述航迹在设定时间内没有关联到所述量测时，对所述航迹进行删除操作。
7.根据权利要求1所述的智能驾驶的多传感器同步融合方法，其特征在于，获取不同类型的多个传感器的最新一帧数据，包括：
获取所述不同类型的多个传感器的原始数据；
对多个所述传感器的原始数据进行筛选，得到多个所述传感器的最新一帧数据。
8.一种智能驾驶的多传感器同步融合装置，其特征在于，所述装置包括域控制器，所述域控制器包括同步融合算法单元，所述同步融合算法单元包括：
获取模块，用于获取不同类型的多个传感器的最新一帧数据；
判断模块，用于判断各个所述传感器的最新一帧数据对应的时间戳与上一周期的时间戳是否存在区别；
时空转换模块，用于当存在区别时，对各个所述传感器的最新一帧数据进行时空转换，使各个所述传感器同步到同一时间和同步到同一坐标原点；
确定模块，用于确定不同类型目标的关联门限，并与航迹进行关联，得到关联后的传感器；
匹配模块，用于将所述航迹与所述关联后的传感器的量测进行匹配，得到每条所述航迹匹配到的所有量测；
构建模块，用于根据每条所述航迹匹配到的所有量测构建新的量测；
更新模块，用于通过所述新的量测对所述航迹进行更新。
9.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一项所述的方法。
CN202211072161.2A 2022-09-02 2022-09-02 智能驾驶的多传感器同步融合方法和装置 Pending CN115451968A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211072161.2A CN115451968A (zh) 2022-09-02 2022-09-02 智能驾驶的多传感器同步融合方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211072161.2A CN115451968A (zh) 2022-09-02 2022-09-02 智能驾驶的多传感器同步融合方法和装置

Publications (1)

Publication Number Publication Date
CN115451968A true CN115451968A (zh) 2022-12-09

Family

ID=84300990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211072161.2A Pending CN115451968A (zh) 2022-09-02 2022-09-02 智能驾驶的多传感器同步融合方法和装置

Country Status (1)

Country Link
CN (1) CN115451968A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454316A (zh) * 2023-12-25 2024-01-26 安徽蔚来智驾科技有限公司 多传感器的数据融合方法、存储介质及智能设备
CN117953459A (zh) * 2024-03-25 2024-04-30 安徽蔚来智驾科技有限公司 感知融合结果获取方法、可读存储介质及智能设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117454316A (zh) * 2023-12-25 2024-01-26 安徽蔚来智驾科技有限公司 多传感器的数据融合方法、存储介质及智能设备
CN117454316B (zh) * 2023-12-25 2024-04-26 安徽蔚来智驾科技有限公司 多传感器的数据融合方法、存储介质及智能设备
CN117953459A (zh) * 2024-03-25 2024-04-30 安徽蔚来智驾科技有限公司 感知融合结果获取方法、可读存储介质及智能设备

Similar Documents

Publication Publication Date Title
CN115451968A (zh) 智能驾驶的多传感器同步融合方法和装置
CN113139607B (zh) 障碍物检测方法和装置
JP2013530435A (ja) 自動車のための車道推移を求める方法
CN110834642B (zh) 车辆跑偏识别方法、装置、车辆及存储介质
CN115993597A (zh) 一种视觉雷达感知融合方法及终端设备
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
US20150294453A1 (en) Image analysis apparatus mounted to vehicle
WO2019073024A1 (en) WAY DETECTION METHOD
JP2009175929A (ja) ドライバ状態推定装置及びプログラム
CN114842445A (zh) 基于多途径融合的目标检测方法、装置、设备及介质
CN112964264A (zh) 道路边沿检测方法、装置、高精度地图、车辆及存储介质
JP4760274B2 (ja) 地図更新装置
JP2020003463A (ja) 自車位置推定装置
CN114475593B (zh) 行驶轨迹预测方法、车辆及计算机可读存储介质
CN111947669A (zh) 用于将基于特征的定位地图用于车辆的方法
JP2009145951A (ja) ドライバ状態推定装置及びプログラム
CN112036422A (zh) 一种基于多传感器信息融合的航迹管理方法、系统及计算机可读介质
CN112200240B (zh) 一种多传感器目标数据融合方法、系统及计算机可读存储介质
CN111959515A (zh) 一种基于视觉检测的前向目标选择方法、装置及系统
JP6185327B2 (ja) 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置
CN113325415B (zh) 车辆雷达数据和相机数据的融合方法及系统
CN113203424B (zh) 多传感器的数据融合方法、装置及相关设备
JP6132808B2 (ja) 認識装置
CN110969058B (zh) 用于环境目标的融合方法及装置
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination