CN113203424B - 多传感器的数据融合方法、装置及相关设备 - Google Patents

多传感器的数据融合方法、装置及相关设备 Download PDF

Info

Publication number
CN113203424B
CN113203424B CN202110746666.1A CN202110746666A CN113203424B CN 113203424 B CN113203424 B CN 113203424B CN 202110746666 A CN202110746666 A CN 202110746666A CN 113203424 B CN113203424 B CN 113203424B
Authority
CN
China
Prior art keywords
detection
data
sensor
determining
detection object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110746666.1A
Other languages
English (en)
Other versions
CN113203424A (zh
Inventor
邢昊桐
高海
梁晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Shanghai ICT Co Ltd
CM Intelligent Mobility Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Shanghai ICT Co Ltd, CM Intelligent Mobility Network Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202110746666.1A priority Critical patent/CN113203424B/zh
Publication of CN113203424A publication Critical patent/CN113203424A/zh
Application granted granted Critical
Publication of CN113203424B publication Critical patent/CN113203424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Abstract

本申请提供了一种多传感器的数据融合方法、装置及相关设备，所述方法包括：获取N个传感器发送的检测数据，N个传感器被划分为M个传感器组，每个传感器组包括至少一个传感器，M小于等于N，N和M均为正整数；将任一传感器组对应的多个检测数据进行数据融合，得到传感器组对应的第一融合数据；将M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。本申请实施例中，并不需要对不同传感器之间进行标定即可实现不同传感器对应的检测数据的融合，避免因传感器之间的标定误差而导致数据融合结果的错误，以此提高了多传感器数据融合结果的准确性。

Description

多传感器的数据融合方法、装置及相关设备
技术领域
本发明实施例涉及自动驾驶领域，尤其涉及一种多传感器的数据融合方法、装置及相关设备。
背景技术
在自动驾驶领域，汽车的自动泊车和自动驾驶等功能在很大程度上是依靠多个传感器来实现的，将多个传感器的数据融合，可以使用数据融合后的信息更加准确地感知周围的环境。
目前，需要提前将多个传感器标定，这样，在数据融合的过程中，进行不同传感器之间的数据转换。例如，若需要将摄像头的数据与雷达的数据进行融合，则需要提前将摄像机的转换矩阵和激光雷达的转换矩阵进行标定。
然而，对不同传感器之间进行标定的精度要求较高，若传感器之间的标定存在误差，则可能生成错误的多传感器数据融合结果。
发明内容
本发明实施例提供一种多传感器的数据融合方法、装置及相关设备，以解决因不同传感器之间进行标定的精度要求较高，在数据融合过程中，容易导致数据融合的结果不够准确的计算问题。
为解决上述问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种多传感器的数据融合方法，由终端执行，所述方法包括：
获取N个传感器发送的检测数据，所述N个传感器被划分为M个传感器组，每个所述传感器组包括至少一个传感器，M小于等于N，N和M均为正整数；
将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据；
将所述M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。
第二方面，本发明实施例还提供一种终端，包括：
第一收发器，用于获取N个传感器发送的检测数据，所述N个传感器被划分为M个传感器组，每个所述传感器组包括至少一个传感器，M小于等于N，N和M均为正整数；
第一融合模块，用于将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据；
第二融合模块，用于将所述M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。
第三方面，本发明实施例还提供一种设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。
第四方面，本发明实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如前述第一方面所述方法中的步骤。
本申请实施例中，对传感器进行了分组，将N个传感器分为M个传感器组。在获取到N个传感器发送的检测数据后，先将属于同一传感器组的多个传感器对应的检测数据进行数据融合，得到该传感器组对应的第一融合数据；再将M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。本申请实施例中，并不需要对不同传感器之间进行标定即可实现不同传感器对应的检测数据的融合，避免因传感器之间的标定误差而导致数据融合结果的错误，以此提高了多传感器数据融合结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的多传感器的拓扑结构的示意图之一；
图2是本发明实施例提供的多传感器的数据融合方法的流程示意图；
图3是本发明实施例提供的多传感器的拓扑结构的示意图之二；
图4是本发明实施例提供的多传感器的拓扑结构的示意图之三；
图5是本发明实施提供的终端的结构示意图；
图6是本发明实施提供的设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，本申请中使用“和/或”表示所连接对象的至少其中之一，例如A和/或B和/或C，表示包含单独A，单独B，单独C，以及A和B都存在，B和C都存在，A和C都存在，以及A、B和C都存在的7种情况。
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本申请实施例提供的多传感器的数据融合方法可以应用于自动驾驶领域，在本申请实施例提供的多传感器的数据融合方法的应用场景中，可以预先设定多传感器的拓扑结构，基于多传感器的拓扑结构，进行多传感器的数据融合。
请参阅图1，图1是本发明实施例提供的多传感器的拓扑结构的示意图之一。应理解，本申请实施例还可以应用在不同于图1的场景中，在此不做具体限定。
在图1所示的场景中，多传感器的数量为13个，分别为传感器11、传感器12、传感器13、传感器14、传感器21、传感器22、传感器23、传感器31、传感器32、传感器33、传感器41、传感器42和传感器43。
其中，多传感器包括但不限于摄像头和雷达，雷达包括但不限于激光雷达和毫米波雷达。
图1所示的场景中，可以预先将这13个传感器安装在各个路口，通过实时动态（Real - time kinematic，RTK）技术获取各个传感器的经度、维度、海拔高度和夹角，该夹角可以理解为是传感器中心线朝向与正北方向的夹角；通过激光测距仪，获取各个传感器的离地高度。可以将传感器对应的经度、维度、海拔高度、夹角和离地高度作为该传感器对应的外参数。应理解，上述传感器的外参数也可以是预先设置参数。
对于一个传感器而言，该传感器对于检测到的检测对象存在一个对应的置信度数值。例如，摄像头检测到了一辆公交车，且该公交车对应的置信度数值为80%，则可以理解为摄像头检测到的检测对象有80%的概率为公交车。
这里，可以设定一个置信度阈值，根据该置信度阈值确定传感器的检测范围，其中，上述置信度阈值为一个经验阈值。具体而言，将传感器对应的置信度数值达到置信度阈值的最大范围，确定为该传感器的检测范围。
应理解，上述传感器的检测范围也可以是预先设置的范围，或者，也可以通过其他方式确定传感器的检测范围。
进一步的，可以基于各个传感器的外参数，构建多传感器的拓扑关系。
如图1所示，在图1所示的场景中，可以基于各个传感器的经度和维度，构建二维KD树，以此构建多传感器的拓扑关系，其中，KD树是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。
以下，结合图1，说明具体说明如何构建多传感器的拓扑关系：
确定多传感器的数量为N1，以及传感器组的组数N2，其中，N2为N1开跟号并根据四舍五入取整得到的整数值。
计算N1与N2的平方之间的差值结果N3，若N3大于0，则设置前N3个传感器组中传感器的数量为N2+1，其余传感器组中传感器的数量为N2；若N3小于等于0，则确定N3的绝对值N4，设置前N4个传感器组中传感器的数量为N2-1，其余传感器组中传感器的数量为N2。
如图1所示，图1中传感器的数量为13，即N1=13；N2是N1开跟号并根据四舍五入取整得到的整数值为4，则可以得到N3为-3，这样，设置第1个传感器组至第3个传感器组包括3个传感器，设置第4个传感器组包括4个传感器。
在图1所示的场景中，可以根据传感器的坐标位置确定各个传感器组中包括的传感器。例如，在图1所示的场景中，可以将所有传感器中坐标位置最靠有的传感器33确定为第一起始传感器，将与第一起始传感器距离最近的2个传感器，即传感器32和传感器31，与该第一起始传感器作为第一传感器组，进而将除上述三个传感器外，坐标位置最靠右的传感器确定为第二起始传感器，通过上述相同的方式，确定第二传感器组，进而确定各个传感器组。
基于上述多传感器的拓扑关系，可以充分利用各个传感器的检测范围，对于所有传感器整体覆盖范围完成数据的整合和处理。
进一步的，在图1所示的场景中，可以将13个传感器分为4组，且第1组包括4个传感器，第2组至第4组包括3个传感器。
应理解，在其他场景中，可以基于除KD树之外的拓扑结构建立多传感器的拓扑关系，在此不做具体限定。
参见图2，图2是本发明实施例提供的多传感器的数据融合方法的流程示意图。图2所示的多传感器的数据融合方法可以由终端执行。
如图2所示多传感器的数据融合方法可以包括以下步骤：
步骤101，获取N个传感器发送的检测数据。
上述检测数据与检测对象一一对应，且检测数据与检测时刻一一对应，即传感器在一个检测时刻内，只能检测到一个检测对象。
上述检测数据包括但不限于检测对象坐标和检测信息，检测信息包括但不限于检测类型、角度信息、尺寸信息和速度信息，其中，上述检测对象坐标表征检测对象的大地坐标，关于上述检测信息的具体内容请参阅后续实施例。
本步骤中，传感器可以使用目标检测算法对检测范围内的检测对象进行识别，得到检测数据，并将上述检测数据发送至终端。其中，上述目标检测算法包括但不限于R-CNN演变算法、SPP-Net算法、YOLO检测算法和SSD算法。
步骤102，将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据。
本步骤中，将属于同一传感器组的多个检测数据进行数据融合，得到每一传感器组对应的第一融合数据。
其中，数据融合是指对多个检测数据进行交集运算和/或对多个检测数据进行并集运算，将交集运算结果和/或并集运算结果作为对多个检测数据进行数据融合后的第一融合数据。
例如，在图1所示的场景中包括有4个传感器组，其中，第1个传感器组包括4个传感器，第2个传感器组至第4个传感器组均包括3个传感器，这样，先对各个传感器组对应的多个检测数据进行数据融合，得到了第1个传感器组对应的第一融合数据、第2个传感器组对应的第一融合数据、第3个传感器组对应的第一融合数据、以及第4个传感器组对应的第一融合数据。
具体的，如何将任一传感器组对应的多个检测数据进行数据融合的技术方案请参阅后续实施例。
步骤103，将M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。
本步骤中，在得到每个传感器组对应的第一融合数据后，将上述第一融合数据进行数据融合，得到第二融合数据，其中，第二融合数据也可以理解为是多传感器的数据融合结果。
例如，在图1所示的场景中包括有4个传感器组，每个传感器组对应一个第一融合数据，则将这4个第一融合数据进行数据融合，得到第二融合数据。
具体的，如何将多个第一融合数据进行数据融合的技术方案请参阅后续实施例。
本申请实施例中，对传感器进行了分组，将N个传感器分为M个传感器组。在获取到N个传感器发送的检测数据后，先将属于同一传感器组的多个传感器对应的检测数据进行数据融合，得到该传感器组对应的第一融合数据；再将M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。本申请实施例中，并不需要对不同传感器之间进行标定即可实现不同传感器对应的检测数据的融合，避免因传感器之间的标定误差而导致数据融合结果的错误，以此提高了多传感器数据融合结果的准确性。
应理解，传感器检测到的数据中可能换存在噪声，因此终端需要对传感器发送的数据进行降噪处理。
以下，提供一种对检测数据进行修正，以去除检测数据中的干扰噪声的方式：
可选地，所述获取N个传感器发送的检测数据，包括：
在每一个检测时刻获取所述传感器发送的第一检测数据和待修正数据；
所述获取N个传感器发送的检测数据之后，所述方法还包括：
确定所述待修正数据对应的预测数据；
利用所述预测数据对所述待修正数据进行修正，得到修正后的第二检测数据。
上述第一检测数据为传感器在起始检测时刻检测得到的数据；待修正数据为传感器在非起始检测时刻检测得到的数据。
上述预测数据对应的检测时刻先于待修正数据对应的检测时刻。
本实施例中，终端在每一个检测时刻获取传感器发送的第一检测数据和待修正数据，可选地，一个检测时刻对应1秒，即上述第一检测数据为传感器在第1秒时检测到的数据。
可选地，预测数据对应的检测时刻为待修正数据的上一检测时刻，即若一待修正数据对应的检测时间为第2秒，则该待修正数据对应的预测数据的检测时间为第1秒。
以下，具体说明如何确定待修正数据对应的预测数据：
可选地，所述确定所述待修正数据对应的预测数据包括：
将第一向量与第一预设矩阵的乘积结果，确定为第三向量；将第二向量与第二预设矩阵的乘积结果，确定为第一乘积结果；将所述第一乘积结果与第三预设矩阵的乘积结果，确定为第二乘积结果；将所述第二乘积结果与第四预设矩阵的和值，确定为第四向量。
应理解，待修正数据包括第一向量和第二向量，其中，第一向量表征检测对象的经度信息和维度信息，第二向量表征检测对象的运动速度信息。
应理解，预测数据包括第三向量和第四向量。
将第一向量与第一预设矩阵的乘积结果，确定为第三向量。其中，第一预设矩阵与传感器的检测时间间隔相关。
可选地，第一预设矩阵为：
Figure 981869DEST_PATH_IMAGE001
其中， dt为传感器的检测时间间隔。
将第二向量与第二预设矩阵的乘积结果，确定为第一乘积结果。其中，第二预设矩阵为所述第一预设矩阵的倒置矩阵。
将第一乘积结果与第三预设矩阵的乘积结果，确定为第二乘积结果。可选地，第三预设矩阵为：
Figure 592979DEST_PATH_IMAGE002
将第二乘积结果与第四预设矩阵的和值，确定为第四向量。其中，第四预设矩阵与待修正数据对应的检测对象的运动速度相关。
可选地，第四预设矩阵为：
Figure 212179DEST_PATH_IMAGE003
其中，dt为传感器的检测时间间隔，
Figure DEST_PATH_IMAGE004
为检测对象的加速度，
Figure 167628DEST_PATH_IMAGE005
为检测对象在水平方向的加速度，
Figure DEST_PATH_IMAGE006
为检测对象在垂直方向的加速度，检测数据中包括有上述
Figure 854611DEST_PATH_IMAGE004
、
Figure 585807DEST_PATH_IMAGE005
、和
Figure 641487DEST_PATH_IMAGE006
的数值信息。
以下，具体说明如何利用预测数据中的第三向量和第四向量，对待修正数据进行修正，得到修正后的第二检测数据。其中，修正后的第二检测数据包括修正后的第一向量和修正后的第二向量。
Figure 458134DEST_PATH_IMAGE007
Pk=(I -KH)P'
Figure DEST_PATH_IMAGE008
Figure 883561DEST_PATH_IMAGE009
Figure DEST_PATH_IMAGE010
其中，Xk为修正后的第一向量，Pk为修正后的第二向量，
Figure 826853DEST_PATH_IMAGE011
为第三向量，
Figure DEST_PATH_IMAGE012
为第四向量，H为第四预设矩阵，
Figure 850172DEST_PATH_IMAGE013
为第四预设矩阵的倒置矩阵，R是一个表示传感器的不确定度的预设数值，z是一个表示传感器的观测值的预设数值，I表示单位矩阵。
可选地，第四预设矩阵为：
Figure DEST_PATH_IMAGE014
这样，使用上述公式对第三向量和第四向量进行计算，可以得到修正后的第二检测数据。
应理解，在一些可能的实施例中，也可以使用其他方式对检测数据进行修正，在此不做任何限定。
可选地，所述将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据包括：
获取第一融合子数据；获取第二融合子数据；对所述第一融合子数据和所述第二融合子数据进行融合，得到所述第一融合数据。
上述第一融合子数据为传感器组中多个第一传感器对应的多个检测数据的融合结果，其中，多个第一传感器的检测区域部分重叠。
例如，请参阅图3，如图3所示，传感器11的检测区域与传感器12的检测区域部分重叠。这种情况下，传感器11和传感器12对应的检测对象可能为同一检测对象，因此将传感器11的检测数据与传感器12的检测数据进行交集运算，得到第一融合子数据。
具体的如何获取第一融合子数据的方式，请参阅后续实施例。
上述第二融合子数据为传感器组中第二传感器的检测数据并集结果，其中，第二传感器的检测区域与传感器组中的其他传感器的检测区域不重叠。
例如，请参阅图3，如图3所示，传感器13和传感器14属于同一传感器组，且这两个传感器的检测区域与其他传感器的检测区域不重叠，这种情况下，可以将这两个传感器的检测结果做并集运算，将并集结果确定为第二融合子数据。
在得到第一融合子数据和第二融合子数据之后，对第一融合子数据和第二融合子数据做并集运算，将并集运算的结构作为第一融合数据。
可选地，所述获取第一融合子数据包括：
确定第三传感器对应的K个检测对象，以及第四传感器对应的L个检测对象；基于所述K个检测对象和所述L个检测对象，确定目标检测对象；将所述第三传感器对应的第三检测数据和所述第四传感器对应的第四检测数据进行交集运算，得到所述第一融合子数据。
以下结合图3对本实施例进行阐述。
如图3所示，传感器11的检测区域与传感器12的检测区域部分重叠，这里，可以将传感器11称为第三传感器，将传感器12称为第四传感器。
确定传感器11对应的K个检测对象，以及传感器12对应的L个检测对象。并确定上述K个检测对象和上述L个检测对象中的同一检测对象，将该同一检测对象称为目标检测对象。
例如，传感器11和传感器12均检测到了同一公交车，则可以将该公交车确定为目标检测对象。
将传感器11的多个检测数据中与上述目标检测对象对应的检测数据称为第三检测数据，将传感器12的多个检测数据中与上述目标检测对象对应的检测数据称为第四检测数据。其中，第三检测数据和第四检测数据对应的检测对象均为目标检测对象。
对上述第三检测数据和上述第四检测数据进行交集运算，将交集运算结果作为第三检测数据与第四检测数据的数据融合结果，该数据融合结果即为第一融合子数据。
例如，将传感器11检测到的该公交车的坐标信息，与传感器12检测到的该公交车的坐标信息进行交集运算，将运算结果作为第一融合子数据。
可选地，所述基于所述K个检测对象和所述L个检测对象，确定目标检测对象包括：
确定所述K个检测对象的K个第一坐标，以及所述L个检测对象的L个第二坐标；计算每个所述第一坐标与每个所述第二坐标的坐标距离值；从所述坐标距离值中确定目标距离值；将所述第一目标坐标对应的检测对象确定为第一候选检测对象，将所述第二目标坐标对应的检测对象确定为第二候选检测对象；根据所述第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
以下结合图3对本实施例进行阐述。
如图3所示，传感器11的检测区域与传感器12的检测区域部分重叠，这里，可以设定传感器11检测到K个检测对象，传感器12检测到L个检测对象。
本实施例中，确定传感器11检测到的K个检测对象中每个检测对象对应的坐标，将这部分坐标称为第一坐标。确定传感器12检测到的L个检测对象中每个检测对象对应的坐标，将这部分坐标称为第二坐标，其中，检测数据中包括检测对象的坐标信息。
计算每个第一坐标与每个第二坐标的坐标距离值，其中，上述坐标距离值可以是第一坐标与第二坐标之间的差值，或者，可以是第二坐标与第一坐标之间的差值。本实施例中还预设有距离阈值，将数值小于该距离阈值的坐标距离值确定为目标距离值。
容易理解的是，目标距离值是数值小于预设的距离阈值的坐标距离值，基于上述阐述过的生成坐标距离值的原理，坐标距离值可以由传感器11检测到的某一检测对象对应的第一坐标和传感器12检测到的某一检测对象对应的第二坐标生成。这里，可以将第一目标坐标对应的检测对象确定为第一候选检测对象，将第二目标坐标对应的检测对象确定为第二候选检测对象。
本实施例中，获取第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，根据第一检测信息和第二检测信息确定第一候选检测对象和第二候选检测对象为同一检测对象，其中，检测信息包括但不限于检测类型、角度信息、尺寸信息和速度信息。
可选地，所述根据所述第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象包括：
根据所述第一候选检测对象的检测类型和所述第二候选检测对象的检测类型，确定第一计算因子。
本实施例中，若第一候选检测对象的检测类型与第二候选检测对象的检测类型一致，则可以确定第一计算因子为1；若第一候选检测对象的检测类型与第二候选检测对象的检测类型不一致，则可以确定第一计算因子为0.5。
根据所述第一候选检测对象的角度信息和所述第二候选检测对象的角度信息，确定第二计算因子。
本实施例中，可以基于第一候选检测对象的角度信息和第二候选检测对象的角度信息，确定第一候选检测对象与第二候选检测对象之间的角度差，将该角度差的余弦值确定为第二计算因子。
根据所述第一候选检测对象的尺寸信息和所述第二候选检测对象的尺寸信息，确定第三计算因子。
上述尺寸信息包括长度、高度和宽度。
这里，可以将第一候选检测对象对应的高度称为第一高度，第二候选检测对象对应的高度称为第二高度；第一候选检测对象对应的宽度称为第一宽度，第二候选检测对象对应的宽度称为第二宽度；第一候选检测对象对应的长度称为第一长度，第二候选检测对象对应的长度称为第二长度。
本实施例中，可以通过下述公式计算第三计算因子：
Wsize=Wl*Ww*Wh
Wl=(l-deltal)/l
Ww=(w-deltaw)/w
Wh=(h-deltah)/h
其中，Wsize为第三计算因子，Wl为长度因子，Ww为宽度因子，Wh为高度因子，l为第一长度和第二长度中的较大值，deltal为第一长度和第二长度的差值，w为第一宽度和第二宽度中的较大值，deltaw为第一宽度和第二宽度的差值，h为第一高度和第二高度中的较大值，deltah为第一高度和第二高度的差值。
根据所述第一候选检测对象的速度信息和所述第二候选检测对象的速度信息，确定第四计算因子。
本实施例中，可以将第一候选检测对象对应的速度称为第一速度，将第二候选检测对象对应的速度称为第二速度，可以通过下述公式计算第四计算因子：
Wv=(v-deltav)/v
其中，Wv为第四计算因子，v为第一速度和第二速度中的较大值，deltav为第一速度和第二速度的差值。
将所述第一计算因子、第二计算因子、第三计算因子和第四计算因子的乘积结果，确定为计算值。
在得到第一计算因子、第二计算因子、第三计算因子和第四计算因子后，将上述四个计算因子的乘积结果，确定为计算值。
在所述计算值大于第二预设阈值的情况下，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
本实施例中，还设置有第二预设阈值，在计算值大于第二预设阈值的情况下，表示第一候选检测对象和第二候选检测对象为同一检测对象，这样，可以对第一检测数据和第二检测数据进行数据融合。
可选地，所述将所述M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据包括：
获取第三融合子数据，其中，所述第三融合子数据为多个第一传感器组对应的多个检测数据的融合结果，所述多个第一传感器组的检测区域部分重叠；
获取第四融合子数据，其中，所述第四融合子数据为第二传感器组的检测数据并集结果；所述第二传感器组的检测区域与其他传感器组的检测区域不重叠；
对所述第三融合子数据和所述第四融合子数据进行融合，得到所述第二融合数据。
以下，结合图4对本实施例进行阐述。
请参阅图4，如图4所示，传感器组10的检测范围与传感器组20的检测范围部分重叠，这种情况下，可以将传感器组10和传感器组20称为第一传感器组。
对传感器组10对应的多个检测数据和传感器组20对应的多个检测数据进行数据融合，得到第三融合子数据。具体的数据融合的方式，与上述对传感器11的检测数据和传感器12的检测数据进行数据融合一致，在此不做重复阐述。
如图4所示，传感器组30的检测范围与传感器组40的检测范围不重叠，这种情况下，可以将传感器组30和传感器组40称为第二传感器组。
对传感器组30对应的多个检测数据和传感器组40对应的多个检测数据进行数据融合，得到第四融合子数据。具体的数据融合的方式，与上述对传感器13的检测数据和传感器14的检测数据进行数据融合一致，在此不做重复阐述。
在得到第三融合子数据和第四融合子数据之后，对第三融合子数据和第四融合子数据做并集运算，将并集运算的结构作为第二融合数据。
参见图5，图5是本发明实施例提供的终端的结构示意图。如图5所示，终端200包括：
第一收发器201，用于获取N个传感器发送的检测数据；
第一融合模块202，用于将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据；
第二融合模块203，用于将所述M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据。
可选地，所述第一收发器201，还包括：
获取单元，用于在每一个检测时刻获取所述传感器发送的第一检测数据和待修正数据；
确定单元，用于确定所述待修正数据对应的预测数据；
修正单元，用于利用所述预测数据对所述待修正数据进行修正，得到修正后的第二检测数据。
可选地，所述确定单元，还用于：
将第一向量与第一预设矩阵的乘积结果，确定为第三向量；
将第二向量与第二预设矩阵的乘积结果，确定为第一乘积结果；
将所述第一乘积结果与第三预设矩阵的乘积结果，确定为第二乘积结果；
将所述第二乘积结果与第四预设矩阵的和值，确定为第四向量。
可选地，所述第一融合模块202，还用于：
获取第一融合子数据；
获取第二融合子数据；
对所述第一融合子数据和所述第二融合子数据进行融合，得到所述第一融合数据。
可选地，所述第一融合模块202，还用于：
确定第三传感器对应的K个检测对象，以及第四传感器对应的L个检测对象；
基于所述K个检测对象和所述L个检测对象，确定目标检测对象；
将所述第三传感器对应的第三检测数据和所述第四传感器对应的第四检测数据进行交集运算，得到所述第一融合子数据。
可选地，所述第一融合模块202，还用于：
确定所述K个检测对象的K个第一坐标，以及所述L个检测对象的L个第二坐标；
计算每个所述第一坐标与每个所述第二坐标的坐标距离值；
从所述坐标距离值中确定目标距离值；
将所述第一目标坐标对应的检测对象确定为第一候选检测对象，将所述第二目标坐标对应的检测对象确定为第二候选检测对象；
根据所述第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
可选地，所述第一融合模块202，还用于：
根据所述第一候选检测对象的检测类型和所述第二候选检测对象的检测类型，确定第一计算因子；
根据所述第一候选检测对象的角度信息和所述第二候选检测对象的角度信息，确定第二计算因子；
根据所述第一候选检测对象的尺寸信息和所述第二候选检测对象的尺寸信息，确定第三计算因子；
根据所述第一候选检测对象的速度信息和所述第二候选检测对象的速度信息，确定第四计算因子；
将所述第一计算因子、第二计算因子、第三计算因子和第四计算因子的乘积结果，确定为计算值；
在所述计算值大于第二预设阈值的情况下，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
终端200能够实现本发明实施例中图2方法实施例的各个过程，以及达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种设备。请参见图6，电子设备可以包括处理器501、存储器502及存储在存储器502上并可在处理器501上运行的程序5021。
在电子设备为终端的情况下，程序5021被处理器501执行时可实现图2对应的方法实施例中的任意步骤及达到相同的有益效果，此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以通过程序指令相关的硬件来完成，所述的程序可以存储于一可读取介质中。
本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时可实现上述图2对应的方法实施例中的任意步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
所述的存储介质，如只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等。
以上所述是本发明实施例的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种多传感器的数据融合方法，其特征在于，由终端执行，所述方法包括：
获取N个传感器发送的检测数据，所述N个传感器被划分为M个传感器组，每个所述传感器组包括至少一个传感器，M小于等于N，N和M均为正整数；
将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据；
将所述M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据；
其中，所述获取N个传感器发送的检测数据，包括：
在每一个检测时刻获取所述传感器发送的第一检测数据和待修正数据，其中，所述第一检测数据为所述传感器在起始检测时刻检测得到，所述待修正数据为所述传感器在非起始检测时刻检测得到；
所述获取N个传感器发送的检测数据之后，所述方法还包括：
确定所述待修正数据对应的预测数据，所述预测数据对应的检测时刻先于所述待修正数据对应的检测时刻；
利用所述预测数据对所述待修正数据进行修正，得到修正后的第二检测数据；
其中，所述待修正数据包括第一向量和第二向量，所述第一向量表征检测对象的经度信息和维度信息，第二向量表征检测对象的运动速度信息，所述预测数据包括第三向量和第四向量；
所述确定所述待修正数据对应的预测数据包括：
将所述第一向量与第一预设矩阵的乘积结果，确定为所述第三向量，所述第一预设矩阵与传感器的检测时间间隔相关；
将所述第二向量与第二预设矩阵的乘积结果，确定为第一乘积结果，所述第二预设矩阵为所述第一预设矩阵的倒置矩阵；
将所述第一乘积结果与第三预设矩阵的乘积结果，确定为第二乘积结果；
将所述第二乘积结果与第四预设矩阵的和值，确定为所述第四向量，所述第四预设矩阵与所述待修正数据对应的检测对象的运动速度相关。
2.根据权利要求1所述的方法，其特征在于，所述将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据包括：
获取第一融合子数据，其中，所述第一融合子数据为所述传感器组中多个第一传感器对应的多个检测数据的融合结果，所述多个第一传感器的检测区域部分重叠；
获取第二融合子数据，其中，所述第二融合子数据为所述传感器组中第二传感器的检测数据并集结果；所述第二传感器的检测区域与所述传感器组中的其他传感器的检测区域不重叠；
对所述第一融合子数据和所述第二融合子数据进行融合，得到所述第一融合数据。
3.根据权利要求2所述的方法，其特征在于，所述获取第一融合子数据包括：
确定第三传感器对应的K个检测对象，以及第四传感器对应的L个检测对象，K和L均为正整数；其中，所述传感器组包括检测区域部分重叠的所述第三传感器和所述第四传感器；
基于所述K个检测对象和所述L个检测对象，确定目标检测对象，所述目标检测对象为所述K个检测对象和所述L个检测对象中的同一检测对象；
将所述第三传感器对应的第三检测数据和所述第四传感器对应的第四检测数据进行交集运算，得到所述第一融合子数据；其中，所述第三检测数据和第四检测数据对应的检测对象均为所述目标检测对象。
4.根据权利要求3所述的方法，其特征在于，所述基于所述K个检测对象和所述L个检测对象，确定目标检测对象包括：
确定所述K个检测对象的K个第一坐标，以及所述L个检测对象的L个第二坐标；
计算每个所述第一坐标与每个所述第二坐标的坐标距离值；
从所述坐标距离值中确定目标距离值，其中，所述目标距离值由第一目标坐标和第二目标坐标确定，所述第一目标坐标属于所述K个第一坐标，所述第二目标坐标属于所述L个第二坐标；
将所述第一目标坐标对应的检测对象确定为第一候选检测对象，将所述第二目标坐标对应的检测对象确定为第二候选检测对象；
根据所述第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
5.根据权利要求4所述的方法，其特征在于，所述检测信息包括但不限于检测类型、角度信息、尺寸信息和速度信息；
所述根据所述第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象包括：
根据所述第一候选检测对象的检测类型和所述第二候选检测对象的检测类型，确定第一计算因子；
根据所述第一候选检测对象的角度信息和所述第二候选检测对象的角度信息，确定第二计算因子；
根据所述第一候选检测对象的尺寸信息和所述第二候选检测对象的尺寸信息，确定第三计算因子；
根据所述第一候选检测对象的速度信息和所述第二候选检测对象的速度信息，确定第四计算因子；
将所述第一计算因子、第二计算因子、第三计算因子和第四计算因子的乘积结果，确定为计算值；
在所述计算值大于第二预设阈值的情况下，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
6.一种终端，其特征在于，所述终端包括：
第一收发器，用于获取N个传感器发送的检测数据，所述N个传感器被划分为M个传感器组，每个所述传感器组包括至少一个传感器，M小于等于N，N和M均为正整数；
第一融合模块，用于将任一传感器组对应的多个检测数据进行数据融合，得到所述传感器组对应的第一融合数据；
第二融合模块，用于将所述M个传感器组对应的M个第一融合数据进行数据融合，得到第二融合数据；
其中，所述第一收发器，还包括：
获取单元，用于在每一个检测时刻获取所述传感器发送的第一检测数据和待修正数据，其中，所述第一检测数据为所述传感器在起始检测时刻检测得到，所述待修正数据为所述传感器在非起始检测时刻检测得到；
确定单元，用于确定所述待修正数据对应的预测数据，所述预测数据对应的检测时刻先于所述待修正数据对应的检测时刻；
修正单元，用于利用所述预测数据对所述待修正数据进行修正，得到修正后的第二检测数据；
其中，所述确定单元，还用于：
将第一向量与第一预设矩阵的乘积结果，确定为第三向量，所述第一预设矩阵与传感器的检测时间间隔相关，所述第一向量表征检测对象的经度信息和维度信息，第二向量表征检测对象的运动速度信息；
将第二向量与第二预设矩阵的乘积结果，确定为第一乘积结果，所述第二预设矩阵为所述第一预设矩阵的倒置矩阵；
将所述第一乘积结果与第三预设矩阵的乘积结果，确定为第二乘积结果；
将所述第二乘积结果与第四预设矩阵的和值，确定为第四向量，所述第四预设矩阵与所述待修正数据对应的检测对象的运动速度相关。
7.根据权利要求6所述的终端，其特征在于，所述第一融合模块，还用于：
获取第一融合子数据，其中，所述第一融合子数据为所述传感器组中多个第一传感器对应的多个检测数据的融合结果，所述多个第一传感器的检测区域部分重叠；
获取第二融合子数据，其中，所述第二融合子数据为所述传感器组中第二传感器的检测数据并集结果；所述第二传感器的检测区域与所述传感器组中的其他传感器的检测区域不重叠；
对所述第一融合子数据和所述第二融合子数据进行融合，得到所述第一融合数据。
8.根据权利要求7所述的终端，其特征在于，所述第一融合模块，还用于：
确定第三传感器对应的K个检测对象，以及第四传感器对应的L个检测对象，K和L均为正整数；其中，所述传感器组包括检测区域部分重叠的所述第三传感器和所述第四传感器；
基于所述K个检测对象和所述L个检测对象，确定目标检测对象，所述目标检测对象为所述K个检测对象和所述L个检测对象中的同一检测对象；
将所述第三传感器对应的第三检测数据和所述第四传感器对应的第四检测数据进行交集运算，得到所述第一融合子数据；其中，所述第三检测数据和第四检测数据对应的检测对象均为所述目标检测对象。
9.根据权利要求8所述的终端，其特征在于，所述第一融合模块，还用于：
确定所述K个检测对象的K个第一坐标，以及所述L个检测对象的L个第二坐标；
计算每个所述第一坐标与每个所述第二坐标的坐标距离值；
从所述坐标距离值中确定目标距离值，其中，所述目标距离值由第一目标坐标和第二目标坐标确定，所述第一目标坐标属于所述K个第一坐标，所述第二目标坐标属于所述L个第二坐标；
将所述第一目标坐标对应的检测对象确定为第一候选检测对象，将所述第二目标坐标对应的检测对象确定为第二候选检测对象；
根据所述第一候选检测对象的第一检测信息和所述第二候选检测对象的第二检测信息，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
10.根据权利要求9所述的终端，其特征在于，所述第一融合模块，还用于：
根据所述第一候选检测对象的检测类型和所述第二候选检测对象的检测类型，确定第一计算因子；
根据所述第一候选检测对象的角度信息和所述第二候选检测对象的角度信息，确定第二计算因子；
根据所述第一候选检测对象的尺寸信息和所述第二候选检测对象的尺寸信息，确定第三计算因子；
根据所述第一候选检测对象的速度信息和所述第二候选检测对象的速度信息，确定第四计算因子；
将所述第一计算因子、第二计算因子、第三计算因子和第四计算因子的乘积结果，确定为计算值；
在所述计算值大于第二预设阈值的情况下，确定所述第一候选检测对象和所述第二候选检测对象为同一检测对象。
11.一种电子设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器，用于读取存储器中的程序实现如权利要求1至5中任一项所述的多传感器的数据融合方法中的步骤。
12.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的多传感器的数据融合方法中的步骤。
CN202110746666.1A 2021-07-02 2021-07-02 多传感器的数据融合方法、装置及相关设备 Active CN113203424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110746666.1A CN113203424B (zh) 2021-07-02 2021-07-02 多传感器的数据融合方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110746666.1A CN113203424B (zh) 2021-07-02 2021-07-02 多传感器的数据融合方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN113203424A CN113203424A (zh) 2021-08-03
CN113203424B true CN113203424B (zh) 2021-10-26

Family

ID=77022685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110746666.1A Active CN113203424B (zh) 2021-07-02 2021-07-02 多传感器的数据融合方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN113203424B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113804252A (zh) * 2021-09-10 2021-12-17 广州市吉华勘测股份有限公司 一种高支模安全监测方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663677A (zh) * 2018-03-29 2018-10-16 上海智瞳通科技有限公司 一种多传感器深度融合提高目标检测能力的方法
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
CN112747754A (zh) * 2019-10-30 2021-05-04 北京初速度科技有限公司 一种多传感器数据的融合方法、装置及系统
CN112995943B (zh) * 2021-05-13 2021-10-29 深圳市速腾聚创科技有限公司 多传感器的感知信息融合方法及相关设备

Also Published As

Publication number Publication date
CN113203424A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN111638526A (zh) 一种陌生环境下机器人自主建图的方法
CN107526085B (zh) 超声波阵列测距建模的方法及其系统
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN112034431A (zh) 一种雷达和rtk的外参标定方法及装置
CN111536990A (zh) 在传感器之间的在线外参误标定检测
WO2019152084A1 (en) System and method for calibrating light intensity
CN112327329A (zh) 避障方法、目标设备和存储介质
CN113203424B (zh) 多传感器的数据融合方法、装置及相关设备
CN111353510B (zh) 多传感器目标检测方法、装置、计算机设备和存储介质
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
CN111735443B (zh) 一种基于赋值矩阵的密集目标航迹关联方法
CN112965076A (zh) 一种用于机器人的多雷达定位系统及方法
CN109903367A (zh) 构建地图的方法、装置和计算机可读存储介质
CN111113405B (zh) 一种机器人获得位置服务的方法及机器人
CN116012428A (zh) 一种雷视联合定位方法、装置及存储介质
CN113640760A (zh) 基于空情数据的雷达发现概率评估方法及设备
CN113932793A (zh) 三维坐标定位方法、装置、电子设备和存储介质
JP2020165945A (ja) 自己位置推定方法及び自己位置推定装置
CN112147614A (zh) 使用占据栅格来映射物理环境的方法和系统
KR102139667B1 (ko) 정보 획득 방법 및 디바이스.
CN111596288B (zh) 测量速度的方法、装置、车载终端和车载测速系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant