CN115346192A - 基于多源传感器感知的数据融合方法、系统、设备及介质 - Google Patents

基于多源传感器感知的数据融合方法、系统、设备及介质 Download PDF

Info

Publication number
CN115346192A
CN115346192A CN202210931930.3A CN202210931930A CN115346192A CN 115346192 A CN115346192 A CN 115346192A CN 202210931930 A CN202210931930 A CN 202210931930A CN 115346192 A CN115346192 A CN 115346192A
Authority
CN
China
Prior art keywords
fusion
target
clustering
points
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210931930.3A
Other languages
English (en)
Inventor
王建强
肖同镇
孙培钦
朱宏锋
卞璐姚
崔峰
宫铭钱
关昭
李天骥
朱杰
陈文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zongmu Technology Shanghai Co Ltd filed Critical Zongmu Technology Shanghai Co Ltd
Publication of CN115346192A publication Critical patent/CN115346192A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种基于多源传感器感知的数据融合方法、系统、设备及介质，方法包括：接收多种传感数据点；将多种传感数据点按照来源关联，以形成分属于不同传感器的融合点；将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；对不同的聚类结果进行聚类特征提取，将多个聚类结果进行关联，以预判检测目标的类型，对检测目标进行特征级轮廓的描述；获取检测目标的语义信息，根据检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出待检测区域内存在的检测目标。本发明通过分层融合处理，可以更准确的描述障碍物信息。

Description

基于多源传感器感知的数据融合方法、系统、设备及介质
技术领域
本发明属于自动驾驶环境感知领域，涉及一种融合方法和系统，特别是涉及一种基于多源传感器感知的数据融合方法、系统、设备及介质。
背景技术
在低速自动驾驶场景下，对车辆周围环境要素的感知，要求能够对环境中目标障碍物(包括静态障碍物、动态障碍物)轮廓特征精确描述，比如在实际泊车应用中，能够准确感知到各类型挡轮器、减速带、地锁、方柱、悬空障碍物、车身轮廓等。
多传感器融合技术已发展多年，在当前自动驾驶系统中，感知融合技术方案主要是在获得的多传感器各自感知输出的目标级障碍物之后，将这些障碍物信息进行融合处理，得到车辆周围环境的感知融合结果。此方法属于目标级层面的多传感器融合方法，对于传感器感知到的丰富信息利用不充分，同时对传感器存在的误检测处理能力不足，无法实现对目标信息的准确描述，容易导致泊车中断，影响泊车效率的情况，无法满足自动驾驶对感知融合的要求。
因此，如何提供一种基于多源传感器感知的数据融合方法、系统、设备及介质，以解决现有技术无法实现对目标信息的准确描述，容易导致泊车中断，影响泊车效率的情况等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于多源传感器感知的数据融合方法、系统、设备及介质，用于解决现有技术无法实现对目标信息的准确描述，容易导致泊车中断，影响泊车效率的情况的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种基于多源传感器感知的数据融合方法，包括：接收多源传感器于待检测区域内感知的多种传感数据点；将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点；将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型，对所述检测目标进行特征级轮廓的描述；获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
于本发明的一实施例中，在接收多源传感器于待检测区域内感知的多种传感数据点后，所述基于多源传感器感知的数据融合方法还包括对所述多种传感数据进行适配转换，形成适配转换后的传感数据点。
于本发明的一实施例中，将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点的步骤包括：将适配转换后的传感数据点分别与历史融合点进行距离计算；通过最邻近匹配方式确定传感数据点与同属来源的历史融合点的关联关系，将具有该中关联关系的传感数据点融合成属于相同传感器的融合点，不同来源的融合点构成分属于不同传感器的融合点。
于本发明的一实施例中，将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果的步骤包括：将形成的分属于不同传感器的融合点进行存储、记录、更新和/或删除操作；依据设置的距离门限，在不同传感器的融合点之间随机选取一融合点，计算其与另一融合点之间的距离，将两点距离小于等于所述距离门限的融合点聚类在一起，以联合聚类成不同的聚类结果。
于本发明的一实施例中，对所述目标进行特征级轮廓的描述的步骤包括：将不同的聚类结果按照融合点的来源进行分类，根据聚类结果的分类，采用与该分类对应的轮廓描述方式对属于同一检测目标的多个聚类结果进行特征级轮廓的描述。
于本发明的一实施例中，分类后的检测目标包括静态目标和动态目标；对分类后的检测目标分别进行融合处理的步骤包括：对动态目标进行融合处理和对静态目标进行融合处理；其中，对动态目标进行融合处理的步骤包括：将动态目标的轮廓建模为矩形；将该矩形的几何参数作为动态目标跟踪的状态向量的一部分，对该状态向量进行跟踪；对静态目标进行融合处理的步骤包括：将该静态目标建模为矩形，并对该矩形进行膨胀，以获取静态目标的目标级轮廓；根据空间几何关系，将静态目标的目标级轮廓和若干特征级轮廓进行关联，以将关联的目标级轮廓和特征级轮廓合并成为目标轮廓；基于所述目标轮廓修改所述静态目标的位姿。
本发明另一方面一种基于多源传感器感知的数据融合系统，包括：接收模块，用于接收多源传感器于待检测区域内感知的多种传感数据点；点融合模块，用于将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点；聚类模块，用于将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；聚类特征融合模块，用于对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型；轮廓融合模块，用于对所述检测目标进行特征级轮廓的描述；目标融合模块，用于获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
于本发明的一实施例中，所述接收模块设置于数据适配层；所述点融合模块设置于稀疏点融合层；所述聚类模块设置于点容器层；所述聚类特征融合模块设置于聚类特征融合层；所述轮廓融合模块设置于轮廓融合层；所述目标融合模块设置于目标融合层。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述基于多源传感器感知的数据融合方法。
本发明最后一方面提供一种基于多源传感器感知的数据融合设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述数据融合设备执行所述基于多源传感器感知的数据融合方法。
如上所述，本发明所述的基于多源传感器感知的数据融合方法、系统、设备及介质，具有以下有益效果：
第一，本发明利用传感器感知的点层面信息、特征层面信息、目标层面信息，进行分层融合处理，可以更准确的描述障碍物信息；
第二，本发明通过对静态障碍物局部或全部特征，通过contour轮廓描述，给出精确的感知结果；
第三，本发明通过扩展目标跟踪处理，将动态目标的尺寸信息加入跟踪处理算法中，更好的描述动态目标的信息。
附图说明
图1显示为本发明的目标级感知融合架构示意图。
图2显示为本发明的基于多源传感器感知的数据融合方法于一实施例中的流程示意图。
图3显示为本发明的特征级轮廓的描述示例图。
图4显示为本发明的基于多源传感器感知的数据融合系统于一实施例中的原理结构示意图。
元件标号说明
1 目标级感知融合架构
11 数据适配层
12 稀疏点融合层
13 点容器层
14 聚类特征融合层
15 轮廓融合层
16 目标融合层
4 基于多源传感器感知的数据融合系统
41 接收模块
42 点融合模块
43 聚类模块
44 聚类特征融合模块
45 轮廓融合模块
46 目标融合模块
S21～S26 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种基于多源传感器感知的数据融合方法，包括：
接收多源传感器于待检测区域内感知的多种传感数据点；
将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点；
将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；
对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型，对所述检测目标进行特征级轮廓的描述；
获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
以下将结合图示对本实施例所提供的基于多源传感器感知的数据融合方法进行详细描述。本实施例所述基于多源传感器感知的数据融合方法运行在如图1所示目标级感知融合架构1上。所述目标级感知融合架构1包括数据适配层11、稀疏点融合层12、点容器层13、聚类特征融合层14、轮廓融合层15及目标融合层16。本发明充分利用传感器感知的点层面信息、特征层面信息、目标层面信息，进行分层融合处理，可以更准确的描述障碍物信息。在本实施例中，点层面信息包括来自传感器的数据点、融合点信息等，特征层面信息包括融合点聚类信息、特征级轮廓及其描述信息等，目标层面信息包括检测目标的语义信息、目标级轮廓信息等，本发明从多个层面对数据进行处理后再进行融合，得到的障碍物信息更为精确。
请参阅图2，显示为基于多源传感器感知的数据融合方法于一实施例中的流程示意图。
如图2所示，所述基于多源传感器感知的数据融合方法具体包括以下步骤：
S21，接收多源传感器于待检测区域内感知的多种传感数据点。在本实施例中，所述S21于数据适配层上执行。
在本实施例中，所述多源传感器包括多颗超声波雷达(例如，12颗超声波雷达)、多颗鱼眼环视摄像头(例如，4颗鱼眼环视摄像头)及多颗毫米波雷达(例如，4颗毫米波雷达)等。所述多种传感数据点包括通过所述超声波雷达感知的超声波探测数据点、通过所述鱼眼环视摄像头感知的环视检测数据点及通过所述毫米波雷达感知的毫米波雷达检测数据点等。
在本实施例中，所述S21还包括对所述多种传感数据进行适配转换，形成适配转换后的传感数据点。
具体地，对所述多种传感数据进行适配转换包括将超声波探测数据点、环视检测数据点及毫米波雷达检测数据点转换到车辆坐标系下(车辆后轴中心为原点，前向为X轴，向左为Y轴，向上为Z轴)，并完成，如：数据度量单位统一等转换。
S22，将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点。在本实施例中，所述S22于稀疏点融合层12上执行。
具体地，所述S22具体包括以下步骤：
S221，将适配转换后的传感数据点分别与历史融合点进行距离计算。
例如，计算适配转换后的传感数据点分别与历史融合点之间的马氏距离，构建关联距离矩阵。该关联距离矩阵的横纵轴分别为传感数据点索引和融合点索引。
S222，通过最邻近匹配方式确定传感数据点与同属来源的历史融合点的关联关系，将具有该中关联关系的传感数据点融合成属于相同传感器的融合点，不同来源的融合点构成分属于不同传感器的融合点，并更新不同传感器的融合点。
例如，所述不同传感器的融合点包括超声波雷达融合点、环视检测融合点及毫米波雷达融合点等。
S23，将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果。在本实施例中，所述S23于点容器层13上执行。
具体地，所述S23具体包括以下步骤：
S231，将形成的分属于不同传感器的融合点进行存储、记录、更新和/或删除操作。
S232，依据设置的距离门限，在不同传感器的融合点之间随机选取一融合点，计算其与另一融合点之间的距离，将两点距离小于等于所述距离门限的融合点聚类在一起，以联合聚类成不同的聚类结果。
在本实施例中，聚类结果包括单传感器的聚类和多传感器的聚类。其中，单传感器的聚类包括超声波雷达融合点之间的聚类、环视检测融合点之间的聚类及毫米波雷达融合点之间的聚类。多传感器的聚类包括超声波雷达融合点与环视检测融合点之间的聚类、超声波雷达融合点与毫米波雷达融合点之间的聚类、环视检测融合点与毫米波雷达融合点之间的聚类及超声波雷达融合点、环视检测融合点及毫米波雷达融合点之间的聚类。
S24，对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型。在本实施例中，所述S24于聚类特征融合层14上执行。
提取的聚类特征，例如，车头、柱子边缘等。
在本实施例中，通过将关联后的聚类结果的分布特征与候选检测目标的先验信息进行比对，以预判处检测目标的类型，例如，车头，方柱、墙、路沿等。
S25，对所述检测目标进行特征级轮廓的描述。在本实施例中，所述S24于轮廓融合层15上执行。
在本实施例中，所述S25包括：将不同的聚类结果按照融合点的来源进行分类，根据聚类结果的分类，采用与该分类对应的轮廓描述方式对属于同一检测目标的多个聚类结果进行特征级轮廓的描述，例如，如图3所示形成的车辆或方柱的轮廓描述。
在本实施例中，融合点的来源包括单传感器的聚类和多传感器的聚类。
例如，聚类结果的分类包括超声波雷达融合点之间的聚类时，采用与超声波雷达融合点的聚类对应的轮廓描述方式对该聚类结果进行轮廓描述。
与超声波雷达融合点的聚类对应的轮廓描述方式包括：首先，对点画凸包，取得凸包边界线。接着，根据边界线生成黑色框，取黑色框内的超声波雷达融合点，对取到的超声波雷达融合点最小二乘拟合，获得拟合线。最后，处理相邻拟合线，使其首尾相接。
例如，聚类结果的分类包括超声波雷达融合点与环视检测融合点之间的聚类时，采用与超声波雷达融合点与环视检测融合点的聚类对应的轮廓描述方式对该聚类结果进行轮廓描述。
与超声波雷达融合点与环视检测融合点的聚类对应的轮廓描述方式对该聚类结果进行轮廓描述包括：首先，对超声波雷达融合点进行处理生成拟合线。接着，根据拟合线删除外侧环视检测融合点；最后，对剩余的点进行凸包画线。
S26，获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。在本实施例中，所述S26于目标融合层16上执行。
在本实施例中，所述分类后的检测目标包括静态目标和动态目标。所述静态目标包括路沿、悬空障碍物、各类型的挡轮器、锥桶、地锁、立杆等点状静态障碍物及方柱、圆柱等小面状静态障碍物。所述动态目标包括行人、车辆等。
所述S26中对分类后的检测目标分别进行融合处理的步骤包括：对动态目标进行融合处理和对静态目标进行融合处理。
具体地，对动态目标进行融合处理的步骤包括：
将动态目标的轮廓建模为矩形；将该矩形的几何参数(包括矩形的朝向、长、宽、顶点坐标等)作为动态目标跟踪的状态向量的一部分，对来自不同传感器的状态向量进行差异化处理，将差异化处理后的结果与航迹历史测量信息进行关联，通过全局最近邻方式确定关联关系后，根据关联关系对动态目标进行跟踪。本实施例通过对扩展目标跟踪处理，将动态目标的尺寸信息加入跟踪处理算法中，更好的描述动态目标的信息。
对静态目标进行融合处理的步骤包括：
将该静态目标建模为矩形，并对该矩形进行膨胀，以获取静态目标的目标级轮廓；根据空间几何关系，将静态目标的目标级轮廓和若干特征级轮廓进行关联，以将关联的目标级轮廓和特征级轮廓合并成为目标轮廓；基于所述目标轮廓修改所述静态目标的位姿。在本实施例中，通过对静态障碍物局部或全部特征，通过轮廓描述，给出精确的感知结果。
在本实施例中，将静态目标的目标级轮廓和若干特征级轮廓进行关联的关联标准包括：两者的朝向一致、两者的距离需小于等于预设距离阈值及两者重叠率需大于预设重叠率阈值。
本实施例所述基于多源传感器感知的数据融合方法具有以下有益效果：
第一，本实施例所述充分基于多源传感器感知的数据融合方法利用传感器感知的点层面信息、特征层面信息、目标层面信息，进行分层融合处理，可以更准确的描述障碍物信息；
第二，本实施例所述充分基于多源传感器感知的数据融合方法通过对静态障碍物局部或全部特征，通过contour轮廓描述，给出精确的感知结果；
第三，本实施例所述充分基于多源传感器感知的数据融合方法通过扩展目标跟踪处理，将动态目标的尺寸信息加入跟踪处理算法中，更好的描述动态目标的信息。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图2所述的基于多源传感器感知的数据融合方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种基于多源传感器感知的数据融合系统，包括：
接收模块，用于接收多源传感器于待检测区域内感知的多种传感数据点；
点融合模块，用于将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点；
聚类模块，用于将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；
聚类特征融合模块，用于对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型；
轮廓融合模块，用于对所述检测目标进行特征级轮廓的描述；
目标融合模块，用于获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
以下将结合图示对本实施例所提供的基于多源传感器感知的数据融合系统进行详细描述。请参阅图4，显示为基于多源传感器感知的数据融合系统于一实施例中的原理结构示意图。如图4所示，所述基于多源传感器感知的数据融合系统4包括接收模块41、点融合模块42、聚类模块43、聚类特征融合模块44、轮廓融合模块45及目标融合模块46。其中，所述接收模块41设置于目标级感知融合架构的数据适配层，所述点融合模块42设置于稀疏点融合层，所述聚类模块43设置于点容器层，所述聚类特征融合模块44设置于聚类特征融合层，所述轮廓融合模块45设置于轮廓融合层，所述目标融合模块46设置于目标融合层。
所述接收模块41用于接收多源传感器于待检测区域内感知的多种传感数据点。在本实施例中，所述多源传感器包括多颗超声波雷达(例如，12颗超声波雷达)、多颗鱼眼环视摄像头(例如，4颗鱼眼环视摄像头)及多颗毫米波雷达(例如，4颗毫米波雷达)等。所述多种传感数据点包括通过所述超声波雷达感知的超声波探测数据点、通过所述鱼眼环视摄像头感知的环视检测数据点及通过所述毫米波雷达感知的毫米波雷达检测数据点等。
在本实施例中，所述接收模块41还用于对所述多种传感数据进行适配转换，形成适配转换后的传感数据点。
具体地，所述接收模块41对所述多种传感数据进行适配转换包括将超声波探测数据点、环视检测数据点及毫米波雷达检测数据点转换到车辆坐标系下(车辆后轴中心为原点，前向为X轴，向左为Y轴，向上为Z轴)，并完成，如数据度量单位统一等转换。
所述点融合模块42用于将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点。
具体地，所述点融合模块42用于将适配转换后的传感数据点分别与历史融合点进行距离计算。通过最邻近匹配方式确定传感数据点与同属来源的历史融合点的关联关系，将具有该中关联关系的传感数据点融合成属于相同传感器的融合点，不同来源的融合点构成分属于不同传感器的融合点，并更新不同传感器的融合点。
所述聚类模块43用于将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果。
具体地，所述聚类模块43将形成的分属于不同传感器的融合点进行存储、记录、更新和/或删除操作。依据设置的距离门限，在不同传感器的融合点之间随机选取一融合点，计算其与另一融合点之间的距离，将两点距离小于等于所述距离门限的融合点聚类在一起，以联合聚类成不同的聚类结果。
在本实施例中，聚类结果包括单传感器的聚类和多传感器的聚类。其中，单传感器的聚类包括超声波雷达融合点之间的聚类、环视检测融合点之间的聚类及毫米波雷达融合点之间的聚类。多传感器的聚类包括超声波雷达融合点与环视检测融合点之间的聚类、超声波雷达融合点与毫米波雷达融合点之间的聚类、环视检测融合点与毫米波雷达融合点之间的聚类及超声波雷达融合点、环视检测融合点及毫米波雷达融合点之间的聚类。
所述聚类特征融合模块44用于对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型。在本实施例中，所述聚类特征融合模块44通过将关联后的聚类结果的分布特征与候选检测目标的先验信息进行比对，以预判处检测目标的类型，例如，车头，方柱、墙、路沿等。
所述轮廓融合模块45用于对所述检测目标进行特征级轮廓的描述。
在本实施例中，所述轮廓融合模块45将不同的聚类结果按照融合点的来源进行分类，根据聚类结果的分类，采用与该分类对应的轮廓描述方式对属于同一检测目标的多个聚类结果进行特征级轮廓的描述，
在本实施例中，融合点的来源包括单传感器的聚类和多传感器的聚类。
例如，聚类结果的分类包括超声波雷达融合点之间的聚类时，所述轮廓融合模块45采用与超声波雷达融合点的聚类对应的轮廓描述方式对该聚类结果进行轮廓描述。
与超声波雷达融合点的聚类对应的轮廓描述方式包括：首先，对点画凸包，取得凸包边界线。接着，根据边界线生成黑色框，取黑色框内的超声波雷达融合点，对取到的超声波雷达融合点最小二乘拟合，获得拟合线。最后，处理相邻拟合线，使其首尾相接。
例如，聚类结果的分类包括超声波雷达融合点与环视检测融合点之间的聚类时，所述轮廓融合模块45采用与超声波雷达融合点与环视检测融合点的聚类对应的轮廓描述方式对该聚类结果进行轮廓描述。
与超声波雷达融合点与环视检测融合点的聚类对应的轮廓描述方式对该聚类结果进行轮廓描述包括：首先，对超声波雷达融合点进行处理生成拟合线。接着，根据拟合线删除外侧环视检测融合点；最后，对剩余的点进行凸包画线。
所述目标融合模块46用于获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
所述目标融合模块46中对分类后的检测目标分别进行融合处理包括：对动态目标进行融合处理和对静态目标进行融合处理。
具体地，所述目标融合模块46通过将动态目标的轮廓建模为矩形；将该矩形的几何参数(包括矩形的朝向、长、宽、顶点坐标等)作为动态目标跟踪的状态向量的一部分，对来自不同传感器的状态向量进行差异化处理，将差异化处理后的结果与航迹历史测量信息进行关联，通过全局最近邻方式确定关联关系后，根据关联关系对动态目标进行跟踪实现对动态目标进行融合处理。
所述目标融合模块46通过将该静态目标建模为矩形，并对该矩形进行膨胀，以获取静态目标的目标级轮廓；根据空间几何关系，将静态目标的目标级轮廓和若干特征级轮廓进行关联，以将关联的目标级轮廓和特征级轮廓合并成为目标轮廓；基于所述目标轮廓修改所述静态目标的位姿实现对静态目标进行融合处理。
在本实施例中，将静态目标的目标级轮廓和若干特征级轮廓进行关联的关联标准包括：两者的朝向一致、两者的距离需小于等于预设距离阈值及两者重叠率需大于预设重叠率阈值。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种基于多源传感器感知的数据融合设备，该设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使基于多源传感器感知的数据融合设备执行如实施例一所述基于多源传感器感知的数据融合设备方法的各个步骤。在本实施例中，所述基于多源传感器感知的数据融合设备与若干传感器连接，例如，与多颗超声波雷达(例如，12颗超声波雷达)、多颗鱼眼环视摄像头(例如，4颗鱼眼环视摄像头)及多颗毫米波雷达(例如，4颗毫米波雷达)等连接。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的基于多源传感器感知的数据融合方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种基于多源传感器感知的数据融合系统，所述基于多源传感器感知的数据融合系统可以实现本发明所述的基于多源传感器感知的数据融合方法，但本发明所述的基于多源传感器感知的数据融合方法的实现装置包括但不限于本实施例列举的基于多源传感器感知的数据融合系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述基于多源传感器感知的数据融合方法、系统、设备及介质具有以下有益效果：
第一，本发明利用传感器感知的点层面信息、特征层面信息、目标层面信息，进行分层融合处理，可以更准确的描述障碍物信息；
第二，本发明通过对静态障碍物局部或全部特征，通过contour轮廓描述，给出精确的感知结果；
第三，本发明通过扩展目标跟踪处理，将动态目标的尺寸信息加入跟踪处理算法中，更好的描述动态目标的信息。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于多源传感器感知的数据融合方法，其特征在于，包括：
接收多源传感器于待检测区域内感知的多种传感数据点；
将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点；
将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；
对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型，对所述检测目标进行特征级轮廓的描述；
获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
2.根据权利要求1所述的基于多源传感器感知的数据融合方法，其特征在于，在接收多源传感器于待检测区域内感知的多种传感数据点后，所述基于多源传感器感知的数据融合方法还包括对所述多种传感数据进行适配转换，形成适配转换后的传感数据点。
3.根据权利要求2所述的基于多源传感器感知的数据融合方法，其特征在于，将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点的步骤包括：
将适配转换后的传感数据点分别与历史融合点进行距离计算；
通过最邻近匹配方式确定传感数据点与同属来源的历史融合点的关联关系，将具有该中关联关系的传感数据点融合成属于相同传感器的融合点，不同来源的融合点构成分属于不同传感器的融合点。
4.根据权利要求3所述的基于多源传感器感知的数据融合方法，其特征在于，将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果的步骤包括：
将形成的分属于不同传感器的融合点进行存储、记录、更新和/或删除操作；
依据设置的距离门限，在不同传感器的融合点之间随机选取一融合点，计算其与另一融合点之间的距离，将两点距离小于等于所述距离门限的融合点聚类在一起，以联合聚类成不同的聚类结果。
5.根据权利要求1或4所述的基于多源传感器感知的数据融合方法，其特征在于，对所述目标进行特征级轮廓的描述的步骤包括：
将不同的聚类结果按照融合点的来源进行分类，根据聚类结果的分类，采用与该分类对应的轮廓描述方式对属于同一检测目标的多个聚类结果进行特征级轮廓的描述。
6.根据权利要求1所述的基于多源传感器感知的数据融合方法，其特征在于，分类后的检测目标包括静态目标和动态目标；对分类后的检测目标分别进行融合处理的步骤包括：
对动态目标进行融合处理和对静态目标进行融合处理；
其中，对动态目标进行融合处理的步骤包括：
将动态目标的轮廓建模为矩形；将该矩形的几何参数作为动态目标跟踪的状态向量的一部分，对该状态向量进行跟踪；
对静态目标进行融合处理的步骤包括：
将该静态目标建模为矩形，并对该矩形进行膨胀，以获取静态目标的目标级轮廓；根据空间几何关系，将静态目标的目标级轮廓和若干特征级轮廓进行关联，以将关联的目标级轮廓和特征级轮廓合并成为目标轮廓；基于所述目标轮廓修改所述静态目标的位姿。
7.一种基于多源传感器感知的数据融合系统，其特征在于，包括：
接收模块，用于接收多源传感器于待检测区域内感知的多种传感数据点；
点融合模块，用于将多种传感数据点按照来源进行关联，以形成分属于不同传感器的融合点；
聚类模块，用于将分属于不同传感器的融合点进行联合聚类，以生成不同的聚类结果；
聚类特征融合模块，用于对不同的聚类结果进行聚类特征提取，将属于同一检测目标的多个聚类结果进行关联，以预判所述检测目标的类型；
轮廓融合模块，用于对所述检测目标进行特征级轮廓的描述；
目标融合模块，用于获取检测目标的语义信息，根据所述检测目标的语义信息将检测目标进行分类，对分类后的检测目标分别进行融合处理，以获取目标级轮廓，将特征级轮廓和目标级轮廓进行融合，以合并属于同一检测目标的轮廓，输出所述待检测区域内存在的检测目标。
8.根据权利要求7所述的基于多源传感器感知的数据融合系统，其特征在于，
所述接收模块设置于数据适配层；
所述点融合模块设置于稀疏点融合层；
所述聚类模块设置于点容器层；
所述聚类特征融合模块设置于聚类特征融合层；
所述轮廓融合模块设置于轮廓融合层；
所述目标融合模块设置于目标融合层。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述基于多源传感器感知的数据融合方法。
10.一种基于多源传感器感知的数据融合设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述数据融合设备执行如权利要求1至6中任一项所述基于多源传感器感知的数据融合方法。
CN202210931930.3A 2022-07-27 2022-08-04 基于多源传感器感知的数据融合方法、系统、设备及介质 Pending CN115346192A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210893430 2022-07-27
CN2022108934305 2022-07-27

Publications (1)

Publication Number Publication Date
CN115346192A true CN115346192A (zh) 2022-11-15

Family

ID=83949299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210931930.3A Pending CN115346192A (zh) 2022-07-27 2022-08-04 基于多源传感器感知的数据融合方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN115346192A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116150299A (zh) * 2023-04-21 2023-05-23 北京航空航天大学 一种可信度传播网络指引的多源轨迹关联方法
CN116383769A (zh) * 2023-05-19 2023-07-04 陕西科诺特斯科技技术有限公司 一种基于传感器的燃气数据检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116150299A (zh) * 2023-04-21 2023-05-23 北京航空航天大学 一种可信度传播网络指引的多源轨迹关联方法
CN116150299B (zh) * 2023-04-21 2023-07-04 北京航空航天大学 一种可信度传播网络指引的多源轨迹关联方法
CN116383769A (zh) * 2023-05-19 2023-07-04 陕西科诺特斯科技技术有限公司 一种基于传感器的燃气数据检测方法及系统
CN116383769B (zh) * 2023-05-19 2023-08-15 陕西科诺特斯科技技术有限公司 一种基于传感器的燃气数据检测方法及系统

Similar Documents

Publication Publication Date Title
Muhammad et al. Deep learning for safe autonomous driving: Current challenges and future directions
JP6794436B2 (ja) 非障害物エリア検出のためのシステムおよび方法
JP7239703B2 (ja) 領域外コンテキストを用いたオブジェクト分類
Rahman et al. Notice of violation of IEEE publication principles: Recent advances in 3D object detection in the era of deep neural networks: A survey
US11017244B2 (en) Obstacle type recognizing method and apparatus, device and storage medium
CN108509820B (zh) 障碍物分割方法及装置、计算机设备及可读介质
CN115346192A (zh) 基于多源传感器感知的数据融合方法、系统、设备及介质
CN108303096B (zh) 一种视觉辅助激光定位系统及方法
Liu et al. Dynamic vehicle detection with sparse point clouds based on PE-CPD
CN109558854B (zh) 障碍物感知方法、装置、电子设备及存储介质
JP7224682B1 (ja) 自律走行のための３次元多重客体検出装置及び方法
WO2022193515A1 (en) Devices, systems, methods, and media for adaptive augmentation for a point cloud dataset used for training
Liu et al. SMURF: Spatial multi-representation fusion for 3D object detection with 4D imaging radar
Shi et al. Grid-centric traffic scenario perception for autonomous driving: A comprehensive review
CN115205391A (zh) 一种三维激光雷达和视觉融合的目标预测方法
CN112581613A (zh) 一种栅格地图的生成方法、系统、电子设备及存储介质
CN112348000A (zh) 障碍物识别方法、装置、系统及存储介质
CN116503803A (zh) 障碍物检测方法、装置、电子设备以及存储介质
Ouyang et al. PV-EncoNet: Fast object detection based on colored point cloud
Zuo et al. Pointocc: Cylindrical tri-perspective view for point-based 3d semantic occupancy prediction
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
JP2017116445A (ja) 物体検出装置
Ansari et al. Angle-based feature learning in GNN for 3D object detection using point cloud
Yan et al. INT2: Interactive Trajectory Prediction at Intersections
US11544899B2 (en) System and method for generating terrain maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination