CN118015570A - 数据融合方法、装置、设备、存储介质和程序产品 - Google Patents

数据融合方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN118015570A
CN118015570A CN202211334352.1A CN202211334352A CN118015570A CN 118015570 A CN118015570 A CN 118015570A CN 202211334352 A CN202211334352 A CN 202211334352A CN 118015570 A CN118015570 A CN 118015570A
Authority
CN
China
Prior art keywords
target
pose
lattice
target point
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211334352.1A
Other languages
English (en)
Inventor
余开江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruilian Xingchen Beijing Technology Co ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN202211334352.1A priority Critical patent/CN118015570A/zh
Publication of CN118015570A publication Critical patent/CN118015570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种数据融合方法、装置、设备、存储介质和程序产品。所述方法包括：获取多个传感器采集的环境图像；所述环境图像中包括至少一个目标；将所述环境图像输入至预设的识别模型中进行目标识别处理，确定构成所述目标的第一点阵；所述第一点阵包括多个第一目标点以及各所述第一目标点的位姿；根据预设的地图数据确定构成所述目标的第二点阵；所述第二点阵包括多个第二目标点以及各所述第二目标点的位姿；根据所述第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿。采用本方法能够提高数据融合结果的准确性。

Description

数据融合方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及数据处理技术领域，特别是涉及一种数据融合方法、装置、设备、存储介质和程序产品。
背景技术
随着智能驾驶技术的不断发展，为了提高车辆驾驶路线的准确性以及保证车辆驾驶的安全性，一般需要对车辆进行精准定位以及为车辆规划较高精度的驾驶路线。
相关技术中，一般是通过将车辆实时采集的点云数据与高精度地图数据进行数据筛选处理、数据融合处理等处理过程，以实现对车辆的精准定位以及为车辆规划较高精度的驾驶路线。
然而，上述技术中存在对数据进行融合的结果不够准确，从而导致对车辆的定位以及规划的路线不够准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据融合结果准确性的数据融合方法、装置、设备、存储介质和程序产品。
第一方面，本申请提供了一种数据融合方法，该方法包括：
获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；
将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；
根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿；
根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
第二方面，本申请还提供了一种数据融合装置，该装置包括：
图像获取模块，用于获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；
识别模块，用于将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；
确定模块，用于根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿；
融合模块，用于根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
第三方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面的方法步骤。
第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面的方法步骤。
第五方面，本申请还提供了一种计算机程序产品，计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面的方法步骤。
上述数据融合方法、装置、设备、存储介质和程序产品，通过获取多个传感器采集的包括目标的环境图像，通过识别模型对环境图像进行目标识别，获得构成目标的第一点阵，并根据预设的地图数据确定构成目标的第二点阵，以及根据目标的第一点阵和第二点阵进行数据融合，确定目标的位姿；其中，第一点阵以及第二点阵均包括多个目标点以及各目标点的位姿。在该方法中，由于可以通过多个传感器采集目标的图像数据，这样采集的目标图像数据较为准确，后续利用该采集的数据源进行数据融合的结果就会更加准确；另外，这里采用识别模型对目标的图像数据进行识别，从而可以提升对目标识别的精确度，也可以使后续对目标的融合结果更加准确；进一步地，通过包括多个目标点以及各目标点的位姿的两个点阵进行数据融合，这样结合多个数据点及其位姿的融合方式，可以进一步提升数据融合结果的准确性，进而可以保证后续通过融合结果对车辆的定位以及规划的路线的准确性。
附图说明
图1为一个实施例中数据融合方法的应用环境图；
图2为一个实施例中数据融合方法的流程示意图；
图3为另一个实施例中数据融合方法的流程示意图；
图4为另一个实施例中数据融合方法的流程示意图；
图5为另一个实施例中数据融合方法的流程示意图；
图6为另一个实施例中数据融合方法的流程示意图；
图7为一个实施例中数据融合装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的数据融合方法，可以应用于如图1所示的车辆中。其中，该车辆上设置有多个摄像头或相机、多个毫米波雷达、一个高精度定位系统以及多个超声波雷达。摄像头或相机为高精度摄像头或相机，主要用来采集车辆周围的环境图像，并发送给计算机设备，其数量可以为11个，其设置位置可以是分散设置在车辆车身上。毫米波雷达和超声波雷达均用于采集车辆及其周围的点云数据，以通过点云数据计算出车辆的速度、轨迹等参数，并发送给计算机设备，毫米波雷达的数量可以是5个，超声波雷达的数量可以是12个，均可以分散设置在车身周围。高精度定位系统可以设置在车辆内部或车辆外部，其可以将采集的位置信息发送给计算机设备。
另外，车辆内部也可以包括计算机设备，该计算机设备可以是车载终端，其可以和摄像头、多个毫米波雷达、一个高精度定位系统以及多个超声波雷达均进行连接，以便获取这些部件传输的数据并进行后续的数据处理。当然，还可以是车辆内部的车载终端与外部的计算机设备连接，该外部的计算机设备可以是服务器；车载终端可以将数据发送给服务器进行处理，并在服务器处理完成之后再发送给车载终端。
在一个实施例中，如图2所示，提供了一种数据融合方法，以该方法应用于图1中的计算机设备为例进行说明，该方法可以包括以下步骤：
S102，获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标。
本步骤中，目标可以是车辆，也可以是车道线、路标(例如路灯、标识牌等)、绿植/绿化带等道路场景中所可能包含的目标。传感器可以是上述提到的摄像头，也可以称为视觉传感器。
具体的，车辆上的多个传感器可以同时对道路场景中的目标进行图像采集，获得采集的图像，并将采集的图像发送至计算机设备中进行处理。
S104，将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿。
本步骤中，识别模型可以是神经网络模型，对于具体的神经网络模型的类型和网络结构，这里不作具体限定。这里的识别模型可以用来识别道路场景中的车辆、路标、车道线等等。一般在识别模型使用之前也可以预先对其进行训练，以便后续能够快速应用该识别模型。
对于识别模型的训练，作为可选的实施例，该识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，其中真实目标包括真实的物体和/或车道线，虚拟目标包括由实体模拟的车道线。这里的真实目标例如真实存在的车辆、真实的车道线等；虚拟目标例如施工区域占用一部分车道，那么在施工区域的边界放置一些锥筒作为边界，则这些锥筒即模拟虚拟的车道线。这里通过虚拟目标和真实目标一起训练识别模型，可以使训练的识别模型能够全方位识别出所有目标，即对目标的识别的准确性更高，那么后续的数据融合也就更准确。
具体在对识别模型进行训练时，可以是预先采集一些由虚拟目标构成的环境图像、由真实目标构成的环境图像以及由真实目标和虚拟目标共同构成的环境图像，将这些环境图像作为样本图像；同时在这些样本图像上对目标进行点及其位姿的标注，获得构成目标的多个标注点及标注位姿；之后可以对这些图像进行图像预处理(例如归一化处理等)，并将预处理后的图像分批次输入至初始的识别模型中进行目标识别处理，获得预测的目标，该预测的目标可以是由包括多个点及其位姿的点阵构成。之后，可以通过预测的点及其位姿与对应的标注点及其标注位姿之间的损失，来对初始的识别模型进行训练，获得训练好的识别模型。
上述在将识别模型训练好之后，就可以将上述采集的环境图像输入至识别模型中进行目标识别处理，获得每个环境图像对应的构成目标的点阵，然后通过所有环境图像对应的相同目标的点阵确定构成目标的第一点阵。这里可以是对所有环境图像对应的相同目标的点阵进行均值处理，并将获得的均值作为目标的第一点阵，或者还可以是将所有环境图像对应的相同目标的点阵中的中值作为目标的第一点阵，或者还可以是其他方式，这里不作具体限定。
总之，通过识别模型可以识别出目标，同时可以识别出构成目标的多个第一目标点及各第一目标点的位姿即可。这里的位姿包括位置和姿态，姿态可以包括航向角、转向角等。另外，这里的第一点阵也可以由目标的位姿图表征。
另外，假设环境图像中包括多个目标，例如包括车辆和车道线，那么可以识别出构成车辆的第一点阵，也可以识别出构成车道线的第一点阵。对于不同目标的第一点阵中包括的第一目标点的数量，可以相等，也可以不相等。
进一步地，上述获得的构成目标的第一点阵的多个第一目标点其属于图像坐标系，也可以将其转换至世界坐标系中进行后续处理，这里的世界坐标系也可以称为全局坐标空间下的坐标系。
S106，根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿。
其中，预设的地图数据可以是高精度的地图数据，可以是由地图运营商所提供的的高精度地图。这里的预设的地图数据可以是在上述多个传感器在采集环境图像时，计算机设备或者车辆从地图运营商处下载得到的此时车辆所在的道路场景的地图数据，该地图数据中自然包括目标，且和环境图像中一般是对应的。
计算机设备在获得地图数据之后，可以通过识别方法(例如也可以是上述的识别模型)识别出地图数据中的目标，一般识别出的是构成目标的多个点及各点的位姿，通过识别出的多个点及其位姿获得第二目标点以及各第二目标点的位姿，各第二目标点及其位姿构成的点阵记为第二点阵。这里第二目标点的位姿与上述第一目标点的位姿相同，可以包括航向角、转向角等。另外，这里的第二点阵也可以由目标的位姿图表征。
进一步地，上述获得的构成目标的第二点阵的多个第二目标点其属于车辆坐标系，也可以将其转换至世界坐标系中进行后续处理，这里的世界坐标系也可以称为全局坐标空间下的坐标系。
S108，根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
在本步骤中，上述在获得构成目标的第一点阵以及构成目标的第二点阵之后，可以从其中获得相同目标的第一点阵以及第二点阵；之后，可以将相同目标的第一点阵中的第一目标点及其位姿和第二点阵中对应的第二目标点及其位姿进行数据融合，数据融合例如可以是取均值，任取其一等方式，最终可以获得融合的点阵，该点阵中包括目标点的位姿，即获得目标的位姿。
上述数据融合方法中，通过获取多个传感器采集的包括目标的环境图像，通过识别模型对环境图像进行目标识别，获得构成目标的第一点阵，并根据预设的地图数据确定构成目标的第二点阵，以及根据目标的第一点阵和第二点阵进行数据融合，确定目标的位姿；其中，第一点阵以及第二点阵均包括多个目标点以及各目标点的位姿。在该方法中，由于可以通过多个传感器采集目标的图像数据，这样采集的目标图像数据较为准确，后续利用该采集的数据源进行数据融合的结果就会更加准确；另外，这里采用识别模型对目标的图像数据进行识别，从而可以提升对目标识别的精确度，也可以使后续对目标的融合结果更加准确；进一步地，通过包括多个目标点以及各目标点的位姿的两个点阵进行数据融合，这样结合多个数据点及其位姿的融合方式，可以进一步提升数据融合结果的准确性，进而可以保证后续通过融合结果对车辆的定位以及规划的路线的准确性。
上述实施例中提到了可以对两个点阵中的点及其位姿进行数据融合，为了准确进行数据融合，还可以对目标点的位姿进行位置约束以及聚类等处理过程，以下实施例就对该过程进行说明。
在另一个实施例中，提供了另一种数据融合方法，在上述实施例的基础上，如图3所示，上述S108可以包括以下步骤：
S202，对各第一目标点的位姿进行位置约束处理，确定约束后的第一点阵。
本步骤中，位置约束主要是针对各第一目标点的位姿中不符合位置条件的点的位姿进行调整或筛除。这里的不符合位置条件，例如目标为车道线，则各第一目标点构成车道线，若构成的车道线不平滑，而位置条件要求的车道线应该是平滑的，所以这里就需要对不平滑的点的位姿进行调整或筛除，即对不平滑的车道线进行平滑和滤波处理。这里的调整可以例如可以是将不平滑的点的位姿调整到平滑的车道线内，获得新的位姿作为该点的位姿，筛除可以是直接将不平滑的点删除。
总之，通过上面的位置约束对第一点阵中的各个第一目标点的位姿均进行约束，就可以获得约束后的多个第一目标点，构成的点阵记为约束后的第一点阵。该约束后的第一点阵中的第一目标点的数量可以是变少或不变。
S204，根据约束后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在本步骤中，在获得位置约束之后的第一点阵之后，可以直接与第二点阵中的点进行数据融合，还可以是对该位置约束之后的第一点阵进行进一步地数据处理之后再进行数据融合，以下可选的实施例就对该过程进行说明。
作为一个可选的实施例，本步骤S204可以包括：根据约束后的第一点阵中各第一目标点的位姿对各第一目标点进行聚类处理，确定聚类后的第一点阵；其中，上述聚类后的第一点阵中的各第一目标点中包括其属于目标的概率；根据聚类后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
其中，聚类处理可以是均值聚类、最大最小距离聚类等聚类方式。本实施例中的聚类处理主要是为了将属于同一个目标的点进行聚类，使得获得的目标的位姿更加准确。
在上述获得位置约束之后的第一点阵之后，可以采用上述聚类方式对第一点阵中的各第一目标点进行聚类，获得每个第一目标点属于目标的概率，同时通过每个第一目标点属于目标的概率获得聚类后的第一点阵。之后，就可以将聚类后的第一点阵中的各个第一目标点及其位姿与第二点阵中对应的第二目标点及其位姿进行数据融合，获得目标的位姿。
本实施例中，通过对第一点阵中各第一目标点的位姿进行位置约束以及聚类处理，最终获得聚类后的第一点阵，并将其和第二点阵进行数据融合，以获得目标的位姿，这样通过位置约束以及聚类处理，可以使得最终获得的目标的第一点阵更加准确，那么后续通过第一点阵进行数据融合的融合结果就更加准确，即可以进一步提升获得的数据融合结果的准确。
上述实施例中提到了可以通过预设的地图数据获得构成目标的第二点阵，以下实施例就对具体如何获得该第二点阵的过程进行说明。
在另一个实施例中，提供了另一种数据融合方法，在上述实施例的基础上，如图4所示，上述S106可以包括以下步骤：
S302，根据预设的地图数据确定构成目标的初始点阵；上述初始点阵包括多个初始目标点以及各初始目标点的位姿。
在本步骤中，计算机设备在获得地图数据之后，可以通过识别方法(例如也可以是上述的识别模型)识别出地图数据中的目标，一般识别出的是构成目标的多个点及各点的位姿，该多个点记为初始目标点，位姿记为初始目标点的位姿。
这里识别出的多个初始目标点的数量可以根据实际识别方法所设定。各初始目标点之间的间距可以相等，也可以不等，这里不作具体限定。
S304，根据各初始目标点的位姿对各初始目标点进行重采样，确定多个第二目标点以及各第二目标点的位姿，获得第二点阵。
这里一般识别出的初始目标点之间的间距比较大，即数据密度较小，为了使得后续的数据融合结果的准确性更高，这里可以对各初始目标点进行重采样，例如可以是对各初始目标点的位姿进行插值的方式等，将初始目标点的数据密度增大，点数增多，获得重采样后的多个第二目标点及其位姿。
这里多个第二目标点的数量大于多个初始目标点的数量，且各第二目标点之间的距离小于各初始目标点之间的距离，使得构成目标的第二点阵的密度增大，后续的数据融合参与的点数更多，数据融合结果也就更准确。
示例地，例如地图数据中关于车道线这个目标，所能识别出的多个初始点之间的间距是2cm，一段车道线内包括100个初始目标点，这里通过重采样，可以获得200个第二目标点，各第二目标点之间的间距可以采样到1cm，这样数据间距更密，自然后续获得的融合结果就更准。
本实施例中，通过对地图数据确定的多个初始目标点及其位姿进行重采样，获得数量更多的多个第二目标点及其位姿，这样使得构成目标的第二点阵的密度增大，后续的数据融合参与的点数更多，数据融合结果也就更准确。
上述实施例中提到了可以对构成目标的第一点阵和第二点阵进行数据融合，以下实施例就对该具体融合的过程进行说明。
在另一个实施例中，提供了另一种数据融合方法，在上述实施例的基础上，如图5所示，上述S108可以包括以下步骤：
S402，根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的第一边界线。
在本步骤中，主要对各第一目标点的位姿中的位置进行曲线拟合，具体可以是采用曲线拟合方法对各第一目标点的位置做曲线拟合，获得经过各第一目标点的曲线，记为目标的第一边界线。该第一边界线可以是封闭曲线，也可以不是封闭的曲线。
S404，根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的第二边界线。
与上述S402类似，在本步骤中，主要对各第二目标点的位姿中的位置进行曲线拟合，具体可以是采用曲线拟合方法对各第二目标点的位置做曲线拟合，获得经过各第二目标点的曲线，记为目标的第二边界线。该第二边界线可以是封闭曲线，也可以不是封闭的曲线。
S406，根据第一边界线和第二边界线进行数据融合，确定目标的位姿。
在本步骤，在进行数据融合时，作为可选的实施例，可以通过以下步骤结合第一边界线以及第二边界线进行数据融合，具体如下步骤A1-A3：
A1，根据第一边界线计算各第一目标点处的第一曲率。
本步骤中，在计算出目标的第一边界线之后，可以通过第一边界线上各个点前后两个点的位置，采用曲率计算方式计算出各个点的曲率，计算出的曲率均记为第一曲率。
A2，根据第二边界线计算各第二目标点处的第二曲率。
本步骤中，在计算出目标的第二边界线之后，可以通过第二边界线上各个点前后两个点的位置，采用曲率计算方式计算出各个点的曲率，计算出的曲率均记为第二曲率。
A3，根据各第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定目标的位姿。
本步骤中，一般获得的多个第二目标点的数量与多个第一目标点的数量相等，且各第二目标点的位置与各第一目标点的位置相对应，这样在计算得到各个第一目标点处的第一曲率以及各第二目标点处的第二曲率之后，作为可选的实施例，可以将各第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；根据各第三目标点的位姿，对各第三目标点进行曲线拟合，获得目标的位姿。
也就是说，对同一个目标在第一边界线和第二边界线上相应位置处的两个点的曲率，可以比较两者的大小，并从中选择出曲率较小的点，以及将各个位置处的曲率较小的点的位置进行曲线拟合处理，获得的曲线即为最终目标的位姿。
本实施例中，通过分别对各第一目标点以及各第二目标点进行曲线拟合，获得目标对应的第一边界线以及第二边界线，并通过两个边界线进行数据融合获得目标的位姿，这样通过曲线拟合获得的曲线进行数据融合，可以有效提高数据融合的效率。另外，通过计算各个边界线上各个点处的曲率，以通过曲率进行数据融合，这样可以考虑目标的实际姿态，使得最终确定的目标的位姿更加准确。进一步地，通过曲率融合时采用两个边界线中曲率较小的点进行曲线拟合获得目标的位姿，这样可以更进一步地提升数据融合的准确性和效率。
上述实施例中提到了可以通过目标点的位姿对目标点进行曲线拟合，以获得目标对应的边界线，以下实施例就对该第一边界线的具体拟合过程进行说明。
在另一个实施例中，提供了另一种数据融合方法，在上述实施例的基础上，如图6所示，上述S402可以包括以下步骤：
S502，根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的初始第一边界线。
本步骤中，可以将对各第一目标点的位置做曲线拟合，获得经过各第一目标点的曲线作为目标的初始第一边界线。
S504，对环境图像中的目标进行语义识别处理，确定目标对应的第一语义信息。
本步骤中，可以是采用语义识别模型等进行语义识别，该语义识别模型可以是神经网络模型，其输入为目标的图像，输出为目标表征的语义信息；例如输入为车辆的图像，输出为车辆的颜色、形状、位置等信息；再例如输入为施工区域锥筒模拟的车道线的图像，输出为虚拟的车道边界信息。
上述在通过多个传感器采集获得环境图像之后，可以对各个传感器采集的环境图像均进行语义识别处理，获得各自上的目标的语义信息，并将各语义信息进行均值处理或择一处理等，获得目标的语义信息。或者，还可以是从多个环境图像中选择一个图像进行语义识别，获得一个目标的语义信息。最终获得的目标的语义信息记为第一语义信息。
S506，将第一语义信息与初始第一边界线进行融合，获得第一边界线。
本步骤中，结合上述获得的目标的第一初始边界线以及目标的第一语义信息，可以将目标的第一语义信息叠加至初始第一边界线上，即获得上述第一边界线。
本实施例中，通过对目标的初始第一边界线叠加目标的语义信息，这样后续在对目标进行数据融合时，融合的数据种类更多更丰富，那么最终获得的融合结果也就更加准确。
以下实施例就对目标第二边界线的具体拟合过程进行说明。在另一个实施例中，提供了另一种数据融合方法，在上述实施例的基础上，上述S404可以包括以下步骤：
根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的初始第二边界线；对预设的地图数据中的目标进行语义识别处理，确定目标对应的第二语义信息；将第二语义信息与初始第二边界线进行融合，获得第二边界线。
本实施例的解释说明以及效果均可以参见上述S502-S506的解释说明和效果，这里就不再赘述。
进一步地，上述在识别出目标的位姿之后，该目标例如可以使自动驾驶车辆，那么上述可以获得自动驾驶车的位姿，目标例如是地标或路标等标志物，那么上述也可以识别出所有地标或路标等的位姿。同时可以将自动驾驶车的位姿、所有地标或路标等的位姿包含进联合状态矢量中(即构成联合状态矢量)，并后续可以通过多个时刻的联合状态矢量估计自动驾驶车的当前位姿、车辆速度信息、车辆加速度信息、车体角度信息、车体角速度信息等信息。同时可以对各个时刻的联合状态矢量进行平滑和/或滤波处理，以获得更加准确的联合状态矢量参与计算，获得更准确的结果。
以下给出一个具体的实施例来对本申请实施例的技术方案进行详细说明，在上述实施例的基础上，上述方法可以包括以下步骤：
S1，获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；
S2，将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；上述识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，真实目标包括真实的物体和/或车道线，虚拟目标包括由实体模拟的车道线；
S3，根据预设的地图数据确定构成目标的初始点阵；上述初始点阵包括多个初始目标点以及各初始目标点的位姿；
S4，根据各初始目标点的位姿对各初始目标点进行重采样，确定多个第二目标点以及各第二目标点的位姿，获得第二点阵；其中，上述多个第二目标点的数量大于多个初始目标点的数量；
S5，对各第一目标点的位姿进行位置约束处理，确定约束后的第一点阵；
S6，根据约束后的第一点阵中各第一目标点的位姿对各第一目标点进行聚类处理，确定聚类后的第一点阵；其中，上述聚类后的第一点阵中的各第一目标点中包括其属于目标的概率；
S7，根据聚类后的第一点阵和第二点阵进行数据融合，确定目标的位姿；
S8，根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的初始第一边界线；
S9，对环境图像中的目标进行语义识别处理，确定目标对应的第一语义信息；
S10，将第一语义信息与初始第一边界线进行融合，获得第一边界线；
S11，根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的初始第二边界线；
S12，对预设的地图数据中的目标进行语义识别处理，确定目标对应的第二语义信息；
S13，将第二语义信息与初始第二边界线进行融合，获得第二边界线；
S14，根据第一边界线计算各第一目标点处的第一曲率；
S15，根据第二边界线计算各第二目标点处的第二曲率；
S16，将各第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；
S17，根据各第三目标点的位姿，对各第三目标点进行曲线拟合，获得目标的位姿。
进一步地，本申请主要应用于自动驾驶车辆，基于该应用场景，以下对自动驾驶车辆的整体架构进行说明，该整体架构主要包括以下多个模块，分别为：
感知模块，通过车载传感器(主要包括11个相机，5个毫米波雷达，12个超声波雷达)对车辆周围环境进行全方位的感知；
融合模块，相机前融合通过对多个目标和车道线进行追踪，数据关联，更新，航迹管理，置信度优化，毫米波雷达前融合通过对多个目标进行追踪，数据关联，更新，航迹管理，置信度优化，相机和毫米波雷达后融合通过对多个目标和车道线进行追踪，数据关联，更新，航迹管理，置信度优化；
预测模块，对自车和他车的交互进行预测，同时对于他车之间的交互进行预测，对环境可行驶区域进行语义预测，对场景战略进行语义预测；
环境理解模块，对道路边界和车道边界进行估计，对静态可行驶区域进行语义处理，对动态目标可行驶区域进行语义处理；
场景理解模块，对当前功能场景进行语义理解，对感兴趣区域和目标进行语义理解；
地图定位模块，对高精定位信息和高精地图信息进行匹配，对边界线和参考线点阵进行拟合平滑，对无高精定位或高精地图信息区域进行视觉地图定位处理，并对低精定位信息和导航地图信息以及视觉地图定位信息进行融合；
决策模块，根据地图定位信息，场景理解信息，环境理解信息，预测信息，感知信息，融合信息，对自车和他车的博弈进行决策，同时考虑他车之间的博弈，对环境可行驶区域进行语义决策，对场景战略进行语义决策；
规划模块，对参考线进行规划和平滑，输出满足车辆动力学特性的速度点阵和路径点阵；
运动估计模块，对车辆速度信息，车辆加速度信息，车体角度信息，车体角速度信息，道路横向坡度信息，道路纵向坡度信息，道路曲率进行估计；
控制模块，实时追踪速度点阵和路径点阵，输出转向信息，驱动信息和制动信息；
HMI人机接口，输出人机交互信息；
功能状态机，对功能切换进行调度，对智能驾驶升降级进行管理。
需要说明的是，本申请的技术方案主要是针对上述整体架构中的地图定位模块对应的技术方案进行的详细说明。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据融合方法的数据融合装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据融合装置实施例中的具体限定可以参见上文中对于数据融合方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种数据融合装置，包括：图像获取模块11、识别模块12、确定模块13和融合模块14，其中：
图像获取模块11，用于获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；
识别模块12，用于将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；
确定模块13，用于根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿；
融合模块14，用于根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
可选的，上述识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，上述真实目标包括真实的物体和/或车道线，上述虚拟目标包括由实体模拟的车道线。
在另一个实施例中，提供了另一种数据融合装置，在上述实施例的基础上，上述融合模块14可以包括：
位置约束单元，用于对各第一目标点的位姿进行位置约束处理，确定约束后的第一点阵；
约束融合单元，用于根据约束后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
可选的，约束融合单元可以包括：
聚类子单元，用于根据约束后的第一点阵中各第一目标点的位姿对各第一目标点进行聚类处理，确定聚类后的第一点阵；其中，上述聚类后的第一点阵中的各第一目标点中包括其属于目标的概率；
聚类融合子单元，用于根据聚类后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在另一个实施例中，提供了另一种数据融合装置，在上述实施例的基础上，上述确定模块13可以包括：
初始确定单元，用于根据预设的地图数据确定构成目标的初始点阵；上述初始点阵包括多个初始目标点以及各初始目标点的位姿；
目标确定单元，用于根据各初始目标点的位姿对各初始目标点进行重采样，确定多个第二目标点以及各第二目标点的位姿，获得第二点阵；其中，上述多个第二目标点的数量大于多个初始目标点的数量。
在另一个实施例中，提供了另一种数据融合装置，在上述实施例的基础上，上述融合模块14还可以包括：
第一曲线拟合单元，用于根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的第一边界线；
第二曲线拟合单元，用于根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的第二边界线；
边界线融合单元，用于根据第一边界线和第二边界线进行数据融合，确定目标的位姿。
可选的，上述边界线融合单元可以包括：
第一曲率计算子单元，用于根据第一边界线计算各第一目标点处的第一曲率；
第二曲率计算子单元，用于根据第二边界线计算各第二目标点处的第二曲率；
曲率融合子单元，用于根据各第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定目标的位姿。
可选的，上述曲率融合子单元，具体用于将各第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；根据各第三目标点的位姿，对各第三目标点进行曲线拟合，获得目标的位姿。
在另一个实施例中，提供了另一种数据融合装置，在上述实施例的基础上，上述第一曲线拟合单元，具体用于根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的初始第一边界线；对环境图像中的目标进行语义识别处理，确定目标对应的第一语义信息；将第一语义信息与初始第一边界线进行融合，获得第一边界线。
在另一个实施例中，提供了另一种数据融合装置，在上述实施例的基础上，上述第二曲线拟合单元，具体用于根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的初始第二边界线；对预设的地图数据中的目标进行语义识别处理，确定目标对应的第二语义信息；将第二语义信息与初始第二边界线进行融合，获得第二边界线。
上述数据融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据融合方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿；根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对各第一目标点的位姿进行位置约束处理，确定约束后的第一点阵；根据约束后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据约束后的第一点阵中各第一目标点的位姿对各第一目标点进行聚类处理，确定聚类后的第一点阵；其中，上述聚类后的第一点阵中的各第一目标点中包括其属于目标的概率；根据聚类后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据预设的地图数据确定构成目标的初始点阵；上述初始点阵包括多个初始目标点以及各初始目标点的位姿；根据各初始目标点的位姿对各初始目标点进行重采样，确定多个第二目标点以及各第二目标点的位姿，获得第二点阵；其中，上述多个第二目标点的数量大于多个初始目标点的数量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的第一边界线；根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的第二边界线；根据第一边界线和第二边界线进行数据融合，确定目标的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据第一边界线计算各第一目标点处的第一曲率；根据第二边界线计算各第二目标点处的第二曲率；根据各第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定目标的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将各第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；根据各第三目标点的位姿，对各第三目标点进行曲线拟合，获得目标的位姿。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的初始第一边界线；对环境图像中的目标进行语义识别处理，确定目标对应的第一语义信息；将第一语义信息与初始第一边界线进行融合，获得第一边界线。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的初始第二边界线；对预设的地图数据中的目标进行语义识别处理，确定目标对应的第二语义信息；将第二语义信息与初始第二边界线进行融合，获得第二边界线。
在一个实施例中，上述识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，上述真实目标包括真实的物体和/或车道线，上述虚拟目标包括由实体模拟的车道线。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿；根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对各第一目标点的位姿进行位置约束处理，确定约束后的第一点阵；根据约束后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据约束后的第一点阵中各第一目标点的位姿对各第一目标点进行聚类处理，确定聚类后的第一点阵；其中，上述聚类后的第一点阵中的各第一目标点中包括其属于目标的概率；根据聚类后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设的地图数据确定构成目标的初始点阵；上述初始点阵包括多个初始目标点以及各初始目标点的位姿；根据各初始目标点的位姿对各初始目标点进行重采样，确定多个第二目标点以及各第二目标点的位姿，获得第二点阵；其中，上述多个第二目标点的数量大于多个初始目标点的数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的第一边界线；根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的第二边界线；根据第一边界线和第二边界线进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一边界线计算各第一目标点处的第一曲率；根据第二边界线计算各第二目标点处的第二曲率；根据各第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；根据各第三目标点的位姿，对各第三目标点进行曲线拟合，获得目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的初始第一边界线；对环境图像中的目标进行语义识别处理，确定目标对应的第一语义信息；将第一语义信息与初始第一边界线进行融合，获得第一边界线。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的初始第二边界线；对预设的地图数据中的目标进行语义识别处理，确定目标对应的第二语义信息；将第二语义信息与初始第二边界线进行融合，获得第二边界线。
在一个实施例中，上述识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，上述真实目标包括真实的物体和/或车道线，上述虚拟目标包括由实体模拟的车道线。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多个传感器采集的环境图像；上述环境图像中包括至少一个目标；将环境图像输入至预设的识别模型中进行目标识别处理，确定构成目标的第一点阵；上述第一点阵包括多个第一目标点以及各第一目标点的位姿；根据预设的地图数据确定构成目标的第二点阵；上述第二点阵包括多个第二目标点以及各第二目标点的位姿；根据第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对各第一目标点的位姿进行位置约束处理，确定约束后的第一点阵；根据约束后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据约束后的第一点阵中各第一目标点的位姿对各第一目标点进行聚类处理，确定聚类后的第一点阵；其中，上述聚类后的第一点阵中的各第一目标点中包括其属于目标的概率；根据聚类后的第一点阵和第二点阵进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设的地图数据确定构成目标的初始点阵；上述初始点阵包括多个初始目标点以及各初始目标点的位姿；根据各初始目标点的位姿对各初始目标点进行重采样，确定多个第二目标点以及各第二目标点的位姿，获得第二点阵；其中，上述多个第二目标点的数量大于多个初始目标点的数量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的第一边界线；根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的第二边界线；根据第一边界线和第二边界线进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第一边界线计算各第一目标点处的第一曲率；根据第二边界线计算各第二目标点处的第二曲率；根据各第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将各第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；根据各第三目标点的位姿，对各第三目标点进行曲线拟合，获得目标的位姿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第一目标点的位姿，对各第一目标点进行曲线拟合，获得目标对应的初始第一边界线；对环境图像中的目标进行语义识别处理，确定目标对应的第一语义信息；将第一语义信息与初始第一边界线进行融合，获得第一边界线。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据各第二目标点的位姿，对各第二目标点进行曲线拟合，获得目标对应的初始第二边界线；对预设的地图数据中的目标进行语义识别处理，确定目标对应的第二语义信息；将第二语义信息与初始第二边界线进行融合，获得第二边界线。
在一个实施例中，上述识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，上述真实目标包括真实的物体和/或车道线，上述虚拟目标包括由实体模拟的车道线。
需要说明的是，本申请所涉及的用户信息数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (14)

1.一种数据融合方法，其特征在于，所述方法包括：
获取多个传感器采集的环境图像；所述环境图像中包括至少一个目标；
将所述环境图像输入至预设的识别模型中进行目标识别处理，确定构成所述目标的第一点阵；所述第一点阵包括多个第一目标点以及各所述第一目标点的位姿；
根据预设的地图数据确定构成所述目标的第二点阵；所述第二点阵包括多个第二目标点以及各所述第二目标点的位姿；
根据所述第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿，包括：
对各所述第一目标点的位姿进行位置约束处理，确定约束后的第一点阵；
根据所述约束后的第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿。
3.根据权利要求2所述的方法，其特征在于，所述根据所述约束后的第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿，包括：
根据所述约束后的第一点阵中各所述第一目标点的位姿对各所述第一目标点进行聚类处理，确定聚类后的第一点阵；其中，所述聚类后的第一点阵中的各第一目标点中包括其属于所述目标的概率；
根据所述聚类后的第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据预设的地图数据确定构成所述目标的第二点阵，包括：
根据预设的地图数据确定构成所述目标的初始点阵；所述初始点阵包括多个初始目标点以及各初始目标点的位姿；
根据各所述初始目标点的位姿对各所述初始目标点进行重采样，确定所述多个第二目标点以及各所述第二目标点的位姿，获得所述第二点阵；
其中，所述多个第二目标点的数量大于所述多个初始目标点的数量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿，包括：
根据各所述第一目标点的位姿，对各所述第一目标点进行曲线拟合，获得所述目标对应的第一边界线；
根据各所述第二目标点的位姿，对各所述第二目标点进行曲线拟合，获得所述目标对应的第二边界线；
根据所述第一边界线和所述第二边界线进行数据融合，确定所述目标的位姿。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一边界线和所述第二边界线进行数据融合，确定所述目标的位姿，包括：
根据所述第一边界线计算各所述第一目标点处的第一曲率；
根据所述第二边界线计算各所述第二目标点处的第二曲率；
根据各所述第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定所述目标的位姿。
7.根据权利要求6所述的方法，其特征在于，所述根据各所述第一目标点处的第一曲率和对应位置的第二目标点处的第二曲率进行数据融合，确定所述目标的位姿，包括：
将各所述第一曲率和对应第二目标点位置处的第二曲率进行比较，确定各个位置处的最小曲率，并将最小曲率对应的目标点作为第三目标点；
根据各所述第三目标点的位姿，对各所述第三目标点进行曲线拟合，获得所述目标的位姿。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述根据各所述第一目标点的位姿，对各所述第一目标点进行曲线拟合，获得所述目标对应的第一边界线，包括：
根据各所述第一目标点的位姿，对各所述第一目标点进行曲线拟合，获得所述目标对应的初始第一边界线；
对所述环境图像中的所述目标进行语义识别处理，确定所述目标对应的第一语义信息；
将所述第一语义信息与所述初始第一边界线进行融合，获得所述第一边界线。
9.根据权利要求5-7任一项所述的方法，其特征在于，所述根据各所述第二目标点的位姿，对各所述第二目标点进行曲线拟合，获得所述目标对应的第二边界线，包括：
根据各所述第二目标点的位姿，对各所述第二目标点进行曲线拟合，获得所述目标对应的初始第二边界线；
对所述预设的地图数据中的所述目标进行语义识别处理，确定所述目标对应的第二语义信息；
将所述第二语义信息与所述初始第二边界线进行融合，获得所述第二边界线。
10.根据权利要求1-3任一项所述的方法，其特征在于，所述识别模型是基于包括真实目标和虚拟目标的样本图像进行训练得到的，所述真实目标包括真实的物体和/或车道线，所述虚拟目标包括由实体模拟的车道线。
11.一种数据融合装置，其特征在于，所述装置包括：
图像获取模块，用于获取多个传感器采集的环境图像；所述环境图像中包括至少一个目标；
识别模块，用于将所述环境图像输入至预设的识别模型中进行目标识别处理，确定构成所述目标的第一点阵；所述第一点阵包括多个第一目标点以及各所述第一目标点的位姿；
确定模块，用于根据预设的地图数据确定构成所述目标的第二点阵；所述第二点阵包括多个第二目标点以及各所述第二目标点的位姿；
融合模块，用于根据所述第一点阵和所述第二点阵进行数据融合，确定所述目标的位姿。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
14.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
CN202211334352.1A 2022-10-28 2022-10-28 数据融合方法、装置、设备、存储介质和程序产品 Pending CN118015570A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211334352.1A CN118015570A (zh) 2022-10-28 2022-10-28 数据融合方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211334352.1A CN118015570A (zh) 2022-10-28 2022-10-28 数据融合方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN118015570A true CN118015570A (zh) 2024-05-10

Family

ID=90948850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211334352.1A Pending CN118015570A (zh) 2022-10-28 2022-10-28 数据融合方法、装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN118015570A (zh)

Similar Documents

Publication Publication Date Title
CN110059608B (zh) 一种物体检测方法、装置、电子设备和存储介质
CN110497901B (zh) 一种基于机器人vslam技术的泊车位自动搜索方法和系统
CN111771141B (zh) 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
US11594011B2 (en) Deep learning-based feature extraction for LiDAR localization of autonomous driving vehicles
US11364931B2 (en) Lidar localization using RNN and LSTM for temporal smoothness in autonomous driving vehicles
CN113870343B (zh) 相对位姿标定方法、装置、计算机设备和存储介质
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
JP2020052694A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
CN113916243A (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
CN110096053A (zh) 用于自动驾驶车辆的驾驶轨迹生成方法、系统和机器可读介质
CN116534052B (zh) 行驶场景感知数据处理方法、装置、控制器及存储介质
CN114636414A (zh) 高清晰度城市地图绘制
CN116740669B (zh) 多目图像检测方法、装置、计算机设备和存储介质
CN116740127A (zh) 障碍物轨迹预测方法、装置、计算机设备和存储介质
CN114663598A (zh) 三维建模方法、装置和存储介质
CN114463713A (zh) 一种车辆在3d空间的信息检测方法、装置及电子设备
CN108416044B (zh) 场景缩略图的生成方法、装置、电子设备及存储介质
CN118015570A (zh) 数据融合方法、装置、设备、存储介质和程序产品
CN113312403B (zh) 地图获取方法、装置、电子设备及存储介质
US11544899B2 (en) System and method for generating terrain maps
CN118015572A (zh) 轨迹确定方法、装置、设备、存储介质和程序产品
CN111060114A (zh) 用于生成高精度地图的特征图的方法和装置
US20230024799A1 (en) Method, system and computer program product for the automated locating of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240730

Address after: Room 101, 4th Floor, Building 22, East Campus, No. 10 Xibeiwang East Road, Haidian District, Beijing 100080

Applicant after: Ruilian Xingchen (Beijing) Technology Co.,Ltd.

Country or region after: China

Address before: B404, 4th Floor, Building 2, No. 28 Shangdi West Road, Haidian District, Beijing, 100089

Applicant before: BEIJING DIDI INFINITY TECHNOLOGY AND DEVELOPMENT Co.,Ltd.

Country or region before: China

TA01 Transfer of patent application right