CN111680596A - 基于深度学习的定位真值校验方法、装置、设备及介质 - Google Patents

基于深度学习的定位真值校验方法、装置、设备及介质 Download PDF

Info

Publication number
CN111680596A
CN111680596A CN202010477693.9A CN202010477693A CN111680596A CN 111680596 A CN111680596 A CN 111680596A CN 202010477693 A CN202010477693 A CN 202010477693A CN 111680596 A CN111680596 A CN 111680596A
Authority
CN
China
Prior art keywords
image
data
deep learning
value data
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010477693.9A
Other languages
English (en)
Other versions
CN111680596B (zh
Inventor
李世伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010477693.9A priority Critical patent/CN111680596B/zh
Publication of CN111680596A publication Critical patent/CN111680596A/zh
Application granted granted Critical
Publication of CN111680596B publication Critical patent/CN111680596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种基于深度学习的定位真值校验方法、装置、设备及介质，涉及自动驾驶技术领域。具体实现方案为：获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像；基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；根据所述特征差异度，确定所述待校验定位真值数据的校验结果。本申请实施例实现了对定位真值的可信度校验。

Description

基于深度学习的定位真值校验方法、装置、设备及介质
技术领域
本申请实施例涉及数据处理技术，尤其涉及自动驾驶技术领域，特别涉及一种基于深度学习的定位真值校验方法、装置、设备及介质。
背景技术
自动驾驶汽车又称无人驾驶汽车或轮式移动机器人，依靠人工智能、视觉计算、雷达、监控装置及定位系统等的协同合作，能够自动获取车辆周围的环境信息并进行决策和路径规划，从而完全不依赖于人类操作，实现自动驾驶。
自动驾驶中的定位系统，通常采用多传感器融合方式进行高精度定位。由于激光雷达传感器的点云定位的定位精度较高，且不受信号遮挡的影响等优势，采用激光雷达传感器进行点云定位在无人驾驶方案中普遍采用。
然而，点云定位的定位精度的验证依赖于定位真值，而定位真值又依赖于更高精度的定位设备或后处理算法，因此，存在定位真值可信度不确定的问题，因此如何对定位真值的可信度进行校验，成为亟待解决的问题。
发明内容
本申请实施例提供了一种基于深度学习的定位真值校验方法、装置、设备及介质，以实现对定位真值的准确校验。
根据第一方面，提供了一种基于深度学习的定位真值校验方法，包括：
获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像；
基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；
根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
根据第二方面，提供了一种基于深度学习的定位真值校验装置，包括：
图像获取模块，用于获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像；
特征差异度确定模块，用于基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；
校验结果确定模块，用于根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面提供的一种基于深度学习的定位真值校验方法。
根据第四方面，提供了一种车辆，包括如第三方面提供的电子设备。
根据第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面提供的一种基于深度学习的定位真值校验方法。
本申请实施例通过获取当前点云数据帧在世界坐标系下的投影图像作为第一图像，以及当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像作为第二图像；基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；根据特征差异度确定待校验定位真值数据的校验结果，从而实现了对定位真值的可信度校验。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的一种基于深度学习的定位真值校验方法的流程图；
图2是本申请实施例提供的另一种基于深度学习的定位真值校验方法的流程图；
图3A是本申请实施例提供的另一种基于深度学习的定位真值校验方法的流程图；
图3B是本申请实施例提供的一种深度学习网络模型的架构图；
图4是本申请实施例提供的一种基于深度学习的定位真值校验装置的结构图；
图5是用来实现本申请实施例的基于深度学习的定位真值校验方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是本申请实施例提供的一种基于深度学习的定位真值校验方法的流程图，本申请适用于对自动驾驶中的定位真值的可信度进行自动校验的情况。该方法由基于深度学习的定位真值校验装置执行，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是车载设备。
如图1所示的一种基于深度学习的定位真值校验方法，包括：
S101、获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像。
点云数据是指在一个三维坐标系统中的一组向量的集合，用来表征一个物体的外表面形状，可以通过激光雷达等扫描设备采集得到。
其中，第一图像，可以是将采集设备的当前点云数据帧中的各点的坐标，由扫描设备所在坐标系转化到世界坐标系后，将坐标转换后的点云坐标画在世界坐标平面图上，所得到的投影图像。
其中，第二图像，可以是所使用的用于定位的高精地图中、与当前点云数据帧相同时间戳的定位真值数据对应的局部区域的地图图像，也即，以定位真值数据所对应的定位点为中心的设定距离范围内的区域，在高精地图中的相应图像。其中，设定距离范围可以由技术人员根据需要或经验值设定，或通过大量试验反复确定。例如，设定距离范围可以是50米。
其中，定位真值数据可以是通过定位系统确定定位结果，并采用定位算法对定位结果进行处理后得到的数据。其中，定位真值数据包括位置数据和/或姿态角数据。
本申请对定位真值数据的获取方式不做任何限定。可选的，定位真值数据可以是采用全球导航卫星系统(Global Navigation Satellite System，GNSS)后处理软件结合迭代最近点(Iterative Closest Point，ICP)算法处理后得到的数据，用于表征定位点的位置信息和/或角度信息。
在本申请实施例的一种可选实施方式中，可以是将当前点云数据帧对应的第一图像和/或第二图像预先存储在电子设备本地、与电子设备所关联的存储设备中，相应的，在需要时从电子设备本地、与电子设备所关联的存储设备中进行数据获取。
在本申请实施例的另一可选实施方式中，还可以直接将当前点云数据帧投影至世界坐标系下，将得到的投影图像作为第一图像；和/或直接确定当前点云数据帧关联的待校验定位真值数据，在用于定位的高精地图中所对应的区域的图像，并将所确定的图像作为第二图像。
可以理解的是，第一图像的确定和第二图像的确定过程可以在电子设备本地实现，还可以通过与电子设备通信连接的其他设备中实现，并将确定结果传输至本申请所涉及的电子设备。
S102、基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度。
其中，将第一图像和第二图像输入至训练好的深度学习网络模型中，得到第一图像与第二图像之间的特征差异度，用于表征待校验定位真值数据的可信度。
由于第一图像基于当前点云数据帧确定，而第二图像基于待校验定位真值数据确定，当当前点云数据帧相关联的待校验定位真值数据准确度较高时，当前点云数据帧所对应的第一图像与待校验定位真值数据所对应的第二图像，两者的特征差异度较小；当当前点云数据帧相关联的待校验定位真值数据准确度较低时，当前点云数据帧所对应的第一图像与待校验定位真值数据所对应的第二图像，两者的特征差异度较大。因此可以通过基于深度学习网络模型所确定的两图像之间的特征差异度，反映待校验定位真值数据的准确度或可信度。
为了提高定位真值校验速度，在本申请实施例的一种可选实施方式中，可以采用基于孪生(siamese)神经网络的深度学习网络模型作为深度学习网络模型，进行特征差异度的确定。相应的，基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度，可以是：将第一图像和第二图像输入基于孪生神经网络的深度学习网络模型，获得深度学习网络模型输出的特征向量之间的距离值数据；根据距离值数据确定第一图像与第二图像之间的特征差异度。
可选的，若待校验定位真值数据包括位置数据，则距离值数据包括位置距离值，用于表征待校验定位真值数据的位置偏差，体现位置上的绝对差异；若待校验定位真值数据包括姿态角数据，则距离值数据包括角度距离值，用于表征待校验定位真值数据的角度偏差，体现方向上的相对差异。可以理解的是，为了提高特征差异度的准确性，进而提高定位真值的校验结果的准确度，通常会在采用包括位置数据和姿态角数据的待校验定位真值数据，相应的，所确定的距离值数据包括位置距离值和角度距离值。
示例性地，位置距离值可以采用欧式距离值；角度距离值可以采用余弦距离值。当然，位置距离值和角度距离值还可以采用其他距离确定形式加以实现，在此不再赘述。
在本申请实施例的一种可选实施方式中，基于孪生神经网络的深度学习网络模型，可以包括孪生神经网络模块和处理模块。其中，孪生神经网络模块，用于对第一图像和第二图像分别进行特征向量抽取，得到第一特征向量和第二特征向量；处理模块，用于确定所抽取的第一特征向量和第二特征向量之间的距离值数据。
可以理解的是，通过孪生神经网络模块共享权值的方式，从而将第一图像和第二图像映射至相同的目标空间，并在目标空间中分别对第一图像和第二图像的相似特征进行抽取，以及差异度衡量。通过孪生神经网络模块的使用，能够适配图像内容复杂、或者不同校验过程的图像数据差异较大的场景。
需要说明的是，由于第一图像为当前点云数据帧在世界坐标系下的投影图像，因此其数据相对稀疏，而第二图像为定位图像中的区域图像，因此其数据相对稠密，因此直接采用孪生神经网络模块，直接对第一图像和第二图像进行特征抽取，所抽取的特征的表征能力较差，进而基于所抽取特征所确定的特征差异度的准确度也较低。
为了进一步提高定位真值校验结果的准确度，还可以在深度学习网络模型中，添加点云投影特征提取模块，用于对第一图像进行特征抽取，得到第一特征数据；以及地图图像特征提取模块，用于对第二图像进行特征抽取，得到第二特征数据。相应的，孪生神经网络模块，用于对第一特征数据进行特征抽取，得到第一特征向量；以及，对第二特征数据进行特征抽取，得到第二特征向量；处理模块，用于确定并输出第一特征向量与第二特征向量之间的距离值数据。
其中，点云投影特征提取模块和地图图像特征提取模块，可以采用相同或不同的网络模型。示例性地，网络模型可以是神经网络模型，例如卷积神经网络(ConvolutionalNeural Networks，CNN)、深度残差网络(Deep Residual Network，RESNet)、或密集连接卷积网络(Densely Connected Convolutional Networks，DENSENet)等。
可以理解的是，通过点云投影特征提取模块和地图图像特征提取模块，可以从第一图像和第二图像中，提取出两者的共性特征(第一特征数据和第二特征数据)。相应的，将两者的共享特征输入至孪生神经网络模块进行特征抽取，能够进一步提高孪生神经网络模块所抽取特征的准确度，进而提高了处理模块所确定的距离值数据的准确度。
S103、根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
示例性地，若所确定的特征差异度越大，则表明待校验定位真值数据的准确度较差，因此相应的校验结果为不可信；若所确定的特征差异度越小，则表明待校验定位真值数据的准确度较好，因此相应的校验结果为可信。
在本申请实施例的一种可选实施方式中，可以通过阈值比较的方式来衡量特征差异度的大小。示例性地，若特征差异度大于设定差异度阈值，则确定待校验定位真值数据的校验结果为不可信；若特征差异度不大于设定差异度阈值，则确定待校验定位真值数据的校验结果为可信。
本申请实施例通过获取当前点云数据帧在世界坐标系下的投影图像作为第一图像，以及当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像作为第二图像；基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；根据特征差异度确定待校验定位真值数据的校验结果。上述技术方案采用深度学习网络模型确定与当前点云数据帧相关联的第一图像，以及与待校验定位真值数据相关联的第二图像之间的特征差异度，从而根据特征差异度确定与当前点云数据帧相关联的待校验定位真值数据的可信度，实现了对定位真值数据的可信度的自动校验，进而为基于定位真值数据的点云定位精度提供了保障。
图2是本申请实施例提供的另一种基于深度学习的定位真值校验方法的流程图。该方法在上述各技术方案的基础上，进行了优化改进。
进一步地，在操作“基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度”之前，追加“获取多个训练样本数据；使用所述训练样本数据，对预先构建的深度学习网络模型进行训练；其中，各所述训练样本数据中包含：样本投影图像、样本地图图像和标签数据；所述样本投影图像是样本点云数据帧在世界坐标系下的投影图像，所述样本地图图像是所述样本点云数据帧关联的样本定位真值数据在用于定位的高精地图中所对应的区域的图像，所述标签数据包括所述样本定位真值数据与可信样本定位真值数据之间的偏移值数据”，以完善深度学习网络模型训练机制。
如图2所示的一种基于深度学习的定位真值校验方法，包括：
S201、获取多个训练样本数据。
S202、使用所述训练样本数据，对预先构建的深度学习网络模型进行训练。
其中，各所述训练样本数据中包含：样本投影图像、样本地图图像和标签数据；所述样本投影图像是样本点云数据帧在世界坐标系下的投影图像，所述样本地图图像是所述样本点云数据帧关联的样本定位真值数据在用于定位的高精地图中所对应的区域的图像，所述标签数据包括所述样本定位真值数据与可信样本定位真值数据之间的偏移值数据。
其中，样本投影图像，可以是采集的样本点云数据帧中的各点的坐标，由扫描设备所在坐标系转化到世界坐标系后，将坐标转化后的点云坐标画在世界坐标平面图上，所得到的投影图像。
其中，样本地图图像，可以是所使用的用于定位的高精地图中、与样本点云数据帧相同时间戳的样本定位真值数据对应的局部区域的地图图像，也即，以样本定位真值数据所对应的定位点为中心的设定距离范围内的区域，在高精地图中的相应图像。其中，设定距离范围可以由技术人员根据需要或经验值设定，或通过大量试验反复确定。例如，设定距离范围可以是50米。
其中，偏移值数据包括位置偏移值和/或姿态角偏移值。
其中，为了提高所训练模型的鲁棒性，提高模型的准确度，通常会采用包括正样本数据和负样本数据的训练样本对模型进行训练。为了避免数据倾斜对模型准确度的影响，还可以对正样本数据和负样本数据之间的比例加以控制。其中，正样本数据中包含的偏移值数据为0，表征样本定位真值数据与可信样本定位真值数据之间不存在数据偏差，也即样本定位真值数据即为可信样本定位真值数据。其中，负样本数据包含的偏移值数据大于0，表征样本定位真值数据与可信样本定位真值数据之间存在数据偏差。可以理解的是，当偏移值数据大于0时，可以是样本定位真值数据与可信样本定位真值数据的差值大于0，也可以是可信样本定位真值数据与样本定位真值数据之间的差值大于0，为了保证所训练模型的鲁棒性和准确度，通常在负样本数据中会涵盖上述两种情况。
示例性地，使用训练样本数据，对预先构建的深度学习网络模型进行训练，可以是：将训练样本数据中的样本投影图像和样本地图图像输入至预先构建的深度学习网络模型，获得深度学习网络模型输出的预测距离值数据；根据预测距离值数据和训练样本数据中包含的偏移值数据，确定损失函数值；根据损失函数值调整深度学习网络模型的网络参数。
可以理解的是，根据深度学习网络模型输出的预测距离值数据和训练样本数据中的偏移值数据，确定损失函数值，用于表征预测偏差(预测距离值)和真实偏差(偏移值数据)之间的偏离程度，进而基于损失函数值对深度学习网络模型的网络参数进行调整，以使损失函数值收敛或小于设定数值，从而保证所训练模型的鲁棒性。
可选的，预测距离值数据可以包括位置距离预测值，用于对样本定位真值数据与可信样本定位真值数据之间的位置偏差进行预测，例如可以是预测欧式距离。
可选的，预测距离值数据可以包括角度距离预测值，用于对样本定位真值数据与可信样本定位真值数据之间的角度偏差进行预测，例如可以是预测余弦距离。
在本申请实施例的一种可选实施方式中，根据预测距离值数据和训练样本数据中包含的偏移值数据，确定损失函数值，可以是：确定预测距离值数据中的位置距离预测值(例如预测欧式距离)与偏移值数据中的位置偏移值之间的第一差值；根据第一差值确定损失函数值。
可选的，根据第一差值确定损失函数，可以是根据第一差值确定位置距离预测值(例如预测欧式距离)与位置偏移值的第一距离值，将所确定的第一距离值作为损失函数值，用于表征模型在位置偏差上的预测能力。示例性地，第一距离值可以是欧式距离值。其中，损失函数值越小，则表明模型在位置偏差上的预测能力越强。损失函数值越稳定，则表明最终模型的鲁棒性越好。
在本申请实施例的另一可选实施方式中，根据预测距离值数据和训练样本数据中包含的偏移值数据，确定损失函数值，可以是：确定预测距离值数据中的角度距离预测值(例如预测余弦距离)与偏移值数据中的姿态角偏移值之间的第二距离值；根据第二距离值确定损失函数值。其中，第二距离值用于表征模型在角度偏差上的预测能力。示例性地，第二距离值可以是余弦距离值。
可选的，根据第二差值确定损失函数，可以是根据第二差值确定位置距离预测值(例如预测欧式距离)与位置偏移值的第二距离值，将所确定的第二距离值作为损失函数值，用于表征模型在角度偏差上的预测能力。示例性地，第二距离值可以是欧式距离值。其中，损失函数值越小，则表明模型在角度偏差上的预测能力越强。损失函数值越稳定，则表明最终模型的鲁棒性越好。
在本申请实施例的再一可选实施方式中，为了丰富模型对定位偏差的预测范围，同时提高模型对定位偏差的预测结果准确度，根据预测距离值数据和训练样本数据中包含的偏移值数据，确定损失函数值，可以是：确定预测距离值数据中的位置距离预测值(例如预测欧式距离)与偏移值数据中的位置偏移值之间的第一差值；以及，确定预测距离值数据中的角度距离预测值(例如预测余弦距离)与偏移值数据中的姿态角偏移值之间的第二距离值；根据第一差值和第二差值确定损失函数值。其中，损失函数值用于表征模型在位置偏差以及角度偏差上的预测能力。
可选的，根据第一差值和第二差值确定损失函数值，可以是：根据第一差值确定位置距离预测值(例如预测欧式距离)与位置偏移值的第一距离值；以及，根据第二差值确定位置距离预测值(例如预测欧式距离)与位置偏移值的第二距离值；将第一距离值和第二距离值的和值，作为损失函数值。其中，第一距离值可以是欧式距离；第二距离值可以是欧式距离。其中，损失函数值越小，则表明模型在位置偏差上的预测能力越强。损失函数值越稳定，则表明最终模型的鲁棒性越好。
S203、获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像。
S204、基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度。
S205、根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
本申请实施例通过在基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度之前，获取多个训练样本数据；使用训练样本数据对预先构建的深度学习网络模型进行训练，从而完善了对深度学习网络模型的训练机制，为后续基于深度学习网络模型进行特征差异度的确定，进而基于特征差异度进行定位真值校验奠定了基础。
图3A是本申请实施例提供的另一种基于深度学习的定位真值校验方法的流程图，该方法在上述各技术方案的基础上，提供了一种优选实施方式，并结合图3B所示的深度学习网络模型的架构图，进行示例性说明。
如图3A所示的一种基于深度学习的定位真值校验方法，包括：
S310、训练样本准备阶段；
S320、模型训练阶段；
S330、模型使用阶段。
其中，训练样本准备阶段，包括：
S311、提取车辆上激光雷达的点云数据帧，并记录点云数据帧的时间戳。
需要说明的是，为了提高点云数据帧的覆盖度，通常会在采集区域内，每隔设定间隔进行点云数据帧抽样，以生成覆盖整个采集区域地图范围的点云数据帧，进而使后续所生成的正样本数据和负样本数据能够覆盖整个采集区域地图。
S312、获取时间戳对应的定位真值数据。
其中，定位真值数据可以采用GNSS后处理软件结合点云ICP处理后经人工核实准确无误后使用。
其中，定位真值数据(x,y,yaw)包括位置坐标(x,y)和姿态角yaw。
S313、根据定位真值数据中的位置坐标，提取对应区域的地图图像，并投影至通用横墨卡托格网系统(Universal Transverse Mercartor Grid System，UTM)平面，得到点云数据帧对应的地图图像。其中，地图图像可以是用于定位的高精地图中的局部区域对应的图像。
S314、根据定位真值数据将雷达坐标系的点云数据转换到世界坐标系，得到对应的投影图像。
S315、根据点云数据对应的地图图像、投影图像和偏移值0，构建正样本数据。
S316、随机生成位置偏差和角度偏差，作为偏移值，并根据点云数据对应的地图图像、投影图像和所生成偏移值，构建负样本数据。
其中，模型训练阶段，包括：
S321、将各正样本数据和各负样本数据分别输入至预先构建的深度学习网络模型，得到损失函数值。
参见图3B所示的深度学习网络模型的架构图，该模型包括：点云投影特征提取模块31、地图图像特征提取模块32、孪生神经网络模块33和处理模块34。其中，
点云投影特征提取模块31，用于对投影图像进行特征抽取，得到第一特征数据；
地图图像特征提取模块32，用于对地图图像进行特征抽取，得到第二特征数据。
孪生神经网络模块33，用于对第一特征数据进行特征抽取，得到第一特征向量；以及，对第二特征数据进行特征抽取，得到第二特征向量；
处理模块34，用于确定并输出第一特征向量与第二特征向量之间的距离值数据，得到损失函数值。
其中，点云投影特征提取模块31和地图图像特征提取模块32两者为独立的特征提取模块，通过模型训练，使得能够提取出具备共性特征的第一特征数据和第二特征数据。两者可以采用相同或不同的特征提取模型，例如CNN模型。
其中，孪生神经网络模块33，通过共享权重的方式，在相同特征的基础上进行第一特征向量和第二特征向量的抽取。该模块可以采用多个卷积层和全连接层组合得到。图3B示例性给出了包括三个卷积层和4个全连接层的情况。可选的，还可以包括RESNet或DENSENet结构等，以丰富卷积层结构。
其中，处理模块34，通过对第一特征向量和第二特征向量进行欧氏距离和余弦距离的计算，得到损失函数值，用于表征地图图像和投影图像的重合度。
示例性地，可以采用如下损失函数：
Figure BDA0002516335710000121
其中，offset与yaw_offset分别为本批训练样本中的第i个训练样本(x,y，yaw)的坐标偏移和角度偏移；Dw和cosDw分别为网络输出的第一特征向量和第二特征向量之间的欧氏距离和余弦距离。其中，λ为超参数，可以由技术人员根据需要或经验值进行确定。
S322、根据损失函数值调整深度学习网络模型的网络参数，直至函数值收敛或达到迭代次数。
其中，模型使用阶段，包括：
S331、获取车辆上激光雷达的当前点云数据帧，并记录当前点云数据帧的当前时间戳。
S332、获取当前时间戳对应的待校验定位真值数据。
S333、根据待校验定位真值数据中的位置坐标，提取对应区域的地图图像，并投影至通用横墨卡托格网系统(Universal Transverse Mercartor Grid System，UTM)平面，得到点云数据帧对应的待校验地图图像。
S334、根据待校验定位真值数据，将雷达坐标系的当前点云坐标转换到世界坐标系，得到当前点云数据对应的待校验投影图像。
S335、将待校验地图图像和待校验投影数据，输入至训练好的深度学习网络模型，得到模型输出的欧式距离和余弦距离。
S336、根据欧式距离和余弦距离，确定特征差异度。
S337、若特征差异度大于差异度阈值设定差异度阈值，则确定待校验定位真值数据的校验结果为不可信；否则，确定待校验定位真值数据的校验结果为可信。
图4是本申请实施例提供的一种基于深度学习的定位真值校验装置的结构图，本申请实施例适用于对自动驾驶中的定位真值的可信度进行自动校验的情况。该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是车载设备。
如图4所示的一种基于深度学习的定位真值校验装置400，包括：图像获取模块401、特征差异度确定模块402和校验结果确定模块403。其中，
图像获取模块401，用于获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像；
特征差异度确定模块402，用于基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；
校验结果确定模块403，用于根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
本申请实施例通过图像获取模块获取当前点云数据帧在世界坐标系下的投影图像作为第一图像，以及当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像作为第二图像；通过特征差异度确定模块基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；通过校验结果确定模块根据特征差异度确定待校验定位真值数据的校验结果。上述技术方案采用深度学习网络模型确定与当前点云数据帧相关联的第一图像，以及与待校验定位真值数据相关联的第二图像之间的特征差异度，从而根据特征差异度确定与当前点云数据帧相关联的待校验定位真值数据的可信度，实现了对定位真值数据的可信度的自动校验，进而为基于定位真值数据的点云定位精度提供了保障。
进一步地，所述深度学习网络模型为基于孪生神经网络的深度学习网络模型；
所述特征差异度确定模块402，包括：
距离值数据获得单元，用于将第一图像和第二图像输入所述基于孪生神经网络的深度学习网络模型，获得所述深度学习网络模型输出的特征向量之间的距离值数据；
特征差异度确定单元，用于根据所述距离值数据确定第一图像与第二图像之间的特征差异度。
进一步地，所述基于孪生神经网络的深度学习网络模型包括：
点云投影特征提取模块，用于对第一图像进行特征抽取，得到第一特征数据；
地图图像特征提取模块，用于对第二图像进行特征抽取，得到第二特征数据；
孪生神经网络模块，用于对第一特征数据进行特征抽取，得到第一特征向量；以及，对第二特征数据进行特征抽取，得到第二特征向量；
处理模块，用于确定并输出第一特征向量与第二特征向量之间的距离值数据。
进一步地，所述待校验定位真值数据包括位置数据，所述距离值数据包括欧式距离值；和/或，
所述待校验定位真值数据包括姿态角数据，所述距离值数据包括余弦距离值。
进一步地，所述装置还包括：
训练样本数据获取模块，用于在基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度之前，获取多个训练样本数据；
网络模型训练模块，用于使用所述训练样本数据，对预先构建的深度学习网络模型进行训练；
其中，各所述训练样本数据中包含：样本投影图像、样本地图图像和标签数据；所述样本投影图像是样本点云数据帧在世界坐标系下的投影图像，所述样本地图图像是所述样本点云数据帧关联的样本定位真值数据在用于定位的高精地图中所对应的区域的图像，所述标签数据包括所述样本定位真值数据与可信样本定位真值数据之间的偏移值数据。
进一步地，所述偏移值数据包括：位置偏移值和/或姿态角偏移值。
进一步地，所述多个训练样本数据包括正样本数据和负样本数据；
其中，所述正样本数据中包含的偏移值数据为0，所述负样本数据中包含的偏移值数据大于0。
进一步地，网络模型训练模块，包括：
距离值数据预测单元，用于将所述训练样本数据中的样本投影图像和样本地图图像输入至预先构建的深度学习网络模型，获得所述深度学习网络模型输出的预测距离值数据；
损失函数值确定单元，用于根据所述预测距离值数据和所述训练样本数据中包含的偏移值数据，确定损失函数值；
网络参数调整单元，用于根据所述损失函数值调整所述深度学习网络模型的网络参数。
进一步地，损失函数值确定单元，包括：
差值确定子单元，用于确定所述预测距离值数据中的预测欧氏距离与所述偏移值数据中的位置偏移值之间的第一差值，和/或，所述预测距离值数据中的预测余弦距离与所述偏移值数据中的姿态角偏移值之间的第二差值；
损失函数值确定子单元，用于根据第一差值和/或第二差值确定损失函数值。进一步地，校验结果确定模块403，包括：
第一校验结果确定单元，用于若所述特征差异度大于设定差异度阈值，则确定所述待校验定位真值数据的校验结果为不可信；
第二校验结果确定单元，用于若所述特征差异度不大于所述设定差异度阈值，则确定所述待校验定位真值数据的校验结果为可信。
上述基于深度学习的定位真值校验装置用于实现本申请任意实施例所提供的定位真值检验方法，具备执行基于深度学习的定位真值校验方法相应的功能模块和有益效果
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是实现本申请实施例的基于深度学习的定位真值校验方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的基于深度学习的定位真值校验方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于深度学习的定位真值校验方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于深度学习的定位真值校验方法对应的程序指令/模块(例如，附图4所示的图像获取模块401、特征差异度确定模块402和校验结果确定模块403)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于深度学习的定位真值校验方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储实现基于深度学习的定位真值校验方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至实现基于深度学习的定位真值校验方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现基于深度学习的定位真值校验方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与实现基于深度学习的定位真值校验方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过获取当前点云数据帧在世界坐标系下的投影图像作为第一图像，以及当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的地图作为第二图像；基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；根据特征差异度确定待校验定位真值数据的校验结果。上述技术方案采用深度学习网络模型确定与当前点云数据帧相关联的第一图像，以及与待校验定位真值数据相关联的第二图像之间的特征差异度，从而根据特征差异度确定与当前点云数据帧相关联的待校验定位真值数据的可信度，实现了对定位真值数据的可信度的自动校验，进而为基于定位真值数据的点云定位精度提供了保障。
在上述各实施例的技术方案的基础上，该电子设备还可以是车载设备，用于安装于车辆中。示例性地，该车辆可以是自动驾驶车辆。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (19)

1.一种基于深度学习的定位真值校验方法，其特征在于，包括：
获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像；
基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；
根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
2.根据权利要求1所述的方法，其特征在于，所述深度学习网络模型为基于孪生神经网络的深度学习网络模型；所述基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度，包括：
将第一图像和第二图像输入所述基于孪生神经网络的深度学习网络模型，获得所述深度学习网络模型输出的特征向量之间的距离值数据；
根据所述距离值数据确定第一图像与第二图像之间的特征差异度。
3.根据权利要求2所述的方法，其特征在于，所述基于孪生神经网络的深度学习网络模型包括：
点云投影特征提取模块，用于对第一图像进行特征抽取，得到第一特征数据；
地图图像特征提取模块，用于对第二图像进行特征抽取，得到第二特征数据；
孪生神经网络模块，用于对第一特征数据进行特征抽取，得到第一特征向量；以及，对第二特征数据进行特征抽取，得到第二特征向量；
处理模块，用于确定并输出第一特征向量与第二特征向量之间的距离值数据。
4.根据权利要求2所述的方法，其特征在于，所述待校验定位真值数据包括位置数据，所述距离值数据包括欧式距离值；和/或，
所述待校验定位真值数据包括姿态角数据，所述距离值数据包括余弦距离值。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度之前，所述方法还包括：
获取多个训练样本数据；
使用所述训练样本数据，对预先构建的深度学习网络模型进行训练；
其中，各所述训练样本数据中包含：样本投影图像、样本地图图像和标签数据；所述样本投影图像是样本点云数据帧在世界坐标系下的投影图像，所述样本地图图像是所述样本点云数据帧关联的样本定位真值数据在用于定位的高精地图中所对应的区域的图像，所述标签数据包括所述样本定位真值数据与可信样本定位真值数据之间的偏移值数据。
6.根据权利要求5所述的方法，其特征在于，所述偏移值数据包括：位置偏移值和/或姿态角偏移值。
7.根据权利要求5所述的方法，其特征在于，所述多个训练样本数据包括正样本数据和负样本数据；
其中，所述正样本数据中包含的偏移值数据为0，所述负样本数据中包含的偏移值数据大于0。
8.根据权利要求5所述的方法，其特征在于，使用所述训练样本数据，对预先构建的深度学习网络模型进行训练，包括：
将所述训练样本数据中的样本投影图像和样本地图图像输入至预先构建的深度学习网络模型，获得所述深度学习网络模型输出的预测距离值数据；
根据所述预测距离值数据和所述训练样本数据中包含的偏移值数据，确定损失函数值；
根据所述损失函数值调整所述深度学习网络模型的网络参数。
9.根据权利要求8所述的方法，其特征在于，根据所述预测距离值数据和所述训练样本数据中包含的偏移值数据，确定损失函数值，包括：
确定所述预测距离值数据中的预测欧式距离值与所述偏移值数据中的位置偏移值之间的第一差值，和/或，所述预测距离值数据中的预测余弦距离值与所述偏移值数据中的姿态角偏移值之间的第二差值；
根据第一差值和/或第二差值确定损失函数值。
10.根据权利要求1-4中任一项所述的方法，其特征在于，根据所述特征差异度，确定所述待校验定位真值数据的校验结果，包括：
若所述特征差异度大于设定差异度阈值，则确定所述待校验定位真值数据的校验结果为不可信；
若所述特征差异度不大于所述设定差异度阈值，则确定所述待校验定位真值数据的校验结果为可信。
11.一种基于深度学习的定位真值校验装置，其特征在于，包括：
图像获取模块，用于获取第一图像和第二图像；其中，第一图像是当前点云数据帧在世界坐标系下的投影图像，第二图像是所述当前点云数据帧关联的待校验定位真值数据在用于定位的高精地图中所对应的区域的图像；
特征差异度确定模块，用于基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度；
校验结果确定模块，用于根据所述特征差异度，确定所述待校验定位真值数据的校验结果。
12.根据权利要求11所述的装置，其特征在于，所述深度学习网络模型为基于孪生神经网络的深度学习网络模型；
所述特征差异度确定模块，包括：
距离值数据获得单元，用于将第一图像和第二图像输入所述基于孪生神经网络的深度学习网络模型，获得所述深度学习网络模型输出的特征向量之间的距离值数据；
特征差异度确定单元，用于根据所述距离值数据确定第一图像与第二图像之间的特征差异度。
13.根据权利要求12所述的装置，其特征在于，所述基于孪生神经网络的深度学习网络模型包括：
点云投影特征提取模块，用于对第一图像进行特征抽取，得到第一特征数据；
地图图像特征提取模块，用于对第二图像进行特征抽取，得到第二特征数据；
孪生神经网络模块，用于对第一特征数据进行特征抽取，得到第一特征向量；以及，对第二特征数据进行特征抽取，得到第二特征向量；
处理模块，用于确定并输出第一特征向量与第二特征向量之间的距离值数据。
14.根据权利要求11-13中任一项所述的装置，其特征在于，所述装置还包括：
训练样本数据获取模块，用于在基于训练出的深度学习网络模型，确定第一图像与第二图像之间的特征差异度之前，获取多个训练样本数据；
网络模型训练模块，用于使用所述训练样本数据，对预先构建的深度学习网络模型进行训练；
其中，各所述训练样本数据中包含：样本投影图像、样本地图图像和标签数据；所述样本投影图像是样本点云数据帧在世界坐标系下的投影图像，所述样本地图图像是所述样本点云数据帧关联的样本定位真值数据在用于定位的高精地图中所对应的区域的图像，所述标签数据包括所述样本定位真值数据与可信样本定位真值数据之间的偏移值数据。
15.根据权利要求14所述的装置，其特征在于，网络模型训练模块，包括：
距离值数据预测单元，用于将所述训练样本数据中的样本投影图像和样本地图图像输入至预先构建的深度学习网络模型，获得所述深度学习网络模型输出的预测距离值数据；
损失函数值确定单元，用于根据所述预测距离值数据和所述训练样本数据中包含的偏移值数据，确定损失函数值；
网络参数调整单元，用于根据所述损失函数值调整所述深度学习网络模型的网络参数。
16.根据权利要求15所述的装置，其特征在于，损失函数值确定单元，包括：
差值确定子单元，用于确定所述预测距离值数据中的预测欧氏距离与所述偏移值数据中的位置偏移值之间的第一差值，和/或，所述预测距离值数据中的预测余弦距离与所述偏移值数据中的姿态角偏移值之间的第二差值；
损失函数值确定子单元，用于根据第一差值和/或第二差值确定损失函数值。
17.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的一种基于深度学习的定位真值校验方法。
18.一种车辆，其特征在于，包括如权利要求17所示的电子设备。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的一种基于深度学习的定位真值校验方法。
CN202010477693.9A 2020-05-29 2020-05-29 基于深度学习的定位真值校验方法、装置、设备及介质 Active CN111680596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010477693.9A CN111680596B (zh) 2020-05-29 2020-05-29 基于深度学习的定位真值校验方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477693.9A CN111680596B (zh) 2020-05-29 2020-05-29 基于深度学习的定位真值校验方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111680596A true CN111680596A (zh) 2020-09-18
CN111680596B CN111680596B (zh) 2023-10-13

Family

ID=72434408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477693.9A Active CN111680596B (zh) 2020-05-29 2020-05-29 基于深度学习的定位真值校验方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111680596B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364820A (zh) * 2020-11-27 2021-02-12 深源恒际科技有限公司 一种基于深度学习的车险核保验车图片采集方法及系统
CN113030902A (zh) * 2021-05-08 2021-06-25 电子科技大学 一种基于孪生复网络的少样本雷达车辆目标识别方法
CN113239798A (zh) * 2021-05-12 2021-08-10 成都珊瑚鱼科技有限公司 基于孪生神经网络的三维头部姿态估计方法、存储介质和终端
CN113780349A (zh) * 2021-08-09 2021-12-10 深圳奥锐达科技有限公司 训练样本集的获取方法、模型训练方法及相关装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170151948A1 (en) * 2015-11-26 2017-06-01 Continental Automotive Gmbh Pedal Cruise Control (PCC)
CN106908775A (zh) * 2017-03-08 2017-06-30 同济大学 一种基于激光反射强度的无人车实时定位方法
CN108734185A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 图像校验方法和装置
CN109061703A (zh) * 2018-06-11 2018-12-21 百度在线网络技术（北京）有限公司 用于定位的方法、装置、设备和计算机可读存储介质
CN109270545A (zh) * 2018-10-23 2019-01-25 百度在线网络技术（北京）有限公司 一种定位真值校验方法、装置、设备及存储介质
CN109435955A (zh) * 2018-10-22 2019-03-08 百度在线网络技术（北京）有限公司 一种自动驾驶系统性能评估方法、装置、设备及存储介质
CN109543634A (zh) * 2018-11-29 2019-03-29 达闼科技（北京）有限公司 定位过程中的数据处理方法、装置、电子设备和存储介质
CN109764876A (zh) * 2019-02-21 2019-05-17 北京大学 无人平台的多模态融合定位方法
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
CN110148185A (zh) * 2019-05-22 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110146097A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN110310304A (zh) * 2019-06-14 2019-10-08 深圳前海达闼云端智能科技有限公司 单目视觉建图和定位方法、装置、存储介质及移动设备
CN110556012A (zh) * 2019-09-16 2019-12-10 北京百度网讯科技有限公司 车道定位方法及车辆定位系统
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN110645986A (zh) * 2019-09-27 2020-01-03 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110796714A (zh) * 2019-08-22 2020-02-14 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
CN110991468A (zh) * 2019-12-13 2020-04-10 深圳市商汤科技有限公司 三维目标检测和智能行驶方法、装置、设备
CN111060923A (zh) * 2019-11-26 2020-04-24 武汉乐庭软件技术有限公司 一种多激光雷达的汽车驾驶障碍物检测方法及系统
CN111079785A (zh) * 2019-11-11 2020-04-28 深圳云天励飞技术有限公司 一种图像识别方法、装置及终端设备
CN111160375A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 三维关键点预测及深度学习模型训练方法、装置及设备

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170151948A1 (en) * 2015-11-26 2017-06-01 Continental Automotive Gmbh Pedal Cruise Control (PCC)
CN106908775A (zh) * 2017-03-08 2017-06-30 同济大学 一种基于激光反射强度的无人车实时定位方法
CN108734185A (zh) * 2017-04-18 2018-11-02 北京京东尚科信息技术有限公司 图像校验方法和装置
CN110619618A (zh) * 2018-06-04 2019-12-27 杭州海康威视数字技术股份有限公司 一种表面缺陷检测方法、装置及电子设备
CN109061703A (zh) * 2018-06-11 2018-12-21 百度在线网络技术（北京）有限公司 用于定位的方法、装置、设备和计算机可读存储介质
CN110146097A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 自动驾驶导航地图的生成方法、系统、车载终端及服务器
CN109435955A (zh) * 2018-10-22 2019-03-08 百度在线网络技术（北京）有限公司 一种自动驾驶系统性能评估方法、装置、设备及存储介质
CN109270545A (zh) * 2018-10-23 2019-01-25 百度在线网络技术（北京）有限公司 一种定位真值校验方法、装置、设备及存储介质
CN109543634A (zh) * 2018-11-29 2019-03-29 达闼科技（北京）有限公司 定位过程中的数据处理方法、装置、电子设备和存储介质
CN109764876A (zh) * 2019-02-21 2019-05-17 北京大学 无人平台的多模态融合定位方法
CN110008851A (zh) * 2019-03-15 2019-07-12 深兰科技（上海）有限公司 一种车道线检测的方法及设备
CN110148185A (zh) * 2019-05-22 2019-08-20 北京百度网讯科技有限公司 确定坐标系转换参数的方法、装置、电子设备和存储介质
CN110310304A (zh) * 2019-06-14 2019-10-08 深圳前海达闼云端智能科技有限公司 单目视觉建图和定位方法、装置、存储介质及移动设备
CN110796714A (zh) * 2019-08-22 2020-02-14 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
CN110556012A (zh) * 2019-09-16 2019-12-10 北京百度网讯科技有限公司 车道定位方法及车辆定位系统
CN110645986A (zh) * 2019-09-27 2020-01-03 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN111079785A (zh) * 2019-11-11 2020-04-28 深圳云天励飞技术有限公司 一种图像识别方法、装置及终端设备
CN111060923A (zh) * 2019-11-26 2020-04-24 武汉乐庭软件技术有限公司 一种多激光雷达的汽车驾驶障碍物检测方法及系统
CN110991468A (zh) * 2019-12-13 2020-04-10 深圳市商汤科技有限公司 三维目标检测和智能行驶方法、装置、设备
CN111160375A (zh) * 2019-12-31 2020-05-15 北京奇艺世纪科技有限公司 三维关键点预测及深度学习模型训练方法、装置及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZAYDOUN YAHYA RAWASHDEH 等: "Collaborative Automated Driving: A Machine Learning-based Method to Enhance the Accuracy of Shared Information" *
王可 等: "基于地面特征的移动机器人单目视觉里程计算法" *
简明: "基于点线特征的室内环境双目视觉定位和2D激光雷达建图" *
高祥跃: "面向无人驾驶的定位系统建模与应用" *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364820A (zh) * 2020-11-27 2021-02-12 深源恒际科技有限公司 一种基于深度学习的车险核保验车图片采集方法及系统
CN113030902A (zh) * 2021-05-08 2021-06-25 电子科技大学 一种基于孪生复网络的少样本雷达车辆目标识别方法
CN113030902B (zh) * 2021-05-08 2022-05-17 电子科技大学 一种基于孪生复网络的少样本雷达车辆目标识别方法
CN113239798A (zh) * 2021-05-12 2021-08-10 成都珊瑚鱼科技有限公司 基于孪生神经网络的三维头部姿态估计方法、存储介质和终端
CN113239798B (zh) * 2021-05-12 2022-12-20 成都珊瑚鱼科技有限公司 基于孪生神经网络的三维头部姿态估计方法、存储介质和终端
CN113780349A (zh) * 2021-08-09 2021-12-10 深圳奥锐达科技有限公司 训练样本集的获取方法、模型训练方法及相关装置
CN113780349B (zh) * 2021-08-09 2023-07-11 深圳奥锐达科技有限公司 训练样本集的获取方法、模型训练方法及相关装置

Also Published As

Publication number Publication date
CN111680596B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN109297510B (zh) 相对位姿标定方法、装置、设备及介质
US11380002B2 (en) Map element extraction method and apparatus, and server
CN111680596B (zh) 基于深度学习的定位真值校验方法、装置、设备及介质
CN109059906B (zh) 车辆定位方法、装置、电子设备、存储介质
US10740694B2 (en) System and method for capture and adaptive data generation for training for machine vision
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
CN110595494B (zh) 地图误差确定方法和装置
CN111508021B (zh) 一种位姿确定方法、装置、存储介质及电子设备
CN110095752B (zh) 定位方法、装置、设备和介质
CN111220154A (zh) 车辆定位方法、装置、设备和介质
CN107748569B (zh) 用于无人机的运动控制方法、装置及无人机系统
CN111462029B (zh) 视觉点云与高精地图融合方法、装置和电子设备
KR102498439B1 (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
CN111094895A (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法
CN112444246B (zh) 高精度的数字孪生场景中的激光融合定位方法
JP7228623B2 (ja) 障害物検出方法、装置、設備、記憶媒体、及びプログラム
CN111338383A (zh) 基于gaas的自主飞行方法及系统、存储介质
CN108520543B (zh) 一种对相对精度地图进行优化的方法、设备及存储介质
CN110794844A (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN113671523A (zh) 机器人定位方法、装置、存储介质及机器人
CN111783611A (zh) 无人车的定位方法、装置、无人车及存储介质
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN114674328B (zh) 地图生成方法、装置、电子设备、存储介质、及车辆
Xia et al. YOLO-Based Semantic Segmentation for Dynamic Removal in Visual-Inertial SLAM
CN116755169B (zh) 基于星图识别和亮度先验信息的小目标检测方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant