CN116109784A - 高精地图差异发现方法、系统、介质及设备 - Google Patents

高精地图差异发现方法、系统、介质及设备 Download PDF

Info

Publication number
CN116109784A
CN116109784A CN202211528802.0A CN202211528802A CN116109784A CN 116109784 A CN116109784 A CN 116109784A CN 202211528802 A CN202211528802 A CN 202211528802A CN 116109784 A CN116109784 A CN 116109784A
Authority
CN
China
Prior art keywords
hdmap
camera
data
coordinate system
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211528802.0A
Other languages
English (en)
Inventor
刘春成
万齐斌
李汉玢
尹玉成
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202211528802.0A priority Critical patent/CN116109784A/zh
Publication of CN116109784A publication Critical patent/CN116109784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种高精地图差异发现方法、系统、介质及设备，其方法包括以下步骤：获取待测道路的原始HDMAP及新采集数据；获取相机内参、及激光雷达与相机之间的外参；根据轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果；因此摆脱了主要基于Lidar数据进行差异化发现的依赖，降低了难度，大大提高了效率。

Description

高精地图差异发现方法、系统、介质及设备
技术领域
本发明涉及高精地图技术领域，特别涉及一种高精地图差异发现方法、系统、介质及设备。
背景技术
在当前自动驾驶技术迅猛发展的大背景下，自动驾驶高精地图应运而生，其在ADAS(Advanced Driving Assistance System)的安全性上扮演者不可或缺的角色，无论是在车端定位、决策还是在实景仿真验证上，均发挥着重要的作用。但高精地图能够发挥最大价值的前提是具有足够强的时效性，这对地图更新的频率提出了较高的要求。
地图更新的前提是要先发现差异，即已有成果地图与新采数据进行差异对比，数据采集内容主要包含Lidar(激光雷达)、图像、GPS、IMU等，其中可以进行要素级可视化对比差异的数据源只有Lidar和图像；在现有技术中，一般主要是基于Lidar数据进行差异化发现，但存在如下问题：地图是在世界坐标系下对现实世界的抽象化表达，Lidar与地图在同一坐标系下，由于设备本身扫描角度特性，Lidar数据并不能完整表达现实世界，图像不具有这个缺陷，但与成果地图无统一坐标参考基准，且加上Lidar点云数据量较大、纹理特征较少，图像仍是进行差异发现的首要数据源。
如何通过Lidar和图像结合对高精地图进行差异化发现，来摆脱现有技术中对Lidar数据的依赖仍是亟待解决的问题。
发明内容
本发明的提供一种高精地图差异发现方法、系统、介质及设备，摆脱了主要基于Lidar数据进行差异化发现的依赖，降低了难度，大大提高了效率。
第一方面，提供一种基于深度学习的高精地图差异发现方法，包括以下步骤：
获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；
获取相机内参、及激光雷达与相机之间的外参；
根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；
根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；
基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果。
根据第一方面，在第一方面的第一种可能的实现方式中，所述“根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP”步骤，具体包括以下步骤：
选取与图像数据关联的当前轨迹点、及所述当前轨迹点的下一轨迹点；
分别在所述当前轨迹点与所述下一轨迹点处、且垂直于两个轨迹点连线方向两侧各延伸一条预设长度线段，基于两条所述线段围设成一个矩形框；
基于所述矩形框在原始HDMAP中截取出局部HDMAP。
根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述“根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中”步骤，具体包括以下步骤：
将所述局部HDMAP投影至相机坐标中的变换公式如下：
其中，世界坐标系与相机坐标系绕X轴旋转的变换公式如下：
世界坐标系与相机坐标系绕Y轴旋转的变换公式如下：
世界坐标系与相机坐标系绕Z轴旋转的变换公式如下：
世界坐标系到相机坐标系的旋转矩阵R如下：
R＝R1R2R3；
世界坐标系到相机坐标系的平移矩阵T如下：
式中，为局部HDMAP在世界坐标系中的点坐标；为局部HDMAP在相机坐标系中的点坐标；α、β、θ、Tx、Ty、Tz为激光雷达与相机之间的外参；α为俯仰角；β为横滚角；θ为航向角；Tx为点到相机中心在X方向的平移值；Ty为点到相机中心在Y方向的平移值；Tz为点到相机中心在Z方向的平移值。
根据第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述“根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中”步骤，具体包括以下步骤：
将相机坐标系中局部HDMAP的矢量数据投影至图像物理坐标系中的变换公式如下：
将图像物理坐标系中局部HDMAP的矢量数据投影至像素坐标系中的变换公式如下：
式中，为局部HDMAP在像素坐标系中的点坐标；dx、dy、u0、v0、f为相机内参；dx为像素坐标系中x或u方向一个像素代表的实际距离；dy为像素坐标系中y或v方向一个像素代表的实际距离；u0为像主点u方向坐标值；v0为像主点v方向坐标值；f为焦距。
第二方面，提供一种基于深度学习的高精地图差异发现系统，包括：
数据获取模块，用于获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；
外参内参获取模块，用于获取相机内参、及激光雷达与相机之间的外参；
局部HDMAP获取模块，与所述数据获取模块通信连接，用于根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；
坐标变换模块，与所述外参内参获取模块及所述局部HDMAP获取模块通信连接，用于根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；以及，
差异结果模块，与所述数据获取模块及所述坐标变换模块通信连接，用于基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果。
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的基于深度学习的高精地图差异发现方法。
第四方面，提供一种电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时实现如上述所述的基于深度学习的高精地图差异发现方法。
与现有技术相比，本发明的优点如下：首先获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；再获取相机内参、及激光雷达与相机之间的外参；再根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；再根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；再基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果；因此，首先将世界坐标系下的地图HDMAP矢量化数据变换到像素坐标系下，实现坐标参考系的统一，然后利用卡尔曼滤波配准技术将地图的矢量数据与图像的目标矢量数据进行匹配，进而达到差异发现的目的；因此摆脱了主要基于Lidar数据进行差异化发现的依赖，降低了难度，大大提高了效率。
附图说明
图1是本发明一种基于深度学习的高精地图差异发现方法的一实施例的流程示意图；
图2是本发明一种基于深度学习的高精地图差异发现系统的结构示意图。
100、高精地图差异发现系统；110、数据获取模块；120、外参内参获取模块；130、局部HDMAP获取模块；140、坐标变换模块；150、差异结果模块。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
参见图1所示，本发明实施例提供一种高精地图差异发现方法，应用于车载移动测量系统，包括以下步骤：
S100，获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；
S200，获取相机内参、及激光雷达与相机之间的外参；
S300，根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；
S400，根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；
S500，基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果；
具体地，本实施例中，
S200，根据新采集数据的点云、图像和轨迹位姿数据，将点云投影到图像的像素坐标系下，然后选取同名点，获得激光雷达与相机之间的外参，默认相机内参已知；
S500，由于初始位姿角的误差问题，将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中的结果会有一些偏差，所以再借助图像深度学习语义分割技术提取图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果，从而实现单帧的位姿优化，保证位姿优化的鲁棒性。
本发明实施例搭建一个可交互式的web服务，便于对任务的配置、派发和任务状态的可视化；web服务下发的任务指令，执行要素提取工具，并监控任务状态，将状态信息反馈到web服务端；根据得到的任务指令，加载相应的图像、点云、轨迹pos信息、HDMAP数据等；再将世界坐标系下的地图HDMAP(High-Definition MAP)矢量化数据变换到像素坐标系下，实现坐标参考系的统一，然后利用卡尔曼滤波配准技术将地图的矢量数据与图像的目标矢量数据进行匹配，进而达到差异发现的目的；因此摆脱了主要基于Lidar数据进行差异化发现的依赖，降低了难度，大大提高了效率。
优选地，在本申请另外的实施例中，所述“S300，根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP”步骤，具体包括以下步骤：
S310，选取与图像数据关联的当前轨迹点、及所述当前轨迹点的下一轨迹点；
S320，分别在所述当前轨迹点与所述下一轨迹点处、且垂直于两个轨迹点连线方向两侧各延伸一条预设长度线段，基于两条所述线段围设成一个矩形框；
S330，基于所述矩形框在原始HDMAP中截取出局部HDMAP。
具体地，本实施例中，分别以当前轨迹点A和下一轨迹点B为中心构建极坐标系，分别在A和B处在垂直于AB的方向向两侧以一定长度L插入两个点A1、A2、B1、B2，构建一个长AB*2L的矩形框，利用该矩形框对原始HDMAP进行裁剪，截取出局部HDMAP。
优选地，在本申请另外的实施例中，所述“S400，根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中”步骤，具体包括以下步骤：
将所述局部HDMAP投影至相机坐标中的变换公式如下：
其中，世界坐标系与相机坐标系绕X轴旋转的变换公式如下：
世界坐标系与相机坐标系绕Y轴旋转的变换公式如下：
世界坐标系与相机坐标系绕Z轴旋转的变换公式如下：
世界坐标系到相机坐标系的旋转矩阵R如下：
R＝R1R2R3；
世界坐标系到相机坐标系的平移矩阵T如下：
式中，为局部HDMAP在世界坐标系中的点坐标；为局部HDMAP在相机坐标系中的点坐标；α、β、θ、Tx、Ty、Tz为激光雷达与相机之间的外参；α为俯仰角；β为横滚角；θ为航向角；Tx为点到相机中心在X方向的平移值；Ty为点到相机中心在Y方向的平移值；Tz为点到相机中心在Z方向的平移值。
具体地，本实施例中，激光雷达LIDAR与高精地图HDMAP同属一个坐标系，默认为WGS84坐标系，利用相机与激光雷达LIDAR的外参对局部HDMAP进行平移和旋转，从而实现将裁剪出的局部HDMAP投影到相机坐标系中。
优选地，在本申请另外的实施例中，所述“S400，根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中”步骤，具体包括以下步骤：
将相机坐标系中局部HDMAP的矢量数据投影至图像物理坐标系中的变换公式如下：
将图像物理坐标系中局部HDMAP的矢量数据投影至像素坐标系中的变换公式如下：
式中，为局部HDMAP在像素坐标系中的点坐标；dx、dy、u0、v0、f为相机内参；dx为像素坐标系中x或u方向一个像素代表的实际距离；dy为像素坐标系中y或v方向一个像素代表的实际距离；u0为像主点u方向坐标值；v0为像主点v方向坐标值；f为焦距。
优选地，在本申请另外的实施例中，所述目标矢量数据包括车道线、标识牌及立杆。
同时参见图2所示，本发明实施例还提供了一种高精地图差异发现系统100，包括：数据获取模块110、外参内参获取模块120、局部HDMAP获取模块130、坐标变换模块140、差异结果模块150；
数据获取模块110，用于获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；
外参内参获取模块120，用于获取相机内参、及激光雷达与相机之间的外参；
局部HDMAP获取模块130，与所述数据获取模块110通信连接，用于根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；
坐标变换模块140，与所述外参内参获取模块120及所述局部HDMAP获取模块130通信连接，用于根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；
差异结果模块150，与所述数据获取模块110及所述坐标变换模块140通信连接，用于基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果。
因此，本发明实施例首先获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；再获取相机内参、及激光雷达与相机之间的外参；再根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；再根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；再基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果；因此，本发明首先将世界坐标系下的地图HDMAP(High-Definition MAP)矢量化数据变换到像素坐标系下，实现坐标参考系的统一，然后利用卡尔曼滤波配准技术将地图的矢量数据与图像的目标矢量数据进行匹配，进而达到差异发现的目的；因此摆脱了主要基于Lidar数据进行差异化发现的依赖，降低了难度，大大提高了效率。
具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
基于同一发明构思，本申请实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于深度学习的高精地图差异发现方法，其特征在于，包括以下步骤：
获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；
获取相机内参、及激光雷达与相机之间的外参；
根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；
根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；
基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果。
2.如权利要求1所述的基于深度学习的高精地图差异发现方法，其特征在于，所述“根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP”步骤，具体包括以下步骤：
选取与图像数据关联的当前轨迹点、及所述当前轨迹点的下一轨迹点；
分别在所述当前轨迹点与所述下一轨迹点处、且垂直于两个轨迹点连线方向两侧各延伸一条预设长度线段，基于两条所述线段围设成一个矩形框；
基于所述矩形框在原始HDMAP中截取出局部HDMAP。
3.如权利要求1所述的基于深度学习的高精地图差异发现方法，其特征在于，所述“根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中”步骤，具体包括以下步骤：
将所述局部HDMAP投影至相机坐标中的变换公式如下：
Figure FDA0003973858370000021
其中，世界坐标系与相机坐标系绕X轴旋转的变换公式如下：
R、
Figure FDA0003973858370000022
世界坐标系与相机坐标系绕Y轴旋转的变换公式如下：
R2
Figure FDA0003973858370000023
世界坐标系与相机坐标系绕Z轴旋转的变换公式如下：
R3
Figure FDA0003973858370000024
世界坐标系到相机坐标系的旋转矩阵R如下：
R＝R1R2R3；
世界坐标系到相机坐标系的平移矩阵T如下：
Figure FDA0003973858370000025
式中，
Figure FDA0003973858370000026
为局部HDMAP在世界坐标系中的点坐标；；
Figure FDA0003973858370000027
为局部HDMAP在相机坐标系中的点坐标；α、β、θ、Tx、Ty、Tz为激光雷达与相机之间的外参；α为俯仰角；β为横滚角；θ为航向角；Tx为点到相机中心在X方向的平移值；Ty为点到相机中心在Y方向的平移值；Tz为点到相机中心在Z方向的平移值。
4.如权利要求1所述的基于深度学习的高精地图差异发现方法，其特征在于，所述“根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中”步骤，具体包括以下步骤：
将相机坐标系中局部HDMAP的矢量数据投影至图像物理坐标系中的变换公式如下：
Figure FDA0003973858370000031
将图像物理坐标系中局部HDMAP的矢量数据投影至像素坐标系中的变换公式如下：
Figure FDA0003973858370000032
式中，
Figure FDA0003973858370000033
为局部HDMAP在像素坐标系中的点坐标；dx、dy、u0、v0、f为相机内参；dx为像素坐标系中x或u方向一个像素代表的实际距离；dy为像素坐标系中y或v方向一个像素代表的实际距离；u0为像主点u方向坐标值；v0为像主点v方向坐标值；f为焦距。
5.如权利要求1所述的基于深度学习的高精地图差异发现方法，其特征在于，所述目标矢量数据包括车道线、标识牌及立杆。
6.一种基于深度学习的高精地图差异发现系统，其特征在于，包括：
数据获取模块，用于获取待测道路的原始HDMAP及新采集数据，所述新采集数据包括轨迹数据及图像数据；
外参内参获取模块，用于获取相机内参、及激光雷达与相机之间的外参；
局部HDMAP获取模块，与所述数据获取模块通信连接，用于根据所述轨迹数据及所述图像数据，在原始HDMAP中选取图像数据视野范围内的局部HDMAP；
坐标变换模块，与所述外参内参获取模块及所述局部HDMAP获取模块通信连接，用于根据激光雷达与相机之间的外参，将所述局部HDMAP投影至相机坐标中，并根据相机内参将相机坐标系中局部HDMAP的矢量数据投影至像素坐标系中；以及，
差异结果模块，与所述数据获取模块及所述坐标变换模块通信连接，用于基于深度学习图像分割网络模型分割所述图像数据中的目标矢量数据，并基于卡尔曼滤波算法对所述目标矢量数据与坐标变换后局部HDMAP的矢量数据进行特征匹配跟踪，获取数据差异结果。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于深度学习的高精地图差异发现方法。
8.一种电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时实现如权利要求1至5中任一项所述的基于深度学习的高精地图差异发现方法。
CN202211528802.0A 2022-11-30 2022-11-30 高精地图差异发现方法、系统、介质及设备 Pending CN116109784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211528802.0A CN116109784A (zh) 2022-11-30 2022-11-30 高精地图差异发现方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211528802.0A CN116109784A (zh) 2022-11-30 2022-11-30 高精地图差异发现方法、系统、介质及设备

Publications (1)

Publication Number Publication Date
CN116109784A true CN116109784A (zh) 2023-05-12

Family

ID=86266432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211528802.0A Pending CN116109784A (zh) 2022-11-30 2022-11-30 高精地图差异发现方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN116109784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756264A (zh) * 2023-08-18 2023-09-15 高德软件有限公司 重建数据评测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116756264A (zh) * 2023-08-18 2023-09-15 高德软件有限公司 重建数据评测方法、装置、电子设备及存储介质
CN116756264B (zh) * 2023-08-18 2023-11-17 高德软件有限公司 重建数据评测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3792901B1 (en) Ground mark extraction method, model training method, device and storage medium
CN111080526B (zh) 航拍图像的农田面积的测算方法、装置、设备及介质
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN109579857B (zh) 一种用于更新地图的方法与设备
CN110569379A (zh) 一种汽车配件图片数据集制作方法
CN116109784A (zh) 高精地图差异发现方法、系统、介质及设备
CN110148164B (zh) 转换矩阵生成方法及装置、服务器及计算机可读介质
CN111382695A (zh) 用于检测目标的边界点的方法和装置
CN112446918A (zh) 图像中目标物体定位方法、装置、计算机装置及存储介质
CN112132845A (zh) 三维模型的单体化方法、装置、电子设备和可读介质
CN116642508A (zh) 一种改进a星算法的路径规划方法，装置及机器人
CN115326079A (zh) 车辆车道级定位方法、装置、设备和计算机可读介质
CN116245960A (zh) 一种bev俯视图生成方法、系统、电子设备及存储介质
CN112884844B (zh) 全景影像系统的标定方法、装置及计算机可读存储介质
CN114913105A (zh) 激光点云融合方法、装置、服务器及计算机可读存储介质
CN110827340A (zh) 地图的更新方法、装置及存储介质
CN112669346B (zh) 一种路面突发状况确定方法及装置
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN114646317A (zh) 车辆视觉定位导航控制方法、装置及计算机设备、介质
CN109711363B (zh) 车辆定位方法、装置、设备和存储介质
CN115775272A (zh) 基于深度学习的道路宽度信息提取方法、系统及介质
CN111383337A (zh) 用于识别对象的方法和装置
CN110647890B (zh) 高性能的图像特征提取及匹配方法、系统和存储介质
CN109409247A (zh) 交通标志识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination