CN110148099B - 投影关系的修正方法及装置、电子设备、计算机可读介质 - Google Patents

投影关系的修正方法及装置、电子设备、计算机可读介质 Download PDF

Info

Publication number
CN110148099B
CN110148099B CN201910458393.3A CN201910458393A CN110148099B CN 110148099 B CN110148099 B CN 110148099B CN 201910458393 A CN201910458393 A CN 201910458393A CN 110148099 B CN110148099 B CN 110148099B
Authority
CN
China
Prior art keywords
relation
data
point cloud
image
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910458393.3A
Other languages
English (en)
Other versions
CN110148099A (zh
Inventor
杨镜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910458393.3A priority Critical patent/CN110148099B/zh
Publication of CN110148099A publication Critical patent/CN110148099A/zh
Application granted granted Critical
Publication of CN110148099B publication Critical patent/CN110148099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation

Abstract

本公开提供了一种地图数据投影关系的修正方法，其包括：根据地图要素对图像数据进行语义分割，得到图像语义数据；根据地图要素对点云数据进行语义分割，得到点云语义数据；根据待修正的投影关系和所述点云语义数据，生成与所述点云语义数据对应的点云图像数据；针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系；根据所述配准关系修正所述待修正的投影关系。本公开还提供了一种地图数据投影关系的修正装置、电子设备、计算机可读介质。

Description

投影关系的修正方法及装置、电子设备、计算机可读介质
技术领域
本公开实施例涉及数据处理技术领域，特别涉及地图数据投影关系的修正方法及装置、电子设备、计算机可读介质。
背景技术
在高精地图的数据采集过程中，需要利用激光雷达采集点云数据，同时利用相机采集图像数据，根据点云数据和图像数据得到电子地图。其中，对采集的数据进行预处理时，需要利用投影关系将点云数据投影到相机的像平面上。
发明内容
本公开实施例提供一种地图数据投影关系的修正方法及装置、电子设备、计算机可读介质。
第一方面，本公开实施例提供一种地图数据投影关系的修正方法，其包括：
根据地图要素对图像数据进行语义分割，得到图像语义数据；
根据地图要素对点云数据进行语义分割，得到点云语义数据；
根据待修正的投影关系和所述点云语义数据，生成与所述点云语义数据对应的点云图像数据；
针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系；
根据所述配准关系修正所述待修正的投影关系。
在一些实施例中，所述计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系，包括：
分别提取该地图要素所对应的图像语义数据和点云图像数据的特征点，并分别得到与所述图像语义数据对应的第一特征点集和与所述点云图像数据对应的第二特征点集；
计算所述第一特征点集和所述第二特征点集之间的匹配关系；
根据所述匹配关系确定所述图像语义数据和点云图像数据之间的配准关系。
在一些实施例中，所述计算所述第一特征点集和所述第二特征点集之间的匹配关系，包括：
将所述第一特征点集和所述第二特征点集中相同位置的特征点建立特征点匹配对；
根据所述特征点匹配对计算所述第一特征点集与所述第二特征点集之间的匹配关系。
在一些实施例中，所述特征点匹配对的数量为N个；第i个特征点匹配对包括：属于所述第一特征点集中的第一特征点Xi和属于所述第二特征点集中的第二特征点X′i,其中，N为大于1的整数，i为大于零且小于或等于N的整数；
所述根据所述特征点匹配对计算所述第一特征点集与所述第二特征点集之间的匹配关系，包括：
根据以下公式建立N个方程：
Xi＝F*X′i
其中，F为预定行列数的矩阵；
根据所述N个方程计算F，并以F表征所述第一特征点集与所述第二特征点集之间的匹配关系。
第二方面，本公开实施例提供一种地图数据投影关系的修正装置，其包括：
第一语义分割模块，用于根据地图要素对图像数据进行语义分割，得到图像语义数据；
第二语义分割模块，用于根据地图要素对点云数据进行语义分割，得到点云语义数据；
投影模块，用于根据待修正的投影关系和所述点云语义数据，生成与所述点云语义数据对应的点云图像数据；
计算模块，用于针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系；
修正模块，用于根据所述配准关系修正所述待修正的投影关系。
在一些实施例中，所述计算模块包括：
特征提取单元，用于分别提取该地图要素所对应的图像语义数据和点云图像数据的特征点，并分别得到与所述图像语义数据对应的第一特征点集和与所述点云图像数据对应的第二特征点集；
计算单元，用于计算所述第一特征点集和第二特征点集之间的匹配关系；
确定单元，用于根据所述匹配关系确定所述图像语义数据和点云图像数据之间的配准关系。
在一些实施例中，所述计算单元包括：
配对子单元，用于将所述第一特征点集和所述第二特征点集中相同位置的特征点建立特征点匹配对；
计算子单元，根据所述特征点匹配对计算所述第一特征点集与所述第二特征点集之间的匹配关系。
在一些实施例中，所述特征点匹配对的数量为N个；第i个特征点匹配对包括：属于所述第一特征点集中的第一特征点Xi和属于所述第二特征点集中的第二特征点X′i,其中，N为大于1的整数，i为大于零且小于或等于N的整数；
所述计算子单元具体用于根据以下公式建立N个方程，并根据所述N个方程计算F，并以F表征所述第一特征点集与所述第二特征点集之间的匹配关系：
Xi＝F*X′i
其中，F为预定行列数的矩阵。
第三方面，本公开实施例提供一种电子设备，其包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述实施例提供的方法。
第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述实施例提供的方法。
本公开实施例提供的地图数据投影关系的修正方法、装置、电子设备、计算机可读介质，通过语义分割得到图像语义数据和点云语义数据，并利用待修正的投影关系得到点云语义数据对应的点云图像数据；当待修正的投影关系并不精确时，根据该待修正的投影关系得到的点云图像数据与图像语义数据并不是配准的。而本实施例通过计算同一地图要素所对应的图像语义数据和点云图像数据之间的配准关系，利用该配准关系对待修正的投影关系进行修正，可以使得修正后的投影关系更加准确，因此，当激光雷达采集的点云数据通过修正后的投影关系投影至二维平面时，可以与图像采集器件采集的图像数据配准，从而使实际采集的图像与点云数据能更好地融合，提升自动化作业中所提取的各地图要素的准召率。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例的地图数据投影关系的修正方法的流程图；
图2为本公开中步骤S4的一种可选实现方式的流程图；
图3为本公开中步骤S42的一种可选实现方式的流程图；
图4为本公开中步骤S422的一种可选实现方式的流程图；
图5为本公开实施例的地图数据投影关系的修正装置的结构示意图；
图6为本公开实施例提供的一种计算模块的可选结构示意图；
图7为本公开实施例提供的一种计算单元的可选结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的投影关系的修正方法及装置、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。
除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。
在描述方法之前先对本公开方法和装置实施例的应用场景进行介绍。
在高精地图的自动化作业流程中，图像采集器件采集地图图像(例如，道路及周边环境的图像)，激光雷达采集点云数据；在生成高精地图时，需要结合点云数据和图像数据。
其中，图像采集器件可以为摄像机、照相机等设备。其采集的图像数据中包括各位置的颜色信息。
激光雷达是一种以发射激光光束来探测目标的位置、速度等特征量的雷达系统，由发射系统、接收系统和信息处理等部分组成。其工作原理是先向目标发射探测激光光束，然后将接收到的从目标反射回来的信号与发射信号进行比较，通过计算处理即可获得目标的有关信息。其中，发射系统通常由激光器(例如，二氧化碳激光器、半导体激光器及固体激光器等)和光学扩束单元等组成；接收系统可以为各种形式的光电探测器，例如，半导体光电二极管、红外和可见光多元探测器件等。
点云数据是通过激光雷达等测量仪器得到的目标物体外观表面的点数据的集合。激光雷达采集到的点云信息通常包含物体表面采样点的三维坐标(X，Y，Z)和激光反射强度(Intensity)。当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光光束按照某种轨迹进行扫描，且边扫描边记录反射的激光点信息，则能够得到大量的激光点，这些激光点就可以形成点云。
图像数据所携带的信息为位置点的颜色等属性信息，根据图像数据可以得到地图要素的颜色，例如，能够确定车道线的颜色以及道路旁的标牌上的限速文字；而点云数据所携带的信息为方位、高度等几何信息，根据点云数据能够确定地图要素的位置。在进行地图绘制时，需要结合同一个位置的图像数据和点云数据，这就需要在数据预处理时，确定激光雷达采集的点云数据和图像采集器件采集的图像数据之间的关系。
其中，在数据预处理时，利用一投影关系(具体为投影矩阵)将点云数据投影至二维平面(具体为图像采集器件的像平面)上，从而将三维的点云数据转换为二维图像，该投影关系能够反应点云数据与二维图像数据之间的关系，当投影关系准确时，则点云转换成的二维图像能够与相机采集到的图像精确的配准，从而能够将位置点的属性信息准确地赋给该位置点的点云，进而能够使每个位置点的图像数据与该位置的点云数据很好地融合。而在数据采集的过程中，由于道路颠簸、设备震动等原因，难以保证激光雷达和图像采集器件的位置稳定，从而导致实际的投影关系会发生变化。
图1为本公开实施例的地图数据投影关系的修正方法的流程图，其中，该方法可以由地图数据投影关系的修正装置来执行，该装置可以通过软件和/或硬件的方式来实现，该装置可以集成在电子设备中。如图1所示，该方法具体包括：
步骤S1、根据地图要素对图像数据进行语义分割，得到图像语义数据。
其中，地图要素是指地图图像中具有一定语义的对象，例如，车道线、道路两边的标牌、地面文字等。
图像数据为图像采集器件所采集的图像数据。
语义分割是指分割图像或者点云，从而区分出不同的对象。即，识别出图像中的每个像素或点云中的每个点属于什么对象，并对图像中的每个像素或点云中的每个点进行标注。
步骤S1中可以采用现有的语义分析方法来对图像数据进行语义分割，例如，基于深度学习的语义分割方法。在进行语义分割时，预设设定要分割出哪些地图要素，然后根据这些地图要素进行语义分割。
步骤S2、根据地图要素对点云数据进行语义分割，得到点云语义数据。
其中，点云数据为激光雷达所采集的点云数据。
步骤S2中，也可以采用现有的语义分割方法来对点云数据进行语义分割。
需要说明的是，步骤S1和步骤S2的先后顺序并不限于图1中的先后顺序，也可以使步骤S2在步骤S1之前进行，或者两个步骤同时进行。
步骤S3、根据待修正的投影关系和点云语义数据，生成与点云语义数据对应的点云图像数据。
如上文所述，在生成高精地图时，需要根据一预先标定的投影关系将点云数据投影至像平面上，从而将三维的点云转换为二维的图像。步骤S3中待修正的投影关系即为数据采集时初始标定的投影关系，点云图像数据可以根据点云语义数据与待修正的投影关系(即，投影矩阵)相乘得到。
步骤S4、针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系。
作为本公开的一种可选实施方式，地图要素包括车道线。
其中，某一地图要素所对应的点云图像数据为：根据投影关系与该地图要素所对应的点云语义数据，所生成的点云图像数据。同一地图要素所对应的图像语义数据和点云图像数据之间的配准关系为：同一地图要素的目标位置在图像语义数据中所对应的像素的位置坐标与目标位置在点云图像数据中所对应的像素的位置坐标之间的配准关系。例如，图像语义数据中对应于车道线中心点的像素的坐标位置与点云图像数据中对应于车道线中心点的像素的坐标位置之间的配准关系。该配准关系用于表示位置变化关系，即，经过何种位置变换后，图像语义数据中对应于车道线中心点的像素与点云图像数据中对应于车道线中心点的像素能够对准。
图2为本公开步骤S4中计算地图要素对应的图像语义数据和点云图像数据之间的配准关系的一种可选实现方式流程图，如图2所示，步骤S4具体包括：
步骤S41、分别提取该地图要素所对应的图像语义数据和点云图像数据的特征点，并分别得到与图像语义数据对应的第一特征点集和与点云图像数据对应的第二特征点集。
其中，特征点是反映地图要素类型或区域地理分布特征的点。在本实施例中，提取的特征点为易识别、易测量的位置所对应的特征点，具体可以为线型要素或面状要素边界线的拐点或折点。例如，道路两侧的标牌的角点位置、车道线的中心点或角点位置所对应的特征点。其中，角点是指矩形外围轮廓线的拐点。
示例性地，在对车道线所对应的点云图像数据或图像语义数据进行特征提取时，可以根据车道线虚线部分的几何特征进行车道线轮廓的提取，并计算相邻线段的交点以作为车道线的角点；或者，根据车道线的虚线部分的几何特征进行车道线轮廓的提取，并根据车道线的轮廓计算出车道线的中线，进行计算车道线中线的两端端点以及中点。车道线中线是指沿车道线长度方向延伸的中线。
当然，步骤S41中的地图要素也可以为道路两侧的标牌，这种情况下，对标牌所对应的点云图像数据或图像语义数据进行特征提取时，也可以根据标牌的几何特征进行标牌的轮廓提取，并计算相邻线段的交点以作为标牌的角点。
步骤S42、计算第一特征点集和第二特征点集之间的匹配关系。
其中，第一特征点集和第二特征点集之间的匹配关系具体可以为：第一特征点集和第二特征点集在各自对应的图像中的位置之间的变换关系。例如，第一特征点集和第二特征点集为车道线的轮廓线上各点的集合，则两个特征点集之间的匹配关系可以为：车道线轮廓在点云图像数据所对应的位置与在图像语义数据中所对应的位置之间的变换关系。
图3为本公开中步骤S42的一种可选实现方式的流程图，如图3所示，步骤S42具体包括：
步骤S421、将第一特征点集和第二特征点集中相同位置的特征点建立特征点匹配对。
其中，特征点匹配对的数量为N个；第i个特征点匹配对包括：属于第一特征点集中的第一特征点Xi和属于第二特征点集中的第二特征点X′i；其中，N为大于1的整数，i为大于零且小于或等于N的整数。
作为本公开的一种可选实施方式，多个特征匹配对至少包括：与车道线的中线的中点对应的特征点匹配对(该特征点匹配对中的第一特征点和第二特征点均对应于车道线中线的中点)、与车道线中线的端部位置对应的特征点匹配对(该特征点匹配对中的两个特征点分别属于两个特征点集，且该两个特征点对应于车道线中线的端部)。
步骤S422、根据特征点匹配对计算第一特征点集与第二特征点集之间的匹配关系。
图4为本公开中步骤S422的一种可选实现方式的流程图，如图4所示，步骤S422具体包括：
步骤S4221、根据以下公式建立N个方程，该N个方差构成方程组：
Xi＝F*X′i
其中，该N个方程是线性无关的，F为预定行列数的矩阵。
步骤S4222、根据N个方程计算F，并以F表征第一特征点集与第二特征点集之间的匹配关系。
其中，为了能够求得F的最优解，特征匹配对的数量N应大于或等于矩阵F中未知参数的数量；当N与矩阵F中未知参数的数量相等时，根据N个线性无关的方程可以求得F的唯一解；当N大于矩阵F中未知参数的数量时，则利用现有的优化求解方法求得F的最优解。
步骤S43、根据第一特征点集和第二特征点集之间的匹配关系确定图像语义数据和点云图像数据之间的配准关系。
其中，可以将两个特征点集之间的匹配关系作为图像语义数据和点云图像数据之间的配准关系。
步骤S5、根据配准关系修正待修正的投影关系。
其中，可以将第一特征点集与第二特征点集之间的匹配关系作为配准关系，利用配准关系对待修正的投影关系进行修正具体可以为：将矩阵F与待修正的投影关系矩阵进行相乘。
在本实施例中，通过语义分割得到图像语义数据和点云语义数据，并利用待修正的投影关系得到点云语义数据对应的点云图像数据；当待修正的投影关系并不精确时，根据该待修正的投影关系得到的点云图像数据与图像语义数据并不是配准的。而本实施例通过计算同一地图要素所对应的图像语义数据和点云图像数据之间的配准关系，利用该配准关系对待修正的投影关系进行修正，可以使得修正后的投影关系更加准确，因此，当激光雷达采集的点云数据通过修正后的投影关系投影至二维平面时，可以与图像采集器件采集的图像数据配准，从而使实际采集的图像与点云数据能更好地融合，提升自动化作业中所提取的各地图要素的准召率。
图5为本公开实施例的地图数据投影关系的修正装置的结构示意图，该装置用于实现上述实施例所提供的地图数据投影关系的修正方法，如图5所示，该装置包括：第一语义分割模块10、第二语义分割模块20、投影模块30、计算模块40和修正模块50。
其中，第一语义分割模块10用于根据地图要素对图像数据进行语义分割，得到图像语义数据。第一语义分割模块10可以利用现有的图像语义分割方法进行语义分割。
第二语义分割模块20用于根据地图要素对点云数据进行语义分割，得到点云语义数据。其中，第二语义分割模块20可以利用现有的点云语义分割方法进行语义分割。
投影模块30用于根据待修正的投影关系和点云语义数据，生成与点云语义数据对应的点云图像数据。
计算模块40用于针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系。
作为本公开的一种可选实施方式，地图要素包括车道线。
同一地图要素所对应的图像语义数据和点云图像数据之间的配准关系为：同一地图要素的目标位置在图像语义数据中所对应的像素的位置坐标与目标位置在点云图像数据中所对应的像素的位置坐标之间的配准关系。例如，图像语义数据中对应于车道线中心点的像素的坐标位置与点云图像数据中对应于车道线中心点的像素的坐标位置之间的配准关系。该配准关系用于表示位置变化关系，即，经过何种位置变换后，图像语义数据中对应于车道线中心点的像素与点云图像数据中对应于车道线中心点的像素能够对准。
图6为本公开实施例提供的一种计算模块的可选结构示意图，如图6所示，计算模块40包括：特征提取单元41、计算单元42和确定单元43。
其中，特征提取单元41用于分别提取该地图要素所对应的图像语义数据和点云图像数据的特征点，并分别得到与图像语义数据对应的第一特征点集和与点云图像数据对应的第二特征点集。
计算单元42用于计算第一特征点集和第二特征点集之间的匹配关系。
图7为本公开实施例提供的一种计算单元的可选结构示意图，如图7所示，计算单元42包括：配对子单元421和计算子单元422。
配对子单元421用于将第一特征点集和第二特征点集中相同位置的特征点建立特征点匹配对。
其中，特征点匹配对的数量为N个；第i个特征点匹配对包括：属于所述第一特征点集中的第一特征点Xi和属于所述第二特征点集中的第二特征点X′i,其中，N为大于1的整数，i为大于零且小于或等于N的整数。
作为本公开的一种可选实施方式，配对子单元421建立的特征匹配对包括：与车道线的中线的中点对应的特征点匹配对(该特征点匹配对中的第一特征点和第二特征点均对应于车道线中线的中点)、与车道线中线的两端位置对应的两个特征点匹配对(其中一个特征点匹配对中的第一特征点和第二特征点均对应于车道线中线的其中一端；另一个特征点匹配对中的第一特征点和第二特征点均对应于车道线中线的另一端)。
计算子单元422具体用于根据以下公式建立N个方程，以及根据所述N个方程计算F，并以F表征所述第一特征点集与所述第二特征点集之间的匹配关系：
Xi＝F*X′i
其中，F为预定行列数的矩阵。
确定单元43用于根据计算单元42所计算得到的匹配关系确定图像语义数据和点云图像数据之间的配准关系。
其中，可以将计算单元42所计算得到的匹配关系作为图像语义数据和点云图像数据之间的配准关系。
修正模块50用于根据配准关系修正所述待修正的投影关系。
对于上述各模块、单元和子单元的实现细节和技术效果的描述，可以参见前述方法实施例的说明，此处不再赘述。
本公开实施例还提供了一种电子设备，该电子设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的地图数据投影关系的修正方法。
本公开实施例还提供了一计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的地图数据投影关系的修正方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (10)

1.一种地图数据投影关系的修正方法，其包括：
根据地图要素对图像数据进行语义分割，得到图像语义数据；
根据地图要素对点云数据进行语义分割，得到点云语义数据；
根据待修正的投影关系和所述点云语义数据，生成与所述点云语义数据对应的点云图像数据；其中，所述待修正的投影关系是将点云语义数据 投影至图像采集器件的像平面的投影矩阵；
针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系；所述配准关系用于表示图像像素坐标的位置变化关系；
根据所述配准关系修正所述待修正的投影关系；其中，对所述待修正的投影关系进行的修正包括：将与所述位置变化关系对应的矩阵与所述投影矩阵相乘。
2.根据权利要求1所述的方法，其中，所述计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系，包括：
分别提取该地图要素所对应的图像语义数据和点云图像数据的特征点，并分别得到与所述图像语义数据对应的第一特征点集和与所述点云图像数据对应的第二特征点集；
计算所述第一特征点集和所述第二特征点集之间的匹配关系；
根据所述匹配关系确定所述图像语义数据和点云图像数据之间的配准关系。
3.根据权利要求2所述的方法，其中，所述计算所述第一特征点集和所述第二特征点集之间的匹配关系，包括：
将所述第一特征点集和所述第二特征点集中相同位置的特征点建立特征点匹配对；
根据所述特征点匹配对计算所述第一特征点集与所述第二特征点集之间的匹配关系。
4.根据权利要求3所述的方法，其中，所述特征点匹配对的数量为N个；第i个特征点匹配对包括：属于所述第一特征点集中的第一特征点Xi和属于所述第二特征点集中的第二特征点X′i,其中，N为大于1的整数，i为大于零且小于或等于N的整数；
所述根据所述特征点匹配对计算所述第一特征点集与所述第二特征点集之间的匹配关系，包括：
根据以下公式建立N个方程：
Xi＝F*X′i
其中，F为预定行列数的矩阵；
根据所述N个方程计算F，并以F表征所述第一特征点集与所述第二特征点集之间的匹配关系。
5.一种地图数据投影关系的修正装置，其包括：
第一语义分割模块，用于根据地图要素对图像数据进行语义分割，得到图像语义数据；
第二语义分割模块，用于根据地图要素对点云数据进行语义分割，得到点云语义数据；
投影模块，用于根据待修正的投影关系和所述点云语义数据，生成与所述点云语义数据对应的点云图像数据；其中，所述待修正的投影关系是将点云语义数据 投影至图像采集器件的像平面的投影矩阵；
计算模块，用于针对同一地图要素，计算该地图要素对应的图像语义数据和点云图像数据之间的配准关系；所述配准关系用于表示图像像素坐标的位置变化关系；
修正模块，用于根据所述配准关系修正所述待修正的投影关系；其中，对所述待修正的投影关系进行的修正包括：将与所述位置变化关系对应的矩阵与所述投影矩阵相乘。
6.根据权利要求5所述的装置，其中，所述计算模块包括：
特征提取单元，用于分别提取该地图要素所对应的图像语义数据和点云图像数据的特征点，并分别得到与所述图像语义数据对应的第一特征点集和与所述点云图像数据对应的第二特征点集；
计算单元，用于计算所述第一特征点集和第二特征点集之间的匹配关系；
确定单元，用于根据所述匹配关系确定所述图像语义数据和点云图像数据之间的配准关系。
7.根据权利要求6所述的装置，其中，所述计算单元包括：
配对子单元，用于将所述第一特征点集和所述第二特征点集中相同位置的特征点建立特征点匹配对；
计算子单元，根据所述特征点匹配对计算所述第一特征点集与所述第二特征点集之间的匹配关系。
8.根据权利要求7所述的装置，其中，所述特征点匹配对的数量为N个；第i个特征点匹配对包括：属于所述第一特征点集中的第一特征点Xi和属于所述第二特征点集中的第二特征点X′i,其中，N为大于1的整数，i为大于零且小于或等于N的整数；
所述计算子单元具体用于根据以下公式建立N个方程，并根据所述N个方程计算F，并以F表征所述第一特征点集与所述第二特征点集之间的匹配关系：
Xi＝F*X′i
其中，F为预定行列数的矩阵。
9.一种电子设备，其包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至4中任意一项所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至4中任意一项所述的方法。
CN201910458393.3A 2019-05-29 2019-05-29 投影关系的修正方法及装置、电子设备、计算机可读介质 Active CN110148099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910458393.3A CN110148099B (zh) 2019-05-29 2019-05-29 投影关系的修正方法及装置、电子设备、计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910458393.3A CN110148099B (zh) 2019-05-29 2019-05-29 投影关系的修正方法及装置、电子设备、计算机可读介质

Publications (2)

Publication Number Publication Date
CN110148099A CN110148099A (zh) 2019-08-20
CN110148099B true CN110148099B (zh) 2021-09-10

Family

ID=67593528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910458393.3A Active CN110148099B (zh) 2019-05-29 2019-05-29 投影关系的修正方法及装置、电子设备、计算机可读介质

Country Status (1)

Country Link
CN (1) CN110148099B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110795819B (zh) * 2019-09-16 2022-05-20 腾讯科技（深圳）有限公司 自动驾驶仿真场景的生成方法和装置、存储介质
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN112739983B (zh) * 2020-04-24 2022-07-12 华为技术有限公司 校正点云数据的方法和相关装置
CN111651547B (zh) * 2020-06-04 2023-07-18 北京四维图新科技股份有限公司 高精度地图数据的获取方法、装置及可读存储介质
CN111784798B (zh) * 2020-06-30 2021-04-09 滴图(北京)科技有限公司 地图生成方法、装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109798903A (zh) * 2018-12-19 2019-05-24 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021017B (zh) * 2012-12-04 2015-05-20 上海交通大学 基于gpu加速的三维场景重建方法
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN107798702B (zh) * 2016-08-30 2021-04-30 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法以及装置
US20190138848A1 (en) * 2018-12-29 2019-05-09 Intel Corporation Realistic sensor simulation and probabilistic measurement correction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN108198145A (zh) * 2017-12-29 2018-06-22 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
CN109410256A (zh) * 2018-10-29 2019-03-01 北京建筑大学 基于互信息的点云与影像自动高精度配准方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
CN109798903A (zh) * 2018-12-19 2019-05-24 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置

Also Published As

Publication number Publication date
CN110148099A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110148099B (zh) 投影关系的修正方法及装置、电子设备、计算机可读介质
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN111210468B (zh) 一种图像深度信息获取方法及装置
US11408740B2 (en) Map data update apparatus, map data update method, and computer readable medium
CN112017251B (zh) 标定方法、装置、路侧设备和计算机可读存储介质
CN111179358A (zh) 标定方法、装置、设备及存储介质
CN107993263B (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
EP2568253B1 (en) Structured-light measuring method and system
US20100315490A1 (en) Apparatus and method for generating depth information
CN112270713A (zh) 标定方法以及装置、存储介质、电子装置
CN105512646A (zh) 一种数据处理方法、装置及终端
WO2021037086A1 (zh) 定位方法及装置
Rumpler et al. Automated end-to-end workflow for precise and geo-accurate reconstructions using fiducial markers
CN108195305B (zh) 一种双目检测系统及其深度检测方法
CN102768762A (zh) 一种针对盾构隧道病害数字照相检测的数码相机标定方法及其装置
CN110135396A (zh) 地面标志的识别方法、装置、设备及介质
US20220055652A1 (en) Device and method for data fusion between heterogeneous sensors
CN113847930A (zh) 多传感器校准系统
CN111950426A (zh) 目标检测方法、装置及运载工具
CN112017238A (zh) 一种线状物体的空间位置信息确定方法及装置
CN112146848A (zh) 一种确定摄像头的畸变参数的方法及装置
CN115841517A (zh) 一种基于dic双圆交比的结构光标定方法和装置
JP2016142604A (ja) 地図データ生成装置、地図データ生成方法及び地図データ生成用コンピュータプログラムならびに車両位置検出装置
CN110852278B (zh) 地面标识线识别方法、设备及计算机可读存储介质
CN111832635A (zh) 地基sar图像与激光点云地形数据的匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant