CN116777963A - 一种点云和图像配准方法、装置、电子设备及存储介质 - Google Patents

一种点云和图像配准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116777963A
CN116777963A CN202310860561.8A CN202310860561A CN116777963A CN 116777963 A CN116777963 A CN 116777963A CN 202310860561 A CN202310860561 A CN 202310860561A CN 116777963 A CN116777963 A CN 116777963A
Authority
CN
China
Prior art keywords
point cloud
image
point
target
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310860561.8A
Other languages
English (en)
Inventor
童朋飞
张晨光
樊邵宗
肖玉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Ningbo Geely Automobile Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Ningbo Geely Automobile Research and Development Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202310860561.8A priority Critical patent/CN116777963A/zh
Publication of CN116777963A publication Critical patent/CN116777963A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种点云和图像配准方法、装置、电子设备及存储介质，涉及智能驾驶技术领域。在本申请中，获取点云深度图像和相机全景图像，提取点云深度图像中的目标对象的第一轮廓特征和相机全景图像中目标对象的第二轮廓特征，基于第一轮廓特征与第二轮廓特征之间的位置关系，确定点云深度图像与相机全景图像之间的位置映射关系，基于位置映射关系和点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射关系，将相机全景图像的像素值映射到点云深度图像中，得到目标图像；采用这种方式，能够避免扫描点云深度图像或者相机全景图像中所有目标对象的特征，降低了计算的复杂度，提高了点云和图像配准的速率。

Description

一种点云和图像配准方法、装置、电子设备及存储介质
技术领域
本申请涉及智能驾驶技术领域，尤其涉及一种点云和图像配准方法、装置、电子设备及存储介质。
背景技术
图像配准指将不同传感器或不同条件下(照度、摄像位置和角度)，获取的两幅或者多幅图像进行匹配、叠加的过程。
在智能驾驶技术中，雷达能够用于检测3D目标，获取目标的距离、方位高度等位置信息，而无法获取目标的纹理特征，例如，目标的颜色；图像传感器能够获取目标的纹理特征，而无法确定目标的深度(距离)。因此，为了得到准确的目标图像，需要对点云和图像两类不同的数据源进行配准。
现有的2D-2D点云和图像配准方法，该方法通常根据点云高度值或点云强度值，将点云转化为深度图像或者强度图像，实现对点云和图像两类不同的数据源之间的图像配准。在该方法中，通常使用互信息的图像配准算法来实现，然而，这种互信息的图像配准算法存在计算复杂度高，实时性差的问题。
发明内容
本发明申请提供了一种点云和图像配准方法，用以提升点云和图像配准的速率。具体技术方案如下：
第一方面，本申请提供了一种点云和图像配准方法，包括：
获取点云深度图像和相机全景图像；
提取所述点云深度图像中的目标对象的第一轮廓特征和所述相机全景图像中所述目标对象的第二轮廓特征；
基于所述第一轮廓特征与所述第二轮廓特征之间的位置关系，确定所述点云深度图像与所述相机全景图像之间的位置映射关系；
基于所述位置映射关系和所述点云深度图像的点云坐标与所述相机全景图像的像素坐标之间的坐标映射关系，将所述相机全景图像的像素值映射到所述点云深度图像中，得到目标图像。
基于上述的方法，根据边缘检测算法检测的道路中目标对象的边缘信息明显的轮廓特征对深度点云图像和相机全景图像进行配准，避免了对点云深度图像或者相机全景图像中目标对象的特征进行全局扫描，降低了计算的复杂度，提高了对点云深度图像和相机全景图像配准的速率。
在一种可能的实现中，所述获取相机全景图像，包括：
获取图像采集设备采集的第一图像和第二图像，其中，所述第一图像和所述第二图像是在同一相机时刻从不同的拍摄角度或者相邻的两个相机时刻拍摄得到的；
从所述第一图像对应的第一兴趣点集合和所述第二图像对应的第二兴趣点集合中选取出相同的一个目标兴趣点；
基于所述目标兴趣点在所述第一图像中的第一位置信息和所述目标兴趣点在所述第二图像中的第二位置信息，确定所述第一图像和所述第二图像之间的位置映射关系；
基于所述位置映射关系，生成所述相机全景图像。
基于上述的方法，能够提取第一图像和第二图像中不随旋转、尺度缩放、亮度变化而变化的兴趣点，即具有特征不变性的兴趣点；根据目标兴趣点在第一图像和第二图像中的位置映射关系，能够得到了包含各类目标对象的相机全景图像，使相机全景图像中包含的目标对象的信息更加丰富。
在一种可能的实现中，所述获取点云深度图像之前，还包括：
获取雷达检测设备采集的第一点云集合和第二点云集合，其中，所述第一点云集合和所述第二点云集合是在同一激光时刻从不同的扫描角度或者在相邻的两个激光时刻扫描得到的；
从所述第一点云集合中选择一个待选点云子集合，并确定所述第二点云集合中与所述待选点云子集合对应的目标点云子集合；
基于所述待选点云子集合和所述目标点云子集合之间的位置关系，构造所述待选点云子集合与所述目标点云子集合之间的转换矩阵；
基于所述转换矩阵，将所述待选点云子集合变换到所述目标点云子集合的对应位置；
计算所述待选点云子集合与所述目标点云子集合之间的位置偏差值；
判断所述位置偏差值是否大于设定的阈值；
若是，则迭代更新所述转换矩阵，直到所述位置偏差值小于或等于所述阈值，或者所述迭代的次数等于设定的最大迭代次数；
若否，则基于所述转换矩阵，生成全景点云集合。
基于上述的方法，能够将雷达检测设备从各个角度或者各个激光时刻扫描的各个点云数据集合快速的合成全景点云集合，提高了获取与相机全景图像的场景相对应的全景点云集合的速率。
在一种可能的实现中，所述获取点云深度图像，包括：
从所述全景点云集合中选取出位于设定点云空间内的各个待选全景点云，将所述各个待选全景点云作为目标全景点云子集合；
将所述目标全景点云子集合映射到与所述点云空间相对应的像素空间内，并记录所述点云空间与所述像素空间之间的坐标映射关系；
确定所述目标全景点云子集合中的各个全景点云各自的竖坐标；
计算所有竖坐标之和的平均值，得到高程值，将所述高程值作为所述点云深度图像的深度值，生成所述点云深度图像。
基于上述的方法，通过将3D全景点云集合转换为点云深度图像，能够便于后续对点云深度图像和相机全景图像进行配准。
第二方面，本申请提供了一种点云和图像配准装置，包括：
数据获取模块，用于获取点云深度图像和相机全景图像；
特征提取模块，用于提取所述点云深度图像中的目标对象的第一轮廓特征和所述相机全景图像中所述目标对象的第二轮廓特征；
映射模块，用于基于所述第一轮廓特征与所述第二轮廓特征之间的位置关系，确定所述点云深度图像与所述相机全景图像之间的位置映射关系；
点云和图像配准模块，用于基于所述位置映射关系和所述点云深度图像的点云坐标与所述相机全景图像的像素坐标之间的坐标映射关系，将所述相机全景图像的像素值映射到所述点云深度图像中，得到目标图像。
在一种可能的实现中，所述数据获取模块，具体用于：
获取图像采集设备采集的第一图像和第二图像，其中，所述第一图像和所述第二图像是在同一相机时刻从不同的拍摄角度或者相邻的两个相机时刻拍摄得到的；
从所述第一图像对应的第一兴趣点集合和所述第二图像对应的第二兴趣点集合中选取出相同的一个目标兴趣点；
基于所述目标兴趣点在所述第一图像中的第一位置信息和所述目标兴趣点在所述第二图像中的第二位置信息，确定所述第一图像和所述第二图像之间的位置映射关系；
基于所述位置映射关系，生成所述相机全景图像。
在一种可能的实现中，所述数据获取模块，还用于：
获取雷达检测设备采集的第一点云集合和第二点云集合，其中，所述第一点云集合和所述第二点云集合是在同一激光时刻从不同的扫描角度或者在相邻的两个激光时刻扫描得到的；
从所述第一点云集合中选择一个待选点云子集合，并确定所述第二点云集合中与所述待选点云子集合对应的目标点云子集合；
基于所述待选点云子集合和所述目标点云子集合之间的位置关系，构造所述待选点云子集合与所述目标点云子集合之间的转换矩阵；
基于所述转换矩阵，将所述待选点云子集合变换到所述目标点云子集合的对应位置；
计算所述待选点云子集合与所述目标点云子集合之间的位置偏差值；
判断所述位置偏差值是否大于设定的阈值；
若是，则迭代更新所述转换矩阵，直到所述位置偏差值小于或等于所述阈值，或者所述迭代的次数等于设定的最大迭代次数；
若否，则基于所述转换矩阵，生成全景点云集合。
在一种可能的实现中，所述数据获取模块，具体用于：
从所述全景点云集合中选取出位于设定点云空间内的各个待选全景点云，将所述各个待选全景点云作为目标全景点云子集合；
将所述目标全景点云子集合映射到与所述点云空间相对应的像素空间内，并记录所述点云空间与所述像素空间之间的坐标映射关系；
确定所述目标全景点云子集合中的各个全景点云各自的竖坐标；
计算所有竖坐标之和的平均值，得到高程值，将所述高程值作为所述点云深度图像的深度值，生成所述点云深度图像。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的点云和图像配准方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的点云和图像配准方法的步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种点云和图像配准方法的流程图；
图2为本申请提供的点云和图像配准系统架构示意图；
图3为本申请提供的摄像头的位置示意图；
图4为本申请提供的第一待选全景点云和第二待选全景点云位置示意图；
图5为本申请提供的点云空间与像素空间之间的坐标映射示意图；
图6为本申请提供的一种点云和图像配准装置结构示意图；
图7为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合附图，对本申请实施例进行详细描述。
图像配准指将不同传感器或不同条件下(照度、摄像位置和角度)，获取的两幅或者多幅图像进行匹配、叠加的过程。
在智能驾驶技术中，雷达能够用于检测3D目标，获取目标的距离、方位高度等位置信息，而无法获取目标的纹理特征，例如，目标的颜色；图像传感器能够获取目标的纹理特征，而无法确定目标的深度(距离)。因此，为了得到准确的目标图像，需要对点云和图像两类不同的数据源进行配准。
现有的2D-2D点云和图像配准方法，该方法通常根据点云高度值或点云强度值，将点云转化为深度图像或者强度图像，实现对点云和图像两类不同的数据源之间的图像配准。在该方法中，通常使用互信息的图像配准算法来实现，然而，这种互信息的图像配准算法存在计算复杂度高，实时性差的问题。
鉴于此，为了实现对点云和图像两类不同的数据源之间的图像配准，降低计算的复杂度，提升配准的速率，本申请提供了一种点云和图像的配准方法，具体包括：首先获取点云深度图像和相机的全景图像，然后提取点云深度图像中的目标对象的第一轮廓特征和相机全景图像中目标对象的第二轮廓特征，然后基于第一轮廓特征与第二轮廓特征之间的位置关系，确定点云深度图像与相机全景图像之间的位置映射关系。最后基于位置映射关系和点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射关系，将相机全景图像的像素值映射到点云深度图像中，得到目标图像。
通过上述方式，能够首先获取从点云坐标系变换到像素坐标系的点云深度图像，然后通过提取点云深度图像中的目标对象的第一轮廓特征和相机全景图像中目标对象的第二轮廓特征，能够避免对点云深度图像和相机全景图像中的特征进行全局扫描，减少了计算的复杂度；最后通过第一轮廓特征与第二轮廓特征之间的位置关系和点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射关系，将相机全景图像的像素值映射到点云深度图像中，得到目标图像，提升了点云和图像配准的速率。
参照图1所示，其为本申请实施例提供的一种点云和图像配准方法的流程图，该方法包括：
S1，获取点云深度图像和相机全景图像。
首先来讲，本申请所提供的方法可以应用于图2所示的系统构架中，在该系统构架中包括：车辆、图像采集设备、雷达检测设备、图像处理设备。
本申请对上述设备的数量不做具体限制，且上述设备物理上可部署于车辆，本申请所提供的方法可以在图像处理设备中运行，下面对上述设备及其各自的功能进行简要的介绍。
图像采集设备是一类具备环境感知能力的物理传感器，能够实时的采集目标对象的纹理特征，目标对象可以是车道线、路灯、车辆、行人或者场景中的任意实体；图像采集设备包括任意类型的车载摄像头，例如，前视摄像头、后视摄像头、侧视摄像头、环视摄像头或者内置摄像头；图像采集设备用于从车辆的多个视角实时地采集不同的图像数据，需要指出的是，在同一相机时刻，从相邻的两个视角采集的两张图像之间具有重叠的部分，以便于后期将多视角采集的图像合成全景图像。
雷达检测设备是又一类具备环境感知能力的物理传感器，能够获取目标对象的距离、高度等位置信息；雷达检测设备可以是激光雷达(Laser Radar)、毫米波雷达(Millimeter-Wave Radar)、超声波雷达(Ultrasound)中的任意一种或者它们之间的组合，本申请对此不作具体限制；雷达检测设备同样能够在同一激光时刻，从车辆的多个角度实时地采集不同的点云数据，以便于后期将多视角采集的点云数据合成全景点云集合。
图像处理设备用于接收图像采集设备采集的图像数据和雷达检测设备采集的点云数据，并按照设定的数据处理规则，将两种不同数据类型的数据源进行相应的处理。
车辆可以是任意一种具备自动驾驶功能的车辆，该车辆上除搭载有上述设备外，还配备有定位系统、控制系统等，定位系统可以是惯性测量单元(InertialMeasurementUnit，IMU)、实时动态载波相位差分技术(Real-Time Kinematic，RTK)、全球定位系统(Global Positioning System，GPS)，本申请对此不做具体限制。
在本申请实施例中，一个摄像头或者相机仅能够采集一定视角范围内的场景图像，即单个摄像头或者相机采集的图像具有一定的局限性，为了能够得到全方位的包含各类目标对象的全景图像，需要在车辆的多个角度分别安装相应的摄像头，例如，每间隔90°安装一个摄像头；然后图像处理设备可以通过无线传输或有线传输的方式接收各个摄像头(相机)采集的图像数据，本申请对图像采集设备和图像处理设备之间的通信方式不作具体限制。
图像处理设备接收图像采集设备采集的第一图像和第二图像，如图3所示，以主驾驶位置为坐标原点，摄像头1朝x轴正方向采集的第一图像和摄像头2朝y轴正方向采集的第二图像。
图像处理设备在接收第一图像和第二图像之后，需要提取第一图像和第二图像中不会随旋转、尺度缩放、亮度变化等因素变化而变化的兴趣点(特征点)，在本申请实施例中，可以采用尺度不变特征变换算法(Scale Invariant FeatureTransform，SIFT)提取特征点，具体方式如下：
步骤一，尺度空间极值检测：搜索高斯金字塔尺度空间上的所有图片，通过高斯差分函数来识别潜在的对于尺度和旋转不变的特征点。
步骤二，特征点定位：在每个候选的特征点位置，模拟精细的模型来确定特征点位置和尺度。
步骤三，特征点方向确定：基于图像局部的梯度方向，给每个特征点分配一个或者多个方向，所有后序对图像数据的处理都相对于特征点的方向、尺度和位置进行变换，从而保证特征的不变性。
步骤四，特征点描述：在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯度，这些梯度作为特征点的描述符，该描述符允许比较大的局部变形和光照强度。
这里，需要指出的是，尺度空间指对任意一幅图像循环的进行高斯滤波后，形成的不同尺度的图像，由各类不同图像的尺度构成的尺度集合。
图像处理设备在提取第一图像和第二图像中的兴趣点后，能够从第一图像对应的第一兴趣点集合和第二图像对应的第二兴趣点集合中选取出相同的一个目标兴趣点。目标兴趣点可以是图像中的车道线、绿灯、车辆或行人，本申请对此不作具体限制，目标兴趣点可以用128*1的特征矩阵来表示，该矩阵可以用于描述目标兴趣点的颜色、维度、大小、位置等。
图像处理设备根据目标兴趣点在第一图像中的第一位置信息和目标兴趣点在第二图像中的第二位置信息，可以确定第一图像和第二图像之间的位置映射关系。该位置映射关系可以用旋转平移矩阵来描述，根据旋转平移矩阵，能够将第一图像变换到第二图像对应的位置或者将第二图像变换到第一图像的位置，最后将第一图像与平移后的第一图像相加，剔除第一图像和平移后的第一图像之间的重叠部分，能够得到在同一相机时刻，从两个拍摄角度拍摄的两张图像(第一图像和第二图像)合成的相机图像。
在一种可能的实施方式中，按照上述步骤，还能够将同一时刻从多个角度采集的所有图像进行合成，得到在同一相机时刻的相机全景图或者将相邻两个相机时刻拍摄的两张图像进行合成，得到相机全景图像。
通过使用SIFT算法，能够提取第一图像和第二图像中不随旋转、尺度缩放、亮度变化而变化的兴趣点，即具有特征不变性的兴趣点，提高了特征提取的速率；根据目标兴趣点在第一图像和第二图像中的位置映射关系，能够得到包含各类目标对象的相机全景图像，使相机全景图像中包含的目标对象的信息更加丰富。
在本申请实施例中，图像处理设备在获取相机全景图像之后，为了保证雷达检测设备采集的点云数据的场景与采集相机全景图像的场景统一，因而需要合成与相机全景图像的场景相对应的全景点云集合。
具体地，图像处理设备可以采用最近点迭代算法(英文全称：Iterative ClosestPoint，简称：ICP)合成全景点云集合，具体步骤如下：
图像处理设备首先获取雷达检测设备采集的第一点云集合和第二点云集合，其中，第一点云集合和第二点云集合可以是在同一激光时刻，雷达检测设备从不同扫描角度或者在相邻的两个激光时刻扫描得到的，可以参照上述摄像头在车辆中的设置方式布置雷达检测设备，在此不再赘述。
在第一点云集合M中选择一个待选点云子集合P。例如，P＝{P1，P2..Pn}。
从第二点云集合N中查找出与待选点云子集合P对应的目标点云子集合Q。例如，Q＝{Q1，Q2..Qn}，目标点云子集合中的目标点云Q1可以是与待选点云子集合中的待选点云P1相对距离最近的点云，目标点云子集合中的其他目标点云同理按照上述方式对应设置，在此不再赘述。
根据待选点云子集合和目标点云子集合之间的位置关系，构造待选点云子集合P与目标点云子集合Q之间的转换矩阵；并且根据转换矩阵，将待选点云子集合变换到目标点云子集合的对应位置Q*，例如，Q*＝R×P+T，其中，R为旋转矩阵，T为平移矩阵。
计算待选点云子集合P与目标点云子集合Q的位置偏差，位置偏差可以通过以下方式计算：
判断待选点云子集合P与目标点云子集合Q的位置偏差值是否大于设定的阈值。若是，则迭代更新转换矩阵，直到位置偏差值小于或等于设定的阈值，或者迭代更新转换矩阵的次数等于设定的最大迭代次数；若否，则基于转换矩阵，生成同一激光时刻，由第一点云集合和第二点云集合合成的全景点云集合。
同上述生成相机全景图像的步骤，图像处理设备在生成同一激光时刻，由第一点云集合和第二点云集合合成的全景点云集合之后，还能够将同一激光时刻采集的多个角度的所有点云集合进行合成，得到在同一激光时刻的全景点云集合或者将相邻两个激光时刻扫描的第三点云集合和第四点云集合进行合成，得到与相机全景图像的场景相对应的全景点云集合。
通过使用ICP算法，能够将雷达检测设备从各个角度或者各个激光时刻扫描的各个点云数据集合快速的合成全景点云集合，提高了获取与相机全景图像的场景相对应的全景点云集合的速率。
图像处理设备在获取全景点云集合后，为了将得到的3D全景点云集合与2D相机全景图像进行配准，首先需要将3D全景点云集合转换为点云深度图像。
在本申请实施例中，将全景点云集合转换为点云深度图像的方式如下：
图像处理设备首先从全景点云集合中选取出位于设定点云空间内的各个待选全景点云，将各个待选全景点云作为目标点云子集合。如图4所示，从全景点云集合中选取出点云坐标为(0.2m,0.4m,0.5m)的第一待选全景点云A和点云坐标为(0.3m,0.5m,0.9m)的第二待选全景点云B，将第一待选全景点云A和第二待选全景点云作为目标点云子集合，需要指出的是，待选全景点云的数量可以是多个，本申请仅以第一待选全景点云A和第二待选全景点云B为例对本申请的发明点进行说明。
然后将目标全景点云子集合映射到与点云空间相对应的像素空间(网格)内，记录点云空间与像素空间之间的坐标映射关系(索引关系)，映射过程可参考图5所示。
根据目标全景点云子集合中的各个全景点云各自的竖坐标，如上述第一待选全景点云的第一竖坐标0.5m和第二待选全景点云的第二竖坐标0.9m。
计算目标全景点云子集合中所有全景点云的竖坐标之和的平均值，得到高程值，将高程值作为点云深度图像的深度值，生成点云深度图像，需要指出的是，同样也可以采用全景点云子集合中所有全景点云的强度值之和的平均值作为点云深度图像的深度值，强度值是指从目标对象表面反射回来所获得的激光能量信息，本申请对点云深度图像的深度值的类型不做具体限制。
这里，需要指出的是，若在某一像素空间内不存在待选全景点云，则将该像素空间对应的空像素点进行去除。
通过上述方式，将3D全景点云集合转换为点云深度图像，能够便于后续对点云深度图像和相机全景图像进行配准。
S2，提取点云深度图像中的目标对象的第一轮廓特征和相机全景图像中目标对象的第二轮廓特征。
在本申请实施例中，图像检测设备在获取点云深度图像和相机全景图像之后，可以采用边缘检测算法提取点云深度图像中各个待选目标对象的轮廓特征和相机全景图像中各个待选目标对象各自的轮廓特征，然后对点云深度图像中的轮廓特征和相机全景图像中的轮廓特征进行特征匹配，确定点云深度图像和相机全景图像中的一个相同的目标对象；获取点云深度图像中的该目标对象的第一轮廓特征和相机全景图像中该目标对象的第二轮廓特征，第一轮廓特征和第二轮廓特征可以是车道的路沿、边界线或者车道线等边缘的结构信息，本申请对此不作具体的限定。
通过边缘检测算法提取点云深度图像中的目标对象的第一轮廓特征和相机全景图像中目标对象的第二轮廓特征避免了对点云深度图像或者相机全景图像中目标对象的特征进行全局扫描，降低了计算的复杂度，提高了对点云深度图像和相机全景图像配准的速率。
S3，基于第一轮廓特征与第二轮廓特征之间的位置关系，确定点云深度图像与相机全景图像之间的位置映射关系；
在本申请实施例中，图像处理设备在获取点云深度图像中的目标对象的第一轮廓特征和相机全景图像中目标对象的第二轮廓特征之后，可以获取第一轮廓特征对应的第一轮廓位置信息和第二轮廓特征对应的第二轮廓位置信息，根据第一轮廓位置信息和第二轮廓位置信息，图像处理设备可以建立点云深度图像与相机全景图像之间的位置映射关系，该位置映射关系可以是点云深度图像与相机全景图像之间的旋转平移矩阵，其功能与上述第一图像和第二图像之间的位置映射关系(旋转平移矩阵)相同，在此不再赘述。
通过构造点云深度图像与相机全景图像之间的旋转平移矩阵，能够将点云深度图像变换到相机全景图像对应的位置，实现点云深度图像和相机全景图像位置配准。
S4，基于位置映射关系和点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射关系，将相机全景图像的像素值映射到点云深度图像中，得到目标图像。
在本申请实施例中，图像处理设备根据点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射关系，首先能够将点云深度图像变换到相机全景图像对应的位置，对点云深度图像和相机全景图像的位置配准之后，可以根据点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射(索引)关系，将相机全景图像中的所有像素值通过索引反向赋值，使相机全景图像的像素值映射到点云深度图像中，生成彩色点云，将彩色点云作为点云和图像配准后的目标图像。
这里，需要指出的是，点云深度图像的点云坐标与相机全景图像的像素坐标之间的坐标映射(索引)关系在上述将目标全景点云子集合映射到点云空间相对应的像素空间(网格)时已进行记录。
综上所述，本申请所提供的点云和匹配方法，通过SIFT算法，能够提取第一图像和第二图像中具有特征不变性的兴趣点，根据目标兴趣点在第一图像和第二图像中的位置映射关系，能够对各角度或者相邻相机时刻采集的图像进行配准，合成包含各类目标对象的相机全景图像，使相机全景图像中包含的目标对象的信息更加丰富；通过ICP算法，能够对雷达检测设备从各角度或者相邻激光时刻扫描的各个点云数据集合快速的进行配准，合成与相机全景图像的场景相对应的全景点云集合；然后通过高程映射将全景点云集合转换为点云深度图像，实现了多幅激光雷达和图像空间的统一；最后通过边缘检测算法，根据检测的道路中目标对象的边缘信息明显的轮廓特征对深度点云图像和相机全景图像进行配准，避免了对点云深度图像或者相机全景图像中目标对象的特征进行全局扫描，降低了计算的复杂度，提高了对点云深度图像和相机全景图像配准的速率。
基于上述的实施例中所提供的方法，本申请实施例还提供了一种点云和图像配准装置，如图6所示为本申请实施例中一种点云和图像配准装置的结构示意图，该装置包括：
数据获取模块601，用于获取点云深度图像和相机全景图像；
特征提取模块602，用于提取所述点云深度图像中的目标对象的第一轮廓特征和所述相机全景图像中所述目标对象的第二轮廓特征；
映射模块603，用于基于所述第一轮廓特征与所述第二轮廓特征之间的位置关系，确定所述点云深度图像与所述相机全景图像之间的位置映射关系；
点云和图像配准模块604，用于基于所述位置映射关系和所述点云深度图像的点云坐标与所述相机全景图像的像素坐标之间的坐标映射关系，将所述相机全景图像的像素值映射到所述点云深度图像中，得到目标图像。
在一种可能的实现中，所述数据获取模块601，具体用于：
获取图像采集设备采集的第一图像和第二图像，其中，所述第一图像和所述第二图像是在同一相机时刻从不同的拍摄角度或者相邻的两个相机时刻拍摄得到的；
从所述第一图像对应的第一兴趣点集合和所述第二图像对应的第二兴趣点集合中选取出相同的一个目标兴趣点；
基于所述目标兴趣点在所述第一图像中的第一位置信息和所述目标兴趣点在所述第二图像中的第二位置信息，确定所述第一图像和所述第二图像之间的位置映射关系；
基于所述位置映射关系，生成所述相机全景图像。
在一种可能的实现中，所述数据获取模块601，还用于：
获取雷达检测设备采集的第一点云集合和第二点云集合，其中，所述第一点云集合和所述第二点云集合是在同一激光时刻从不同的扫描角度或者在相邻的两个激光时刻扫描得到的；
从所述第一点云集合中选择一个待选点云子集合，并确定所述第二点云集合中与所述待选点云子集合对应的目标点云子集合；
基于所述待选点云子集合和所述目标点云子集合之间的位置关系，构造所述待选点云子集合与所述目标点云子集合之间的转换矩阵；
基于所述转换矩阵，将所述待选点云子集合变换到所述目标点云子集合的对应位置；
计算所述待选点云子集合与所述目标点云子集合之间的位置偏差值；
判断所述位置偏差值是否大于设定的阈值；
若是，则迭代更新所述转换矩阵，直到所述位置偏差值小于或等于所述阈值，或者所述迭代的次数等于设定的最大迭代次数；
若否，则基于所述转换矩阵，生成全景点云集合。
在一种可能的实现中，所述数据获取模块601，具体用于：
从所述全景点云集合中选取出位于设定点云空间内的各个待选全景点云，将所述各个待选全景点云作为目标全景点云子集合；
将所述目标全景点云子集合映射到与所述点云空间相对应的像素空间内，并记录所述点云空间与所述像素空间之间的坐标映射关系；
确定所述目标全景点云子集合中的各个全景点云各自的竖坐标；
计算所有竖坐标之和的平均值，得到高程值，将所述高程值作为所述点云深度图像的深度值，生成所述点云深度图像。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述点云和图像配准装置的功能，参考图7，所述电子设备包括：
至少一个处理器701，以及与至少一个处理器701连接的存储器702，本申请实施例中不限定处理器701与存储器702之间的具体连接介质，图7中是以处理器701和存储器702之间通过总线700连接为例。总线700在图7中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线700可以分为地址总线、数据总线、控制总线等，为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器701也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器702存储有可被至少一个处理器701执行的指令，至少一个处理器701通过执行存储器702存储的指令，可以执行前文论述的点云和图像配准方法。处理器401可以实现图6所示的装置中各个模块的功能。
其中，处理器701是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器702内的指令以及调用存储在存储器702内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器701可包括一个或多个处理单元，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。在一些实施例中，处理器701和存储器702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器701可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的点云和图像配准方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器701进行设计编程，可以将前述实施例中介绍的点云和图像配准方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的点云和图像配准方法的步骤。如何对处理器701进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的点云和图像配准方法。
在一些可能的实施方式中，本申请提供的点云和图像配准方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的点云和图像配准方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种点云和图像配准方法，其特征在于，所述方法包括：
获取点云深度图像和相机全景图像；
提取所述点云深度图像中的目标对象的第一轮廓特征和所述相机全景图像中所述目标对象的第二轮廓特征；
基于所述第一轮廓特征与所述第二轮廓特征之间的位置关系，确定所述点云深度图像与所述相机全景图像之间的位置映射关系；
基于所述位置映射关系和所述点云深度图像的点云坐标与所述相机全景图像的像素坐标之间的坐标映射关系，将所述相机全景图像的像素值映射到所述点云深度图像中，得到目标图像。
2.如权利要求1所述的方法，其特征在于，所述获取相机全景图像，包括：
获取图像采集设备采集的第一图像和第二图像，其中，所述第一图像和所述第二图像是在同一相机时刻从不同的拍摄角度或者相邻的两个相机时刻拍摄得到的；
从所述第一图像对应的第一兴趣点集合和所述第二图像对应的第二兴趣点集合中选取出相同的一个目标兴趣点；
基于所述目标兴趣点在所述第一图像中的第一位置信息和所述目标兴趣点在所述第二图像中的第二位置信息，确定所述第一图像和所述第二图像之间的位置映射关系；
基于所述位置映射关系，生成所述相机全景图像。
3.如权利要求1所述的方法，其特征在于，所述获取点云深度图像之前，还包括：
获取雷达检测设备采集的第一点云集合和第二点云集合，其中，所述第一点云集合和所述第二点云集合是在同一激光时刻从不同的扫描角度或者在相邻的两个激光时刻扫描得到的；
从所述第一点云集合中选择一个待选点云子集合，并确定所述第二点云集合中与所述待选点云子集合对应的目标点云子集合；
基于所述待选点云子集合和所述目标点云子集合之间的位置关系，构造所述待选点云子集合与所述目标点云子集合之间的转换矩阵；
基于所述转换矩阵，将所述待选点云子集合变换到所述目标点云子集合的对应位置；
计算所述待选点云子集合与所述目标点云子集合之间的位置偏差值；
判断所述位置偏差值是否大于设定的阈值；
若是，则迭代更新所述转换矩阵，直到所述位置偏差值小于或等于所述阈值，或者所述迭代的次数等于设定的最大迭代次数；
若否，则基于所述转换矩阵，生成全景点云集合。
4.如权利要求3所述的方法，其特征在于，所述获取点云深度图像，包括：
从所述全景点云集合中选取出位于设定点云空间内的各个待选全景点云，将所述各个待选全景点云作为目标全景点云子集合；
将所述目标全景点云子集合映射到与所述点云空间相对应的像素空间内，并记录所述点云空间与所述像素空间之间的坐标映射关系；
确定所述目标全景点云子集合中的各个全景点云各自的竖坐标；
计算所有竖坐标之和的平均值，得到高程值，将所述高程值作为所述点云深度图像的深度值，生成所述点云深度图像。
5.一种点云和图像配准装置，其特征在于，包括：
数据获取模块，用于获取点云深度图像和相机全景图像；
特征提取模块，用于提取所述点云深度图像中的目标对象的第一轮廓特征和所述相机全景图像中所述目标对象的第二轮廓特征；
映射模块，用于基于所述第一轮廓特征与所述第二轮廓特征之间的位置关系，确定所述点云深度图像与所述相机全景图像之间的位置映射关系；
点云和图像配准模块，用于基于所述位置映射关系和所述点云深度图像的点云坐标与所述相机全景图像的像素坐标之间的坐标映射关系，将所述相机全景图像的像素值映射到所述点云深度图像中，得到目标图像。
6.如权利要求5所述的装置，其特征在于，所述数据获取模块，具体用于：
获取图像采集设备采集的第一图像和第二图像，其中，所述第一图像和所述第二图像是在同一相机时刻从不同的拍摄角度或者相邻的两个相机时刻拍摄得到的；
从所述第一图像对应的第一兴趣点集合和所述第二图像对应的第二兴趣点集合中选取出相同的一个目标兴趣点；
基于所述目标兴趣点在所述第一图像中的第一位置信息和所述目标兴趣点在所述第二图像中的第二位置信息，确定所述第一图像和所述第二图像之间的位置映射关系；
基于所述位置映射关系，生成所述相机全景图像。
7.如权利要求5所述的装置，其特征在于，所述数据获取模块，还用于：
获取雷达检测设备采集的第一点云集合和第二点云集合，其中，所述第一点云集合和所述第二点云集合是在同一激光时刻从不同的扫描角度或者在相邻的两个激光时刻扫描得到的；
从所述第一点云集合中选择一个待选点云子集合，并确定所述第二点云集合中与所述待选点云子集合对应的目标点云子集合；
基于所述待选点云子集合和所述目标点云子集合之间的位置关系，构造所述待选点云子集合与所述目标点云子集合之间的转换矩阵；
基于所述转换矩阵，将所述待选点云子集合变换到所述目标点云子集合的对应位置；
计算所述待选点云子集合与所述目标点云子集合之间的位置偏差值；
判断所述位置偏差值是否大于设定的阈值；
若是，则迭代更新所述转换矩阵，直到所述位置偏差值小于或等于所述阈值，或者所述迭代的次数等于设定的最大迭代次数；
若否，则基于所述转换矩阵，生成全景点云集合。
8.如权利要求5所述的装置，其特征在于，所述数据获取模块，具体用于：
从所述全景点云集合中选取出位于设定点云空间内的各个待选全景点云，将所述各个待选全景点云作为目标全景点云子集合；
将所述目标全景点云子集合映射到与所述点云空间相对应的像素空间内，并记录所述点云空间与所述像素空间之间的坐标映射关系；
确定所述目标全景点云子集合中的各个全景点云各自的竖坐标；
计算所有竖坐标之和的平均值，得到高程值，将所述高程值作为所述点云深度图像的深度值，生成所述点云深度图像。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-4中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法步骤。
CN202310860561.8A 2023-07-13 2023-07-13 一种点云和图像配准方法、装置、电子设备及存储介质 Pending CN116777963A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310860561.8A CN116777963A (zh) 2023-07-13 2023-07-13 一种点云和图像配准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310860561.8A CN116777963A (zh) 2023-07-13 2023-07-13 一种点云和图像配准方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116777963A true CN116777963A (zh) 2023-09-19

Family

ID=87991366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310860561.8A Pending CN116777963A (zh) 2023-07-13 2023-07-13 一种点云和图像配准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116777963A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958220A (zh) * 2023-09-20 2023-10-27 深圳市信润富联数字科技有限公司 相机视野范围的生成方法及装置、存储介质、电子设备
CN117876430A (zh) * 2024-03-13 2024-04-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种全景图像及视频中的扫视路径预测方法、设备及介质
CN117994309A (zh) * 2024-04-07 2024-05-07 绘见科技(深圳)有限公司 一种基于大模型的slam激光点云与全景影像自动配准方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958220A (zh) * 2023-09-20 2023-10-27 深圳市信润富联数字科技有限公司 相机视野范围的生成方法及装置、存储介质、电子设备
CN116958220B (zh) * 2023-09-20 2024-01-12 深圳市信润富联数字科技有限公司 相机视野范围的生成方法及装置、存储介质、电子设备
CN117876430A (zh) * 2024-03-13 2024-04-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种全景图像及视频中的扫视路径预测方法、设备及介质
CN117994309A (zh) * 2024-04-07 2024-05-07 绘见科技(深圳)有限公司 一种基于大模型的slam激光点云与全景影像自动配准方法

Similar Documents

Publication Publication Date Title
CN116777963A (zh) 一种点云和图像配准方法、装置、电子设备及存储介质
EP2491529B1 (en) Providing a descriptor for at least one feature of an image
US20220392108A1 (en) Camera-only-localization in sparse 3d mapped environments
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111815707A (zh) 点云确定方法、点云筛选方法、装置、计算机设备
CN111507327A (zh) 一种目标检测方法及装置
CN110634138A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN114047487B (zh) 雷达和车体的外参标定方法、装置、电子设备和存储介质
JP6278790B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
CN114119992A (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
Zingoni et al. Real-time 3D reconstruction from images taken from an UAV
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
CN114119682A (zh) 一种激光点云和图像配准方法及配准系统
CN110298320B (zh) 一种视觉定位方法、装置及存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN116912417A (zh) 基于人脸三维重建的纹理贴图方法、装置、设备和存储介质
US20220301176A1 (en) Object detection method, object detection device, terminal device, and medium
CN112146647B (zh) 一种地面纹理的双目视觉定位方法及芯片
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质
JP7251631B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
CN112528918A (zh) 道路元素识别方法、地图标注方法及装置、车辆
CN112215048A (zh) 一种3d目标检测方法、装置和计算机可读存储介质
CN113255405A (zh) 车位线识别方法及其系统、车位线识别设备、存储介质
CN114780762B (zh) 一种输电线路夜视图像的点云测距自动标注方法及系统
CN116740681B (zh) 目标检测方法、装置、车辆和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination