CN110223226A - 全景图像拼接方法及系统 - Google Patents
全景图像拼接方法及系统 Download PDFInfo
- Publication number
- CN110223226A CN110223226A CN201910375905.XA CN201910375905A CN110223226A CN 110223226 A CN110223226 A CN 110223226A CN 201910375905 A CN201910375905 A CN 201910375905A CN 110223226 A CN110223226 A CN 110223226A
- Authority
- CN
- China
- Prior art keywords
- class
- single image
- range information
- panorama
- camera lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000005192 partition Methods 0.000 claims abstract description 36
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 238000000746 purification Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005304 joining Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012536 packaging technology Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例提供了一种全景图像拼接方法及系统，通过与全景相机对应的多线激光雷达扫描目标场景得到的目标场景点云数据进行配准，得到第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；通过每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对重叠区域进行动态分区，使经动态分区得到的每一分区均对应一第二类距离信息；最后根据每一分区对应的第二类距离信息以及与第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。采用不同的距离拼接模板对重叠区域中不同距离信息的分区进行拼接，解决了重叠区域存在多个不同距离放入目标时全景图像拼接产生“鬼影”的问题，保证了拼接准确性。
Description
技术领域
本发明涉及图像处理技术领域以及多线激光雷达测距技术领域，更具体地，涉及全景图像拼接方法及系统。
背景技术
目前，实现全景图像拼接，多采用尺度不变特征变换(Scale-invariant featuretransform，SIFT)、加速鲁棒特征(Speed-Up Robust Features，SURF)等基于特征的匹配方法，对两幅图像的重叠部分进行特征匹配，这些基于特征的匹配方法都需要两幅图像中具有较多的特征信息。但是当两幅图像中的特征信息较少或没有特征信息时，则会产生匹配错误。
现有技术中在实现全景图像拼接时，还可以根据镜头之间的几何关系，进行镜头标定，生成转换矩阵，转换后进行拼接。但是这种方式并没有考虑图像中存在的远近不同的多个物体，若图像重叠部分同时出现远近不同的多个物体，再加之全景相机有较大的镜头畸变，则同样会产生拼接错误，而且处于不同距离处的物体会产生不同程度的重影等问题，导致拼接不准确，全景图像不真实，影响全景图像的视觉效果与研究应用等。
发明内容
为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种全景图像拼接方法及系统。
第一方面，本发明实施例提供了一种全景图像拼接方法，包括：
获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；
基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；
基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
第二方面，本发明实施例提供了一种全景图像拼接系统，包括：
重叠区域确定模块，用于获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；
动态分区模块，用于基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；
拼接模块，用于基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
第三方面，本发明实施例提供了一种电子设备，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行第一方面提供的全景图像拼接方法。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面提供的全景图像拼接方法。
本发明实施例提供的一种全景图像拼接方法及系统，在获取全景相机各镜头拍摄目标场景的第一类单幅图像后，通过与全景相机对应的多线激光雷达扫描目标场景得到的目标场景点云数据进行配准，使第一类单幅图像中携带有目标场景点云数据中的第一类距离信息，即得到第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；通过每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对重叠区域进行动态分区，使经动态分区得到的每一分区均对应一第二类距离信息；最后根据每一分区对应的第二类距离信息以及与第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。本发明实施例中采用不同的距离拼接模板对重叠区域中不同距离信息的分区进行拼接，保证了拼接的准确性，生成的全景图像更加准确真实，具有更佳的视觉效果以及更高的研究应用价值，避免了因目标场景中存在距离不同的多个物体时而产生的图像拼接错误、重影等的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种全景图像拼接方法的流程示意图；
图2为本发明实施例提供的一种全景图像拼接方法中动态分区方法的流程示意图；
图3(a)为本发明实施例提供的一种全景图像拼接方法中全景相机中左镜头拍摄得到的第一类单幅图像；
图3(b)为本发明实施例提供的一种全景图像拼接方法中全景相机中右镜头拍摄得到的第一类单幅图像；
图4(a)为本发明实施例提供的一种全景图像拼接方法中全景相机中左镜头拍摄得到的第一类单幅图像对应的第二类单幅图像；
图4(b)为本发明实施例提供的一种全景图像拼接方法中全景相机中右镜头拍摄得到的第一类单幅图像对应的第二类单幅图像；
图5(a)为直接设置拼接距离为4m时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；
图5(b)为直接设置拼接距离为100m时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；
图5(c)为采用本发明实施例提供的全景图像拼接方法设置不同拼接距离时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；
图6为本发明实施例提供的一种全景图像拼接系统的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
如图1所示，本发明一实施例提供了一种全景图像拼接方法，包括：
S11，获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；
S12，基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；
S13，基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
具体地，由于全景图像拼接时主要是对各镜头拍摄得到的图像之间的重叠区域进行拼接，所以本发明实施例中提供了一种全景图像拼接方法，主要是为了确定重叠部分具有不同距离信息时的图像融合。步骤S11中，首先需要获取全景相机各镜头拍摄目标场景的第一类单幅图像，全景相机是一种包含多个镜头的相机，多个镜头同步工作，同时拍摄目标场景的单幅图像，即每个镜头拍摄一幅目标场景的图像。其中，便于描述方便及与后面的单幅图像进行区分，将此处的单幅图像记为第一类单幅图像，目标场景是指需要获取其全景图像的场景。
在获取每个镜头拍摄的第一类单幅图像后，将每一第一类单幅图像分别与全景相机对应的多线激光雷达扫描目标场景得到的目标场景点云数据进行配准。本发明实施例中在同一位置同时固定全景相机与多线激光雷达，以使多线激光雷达扫描得到的目标场景点云数据中的距离信息可以表征第一类单幅图像中各物体的距离信息。全景相机与多线激光雷达之间的对应关系是指全景相机坐标系与多线激光雷达坐标系之间的坐标转换关系，这可以通过全景相机拍摄包含有目标物的场景以及多线激光雷达扫描包含有目标物的场景实现。经多线激光雷达扫描后得到的点云数据中包括距离信息，此距离信息是指与多线激光雷达的距离，也即与全景相机的距离。配准的过程即是将多线激光雷达坐标系下的距离信息通过坐标转换关系转换为全景相机坐标系下，则每一第一类单幅图像经配准后均携带有距离信息，将携带有距离信息的第一类单幅图像记为第二类单幅图像，也就是说，第二类单幅图像是携带有距离信息的第一类单幅图像。需要说明的是，携带有距离信息的第一类单幅图像是指第一类单幅图像中每个像素点均携带有距离信息。本发明实施例中将第二类单幅图像中各像素点携带的距离信息记为第一类距离信息。根据每两个相邻镜头对应的第二类单幅图像中各像素点携带的第一类距离信息，通过比较每两个相邻镜头对应的第二类单幅图像中各对应位置上像素点的第一类距离信息的大小，确定每两个相邻镜头对应的第二类单幅图像的重叠区域。
步骤S11执行后，执行步骤S12，首先基于步骤S11中确定的每两个相邻镜头对应的第二类单幅图像中携带的第一类距离信息，对重叠区域进行动态分区。动态分区的作用是将重叠区域中携带差异较大的距离信息的像素点构成的部分进行划分，以使动态分区得到的不同分区对应不同的第二类距离信息，其中第二类距离信息是指一种平均的距离信息，进而使不同的分区可以应用不同距离对应的距离拼接模板实现后续的拼接。
最后执行步骤S13，即根据步骤S12得到的每一分区对应的第二类距离信息以及与第二类距离信息对应的距离拼接模板，对所有第一类单幅图像之间的重叠部分分别进行拼接。这里需要说明的是，由于第二类单幅图像与第一类单幅图像的区别仅仅在于第二类单幅图像中各像素点携带距离信息，因此第二类单幅图像之间的重叠部分与第一类单幅图像之间的重叠部分是相同的。
其中，距离拼接模板的作用是对重叠区域进行拼接，距离拼接模板实际上是在第二类距离信息下，以全景相机中两个相邻镜头中的第一镜头A为基准镜头，将第二镜头B拍摄的单幅图像中各像素点坐标转换至基准镜头的坐标系下的坐标的模板。本发明实施例中采用的距离拼接模板的具体形式如公式(1)所示：
其中，x、y分别为第二镜头B拍摄的单幅图像b中某一像素点a的横坐标和纵坐标，x’、y’分别为第二镜头B拍摄的单幅图像b中像素点a经距离拼接模板转换后在基准镜头的坐标系下的横坐标和纵坐标，系数矩阵H为距离拼接矩阵；m11、m12分别表示单幅图像b在水平方向(即x方向)和垂直方向(即y方向)的尺度变换比例，m21、m22分别表示单幅图像b在x方向和y方向的错切变换比例，m11、m12、m21、m22这四个参数组合可实现单幅图像b的旋转和尺度大小的变化，m31、m32分别表示单幅图像b在x方向和y方向的形变量，m13表示单幅图像b的水平偏移量，m23表示单幅图像b的垂直偏移量。
本发明实施例中提供的全景图像拼接方法，在获取全景相机各镜头拍摄目标场景的第一类单幅图像后，通过与全景相机对应的多线激光雷达扫描目标场景得到的目标场景点云数据进行配准，使第一类单幅图像中携带有目标场景点云数据中的第一类距离信息，即得到第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；通过每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对重叠区域进行动态分区，使经动态分区得到的每一分区均对应一第二类距离信息；最后根据每一分区对应的第二类距离信息以及与第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。本发明实施例中采用不同的距离拼接模板对重叠区域中不同距离信息的分区进行拼接，保证了拼接的准确性，生成的全景图像更加准确真实，具有更佳的视觉效果以及更高的研究应用价值，避免了因目标场景中存在距离不同的多个物体时而产生的图像拼接错误、重影等的问题。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法中，在获取全景相机各镜头拍摄目标场景的第一类单幅图像之后，还包括：对得到的各第一类单幅图像进行预处理操作。其中，预处理操作具体可包括对第一类单幅图像进行畸变校正和柱面坐标转换。
畸变可分为径向畸变和切向畸变两类，畸变一般是由全景相机的镜头的制造精度以及组装工艺的偏差导致的。通过畸变校正可以降低第一类单幅图像的失真度。但是由于全景相机的各镜头朝向不同，各镜头拍摄得到的第一类单幅图像的二维投影坐标系并不相同，直接通过畸变校正得到最终的全景图像，会使全景图像出现重影现象，影响视觉一致性，因此需要统一各镜头拍摄得到的第一类单幅图像的二维投影坐标系，所以还需要对畸变校正后的图像进行柱面坐标转换。
柱面坐标转换公式如公式(3)所示：
其中，(x’,y’)为经柱面坐标转换后的图像中像素点的坐标，(x,y)为柱面坐标转换前的图像中像素点的坐标，f为全景相机中每个镜头的焦距，其中全景相机中各镜头的焦距均相等，θ为全景相机中每个镜头的视场角，W为图像中的像素宽度，H为图像中的像素高度。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法中，所述将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，具体包括：
基于全景相机坐标系与多线激光雷达坐标系之间的坐标转换关系，将每一第一类单幅图像分别与所述目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像；
所述坐标转换关系基于所述全景相机拍摄的包含靶标在内的第一预设场景图像中所述靶标的坐标信息以及所述多线激光雷达扫描第一预设场景得到的第一预设场景点云数据中所述靶标的坐标信息确定。
具体地，本发明实施例中，在将每一第一类单幅图像分别与全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准时，具体是利用事先确定的全景相机坐标系与多线激光雷达坐标系之间的坐标转换关系进行配准。
确定坐标转换关系的方法具体可以如下。
首先，确定一预设场景，此处即为第一预设场景，在第一预设场景中设置一靶标作为目标物。然后固定一全景相机以及一多线激光雷达，全景相机和多线激光雷达具体可固定在小型机动车上，也可固定在农机上，本发明实施例中对此不作具体限定，只要能够实现对全景相机和多线激光雷达的固定作用即可。通过全景相机各镜头拍摄第一预设场景得到第一预设场景图像，通过多线激光雷达扫描第一预设场景得到第一预设场景点云数据。其中，需要保证的是，第一预设场景图像中需要明显包含靶标，第一预设场景点云数据中也需要明显包含靶标信息。
获取第一预设场景图像中靶标的坐标信息以及第一预设场景点云数据中靶标的坐标信息，即获取全景相机坐标系中靶标的坐标信息以及多线激光雷达坐标系中靶标的坐标信息，即可确定出全景相机坐标系和多线激光雷达坐标系二者之间的坐标转换关系矩阵。
坐标转换关系矩阵确定后，将坐标转换关系矩阵与全景相机标定的内参矩阵、外参矩阵相乘，即可得到第一类单幅图像与目标场景点云数据之间的配准关系，即可实现每一第一类单幅图像与目标场景点云数据的配准，进而确定出每一第一类单幅图像对应的第二类单幅图像。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法中，所述确定每两个相邻的镜头对应的第二类单幅图像的重叠区域，具体包括：
基于与所述目标场景点云数据中各点配准的像素点个数，对所述目标场景点云数据进行标记赋值；
基于赋值结果，确定每两个相邻的镜头对应的第二类单幅图像的重叠区域。
具体地，本发明实施例中，第一类单幅图像与多线激光雷达扫描目标场景得到的目标场景点云数据进行配准后，第一类单幅图像中每一像素点均与目标场景点云数据中的一点相配准，目标场景点云数据中的各点对应于多线激光雷达扫描点，相应地，目标场景点云数据为多线激光雷达扫描点数据的集合。
在确定每两个相邻的镜头对应的第二类单幅图像的重叠区域时，首先根据与目标场景点云数据中各点配准的像素点个数，对目标场景点云数据进行标记赋值。对于目标场景点云数据中的每一点i，若与点i配准的像素点个数为1，则将点i标记赋值为1，若与点i配准的像素点个数为2，则将点i标记赋值为2。
对目标场景点云数据中的每一点均进行标记赋值后，根据赋值结果，即可确定出每两个相邻的镜头对应的第二类单幅图像的重叠区域。例如，对于目标场景点云数据中的每一点i，若点i的标记赋值结果为2，则说明点i与两个像素点配准，即点i位于全景相机两个相邻的镜头对应的第二类单幅图像的重叠区域。也就是说，确定出目标场景点云数据中所有标记赋值结果为2的点，并进行连接，可确定出重叠区域的轮廓，其对应的第二类单幅图像中的区域即为重叠区域。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法，所述基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，具体包括：
对于所述重叠区域对应的所述多线激光雷达发出的每两条相邻的雷达扫描线，获取两条相邻的雷达扫描线中的下侧雷达扫描线上所有扫描点的距离信息的第一平均值，以及两条相邻的雷达扫描线中的上侧雷达扫描线上所有扫描点的距离信息的第二平均值；
若判断获知所述第一平均值与所述第二平均值的差值的绝对值满足预设条件，则以所述下侧雷达扫描线、所述上侧雷达扫描线以及与所述下侧雷达扫描线、所述上侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第一分区；
否则，获取所述重叠区域内位于所述下侧雷达扫描线和所述上侧雷达扫描线之间的中心像素线，以所述中心像素线、所述下侧雷达扫描线以及与所述中心像素线、所述下侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第二分区，以所述中心像素线、所述上侧雷达扫描线以及与所述中心像素线、所述上侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第三分区。
具体地，本发明实施例中在对重叠区域进行动态分区时，是在竖直方向上划分出多个分区，即在重叠区域内从上到下或者从下到上的方向划分出包含明显不同的距离信息的分区，划分出的多个分区的高度之和为重叠区域的高度，划分出的每个分区的宽度为重叠区域的宽度。划分出的每个分区内部包含明显区别于其他分区的距离信息，每个分区内部各像素点携带的距离信息可以不同，但其差异均不会超过目标阈值。其中，目标阈值根据目标场景的实际环境设定，若目标场景的实际环境为一般城市等复杂、范围相对较小的环境，则当雷达扫描线上所有扫描点的距离信息的平均值在10m以内时，可以设定目标阈值β为1m；当雷达扫描线上所有扫描点的距离信息的平均值在10m以外时，可以设定目标阈值β为5m。若目标场景的实际环境为农田等简单、空旷的环境时，可以直接设定目标阈值β为5m。具体分区的数量根据重叠区域中每两个相邻镜头对应的第二类单幅图像中携带的第一类距离信息以及目标阈值确定。
以下仅以从下至上的方向进行动态分区为例进行说明。
对于重叠区域对应的多线激光雷达发出的每两条相邻的雷达扫描线L0和L1，其中L0是下侧雷达扫描线，L1是上侧雷达扫描线，本发明实施例中的雷达扫描线均是水平线。获取雷达扫描线L0上所有扫描点的距离信息的第一平均值D0，以及雷达扫描线L1上所有扫描点的距离信息的第二平均值D1，若第一平均值D0与第二平均值D1的差值的绝对值满足预设条件，则以雷达扫描线L0、雷达扫描线L1以及与雷达扫描线L0和L1相交的重叠区域的竖直边界作为边界线，构成第一分区。其中，第一平均值D0与第二平均值D1的差值的绝对值满足预设条件具体可通过如下公式(5)表示：
|D1-D0|≤β (5)
其中，β为上述的目标阈值。
若第一平均值D0与第二平均值D1的差值的绝对值不满足预设条件，则获取重叠区域内位于雷达扫描线L0和L1之间的中心位置处的中心像素线L，以中心像素线L、雷达扫描线L0以及与中心像素线L、雷达扫描线L0相交的重叠区域的竖直边界作为边界线，构成第二分区，以中心像素线L、雷达扫描线L1以及与中心像素线L、雷达扫描线L1相交的重叠区域的竖直边界作为边界线，构成第三分区。也就是说，当第一平均值D0与第二平均值D1的差值的绝对值不满足预设条件时，选取重叠区域内位于雷达扫描线L0和L1之间的中心像素线L，分别与雷达扫描线L0和雷达扫描线L1各构成一个分区。
由于整个重叠区域会涉及到多条雷达扫描线，而对于每两条相邻的雷达扫描线，均会构成一个分区或两个分区，因此对于整个重叠区域来说，根据实际情况可能会出现多个分区，分区的具体数量由重叠区域内的雷达扫描线的数量以及预设条件确定，本发明实施例中对此不作具体限定。
在程序实现上，如图2所示，可采用循环结构实现，即：
S21，从位于重叠区域中最下端的一条雷达扫描线开始进行动态分区，该雷达扫描线记为L0；
S22，计算雷达扫描线L0上所有扫描点的距离信息的平均值，记为D0；
S23，取与雷达扫描线L0相邻且位于雷达扫描线L0上侧的一条雷达扫描线，记为L1；
S24，计算雷达扫描线L1上所有扫描点的距离信息的平均值，记为D1；
S25，计算|D1-D0|，与预先设定的目标阈值β进行比较，如果|D1-D0|大于β，则执行S26，否则执行S27；
S26，取重叠区域内位于L0和L1之间的中心位置处的像素线，记为中心像素线L，以中心像素线L、雷达扫描线L0，和与中心像素线L、雷达扫描线L0相交的两条重叠区域竖直边界，共同构成一个长方形分区；以中心像素线L、雷达扫描线L1，和与中心像素线L、雷达扫描线L1相交的两条重叠区域竖直边界，共同构成另一个长方形分区。此步骤生成的两个长方形分区是相互独立的，即此步骤会生成两个新的分区；然后将平均值D0和D1的平均值，设为D0，并将L设为L0，返回至S23继续执行；
S27，将雷达扫描线L0和L1，以及与雷达扫描线L0和L1相交的两条重叠区域边界，共同构成一个长方形分区；如果连续两次经过此步骤生成两个分区，则将两个分区合成，即以重叠区域两条竖直边界，和两个分区非重叠的两条边，共同构成一个新的分区；
S28，判断重叠区域对应的第二类单幅图像上的所有雷达扫描线是否均被选取；若均被选取，则完成动态分区处理，否则执行S29；
S29，取平均值D0和D1的平均值，设为D0，并将L1设为L0，返回至S23继续执行。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法，所述确定经动态分区得到的每一分区对应的第二类距离信息，具体包括：
基于每一分区的每条水平边界线对应的距离信息的平均值，确定每一分区的两条水平边界线对应的距离信息的平均值，并作为所述第二类距离信息。
具体地，本发明实施例中，在确定经动态分区得到的每一分区对应的第二类距离信息时，若对于分区j，分区j的下侧边界线为L0j，上侧边界线为L1j，下侧边界线L0j上所有扫描点的距离信息的平均值为D0j，上侧边界线L1j上所有扫描点的距离信息的平均值为D1j，则分区j的两条水平边界线L0j、L1j对应的距离信息的平均值可表示为公式(6)，并将分区j的两条水平边界线L0j、L1j对应的距离信息的平均值作为分区j对应的第二类距离信息。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法，所述与所述第二类距离信息对应的距离拼接模板，具体通过如下方法生成：
获取所述全景相机各镜头拍摄包含黑白棋盘标定板在内的第二预设场景的第三类单幅图像，并将每一第三类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述第二预设场景得到的第二预设场景点云数据进行配准，确定每一第三类单幅图像对应的第四类单幅图像；所述黑白棋盘标定板到所述全景相机的距离信息为所述第二类距离信息；
基于加速鲁棒特征匹配算法，对每两个相邻镜头对应的第四类单幅图像进行特征匹配，并基于随机抽样一致算法，对特征匹配后相互匹配的特征点进行提纯，基于提纯后的特征点，采用最小二乘法生成与所述第二类距离信息对应的中间距离拼接模板；
选取每两个相邻镜头中的第一镜头对应的重叠区域作为基准，采用所述中间距离拼接模板对每两个相邻镜头中的第二镜头对应的重叠区域中经提纯后的第二类特征点进行坐标变换，计算坐标转换后的第二类特征点坐标与所述第一镜头对应的重叠区域中经提纯后且与所述第二类特征点匹配的第一类特征点坐标之间的所有几何距离之和；
将所有几何距离之和与所述第一镜头对应的重叠区域中经提纯后且与所述第二类特征点匹配的所有第一类特征点的总数相除，若判断获知相除的结果小于预设阈值，则将所述中间距离拼接模板作为与所述第二类距离信息对应的距离拼接模板。
具体地，在本发明实施例中，由于每个距离信息对应一个距离拼接模板，则需要生成足够多的距离拼接模板，可以保证得到的每个分区的第二类距离信息均对应一个距离拼接模板。距离拼接模板的数量N可根据目标场景的实际环境的不同设置不同的值，若目标场景的实际环境为一般城市等复杂、范围相对较小的环境，则可将全景相机和多线激光雷达搭载在小型机动车上，并将N设定为15，即生成15个不同距离对应的距离拼接模板，分别为1m、2m、3m、4m、5m、6m、7m、8m、9m、10m、15m、20m、30m、40m、50m；若目标场景的实际环境为农田等简单、空旷的环境，则可将全景相机和多线激光雷达搭载在农机上，并将N设定为10，即生成10个不同距离对应的距离拼接模板，分别为5m、10m、15m、20m、25m、30m、35m、40m、50m、70m。
对于每一第二类距离信息对应的距离拼接模板，均可通过如下方法生成：
第一步，确定一预设场景，此处即为第二预设场景，在第二预设场景中设置一黑白棋盘标定板作为目标物。黑白棋盘标定板到全景相机的距离信息以及到多线激光雷达的距离信息均为第二类距离信息。需要保证的是，黑白棋盘标定板处于两个相邻镜头对应的第二类单幅图像的重叠区域。
第二步，获取全景相机各镜头拍摄包含黑白棋盘标定板在内的第二预设场景的第三类单幅图像，并将每一个第三类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述第二预设场景得到的第二预设场景点云数据进行配准，确定每一个第三类单幅图像对应的第四类单幅图像。每个第四类单幅图像中均携带有距离信息，这一距离信息是通过多线激光雷达扫描得到的，因此在全景相机以及多线激光雷达随小型机动车或农机移动的过程中，当配准得到第四类单幅图像中携带的距离信息为第二类距离信息时，即说明此时黑白棋盘标定板到全景相机的距离信息为第二类距离信息，此时生成的距离拼接模板即为第二类距离信息对应的距离拼接模板。也就是说，本发明实施例中可以通过第三类单幅图像与第二预设场景点云数据进行配准得到的第四类单幅图像中携带的距离信息确定生成的距离拼接模板对应的第二类距离信息。例如，假设第二类距离信息为10m，即黑白棋盘标定板到多线激光雷达和全景相机的距离为10m，当第四类单幅图像中携带的距离信息为10m时，该距离下生成的距离拼接模板即为10m对应的距离拼接模板，从而在获取其他场景图像后进行图像拼接时，能够适用该10m的距离拼接模板。
第三步，基于加速鲁棒(SURF)特征匹配算法，对每两个相邻镜头对应的第四类单幅图像进行特征匹配，并基于随机抽样一致(Random sample consensus，RANSAC)算法，对特征匹配后相互匹配的特征点进行提纯。其中，SURF特征匹配算法是一种经典的图像配准算法，其主要步骤为构建Hessian矩阵，构建尺度空间，提取特征点，生成特征点描述符，特征点匹配。RANSAC算法，是通过不断将匹配点代入转换矩阵，迭代计算其生成的转换矩阵的偏差，并最终获得偏差最小的矩阵，即剔除错误匹配点，生成更加准确的转换矩阵。由于SURF算法在进行特征匹配时，常常会出现错误匹配的现象，所以本发明实施例中通过RANSAC算法对匹配点进行提纯，进而生成更加准确的距离拼接模板。
第四步，基于提纯后的特征点，采用最小二乘法生成与第二类距离信息对应的中间距离拼接模板，中间距离拼接模板的表示形式如公式(1)所示。
第五步，采用每两个相邻镜头拍摄目标图像，并选取每两个相邻镜头中的第一镜头A对应的重叠区域作为基准，设第一镜头A对应的重叠区域中经提纯后的第一类特征点c1的坐标为(x1，y1)，第二镜头B对应的重叠区域中经提纯后的第二类特征点c2的坐标为(x2，y2)，c1与c2相匹配，这里的相匹配是指c1与c2在各自第一类单幅图像中的位置相同。其中，目标图像是指通过每两个相邻镜头拍摄的、颜色鲜明、景物特征鲜明的图像。通过中间距离拼接模板对每两个相邻镜头拍摄的目标图像的重叠区域的拼接效果，判断中间距离拼接模板的质量好坏。
第六步，采用中间距离拼接模板对第二类特征点c2(x2，y2)进行坐标变换，变换后得到的第二类特征点的坐标为c2’(x2’，y2’)，计算第二镜头B对应的重叠区域中经提纯后的第二类特征点c2’(x2’，y2’)与c1(x1，y1)之间的几何距离，并计算所有几何距离之和，计算公式如公式(7)所示：
其中，n为重叠区域中经提纯后的第二类特征点的总数，Dall为所有几何距离之和。
第七步，将所有几何距离之和Dall与第一镜头A对应的重叠区域中经提纯后的所有第一类特征点c1的总数相除。第一镜头A对应的重叠区域中经提纯后的所有第一类特征点c1的总数与第二镜头B对应的重叠区域中经提纯后的所有第二类特征点c2的总数相等，均为n。具体通过相除的结果判断得到的中间距离拼接模板的质量好坏，若判断获知相除的结果小于预设阈值，则说明得到的中间距离拼接模板的质量好，此时将中间距离拼接模板作为与第二类距离信息对应的距离拼接模板。若判断获知相除的结果大于或等于预设阈值，则说明得到的中间距离拼接模板的质量不好，此时改变黑白棋盘标定板的黑白格密度，或改变黑白棋盘标定板的大小等参数，重复上述获取中间距离拼接模板的过程，直至得到的相除的结果小于预设阈值为止，并将中间距离拼接模板作为与第二类距离信息对应的距离拼接模板。其中，预设阈值可以根据第二预设场景的实际环境设定，作为优选方案，可将预设阈值设置为1。
对于上述生成距离拼接模板的方法，通过改变黑白棋盘标定板到全景相机的距离信息，即可得到不同距离信息对应的距离拼接模板。
在上述实施例的基础上，本发明实施例中提供的全景图像拼接方法，在对所有第一类单幅图像进行全景图像拼接之后，还包括：
基于渐入渐出融合法，对全景图像拼接后得到的图像进行融合。
具体地，本发明实施例中提供的全景图像拼接方法，在拼接后如果直接进行图像叠加，则会使重叠区域的RGB三通道的数值叠加，从而影响全景图像的拼接效果，生成的全景图像无法使用。所以在拼接后，基于渐入渐出融合法，对全景图像拼接后得到的图像进行融合。其中，渐入渐出融合法的计算过程如公式(8)所示。
P(x,y)＝αP1(x1,y1)+(1-α)P2(x2,y2) (8)
其中，P(x,y)表示融合后的像素点的像素值，P1(x1,y1)为第一镜头A对应的重叠区域中像素点的像素值，P2(x2,y2)为第二镜头B对应的重叠区域中像素点的像素值，α为第一镜头A的单幅图像中重叠区域的像素点对应的权重，α的取值范围为0～1，α的取值根据像素点到重叠区域中，其所属镜头图像的重叠边界的距离而确定。
设全景相机中两个相邻镜头分别为左镜头和右镜头。图3(a)为全景相机中左镜头拍摄得到的第一类单幅图像，图3(b)为全景相机中右镜头拍摄得到的第一类单幅图像。图4(a)为全景相机中左镜头拍摄得到的第一类单幅图像对应的第二类单幅图像，图4(b)为全景相机中右镜头拍摄得到的第一类单幅图像对应的第二类单幅图像。
图5(a)为直接设置拼接距离为4m时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；图5(b)为直接设置拼接距离为100m时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图；图5(c)采用本发明实施例中提供的全景图像拼接方法设置不同拼接距离时，相邻镜头拍摄得到第一类单幅图像的重叠区域拼接效果示意图。从图5(a)、图5(b)、图5(c)中可以看出，图5(a)中的楼房出现了重影，图5(b)中的人物出现了重影，图5(c)中准确的重现了这个场景，楼房和人物均没有出现重影，证明了本发明实施例中提供的全景图像拼接方法的拼接效果良好。
如图6所示，在上述实施例的基础上，本发明实施例中提供了一种全景图像拼接系统，包括：重叠区域确定模块61、动态分区模块62和拼接模块63。其中，
重叠区域确定模块61用于获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；
动态分区模块62用于基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；
拼接模块63用于基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
具体地，本发明实施例中提供的全景图像拼接系统中各模块的作用与处理方法与上述方法类实施例中各步骤的操作方法是一一对应的，实现的效果也是一致的，本发明实施例中对此不再赘述。
图7所示，在上述实施例的基础上，本发明实施例中提供了一种电子设备，包括：处理器(processor)701、存储器(memory)702、通信接口(Communications Interface)703和总线704；其中，
所述处理器701、存储器702、通信接口703通过总线704完成相互间的通信。所述存储器702存储有可被所述处理器701执行的程序指令，处理器701用于调用存储器702中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：S11，获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；S12，基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；S13，基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
存储器702中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例的基础上，本发明实施例中提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：S11，获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；S12，基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；S13，基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种全景图像拼接方法，其特征在于，包括：
获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；
基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；
基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
2.根据权利要求1所述的全景图像拼接方法，其特征在于，所述将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，具体包括：
基于全景相机坐标系与多线激光雷达坐标系之间的坐标转换关系，将每一第一类单幅图像分别与所述目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像；
所述坐标转换关系基于所述全景相机拍摄的包含靶标在内的第一预设场景图像中所述靶标的坐标信息以及所述多线激光雷达扫描第一预设场景得到的第一预设场景点云数据中所述靶标的坐标信息确定。
3.根据权利要求1所述的全景图像拼接方法，其特征在于，所述确定每两个相邻的镜头对应的第二类单幅图像的重叠区域，具体包括：
基于与所述目标场景点云数据中各点配准的像素点个数，对所述目标场景点云数据进行标记赋值；
基于赋值结果，确定每两个相邻的镜头对应的第二类单幅图像的重叠区域。
4.根据权利要求1所述的全景图像拼接方法，其特征在于，所述基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，具体包括：
对于所述重叠区域对应的所述多线激光雷达发出的每两条相邻的雷达扫描线，获取两条相邻的雷达扫描线中的下侧雷达扫描线上所有扫描点的距离信息的第一平均值，以及两条相邻的雷达扫描线中的上侧雷达扫描线上所有扫描点的距离信息的第二平均值；
若判断获知所述第一平均值与所述第二平均值的差值的绝对值满足预设条件，则以所述下侧雷达扫描线、所述上侧雷达扫描线以及与所述下侧雷达扫描线、所述上侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第一分区；
否则，获取所述重叠区域内位于所述下侧雷达扫描线和所述上侧雷达扫描线之间的中心像素线，以所述中心像素线、所述下侧雷达扫描线以及与所述中心像素线、所述下侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第二分区，以所述中心像素线、所述上侧雷达扫描线以及与所述中心像素线、所述上侧雷达扫描线相交的所述重叠区域的竖直边界作为边界线，构成第三分区。
5.根据权利要求4所述的全景图像拼接方法，其特征在于，所述确定经动态分区得到的每一分区对应的第二类距离信息，具体包括：
基于每一分区的每条水平边界线对应的距离信息的平均值，确定每一分区的两条水平边界线对应的距离信息的平均值，并作为所述第二类距离信息。
6.根据权利要求1所述的全景图像拼接方法，其特征在于，所述与所述第二类距离信息对应的距离拼接模板，具体通过如下方法生成：
获取所述全景相机各镜头拍摄包含黑白棋盘标定板在内的第二预设场景的第三类单幅图像，并将每一第三类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述第二预设场景得到的第二预设场景点云数据进行配准，确定每一第三类单幅图像对应的第四类单幅图像；所述黑白棋盘标定板到所述全景相机的距离信息为所述第二类距离信息；
基于加速鲁棒特征匹配算法，对每两个相邻镜头对应的第四类单幅图像进行特征匹配，并基于随机抽样一致算法，对特征匹配后相互匹配的特征点进行提纯，基于提纯后的特征点，采用最小二乘法生成与所述第二类距离信息对应的中间距离拼接模板；
采用每两个相邻镜头拍摄目标图像，并选取每两个相邻镜头中的第一镜头对应的重叠区域作为基准，采用所述中间距离拼接模板对每两个相邻镜头中的第二镜头对应的重叠区域中经提纯后的第二类特征点进行坐标变换，计算坐标转换后的第二类特征点坐标与所述第一镜头对应的重叠区域中经提纯后且与所述第二类特征点匹配的第一类特征点坐标之间的所有几何距离之和；
将所有几何距离之和与所述第一镜头对应的重叠区域中经提纯后且与所述第二类特征点匹配的所有第一类特征点的总数相除，若判断获知相除的结果小于预设阈值，则将所述中间距离拼接模板作为与所述第二类距离信息对应的距离拼接模板。
7.根据权利要求1-6中任一项所述的全景图像拼接方法，其特征在于，在对所有第一类单幅图像进行全景图像拼接之后，还包括：
基于渐入渐出融合法，对全景图像拼接后得到的图像进行融合。
8.一种全景图像拼接系统，其特征在于，包括：
重叠区域确定模块，用于获取全景相机各镜头拍摄目标场景的第一类单幅图像，并将每一第一类单幅图像分别与所述全景相机对应的多线激光雷达扫描所述目标场景得到的目标场景点云数据进行配准，确定每一第一类单幅图像对应的第二类单幅图像，并确定每两个相邻镜头对应的第二类单幅图像的重叠区域；其中，每一第二类单幅图像中携带有所述目标场景点云数据中的第一类距离信息；
动态分区模块，用于基于每两个相邻镜头对应的第二类单幅图像中携带的所述第一类距离信息，对所述重叠区域进行动态分区，并确定经动态分区得到的每一分区对应的第二类距离信息；
拼接模块，用于基于每一分区对应的第二类距离信息以及与所述第二类距离信息对应的距离拼接模板，对所有第一类单幅图像进行全景图像拼接。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器、通信接口和总线；其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行如权利要求1-7中任一项所述的全景图像拼接方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-7中任一项所述的全景图像拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375905.XA CN110223226B (zh) | 2019-05-07 | 2019-05-07 | 全景图像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910375905.XA CN110223226B (zh) | 2019-05-07 | 2019-05-07 | 全景图像拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110223226A true CN110223226A (zh) | 2019-09-10 |
| CN110223226B CN110223226B (zh) | 2021-01-15 |
Family
ID=67820589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910375905.XA Active CN110223226B (zh) | 2019-05-07 | 2019-05-07 | 全景图像拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223226B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110705519A (zh) * | 2019-10-21 | 2020-01-17 | 劢微机器人科技(深圳)有限公司 | 自主移动机器人及其地图拼接方法、装置和可读存储介质 |
| CN110838086A (zh) * | 2019-11-07 | 2020-02-25 | 上海大学 | 一种基于相关性模板匹配的室外图像拼接方法 |
| CN112308778A (zh) * | 2020-10-16 | 2021-02-02 | 香港理工大学深圳研究院 | 一种利用空间三维信息辅助全景相机拼接的方法及终端 |
| CN112840232A (zh) * | 2019-09-23 | 2021-05-25 | 北京嘀嘀无限科技发展有限公司 | 用于标定相机和激光雷达的系统和方法 |
| CN113114975A (zh) * | 2021-04-07 | 2021-07-13 | 科大讯飞股份有限公司 | 图像拼接方法、装置、电子设备和存储介质 |
| CN113163111A (zh) * | 2019-10-15 | 2021-07-23 | 成都大学 | 基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端 |
| CN113177986A (zh) * | 2021-03-16 | 2021-07-27 | 上海大学 | 一种水下大视野摄像系统 |
| CN114966604A (zh) * | 2022-05-26 | 2022-08-30 | 苏州轻棹科技有限公司 | 一种分区点云的目标检测处理方法 |
| CN115100258A (zh) * | 2022-08-29 | 2022-09-23 | 杭州三坛医疗科技有限公司 | 一种髋关节图像配准方法、装置、设备以及存储介质 |
| CN116233615A (zh) * | 2023-05-08 | 2023-06-06 | 深圳世国科技股份有限公司 | 一种基于场景的联动式摄像机控制方法及装置 |
| CN116681695A (zh) * | 2023-07-27 | 2023-09-01 | 山东阁林板建材科技有限公司 | 一种抗变形模板端面的质量检测方法 |
| CN116993591A (zh) * | 2023-09-26 | 2023-11-03 | 中汽智联技术有限公司 | 用于全景汽车的图像拼接融合方法、电子设备及介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008005066A1 (en) * | 2006-06-30 | 2008-01-10 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
| WO2008034942A1 (en) * | 2006-09-22 | 2008-03-27 | Teknillinen Korkeakoulu | Method and apparatus for stereopanoramic imaging |
| CN103729883A (zh) * | 2013-12-30 | 2014-04-16 | 浙江大学 | 一种三维环境信息采集与重构系统及方法 |
| CN105243637A (zh) * | 2015-09-21 | 2016-01-13 | 武汉海达数云技术有限公司 | 一种基于三维激光点云进行全景影像拼接方法 |
| CN105447864A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 图像的处理方法、装置及终端 |
| CN105865423A (zh) * | 2016-03-30 | 2016-08-17 | 沈阳泰科易科技有限公司 | 双目测距方法、装置和全景图像拼接方法及其系统 |
| CN105894451A (zh) * | 2016-03-30 | 2016-08-24 | 沈阳泰科易科技有限公司 | 全景图像拼接方法和装置 |
| CN106971403A (zh) * | 2017-04-27 | 2017-07-21 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
| CN107154022A (zh) * | 2017-05-10 | 2017-09-12 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
| CN107680112A (zh) * | 2017-10-16 | 2018-02-09 | 北京邮电大学 | 图像配准方法 |
| CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
-
2019
- 2019-05-07 CN CN201910375905.XA patent/CN110223226B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008005066A1 (en) * | 2006-06-30 | 2008-01-10 | Microsoft Corporation | Parametric calibration for panoramic camera systems |
| WO2008034942A1 (en) * | 2006-09-22 | 2008-03-27 | Teknillinen Korkeakoulu | Method and apparatus for stereopanoramic imaging |
| CN103729883A (zh) * | 2013-12-30 | 2014-04-16 | 浙江大学 | 一种三维环境信息采集与重构系统及方法 |
| CN105243637A (zh) * | 2015-09-21 | 2016-01-13 | 武汉海达数云技术有限公司 | 一种基于三维激光点云进行全景影像拼接方法 |
| CN105447864A (zh) * | 2015-11-20 | 2016-03-30 | 小米科技有限责任公司 | 图像的处理方法、装置及终端 |
| CN105865423A (zh) * | 2016-03-30 | 2016-08-17 | 沈阳泰科易科技有限公司 | 双目测距方法、装置和全景图像拼接方法及其系统 |
| CN105894451A (zh) * | 2016-03-30 | 2016-08-24 | 沈阳泰科易科技有限公司 | 全景图像拼接方法和装置 |
| CN106971403A (zh) * | 2017-04-27 | 2017-07-21 | 武汉数文科技有限公司 | 点云图像处理方法及装置 |
| CN107154022A (zh) * | 2017-05-10 | 2017-09-12 | 北京理工大学 | 一种适用于拖车的动态全景拼接方法 |
| CN107680112A (zh) * | 2017-10-16 | 2018-02-09 | 北京邮电大学 | 图像配准方法 |
| CN108828606A (zh) * | 2018-03-22 | 2018-11-16 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和双目可见光相机联合测量方法 |
Non-Patent Citations (4)
| Title |
|---|
| RUISHENG WANG ET AL: "Automatic registration of mobile LiDAR and spherical panoramas", 《IEEE》 * |
| 李艳红: "车载移动测量系统数据配准与分类识别关键技术研究", 《中国博士学位论文全文数据库电子期刊 基础科学辑》 * |
| 熊友谊: "地面激光扫描点云与鱼眼全景影像的配准与整合研究", 《中国博士学位论文全文数据库电子期刊 基础科学辑》 * |
| 聂倩 等: "车载激光点云与全景影像的配准研究", 《遥感信息》 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112840232A (zh) * | 2019-09-23 | 2021-05-25 | 北京嘀嘀无限科技发展有限公司 | 用于标定相机和激光雷达的系统和方法 |
| CN112840232B (zh) * | 2019-09-23 | 2024-03-22 | 北京航迹科技有限公司 | 用于标定相机和激光雷达的系统和方法 |
| CN113163111A (zh) * | 2019-10-15 | 2021-07-23 | 成都大学 | 基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端 |
| CN113163111B (zh) * | 2019-10-15 | 2022-07-22 | 成都大学 | 基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端 |
| CN110705519A (zh) * | 2019-10-21 | 2020-01-17 | 劢微机器人科技(深圳)有限公司 | 自主移动机器人及其地图拼接方法、装置和可读存储介质 |
| CN110838086A (zh) * | 2019-11-07 | 2020-02-25 | 上海大学 | 一种基于相关性模板匹配的室外图像拼接方法 |
| CN112308778A (zh) * | 2020-10-16 | 2021-02-02 | 香港理工大学深圳研究院 | 一种利用空间三维信息辅助全景相机拼接的方法及终端 |
| CN112308778B (zh) * | 2020-10-16 | 2021-08-10 | 香港理工大学深圳研究院 | 一种利用空间三维信息辅助全景相机拼接的方法及终端 |
| CN113177986B (zh) * | 2021-03-16 | 2022-11-08 | 上海大学 | 一种水下大视野摄像系统 |
| CN113177986A (zh) * | 2021-03-16 | 2021-07-27 | 上海大学 | 一种水下大视野摄像系统 |
| CN113114975A (zh) * | 2021-04-07 | 2021-07-13 | 科大讯飞股份有限公司 | 图像拼接方法、装置、电子设备和存储介质 |
| CN114966604A (zh) * | 2022-05-26 | 2022-08-30 | 苏州轻棹科技有限公司 | 一种分区点云的目标检测处理方法 |
| CN114966604B (zh) * | 2022-05-26 | 2024-05-03 | 苏州轻棹科技有限公司 | 一种分区点云的目标检测处理方法 |
| CN115100258A (zh) * | 2022-08-29 | 2022-09-23 | 杭州三坛医疗科技有限公司 | 一种髋关节图像配准方法、装置、设备以及存储介质 |
| CN116233615A (zh) * | 2023-05-08 | 2023-06-06 | 深圳世国科技股份有限公司 | 一种基于场景的联动式摄像机控制方法及装置 |
| CN116681695A (zh) * | 2023-07-27 | 2023-09-01 | 山东阁林板建材科技有限公司 | 一种抗变形模板端面的质量检测方法 |
| CN116681695B (zh) * | 2023-07-27 | 2023-12-01 | 山东阁林板建材科技有限公司 | 一种抗变形模板端面的质量检测方法 |
| CN116993591A (zh) * | 2023-09-26 | 2023-11-03 | 中汽智联技术有限公司 | 用于全景汽车的图像拼接融合方法、电子设备及介质 |
| CN116993591B (zh) * | 2023-09-26 | 2024-01-02 | 中汽智联技术有限公司 | 用于全景汽车的图像拼接融合方法、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110223226B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223226A (zh) | 全景图像拼接方法及系统 | |
| KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN110390640B (zh) | 基于模板的泊松融合图像拼接方法、系统、设备及介质 | |
| CN110288657B (zh) | 一种基于Kinect的增强现实三维注册方法 | |
| CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN112444242B (zh) | 一种位姿优化方法及装置 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| KR100914211B1 (ko) | 왜곡 영상 보정 장치 및 방법 | |
| CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
| CN101853524A (zh) | 使用图像序列生成玉米果穗全景图的方法 | |
| CN109559349A (zh) | 一种用于标定的方法和装置 | |
| CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
| CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
| CN114615477A (zh) | 全景影像中邻近镜头影像间颜色差的补偿方法 | |
| CN105513074B (zh) | 一种羽毛球机器人相机以及车身到世界坐标系的标定方法 | |
| CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN116777963A (zh) | 一种点云和图像配准方法、装置、电子设备及存储介质 | |
| CN113240656A (zh) | 视觉定位方法及相关装置、设备 | |
| CN108510537B (zh) | 3d建模方法和装置 | |
| CN111583388A (zh) | 一种三维扫描系统的扫描方法及设备 | |
| CN116381712A (zh) | 一种基于线阵相机与地面激光雷达组合装置的测量方法 | |
| CN116012227A (zh) | 图像处理方法、装置、存储介质及处理器 | |
| CN108596981A (zh) | 一种图像的鸟瞰视角重投影方法、装置及便携式终端 | |
| CN109089100B (zh) | 一种双目立体视频的合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |