CN109978755B - 全景图像合成方法、装置、设备与存储介质 - Google Patents
全景图像合成方法、装置、设备与存储介质 Download PDFInfo
- Publication number
- CN109978755B CN109978755B CN201910186642.8A CN201910186642A CN109978755B CN 109978755 B CN109978755 B CN 109978755B CN 201910186642 A CN201910186642 A CN 201910186642A CN 109978755 B CN109978755 B CN 109978755B
- Authority
- CN
- China
- Prior art keywords
- adjacent images
- area
- images
- panoramic image
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 54
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 27
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 27
- 238000007499 fusion processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 17
- 230000000903 blocking effect Effects 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 17
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 abstract description 7
- 238000007689 inspection Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G06T3/14—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
本发明公开了一种全景图像合成方法、装置、设备及存储介质，该方法从接收到的多个球状传感器发送的待巡查区域的不同角度的图像中确定具有拍摄空间重叠的重叠区域的两张相邻图像；计算相邻图像的重叠区域中每个像素点的方向边缘幅值；对相邻图像的重叠区域进行分块处理，获得多个待检测区域；然后根据方向边缘幅值，从待检测区域中确定相邻图像的目标匹配区域；通过提取相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接相邻图像；对拼接后的相邻图像进行图像融合处理，获得待巡查区域的全景图像；通过对相邻图像的重叠区域分块后进行拼接融合，够提高视场不同角度的视觉图像的图像拼接速度。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种全景图像合成方法、装置、设备与存储介质。
背景技术
目前，地下电缆地巡查主要依靠巡检机器人上摄像装备采集到的图像传输至监控终端。针对大面积的地下电缆巡查采用多个巡检机器人进行巡查，而后将各机器人采集到的图像传输至监控终端，工作人员根据不同画面判断各被巡检轨道是否异常，然而不足的是，现有的地下电缆地巡查缺乏对于整块区域待检测地下电缆地全局把握，不易于判断是否需要进行地下电缆长距离段的更换以及检修状况等。
传统的图像拼接方法是采用SIFT算法对相邻图像提取SIFT特征进行图像配准、融合，获得拼接图像，但是这种方法加大了运算负荷，增大匹配过程中的计算复杂度，图像拼接的速度较慢。
发明内容
针对上述问题，本发明的目的在于提供一种全景图像合成方法、装置、设备与存储介质，其能够提高视场不同角度的视觉图像的图像拼接速度，保证融合图像的清晰度和细节信息的完整性。
第一方面，本发明实施例提供了一种全景图像合成方法，包括：
接收多个球状传感器发送的待巡查区域的不同角度的图像；其中，一个球状传感器拍摄待巡查区域的一个角度的图像；
确定所述不同角度的图像中的相邻图像；其中，所述相邻图像具有拍摄空间重叠的重叠区域；
计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；
对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；
根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；
提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；
对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。
优选地，所述提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像，具体包括：
采用尺度不变特征变换算法对所述相邻图像中的目标匹配区域进行SIFT特征点的提取和匹配；
采用随机抽样一致算法剔除所述相邻图像拼接中SIFT特征点的误匹配对。
优选地，根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域，具体包括：
根据所述方向边缘幅值，计算每个所述待检测区域内的方向边缘幅值总和与所述重叠区域的方向边缘幅值总和的比值；
检索所述相邻图像中比值最大的待检测区域，作为目标匹配区域。
优选地，所述对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像，具体包括：
对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。
优选地，所述方法还包括：
采用预设的权值可调阈值函数，计算所述预设的融合比例系数。
优选地，所述对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换，具体包括：
根据公式(1)对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
其中，j为列像素点的纵坐标值，min和max分别表示重叠区域L中最小和最大的列像素的纵坐标值。
优选地，所述根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，具体包括：
采用公式(2)，计算融合后的所述相邻图像的重叠区域的像素点灰度值；
C(i,j)＝w×I(i1,j1)+v×R(i2,j2) (2)
其中，I(i1,j1),R(i2,j2)分别为相邻的两张图像重叠区域的像素点集；w,v为预设的融合比例系数，且w+v＝1，
μ为预设常数。
第二方面，本发明实施例提供了一种全景图像合成装置，包括：多个球状传感器、数据处理平台以及监控终端；
所述数据处理平台，用于接收多个所述球状传感器发送的待巡查区域的不同角度的图像；其中，一个球状传感器拍摄待巡查区域的一个角度的图像；
所述数据处理平台，用于确定所述不同角度的图像中的相邻图像；其中，所述相邻图像具有拍摄空间重叠的重叠区域；
所述数据处理平台，用于计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；
所述数据处理平台，用于对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；
所述数据处理平台，用于根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；
所述数据处理平台，用于提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；
所述数据处理平台，用于对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像，以使得所述监控终端显示接收到的所述数据处理平台发送的全景图像。
第三方面，本发明实施例提供了一种全景图像合成设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任意一项所述的全景图像合成方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的全景图像合成方法。
以上实施例具有如下有益效果：
从接收到的多个球状传感器发送的待巡查区域的不同角度的图像中确定具有拍摄空间重叠的重叠区域的两张相邻图像；计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；然后根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；通过提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。通过对相邻图像的重叠区域分块后进行拼接融合，够提高视场不同角度的视觉图像的图像拼接速度，同时能够保证融合图像的清晰度和细节信息的完整性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的全景图像合成方法的流程示意图；
图2是本发明第二实施例提供的全景图像合成装置的结构示意图；
图3是本发明第三实施例提供的全景图像合成设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，本发明第一实施例提供了一种全景图像合成方法，其可由全景图像合成设备来执行，并包括以下步骤：
S11：接收多个球状传感器发送的待巡查区域的不同角度的图像；其中，一个球状传感器拍摄待巡查区域的一个角度的图像；
在本发明实施例中，所述全景图像合成设备可为电脑、手机、平板电脑、笔记本电脑或者服务器等计算设备，所述全景图像合成方法可作为其中一个功能模块集成与所述全景图像合成设备上，由所述全景图像合成设备来执行。
在本发明实施例中，所述球状传感器搭载摄像头、LED灯、红外成像单元、温湿传感器、运动单元、可充电电源等，并预先在待巡查区域内的拐角处放置多个球状传感器，以从多个角度拍摄待巡查区域的图像，并回传给全景图像合成设备进行图像拼接融合处理。
S12：确定所述不同角度的图像中的相邻图像；其中，所述相邻图像具有拍摄空间重叠的重叠区域；
需要说明的是，本发明实施例对重叠区域的获取方式不做具体的限定，例如将两张图像理解为多边形，通过多边形求交，获取重叠区域的点集，然后利用单应矩阵还原在原始图像的点集信息，从而标识出重叠区域；或者根据两张图像的位置信息(经纬度信息)获取两张图像的重叠区域。
S13：计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；
在本发明实施例中，通过公式(Ⅰ)计算相邻的两张图像中重叠区域每个像素点的方向边缘幅值G；
其中，f(x,y)为图像像素点的灰度值。
S14：对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；
在本发明实施例中，通过预设的网格对重叠区域进行分块，获得固定大小的多个待检测区域；需要说明的是，网格的大小可以根据实际情况设置，通过在重叠区域中分割出有效的待检测区域，可以进一步缩小检测的范围，在保证图像检测的精确度的同时，减少设备的计算量。
S15：根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；
进一步地，S15：根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域，具体包括：
S151：根据所述方向边缘幅值，计算每个所述待检测区域内的方向边缘幅值总和与所述重叠区域的方向边缘幅值总和的比值；
S152：检索所述相邻图像中比值最大的待检测区域，作为目标匹配区域。
在本发明实施例中，通过公式(Ⅱ)计算待检测区域内的方向边缘幅值总和与所述重叠区域的方向边缘幅值总和的比值；
其中，M和N表示S14中重叠区域分块后的待检测区域(横、纵方向)的大小，D1表示第l个待检测区域的方向边缘幅值总和；D为整个重叠区域的方向边缘幅值总和，λ1表示第l个待检测区域的比值大小。
通过检索λ1最大值，即max{λ1,λ2,...,λl},再将其对应的D1找出，即可找出相邻两张图像中差别最显著的待检测区域D1max，并以该比值最大的待检测区域D1max作为目标匹配区域。
S16：提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；
进一步地，S16：提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像，具体包括：
S161：采用尺度不变特征变换算法对所述相邻图像中的目标匹配区域进行SIFT特征点的提取和匹配；
尺度不变特征变换算法的原理如下：
1、尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
2、关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。
3、方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
4、关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。
通过尺度不变特征变换算法提取两张相邻图像的目标匹配区域的SIFT特征点后进行SIFT特征点匹配，实现两张相邻图像的拼接。例如可以利用最近邻法完成两张相邻图像特征点的匹配，确定重叠区域；基于小波变换的多分辨率方法完成对两张相邻图像的拼接。
S162：采用随机抽样一致算法剔除所述相邻图像拼接中SIFT特征点的误匹配对。
在本发明实施例中，假设两张相邻图像的粗配准重叠区域为H，最终选取的判定边缘区域为H’。若在H’中检测到的目标匹配区域为D1max，则对应相邻图像的目标匹配区域可设为D′1max。D1max和D′1max在理论上没有横向移动变化。
使用快速尺度不变特征提取原理对D1max、D′1max两目标匹配区域提取特征点并进行特征匹配，通过随机抽样一致算法对错误的匹配点进行剔除，可以极大提高运算速度，且适合于并行运算，从而可以大大提高匹配的效率。
S17：对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。
本发明实施例通过对拼接后的图像需做图像融合处理，解决图像在重叠区域拼接后产生明显的边界痕迹，保证融合图像的清晰度和细节信息的完整性。
在一种可选的实施例中，S17：对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像，具体包括：
S171：对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
S172：根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。
在一种可选的实施例中，所述方法还包括：
采用预设的权值可调阈值函数，计算所述预设的融合比例系数。
在一种可选的实施例中，S171：对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换，具体包括：
根据公式(1)对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
其中，j为列像素点的纵坐标值，min和max分别表示重叠区域L中最小和最大的列像素的纵坐标值。
在一种可选的实施例中，S172：所述根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，具体包括：
采用公式(2)，计算融合后的所述相邻图像的重叠区域的像素点灰度值；
C(i,j)＝w×I(i1,j1)+v×R(i2,j2) (2)
其中，I(i1,j1),R(i2,j2)分别为相邻的两张图像重叠区域的像素点集；w,v为预设的融合比例系数，且w+v＝1，
μ为预设常数。
相对于现有技术，本发明实施例具有如下有益效果：
1、通过在大范围内部署多个球状传感器获取不同视场，以获得大视场的全景图像以便对全局巡查范围情况地掌握，在地下电缆巡查等场景具有广泛的应用前景。
2、本发明实施例在图像拼接方面采用高效率的结合判定边缘的快速尺度不变特征图像配准实现多个球状传感器获取视场不同角度的视觉图像的图像拼接，将重叠区域分割出有效的待检测区域，进一步缩小范围，避免了过多无用区域的特征检测和匹配计算，进而加快拼接速度，不会增加额外计算复杂度。
3、本发明实施例在图像拼接后使用基于阈值函数权重的图像融合方法，实现图像之间的无缝融合，在不增加计算复杂度的前提下最大程度地保证了融合图像的清晰度和细节信息的完整性。
请参阅图2，本发明第二实施例提供了一种全景图像合成装置，包括：多个球状传感器1、数据处理平台2以及监控终端3；
所述数据处理平台2，用于接收多个所述球状传感器1发送的待巡查区域的不同角度的图像；其中，一个球状传感器拍摄待巡查区域的一个角度的图像；
所述数据处理平台2，用于确定所述不同角度的图像中的相邻图像；其中，所述相邻图像具有拍摄空间重叠的重叠区域；
所述数据处理平台2，用于计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；
所述数据处理平台2，用于对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；
所述数据处理平台2，用于根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；
所述数据处理平台2，用于提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；
所述数据处理平台2，用于对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像，以使得所述监控终端3显示接收到的所述数据处理平台发送的全景图像。
在本发明实施例中，所述球状传感器搭载摄像头、LED灯、红外成像单元、温湿传感器、运动单元、可充电电源等，并预先在待巡查区域内的拐角处放置多个球状传感器，以从多个角度拍摄待巡查区域的图像，并回传给全景图像合成设备进行图像拼接融合处理。所述数据处理平台主要用于处理来自球状传感器采集到的图像、视频等信息，所述数据处理平台主要采用高效率的结合判定边缘的快速尺度不变特征图像配准来实现多个球状传感器获取视场不同角度的视觉图像的全景图像合成。随后将处理后的全景图像传输至监控终端，供工作人员查看。所述监控终端主要是以APP或客户端的形式安装在手机/平板/电脑中。所述监控终端可以切换查看某一个/几个球状传感器采集到的图片、视频信息或是查看整块巡查区域的全景图像，亦或是同时查看一个/几个球状传感器采集和整块巡查区域采集到的图片、视频信息。
例如，用户通过所述监控终端选取需要查看的一个/几个球状传感器拍摄的图像、视频；所述数据处理平台响应于所述监控终端发送的第一查看指令，采用第一实施例中的方法拼接融合一个/几个球状传感器拍摄的图像，并得到的全景图像返回所述监控终端显示；所述数据处理平台响应于所述监控终端发送的第二查看指令，获取一个/几个球状传感器拍摄的图像，并返回所述监控终端显示。
在一种可选的实施例中，所述数据处理平台2，用于采用尺度不变特征变换算法对所述相邻图像中的目标匹配区域进行SIFT特征点的提取和匹配；
所述数据处理平台2，用于采用随机抽样一致算法剔除所述相邻图像拼接中SIFT特征点的误匹配对。
在一种可选的实施例中，所述数据处理平台2，用于根据所述方向边缘幅值，计算每个所述待检测区域内的方向边缘幅值总和与所述重叠区域的方向边缘幅值总和的比值；
所述数据处理平台2，用于检索所述相邻图像中比值最大的待检测区域，作为目标匹配区域。
在一种可选的实施例中，所述数据处理平台2，用于对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
所述数据处理平台2，用于根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。
在一种可选的实施例中，所述数据处理平台2，用于采用预设的权值可调阈值函数，计算所述预设的融合比例系数。
在一种可选的实施例中，所述数据处理平台2，用于根据公式(1)对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
其中，j为列像素点的纵坐标值，min和max分别表示重叠区域L中最小和最大的列像素的纵坐标值。
在一种可选的实施例中，所述数据处理平台2，用于采用公式(2)，计算融合后的所述相邻图像的重叠区域的像素点灰度值；
C(i,j)＝w×I(i1,j1)+v×R(i2,j2) (2)
其中，I(i1,j1),R(i2,j2)分别为相邻的两张图像重叠区域的像素点集；w,v为预设的融合比例系数，且w+v＝1，
μ为预设常数。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
参见图3，是本发明第三实施例提供的全景图像合成设备的示意图。如图3所示，该全景图像合成设备包括：至少一个处理器11，例如CPU，至少一个网络接口14或者其他用户接口13，存储器15，至少一个通信总线12，通信总线12用于实现这些组件之间的连接通信。其中，用户接口13可选的可以包括USB接口以及其他标准接口、有线接口。网络接口14可选的可以包括Wi-Fi接口以及其他无线接口。存储器15可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器15可选的可以包含至少一个位于远离前述处理器11的存储装置。
在一些实施方式中，存储器15存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
操作系统151，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；
程序152。
具体地，处理器11用于调用存储器15中存储的程序152，执行上述实施例所述的全景图像合成方法，例如图1所示的步骤S11。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述全景图像合成设备中的执行过程。
所述全景图像合成设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述全景图像合成设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是全景图像合成设备的示例，并不构成对全景图像合成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
所称处理器11可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器11是所述全景图像合成设备的控制中心，利用各种接口和线路连接整个全景图像合成设备的各个部分。
所述存储器15可用于存储所述计算机程序和/或模块，所述处理器11通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述全景图像合成设备的各种功能。所述存储器15可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器15可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述全景图像合成设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本发明第四实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面中任意一项所述的全景图像合成方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (9)
1.一种全景图像合成方法，其特征在于，包括：
接收多个球状传感器发送的待巡查区域的不同角度的图像；其中，一个球状传感器拍摄待巡查区域的一个角度的图像；
确定所述不同角度的图像中的相邻图像；其中，所述相邻图像具有拍摄空间重叠的重叠区域；
计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；
对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；
根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；
提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；
对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像；
根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域，具体包括：
根据所述方向边缘幅值，计算每个所述待检测区域内的方向边缘幅值总和与所述重叠区域的方向边缘幅值总和的比值；
检索所述相邻图像中比值最大的待检测区域，作为目标匹配区域。
2.如权利要求1所述的全景图像合成方法，其特征在于，所述提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像，具体包括：
采用尺度不变特征变换算法对所述相邻图像中的目标匹配区域进行SIFT特征点的提取和匹配；
采用随机抽样一致算法剔除所述相邻图像拼接中SIFT特征点的误匹配对。
3.如权利要求1所述的全景图像合成方法，其特征在于，所述对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像，具体包括：
对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像。
4.如权利要求3所述的全景图像合成方法，其特征在于，所述方法还包括：
采用预设的权值可调阈值函数，计算所述预设的融合比例系数。
5.如权利要求4所述的全景图像合成方法，其特征在于，所述对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换，具体包括：
根据公式(1)对所述相邻图像的重叠区域的每列像素点坐标进行坐标变换；
其中，j为列像素点的纵坐标值，min和max分别表示重叠区域L中最小和最大的列像素的纵坐标值。
6.如权利要求5所述的全景图像合成方法，其特征在于，所述根据坐标变换后的所述相邻图像的重叠区域的像素点坐标以及预设的融合比例系数，对拼接后的所述相邻图像进行图像融合处理，具体包括：
采用公式(2)，计算融合后的所述相邻图像的重叠区域的像素点灰度值；
C(i,j)＝w×I(i1,j1)+v×R(i2,j2) (2)
其中，I(i1,j1),R(i2,j2)分别为相邻的两张图像重叠区域的像素点集；w,v为预设的融合比例系数，且w+v＝1，
μ为预设常数。
7.一种全景图像合成装置，其特征在于，包括：多个球状传感器、数据处理平台以及监控终端；
所述数据处理平台，用于接收多个所述球状传感器发送的待巡查区域的不同角度的图像；其中，一个球状传感器拍摄待巡查区域的一个角度的图像；
所述数据处理平台，用于确定所述不同角度的图像中的相邻图像；其中，所述相邻图像具有拍摄空间重叠的重叠区域；
所述数据处理平台，用于计算所述相邻图像的重叠区域中每个像素点的方向边缘幅值；
所述数据处理平台，用于对所述相邻图像的重叠区域进行分块处理，获得多个待检测区域；
所述数据处理平台，用于根据所述方向边缘幅值，从所述待检测区域中确定所述相邻图像的目标匹配区域；
所述数据处理平台，用于提取所述相邻图像中目标匹配区域的特征点并进行特征匹配，以拼接所述相邻图像；
所述数据处理平台，用于对拼接后的所述相邻图像进行图像融合处理，获得所述待巡查区域的全景图像，以使得所述监控终端显示接收到的所述数据处理平台发送的全景图像；
其中，所述数据处理平台，用于根据所述方向边缘幅值，计算每个所述待检测区域内的方向边缘幅值总和与所述重叠区域的方向边缘幅值总和的比值；
所述数据处理平台，用于检索所述相邻图像中比值最大的待检测区域，作为目标匹配区域。
8.一种全景图像合成设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的全景图像合成方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的全景图像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186642.8A CN109978755B (zh) | 2019-03-11 | 2019-03-11 | 全景图像合成方法、装置、设备与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186642.8A CN109978755B (zh) | 2019-03-11 | 2019-03-11 | 全景图像合成方法、装置、设备与存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109978755A CN109978755A (zh) | 2019-07-05 |
| CN109978755B true CN109978755B (zh) | 2023-03-17 |
Family
ID=67078721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910186642.8A Active CN109978755B (zh) | 2019-03-11 | 2019-03-11 | 全景图像合成方法、装置、设备与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109978755B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110415174B (zh) * | 2019-07-31 | 2023-07-07 | 达闼科技（北京）有限公司 | 地图融合方法、电子设备及存储介质 |
| CN110647890B (zh) * | 2019-08-28 | 2022-05-27 | 惠州市德赛西威智能交通技术研究院有限公司 | 高性能的图像特征提取及匹配方法、系统和存储介质 |
| CN110849380B (zh) * | 2019-10-28 | 2022-04-22 | 北京影谱科技股份有限公司 | 一种基于协同vslam的地图对齐方法及系统 |
| CN111724425B (zh) * | 2020-05-28 | 2023-11-10 | 交通运输部东海航海保障中心上海航标处 | 航标图拼接方法、装置及终端设备 |
| CN111649724B (zh) * | 2020-06-04 | 2022-09-06 | 百度在线网络技术（北京）有限公司 | 基于移动边缘计算的视觉定位方法和装置 |
| CN111915483B (zh) * | 2020-06-24 | 2024-03-19 | 北京迈格威科技有限公司 | 图像拼接方法、装置、计算机设备和存储介质 |
| CN111833250A (zh) * | 2020-07-13 | 2020-10-27 | 北京爱笔科技有限公司 | 一种全景图像拼接方法、装置、设备及存储介质 |
| CN112017111B (zh) * | 2020-08-28 | 2023-08-04 | 杭州海康威视数字技术股份有限公司 | 一种全景图的合成方法、装置及电子设备 |
| CN112131640A (zh) * | 2020-09-14 | 2020-12-25 | 深圳移动互联研究院有限公司 | 一种基于svg的全景图像绘制方法、装置、计算机设备及存储介质 |
| CN112365417B (zh) * | 2020-11-10 | 2023-06-23 | 华中科技大学鄂州工业技术研究院 | 共聚焦内窥镜图像修正拼接方法、装置及可读存储介质 |
| CN112365404B (zh) * | 2020-11-23 | 2023-03-17 | 成都唐源电气股份有限公司 | 一种基于多相机的接触网全景图像拼接方法、系统及设备 |
| CN112308782A (zh) * | 2020-11-27 | 2021-02-02 | 深圳开立生物医疗科技股份有限公司 | 一种全景图像拼接方法、装置及超声设备和存储介质 |
| CN112949292B (zh) * | 2021-01-21 | 2024-04-05 | 中国人民解放军61540部队 | 集群无人机回传数据处理方法和装置、设备及存储介质 |
| CN113139905B (zh) * | 2021-04-29 | 2024-02-13 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备和介质 |
| CN113781393B (zh) * | 2021-08-04 | 2023-12-26 | 深圳市鑫信腾科技股份有限公司 | 屏幕缺陷检测方法、装置、设备及存储介质 |
| CN114066781B (zh) * | 2022-01-18 | 2022-05-10 | 浙江鸿禾医疗科技有限责任公司 | 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备 |
| CN114202660B (zh) * | 2022-02-21 | 2022-12-30 | 广东建科交通工程质量检测中心有限公司 | 一种基于边云桥梁检测的远程分布式控制方法及系统 |
| CN115484417A (zh) * | 2022-09-20 | 2022-12-16 | 深圳看到科技有限公司 | 基于全景图像的视频分流方法、装置、设备及存储介质 |
| CN116958104A (zh) * | 2023-07-28 | 2023-10-27 | 上海感图网络科技有限公司 | 物料表面图像处理方法、装置及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104820965A (zh) * | 2015-04-30 | 2015-08-05 | 武汉大学 | 一种低空无人机影像无地理编码快速拼接方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN105957015B (zh) * | 2016-06-15 | 2019-07-12 | 武汉理工大学 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
| CN106952225B (zh) * | 2017-02-15 | 2020-07-07 | 山东科技大学 | 一种面向森林防火的全景拼接方法 |
-
2019
- 2019-03-11 CN CN201910186642.8A patent/CN109978755B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104820965A (zh) * | 2015-04-30 | 2015-08-05 | 武汉大学 | 一种低空无人机影像无地理编码快速拼接方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109978755A (zh) | 2019-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978755B (zh) | 全景图像合成方法、装置、设备与存储介质 | |
| US10360247B2 (en) | System and method for telecom inventory management | |
| US9934591B2 (en) | Remote determination of quantity stored in containers in geographical region | |
| CN111028358B (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| Wang et al. | Recognition and location of the internal corners of planar checkerboard calibration pattern image | |
| Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
| WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
| JP6334927B2 (ja) | 付加情報表示装置および付加情報表示プログラム | |
| CN115984273B (zh) | 道路病害检测方法、装置、计算机设备及可读存储介质 | |
| CN103902953A (zh) | 一种屏幕检测系统及方法 | |
| Gupta et al. | Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones | |
| JP4521568B2 (ja) | 対応点探索方法、相互標定方法、３次元画像計測方法、対応点探索装置、相互標定装置、３次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| CN111199198B (zh) | 一种图像目标定位方法、图像目标定位装置及移动机器人 | |
| Song et al. | A handheld device for measuring the diameter at breast height of individual trees using laser ranging and deep-learning based image recognition | |
| Żak et al. | Local image features matching for real-time seabed tracking applications | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| Feng et al. | Crack assessment using multi-sensor fusion simultaneous localization and mapping (SLAM) and image super-resolution for bridge inspection | |
| CN105631849B (zh) | 多边形目标的变化检测方法及装置 | |
| Cai et al. | Improving CNN-based planar object detection with geometric prior knowledge | |
| Zarei et al. | MegaStitch: Robust Large-scale image stitching | |
| CN117218633A (zh) | 一种物品检测方法、装置、设备及存储介质 | |
| Hou et al. | POS-GIFT: A geometric and intensity-invariant feature transformation for multimodal images | |
| Yeh et al. | GPU Acceleration of UAV image splicing using oriented fast and rotated brief combined with PCA | |
| Liu et al. | Th SIFT features matching for spherical panoramic images | |
| CN110910379B (zh) | 一种残缺检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |