CN105957015A - 一种螺纹桶内壁图像360度全景拼接方法及系统 - Google Patents
一种螺纹桶内壁图像360度全景拼接方法及系统 Download PDFInfo
- Publication number
- CN105957015A CN105957015A CN201610427181.5A CN201610427181A CN105957015A CN 105957015 A CN105957015 A CN 105957015A CN 201610427181 A CN201610427181 A CN 201610427181A CN 105957015 A CN105957015 A CN 105957015A
- Authority
- CN
- China
- Prior art keywords
- picture
- overlapping
- pictures
- distortion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 19
- 241000226585 Antennaria plantaginifolia Species 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 4
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006731 degradation reaction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- DEYFWGXTPWNADC-UHFFFAOYSA-N 6-[2-phenylethyl(propyl)amino]-5,6,7,8-tetrahydronaphthalen-1-ol Chemical compound C1CC2=C(O)C=CC=C2CC1N(CCC)CCC1=CC=CC=C1 DEYFWGXTPWNADC-UHFFFAOYSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 108010015780 Viral Core Proteins Proteins 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种螺纹桶内壁图像360度全景拼接方法及系统,该方法包括以下步骤:S1、将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;S2、标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;S3、对左右相邻图片重叠区域提取SIFT特征,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;S4、进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。本发明能够满足阴暗环境下螺纹桶内壁图像拼接的要求,有较高的拼接精度和效率。
Description
技术领域
本发明涉及图像拼接技术领域,尤其涉及一种螺纹桶内壁图像360度全景拼接方法及系统。
背景技术
螺纹桶长期工作于恶劣环境中,承受机械载荷和污秽等多重侵害,促使螺纹桶出现生锈、磨损等情况,可能发展成为各种故障,对工业生产的安全稳定工作造成一定威胁,因此需对螺纹桶进行定期检测,快速定位桶内壁上的螺纹生锈处并作出相应维修防护工作。考虑到单摄像头视角有限,若要得到螺纹桶内壁360度全景图像,则需借助图像拼接技术,将拍摄到的多张分块图片通过配准和融合,合成一幅完整的全景图片。
图像拼接是一种集图像处理、计算机视觉、模式识别等多学科领域知识的交叉处理技术,它把一系列具有空间重叠的图像构成一个无缝、高清的图像,具有比单个图像更高的分辨率和更大的视野。图像拼接技术的应用前景十分广阔,在军事领域、生物学领域、医学领域、视频压缩领域等都能找到其用武之地。
图像拼接的两大核心技术是图像配准和图像融合,图像配准的精确度又决定图像融合效果的好坏,两者相辅相成。目前,图像配准算法基本可分为两类:基于区域的配准和基于特征的配准。基于区域的配准算法包括逐一比较法、分层比较法和相位相关法。其中逐一比较法和分层比较法易于编程实现,选用模板大,包含信息多且匹配结果可信度高,但对图像旋转变形不能很好地处理且计算量太大,本发明中共需拼接72幅图片,计算非常耗时。相位相关法简单快速,抗干扰能力强,对亮度变化不敏感,但对图像重叠区域要求较大,约占图像的一半,对于本发明中重叠区域较小的待拼接图像则不适用。
基于特征配准算法在图像拼接技术中比较常用,它充分利用了图像特征信息,如边缘、角点、线、曲率等。对于本发明,螺纹图片中的生锈点和螺纹直线信息较为突出,因此可选取点和直线作为特征信息,横向拼接提取特征点进行匹配,纵向拼接提取直线信息进行匹配。
2004年,David.Lowe完善并总结了他在1999年提出的SIFT算法,该算法对两幅图像间的水平移动、旋转变化、缩放变化、尺度变化甚至仿射变化均有较为稳定的匹配能力,而成为国内外在特征提取方面争相研究的对象。传统的SIFT特征提取算法是在整幅图片中提取特征,然后生成特征向量并进行特征匹配,其计算量大,影响运算速度,虽然误匹配概率较小但仍存在。因此本发明首先标定大致重叠区域,只在重叠区域内提取特征将减少大量不必要的计算,结合近似快速最近邻搜索算法FLANN快速匹配特征点,提高图像拼接效率。
但是现有技术当中的图像拼接方法,无法适用于螺纹桶的阴暗工作环境,需在摄像设备周围添加光源,很难保证拍摄图片亮度的完全一致性。而选择融合算法和直接平均融合算法虽然实行起来快捷简便,但当两幅待拼接图像之间存在较为明显的亮度差异时,拼接缝还是较为明显。
发明内容
本发明要解决的技术问题在于针对现有技术中无法满足阴暗环境下的图像拼接,且拼接缝比较明显的缺陷,提供一种适用于阴暗工作条件的螺纹桶内壁图像360度全景拼接方法及系统。
本发明解决其技术问题所采用的技术方案是:
本发明提供一种螺纹桶内壁图像360度全景拼接方法,包括以下步骤:
S1、将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;
S2、标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;
S3、对左右相邻图片重叠区域提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;
S4、根据横向和纵向的重叠像素数,进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。
进一步地,本发明的步骤S1中设置摄像头的方法具体为:
竖直排列的摄像头至少设置有8个,摄像头相邻间距设为5mm,摄像头支架每隔40°旋转一次。
进一步地,本发明的步骤S2中左右相邻图片重叠区域为分块图片宽度的15%,上下相邻图片重叠区域至少重叠两个螺纹间距高度。
进一步地,本发明的步骤S2中进行枕形畸变校正的方法具体为:
C1、根据枕形失真的退化模型来整定相机内参数,确定相机内参数矩阵,包括分辨率和焦距;
C2、根据透镜畸变原理,确定相机畸变参数矩阵,包括径向畸变参数和切向畸变参数;
C3、离线确定畸变系数,选择一幅螺纹图片,调节畸变系数得到最佳校正效果,记录当前畸变系数值;
C4、将记录的畸变系数应用于所有螺纹图片的畸变校正;
C5、得到校正图片。
进一步地,本发明的步骤S3中左右相邻图片重叠区域处理的过程具体包括以下步骤:
D1、构建高斯尺度空间和高斯差分尺度空间,寻找重叠区域范围内的极值点;
D2、去除步骤D1极值点中的不稳定的极值点和具有边缘响应的极值点;
D3、使用Canny算子检测图像边缘,得到边缘位置;
D4、将步骤D2中的极值点与步骤D3中的边缘位置比较,进一步去除边缘响应点,得到最终特征点。
D5、确定特征点主方向;
D6、生成特征描述符;
D7、利用近似最近邻开源库FLANN进行特征点匹配;
D8、采用随机抽样一致性算法剔除误匹配点,得到最终匹配点;
D9、根据匹配点计算投影变换矩阵。
进一步地,本发明的步骤S3中上下相邻图片重叠区域处理的过程具体包括以下步骤:
E1、对图像进行二值化处理,采用Canny算子检测边缘;
E2、利用霍夫变换检测螺纹直线,将像素点坐标(x,y)转换到(rθ,θ)的曲线点上面,获取直线特征,其中角度θ表示rθ与X轴之间的夹角,rθ为原点到直线几何垂直距离;
E3、分别对θ和rθ进行排序;
E4、计算上方图片中倒数第三根螺纹直线与图片下边界的距离,下方图片中第一根螺纹直线与图片上边界距离,确定上下相邻图片重叠宽度。
进一步地,本发明的步骤C2中确定相机畸变参数矩阵的方法具体为:
径向畸变通过三个参数k1,k2,k3来描述,表达式为:
xcorrected=x(1+k1r2+k2r4+k3r6)
ycorrected=y(1+k1r2+k2r4+k3r6)
切向畸变通过参数p1,p2来描述,表达式为:
xcorrected=x+[2p1y+p2(r2+2x2)]
ycorrected=y+[p1(r2+2y2)+2p2y]
其中,(x,y)是畸变点在成像仪上的原始位置,(xcorrected,ycorrected)是校正后的新位置,畸变向量为[k1,k2,p1,p2,k3]T。
进一步地,本发明的步骤S4中进行图像融合的方法具体为:
利用渐入渐出融合法实现配准后图像的无缝拼接,将重叠区域内的像素值乘以其在两幅图像中的加权系数,实现图像间的平滑过渡。
本发明提供一种螺纹桶内壁图像360度全景拼接系统,包括:
分块图片获取单元,通过将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;
重叠区域标定单元,用于标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;
特征提取单元,用于对左右相邻图片重叠区域提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;
全景图片拼接单元,用于根据横向和纵向的重叠像素数,进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。
本发明产生的有益效果是:本发明的螺纹桶内壁图像360度全景拼接方法,通过枕形畸变校正的方法,将变形螺纹图片恢复成满足人眼效果并接近真实螺纹信息的图片;通过先标定大致重叠范围,在重叠区域内提取点特征和直线特征,并通过随机抽样一致性算法剔除误匹配点,提高左右相邻图片的配准效率和精度;通过霍夫直线检测提取螺纹直线特征,通过对参数排序比较去除干扰直线,提高上下相邻图片的配准精度;通过渐入渐出融合算法进行图像融合,实现图像间的平滑过渡,提高了拼接图片的质量;该方法能够满足阴暗环境下螺纹桶内壁图像拼接的要求,有较高的拼接精度和效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的螺纹桶内壁图像360度全景拼接方法的流程图;
图2是本发明实施例的螺纹桶内壁图像360度全景拼接方法的具体实施例的结构图;
图3是本发明实施例的螺纹桶内壁图像360度全景拼接方法的左右相邻图片配准的步骤流程示意图;
图4是本发明实施例的螺纹桶内壁图像360度全景拼接方法的上下相邻图片配准的步骤流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例的螺纹桶内壁图像360度全景拼接方法,包括以下步骤:
S1、将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;
S2、标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;
S3、对左右相邻图片重叠区域提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;
S4、根据横向和纵向的重叠像素数,进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。
如图2所示,在本发明的另一个具体实施例中,该方法包括以下步骤:
A、将8个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转若干个角度拍摄,得到螺纹桶内壁全景分块图片,左右相邻和上下相邻的图片都存在重叠区域;
B、通过现场实测,标定大致重叠范围,保证上下相邻图片至少重叠两个螺纹间距高度,左右相邻图片的重叠区域约为图片宽度的15%。
C、对步骤A中拍摄的所有图片进行枕形畸变校正,具体步骤如下:
C1、根据枕形失真的退化模型来整定相机内参数,确定相机内参数矩阵,包括分辨率和焦距。
具体地,建立摄像机模型,将坐标为(Xi,Yi,Zi)的物理点Qi映射到投影平面上坐标为(xi,yi)的变换表示为:
q=MQ
其中,M为摄像机内参数矩阵,且z=Z。
经摄像头拍摄各种方向的棋盘图像,实测出fx、fy均设为2000较为合适,由于摄像头分辨率为1280×960,且成像仪芯片中心对光轴无偏移,所以将(cx,cy)设为(640,480)。
C2、根据透镜畸变原理,确定相机畸变参数矩阵,包括径向畸变参数和切向畸变参数。
具体地,由于成像仪中心畸变为0,用r=0位置周围的泰勒级数展开的前几项来定量描述畸变情况,径向畸变通过三个参数k1,k2,k3来描述,表达式为:
xcorrected=x(1+k1r2+k2r4+k3r6)
ycorrected=y(1+k1r2+k2r4+k3r6)
切向畸变通过参数p1,p2来描述,表达式为:
xcorrected=x+[2p1y+p2(r2+2x2)]
ycorrected=y+[p1(r2+2y2)+2p2y]
其中,(x,y)是畸变点在成像仪上的原始位置,(xcorrected,ycorrected)是校正后的新位置,畸变向量为[k1,k2,p1,p2,k3]T。
C3、确定畸变系数,选择一幅螺纹图片,调节畸变系数得到图片最佳校正效果,记录当前畸变系数值;
C4、将记录的畸变系数应用于所有螺纹图片的畸变校正;
C5、得到所有校正图片。
D、在步骤B中标定的左右相邻图片重叠区域内提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数,如图3所示,具体步骤如下:
D1、构建高斯尺度空间和高斯差分尺度空间,寻找重叠区域范围内的特征点,如图3中D1所示。
输入左右相邻图片,通过高斯核函数G(x,y,σ)与输入图像I(x,y)的卷积得到尺度空间核函数L(x,y,σ),利用不同尺度因子的高斯核函数进行差分,并和输入图像卷积得出高斯差分尺度空间D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)。比较重叠区域内采样点和它周围的26个像素点,寻找尺度空间中的极值点。
D2、去除D1极值点中的不稳定的极值点和具有边缘响应的极值点,如图3中D2所示。
D3、使用Canny算子检测图像边缘,得到边缘位置。
D4、将D2中的极值点与D3中的边缘位置比较,进一步去除边缘响应点,得到最终特征点。
D5、确定特征点主方向。选定直方图统计区域,取梯度直方图中的峰值作为该特征点主方向,若存在大于或等于主峰值80%的能量时,将该方向作为特征点的辅方向。
D6、生成特征描述符。以特征点为中心取16*16的采样窗口,分为4*4个小块,在每个小块上计算8个方向的梯度直方图,绘制每个梯度方向的累加值,可产生4*4*8共128个数据,即生成128维特征描述符,对特征向量进行归一化处理去除光照变化的影响。
D7、利用近似最近邻开源库FLANN找出每个特征点的两个近似最近邻特征点,计算特征点与最近邻特征点和次近邻特征点的欧氏距离比值是否小于一个阈值,若小于阈值则认为正确匹配,阈值取0.4-0.6。
设特征点对p和q的特征描述符分别为Desp和Desq,其欧式距离定义为:
D8、采用随机抽样一致性算法剔除误匹配点,得到最终匹配点。
D9、根据匹配点计算投影变换矩阵。
该方法与传统SIFT算法相比,采用Canny边缘检测进一步剔除极值点中的边缘响应点,既可以提高极值点的精度又可以减少极值点数量避免后续对极值点的运算;采用近似最近邻开源库FLANN快速匹配特征点,可提高匹配速度;特征点匹配之后采用随机抽样一致性算法剔除误匹配点精确最终匹配点,提高配准精度。
E、在步骤B中标定的上下相邻图片重叠区域内,提取螺纹直线特征,精细确定纵向拼接重叠像素数,如图4所示,具体步骤如下:
E1、对图像进行二值化处理,采用Canny算子检测边缘。
E2、利用霍夫变换检测螺纹直线,获取直线特征。
具体地,对于任意一点(x0,y0),经过这点的一簇直线表示为rθ=x0·cosθ+y0·sinθ,其中角度θ表示rθ与X轴之间的夹角,rθ为原点到直线几何垂直距离。通过累计概率霍夫变换PPHT,将阈值设为400,高于阈值则认为检测到了一条直线。
E3、分别对θ、rθ进行排序,由于每幅图片中8根螺纹直线的斜率基本一致,θ基本在某一值附近波动,剔除与该值有较大偏差的θ所对应的直线,保留8组θ、rθ值,分别保存到θ[]和r[]数组中。
E4、计算上方图片中倒数第三根螺纹直线r[5]与图片下边界的距离,下方图片中第一根r[0]螺纹直线与图片上边界距离,确定上下相邻图片重叠宽度。
具体地,上下相邻图片标定重叠区域为两个螺纹间距,上方图片中的倒数第三根螺纹即为下方图片的第一根螺纹,设上方图片中倒数第三根螺纹直线与图片下边界的距离为s1,下方图片中第一根螺纹直线与图片上边界距离为s2,重叠宽度为s,其表达式如下:
s=s1+s2
F、图像融合,先完成横向拼接,再完成纵向拼接。利用渐入渐出融合法实现配准后图像的无缝拼接,将重叠区域内的像素值乘以其在两幅图像中的加权系数,实现图像间的平滑过渡,定义I1(x,y)、I2(x,y)分别为两幅待拼接图像中点的像素值,I3(x,y)为拼接后图像中点的像素值,计算公式如下:
其中,λ为重叠区域的权重系数,取值范围为[0,1],左右相邻图片融合时,λ计算公式如下:
式中,xmin和xmax分别表示重叠区域范围内的x轴的最左侧和最右侧坐标;
上下相邻图片融合时,λ计算公式如下:
式中,ymin和ymax分别表示重叠区域范围内的y轴的最上方和最下方坐标。
G、打标并生成螺纹桶内壁360度全景拼接图片。
本发明实施例的螺纹桶内壁图像360度全景拼接系统,用于实现本发明实施例的螺纹桶内壁图像360度全景拼接方法,包括:
分块图片获取单元,通过将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;
重叠区域标定单元,用于标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;
特征提取单元,用于对左右相邻图片重叠区域提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;
全景图片拼接单元,用于根据横向和纵向的重叠像素数,进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (9)
1.一种螺纹桶内壁图像360度全景拼接方法,其特征在于,包括以下步骤:
S1、将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;
S2、标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;
S3、对左右相邻图片重叠区域提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;
S4、根据横向和纵向的重叠像素数,进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。
2.根据权利要求1所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤S1中设置摄像头的方法具体为:
竖直排列的摄像头至少设置有8个,摄像头相邻间距设为5mm,摄像头支架每隔40°旋转一次。
3.根据权利要求1所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤S2中左右相邻图片重叠区域为分块图片宽度的15%,上下相邻图片重叠区域至少重叠两个螺纹间距高度。
4.根据权利要求1所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤S2中进行枕形畸变校正的方法具体为:
C1、根据枕形失真的退化模型来整定相机内参数,确定相机内参数矩阵,包括分辨率和焦距;
C2、根据透镜畸变原理,确定相机畸变参数矩阵,包括径向畸变参数和切向畸变参数;
C3、离线确定畸变系数,选择一幅螺纹图片,调节畸变系数得到最佳校正效果,记录当前畸变系数值;
C4、将记录的畸变系数应用于所有螺纹图片的畸变校正;
C5、得到校正图片。
5.根据权利要求1所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤S3中左右相邻图片重叠区域处理的过程具体包括以下步骤:
D1、构建高斯尺度空间和高斯差分尺度空间,寻找重叠区域范围内的极值点;
D2、去除步骤D1极值点中的不稳定的极值点和具有边缘响应的极值点;
D3、使用Canny算子检测图像边缘,得到边缘位置;
D4、将步骤D2中的极值点与步骤D3中的边缘位置比较,进一步去除边缘响应点,得到最终特征点;
D5、确定特征点主方向;
D6、生成特征描述符;
D7、利用近似最近邻开源库FLANN进行特征点匹配;
D8、采用随机抽样一致性算法剔除误匹配点,得到最终匹配点;
D9、根据匹配点计算投影变换矩阵。
6.根据权利要求1所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤S3中上下相邻图片重叠区域处理的过程具体包括以下步骤:
E1、对图像进行二值化处理,采用Canny算子检测边缘;
E2、利用霍夫变换检测螺纹直线,将像素点坐标(x,y)转换到(rθ,θ)的曲线点上面,获取直线特征,其中角度θ表示rθ与X轴之间的夹角,rθ为原点到直线几何垂直距离;
E3、分别对θ和rθ进行排序;
E4、计算上方图片中倒数第三根螺纹直线与图片下边界的距离,下方图片中第一根螺纹直线与图片上边界距离,确定上下相邻图片重叠宽度。
7.根据权利要求4所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤C2中确定相机畸变参数矩阵的方法具体为:
径向畸变通过三个参数k1,k2,k3来描述,表达式为:
xcorrected=x(1+k1r2+k2r4+k3r6)
ycorrected=y(1+k1r2+k2r4+k3r6)
切向畸变通过参数p1,p2来描述,表达式为:
xcorrected=x+[2p1y+p2(r2+2x2)]
ycorrected=y+[p1(r2+2y2)+2p2y]
其中,(x,y)是畸变点在成像仪上的原始位置,(xcorrected,ycorrected)是校正后的新位置,畸变向量为[k1,k2,p1,p2,k3]T。
8.根据权利要求1所述的螺纹桶内壁图像360度全景拼接方法,其特征在于,步骤S4中进行图像融合的方法具体为:
利用渐入渐出融合法实现配准后图像的无缝拼接,将重叠区域内的像素值乘以其在两幅图像中的加权系数,实现图像间的平滑过渡。
9.一种螺纹桶内壁图像360度全景拼接系统,其特征在于,包括:
分块图片获取单元,通过将多个摄像头竖直排列并用支架固定,以螺纹桶中心为轴心将支架旋转并进行拍摄,得到螺纹桶内壁全景分块图片;
重叠区域标定单元,用于标定分块图片的重叠区域,得到左右相邻图片重叠区域和上下相邻图片重叠区域,并对所有图片进行枕形畸变校正;
特征提取单元,用于对左右相邻图片重叠区域提取SIFT特征,根据快速最近邻算法匹配特征,利用随机抽样一致性算法剔除误匹配点,计算待拼接图像间的变换关系,确定横向拼接重叠像素数;对上下相邻图片重叠区域提取螺纹直线特征,确定纵向拼接重叠像素数;
全景图片拼接单元,用于根据横向和纵向的重叠像素数,进行图片融合和横向、纵向拼接,生成螺纹桶内壁360度全景拼接图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610427181.5A CN105957015B (zh) | 2016-06-15 | 2016-06-15 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610427181.5A CN105957015B (zh) | 2016-06-15 | 2016-06-15 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105957015A true CN105957015A (zh) | 2016-09-21 |
CN105957015B CN105957015B (zh) | 2019-07-12 |
Family
ID=56906504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610427181.5A Expired - Fee Related CN105957015B (zh) | 2016-06-15 | 2016-06-15 | 一种螺纹桶内壁图像360度全景拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105957015B (zh) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106657789A (zh) * | 2016-12-29 | 2017-05-10 | 核动力运行研究所 | 一种螺纹全景图像合成方法 |
CN106709868A (zh) * | 2016-12-14 | 2017-05-24 | 云南电网有限责任公司电力科学研究院 | 一种图像拼接方法及装置 |
CN106934351A (zh) * | 2017-02-23 | 2017-07-07 | 中科创达软件股份有限公司 | 手势识别方法、装置及电子设备 |
CN107295234A (zh) * | 2017-08-03 | 2017-10-24 | 刘勇 | 一种等比例拍摄装置 |
CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
CN108109112A (zh) * | 2018-01-16 | 2018-06-01 | 上海同岩土木工程科技股份有限公司 | 一种基于Sift特征的隧道展布图拼接参数处理方法 |
CN108270993A (zh) * | 2016-12-30 | 2018-07-10 | 核动力运行研究所 | 一种用于反应堆压力容器螺栓孔多摄像头视频检查装置 |
CN108322728A (zh) * | 2018-02-07 | 2018-07-24 | 盎锐(上海)信息科技有限公司 | 具有扫描功能的电脑及模型生成方法 |
CN108629731A (zh) * | 2017-03-15 | 2018-10-09 | 长沙博为软件技术股份有限公司 | 一种适用于滚动截屏的图像拼接方法 |
CN109087244A (zh) * | 2018-07-26 | 2018-12-25 | 贵州火星探索科技有限公司 | 一种全景图像拼接方法、智能终端及存储介质 |
CN109602373A (zh) * | 2018-12-06 | 2019-04-12 | 余姚市盈宝电器有限公司 | 泡沫检测报警机构 |
CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
CN110246082A (zh) * | 2019-05-07 | 2019-09-17 | 华中科技大学 | 一种遥感全景图像拼接方法 |
CN110335245A (zh) * | 2019-05-21 | 2019-10-15 | 青岛科技大学 | 基于单目时空连续图像的网箱网衣破损监测方法及系统 |
CN110458757A (zh) * | 2019-07-15 | 2019-11-15 | 中国计量大学 | 一种阈值自适应的特征点匹配图像拼接方法 |
CN110689512A (zh) * | 2019-09-24 | 2020-01-14 | 中国科学院武汉岩土力学研究所 | 一种孔内全景视频环状图像快速拼接融合成图方法 |
CN110874817A (zh) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
CN111583114A (zh) * | 2020-04-30 | 2020-08-25 | 安徽工业大学 | 一种管道螺纹自动测量装置及测量方法 |
CN112378338A (zh) * | 2020-11-25 | 2021-02-19 | 上海里莱技术服务中心 | 一种基于Hough变换的外螺纹检测方法 |
CN112509016A (zh) * | 2020-09-28 | 2021-03-16 | 杭州向正科技有限公司 | 基于多个低成本摄像头拍摄输出高清画面的方法 |
CN112529028A (zh) * | 2019-09-19 | 2021-03-19 | 北京声迅电子股份有限公司 | 一种用于安检机图像的联网接入方法及装置 |
CN112543288A (zh) * | 2020-12-11 | 2021-03-23 | 周洁 | 一种用于保护壁画图像的采集方法及识别系统 |
CN113052763A (zh) * | 2021-04-07 | 2021-06-29 | 北京佰才邦技术股份有限公司 | 一种融合图像生成方法、装置、计算机设备和存储介质 |
CN113546869A (zh) * | 2020-04-24 | 2021-10-26 | 合肥美亚光电技术股份有限公司 | 物料分选设备、方法以及存储介质 |
CN114463186A (zh) * | 2022-04-12 | 2022-05-10 | 常州铭赛机器人科技股份有限公司 | 基于校正扫描图像的平铺式拼接方法 |
CN115100049A (zh) * | 2022-06-14 | 2022-09-23 | 广东源兴诡谷子光学智能科技有限公司 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
CN115619782A (zh) * | 2022-12-15 | 2023-01-17 | 常州海图信息科技股份有限公司 | 基于机器视觉的井筒360全景拼接检测系统及方法 |
CN115719308A (zh) * | 2022-11-29 | 2023-02-28 | 中国科学院长春光学精密机械与物理研究所 | 一种枕形双曲边缘影像的完善拼接方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079151A (zh) * | 2006-10-13 | 2007-11-28 | 浙江师范大学 | 一种基于序列静态图像的360°环视全景生成方法 |
US20100150472A1 (en) * | 2008-12-15 | 2010-06-17 | National Tsing Hua University (Taiwan) | Method for composing confocal microscopy image with higher resolution |
CN102968777A (zh) * | 2012-11-20 | 2013-03-13 | 河海大学 | 一种基于重叠区域sift特征点的图像拼接方法 |
CN103063684A (zh) * | 2012-12-20 | 2013-04-24 | 西安石油大学 | 一种管道内壁全景图显示与缺陷定位方法 |
-
2016
- 2016-06-15 CN CN201610427181.5A patent/CN105957015B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101079151A (zh) * | 2006-10-13 | 2007-11-28 | 浙江师范大学 | 一种基于序列静态图像的360°环视全景生成方法 |
US20100150472A1 (en) * | 2008-12-15 | 2010-06-17 | National Tsing Hua University (Taiwan) | Method for composing confocal microscopy image with higher resolution |
CN102968777A (zh) * | 2012-11-20 | 2013-03-13 | 河海大学 | 一种基于重叠区域sift特征点的图像拼接方法 |
CN103063684A (zh) * | 2012-12-20 | 2013-04-24 | 西安石油大学 | 一种管道内壁全景图显示与缺陷定位方法 |
Non-Patent Citations (2)
Title |
---|
唐红梅等: "一种改进的基于SIFT特征的快速匹配算法", 《电视技术》 * |
杨必武等: "摄像机镜头非线性畸变校正方法综述", 《中国图象图形学报》 * |
Cited By (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709868A (zh) * | 2016-12-14 | 2017-05-24 | 云南电网有限责任公司电力科学研究院 | 一种图像拼接方法及装置 |
CN106657789A (zh) * | 2016-12-29 | 2017-05-10 | 核动力运行研究所 | 一种螺纹全景图像合成方法 |
CN108270993A (zh) * | 2016-12-30 | 2018-07-10 | 核动力运行研究所 | 一种用于反应堆压力容器螺栓孔多摄像头视频检查装置 |
CN106934351A (zh) * | 2017-02-23 | 2017-07-07 | 中科创达软件股份有限公司 | 手势识别方法、装置及电子设备 |
CN106934351B (zh) * | 2017-02-23 | 2020-12-29 | 中科创达软件股份有限公司 | 手势识别方法、装置及电子设备 |
CN108629731A (zh) * | 2017-03-15 | 2018-10-09 | 长沙博为软件技术股份有限公司 | 一种适用于滚动截屏的图像拼接方法 |
CN107424118A (zh) * | 2017-03-28 | 2017-12-01 | 天津大学 | 基于改进径向畸变校正的球状全景拼接方法 |
CN107295234B (zh) * | 2017-08-03 | 2023-02-03 | 刘勇 | 一种等比例拍摄装置 |
CN107295234A (zh) * | 2017-08-03 | 2017-10-24 | 刘勇 | 一种等比例拍摄装置 |
CN108109112A (zh) * | 2018-01-16 | 2018-06-01 | 上海同岩土木工程科技股份有限公司 | 一种基于Sift特征的隧道展布图拼接参数处理方法 |
CN108109112B (zh) * | 2018-01-16 | 2021-07-20 | 上海同岩土木工程科技股份有限公司 | 一种基于Sift特征的隧道展布图拼接参数处理方法 |
CN108322728A (zh) * | 2018-02-07 | 2018-07-24 | 盎锐(上海)信息科技有限公司 | 具有扫描功能的电脑及模型生成方法 |
CN108322728B (zh) * | 2018-02-07 | 2019-10-15 | 盎锐(上海)信息科技有限公司 | 具有扫描功能的电脑及模型生成方法 |
CN109087244A (zh) * | 2018-07-26 | 2018-12-25 | 贵州火星探索科技有限公司 | 一种全景图像拼接方法、智能终端及存储介质 |
CN109087244B (zh) * | 2018-07-26 | 2023-04-18 | 深圳禾苗通信科技有限公司 | 一种全景图像拼接方法、智能终端及存储介质 |
CN110874817A (zh) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
CN110874817B (zh) * | 2018-08-29 | 2022-02-01 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、设备、介质 |
CN109602373A (zh) * | 2018-12-06 | 2019-04-12 | 余姚市盈宝电器有限公司 | 泡沫检测报警机构 |
CN109978755A (zh) * | 2019-03-11 | 2019-07-05 | 广州杰赛科技股份有限公司 | 全景图像合成方法、装置、设备与存储介质 |
CN110246082B (zh) * | 2019-05-07 | 2020-12-18 | 华中科技大学 | 一种遥感全景图像拼接方法 |
CN110246082A (zh) * | 2019-05-07 | 2019-09-17 | 华中科技大学 | 一种遥感全景图像拼接方法 |
CN110335245A (zh) * | 2019-05-21 | 2019-10-15 | 青岛科技大学 | 基于单目时空连续图像的网箱网衣破损监测方法及系统 |
CN110458757A (zh) * | 2019-07-15 | 2019-11-15 | 中国计量大学 | 一种阈值自适应的特征点匹配图像拼接方法 |
CN112529028A (zh) * | 2019-09-19 | 2021-03-19 | 北京声迅电子股份有限公司 | 一种用于安检机图像的联网接入方法及装置 |
CN112529028B (zh) * | 2019-09-19 | 2022-12-02 | 北京声迅电子股份有限公司 | 一种用于安检机图像的联网接入方法及装置 |
CN110689512A (zh) * | 2019-09-24 | 2020-01-14 | 中国科学院武汉岩土力学研究所 | 一种孔内全景视频环状图像快速拼接融合成图方法 |
CN110689512B (zh) * | 2019-09-24 | 2022-03-08 | 中国科学院武汉岩土力学研究所 | 一种孔内全景视频环状图像快速拼接融合成图方法 |
CN113546869A (zh) * | 2020-04-24 | 2021-10-26 | 合肥美亚光电技术股份有限公司 | 物料分选设备、方法以及存储介质 |
CN111583114A (zh) * | 2020-04-30 | 2020-08-25 | 安徽工业大学 | 一种管道螺纹自动测量装置及测量方法 |
CN111583114B (zh) * | 2020-04-30 | 2023-02-24 | 安徽工业大学 | 一种管道螺纹自动测量装置及测量方法 |
CN112509016A (zh) * | 2020-09-28 | 2021-03-16 | 杭州向正科技有限公司 | 基于多个低成本摄像头拍摄输出高清画面的方法 |
CN112378338A (zh) * | 2020-11-25 | 2021-02-19 | 上海里莱技术服务中心 | 一种基于Hough变换的外螺纹检测方法 |
CN112543288A (zh) * | 2020-12-11 | 2021-03-23 | 周洁 | 一种用于保护壁画图像的采集方法及识别系统 |
CN112543288B (zh) * | 2020-12-11 | 2022-03-11 | 周洁 | 一种用于保护壁画图像的采集方法及识别系统 |
CN113052763A (zh) * | 2021-04-07 | 2021-06-29 | 北京佰才邦技术股份有限公司 | 一种融合图像生成方法、装置、计算机设备和存储介质 |
CN113052763B (zh) * | 2021-04-07 | 2023-08-25 | 北京佰才邦技术股份有限公司 | 一种融合图像生成方法、装置、计算机设备和存储介质 |
CN114463186B (zh) * | 2022-04-12 | 2022-06-24 | 常州铭赛机器人科技股份有限公司 | 基于校正扫描图像的平铺式拼接方法 |
CN114463186A (zh) * | 2022-04-12 | 2022-05-10 | 常州铭赛机器人科技股份有限公司 | 基于校正扫描图像的平铺式拼接方法 |
CN115100049A (zh) * | 2022-06-14 | 2022-09-23 | 广东源兴诡谷子光学智能科技有限公司 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
CN115719308A (zh) * | 2022-11-29 | 2023-02-28 | 中国科学院长春光学精密机械与物理研究所 | 一种枕形双曲边缘影像的完善拼接方法 |
CN115719308B (zh) * | 2022-11-29 | 2024-01-26 | 中国科学院长春光学精密机械与物理研究所 | 一种枕形双曲边缘影像的完善拼接方法 |
CN115619782A (zh) * | 2022-12-15 | 2023-01-17 | 常州海图信息科技股份有限公司 | 基于机器视觉的井筒360全景拼接检测系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105957015B (zh) | 2019-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105957015B (zh) | 一种螺纹桶内壁图像360度全景拼接方法及系统 | |
Xue et al. | Learning to calibrate straight lines for fisheye image rectification | |
CN107993258B (zh) | 一种图像配准方法及装置 | |
CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
CN106657789A (zh) | 一种螺纹全景图像合成方法 | |
CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
CN109685078B (zh) | 基于自动标注的红外图像识别方法 | |
CN105608671A (zh) | 一种基于surf算法的图像拼接方法 | |
CN106485751B (zh) | 应用于基桩检测中的无人机摄影成像及数据处理方法及系统 | |
CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
CN106469444B (zh) | 消除拼接缝隙的快速图像融合方法 | |
CN111192194B (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
CN103902953B (zh) | 一种屏幕检测系统及方法 | |
CN102982524B (zh) | 玉米果穗有序图像的拼接方法 | |
CN109859137B (zh) | 一种广角相机非规则畸变全域校正方法 | |
CN103955888A (zh) | 一种基于sift的高清视频图像拼接方法及装置 | |
CN111723801A (zh) | 鱼眼相机图片中目标检测矫正的方法与系统 | |
CN111815511A (zh) | 一种全景图像拼接方法 | |
CN104966283A (zh) | 图像分层配准方法 | |
CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
CN117314986A (zh) | 基于语义分割的无人机跨模态配电设备巡检图像配准方法 | |
CN111325218B (zh) | 基于光场图像的Hog特征检测与匹配方法 | |
CN108898585B (zh) | 一种轴类零件检测方法及其装置 | |
CN116452995A (zh) | 基于机载任务机的航拍图像定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190712 Termination date: 20200615 |
|
CF01 | Termination of patent right due to non-payment of annual fee |