CN115619623A - 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 - Google Patents
一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 Download PDFInfo
- Publication number
- CN115619623A CN115619623A CN202211287542.2A CN202211287542A CN115619623A CN 115619623 A CN115619623 A CN 115619623A CN 202211287542 A CN202211287542 A CN 202211287542A CN 115619623 A CN115619623 A CN 115619623A
- Authority
- CN
- China
- Prior art keywords
- image
- fisheye
- point
- parallel
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000009466 transformation Effects 0.000 title claims abstract description 43
- 238000003709 image segmentation Methods 0.000 claims abstract description 10
- 230000014759 maintenance of location Effects 0.000 claims abstract description 7
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000012937 correction Methods 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000011426 transformation method Methods 0.000 claims description 7
- 238000002360 preparation method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 abstract description 16
- 238000013507 mapping Methods 0.000 abstract description 6
- 230000008447 perception Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 230000016776 visual perception Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于移动最小二乘变换的大视差平行鱼眼相机图像拼接方法，该方法使用多个沿直线间隔较远距离平行排列的鱼眼相机构成平行鱼眼拼接系统，采集多路鱼眼图像，能够感知大范围环境信息，可以为智慧城市、智能安防及目标检测跟踪系统提供大范围连续广角视野；该方法通过逆向经纬映射、交互式图像分割和移动最小二乘变换恢复重叠区域几何形状，实现宽间距、少共视情况下的重叠区域恢复与构建；通过网格变形优化方法，结合线特征和网格形状保持项设计能量函数实现重叠区域精细对准，提升图像拼接的精度和准确性；从双相机双图像拼接扩展到多路相机联合处理与拼接，有效提高了系统的大范围感知能力。
Description
技术领域
本发明属于计算机视觉领域，涉及基于移动最小二乘变换、鱼眼图像展开的大视差平行鱼眼图像拼接。
背景技术
随着技术、经济的不断发展和人们生活水平的提高，人工智能技术逐渐融入到了人们的日常生活和现代化城市建设当中。完整的智慧城市等大型智能系统涉及感知、控制、规划等多项复杂任务，其中感知环节作为智能系统获取外界信息的主要途径，是后续识别、规划、决策、控制等模块能够良好运行的基础。视觉感知是智慧城市系统中最常见的感知模块之一，传统的视觉感知通常以大量监控摄像机为主，结合少量广角镜头，分立采集图像数据并显示，如今已难以满足人们日益增长的增强感知能力的需求，尤其是在智能安防、目标检测及跟踪等领域，提供连续的大范围广角视野、增强视觉感知能力的鱼眼相机图像拼接技术渐渐凸显其研究的迫切需求。
图像拼接技术是计算机视觉领域中一个非常经典完备的体系，该技术是将同一场景的多个重叠图像拼接成较大的图像，其中包含如特征点检测、映射估计、匹配对齐、投影变换和图像融合等重要算法，可以从软件层面扩大视野范围、增强视觉感知能力。但现有的图像拼接方法仍处于传统光学理论阶段，在宽基线、大视差、动态场景等复杂条件下表现不佳。
鱼眼相机是从硬件层面扩大视野范围、增强视觉感知能力的常用手段。该类相机是一种带有极端广角镜头的相机，焦距极短并且视角接近甚至超过180°，具有较大的视角范围和较长的景深。但为了将尽可能大的场景投影到有限的图像平面内，不得不允许桶形畸变的合理存在，因此鱼眼镜头成像与人们眼中的真实世界的景象存在很大的差别，除了画面中心的景物基本保持不变外，其他本应水平或垂直的景物都发生了相应的变化。
大视差平行鱼眼相机图像拼接技术是将多个鱼眼相机间隔较远距离同向排列，使每个相机光轴彼此平行，对同一时刻采集到的多路图像数据进行拼接处理形成一幅长距离宽景图，从而获得更宽广的视野范围，具有直观的视觉效果。鱼眼相机的大视角、宽视野特性使得相机之间可以间隔较远距离，从而在减少相机数量、降低成本的同时覆盖尽可能大的区域。目前的鱼眼图像拼接技术主要针对环视排列的鱼眼相机进行拼接，以获得360°环视的全景图，难以应用于宽间距平行排列的场景；主流的图像拼接方法需要对重叠区域进行特征提取与匹配，而宽基线、大视差平行排列的鱼眼相机图像重叠区域较小，且重叠区域位于图像边缘导致畸变较大，如何恢复重叠区域图像结构并实现精确对准是该拼接问题的难点。
发明内容
有鉴于此，本发明提供一种基于移动最小二乘变换的大视差平行鱼眼相机图像拼接方法，将间隔较远、同向排列的多个鱼眼相机采集到的图像按照经纬度变换法展开，并利用移动最小二乘法(MLS)对图像进行变形，得到恢复几何形状后的相对正常图像，经过重叠区域预测、特征提取与匹配和网格变形精细对准图像，寻找最优拼接缝并进行图像融合，完成多鱼眼相机图像的拼接。
一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，包括：
步骤S1、将N个鱼眼相机Ci排列成一条直线安装，相机光轴彼此平行，定义相邻相机Ci和Ci+1的光轴与相机之间连线构成的平面为平面Si；每台鱼眼相机Ci采集到的正常视野的图像记为正常图像INi，i＝1…N；
步骤S2、在相邻两个鱼眼相机之间放置两块校正标记板，其平面与平面Si平行，并分别放置于平面Si两侧；每台鱼眼相机Ci采集到的含有校正标记板的图像记为校正图像ICi；所述校正标记板中设置有多条平行分割线，且设置校正标记板时将分割线竖直方向放置；
步骤S3、对平行鱼眼拼接系统采集到的校正图像ICi和正常图像INi进行预处理：
步骤S4、对步骤S3采集到的校正图像ICi和正常图像INi进行重映射以展开鱼眼图像，展开后的校正图像和正常图像分别记为I′Ci和I′Ni；
步骤S5、对校正图像展开图I′Ci进行图像分割，提取校正标记板图像中两两相邻分割线之间的区域图像，在校正图像展开图I′Ci中，将每一个区域图像以外区域的像素点的值均置零，得到图像I′Cij；
步骤S6、遍历每张图像I′Cij的各行，寻找从左往右的第一个像素值非零的点，将这些点的坐标保存到矩阵Lij中；计算矩阵Lij中的每一点与其前后两点的斜率kup和kdown，若kup或kdown的绝对值大于阈值kthreshold，则可认为该点是竖直排列点，将其保留，否则将其剔除；对于筛选后的矩阵Lij，最靠近图像水平中线的点，记其横坐标为x0；从Lij中均匀取点，将其追加到矩阵pi中，为移动最小二乘变换提供变形前的控制点坐标；再将这些点的横坐标设为x0，纵坐标保持不变，追加到矩阵qi中，为移动最小二乘变换提供变形后的控制点坐标；
遍历每张图像I′Cij的各行，寻找从右往左的第一个像素值非零的点，将这些点的坐标保存到矩阵Rij中；计算矩阵Rij中的每一点与其前后两点的斜率kup和kdown，若kup或kdown的绝对值大于阈值kthreshold，则可认为该点是竖直排列点，将其保留，否则将其剔除；对于筛选后的矩阵Rij，最靠近图像水平中线的点，记其横坐标为x0；从Rij中均匀取点，将其追加到矩阵pi中，再将这些点的横坐标设为x0，纵坐标保持不变，追加到矩阵qi中；
遍历每一张分割图像，将其移动最小二乘变换提供变形前的控制点坐标和移动最小二乘变换提供变形后的控制点坐标均分别追加到矩阵pi和矩阵qi中；
步骤S7、根据矩阵pi和矩阵qi计算每台相机Ci对应的移动最小二乘变换矩阵Ai，根据计算出的Ai对正常图像展开图I′Ni进行移动最小二乘变换，恢复其在重叠区域的几何形状，变形后的图像记为I″Ni；
步骤S8、针对步骤S7获得的相邻的两幅变形后图像，先分别进行二值化处理，将每张二值化后的图像按列划分为多组，设组数为n组，统计每幅图像各组中的黑色像素的数目，并分别保存到数组Bi和Bi+1中；在Bi和Bi+1上各放置一个宽度为m的滑窗，m<n；计算两个滑窗中黑色像素数目的方差，方差最小时两个窗口所在区间即为两幅图像重叠区域，确定重叠区域位置和宽度作为两幅变形后图像的初步对准；
步骤S9、对步骤S8初步对准的两幅相邻的变形图像，在确定好的重叠区域内使进行特征匹配，实现重叠区域精确对准；
步骤S10、对经过步骤S9处理后的所有两两相邻的图像，确定最佳拼接缝，在最佳拼接缝两侧分别选择对应侧的图像部分，并在接缝线两侧采用多频段融合算法，得到全部N台相机的最终拼接融合图像。
较佳的，所述步骤S2中，所述校正标记板平面与平面Si之间的距离约为相机间隔的一半。
较佳的，所述步骤S2中，在标记板中设置若干颜色对比强烈的几个矩形图形，两图形之间的区域为分割线。
较佳的，所述步骤S3中预处理方法包括：使用线扫描法提取图像中的圆形有效成像区域，对其进行旋转使得位于两相邻相机连线的景象处于图像水平中心线上，最后经过曝光补偿后获得预处理后的长宽相等的鱼眼图像。
较佳的，所述步骤S4中，使用反向插值的经纬度变换法计算图像重映射矩阵，对图像进行重映射以展开鱼眼图像。
较佳的，所述步骤S5中，使用GrabCut算法对校正图像展开图I′Ci进行交互式图像分割。
较佳的，所述步骤S6中，所述阈值kthreshold取值为1。
较佳的，所述步骤S9的具体方法为：在确定好的重叠区域内使用SIFT算法进行特征提取，采用欧氏距离进行匹配，再使用RANSAC算法筛选匹配点得到较好的匹配；使用LSD算法检测线特征并进行匹配；将图像进行网格划分，结合特征匹配重投影误差、线特征匹配对齐和网格结构保持设计能量函数，最小化该能量函数进行网格变形，实现重叠区域精确对准。
较佳的，所述步骤S9中的网格变形的能量函数为：
E＝λlpElp+λpaEpa+λlaEla+λgEg
其中，Elp表示线保持项；Epa和Ela分别为点对齐项和线对齐项；Eg表示网格形状保持项，λlp、λpa、λla和λg分别为对应项的权重。
较佳的，所述步骤S10中，对所有两两相邻的相机图像，使用图割法在马尔可夫随机场上优化全局能量函数，得到在给定损失定义下达到最小损失的拼接缝，在最佳拼接缝两侧分别选择对应侧的图像部分，并在接缝线两侧采用多频段融合算法，得到全部N台相机的最终拼接融合图像。本发明具有如下有益效果：
本发明提出一种基于移动最小二乘变换的大视差平行鱼眼相机图像拼接方法，该方法使用多个沿直线间隔较远距离平行排列的鱼眼相机构成平行鱼眼拼接系统，采集多路鱼眼图像，能够感知大范围环境信息，可以为智慧城市、智能安防及目标检测跟踪系统提供大范围连续广角视野。通过逆向经纬映射、交互式图像分割和移动最小二乘变换恢复重叠区域几何形状，实现宽间距、少共视情况下的重叠区域恢复与构建；通过网格变形优化方法，结合线特征和网格形状保持项设计能量函数实现重叠区域精细对准，提升图像拼接的精度和准确性；从双相机双图像拼接扩展到多路相机联合处理与拼接，有效提高了系统的大范围感知能力。
附图说明
图1为本发明拼接方法中的平行鱼眼拼接系统硬件结构示意图；
图2为本发明拼接方法中的校正标记板放置布局示意图；
图3为本发明大视差平行鱼眼相机图像拼接算法流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述，本领域技术人员可以根据本说明书所阐述的内容了解本发明的优点及功能。本发明还可以通过另外不同的方式加以实施及应用。
本发明涉及一种基于移动最小二乘变换的大视差平行鱼眼相机图像拼接方法，包括平行鱼眼拼接系统的硬件结构和软件算法。平行鱼眼拼接系统的硬件由多个间隔较远同向排列的鱼眼相机组成，大视差平行鱼眼相机图像拼接方法的算法流程如下：
步骤S1、安装固定平行鱼眼拼接系统，将N个鱼眼相机Ci,(i＝1…N)排列成一条直线安装，相机光轴彼此平行，间隔距离较宽，但应保证相邻相机视野存在重叠区域。定义相邻相机Ci和Ci+1的光轴与相机之间连线构成的平面为平面Si。启动鱼眼相机采集图像数据，每台鱼眼相机Ci采集到的正常视野的图像记为正常图像INi,(i＝1…N)；
其中，所述平行鱼眼拼接系统的硬件结构由若干相同的鱼眼相机组成，这些鱼眼相机具有相同的图像采集性能，整体感知范围在相机连线方向上可以覆盖系统载体的周围区域，实现相机连线方向上没有盲区的环境信息感知。平行鱼眼拼接系统采用的鱼眼相机视场角接近甚至超过180°，相机之间间隔较远距离排列即可保证一定的重叠区域，在降低相机安装数量的同时具备了较大的感知范围，从而降低系统成本。
步骤S2、在相邻两个鱼眼相机之间放置两块校正标记板，其平面与平面Si平行，并分别放置于平面Si两侧，校正标记板平面与平面Si之间的距离约为相机间隔的一半。每两个相邻鱼眼相机之间均按此布局放置校正标记板；再次启动鱼眼相机采集图像数据，每台鱼眼相机Ci采集到的含有校正标记板的图像记为校正图像ICi,(i＝1…N)；
其中，校正标记板中设置有明显的几条平行分割线，设置校正标记板时将分割线竖直方向放置；为了更好的识别分割线，在标记板中设置若干颜色对比强烈的几个矩形图形，两图形之间的区域为分割线。
平行鱼眼相机图像拼接方法采用的校正标记板用于辅助校正使用，保证大小适宜、颜色鲜明、可供检测识别即可，与棋盘格标定板等常用标定板相比，无需保证特定的尺寸和精度，制作简便，亦可用门框等具备多条竖直线的环境要素替代。
步骤S3、对平行鱼眼拼接系统采集到的矫正图像ICi和正常图像INi进行预处理：使用线扫描法提取图像中的圆形有效成像区域，对其进行适当的旋转使得位于两相邻相机连线的景象处于图像水平中心线上，最后经过曝光补偿后获得预处理后的长宽相等的鱼眼图像；
其中，平行鱼眼相机图像拼接方法采用线扫描法和曝光补偿算法对采集到的鱼眼图像进行预处理，通过在灰度图上使用水平和垂直两对直线，分别从上下左右四个方向夹逼，来提取出圆形有效区域，从而自动裁剪掉原始图像中可能存在的黑边；之后使用曝光补偿算法使每幅图像具有相同的曝光程度，使得重叠区域拼接效果更加自然。
步骤S4、根据预处理后的鱼眼图像尺寸，使用反向插值的经纬度变换法计算图像重映射矩阵并保存，对平行鱼眼拼接系统采集到的校正图像ICi和正常图像INi进行重映射以展开鱼眼图像，展开后的校正图像和正常图像分别记为I′Ci和I′Ni；
其中，平行鱼眼相机图像拼接方法采用经纬度变换法对鱼眼图像进行展开，其正向映射规则为：将鱼眼图像反向投影到单位球体表面，再投影到单位球体外接圆柱面上，将圆柱面展开以获得目标图像。该方法仅需获得鱼眼图像尺寸即可依据几何关系展开鱼眼图像，没有像素损失且在展开方向上具有自然的视觉效果，可以保留鱼眼图像圆周区域，适合在相机间隔较远、视野重叠区域较小的情况下展开鱼眼图像。反向插值的经纬度变换法是一种从目标图像出发，对每一个目标图像上的坐标点，反向计算其在原鱼眼图像上对应点的坐标，再利用双线性插值方法计算得到目标点的像素值的方法。由于校正后的柱面图像上的点和原鱼眼图像上的点不是满射关系，使用反向映射校正可以填补正向映射校正带来的图像空缺。
步骤S5、使用GrabCut算法对校正图像展开图I′Ci进行交互式图像分割，以提取校正标记板图像中两两相邻分割线之间的区域图像，由用户手动框选校正标记板图像各个区域进行初步图割，对初步图割结果进行少量的点线标注以进行迭代分割，设每幅矫正图像可提取出M个区域图像，记为I′Cij,(i＝1…N,j＝1…M)；其中，I′Cij为在校正图像展开图I′Ci中，将各区域图像以外区域的像素点的值均置零得到的图像；
其中，平行鱼眼相机图像拼接方法采用GrabCut算法进行交互式图像分割，该方法基于graph-cut改进并采用高斯混合模型(GMM)作为统计先验信息，通过用户输入边界框作为分割目标位置，实现对目标与背景的分割。GarbCut算法分割速度快，支持迭代式修复和简单快速的用户交互，能够方便地从复杂背景中分割出校正标记板图像。
步骤S6、以一定间隔步长遍历每张图像I′Cij的各行，寻找从左往右的第一个像素值非零的点，将这些点的坐标保存到矩阵Lij中。计算矩阵Lij中的每一点与其前后两点的斜率kup和kdown，若kup或kdown的绝对值大于阈值kthreshold(取值为1)，则可认为该点是竖直排列点，将其保留，否则将其剔除。对于筛选后的矩阵Lij，最靠近图像水平中线的点，记其横坐标为x0；以dy为间隔从Lij中均匀取点，将其追加到矩阵pi中，为移动最小二乘变换提供变形前的控制点坐标；再将这些点的横坐标设为x0，纵坐标保持不变，追加到矩阵qi中，为移动最小二乘变换提供变形后的控制点坐标。
同理，以一定间隔步长遍历每张图像I′Cij各行，按照同样的方法寻找从右往左的第一个像素值非零的点，将这些点的坐标保存到矩阵Rij中；计算矩阵Rij中的每一点与其前后两点的斜率kup和kdown，若kup或kdown的绝对值大于阈值kthreshold(取值为1)，则可认为该点是竖直排列点，将其保留，否则将其剔除。对于筛选后的矩阵Rij，最靠近图像水平中线的点，记其横坐标为x0；以dy为间隔从Rij中均匀取点，将其追加到矩阵pi中，再将这些点的横坐标设为x0，纵坐标保持不变，追加到矩阵qi中。
遍历每一张分割图像，将其移动最小二乘变换提供变形前的控制点坐标和移动最小二乘变换提供变形后的控制点坐标均分别追加到矩阵pi和矩阵qi中。
上述平行鱼眼相机图像拼接方法通过检测非零像素点坐标、计算相邻非零像素点斜率，按照给定间隔提取出校正标记板图像左右两侧边缘点坐标，从而自动获得移动最小二乘变换前的控制点坐标p，并按照给定规则自动计算出变形后的控制点坐标q，避免了手动读取填写变形前后控制点坐标的大量繁琐工作。
步骤S7、根据矩阵pi和矩阵qi计算每台相机Ci对应的移动最小二乘变换矩阵Ai并保存，根据计算出的Ai对正常图像展开图I′Ni进行移动最小二乘变换，恢复其在重叠区域的几何形状，变形后的图像记为I″Ni；
步骤S8、针对相邻的两幅图像I″Ni和I″N(i+1)：通过自适应阈值和中值滤波方法分别进行二值化处理，将每张二值化后的图像按列划分为n组，统计每幅图像各组中的黑色像素的数目，并分别保存到数组Bi和Bi+1中。采用滑窗搜索策略，在Bi和Bi+1上各放置一个宽度为m(m<n)的滑窗，计算两个滑窗中黑色像素数目的方差，方差最小时两个窗口所在区间即为两幅图像重叠区域，确定重叠区域位置和宽度作为两幅图像的初步对准；
重叠区域预测算法是一种使用二值化图像逐列统计黑色像素数目并计算方差以实现初步对准的算法。由于相机间隔距离较远，重叠区域较小，直接对两幅完整图像进行特征提取与匹配计算量大、效率低，且在低纹理或重复纹理情况下容易出现错误匹配，使用重叠区域预测算法，仅在重叠区域进行特征提取与匹配，可以有效降低计算量和误匹配概率，提高计算效率，并且确定重叠区域宽度和左上角坐标可以实现两幅图像初步对准。
步骤S9、对相邻的两幅图像I″Ni和I″N(i+1)，在确定好的重叠区域内使用SIFT算法进行特征提取，采用欧氏距离进行匹配，再使用RANSAC算法筛选匹配点得到较好的匹配。使用LSD算法检测线特征并进行匹配。将图像划分为M*N的网格，结合特征匹配重投影误差、线特征匹配对齐和网格结构保持设计能量函数，最小化该能量函数进行网格变形，实现重叠区域精确对准；
其中，平行鱼眼相机图像拼接方法采用网格变形优化实现精确对准，在特征点提取与匹配的基础上引入了线特征和网格结构保持项来构造能量函数，线特征可以有效提高低纹理场景下的匹配和拼接效果，网格结构保持项可以使原始图像非重叠区域过渡平滑自然，既提高了重叠区域的精细对准效果，又使完整拼接图像视觉效果自然。所述网格变形能量函数为：
E＝λlpElp+λpaEpa+λlaEla+λgEg
其中，Elp表示线保持项，用来保持线特征的线性结构；Epa和Ela分别为点对齐项和线对齐项，用于改进匹配点与线之间的对应关系；Eg表示网格形状保持项，通过保持网格结构以减小畸变。λlp、λpa、λla和λg分别为对应项的权重。
步骤S10、对所有两两相邻的相机图像，使用图割法在马尔可夫随机场上优化全局能量函数，得到在给定损失定义下达到最小损失的拼接缝，在最佳拼接缝两侧分别选择对应侧的图像部分，并在接缝线两侧采用多频段融合算法，得到全部N台相机的最终拼接融合图像。
其中，平行鱼眼相机图像拼接方法采用图割法寻找最优拼接缝，通过在马尔可夫随机场(MRF)上基于Graph-cut方法最小化全局能量函数求取最优拼接缝，在所得拼接缝两侧分别选择对应侧的图像部分，而不是把重叠部分的两幅图像简单融合起来，可用于隐藏无法完全对齐带来的图像模糊及伪影，使最终图像具有更好的视觉效果。所述全局能量函数定义为：
其中，Ed是图像梯度项，代表反应像素显著性的数据损耗能量，Es是平滑性损失项，衡量相邻像素间不连续的平滑性能量，相邻像素按照4邻域定义。
平行鱼眼相机图像拼接方法采用多频段融合算法对接缝线两侧的不同图像进行融合，通过分别建立各个图像的拉普拉斯金字塔，对接缝线两侧区域内的部分按金字塔的相同层分别进行加权融合，最后对合并后的金字塔进行逆拉普拉斯变换得到最终融合图像，可以使接缝线两侧过渡连贯，具有较好的视觉效果。
平行鱼眼相机图像拼接方法可对多路相机采集到的图像进行联合处理与拼接，不限于传统的双相机双图像拼接，在相机间隔较远距离排列的情况下可以有效提高系统的感知能力，提供大范围连续广角视野。
实施例：
本实施案例提供一种基于移动最小二乘变换的大视差平行鱼眼相机图像拼接方法，该方法使用的硬件结构示意图如图1所示，该图显示由3个鱼眼相机组成的平行鱼眼拼接系统，相机俯视安装在建筑物内部走廊天花板上，沿走廊延伸方向按直线排列，每个鱼眼相机视场角为180°；图2为所述拼接方法中的校正标记板放置布局示意图。根据本发明中对平行鱼眼拼接系统视野范围的要求，其在垂直走廊延伸方向上的视场范围覆盖到走廊墙壁，在沿走廊延伸方向上的视场范围覆盖到所放置的校正标记板，相邻相机之间有一定的重叠区域，且仅使用3台相机即可覆盖到走廊的较大区域。
如图3所示，所述的大视差平行鱼眼相机图像拼接方法包括以下步骤：
步骤S1、相机安装与正常图像采集。按照图1所示的硬件结构图和所述设计方式将3台鱼眼相机俯视安装在走廊天花板上，依次为3台相机编号Ci,(i＝1…3)，定义相邻相机Ci和Ci+1的光轴与相机之间连线构成的平面为平面Si，保证鱼眼相机内参和各个相机之间的相对位置关系不再发生变化。启动3台鱼眼相机采集正常图像INi,(i＝1…3)。在本实施案例中，相邻相机之间间隔5.5米，相机距地面3米，所得图像分辨率为1344*1400.
步骤S2、校正标记板布置与校正图像采集。在本实施案例中，使用4块长3米、高2.4米的4色校正标记板作为辅助校正物，按照图2所示的校正标记板放置布局示意图分别放置在平面Si两侧，每块校正标记板到平面Si距离为1.4米，使校正标记板全部位于相邻两台鱼眼相机视场范围中。启动3台鱼眼相机采集校正图像ICi,(i＝1…3)。
步骤S3、图像预处理。在本实施案例中，从采集到的图像中选取一张边缘明亮的图像，转换为灰度图并保存为副本，在灰度图上使用水平和垂直两对直线，分别从上下左右四个方向夹逼得到4个切点的坐标，从而计算出圆心坐标和半径，提取出圆形有效区域并按其尺寸及坐标对所有图像进行裁剪，裁剪后的图像分辨率为1340*1340。对矫正图像ICi进行适当的旋转以使位于相机连线上的景象处于图像水平中心线上，记录每台相机Ci对应的旋转角度θi，对该相机采集的正常图像INi按照θi进行自动旋转。对所有图像采用曝光补偿以平衡曝光程度。
步骤S4、鱼眼图像展开。在本实施案例中，预处理后的鱼眼图像半径为670像素，光线最大入射角为90°，鱼眼相机采用等距投影模型r＝fθ，使用反向插值的经纬度变换法计算图像重映射矩阵mapx和mapy并保存，对采集到的校正图像ICi和正常图像INi进行重映射以展开鱼眼图像，展开后的校正图像和正常图像分别记为I′Ci和I′Ni。
步骤S5、GrabCut图像分割。在本实施案例中，每块校正标记板由4种色块组成，对每张校正图像展开图I′Ci，采用GrabCut算法分割出每块校正标记板上靠近图像中心的第1和第3个色块图像，用户框选出目标色块所在区域后执行GrabCut算法进行图像分割，针对图割结果进行简单的标注并迭代优化，直至完整的提取出目标色块图像。每幅校正图像中的每块校正标记板可以提取出2张分割图像，按照相机视野内的校正标记板数量，每幅校正图像可提取出4/8张分割图像，记为I′Cij。
步骤S6、计算MLS变形前后控制点坐标。在本实施案例中，对每张分割图像I′Cij，间隔一行遍历一行图像像素，从左至右搜寻第一个非零像素点坐标，计算上下相邻两个非零像素点连线的斜率，选取斜率绝对值大于1的点作为左侧轮廓点，从左侧轮廓点中选取最靠近图像水平中线的点，记其横坐标为x0。从该图像的左侧轮廓点中每隔4个点选取一个点，将其坐标添加到变形前控制点坐标pi中，再将其横坐标值设为x0，纵坐标保持不变，添加到变形后控制点坐标qi中。按同样方法从右至左搜寻第一个非零像素点坐标，提取右侧轮廓点并将变形前后控制点坐标添加到pi和qi中。
步骤S7、进行移动最小二乘变换。根据每台相机Ci对应的分割图像I′Cij和变形前后控制点坐标pi和qi，计算移动最小二乘变换矩阵Ai并保存，根据计算出的Ai对正常图像展开图I′Ni进行移动最小二乘变换，恢复其在重叠区域的几何形状，变形后的图像记为I″Ni。
步骤S8、重叠区域预测。在本实施案例中，对相邻的两幅图像I″Ni和I″N(i+1)通过中值滤波和自适应阈值进行二值化，将灰度图划分为200列，统计每一列中的黑色像素数目，遍历两张图的每一列，计算其后40列中黑色像素数目的方差，选取方差最小的部分作为重叠区域，确定相邻两幅图像的重叠区域位置和宽度。
步骤S9、网格变形与精细对准。对相邻的两幅图像I″Ni和I″N(i+1)，在确定好的重叠区域内使用SIFT算法进行特征提取，采用欧氏距离进行匹配，再使用RANSAC算法筛选匹配点得到较好的匹配。使用LSD算法检测线特征并进行匹配。将图像划分为成网格，结合特征匹配重投影误差、线特征匹配对齐和网格结构保持构建能量函数，最小化该能量函数进行网格变形，实现相邻图像重叠区域精确对准。
步骤S10、拼接图像缝合与融合。在本实施案例中，对两组精细对准好的图像，在重叠区域内使用图割法寻找最优拼接缝，在拼接缝两侧30像素宽度范围内采用多频度融合算法，得到全部3台相机的最终拼接融合图像。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，包括：
步骤S1、将N个鱼眼相机Ci排列成一条直线安装，相机光轴彼此平行，定义相邻相机Ci和Ci+1的光轴与相机之间连线构成的平面为平面Si；每台鱼眼相机Ci采集到的正常视野的图像记为正常图像INi，i＝1…N；
步骤S2、在相邻两个鱼眼相机之间放置两块校正标记板，其平面与平面Si平行，并分别放置于平面Si两侧；每台鱼眼相机Ci采集到的含有校正标记板的图像记为校正图像ICi；所述校正标记板中设置有多条平行分割线，且设置校正标记板时将分割线竖直方向放置；
步骤S3、对平行鱼眼拼接系统采集到的校正图像ICi和正常图像INi进行预处理：
步骤S4、对步骤S3采集到的校正图像ICi和正常图像INi进行重映射以展开鱼眼图像，展开后的校正图像和正常图像分别记为I′Ci和I′Ni；
步骤S5、对校正图像展开图I′Ci进行图像分割，提取校正标记板图像中两两相邻分割线之间的区域图像，在校正图像展开图I′Ci中，将每一个区域图像以外区域的像素点的值均置零，得到图像I′Cij；
步骤S6、遍历每张图像I′Cij的各行，寻找从左往右的第一个像素值非零的点，将这些点的坐标保存到矩阵Lij中；计算矩阵Lij中的每一点与其前后两点的斜率kup和kdown，若kup或kdown的绝对值大于阈值kthreshold，则可认为该点是竖直排列点，将其保留，否则将其剔除；对于筛选后的矩阵Lij，最靠近图像水平中线的点，记其横坐标为x0；从Lij中均匀取点，将其追加到矩阵pi中，为移动最小二乘变换提供变形前的控制点坐标；再将这些点的横坐标设为x0，纵坐标保持不变，追加到矩阵qi中，为移动最小二乘变换提供变形后的控制点坐标；
遍历每张图像I′Cij的各行，寻找从右往左的第一个像素值非零的点，将这些点的坐标保存到矩阵Rij中；计算矩阵Rij中的每一点与其前后两点的斜率kup和kdown，若kup或kdown的绝对值大于阈值kthreshold，则可认为该点是竖直排列点，将其保留，否则将其剔除；对于筛选后的矩阵Rij，最靠近图像水平中线的点，记其横坐标为x0；从Rij中均匀取点，将其追加到矩阵pi中，再将这些点的横坐标设为x0，纵坐标保持不变，追加到矩阵qi中；
遍历每一张分割图像，将其移动最小二乘变换提供变形前的控制点坐标和移动最小二乘变换提供变形后的控制点坐标均分别追加到矩阵pi和矩阵qi中；
步骤S7、根据矩阵pi和矩阵qi计算每台相机Ci对应的移动最小二乘变换矩阵Ai，根据计算出的Ai对正常图像展开图I′Ni进行移动最小二乘变换，恢复其在重叠区域的几何形状，变形后的图像记为I′N′i；
步骤S8、针对步骤S7获得的相邻的两幅变形后图像，先分别进行二值化处理，将每张二值化后的图像按列划分为多组，设组数为n组，统计每幅图像各组中的黑色像素的数目，并分别保存到数组Bi和Bi+1中；在Bi和Bi+1上各放置一个宽度为m的滑窗，m<n；计算两个滑窗中黑色像素数目的方差，方差最小时两个窗口所在区间即为两幅图像重叠区域，确定重叠区域位置和宽度作为两幅变形后图像的初步对准；
步骤S9、对步骤S8初步对准的两幅相邻的变形图像，在确定好的重叠区域内使进行特征匹配，实现重叠区域精确对准；
步骤S10、对经过步骤S9处理后的所有两两相邻的图像，确定最佳拼接缝，在最佳拼接缝两侧分别选择对应侧的图像部分，并在接缝线两侧采用多频段融合算法，得到全部N台相机的最终拼接融合图像。
2.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S2中，所述校正标记板平面与平面Si之间的距离约为相机间隔的一半。
3.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S2中，在标记板中设置若干颜色对比强烈的几个矩形图形，两图形之间的区域为分割线。
4.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S3中预处理方法包括：使用线扫描法提取图像中的圆形有效成像区域，对其进行旋转使得位于两相邻相机连线的景象处于图像水平中心线上，最后经过曝光补偿后获得预处理后的长宽相等的鱼眼图像。
5.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S4中，使用反向插值的经纬度变换法计算图像重映射矩阵，对图像进行重映射以展开鱼眼图像。
6.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S5中，使用GrabCut算法对校正图像展开图I′Ci进行交互式图像分割。
7.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S6中，所述阈值kthreshold取值为1。
8.如权利要求1所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S9的具体方法为：在确定好的重叠区域内使用SIFT算法进行特征提取，采用欧氏距离进行匹配，再使用RANSAC算法筛选匹配点得到较好的匹配；使用LSD算法检测线特征并进行匹配；将图像进行网格划分，结合特征匹配重投影误差、线特征匹配对齐和网格结构保持设计能量函数，最小化该能量函数进行网格变形，实现重叠区域精确对准。
9.如权利要求8所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S9中的网格变形的能量函数为：
E＝λlpElp+λpaEpa+λlaEla+λgEg
其中，Elp表示线保持项；Epa和Ela分别为点对齐项和线对齐项；Eg表示网格形状保持项，λlp、λpa、λla和λg分别为对应项的权重。
10.如权利要求8所述的一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法，其特征在于，所述步骤S10中，对所有两两相邻的相机图像，使用图割法在马尔可夫随机场上优化全局能量函数，得到在给定损失定义下达到最小损失的拼接缝，在最佳拼接缝两侧分别选择对应侧的图像部分，并在接缝线两侧采用多频段融合算法，得到全部N台相机的最终拼接融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211287542.2A CN115619623A (zh) | 2022-10-20 | 2022-10-20 | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211287542.2A CN115619623A (zh) | 2022-10-20 | 2022-10-20 | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115619623A true CN115619623A (zh) | 2023-01-17 |
Family
ID=84865211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211287542.2A Pending CN115619623A (zh) | 2022-10-20 | 2022-10-20 | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115619623A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645496A (zh) * | 2023-05-23 | 2023-08-25 | 北京理工大学 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
| CN117114997A (zh) * | 2023-10-23 | 2023-11-24 | 四川新视创伟超高清科技有限公司 | 基于缝合线搜索算法的图像拼接方法及装置 |
-
2022
- 2022-10-20 CN CN202211287542.2A patent/CN115619623A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645496A (zh) * | 2023-05-23 | 2023-08-25 | 北京理工大学 | 一种基于网格变形的拖挂车动态环视拼接与稳定方法 |
| CN117114997A (zh) * | 2023-10-23 | 2023-11-24 | 四川新视创伟超高清科技有限公司 | 基于缝合线搜索算法的图像拼接方法及装置 |
| CN117114997B (zh) * | 2023-10-23 | 2024-01-30 | 四川新视创伟超高清科技有限公司 | 基于缝合线搜索算法的图像拼接方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080911B2 (en) | Mosaic oblique images and systems and methods of making and using same | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| CN115619623A (zh) | 一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法 | |
| CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
| CN104732482A (zh) | 一种基于控制点的多分辨率图像拼接方法 | |
| CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
| CN112348775B (zh) | 基于车载环视的路面坑塘检测系统及方法 | |
| CN114973028B (zh) | 一种航拍视频图像实时变化检测方法及系统 | |
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质 | |
| CN111815710A (zh) | 鱼眼相机自动标定方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| CN115272477A (zh) | 应用于全景影像拼接的棋盘格编码角点检测算法 | |
| CN115376028A (zh) | 基于稠密特征点拼接和改进型yolov 5的目标检测方法 | |
| CN113468991B (zh) | 一种基于全景视频的停车位检测方法 | |
| CN113723373B (zh) | 一种基于无人机全景影像的违建检测方法 | |
| CN117078582A (zh) | 一种钻石纯度检测方法及系统 | |
| AU2012205205B2 (en) | Mosaic oblique images and methods of making and using same | |
| CN116912147A (zh) | 一种基于嵌入式平台的全景视频实时拼接方法 | |
| CN114926346A (zh) | 一种大尺度堤岸点云数据拼接融合方法 | |
| CN117934568A (zh) | 基于多尺度局部显著主方向特征的跨模态图像配准方法 | |
| CN116452995A (zh) | 基于机载任务机的航拍图像定位方法 | |
| Bhattacharya et al. | Generating realtime panorama using a generalized feature vector approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |