CN115272477A - 应用于全景影像拼接的棋盘格编码角点检测算法 - Google Patents
应用于全景影像拼接的棋盘格编码角点检测算法 Download PDFInfo
- Publication number
- CN115272477A CN115272477A CN202210746600.7A CN202210746600A CN115272477A CN 115272477 A CN115272477 A CN 115272477A CN 202210746600 A CN202210746600 A CN 202210746600A CN 115272477 A CN115272477 A CN 115272477A
- Authority
- CN
- China
- Prior art keywords
- checkerboard
- image
- calibration
- coding
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 32
- 239000004744 fabric Substances 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- -1 hydrogen Chemical class 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/80—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本发明公开了应用于全景影像拼接的棋盘格编码角点检测算法，包括如下步骤：获取棋盘格ROI区域：全景环视采用的是鱼眼摄像头，具有超过180度的视角，拍摄的图像内容要素过多且两端景物畸变明显，为了减少环境和摄像头畸变带来的干扰，对鱼眼摄像头原图进行矫正并剔除了畸变原图中的干扰信息，仅保留棋盘格及其附近的像素信息；对棋盘格区域编码得到矩阵C0：目标棋盘格的ROI区域分别对应标定场的四个角；提取ROI区域上的黑色格子的四边形轮廓，并对其进行二进制编码排序；对检测出来的二进制编码C1与已知的二进制编码C0进行匹配，并计算出经纬线及其交点，从交点中提取出所需的目标标定角点，最终还原到矫正图像上完成角点的自动检测。
Description
技术领域
本发明涉及智能辅助驾驶技术领域，特别是涉及应用于全景影像拼接的棋盘格编码角点检测算法。
背景技术
随着自动驾驶的发展，车载全景影像拼接系统已经得到了广泛的认可及应用，装配率逐年上升。自动标定作为车载全景影像拼接系统的核心功能之一，其性能要求越来越严格，同时为了适配越来越多样化的标定环境，需要研究更为高效快捷的棋盘格角点自动检测算法；
全景影像拼接分为标定和拼接两部分内容：标定过程计算得到摄像头内参矩阵和外参矩阵，摄像头内参矩阵取决于摄像头自身属性，在安装前可以通过张正友标定法标定得到，外参矩阵则与摄像头安装位置及其姿态有关，此时摄像头已经固定在车辆上，一般通过在车辆四周铺设标定布，通过识别标定布上的黑白棋盘格角点位置进行外参矩阵的计算；拼接过程是在标定得到内参矩阵和外参矩阵的基础上，对摄像头原始图像进行矫正、透视变换、拼接融合等处理，最终形成一个可以看到汽车四周场景的全景环视影像；
自动标定中的棋盘格角点检测算法对标定布铺设、摄像头安装等外部环境要求较高，无法解决因标定环境带来的图像信息失真(光线不均匀、棋盘格变形、标定布褶皱、棋盘格被遮挡等)导致的失败率较高和鲁棒性不好的问题，为此我们提出应用于全景影像拼接的棋盘格编码角点检测算法。
发明内容
为了克服现有技术的不足，本发明提供应用于全景影像拼接的棋盘格编码角点检测算法，能够自适应棋盘格形变较大、棋盘格被遮挡或者有效信息损失等标定场景，在保证自动标定的准确性和高效率基础上，具有更好的适应性。
为解决上述技术问题，本发明提供如下技术方案：应用于全景影像拼接的棋盘格编码角点检测算法，包括如下步骤：
步骤一：获取棋盘格ROI区域，全景环视采用的是鱼眼摄像头，具有超过180度的视角，拍摄的图像内容要素过多且两端景物畸变明显，严重影像棋盘格识别的成功率，为了减少环境和摄像头畸变带来的干扰，对鱼眼摄像头原图进行矫正并剔除了畸变原图中的干扰信息，仅保留棋盘格及其附近的像素信息；
1、对鱼眼摄像头原图进行矫正，去除鱼眼摄像头带来的畸变，鱼眼图像的畸变矫正需要获取摄像头内参矩阵，采用张正友标定法获取，制作一块具有黑白棋盘格的标定板，使用鱼眼摄像头在不同角度下拍摄该标定板得到一组图片，识别图像中的棋盘格角点并通过迭代法计算得到对应摄像头的内参矩阵；
2、利用1中的内参矩阵对鱼眼畸变原图进行矫正，为了尽量保留畸变原图中完整的信息，将矫正图的宽、高方向在原图的基础上分别扩大了3倍和2倍；
3、若原图像上的像素信息较少，经过矫正之后在矫正图像中出现了模糊不清甚至变形的情况，并且矫正图中的冗余信息过多，会严重影响棋盘格角点识别的准确性，通过将矫正图像进行一次透视变换，利用识别标定布中间位置特征明显的棋盘格角点信息，结合标定布的实际尺寸计算得到一个投影矩阵，从而将2中的矫正图像变换成一个俯视视角的投影图像，该变换可将矫正图像中的大部分无关信息裁剪掉，仅保留棋盘格及其附近的有效像素信息；
4、根据标定布的实际位置关系，估算出左右两侧棋盘格在投影图像中的区域作为ROI区域，并将其裁剪截取出来，作为下一步角点检测的输入；
步骤二：对棋盘格区域编码得到矩阵C0，目标棋盘格的ROI区域分别对应标定场的四个角，棋盘格位置分布关系左上和右下相同，右上和左下相同，将黑块区域记为1，白块记为0，对每一块棋盘格进行编码，左上和右下棋盘格对应的编码方式为
右上和左下棋盘格对应的编码方式为
步骤三：提取ROI区域上的黑色格子的四边形轮廓，并对其进行二进制编码排序，编码方式和步骤二中的编码方式相同，即黑色格子记作1，白色格子记作0，具体流程主要如下：
1、对ROI区域图像进行灰度化，并通过高斯滤波，滤除低通噪声；
2、进行二值化处理，结合形态学闭运算操作，消除干扰杂散黑块；
3、对2处理后的ROI进行形态学膨胀运算操作，使四边形黑块分离；
4、进行腐蚀操作，拉近四边形黑色块间的距离；
5、进行多边形轮廓检测，根据棋盘格上黑色格子的实际面积和几何特性得到对应的四边形轮廓；
6、计算提取出来的四边形轮廓的平均边长，根据边长及四边形间的相对距离进行二进制编码，轮廓内记为1，轮廓外记为0，并得到二进制码矩阵C1；
7、根据检测出的四边形的坐标得到棋盘格在ROI区域中的具体位置P0；
步骤四：对检测出来的二进制编码C1与已知的二进制编码C0进行匹配，并计算出经纬线及其交点，从交点中提取出所需的目标标定角点，最终还原到矫正图像上完成角点的自动检测，具体流程如下：
1、确定编码C1是否与C0中的某个唯一子集的“1”相匹配，通过查找方式定位编码C1在C0中的位置；
2、通过流程1中的定位以及检测到的四边形轮廓的平均间距，结合步骤三中流程7得到的P0位置关系，补全得到4*4方块区域；
3、采用横纵坐标相连的经纬线划分方式，得到识别出的内角点交点；
4、筛选出目标标定角点，并通过逆矩阵计算还原到矫正图像。
与现有技术相比，本发明能达到的有益效果是：
(1)适应性更好，对非均匀环境下如强弱光照射不均、标定布摆放位置失准、标定布起褶皱等场景的自动标定成功率有显著提升，在相同环境下，传统的基于多边形轮廓的角点检测识别算法标定100次成功率接近90％，本发明100次标定成功率100％，其中在强光环境下，图像预处理后的ROI图像上无法完全滤除强光反射的高亮区域，传统方法识别出来的角点数量不足从而导致标定完全失败，而本发明可根据识别出来的相邻区域位置补全缺失信息，极限情况下只需要识别出3块黑色棋盘格位置即可将其余位置推算出来，大大提升了标定成功率，同理因标定布铺设问题产生的棋盘格形变，本发明的算法容错性更大，在多种环境下尝试均能在保证准确度的基础上成功标定；
(2)效率更高，本发明方法单次标定及全景拼接平均时长为10.5s，传统的基于多边形轮廓的角点检测识别算法平均时长超过20s，传统方法要求尽量得到完整的ROI区域，部分棋盘格的缺失将导致多边形轮廓识别失败，需要进一步放大矫正图像，数据量增大将延长处理时间，而本发明对ROI区域要求更宽松，可节约更多处理时长。
附图说明
图1为本发明的车载全景影像拼接流程图。
图2为本发明的基于四边形轮廓的角点识别算法流程图。
图3为本发明的棋盘格编码角点检测算法流程图。
图4为本发明的鱼眼摄像头畸变图。
图5为本发明的矫正图拉伸示意图。
图6为本发明的矫正图俯视视角示意图。
图7为本发明的棋盘格编码角点检测算法中标定布示意图。
图8为本发明的棋盘格编码角点检测算法技术效果图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。下述实施例中的实验方法，如无特殊说明，均为常规方法，下述实施例中所用的材料、试剂等，如无特殊说明，均可从商业途径得到。
实施例
请参照图1所示，车载全景影像拼接流程如下：
步骤一：获取含标定布棋盘格的鱼眼图像，在车辆四周按照标定要求铺设相应规格尺寸的棋盘格标定布，同时获取四路鱼眼摄像头拍摄的原始图像；
步骤二：对鱼眼图像进行畸变矫正，步骤一中的原始图像存在畸变，按以下步骤完成畸变矫正：
1、利用张正友标定法获得四路鱼眼摄像头的内参矩阵；
2、使用kannala鱼眼畸变校正算法去畸变，该算法的数学模型如下式：rd＝k0α+k1α3+k2α5+k3α7+k4α9+......
式中，[k0,k1,k2,k3,k4]为畸变系数，一般k0＝1，rd为畸变图中某成像点的像高，α为该成像点对应的入射光线和相机光轴的夹角；
3、根据1和2所得的四路鱼眼摄像头的内参矩阵和畸变系数，分别计算每路摄像头下的矫正图像；
步骤三：自动标定计算外参矩阵，具体流程如下：
1、确定并计算全景图像中的标定角点；
2、对步骤二中的矫正图像利用棋盘格角点检测算法识别标定角点；
3、经透视投影变换计算外参矩阵，如下式所示：
式中的H对应外参的单应性矩阵，[u v 1]T为全景图像上的某一点像素坐标，[x y1]T为矫正图像上的某一点像素坐标；
步骤四：图像拼接和融合，具体流程如下：
1、通过步骤三中计算得到的外参，对四路摄像头画面进行全景拼接；
2、采用加权平均算法处理四幅图像融合区域的平滑过渡，左前和右前的融合区域的面积比例为1/2，左后和右后的比例为1/4；
3、融合权重的计算方法，以左前融合区域为例：
p为融合区域内的某一像素点，假设点p到前向边界的垂直距离为df，到左向边界的垂直距离为dl，则点p相对于前向和左向的权重分别为：
ωl＝1-ωf
上式中ωf为前向的像素权重，ωl为左向的像素权重，则该点p的融合像素为如下式所示：P＝ωfPf+ωlPl
上式中的P为点p的融合像素值，Pf为前向摄像头对应的原像素值，Pl为左向摄像头对应的原像素值。
综合上述流程，可以发现自动标定是车载全景影像拼接的关键环节，该环节决定是否能够将四路摄像头的图像信息精确的拼接起来，同时该环节的标定效率和稳定性也直接影响了车载全景影像系统的整体性能，根据步骤三自动标定流程的数学原理可知，要获得相应的外参矩阵，需要至少四组标定角点对(全景图像上的角点和矫正图像上的角点一一对应)才能实现，全景图像上的标定角点可以通过与标定场景的比例关系计算得到，矫正图像上对应的标定角点则需要通过棋盘格角点检测算法自动识别得到。
请参照图2所示，基于四边形轮廓的角点识别算法流程如下：
步骤一：获取ROI区域，全景影像标定所用的鱼眼摄像头视野范围宽广，为了减少环境干扰进而提高识别成功率，将目标棋盘格区域裁剪出来单独进行处理；
1、利用内参矩阵对鱼眼摄像头原图进行畸变矫正；
2、将矫正图像做透视变换，去除掉矫正图像中与棋盘格不相关的部分，仅保留目标棋盘格区域的图像；
3、根据相对坐标位置关系裁剪出目标棋盘格区域，并记录裁剪时的像素坐标；
步骤二：图像预处理，在对裁剪的图像进行角点识别前，会进行图像预处理以提高检测的准确性和成功率。
1、滤波处理，减少图像的噪声；
2、二值化处理，提取有效信息；
3、形态学操作，使棋盘格区块分离，便于后续的轮廓提取；
步骤三：轮廓提取与多边形拟合，从预处理后的图像中提取棋盘格轮廓，利用多边形拟合算法对提取出来的轮廓进行拟合，仅保留四边形拟合结果；
步骤四：识别目标角点，对多边形拟合结果进行过滤判断，排除不是棋盘格轮廓的四边形，取余下四边形的各角点作为识别结果；
步骤五：识别角点后处理，由于在图像预处理中对棋盘格进行了改变，直接使用步骤四中的四边形轮廓角点作为最终的结果将带来较大误差，通过相邻四边形存在公共角点的关联性，将两个四边形公共角点的坐标进行算数平均作为最终角点识别的结果，可降低误差带来的影响。
最后通过逆计算内参矩阵，将ROI区域的角点位置计算回矫正图像中，并对角点进一步做亚像素精确化处理，提高数值精度，完成标定。
基于轮廓的角点识别算法中，存在以下问题：
在对ROI区域图像进行二值化处理、形态学操作和多边形拟合的过程中，相关参数受外部环境影响较大，导致图像预处理不能对每一个棋盘格完成分离，从而影响棋盘格的轮廓识别，无法提取到完整的棋盘格轮廓；矫正图像上的棋盘格信息存在缺失，无法获取到棋盘格的所有轮廓或者出现找不到棋盘格轮廓的情况，从而角点识别失败。
请参照图3至图8所示，根据棋盘格黑白格子间分布的几何特性，以及排列顺序的方式本发明提供应用于全景影像拼接的棋盘格编码角点检测算法，包括如下步骤：
步骤一：获取棋盘格ROI区域，全景环视采用的是鱼眼摄像头，具有超过180度的视角，拍摄的图像内容要素过多且两端景物畸变明显，严重影像棋盘格识别的成功率，为了减少环境和摄像头畸变带来的干扰，对鱼眼摄像头原图进行矫正并剔除了畸变原图中的干扰信息，仅保留棋盘格及其附近的像素信息；
1、对鱼眼摄像头原图进行矫正，去除鱼眼摄像头带来的畸变，鱼眼图像的畸变矫正需要获取摄像头内参矩阵，采用张正友标定法获取，制作一块具有黑白棋盘格的标定板，使用鱼眼摄像头在不同角度下拍摄该标定板得到一组图片，识别图像中的棋盘格角点并通过迭代法计算得到对应摄像头的内参矩阵；
2、利用1中的内参矩阵对鱼眼畸变原图进行矫正，为了尽量保留畸变原图中完整的信息，将矫正图的宽、高方向在原图的基础上分别扩大了3倍和2倍；
3、若原图像上的像素信息较少，经过矫正之后在矫正图像中出现了模糊不清甚至变形的情况，并且矫正图中的冗余信息过多，会严重影响棋盘格角点识别的准确性，通过将矫正图像进行一次透视变换，利用识别标定布中间位置特征明显的棋盘格角点信息，结合标定布的实际尺寸计算得到一个投影矩阵，从而将2中的矫正图像变换成一个俯视视角的投影图像，该变换可将矫正图像中的大部分无关信息裁剪掉，仅保留棋盘格及其附近的有效像素信息；
4、根据标定布的实际位置关系，估算出左右两侧棋盘格在投影图像中的区域作为ROI区域，并将其裁剪截取出来，作为下一步角点检测的输入；
步骤二：对棋盘格区域编码得到矩阵C0，目标棋盘格的ROI区域分别对应标定场的四个角，棋盘格位置分布关系左上和右下相同，右上和左下相同，将黑块区域记为1，白块记为0，对每一块棋盘格进行编码，左上和右下棋盘格对应的编码方式为
右上和左下棋盘格对应的编码方式为
步骤三：提取ROI区域上的黑色格子的四边形轮廓，并对其进行二进制编码排序，编码方式和步骤二中的编码方式相同，即黑色格子记作1，白色格子记作0，具体流程主要如下：
1、对ROI区域图像进行灰度化，并通过高斯滤波，滤除低通噪声；
2、进行二值化处理，结合形态学闭运算操作，消除干扰杂散黑块；
3、对2处理后的ROI进行形态学膨胀运算操作，使四边形黑块分离；
4、进行腐蚀操作，拉近四边形黑色块间的距离；
5、进行多边形轮廓检测，根据棋盘格上黑色格子的实际面积和几何特性得到对应的四边形轮廓；
6、计算提取出来的四边形轮廓的平均边长，根据边长及四边形间的相对距离进行二进制编码，轮廓内记为1，轮廓外记为0，并得到二进制码矩阵C1；
7、根据检测出的四边形的坐标得到棋盘格在ROI区域中的具体位置P0；
步骤四：对检测出来的二进制编码C1与已知的二进制编码C0进行匹配，并计算出经纬线及其交点，从交点中提取出所需的目标标定角点，最终还原到矫正图像上完成角点的自动检测，具体流程如下：
1、确定编码C1是否与C0中的某个唯一子集的“1”相匹配，通过查找方式定位编码C1在C0中的位置；
2、通过流程1中的定位以及检测到的四边形轮廓的平均间距，结合步骤三中流程7得到的P0位置关系，补全得到4*4方块区域；
3、采用横纵坐标相连的经纬线划分方式，得到识别出的内角点交点；
4、筛选出目标标定角点，并通过逆矩阵计算还原到矫正图像。
本发明提供的应用于全景影像拼接的棋盘格编码角点检测算法，一是适应性更好：对非均匀环境下如强弱光照射不均、标定布摆放位置失准、标定布起褶皱等场景的自动标定成功率有显著提升，在相同环境下，传统的基于多边形轮廓的角点检测识别算法标定100次成功率接近90％，本发明100次标定成功率100％，其中在强光环境下，图像预处理后的ROI图像上无法完全滤除强光反射的高亮区域，传统方法识别出来的角点数量不足从而导致标定完全失败，而本发明可根据识别出来的相邻区域位置补全缺失信息，极限情况下只需要识别出3块黑色棋盘格位置即可将其余位置推算出来，大大提升了标定成功率；同理因标定布铺设问题产生的棋盘格形变，本发明的算法容错性更大，在多种环境下尝试均能在保证准确度的基础上成功标定；(二是效率更高：本发明单次标定及全景拼接平均时长为10.5s，传统的基于多边形轮廓的角点检测识别算法平均时长超过20s，传统方法要求尽量得到完整的ROI区域，部分棋盘格的缺失将导致多边形轮廓识别失败，需要进一步放大矫正图像，数据量增大将延长处理时间，而本发明对ROI区域要求更宽松，可节约更多处理时长。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (1)
1.应用于全景影像拼接的棋盘格编码角点检测算法，其特征在于，包括如下步骤：
S1、获取棋盘格ROI区域；
S1-1、全景环视采用的是鱼眼摄像头，具有超过180度的视角，拍摄的图像内容要素过多且两端景物畸变明显，为了减少环境和摄像头畸变带来的干扰，对鱼眼摄像头原图进行矫正并剔除了畸变原图中的干扰信息，仅保留棋盘格及其附近的像素信息；
S1-2、对鱼眼摄像头原图进行矫正，去除鱼眼摄像头带来的畸变，鱼眼图像的畸变矫正需要获取摄像头内参矩阵，采用张正友标定法获取，制作一块具有黑白棋盘格的标定板，使用鱼眼摄像头在不同角度下拍摄该标定板得到一组图片，识别图像中的棋盘格角点并通过迭代法计算得到对应摄像头的内参矩阵；
S1-3、利用S1-2中的内参矩阵对鱼眼畸变原图进行矫正，为了尽量保留畸变原图中完整的信息，将矫正图的宽、高方向在原图的基础上分别扩大3倍和2倍；
S1-4、若原图像上的像素信息较少，经过矫正之后在矫正图像中出现了模糊不清甚至变形的情况，并且矫正图中的冗余信息过多，会严重影响棋盘格角点识别的准确性，通过将矫正图像进行一次透视变换，利用识别标定布中间位置特征明显的棋盘格角点信息，结合标定布的实际尺寸计算得到一个投影矩阵，从而将S1-3中的矫正图像变换成一个俯视视角的投影图像，该变换可将矫正图像中的大部分无关信息裁剪掉，仅保留棋盘格及其附近的有效像素信息；
S1-5、根据标定布的实际位置关系，估算出左右两侧棋盘格在投影图像中的区域作为ROI区域，并将其裁剪截取出来，作为下一步角点检测的输入；
S2、对棋盘格区域编码得到矩阵C0；
S2-1、目标棋盘格的ROI区域分别对应标定场的四个角，棋盘格位置分布关系，左上和右下相同，右上和左下相同，将黑块区域记为1，白块记为0，对每一块棋盘格进行编码，左上和右下棋盘格对应的编码方式为
右上和左下棋盘格对应的编码方式为
S3、提取ROI区域上的黑色格子的四边形轮廓，并对其进行二进制编码排序，编码方式和S2中的编码方式相同，即黑色格子记作1，白色格子记作0；
S3-1、对ROI区域图像进行灰度化，并通过高斯滤波，滤除低通噪声；
S3-2、进行二值化处理，结合形态学闭运算操作，消除干扰杂散黑块；
S3-3、对S3-2处理后的ROI进行形态学膨胀运算操作，使四边形黑块分离；
S3-4、进行腐蚀操作，拉近四边形黑色块间的距离；
S3-5、进行多边形轮廓检测，根据棋盘格上黑色格子的实际面积和几何特性得到对应的四边形轮廓；
S3-6、计算提取出来的四边形轮廓的平均边长，根据边长及四边形间的相对距离进行二进制编码，轮廓内记为1，轮廓外记为0，并得到二进制码矩阵C1；
S3-7、根据检测出的四边形的坐标得到棋盘格在ROI区域中的具体位置P0；
S4、对检测出来的二进制编码C1与已知的二进制编码C0进行匹配，并计算出经纬线及其交点，从交点中提取出所需的目标标定角点，最终还原到矫正图像上完成角点的自动检测；
S4-1、确定编码C1是否与C0中的某个唯一子集的“1”相匹配，通过查找方式定位编码C1在C0中的位置；
S4-2、通过流程S4-1中的定位以及检测到的四边形轮廓的平均间距，结合S3中流程S3-7得到的P0位置关系，补全得到4*4方块区域；
S4-3、采用横纵坐标相连的经纬线划分方式，得到识别出的内角点交点；
S4-4、筛选出目标标定角点，并通过逆矩阵计算还原到矫正图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210746600.7A CN115272477A (zh) | 2022-06-28 | 2022-06-28 | 应用于全景影像拼接的棋盘格编码角点检测算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210746600.7A CN115272477A (zh) | 2022-06-28 | 2022-06-28 | 应用于全景影像拼接的棋盘格编码角点检测算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272477A true CN115272477A (zh) | 2022-11-01 |
Family
ID=83764233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210746600.7A Pending CN115272477A (zh) | 2022-06-28 | 2022-06-28 | 应用于全景影像拼接的棋盘格编码角点检测算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272477A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030450A (zh) * | 2023-03-23 | 2023-04-28 | 摩尔线程智能科技(北京)有限责任公司 | 棋盘格角点识别方法、装置、设备和介质 |
| CN117422650A (zh) * | 2023-12-18 | 2024-01-19 | 湖北珞珈实验室 | 全景影像畸变校正方法、装置、电子设备及介质 |
| CN117745563A (zh) * | 2024-02-21 | 2024-03-22 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
| CN117745563B (zh) * | 2024-02-21 | 2024-05-14 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
-
2022
- 2022-06-28 CN CN202210746600.7A patent/CN115272477A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030450A (zh) * | 2023-03-23 | 2023-04-28 | 摩尔线程智能科技(北京)有限责任公司 | 棋盘格角点识别方法、装置、设备和介质 |
| CN116030450B (zh) * | 2023-03-23 | 2023-12-19 | 摩尔线程智能科技(北京)有限责任公司 | 棋盘格角点识别方法、装置、设备和介质 |
| CN117422650A (zh) * | 2023-12-18 | 2024-01-19 | 湖北珞珈实验室 | 全景影像畸变校正方法、装置、电子设备及介质 |
| CN117422650B (zh) * | 2023-12-18 | 2024-03-08 | 湖北珞珈实验室 | 全景影像畸变校正方法、装置、电子设备及介质 |
| CN117745563A (zh) * | 2024-02-21 | 2024-03-22 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
| CN117745563B (zh) * | 2024-02-21 | 2024-05-14 | 深圳市格瑞邦科技有限公司 | 一种双摄像头结合的平板电脑增强显示方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458898B (zh) | 相机标定板、标定数据采集方法、畸变校正方法及装置 | |
| CN111178236B (zh) | 一种基于深度学习的车位检测方法 | |
| CN109785291B (zh) | 一种车道线自适应检测方法 | |
| CN115272477A (zh) | 应用于全景影像拼接的棋盘格编码角点检测算法 | |
| CN109903227B (zh) | 基于相机几何位置关系的全景影像拼接方法 | |
| JP3156817B2 (ja) | 車両周辺監視装置 | |
| CN113822156B (zh) | 车位检测处理方法、装置、电子设备及存储介质 | |
| CN110660105B (zh) | 一种全景环视系统的标定参数优化方法及装置 | |
| CN111815710A (zh) | 鱼眼相机自动标定方法 | |
| CN106952219B (zh) | 一种基于外参数修正鱼眼像机的图像生成方法 | |
| CN112330755B (zh) | 环视系统的标定评价方法及装置、存储介质、终端 | |
| CN111243034A (zh) | 一种全景辅助泊车标定方法、装置、设备及存储介质 | |
| CN106886976B (zh) | 一种基于内参数修正鱼眼像机的图像生成方法 | |
| CN114898353B (zh) | 一种基于视频序列图像特征与信息的车牌识别方法 | |
| CN105741296A (zh) | 一种360度全视角鸟瞰全景行车辅助标定方法 | |
| CN115049535B (zh) | 鱼眼镜头有效区域获取与图像精细校正方法 | |
| CN111325799B (zh) | 一种大范围高精度的静态环视自动标定图案及系统 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
| CN116228535A (zh) | 图像处理方法、装置、电子设备及车辆 | |
| CN113468991B (zh) | 一种基于全景视频的停车位检测方法 | |
| CN112560606B (zh) | 挂车角度识别方法及装置 | |
| CN108596981B (zh) | 一种图像的鸟瞰视角重投影方法、装置及便携式终端 | |
| CN114926332A (zh) | 基于无人机母车的无人机全景图像拼接方法 | |
| CN113674361A (zh) | 一种车载环视校准实现方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |