CN111539970A - 一种适用于结构光三维重建的棋盘格角点检测方法 - Google Patents

一种适用于结构光三维重建的棋盘格角点检测方法 Download PDF

Info

Publication number
CN111539970A
CN111539970A CN202010354228.6A CN202010354228A CN111539970A CN 111539970 A CN111539970 A CN 111539970A CN 202010354228 A CN202010354228 A CN 202010354228A CN 111539970 A CN111539970 A CN 111539970A
Authority
CN
China
Prior art keywords
corner
point
checkerboard
points
angular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010354228.6A
Other languages
English (en)
Other versions
CN111539970B (zh
Inventor
熊蔡华
陈犇
李全林
万中华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010354228.6A priority Critical patent/CN111539970B/zh
Publication of CN111539970A publication Critical patent/CN111539970A/zh
Application granted granted Critical
Publication of CN111539970B publication Critical patent/CN111539970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Abstract

本发明属于机器视觉相关技术领域，其公开了一种适用于结构光三维重建的棋盘格角点检测方法，所述方法包括以下步骤：(1)根据摄像机姿态估计或者物体表面的任务来获取棋盘格灰度图像，并对所述棋盘格灰度图像进行平滑处理；(2)采用模板匹配的方法对得到的棋盘格图像进行角点候选点检测；(3)采用求取曲面极值的方法求得角点候选点亚像素位置；(4)基于得到的角点候选点亚像素位置，采用角点生长策略筛选出棋盘格角点，并对棋盘格进行复原，进而得到棋盘格的角点索引矩阵。所述方法可以在噪声大、光照不均匀以及拍摄图片存在遮挡的情况下检测出相应的棋盘格角点，并对位于同一区域的角点建立完整的索引矩阵，完成对棋盘格结构的复原。

Description

一种适用于结构光三维重建的棋盘格角点检测方法
技术领域
本发明属于机器视觉相关技术领域，更具体地，涉及一种适用于结构光三维重建的棋盘格角点检测方法。
背景技术
棋盘格模板常被用于摄像机标定中，这主要得益于棋盘格的角点结构简单、位置间隔比较均匀、同时棋盘格图像容易生成、构造成本低廉。因此针对摄像机标定的棋盘格检测方法得到了广泛的研究与应用。近年来在三维重建领域，采用多个摄像机拍摄相同的(平面或者非平面)棋盘格区域，根据每个摄像机检测到的角点位置坐标的差异，以来确定每个摄像机各自的位姿以及将平面棋盘格图像投影在三维物体上，根据物体表面投影角点的三维坐标差异来重建物体的表面结构等也被越来越多地应用在实际的任务中。
然而，目前上述任务大多是采用摄像机标定中的棋盘格角点检测方法来继续三维重建，在实际的应用中常会遇到一些现有方法无法解决的问题，比如在结构光三维重建中，照射到物体表面的光线受位置和环境影响通常是不均匀的，尤其是医学领域的三维重建(比如肺部功能检测)投影图往往亮暗不均匀。较大的图像噪声也会造成很多的假阳性点，对角点检测造成极大的干扰。同时三维重建中重建物体的表面往往并非平面，一些部位严重的倾斜角度也会使棋盘格产生严重的变形，致使某些角点距离其他角点过近甚至被遮挡，这种情况会使全部检测出角点的难度大大增加。同时，三维重建中的棋盘格检测还存在部分中间角点缺失、边界角点位置偏移等问题，这种情况下，即使能检测出图像中的全部角点，仍然不能将棋盘格网格复原和计算出棋盘格中角点索引矩阵，也就是每个角点位于棋盘格中的第几行几列以及该角点的领域存在哪些角点。
近年来一些针对三维重建的棋盘格角点检测算法被相继提出：Vinh Ninh Dao和Masanori Sugimoto首先使用模板匹配的方式检测出来两种角点候选点和四种不同方向的边缘曲线，然后对它们进行分组剔除不满足棋盘格角点几何特征的假阳性点，最后采用对极几何实现棋盘格网格复原。这种方法对光照不均匀和噪声有很好的检测效果，但是会产生较多的假阳性点和错误的边界曲线。
Stuart Bennett和Joan Lasenby两人提出了知名的ChESS棋盘格角点检测算法，这种算法对一张图片中的每一个像素点(不包含5个领域宽的边界像素点)构建一个以该像素点为中心的圆环，在圆环上等间距地采样16个像素点，然后对这些采样点计算8等距的灰度值差值与4等距灰度值交替插值再加上16个采样点的平均像素值来确定每一个像素点为真实角点的置信度。之后两人又在圆环采样的基础上提出一种计算角点方向的方法，在构建一个初始方格的基础上利用相邻角点方向相反的特性对棋盘格网格进行复原。这种方法针对轻微变形的棋盘格具有很好的检测效果，但是在透视畸变和噪声较为严重的情况下检测效果并不理想。
Andreas Geiger等人采用两组四个滤波器核对图像进行卷积计算，统计出响应值大的像素点作为候选角点，然后使用一种区域生长策略，先对后选角点生成一个3×3的初始角点索引矩阵，然后按照矩阵边缘角点的边界方向对该矩阵迭代地进行左、上、右、下地扩增，然后设计一种棋盘能量函数来判断是否进行此次扩增，只有当扩增后矩阵的能量值低于当前的矩阵的能量值时，才进行此次扩增。这种方法对噪声和不均匀的光照都有很好的鲁棒性，但是这种算法的计算复杂，且只能用于完整的棋盘格检测，不适用于有遮挡或者遗失角点的图像。
Peter Fuersattel等人提出的知名的OCPAD算法，尝试使用先计算出棋盘格图片中的各个联通域，然后使用VF2算法进行错误容忍度较大的子图匹配，将和给定棋盘格先验信息(角点索引矩阵的行与列)最接近的最大联通子图作为棋盘格复原后的角点索引矩阵。这种算法能够对分辨率低，畸变较高的棋盘格图像进行很好的复原，但是这种算法需要知道棋盘格的先验知识，对一些特征明显但是光照不均匀的图像检测效果较差。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种适用于结构光三维重建的棋盘格角点检测方法，其主要是克服现有三维重建中棋盘格角点检测方法存在的对畸变和光照敏感，不能对有遮挡或者包含部分缺失角点的棋盘格图像进行完整重建的问题，所述检测方法可以在噪声大、光照不均匀以及拍摄图片存在遮挡的情况下检测出相应的棋盘格角点，并对位于同一区域的角点建立完整的索引矩阵，完成对棋盘格结构的复原，该检测方法可以用于结构光三维重建中的位姿估计和物体表面重建等任务中。
为实现上述目的，本发明提供了一种适用于结构光三维重建的棋盘格角点检测方法，所述检测方法包括以下步骤：
(1)根据摄像机姿态估计或者物体表面的任务来获取棋盘格灰度图像，并对所述棋盘格灰度图像进行平滑处理；
(2)采用模板匹配的方法对得到的棋盘格图像进行角点候选点检测；
(3)采用求取曲面极值的方法求得角点候选点亚像素位置；
(4)基于得到的角点候选点亚像素位置，采用角点生长策略筛选出棋盘格角点，并对棋盘格进行复原，进而得到棋盘格的角点索引矩阵。
进一步地，步骤(1)中，对棋盘格灰度图像进行窗口大小5X5、标准差为0的高斯平滑处理。
进一步地，步骤(2)包括以下子步骤：
(21)分别使用四个角点模板滤波器与平滑后的图像进行卷积，并将获取的四个滤波后的图像进行相加以生成滤波响应图I；
(22)分别采用四个角点边界滤波器与平滑后的图像进行卷积，并将获取的四个滤波后的图像进行相加，以生成滤波响应图II；
(23)逐像素使用生成的滤波响应图I减去所述滤波响应图II生成最终的角点响应图谱；
(24)采用设定的阈值对角点响应图谱中的像素点进行筛选，并使用非极大值抑制筛选出每个像素点族中响应值最大的像素点作为棋盘格角点候选点。
进一步地，所述阈值为150，角点附近的响应值大于150，而非角点像素点的响应值通常为负，仅真实角点附近的像素点簇被保留。
进一步地，每个角点模板滤波器对不同角度的角点具有不同的滤波值。
进一步地，首先，分别使用四个角点边界滤波器与平滑后的图像进行卷积，每个角点边界滤波器对拥有不同边界方向的角点具有不同的滤波值，从而筛选出不满足角点边界条件的假阳性点；然后，将获取的四个滤波后的图像进行相加，以生成滤波响应图II。
进一步地，步骤(3)中，首先，以角点候选点为中心在角点响应图谱上选取4×4的邻域作为一个区域patch，然后对每一个区域patch进行二次曲面拟合；然后，对每一个区域patch进行拟合得到二次曲面多项式后，求取每一个二次曲面多项式的极值点，该极值点即为角点候选点的亚像素坐标位置。
进一步地，角点候选点的亚像素坐标为：
Figure BDA0002472926650000041
式中，c1，c1，…，c6为二次曲面拟合多项式的系数。
进一步地，步骤(4)包括以下子步骤：
(41)以每一个角点候选点为中心，4个像素点为半径建立一个围绕角点候选点的圆环，并对圆环经过的像素点灰度值变化进行分析，以统计角点候选点的四个边界方向；其中，少于4个边界方向的角点候选点判断为假阳性，不再进行后续重建；
(42)基于得到的响应值大小及边界方向对每个角点候选点进行排序；
(43)对步骤(42)中生成的第一初始角点索引矩阵，分别沿着边界方向进行向右、向上、向左、向下的索引矩阵扩增，直到所有方向均不能进行扩增，此时的扩增矩阵为该角点所在的区域内最大角点索引矩阵；
(44)将每一个最大角点索引矩阵按照矩阵包含的角点的坐标关系进行整合，以生成最后的单棋盘格或者多棋盘格角点索引矩阵，从而重建棋盘格。
进一步地，将响应值最大的角点候选点作为待检测点，按照边界方向分别计算出右、上、左、下四个方向的临近角点；再对4个邻近角点分别计算4邻近角点，直到生成一个2X2或者3X3的初始角点索引矩阵。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的适用于结构光三维重建的棋盘格角点检测方法主要具有以下有益效果：
1.所述检测方法对噪声、图像畸变以及不均匀光照具有很高的鲁棒性；当棋盘格存在部分遮挡或者角点缺失时，该检测方法依然能够完成对棋盘格的重建；同时该检测方法可以对互相折叠的多个棋盘格完成检测。因此，本发明提出的角点检测方法可用于结构光三维重建中的位姿估计和物体表面重建等任务中。
2.获取拍摄的棋盘格灰度图像后，对图像进行窗口大小5X5、标准差为0的高斯平滑处理，目的在于去除图像中的高频成分，如噪声、边界毛刺等，尽量减少图像数字化时存在的干扰，提高角点检测的性能。
3.每个滤波器对不同角度的角点具有不同的滤波值，从而解决旋转不变性的问题。
4.进行滤波响应图相减的目的在于去除角点模板滤波器检测角点时对边界产生的高响应值，这样仅有角点及其近邻域的像素点具有正的响应值。
附图说明
图1是本发明提供的适用于结构光三维重建的棋盘格角点检测方法的流程示意图；
图2是本发明使用模板匹配的方法检测出角点候选点的流程示意图；
图3中的(a)～(d)与(e)～(h)分别是四个角点模板滤波器及四个角点边界滤波器的示意图；
图4中的(a)、(b)分别是本发明实施例1对图像进行滤波后生成的滤波响应图I和滤波响应图II；
图5中的(a)、(b)分别是本发明实施例1提供的角点响应图谱及经阈值、非极大值抑制后的角点响应图谱；
图6中的(a)、(b)分别是本发明采用二次曲面多项式对响应值图谱patch进行曲面拟合的示意图；
图7是本发明的基于角点生长策略的棋盘格角点索引矩阵扩增的流程示意图；
图8是本发明实施例2对棋盘格图片生成初始角点索引矩阵的示意图；
图9中的(a)～(h)是本发明实施例2提供的棋盘格角点索引矩阵扩增的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
请参阅图1，本发明提供的适用于结构光三维重建的棋盘格角点检测方法，所述检测方法可用于结构光三维重建中的位姿估计和物体表面重建，其主要包括以下步骤：
步骤一，根据摄像机姿态估计或者物体表面的任务来获取棋盘格灰度图像，并对所述棋盘格灰度图像进行平滑处理。
具体地，根据姿态估计或者物体表面重建的具体任务获取棋盘格图像，本实施例以摄像机姿态估计为例，为了显示本实施例提供的角点检测方法对光照不均匀和图像噪声具有很好的鲁棒性，本实施方式将棋盘格模板置于存在光照遮挡的环境下进行拍摄，同时对图片添加一定程度的噪声。
获取拍摄的棋盘格灰度图像后，对图像进行窗口大小5X5、标准差为0的高斯平滑处理，目的在于去除图像中的高频成分，如噪声、边界毛刺等，尽量减少图像数字化时存在的干扰，提高角点检测的性能。
步骤二，采用模板匹配的方法对得到的棋盘格图像进行角点候选点检测。
具体地，图3所示的是本发明提供的棋盘格角点候选点检测的步骤，基于模板匹配的方法的角点候选点检测方法是根据角点的几何特性和边界条件从所有的像素点中选取符合要求的角点候选点，具体包括以下步骤：
(1)分别使用四个角点模板滤波器与平滑后的图像进行卷积，并将获取的四个滤波后的图像进行相加以生成滤波响应图I。
具体地，首先，分别使用四个角点模板滤波器与平滑后的图像进行卷积，每个滤波器对不同角度的角点具有不同的滤波值，从而解决旋转不变性的问题，如图3所示；这里采用的滤波器尺寸为7×7。然后，将获取的四个滤波后的图像进行相加，以生成滤波响应图I，如图4所示，可以看到角点模板滤波器对图像的角点和边界产生较高的响应值，而对于灰度值分布均匀的区域产生较低的响应值。
(2)分别采用四个角点边界滤波器与平滑后的图像进行卷积，并将获取的四个滤波后的图像进行相加，以生成滤波响应图像II。
具体地，首先，分别使用四个角点边界滤波器与平滑后的图像进行卷积，每个角点边界滤波器对拥有不同边界方向的角点具有不同的滤波值，从而筛选出不满足角点边界条件的假阳性点，角点边界滤波器如图3所示，角点边界滤波器的尺寸大小同样设置为7×7。然后，将获取的四个滤波后的图像进行相加，以生成滤波响应图II，如图4所示，可以看到角点边界滤波器对图像中的边界线条有较高的响应值，而对于角点位置和灰度值分布均匀的区域响应值较低。
(3)逐像素使用生成的滤波响应图I减去所述滤波响应图II生成最终的角点响应图谱。如图5所示，进行滤波响应图相减的目的在于去除角点模板滤波器检测角点时对边界产生的高响应值，这样仅有角点及其近邻域的像素点具有正的响应值。
(4)采用设定的阈值对角点响应图谱中的像素点进行筛选，并使用非极大值抑制筛选出每个像素点族中响应值最大的像素点作为棋盘格角点候选点。具体地，设定阈值为150，采用设定的阈值去除响应值较低的点，角点响应图谱中，角点附近的响应值大于150，而非角点像素点的响应值通常为负，这里使用τ＝150作为阈值对像素点进行筛选，仅真实角点附近的像素点簇被保留；接着，使用非极大值抑制筛选出每个像素点族中响应值最大的像素点作为棋盘格角点候选点，如此即可获取一系列角点候选点的坐标。
步骤三，采用求取曲面极值的方法求得角点候选点亚像素位置。
具体地，对每一个角点候选点进行精细化处理以获取候选点的亚像素坐标。首先，以角点候选点为中心在角点响应图谱上选取4×4的邻域作为一个区域patch，然后对每一个区域patch进行二次曲面拟合。
如图6所示，采用二次曲面多项式对一个角点相应图谱区域patch进行曲面拟合，其计算步骤如下：
设定二次曲面多项式的公式为：
Figure BDA0002472926650000091
式中，Xi表示候选角点领域中的每一个像素点，对应的坐标为(xi，yi)；c＝[c1，c1，…，c6]T是二次曲面拟合多项式的系数；f(xi，c)是多项式对每个像素的置信度估计值。
接着，将4×4的邻域中的每一个像素点和其对应的响应值代入上式，那么二次曲面拟合多项式的各个系数可以通过下列计算得到：
Figure BDA0002472926650000092
其中，N表示4×4邻域中的所有像素点的集合；
Figure BDA0002472926650000093
表示每一个像素点对应的响应值。
通过最小化多项式求得每个像素点的置信度估计值和真实的响应值的差距，即可得到最佳多项式的系数值。上述的最优化公式是一个典型的最小二乘法拟合问题，二次曲面拟合多项式的系数c满足如下公式：
Ac＝b
其中，
Figure BDA0002472926650000094
为解决这种过定义的问题(n≥6)，可以计算M＝(ATA)-1AT，然后c的计算值可以通过c＝Mb得到。
然后，对每一个区域patch进行拟合得到二次曲面多项式后，求取每一个二次曲面多项式的极值点，该极值点即可作为角点候选点的亚像素坐标位置。具体计算公式为：
Figure BDA0002472926650000095
其中，
Figure BDA0002472926650000096
和
Figure BDA0002472926650000097
表示分别对多项式沿x和y方向求导，因此具体计算后的亚像素坐标表示为：
Figure BDA0002472926650000101
步骤四，基于得到的角点候选点亚像素位置，采用角点生长策略筛选出棋盘格角点，并对棋盘格进行复原，进而得到棋盘格的角点索引矩阵。
具体地，筛选出满足角点几何定义的候选点，继而获取棋盘格图片中的角点索引矩阵，即获取每一个角点的位置以及其对应的拓扑关系。如图7所示，基于角点生长策略的棋盘格角点索引矩阵扩增主要包括以下步骤：
(1)以每一个角点候选点为中心，4个像素点为半径建立一个围绕角点候选点的圆环，并对圆环经过的像素点灰度值变化进行分析，以统计角点候选点的四个边界方向。其中，少于4个边界方向的角点候选点判断为假阳性，不再进行后续重建。
具体地，以每一个角点候选点为中心，4个像素点为半径建立一个围绕角点候选点的圆环，将圆环经过的像素点按照顺时针方向存为一行，求取该行多个像素点的灰度平均值；然后，逐元素减去灰度平均值，这样处于亮区域的像素点灰度值为正，处于暗区域的像素点灰度值为负；接着，沿顺时针方向对灰度值符号进行分析，以统计角点候选点的四个边界方向。少于四个边界方向的角点候选点判断为假阳性，不再进行后续重建。
(2)基于得到的响应值大小及边界方向对每个角点候选点进行排序。具体地，将响应值最大的角点候选点作为待检测点，按照边界方向分别计算出右、上、左、下四个方向的临近角点；再对4个邻近角点分别计算4邻近角点，直到生成一个2X2或者3X3的初始角点索引矩阵。具体生成2X2或者3X3的矩阵要根据待处理角点的右、上、左、下、右上、右下、左上、左下八个方向是否存在邻近角点来选择，若八个方向均存在邻近角点则生成3X3的初始角点索引矩阵，否则生成2X2的初始角点索引矩阵。如图8所示，棋盘格左上角的待检测点只包含7个邻近角点，所以生成2X2的索引矩阵，右下角的待检测点包含8个邻近角点，所以生成3X3的初始角点索引矩阵。
在初始角点索引矩阵的创建过程中，同时需要注意的是，若某一方向上待检测点和邻近角点的距离超出其他三个邻近角点与待检测点距离的1.5倍，则判定这个索引矩阵创建失败，进行下一个方向的矩阵创建。若所有方向上索引矩阵创建失败，则判定此角点为独立角点，不再参与后面进程，对排序后一位的角点进行索引矩阵的重建。
(3)对生成的第一初始角点索引矩阵，分别沿着边界方向进行向右、向上、向左、向下的索引矩阵扩增，直到所有方向均不能进行扩增，此时的扩增矩阵为该角点所在的区域内最大角点索引矩阵。
其中，对于生成的第一初始角点索引矩阵，分别沿着边界方向进行向右、向上、向左、向下的邻近角点搜寻，同时搜寻的邻近角点距离出发角点的距离不超过已创建的索引矩阵所有邻近角点距离平均值的1.5倍，则使用搜寻的角点进行索引矩阵扩增，直到所有方向均不能进行扩增，此时扩增矩阵为该角点所在的区域内最大角点索引矩阵。
对所有位于上述的角点索引矩阵内部的角点进行标记，仅对索引矩阵边界上的角点和不在索引矩阵内的角点按照响应值排序的顺序依次如上步骤生成每一个区域内最大角点索引矩阵。
(4)将每一个最大角点索引矩阵按照矩阵包含的角点的坐标关系进行整合，以生成最后的单棋盘格或者多棋盘格角点索引矩阵，从而重建棋盘格。
其中，将每一个最大角点索引矩阵按照矩阵包含的角点的坐标关系进行整合，若两个索引矩阵有两个以上的共同角点，则可将两矩阵合并为一个大的索引矩阵，非角点位置的索引设置为-1，若整合过程中的某一阶段以矩阵与任何矩阵均不相交，则该矩阵表示的是一个单独的棋盘格，处理完所有的最大角点索引矩阵后即生成最后的单棋盘格或者所棋盘格角点索引矩阵，从而重建棋盘格，如图9所示。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种适用于结构光三维重建的棋盘格角点检测方法，所述方法适用于结构光三维重建中的位姿估计和物体表面重建，其特征在于，该方法包括以下步骤：
(1)根据摄像机姿态估计或者物体表面的任务来获取棋盘格灰度图像，并对所述棋盘格灰度图像进行平滑处理；
(2)采用模板匹配的方法对得到的棋盘格图像进行角点候选点检测；
(3)采用求取曲面极值的方法求得角点候选点亚像素位置；
(4)基于得到的角点候选点亚像素位置，采用角点生长策略筛选出棋盘格角点，并对棋盘格进行复原，进而得到棋盘格的角点索引矩阵。
2.如权利要求1所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：步骤(1)中，对棋盘格灰度图像进行窗口大小5X5、标准差为0的高斯平滑处理。
3.如权利要求1所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：步骤(2)包括以下子步骤：
(21)分别使用四个角点模板滤波器与平滑后的图像进行卷积，并将获取的四个滤波后的图像进行相加以生成滤波响应图I；
(22)分别采用四个角点边界滤波器与平滑后的图像进行卷积，并将获取的四个滤波后的图像进行相加，以生成滤波响应图II；
(23)逐像素使用生成的滤波响应图I减去所述滤波响应图II生成最终的角点响应图谱；
(24)采用设定的阈值对角点响应图谱中的像素点进行筛选，并使用非极大值抑制筛选出每个像素点族中响应值最大的像素点作为棋盘格角点候选点。
4.如权利要求3所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：所述阈值为150，角点附近的响应值大于150，而非角点像素点的响应值通常为负，仅真实角点附近的像素点簇被保留。
5.如权利要求3所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：每个角点模板滤波器对不同角度的角点具有不同的滤波值。
6.如权利要求3所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：首先，分别使用四个角点边界滤波器与平滑后的图像进行卷积，每个角点边界滤波器对拥有不同边界方向的角点具有不同的滤波值，从而筛选出不满足角点边界条件的假阳性点；然后，将获取的四个滤波后的图像进行相加，以生成滤波响应图II。
7.如权利要求1-6任一项所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：步骤(3)中，首先，以角点候选点为中心在角点响应图谱上选取4×4的邻域作为一个区域patch，然后对每一个区域patch进行二次曲面拟合；然后，对每一个区域patch进行拟合得到二次曲面多项式后，求取每一个二次曲面多项式的极值点，该极值点即为角点候选点的亚像素坐标位置。
8.如权利要求7所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：角点候选点的亚像素坐标为：
Figure FDA0002472926640000021
式中，c1,c1,…,c6为二次曲面拟合多项式的系数。
9.如权利要求1-6任一项所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：步骤(4)包括以下子步骤：
(41)以每一个角点候选点为中心，4个像素点为半径建立一个围绕角点候选点的圆环，并对圆环经过的像素点灰度值变化进行分析，以统计角点候选点的四个边界方向；其中，少于4个边界方向的角点候选点判断为假阳性，不再进行后续重建；
(42)基于得到的响应值大小及边界方向对每个角点候选点进行排序；
(43)对步骤(42)中生成的第一初始角点索引矩阵，分别沿着边界方向进行向右、向上、向左、向下的索引矩阵扩增，直到所有方向均不能进行扩增，此时的扩增矩阵为该角点所在的区域内最大角点索引矩阵；
(44)将每一个最大角点索引矩阵按照矩阵包含的角点的坐标关系进行整合，以生成最后的单棋盘格或者多棋盘格角点索引矩阵，从而重建棋盘格。
10.如权利要求9所述的适用于结构光三维重建的棋盘格角点检测方法，其特征在于：将响应值最大的角点候选点作为待检测点，按照边界方向分别计算出右、上、左、下四个方向的临近角点；再对4个邻近角点分别计算4邻近角点，直到生成一个2X2或者3X3的初始角点索引矩阵。
CN202010354228.6A 2020-04-29 2020-04-29 一种适用于结构光三维重建的棋盘格角点检测方法 Active CN111539970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010354228.6A CN111539970B (zh) 2020-04-29 2020-04-29 一种适用于结构光三维重建的棋盘格角点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010354228.6A CN111539970B (zh) 2020-04-29 2020-04-29 一种适用于结构光三维重建的棋盘格角点检测方法

Publications (2)

Publication Number Publication Date
CN111539970A true CN111539970A (zh) 2020-08-14
CN111539970B CN111539970B (zh) 2022-09-16

Family

ID=71975827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010354228.6A Active CN111539970B (zh) 2020-04-29 2020-04-29 一种适用于结构光三维重建的棋盘格角点检测方法

Country Status (1)

Country Link
CN (1) CN111539970B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345755A (zh) * 2013-07-11 2013-10-09 北京理工大学 一种基于Harris算子的棋盘格角点亚像素提取方法
CN107240112A (zh) * 2017-06-28 2017-10-10 北京航空航天大学 一种复杂场景下个体x角点提取方法
CN108257185A (zh) * 2018-01-03 2018-07-06 上海兴芯微电子科技有限公司 多棋盘格角点检测方法及摄像机标定方法
CN109448059A (zh) * 2016-08-31 2019-03-08 北京航空航天大学 一种快速x角点亚像素检测方法
US20190082156A1 (en) * 2017-09-11 2019-03-14 TuSimple Corner point extraction system and method for image guided stereo camera optical axes alignment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345755A (zh) * 2013-07-11 2013-10-09 北京理工大学 一种基于Harris算子的棋盘格角点亚像素提取方法
CN109448059A (zh) * 2016-08-31 2019-03-08 北京航空航天大学 一种快速x角点亚像素检测方法
CN107240112A (zh) * 2017-06-28 2017-10-10 北京航空航天大学 一种复杂场景下个体x角点提取方法
US20190082156A1 (en) * 2017-09-11 2019-03-14 TuSimple Corner point extraction system and method for image guided stereo camera optical axes alignment
CN108257185A (zh) * 2018-01-03 2018-07-06 上海兴芯微电子科技有限公司 多棋盘格角点检测方法及摄像机标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
B. CHEN等: "Ccdn: Checkerboard corner detection network for robust camera calibration", 《ICIRA2018》 *

Also Published As

Publication number Publication date
CN111539970B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN109272489B (zh) 基于背景抑制与多尺度局部熵的红外弱小目标检测方法
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
US8059915B2 (en) Apparatus for and method of robust motion estimation using line averages
CN108564549B (zh) 一种基于多尺度稠密连接网络的图像去雾方法
JP5419432B2 (ja) 対象領域決定方法及び対象領域決定装置
CN109583365B (zh) 基于成像模型约束非均匀b样条曲线拟合车道线检测方法
US20130215234A1 (en) Method and apparatus for stereo matching
CN101976436B (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
CN111968144A (zh) 一种图像边缘点获取方法及装置
CN108154491B (zh) 一种图像反光消除方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN109754440A (zh) 一种基于全卷积网络和均值漂移的阴影区域检测方法
Cherian et al. Accurate 3D ground plane estimation from a single image
CN111652844B (zh) 一种基于数字图像区域增长的x射线缺陷检测方法及系统
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN112862736B (zh) 一种基于点的实时三维重建与优化方法
CN109636822A (zh) 一种基于新构建隶属度函数的改进Canny自适应边缘提取方法
CN108765477A (zh) 一种基于最优化的Kinect深度图修复方法
CN111539970B (zh) 一种适用于结构光三维重建的棋盘格角点检测方法
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN112288780A (zh) 多特征动态加权的目标跟踪算法
CN113592947B (zh) 一种半直接法的视觉里程计实现方法
Novacheva Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection
CN116245928A (zh) 一种基于双目立体匹配的三维重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant