CN115641368A - 一种用于标定的离焦棋盘格图像特征提取方法 - Google Patents
一种用于标定的离焦棋盘格图像特征提取方法 Download PDFInfo
- Publication number
- CN115641368A CN115641368A CN202211344424.0A CN202211344424A CN115641368A CN 115641368 A CN115641368 A CN 115641368A CN 202211344424 A CN202211344424 A CN 202211344424A CN 115641368 A CN115641368 A CN 115641368A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- focus
- pixel
- checkerboard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 3
- 230000036544 posture Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种用于标定的离焦棋盘格图像特征提取方法，包括：S1、获取棋盘格图像；S2、检测亚像素精度的特征点，设计标签图像；S3、制作数据集；S4、设计深度编码解码的权重回归网络；S5、以模糊离焦图像为输入，以标签图像为输出对网络进行反复训练；S6、分析训练网络的输出图像，检测输出图像中每个灰度圆的灰度中心，即为特征点。本发明着眼于离焦图像像素级分析，通过对标签图像带权重像素级回归，使网络实现像素是否为特征点检测。对输入数据集进行加噪处理，使网络对采集图像噪声具有较强鲁棒性；同时将Unet网络中卷积层更换为残差块，以适应深层网络训练；按照标签图像中像素位置，在损失函数中设置不同权重，以提高特征点检测精度。
Description
技术领域
本发明属于视觉测量技术领域，具体地说，本发明涉及一种用于标定的离焦棋盘格图像特征提取方法。
背景技术
视觉测量作为一种无损、非接触的测量技术，逐渐应用于各种特殊场景，如隧道施工环境。相机标定是确立世界坐标和图像坐标变换模型的过程，因此是关系视觉测量精度的关键环节。它从拍摄的二维图像的特征点和特征线来获取空间物体的三维信息。传统上采用棋盘格作为平面标定标靶，通过拍摄多角度标靶，利用角点特征检测特征点，从而计算出世界坐标和图像坐标的映射关系矩阵，然而，传统棋盘格平面标定方案主要适用于近距离视觉系统，对于远距离的视觉系统，需要改变标靶大小和拍摄距离，以适应不同的焦距，标定过程繁琐耗时。并且大尺寸标靶制作困难、成本高。如果仍以普通尺寸标靶来标定，图像难免出现离焦现象。因此，如何在离焦图像中准确提取特征点对于标定具有重要的研究意义和实用价值。
目前，国内外学者对离焦图像的特征点提取展开了研究，提出了一些有效的方法。一种是利用了传统图案边缘的模糊特性提取边缘，然后确定交点，这类方法需要研究模糊特性的规则，需要具备一定的经验；一种是利用离焦图像不改变相位信息的特点，设计相位标靶进行标定(OpticsLetters,2013,38(9):1446-1448,Optik,2014,125(2):671-674)，这种标定方案中图像边缘的离焦对提取效果影响较小，准确性较高，但是需要利用多幅图像进行求解，效率较低。另一种是利用深度学习强大的特征学习能力，对离焦图像进行高质量重建，从而进行自适应校准(Optics Letters,2021,46(22):5537-5540)，该方法输出了高质量的图像，仍需进一步进行特征点检测。
综上所述，如何从离焦图像中直接、准确地获取所拍摄标靶的特征点依然是值得关注的问题。
发明内容
本发明提供一种用于标定的离焦棋盘格图像特征提取方法，以解决上述背景技术中存在的问题。
为了实现上述目的，本发明采取的技术方案为：一种用于标定的离焦棋盘格图像特征提取方法，具体包括以下步骤：
步骤S1：在聚焦状态下，以不同的姿势拍摄标靶，并保证标靶在相机视野内，采集到多姿势的聚焦图像J(u,v)；
步骤S2：针对每个姿势的聚焦图像J(u,v)，采用Bouguet算法检测聚焦图像J(u,v)的特征点，并以每个检测的特征点为圆心生成小邻域内的圆形灰度图像B(u,v)作为标签图像；
步骤S3：对每个姿势的聚焦图像J(u,v)进行高斯模糊变换，以模拟离焦图像I(u,v)，为了增强提取方法对噪声图像的鲁棒性，对离焦图像I(u,v)添加随机噪声，并保持标签图像B(u,v)不变；对离焦图像I(u,v)进行旋转、缩放；同时对标签图像B(u,v)进行相应的旋转与缩放；以增强网络对噪声图像的鲁棒性；
步骤S4：基于U-Net网络建立自动编码解码的权重回归网络，经过若干残差块、ReLu激活和池化层对图像进行编码，再经过若干反卷积、ReLu激活，上采样和级联层进行解码，并用回归层替换原网络中的Softmax分类层；考虑到标签图像B(u,v)中的像素对特征检测任务的重要程度不同，在回归层设计带权重的损失函数，即对不同区域的像素施加不同的权重；
步骤S5：以步骤S3中制作的增广数据集为网络的输入图像，以标签图像B(u,v)为输出，采用SGDM算法对网络进行像素至像素的监督训练；
步骤S6：利用训练好的网络对离焦图像进行回归计算，得到输出图像L(u,v)，对其进行二值化得到图像LBW(u,v),再利用连通域标记获得每个圆的感兴趣区域Rk(u,v)，其中下标k表示圆的次序；根据每个圆的感兴趣区域Rk(u,v)，从输出图像L(u,v)中提取每个灰度圆的图像Ck(u,v)，最后检测亚像素精度的灰度中心，即为特征点。
优选的，所述步骤S3中，原始采集图像模糊变换后的离焦图像I(u,v)可表示为：
I(u,v)＝J(u,v)*G(u,v)；
其中：
σ2代表方差，(u,v)代表像素坐标。
优选的，所述步骤S4中，所设计的回归层中带权重的损失函数为：
其中：H、W、C分别代表输出图像L(u,v)的高度、宽度和通道数；lp、bp分别为输出图像L(u,v)和标签图像B(u,v)的第p个像素；δ代表步骤S2中检测出的角点邻域；w1,w2分别代表邻域以外及邻域以内的权重。
优选的，所述步骤S6中，二值化的输出图像LBW(u,v)可表示为：
其中：T代表二值化的阈值，LA(u,v)代表输出图像(u,v)像素点的灰度值，LBW(u,v)代表二值化后(u,v)像素点的灰度值。
优选的，所述步骤S6中，每个圆的感兴趣区域Rk(u,v)可表示为：
其中：bwlabel表示连通域标记操作，k代表圆的次序。
优选的，所述步骤S6中，每个灰度圆的图像Ck(u,v)可表示为：
Ck(u,v)＝L(u,v).*Rk(u,v)；
其中：.*表示点乘运算符号。
采用以上技术方案的有益效果是：
1、本发明提供的一种用于标定的离焦棋盘格图像特征提取方法，本发明的技术方案所设计的网络训练后，即使在离焦模糊情况下仍能够准确地提取棋盘格的特征点，因此在标定过程中，不需要改变标靶大小和拍摄距离，便可适应不同的焦距，适用性强，灵活性高，对噪声的鲁棒性强。
附图说明
图1为采集的聚焦棋盘格图像J(x,y)；
图2为Bouguet算法检测出的特征点；
图3为设计的标签图像B(u,v)；
图4为高斯点扩散模糊后的图像I(x,y)；
图5为深度编码解码权重回归网络；
图6为网络输出图像的灰度分布；
图7为网络输出图像的二值图像LBW(u,v)；
图8为单个灰度圆的图像Ck(u,v)；
具体实施方式
下面对照附图，通过对实施例的描述，对本发明的具体实施方式作进一步详细的说明，目的是帮助本领域的技术人员对本发明的构思、技术方案有更完整、准确和深入的理解，并有助于其实施。
如图1至图8所示，本发明是一种用于标定的离焦棋盘格图像特征提取方法，构建深度编码解码网络，将经典Unet网络中的卷积层更换为具有残差结构的模块，以解决随着网络的深入而导致的精度下降的问题；按照标签图像中像素的位置，在损失函数中设置不同的权重，以提高特征点的检测精度，具体以下用具体实施例对具体工作方式进行阐述：
实施例1：
步骤S1：在聚焦状态下，以不同的姿势拍摄标靶，并保证标靶在相机视野内，采集到多姿势的聚焦图像J(u,v)，并将图像重塑为400*600像素大小，如图1所示。
步骤S2：针对每个姿势的聚焦图像J(u,v)，采用Bouguet算法检测聚焦图像J(u,v)的角点，检测结果如图2所示，并以每个检测的角点为圆心生成小邻域内的圆形灰度图像B(u,v)作为标签图像，所设计的标签图像如图3所示；
步骤S3：对每个姿势的聚焦图像J(u,v)进行高斯模糊变换，以模拟离焦图像I(u,v)，离焦图像如图4所示。对离焦图像I(u,v)添加随机噪声、0-180度随机旋转、缩放，制作原始图像数据集；对标签图像进行相应的旋转与缩放，制作标签数据集。将两个数据集合并为由一一对应的图像对组成的数据集，对数据进行归一化，并将数据集按7：1.5：1.5的比例分为训练集、验证集和测试集；
步骤S4：基于U-Net网络建立自动编码解码的权重回归网络，如图5所示，将网络中的卷积层更换为具有残差结构的模块，包括两个ReLu层和两个3*3卷积核的卷积层。更换U-Net网络中的Softmax分类层为回归层，并设计带权重的损失函数，即对特征点的δ邻域内的像素施加较高的权重；
步骤S5：利用步骤S3中制作的训练数据集，采用SGDM算法对网络进行像素至像素的监督训练，设置初始的学习率为0.1，momentum设为0.9；
步骤S6：利用训练好的网络对离焦图像进行回归计算，得到输出图像L(u,v)，其灰度分布如图6所示，对其进行二值化得到图像LBW(u,v)，如图7所示,再利用连通域标记获得每个圆的感兴趣区域Rk(u,v)，其中下标k表示圆的次序；根据每个圆的感兴趣区域Rk(u,v)，从输出图像L(u,v)中提取每个灰度圆的图像Ck(u,v)，如图8所示，最后检测亚像素精度的灰度中心。
以上结合附图对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，只要是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或未经改进，将本发明的上述构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。
Claims (6)
1.一种用于标定的离焦棋盘格图像特征提取方法，其特征在于：具体包括以下步骤：
步骤S1：在聚焦状态下，以不同的姿势拍摄标靶，并保证标靶在相机视野内，采集到多姿势的聚焦图像J(u,v)；
步骤S2：针对每个姿势的聚焦图像J(u,v)，采用Bouguet算法检测聚焦图像J(u,v)的特征点，并以每个检测的特征点为圆心生成小邻域内的圆形灰度图像B(u,v)作为标签图像；
步骤S3：对每个姿势的聚焦图像J(u,v)进行高斯模糊变换，以模拟离焦图像I(u,v)，为了增强提取方法对噪声图像的鲁棒性，对离焦图像I(u,v)添加随机噪声，并保持标签图像B(u,v)不变；对离焦图像I(u,v)进行旋转、缩放；同时对标签图像B(u,v)进行相应的旋转与缩放；以增强网络对噪声图像的鲁棒性；
步骤S4：基于U-Net网络建立自动编码解码的权重回归网络，经过若干残差块、ReLu激活和池化层对图像进行编码，再经过若干反卷积、ReLu激活，上采样和级联层进行解码，并用回归层替换原网络中的Softmax分类层；考虑到标签图像B(u,v)中的像素对特征检测任务的重要程度不同，在回归层设计带权重的损失函数，即对不同区域的像素施加不同的权重；
步骤S5：以步骤S3中制作的增广数据集为网络的输入图像，以标签图像B(u,v)为输出，采用SGDM算法对网络进行像素至像素的监督训练；
步骤S6：利用训练好的网络对离焦图像进行回归计算，得到输出图像L(u,v)，对其进行二值化得到图像LBW(u,v),再利用连通域标记获得每个圆的感兴趣区域Rk(u,v)，其中下标k表示圆的次序；根据每个圆的感兴趣区域Rk(u,v)，从输出图像L(u,v)中提取每个灰度圆的图像Ck(u,v)，最后检测亚像素精度的灰度中心，即为特征点。
2.根据权利要求1所述的一种用于标定的离焦棋盘格图像特征提取方法，其特征在于：所述步骤S3中，原始采集图像模糊变换后的离焦图像I(u,v)可表示为：
I(u,v)＝J(u,v)*G(u,v)；
其中：
σ2代表方差，(u,v)代表像素坐标。
3.根据权利要求1所述的一种用于标定的离焦棋盘格图像特征提取方法，其特征在于：所述步骤S4中，所设计的回归层中带权重的损失函数为：
其中：H、W、C分别代表输出图像L(u,v)的高度、宽度和通道数；lp、bp分别为输出图像L(u,v)和标签图像B(u,v)的第p个像素；δ代表步骤S2中检测出的角点邻域；w1,w2分别代表邻域以外及邻域以内的权重。
4.根据权利要求1所述的一种用于标定的离焦棋盘格图像特征提取方法，其特征在于：所述步骤S6中，二值化的输出图像LBW(u,v)可表示为：
其中：T代表二值化的阈值，LA(u,v)代表输出图像(u,v)像素点的灰度值，LBW(u,v)代表二值化后(u,v)像素点的灰度值。
5.根据权利要求1所述的一种用于标定的离焦棋盘格图像特征提取方法，其特征在于：所述步骤S6中，每个圆的感兴趣区域Rk(u,v)可表示为：
其中：bwlabel表示连通域标记操作，k代表圆的次序。
6.根据权利要求1所述的一种用于标定的离焦棋盘格图像特征提取方法，其特征在于：所述步骤S6中，每个灰度圆的图像Ck(u,v)可表示为：
Ck(u,v)＝L(u,v).*Rk(u,v)；
其中：.*表示点乘运算符号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344424.0A CN115641368B (zh) | 2022-10-31 | 2022-10-31 | 一种用于标定的离焦棋盘格图像特征提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211344424.0A CN115641368B (zh) | 2022-10-31 | 2022-10-31 | 一种用于标定的离焦棋盘格图像特征提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115641368A true CN115641368A (zh) | 2023-01-24 |
| CN115641368B CN115641368B (zh) | 2024-06-04 |
Family
ID=84945953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211344424.0A Active CN115641368B (zh) | 2022-10-31 | 2022-10-31 | 一种用于标定的离焦棋盘格图像特征提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115641368B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468708A (zh) * | 2023-04-25 | 2023-07-21 | 安徽农业大学 | 基于深度学习的单帧正交条纹标靶图像的特征点检测方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572265A (zh) * | 2010-09-01 | 2012-07-11 | 苹果公司 | 使用具有粗略和精细自动对焦分数的图像统计数据的自动对焦控制 |
| CN103776419A (zh) * | 2014-01-24 | 2014-05-07 | 华南理工大学 | 一种提高测量范围的双目视觉测距方法 |
| CN110310371A (zh) * | 2019-05-27 | 2019-10-08 | 太原理工大学 | 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法 |
| CN110411981A (zh) * | 2019-06-24 | 2019-11-05 | 深圳大学 | 一种基于tie的相位成像方法、装置及可读存储介质 |
| CN111080705A (zh) * | 2019-05-07 | 2020-04-28 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定方法及装置 |
| CN111161229A (zh) * | 2019-12-23 | 2020-05-15 | 大连理工大学 | 一种基于几何主动轮廓模型和稀疏自编码的变化检测方法 |
| CN112365434A (zh) * | 2020-11-10 | 2021-02-12 | 大连理工大学 | 一种基于双掩膜图像分割的无人机狭窄通道检测方法 |
| CN113566740A (zh) * | 2021-07-20 | 2021-10-29 | 上海交通大学 | 基于显微立体偏折束技术的超精密测量装置和方法 |
-
2022
- 2022-10-31 CN CN202211344424.0A patent/CN115641368B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102572265A (zh) * | 2010-09-01 | 2012-07-11 | 苹果公司 | 使用具有粗略和精细自动对焦分数的图像统计数据的自动对焦控制 |
| CN103776419A (zh) * | 2014-01-24 | 2014-05-07 | 华南理工大学 | 一种提高测量范围的双目视觉测距方法 |
| CN111080705A (zh) * | 2019-05-07 | 2020-04-28 | 像工场(深圳)科技有限公司 | 一种自动对焦双目摄像头标定方法及装置 |
| CN110310371A (zh) * | 2019-05-27 | 2019-10-08 | 太原理工大学 | 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法 |
| CN110411981A (zh) * | 2019-06-24 | 2019-11-05 | 深圳大学 | 一种基于tie的相位成像方法、装置及可读存储介质 |
| CN111161229A (zh) * | 2019-12-23 | 2020-05-15 | 大连理工大学 | 一种基于几何主动轮廓模型和稀疏自编码的变化检测方法 |
| CN112365434A (zh) * | 2020-11-10 | 2021-02-12 | 大连理工大学 | 一种基于双掩膜图像分割的无人机狭窄通道检测方法 |
| CN113566740A (zh) * | 2021-07-20 | 2021-10-29 | 上海交通大学 | 基于显微立体偏折束技术的超精密测量装置和方法 |
Non-Patent Citations (2)
| Title |
|---|
| YUWEI WANG ETAL: ""Accurate feature detection for out-of-focus camera calibration"", 《APPLIED OPTICS》, 1 October 2016 (2016-10-01), pages 7964 - 7971 * |
| 李璐璐 等: ""摄像机标定中的特征点提取算法研究与改进"", 《光学学报》, 31 May 2014 (2014-05-31), pages 1 - 8 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116468708A (zh) * | 2023-04-25 | 2023-07-21 | 安徽农业大学 | 基于深度学习的单帧正交条纹标靶图像的特征点检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115641368B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401384B (zh) | 一种变电设备缺陷图像匹配方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| US9626568B2 (en) | Use of spatially structured light for dynamic three dimensional reconstruction and reality augmentation | |
| CN111507976B (zh) | 基于多角度成像的缺陷检测方法及系统 | |
| CN106897995B (zh) | 一种面向机械装配过程的零部件自动识别方法 | |
| CN111126412B (zh) | 基于特征金字塔网络的图像关键点检测方法 | |
| CN111640157A (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
| CN104268602A (zh) | 一种基于二进制特征匹配的遮挡工件识别方法及装置 | |
| CN112232391A (zh) | 一种基于U-net网络和SC-SAM注意力机制的大坝裂缝检测方法 | |
| CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
| CN112233067A (zh) | 一种热轧钢卷端面质量检测方法及系统 | |
| CN104217459B (zh) | 一种球面特征提取方法 | |
| CN115131444B (zh) | 一种基于单目视觉点胶平台的标定方法 | |
| CN111127417B (zh) | 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法 | |
| CN112581462A (zh) | 工业产品的外观缺陷检测方法、装置及存储介质 | |
| CN103578093A (zh) | 图像配准方法、装置及增强现实系统 | |
| CN115908988B (zh) | 一种缺陷检测模型生成方法、装置、设备以及存储介质 | |
| Raza et al. | Artificial intelligence based camera calibration | |
| CN115775236A (zh) | 基于多尺度特征融合的表面微小缺陷视觉检测方法及系统 | |
| CN114998308A (zh) | 一种基于光度立体的缺陷检测方法及系统 | |
| CN109886936B (zh) | 一种低对比度缺陷检测方法和装置 | |
| CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
| CN114926826A (zh) | 场景文本检测系统 | |
| CN111161227B (zh) | 一种基于深度神经网络的靶心定位方法及系统 | |
| CN108388854A (zh) | 一种基于改进fast-surf算法的定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |