CN113763279A - 一种具有矩形框图像的精确校正处理方法 - Google Patents
一种具有矩形框图像的精确校正处理方法 Download PDFInfo
- Publication number
- CN113763279A CN113763279A CN202111062908.1A CN202111062908A CN113763279A CN 113763279 A CN113763279 A CN 113763279A CN 202111062908 A CN202111062908 A CN 202111062908A CN 113763279 A CN113763279 A CN 113763279A
- Authority
- CN
- China
- Prior art keywords
- image
- point set
- region
- rectangular frame
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 28
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000005520 cutting process Methods 0.000 claims abstract description 6
- 230000008602 contraction Effects 0.000 claims abstract description 5
- 230000000877 morphologic effect Effects 0.000 claims abstract description 5
- 238000012163 sequencing technique Methods 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000003702 image correction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种具有矩形框图像的精确校正处理方法，包括如下步骤：步骤1，对图像进行预处理，并进行形态学闭操作；步骤2，确定图像的最外层轮廓，再求得图像的最小外接矩形；步骤3，以最小外接矩形的质心为基准，内缩外扩一定比例截取图像的外边框，然后截去外边框中各条边两端的部分长度，从而得到最优点集的感兴趣区域；步骤4，提取感兴趣区域中的最优点集，并对最优点集进行最小二乘直线拟合，从而得到4个交点；步骤5，对步骤4得到的4个交点进行排序，通过透视变换校正图像。此种方法采用部分最优点集进行直线拟合，能够有效提升直线检测精度及直线拟合精度。
Description
技术领域
本发明属于产品工业产品在线视觉检测技术领域，更具体地，涉及一种采用最小二乘直线拟合的方法对具有矩形框的图像进行精确校正的方案。
背景技术
随着大数据时代的到来，相对于一般数据，图像信息作为一种更直观更形象的数据表现形式，其应用已经深入到工业、医学、航空、农业等各行业领域中。在工业视觉检测的精确测量和外观质量检测领域当中，由于工况位置多变，被测物体与成像系统相对位置难以绝对固定，所以图像几何位置偏斜在成像时难以避免，因此在进行视觉检测和外观质量检测时，图像几何位置精确校正时不可或缺的关键技术。
图像校正分为灰度校正和几何校正两大类，图像灰度校正方法是根据图像不同失真情况以及所需的不同图像特征可采用不同的修正方法，主要分为灰度级校正、灰度变换以及直方图修正；图像几何校正是通过一些已知的参考点，根据图像的某些像素点和畸变图像相应像素的坐标间对应关系，拟合出映射关系中的未知系数，并作为恢复其它像素的基础。
具有矩形框图像的几何校正技术是图像质量检测环节中的关键支撑技术，是进行图像内容和外观视觉检测的关键处理步骤。现在经常采用的具有矩形框图像几何校正算法流程为：预处理降噪→灰度化→梯度计算→阈值二值化→矩形框框线的直线检测→求解直线交点→拟合出映射关系→透视变换。在这其中，梯度计算常采用的是Sobel算子、Canny算子等，或根据实际情况直接进行阈值二值化的操作；阈值二值化常采用Otsu阈值化、自适应阈值化等处理；直线检测中常采用Hough直线检测的方法。虽然上述常规方法可以取得一定的校正效果，但是在图像校正过程中往往不能取得高精度的校正效果，原因主要有：
(1)高清摄像头成像条件下，矩形框的框线成像为一片区域而不是一条轮廓线，直接进行边缘计算、轮廓提取的操作获得的是框线的外边缘或内边缘，而不是框线本身的几何中心线，所以导致测量或定位误差；
(2)由于打印、光照等因素影响，轮廓线会存在锯齿、漏洞及断裂等情况，影响最终的处理结果；
(3)矩形框的四个顶点附近存在倒角，倒角的部分将会对直线拟合产生一定的干扰，影响直线拟合的精度。
发明内容
本发明的目的，在于提供一种具有矩形框图像的精确校正处理方法，采用部分最优点集进行直线拟合，能够有效提升直线检测精度及直线拟合精度。
为了达成上述目的，本发明的解决方案是：
一种具有矩形框图像的精确校正处理方法，包括如下步骤：
步骤1，对图像进行预处理，并进行形态学闭操作；
步骤2，确定图像的最外层轮廓，再求得图像的最小外接矩形；
步骤3，以最小外接矩形的质心为基准，内缩外扩一定比例截取图像的外边框，然后截去外边框中各条边两端的部分长度，从而得到最优点集的感兴趣区域；
步骤4，提取感兴趣区域中的最优点集，并对最优点集进行最小二乘直线拟合，从而得到4个交点；
步骤5，对步骤4得到的4个交点进行排序，通过透视变换校正图像。
上述步骤1中，对图像进行预处理包括按序对图像进行降噪、灰度化、梯度计算的操作。
上述步骤3中，内缩外扩α比例截取图像的外边框，其中，α＝(d/k)*(a/c)，相机分辨率为a*b，图像大小为c*d，k为比例系数。
优选的，k取值为10，β取值为1/3。
上述步骤4的具体过程是：
步骤41，对最优点集的感兴趣区域进行外边缘检测，找出轮廓区域面积，若该面积小于设定数据，则进行填充；
步骤42，对经步骤41处理的区域提取轮骨线，得到轮骨线点集，也即最优点集；
步骤43，对最优点集进行最小二乘直线拟合，得到4条边缘直线，最终得出图像外边框的4个交点。
上述步骤42中，得到轮骨线点集的方法是，对经步骤41处理的区域，遍历区域内点集，找出相应的内外轮廓点集，根据相应的位置关系，提取出相应的轮骨线点集。
采用上述方案后，本发明对图像进行处理时，首先进行平滑滤波降噪，通过Sobel算法进行相应的边框外轮廓的提取；利用提取到的外轮廓进行最小外接矩形的拟合，根据最小外接矩形的质心内缩外扩一定比例，对图像外边缘感兴趣区域进行提取；在相应的感兴趣区域重新进行二值化操作，根据最小二乘直线拟合方式对最优点集进行拟合，得到四条边缘直线，可以求出相应的四个精确交点，最终根据透视变换对其进行精确校正。
本发明具有以下有益效果：
(1)本发明采用部分最优点集进行直线拟合的方法，可以有效提升直线检测精度及直线拟合精度，同时可以满足工业视觉检测领域的高效性、稳定性和鲁棒性的要求，为之后的产品外观质量检测奠定基础；
(2)本发明能够消除Hough直线检测的精度局限性，同时也有效消除倒角部分的点集对直线拟合准确度产生影响。
附图说明
图1是本发明的流程图；
图2是待校正的矩形框图像示意图；
其中，(a)是待校正的矩形框图像，(b)是待校正的矩形框标签图像；
图3是经Sobel算法处理后的图像示意图；
图4是本发明提取的图像最外层轮廓示意图；
图5是本发明求得的图像最小外接矩形示意图；
图6是本发明图像内缩外扩α比例截取图像外边框的示意图；
图7是本发明中选取矩形框感兴趣区域的示意图；
图8是本发明得到的最优点集的感兴趣区域示意图；
图9是本发明中干扰区域的示意图；
图10是本发明提取最优点集的示意图；
图11是本发明得到4个精确交点的示意图；
图12是本发明得到矩形框图像校正结果的示意图；
其中，(a)是对应图1(a)的矩形框图像校正结果；
(b)是对应图1(b)的矩形框标签校正结果；
图13是图像的长宽示意图。
具体实施方式
以下将结合附图，对本发明的技术方案及有益效果进行详细说明。
如图1所示，本发明提供一种具有矩形框图像的精确校正处理方法，以图2所示具有矩形框的图像为例，具体包括如下步骤：
第一步：图像预处理及边缘检测。在图像处理中，预处理操作是很重要的一步工作，一般流程是预处理降噪(平滑滤波)→灰度化→梯度计算→形态学闭操作。首先进行图像预处理，对图像进行平滑滤波，消除图像边缘可能存在的锯齿等情况；梯度计算主要使用Sobel算法，根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘，得到的图像如图3所示。
由于光照等因素的干扰，会造成提取的连通区域不完整，存在边缘丢失等情况，需要进行形态学闭操作(核大小可根据实际情况选取)，对最大连通域进行提取。
第二步：求取图像边缘的最小外接矩形。通过面积占比筛选出图像最外层轮廓，查找遍历图像的外轮廓C，当轮廓面积最大时则为图像的最外层轮廓C1，可同时配合图4：
C1＝Max(C)
接着通过图像的最外层轮廓进行图像的最小外接矩形操作，可以求出图像的最小外接矩形，如图5，为之后感兴趣区域提供截取范围。
第三步：以最小外接矩形质心为基准，首先内缩外扩α比例截取图像的外边框(如图6虚线框所示)；然后，由于在工业制造过程中绝对直角的加工制造难度和成本较高，因此大多数浇铸件的四个顶点处往往存在细小的倒角，所以根据最小外接矩形的长宽信息，截去各条边两端β比例的长度(可根据实际情况选取，如图7所示)，以消除工业制造过度圆角处点集对最小二乘直线拟合的影响。图8为上述虚线矩形所截取的最优点集的感兴趣区域。
其中，参数α的取值主要考虑能够尽量截取图像的外边框，通常取中间作为截取部分，也可以根据相机分辨率、镜头放大倍率、工作距离和图像外边框实际宽度等信息计算求得，具体来说，配合图13所示，设相机分辨率为a(pixel)*b(pixel)，图像大小为c(mm)*d(mm)，首先可由a/c可以计算出相应的单位长度的像素点个数，再通过α＝(d/k)*(a/c)得到需要内所外扩多少个像素点，其中k为比例系数，可根据经验进行设定，通常取值10；β可根据经验取值，通常取值为1/3；
第四步：最优点集的提取及最小二乘直线拟合。由于带有矩形框图像的浇铸件自身原因，会出现外边框的一段区域，而不是一条直线；同时区域内还会有其它轮廓区域的干扰，例如图9所示。这些都会对最小二乘直线的拟合结果造成严重影响。
以图9为例，首先通过对其进行外边缘检测，找出轮廓区域面积contourArea，当contourArea<γ时(γ可根据内部区域的实际情况进行选取)，进行填充，消除干扰区域对最小二乘直线拟合的影响。
接着对去除干扰区域后得到的区域进行轮骨线的提取，依次遍历区域内点集，找出相应的内外轮廓点集，根据相应的位置关系，可以提取出相应的轮骨线点集，即最优点集Point_i，可配合图10所示，图中虚线表示最优点集。
最终对最优点集Point_i进行最小二乘直线拟合，得到四条边缘直线，最终得出图像外边框的精确交点。以左上顶点(x0,y0)为例，左边缘直线为y＝k1x+b1，上边缘直线为y＝k2x+b2。
y0＝k1*x0+b1
根据上式，可以得出四个精确交点，如图11所示。
第五步：透视变换校正图像。对第四步的四个交点进行排序，分别记：左上角的交点为p1；右上角的交点为p2；右下角的交点为p3；左下角的交点为p4。设定目标映射点d1、d2、d3、d4进行透视变换校正图像，其中目标映射点的设定需满足以下约束条件：
(1)点d1、d2、d3、d4位置与点p1、p2、p3、p4位置一一对应。
(2)由d1、d2、d3、d4所确定的矩形的长宽比应等于图像实际长宽比。
(3)由d1、d2、d3、d4所确定的矩形的长度值和宽度值应等于图像实际长宽与成像系统放大倍率的乘积。
同理也可以对矩形框标签图像进行精确校正，如图12(b)所示。
本发明是一种具有矩形框图像的精确校正处理方法，包含了最小二乘直线拟合高精度校正技术，最小二乘直线拟合高精度校正技术提高了具有矩形框图像校正的精度，为其后续处理和机器视觉检测提供了可靠有效的技术支撑。
以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (6)
1.一种具有矩形框图像的精确校正处理方法，其特征在于包括如下步骤：
步骤1，对图像进行预处理，并进行形态学闭操作；
步骤2，确定图像的最外层轮廓，再求得图像的最小外接矩形；
步骤3，以最小外接矩形的质心为基准，内缩外扩一定比例截取图像的外边框，然后截去外边框中各条边两端的部分长度，从而得到最优点集的感兴趣区域；
步骤4，提取感兴趣区域中的最优点集，并对最优点集进行最小二乘直线拟合，从而得到4个交点；
步骤5，对步骤4得到的4个交点进行排序，通过透视变换校正图像。
2.如权利要求1所述的具有矩形框图像的精确校正处理方法，其特征在于：所述步骤1中，对图像进行预处理包括按序对图像进行降噪、灰度化、梯度计算的操作。
3.如权利要求1所述的具有矩形框图像的精确校正处理方法，其特征在于：所述步骤3中，内缩外扩α比例截取图像的外边框，其中，α＝(d/k)*(a/c)，相机分辨率为a*b，图像大小为c*d，k为比例系数。
4.如权利要求3所述的具有矩形框图像的精确校正处理方法，其特征在于：k取值为10，β取值为1/3。
5.如权利要求1所述的具有矩形框图像的精确校正处理方法，其特征在于：所述步骤4的具体过程是：
步骤41，对最优点集的感兴趣区域进行外边缘检测，找出轮廓区域面积，若该面积小于设定数据，则进行填充；
步骤42，对经步骤41处理的区域提取轮骨线，得到轮骨线点集，也即最优点集；
步骤43，对最优点集进行最小二乘直线拟合，得到4条边缘直线，最终得出图像外边框的4个交点。
6.如权利要求5所述的具有矩形框图像的精确校正处理方法，其特征在于：所述步骤42中，得到轮骨线点集的方法是，对经步骤41处理的区域，遍历区域内点集，找出相应的内外轮廓点集，根据相应的位置关系，提取出相应的轮骨线点集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111062908.1A CN113763279A (zh) | 2021-09-10 | 2021-09-10 | 一种具有矩形框图像的精确校正处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111062908.1A CN113763279A (zh) | 2021-09-10 | 2021-09-10 | 一种具有矩形框图像的精确校正处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763279A true CN113763279A (zh) | 2021-12-07 |
Family
ID=78794786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111062908.1A Pending CN113763279A (zh) | 2021-09-10 | 2021-09-10 | 一种具有矩形框图像的精确校正处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763279A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648542A (zh) * | 2022-03-11 | 2022-06-21 | 联宝(合肥)电子科技有限公司 | 一种目标物提取方法、装置、设备及可读存储介质 |
| CN115775315A (zh) * | 2023-02-10 | 2023-03-10 | 武汉精立电子技术有限公司 | Roi提取方法、装置、设备及可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147580A1 (en) * | 2017-11-14 | 2019-05-16 | Harbin Institute Of Technology | Positioning Method of Rectangular Pin Element Based on Vertex Points |
| CN109949249A (zh) * | 2019-03-29 | 2019-06-28 | 珠海丹德图像技术有限公司 | 一种柱面图像校正方法及系统 |
| CN110060231A (zh) * | 2019-03-14 | 2019-07-26 | 长春理工大学 | 一种活塞环图像快速计数方法 |
| CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN110992286A (zh) * | 2019-12-03 | 2020-04-10 | 河海大学常州校区 | 一种基于ccd相机的光伏组件图像校正方法 |
-
2021
- 2021-09-10 CN CN202111062908.1A patent/CN113763279A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190147580A1 (en) * | 2017-11-14 | 2019-05-16 | Harbin Institute Of Technology | Positioning Method of Rectangular Pin Element Based on Vertex Points |
| CN110060231A (zh) * | 2019-03-14 | 2019-07-26 | 长春理工大学 | 一种活塞环图像快速计数方法 |
| CN109949249A (zh) * | 2019-03-29 | 2019-06-28 | 珠海丹德图像技术有限公司 | 一种柱面图像校正方法及系统 |
| CN110992326A (zh) * | 2019-11-27 | 2020-04-10 | 江苏理工学院 | 一种qfn芯片引脚图像快速倾斜校正方法 |
| CN110992286A (zh) * | 2019-12-03 | 2020-04-10 | 河海大学常州校区 | 一种基于ccd相机的光伏组件图像校正方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114648542A (zh) * | 2022-03-11 | 2022-06-21 | 联宝(合肥)电子科技有限公司 | 一种目标物提取方法、装置、设备及可读存储介质 |
| CN115775315A (zh) * | 2023-02-10 | 2023-03-10 | 武汉精立电子技术有限公司 | Roi提取方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003258B (zh) | 一种高精度亚像素圆形零件测量方法 | |
| CN108921176B (zh) | 一种基于机器视觉的指针式仪表定位与识别方法 | |
| CN111758024B (zh) | 一种缺陷检测方法及装置 | |
| CN113077467B (zh) | 一种目标物体的边缘缺陷检测方法及装置、存储介质 | |
| CN109816652B (zh) | 一种基于灰度显著性的复杂铸件缺陷识别方法 | |
| CN106960208B (zh) | 一种仪表液晶数字自动切分和识别的方法及系统 | |
| WO2022007431A1 (zh) | 一种Micro QR二维码的定位方法 | |
| CN107228860B (zh) | 一种基于图像旋转周期特性的齿轮缺陷检测方法 | |
| CN107203973B (zh) | 一种三维激光扫描系统中线激光中心的亚像素定位方法 | |
| CN110569857B (zh) | 一种基于质心距离计算的图像轮廓角点检测方法 | |
| CN108960237B (zh) | 一种指针式油位计读数识别方法 | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN113763279A (zh) | 一种具有矩形框图像的精确校正处理方法 | |
| CN115096206B (zh) | 一种基于机器视觉的零件尺寸高精度测量方法 | |
| CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
| CN112767359B (zh) | 复杂背景下的钢板角点检测方法及系统 | |
| CN111798423B (zh) | 一种混凝土裂缝图片拼接与检测方法 | |
| CN116503462A (zh) | 一种圆形斑点圆心快速提取方法及系统 | |
| CN115527049A (zh) | 一种引线框架引脚间距的高精度测量方法 | |
| CN113538399A (zh) | 一种用于获取工件精准轮廓的方法、机床及存储介质 | |
| JP2011133954A (ja) | エッジ抽出方法及びエッジ抽出装置 | |
| CN112734779A (zh) | 一种圆点标定板边缘亚像素检测方法 | |
| CN115511966B (zh) | 基于角点检测的元件识别定位方法及系统、存储介质 | |
| CN112102189A (zh) | 一种线结构光光条中心线提取方法 | |
| CN116596987A (zh) | 一种基于双目视觉的工件三维尺寸高精度测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |