CN114445472B - 基于仿射变换和模板匹配的多步图像配准方法 - Google Patents

基于仿射变换和模板匹配的多步图像配准方法 Download PDF

Info

Publication number
CN114445472B
CN114445472B CN202210208404.4A CN202210208404A CN114445472B CN 114445472 B CN114445472 B CN 114445472B CN 202210208404 A CN202210208404 A CN 202210208404A CN 114445472 B CN114445472 B CN 114445472B
Authority
CN
China
Prior art keywords
image
registration
template
area
schematic diagram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210208404.4A
Other languages
English (en)
Other versions
CN114445472A (zh
Inventor
胡建家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shengsuan Software Technology Co ltd
Original Assignee
Shandong Shengsuan Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shengsuan Software Technology Co ltd filed Critical Shandong Shengsuan Software Technology Co ltd
Priority to CN202210208404.4A priority Critical patent/CN114445472B/zh
Publication of CN114445472A publication Critical patent/CN114445472A/zh
Application granted granted Critical
Publication of CN114445472B publication Critical patent/CN114445472B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于仿射变换和模板匹配的多步图像配准算法，包括获得物体的原理图以及实拍图；提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成实拍图与原理图的第一步粗配准；完成对配准区域的配准；提取配准点位置，并与原理图进行匹配；根据匹配点的对应关系，获取实拍图与原理图仿射变换的变换矩阵，完成仿射变换；在实拍图的对应位置的周围做一次模板匹配，完成区域配准误差的补偿，最终完成每一块区域的配准工作。本发明属于机器视觉缺陷检测技术领域，具体是提供了一种可以容许待检品在图像中更大的误差、图像配准的精度更高的基于仿射变换和模板匹配的多步图像配准算法。

Description

基于仿射变换和模板匹配的多步图像配准方法
技术领域
本发明属于机器视觉缺陷检测技术领域，具体是指一种基于仿射变换和模板匹配的多步图像配准方法。
背景技术
随着生活水平的提高和生产制造力技术的发展，人们对产品质量提出了更高的要求，3C件、加工件、纺织品、医药包装、食品包装等行业，都存在产品外观质量检测问题。通常人们对产品外观质量的关注，主要包括：(1)以产品外观质量作为价值依附的产品，如印刷、包装、工艺品等；(2)表面缺陷直接影响到产品的使用和深加工的产品，会给使用着和深加工客户带来极大的损失，因此，检测表面缺陷品质量的把控非常必要。
目前国内针对产品的表面缺陷检测，主要通过两种方法：(1)几何配准法：即通过定位区域的形状、中心点、偏转角度等来完成配准；一般采用配准区域的外接旋转矩形来实现配准。具体做法为在原理图像和待检图像中选择一个相同的配准区域，使用区域的外界矩形中心作为旋转中心，矩形长边与x轴夹角作为旋转角度，对待检图像进行旋转、平移等操作；由于图像噪声的存在和定位点提取偏差等现实问题，为提高定位精度，选择定位区时一般选择与背景差异较大，易提取且面积较大的区域；(2)两点配准法：顾名思义是通过两个点之间的相对位置关系来实现定位的算法；基本做法为在原理图像和待检图像中选择两个相同的配准点，以模板图像两个点所构直线与x轴夹角作为标准角度，以两点的中心作为定位中心和旋转中心，以两点之间长度作为标准长度，对待检图像进行旋转、平移、缩放等操作；由于图像噪声的存在和定位点提取偏差等问题，为提高定位精度，选择定位点时应使两个配准点距离应尽量远，最好处于图像的对角位置。
对于上述方法，算法(1)几何配准法的优点为处理速度快，只需要一个配准区域，但是缺点也很明显，即配准精度低；算法(2)两点配准法的优点在于处理速度快，定位精度高，但是缺点在于需要两个配准点，并且对配准点要求较高。
标准品外观缺陷使用机器视觉进行检测的过程中，常常会使用原理图来对实际的产品进行检测。因而做好实际产品拍摄图像与原理图的1比1配准，是检测效果的前提条件。实际检测过程中，由于硬件设备精度的限制，实拍图或多或少的会存在一定程度的旋转、平移、缩放等等。基于此需求，本文提出一种基于仿射变换和模板匹配的多步图像配准方法。该算法可以在容忍较大的旋转、平移、缩放等机械误差的基础上，完成原理图与实拍图的高精度配准。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种可以容许待检品在图像中更大的误差、图像配准的精度更高的基于仿射变换和模板匹配的多步图像配准方法。
本发明采取的技术方案如下：本发明一种基于仿射变换和模板匹配的多步图像配准方法，包括以下步骤：
S1：获得物体的原理图，采用CCD或CMOS传感器对物体表面进行表面图像采集，获得实拍图；
S2：根据实拍图背景与前景的颜色纹理差异提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成实拍图与原理图的第一步粗配准；
S3：根据实拍图中配准区域的颜色纹理特征，使用模板匹配的方式完成对每个配准区域的配准；
S4：根据配准区域内配准点的颜色纹理特征，提取每个配准区域内的配准点位置，并与原理图中相应区域内的配准点位置进行一一匹配；
S5：匹配完成后，根据所有匹配点的对应关系，获取实拍图与原理图仿射变换的变换矩阵，而后根据变换矩阵完成实拍图到原理图的仿射变换；
S6：根据原理图获取实拍图中每一块检测区域的位置，并在实拍图的对应位置的周围做一次模板匹配，完成每一小块区域配准误差的补偿，最终完成每一块区域的配准工作。
进一步地，所述步骤S5中配准点不少于三个。
进一步地，本方案还包括：根据步骤S1中取一张实拍图作为模板图，所述模板图要求配准区域无缺陷，获得模板图后还包括模板制作模块。
优选地，所述模板制作模块包括以下步骤：
步骤一：根据模板图背景与前景的颜色纹理差异，提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成模板图与原理图的第一步粗配准；
步骤二：人工分别在模板图和原理图中框选对应的配准区域，配准区域要求一一对应；
步骤三：提取原理图中所有定位区域内的定位点位置及形状特征，并保存到档案当中，为实际检测过程中定位点匹配做准备；
步骤四：保存模板图中每一个配准区域的原图及位置信息，为实际检测过程中配准区域的模板匹配做准备；
步骤五：根据颜色特征提取原理图中每一个检测区域的位置、形状等，并将每一个区域保存为二值图，为后续检测做准备。
进一步地，关于模板制作模块的方法的步骤二中，在原理图中框选的配准区域与在模板图上框选的配准区域要位置相同，且配准区域尽量覆盖整幅图像的四周，区域内定位点尽量明显、独立。
进一步地，所述步骤S3中，使用档案中模板图的配准区域原图，在档案中模板图的配准区域位置周围，使用模板匹配的方式完成每一个配准区域的定位。
优选地，所述步骤S4中匹配不上的定位点可以直接舍弃。
本方案的基于仿射变换和模板匹配的多步图像配准方法，采用上述方案本发明取得的有益效果如下：
1、对机械误差容忍大：不管是几何配准法还是两点配准法，都要求所选配准区域位于指定位置中，而本方案中的多步配准算法，由于第一步直接采取外轮廓配准，因而可以容许待检品在图像中更大的误差。
2、配准精度高：相对于两点配准法，本文的配准区域更多，因而定位精度也更高；此外，由于还在仿射变换之后对单个区域进行了模板匹配，使得整体图像配准的精度更高。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例，本发明的基于仿射变换和模板匹配的多步图像配准方法，在具体实施的过程中，分为两个模块：模板制作模块和检测模块，以下对两个模块进行分别解释。
一、模板制作模块
1.取一张实拍图作为模板图，模板图要求配准区域无缺陷；
2.根据模板图背景与前景的颜色纹理差异，提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成模板图与原理图的第一步粗配准；
3.人工分别在模板图和原理图中框选对应的配准区域，配准区域要求一一对应(即在原理图中框选的配准区域与在模板图上框选的配准区域要位置相同)，配准区域尽量覆盖整幅图像的四周，区域内定位点尽量明显、独立；
4.提取原理图中所有定位区域内的定位点位置及形状特征，并保存到档案当中，为实际检测过程中定位点匹配做准备，并保存模板图中每一个配准区域的原图及位置信息，为实际检测过程中配准区域的模板匹配做准备；
5.根据颜色特征提取原理图中每一个检测区域的位置、形状等。并将每一个区域保存为二值图，为后续检测做准备。
二、检测模块
1.获取实拍图进行检测；
2.根据实拍图背景与前景的颜色纹理差异，提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成实拍图与原理图的第一步粗配准；
3.使用档案中模板图的配准区域原图，在档案中模板图的配准区域位置周围，使用模板匹配的方式完成每一个配准区域的定位；
4.根据颜色信息提取每一个配准区域中的定位点，并与模板图中对应区域的定位点，使用位置关系形状相似度等进行一一匹配，匹配不上的定位点可以直接舍弃；
5.根据对应的定位点位置关系获取实拍图与原理图仿射变换的变换矩阵，再根据变换矩阵完成实拍图到原理图的仿射变换；
6.遍历档案中根据原理图提取的检测区域，根据颜色特征提取实拍图中相应的检测区域，根据原理图的二值图在实拍图提取的检测区域附近进行模板匹配，完成每一块区域的配准工作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (4)

1.基于仿射变换和模板匹配的多步图像配准方法，其特征在于：包括以下步骤：
S1：获得物体的原理图，采用CCD或CMOS传感器对物体表面进行表面图像采集，获得实拍图；
S2：根据实拍图背景与前景的颜色纹理差异提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成实拍图与原理图的第一步粗配准；
S3：根据实拍图中配准区域的颜色纹理特征，使用模板匹配的方式完成对每个配准区域的配准；
S4：根据配准区域内配准点的颜色纹理特征，提取每个配准区域内的配准点位置，并与原理图中相应区域内的配准点位置进行一一匹配；
S5：匹配完成后，根据所有匹配点的对应关系，获取实拍图与原理图仿射变换的变换矩阵，而后根据变换矩阵完成实拍图到原理图的仿射变换；
S6：根据原理图获取实拍图中每一块检测区域的位置，并在实拍图的对应位置的周围做一次模板匹配，完成每一小块区域配准误差的补偿，最终完成每一块区域的配准工作；
所述步骤S5中配准点不少于三个；
根据步骤S1中取一张实拍图作为模板图，所述模板图要求配准区域无缺陷，获得模板图后还包括模板制作模块；
所述模板制作模块包括以下步骤：
步骤一：根据模板图背景与前景的颜色纹理差异，提取实拍图的检测目标区域，根据目标区域与原理图的外轮廓特征，使用仿射变换完成模板图与原理图的第一步粗配准；
步骤二：人工分别在模板图和原理图中框选对应的配准区域，配准区域要求一一对应；
步骤三：提取原理图中所有定位区域内的定位点位置及形状特征，并保存到档案当中，为实际检测过程中定位点匹配做准备；
步骤四：保存模板图中每一个配准区域的原图及位置信息，为实际检测过程中配准区域的模板匹配做准备；
步骤五：根据颜色特征提取原理图中每一个检测区域的位置、形状，并将每一个区域保存为二值图，为后续检测做准备。
2.根据权利要求1所述的基于仿射变换和模板匹配的多步图像配准方法，其特征在于：所述步骤S4中匹配不上的定位点可以直接舍弃。
3.根据权利要求2所述的基于仿射变换和模板匹配的多步图像配准方法，其特征在于：关于模板制作模块的方法的步骤二中，在原理图中框选的配准区域与在模板图上框选的配准区域要位置相同，且配准区域尽量覆盖整幅图像的四周，区域内定位点尽量明显、独立。
4.根据权利要求3所述的基于仿射变换和模板匹配的多步图像配准方法，其特征在于：所述步骤S3中，使用档案中模板图的配准区域原图，在档案中模板图的配准区域位置周围，使用模板匹配的方式完成每一个配准区域的定位。
CN202210208404.4A 2022-03-04 2022-03-04 基于仿射变换和模板匹配的多步图像配准方法 Active CN114445472B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210208404.4A CN114445472B (zh) 2022-03-04 2022-03-04 基于仿射变换和模板匹配的多步图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210208404.4A CN114445472B (zh) 2022-03-04 2022-03-04 基于仿射变换和模板匹配的多步图像配准方法

Publications (2)

Publication Number Publication Date
CN114445472A CN114445472A (zh) 2022-05-06
CN114445472B true CN114445472B (zh) 2023-05-26

Family

ID=81359376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210208404.4A Active CN114445472B (zh) 2022-03-04 2022-03-04 基于仿射变换和模板匹配的多步图像配准方法

Country Status (1)

Country Link
CN (1) CN114445472B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115512427B (zh) * 2022-11-04 2023-04-25 北京城建设计发展集团股份有限公司 一种结合配合式活检的用户人脸注册方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452030A (zh) * 2017-08-04 2017-12-08 南京理工大学 基于轮廓检测和特征匹配的图像配准方法
CN108596829A (zh) * 2018-04-19 2018-09-28 广东工业大学 一种pcb裸板图片配准方法和装置
CN109409292A (zh) * 2018-10-26 2019-03-01 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847258A (zh) * 2009-03-26 2010-09-29 陈贤巧 一种光学遥感图像配准方法
CN105869168A (zh) * 2016-04-01 2016-08-17 南京理工大学 基于多项式拟合的多源遥感图像形状配准方法
CN106251350B (zh) * 2016-07-28 2019-03-29 北京航空航天大学 一种基于极小惯量的rcs像与目标轮廓配准方法
CN107203990B (zh) * 2017-04-02 2020-12-18 南京汇川图像视觉技术有限公司 一种基于模板匹配与图像质量评估的标贴破损检测方法
CN107392947B (zh) * 2017-06-28 2020-07-28 西安电子科技大学 基于轮廓共面四点集的2d-3d图像配准方法
CN109064488B (zh) * 2018-07-05 2022-08-09 北方工业大学 无人机载视频中特定建筑匹配跟踪方法
CN110567976B (zh) * 2019-08-30 2023-05-26 中国地质大学（武汉） 基于机器视觉的手机盖板丝印缺陷检测装置及检测方法
CN112508826B (zh) * 2020-11-16 2022-03-01 哈尔滨工业大学（深圳） 一种印刷品缺陷检测方法
CN113470084B (zh) * 2021-05-18 2024-01-30 西安电子科技大学 一种基于外轮廓粗匹配的点集配准方法
CN113643338A (zh) * 2021-08-13 2021-11-12 亿嘉和科技股份有限公司 基于融合仿射变换的纹理图像目标定位方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452030A (zh) * 2017-08-04 2017-12-08 南京理工大学 基于轮廓检测和特征匹配的图像配准方法
CN108596829A (zh) * 2018-04-19 2018-09-28 广东工业大学 一种pcb裸板图片配准方法和装置
CN109409292A (zh) * 2018-10-26 2019-03-01 西安电子科技大学 基于精细化特征优化提取的异源图像匹配方法

Also Published As

Publication number Publication date
CN114445472A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN109285194B (zh) 相机标定板及相机标定数据采集方法
CN112381827B (zh) 基于视觉图像的快速高精度缺陷检测方法
CN107993258B (zh) 一种图像配准方法及装置
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN110293559B (zh) 一种自动识别定位对准的安装方法
CN111062940B (zh) 一种基于机器视觉的螺钉定位与识别方法
CN111383194B (zh) 一种基于极坐标的相机畸变图像校正方法
CN112964186B (zh) 一种轴孔自动化装配过程中间隙测量装置及方法
CN110524301B (zh) 电机定子加工定位的方法
CN114445472B (zh) 基于仿射变换和模板匹配的多步图像配准方法
CN112365502B (zh) 一种基于视觉图像缺陷检测的标对方法
CN111402330A (zh) 一种基于平面靶标的激光线关键点提取方法
CN114383505A (zh) 一种用于短轴类零件尺寸的自动检测装置
CN108520533B (zh) 一种面向工件定位的多维度特征配准方法
CN112109374A (zh) 一种基于计算机视觉系统定位及控制折弯模具装卸的方法
CN116883498A (zh) 基于灰度质心提取算法的视觉合作靶标特征点定位方法
CN116594351A (zh) 一种基于机器视觉的数控加工单元系统
CN115830089A (zh) 一种结合关键点信息的点云配准方法及其应用
Zhang et al. Research on cylindrical labels unfolding algorithm based on machine vision
Yao et al. High precision tuning device of microwave cavity filter based on hand-eye coordination
CN111383277B (zh) 一种宽间距双摄模组aa方法及系统
Zixin et al. A fast tool edge detection method based on Zernike moments algorithm
CN113758439A (zh) 热态环件轧制成形过程中几何参数在线测量方法及装置
CN113997059A (zh) 一种压缩机工件装配方法、装置、系统及存储介质
Hui et al. Surface measurement based on instantaneous random illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant