CN111583319B - 一种基于局部形变轮廓匹配的包装袋图像配准方法 - Google Patents

一种基于局部形变轮廓匹配的包装袋图像配准方法 Download PDF

Info

Publication number
CN111583319B
CN111583319B CN202010400569.2A CN202010400569A CN111583319B CN 111583319 B CN111583319 B CN 111583319B CN 202010400569 A CN202010400569 A CN 202010400569A CN 111583319 B CN111583319 B CN 111583319B
Authority
CN
China
Prior art keywords
registration
contour
image
grid
active
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010400569.2A
Other languages
English (en)
Other versions
CN111583319A (zh
Inventor
王韵清
李超
于昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Huimao Electronic Port Co Ltd
Original Assignee
Shandong Huimao Electronic Port Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Huimao Electronic Port Co Ltd filed Critical Shandong Huimao Electronic Port Co Ltd
Priority to CN202010400569.2A priority Critical patent/CN111583319B/zh
Publication of CN111583319A publication Critical patent/CN111583319A/zh
Application granted granted Critical
Publication of CN111583319B publication Critical patent/CN111583319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于局部形变轮廓匹配的包装袋图像配准方法，属于机器视觉领域，本发明针对没有固定形状的包装袋，通过轮廓提取、轮廓网格化、轮廓平滑、轮廓配准实现了在粗略定位的基础上对可形变的物体进行精确定位，提高了定位精度，对包装袋的形变和边缘遮挡缺失也具有鲁棒性。

Description

一种基于局部形变轮廓匹配的包装袋图像配准方法
技术领域
本发明涉及机器视觉领域，尤其涉及一种基于局部形变轮廓匹配的包装袋图像配准方法。
背景技术
产品生产最后都需要对产品进行装箱，对一些有固定形状的物体比如魔方，可以直接采用模型匹配的方式进行定位，精度也较高，但是对一些没有固定形状的物体比如袋装方便面，直接采用模型匹配的方式不仅精度较低还有可能出现匹配失败的情况。
公开号为CN104835156A的专利公开了一种基于计算机视觉的无纺布袋自动定位方法，通过计算无纺布袋四个角落的位置和无纺布袋的偏转角度，完成对无纺布袋的定位。定位结果包括四角、边线和旋转角度，但是对变形的鲁棒性差，也无法很好的应对边线缺失的情况。
公开号为CN109584216A的专利公开了一种面向机器人抓取作业的可变形料袋视觉识别与定位方法，对料袋的形变具有一定的鲁棒性，但需要对料袋本身进行加工，推广成本高。
发明内容
为了解决以上技术问题，本发明提供了一种基于局部形变轮廓匹配的包装袋图像配准方法，可以在粗略定位的基础上对可形变的物体进行精确定位。
本发明的技术方案是：
一种基于局部形变轮廓匹配的包装袋图像配准方法，包括：
轮廓提取步骤：对包装袋模板图像和待配准包装袋图像进行四周轮廓提取。
轮廓网格化步骤：对轮廓提取步骤获得的轮廓进行网格化操作。
轮廓平滑步骤:对轮廓网格化步骤获得的网格图像进行模糊平滑。
轮廓配准步骤：分别对网格图像进行配准，进而得到整体的配准结果。
进一步的，所述轮廓提取步骤包括：
二值化步骤：对输入图像进行二值化，获得黑白两色图像。
高斯滤波步骤：对二值化步骤获得的黑白两色图像进行高斯滤波，滤除噪声。
边缘提取步骤：采用canny边缘检测算法提取图像边缘，进行轮廓拟合。
进一步的，所述二值化步骤包括：
二值化阈值提取步骤：采用改进的otsu算法计算二值化阈值。
自动阈值二值化步骤：根据二值化阈值对图像进行二值化。
进一步的，所述轮廓网格化步骤将轮廓划分为主动网格和被动网格。
进一步的，所述主动网格为模板中包含轮廓的部分，负责主动形变来配准待配准轮廓，若主动网格在对应位置无法配准，即发生待配准包装袋部分边缘特征缺失的情况，则变为被动网格。
进一步的，被动网格包含模板中不包含轮廓的部分及退化的主动网格，负责跟随主动网格的形变，从而保证整个轮廓的大致形状。
进一步的，所述轮廓平滑步骤采用将原图像与滤波器进行卷积的方式进行图像平滑。
进一步的，所述轮廓平滑步骤采用的卷积核为：
Figure BDA0002489274780000021
进一步的，所述轮廓配准步骤包括：
主动网格配准步骤：模板轮廓主动网格配准待配准图像网格。
被动网格验证步骤：根据被动网格平移量验证主动网格配准结果。
配准组合步骤：根据各个主动网格配准结果组合获得包装袋图像配准结果。
进一步的，所述主动网格配准步骤将模板图像主动网格在待配准图像初始配准区域中不断平移，在每一个平移位置计算模板图像与平移子图的相似度，作为配准分数，遍历配准区域，将最高的配准分数位置作为目标位置。
进一步的，所述主动网格配准步骤相似度度量方程有差值绝对值之和：
Figure BDA0002489274780000031
和差值平方：
Figure BDA0002489274780000032
两种方式。
进一步的，所述主动网格配准骤中初始配准区域为网格大小的三倍。
进一步的，所述主动网格配准步骤中若主动网格在配准区域中无法配准或配准分数低，则将该主动网格视为被动网格。
进一步的，所述被动网格验证步骤根据主动网格配准后的被动网格需要平移的范围判断是否超过配准区域，若超过配准区域，则缩小初始配准区域大小，重新进行主动网格配准步骤。
本发明的有益效果是
在粗略定位的基础上对可形变的包装袋进行精确定位，提高了定位精度，对包装袋的形变和边缘遮挡缺失也具有鲁棒性。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的一种基于局部形变轮廓匹配的包装袋图像配准方法，包括轮廓提取步骤、轮廓网格化步骤、轮廓平滑步骤、轮廓配准步骤。其中，
轮廓提取步骤分别对包装袋模板图像和待配准包装袋图像进行包装袋的四周轮廓提取。
轮廓网格化步骤对轮廓进行网格化操作，将其划分成m×n个小网格。
轮廓平滑步骤对网格图像进行模糊平滑。
最后轮廓配准步骤分别对网格图像进行配准，进而得到整体的配准结果。
所述轮廓提取步骤又包括二值化步骤、高斯滤波步骤和边缘提取步骤。其中，
二值化步骤包括二值化阈值提取步骤和自动阈值二值化步骤。采用改进的otsu算法计算得到二值化阈值从而对包装袋模板图像和待配准包装袋图像进行二值化，获得黑白两色图像。
高斯滤波步骤对二值化步骤获得的黑白两色图像进行高斯滤波，滤除噪声。
边缘提取步骤采用canny边缘检测算法提取图像边缘，进行轮廓拟合。
所述轮廓网格化步骤将轮廓划分m×n个小网格，网格数目影响匹配精度和速度。一般来说，数目越大，匹配精度越高，但速度越慢。将网格并分为主动网格和被动网格。主动网格为模板中包含轮廓的部分，负责主动形变来配准待配准轮廓，若主动网格在对应位置无法配准，即发生待配准包装袋部分边缘特征缺失的情况，则变为被动网格。被动网格则为模板中不包含轮廓的部分，负责跟随主动网格的形变，从而保证整个轮廓的大致形状，并起到配准验证的功能。被动网格不参与配准过程可以有效提高配准速度。
所述轮廓平滑步骤采用将原图像与滤波器进行卷积的方式进行图像平滑。将卷积核在图像中平移，用卷积获得的像素替换原像素，对轮廓进行平滑。可采用的三阶卷积核为：
Figure BDA0002489274780000051
所述轮廓配准步骤包括主动网格配准步骤、被动网格验证步骤和配准组合步骤。主动网格配准中将模板图像主动网格在待配准图像初始配准区域即网格大小的三倍中不断平移，在每一个平移位置计算模板图像与平移子图的相似度，作为配准分数，遍历配准区域，将最高的配准分数位置作为目标位置。可采用的相似度度量方程有差值绝对值之和：
Figure BDA0002489274780000052
和差值平方：
Figure BDA0002489274780000053
两种方式。
若主动网格在配准区域中无法配准或配准分数低，则将该主动网格视为被动网格，参与到被动网格验证步骤中。
被动网格验证步骤根据主动网格配准后的被动网格需要平移的范围判断是否超过初始配准区域，若超过配准区域，则缩小初始配准区域大小，重新进行主动网格配准步骤，直到满足条件。若始终不满足，则返回匹配失败。
配准组合步骤：根据各个主动网格配准结果组合获得包装袋图像配准结果。最终可以获得待配准包装袋的位置，可以用于机器人抓取定位。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.一种基于局部形变轮廓匹配的包装袋图像配准方法，其特征在于，
包括如下步骤：
1）轮廓提取：对包装袋模板图像和待配准包装袋图像进行四周轮廓提取；
2）轮廓网格化：对轮廓提取步骤获得的轮廓进行网格化操作；
3）轮廓平滑:对轮廓网格化步骤获得的网格图像进行模糊平滑；
4）轮廓配准：分别对网格图像进行配准，进而得到整体的配准结果；
所述步骤1）具体包括：
1.1）二值化：对输入图像进行二值化，获得黑白两色图像；
1.2）高斯滤波：对步骤1.1）获得的黑白两色图像进行高斯滤波，滤除噪声；
1.3）边缘提取：采用canny边缘检测算法提取图像边缘，进行轮廓拟合；
所述步骤1.1）具体包括：
1.11）二值化阈值提取：采用改进的otsu算法计算二值化阈值；
1.12）自动阈值二值化：根据二值化阈值对图像进行二值化；
所述步骤2）将轮廓划分为主动网格和被动网格；
其中，
主动网格为模板中包含轮廓的部分，负责主动形变来配准待配准轮廓，若主动网格在对应位置无法配准，即发生待配准包装袋部分边缘特征缺失的情况，则变为被动网格；
被动网格包含模板中不包含轮廓的部分及退化的主动网格，负责跟随主动网格的形变，从而保证整个轮廓的大致形状；
所述步骤4）包括：
4.1）主动网格配准：模板轮廓主动网格配准待配准图像网格；
4.2）被动网格验证：根据被动网格平移量验证主动网格配准结果；
4.3）配准组合：根据各个主动网格配准结果组合获得包装袋图像配准结果。
2.根据权利要求1所述的方法，其特征在于，
所述步骤3）采用将原图像与滤波器进行卷积的方式进行图像平滑；
采用的卷积核为：
Figure DEST_PATH_IMAGE002
。
3.根据权利要求1所述的方法，其特征在于，
所述步骤4.1）将模板图像主动网格在待配准图像初始配准区域中不断平移，在每一个平移位置计算模板图像与平移子图的相似度，作为配准分数，遍历配准区域，将最高的配准分数位置作为目标位置。
4.根据权利要求3所述的方法，其特征在于，
所述步骤4.1）中若主动网格在配准区域中无法配准或配准分数低，则将该主动网格视为被动网格。
5.根据权利要求1所述的方法，其特征在于，
所述步骤4.2）根据主动网格配准后的被动网格需要平移的范围判断是否超过配准区域，若超过配准区域，则缩小初始配准区域大小，重新进行主动网格配准步骤。
CN202010400569.2A 2020-05-13 2020-05-13 一种基于局部形变轮廓匹配的包装袋图像配准方法 Active CN111583319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010400569.2A CN111583319B (zh) 2020-05-13 2020-05-13 一种基于局部形变轮廓匹配的包装袋图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010400569.2A CN111583319B (zh) 2020-05-13 2020-05-13 一种基于局部形变轮廓匹配的包装袋图像配准方法

Publications (2)

Publication Number Publication Date
CN111583319A CN111583319A (zh) 2020-08-25
CN111583319B true CN111583319B (zh) 2022-06-21

Family

ID=72112674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010400569.2A Active CN111583319B (zh) 2020-05-13 2020-05-13 一种基于局部形变轮廓匹配的包装袋图像配准方法

Country Status (1)

Country Link
CN (1) CN111583319B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609553A (zh) * 2009-07-20 2009-12-23 浙江大学 基于隐含形状表示和边缘信息融合的非刚体图像配准算法
CN103530884A (zh) * 2013-10-21 2014-01-22 山东师范大学 基于边缘保护多尺度形变配准的图像引导自适应算法
CN104835156A (zh) * 2015-05-05 2015-08-12 浙江工业大学 一种基于计算机视觉的无纺布袋自动定位方法
CN109584216A (zh) * 2018-11-12 2019-04-05 上海交通大学 面向机器人抓取作业的可变形料袋视觉识别与定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101609553A (zh) * 2009-07-20 2009-12-23 浙江大学 基于隐含形状表示和边缘信息融合的非刚体图像配准算法
CN103530884A (zh) * 2013-10-21 2014-01-22 山东师范大学 基于边缘保护多尺度形变配准的图像引导自适应算法
CN104835156A (zh) * 2015-05-05 2015-08-12 浙江工业大学 一种基于计算机视觉的无纺布袋自动定位方法
CN109584216A (zh) * 2018-11-12 2019-04-05 上海交通大学 面向机器人抓取作业的可变形料袋视觉识别与定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Edge-Based Template Matching with a Harmonic Deformation Model;Andreas Hofhauser 等;《Communications in Computer and Information Science》;20090131;正文第2节 *
一种码垛视觉系统中物料袋的识别与定位方法;陈州尧 等;《制造业自动化》;20150228;第37卷(第2期);正文第3节 *

Also Published As

Publication number Publication date
CN111583319A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN108898610B (zh) 一种基于mask-RCNN的物体轮廓提取方法
CN102945368B (zh) 啤酒瓶盖激光字符的定位识别方法
US10430951B2 (en) Method and device for straight line detection and image processing
CN110866924B (zh) 一种线结构光中心线提取方法及存储介质
CN107679436B (zh) 一种适用于弯曲形变二维码的图像修正方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN105260693A (zh) 一种激光二维码定位方法
CN108376403B (zh) 基于霍夫圆变换的网格菌落图像分割方法
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN109584215A (zh) 一种电路板在线视觉检测系统
CN104240204A (zh) 一种基于图像处理的太阳能硅片和电池片的计数方法
CN104715487A (zh) 一种基于伪Zernike矩的亚像素边缘检测方法
Li et al. Road markings extraction based on threshold segmentation
CN104077775A (zh) 一种结合骨架特征点和形状上下文的形状匹配方法及装置
CN107356213A (zh) 滤光片同心度测量方法及终端设备
CN110288040B (zh) 一种基于拓扑验证的图像相似评判方法及设备
CN106778766B (zh) 一种基于定位点的旋转数字识别方法及系统
CN116704516A (zh) 一种用于水溶肥料包装的视觉检测方法
CN111583319B (zh) 一种基于局部形变轮廓匹配的包装袋图像配准方法
CN111290582B (zh) 一种基于改进型直线检测的投影交互区域定位方法
CN116309780A (zh) 一种基于目标检测的水尺水位识别方法
CN112923852B (zh) 基于动态角点定位的sd卡位姿检测方法
CN113902667B (zh) 一种用于机器视觉的螺纹旋向识别方法与系统
CN112288049B (zh) 基于模板匹配和限制连通域指针定位的指针表读数方法
CN110889875A (zh) 基于部分角点的双目相机标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant