CN111583319A - 一种基于局部形变轮廓匹配的包装袋图像配准方法 - Google Patents
一种基于局部形变轮廓匹配的包装袋图像配准方法 Download PDFInfo
- Publication number
- CN111583319A CN111583319A CN202010400569.2A CN202010400569A CN111583319A CN 111583319 A CN111583319 A CN 111583319A CN 202010400569 A CN202010400569 A CN 202010400569A CN 111583319 A CN111583319 A CN 111583319A
- Authority
- CN
- China
- Prior art keywords
- registration
- contour
- grid
- image
- active
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000009499 grossing Methods 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 1
- 235000008446 instant noodles Nutrition 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于局部形变轮廓匹配的包装袋图像配准方法,属于机器视觉领域,本发明针对没有固定形状的包装袋,通过轮廓提取、轮廓网格化、轮廓平滑、轮廓配准实现了在粗略定位的基础上对可形变的物体进行精确定位,提高了定位精度,对包装袋的形变和边缘遮挡缺失也具有鲁棒性。
Description
技术领域
本发明涉及机器视觉领域,尤其涉及一种基于局部形变轮廓匹配的包装袋图像配准方法。
背景技术
产品生产最后都需要对产品进行装箱,对一些有固定形状的物体比如魔方,可以直接采用模型匹配的方式进行定位,精度也较高,但是对一些没有固定形状的物体比如袋装方便面,直接采用模型匹配的方式不仅精度较低还有可能出现匹配失败的情况。
公开号为CN104835156A的专利公开了一种基于计算机视觉的无纺布袋自动定位方法,通过计算无纺布袋四个角落的位置和无纺布袋的偏转角度,完成对无纺布袋的定位。定位结果包括四角、边线和旋转角度,但是对变形的鲁棒性差,也无法很好的应对边线缺失的情况。
公开号为CN109584216A的专利公开了一种面向机器人抓取作业的可变形料袋视觉识别与定位方法,对料袋的形变具有一定的鲁棒性,但需要对料袋本身进行加工,推广成本高。
发明内容
为了解决以上技术问题,本发明提供了一种基于局部形变轮廓匹配的包装袋图像配准方法,可以在粗略定位的基础上对可形变的物体进行精确定位。
本发明的技术方案是:
一种基于局部形变轮廓匹配的包装袋图像配准方法,包括:
轮廓提取步骤:对包装袋模板图像和待配准包装袋图像进行四周轮廓提取。
轮廓网格化步骤:对轮廓提取步骤获得的轮廓进行网格化操作。
轮廓平滑步骤:对轮廓网格化步骤获得的网格图像进行模糊平滑。
轮廓配准步骤:分别对网格图像进行配准,进而得到整体的配准结果。
进一步的,所述轮廓提取步骤包括:
二值化步骤:对输入图像进行二值化,获得黑白两色图像。
高斯滤波步骤:对二值化步骤获得的黑白两色图像进行高斯滤波,滤除噪声。
边缘提取步骤:采用canny边缘检测算法提取图像边缘,进行轮廓拟合。
进一步的,所述二值化步骤包括:
二值化阈值提取步骤:采用改进的otsu算法计算二值化阈值。
自动阈值二值化步骤:根据二值化阈值对图像进行二值化。
进一步的,所述轮廓网格化步骤将轮廓划分为主动网格和被动网格。
进一步的,所述主动网格为模板中包含轮廓的部分,负责主动形变来配准待配准轮廓,若主动网格在对应位置无法配准,即发生待配准包装袋部分边缘特征缺失的情况,则变为被动网格。
进一步的,被动网格包含模板中不包含轮廓的部分及退化的主动网格,负责跟随主动网格的形变,从而保证整个轮廓的大致形状。
进一步的,所述轮廓平滑步骤采用将原图像与滤波器进行卷积的方式进行图像平滑。
进一步的,所述轮廓平滑步骤采用的卷积核为:
进一步的,所述轮廓配准步骤包括:
主动网格配准步骤:模板轮廓主动网格配准待配准图像网格。
被动网格验证步骤:根据被动网格平移量验证主动网格配准结果。
配准组合步骤:根据各个主动网格配准结果组合获得包装袋图像配准结果。
进一步的,所述主动网格配准步骤将模板图像主动网格在待配准图像初始配准区域中不断平移,在每一个平移位置计算模板图像与平移子图的相似度,作为配准分数,遍历配准区域,将最高的配准分数位置作为目标位置。
进一步的,所述主动网格配准步骤相似度度量方程有差值绝对值之和:
和差值平方:
两种方式。
进一步的,所述主动网格配准骤中初始配准区域为网格大小的三倍。
进一步的,所述主动网格配准步骤中若主动网格在配准区域中无法配准或配准分数低,则将该主动网格视为被动网格。
进一步的,所述被动网格验证步骤根据主动网格配准后的被动网格需要平移的范围判断是否超过配准区域,若超过配准区域,则缩小初始配准区域大小,重新进行主动网格配准步骤。
本发明的有益效果是
在粗略定位的基础上对可形变的包装袋进行精确定位,提高了定位精度,对包装袋的形变和边缘遮挡缺失也具有鲁棒性。
附图说明
图1是本发明的工作流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的一种基于局部形变轮廓匹配的包装袋图像配准方法,包括轮廓提取步骤、轮廓网格化步骤、轮廓平滑步骤、轮廓配准步骤。其中,
轮廓提取步骤分别对包装袋模板图像和待配准包装袋图像进行包装袋的四周轮廓提取。
轮廓网格化步骤对轮廓进行网格化操作,将其划分成m×n个小网格。
轮廓平滑步骤对网格图像进行模糊平滑。
最后轮廓配准步骤分别对网格图像进行配准,进而得到整体的配准结果。
所述轮廓提取步骤又包括二值化步骤、高斯滤波步骤和边缘提取步骤。其中,
二值化步骤包括二值化阈值提取步骤和自动阈值二值化步骤。采用改进的otsu算法计算得到二值化阈值从而对包装袋模板图像和待配准包装袋图像进行二值化,获得黑白两色图像。
高斯滤波步骤对二值化步骤获得的黑白两色图像进行高斯滤波,滤除噪声。
边缘提取步骤采用canny边缘检测算法提取图像边缘,进行轮廓拟合。
所述轮廓网格化步骤将轮廓划分m×n个小网格,网格数目影响匹配精度和速度。一般来说,数目越大,匹配精度越高,但速度越慢。将网格并分为主动网格和被动网格。主动网格为模板中包含轮廓的部分,负责主动形变来配准待配准轮廓,若主动网格在对应位置无法配准,即发生待配准包装袋部分边缘特征缺失的情况,则变为被动网格。被动网格则为模板中不包含轮廓的部分,负责跟随主动网格的形变,从而保证整个轮廓的大致形状,并起到配准验证的功能。被动网格不参与配准过程可以有效提高配准速度。
所述轮廓平滑步骤采用将原图像与滤波器进行卷积的方式进行图像平滑。将卷积核在图像中平移,用卷积获得的像素替换原像素,对轮廓进行平滑。可采用的三阶卷积核为:
所述轮廓配准步骤包括主动网格配准步骤、被动网格验证步骤和配准组合步骤。主动网格配准中将模板图像主动网格在待配准图像初始配准区域即网格大小的三倍中不断平移,在每一个平移位置计算模板图像与平移子图的相似度,作为配准分数,遍历配准区域,将最高的配准分数位置作为目标位置。可采用的相似度度量方程有差值绝对值之和:
和差值平方:
两种方式。
若主动网格在配准区域中无法配准或配准分数低,则将该主动网格视为被动网格,参与到被动网格验证步骤中。
被动网格验证步骤根据主动网格配准后的被动网格需要平移的范围判断是否超过初始配准区域,若超过配准区域,则缩小初始配准区域大小,重新进行主动网格配准步骤,直到满足条件。若始终不满足,则返回匹配失败。
配准组合步骤:根据各个主动网格配准结果组合获得包装袋图像配准结果。最终可以获得待配准包装袋的位置,可以用于机器人抓取定位。
以上所述仅为本发明的较佳实施例,仅用于说明本发明的技术方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种基于局部形变轮廓匹配的包装袋图像配准方法,其特征在于,
包括如下步骤:
1)轮廓提取:对包装袋模板图像和待配准包装袋图像进行四周轮廓提取;
2)轮廓网格化:对轮廓提取步骤获得的轮廓进行网格化操作;
3)轮廓平滑:对轮廓网格化步骤获得的网格图像进行模糊平滑;
4)轮廓配准:分别对网格图像进行配准,进而得到整体的配准结果。
2.根据权利要求1所述的方法,其特征在于,
所述步骤1)具体包括:
1.1)二值化:对输入图像进行二值化,获得黑白两色图像;
1.2)高斯滤波:对步骤1.1)获得的黑白两色图像进行高斯滤波,滤除噪声;
1.3)边缘提取:采用canny边缘检测算法提取图像边缘,进行轮廓拟合。
3.根据权利要求2所述的方法,其特征在于,
所述步骤1.1)具体包括:
1.11)二值化阈值提取:采用改进的otsu算法计算二值化阈值;
1.12)自动阈值二值化:根据二值化阈值对图像进行二值化。
4.根据权利要求1或2或3所述的方法,其特征在于,
所述步骤2)将轮廓划分为主动网格和被动网格;
其中,
主动网格为模板中包含轮廓的部分,负责主动形变来配准待配准轮廓,若主动网格在对应位置无法配准,即发生待配准包装袋部分边缘特征缺失的情况,则变为被动网格;
被动网格包含模板中不包含轮廓的部分及退化的主动网格,负责跟随主动网格的形变,从而保证整个轮廓的大致形状。
6.根据权利要求4所述的方法,其特征在于,
所述步骤4)包括:
4.1)主动网格配准:模板轮廓主动网格配准待配准图像网格;
4.2)被动网格验证:根据被动网格平移量验证主动网格配准结果;
4.3)配准组合:根据各个主动网格配准结果组合获得包装袋图像配准结果。
7.根据权利要求6所述的方法,其特征在于,
所述步骤4.1)将模板图像主动网格在待配准图像初始配准区域中不断平移,在每一个平移位置计算模板图像与平移子图的相似度,作为配准分数,遍历配准区域,将最高的配准分数位置作为目标位置。
9.根据权利要求7所述的方法,其特征在于,
所述步骤4.1)中若主动网格在配准区域中无法配准或配准分数低,则将该主动网格视为被动网格。
10.根据权利要求6所述的方法,其特征在于,
所述步骤4.2)根据主动网格配准后的被动网格需要平移的范围判断是否超过配准区域,若超过配准区域,则缩小初始配准区域大小,重新进行主动网格配准步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010400569.2A CN111583319B (zh) | 2020-05-13 | 2020-05-13 | 一种基于局部形变轮廓匹配的包装袋图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010400569.2A CN111583319B (zh) | 2020-05-13 | 2020-05-13 | 一种基于局部形变轮廓匹配的包装袋图像配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111583319A true CN111583319A (zh) | 2020-08-25 |
CN111583319B CN111583319B (zh) | 2022-06-21 |
Family
ID=72112674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010400569.2A Active CN111583319B (zh) | 2020-05-13 | 2020-05-13 | 一种基于局部形变轮廓匹配的包装袋图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111583319B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101609553A (zh) * | 2009-07-20 | 2009-12-23 | 浙江大学 | 基于隐含形状表示和边缘信息融合的非刚体图像配准算法 |
CN103530884A (zh) * | 2013-10-21 | 2014-01-22 | 山东师范大学 | 基于边缘保护多尺度形变配准的图像引导自适应算法 |
CN104835156A (zh) * | 2015-05-05 | 2015-08-12 | 浙江工业大学 | 一种基于计算机视觉的无纺布袋自动定位方法 |
CN109584216A (zh) * | 2018-11-12 | 2019-04-05 | 上海交通大学 | 面向机器人抓取作业的可变形料袋视觉识别与定位方法 |
-
2020
- 2020-05-13 CN CN202010400569.2A patent/CN111583319B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101609553A (zh) * | 2009-07-20 | 2009-12-23 | 浙江大学 | 基于隐含形状表示和边缘信息融合的非刚体图像配准算法 |
CN103530884A (zh) * | 2013-10-21 | 2014-01-22 | 山东师范大学 | 基于边缘保护多尺度形变配准的图像引导自适应算法 |
CN104835156A (zh) * | 2015-05-05 | 2015-08-12 | 浙江工业大学 | 一种基于计算机视觉的无纺布袋自动定位方法 |
CN109584216A (zh) * | 2018-11-12 | 2019-04-05 | 上海交通大学 | 面向机器人抓取作业的可变形料袋视觉识别与定位方法 |
Non-Patent Citations (2)
Title |
---|
ANDREAS HOFHAUSER 等: "Edge-Based Template Matching with a Harmonic Deformation Model", 《COMMUNICATIONS IN COMPUTER AND INFORMATION SCIENCE》 * |
陈州尧 等: "一种码垛视觉系统中物料袋的识别与定位方法", 《制造业自动化》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111583319B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898610B (zh) | 一种基于mask-RCNN的物体轮廓提取方法 | |
CN102945368B (zh) | 啤酒瓶盖激光字符的定位识别方法 | |
US10430951B2 (en) | Method and device for straight line detection and image processing | |
CN110866924B (zh) | 一种线结构光中心线提取方法及存储介质 | |
CN103729632B (zh) | 一种基于连通区域滤波的圆形Mark点的定位方法 | |
CN107679436B (zh) | 一种适用于弯曲形变二维码的图像修正方法 | |
CN105260693A (zh) | 一种激光二维码定位方法 | |
CN110110608B (zh) | 一种全景监控下基于视觉的叉车速度监测方法和系统 | |
CN110070557A (zh) | 一种基于边缘特征检测的目标识别与定位方法 | |
CN104240204A (zh) | 一种基于图像处理的太阳能硅片和电池片的计数方法 | |
CN105023265A (zh) | 鱼眼镜头下的棋盘格角点自动检测方法 | |
Li et al. | Road markings extraction based on threshold segmentation | |
CN104077775A (zh) | 一种结合骨架特征点和形状上下文的形状匹配方法及装置 | |
CN107356213A (zh) | 滤光片同心度测量方法及终端设备 | |
CN116704516B (zh) | 一种用于水溶肥料包装的视觉检测方法 | |
CN110674812A (zh) | 一种面向复杂背景的民用车牌定位与字符分割方法 | |
CN106778766B (zh) | 一种基于定位点的旋转数字识别方法及系统 | |
CN111310754A (zh) | 一种分割车牌字符的方法 | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN111583319B (zh) | 一种基于局部形变轮廓匹配的包装袋图像配准方法 | |
CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
CN116309780A (zh) | 一种基于目标检测的水尺水位识别方法 | |
CN112923852B (zh) | 基于动态角点定位的sd卡位姿检测方法 | |
CN111178111A (zh) | 二维码检测方法、电子设备、存储介质及系统 | |
CN112288049B (zh) | 基于模板匹配和限制连通域指针定位的指针表读数方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |