CN111105418A - 一种针对图像中矩形目标的高精度图像分割方法 - Google Patents

一种针对图像中矩形目标的高精度图像分割方法 Download PDF

Info

Publication number
CN111105418A
CN111105418A CN201910238914.4A CN201910238914A CN111105418A CN 111105418 A CN111105418 A CN 111105418A CN 201910238914 A CN201910238914 A CN 201910238914A CN 111105418 A CN111105418 A CN 111105418A
Authority
CN
China
Prior art keywords
image
rectangular
carrying
perspective transformation
binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910238914.4A
Other languages
English (en)
Other versions
CN111105418B (zh
Inventor
刘龙泽
崔文冰
徐安
冯兴东
江光祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hongpu Information Technology Co Ltd
Original Assignee
Shanghai Hongpu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hongpu Information Technology Co Ltd filed Critical Shanghai Hongpu Information Technology Co Ltd
Priority to CN201910238914.4A priority Critical patent/CN111105418B/zh
Publication of CN111105418A publication Critical patent/CN111105418A/zh
Application granted granted Critical
Publication of CN111105418B publication Critical patent/CN111105418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Abstract

本发明提供一种针对图像中矩形目标的高精度图像分割方法,涉及图像处理技术领域,所述方法包括步骤1:将图像读入内存,并对图像进行畸变矫正;步骤2:确定畸变矫正后图像矩形轮廓的四个端点,并对图像进行透视变换;步骤3:对透视变换后的图像进行分割,得到平直图像。本发明通过对矩形工件图像进行变换和分割处理,将工件图像中的矩形轮廓区域提取出来,并根据矩形工件图像的内部网格进行分割,保证分割位置正好处于矩阵工件图像的边界或者网格边界上,保证图像分割的准确度。

Description

一种针对图像中矩形目标的高精度图像分割方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种针对图像中矩形目标的高精度图像分割方法。
背景技术
目前,工业缺陷检测是利用深度学习技术或数字图像处理技术对工业产品外观和内部的缺陷进行检测,判断产品质量是否合格。
太阳能光伏组件在出厂之前,需要通电并进行红外图像拍摄,此过程称为电致发光(Electroluminescent,EL),经过EL图像的拍摄,可以使得光伏组件外观上难以发现,但是内部存在的缺陷(例如隐裂、虚焊等缺陷)难以显现出来。其中,深度学习技术,是对图像进行自动判别,能够找出图像中的缺陷并定位,在自动检测算法的开发中,EL图像分割是较难且非常重要的操作,然而分割是检测的第一步,若分割效果不理想,则检测进度必然会降低。
EL图像是非标准拍摄,会产生径向畸变、旋转以及位移等,当前采用的分割方法包括基于模板匹配的图像分割方法和基于深度学习的图像分割方法。其中,如图1所示,基于模块匹配的图像分割方法是利用模块匹配分割算法实现的,将EL图像与标准EL模板图像进行匹配,从而分割出目标区域;如图2所示,基于深度学习图像的图像分割方法是基于深度神经网络的Mask rcnn算法实现的,将EL图像通过训练后的Mask rcnn进行网络识别,从而分割出目标区域。
基于模板匹配的图像分割方法优势在于应用简单,但是缺点在于匹配效果较差,容易出现分割失败等问题,远远无法满足工业生产过程中高于99.9%的分割准确度要求;基于深度学习的图像分割方法优势在于分割稳健,不容易出现分割失败等问题,但是分割边界波动较大,分割速度较慢,无法满足生产线运行的时间要求,且也无法满足生产过程中高于99.9%的分割准确度要求。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种针对图像中矩形目标的高精度图像分割方法,对矩形工件图像进行变换和分割处理,将工件图像中的矩形轮廓区域提取出来,并根据矩形工件图像的内部网格进行分割,保证分割位置正好处于矩阵工件图像的边界或者网格边界上,保证图像分割的准确度。
本发明提供一种针对图像中矩形目标的高精度图像分割方法,所述方法包括以下步骤:
步骤1:将图像读入内存,并对图像进行畸变矫正;
步骤2:确定畸变矫正后图像矩形轮廓的四个端点,并对图像进行透视变换;
步骤3:对透视变换后的图像进行分割,得到平直图像。
进一步的,对图像进行畸变矫正的步骤如下:
步骤1.1:将太阳能光伏组件经过EL拍照生成的图像经过Opencv软件读入内存,形成单通道数字图像;
步骤1.2:对数字图像的畸变参数进行预训练,并利用畸变参数对数字图像进行畸变修复,得到边缘平直的数字图像;
步骤1.3:对数字图像进行自适应二值处理,得到二值图像;
步骤1.4:对二值图像进行迭代的开操作,得到标准的二值图像。
进一步的,对图像进行透视变换的步骤如下:
步骤2.1:对二值图像进行形态学处理,寻找图像边缘轮廓,并获取边缘轮廓的最小外接多边形的边缘链表;
步骤2.2:在边缘链表中查找距离最远的两个点,即为矩形轮廓区域的对角线;连接对角线并查找对角线正负区域距离最大的两个点,即为矩形轮廓区域的另外的对角线,即确定矩形轮廓区域的四个端点;
步骤2.3:根据矩形轮廓区域的四个点,对二值图像进行透视变换,将透视畸变标准化,形成标准的矩形轮廓区域,并对二值图像中所有无法透视变换的点进行双线性插值处理。
进一步的,对图像进行分割的具体步骤如下:
步骤3.1:对透视变换处理的二值图像按照横纵轴方向分别求平均,获得横纵轴方向的平均一维信号,应用区间极小值算法查找所有局部极小值所在的位置坐标,连接位置坐标得到分割线;
步骤3.2:将分割线和实际的太阳能光伏组件规格进行对照,如果数量不符合,则调整参数重新尝试,进行修复;如果数量符合,则对二值图像进行分割,得到平直图像。
如上所述,本发明的一种针对图像中矩形目标的高精度图像分割方法,具有以下有益效果:
1、本发明解决了由于相机位置、拍摄角度等造成的图像畸变问题,能够输出平直的矩形目标物。
2、本发明提出基于四个端点的定位方法,将图像的区域匹配转化为端点匹配,提高图像匹配的速度与精准度。
附图说明
图1显示为本发明现有技术中公开的基于模块匹配的分割方法流程图;
图2显示为本发明现有技术中公开的基于深度学习图像的图像分割方法流程图;
图3显示为本发明具体实施例中公开的图像分割方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
如图3所示,本发明提供一种针对图像中矩形目标的高精度图像分割方法,所述方法包括以下步骤:
步骤1:将图像读入内存,并对图像进行畸变矫正;
对图像进行畸变矫正的步骤如下:
步骤1.1:将太阳能光伏组件经过EL拍照生成的图像经过Opencv软件读入内存,形成单通道数字图像;
步骤1.2:对数字图像的畸变参数进行预训练,并利用畸变参数对图像的畸变进行修复,得到边缘平直的数字图像;
步骤1.3:对边缘平直的数字图像进行自适应二值处理,得到二值图像;
步骤1.4:对二值图像进行迭代的开操作,得到标准的二值图像,确保太阳能光伏组件区域的灰度值为255,太阳能光伏组件区域之外的灰度值为0。
步骤2:确定畸变矫正后图像矩形轮廓的四个端点,并对图像进行透视变换;
对图像进行透视变换的步骤如下:
步骤2.1:对二值图像进行形态学处理,寻找图像边缘轮廓,并获取边缘轮廓的最小外接多边形的边缘链表;
步骤2.2:在边缘链表中查找两两距离最远的两个点,即为矩形轮廓区域的对角线;连接对角线并查找在对角线正负区域距离最大的两个点,即为矩形轮廓区域的另外的对角线,这样,就确定了矩形轮廓区域的四个端点;
步骤2.3:根据矩形轮廓区域的四个端点,对标准的二值图像进行透视变换,将透视畸变标准化,形成标准的矩形轮廓区域,并对标准的二值图像中所有无法透视变换的点进行双线性插值处理;
步骤3:对透视变换后的图像进行分割,得到平直图像;
对图像进行透视变换的步骤如下:
步骤3.1:对透视变换处理的二值图像按照横纵轴方向分别求平均,获得横纵轴方向的平均一维信号,应用区间极小值算法查找所有局部极小值所在的位置坐标,连接位置坐标得到分割线;
步骤3.2:将分割线和实际的太阳能光伏组件规格进行对照,如果数量不符合,则调整参数重新尝试,以进行修复;如果数量符合,则对二值图像进行分割,得到平直图像。
综上所述,本发明充分利用矩形目标特征信息,自动对相机进行畸变矫正,并通过矩形轮廓区域的四个端点定位目标区域,计算变换矩形轮廓区域,不但能分割出矩形目标物,还能对相机拍摄过程中由于相机位置、拍摄角度等造成的图像畸变进行矫正,最终获得平直的矩形目标,为工业缺陷检测提供符合要求的输入。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (4)

1.一种针对图像中矩形目标的高精度图像分割方法,其特征在于,所述方法包括以下步骤:
步骤1:将图像读入内存,并对图像进行畸变矫正;
步骤2:确定畸变矫正后图像矩形轮廓的四个端点,并对图像进行透视变换;
步骤3:对透视变换后的图像进行分割,得到平直图像。
2.根据权利要求1所述的针对图像中矩形目标的高精度图像分割方法,其特征在于,对图像进行畸变矫正的步骤如下:
步骤1.1:将太阳能光伏组件经过EL拍照生成的图像经过Opencv软件读入内存,形成单通道数字图像;
步骤1.2:对数字图像的畸变参数进行预训练,并利用畸变参数对数字图像进行畸变修复,得到边缘平直的数字图像;
步骤1.3:对数字图像进行自适应二值处理,得到二值图像;
步骤1.4:对二值图像进行迭代的开操作,得到标准的二值图像。
3.根据权利要求2所述的针对图像中矩形目标的高精度图像分割方法,其特征在于,对图像进行透视变换的步骤如下:
步骤2.1:对二值图像进行形态学处理,寻找图像边缘轮廓,并获取边缘轮廓的最小外接多边形的边缘链表;
步骤2.2:在边缘链表中查找距离最远的两个点,即为矩形轮廓区域的对角线;连接对角线并查找对角线正负区域距离最大的两个点,即为矩形轮廓区域的另外的对角线,即确定矩形轮廓区域的四个端点;
步骤2.3:根据矩形轮廓区域的四个端点,对二值图像进行透视变换,将透视畸变标准化,形成标准的矩形轮廓区域,并对二值图像中所有无法透视变换的点进行双线性插值处理。
4.根据权利要求3所述的针对图像中矩形目标的高精度图像分割方法,其特征在于,对图像进行分割的具体步骤如下:
步骤3.1:对透视变换处理的二值图像按照横纵轴方向分别求平均,获得横纵轴方向的平均一维信号,应用区间极小值算法查找所有局部极小值所在的位置坐标,连接位置坐标得到分割线;
步骤3.2:将分割线和实际的太阳能光伏组件规格进行对照,如果数量不符合,则调整参数重新尝试,进行修复;如果数量符合,则对二值图像进行分割,得到平直图像。
CN201910238914.4A 2019-03-27 2019-03-27 一种针对图像中矩形目标的高精度图像分割方法 Active CN111105418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910238914.4A CN111105418B (zh) 2019-03-27 2019-03-27 一种针对图像中矩形目标的高精度图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910238914.4A CN111105418B (zh) 2019-03-27 2019-03-27 一种针对图像中矩形目标的高精度图像分割方法

Publications (2)

Publication Number Publication Date
CN111105418A true CN111105418A (zh) 2020-05-05
CN111105418B CN111105418B (zh) 2023-07-11

Family

ID=70420383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910238914.4A Active CN111105418B (zh) 2019-03-27 2019-03-27 一种针对图像中矩形目标的高精度图像分割方法

Country Status (1)

Country Link
CN (1) CN111105418B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111805533A (zh) * 2020-05-27 2020-10-23 扬州哈工科创机器人研究院有限公司 用于工件下料的装置、基于视觉定位的工件下料的方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768413A (en) * 1995-10-04 1998-06-16 Arch Development Corp. Method and apparatus for segmenting images using stochastically deformable contours
IL146978A0 (en) * 1999-06-11 2002-08-14 Pulsent Corp Method and apparatus for digital image segmentation
US20060039605A1 (en) * 2004-08-20 2006-02-23 Masashi Koga Method and apparatus for recognition of character string in scene image
CN104297254A (zh) * 2014-10-08 2015-01-21 华南理工大学 一种基于混合法的印刷电路板缺陷检测方法及系统
US20150109474A1 (en) * 2013-10-23 2015-04-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN106056117A (zh) * 2016-06-20 2016-10-26 北京小米移动软件有限公司 矩形物体的图像处理方法及装置
JP2017069877A (ja) * 2015-10-01 2017-04-06 京セラドキュメントソリューションズ株式会社 画像処理装置
CN107154050A (zh) * 2017-05-03 2017-09-12 魏玉震 一种基于机器视觉的石材几何参数的自动获取方法
CN107169494A (zh) * 2017-06-01 2017-09-15 中国人民解放军国防科学技术大学 基于手持终端的车牌图像分割校正方法
CN107256556A (zh) * 2017-06-08 2017-10-17 福州大学 一种基于灰度跳变思想的太阳能电池组件单元分割方法
CN108022243A (zh) * 2017-11-23 2018-05-11 浙江清华长三角研究院 一种基于深度学习的图像中纸张检测方法
CN108053376A (zh) * 2017-12-08 2018-05-18 长沙全度影像科技有限公司 一种语义分割信息指导深度学习鱼眼图像校正方法
CN109145915A (zh) * 2018-07-27 2019-01-04 武汉科技大学 一种复杂场景下车牌快速畸变矫正方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768413A (en) * 1995-10-04 1998-06-16 Arch Development Corp. Method and apparatus for segmenting images using stochastically deformable contours
IL146978A0 (en) * 1999-06-11 2002-08-14 Pulsent Corp Method and apparatus for digital image segmentation
US20060039605A1 (en) * 2004-08-20 2006-02-23 Masashi Koga Method and apparatus for recognition of character string in scene image
US20150109474A1 (en) * 2013-10-23 2015-04-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN104297254A (zh) * 2014-10-08 2015-01-21 华南理工大学 一种基于混合法的印刷电路板缺陷检测方法及系统
JP2017069877A (ja) * 2015-10-01 2017-04-06 京セラドキュメントソリューションズ株式会社 画像処理装置
CN106056117A (zh) * 2016-06-20 2016-10-26 北京小米移动软件有限公司 矩形物体的图像处理方法及装置
CN107154050A (zh) * 2017-05-03 2017-09-12 魏玉震 一种基于机器视觉的石材几何参数的自动获取方法
CN107169494A (zh) * 2017-06-01 2017-09-15 中国人民解放军国防科学技术大学 基于手持终端的车牌图像分割校正方法
CN107256556A (zh) * 2017-06-08 2017-10-17 福州大学 一种基于灰度跳变思想的太阳能电池组件单元分割方法
CN108022243A (zh) * 2017-11-23 2018-05-11 浙江清华长三角研究院 一种基于深度学习的图像中纸张检测方法
CN108053376A (zh) * 2017-12-08 2018-05-18 长沙全度影像科技有限公司 一种语义分割信息指导深度学习鱼眼图像校正方法
CN109145915A (zh) * 2018-07-27 2019-01-04 武汉科技大学 一种复杂场景下车牌快速畸变矫正方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111805533A (zh) * 2020-05-27 2020-10-23 扬州哈工科创机器人研究院有限公司 用于工件下料的装置、基于视觉定位的工件下料的方法
CN111805533B (zh) * 2020-05-27 2022-05-03 扬州哈工科创机器人研究院有限公司 用于工件下料的装置、基于视觉定位的工件下料的方法

Also Published As

Publication number Publication date
CN111105418B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
CN110672617B (zh) 基于机器视觉的智能手机玻璃盖板丝印区缺陷检测方法
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN105913415B (zh) 一种具有广泛适应性的图像亚像素边缘提取方法
CN109767463B (zh) 一种三维点云自动配准方法
CN111260731B (zh) 一种棋盘格亚像素级角点自适应检测的方法
CN107610111B (zh) 一种基于深度学习的焊点图像检测方法
CN108898147B (zh) 一种基于角点检测的二维图像边缘平直化方法、装置
CN109993154B (zh) 变电站单指针式六氟化硫型仪表智能识别方法
CN111191546A (zh) 基于机器视觉识别的产品智能装配方法
CN115018846B (zh) 基于ai智能相机的多目标裂纹缺陷检测方法和装置
CN108985337A (zh) 一种基于图像深度学习的产品表面划痕检测方法
CN111311618A (zh) 一种基于高精度几何基元提取的圆弧工件匹配与定位方法
CN106936964A (zh) 一种基于霍夫变换模板匹配的手机屏幕角点检测方法
Niu et al. Data augmentation on defect detection of sanitary ceramics
CN109724988A (zh) 一种基于多模板匹配的pcb板缺陷定位方法
CN116258722A (zh) 基于图像处理的桥梁建筑智能检测方法
CN109671084B (zh) 一种工件形状的测量方法
CN111105418A (zh) 一种针对图像中矩形目标的高精度图像分割方法
CN107328371A (zh) 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化
CN113705564A (zh) 一种指针式仪表识别读数方法
CN117058182A (zh) 一种用于视觉测距的目标检测边框优化方法
CN114943710B (zh) 利用改进最小二乘拟合对薄壁圆管类零件圆心定位的方法
CN107330436B (zh) 一种基于尺度判据的全景图像sift优化方法
CN115184362A (zh) 一种基于结构光投影的快速缺陷检测方法
CN106780425B (zh) 一种vver蒸汽发生器传热管涡流检测系统定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A high-precision image segmentation method for rectangular targets in images

Effective date of registration: 20240103

Granted publication date: 20230711

Pledgee: Shanghai Rural Commercial Bank Co.,Ltd. Jiading sub branch

Pledgor: Shanghai HONGPU Information Technology Co.,Ltd.

Registration number: Y2024310000006