CN111445431B - 一种图像分割方法、终端设备及计算机可读存储介质 - Google Patents

一种图像分割方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111445431B
CN111445431B CN201811628326.3A CN201811628326A CN111445431B CN 111445431 B CN111445431 B CN 111445431B CN 201811628326 A CN201811628326 A CN 201811628326A CN 111445431 B CN111445431 B CN 111445431B
Authority
CN
China
Prior art keywords
image
product
template
horizontal direction
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811628326.3A
Other languages
English (en)
Other versions
CN111445431A (zh
Inventor
张一弛
廖晓苏
占宏锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN201811628326.3A priority Critical patent/CN111445431B/zh
Publication of CN111445431A publication Critical patent/CN111445431A/zh
Application granted granted Critical
Publication of CN111445431B publication Critical patent/CN111445431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明适用于图像处理技术领域,提供了一种图像分割方法及终端设备,其中,方法包括:提取产品图像中的部件边缘,并根据部件边缘确定产品的放置水平方向与产品图像的水平方向夹角;获取产品图像在产品部件水平方向以及垂直方向上的投影矢量,并根据投影矢量确定产品部件的尺寸,并根据产品部件的尺寸调整模板的图像;对产品图像和调整后的模板的图像进行匹配;若产品图像与调整后的模板的图像相匹配,则根据产品图像对模板的图像进行修正,获取修正后的模板的图像;根据修正后的模板的图像获取产品图像的分割结果。本发明提升了基于模板匹配的图像分割算法的准确度,提高了对产品部件的缺陷诊断、公差及形状的判断的效率。

Description

一种图像分割方法、终端设备及计算机可读存储介质
技术领域
本发明属于图像处理技术领域,尤其涉及一种图像分割方法、终端设备及计算机可读存储介质。
背景技术
在工业生产中,产品的质量检查是极为重要的一个流程。质量检查主要分为三类:缺陷检测、公差监测以及部件测量。缺陷检测查找产品中影响外观或产品功能的各种缺陷,而公差监测及部件测量判断产品尺寸形状是否符合标准。基于工业视觉的自动质量监测设备可以通过分割产品图像分析缺陷的位置及测量部件的尺寸形状。产品中颗粒物质、纤维物质、破洞等缺陷的存在对部件边缘有较大影响,因而,通常采用模板匹配的方法进行分割。
然而,对于工业产品来说,很多缺陷发生在产品部件上,使得对产品原图像直接进行分割容易受到缺陷的影响。此外,自动缺陷监测仪器所提供的光照不恒定,部件的方向与拍摄装置的方向一般呈一较小夹角;在对产品进行拍照时,相机的放大倍率并不固定。相机在运动的产品上进行拍摄易于出现失焦的情况;不恒定的亮度及不清晰的边缘也限制了边缘检测法、区域生长法、图分法等分割方法的性能;并且,产品部件自身也存在公差。因此,一个固定的模板难以适应所有产品的图像。
发明内容
有鉴于此,本发明实施例提供了一种图像分割方法及终端设备,以解决现有技术中存在的问题。
本发明实施例的第一方面提供了一种图像分割方法,包括:
提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角;其中,所述产品中包含多个产品部件;
获取所述产品图像在所述产品部件水平方向以及垂直方向上的投影矢量,根据所述投影矢量确定所述产品部件的尺寸,并根据所述产品部件的尺寸调整模板的图像;其中,所述模板为标准尺寸的所述产品部件的模板;
对所述产品图像和调整后的所述模板的图像进行匹配;
若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述模板的图像进行修正,获取修正后的所述模板的图像;
根据修正后的所述模板的图像获取所述产品图像的分割结果。
可选的,所述提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角,包括:
对所述产品图像进行滤波提取所述产品图像中的部件边缘,以获取差值图像;
根据所述差值图像中的所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角。
可选的,所述对所述产品图像进行滤波提取所述产品图像中的部件边缘,以获取差值图像,包括:
将所述产品图像转化为灰度图像,并提取所述灰度图像中的部件边缘;
根据所述灰度图像中的部件边缘对所述灰度图像进行闭运算,以获取闭运算后的图像;
获取所述闭运算后的图像与所述产品图像的差值的图像,作为所述差值图像。
可选的,所述根据所述差值图像中的所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角,包括:
获取所述差值图像上差值最大的边缘像素作为部件边缘蒙版;其中,所述差值为所述闭运算后的图像的像素与所述产品图像的像素的差值;
根据所述部件边缘蒙版获取所述产品的放置水平方向与所述产品图像的水平方向夹角。
可选的,根据所述部件边缘蒙版获取所述产品的放置水平方向与所述产品图像的水平方向夹角,包括:
对所述部件边缘蒙版上的像素进行霍夫变换,以获取霍夫变换矩阵;
获取所述霍夫变换矩阵中方差最大的列对应的角度作为所述产品的放置水平方向与所述产品图像的水平方向夹角。
可选的,所述对所述产品图像和调整后的所述模板的图像进行匹配,包括:
根据所述产品的放置水平方向与所述产品图像的水平方向夹角旋转所述调整后的模板;
对所述部件边缘蒙版进行距离变换,并通过滑动窗方法获取所述调整后的模板的边缘与所述部件边缘蒙版的边缘的距离之和最小的位置,以使所述调整后的模板与所述产品图像中的产品部件匹配。
可选的,若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述模板的图像进行修正,获取修正后的所述模板的图像,包括:
若所述产品图像与所述调整后的模板的图像相匹配,则在垂直方向上修正所述调整后的模板的边缘,使所述调整后的模板的边缘上的像素在所述差值图像上的和最大,以获取修正后的模板。
可选的,所述根据修正后的所述模板的图像获取所述产品图像的分割结果,包括:
根据所述产品部件的尺寸在所述水平方向和垂直方向上对所述修正后的模板的图像进行延拓,以获取延拓后的模板的图像;
根据所述产品部件的周期在所述产品图像上平铺所述延拓后的模板的图像,获取所述产品部件的分割结果。
本发明实施例的第二方面提供了一种图像分割装置,包括:
第一获取模块,用于提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角;其中,所述产品中包含多个产品部件;
第二获取模块,用于获取所述产品图像在所述产品部件水平方向以及垂直方向上的投影矢量,根据所述投影矢量确定所述产品部件的尺寸,并根据所述产品部件的尺寸调整模板的图像;其中,所述模板为标准尺寸的所述产品部件的模板;
匹配模块,用于对所述产品图像和调整后的所述模板的图像进行匹配;
修正模块,用于若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述模板的图像进行修正,获取修正后的所述模板的图像;
第三获取模块,用于根据修正后的所述模板的图像获取所述产品图像的分割结果。
本发明实施例的第三方面提供了一种终端设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法的步骤。
本发明实施例通过利用产品图像中部件的周期性,对产品图像投影并确定尺寸以对模板的图像进行调整、修正,获取产品图像的分割结果,提升了基于模板匹配的图像分割算法的准确度,提高了对产品部件的缺陷诊断、公差及形状的判断的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的图像分割方法的流程示意图;
图2是本发明实施例二提供的图像分割方法的流程示意图;
图3是本发明实施例三提供的图像分割方法的流程示意图;
图4是本发明实施例四提供的图像分割方法的流程示意图;
图5是本发明实施例五提供的图像分割装置的结构示意图;
图6是本发明实施例六提供的终端设备的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含一系列步骤或单元的过程、方法或系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,术语“第一”、“第二”和“第三”等是用于区别不同对象,而非用于描述特定顺序。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
实施例一
如图1所示,本实施例提供一种图像分割方法,该方法可以应用于如PC、平板电脑、手机等终端设备。本实施例所提供的图像分割方法,包括:
S101、提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角;其中,所述产品中包含多个产品部件。
在具体应用中,通过预设方法获取产品图像中产品部件的边缘,并根据产品部件的边缘确定产品的放置水平方向与所述产品图像的水平方向夹角,其中,产品图像的格式包括但不限于RGB三通道图像和Y通道图像。产品的放置水平方向是指产品图像中放置状态的产品的底部的切线方向。具体的,可根据产品图像中产品部件的边缘确定产品的底部,求取产品的底部的切线方向,并获取产品的底部的切线方向与产品图像的水平方向夹角。例如:若产品图像中放置状态的产品的底部的切线方向与产品图像的水平方向平行,则产品的放置水平方向与产品图像的水平方向夹角为0。预设方法包括但不限于通过形态学滤波中的闭运算。闭运算是指先膨胀后腐蚀的过程,数学表达式:
dst=open(src,element)=erode(dilate(src,element))
在本实施例中,可通过产品图像转换为灰度图像,并对灰度图像进行闭运算(即将产品图像的边缘的任一像素附近最大的亮度值赋给该像素),获取闭运算后的图像。通过获取闭运算后的图像与产品图像的差值可获取差值图像,差值图像用于均匀所述产品图像的亮度,即以高亮度显示部件边缘,而抑制部件中心颜色亮度。
在一个实施例中,由于产品图像中的部件按周期进行重复,产品部件边缘中的部分像素占图像的比例是固定的(一般在5%-15%之间)。获取差值图像上中差值最大的像素作为部件边缘蒙版(mask)。部件边缘蒙版中标注了大部分的部件边缘像素,同时可能包含一部分缺陷内部的像素。蒙版是指选框的外部(选框的内部就是选区)。
由于在将产品放入自动缺陷检测设备中时,难以保证产品放置的水平方向与拍摄装置的水平方向完全平行,通常产品图像与产品的放置方向会有1°左右的偏差。因此,为了准确的确定模板的倾斜程度,应准确获取部件放置水平方向与产品图像的水平方向的夹角。由于产品部件的周期重复,在产品部件的放置水平方向上,会有数条较长的横贯图像的直线;在产品部件放置的垂直方向上,亦会有数条纵贯图像的直线。上述直线都会在部件边缘蒙版中体现,即可以对部件边缘蒙版进行分析得到产品的放置水平方向与所述产品图像的水平方向夹角。在产品部件的主方向上(在本实施例中,主方向为水平方向),产品部件的边缘区域与产品部件的中央区域的亮度差异最大。故,可以通过分析使得产品部件的边缘区域与产品部件的其他区域差异最大的角度获取产品的放置水平方向与所述产品图像的水平方向夹角。例如,通过霍夫变换算法获取产品的放置水平方向与所述产品图像的水平方向夹角。
S102、获取所述产品图像在所述产品部件水平方向以及垂直方向上的投影矢量,根据所述投影矢量确定所述产品部件的尺寸,并根据所述产品部件的尺寸调整模板的图像;其中,所述模板为标准尺寸的所述产品部件的模板。
在具体应用中,获取产品图像在产品部件水平方向以及垂直方向上的投影矢量,根据投影矢量确定产品部件的尺寸,并根据产品部件的尺寸调整模板的图像,其中,模板为标准尺寸的产品部件的模板。在本实施例中,通过投影获得的两个投影矢量呈现周期性的峰值和低谷。其中,峰值区域对应差值图像中贯穿全图像的部件边缘部分,谷底对应产品部件的中央区域。由于,峰值区域和谷底区域之间存在一些极大值,对应于差值图像中不贯穿整个图像的部件边缘。上述极大值点的位置能够匹配模板的位置。通过产品部件的周期能够确定产品部件的尺寸,即产品部件的长度和宽度。具体地,由于产品图像中产品部件存在的重复性,通过步骤S102获取到的产品部件在放置水平方向和垂直方向上的两个投影矢量呈现一定周期性。故,通过确定两个投影矢量各自的周期可以获取部产品件的尺寸。
将获得的产品部件的尺寸与产品部件的标准尺寸相比较,根据标准尺寸对将模板的图像(由于产品部件可视为多边形,因此产品部件的模板的图像以多边形顶点的图像形式保存)进行等比例的缩放,获取该产品图像中的模板的图像。
在一个实施例中,可通过如下方式获取产品部件的尺寸。例如:方案一:若产品图像中,产品部件放置的水平方向或垂直方向上,存在多于一个周期的产品部件,则以其中一个周期内的投影矢量峰值位置为基准,在相邻的周期内定位峰值位置。对所有相邻峰值位置间的距离进行平均,以获取部件的长度或宽度。
方案二:同上述方案一中的情况下,(或直接比较上述步骤S102所得的投影矢量)对截取的投影矢量中相隔一个周期的两段矢量的差值应为最小,以此可获取部件的长度或宽度。
方案三:若该产品图像内,产品部件的个数不足一个,可在标准模板的图像上截取一部分,计算其长度与周期的关系,在产品图像上的投影矢量中定位截取部分相应的长度,按比例的进行计算,以获取产品部件的尺寸。
S103、对所述产品图像和调整后的所述模板的图像进行匹配。
在具体应用中,将调整后的模板的图像与产品图像中的产品部件进行匹配,包括:将调整后的模板按产品的放置水平方向与所述产品图像的水平方向夹角进行旋转,并对部件边缘蒙版进行距离变换,通过预设算法获取使得多边形模板的边缘距离之和最小的位置,以使调整后的模板的图像与产品图像中的产品部件匹配。其中,预设算法包括但不限于滑动窗口算法(sliding window)。
S104、若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述模板的图像进行修正,获取修正后的所述模板的图像。
在具体应用中,若产品图像与调整后的模板的图像相匹配,则根据产品图像中的产品部件的尺寸对模板的图像进行修正,获取修正后的模板的图像。具体地,由于产品部件存在公差,该调整后的模板与产品图像可能并不紧密贴合。故,对调整后的模板的每一条边缘在其垂直方向上进行微调(例如,挪动),使得该边缘上的像素在产品图像上的和最大,以获取修正后的模板的图像。
S105、根据修正后的所述模板的图像获取所述产品图像的分割结果。
在具体应用中,由于修正后的模板的图像即为即一个产品部件上的分割模板的图像,故,以部件尺寸为周期在产品部件的放置的水平方向和垂直方向上对产品部件上的分割模板的图像进行延拓、平铺,则可以得到产品图像的分割结果。产品图像的分割结果可用于判断缺陷相对于产品部件的位置,以决定缺陷的严重程度;或用于测量产品部件之间的距离,判断该产品部件形状是否符合标准。
在一个实施例中,所述步骤S105包括:
根据所述产品部件的尺寸在所述水平方向和垂直方向上对所述修正后的模板的图像进行延拓,以获取延拓后的模板的图像;
根据所述产品部件的周期在所述产品图像上平铺所述延拓后的模板的图像,获取所述产品部件的分割结果。
在具体应用中,根据产品部件的尺寸在水平方向和垂直方向上对修正后的模板的图像(即一个产品部件上的分割模板的图像)进行延拓,以获取延拓后的模板的图像;根据产品部件的周期在产品图像上平铺延拓后的模板的图像,可获取产品部件的分割结果。
本实施例通过利用产品图像中部件的周期性,对产品图像投影并确定尺寸以对模板的图像进行调整、修正,获取产品图像的分割结果,提升了基于模板匹配的图像分割算法的准确度,提高了对产品部件的缺陷诊断、公差及形状的判断的效率。
实施例二
如图2所示,本实施例是对实施例一中的方法步骤的进一步说明。在本实施例中,步骤S101,包括:
S1011、对所述产品图像进行滤波提取所述产品图像中的部件边缘,以获取差值图像。
在具体应用中,产品部件的边缘相比于产品部件中心亮度明显偏暗,由于自动缺陷监测设备提供的光照不恒定,同一张产品的图像内的各部件亮度颜色并不完全相同,根据同一个亮度阈值提取的部件边缘不完整且含有部件中心的较暗内容。因此,对产品图像进行滤波提取产品图像中的部件边缘,以获取差值图像,其中,滤波算法包括将产品图像转换为灰度图像,并对灰度图像进行闭运算(即将产品图像的边缘的任一像素附近最大的亮度值赋给该像素),获取闭运算后的图像。通过获取闭运算后的图像与产品图像的差值可获取差值图像。
S1012、根据所述差值图像中的所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角。
在具体应用中,由于在将产品放入自动缺陷检测设备中时,难以保证产品放置的水平方向与拍摄装置的水平方向完全平行,通常产品图像与产品的放置方向会有1°左右的偏差。因此,为了准确的确定模板的倾斜程度,应准确获取部件放置水平方向与产品图像水平方向的夹角。由于产品部件的周期重复,在产品部件的放置水平方向上,会有数条较长的横贯图像的直线;在产品部件放置的垂直方向上,亦会有数条纵贯图像的直线。上述直线会在部件边缘蒙版中体现,即可以对部件边缘蒙版进行分析得到产品的放置水平方向与所述产品图像的水平方向夹角。在产品部件的主方向上(在本实施例中,主方向为水平方向),产品部件的边缘区域与产品部件的中央区域的亮度差异最大。故,可以通过分析使得产品部件的边缘区域与产品部件的其他区域差异最大的角度获取产品的放置水平方向与所述产品图像的水平方向夹角。
在一个实施例中,所述步骤S1011,包括:
S10111、将所述产品图像转化为灰度图像,并提取所述灰度图像中的部件边缘。
S10112、根据所述灰度图像中的部件边缘对所述灰度图像进行闭运算,以获取闭运算后的图像。
S10113、获取所述闭运算后的图像与所述产品图像的差值的图像,作为所述差值图像。
在具体应用中,将产品图像转换为灰度图像,提取灰度图像中的部件边缘,并根据灰度图像中的部件边缘对灰度图像进行闭运算(即将产品图像的边缘的任一像素附近最大的亮度值赋给该像素),获取闭运算后的图像。通过获取闭运算后的图像与产品图像的差值可获取差值图像。
本实施例通过对产品图像进行滤波处理,获取到边缘清晰的图形,同时解决了产品图像亮度不均的现象,通过获取产品部件的边缘与图像的边缘在水平方向上的夹角,克服了拍摄产品的过程中产生的角度偏差问题,为提升基于模板匹配的图像分割算法的准确度奠定了基础。
实施例三
如图3所示,本实施例是对实施例一中的方法步骤的进一步说明。在本实施例中,步骤S1012,包括:
S10121、获取所述差值图像上差值最大的边缘像素作为部件边缘蒙版;其中,所述差值为所述闭运算后的图像的像素与所述产品图像的像素的差值。
在具体应用中,由于产品图像中的部件按周期进行重复,产品部件的部件边缘中的部分像素占图像的比例是固定的(一般在5%-15%之间)。获取差值图像上中差值最大的像素作为部件边缘蒙版(mask)。例如,差值图像中某一像素的差值为N%,N%大于差值图像中的任一其他像素的差值,将差值为N%的像素作为部件边缘蒙版的像素,以获取部件边缘蒙版。其中,差值为闭运算后的图像的像素与产品图像的像素的差值。
S10122、根据所述部件边缘蒙版获取所述产品的放置水平方向与所述产品图像的水平方向夹角。
在具体应用中,由于产品部件的周期重复,在产品部件的放置水平方向上,会有数条较长的横贯图像的直线;在产品部件放置的垂直方向上,亦会有数条纵贯图像的直线。上述直线会在部件边缘蒙版中体现,即可以对部件边缘蒙版进行分析得到产品的放置水平方向与所述产品图像的水平方向夹角。在产品部件的主方向上(在本实施例中,主方向为水平方向),产品部件的边缘区域与产品部件的中央区域的亮度差异最大。故,可以通过分析使得产品部件的边缘区域与产品部件的其他区域差异最大的角度获取产品的放置水平方向与所述产品图像的水平方向夹角。
在一个实施例中,所述步骤S10122,包括:
对所述部件边缘蒙版上的像素进行霍夫变换,以获取霍夫变换矩阵;
获取所述霍夫变换矩阵中方差最大的列对应的角度作为所述产品的放置水平方向与所述产品图像的水平方向夹角。
在具体应用中,部件边缘蒙版上的像素进行霍夫变换。(由于边缘蒙版上的像素个数是唯一的,因而准确的产品的放置水平方向与所述产品图像的水平方向夹角应使该方向上的霍夫变换方差最大),故获取霍夫变换矩阵中方差最大的列对应的角度作为产品的放置水平方向与所述产品图像的水平方向夹角。
本实施例通过基于产品部件的周期性,获取产品部件的放置方向与产品图像的夹角,以实现模板与产品图像中的产品部件进行较精确的匹配以及进一步获取产品图像的分割结果,提高了对产品部件的缺陷诊断、公差及形状的判断的效率。
实施例四
如图4所示,本实施例是对实施例一中的方法步骤的进一步说明。在本实施例中,步骤S103,包括:
S1031、根据所述产品的放置水平方向与所述产品图像的水平方向夹角旋转所述调整后的模板。
在具体应用中,将调整后的模板按产品的放置水平方向与所述产品图像的水平方向夹角进行旋转。
S1032、对所述部件边缘蒙版进行距离变换,并通过滑动窗方法获取所述调整后的模板的边缘与所述部件边缘蒙版的边缘的距离之和最小的位置,以使所述调整后的模板与所述产品图像中的产品部件匹配。
在具体应用中,对部件边缘蒙版进行距离变换,通过预设算法获取使得多边形模板的边缘距离之和最小的位置,以使调整后的模板的图像与产品图像中的产品部件匹配。其中,预设算法包括但不限于滑动窗口算法(sliding window)。
在一个实施例中,可通过如下方式进行调整后的模板与所述产品图像中的产品部件的匹配操作。例如,方案一:记录重复周期下的投影矢量在某周期内的峰值位置,以该峰值位置为基准,将模板中对应峰值的位置加上一个方向投影矢量,直接定位到指定位置。
方案二:得到调整后的模板后,直接将调整后的模板转换成黑白蒙版(BW mask),白色区域对应产品部件的内部,而黑色区域对应产品部件的外围。将黑白蒙版在水平垂直方向上复制足够多的周期(即与差值图像中产品部件的周期相同)得到大模板图像。
获取一张产品图像,先将上述大模板图像按产品的放置水平方向与所述产品图像的水平方向夹角进行旋转。并通过滑动窗口寻找差值图像与大模板图像最匹配的位置。将大模板图像对应位置截断,可直接得到产品图像的分割结果。
在一个实施例中,所述步骤S105,包括:
若所述产品图像与所述调整后的模板的图像相匹配,则在垂直方向上修正所述调整后的模板的边缘,使所述调整后的模板的边缘上的像素在所述差值图像上的和最大,以获取修正后的模板。
在具体应用中,由于产品部件存在公差,该调整后的模板与差值图像可能并不紧密贴合。若产品图像与调整后的模板的图像相匹配,则对调整后的模板的每一条边缘在其垂直方向上进行微调(挪动),使得该边缘上的像素在差值图像上的和最大,以获取修正后的模板的图像。
本实施例通过产品的放置水平方向与所述产品图像的水平方向夹角对模板进行调整,并进行模板与产品图像中的产品部件的匹配,实现了产品的图像中的产品部件的定位和测量,降低了产品缺陷和产品部件尺寸变化对算法稳定性的影响。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例五
如图5所示,本实施例提供一种图像分割装置100,用于执行实施例一中的方法步骤。本实施例提供的图像分割装置100,包括:
第一获取模块101,用于提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角;其中,所述产品中包含多个产品部件;
第二获取模块102,用于获取所述产品图像在所述产品部件水平方向以及垂直方向上的投影矢量,根据所述投影矢量确定所述产品部件的尺寸,并根据所述产品部件的尺寸调整模板的图像;其中,所述模板为标准尺寸的所述产品部件的模板;
匹配模块103,用于对所述产品图像和调整后的所述模板的图像进行匹配;
修正模块104,用于若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述模板的图像进行修正,获取修正后的所述模板的图像;
第三获取模块105,用于根据修正后的所述模板的图像获取所述产品图像的分割结果。
在一个实施例中,所述第一获取模块101,包括:
第一获取子模块1011,用于对所述产品图像进行滤波提取所述产品图像中的部件边缘,以获取差值图像;
第二获取子模块1012,用于根据所述差值图像中的所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角。
在一个实施例中,所述第一获取子模块1011,包括:
第一获取单元10111,用于将所述产品图像转化为灰度图像,并提取所述灰度图像中的部件边缘;
第二获取单元10112,用于根据所述灰度图像中的部件边缘对所述灰度图像进行闭运算,以获取闭运算后的图像;
第三获取单元10113,用于获取所述闭运算后的图像与所述产品图像的差值的图像,作为所述差值图像。
在一个实施例中,所述第二获取子模块1012,包括:
第四获取单元10121,用于获取所述差值图像上差值最大的边缘像素作为部件边缘蒙版;其中,所述差值为所述闭运算后的图像的像素与所述产品图像的像素的差值;
第五获取单元10122,用于根据所述部件边缘蒙版获取所述产品的放置水平方向与所述产品图像的水平方向夹角。
在一个实施例中,根据第五获取单元10122,包括:
霍夫变换子单元,用于对所述部件边缘蒙版上的像素进行霍夫变换,以获取霍夫变换矩阵;
获取方差子单元,用于获取所述霍夫变换矩阵中方差最大的列对应的角度作为所述产品的放置水平方向与所述产品图像的水平方向夹角。
在一个实施例中,所述匹配模块103,包括:
旋转子模块,用于根据所述产品的放置水平方向与所述产品图像的水平方向夹角旋转所述调整后的模板;
匹配子模块,用于对所述部件边缘蒙版进行距离变换,并通过滑动窗方法获取所述调整后的模板的边缘与所述部件边缘蒙版的边缘的距离之和最小的位置,以使所述调整后的模板与所述产品图像中的产品部件匹配。
在一个实施例中,修正模块104,包括:
修正子模块,用于若所述产品图像与所述调整后的模板的图像相匹配,则在垂直方向上修正所述调整后的模板的边缘,使所述调整后的模板的边缘上的像素在所述差值图像上的和最大,以获取修正后的模板。
在一个实施例中,所述第三获取模块105,包括:
第三获取子模块,用于根据所述产品部件的尺寸在所述水平方向和垂直方向上对所述修正后的模板的图像进行延拓,以获取延拓后的模板的图像;
第四获取子模块,用于根据所述产品部件的周期在所述产品图像上平铺所述延拓后的模板的图像,获取所述产品部件的分割结果。
本实施例通过利用产品图像中部件的周期性,对产品图像投影并确定尺寸以对模板的图像进行调整、修正,获取产品图像的分割结果,提升了基于模板匹配的图像分割算法的准确度,提高了对产品部件的缺陷诊断、公差及形状的判断的效率。
实施例六
图6是本发明实施例六提供的终端设备的示意图。如图6所示,该实施例的终端设备6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62,例如图像分割程序。所述处理器60执行所述计算机程序62时实现上述各个图像分割方法实施例中的步骤,例如图1所示的步骤S101至S105。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块101至105的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述终端设备6中的执行过程。例如,所述计算机程序62可以被分割成第一获取模块、第二获取模块、匹配模块、修正模块和第三获取模块,各模块具体功能如下:
第一获取模块,用于提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角;其中,所述产品中包含多个产品部件;
第二获取模块,用于获取所述产品图像在所述产品部件水平方向以及垂直方向上的投影矢量,根据所述投影矢量确定所述产品部件的尺寸,并根据所述产品部件的尺寸调整模板的图像;其中,所述模板为标准尺寸的所述产品部件的模板;
匹配模块,用于对所述产品图像和调整后的所述模板的图像进行匹配;
修正模块,用于若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述模板的图像进行修正,获取修正后的所述模板的图像;
第三获取模块,用于根据修正后的所述模板的图像获取所述产品图像的分割结果。
所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是终端设备6的示例,并不构成对终端设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端设备6的内部存储单元,例如终端设备6的硬盘或内存。所述存储器61也可以是所述终端设备6的外部存储设备,例如所述终端设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字卡(Secure Digital,SD),闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像分割方法,其特征在于,包括:
提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角;其中,所述产品中包含多个产品部件;
获取所述产品图像在所述产品部件水平方向以及垂直方向上的投影矢量,根据所述投影矢量确定所述产品部件的尺寸,并根据所述产品部件的尺寸调整模板的图像;其中,所述模板为标准尺寸的所述产品部件的模板;
对所述产品图像和调整后的模板的图像进行匹配;
若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述调整后的模板的图像进行修正,获取修正后的所述模板的图像;
根据修正后的所述模板的图像获取所述产品图像的分割结果;
所述若所述产品图像与所述调整后的模板的图像相匹配,则根据所述产品图像对所述调整后的模板的图像进行修正,获取修正后的所述模板的图像,包括:
若所述产品图像与所述调整后的模板的图像相匹配,则在垂直方向上修正所述调整后的模板的边缘,使所述调整后的模板的边缘上的像素在差值图像上的和最大,以获取修正后的模板;
所述根据修正后的所述模板的图像获取所述产品图像的分割结果,包括:
根据所述产品部件的尺寸在所述水平方向和垂直方向上对所述修正后的模板的图像进行延拓,以获取延拓后的模板的图像;
根据所述产品部件的周期在所述产品图像上平铺所述延拓后的模板的图像,获取所述产品部件的分割结果。
2.如权利要求1所述的图像分割方法,其特征在于,所述提取产品图像中的部件边缘,并根据所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角,包括:
对所述产品图像进行滤波提取所述产品图像中的部件边缘,以获取差值图像;
根据所述差值图像中的所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角。
3.如权利要求2所述的图像分割方法,其特征在于,所述对所述产品图像进行滤波提取所述产品图像中的部件边缘,以获取差值图像,包括:
将所述产品图像转化为灰度图像,并提取所述灰度图像中的部件边缘;
根据所述灰度图像中的部件边缘对所述灰度图像进行闭运算,以获取闭运算后的图像;
获取所述闭运算后的图像与所述产品图像的差值的图像,作为所述差值图像。
4.如权利要求3所述的图像分割方法,其特征在于,所述根据所述差值图像中的所述部件边缘确定产品的放置水平方向与所述产品图像的水平方向夹角,包括:
获取所述差值图像上差值最大的边缘像素作为部件边缘蒙版;其中,所述差值为所述闭运算后的图像的像素与所述产品图像的像素的差值;
根据所述部件边缘蒙版获取所述产品的放置水平方向与所述产品图像的水平方向夹角。
5.如权利要求4所述的图像分割方法,其特征在于,根据所述部件边缘蒙版获取所述产品的放置水平方向与所述产品图像的水平方向夹角,包括:
对所述部件边缘蒙版上的像素进行霍夫变换,以获取霍夫变换矩阵;
获取所述霍夫变换矩阵中方差最大的列对应的角度作为所述产品的放置水平方向与所述产品图像的水平方向夹角。
6.如权利要求4所述的图像分割方法,其特征在于,所述对所述产品图像和所述调整后的模板的图像进行匹配,包括:
根据所述产品的放置水平方向与所述产品图像的水平方向夹角旋转所述调整后的模板;
对所述部件边缘蒙版进行距离变换,并通过滑动窗方法获取所述调整后的模板的边缘与所述部件边缘蒙版的边缘的距离之和最小的位置,以使所述调整后的模板与所述产品图像中的产品部件匹配。
7.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
8.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201811628326.3A 2018-12-28 2018-12-28 一种图像分割方法、终端设备及计算机可读存储介质 Active CN111445431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811628326.3A CN111445431B (zh) 2018-12-28 2018-12-28 一种图像分割方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811628326.3A CN111445431B (zh) 2018-12-28 2018-12-28 一种图像分割方法、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111445431A CN111445431A (zh) 2020-07-24
CN111445431B true CN111445431B (zh) 2023-10-20

Family

ID=71626503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811628326.3A Active CN111445431B (zh) 2018-12-28 2018-12-28 一种图像分割方法、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111445431B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538384B (zh) * 2021-07-19 2024-03-26 凌云光技术股份有限公司 一种特征的定位方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200351A (ja) * 1999-01-06 2000-07-18 Sankyo Seiki Mfg Co Ltd テンプレ―トの作成方法
CN107192716A (zh) * 2017-04-26 2017-09-22 广东工业大学 一种基于轮廓特征的工件缺陷快速检测方法
CN107301637A (zh) * 2017-05-22 2017-10-27 南京理工大学 近矩形平面状工业产品表面瑕疵检测方法
CN108267104A (zh) * 2018-01-22 2018-07-10 浙江大学 一种基于双目视觉的轴类零件半径尺寸测量方法
CN109993800A (zh) * 2019-03-18 2019-07-09 五邑大学 一种工件尺寸的检测方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200351A (ja) * 1999-01-06 2000-07-18 Sankyo Seiki Mfg Co Ltd テンプレ―トの作成方法
CN107192716A (zh) * 2017-04-26 2017-09-22 广东工业大学 一种基于轮廓特征的工件缺陷快速检测方法
CN107301637A (zh) * 2017-05-22 2017-10-27 南京理工大学 近矩形平面状工业产品表面瑕疵检测方法
CN108267104A (zh) * 2018-01-22 2018-07-10 浙江大学 一种基于双目视觉的轴类零件半径尺寸测量方法
CN109993800A (zh) * 2019-03-18 2019-07-09 五邑大学 一种工件尺寸的检测方法、装置及存储介质

Also Published As

Publication number Publication date
CN111445431A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
CN107492091B (zh) 基于机器视觉的标签外观检测方法及终端设备
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
US11544916B2 (en) Automated gauge reading and related systems, methods, and devices
CN108896278B (zh) 一种滤光片丝印缺陷检测方法、装置及终端设备
CN107356213B (zh) 滤光片同心度测量方法及终端设备
CN109360203A (zh) 图像配准方法、图像配准装置及存储介质
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN113608378B (zh) 一种基于lcd制程的全自动缺陷检测方法和系统
CN110706182A (zh) 一种屏蔽罩平面度检测方法、装置、终端设备及存储介质
CN115619787B (zh) 一种uv胶缺陷检测方法、系统、设备及介质
CN111598913B (zh) 一种基于机器人视觉的图像分割方法和系统
CN114638294A (zh) 一种数据增强方法、装置、终端设备及存储介质
CN112634203A (zh) 图像检测方法、电子设备及计算机可读存储介质
CN111445431B (zh) 一种图像分割方法、终端设备及计算机可读存储介质
CN112836726B (zh) 一种基于视频信息的指针类仪表示数读取方法及装置
KR101842535B1 (ko) 부호의 광학적 검출 방법
CN114092385A (zh) 基于机器视觉的工业机械故障检测方法及装置
CN108564571B (zh) 图像区域选取方法及终端设备
CN108805838B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN110610178A (zh) 图像识别方法、装置、终端及计算机可读存储介质
CN115829929A (zh) 产品表面图像的缺陷检测方法、装置、设备及存储介质
CN113012137B (zh) 一种面板缺陷检查方法、系统、终端设备及存储介质
CN111062984B (zh) 视频图像区域面积的测量方法、装置、设备及存储介质
CN114648776A (zh) 一种财务报销数据处理方法和处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province

Applicant after: TCL Technology Group Co.,Ltd.

Address before: 516006 Guangdong province Huizhou Zhongkai hi tech Development Zone No. nineteen District

Applicant before: TCL Corp.

GR01 Patent grant
GR01 Patent grant