CN111833289B - 缺陷识别方法、装置和设备 - Google Patents
缺陷识别方法、装置和设备 Download PDFInfo
- Publication number
- CN111833289B CN111833289B CN201910295343.8A CN201910295343A CN111833289B CN 111833289 B CN111833289 B CN 111833289B CN 201910295343 A CN201910295343 A CN 201910295343A CN 111833289 B CN111833289 B CN 111833289B
- Authority
- CN
- China
- Prior art keywords
- image
- demarcation point
- defect
- point coordinate
- parts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 49
- 229910000831 Steel Inorganic materials 0.000 claims description 23
- 239000010959 steel Substances 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 15
- 239000011324 bead Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种缺陷识别方法、装置和设备,该方法包括:获取目标物体的图像;在图像中识别出目标物体的多个部位各自对应的图像区域;识别多个部位各自对应的图像区域中是否存在多个部位对应的缺陷类型。从而,根据不同部位往往对应的缺陷类型有所不同的特点,针对性地在不同部位所对应的图像区域中进行相应缺陷类型的识别,从而高效、准确地确定出目标物体是否存在某种缺陷。
Description
技术领域
本发明涉及图像识别技术领域,尤其涉及一种缺陷识别方法、装置和设备。
背景技术
作为汽车行业主要配套产业之一的轮胎制造行业随着汽车消费的增长保持着稳健的增长趋势。轮胎(特别是子午线轮胎)一般具有较复杂的内部结构,一旦生产过程中产生的如胎体开根、帘线弯曲等缺陷问题没有得到识别和修正,将会严重损耗轮胎的寿命,严重的甚至导致汽车行驶过程中出现安全问题。因此,轮胎生产后期需要对轮胎进行缺陷检测,以及时发现问题并进行修正。
目前,对轮胎缺陷的检测主要是采用x光射线机扫描待检轮胎,人工根据生成的x光图像来判断轮胎是否存在某种缺陷。人眼识别过程中也容易受到主观因素影响,质检效率低下,且准确性较差。
发明内容
本发明实施例提供一种缺陷识别方法、装置和设备,用以准确识别出物体是否存在缺陷。
第一方面,本发明实施例提供一种缺陷识别方法,该方法包括:
获取目标物体的图像;
在所述图像中识别出所述目标物体的多个部位各自对应的图像区域;
识别所述多个部位各自对应的图像区域中是否存在所述多个部位对应的缺陷类型。
第二方面,本发明实施例提供一种缺陷识别装置,该装置包括:
图像获取模块,用于获取目标物体的图像;
部位识别模块,用于在所述图像中识别出所述目标物体的多个部位各自对应的图像区域;
缺陷识别模块,用于识别所述多个部位各自对应的图像区域中是否存在所述多个部位对应的缺陷类型。
第三方面,本发明实施例提供一种电子设备,包括处理器、存储器,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器至少实现上述第一方面中的缺陷识别方法。
第四方面,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现上述第一方面中的缺陷识别方法。
在本发明实施例中,对于诸如汽车轮胎等目标物体,在识别目标物体是否存在某种缺陷时,首先采集目标物体的图像,在图像中识别出目标物体的多个部位各自对应的图像区域,进而根据不同部位往往对应的缺陷类型有所不同的特点,针对性地在不同部位所对应的图像区域中进行相应缺陷类型的识别,从而高效、准确地确定出目标物体是否存在某种缺陷。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一示例性实施例提供的一种缺陷识别方法的流程图;
图2为一示例性实施例提供的一种目标物体各部位识别过程的流程图;
图3为一示例性实施例提供的图像块截取过程的示意图;
图4为一示例性实施例提供的目标物体各部位识别过程的原理示意图;
图5为一示例性实施例提供的一种模型训练方法的流程图;
图6为一示例性实施例提供的一种缺陷识别装置的结构示意图;
图7为与图6所示实施例提供的缺陷识别装置对应的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为一示例性实施例提供的一种缺陷识别方法的流程图,如图1所示,该方法包括如下步骤:
101、获取目标物体的图像。
102、在图像中识别出目标物体的多个部位各自对应的图像区域。
103、识别多个部位各自对应的图像区域中是否存在多个部位对应的缺陷类型。
该缺陷识别方法可以由一电子设备来执行,该电子设备可以是诸如PC机、笔记本电脑等终端设备,也可以是服务器。该服务器可以是包含一独立主机的物理服务器,或者也可以为主机集群承载的虚拟服务器,或者也可以为云服务器。
该缺陷识别方法的目的在于自动地识别出目标物体是否存在某种缺陷,实际应用中,目标物体比如可以是汽车轮胎等。
为实现目标物体是否存在缺陷的自动识别,首先,通过统计发现,在目标物体的不同部位上发生的缺陷类型往往具有一定差异性,也就是说,缺陷类型A可能更主要地发生在a部位,而缺陷类型B更主要地发生在b部位。
基于该发现,在本发明实施例中,对于诸如汽车轮胎等目标物体,在识别目标物体是否存在某种缺陷时,首先采集目标物体的图像,在采集到的图像中识别出目标物体的多个部位各自对应的图像区域,进而根据不同部位往往对应的缺陷类型有所不同的特点,针对性地在不同部位所对应的图像区域中进行相应缺陷类型的识别,从而高效、准确地确定出目标物体是否存在某种缺陷。
具体来说,首先,步骤101中获取目标物体的图像,比如可以是通过对X光射线机扫描目标物体,以得到目标物体的X光图像。以汽车轮胎为例,可以使用X光射线机扫描汽车轮胎一圈,从而可以形成具有一定高度和宽度的图像,其中,图像的宽度对应于汽车轮胎的宽度,图像的高度对应于汽车轮胎的周长。
为描述方便,下文中将目标物体的图像称为初始图像。
为了便于后续的图像识别处理以及提高识别结果的准确性,可以对初始图像进行一些预处理,以突出图像中的前景信息,弱化图像的背景信息。例如可以通过直方图均衡化、伽马增强等图像处理技术进行该预处理。
由于目标物体的不同部位在视觉特征上具有一定的差异性,比如汽车轮胎的诸如胎冠、胎肩、胎侧、胎圈等部位具有不同的纹理、结构等特征,因此,可以基于这些差异性来识别目标物体的多个部位在初始图像中各自对应的图像区域。本文提供了一种识别目标物体的多个部位各自对应的图像区域的方法,在后续实施例中详细说明。
在识别出目标物体的多个部位在初始图像中各自对应的图像区域后,可以根据每个部位对应的缺陷类型(是指每个部位可能存在的缺陷类型),有针对性的在每个部位对应的图像区域中识别该部位是否真的存在该部位对应的缺陷类型。简单来说就是,根据统计结果得知某个部位可能会出现某个类型的缺陷,那么对该部位对应的图像区域进行图像识别处理,以识别其中是否真的包含该类型的缺陷所对应的特征信息。
以目标物体为汽车轮胎为例,实际上,汽车轮胎可能存在的缺陷有很多种,概括来说,可以划分为结构排列类缺陷、钢丝曲线类缺陷、局部性缺陷这三种。其中,诸如带束层差级、带束层偏离中心等缺陷属于结构排列类缺陷;诸如帘线弯曲、稀线等有关钢丝走线类的缺陷属于钢丝曲线类缺陷;诸如气泡、杂质、钢丝翘头等缺陷属于局部性缺陷。
汽车轮胎诸如胎冠、胎肩、胎侧和胎圈这些部位所对应的缺陷类型一般不完全相同,比如,胎冠部位常出现结构排列类缺陷、局部性缺陷;胎侧部位常出现钢丝曲线类缺陷;胎肩和胎圈部位常出现局部性缺陷。
因此,可选地,针对对应于构排列类缺陷的第一部位(比如胎冠部位),可以根据设定的结构排布特征,识别第一部位对应的图像区域中是否存在结构排列类缺陷。举例来说,带束层理想情况下应该是以轮胎中心为对称中心而对称排布的,如果通过图像识别发现带束层并不符合该排布特征,可以认为发生了带束层偏离中心这种结构排布类缺陷。
可选地,针对对应于钢丝曲线类缺陷的第二部位(比如胎侧部位),可以识别第二部位对应的图像区域中的钢丝走向特征,以根据钢丝走向特征确定第二部位对应的图像区域中是否存在钢丝曲线类缺陷。举例来说,可以通过钢丝区域与非钢丝区域在像素灰度上的差异特征从第二部位对应的图像区域中识别出钢丝,进而,根据钢丝的走向特征确定第二部位是否存在钢丝曲线类缺陷,比如如果发现钢丝断裂或弯曲等特征,则认为第二部位存在钢丝曲线类缺陷。
可选地,针对对应于局部性缺陷的第三部位(比如胎冠、胎肩和胎圈部位),可以通过目标检测方式对第三部位对应的图像区域进行目标检测,根据检测结果确定第三部位对应的图像区域中是否存在局部性缺陷亦即确定第三部位是否存在局部性缺陷。该目标检测中的目标元素比如为气泡、某种金属杂质、翘头等。此时,可以通过预先训练得到的一目标检测模型来识别第三部位对应的图像区域中是否存在局部性缺陷,该目标检测模型本质上就是一种多分类器,其输入为第三部位对应的图像区域,输出为各种目标元素的预测概率。
下面介绍识别目标物体的多个部位在初始图像中各自对应的图像区域的实现方法,具体地,可以通过一训练至收敛的模型来实现,具体过程参见图2。
图2为一示例性实施例提供的一种目标物体各部位识别过程的流程图,如图2所示,可以包括如下步骤:
201、从目标物体的图像中截取多个第一图像块,其中,每个第一图像块中包含目标物体的多个部位。
202、将多个第一图像块依次输入到模型中,以通过模型获得多个第一图像块各自对应的第一分界点坐标集合,第一分界点坐标集合中的各分界点坐标用于分界对应图像块中包含的多个部位。
203、根据多个第一图像块各自对应的分界点坐标集合,确定图像对应的第二分界点坐标集合,以由第二分界点坐标集合中的分界点坐标界定多个部位在目标物体的图像中各自对应的图像区域。
以下将目标物体的图像称为初始图像。
以汽车轮胎为例,理想情况下,在初始图像中,胎冠、胎肩、胎侧和胎圈这些部位之间的分界线是一条直线。但是实际上,由于使用X光射线机扫描汽车轮胎时的位置抖动,汽车轮胎本身可能存在一些缺陷等问题,这些部位之间的分界线可能并不是一条直线。也就是说,目标物体的不同部位之间的分界线可能并不是一条直线。
为此,为了能够更加准确地识别出目标物体不同部位的分界线,可以从初始图像中截取出多个图像块(称为第一图像块),每个第一图像块中都包含目标物体的各个部位,也就是说,每个第一图像块中都包含每个部位在图像中所占的部分区域,进而针对每个第一图像块中包含的各个部位进行分界线识别,最终综合各个第一图像块的分界线识别结果而确定初始图像中各个部位的分界线。
假设初始图像是一个宽度为W,高度为H的图像,并且假设沿着初始图像的高度方向进行第一图像块的截取,下面介绍多个第一图像块的截取过程。
在一可选实施例中,可以随机地沿高度方向截取出多个第一图像块,每个第一图像块的宽度等于初始图像的宽度W,此时,顺序截取的两个第一图像块之间可以有部分重叠。
在另一可选实施例中,首先,可以根据设定的图像块数量和初始图像的高度,在初始图像中确定多个第一图像块各自的中线位置,进而,根据设定的图像块高度和多个第一图像块各自的中线位置,截取出多个第一图像块,其中,每个第一图像块的宽度与初始图像的宽度相等。
结合图3对该实施例下多个第一图像块的截取过程进行示意性说明。在图3中,假设设定的图像块数量为N=3,则意味着需从初始图像中截取出三个第一图像块。此时,可以沿初始图像的高度方向对初始图像进行(N+1)等分,即分成4四份,四等分线处即为三个第一图像块各自对应的中线位置:H/4、2H/4、3H/4。假设设定的图像块高度为L,则以每个中线位置为中心,沿高度方向分别向上以及向下取L/2的距离以确定每个第一图像块的上下边界,从而便截取出了三个第一图像块。实际应用中,L的取值可能会使得相邻的第一图像块部分重叠或完全不会重叠。
在得到多个第一图像块后,可以依次将多个第一图像块输入到模型中,由模型输出每个第一图像块对应的分界点坐标集合(称为第一分界点坐标集合)。
其中,该模型可以是神经网络模型,比如可以是深度神经网络(DeepNeuralNetworks,简称DNN)模型、卷积神经网络(Convolutional Neural Network,简称CNN)模型等。模型通过对输入的每个第一图像块进行特征提取与识别,以判断每个第一图像块中相邻部位之间的分界。
在沿初始图像的高度方向从初始图像中截取多个第一图像块以及在目标物体的多个部位从整体上呈现如图3所示的矩形分布的结构特征的情况下,相邻两个部位的分界线呈现直线的特点,因此此时,相邻两个部位的分界线的确定转换为确定分界线对应的横坐标(即沿宽度方向的坐标)即可。
以图4为例,图4中包括三个第一图像块,假设分别称为D1、D2、D3,每个第一图像块中包括图中用不同图形示意的五个部位:b1、b2、b3、b4、b5。对于D1来说,五个部位之间会存在四个分界点坐标构成的集合,假设为[x11、x21、x31、x41]。对于D2来说,五个部位之间也会存在四个分界点坐标构成的集合,假设为[x12、x22、x32、x42]。对于D3来说,五个部位之间也会存在四个分界点坐标构成的集合,假设为[x13、x23、x33、x43]。
在得到每个第一图像块对应的分界点坐标集合之后,可以根据多个第一图像块各自对应的分界点坐标集合,确定初始图像对应的第二分界点坐标集合。
具体可选地,针对某两个相邻的部位来说,可以对已经获得的这两个部位对应的多个分界点坐标进行求均值计算,将计算得到的均值最终确定为在初始图像中这两个部位的分界点坐标。
以图4为例,对于b1、b2这两个相邻部位来说,D1、D2和D3中分别确定出的这两个部位的分界点坐标为:x11、x12、x13。因此,对这三个坐标进行求均值计算,将均值作为初始图像中用于界定这两个部位的分界点坐标(即分界线的横坐标)。对于其他相邻部位的分界点的计算过程与之相同,不赘述。
下面介绍上述模型的训练过程。
图5为一示例性实施例提供的一种模型训练方法的流程图,如图5所示,该方法可以包括如下步骤:
501、获取目标物体的样本图像。
可以预先采集目标物体的若干图像作为样本图像集,本实施例中,仅以对样本图像集中的任一个样本图像的处理过程为例进行说明。
502、从样本图像中截取第二图像块,其中,第二图像块中包含目标物体的多个部位。
实际应用中,如前述实施例中对初始图像的介绍一样,也可以从样本图像中截取出多个包含目标物体的多个部位的第二图像块。但是,当样本图像很多时,也可以仅从一个样本图像中截取出一个第二图像块。
可选地,可以预先设定第二图像块的尺寸即宽度和高度,从而,可以随机从一个样本图像中截取出一个或多个第二图像块,当截取多个第二图像块时,可以允许不同的第二图像块之间部分重叠。其中,假设仍旧沿着样本图像的高度方向进行截取,那么每个第二图像块的宽度与样本图像的宽度相等,以便将样本图像中目标物体的全部部位都截取出来,当然,此时假设目标物体的各个部位是沿着样本图像的宽度方向排布的。
可选地,也可以根据设定的图像块数量和样本图像的高度,在样本图像中确定第二图像块的中线位置,进而根据设定的图像块高度和第二图像块的中线位置,截取出第二图像块。
此时,图像块数量可以为1或者大于1的整数。当图像块数量为1时,可以预先设定需要截取出的一个第二图像块的中线位置为样本图像的一半高度处或其他高度位置,当图像块数量大于1时,假设为N,N大于1,可以将样本图像的高度进行N等分,N等分位置处即为多个第二图像块的中线位置。
其中,图像块高度可以自定义为某个距离值。
503、确定第二图像块中标记出的第三分界点坐标集合,第三分界点坐标集合中的各分界点坐标用于分界第二图像块中包含的多个部位。
本实施例中,模型的训练采用有监督训练的方式,因此,需要截取出的第二图像块中进行“标准答案”的标记。也就是说,由于模型的目的是识别第二图像块中包含的多个部位之间的分界点,因此,“标准答案”的标记就是在第二图像块中标记出多个部位之间的分界点,这里假设标记出的多个部位之间的分界点的坐标构成第三分界点坐标集合。
值得说明的是,由于不同样本图像的尺寸可能有所不同,为了屏蔽不同样本图像的尺寸差异,在目标物体的多个部位在各样本图像中是沿宽度方向排布的情况下(此时分界点坐标的标记其实只是标记宽度方向的坐标),可以根据样本图像的宽度对第三分界点坐标集合中的各分界点坐标进行归一化处理,就是将第三分界点坐标集合中的各坐标除以样本图像的宽度。
504、将第二图像块输入到模型中,以通过模型获得第二图像块对应的第四分界点坐标集合。
将模型在训练阶段实际输出的第二图像块中多个部位之间的分界点坐标构成第四分界点坐标集合。
505、根据第三分界点坐标集合和第四分界点坐标集合,调整模型的参数。
第三分界点坐标集合相当于是理论值,第四分界点坐标集合相当于是实测值,由理论值和实测值可以计算得到损失函数,由该损失函数可以对模型的参数进行调整,以便于模型可以快速收敛。
以下将详细描述本发明的一个或多个实施例的缺陷识别装置。本领域技术人员可以理解,这些缺陷识别装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图6为本发明实施例提供的一种缺陷识别装置的结构示意图,如图6所示,该装置包括:图像获取模块11、部位识别模块12、缺陷识别模块13。
图像获取模块11,用于获取目标物体的图像。
部位识别模块12,用于在所述图像中识别出所述目标物体的多个部位各自对应的图像区域。
缺陷识别模块13,用于识别所述多个部位各自对应的图像区域中是否存在所述多个部位对应的缺陷类型。
可选地,所述装置还可以包括:预处理模块,用于对所述图像进行图像预处理,以突出所述图像的前景信息,弱化背景信息。
可选地,所述目标物体为汽车轮胎,此时,可选地,所述多个部位对应的缺陷类型包括:结构排列类缺陷、钢丝曲线类缺陷、局部性缺陷。
基于此,可选地,针对对应于所述结构排列类缺陷的第一部位,所述缺陷识别模块13具体可以用于:根据设定的结构排布特征,识别所述第一部位对应的图像区域中是否存在结构排列类缺陷。
可选地,针对对应于所述钢丝曲线类缺陷的第二部位,所述缺陷识别模块13具体可以用于:识别所述第二部位对应的图像区域中的钢丝走向特征,以根据所述钢丝走向特征确定所述第二部位对应的图像区域中是否存在钢丝曲线类缺陷。
可选地,针对对应于所述局部性缺陷的第三部位,所述缺陷识别模块13具体可以用于:通过目标检测方式对所述第三部位对应的图像区域进行目标检测,根据检测结果确定所述第三部位对应的图像区域中是否存在局部性缺陷。
可选地,所述部位识别模块12具体可以用于:从所述图像中截取多个第一图像块,其中,每个第一图像块中包含所述多个部位;将多个第一图像块依次输入到模型中,以通过所述模型获得所述多个第一图像块各自对应的第一分界点坐标集合,所述第一分界点坐标集合中的各分界点坐标用于分界对应图像块中包含的多个部位;根据所述多个第一图像块各自对应的分界点坐标集合,确定所述图像对应的第二分界点坐标集合,以由所述第二分界点坐标集合中的分界点坐标界定所述多个部位在所述图像中各自对应的图像区域。
其中,在从所述图像中截取多个第一图像块的过程中,可选地,所述部位识别模块12具体可以用于:根据设定的图像块数量和所述图像的高度,在所述图像中确定所述多个第一图像块各自的中线位置;根据设定的图像块高度和所述多个第一图像块各自的中线位置,截取出所述多个第一图像块,其中,每个第一图像块的宽度与所述图像的宽度相等。
可选地,所述装置还可以包括:模型训练模块,用于获取所述目标物体的样本图像;从所述样本图像中截取第二图像块,其中,所述第二图像块中包含所述多个部位;确定所述第二图像块中标记出的第三分界点坐标集合,所述第三分界点坐标集合中的各分界点坐标用于分界所述第二图像块中包含的多个部位;将所述第二图像块输入到模型中,以通过所述模型获得所述第二图像块对应的第四分界点坐标集合;根据所述第三分界点坐标集合和所述第四分界点坐标集合,调整所述模型的参数。
其中,可选地,在从所述样本图像中截取第二图像块的过程中,所述模型训练模块可以用于:根据设定的图像块数量和所述样本图像的高度,在所述样本图像中确定所述第二图像块的中线位置;根据设定的图像块高度和所述第二图像块的中线位置,截取出所述第二图像块,其中,所述第二图像块的宽度与所述样本图像的宽度相等。
可选地,在获得第三分界点坐标集合后,所述模型训练模块还可以用于:根据所述样本图像的宽度对所述第三分界点坐标集合中的各分界点坐标进行归一化处理。
图6所示装置可以执行前述各实施例提供的方法,本实施例未详细描述的部分,可参考前述实施例的相关说明,在此不再赘述。
在一个可能的设计中,上述图6所示的缺陷识别装置的结构可实现为一电子设备,该电子设备可以是终端设备也可以是服务器,如图7所示,该电子设备可以包括:处理器21、存储器22。其中,所述存储器22上存储有可执行代码,当所述可执行代码被所述处理器21执行时,使所述处理器21可以执行如前述各实施例中提供的缺陷识别方法。
实际上,该电子设备中也可以包括通信接口23,用于与其他设备进行通信。
另外,本发明实施例提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器可以执行如前述各实施例中提供的缺陷识别方法。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种缺陷识别方法,包括:
获取目标物体的图像,所述目标物体为汽车轮胎;
在所述图像中识别出所述目标物体的多个部位各自对应的图像区域;
识别所述多个部位各自对应的图像区域中是否存在所述多个部位对应的缺陷类型,所述多个部位对应的缺陷类型包括:结构排列类缺陷、钢丝曲线类缺陷、局部性缺陷;
其中,所述多个部位各自对应的图像区域的识别步骤,包括:
从所述图像中截取多个第一图像块,其中,每个第一图像块中包含所述多个部位;将多个第一图像块依次输入到模型中,以通过所述模型获得所述多个第一图像块各自对应的第一分界点坐标集合,所述第一分界点坐标集合中的各分界点坐标用于分界对应图像块中包含的多个部位;根据所述多个第一图像块各自对应的分界点坐标集合,确定所述图像对应的第二分界点坐标集合,以由所述第二分界点坐标集合中的分界点坐标界定所述多个部位在所述图像中各自对应的图像区域;
其中,针对对应于所述结构排列类缺陷的第一部位,根据设定的结构排布特征,识别所述第一部位对应的图像区域中是否存在结构排列类缺陷;针对对应于所述钢丝曲线类缺陷的第二部位,识别所述第二部位对应的图像区域中的钢丝走向特征,以根据所述钢丝走向特征确定所述第二部位对应的图像区域中是否存在钢丝曲线类缺陷;针对对应于所述局部性缺陷的第三部位,通过目标检测方式对所述第三部位对应的图像区域进行目标检测,根据检测结果确定所述第三部位对应的图像区域中是否存在局部性缺陷。
2.根据权利要求1所述的方法,所述图像包括X光图像。
3.根据权利要求1所述的方法,所述模型包括如下网络模型中的任一种:深度神经网络模型、卷积神经网络模型。
4.根据权利要求1所述的方法,所述从所述图像中截取多个第一图像块,包括:
根据设定的图像块数量和所述图像的高度,在所述图像中确定所述多个第一图像块各自的中线位置;
根据设定的图像块高度和所述多个第一图像块各自的中线位置,截取出所述多个第一图像块,其中,每个第一图像块的宽度与所述图像的宽度相等。
5.根据权利要求1所述的方法,还包括所述模型的训练步骤:
获取所述目标物体的样本图像;
从所述样本图像中截取第二图像块,其中,所述第二图像块中包含所述多个部位;
确定所述第二图像块中标记出的第三分界点坐标集合,所述第三分界点坐标集合中的各分界点坐标用于分界所述第二图像块中包含的多个部位;
将所述第二图像块输入到模型中,以通过所述模型获得所述第二图像块对应的第四分界点坐标集合;
根据所述第三分界点坐标集合和所述第四分界点坐标集合,调整所述模型的参数。
6.根据权利要求5所述的方法,所述从所述样本图像中截取第二图像块,包括:
根据设定的图像块数量和所述样本图像的高度,在所述样本图像中确定所述第二图像块的中线位置;
根据设定的图像块高度和所述第二图像块的中线位置,截取出所述第二图像块,其中,所述第二图像块的宽度与所述样本图像的宽度相等。
7.根据权利要求5所述的方法,还包括:
根据所述样本图像的宽度对所述第三分界点坐标集合中的各分界点坐标进行归一化处理。
8.一种缺陷识别装置,包括:
图像获取模块,用于获取目标物体的图像,所述目标物体为汽车轮胎;
部位识别模块,用于从所述图像中截取多个第一图像块,其中,每个第一图像块中包含所述多个部位;将多个第一图像块依次输入到模型中,以通过所述模型获得所述多个第一图像块各自对应的第一分界点坐标集合,所述第一分界点坐标集合中的各分界点坐标用于分界对应图像块中包含的多个部位;根据所述多个第一图像块各自对应的分界点坐标集合,确定所述图像对应的第二分界点坐标集合,以由所述第二分界点坐标集合中的分界点坐标界定所述多个部位在所述图像中各自对应的图像区域;
缺陷识别模块,用于识别所述多个部位各自对应的图像区域中是否存在所述多个部位对应的缺陷类型,所述多个部位对应的缺陷类型包括:结构排列类缺陷、钢丝曲线类缺陷、局部性缺陷;
其中,缺陷识别模块具体用于:针对对应于所述结构排列类缺陷的第一部位,根据设定的结构排布特征,识别所述第一部位对应的图像区域中是否存在结构排列类缺陷;针对对应于所述钢丝曲线类缺陷的第二部位,识别所述第二部位对应的图像区域中的钢丝走向特征,以根据所述钢丝走向特征确定所述第二部位对应的图像区域中是否存在钢丝曲线类缺陷;针对对应于所述局部性缺陷的第三部位,通过目标检测方式对所述第三部位对应的图像区域进行目标检测,根据检测结果确定所述第三部位对应的图像区域中是否存在局部性缺陷。
9.一种电子设备,包括:存储器、处理器;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的缺陷识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910295343.8A CN111833289B (zh) | 2019-04-12 | 2019-04-12 | 缺陷识别方法、装置和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910295343.8A CN111833289B (zh) | 2019-04-12 | 2019-04-12 | 缺陷识别方法、装置和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111833289A CN111833289A (zh) | 2020-10-27 |
CN111833289B true CN111833289B (zh) | 2024-05-17 |
Family
ID=72915282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910295343.8A Active CN111833289B (zh) | 2019-04-12 | 2019-04-12 | 缺陷识别方法、装置和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111833289B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022116109A1 (en) * | 2020-12-03 | 2022-06-09 | Boe Technology Group Co., Ltd. | Computer-implemented method for defect analysis, apparatus for defect analysis, computer-program product, and intelligent defect analysis system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015055580A (ja) * | 2013-09-12 | 2015-03-23 | 株式会社リコー | 欠陥検査装置、欠陥検査方法、欠陥検査プログラム及び記録媒体 |
JP2015175739A (ja) * | 2014-03-14 | 2015-10-05 | 株式会社リコー | 欠陥検査装置、欠陥検査方法、欠陥検査プログラム及び記録媒体 |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4679425B2 (ja) * | 2006-04-20 | 2011-04-27 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
US8488881B2 (en) * | 2010-07-27 | 2013-07-16 | International Business Machines Corporation | Object segmentation at a self-checkout |
US20140270347A1 (en) * | 2013-03-13 | 2014-09-18 | Sharp Laboratories Of America, Inc. | Hierarchical image classification system |
-
2019
- 2019-04-12 CN CN201910295343.8A patent/CN111833289B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015055580A (ja) * | 2013-09-12 | 2015-03-23 | 株式会社リコー | 欠陥検査装置、欠陥検査方法、欠陥検査プログラム及び記録媒体 |
JP2015175739A (ja) * | 2014-03-14 | 2015-10-05 | 株式会社リコー | 欠陥検査装置、欠陥検査方法、欠陥検査プログラム及び記録媒体 |
WO2018000731A1 (zh) * | 2016-06-28 | 2018-01-04 | 华南理工大学 | 一种曲面表面缺陷自动检测方法及其装置 |
Non-Patent Citations (2)
Title |
---|
Faster R-CNN在工业CT图像缺陷检测中的应用;常海涛;苟军年;李晓梅;;中国图象图形学报;20180716(第07期);129-139 * |
基于旋转不变HOG特征的焊缝缺陷类型识别算法;王璐;王新房;;计算机系统应用;20180215(第02期);159-164 * |
Also Published As
Publication number | Publication date |
---|---|
CN111833289A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113689428B (zh) | 基于图像处理的机械零件应力腐蚀检测方法及系统 | |
CN115829883B (zh) | 一种异性金属结构件表面图像去噪方法 | |
CN110148130B (zh) | 用于检测零件缺陷的方法和装置 | |
CN113109368B (zh) | 玻璃裂纹检测方法、装置、设备及介质 | |
CN109523518B (zh) | 一种轮胎x光病疵检测方法 | |
CN107622274B (zh) | 用于图像处理的神经网络训练方法、装置以及计算机设备 | |
CN113724231B (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
US9224198B2 (en) | Analysis of the digital image of the surface of a tyre and processing of non-measurement points | |
CN110427979B (zh) | 基于K-Means聚类算法的道路水坑识别方法 | |
CN111461100A (zh) | 一种票据识别方法、装置、电子设备和存储介质 | |
CN114782329A (zh) | 一种基于图像处理的轴承缺陷损伤程度评估方法及系统 | |
CN110909657A (zh) | 一种隧道表观病害图像识别的方法 | |
CN111489347B (zh) | 营业执照图片质量检测方法、装置、计算机设备及存储介质 | |
US9953411B2 (en) | Method for processing a digital image of the surface of a tyre in order to detect an anomaly | |
CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN116486091B (zh) | 基于人工智能的风机叶片缺陷区域快速分割方法及系统 | |
CN105760869B (zh) | 一种基于图像灰度识别及处理的阅卷方法 | |
US20110164129A1 (en) | Method and a system for creating a reference image using unknown quality patterns | |
CN116129202A (zh) | 存量用地分析方法、装置和存储介质 | |
CN112396044A (zh) | 车道线属性信息检测模型训练、车道线属性信息检测方法 | |
CN111833289B (zh) | 缺陷识别方法、装置和设备 | |
CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
JP2011165170A (ja) | 対象物検出装置及びプログラム | |
CN116523922B (zh) | 一种轴承表面缺陷识别方法 | |
CN115797314B (zh) | 零件表面缺陷检测方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |