CN110827263A - 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法 - Google Patents

基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法 Download PDF

Info

Publication number
CN110827263A
CN110827263A CN201911075938.9A CN201911075938A CN110827263A CN 110827263 A CN110827263 A CN 110827263A CN 201911075938 A CN201911075938 A CN 201911075938A CN 110827263 A CN110827263 A CN 110827263A
Authority
CN
China
Prior art keywords
magnetic shoe
magnetic
surface defect
defect
detection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911075938.9A
Other languages
English (en)
Other versions
CN110827263B (zh
Inventor
张发恩
杨帅
艾国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (nanjing) Technology Co Ltd
Original Assignee
Innovation Qizhi (nanjing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (nanjing) Technology Co Ltd filed Critical Innovation Qizhi (nanjing) Technology Co Ltd
Priority to CN201911075938.9A priority Critical patent/CN110827263B/zh
Publication of CN110827263A publication Critical patent/CN110827263A/zh
Application granted granted Critical
Publication of CN110827263B publication Critical patent/CN110827263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)

Abstract

本发明公开了一种基于视觉识别技术的磁瓦表面缺陷检测系统，用于对磁瓦表面是否存在缺陷进行检测，包括：磁瓦图像采集模块，用于采集磁瓦图像并输出；磁瓦表面缺陷预测模块，连接所述磁瓦图像采集模块，用于于所述磁瓦图像中提取出磁瓦特征图，并对各所述磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到一缺陷预测结果；缺陷概率判断模块，连接所述磁瓦表面缺陷预测模块，用于根据各所述磁瓦特征图和所述缺陷预测结果，计算得到所述磁瓦图像中存在所述磁瓦表面缺陷的概率，得到一磁瓦表面缺陷概率判断结果并存储，本发明能够对磁瓦图像是否存在磁瓦表面缺陷进行自动识别判断，实时性好，准确率高，能够有效保证磁瓦产品质量。

Description

基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法
技术领域
本发明涉及一种磁瓦表面缺陷检测系统，尤其涉及一种基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法。
背景技术
磁瓦是永磁体中的一种主要用在永磁电机上的瓦状磁铁。磁瓦的质量好坏直接影响永磁电机的性能。在磁瓦的生产过程中，对磁瓦表面进行缺陷判断显得尤为重要。目前，各大磁瓦生产厂家对于磁瓦表面缺陷的诊断主要通过人工检查方式，这种检查方式需要耗费大量的人力，而且对于缺陷结果的判断，很大程度上依赖于个人经验，缺陷结果判断通常并不准确，缺陷判断的效率也非常低。
发明内容
本发明的目的在于提供一种基于视觉识别技术的磁瓦表面缺陷检测系统，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于计算机视觉识别技术的磁瓦表面缺陷检测系统，用于对磁瓦表面是否存在缺陷进行检测，包括：
磁瓦图像采集模块，用于采集磁瓦图像并输出；
磁瓦表面缺陷预测模块，连接所述磁瓦图像采集模块，用于于所述磁瓦图像中提取出磁瓦特征图，并对各所述磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到一缺陷预测结果；
缺陷概率判断模块，连接所述磁瓦表面缺陷预测模块，用于根据各所述磁瓦特征图和所述缺陷预测结果，计算得到所述磁瓦图像中存在所述磁瓦表面缺陷的概率，得到一磁瓦表面缺陷概率判断结果并存储。
作为本发明的一种优选方案，所述磁瓦表面缺陷预测模块具体包括：
磁瓦特征图提取单元，用于基于一第一卷积神经网络对所述磁瓦图像进行所述磁瓦特征图的提取；
缺陷预测结果输出单元，连接所述磁瓦特征图提取单元，用于根据各所述磁瓦特征图，并基于所述第一卷积神经网络对各所述磁瓦特征图中是否存在所述磁瓦表面缺陷进行预测，得到所述缺陷预测结果。
作为本发明的一种优选方案，所述缺陷概率判断模块具体包括：
第一特征融合单元，用于基于一第二卷积神经网络将各所述磁瓦特征图和所述缺陷预测结果进行特征融合，得到一第一融合特征图；
融合特征提取单元，连接所述第一特征融合单元，用于基于所述第二卷积神经网络对所述第一融合特征图进行进一步的特征提取，得到一第一融合特征提取结果；
池化单元，连接所述融合特征提取单元，用于基于所述第二卷积神经网络对所述第一融合特征提取结果进行全局池化，得到一第一全局池化结果；并用于基于所述第二卷积神经网络对所述缺陷预测结果进行进一步的全局池化，得到一第二全局池化结果；
第二特征融合单元，连接所述池化单元，用于基于所述第二卷积神经网络对所述第一全局池化结果和所述第二全局池化结果进行特征融合，得到一第二融合特征图；
缺陷概率计算单元，连接所述第二特征融合单元，用于根据所述第二融合特征图计算得到所述磁瓦图像的缺陷概率；
缺陷判断单元，连接所述缺陷概率计算单元，用于将计算得到的所述缺陷概率与一预设的阈值进行数据比对，判断所述磁瓦图像中是否存在磁瓦表面缺陷，并得到所述磁瓦表面缺陷概率判断结果。
本发明还提供给了一种基于视觉识别技术的磁瓦表面缺陷检测方法，通过应用所述磁瓦表面缺陷检测系统实现，包括如下步骤：
步骤S1，所述磁瓦表面缺陷检测系统采集所述磁瓦图像；
步骤S2，所述磁瓦表面缺陷检测系统提取所述磁瓦图像的磁瓦特征图，并对各磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到所述缺陷预测结果；
步骤S3，所述磁瓦表面缺陷检测系统根据所述磁瓦特征图和所述缺陷预测结果，计算得到磁瓦图像中存在磁瓦表面缺陷的概率，得到所述磁瓦表面缺陷概率判断结果并存储。
作为本发明的一种优选方案，所述步骤S2中，所述磁瓦表面缺陷检测系统对所述磁瓦图像进行磁瓦表面缺陷预测的具体步骤如下：
步骤S21，所述磁瓦表面缺陷检测系统基于一第一卷积神经网络对所述磁瓦图像进行所述磁瓦特征图的提取；
步骤S22，所述磁瓦表面缺陷检测系统根据各所述磁瓦特征图，并基于所述第一卷积神经网络对各所述磁瓦特征图中是否存在磁瓦表面缺陷进行预测，得到所述缺陷预测结果。
作为本发明的一种优选方案，所述步骤S3中，所述磁瓦表面缺陷检测系统形成所述磁瓦表面缺陷概率判断结果的方法步骤具体如下：
步骤S31，所述磁瓦表面缺陷检测系统基于一第二卷积神经网络对各所述磁瓦特征图和所述缺陷预测结果进行特征融合，得到一第一融合特征图；
步骤S32，所述磁瓦表面缺陷检测系统基于所述第二卷积神经网络对所述第一融合特征图进行进一步的特征提取，得到一第一融合特征提取结果；
步骤S33，所述磁瓦表面缺陷检测系统基于所述第二卷积神经网络对所述第一融合特征提取结果进行全局池化，得到一第一全局池化结果；
所述磁瓦表面缺陷检测系统同时基于所述第二卷积神经网络对所述缺陷预测结果进行进一步的全局池化，得到一第二全局池化结果；
步骤S34，所述磁瓦表面缺陷检测系统基于所述第二卷积神经网络对所述第一全局池化结果和所述第二全局池化结果进行特征融合，得到一第二融合特征图；
步骤S35，所述磁瓦表面缺陷检测系统根据所述第二融合特征图计算得到所述磁瓦图像的缺陷概率；
步骤S36，所述磁瓦表面缺陷检测系统将计算到的所述缺陷概率与以预设的阈值进行数据比对，判断得到所述磁瓦图像中是否存在磁瓦表面缺陷，并得到所述磁瓦表面缺陷概率判断结果。
本发明基于计算机视觉识别技术获取磁瓦图像，然后基于先进的卷积神经网络算法对磁瓦图像是否存在磁瓦表面缺陷进行自动识别判断，整个判断过程无需人工参与，系统检测速度快、效率高，并且具备较高地检测准确率，能够有效剔除不良品，保证磁瓦的产品质量，提升企业的市场竞争力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的磁瓦表面缺陷检测系统的结构示意图；
图2为本发明提供的磁瓦表面缺陷检测系统中的磁瓦表面缺陷预测模块的具体结构示意图；
图3为本发明提供的磁瓦表面缺陷检测系统中的缺陷概率判断模块的具体结构示意图；
图4为应用本发明提供的磁瓦表面缺陷检测系统实现对磁瓦表面缺陷检测的方法步骤图；
图5为本发明提供的磁瓦表面缺陷检测方法中的对磁瓦表面缺陷进行预测的具体方法步骤图；
图6为本发明提供的磁瓦表面缺陷检测方法中的对磁瓦表面进行缺陷概率判断的具体方法步骤图；
图7为本发明提供的磁瓦表面缺陷检测系统对磁瓦表面进行缺陷检测的原理框图；
图8为本发明提供的磁瓦表面缺陷检测系统预测磁瓦表面缺陷所采用的第一卷积神经网络的结构图；
图9为本发明提供的磁瓦表面缺陷检测系统对磁瓦表面是否存在缺陷进行缺陷概率判断所采用的第二卷积神经网络的结构图；
图10为本发明提供的磁瓦表面缺陷检测系统输出磁瓦表面缺陷概率判断结果的示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参照图1和图7，本发明实施例提供的一种基于视觉识别技术的磁瓦表面缺陷检测系统，用于对磁瓦表面是否存在缺陷进行检测，该检测系统包括：
磁瓦图像采集模块1，用于采集磁瓦图像并输出；
磁瓦表面缺陷预测模块2，连接磁瓦图像采集模块1，用于于磁瓦图像中提取出磁瓦特征图，并对各磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到一缺陷预测结果；
缺陷概率判断模块3，连接磁瓦表面缺陷预测模块2，用于根据磁瓦特征图和缺陷预测结果，计算得到磁瓦图像中存在所述磁瓦表面缺陷的概率，得到一磁瓦表面缺陷概率判断结果并存储。
请参照图2，磁瓦表面缺陷预测模块2具体包括：
磁瓦特征图提取单元21，用于基于深度学习的第一卷积神经网络对磁瓦图像进行磁瓦特征图的提取；
缺陷预测结果输出单元22，连接磁瓦特征图提取单元21，用于根据各磁瓦特征图，并基于第一卷积神经网络对各磁瓦特征图中是否存在磁瓦表面缺陷进行预测，得到缺陷预测结果。
请参照图3，缺陷概率判断模块3具体包括：
第一特征融合单元31，用于基于深度学习的一第二卷积神经网络将各磁瓦特征图和缺陷预测结果进行特征融合，得到一第一融合特征图；
融合特征提取单元32，连接第一特征融合单元31，用于基于第二卷积神经网络对第一融合特征图进行进一步的特征提取，得到一第一融合特征提取结果；
池化单元33，连接融合特征提取单元32，用于基于第二卷积神经网络对第一融合特征提取结果进行全局池化，得到一第一全局池化结果；并用于基于第二卷积神经网络对缺陷预测结果进行进一步的全局池化，得到一第二全局池化结果；
第二特征融合单元34，连接池化单元33，用于基于第二卷积神经网络对第一全局池化结果和第二全局池化结果进行特征融合，得到一第二融合特征图；
缺陷概率计算单元35，连接第二特征融合单元34，用于根据第二融合特征图计算得到磁瓦图像的缺陷概率；
缺陷判断单元36，连接缺陷概率计算单元35，用于将计算得到的缺陷概率与预设的一阈值进行数据比对，判断磁瓦图像中是否存在磁瓦表面缺陷，并得到磁瓦表面缺陷概率判断结果并保存。
上述技术方案中，磁瓦表面缺陷检测系统对磁瓦表面进行缺陷检测的具体工作原理详述如下，请具体参照图7、图8、图9和图10，磁瓦表面缺陷检测系统直接使用摄像头采集磁瓦图片作为磁瓦表面缺陷预测网络(第一卷积神经网络)的输入，然后通过第一卷积神经网络对磁瓦图片进行卷积过滤和池化操作得到关联于磁瓦图片的至少一张磁瓦特征图，最后通过一卷积过滤器数缺陷预测结果，通过该缺陷预测结果可以得到疑似磁瓦表面缺陷的大致位置。
这里需要说明的是，磁瓦表面缺陷预测网络设计遵循两个原则，一是增大感受野，二是获取更多地磁瓦表面缺陷细节特征，以提高对磁瓦表面缺陷的识别准确率。因此，请参照图8，磁瓦表面缺陷预测网络也就是上述的第一卷积神经网络前三层优选采用5*5的卷积核、第四层采用15*15的卷积核以增大感受野，网络的通道数随网络深度增加而增加以得到更加丰富的图像特征信息。
系统计算得到缺陷预测结果后也就是定位到磁瓦图像中的疑似磁瓦表面缺陷的位置后，系统开始对识别的疑似磁瓦表面缺陷是否为真实的磁瓦表面缺陷进行概率判断。
请参照图9，系统将上一阶段提取出的磁瓦特征图和缺陷预测结果作为缺陷概率判断网络(第二卷积神经网络)的输入，首先将两个输入也就是磁瓦特征图和缺陷预测结果进行融合，得到表征能力更强的特征(也就是上述的第一融合特征图)；然后通过第二卷积神经网络对第一融合特征图进行进一步的卷积和池化操作，进一步提取到图像特征(也就是进一步得到上述的第一融合特征提取结果)；接着系统对第一融合特征提取结果进行进一步的全局池化，并对上述的缺陷预测结果同样进行进一步的全局池化，得到四个特征图(也就是上述的第一全局池化结果和第二全局池化结果的特征图总和)，然后系统再对四个特征图进行特征融合，得到可以表征磁瓦图像全局信息及缺陷局部信息的融合特征，然后系统将融合特征经过全连接层计算得出分数，此分数即为输入的磁瓦图像中含有表面缺陷的概率(该概率取值范围在数值0-1之间)。最后，将此概率与预设的一概率阈值进行比较，若概率大于或等于阈值，则确认磁瓦图像表面存在缺陷，否则不存在缺陷。
上述的阈值优选为0.5。
上述技术方案中，需要说明的是，第一卷积神经网络和第二卷积神经网络均为现有技术中存在的基于深度学习的神经网络，比如可以是现有技术中存在的CNN卷积神经网络。由于卷积神经网络对图像的卷积和池化过程并非被发明要求权利保护的范围，所以其通过卷积和池化过程提取图像特征的具体过程在此不作阐述。
同样的，上述的第二卷积神经网络通过全连接层计算得到融合特征的分数也是现有技术，所以其对融合特征的评分过程在此不作阐述。
本发明还提供了一种基于视觉识别技术的磁瓦表面缺陷检测方法，通过应用上述的磁瓦表面缺陷检测系统实现，请参照图4，包括如下步骤：
步骤S1，磁瓦表面缺陷检测系统采集磁瓦图像；
步骤S2，磁瓦表面缺陷检测系统提取磁瓦图像的磁瓦特征图，并对各磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到缺陷预测结果；
步骤S3，磁瓦表面缺陷检测系统根据磁瓦特征图和缺陷预测结果，计算得到磁瓦图像中存在磁瓦表面缺陷的概率，得到磁瓦表面缺陷概率判断结果并存储。
请参照图5，步骤S2中，磁瓦表面缺陷检测系统对磁瓦图像进行磁瓦表面缺陷预测的具体步骤如下：
步骤S21，磁瓦表面缺陷检测系统基于第一卷积神经网络对磁瓦图像进行磁瓦特征图的提取；
步骤S22，磁瓦表面缺陷检测系统根据各磁瓦特征图，并基于第一卷积神经网络对各磁瓦特征图中是否存在磁瓦表面缺陷进行预测，得到缺陷预测结果。
请参照图6，步骤S3中，磁瓦表面缺陷检测系统形成磁瓦表面缺陷概率判断结果的方法步骤具体如下：
步骤S31，磁瓦表面缺陷检测系统基于第二卷积神经网络对各磁瓦特征图和缺陷预测结果进行特征融合，得到一第一融合特征图；
步骤S32，磁瓦表面缺陷检测系统基于第二卷积神经网络对第一融合特征图进行进一步的特征提取，得到一第一融合特征提取结果；
步骤S33，磁瓦表面缺陷检测系统基于第二卷积神经网络对第一融合特征提取结果进行全局池化，得到一第一全局池化结果；
磁瓦表面缺陷检测系统同时基于第二卷积神经网络对缺陷预测结果进行进一步的全局池化，得到一第二全局池化结果；
步骤S34，磁瓦表面缺陷检测系统基于第二卷积神经网络对第一全局池化结果和第二全局池化结果进行特征融合，得到一第二融合特征图；
步骤S35，磁瓦表面缺陷检测系统根据第二融合特征图计算得到磁瓦图像的缺陷概率；
步骤S36，磁瓦表面缺陷检测系统将计算到的缺陷概率与一预设的阈值进行数据比对，判断得到磁瓦图像中是否存在磁瓦表面缺陷，并得到磁瓦表面缺陷概率判断结果。
综上，本发明基于计算机视觉识别技术获取磁瓦图像，然后基于先进的卷积神经网络算法对磁瓦图像是否存在磁瓦表面缺陷进行自动识别判断，整个判断过程无需人工参与，系统检测速度快、效率高，并且具备较高地检测准确率，能够有效剔除不良品，保证磁瓦的产品质量，提升企业的市场竞争力。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (6)

1.一种基于视觉识别技术的磁瓦表面缺陷检测系统，用于对磁瓦表面是否存在缺陷进行检测，其特征在于，包括：
磁瓦图像采集模块，用于采集磁瓦图像并输出；
磁瓦表面缺陷预测模块，连接所述磁瓦图像采集模块，用于于所述磁瓦图像中提取出磁瓦特征图，并对各所述磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到一缺陷预测结果；
缺陷概率判断模块，连接所述磁瓦表面缺陷预测模块，用于根据各所述磁瓦特征图和所述缺陷预测结果，计算得到所述磁瓦图像中存在所述磁瓦表面缺陷的概率，得到一磁瓦表面缺陷概率判断结果并存储。
2.如权利要求1所述的磁瓦表面缺陷检测系统，其特征在于，所述磁瓦表面缺陷预测模块具体包括：
磁瓦特征图提取单元，用于基于一第一卷积神经网络对所述磁瓦图像进行所述磁瓦特征图的提取；
缺陷预测结果输出单元，连接所述磁瓦特征图提取单元，用于根据各所述磁瓦特征图，并基于所述第一卷积神经网络对各所述磁瓦特征图中是否存在所述磁瓦表面缺陷进行预测，得到所述缺陷预测结果。
3.如权利要求1所述的磁瓦表面缺陷检测系统，其特征在于，所述缺陷概率判断模块具体包括：
第一特征融合单元，用于基于一第二卷积神经网络将各所述磁瓦特征图和所述缺陷预测结果进行特征融合，得到一第一融合特征图；
融合特征提取单元，连接所述第一特征融合单元，用于基于所述第二卷积神经网络对所述第一融合特征图进行进一步的特征提取，得到一第一融合特征提取结果；
池化单元，连接所述融合特征提取单元，用于基于所述第二卷积神经网络对所述第一融合特征提取结果进行全局池化，得到一第一全局池化结果；并用于基于所述第二卷积神经网络对所述缺陷预测结果进行进一步的全局池化，得到一第二全局池化结果；
第二特征融合单元，连接所述池化单元，用于基于所述第二卷积神经网络对所述第一全局池化结果和所述第二全局池化结果进行特征融合，得到一第二融合特征图；
缺陷概率计算单元，连接所述第二特征融合单元，用于根据所述第二融合特征图计算得到所述磁瓦图像的缺陷概率；
缺陷判断单元，连接所述缺陷概率计算单元，用于将计算得到的所述缺陷概率与一预设的阈值进行数据比对，判断所述磁瓦图像中是否存在磁瓦表面缺陷，并得到所述磁瓦表面缺陷概率判断结果。
4.一种基于视觉识别技术的磁瓦表面缺陷检测方法，通过应用如权1-3任意一项所述的磁瓦表面缺陷检测系统实现，其特征在于，包括如下步骤：
步骤S1，所述磁瓦表面缺陷检测系统采集所述磁瓦图像；
步骤S2，所述磁瓦表面缺陷检测系统提取所述磁瓦图像的磁瓦特征图，并对各磁瓦特征图中的疑似磁瓦表面缺陷进行定位，并得到所述缺陷预测结果；
步骤S3，所述磁瓦表面缺陷检测系统根据所述磁瓦特征图和所述缺陷预测结果，计算得到磁瓦图像中存在磁瓦表面缺陷的概率，得到所述磁瓦表面缺陷概率判断结果并存储。
5.如权利要求4所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤S2中，所述磁瓦表面缺陷检测系统对所述磁瓦图像进行磁瓦表面缺陷预测的具体步骤如下：
步骤S21，所述磁瓦表面缺陷检测系统基于一第一卷积神经网络对所述磁瓦图像进行所述磁瓦特征图的提取；
步骤S22，所述磁瓦表面缺陷检测系统根据各所述磁瓦特征图，并基于所述第一卷积神经网络对各所述磁瓦特征图中是否存在磁瓦表面缺陷进行预测，得到所述缺陷预测结果。
6.如权利要求4所述的磁瓦表面缺陷检测方法，其特征在于，所述步骤S3中，所述磁瓦表面缺陷检测系统形成所述磁瓦表面缺陷概率判断结果的方法步骤具体如下：
步骤S31，所述磁瓦表面缺陷检测系统基于一第二卷积神经网络对各所述磁瓦特征图和所述缺陷预测结果进行特征融合，得到一第一融合特征图；
步骤S32，所述磁瓦表面缺陷检测系统基于所述第二卷积神经网络对所述第一融合特征图进行进一步的特征提取，得到一第一融合特征提取结果；
步骤S33，所述磁瓦表面缺陷检测系统基于所述第二卷积神经网络对所述第一融合特征提取结果进行全局池化，得到一第一全局池化结果；
所述磁瓦表面缺陷检测系统同时基于所述第二卷积神经网络对所述缺陷预测结果进行进一步的全局池化，得到一第二全局池化结果；
步骤S34，所述磁瓦表面缺陷检测系统基于所述第二卷积神经网络对所述第一全局池化结果和所述第二全局池化结果进行特征融合，得到一第二融合特征图；
步骤S35，所述磁瓦表面缺陷检测系统根据所述第二融合特征图计算得到所述磁瓦图像的缺陷概率；
步骤S36，所述磁瓦表面缺陷检测系统将计算到的所述缺陷概率与一预设的阈值进行数据比对，判断得到所述磁瓦图像中是否存在磁瓦表面缺陷，并得到所述磁瓦表面缺陷概率判断结果。
CN201911075938.9A 2019-11-06 2019-11-06 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法 Active CN110827263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911075938.9A CN110827263B (zh) 2019-11-06 2019-11-06 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911075938.9A CN110827263B (zh) 2019-11-06 2019-11-06 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法

Publications (2)

Publication Number Publication Date
CN110827263A true CN110827263A (zh) 2020-02-21
CN110827263B CN110827263B (zh) 2021-01-29

Family

ID=69552987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911075938.9A Active CN110827263B (zh) 2019-11-06 2019-11-06 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法

Country Status (1)

Country Link
CN (1) CN110827263B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132784A (zh) * 2020-08-22 2020-12-25 安徽大学 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法
CN112164048A (zh) * 2020-09-25 2021-01-01 华中科技大学 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN113177921A (zh) * 2021-04-30 2021-07-27 佛山市南海区广工大数控装备协同创新研究院 一种基于神经网络的磁瓦表面缺陷检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108305243A (zh) * 2017-12-08 2018-07-20 五邑大学 一种基于深度学习的磁瓦表面缺陷检测方法
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
WO2018150812A1 (en) * 2017-02-16 2018-08-23 Mitsubishi Electric Corporation Balancing active learning
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
US20190019311A1 (en) * 2017-07-14 2019-01-17 Microsoft Technology Licensing, Llc Fully convolutional color constancy with confidence weighted pooling
CN109613002A (zh) * 2018-11-21 2019-04-12 腾讯科技（深圳）有限公司 一种玻璃缺陷检测方法、装置和存储介质
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN110349146A (zh) * 2019-07-11 2019-10-18 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150812A1 (en) * 2017-02-16 2018-08-23 Mitsubishi Electric Corporation Balancing active learning
US20190019311A1 (en) * 2017-07-14 2019-01-17 Microsoft Technology Licensing, Llc Fully convolutional color constancy with confidence weighted pooling
CN107833220A (zh) * 2017-11-28 2018-03-23 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN108305243A (zh) * 2017-12-08 2018-07-20 五邑大学 一种基于深度学习的磁瓦表面缺陷检测方法
CN108345911A (zh) * 2018-04-16 2018-07-31 东北大学 基于卷积神经网络多级特征的钢板表面缺陷检测方法
CN108932713A (zh) * 2018-07-20 2018-12-04 成都指码科技有限公司 一种基于深度学习的焊缝气孔缺陷自动检测方法
CN109613002A (zh) * 2018-11-21 2019-04-12 腾讯科技（深圳）有限公司 一种玻璃缺陷检测方法、装置和存储介质
CN109829891A (zh) * 2019-01-02 2019-05-31 浙江大学 一种基于密集生成对抗神经网络的磁瓦表面缺陷检测方法
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN110349146A (zh) * 2019-07-11 2019-10-18 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘畅等: "基于神经网络的磁瓦表面缺陷检测识别", 《表面技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132784A (zh) * 2020-08-22 2020-12-25 安徽大学 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法
CN112164048A (zh) * 2020-09-25 2021-01-01 华中科技大学 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN112164048B (zh) * 2020-09-25 2023-03-10 华中科技大学 一种基于深度学习的磁瓦表面缺陷自动检测方法和装置
CN113177921A (zh) * 2021-04-30 2021-07-27 佛山市南海区广工大数控装备协同创新研究院 一种基于神经网络的磁瓦表面缺陷检测方法

Also Published As

Publication number Publication date
CN110827263B (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN110827263B (zh) 基于视觉识别技术的磁瓦表面缺陷检测系统及检测方法
CN108846835B (zh) 基于深度可分离卷积网络的图像变化检测方法
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN111758117B (zh) 检查系统、识别系统以及学习数据生成装置
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及系统
CN113240623B (zh) 一种路面病害检测方法及装置
CN115156093A (zh) 电池外壳缺陷检测方法、系统及装置
CN109145940B (zh) 图像识别方法和装置
CN115131283A (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN111210417B (zh) 基于卷积神经网络的布匹缺陷检测方法
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
WO2022222036A1 (zh) 车位确定方法及装置
CN114998251A (zh) 一种基于联邦学习的空中多视觉平台地面异常检测方法
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN115830302B (zh) 一种多尺度特征提取融合配电网设备定位识别方法
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN111105411A (zh) 一种磁瓦表面缺陷检测方法
CN110992361A (zh) 基于代价平衡的发动机紧固件检测系统及检测方法
CN111160115A (zh) 一种基于孪生双流3d卷积神经网络的视频行人再识别方法
CN110889418A (zh) 一种气体轮廓识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant