CN116309239A - 基于深度学习检测故障的视觉检测系统 - Google Patents

基于深度学习检测故障的视觉检测系统 Download PDF

Info

Publication number
CN116309239A
CN116309239A CN202210816827.4A CN202210816827A CN116309239A CN 116309239 A CN116309239 A CN 116309239A CN 202210816827 A CN202210816827 A CN 202210816827A CN 116309239 A CN116309239 A CN 116309239A
Authority
CN
China
Prior art keywords
image
artificial intelligence
information
intelligence model
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210816827.4A
Other languages
English (en)
Inventor
李庸柱
金孝昌
朴哲雨
朱贤哲
朴镜石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aihe Nuclear Technology Co ltd
Original Assignee
Aihe Nuclear Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aihe Nuclear Technology Co ltd filed Critical Aihe Nuclear Technology Co ltd
Publication of CN116309239A publication Critical patent/CN116309239A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

揭示视觉检测系统。本视觉检测系统包括：摄像头，其用于拍摄检测客体；存储器，其包括：提取与故障相关的语义(semantic)信息，检测故障的第一人工智能模型以及提取特征信息(feature information)，检测故障的第二人工智能模型；以及处理器。处理器将通过所述摄像头获取的图像输入到所述第一人工智能模型来获取第一输出信息，将图像输入到所述第二人工智能模型来获取第二输出信息，并基于所述第一输出信息和所述第二输出信息，检测出包含于所述图像的客体的故障。

Description

基于深度学习检测故障的视觉检测系统
技术领域
本揭示涉及一种视觉检测系统。更具体地，对于独立获取自多个人工智能模型的输出进行组合，检测出故障的视觉检测系统。
背景技术
检测故障的视觉检测技术中，为了达到故障检测自动化及判断精准性目标，开始利用了人工智能模型。
但，要保证人工智能模型的判断精准度，需要针对多种情况储备庞大的训练数据，为此，需要通过预处理过程分类出来源不同的图像数据。
另外，人工智能模型的不同具体网络构成乃至训练方法显现出来的优点和缺点都非常清晰可见，因此，在技术水平上，还没有达到对于人工智能模型的判断精确度完全可以信任的程度。
先行技术文献
专利文献
专利文献1：公开专利公报第10-2020-0046137号
发明内容
所要解决的课题
本揭示提供一种基于组合方法实施故障检测的视觉检测系统，该组合方法针对独立训练及运营的两个人工智能模型的输出进行组合。
本揭示提供一种应用输入及输出格式相同的不同人工智能模型，将训练减至最少，创建有效故障检测环境的视觉检测系统。
本揭示的目的不受所述目的的限定，对于尚未提及的本揭示的其他目的和优点，下述内容会有助于理解，而本揭示的实施例则有助于更明确地理解。并且，应当可以轻易理解，本揭示的目的和优点可以通过权利要求书记载的手段及其组合得到实施。
课题解决方案
根据本揭示一实施例，视觉检测系统包括：摄像头，其用于拍摄检测客体；存储器，其包括：提取与故障相关的语义(semantic)信息，检测故障的第一人工智能模型以及提取特征信息(feature information)，检测故障的第二人工智能模型；处理器，其与所述摄像头及所述存储器连接。所述处理器将通过所述摄像头获取的图像输入到所述第一人工智能模型来获取第一输出信息，将所述图像输入到所述第二人工智能模型来获取第二输出信息，并基于所述第一输出信息和所述第二输出信息，检测出包含于所述图像的客体的故障。
所述第一人工智能模型可以是基于第一图像和第二图像经过训练的模型，该第一图像包含相当于正常的客体，第二图像包含相当于故障的客体。另外，所述第二人工智能模型可以从所述第一图像提取正常客体的特征信息。
所述第一输出信息包含第一掩膜，该第一掩膜显示出包含于所述图像的客体的故障区，所述第二输出信息包含第二掩膜，该第二掩膜显示出包含于所述图像的客体的故障区。
此时，所述第一人工智能模型可以获取与包含于所述图像的客体的故障相关的语义(semantic)信息，并依据所述被获取的语义(semantic)信息，输出所述第一掩膜。并且，所述第二人工智能模型可以提取包含于所述图像的客体的特征信息，基于所述被提取的特征信息辨别包含于所述图像的客体的分类，将匹配于所述分类的正常客体的特征信息与所述被提取的特征信息进行对比来获取故障信息，并依据所述被获取的故障信息，输出所述第二掩膜。
另外，所述处理器针对所述第一输出信息应用第一加权值来获取第一值，针对所述第二输出信息应用第二加权值来获取第二值，并基于所述第一值和所述第二值，辨别出包含于所述图像的客体的故障区。
此时，所述处理器可以基于所述图像的拍摄环境信息，分别设定所述第一加权值和所述第二加权值。
输入有尺寸与所述第一人工智能模型和所述第二人工智能模型各自的输入不匹配的图像时，所述处理器可以将所述被输入的图像输入到用于识别客体的至少一个人工智能模型而辨别客体，提取所述被输入的图像内包含所述被辨别的客体的区域，将所述被提取的区域分别输入到所述第一人工智能模型和所述第二人工智能模型。
根据本揭示一实施例的视觉检测系统包括：存储器，其包括：提取与故障相关的语义(semantic)信息，检测故障的第一人工智能模型以及提取特征信息(featureinformation)，检测故障的第二人工智能模型；处理器，其与所述存储器连接。所述处理器将包含客体的图像输入到所述第一人工智能模型来获取第一输出信息，将所述图像输入到所述第二人工智能模型来获取第二输出信息，并基于所述第一输出信息和所述第二输出信息检测出包含于所述图像的客体的故障。
此时，图像可以是已经存储在存储器120中的或者是从至少一个外置电子装置接收的。
发明效果
根据本揭示的视觉检测系统具有以下技术效果：可以应用两个不同人工智能模型的输出，针对多类客体精准地检测出故障。
根据本揭示的视觉检测系统具有以下优点：可以对于两个人工智能模型的训练/构建应用通用的训练数据(图像)，仅仅一个人工智能模型实施更新节点之间加权值的训练就足够，因此，构筑精准的故障检测环境时需要承担的负重较少。
附图说明
图1是根据本揭示一实施例的视觉检测系统的构成的框图。
图2是根据本揭示一实施例的视觉检测系统的工作流程图。
图3示出了根据本揭示一实施例的视觉检测系统将图像分别输入到不同的两个人工智能模型时动作。
图4是根据本揭示一实施例的视觉检测系统的第一人工智能模型受训过程的流程图。
图5是根据本揭示一实施例的视觉检测系统的第二人工智能模型构筑过程的流程图。
图6是根据本揭示一实施例的视觉检测系统应用第二人工智能模型检测故障的流程图。
图7是根据本揭示多个实施例的视觉检测系统的具体构成的框图。
图8示出了根据本揭示一实施例，视觉检测系统内包括FPGA的摄像头的构成。
附图标记：
100：视觉检测系统 110：摄像头
120：存储器 130：处理器
具体实施方式
具体描述本揭示之前，先描述本说明书和附图的记载方法。
首先，为本说明书和权利要求书选用术语时，考虑到其在本揭示的多个实施例中具有的功能，选择了普通术语。但，该等术语根据本领域技术人员的意志或者法律或技术解释以及新技术的出现等，或有改变。并且，部分术语还是申请人任意选择确定的术语。关于这种术语，可以解释为本说明书中定义的涵义，术语没有具体定义时，可以依据本说明书的整篇内容以及本技术领域的通常技术常识进行解释。
并且，本说明书的附图中示出的相同的参考编号或符号表示实际上起到相同功能的部件或构件。为了便于描述和理解，不同实施例也使用相同的参考编号或符号进行描述。即，即使多个附图均示出了具有相同参考编号的构件，但，并不意味着多个附图意味着一个实施例。
并且，本说明书和权利要求书可以使用包含序数的术语，如“第一”、“第二”等，以便于区别各个构件。这种序数用于区别相同或类似的构件，不应当解释为，这种序数用于限定术语的涵义。一例中，与这种序数结合的构件不应当被其数字限定使用顺序或配置顺序等。根据需要，各个序数可以交替使用。
本说明书中，除非上下文另行定义，否则单数的表达包含复数的表达。应当理解，本申请中，“包括”、“构成”等术语表示存在说明书记载的特征、数字、步骤、动作、构件、部件或其组合，并不预先排除一个或其以上其他特征或者数字、步骤、动作、构件、部件或其组合的存在或添加可能性。
本揭示的实施例中，“模块”、“单元”、“部(part)部等术语指示实施至少一个功能或动作的构件，这种构件可以通过硬件或软件实现，或者通过硬件和软件的结合实现。并且，除非需要分别以个别的特定硬件实现，否则多个“模块”、“单元”、“部(part)部等可以一体成形为至少一个模块或芯片，从而通过至少一个处理器实现。
并且，本揭示的实施例中，某部分与其他部分连接时，不仅包括直接连接，还包括通过其他介质实现的间接连接。并且，除非另有特别相反的描述，否则某部分包含某构件并不是把其他构件排除在外，而是意味着可以进一步包括另外构件。
图1是根据本揭示一实施例的视觉检测系统的构成的框图。
如图1所示，视觉检测系统100可以包括摄像头110、存储器120、处理器130等。
视觉检测系统100可以相当于多种部件/产品等的故障检测系统/装置。视觉检测系统100内所述构成可以都包括在一个装置内，也可以具备在相互可以实施有线及无线通信的多个装置/模块内。
摄像头110是拍摄检测对象，生成至少一个图像的构成。摄像头110可以通过RGB摄像头、TOF(Time of Flight)摄像头等实现，但，不受此限定。
摄像头110可以包括：至少一个光传感器；为拍摄特定地点或特定范围调节光路径的镜片等。
摄像头110可以拍摄被固定或移动的检测对象。此时，检测对象可以配置为沿着经过摄像头110拍摄范围的路径移动。并且，摄像头110可以装配在至少一个移动手段(ex.轮、辊等)进行移动并实施拍摄。具体地，针对检测对象，可以利用区域扫描、线性扫描等，但，不受此限定。
存储器120是操作系统(OS：Operating System)，用于控制包括在视觉检测系统100的至少一个电子装置的整体动作，其也是构成，用于存储与电子装置的构件相关的至少一个指令或数据。
存储器120可以包括ROM、快闪存储器等非易失性存储器，也可以包括由DRAM等组成的易失性存储器。并且，存储器120还可以包括硬盘、SSD(Solid state drive)等。
如图1所示，存储器120可以分别包括独立实施故障检测的第一人工智能模型121及第二人工智能模型122。
本人工智能模型可以分别相当于基于神经网络(Neural Network)的网络模型(神经网络模型)。网络模型可以包括具备加权值的多个网络节点。多个网络节点可以基于不同层的节点间加权值形成连接关系。
一实施例中，第一人工智能模型121可以相当于语义切分(SemanticSegmentation)模型，该模型用于提取与客体的故障相关的语义(semantic)信息。
语义(Semantic)信息可以包括客体的分类(ex.部件类型、产品类型等)、故障与否、故障程度、故障区等信息。
将图像输入到第一人工智能模型121时，第一人工智能模型121识别图像内客体，判断客体是否发生故障，并输出掩膜，该掩膜用于显示图像内客体的故障区。
一实施例中，第二人工智能模型122可以相当于异常检测(Anomaly Detection)模型，该模型通过与正常客体之间的对比，检测出异常值。
第二人工智能模型122可以通过至少一个层提取图像的特征信息(featureinformation)。其中，第二人工智能模型122可以应用特征信息来识别客体的分类。
并且，第二人工智能模型122可以将正常客体(:无故障客体)的特征信息与所述特征信息进行对比，判断故障与否、故障区等，该正常客体与被识别的分类匹配。可以根据其结果输出掩膜，该掩膜用于显示图像内客体的故障区。
处理器130是全面控制视觉检测系统100的构成。具体地，处理器130与存储器110连接，执行存储在存储器110的至少一个指令，从而实施根据本揭示多个实施例的动作。
处理器130可以由一个以上处理器组成。此时，一个以上处理器可以包括：CPU、AP、DSP(Digital Signal Processor)等通用处理器以及GPU、VPU(Vision Processing Unit)等图形专用处理器或者NPU等人工智能专用处理器等。
处理器130可以分别驱动存储在存储器110的所述人工智能模型121、122，还可以实施各模型的训练。
图2是根据本揭示一实施例的视觉检测系统的工作流程图。
如图2所示，处理器130可以将通过摄像头110获取的图像输入到第一人工智能模型121，获取第一输出信息(S210)。此时，第一人工智能模型121可以是所述语义切分(Semantic Segmentation)模型。
其中，第一输出信息可以相当于：显示图像内客体的故障区的掩膜。
并且，处理器130也可以将通过摄像头110获取的图像输入到第二人工智能模型122，获取第二输出信息(S220)。此时，第二人工智能模型122可以是所述异常检测(AnomalyDetection)模型。
其中，第二输出信息也可以相当于：显示图像内客体的故障区的掩膜。
并且，处理器130可以基于第一输出信息及第二输出信息，检测出包括于图像的客体的故障(S230)。
例如，处理器130可以对于第一输出信息应用第一加权值来获取第一值，对于第二输出信息应用第二加权值来获取第二值。并且，处理器130可以基于第一值及第二值，识别出包括于图像的客体的故障区。具体地，可以只加第一值和第二值，但，不受此限定。
其中，对于与第一输出信息匹配的第一掩膜的像素分别应用第一加权值，对于与第二输出信息匹配的第二掩膜的像素分别应用第二加权值，其结果，可以获取用于显示客体故障区的(最终)掩膜。此时，可以将最终掩膜内像素值为一定值以上的区域识别为故障区。
对此，图3示出了根据本揭示一实施例的视觉检测系统将图像分别输入到不同的两个人工智能模型时动作。
如图3所示，处理器130可以将拍摄到检测目标客体的图像310输入到各个人工智能模型121、122。
此时，第一人工智能模型121和第二人工智能模型122可以分别输出用于显示故障区的掩膜320、330。
并且，处理器130可以为掩膜320、330分别给予加权值(第一加权值、第二加权值)相加，获取最终掩膜340。
具体的例中，第一加权值和第二加权值相同时，可以获取第一输出信息(掩膜320)和第二输出信息(掩膜330)的平均值。
此时，处理器130可以分别计算出各人工智能模型121、122输出的掩膜320、330的像素位置的平均来获取掩膜340。掩膜340内，具有特定值以上的R/G/B值的区域被识别为故障区。
另外，,按照各模型121、122输出的掩膜320、330的像素位置，可以设定不同的第一加权值和第二加权值。
即，对于掩膜340的部分区域，针对掩膜320应用的第一加权值大于针对掩膜330应用的第二加权值，对于掩膜340的其他区域，针对掩膜330应用的第二加权值大于针对掩膜320应用的第一加权值。
并且，一实施例中，处理器130可以基于图像的拍摄环境信息，分别设定第一加权值和第二加权值。
关于环境的信息可以包括拍摄场地的亮度、湿度、空气污染度、摄像头与客体之间的间距等信息，但，不受此限定。
此时，存储器120可以按照像素位置，分别存储不同环境的各人工智能模型121、122的精准度相关信息。
例如，特定的像素位置中，关于阈值以上的亮度下拍摄的图像，第一人工智能模型121输出的掩膜的精准度或高于第二人工智能模型122输出的掩膜，与此相反，关于未达阈值的亮度下拍摄的图像，第二人工智能模型122输出的掩膜的精准度或高于第一人工智能模型121输出的掩膜的精准度。
对此，处理器130可以通过照度传感器识别摄像头110的周边亮度，可以通过摄像头110进行拍摄获取图像。
其中，对于掩膜内至少一个像素位置，根据处理器130的判断，周边亮度为阈值以上时，第一加权值的设定可以高于第二加权值高，周边亮度未达到阈值时，第二加权值的设定可以高于第一加权值。
并且，存储器120可以存储经过训练的人工智能模型，以便于按照掩膜内不同像素来判断所述第一加权值和第二加权值。
本人工智能模型可以是神经网络模型，例如，可以是输入多种环境相关信息(ex.亮度、湿度、空气污染度、摄像头的距离等)，输出所述第一加权值和第二加权值的人工智能模型(加权值判断模型)。
具体地，处理器130可以应用：通过摄像头110拍摄的图像、与图像拍摄环境相关的信息、经过图像的输入，依据各模型121、122所输出掩膜(不同像素位置)的多种加权值组合(第一加权值、第二加权值)导出的最终掩膜的精准度(:与图像内实际故障区进行对比)等，对于所述人工智能模型(加权值判断模型)进行训练。其中，加权值判断模型由节点间加权值构成，对其可以进行更新，以提高最终掩膜不同像素位置的精准度。
然后，处理器130按照将摄像头110的拍摄环境相关信息输入到加权值判断模型的结果，灵活地设定第一加权值和第二加权值。并且，处理器130将第一加权值和第二加权值反映到：依据摄像头110拍摄的图像输入至各模型121、122的结果获取的掩膜上，获取最终掩膜(故障检测结果)。
另外，图4是根据本揭示一实施例的视觉检测系统的第一人工智能模型受训过程的流程图。
第一人工智能模型121的训练可以由处理器130实施，或者由至少一个外置电子装置实施。图4假设示出了第一人工智能模型121通过处理器130实施训练的情况。
如图4所示，处理器130可以分别获取一个以上正常客体的拍摄图像以及故障客体的拍摄图像(S410)。各图像可以是各类(:客体的分类)客体图像，可以是通过摄像头110拍摄到的图像，也可以是从外置电子装置接收的图像。
此时，各个图像可以匹配登记与故障区相关的标签，例如，标签可以包括正常/故障与否、故障区、故障程度等信息，但，不受此限定。
处理器130可以对获取的图像进行预处理(S420)。
一实施例中，处理器130可以缩小/放大各个图像，以便于符合于第一人工智能模型121的输入尺寸。
或者，输入了尺寸不匹配第一人工智能模型121输入的图像时，处理器130可以将该图像输入到用于识别客体的至少一个人工智能模型中，并按照输入尺寸，只提取包括客体的区域。
并且，为了获得训练数据，处理器130可以分别应用正常客体的图像和故障客体的图像，进一步生成一个以上图像。
例如，，处理器130可以针对获取的图像进行亮度、对比度等的变更，或者对于图像进行旋转、扭转、剪切等操作，生成新的图像。
另一例中，处理器130可以应用生成图像的至少一个生成式对抗网络(GAN,Generative Adversarial Networks)。
具体地，GAN可以通过至少一个正常客体的图像以及至少一个故障客体的图像进行训练后，应用正常客体的图像来生成故障客体的图像，或者，应用故障客体的图像来生成正常客体的图像。此时，GAN可以按照待检测客体的分类进行训练。
并且，GAN可以通过显示至少一个正常客体的图像以及故障客体故障区的掩膜图像进行训练。
如此实施预处理过程时，处理器130可以将经过训练的图像输入到第一人工智能模型121(S430)，将第一人工智能模型121的输出与所述标签进行对比(S440)。并且，处理器130可以按照对比结果，更新第一人工智能模型121内节点间加权值(S450)。
另外，图5是根据本揭示一实施例的视觉检测系统的第二人工智能模型构筑过程的流程图。
第二人工智能模型122的构筑可以由处理器130还是，或者，由至少一个外置电子装置实施。图5假设示出了通过处理器130构筑第二人工智能模型122的情况。
如图5所示，处理器130可以获取一个以上正常客体拍摄图像(S510)。各个图像可以是与各类(:客体的分类)相对应的客体的图像，可以是通过摄像头110拍摄到的图像，也可以是从外置电子装置接收的图像。
第二人工智能模型122作为异常检测(Anomaly Detection)，可以从正常客体的图像提取到特征信息之后，应用在故障客体的检测中。
如图5所示，处理器130可以对于获取的正常客体图像进行预处理(S520)。与所述S420相同，可以针对正常客体的图像，实施根据多种实施例的预处理过程。
并且，处理器130可以将(正常客体)的图像输入到第二人工智能模型122(S530)。
此时，特征信息可以多层输出，可以随机筛选部分层的特征信息(S540)。
并且，处理器130可以按类(:客体的分类)提取以层为单位的特征信息的平均及协方差并存储(S550)。
然后，故障客体的图像输入到第二人工智能模型122时，第二人工智能模型122可以应用针对正常客体存储的平均/协方差等检测出故障。
对此，图6示出了根据本揭示一实施例的视觉检测系统应用第二人工智能模型检测故障的流程图。
如图6所示，处理器130可以获取待检测客体的拍摄图像(S610)。此时，处理器130可以通过摄像头110拍摄图像或者从外置电子装置接收图像。
并且，处理器130可以将图像输入到第二人工智能模型122(S620)。当然，图像输入到第二人工智能模型122的期间，第一人工智能模型121也可以输入图像。
此时，处理器130可以通过第二人工智能模型122的层获取多个以层为单位的特征信息。
其中，处理器130可以应用特征信息，对于图像内客体进行分类(S640)。
并且，处理器130可以在输出特征信息的层中筛选出部分层，提取特征信息(S630)。一例中，可以通过编码(Encoder)形态提取一定数量的层的特征信息(ex.FeatureMap)，但，不受此限定。
此时，处理器130可以将与分类出的类型相对应的正常客体的特征信息的平均和协方差与被提取的特征信息进行对比(S650)。例如，可以根据马氏距离(Mahalanobis)计算偏差，但，除此之外，还可以应用对比pooled feature map的KNNUlike提取outlier的PatchCore方法，Semi-orthogonal方法等。
并且，处理器130可以根据对比结果获取故障信息(ex.故障与否、故障程度、故障区等)，实施故障检测(S660)。具体地，可以对于对比结果显示与正常客体之间存在较大差异的区域，输出区别设定像素值的掩膜(ex.330)。
图7是根据本揭示多个实施例的视觉检测系统的具体构成的框图。
如图7所示，视觉检测系统中，100除了包括摄像头110、存储器120、处理器130之外，还包括用户输入部140、通信部150、输出部160等。
用户输入部140是可以使用户输入多种指令乃至信息的构成。
例如，用户输入部140可以由包括在视觉检测系统100的装置的接触式传感器、按键、摄像头、扩音器、键盘等组成，但，不受此限定。
一实施例中，视觉检测系统100可以根据通过用户输入部140接收的用户输入控制摄像头110的拍摄，或者/以及，实施故障检测(ex.驱动第一人工智能模型及第二人工智能模型)。
通信部150是视觉检测系统100与多种外置装置收发数据的构成，可以包括至少一个通信线路。
通信部150可以利用TCP/IP(Transmission Control Protocol/InternetProtocol)、UDP(User Datagram Protocol)、HTTP(Hyper Text Transfer Protocol)、HTTPS(SecureHyper Text Transfer Protocol)、FTP(File Transfer Protocol)、SFTP(Secure File Transfer Protocol)、MQTT(Message Queuing Telemetry Transport)等通信规定(协议)，与一个以上外置电子装置收发多种信息。
为此，通信部150可以基于通过有线通信及/或无线通信构筑的网络，与外置装置连接。此时，通信部150可以与外置装置直接连接，也可以通过提供网络的一个以上外置服务器(ex.ISP(Internet Service Provider))，与外置电子装置连接。
根据区域或规模，网络可以是个域网(PAN；Personal Area Network)、局域网(LAN；Local Area Network)、广域网(WAN；Wide Area Network)等，根据网络的开放性，可以是内联网(Intranet)、外联网(Extranet)或互联网(Internet)等。
无线通信可以包括：LTE(long-term evolution)、LTE-A(LTE Advance)、5G(5thGeneration)移动通信、CDMA(code division multiple access)、WCDMA(wideband CDMA)、UMTS(universal mobile telecommunications system)、WiBro(Wireless Broadband)、GSM(Global System for Mobile Communications)、DMA(Time Division MultipleAccess)、WiFi(Wi-Fi)、WiFi Direct、Bluetooth、NFC(near field communication)、Zigbee等通信方式中至少一个。
有线通信可以包括：以太网(Ethernet)、光网(optical network)、USB(UniversalSerial Bus)、雷电接口(ThunderBolt)等通信方式中至少一个。
其中，通信部130可以包括基于所述有线及无线通信方式的网络界面(NetworkInterface)或网络芯片。另外，通信方式不受所述例子的限定，可以包括根据技术的发展，新推出的通信方式。
一实施例中，视觉检测系统100可以通过通信部150，从外置电子装置接收图像。其中，图像可以是正常客体或故障客体的拍摄图像。
如此具备通信部150时，视觉检测系统100可以实施不具备摄像头110的实施例。
输出部160是输出多种信息，以提供给用户的构成。输出部160可以通过扬声器、显示器、耳机/耳麦端子等实现，但，不受此限定。
一实施例中，从待检测客体检测出故障时，视觉检测系统100通过输出部160的显示器，显示出图像内故障区。其中，故障区可以根据最终掩膜进行选择，该最终掩膜是按加权值进行组合各模型121、122输出的掩膜而成。
并且，摄像头110可以只包括图像传感器，但，图像传感器可以包括至少一个处理模块。
对此，图8示出了根据本揭示一实施例，视觉检测系统内包括FPGA(fieldprogrammable gate arrays)的摄像头的构成。
通常的智能摄像机是64bit RISC Processor Module通过MIPI Interface或LVDSInterface直接连接CMOS图像传感器而成。即，根据使用的图像传感器的分辨率和品种，图像处理会不相同。此时，变更图像传感器时，处理检测算法的模块的程序也需要改变。用户需要另行购买分辨率符合各种检测类型的摄像头，在费用方面会造成压力。
与此相反，如图8所示，根据本揭示一实施例的摄像头110可以包括：从图像传感器接收图像并处理图像的独立模块(FPGA)，通过处理检测算法的处理器130，迅速传输图像数据(ex.USB 3.0)。
此时，处理器130仅依据符合预设分辨率的缓冲(Buffer)设置，也可以轻易地应用多种分辨率的图像。用户采用多种连接方法，将一个处理器130与所需分辨率的图像传感器连接起来，这不仅在费用方面会很实惠，也可以按照各个检测类型，轻易地快速实施检测。
特别是，由于噪音等，从CMOS图像传感器接收的数据立即用于检测时，会有些困扰，但，如图8所示，摄像头110的FPGA模块可以在实施图像信号处理(ISP,Image SignalProcessing)，完成噪音降低及缺陷(defect)补正之后，按照用户的需求设置图像尺寸，将补正过的图像数据传输至处理器130。
然后，处理器130可以应用预先学习的数据集，对于补正的图像实施故障检测(ex.图2)。其中，可以同时应用基于规则的检测和基于深度学习的检测。如此，由于所有的检测都可以不需要单独配备计算单元(另设服务器等)，在视觉检测系统100内实施，因此，可以大幅节省构成系统时消耗的费用。
并且，除非相互抵触，否则上述内容描述的多种实施例可以通过两个以上相互结合实现。
并且，以上内容描述的多种实施例可以利用软件(software)、软件(hardware)或其组合，在可以通过计算机(computer)或与其类似的装置读取的记录介质内实现。
通过软件实现时，本揭示描述的实施例可以利用以下构成中至少一个得到实现：ASICs(Application Specific Integrated Circuits)、DSPs(digital signalprocessors)、DSPDs(digital signal processing devices)、PLDs(programmablelogicdevices)、FPGAs(field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(microprocessors)、实施其他功能的电元件(unit)。
在部分情况下，本说明书描述的实施例可以通过处理器本身得到实现。通过软件实现时，本说明书中记载的程序及功能等实施例可以通过另外的软件模块得到实现。所述软件模块可以分别实施本说明书描述的一个以上功能和动作。
另外，如上所述，根据本揭示多种实施例的视觉检测系统100实施处理操作的计算机指令(computer instructions)或计算机程序可以存储在非暂时性计算机可读介质(non-transitory computer-readablemedium)里。存储在这种非暂时性计算机可读介质的计算机指令或计算机程序通过特定仪器的处理器得到实施时，可以由所述特定仪器实施根据所述多种实施例的视觉检测系统的处理操作。
非暂时性计算机可读介质是指不是像寄存器、高速缓冲存储器、存储器等一样短时间内存储数据的介质，而是半永久地存储数据，还可以通过仪器读取(reading)的介质。非暂时性计算机可读介质的具体例有：CD、DVD、硬盘、蓝光光盘、USB、存储卡、ROM等。
上述内容示出并描述了本揭示的优选实施例，但，本揭示不受所述特定实施例的限定，当然，在不脱离权利要求书所述本揭示要点的前提下，本揭示技术领域的通常技术人员可以实施多种变形，对于这些变形实施的理解不应当独立于本揭示的技术思想或目标。

Claims (8)

1.一种视觉检测系统，其特征在于：
包括：
摄像头，其用于拍摄检测客体；
存储器，其包括：提取与故障相关的语义(semantic)信息，检测故障的第一人工智能模型以及提取特征信息(feature information)，检测故障的第二人工智能模型；以及
处理器，其与所述摄像头及所述存储器连接，
所述处理器将通过所述摄像头获取的图像输入到所述第一人工智能模型来获取第一输出信息，将所述图像输入到所述第二人工智能模型来获取第二输出信息，并基于所述第一输出信息和所述第二输出信息，检测出包含于所述图像的客体的故障。
2.根据权利要求1所述的视觉检测系统，其特征在于：
所述第一人工智能模型是基于第一图像和第二图像经过训练的模型，该第一图像包含相当于正常的客体，第二图像包含相当于故障的客体，
所述第二人工智能模型从所述第一图像提取正常客体的特征信息。
3.根据权利要求1所述的视觉检测系统，其特征在于：所述第一输出信息包含第一掩膜，该第一掩膜显示出包含于所述图像的客体的故障区，所述第二输出信息包含第二掩膜，该第二掩膜显示出包含于所述图像的客体的故障区。
4.根据权利要求3所述的视觉检测系统，其特征在于：
所述第一人工智能模型可以获取与包含于所述图像的客体的故障相关的语义(semantic)信息，并依据所述被获取的语义(semantic)信息，输出所述第一掩膜，所述第二人工智能模型可以提取包含于所述图像的客体的特征信息，基于所述被提取的特征信息辨别包含于所述图像的客体的分类，将匹配于所述分类的正常客体的特征信息与所述被提取的特征信息进行对比来获取故障信息，并依据所述被获取的故障信息，输出所述第二掩膜。
5.根据权利要求1所述的视觉检测系统，其特征在于：所述处理器针对所述第一输出信息应用第一加权值来获取第一值，针对所述第二输出信息应用第二加权值来获取第二值，并基于所述第一值和所述第二值，辨别出包含于所述图像的客体的故障区。
6.根据权利要求5所述的视觉检测系统，其特征在于：所述处理器基于所述图像的拍摄环境信息，分别设定所述第一加权值和所述第二加权值。
7.根据权利要求1所述的视觉检测系统，其特征在于：输入有尺寸与所述第一人工智能模型和所述第二人工智能模型各自的输入不匹配的图像时，所述处理器可以将所述被输入的图像输入到用于识别客体的至少一个人工智能模型而辨别客体，提取所述被输入的图像内包含所述被辨别的客体的区域，将所述被提取的区域分别输入到所述第一人工智能模型和所述第二人工智能模型。
8.一种视觉检测系统，其特征在于：
包括：
存储器，其包括：提取与故障相关的语义(semantic)信息，检测故障的第一人工智能模型以及提取特征信息(feature information)，检测故障的第二人工智能模型；
处理器，其与所述存储器连接，
所述处理器将包含客体的图像输入到所述第一人工智能模型来获取第一输出信息，将所述图像输入到所述第二人工智能模型来获取第二输出信息，并基于所述第一输出信息和所述第二输出信息检测出包含于所述图像的客体的故障。
CN202210816827.4A 2021-12-20 2022-07-12 基于深度学习检测故障的视觉检测系统 Pending CN116309239A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210182483A KR102471441B1 (ko) 2021-12-20 2021-12-20 딥 러닝을 기반으로 고장을 검출하는 비전 검사 시스템
KR10-2021-0182483 2021-12-20

Publications (1)

Publication Number Publication Date
CN116309239A true CN116309239A (zh) 2023-06-23

Family

ID=84237033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210816827.4A Pending CN116309239A (zh) 2021-12-20 2022-07-12 基于深度学习检测故障的视觉检测系统

Country Status (2)

Country Link
KR (3) KR102471441B1 (zh)
CN (1) CN116309239A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102625543B1 (ko) * 2023-08-14 2024-01-16 주식회사 아이코어 인공지능 모델의 앙상블을 통해 객체의 결함을 식별하는전자 장치, 및 그 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107745697A (zh) * 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
CN111222574A (zh) * 2020-01-07 2020-06-02 西北工业大学 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN111666945A (zh) * 2020-05-11 2020-09-15 深圳力维智联技术有限公司 一种基于语义分割的店面违规识别方法及装置、存储介质
CN111860169A (zh) * 2020-06-18 2020-10-30 北京旷视科技有限公司 皮肤分析方法、装置、存储介质及电子设备
CN111860593A (zh) * 2020-06-15 2020-10-30 北京华电天仁电力控制技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法
US20210150192A1 (en) * 2019-11-19 2021-05-20 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201617444D0 (en) * 2016-10-14 2016-11-30 Fujitsu Ltd Processing digital image to remove unwanted portion
KR102175286B1 (ko) 2018-10-11 2020-11-06 라온피플 주식회사 결함 검출 장치 및 방법
KR102636470B1 (ko) * 2018-12-25 2024-02-13 제이에프이 스틸 가부시키가이샤 학습 완료 모델의 생성 방법, 학습 완료 모델, 표면 결함 검출 방법, 강재의 제조 방법, 합부 판정 방법, 등급 판정 방법, 표면 결함 판정 프로그램, 합부 판정 프로그램, 판정 시스템 및, 강재의 제조 설비
KR102206753B1 (ko) * 2019-01-24 2021-01-22 주식회사 수아랩 결함 검사 장치
US10957031B1 (en) * 2019-09-06 2021-03-23 Accenture Global Solutions Limited Intelligent defect detection from image data
KR102313626B1 (ko) * 2019-12-02 2021-10-15 주식회사 수아랩 신경망을 학습시키는 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107745697A (zh) * 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
US20210150192A1 (en) * 2019-11-19 2021-05-20 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN111222574A (zh) * 2020-01-07 2020-06-02 西北工业大学 基于多模型决策级融合的舰船与民船目标检测与分类方法
CN111666945A (zh) * 2020-05-11 2020-09-15 深圳力维智联技术有限公司 一种基于语义分割的店面违规识别方法及装置、存储介质
CN111860593A (zh) * 2020-06-15 2020-10-30 北京华电天仁电力控制技术有限公司 一种基于生成对抗网络的风机叶片故障检测方法
CN111860169A (zh) * 2020-06-18 2020-10-30 北京旷视科技有限公司 皮肤分析方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
KR102471441B1 (ko) 2022-11-28
KR20230094134A (ko) 2023-06-27
KR20230094133A (ko) 2023-06-27

Similar Documents

Publication Publication Date Title
CN111507958B (zh) 目标检测方法、检测模型的训练方法及电子设备
CN109145759B (zh) 车辆属性识别方法、装置、服务器及存储介质
JP7051267B2 (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
KR101708547B1 (ko) 사상(事象) 검출 장치 및 사상 검출 방법
US20220277225A1 (en) Method and device for detecting anomalies, corresponding computer program and non-transitory computer-readable medium
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
US20160171310A1 (en) Image recognition system, server apparatus, and image recognition method
EP4033399B1 (fr) Dispositif informatique et procédé pour l'estimation de la densité d'une foule
CN116309239A (zh) 基于深度学习检测故障的视觉检测系统
US10242277B1 (en) Validating digital content rendering
CN107077623A (zh) 图像质量补偿系统和方法
US11917335B2 (en) Image processing device, movable device, method, and program
CN110121055B (zh) 用于对象识别的方法和设备
JP6784254B2 (ja) 滞留物体検出システム、滞留物体検出方法およびプログラム
WO2022125353A1 (en) Reducing false negatives and finding new classes in object detectors
CN113642353A (zh) 一种人脸检测模型的训练方法、存储介质及终端设备
JP2019080177A (ja) 画像センサ、人物検知方法、プログラムおよび制御システム
US20230289961A1 (en) System and method to detect plant disease infection
JP7286747B2 (ja) 画像センサ、動体検知方法、プログラムおよび制御システム
EP3907694A1 (en) Method and system for joint optimization of isp and vision tasks, medium and electronic device
US20150279047A1 (en) Exemplar-based color classification
US20240135689A1 (en) Systems and methods for estimating robustness of a machine learning model
US20220414935A1 (en) Reinforcement-learning based system for camera parameter tuning to improve analytics
CN115063719A (zh) 目标检测模型的生成方法及装置、目标检测方法及装置
CN117915071A (zh) 监控画面的质量监测方法、修复方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination