CN109387521A - 图像处理系统 - Google Patents

图像处理系统 Download PDF

Info

Publication number
CN109387521A
CN109387521A CN201810153471.4A CN201810153471A CN109387521A CN 109387521 A CN109387521 A CN 109387521A CN 201810153471 A CN201810153471 A CN 201810153471A CN 109387521 A CN109387521 A CN 109387521A
Authority
CN
China
Prior art keywords
network
result
unit
low
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810153471.4A
Other languages
English (en)
Other versions
CN109387521B (zh
Inventor
黄载煜
藤枝紫朗
池田泰之
吉冈和志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN109387521A publication Critical patent/CN109387521A/zh
Application granted granted Critical
Publication of CN109387521B publication Critical patent/CN109387521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种即便在现场配置了低功能装置的情况下也能够提高判定准确度的图像处理系统。图像处理系统是使用低功能装置以及运算能力高于低功能装置的高功能装置对至少一个对象物进行判定。低功能装置包括：输出对于对象物的拍摄图像应用第一卷积神经网络而识别对象物的第一判定结果的单元；以及如果第一判定结果符合规定条件，那么将拍摄图像输出到高功能装置的单元。高功能装置包括，输出对拍摄图像应用第二卷积神经网络而识别对象物的第二判定结果的单元，该第二卷积神经网络利用至少一部分与第一卷积神经网络共通的样本进行过事先学习。

Description

图像处理系统
技术领域
本发明涉及一种图像处理系统，尤其涉及一种使用神经网络的图像处理系统。
背景技术
在工厂自动化(FA，Factory Automation)领域中，广泛地应用了使用图像测量处理的自动控制。例如，实现如下检查步骤：通过对工件等被检查对象进行拍摄并根据所拍摄到的图像算出缺陷等特征值，而检查该工件是否良好。
作为此种图像测量处理的一例，卷积神经网络(以下，也简称为“CNN”)受到关注。例如，如非专利文献1所示，CNN是具有卷积层与池化层(Pooling Layer)交替配置的多层化结构的网络。
[背景技术文献]
[非专利文献]
[非专利文献1]″ImageNet Classification with Deep Convolutional NeuralNetworks″，A.Krizhevsky，I.Sutskever，and G.E.Hinton，In Advances in NeuralInformation Processing Systems，2012
发明内容
[发明欲解决的课题]
如所述非专利文献1中公开的方法所示，在使用CNN执行图像分析等的情况下，通过使用多个学习图像进行学习而构筑CNN，并将该构筑成的CNN用于图像分析。
另一方面，使用了CNN的图像处理装置在测量对象为所学习的对象物以外的情况下，CNN网络模型的参数未被最佳化。在此情况下，该图像处理装置必须具备运算性能以供学习，而低功能装置无法执行。另外，如果要在该图像处理装置中构筑运算量较大的网络模型，那么就低功能装置来看运算性能不足。在此情况下，该图像处理装置无法在固定时间内完成判定，而无法实时地检查对象物。
本发明的目的在于提供一种即便在现场配置了低功能装置的情况下也能够提高判定准确度的图像处理系统。
[解决课题的手段]
本发明的一实施方式是一种图像处理系统，使用一个或多个第一装置以及运算能力高于第一装置的第二装置对至少一个对象物进行判定，第一装置包括：输出对于对象物的拍摄图像应用第一神经网络而识别对象物的第一判定结果的单元；以及如果第一判定结果符合规定条件，那么将拍摄图像输出到第二装置的单元；第二装置包括，输出对拍摄图像应用第二神经网络而识别对象物的第二判定结果的单元，该第二神经网络利用至少一部分与第一神经网络共通的样本进行过事先学习，第一神经网络及第二神经网络具有如下网络结构，存在中间层且具有至少一部分共通的部分。
本发明的另一实施方式是一种图像处理系统，使用一个或多个第一装置以及运算能力高于第一装置的第二装置对至少一个对象物进行判定，第一装置包括：输出对于对象物的拍摄图像应用第一神经网络而识别对象物的第一判定结果的单元；以及如果第一判定结果符合规定条件，那么将第一神经网络的中间阶段的数据信号输出到第二装置的单元；第二装置包括，输出使用至少一部分与第一神经网络共通的第二神经网络而识别对象物的第二判定结果的单元，第一神经网络及第二神经网络具有如下网络结构，存在中间层且具有至少一部分共通的部分，输出第二判定结果的单元从与第一神经网络的中间阶段对应的第二神经网络的层开始应用数据信号。
优选为，第一装置接收第二判定结果，实时地对于对象物进行判定。
优选为，第一装置包括，将第一判定结果低于规定准确度的拍摄图像输出到第二装置的单元，第二装置包括，基于低于规定准确度的拍摄图像对第二神经网络进行再学习的单元。
优选为，进行再学习的单元是在离线时对第二神经网络进行再学习。
优选为，第二装置包括：基于再学习后的第二神经网络中与第一神经网络共通的部分，制作第一神经网络的模型的单元；以及对第一神经网络的模型中第一神经网络特有的部分进行再学习的单元。
优选为，本发明的图像处理系统还具备针对各对象物对判定结果进行管理的管理装置，第一装置包括：将第一判定结果输出到管理装置的单元；以及将第一判定结果低于规定准确度的拍摄图像输出到第二装置的单元；第二装置包括将第二判定结果输出到管理装置的单元，管理装置针对各对象物，将第一判定结果及第二判定结果中的至少一个与对象物建立关联。
优选为，第一神经网络及第二神经网络为卷积神经网络。
[发明的效果]
根据本发明，即便在现场配置了低功能装置的情况下也能够提高判定准确度。
附图说明
图1是表示本发明的实施方式1的图像处理系统100A的示意图。
图2是表示本发明的实施方式1的低功能装置10的构成的一例的功能框图。
图3是表示本发明的实施方式1的高功能装置20的构成的一例的功能框图。
图4是表示本发明的实施方式2的图像处理系统100B的示意图。
图5是表示本发明的实施方式3的图像处理系统的判断流程的一例的示意图。
图6是表示与图5的判断流程对应的图像处理系统的CNN模型的一例的示意图。
图7是表示与图5的判断流程对应的图像处理系统的CNN模型的另一例的示意图。
图8是表示本发明的实施方式4的图像处理系统的判断流程的一例的示意图。
图9是表示与图8的判断流程对应的图像处理系统的CNN模型的一例的示意图。
图10是表示本发明的实施方式5的图像处理系统200的示意图。
图11是表示本发明的实施方式5的图像处理系统200的判断流程的一例的示意图。
图12是表示本发明的实施方式5的图像处理系统200的判断流程的一例的流程图。
附图标号说明
1、2、3、n、1X、2X、3X、nX、1Y、2Y、3Y、nY：工件；
10、10X、10Y、LFD、LFD1、LFD2、LFDn：低功能装置；
10C、10C1、10C2、20C：卷积层；
10Xe、10Ye：全连接层；
11、11X、11Y：拍摄装置；
12：相机I/F；
13、22：存储器；
14：CPU；
15、24：RAM；
16、25：通信I/F；
20、HFD：高功能装置；
21：多芯处理器；
23：高CNN运算部；
30、QMD：品质管理装置；
50：缆线；
100A、100B、200：图像处理系统；
Di、Di1、Di2、Din：数据信号；
Dm、Dm1、Dm2、Dm10、Dmn、Em：模型数据信号；
Gr、Gr1、Gr2、Gm：图像信号；
Jd、Jd1、Jd2、Jd10、Jdn、Kd：判定信号；
T1、T2、Tj：判定时间。
具体实施方式
一边参照附图，一边对本发明的实施方式详细地进行说明。此外，对于图中相同或相当的部分标注相同的符号且不重复说明。
以下，作为神经网络的一例，以卷积神经网络(CNN)为例进行说明。然而，用于图像处理的网络结构除CNN以外，还存在例如深度信念网络(DBN)或堆叠降噪自动编码器(SDA)。
本发明中是以存在中间层且具有至少一部分共通的部分的网络结构为对象。具体来说，本申请的发明的对象不仅为CNN，还包含具有中间层的神经网络或深度神经网络。
[实施方式1]
图1是表示本发明的实施方式1的图像处理系统100A的示意图。
参照图1，图像处理系统100A包括低功能装置10及高功能装置20。所谓低功能装置例如是指运算能力相对较低的装置，包含有在FA现场进行输入及判定的感测器控制器。所谓高功能装置例如是指运算能力相对较高的装置，包含有运算能力高于低功能装置的个人计算机(Personal Computer，PC)或与工作站或者云端等相连的服务器。低功能装置10包括拍摄装置11。高功能装置20包括多芯处理器21、存储器22及高CNN运算部23。
拍摄装置11对以判定时间Tj的间隔传送来的工件1、工件2、工件3、…、工件n(以下，也统称为工件n)依次进行拍摄。低功能装置10基于拍摄装置11的拍摄结果，生成图像信号Gr或CNN的中间阶段的数据信号Di，并将所生成的信号发送到高功能装置20。图像信号Gr有时表示工件n的识别度小于规定值(例如50％)而识别模糊的灰色判定。图像处理系统100A根据该识别度判断工件n有无损伤等。
高功能装置20接收图像信号Gr及数据信号Di，在高CNN运算部23对图像信号Gr或数据信号Di进行CNN运算。高功能装置20基于高CNN运算部23中的运算结果，生成表示工件n的判定结果的判定信号Jd，并将该判定信号Jd发送到低功能装置10。高功能装置20在CNN的再学习时，将已完成再学习的模型数据信号Dm发送到低功能装置10。
图2是表示本发明的实施方式1的低功能装置10的构成的一例的功能框图。
参照图2，低功能装置10包括拍摄装置11、相机接口(Interface，I/F)12、存储器13、中央处理单元(Central Processing Unit，CPU)14、随机存取存储器(Random AccessMemory，RAM)15及通信I/F16。
拍摄装置11对工件n进行拍摄，并将拍摄结果发送到相机I/F12。相机I/F12将拍摄结果发送到存储器13、CPU14、RAM15及通信I/F16。存储器13长期存储拍摄装置11中的拍摄结果、CPU14中所使用的运算编程、CPU14中的运算结果等。CPU14是通过低CNN对拍摄装置11中的拍摄结果进行运算。RAM15短期存储由CPU14运算的中途结果等。通信I/F16将由CPU14运算出的图像信号或CNN的中间阶段的数据信号输出到高功能装置20，并且接收来自高功能装置20的信号。
图3是表示本发明的实施方式1的高功能装置20的构成的一例的功能框图。
参照图3，高功能装置20包括多芯处理器21、存储器22、高CNN运算部23、RAM24及通信I/F25。高CNN运算部23具备能够进行精密判定且完成CNN学习的网络模型。
多芯处理器21对经由通信I/F25从低功能装置10发送来的图像信号或数据信号进行CNN运算等。存储器22长期存储从低功能装置10发送来的图像信号及数据信号、多芯处理器21中所使用的运算编程、多芯处理器21中的运算结果等。
高CNN运算部23利用高CNN对从低功能装置10发送来的图像信号或数据信号进行运算。另外，高CNN运算部23是在离线的状态下使用所累积的灰色判定的图像信号进行再学习。另外，高CNN运算部23也对在低功能装置10侧构筑的模型进行再学习，将该再学习后的模型发送到低功能装置10而对CNN进行更新。
RAM24短期存储由多芯处理器21运算的中途结果等。通信I/F25将表示工件n的判定结果的判定信号及完成再学习的模型数据信号输出到低功能装置10，并且接收来自低功能装置10的信号。
如上所述，实施方式1是在高功能装置侧设置能够进行精密判定且完成CNN学习的网络模型，由此，即便为在使用CNN的检查中用低功能装置难以判定的工件，也能够经由高功能装置进行判定。另外，通过由高功能装置从低功能装置接收CNN的中间阶段的数据信号进行识别、判定，而能够实时地进行检查。
[实施方式2]
图4是表示本发明的实施方式2的图像处理系统100B的示意图。
参照图4，图像处理系统100B包括低功能装置10X、低功能装置10Y及高功能装置20。低功能装置10X、低功能装置10Y分别包括拍摄装置11X、拍摄装置11Y。高功能装置20与图1同样地，包括多芯处理器21、存储器22及高CNN运算部23。
拍摄装置11X对以判定时间T1的间隔传送来的工件1X、工件2X、工件3X、…、工件nX(以下，也统称为工件nX)依次进行拍摄。低功能装置10X基于拍摄装置11X的拍摄结果，生成图像信号Gr1或CNN的中间阶段的数据信号Di1，并将所生成的信号发送到高功能装置20。
拍摄装置11Y对以判定时间T2的间隔传送来的工件1Y、工件2Y、工件3Y、…、工件nY(以下，也统称为工件nY)依次进行拍摄。低功能装置10Y基于拍摄装置11Y的拍摄结果，生成图像信号Gr2或CNN的中间阶段的数据信号Di2，并将所生成的信号发送到高功能装置20。
高功能装置20接收图像信号Gr1、图像信号Gr2或数据信号Di1、数据信号Di2，并在高CNN运算部23中对图像信号Gr1、图像信号Gr2或数据信号Di1、数据信号Di2进行CNN运算。高功能装置20基于高CNN运算部23中的运算结果，生成表示工件nX的判定结果的判定信号Jd1，并将该判定信号Jd1发送到低功能装置10X。另外，高功能装置20基于高CNN运算部23中的运算结果，生成表示工件nY的判定结果的判定信号Jd2，并将该判定信号Jd2发送到低功能装置10Y。高功能装置20在CNN的再学习时，将完成再学习的模型数据信号Dm1、模型数据信号Dm2分别发送到低功能装置10X、低功能装置10Y。
如上所述，实施方式2是在高功能装置侧设置能够进行精密判定且完成CNN学习的网络模型，由此，即便为在使用CNN的检查中用多个低功能装置中的一个以上的低功能装置难以判定的工件，也能够经由高功能装置提高工件识别度而进行判定。
[实施方式3]
图5是表示本发明的实施方式3的图像处理系统的判断流程的一例的示意图。
图5的图像处理系统包括低功能装置LFD1、低功能装置LFD2、…、低功能装置LFDn及高功能装置HFD。低功能装置LFD1对拍摄装置的拍摄结果进行判断，生成图像信号Gr1或CNN的中间阶段的数据信号Di1，并将所生成的信号发送到高功能装置20。高功能装置HFD对高CNN运算部中的运算结果进行判断，生成表示工件的判定结果的判定信号Jd1，并将该判定信号Jd1发送到低功能装置LFD1。高功能装置HFD在CNN的再学习时，将完成再学习的模型数据信号Dm1发送到低功能装置LFD1。
图6是表示与图5的判断流程对应的图像处理系统的CNN模型的一例的示意图。
如图6所示，低功能装置LFD1具有包含卷积层10C的CNN10M的网络模型。CNN包含卷积层(Convolution Layer)及全连接层(Fully Connected Layer)。在本例中，从低功能装置LFD1向高功能装置HFD以图像信号Grl来发送图像信号，高功能装置HFD接收该图像信号而辅助低功能装置LFD1的判断。高功能装置HFD具有包含卷积层10C的CNN20M的网络模型。
图7是表示与图5的判断流程对应的图像处理系统的CNN模型的另一例的示意图。
如图7所示，低功能装置LFD1具有包含卷积层10C1、卷积层10C2的CNN10M的网络模型。在本例中，从低功能装置LFD1向高功能装置HFD发送CNN的中间阶段的数据信号Di1，高功能装置HFD接收该数据信号而部分地辅助低功能装置LFD1的判断。低功能装置LFD1发送CNN的中间阶段的数据信号Di1，结果成为包含卷积层10C1的CNN10XM的网络模型。高功能装置HFD接收数据信号Dil，结果成为包含卷积层10C2的CNN20XM的网络模型。
如上所述，实施方式3是通过在高功能装置侧设置能够进行精密判定且完成CNN学习的网络模型，而当在使用CNN的检查中从低功能装置发送图像信号时，辅助低功能装置的判断。另外，当从低功能装置发送CNN的中间阶段的数据信号时，部分地辅助低功能装置的判断。由此，即便为在使用CNN的检查中用低功能装置难以判定的工件，也能够经由高功能装置进行判定。
[实施方式4]
图8是表示本发明的实施方式4的图像处理系统的判断流程的一例的示意图。
图8的图像处理系统包含低功能装置LFD1、低功能装置LFD2、…、低功能装置LFDn及高功能装置HFD。低功能装置LFD1对拍摄装置的拍摄结果进行判断，生成图像信号Gr1或CNN的中间阶段的数据信号Di1，并将所生成的信号发送到高功能装置20。高功能装置HFD对高CNN运算部中的运算结果进行判断，生成表示工件的判定结果的判定信号Jd10，并将该判定信号Jd10发送到低功能装置LFD1。高功能装置HFD在CNN的再学习时，将完成再学习的模型数据信号Dm10发送到低功能装置LFD1。
接下来，低功能装置LFD2对拍摄装置的拍摄结果进行判断，生成图像信号Gr2或CNN的中间阶段的数据信号Di2，并将所生成的信号发送到高功能装置20。同样地，低功能装置LFDn对拍摄装置的拍摄结果进行判断，生成图像信号Gm或CNN的中间阶段的数据信号Din，并将所生成的信号发送到高功能装置20(n＝1～n)。
高功能装置HFD接收来自低功能装置LFDn的图像信号Gm或CNN的中间阶段的数据信号Din，并对CNN模型进行再学习。高功能装置HFD基于再学习的结果，生成表示工件的判定结果的判定信号Jdn及完成再学习的模型数据信号Dmn，并将它们分别发送到低功能装置LFD1、低功能装置LFD2、…、低功能装置LFDn。
图9是表示与图8的判断流程对应的图像处理系统的CNN模型的一例的示意图。
如图9所示，高功能装置HFD具有包含卷积层20C的CNN20M的网络模型。在本例中，从高功能装置HFD向低功能装置LFD1、低功能装置LFD2分别发送表示工件的判定结果的判定信号及完成再学习的模型数据信号。低功能装置LFD1、低功能装置LFD2接收再学习结果，改变CNN模型中的全连接层的部分。结果，低功能装置LFD1具有包含卷积层20C及全连接层10Xe的CNN10XM的网络模型。低功能装置LFD2具有包含卷积层20C及全连接层10Ye的CNN10YM的网络模型。
如上所述，在再学习中，首先，高功能装置HFD从低功能装置LFD1、低功能装置LFD2接收图像信号或CNN的中间阶段的数据信号，对CNN模型的整体进行再学习。高功能装置HFD制作移植了完成学习的高功能装置侧的CNN模型的一部分的用于低功能装置的CNN模型，对该CNN模型进行再学习。低功能装置LFD1、低功能装置LFD2分别从高功能装置HFD接收该用于低功能装置的完成再学习的CNN模型。
如上所述，实施方式4是在高功能装置侧设置能够进行精密判定且完成CNN学习的网络模型，并在低功能装置侧使用该网络的一部分构筑新的CNN模型，由此，即便为在使用CNN的检查中用低功能装置难以判定的工件，也能够经由高功能装置进行判定。
[实施方式5]
图10是表示本发明的实施方式5的图像处理系统200的示意图。
参照图10，图像处理系统200包含低功能装置10、高功能装置20、品质管理装置30及缆线50。低功能装置10与图1同样地，包含拍摄装置11。高功能装置20与图1同样地，包括多芯处理器21、存储器22及高CNN运算部23。
拍摄装置11对传送来的工件1、工件2、工件3、…、工件n(以下，也统称为工件n)依次进行拍摄。低功能装置10基于拍摄装置11的拍摄结果，生成识别度相对较高的图像信号Gr1或数据信号Dil，并经由缆线50将所生成的信号发送到品质管理装置30。另外，低功能装置10基于拍摄装置11的拍摄结果，生成识别度相对较低的图像信号Gr2或数据信号Di2，并经由缆线50将所生成的信号发送到高功能装置20。高功能装置20利用高CNN运算部23进一步对图像信号Gr2及数据信号Di2进行运算，并将运算所得的判定信号Kd及模型数据信号Em发送到品质管理装置30。
图11是表示本发明的实施方式5的图像处理系统200的判断流程的一例的示意图。
图11的图像处理系统200包含低功能装置LFD、高功能装置HFD及品质管理装置QMD。低功能装置LFD对拍摄装置的拍摄结果进行判断，生成识别度相对较高的图像信号Gr1或数据信号Di1，并将所生成的信号发送到品质管理装置QMD。另外，低功能装置LFD基于拍摄装置的拍摄结果，生成识别度相对较低的图像信号Gr2或数据信号Di2，并将所生成的信号发送到高功能装置HFD。高功能装置HFD利用高CNN运算部进一步对图像信号Gr2或数据信号Di2进行运算，将运算所得的包含判定图像及判定结果的判定信号Kd发送到品质管理装置QMD，以及在再学习时将模型数据信号Em发送到品质管理装置QMD。
图12是表示本发明的实施方式5的图像处理系统200的判断流程的一例的流程图。
参照图12，首先，在步骤S1中，利用低功能装置10对作为对象物的工件n进行识别。如果工件n的识别度大于等于固定阈值(例如50％)，那么在步骤S2中，将工件的编号、判定图像及判定结果发送到品质管理装置30。另一方面，如果工件n的识别度小于固定阈值，那么在步骤S3中，将工件的编号及判定图像发送到高功能装置20。
在步骤S4中，利用高功能装置20并基于来自低功能装置10的判定图像对工件进行再次判定。在步骤S5中，将工件的编号、判定图像及判定结果从高功能装置20发送到品质管理装置30。在步骤S6中，判定剩余工件是否为零。如果剩余工件并非为零，那么返回到步骤S1。如果剩余工件为零，那么结束检查。
表1
工件 LFD HFD QMD
工件1 70％(OK) - 仅LFD数据
工件2 45％(NG) 80％(OK) LFD+HFD数据
表1是表示本发明的实施方式5的图像处理系统200针对工件识别度分配数据的图。
如表1所示，关于工件1，利用低功能装置LFD识别出的识别度为70％，所以从低功能装置LFD只向品质管理装置QMD发送工件的编号、判定图像及OK的判定结果，而不发送到高功能装置HFD。另一方面，关于工件2，利用低功能装置LFD识别出的识别度为45％，所以将工件的编号、判定图像及NG的判定结果从低功能装置LFD发送到高功能装置HFD。在高功能装置HFD中，利用高CNN运算部进一步对判定图像进行运算，将识别度提高到80％的OK的判定结果从高功能装置HFD发送到品质管理装置QMD。品质管理装置QMD针对各工件编号，将工件的判定信息等与工件建立关联。
如上所述，实施方式5是在高功能装置侧设置能够进行精密判定且完成CNN学习的网络模型，还设置管理对象物的品质管理装置，由此，即便为在使用CNN的检查中用低功能装置难以判定的工件，也能够经由高功能装置有效率地进行判定及管理。
本领域技术人员应当理解本次所公开的实施方式的全部内容均为例示，而非对本发明的限制。本发明的范围并非由所述实施方式的说明表示，而是由权利要求所表示，且意图包含与权利要求均等的意义及范围内的所有变更。

Claims (8)

1.一种图像处理系统，使用至少一个第一装置以及运算能力高于所述至少一个第一装置的第二装置对至少一个对象物进行判定，其特征在于，
所述至少一个第一装置包括：
输出对所述至少一个对象物的拍摄图像应用第一神经网络而识别所述至少一个对象物的第一判定结果的单元；以及
如果所述第一判定结果符合规定条件，将所述拍摄图像输出到所述第二装置的单元；
所述第二装置包括，输出对所述拍摄图像应用第二神经网络而识别所述至少一个对象物的第二判定结果的单元，所述第二神经网络利用至少一部分与所述第一神经网络共通的样本进行过事先学习，
所述第一神经网络及所述第二神经网络具有如下网络结构，存在中间层且具有至少一部分共通的部分。
2.一种图像处理系统，使用至少一个第一装置以及运算能力高于所述至少一个第一装置的第二装置对至少一个对象物进行判定，其特征在于，
所述至少一个第一装置包括：
输出对所述至少一个对象物的拍摄图像应用第一神经网络而识别所述至少一个对象物的第一判定结果的单元；以及
如果所述第一判定结果符合规定条件，将所述第一神经网络的中间阶段的数据信号输出到所述第二装置的单元；
所述第二装置包括，输出使用至少一部分与所述第一神经网络共通的第二神经网络而识别所述至少一个对象物的所述第二判定结果的单元，
所述第一神经网络及所述第二神经网络具有如下网络结构，存在中间层且具有至少一部分共通的部分，
输出所述第二判定结果的单元是从与所述第一神经网络的所述中间阶段对应的所述第二神经网络的层开始应用所述数据信号。
3.根据权利要求1或2所述的图像处理系统，其特征在于：所述至少一个第一装置接收所述第二判定结果，实时地对所述至少一个对象物进行判定。
4.根据权利要求1或2所述的图像处理系统，其特征在于：所述至少一个第一装置包括，将所述第一判定结果低于规定准确度的所述拍摄图像输出到所述第二装置的单元，
所述第二装置包括，基于低于所述规定准确度的所述拍摄图像，对所述第二神经网络进行再学习的单元。
5.根据权利要求4所述的图像处理系统，其特征在于：所述进行再学习的单元是在离线时对所述第二神经网络进行再学习。
6.根据权利要求4所述的图像处理系统，其特征在于，所述第二装置包括：
基于所述再学习后的所述第二神经网络中与所述第一神经网络共通的部分，制作所述第一神经网络的模型的单元；以及
对所述第一神经网络的模型中所述第一神经网络特有的部分进行再学习的单元。
7.根据权利要求1或2所述的图像处理系统，其特征在于，还具备针对各所述对象物对判定结果进行管理的管理装置，
所述至少一个第一装置包括：
将所述第一判定结果输出到所述管理装置的单元；以及
将所述第一判定结果低于规定准确度的所述拍摄图像输出到所述第二装置的单元；
所述第二装置包括将所述第二判定结果输出到所述管理装置的单元，
所述管理装置针对各所述对象物，将所述第一判定结果及所述第二判定结果中的至少一个与所述至少一个对象物建立关联。
8.根据权利要求1或2所述的图像处理系统，其特征在于：所述第一神经网络及所述第二神经网络是卷积神经网络。
CN201810153471.4A 2017-08-04 2018-02-22 图像处理系统 Active CN109387521B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017151291A JP7294768B2 (ja) 2017-08-04 2017-08-04 画像処理システム
JP2017-151291 2017-08-04

Publications (2)

Publication Number Publication Date
CN109387521A true CN109387521A (zh) 2019-02-26
CN109387521B CN109387521B (zh) 2022-10-11

Family

ID=65019955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810153471.4A Active CN109387521B (zh) 2017-08-04 2018-02-22 图像处理系统

Country Status (4)

Country Link
US (1) US10885620B2 (zh)
JP (1) JP7294768B2 (zh)
CN (1) CN109387521B (zh)
DE (1) DE102018103244B4 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053886A (ko) 2018-11-09 2020-05-19 삼성전자주식회사 뉴럴 프로세싱 유닛, 뉴럴 프로세싱 시스템, 및 어플리케이션 시스템
JP7118364B2 (ja) * 2019-03-18 2022-08-16 オムロン株式会社 画像検査装置
JP7118365B2 (ja) * 2019-03-20 2022-08-16 オムロン株式会社 画像検査装置
KR20190087351A (ko) * 2019-07-05 2019-07-24 엘지전자 주식회사 머신 러닝 시스템, 방법 및 장치
DE102019209976A1 (de) * 2019-07-08 2021-01-14 Krones Ag Verfahren und Vorrichtung zur Inspektion von Behältern in einem Behältermassenstrom
JP7016179B2 (ja) * 2020-02-21 2022-02-04 株式会社 システムスクエア 検査装置およびプログラム
DE102021002363B3 (de) 2021-05-04 2022-09-08 Karlsruher Institut für Technologie, Körperschaft des öffentlichen Rechts Gerät für eine lageunabhängige optische Oberflächeninspektion

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984258A (zh) * 2005-12-15 2007-06-20 欧姆龙株式会社 图像处理装置
CN1992817A (zh) * 2005-12-29 2007-07-04 欧姆龙株式会社 图像处理装置及图像处理装置的动作条件设定方法
JP2008310700A (ja) * 2007-06-15 2008-12-25 Canon Inc 演算処理装置及び方法
JP2012164026A (ja) * 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
CN103411974A (zh) * 2013-07-10 2013-11-27 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
CN104487843A (zh) * 2012-08-23 2015-04-01 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
JP2016191973A (ja) * 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム
CN106203333A (zh) * 2016-07-08 2016-12-07 乐视控股（北京）有限公司 人脸识别方法及系统
CN106228177A (zh) * 2016-06-30 2016-12-14 浙江大学 基于卷积神经网络的日常生活物体图像识别方法
JP2017084320A (ja) * 2015-03-06 2017-05-18 パナソニックＩｐマネジメント株式会社 学習方法およびプログラム
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155803A (ja) * 1998-11-20 2000-06-06 Nec Corp 文字読取方法および光学式文字読取装置
WO2013157265A1 (ja) * 2012-04-18 2013-10-24 パナソニック株式会社 画像処理システム、サーバ装置、撮像装置及び画像判定方法
JP5889727B2 (ja) * 2012-06-18 2016-03-22 新電元工業株式会社 電子機器の捺印シンボル検査装置、及びその方法
JP2017068627A (ja) * 2015-09-30 2017-04-06 株式会社東芝 画像処理端末及び画像処理サーバ
US9275347B1 (en) 2015-10-09 2016-03-01 AlpacaDB, Inc. Online content classifier which updates a classification score based on a count of labeled data classified by machine deep learning
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984258A (zh) * 2005-12-15 2007-06-20 欧姆龙株式会社 图像处理装置
CN1992817A (zh) * 2005-12-29 2007-07-04 欧姆龙株式会社 图像处理装置及图像处理装置的动作条件设定方法
JP2008310700A (ja) * 2007-06-15 2008-12-25 Canon Inc 演算処理装置及び方法
JP2012164026A (ja) * 2011-02-03 2012-08-30 Nippon Soken Inc 画像認識装置及び車両用表示装置
CN104487843A (zh) * 2012-08-23 2015-04-01 富士施乐株式会社 图像处理装置、程序、图像处理方法、计算机可读介质及图像处理系统
CN103411974A (zh) * 2013-07-10 2013-11-27 杭州赤霄科技有限公司 基于云端大数据的平面材料检测远程系统及检测方法
JP2017084320A (ja) * 2015-03-06 2017-05-18 パナソニックＩｐマネジメント株式会社 学習方法およびプログラム
JP2016191973A (ja) * 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム
CN106228177A (zh) * 2016-06-30 2016-12-14 浙江大学 基于卷积神经网络的日常生活物体图像识别方法
CN106203333A (zh) * 2016-07-08 2016-12-07 乐视控股（北京）有限公司 人脸识别方法及系统
CN106875373A (zh) * 2016-12-14 2017-06-20 浙江大学 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
乔丽: "基于CNN的工件缺陷检测方法研究及系统设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
JP2019028960A (ja) 2019-02-21
DE102018103244B4 (de) 2023-02-23
JP7294768B2 (ja) 2023-06-20
DE102018103244A1 (de) 2019-02-07
US10885620B2 (en) 2021-01-05
CN109387521B (zh) 2022-10-11
US20190043185A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
CN109387521A (zh) 图像处理系统
CN107657603B (zh) 一种基于智能视觉的工业外观检测方法
CN105760835A (zh) 一种基于深度学习的步态分割与步态识别一体化方法
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN106022380A (zh) 基于深度学习的个体身份识别方法
CN106650928A (zh) 一种神经网络的优化方法及装置
KR20190075707A (ko) 딥러닝을 이용한 양품 선별 방법
CN109060817B (zh) 人工智能复检系统及其方法
CN108898077A (zh) 电力设备红外热图的识别方法和电力设备红外识别系统
CN109389599A (zh) 一种基于深度学习的缺陷检测方法及装置
CN106815639A (zh) 流数据的异常点检测方法及装置
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN109615058A (zh) 一种神经网络模型的训练方法
CN113870254B (zh) 目标对象的检测方法、装置、电子设备及存储介质
CN112200263B (zh) 一种应用于配电物联网的自组织联邦聚类方法
CN112861659A (zh) 一种图像模型训练方法、装置及电子设备、存储介质
CN115641517A (zh) 机器视觉缺陷识别方法和系统、边缘侧装置及存储介质
CN118052793A (zh) 毛绒玩具生产过程实时监控系统及方法
KR20200075050A (ko) 딥러닝을 이용한 이미지 인식 방법 및 서버
CN105468887B (zh) 数据分析系统以及方法
CN110084109A (zh) 一种低分辨率人脸图像识别方法、装置、电子设备及存储介质
CN114192583B (zh) 一种基于Scada平台的带钢轧制过程质量监控方法和系统
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant