CN108932523B - 图像分类以及分类数据制作系统和方法、存储介质 - Google Patents
图像分类以及分类数据制作系统和方法、存储介质 Download PDFInfo
- Publication number
- CN108932523B CN108932523B CN201810449629.2A CN201810449629A CN108932523B CN 108932523 B CN108932523 B CN 108932523B CN 201810449629 A CN201810449629 A CN 201810449629A CN 108932523 B CN108932523 B CN 108932523B
- Authority
- CN
- China
- Prior art keywords
- full
- feature
- connection
- processing
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 240
- 238000000605 extraction Methods 0.000 claims abstract description 140
- 239000000284 extract Substances 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims description 84
- 238000011176 pooling Methods 0.000 claims description 80
- 238000013527 convolutional neural network Methods 0.000 claims description 52
- 239000010410 layer Substances 0.000 description 269
- 230000006870 function Effects 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 23
- 230000007547 defect Effects 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 239000002390 adhesive tape Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 239000012790 adhesive layer Substances 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明涉及图像分类以及分类数据制作系统和方法、存储介质。一种图像分类程序,其用于将所输入的图像进行分类,该程序使计算机作为以下单元来发挥功能:网络,其构筑为对所输入的图像数据执行特征量提取处理和全连接处理;路径提取单元,其提取所述网络中的处理路径;以及判断部,其对由所述路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
Description
技术领域
本发明涉及一种图像分类系统、图像分类方法、分类数据制作系统、分类数据制作方法以及存储介质。
背景技术
以往,进行了使用卷积神经网络(CNN:Convolutional Neural Network)的图像识别处理。
这种卷积神经网络例如被如下地构筑为:作为特征量提取处理,交互地执行卷积处理和池化处理,在这些处理的后级中执行全连接处理。
在卷积处理中,通过对所输入的图像数据进行使用了学习完的多个滤波器的卷积(Convolution)处理来提取包含于图像数据中的特征量。在卷积处理之后的池化处理中,使用学习完的多个滤波器来进行池化处理并通过该处理来吸收特征量的微小变化,该池化处理是从通过卷积处理得到的特征量映射中的附近几个像素的区域中将最大值或者平均值作为特征量来输出的处理。
在全连接处理中,对通过卷积处理和池化处理提取得到的特征量进行使用了学习完的多个单元的全连接处理,由此将包含于图像数据中的对象物进行分类。
专利文献1:日本特开2016-115248号公报
发明内容
发明要解决的问题
这里,在将卷积神经网络例如应用到根据图像来判定产品为合格品还是残次品的系统中的情况下需要充分注意。
即,卷积神经网络能够发挥出较高的识别率。但是,当发挥不出避免发生将残次品判定为合格品的“漏检”那样的高的识别率(即,“漏检”的发生数量极为接近零那样的识别率)时,从精度方面考虑难以在用于判定合格品/残次品的系统中应用卷积神经网络。另外,为了将把残次品判定为合格品的图像改判为残次品,需要追溯到学习阶段,再次构筑网络来进行验证,因此从运用方面考虑也难以在用于判定合格品、残次品的系统中应用卷积神经网络。
本发明鉴于上述情况,其课题在于提供一种能够足够高精度地将图像进行分类的图像分类系统、图像分类方法、分类数据制作系统、分类数据制作方法以及存储介质。
用于解决问题的方案
本发明所涉及的图像分类系统用于将所输入的图像进行分类,该图像分类系统具备:网络,其构筑为对所输入的图像数据执行特征量提取处理和全连接处理;路径提取单元,其对所述网络中的处理路径进行提取;以及判断部,其对由所述路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
在上述结构的图像分类系统中,优选的是,所述路径提取单元是提取以下路径的单元,该路径将从通过所述网络中的所述特征量提取处理得到的多个特征值中选择的至少一个特征值与从通过所述全连接处理得到的多个全连接输出值中选择的至少一个全连接输出值连接,被选择的所述特征值和被选择的所述全连接输出值中的至少一方包含有最大值。
在上述结构的图像分类系统中,优选的是,所述路径提取单元是提取以下路径的单元,该路径将从包含通过所述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过所述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接,从所述特征值群和所述全连接输出值群中的至少任一方选择至少两个值,该两个值包含有选择源的值群所包含的多个值中的最大值。
本发明所涉及的图像分类方法用于将所输入的图像进行分类,该图像分类方法包括以下工序:网络处理工序,对所输入的图像数据执行特征量提取处理和全连接处理;路径提取工序,对所述网络处理工序中的处理路径进行提取;以及判断工序,对通过所述路径提取工序提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
本发明的分类数据制作系统用于制作图像分类装置用的分类数据,该分类数据制作系统具备:网络,其构筑为对所输入的图像数据执行特征量提取处理和全连接处理;设定路径提取单元,其提取将以下特征值和全连接输出值连接的路径来作为设定路径,该特征值是从包含通过所述网络中的所述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过所述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从所述特征值群和所述全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值;以及关联单元,其将提取出的设定路径与用于将图像进行分类的分类相关联。
本发明的分类数据制作方法用于制作图像分类装置用的分类数据,该分类数据制作方法包括以下工序:网络处理工序,其对所输入的图像数据执行特征量提取处理和全连接处理;设定路径提取工序,其提取将特征值和全连接输出值连接的路径来作为设定路径,该特征值是从包含通过所述网络处理工序中的所述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过所述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从所述特征值群和所述全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值;以及关联工序,其将提取出的设定路径与用于将图像进行分类的分类相关联。
本发明的存储介质存储有使至少一个计算机作为上述的图像分类系统和/或上述的分类数据制作系统来发挥功能的程序。
附图说明
图1是表示根据本发明的实施方式所涉及的图像分类程序来执行的处理的框图。
图2是示意性地表示一般的卷积神经网络中的处理的流程的图。
图3是示意性地表示一般的特征量提取处理的流程的图。
图4是示意性地表示一般的全连接处理的流程的图。
图5是示意性地表示本实施方式的图像分类程序中使用的卷积神经网络的全路径的图。
图6是表示被提取的路径的一个例子的概要图。
图7是表示被提取的路径的一个例子的概要图。
图8是表示被提取的路径的一个例子的概要图。
图9是表示被提取的路径的一个例子的概要图。
图10是本发明的实施方式所涉及的图像分类系统的框图。
图11是表示应用本实施方式的图像分类程序的检查装置的概要侧视图。
图12是表示根据本发明的实施方式所涉及的分类数据制作程序来执行的处理的框图。
图13是表示实施例1的结果的曲线。
图14是表示实施例2的结果的曲线。
图15是表示实施例3的结果的曲线。
图16是表示实施例4的结果的曲线。
附图标记说明
1:检查装置;3:摄像部;10:图像分类系统;11:输入部;13:特征量运算部;15:路径提取单元;17:存储部;19:判断部;30:分类数据制作系统;31:输入部;33:特征量运算部;35:设定路径提取单元;37:关联部;39:存储部;50:被检查物。
具体实施方式
以下参照附图说明本发明的实施方式所涉及的图像分类系统、图像分类方法、图像分类程序、分类数据制作系统、分类数据制作程序、分类数据制作方法以及存储介质。
首先,说明本实施方式的图像分类程序。
如图1所示,本实施方式的图像分类程序是用于将所输入的图像进行分类的程序,其使至少一个计算机作为以下单元来发挥功能:
网络,其被构筑为对所输入的图像数据执行特征量提取处理和全连接处理;
路径提取单元,其提取所述网络中的处理路径;以及
判断部,其将由所述路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
本实施方式的图像分类程序是用于将所输入的图像进行分类的程序。
所输入的图像只要是在该图像中包含有分类的对象物即可,没有被特别限定。
本实施方式的图像分类程序使至少一个计算机作为网络来发挥功能,该网络对所输入的图像数据执行特征量提取处理和全连接处理。
在本实施方式中,说明了采用卷积神经网络作为被构筑成执行特征量提取处理和全连接处理的网络的一个例子的方式,但是本实施方式中采用的网络没有特别限定于此。
在此,以下说明卷积神经网络的一般的处理。
卷积神经网络在图像识别领域中被广泛使用,其被应用于从作为输入数据的图像数据中识别规定的形状、图案的图像识别技术。
卷积神经网络通过对二维图像至少进行基于滤波器的卷积(Convolution)处理来从所输入的图像数据提取特征量。
卷积神经网络由具有特征量提取层和全连接层的多层网络构成,在该特征量提取层中重复具有用于执行卷积处理(Convolution process)的层和用于执行池化处理的层,该全连接层执行全连接处理。
在卷积神经网络中,使用学习用图像(学习用图像群)等学习用数据(教育用数据)来学习对特征量的提取有效的滤波器的系数,该滤波器用于执行卷积处理。滤波器的系数是通过使用教育用数据重复进行滤波器的卷积处理和池化处理进行学习来得到的,该池化处理用于汇总固定区域的卷积处理结果。
在卷积处理中,通过对从前一分层输入的图像数据进行使用了学习完的滤波器的卷积处理(卷积运算处理)来提取包含于图像数据中的特征量。在卷积处理之后的池化处理中,通过进行从通过卷积处理得到的特征量的映射中的、相互相邻的几个像素程度的区域中输出最大值或者平均值的池化处理来使该区域被分为一组来提取特征量。通过该池化处理,位置灵敏度下降但是对位置变化的识别性能得到提高,因此吸收特征量的微小变化。
在卷积神经网络中,通过重复这种卷积处理和池化处理的处理来更高精度地提取特征量。
在全连接处理中,将通过卷积处理和池化处理得到的特征量进行连接后输出最终的处理数据。
图2所示的卷积神经网络CNN具有对输入的图像数据执行卷积处理的卷积(Convolution)层C、执行池化处理的池化(Pooling)层P以及执行全连接处理的全连接(fully Connected)层F。
具有一个以上的卷积层C。在图2中,具备两个卷积层C1、C2。各卷积层C具有多个滤波器。
卷积层C对从前一分层输入的图像数据执行众所周知的卷积处理,输出其处理结果(数据)。
卷积层C也可以在池化层P的前级连续设置多个。
第一层(最前级)的卷积层C1对从装置外部输入的图像数据D进行卷积处理,将处理结果(数据)输出到池化层P1。
接下来的第二层(最后级的)卷积层C2对从池化层P1输入的处理结果(数据)进行卷积处理,将其处理结果输出到池化层P2。
具有一个以上的池化层P。在图2中,具备两个池化层P1、P2。各池化层P具有多个滤波器。此外,也可以采用不具备池化层P的结构。
池化层P对卷积层C的处理结果(数据)执行众所周知的池化处理,输出其处理结果(数据)。
第一层(最前级)的池化层P1对从卷积层C1输入的处理结果(数据)进行池化处理,将其处理结果(数据)输出到卷积层C2。
接下来的第二层(最后级)的池化层P2对从卷积层C2输入的处理结果(数据)进行池化处理,将其处理结果(数据)输出到全连接层F。
具有一个以上的全连接层F。在图2中,具备三个全连接层F1、F2、F3。各全连接层F具有多个单元。
全连接层F对之前紧挨着的池化层P(最后级的池化层P)的处理结果执行众所周知的全连接处理,输出其处理结果(数据)。
第一层(最前级)的全连接层F1对从池化层P2输入的处理结果(数据)进行全连接处理,将其处理结果(数据)输出到全连接层F2。
接下来的第二层的全连接层F2对从全连接层F1输入的处理结果(数据)进行全连接处理,将其处理结果(数据)输出到全连接层F3。
接下来的第三层(最后级)的全连接层F3对该处理结果进行图像属于哪个分类的分类,作为识别结果来输出。
在图2中,卷积层C和池化层P构成组合,该组合分层连接。
接着,参照图3和图4说明图2的卷积神经网络CNN中的一般的处理的流程。此外,各处理是由图像分类系统的特征量提取运算部来执行的。
如图3所示,在第一层的卷积层C1的处理中,例如通过光栅扫描按规定的像素大小、例如图3中以阴影表示的5×5像素来对输入的图像数据D进行扫描。此外,扫描中使用的像素大小不限于5×5像素,能够适当变更。而且,对扫描得到的数据进行众所周知的卷积处理,将处理结果C1(1)、C1(2)···设为第一层的卷积层C1的输出数据。
在第一层的池化层P1的处理中,对从第一层的卷积层C1输入的输出数据C1(1)、C1(2)、···按规定的像素大小、在这种情况下为2×2像素分别进行众所周知的池化处理,将处理结果P1(1)、P1(2)···设为池化层P1的输出数据。此外,扫描中使用的像素大小不限于2×2像素,能够适当变更。
通过这些卷积处理和池化处理来提取包含于所输入的图像数据D中的特征量。
同样地,在第二层的卷积层C2的处理中,对从作为前一分层的第一层的池化层P1输入的输出数据P1(1)、P1(2)、···按规定的像素大小分别进行扫描。而且,对扫描得到的数据进行众所周知的卷积处理,将处理结果C2(1)、C2(2)、···设为第二层的卷积层C2的输出数据。
另外,在第二层的池化层P2的处理中,对从第二层的卷积层C2输入的输出数据C2(1)、C2(2)、···按规定的像素大小分别进行众所周知的池化处理,将处理结果P2(1)、P2(2)···设为第二层的池化层P2的输出数据。通过这些卷积处理和池化处理,进一步提取包含于所输入的图像数据D中的特征量。
通过这样重复进行多个卷积层C1、C2、···和多个池化层P1、P2、···的处理,提取包含于图像数据D中的各种特征量,最终提取得到的特征量被输出到全连接层F。
如图4所示,在第一层的全连接层F1的处理中,对从作为前一分层的第二层的池化层P2输入的多个输出数据P2(1)、P2(2)···进行众所周知的全连接处理并将处理结果F1(1)、F1(2)···设为第一层的全连接层F1的输出数据,该全连接处理使多个输出数据P2(1)、P2(2)···的权重系数不同并且进行它们的积和运算。
在第二层的全连接层F2的处理中,对从作为前一分层的第一层的全连接层F1输入的多个输出数据F1(1)、F1(2)···进行众所周知的全连接处理并将处理结果F2(1)、F2(2)···设为第二层的全连接层F2的输出数据,该全连接处理使多个输出数据F1(1)、F1(2)···的权重系数不同并且进行它们的积和运算。
在第三层的全连接层F3的处理中,对从作为前一分层的第二层的全连接层F2输入的多个输出数据F2(1)、F2(2)···进行众所周知的全连接处理并将处理结果F3(1)、F3(2)···设为第三层的全连接层F3的输出数据,该全连接处理使多个输出数据F2(1)、F2(2)···的权重系数不同并且进行它们的积和运算。
从第三层的全连接层F3输出的输出数据F3(1)、F3(2)···与期望的图像的分类结果(在此,分类1、分类2、分类3这三个分类)对应。
在此,在以往的图像分类程序中,在卷积神经网络中追寻通过执行特征量提取处理的层的全部滤波器、且通过执行全连接处理的层的全部单元的路径来执行各处理,最终从全连接部输出的数值被相对地比较来将图像进行分类。
但是,当这样处理图像时,如后述的实施例所示那样难以足够高精度地将图像进行分类。
因此,在本实施方式的图像分类程序中,使至少一个计算机作为以下单元来发挥功能:
路径提取单元,其提取卷积神经网络中的处理路径;以及
判断部,其将由所述路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
在例如图5所示的卷积神经网络中,卷积神经网络CNN具有连续的两个卷积层C(C1、C2)、其后级的一个池化层P(P1)以及其后级的连续的三个全连接层F(F1、F2、F3)。
卷积层C1具有三个滤波器,卷积层C2具有八个滤波器,池化层P1具有八个滤波器,全连接层F1具有二十四个单元,全连接层F2具有八个单元,全连接层F3具有三个单元。
由这些卷积层C、池化层P以及全连接层F来构成卷积神经网络CNN。
在本实施方式中,在这样构成的卷积神经网络CNN中设定有与分类相关联的预先设定的多个设定路径。
此外,设定路径例如被后述的设定路径提取单元提取。
本实施方式的图像分类程序使至少一个计算机作为提取这种卷积神经网络CNN中的处理路径的路径提取单元来发挥功能。
另外,其使至少一个计算机作为判断部来发挥功能,该判断部对由路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为上述所输入的图像的分类。
具体地说,在本实施方式中,上述路径提取单元是提取路径的单元,该路径用于将从通过上述网络中的上述特征量提取处理得到的多个特征值中选择的至少一个特征值和从通过上述全连接处理得到的多个全连接输出值中选择的至少一个全连接输出值连接,
被选择的上述特征值和被选择的上述全连接输出值的至少一方包含有最大值。
在此,特征值是由各滤波器得到的特征量所包含的值中的、能够与由同分层的其它滤波器得到的特征量进行比较那样的代表性的值,作为该特征值可举出最大值、平均值、中间值等。
作为这种路径,例如可举出以下路径等:
将通过特征量提取处理得到的多个特征值中的最大值和从通过全连接处理得到的多个全连接输出值中选择的至少一个值分别连接的路径;将从通过特征量提取处理得到的多个特征值中选择的至少一个值和通过全连接处理得到的多个全连接输出值中的最大值分别连接的路径。
除此之外,作为上述路径,例如也可举出以下路径等:
将通过特征量提取处理得到的多个特征值中的最大值及第二位的值与从通过全连接处理得到的多个全连接输出值中选择的至少一个值分别连接的路径。
并且,除此之外,作为上述路径,例如也可举出以下路径等:
将从通过特征量提取处理得到的多个特征值中选择的至少一个值与通过全连接处理得到的多个全连接输出值中的最大值及第二位的值分别连接的路径。
此外,路径提取单元当然也可以提取除此以外的其它路径。
例如在图6~图9中,路径提取单元如上所述地提取路径,该路径将从通过池化层P1的多个滤波器的处理得到的多个特征值中选择的至少一个特征值与从通过全连接层F1的多个单元的处理得到的多个全连接输出值中选择的至少一个全连接输出值连接。
更具体地说,在本实施方式中,如图6~图9中粗线所示,上述路径提取单元是提取路径的单元,该路径将从包含通过上述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过上述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接,上述路径提取单元例如如下地提取路径:
从上述特征值群和上述全连接输出值群中的至少一个中至少选择两个值,
该两个值包含选择源的值群所包含的多个值中的最大值。
作为这种路径,例如图6、图9中粗线所示,可举出以下路径等:
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值连接的路径;
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的第二位的值连接的路径;
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值连接的路径;以及
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的第二位的值连接的路径。
另外,除此之外,作为上述路径,例如图7中粗线所示,也可举出以下路径等:
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值及第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值分别连接的路径;以及
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值及第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的第二位的值分别连接的路径。
并且,除此之外,作为上述路径,例如图8中粗线所示,也可举出以下路径等:
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值及第二位的值分别连接的路径;以及
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值及第二位的值分别连接的路径。
例如在图6~图9中,路径提取单元例如如下地提取路径,提取将从包含通过池化层P1的多个滤波器的处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过全连接层F1的多个单元的处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接的路径,从特征值群和全连接输出值群中的至少任一方中选择至少两个值,该两个值中包含有选择源的值群所包含的多个值中的最大值。
除此之外,在本实施方式中,如图6~图9中粗线所示,路径提取单元在全连接层F中的全连接层F1与全连接层F2之间、全连接层F2与全连接层F3之间也与在上述的池化层P1与全连接层F1之间提取路径同样地提取路径。
在全连接层F1与全连接层F2之间,具体地说,路径提取单元提取以下路径:该路径将从通过全连接层F1的多个单元的处理得到的多个全连接输出值中选择的至少一个全连接输出值与从通过全连接层F2的多个单元的处理得到的多个全连接输出值中选择的至少一个全连接输出值连接。
更具体地说,路径提取单元路提取将从包含通过全连接层F1的多个单元的处理得到的多个全连接输出值的全连接输出值群(第一全连接输出值群)中选择的至少一个全连接输出值与从包含通过全连接层F2的多个单元的处理得到的多个全连接输出值的全连接输出值群(第二全连接输出值群)中选择的至少一个全连接输出值连接的路径,该路径提取单元路如下地提取路径:从第一全连接输出值群和第二全连接输出值群中的至少任一方选择至少两个值,该两个值包含选择源的值群所包含的多个值中的最大值。
在全连接层F2与全连接层F3之间,路径提取单元提取以下路径:该路径将从通过全连接层F2的多个单元的处理得到的多个全连接输出值中选择的至少一个全连接输出值与从通过全连接层F3的多个单元的处理得到的多个全连接输出值中选择的至少一个全连接输出值连接。
更具体地说,路径提取单元提取将从包含通过全连接层F2的多个单元的处理得到的多个全连接输出值的全连接输出值群(第二全连接输出值群)中选择的至少一个全连接输出值与从包含通过全连接层F3的多个单元的处理得到的多个全连接输出值的全连接输出值群(第三全连接输出值群)中选择的至少一个全连接输出值连接的路径,该路径提取单元路如下地提取路径:从第二全连接输出值群和第三全连接输出值群中的至少任一方选择至少两个值,该两个值包含有选择源的值群所包含的多个值中的最大值。
此外,路径提取单元当然也可以提取除此之外的其它路径。
另外,在图5所示的卷积神经网络中,当从池化层P1至全连接层F3的路径被决定时,其前级的从卷积层C1至池化层P1的路径被决定。
但是,在从卷积层C1至池化层P1的路径是如上述的图3和图4那样不由后级的路径来决定的路径的情况下,路径提取单元也可以在卷积层C1与卷积层C2之间和在卷积层C2与池化层P1之间也与上述同样地提取路径。
在卷积层C1与卷积层C2之间,路径提取单元也可以提取以下路径:该路径将从通过卷积层C1的处理得到的多个特征值中选择的至少一个特征值与从通过卷积层C2的处理得到的多个特征值中选择的至少一个特征值连接。
更具体地说,路径提取单元提取将从包含通过卷积层C1的多个滤波器的处理得到的多个特征值的特征值群(第一特征值群)中选择的至少一个特征值与从包含通过卷积层C2的多个滤波器的处理得到的多个特征值的特征值群(第二特征值群)中选择的至少一个特征值连接,该路径提取单元也可以如下地提取路径:从第一特征值群和第二特征值群中的至少任一方选择至少两个值,该两个值包含有选择源的值群所包含的多个值中的最大值。
在卷积层C2与池化层P1之间,路径提取单元也可以提取以下路径:该路径将从通过卷积层C2的处理得到的多个特征值中选择的至少一个特征值与从通过池化层P1的处理得到的多个特征值中选择的至少一个特征值连接。
更具体地说,路径提取单元提取将从包含通过卷积层C2的多个滤波器的处理得到的多个特征值的特征值群(第二特征值群)中选择的至少一个特征值与从包含通过池化层P1的多个滤波器的处理得到的多个特征值的特征值群(第三特征值群)中选择的至少一个特征值连接的路径,该路径提取单元路也可以如下地提取路径:从第二特征值群和第三特征值群中的至少任一方选择至少两个值,该两个值包含有选择源的值群所包含的多个值中的最大值。
本实施方式的图像分类程序作为判断部来发挥功能,该判断部对由路径提取单元提取出的路径和与图像的分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为上述所输入的图像的分类。
多个设定路径分别例如与分类1、分类2、分类3、····这样的多个图像的分类中的某一个预先相关联。
判断部对路径提取单元提取出的路径和多个设定路径进行比较,将与一致的路径相关联的分类设为所输入的图像的分类。
此外,关于没有被路径提取单元提取出的路径,判断部判断为不属于成为对象的分类。
接着,说明本实施方式的图像分类程序使计算机发挥功能的情况下的图像分类系统。
如图10所示,本实施方式的图像分类系统10被保存于计算机的控制部中。该图像分类系统10具备输入部11、特征量运算部13、路径提取单元15、存储部17以及判断部19。此外,图像分类系统10例如也可以被保存于多个计算机的各控制部中。
特征量运算部13、路径提取单元15以及判断部19被保存于CPU这样的计算机的控制部中,存储部17被保存于服务器、硬盘等中。
输入部11具有被输入要进行分类的图像的图像数据、将所输入的图像数据输入到特征量运算部13的功能。
特征量运算部13具有对从输入部11输入的图像数据执行卷积神经网络中的特征量提取处理和全连接处理的功能。在本实施方式中,特征量运算部13执行卷积处理和池化处理来作为特征量提取处理。
在图5所示的卷积神经网络中,图像分类系统10的特征量运算部13例如通过光栅扫描按规定的滤波器(在图5中为三个)的各规定的像素大小(在图5中为10×10像素)来对输入的图像数据D(在图5中为128×128像素)进行扫描。然后,对扫描得到的数据进行众所周知的卷积处理,将处理结果C1(1)、C1(2)···设为第一层的卷积层C1的输出(在图5中为119×119像素、三个图像数据)。
特征量运算部13对从作为前一分层的第一层的卷积层C1输入的输出数据C1(1)、C1(2)、···按规定的滤波器(在图5中为八个)的各规定的像素大小(在图5中为56×56像素)来分别进行众所周知的卷积处理,将处理结果C2(1)、C2(2)···设为第二层的卷积层C2的输出数据(在图5中为64×64像素、八个图像数据)。
特征量运算部13对从作为前一分层(最终层)的第二层的卷积层C2输入的输出数据C2(1)、C2(2)、···按规定的像素大小(在图5中为8×8像素)来进行分别扫描。然后,对扫描得到的数据进行众所周知的池化处理,将处理结果P1(1)、P2(2)、···设为第一层的池化层P1的输出数据(在图5中为8×8像素、八个图像数据)。此外,在图5中,池化层P只有池化层P1一层。
特征量运算部13对从作为前一分层(最终层)的第一层的池化层P1输入的多个输出数据P1(1)、P1(2)、···通过规定的单元(在图5中为24个)进行众所周知的全连接处理,将处理结果F1(1)、F1(2)、···设为第一层的全连接层F1的输出数据(24个数据),该全连接处理使多个输出数据P1(1)、P1(2)、···的权重系数不同并且进行它们的积和运算。
特征量运算部13对从作为前一分层的第一层的全连接层F1输入的多个输出数据F1(1)、F1(2)、···进行众所周知的全连接处理,该全连接处理使规定的单元(在图5中为八个)的权重系数不同并且进行它们的积和运算,将处理结果F2(1)、F2(2)、···设为第二层的全连接层F2的输出数据(八个数据)。
特征量运算部13对从作为前一分层的第二层的全连接层F2输入的多个输出数据F2(1)、F2(2)、···通过规定的单元(在图5中为三个)进行众所周知的全连接处理,将处理结果F3(1)、F3(2)、···设为第三层(最终层)的全连接层F3的输出数据(三个数据),该全连接处理使多个输出数据F2(1)、F2(2)、···的权重系数不同并且进行它们的积和运算。
从第三层的全连接层F3输出的输出数据F3(1)、F3(2)···与图像的分类结果(在此,分类1、分类2、分类3这三个分类)相对应。
路径提取单元15具有从特征量运算部13的处理结果中如上所述那样提取路径的功能。
存储部17将与分类相关联的预先设定的多个设定路径以表格等分类数据来保存。
判断部19具有以下功能:读入保存于存储部17中的分类数据,将从路径提取单元15提取得到的路径与分类数据进行比较,将与设定路径一致的路径相关联的分类设为所输入的图像的分类。
判断部19的处理结果被输出到显示装置20。
在本实施方式的图像分类系统10中,通过本实施方式的图像分类程序来如上所述那样对输入的图像数据执行特征量运算部13的特征量提取处理及全连接处理、路径提取单元15的路径提取处理、所输入的图像的分类处理。
而且,在图像分类系统10中,通过上述的本实施方式的图像分类程序而作为上述卷积神经网络、上述路径提取单元、判断部来发挥功能,执行上述的处理。
如上所述,本实施方式的图像分类程序是一种用于将所输入的图像进行分类的程序,该程序使至少一个计算机作为以下单元来发挥功能:
网络,其构筑为对所输入的图像数据执行特征量提取处理和全连接处理;
路径提取单元,其提取所述网络中的处理路径;以及
判断部,其对由所述路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
根据这样的结构,能够提取上述网络中的处理路径,对提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类判断为所输入的图像的分类。
由此,能够足够高精度地进行分类。
在本实施方式的图像分类程序中,优选的是,
上述路径提取单元是提取以下路径的单元,该路径将从通过上述网络中的上述特征量提取处理得到的多个特征值中选择的至少一个特征值与从通过上述全连接处理得到的多个全连接输出值中选择的至少一个全连接输出值连接,
上述被选择的特征值和上述被选择的全连接输出值的至少一方包含有最大值。
根据这样的结构,路径提取单元提取将从通过网络中的特征量提取处理得到的多个特征值中选择的至少一个特征值与从通过全连接处理得到的多个全连接输出值中选择的至少一个全连接输出值连接的路径,被选择的特征值和被选择的全连接输出值的至少一方包含有最大值,由此能够更足够高精度地将图像进行分类。
在本实施方式的图像分类程序中,优选的是,
上述路径提取单元是提取以下路径的单元,该路径将从包含通过上述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过上述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接,
从上述特征值群和上述全连接输出值群中的至少任一方选择至少两个值,
该两个值包含有选择源的值群所包含的多个值中的最大值。
根据这样的结构,路径提取单元提取将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接的路径,从特征值群和全连接输出值群中的至少任一方选择至少两个值,该两个值包含有选择源的值群所包含的多个值中的最大值,由此能够更足够高精度地将图像进行分类。
执行上述的本实施方式的图像分类程序的图像分类系统10能够应用到各种装置,被应用的装置没有被特别限定。
例如,图像分类系统10能够如下所述地应用到检查装置。
如图11所示,本实施方式的检查装置1是用于检查被检查物50的缺陷的检查装置1,具备:
摄像部3,其能够将上述被检查物50拍摄为图像数据D;以及
分类部40,其根据通过上述摄像部3拍摄得到的上述图像数据D来将上述缺陷进行分类,
上述分类部40构成为具备本实施方式的图像分类系统10,通过该图像分类系统10来将上述缺陷进行分类。
被检查物没有被特别限定。作为被检查物50,例如可举出薄片。作为薄片,例如可举出光学膜、隔温膜、绝热膜、UV切割膜等。作为薄片,例如也可以举出具有基材和层叠于该基材的粘接剂层的粘接带等。作为该粘接带,可举出只在上述基材的一个面层叠粘接剂层而成的粘接带、在上述基材的两面层叠粘接剂层而成的粘接带等。
摄像部3能够将被检查物50拍摄为图像数据。
如果能够将被检查物50拍摄为图像数据,则摄像部3没有被特别限定。
作为摄像部3,例如可举出照相机。
如果被检查物50的缺陷是能够作为具有规定形状的图像被摄像部3拍摄的缺陷,则没有特别限定。
例如在被检查物50为薄片的情况下,可举出褶皱(凹凸)、破碎、点状缺陷等。
在本实施方式的检查装置1中,由摄像部3将被检查物50拍摄为图像数据,得到的图像数据被图像分类系统10进行分类,由此将包含于被检查物50中的缺陷进行分类。
例如,被检查物50中的缺陷被分类为分类1(例如薄片的褶皱(凹凸))、分类2(例如薄片的破碎)、分类3(例如点状缺陷)中的某一个。
此外,本实施方式的图像分类程序中使用的、路径提取用的分类数据是例如根据下述的程序来制作的。
接着,说明本实施方式的分类数据制作程序。
本实施方式的分类数据制作程序是制作图像分类装置用的分类数据的分类数据制作程序,该程序使至少一个计算机作为以下单元来发挥功能:
网络,其构筑为对所输入的图像数据执行特征量提取处理和全连接处理;
设定路径提取单元,其提取将以下的特征值和全连接输出值连接的路径作为设定路径,该特征值是从包含通过上述网络中的上述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过上述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从上述特征值群和上述全连接输出值群中的至少任一方选择的值中包含有选择源的值群所包含的多个值中的最大值;以及
关联单元,其将提取到的设定路径和用于将图像进行分类的分类相关联。
作为由本实施方式的分类制作用程序来分类的图像,只要在该图像中包含有分类的对象物即可,没有被特别限定。
作为构筑为对所输入的图像数据执行特征量提取处理和全连接处理的网络,可举出上述的卷积神经网络。
本实施方式的分类数据制作程序使计算机作为以下单元来发挥功能:设定路径提取单元,其用于提取设定路径;以及关联单元,其将提取出的设定路径和用于将图像进行分类的分类相关联。
设定路径提取单元提取将以下的特征值和全连接输出值连接的路径作为设定路径,该特征值是从包含通过上述网络中的上述特征量提取处理得到的多个特征值的特征值群中选择的至少一个,该全连接输出值是从包含通过上述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个,在从上述特征值群和上述全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值。
在此,特征值是能够通过各滤波器得到的特征量所包含的值中的、能够与通过同分层的其它滤波器得到的特征量进行比较的代表性的值,作为该特征值可举出最大值或者平均值、中间值等。
作为这种设定路径,例如图6、图9中粗线所示,可举出以下的路径等:
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值连接的路径;
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的第二位的值连接的路径;
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值连接的路径;以及
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的第二位的值连接的路径。
另外,除此之外,作为上述设定路径,例如图7中粗线所示,可举出以下的路径等:
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值及第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值分别连接的路径;以及
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值及第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的第二位的值分别连接的路径。
并且,除此之外,作为上述设定路径,例如图8中粗线所示,可举出以下的路径等:
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的最大值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值及第二位的值分别连接的路径;以及
将从包含通过特征量提取处理得到的多个特征值的特征值群中选择的第二位的值与从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的最大值及第二位的值分别连接的路径。
例如在图6~图9中,设定路径提取单元例如提取将以下的特征值和全连接输出值连接的路径作为如上所述的设定路径,该特征值是从包含通过池化层P1的多个滤波器的处理得到的多个特征值的特征值群中选择的至少一个,该全连接输出值是从包含通过全连接层F1的多个单元的处理得到的多个全连接输出值的全连接输出值群中选择的至少一个,在从所述特征值群和所述全连接输出值群中的至少任一方中选择的值中,包含有选择源的值群所包含的多个值中的最大值。
除此之外,在本实施方式中,如图6~图9中粗线所示,设定路径提取单元在全连接层F中的全连接层F1与全连接层F2之间以及全连接层F2与全连接层F3之间也与在上述的池化层P1与全连接层F1之间提取设定路径同样地提取设定路径。
在全连接层F1与全连接层F2之间,设定路径提取单元如下地提取设定路径:使从特征值群和全连接输出值群中的至少任一方选择的值中包含有选择源的值群所包含的多个值中的最大值,从该特征值群选择的值是从包含通过全连接层F1的多个单元的处理得到的多个全连接输出值的全连接输出值群(第一全连接输出值群)中选择的至少一个,从该全连接输出值群选择的值是从包含通过全连接层F2的多个单元的处理得到的多个全连接输出值的全连接输出值群(第二全连接输出值群)中选择的至少一个。
在全连接层F2与全连接层F3之间,设定路径提取单元如下地提取设定路径:从特征值群和全连接输出值群中的至少任一方选择的值中包含有选择源的值群所包含的多个值中的最大值,从该特征值群选择的值是从包含通过全连接层F2的多个单元的处理得到的多个全连接输出值的全连接输出值群(第二全连接输出值群)中选择的至少一个,从该全连接输出值群选择的值是从包含通过全连接层F3的多个单元的处理得到的多个全连接输出值的全连接输出值群(第三全连接输出值群)中选择的至少一个。
此外,设定路径提取单元当然也可以提取除此以外的路径。
另外,在图5所示的卷积神经网络中,当池化层P1至全连接层F3的设定路径被决定时,其前级的从卷积层C1至池化层P1的设定路径被决定。
但是,在从卷积层C1至池化层P1的设定路径如上述的图3和图4那样是不被后级的设定路径来决定的路径的情况下,设定路径提取单元也可以在卷积层C1与卷积层C2之间、卷积层C2与池化层P1之间也与上述同样地提取设定路径。
在卷积层C1与卷积层C2之间,设定路径提取单元也可以如下地提取设定路径:在从第一特征值群和第二特征值群中的至少任一方选择的值中包含有选择源的值群所包含的多个值中的最大值,从该第一特征值群选择的值是从包含通过基于卷积层C1的多个滤波器的处理得到的多个特征值的特征值群(第一特征值群)中选择的至少一个特征值,从该第二特征值群选择的值是从包含通过基于卷积层C2的多个滤波器的处理得到的多个特征值的特征值群(第二特征值群)中选择的至少一个特征值。
在卷积层C2与池化层P2之间,设定路径提取单元也可以如下地提取设定路径:在从第二特征值群和第三特征值群中的至少任一方选择的值中包含有选择源的值群所包含的多个值中的最大值,从该第二特征值群选择的值是从包含通过基于卷积层C2的多个滤波器的处理得到的多个特征值的特征值群(第二特征值群)中选择的至少一个特征值,从该第三特征值群选择的值是从包含通过池化层P1的多个滤波器的处理得到的多个特征值的特征值群(第三特征值群)中选择的至少一个特征值。
关联单元将设定路径提取单元提取出的设定路径和用于将图像进行分类的分类相关联。
通过关联单元,多个设定路径分别与例如分类1、分类2、分类3、····这样的多个图像的分类中的某一个预先相关联。另外,根据该关联来制作分类数据。
接着,说明本实施方式的程序使计算机发挥功能的情况下的分类数据制作系统。
如图12所示,本实施方式的分类数据制作系统30被保存于计算机的控制部中。该分类数据制作系统30具备输入部31、特征量运算部33、设定路径提取单元35、关联部37以及存储部39。
特征量运算部33、设定路径提取单元35以及关联部37被保存于计算机的CPU等控制部中,存储部被保存于服务器、硬盘等中。
输入部31具有被输入要进行分类的图像的图像数据、并将所输入的图像数据输入到特征量运算部33的功能。
特征量运算部33具有对从输入部31输入的图像数据执行卷积神经网络中的特征量提取处理和全连接处理的功能。在本实施方式中,特征量运算部33执行卷积处理和池化处理来作为特征量提取处理。
在本实施方式中,特征量运算部33具有与上述的特征量运算部13相同的功能,执行相同的处理。
设定路径提取单元35具有从特征量运算部33的处理结果如上所述那样提取设定路径的功能。
关联部37具有将通过设定路径提取单元35提取出的设定路径与上述的分类相关联来制作分类数据的功能。
存储部39将制作出的分类数据以表格等来存储。
本实施方式的分类数据制作系统30通过本实施方式的分类数据制作程序如上述那样对输入的图像数据执行特征量运算部33的特征量提取处理和全连接处理、设定路径提取单元35的设定路径提取处理、关联部37的设定路径与分类的关联以及存储部39的分类数据的存储。
如上所述,本实施方式的分类数据制作用程序是用于制作图像分类装置用的分类数据的分类数据制作程序,该分类数据制作程序使至少一个计算机作为以下单元来发挥功能:
网络,其构筑为对所输入的图像数据执行特征量提取处理和全连接处理;
设定路径提取单元,其提取将以下的特征值和全连接输出值连接的路径来作为设定路径,该特征值是从包含通过上述网络中的上述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过上述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从上述特征值群和上述全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值;以及
关联单元,其将提取出的设定路径和用于将图像进行分类的分类相关联。
根据这样的结构,能够提取将以下特征值和全连接输出值连接的路径来作为设定路径,将提取出的设定路径和用于将图像进行分类的分类相关联,该特征值是从包含通过网络中的特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从特征值群和全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值。
由此,得到能够足够高精度地将图像进行分类的分类数据。
因而,通过使用该分类数据能够足够高精度地将图像进行分类。
接着,说明使用了分类数据制作系统的分类数据制作方法,该分类数据制作系统通过本实施方式的分类用数据制作程序发挥功能。
本实施方式的分类数据制作方法是使用上述的本实施方式的分类数据制作系统来实施的。
具体地说,本实施方式的分类数据制作方法是制作图像分类装置用的分类数据的方法,包括:
网络处理工序,对所输入的图像数据执行特征量提取处理和全连接处理;
设定路径提取工序,提取将以下特征值和全连接输出值连接的路径来作为设定路径,该特征值是从包含通过上述网络处理工序中的上述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过上述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从上述特征值群和上述全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值;以及
关联工序,其将提取出的设定路径与用于将图像进行分类的分类相关联。
在网络处理工序中,通过上述的特征量提取单元和全连接处理单元来实施特征量提取处理和全连接处理。
在设定路径提取工序中,通过上述的设定路径提取单元来如上所述那样提取设定路径。
在关联工序中,通过上述的关联单元将如上所述那样提取的设定路径与用于将图像进行分类的分类相关联来制作分类数据。
根据这样的本实施方式的分类数据制作方法,能够提取将以下特征值和全连接输出值连接的路径来作为设定路径,将提取出的设定路径与用于将图像进行分类的分类相关联,该特征值是从包含通过网络中的特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值,该全连接输出值是从包含通过全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值,在从特征值群和全连接输出值群中的至少任一方选择的值中,包含有选择源的值群所包含的多个值中的最大值。
由此,得到能够足够高精度地将图像进行分类的分类数据。
因而,通过使用该分类数据能够足够高精度地将图像进行分类。
如以上那样,根据本实施方式,提供一种能够足够高精度地进行分类的图像分类程序、分类数据制作程序以及分类数据制作方法。
本实施方式的图像分类程序、分类数据制作程序以及分类数据制作方法如上所述,但是本发明不限于上述实施方式,能够适当变更设计。
以下,参照实施例来更详细地说明本发明,但是本发明不限于这些实施例。
[实施例]
使用对薄片进行拍摄得到的图像数据来作为图像数据,为了将图像分类到下述的缺陷中的某一个,在如图10所示的图像分类系统中构筑了卷积神经网络,该卷积神经网络使用教育用数据来执行如图5所示的特征量提取处理和全连接处理。
分类(Class)1:褶皱(凹凸)
分类(Class)2:破碎
分类(Class)3:点状缺陷
作为教育用数据,使用了具有分类1的缺陷的996张图像数据、具有分类2的缺陷的1000张图像数据、具有分类3的缺陷的144张图像数据。
而且,将与教育用数据分开准备的具有分类1的缺陷的500张图像数据、具有分类2的缺陷的4802张图像数据、具有分类3的缺陷的298张图像数据作为评价用图像数据,对这些评价用图像数据,使用构筑的卷积神经网络进行分类来调查了分类精度。
(比较例1)
在构筑的卷积神经网络中,以通过从池化层P1的池化处理至全连接层F3的全连接处理为止的全部路径的路径来执行各处理,最终将全连接层F3的全连接处理以分类(Class)1~3的相关值(三个合计为1的相关值)来输出。
结果表示在表1中。
[表1]
分类 | 相关值 |
Class 1(凹凸) | 0.86 |
Class 2(破碎) | 0.07 |
Class 3(点状缺陷) | 0.06 |
在表1中,当将阈值设为0.5来再次对评价用数据进行分类处理时,分类2漏检的图像数据(本来应该被分类到分类2但没有被分类到分类2的图像数据)在4802张中是9张,分类精度是99.43%。
(实施例1)
在构筑的卷积神经网络中使用分类1~3的各教育用数据来分别执行一次特征量提取处理和全连接处理,提取将使用各分类的教育数据时的特征量提取处理的特征值的最大值和全连接处理的全连接输出值的最大值连接的路径来作为设定路径,将提取出的路径与对应的各分类分别相关联来设为分类数据。
更具体地说,如上述的图6中粗线所示,关于各分类1~3,提取将通过池化层P1的处理得到的多个特征值(特征值群)中的最大值和通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值连接、且将通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值和通过全连接层F2的处理得到的多个全连接输出值(全连接输出值群)中的最大值连接的路径作为设定路径。
将这样得到的分类数据保存到图像分类系统的存储部。
此外,在图5中卷积层C1是最初的卷积层,因此分类间没有特征量的差异,另外在卷积层C1、卷积层C2、池化层P1中通过相同的路径这点是明确的,全连接层F3是最终的层,因此如果将层P1、层F1、层F2连接的路径被决定,则将这些层C1、C2、P1、F3连接的路径相应地被决定。
在该点中,提取出的设定路径与将特征提取处理的全部的各处理的最大值连接的路径相当。
如下述式(1)那样定义这样连接最大值的路径。在下述式(1)中,MAX()表示成为最大值的滤波器编号(处理编号)和单元编号(处理编号)。
Route=[Max(C1),Max(C2),Max(P1),Max(F1),Max(F2),Max(F3)] (1)
例如,图5的粗线所示的路径是Route[1,2,2,3,2,1],这表示路径通过层C1(1)、层C2(2)、层P1(1)、层F1(3)、层F2(2)、层F3(1)。
而且,向图像分类系统输入评价用图像数据来执行特征量提取处理和全连接处理,调查所输入的评价用图像数据被分类到分类1~3中的哪一个。
在图13中示出结果。在图13中,横轴表示Route的图案,纵轴表示度数。
此外,在图13的横轴中的F1层中,上段表示10的位、下段表示1的位。
另外,在图13中,在各层的滤波器和单元的处理结果的值为零的情况下,将识别编号设为“0”。即,哪个滤波器和单元都没有被激活,这意味着通过哪个滤波器和单元都没有差异。
如图13所示,路径存在28个模式,确认出按各分类而追寻特定的路径。
另外,在从层P1至层F2的路径中的Route[2,13,3]、Route[4,21,3]以及Route[4,21,3]中,可知分类1和分类3追寻相同的路径。
因此,为了抑制该重复造成的漏检,将上述28个路径中的、只判定为分类1的路径设为与分类1相关联的设定路径,将只判定为分类3的路径设为与分类3相关联的设定路径,将除此以外的路径设为与分类2相关联的设定路径。
将这样决定的分类数据保存到存储部,通过图像分类系统对评价用数据再次执行特征量提取处理和上述识别处理,研究所输入的评价用图像数据被分类到分类1~3中的哪一个。
其结果,应该被分类到分类2的4802张图像数据中被漏检的图像数据是4张。
并且除了连接从上述的层P1至层F2的路径的各最大值的路径以外,也设定从所述层P1至层F2的路径使得针对从层P1至层F2中的层F1、层F2连接最大值、针对层P1分别连接第二位和第三位的值。其结果,被漏检的图像数据成为零。此时的分类精度是98.88%。即,具有与比较例1相同程度的分类精度且能够不发生漏检(漏检为零)地进行分类。
(实施例2)
在构筑的卷积神经网络中使用分类1~3的各教育用数据来分别执行一次特征量提取处理和全连接处理,提取将使用各分类的教育数据时的特征量提取处理的最大值及第二位的值与全连接处理的最大值分别连接的路径,将提取出的路径与对应的各分类相关联地设为设定路径。
具体地说,如上述的图7中粗线所示,关于各分类1~3,提取将通过池化层P1的处理得到的多个特征值(特征值群)中的最大值及第二位的值与通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值分别连接、且将通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值和通过全连接层F2的处理得到的多个全连接输出值(全连接输出值群)的最大值连接的路径来作为设定路径。
除此以外与实施例1同样地,向图像分类系统输入评价用图像数据来执行特征量提取处理和全连接处理,调查所输入的评价用图像数据被分类到分类1~3中的哪一个。
在图14中示出结果。
(实施例3)
在构筑的卷积神经网络中使用分类1~3的各教育用数据来分别执行一次特征量提取处理和全连接处理,提取将使用各分类的教育数据时的特征量提取处理的特征值的最大值与全连接处理的全连接输出值的最大值及第二位的值分别连接的路径,将提取出的路径与对应的各分类相关联地设为设定路径。
具体地说,如上述的图8中粗线所示,关于各分类1~3,提取将通过池化层P1的处理得到的多个特征值(特征值群)中的最大值与通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值及第二位的值分别连接、且将通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值及第二位的值与通过全连接层F2的处理得到的多个全连接输出值(全连接输出值群)中的最大值分别连接的路径来作为设定路径。
除此以外与实施例1同样地,向图像分类系统输入评价用图像数据来执行特征量提取处理和全连接处理,调查所输入的评价用图像数据被分类到分类1~3中的哪一个。
在图15中示出结果。
(实施例4)
在构筑的卷积神经网络中使用分类1~3的各教育用数据来分别执行一次特征量提取处理和全连接处理,提取将使用各分类的教育数据时的特征量提取处理的特征值的最大值与全连接处理的全连接输出值的最大值及第二位的值分别连接的路径,将提取出的路径与对应的各分类相关联地设为设定路径。
具体地说,如上述的图9中粗线所示,关于各分类1~3,提取将通过池化层P1的处理得到的多个特征值(特征值群)中的最大值与通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值连接、且将通过全连接层F1的处理得到的多个全连接输出值(全连接输出值群)中的最大值与通过全连接层F2的处理得到的多个全连接输出值(全连接输出值群)的最大值及第二位的值分别连接的路径来作为设定路径。
除此以外与实施例1同样地,向图像分类系统输入评价用图像数据来执行特征量提取处理和全连接处理,调查所输入的评价用图像数据被分类到分类1~3中的哪一个。
在图16中示出结果。
如图13~图16所示,与实施例1相比,实施例2~4的被分类为多个分类的路径减少。
如以上那样对本发明的实施方式和实施例进行了说明,但是一开始也计划到适当组合各实施方式和实施例的情形。另外,应认为本次公开的实施方式和实施例的所有方面都是例示而并非是限制性的。本发明的范围通过权利要求书而非上述的实施方式和实施例来表示,意图包含与权利要求书均等的意思和范围内的所有变更。
本申请主张基于2017年5月26日申请的日本国特愿2017-104449号的优先权,通过引用来组入该申请。
Claims (5)
1.一种图像分类系统,其用于将所输入的图像进行分类,该图像分类系统具备:
卷积神经网络;
存储部;
路径提取单元,其对所述卷积神经网络中的处理路径进行提取;以及
判断部,其判断图像的分类,
其中,所述卷积神经网络具有:
特征量提取层,其对所输入的图像数据执行特征量提取处理;以及
多个全连接层,其执行全连接处理,
所述特征量提取层具有:
多个卷积层,其对所输入的图像执行卷积处理来作为所述特征量提取处理,并输出该卷积处理的处理结果;以及
多个池化层,其对由所述卷积层得到的处理结果执行池化处理来作为所述特征量提取处理,并输出该池化处理的处理结果,
所述多个卷积层各自具有多个滤波器,
所述多个池化层各自具有多个滤波器,
所述多个全连接层各自具有多个单元,
所述路径提取单元构成为:在被输入了要分类的图像的所述卷积神经网络中执行了特征量提取处理和全连接处理时,提取将在所述多个池化层的各个池化层中输出了从包括由所述多个滤波器分别得到的多个特征值的特征值群中选择的一个特征值的滤波器、在所述多个卷积层的各个卷积层中输出了从包括由所述多个滤波器分别得到的多个特征值的特征值群中选择的一个特征值的滤波器、以及在所述多个全连接层的各个全连接层中输出了从包括由所述多个单元分别得到的多个全连接输出值的全连接输出值群中选择的一个全连接输出值的单元连接的提取路径,
所述存储部中存储多个与分类相关联的设定路径,所述设定路径是在所述卷积神经网络中使用教育用数据执行了特征量提取处理和全连接处理时将在所述多个池化层的各个池化层中输出了从包括由所述多个滤波器分别得到的多个特征值的特征值群中选择的一个特征值的滤波器、在所述多个卷积层的各个卷积层中输出了从包括由所述多个滤波器分别得到的多个特征值的特征值群中选择的一个特征值的滤波器、以及在所述多个全连接层的各个全连接层中输出了从包括由所述多个单元分别得到的多个全连接输出值的全连接输出值群中选择的一个全连接输出值的单元连接的路径,
所述判断部构成为:对由所述路径提取单元提取出的提取路径和与分类相关联的预先设定的多个设定路径进行比较,将与一致的路径相关联的分类设为所述所输入的图像的分类。
2.根据权利要求1所述的图像分类系统,其特征在于,
所述路径提取单元是提取以下路径的单元,该路径将从通过所述卷积神经网络中的所述特征量提取处理得到的多个特征值中选择的至少一个特征值与从通过所述全连接处理得到的多个全连接输出值中选择的至少一个全连接输出值连接,
被选择的所述特征值和被选择的所述全连接输出值中的至少一方包含有最大值。
3.根据权利要求1所述的图像分类系统,其特征在于,
所述路径提取单元是提取以下路径的单元,该路径将从包含通过所述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过所述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接,
从所述特征值群和所述全连接输出值群中的至少任一方选择至少两个值,
该两个值包含有选择源的值群所包含的多个值中的最大值。
4.根据权利要求2所述的图像分类系统,其特征在于,
所述路径提取单元是提取以下路径的单元,该路径将从包含通过所述特征量提取处理得到的多个特征值的特征值群中选择的至少一个特征值与从包含通过所述全连接处理得到的多个全连接输出值的全连接输出值群中选择的至少一个全连接输出值连接,
从所述特征值群和所述全连接输出值群中的至少任一方选择至少两个值,
该两个值包含有选择源的值群所包含的多个值中的最大值。
5.一种存储介质,其特征在于,存储有使至少一个计算机作为根据权利要求1~4中的任一项所述的图像分类系统而发挥功能的程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017104449A JP6726641B2 (ja) | 2017-05-26 | 2017-05-26 | 画像分類プログラム、分類データ作成プログラム、及び、分類データ作成方法 |
JP2017-104449 | 2017-05-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108932523A CN108932523A (zh) | 2018-12-04 |
CN108932523B true CN108932523B (zh) | 2024-04-09 |
Family
ID=64401268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810449629.2A Active CN108932523B (zh) | 2017-05-26 | 2018-05-11 | 图像分类以及分类数据制作系统和方法、存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11410409B2 (zh) |
JP (1) | JP6726641B2 (zh) |
KR (1) | KR20180129640A (zh) |
CN (1) | CN108932523B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
US10387740B2 (en) * | 2016-10-10 | 2019-08-20 | Gyrfalcon Technology Inc. | Object detection and recognition apparatus based on CNN based integrated circuits |
US10366302B2 (en) * | 2016-10-10 | 2019-07-30 | Gyrfalcon Technology Inc. | Hierarchical category classification scheme using multiple sets of fully-connected networks with a CNN based integrated circuit as feature extractor |
CN108875904A (zh) * | 2018-04-04 | 2018-11-23 | 北京迈格威科技有限公司 | 图像处理方法、图像处理装置和计算机可读存储介质 |
CN111091144B (zh) * | 2019-11-27 | 2023-06-27 | 云南电网有限责任公司电力科学研究院 | 基于深度伪孪生网络的图像特征点匹配方法及装置 |
US11694319B2 (en) | 2020-04-10 | 2023-07-04 | Samsung Display Co., Ltd. | Image-based defects identification and semi-supervised localization |
KR102517633B1 (ko) * | 2020-12-16 | 2023-04-04 | 한국광기술원 | 광섬유의 융착접속 분석 장치 및 그 분석 방법 |
JP2022114332A (ja) * | 2021-01-26 | 2022-08-05 | 日東電工株式会社 | クラス判定システム、クラス判定方法及びクラス判定プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102741882A (zh) * | 2010-11-29 | 2012-10-17 | 松下电器产业株式会社 | 图像分类装置、图像分类方法、程序、记录介质、集成电路、模型制作装置 |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN106408015A (zh) * | 2016-09-13 | 2017-02-15 | 电子科技大学成都研究院 | 基于卷积神经网络的岔路口识别及深度估计方法 |
CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6582416B2 (ja) * | 2014-05-15 | 2019-10-02 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP6414458B2 (ja) | 2014-12-17 | 2018-10-31 | 株式会社デンソー | 演算処理装置 |
US9672445B2 (en) * | 2015-08-03 | 2017-06-06 | Yahoo! Inc. | Computerized method and system for automated determination of high quality digital content |
US9767381B2 (en) * | 2015-09-22 | 2017-09-19 | Xerox Corporation | Similarity-based detection of prominent objects using deep CNN pooling layers as features |
US10402628B2 (en) * | 2016-10-10 | 2019-09-03 | Gyrfalcon Technology Inc. | Image classification systems based on CNN based IC and light-weight classifier |
US10229347B2 (en) * | 2017-05-14 | 2019-03-12 | International Business Machines Corporation | Systems and methods for identifying a target object in an image |
-
2017
- 2017-05-26 JP JP2017104449A patent/JP6726641B2/ja active Active
-
2018
- 2018-05-11 KR KR1020180054177A patent/KR20180129640A/ko not_active Application Discontinuation
- 2018-05-11 CN CN201810449629.2A patent/CN108932523B/zh active Active
- 2018-05-22 US US15/985,950 patent/US11410409B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102741882A (zh) * | 2010-11-29 | 2012-10-17 | 松下电器产业株式会社 | 图像分类装置、图像分类方法、程序、记录介质、集成电路、模型制作装置 |
CN106227851A (zh) * | 2016-07-29 | 2016-12-14 | 汤平 | 基于深度卷积神经网络端对端的通过分层深度搜索的图像检索方法 |
CN106408015A (zh) * | 2016-09-13 | 2017-02-15 | 电子科技大学成都研究院 | 基于卷积神经网络的岔路口识别及深度估计方法 |
CN106529578A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于深度学习的车辆品牌型号精细识别方法与系统 |
Also Published As
Publication number | Publication date |
---|---|
US20180341829A1 (en) | 2018-11-29 |
JP2018200530A (ja) | 2018-12-20 |
US11410409B2 (en) | 2022-08-09 |
CN108932523A (zh) | 2018-12-04 |
JP6726641B2 (ja) | 2020-07-22 |
KR20180129640A (ko) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108932523B (zh) | 图像分类以及分类数据制作系统和方法、存储介质 | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
CN111402226A (zh) | 一种基于级联卷积神经网络的表面疵点检测方法 | |
CN109671058B (zh) | 一种大分辨率图像的缺陷检测方法及系统 | |
CN106846316A (zh) | 一种gis内部典型缺陷图像自动识别方法 | |
CN111382785B (zh) | 一种gan网络模型及实现样本自动清洗、辅助标记的方法 | |
CN103927534A (zh) | 一种基于卷积神经网络的喷码字符在线视觉检测方法 | |
CN110009622B (zh) | 一种显示面板外观缺陷检测网络及其缺陷检测方法 | |
CN111612747B (zh) | 产品表面裂缝快速检测方法及检测系统 | |
CN110020691B (zh) | 基于卷积神经网络对抗式训练的液晶屏幕缺陷检测方法 | |
JP2017054331A (ja) | 画像分類方法、分類器の構成方法および画像分類装置 | |
CN114998324A (zh) | 半导体晶圆缺陷检测模型的训练方法及装置 | |
CN113379686A (zh) | 一种pcb板缺陷检测方法及装置 | |
CN114255212A (zh) | 一种基于cnn的fpc表面缺陷检测方法及其系统 | |
JP2023123387A (ja) | 欠陥検出方法およびシステム | |
Lien et al. | Product surface defect detection based on deep learning | |
CN115239737A (zh) | 基于图像处理的瓦楞纸缺陷检测方法 | |
CN114155186B (zh) | 基于无监督学习的缺陷检测系统及方法 | |
CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
US20240119584A1 (en) | Detection method, electronic device and non-transitory computer-readable storage medium | |
CN110033443B (zh) | 一种显示面板缺陷检测方法 | |
CN115953387A (zh) | 一种基于深度学习的射线图像焊缝缺陷检测方法 | |
CN115797324A (zh) | 一种玻璃瓶口缺陷检测方法、装置、电子设备以及存储介质 | |
CN112686843B (zh) | 一种基于神经网络的木板缺陷检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |