CN111291766A - 利用深度学习的图像识别方法及服务器 - Google Patents
利用深度学习的图像识别方法及服务器 Download PDFInfo
- Publication number
- CN111291766A CN111291766A CN201910181152.9A CN201910181152A CN111291766A CN 111291766 A CN111291766 A CN 111291766A CN 201910181152 A CN201910181152 A CN 201910181152A CN 111291766 A CN111291766 A CN 111291766A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- image recognition
- learning
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013135 deep learning Methods 0.000 title description 16
- 238000007689 inspection Methods 0.000 claims abstract description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 238000013145 classification model Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
根据本发明的一个实施例，提供一种用于检查对象的良否判断的图像识别方法，其包括：在一个以上的通道空间替换配置针对检查对象所获取的N个图像而生成新的图像的步骤；以及将上述新的图像按各通道分离并通过针对所获取的N个图像的学习而提取特征值的步骤。
Description
技术领域
本发明涉及一种利用深度学习(Deep Learning)的图像识别方法及服务器。
背景技术
最近，在各种工艺中，应用有在拍摄检查对象之后基于所拍摄的图像进行良否(良品与否)判断的过程(process)。
过去，针对检查对象通过所拍摄的一张图像找出特征，并将相当于特征的像素值以用户所定义的方案(recipe)来与基准值比较而判断检查对象的良否。
根据这种方法，即使将该所获取的图像与基准值比较，用户也要再一次进行检查，且不可能进行考虑到所获取的各图像的相关性的不良类型分类。
另外，上述基准值也只能适用用户的主观判断，因此，针对检查对象的良否判断的可靠性只能会降低。
因此，实际情况是在检查对象的良否判断中，需要基于所获取的图像之间相关性的自动化的判断技术。
发明内容
(发明所要解决的问题)
本发明旨在解决前面所述的现有技术的问题，其目的在于，提供一种自动化的基于图像识别的良否判断方法。
本发明的另一目的在于，提供一种利用基于多个图像之间相关性的学习方法而提高准确性的良否判断方法。
本发明的又一目的在于，能够生成针对新类型的不良也稳定(robust)的良否判断模型。
本发明的又一目的在于，使检查对象不良检测错误最小化而提高生产率。
本发明的各目的并不限定于以上所提及的目的，通过以下记载将会清楚地理解未被提及的其它各目的。
(解决问题所采用的措施)
根据旨在达到上述的目的的本发明的一实施例，提供一种图像识别方法，其用于检查对象的良否判断，该方法包括：在一个以上的通道空间替换配置针对检查对象获取的N个图像而生成新的图像的步骤；以及将上述新的图像按各通道分离并通过针对所获取的N个图像的学习而提取特征值的步骤。
上述方法在上述生成新的图像的步骤之后，能够进一步包括使上述新的图像变形而生成多个变形图像的步骤。
上述生成变形图像的步骤能够包括生成使上述新的图像以各种角度旋转的图像以及使所旋转的各图像左右对称地变换的多个变形图像的步骤。
上述提取特征值的步骤能够包括将上述多个变形图像分别按各通道分离而执行学习的步骤。
上述通道空间能够由N个构成。
针对上述检查对象所获取的N个图像可以是灰度图像。
上述N可以是3。
上述生成新的图像的步骤能够包括将针对检查对象所获取的具有互不相同的宽度和高度的N个图像堆叠在N通道空间而生成具有特定宽度和高度的新的图像的步骤。
上述提取特征值的步骤能够包括：在一个以上的主神经网络结构内定义从卷积神经网络的步骤；以及针对上述按各通道分离而获取的N个图像适用各自的从卷积神经网络的步骤。
上述提取特征值的步骤能够进一步包括重复执行重新堆叠(stack)或连接(concat)因适用从卷积神经网络而提取的特征值的过程的步骤。
上述提取特征值的步骤能够进一步包括在适用从卷积神经网络时执行反向传播过程的步骤。
根据本发明的另一实施例，提供一种图像识别服务器，其用于检查对象的良否判断，该图像识别服务器包括：图像生成部，其在一个以上的通道空间替换配置针对检查对象获取的N个图像而生成新的图像；以及图像学习部，其将上述新的图像按各通道分离并通过针对说获取的N个图像的学习而提取特征值。
上述图像识别服务器能够进一步包括使上述新的图像变形而生成多个变形图像的学习数据生成部。
上述学习数据生成部能够生成使上述新的图像以各种角度旋转的图像以及使所旋转的各图像左右对称地变换的多个变形图像。
上述图像学习部能够将上述多个变形图像分别按各通道分离而执行学习。
上述通道空间能够由N个构成。
针对上述检查对象所获取的N个图像可以是灰度图像。
上述N可以是3。
上述图像生成部能够将针对检查对象所获取的具有互不相同的宽度和高度的N个图像堆叠在N通道空间而生成具有特定宽度和高度的新的图像。
上述图像学习部能够在以个以上的主神经网络结构内定义从卷积神经网络，并针对上述按各通道分离而获取的N个图像适用各自的从卷积神经网络而提取特征值。
上述图像学习部能够重复执行重新堆叠(stack)或连接(concat)因适用从卷积神经网络而提取的特征值的过程。
上述图像学习部能够在适用从卷积神经网络时执行反向传播过程。
(发明的效果)
根据本发明的一实施例，在生成用于不良类型分类模型生成的图像时，将N个灰度图像替换到N通道空间，并在图像变换之后重新按各通道分离相应各图像而同时进行学习，因此在学习时能够进行基于N个图像之间关联性的学习，且能够提高用于进行良否判断的特征值提取的准确性。
另外，根据本发明的实施例，使生成的图像人为地变形而追加生成多个图像，并由此进行学习，因此，能够生成针对新类型的不良也稳定的模型。
另一方面，根据本发明的实施例，使检查对象不良检测错误最小化，从而能够提高生产率。
本发明的效果并不限定于上述的效果，应当理解为包括从本发明的详细说明或权利要求书中所记载的发明的构成所能够推论出的所有效果。
附图说明
图1是概略地示出了本发明的一实施例的基于深度学习的图像识别系统的构成的图。
图2是用于说明一实施例的图像识别服务器的构成的图。
图3是示出了按照一实施例所获取的灰度图像的一个例子的图。
图4是用于说明一实施例的三通道空间的图。
图5是用于说明按照一实施例三个灰度图像由三通道空间所替换的过程的图。
图6示出了按照一实施例三个灰度图像由三通道空间所替换而生成的新的图像的一个例子。
图7是示出了按照一实施例由三通道空间所替换的图像的变形例的图。
图8是用于说明一实施例的图像学习过程的图。
图9是本发明的一实施例和已有的方式的比较图表。
具体实施方式
以下将参照附图而说明本发明。然而，本发明能够以各种互不相同的方式具体实现，因此，并不是限定于这里所说明的实施例。而且，为了清楚地说明本发明起见，附图中省略了与说明无关的部分，且在整个说明书中针对相似的部分标注了相似的附图标记。
在整个说明书中，在提及到某一部分与另一部分“连接”时，这不仅包括“直接连接”的情况，还包括在两者之间将另一部件置于其间而“间接连接”的情况。另外，在提及到某一部分“包括”某一构成要素时，除非有特别相反的记载，其就这意味着能够进一步具备另一构成要素而非排除另一构成要素。
以下将参考附图而详细地说明本发明的实施例。
图1是概略地示出了本发明的一实施例的基于深度学习的图像识别系统的构成的图。
参照图1，本发明的一实施例的基于深度学习的图像识别系统包括：检查设备100、图像识别服务器200以及用户终端300。
检查设备100向检查对象照射光而获取多个图像。光能够以检查对象为基准以各种角度照射，例如，能够照射激光。作为参考，检查对象可以是玻璃基板、LCD、LED、OLED、QLED、半导体用基板或晶片(wafer)等，但当然并不限定于此。
因从各种角度照射的光而获取互不相同的检查对象的图像，且所获取的多个图像传输至图像识别服务器200。
图像识别服务器200将从检查设备100传输的N个图像堆叠在一个以上的通道(Channel)空间、优选为堆叠在N通道(N维)空间而生成出新的图像。其后，使所生成的图像人为地变形而使数据扩展。图像的数量因数据扩展而多出M倍，而由此能够生成针对新类型的不良也稳定的模型。图像识别服务器200在利用神经网络结构而学习所生成的新的图像之后生成出图像分类模型。
用户终端300与图像识别服务器200连接而确认图像分类模型，并能够接收通过图像分类模型而所执行的不良与否判断的结果。用户终端300能够包括如移动电话、智能手机、个人数字助理(Personal Digital Assistant，PDA)、便携式多媒体播放器(PortableMultimedia Player，PMP)、平板电脑等的通过无线通信网而能够与外部服务器连接的所有种类的通信装置，除此之外，还能够包括如台式计算机、平板电脑、膝上型计算机、包括机顶盒的交互式网络电视(IPTV)等的通过网络而能够与外部服务器连接的通信装置。
图2是用于说明一实施例的图像识别服务器的构成的图。
参照图2，图像识别服务器200包括：图像生成部210、学习数据生成部220、图像学习部230。
图像生成部210、学习数据生成部220、图像学习部230可以是能够与外部装置进行通信的程序模块或硬件。这种程序模块或硬件能够以操作系统、应用程序模块及其它程序模块的形式包括于图像识别服务器200或能够与其进行通信的其它装置，从物理上讲，能够存储于各种公知的记忆装置。另一方面，这些程序模块或硬件包括本发明执行将在下面叙述的特定任务或执行特定抽象数据类型的例程(routine)、子例程(subroutine)、程序、对象(object)、组件(component)、数据结构等，但并不限定于此。
图像生成部210将从检查设备100接收到的N个图像堆叠在N通道空间(channelspace)。例如，能够将三个图像堆叠在三通道空间而生成新的图像。如前面所述，检查设备100在针对检查对象以各种角度照射光之后利用拍摄装置而能够获取多个图像。假设检查对象为玻璃基板，则根据投影或透射激光的方法，通过折射而示出的影子的模样、大小、位置、明暗等会有所不同，通过改变上述投影或透射的方法就能够获取互不相同的三个折射影子图像。所获取的图像可以是多个灰度(Grayscale)图像，这种图像传输至图像识别服务器200。
灰度图像是以0～255值来表示了黑白的图像，例如，可以是如图3中所示那样在5×5的矩阵(matrix)中填充了0～255的值的形态。
图像生成部210能够将针对特定检查对象而获取的N个灰度图像堆叠在N通道空间而生成新的图像，若所接收的灰度图像为如图3中所示的形态，则在一通道内能够放置具有5×5的大小的灰度图像。
另一方面，所谓N通道空间是指如图4中所示那样能够以通道×宽度×高度的值来表示的空间。
例如，RGB(红绿蓝)彩色图像能够以0～255的数值表示总共三个通道，在该情况下，能够包括R通道、G通道、B通道各一个。
假设接收了作为检查对象的图像的三个灰度图像，则如图5中所示那样各自能够被替换而放置于R通道、G通道、B通道即总共三个通道，这样一来，灰度图像能够由三通道空间所替换。
以下，假设灰度图像为三个且这些三个灰度图像由三通道空间所替换的情况进行说明，但灰度图像的个数以及通道的个数可以不同于此。
图6示出了三个灰度图像由三通道空间所替换而生成的新的图像的一个例子。
参照图6，三个灰度图像能够具有互不相同的宽度和高度，而三个灰度图像(Original Image，原始图像)由三通道空间所替换，从而能够生成具有一定高度和宽度的新的图像(Image Stack to 3Channel，图像堆叠于三通道)。
学习数据生成部220执行使由图像生成部210所生成的图像变形而生成新的学习数据的功能。
图7示出了由图像生成部210所生成的图像的各种变形例。
参照图7，使由图像生成部210所生成的图像(Original Image)旋转90度、180度、270度，从而能够进一步生成三个图像，并将原图像和上述新生成的三个图像分别变换为左右对称图像，从而能够进一步追加生成四个图像。即、通过上述过程能够进一步生成总共七个图像。
学习数据生成部220以如上所述的方式旋转并对称变换图像，从而能够生成出N倍(在上述例子中为八倍)之多的图像。
图像学习部230执行通过神经网络结构来学习由学习数据生成部220所生成的图像的功能。由学习数据生成部220所生成的图像是使由图像生成部210所生成的图像旋转或对称变换的图像，因此可以是由三通道构成的图像。因此，能够使由学习数据生成部220所生成的三通道图像分离到各自的通道。
本发明采用作为机器学习(Machine Learning)的一种的利用了深度学习(DeepLearning)技术的学习方法，而机器学习是人工智能的一个领域，是从模式识别和计算机学习理论的研究发展而来的领域。
机器学习将周围环境用作学习要素而改进知识库。利用改进的知识库而执行特定工作，且执行工作期间所获得的信息重新反映于学习要素中。机器学习是一种以这种方式研究并构建基于经验性数据进行学习并执行预测且提高自身性能的系统以及用于该系统的算法(algorism)的技术。机器学习的各算法为了基于输入数据导出预测或决策而使用构建特定模型的方式。
机器学习根据学习策略而能够分类为记忆学习和直接赋予新的知识的方式、监督学习方式、通过类比的学习方式、归纳学习方式等。
记忆学习和直接赋予新的知识的方式并不需要推论或知识的转换。作为这种学习方式的变形有：通过外部客体或程序而构建和变更的学习方式、仅凭针对给出的事实或数据的记忆进行学习而无需用于输入信息的推论的方式等。
监督学习方式是以内部表示技法来变换所输入的各信息，并新的信息与已有的原始知识集成的方式。在外部为了增加机器学习系统的知识，将各信息适当地组合而赋予给机器学习系统。为了将各种监督转换为执行程序需经过：请求监督的请求步骤；将外部的监督变换为内部表示(internal expression)的解析步骤；为了减少监督的级别与执行要素所适用的级别的差异而变换为运算符的运算符转化步骤；合并已有的知识和新的知识的合并步骤；以及评价新做成的知识的评价步骤。
类比学习方式是转换或增加已存在的信息而习得新的事实的方式，是在知识的转换过程中导出针对所期望的新的概念或技术的强相似性并将其在新的状况下有效地利用的方式。将已编写的的计算机程序转换为与原来设计不同地运行的程序时利用这种类比学习方式。这是比记忆学习或监督学习方式需要更多的推论的方式。
归纳学习方式在针对某种概念给出了良好地说明该概念的各例子(正例，positive example)和否定该概念的各例子(反例，counterexample或negative example)的集合时，排除各反例的性质，并且推论出良好地描述所有正例的性质的一般性概念描述。该学习方式是在人工智能领域研究最多的方式。推论所需的努力远多于监督学习方式，如果不是从外部给出一般性概念，则推论所需的努力将比通过类比的学习更多。该方式能够分类为从外部提供例子的方式、在系统内生成并提供例子的方式、从外部环境提供各例题的方式、仅利用肯定性例题的方式、以及将各肯定性/否定性例题均利用的方式等。
深度学习是基于神经网络的复杂度大的模型。已有的神经网络模型是使用一个隐含层(hidden layer)的比较简单的模型，与此相比，深度学习模型使用数量非常多的隐含层。在人脑的视觉皮质中也发现了V1、V2、V4等提取逐渐复杂的信息的一系列神经元层(neural layer)，深度学习是模拟了这种结构的机器学习模型。例如，已知的有：使用在下位层执行比较简单的信息处理(例如，线探测)且越是趋向上位层就提取越复杂的信息(例如，边缘检测和物体识别)的结构。
深度学习的核心创意可视为将过去为了解决复杂的问题而分离成特征提取和模式分类这两个步骤来解决问题的方式集成为一个步骤而解决问题的自动化。过去，首先通过数据预处理和加工而提取适于解决问题的各特征，之后将这些特征作为学习数据而训练模式分类器，即以这两个步骤解决了问题。深度学习结构采用将用于提取特征的预处理步骤包括于整个学习过程中而直接学习未被加工的原数据的集成的问题解决方式。就深度学习结构而言，尤其在如影像数据那样维度非常大且复杂的数据的情况下，机器能够将通过预处理过程也会丢失的信息自动提取而利用。即、连通过已有的预处理方法或所谓的特征工程(feature engineering)而被排除的解的区域也搜索，从而能够提取并利用更有用的信息。
之所以能够提高深度学习模型的成果，是由于能够以大规模数据来学习大规模模型之故，对此贡献巨大的就是本发明所采用的卷积(Convolution)神经网络。
卷积神经网络为了从如影像那样维度(dimensionality)非常高的数据中自动提取有用的特征和表示(expression)而使用卷积核(convolution kernels)，由此即使位置不同也能够具有相同的参数值，且通过减少参数的数量来能够减少须学习的维度的数量。使用卷积神经网络模型而防止过多的学习且能够提取有用的特征。
卷积神经网络设计成基本上解决监督学习问题，且聚焦于用来分类输入数据的辨别学习(discrimination learning)。其能够提高模式分类性能，且使用数量非常多的神经元层而能够自行构建复杂的特征和表示(expression)。卷积神经网络是在现有的神经网络所具有的隐含层(Hidden layer)的全连接层(Fully connected layer)追加卷积层(Convolution layer)和子采样层(Sub-sampling layer)并在结构上细化而提高了性能的神经网络。利用了这种卷积神经网络的深度学习示出远远优于其它技法的准确度。
卷积神经网络通过卷积而提取特征，并通过神经网络执行分类操作。在影像处理中，所谓卷积是指利用具有权重的掩模而进行影像处理，是在输入影像上覆上掩模之后，并将输入影像的像素值与掩模的权重分别相乘之后，将其乘积之和定为输出影像的像素值的过程。使用于影像处理的掩模称之为过滤器(filter)、窗口(window)或内核(kernel)。
在输入影像上覆上窗口之后(window)，一边将其移动一边计算卷积值，其目的是提取影像中的特征。在提取特征时针对多张执行提取，从而诱导良好地适应于如影像失真或变形等那样的环境的强韧的特征。
若重复进行卷积和子采样(sub sampling)，则剩下所提取的特征，若将其输入到神经网络的各输入端子，则执行学习。
深度学习所利用的卷积神经网络是在理解图像并由此提取高级别的抽象化的信息例如如特征值或生成具有新的质感的图像等的各种影像处理、在计算机视觉领域中所研究的人工神经网络。本发明采用监督学习(Supervised Learning)算法，并应用将卷积神经网络结构化而在神经网络内再插入下位神经网络的方式。
在本发明的实施例中，在一个主(master)神经网络(Deep Neural Network)结构内能够定义数量与通道个数(三个)相同的从(slave)卷积神经网络(Deep CNN：DeepConvolutional Neural Network)(参照图8)，从一个图像按各通道分离的各图像同时通过各自的从卷积神经网络而被学习，从而能够生成针对各通道图像的特征值。
就各通道分离而言，利用以通道轴为基准并按各轴切割N通道图像的方式执行。为了在学习时生成具有高的分类准确度的分类模型而能够进一步执行反向传播(Backpropagation)过程。具体地，在针对所分离的图像提取特征值并从相应特征值分类出何种不良时，在与正确答案不同的情况下为了重新找出正确答案而须减少错误，为此能够进一步执行反向传播过程。图8中以虚线表示的各箭头示出反向传播过程。
图像学习部230针对由上述的过程所生成的各特征值重复执行重新堆叠(stack)或连接(concat)的过程。
最终生成的各特征值能够重新由三通道空间所替换，通过如此地学习的结果就能够分类出检查对象的不良类型。
下表是针对玻璃基板的现有视觉检查方式和根据本发明的实施例的方式的试验了不良类型分类性能的结果。
[表1]
参照上表可知，根据本发明的实施例时，针对不良类型1的分类性能改进了28.7％(大致30％)，对于除此之外的不良类型而言，分类性能改进了10％以上。
另一方面，参照图9可知，根据本发明的实施例时，与已有的方式相比，针对成品的不良率整体上改善了1.5％。
根据本发明的实施例，在生成用于不良类型分类模型生成的图像时，将N个灰度图像替换到N通道空间，并在图像变换之后重新按各通道分离相应各图像而同时进行学习，因此在学习时能够进行基于N个图像之间关联性的学习，且能够提高用于进行良否判断的特征值提取的准确性。
另外，使生成的图像人为地变形而追加生成多个图像，并由此进行学习，因此，能够生成针对新类型的不良也稳定的模型。
另一方面，根据本发明的实施例，使检查对象不良检测错误最小化，从而能够提高生产率。
前面所述的本发明的说明只是为了例示而已，本领域普通技术人员可以理解，在不变更本发明的技术思想或必要特征的情况下能够容易地变形为其它具体方式。因此应当理解，以上所描述的各实施例在所有方面只是示例而非限定。例如，以单个的形态所说明的各构成要素还能够被分散而实施，相同地，以分散的形态所说明的各构成要素也能够以结合的方式实施。
本发明的范围由所附的权利要求书所示出，权利要求书的含义和范围以及从与其等同的概念导出的所有变更或变形的方式应当解释为包括在本发明的范围内。
Claims (22)
1.一种图像识别方法，其用于检查对象的良否判断，所述图像识别方法的特征在于，包括：
在一个以上的通道空间替换配置针对检查对象获取的N个图像而生成新的图像的步骤；以及，
将上述新的图像按各通道分离并通过针对所获取的N个图像的学习而提取特征值的步骤。
2.根据权利要求1所述的图像识别方法，其特征在于，
在上述生成新的图像的步骤之后，进一步包括使上述新的图像变形而生成多个变形图像的步骤。
3.根据权利要求2所述的图像识别方法，其特征在于，
上述生成变形图像的步骤包括生成使上述新的图像以各种角度旋转的图像以及使所旋转的各图像左右对称地变换的多个变形图像的步骤。
4.根据权利要求2所述的图像识别方法，其特征在于，
上述提取特征值的步骤包括将上述多个变形图像分别按各通道分离而执行学习的步骤。
5.根据权利要求1所述的图像识别方法，其特征在于，
上述通道空间由N个构成。
6.根据权利要求1所述的图像识别方法，其特征在于，
针对上述检查对象所获取的N个图像是灰度图像。
7.根据权利要求5或6所述的图像识别方法，其特征在于，
上述N是3。
8.根据权利要求1所述的图像识别方法，其特征在于，
上述生成新的图像的步骤包括将针对检查对象所获取的具有互不相同的宽度和高度的N个图像堆叠在N通道空间而生成具有特定宽度和高度的新的图像的步骤。
9.根据权利要求1至6和8中任一项所述的图像识别方法，其特征在于，
上述提取特征值的步骤包括：
在一个以上的主神经网络结构内定义从卷积神经网络的步骤；以及，
针对上述按各通道分离而获取的N个图像适用各自的从卷积神经网络的步骤。
10.根据权利要求9所述的图像识别方法，其特征在于，
上述提取特征值的步骤进一步包括重复执行重新堆叠或连接因适用从卷积神经网络而提取的特征值的过程的步骤。
11.根据权利要求9所述的图像识别方法，其特征在于，
上述提取特征值的步骤进一步包括在适用从卷积神经网络时执行反向传播过程的步骤。
12.一种图像识别服务器，其用于检查对象的良否判断，所述图像识别服务器的特征在于，包括：
图像生成部，其在一个以上的通道空间替换配置针对检查对象获取的N个图像而生成新的图像；以及，
图像学习部，其将上述新的图像按各通道分离并通过针对所获取的N个图像的学习而提取特征值。
13.根据权利要求12所述的图像识别服务器，其特征在于，
进一步包括使上述新的图像变形而生成多个变形图像的学习数据生成部。
14.根据权利要求13所述的图像识别服务器，其特征在于，
上述学习数据生成部生成使上述新的图像以各种角度旋转的图像以及使所旋转的各图像左右对称地变换的多个变形图像。
15.根据权利要求13所述的图像识别服务器，其特征在于，
上述图像学习部将上述多个变形图像分别按各通道分离而执行学习。
16.根据权利要求12所述的图像识别服务器，其特征在于，
上述通道空间由N个构成。
17.根据权利要求12所述的图像识别服务器，其特征在于，
针对上述检查对象所获取的N个图像是灰度图像。
18.根据权利要求16或17所述的图像识别服务器，其特征在于，
上述N是3。
19.根据权利要求12所述的图像识别服务器，其特征在于，
上述图像生成部将针对检查对象所获取的具有互不相同的宽度和高度的N个图像堆叠在N通道空间而生成具有特定宽度和高度的第一图像。
20.根据权利要求12至17和19中任一项所述的图像识别服务器，其特征在于，
上述图像学习部在一个以上的主神经网络结构内定义从卷积神经网络，并针对上述按各通道分离而获取的N个图像适用各自的从卷积神经网络而提取特征值。
21.根据权利要求20所述的图像识别服务器，其特征在于，
上述图像学习部重复执行重新堆叠或连接因适用从卷积神经网络而提取的特征值的过程。
22.根据权利要求20所述的图像识别服务器，其特征在于，
上述图像学习部在适用从卷积神经网络时执行反向传播过程。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2018-0155922 | 2018-12-06 | ||
| KR1020180155922A KR102200496B1 (ko) | 2018-12-06 | 2018-12-06 | 딥러닝을 이용한 이미지 인식 방법 및 서버 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111291766A true CN111291766A (zh) | 2020-06-16 |
Family
ID=66101787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910181152.9A Pending CN111291766A (zh) | 2018-12-06 | 2019-03-11 | 利用深度学习的图像识别方法及服务器 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11195265B2 (zh) |
| EP (1) | EP3664021A1 (zh) |
| KR (1) | KR102200496B1 (zh) |
| CN (1) | CN111291766A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347952B (zh) * | 2020-11-11 | 2021-05-11 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车钩尾框托板脱落识别方法 |
| KR102599753B1 (ko) | 2023-07-21 | 2023-11-08 | 주식회사 카비 | 이중경로 블록으로 구성된 뉴럴 네트워크를 활용한yuv 이미지 처리 방법 및 장치 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105849747A (zh) * | 2013-11-30 | 2016-08-10 | 北京市商汤科技开发有限公司 | 用于人脸图像识别的方法和系统 |
| CN108288035A (zh) * | 2018-01-11 | 2018-07-17 | 华南理工大学 | 基于深度学习的多通道图像特征融合的人体动作识别方法 |
| CN108648495A (zh) * | 2018-06-08 | 2018-10-12 | 华南理工大学 | 一种智能实时显示公交车拥挤程度的方法及系统 |
| US20180322623A1 (en) * | 2017-05-08 | 2018-11-08 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
| CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9524450B2 (en) * | 2015-03-04 | 2016-12-20 | Accenture Global Services Limited | Digital image processing using convolutional neural networks |
| US10395368B2 (en) * | 2015-12-18 | 2019-08-27 | Abbott Laboratories | Methods and systems for assessing histological stains |
| WO2017200524A1 (en) * | 2016-05-16 | 2017-11-23 | United Technologies Corporation | Deep convolutional neural networks for crack detection from image data |
| US11580398B2 (en) * | 2016-10-14 | 2023-02-14 | KLA-Tenor Corp. | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| US10546085B2 (en) * | 2017-04-12 | 2020-01-28 | Anchor Semiconductor Inc. | Pattern centric process control |
| KR101863196B1 (ko) * | 2017-07-24 | 2018-06-01 | 한국생산기술연구원 | 딥러닝 기반 표면 결함 검출장치 및 방법 |
-
2018
- 2018-12-06 KR KR1020180155922A patent/KR102200496B1/ko active IP Right Grant
-
2019
- 2019-03-11 CN CN201910181152.9A patent/CN111291766A/zh active Pending
- 2019-03-15 US US16/354,626 patent/US11195265B2/en active Active
- 2019-04-04 EP EP19000167.7A patent/EP3664021A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105849747A (zh) * | 2013-11-30 | 2016-08-10 | 北京市商汤科技开发有限公司 | 用于人脸图像识别的方法和系统 |
| US20180322623A1 (en) * | 2017-05-08 | 2018-11-08 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
| CN108288035A (zh) * | 2018-01-11 | 2018-07-17 | 华南理工大学 | 基于深度学习的多通道图像特征融合的人体动作识别方法 |
| CN108875787A (zh) * | 2018-05-23 | 2018-11-23 | 北京市商汤科技开发有限公司 | 一种图像识别方法及装置、计算机设备和存储介质 |
| CN108648495A (zh) * | 2018-06-08 | 2018-10-12 | 华南理工大学 | 一种智能实时显示公交车拥挤程度的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3664021A1 (en) | 2020-06-10 |
| US20200184629A1 (en) | 2020-06-11 |
| KR20200075050A (ko) | 2020-06-26 |
| US11195265B2 (en) | 2021-12-07 |
| KR102200496B1 (ko) | 2021-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Deep convolutional neural models for picture-quality prediction: Challenges and solutions to data-driven image quality assessment | |
| Cheon et al. | Convolutional neural network for wafer surface defect classification and the detection of unknown defect class | |
| US20200117886A1 (en) | Fast, embedded, hybrid video face recognition system | |
| Thai et al. | Image classification using support vector machine and artificial neural network | |
| Arteaga et al. | Deep learning for power system security assessment | |
| Kang | Rotation-invariant wafer map pattern classification with convolutional neural networks | |
| Choi et al. | Multi-step ART1 algorithm for recognition of defect patterns on semiconductor wafers | |
| CN107247952B (zh) | 基于深层监督的循环卷积神经网络的视觉显著性检测方法 | |
| WO2022012668A1 (zh) | 一种训练集处理方法和装置 | |
| CN111291766A (zh) | 利用深度学习的图像识别方法及服务器 | |
| Avola et al. | Real-time deep learning method for automated detection and localization of structural defects in manufactured products | |
| CN116503398B (zh) | 绝缘子污闪检测方法、装置、电子设备及存储介质 | |
| Afroze et al. | An empirical framework for detecting speaking modes using ensemble classifier | |
| Amorim et al. | Analysing rotation-invariance of a log-polar transformation in convolutional neural networks | |
| RU2297039C2 (ru) | Способ распознавания сложного графического объекта | |
| CN112529025A (zh) | 一种数据处理方法及装置 | |
| Omarov et al. | Machine learning based pattern recognition and classification framework development | |
| Zhang et al. | Key technologies of smart factory machine vision based on efficient deep network model | |
| Athar et al. | Deep neural networks for blind image quality assessment: addressing the data challenge | |
| Kannan | Feature selection using genetic algorithms | |
| Sharma et al. | Preventing car damage using CNN and computer vision | |
| Kori et al. | Enhanced image classification with data augmentation using position coordinates | |
| KR102178238B1 (ko) | 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법 | |
| Ebanesar et al. | Human Ear Recognition Using Convolutional Neural Network | |
| KR20200119042A (ko) | 댄스 평가 서비스를 제공하기 위한 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |