CN106530284A - 基于图像识别的焊点类型检测和装置 - Google Patents
基于图像识别的焊点类型检测和装置 Download PDFInfo
- Publication number
- CN106530284A CN106530284A CN201610918423.0A CN201610918423A CN106530284A CN 106530284 A CN106530284 A CN 106530284A CN 201610918423 A CN201610918423 A CN 201610918423A CN 106530284 A CN106530284 A CN 106530284A
- Authority
- CN
- China
- Prior art keywords
- network
- scolding tin
- solder joint
- training sample
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Abstract
本发明公开了一种基于图像识别的焊点类型检测方法和装置,涉及自动光学检测技术领域。其中,该方法包括:基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集;基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练;将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。本发明的技术方案,通过卷积神经网络识别焊锡图像,解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题,通过将焊锡图像输入至训练完成的卷积神经网络模型中,即可简单快速地对焊点类型进行识别,以实现焊锡缺陷地精准检测。
Description
技术领域
本发明实施例涉及自动光学检测技术领域,尤其涉及一种基于图像识别的焊点类型检测和装置。
背景技术
自动光学检测(Automatic Optic Inspection,AOI)是工业制作过程的必要环节,其检测原理是利用光学方式取得成品的表面状态,以影像处理来检测异物或表面瑕疵。而电路板卡焊锡面焊点的焊锡缺陷检测是电路板卡缺陷检测领域中一项重要的应用。机器通过摄像头拍摄电路板卡图像,其中,电路板卡图像由三色光进行照明,获得焊锡的立体信息。然后提取焊点的局部图像,并通过图像处理技术,判断焊点是否有连锡、少锡、多锡等缺陷,最后将疑似缺陷的焊点显示或标记出来,方便查看与检修。
在传统的AOI系统中,焊锡缺陷检测方法主要是通过对采集到的焊点图像颜色信息进行特征提取,例如,提取焊点图像中红色、蓝色、绿色颜色的占比,然后通过阈值判别或BP神经网络进行焊点焊锡缺陷的检测。但是,在实际应用过程中,该方法存在制版麻烦、精准度低及稳定性差等问题。
发明内容
本发明提供一种基于图像识别的焊点类型检测方法和装置,以快速准确地检测焊锡缺陷。
第一方面,本发明实施例提供了一种基于图像识别的焊点类型检测方法,该方法包括:
基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集;
基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练;
将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
第二方面,本发明实施例还提供了一种基于图像识别的焊点类型检测装置,该装置包括:
训练样本集建立模块,用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集;
卷积神经网络训练模块,用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练;
焊点类型识别模块,用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
本发明实施例所提供的技术方案,首先构建了一个卷积神经网络,该卷积神经网络输入的为焊锡图像,输出的为焊点的类型,选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练,进而将待识别的焊锡图像输入至训练完成的卷积神经网络,识别焊点的类型,解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题,通过将焊锡图像输入至训练好的卷积神经网络模型中,即可简单快速地对焊点类型进行识别,以实现焊锡缺陷地精准检测。
附图说明
图1A为本发明实施例一所提供的一种基于图像识别的焊点类型检测方法的流程图;
图1B为本发明实施例一所提供的一种焊点类型为正常的焊锡图像示意图;
图1C为本发明实施例一所提供的一种焊点类型为少锡的焊锡图像示意图;
图1D为本发明实施例一所提供的一种焊点类型为连锡的焊锡图像示意图;
图1E为本发明实施例一所提供的一种焊点类型为多锡的焊锡图像示意图;
图2A为本发明实施例二所提供的一种基于图像识别的焊点类型检测方法的流程图;
图2B为本发明实施例二的基于图像识别的焊点类型检测方法训练阶段的流程示意图;
图2C为本发明实施例二所适用的一种卷积神经网络的结构示意图;
图2D为本发明实施例二的基于图像识别的焊点类型检测方法实施阶段的流程示意图;
图3为本发明实施例三所提供的一种基于图像识别的焊点类型检测装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。
另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部 分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1A为本发明实施例一提供的一种基于图像识别的焊点类型检测方法的流程图,本实施例可适用于对焊锡缺陷的检测,该方法可以由基于图像识别的焊点类型检测装置来执行,具体包括如下步骤:
S110、基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集。
其中,至少两种类型的焊点可包括两种类型的焊点,例如可将焊点分为正常和不正常两种类型;当然也可包括两种以上的焊点的类型,如图1B-1E所示,可将焊点的类型进行更加细致地划分,如可分为正常(图1B)、少锡(图1C)、连锡(图1D)和/或多锡(图1E)等类型。可以理解的是,正常的焊点类型可以是符合要求的类型,例如,焊点的形状或者焊点焊锡用量在预设的误差范围内。
在基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集之前,还包括:获取至少两种类型的焊点的焊锡图像。具体地,通过人工标注的方法得到焊锡图像的焊点的类型信息;进而基于所述焊点的类型信息获取标注过的获取到的至少两种类型的焊点的焊锡图像。其中,可以根据焊点的类型信息确定焊锡是否存在缺陷,进一步地,还可以确定焊锡缺陷的类别信息。
一般地,为了使得焊点类型的检测准确性更高,需要大量的训练样本。在本实施例中,训练样本集中的焊锡图像可以是获取到的大量的原始的焊锡图像;也可以是将原始的焊锡图像进行数据扩展后生成新的焊锡图像,进而将原始的焊锡图像和扩展后的焊锡图像均作为训练样本集中的训练样本,进一步增加样本的数量。
S120、基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练。
卷积神经网络是人工神经网络中的一种,可用于图像识别领域。卷积神经网络以输入、输出的重构误差为能量函数,通过前向、后向传播过程优化调整网络的联结权值,使能量函数达到最小。其中,前向传播过程采用权值共享方法减少训练的权值个数,降低复杂度与参数个数;后向传播过程以标签值和预测值误差最小为代价函数,进行权值微调。
在本实施例中,为了能够同时捕捉到低层的特征信息和高层抽象的特征信息,卷积神经网络在结构上可以包括至少两个并联分支的子网络。具体可以是卷积神经网络以包括两个、三个以及更多个并联分支的子网络。可以理解的是,卷积神经网络具体的子网络的数量,可以在实际应用过程中,结合焊点的类型以及焊锡图像的特征等进行设定,在此不做限定。考虑到卷积神经网络所占用的内存及识别效率等问题,卷积神经网络的结构可以在满足需求的基础上尽可能地简单化。例如,卷积神经网络可以包括并联的第一子网络和第二子网络。
考虑到卷积网络的构建与训练的便利性,可选地,训练样本集中的训练样本(焊锡图像)在输入卷积神经网络之前,可预先调整为同一大小的RGB图像。
S130、将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
如前所述,在确定了原始的卷积神经网络的网络结构之后,通过使用大量的训练样本对该原始卷积神经网络进行训练,即可得到所述焊点类型的识别模型。只需将待识别的焊锡图像输入到训练完成的卷积神经网络中,即可完成对焊锡图像中的焊点的类型的识别。
本实施例的技术方案,首先构建了一个卷积神经网络,该卷积神经网络输入的为焊锡图像,输出的为焊点的类型,选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练,进而将待识别的焊锡图像输入至训练完成的卷积神经网络,识别焊点的类型,解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题,通过将焊锡图像输入至训练好的卷积神经网络模型中,即可简单快速地对焊点类型进行识别,以实现焊锡缺陷地精准检测。
实施例二
图2A为本发明实施例二提供的一种基于图像识别的焊点类型检测方法的流程图。如图2A所示,本实施例在上述各实施例的基础上,优选是将基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集进一步优化为对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展;基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
在此基础上,可选是所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前,还包括:构建包括并联的第一子网络和第二子网络的卷积神经网络,其中,所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
进一步地,在上述各实施例的基础上,所述基于训练样本集中的训练样本 对预先构建的卷积神经网络进行训练,优选是还可以包括:基于训练样本集中的训练样本,采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
具体地,本实施例的方法可以包括:
S210、对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展。
具体地,对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展,可包括下述中的至少一项:对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转,例如,对焊锡图像进行90度、180度或270度旋转;对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪;对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换,可以削弱外界光照、图像亮度或者灰度值对焊锡图像的影响。即,可以通过上述任一种方式或任两种方式组合对焊锡图像进行变换以实现数据扩展;或者同时采用多种方式组合对焊锡图像进行变换以实现数据扩展。
S220、基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
在本实施例中,原始的焊锡图像通过数据扩展后,将原始的焊锡图像以及数据扩展后的焊锡图像均作为训练样本,训练样本集中的训练样本将成倍的增加,且使得训练样本集中的训练样本更加丰富,而且可多角度、多区域地展现样本。这样还可以较好的降低卷积神经网络过拟合的可能性,使得卷积神经网络的模型获得更好的泛化能力。
S230、构建包括并联的第一子网络和第二子网络的卷积神经网络,其中,所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
在本实施例中,通过所包括的层级的数量较多的第一子网络捕捉焊锡图像 中焊点类型的高层抽象的特征信息,通过所包括的层级的数量较少的第二子网络捕捉焊锡图像中焊点类型的低层的特征信息,实现同时捕捉焊锡图像的低层的特征信息和高层抽象的特征信息,以更加准确地判断焊锡图像中焊点的类型。
具体地,所述构建包括并联的第一子网络和第二子网络的卷积神经网络可包括:构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络,以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络;并联所述第一子网络和所述第二子网络以构建卷积神经网络。示例性地,第一子网络可以包括三个卷积层和三个非线性激活函数层。
在图像处理中,对图像用一个卷积核进行卷积运算,实际上是一个滤波的过程,可用于增强焊锡图像的原始信号,检测更多的特征信息,并且降低噪音。可以理解的是,卷积层的卷积核大小(例如3*3,5*5等)及卷积核的数量(例如64个等),可以根据实际需求进行设定。
在本实施例中,激活函数层选用非线性ReLu激活函数层,主要为训练样本的特征提供非线性表达能力。在正向传播过程中,相比较于传统的sigmoid和tanh函数,ReLu函数在计算激活值时不需要计算指数而仅需要设置阈值。ReLu激活函数层能够加速收敛,缩短学习周期,使得网络可自行引入稀疏性,且减少了参数的相互依存关系,能够有效缓和过拟合问题的发生。
池化层,也称下采样层,主要是为了使得网络获得一定程度的位移、尺度、形变不变性,而且能够降低上一层输出的特征向量,不易出现过拟合现象。
为了更好地进行特征融合,所述构建包括并联的第一子网络和第二子网络的卷积神经网络,还可以包括:基于所述第一子网络、所述第二子网络、通道连接层以及与所述通道连接层相连的至少一个全连接层构建卷积神经网络。其 中所述全连接层还可以包括第一全连接层和第二全连接层。进一步地,第一全连接层可以对应于通道连接层的特征信息(包括具体特征及对应的权重值等);第二连接层可对应于焊点的类型,比如可以将焊点类型表示为正常、少锡、连锡及多锡四类。
S240、基于训练样本集中的训练样本,采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
在机器学习算法中,通常需要对原始的模型构建损失函数,接下来便是通过优化算法对损失函数进行优化,以便寻找到最优的参数。在本实施例中,可以采用梯度下降法对预先构建的卷积神经网络进行优化。
示例性地,梯度下降法可包括批量梯度下降法(Batch Gradient Descent,BGD)、小批量梯度下降法MBGD及随机梯度下降算法(Stochastic Gradient Descent,SGD)等。
S250、将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
本实施例的技术方案,进一步地对训练样本进行数据扩展,使得训练样本更加丰富,也使得卷积神经网络更加地泛化,且用梯度下降法对预先构建的卷积神经网络进行优化,使得训练完成的卷积神经网络在应用过程中,可适用于各种待识别的焊锡图像,且精准度更高。
作为本发明实施例的一优选实例,如图2B所示,在训练阶段,我们会根据一些设定好的数据扩展方法,对得到的焊锡图像进行数据扩展,增加训练样本的个数,增加训练样本的多样性,降低过拟合;然后将扩展后的训练数据输入给预先构建好的卷积神经网络进行训练,通过梯度下降方法(如SGD)优化卷 积神经网络的参数;若训练的卷积神经网络在测试集上满足要求,则可以结束卷积神经网络的训练。
具体地,如图2C所示,可预先将输入的训练样本调整为成64*64大小的RGB图像,输入至卷积神经网络的各并联子网络中。在整个网络结构上,为了能够同时捕捉低层的特征信息和高层抽象的特征信息,构建了两个分支的子网络,分别为第一子网络和第二子网络。其中,第一子网络由3个卷积层和3个非线性激活函数(ReLu激活函数层)组成,主要用于提取高层的抽象的特征信息;第二子网络由一个卷积层、一个ReLu激活函数层和一个池化层构成。
在本实施例中,具体地,第一子网络所包括的层级如下所述:第1层是卷积层,卷积层的卷积核大小为3*3,卷积核的数量为64个;第2层是一个非线性激活函数层,此处采用的是ReLU激活函数,主要为特征提供非线性表达能力;第3层是卷积层,卷积核大小为3*3,卷积核的数量为64个;第4层是ReLu激活函数层;第5层是池化层(下采样区域2*2),也称下采样层,主要是为了使得网络获得一定程度的位移、尺度、形变不变性;第6层是卷积层,卷积核大小为3*3,卷积核数量为64;第7层是ReLu激活函数层;第8层是池化层(下采样区域2*2)。
第二子网络所包括的层级如下所述:其第1层是卷积层,卷积核大小为5*5,卷积核的数量为64;第2层是非线性ReLu激活函数层;第3层是池化层(下采样区域4*4)。
进而,将从第一子网络和第二子网络中分别得到特征信息通过通道连接层连接起来,输入给第一全连接层和第二全连接层,其中,第一全连接层的神经元个数为256个,第二全连接层的神经元个数为4个,即对应着需要分类的焊 点的类型的数目,最后输入Softmax层,即输出层,输出结果。
在实施阶段,如图2D所示,只要将实际待识别的焊锡图像,输入训练完成的卷积神经网络,进行一次前向计算,即可得到该焊锡图像中焊点所属的类型。进而,可以根据识别出的焊点的类型确定焊锡是否存在缺陷,从而实现焊锡缺陷检测。相比于训练阶段,实施阶段很简单。只需将实际生产环境下的焊锡图像,输入给训练完成后的卷积神经网络模型,这样就获得了输入的焊锡图像数据在4个类别上的概率分布。可选取其中概率最大的类别作为焊锡图像的缺陷类别,如果是少锡,多锡,连锡这三种缺陷的一种,则可标注这个焊锡,将其留给作业人员进行确认和修复。
采用本实施例的技术方案,能够简单、快速、准确地识别出焊锡图像中焊点的类型,方便焊锡缺陷的查看与检修。
实施例三
图3所示为本发明实施例三提供的一种基于图像识别的焊点类型检测装置的结构框图,该装置可通过硬件和/或软件的方式实现,并一般可独立的配置在用户终端或服务器中实现本实施例的方法。如图3所示,所述基于图像识别的焊点类型检测装置具体包括:训练样本集建立模块310、卷积神经网络训练模块320和焊点类型识别模块330。
其中,训练样本集建立模块310,用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集;卷积神经网络训练模块320,用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练;焊点类型识别模块330,用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
本实施例的技术方案,首先构建了一个卷积神经网络,该卷积神经网络输入的为焊锡图像,输出的为焊点的类型,选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练,进而将待识别的焊锡图像输入至训练完成的卷积神经网络,识别焊点的类型,解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题,通过将焊锡图像输入至训练好的卷积神经网络模型中,即可简单快速地对焊点类型进行识别,以实现焊锡缺陷地精准检测。
在上述技术方案的基础上,所述训练样本集建立模块可包括:焊锡图像数据扩展单元和训练样本集建立单元。其中,焊锡图像数据扩展单元,用于对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展;训练样本集建立单元,用于基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
在上述各技术方案的基础上,所述焊锡图像数据扩展单元可用于下述中的至少一项:
对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转;
对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪;
对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换。
在上述各技术方案的基础上,所述装置还包括:
卷积神经网络构建模块,用于在基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前,构建包括并联的第一子网络和第二子网络的卷积神经网络,其中,所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
在上述各技术方案的基础上,所述卷积神经网络构建模块可具体用于:
构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络,以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络;
并联所述第一子网络和所述第二子网络以构建卷积神经网络。
在上述各技术方案的基础上,所述卷积神经网络构建模块还可进一步用于:
基于所述第一子网络、所述第二子网络、通道连接层以及与所述通道连接层相连的至少一个全连接层构建卷积神经网络。
在上述各技术方案的基础上,所述卷积神经网络训练模块可具体用于:
基于训练样本集中的训练样本,采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
上述装置可执行本发明实施例一和实施例二所提供的方法,具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例一和实施例二所提供的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于图像识别的焊点类型检测方法,其特征在于,包括:
基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集;
基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练;
将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
2.根据权利要求1所述的方法,其特征在于,所述基于获取到的至少两种类型的焊锡图像建立训练样本集,包括:
对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展;
基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
3.根据权利要求2所述的方法,其特征在于,所述对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展,包括下述中的至少一项:
对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转;
对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪;
对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换。
4.根据权利要求1-3任一所述的方法,其特征在于,所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前,包括:
构建包括并联的第一子网络和第二子网络的卷积神经网络,其中,所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
5.根据权利要求4所述的方法,其特征在于,所述构建包括并联的第一子网络和第二子网络的卷积神经网络包括:
构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络,以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络;
并联所述第一子网络和所述第二子网络以构建卷积神经网络。
6.根据权利要求4所述的方法,其特征在于,所述构建包括并联的第一子网络和第二子网络的卷积神经网络,包括:
基于所述第一子网络、所述第二子网络、通道连接层以及与所述通道连接层相连的至少一个全连接层构建卷积神经网络。
7.根据权利要求1所述的方法,其特征在于,所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练,包括:
基于训练样本集中的训练样本,采用梯度下降法对预先构建的卷积神经网络进行训练及优化。
8.一种基于图像识别的焊点类型检测装置,其特征在于,包括:
训练样本集建立模块,用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集;
卷积神经网络训练模块,用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练;
焊点类型识别模块,用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中,对焊锡图像中的焊点的类型进行识别。
9.根据权利要求8所述的装置,其特征在于,所述训练样本集建立模块包括:
数据扩展单元,用于对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展;
训练样本集建立单元,用于基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
卷积神经网络构建模块,用于在基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前,构建包括并联的第一子网络和第二子网络的卷积神经网络,其中,所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610918423.0A CN106530284A (zh) | 2016-10-21 | 2016-10-21 | 基于图像识别的焊点类型检测和装置 |
PCT/CN2016/113274 WO2018072326A1 (zh) | 2016-10-21 | 2016-12-29 | 基于图像识别的焊点类型检测和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610918423.0A CN106530284A (zh) | 2016-10-21 | 2016-10-21 | 基于图像识别的焊点类型检测和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106530284A true CN106530284A (zh) | 2017-03-22 |
Family
ID=58332774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610918423.0A Pending CN106530284A (zh) | 2016-10-21 | 2016-10-21 | 基于图像识别的焊点类型检测和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106530284A (zh) |
WO (1) | WO2018072326A1 (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
CN107123117A (zh) * | 2017-04-26 | 2017-09-01 | 广东工业大学 | 一种基于深度学习的ic引脚焊点质量检测方法及装置 |
CN107563434A (zh) * | 2017-08-30 | 2018-01-09 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
CN107730504A (zh) * | 2017-10-17 | 2018-02-23 | 太原理工大学 | 基于改进bp神经网络的图像分割方法 |
CN108154502A (zh) * | 2017-12-22 | 2018-06-12 | 王华锋 | 一种基于卷积神经网络的通孔焊点识别方法 |
CN108257180A (zh) * | 2018-02-07 | 2018-07-06 | 北京深度奇点科技有限公司 | 焊接间隙定位方法和装置 |
CN108346151A (zh) * | 2018-03-12 | 2018-07-31 | 湖南大学 | 一种判断激光焊接熔透性的方法 |
CN108764134A (zh) * | 2018-05-28 | 2018-11-06 | 江苏迪伦智能科技有限公司 | 一种适用于巡检机器人的多类型仪表自动定位与识别方法 |
CN108830850A (zh) * | 2018-06-28 | 2018-11-16 | 信利(惠州)智能显示有限公司 | 自动光学检测图片分析方法及设备 |
CN109001211A (zh) * | 2018-06-08 | 2018-12-14 | 苏州赛克安信息技术有限公司 | 基于卷积神经网络的长输管道焊缝检测系统及方法 |
CN109239075A (zh) * | 2018-08-27 | 2019-01-18 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
CN109727229A (zh) * | 2018-11-28 | 2019-05-07 | 歌尔股份有限公司 | 虚焊检测方法及装置 |
CN109741296A (zh) * | 2018-11-28 | 2019-05-10 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109752384A (zh) * | 2019-01-18 | 2019-05-14 | 深海弈智京山智能科技有限公司 | 一种焊锡盒的焊接引导与焊接缺陷检测系统及使用方法 |
CN109829883A (zh) * | 2018-12-19 | 2019-05-31 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN110455822A (zh) * | 2019-07-10 | 2019-11-15 | 苏州卓融新能源科技有限公司 | 一种pcb板缺陷的检测方法 |
CN110930347A (zh) * | 2018-09-04 | 2020-03-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
CN110929866A (zh) * | 2018-09-20 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 神经网络模型的训练方法、装置和系统 |
CN111091550A (zh) * | 2019-12-12 | 2020-05-01 | 创新奇智(北京)科技有限公司 | 多尺寸自适应的pcb锡膏区域检测系统及检测方法 |
CN111225299A (zh) * | 2018-11-27 | 2020-06-02 | 中国移动通信集团广东有限公司 | 一种onu故障识别、修复方法和装置 |
WO2020143592A1 (zh) * | 2019-01-07 | 2020-07-16 | 鲁班嫡系机器人(深圳)有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
CN111766253A (zh) * | 2019-03-15 | 2020-10-13 | 鸿富锦精密电子(成都)有限公司 | 锡膏印刷品质检测方法、数据处理装置及计算机存储介质 |
US20210027444A1 (en) * | 2019-07-23 | 2021-01-28 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
CN112308816A (zh) * | 2019-07-23 | 2021-02-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
TWI718573B (zh) * | 2018-10-11 | 2021-02-11 | 南韓商樂人股份有限公司 | 缺陷檢測裝置及方法 |
CN112950533A (zh) * | 2021-01-21 | 2021-06-11 | 重庆大学 | 基于深度学习的焊点外观类别自动识别方法及系统 |
TWI744999B (zh) * | 2020-07-23 | 2021-11-01 | 和碩聯合科技股份有限公司 | 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 |
TWI749524B (zh) * | 2019-07-23 | 2021-12-11 | 緯創資通股份有限公司 | 影像辨識裝置、影像辨識方法及其電腦程式產品 |
US11521015B2 (en) | 2019-07-23 | 2022-12-06 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
WO2023040629A1 (zh) * | 2021-09-18 | 2023-03-23 | 上海商汤智能科技有限公司 | 神经网络训练及图像处理的方法、装置、设备及存储介质 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110930350A (zh) * | 2018-09-19 | 2020-03-27 | 鸿富锦精密电子(天津)有限公司 | 机器学习方法及应用机器学习方法的自动光学检测设备 |
CN109726721A (zh) * | 2018-12-06 | 2019-05-07 | 五邑大学 | 一种基于卷积神经网络模型的象棋识别方法 |
CN109859224B (zh) * | 2019-01-31 | 2023-01-24 | 东北大学 | 一种传送带矿岩颗粒图像分割方法 |
CN110163859B (zh) * | 2019-05-29 | 2023-05-05 | 广东工业大学 | 基于PoseCNN的焊缝焊接方法、装置及设备 |
CN110310261B (zh) * | 2019-06-19 | 2022-12-06 | 河南辉煌科技股份有限公司 | 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法 |
CN110321959B (zh) * | 2019-07-09 | 2023-04-18 | 安徽理工大学 | 一种多光谱图像信息和cnn的煤矸识别方法 |
CN110517180B (zh) * | 2019-07-24 | 2023-09-19 | 北京旷视科技有限公司 | 基于高精度神经网络的图像处理方法、装置及电子设备 |
CN110619355B (zh) * | 2019-08-28 | 2023-01-06 | 武汉科技大学 | 基于深度学习的钢铁材料微观组织自动识别方法 |
CN110910363A (zh) * | 2019-11-15 | 2020-03-24 | 上海交通大学 | 基于机器视觉和深度学习的虚焊检测方法、系统及介质 |
CN111429405B (zh) * | 2020-03-04 | 2023-05-12 | 清华大学深圳国际研究生院 | 基于3d cnn的锡球缺陷检测方法及装置 |
CN111369550B (zh) * | 2020-03-11 | 2022-09-30 | 创新奇智(成都)科技有限公司 | 图像配准与缺陷检测方法、模型、训练方法、装置及设备 |
CN113421252B (zh) * | 2021-07-07 | 2024-04-19 | 南京思飞捷软件科技有限公司 | 一种基于改进的卷积神经网络的车身焊接缺陷的检测方法 |
CN113779886A (zh) * | 2021-09-18 | 2021-12-10 | 天津商科数控技术股份有限公司 | 基于深度学习的焊点质量异常检测方法、装置、系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1504742A (zh) * | 2002-11-28 | 2004-06-16 | 威光机械工程股份有限公司 | 印刷电路板上瑕疵组件的自动光学检测系统 |
CN101136346A (zh) * | 2007-08-31 | 2008-03-05 | 中山大学 | 一种芯片焊点在线检测和缺陷辨识装置及芯片封装装置 |
CN103544705A (zh) * | 2013-10-25 | 2014-01-29 | 华南理工大学 | 一种基于深度卷积神经网络的图像质量测试方法 |
CN104850845A (zh) * | 2015-05-30 | 2015-08-19 | 大连理工大学 | 一种基于非对称卷积神经网络的交通标志识别方法 |
CN105891215A (zh) * | 2016-03-31 | 2016-08-24 | 浙江工业大学 | 基于卷积神经网络的焊接视觉检测方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6402451B2 (ja) * | 2014-02-14 | 2018-10-10 | オムロン株式会社 | 品質管理装置、品質管理方法、およびプログラム |
CN104217214B (zh) * | 2014-08-21 | 2017-09-19 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于可配置卷积神经网络的rgb‑d人物行为识别方法 |
ES2880316T3 (es) * | 2014-08-29 | 2021-11-24 | Google Llc | Procesamiento de imágenes mediante redes neuronales profundas |
CN105184778B (zh) * | 2015-08-25 | 2018-04-24 | 广州视源电子科技股份有限公司 | 一种检测方法及装置 |
CN105469400B (zh) * | 2015-11-23 | 2019-02-26 | 广州视源电子科技股份有限公司 | 电子元件极性方向的快速识别、标注的方法和系统 |
-
2016
- 2016-10-21 CN CN201610918423.0A patent/CN106530284A/zh active Pending
- 2016-12-29 WO PCT/CN2016/113274 patent/WO2018072326A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1504742A (zh) * | 2002-11-28 | 2004-06-16 | 威光机械工程股份有限公司 | 印刷电路板上瑕疵组件的自动光学检测系统 |
CN101136346A (zh) * | 2007-08-31 | 2008-03-05 | 中山大学 | 一种芯片焊点在线检测和缺陷辨识装置及芯片封装装置 |
CN103544705A (zh) * | 2013-10-25 | 2014-01-29 | 华南理工大学 | 一种基于深度卷积神经网络的图像质量测试方法 |
CN104850845A (zh) * | 2015-05-30 | 2015-08-19 | 大连理工大学 | 一种基于非对称卷积神经网络的交通标志识别方法 |
CN105891215A (zh) * | 2016-03-31 | 2016-08-24 | 浙江工业大学 | 基于卷积神经网络的焊接视觉检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
刘旷: "基于卷积网络集成的面部表情识别方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
卢盛林等: "基于神经网络的PCB焊点检测方法", 《华南理工大学学报(自然科学版)》 * |
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106960456A (zh) * | 2017-03-28 | 2017-07-18 | 长沙全度影像科技有限公司 | 一种鱼眼相机标定算法评价的方法 |
CN107123117B (zh) * | 2017-04-26 | 2020-10-20 | 广东工业大学 | 一种基于深度学习的ic引脚焊点质量检测方法及装置 |
CN107123117A (zh) * | 2017-04-26 | 2017-09-01 | 广东工业大学 | 一种基于深度学习的ic引脚焊点质量检测方法及装置 |
CN107563434A (zh) * | 2017-08-30 | 2018-01-09 | 山东大学 | 一种基于三维卷积神经网络的脑部mri图像分类方法、装置 |
CN107730504A (zh) * | 2017-10-17 | 2018-02-23 | 太原理工大学 | 基于改进bp神经网络的图像分割方法 |
CN108154502A (zh) * | 2017-12-22 | 2018-06-12 | 王华锋 | 一种基于卷积神经网络的通孔焊点识别方法 |
CN108257180A (zh) * | 2018-02-07 | 2018-07-06 | 北京深度奇点科技有限公司 | 焊接间隙定位方法和装置 |
CN108257180B (zh) * | 2018-02-07 | 2023-08-04 | 北京深度奇点科技有限公司 | 焊接间隙定位方法和装置 |
CN108346151A (zh) * | 2018-03-12 | 2018-07-31 | 湖南大学 | 一种判断激光焊接熔透性的方法 |
CN108764134A (zh) * | 2018-05-28 | 2018-11-06 | 江苏迪伦智能科技有限公司 | 一种适用于巡检机器人的多类型仪表自动定位与识别方法 |
CN109001211A (zh) * | 2018-06-08 | 2018-12-14 | 苏州赛克安信息技术有限公司 | 基于卷积神经网络的长输管道焊缝检测系统及方法 |
CN108830850A (zh) * | 2018-06-28 | 2018-11-16 | 信利(惠州)智能显示有限公司 | 自动光学检测图片分析方法及设备 |
CN108830850B (zh) * | 2018-06-28 | 2020-10-23 | 信利(惠州)智能显示有限公司 | 自动光学检测图片分析方法及设备 |
CN109239102A (zh) * | 2018-08-21 | 2019-01-18 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
CN109239102B (zh) * | 2018-08-21 | 2021-04-09 | 南京理工大学 | 一种基于cnn的柔性电路板外观缺陷检测方法 |
CN109239075A (zh) * | 2018-08-27 | 2019-01-18 | 北京百度网讯科技有限公司 | 电池检测方法及装置 |
CN110930347B (zh) * | 2018-09-04 | 2022-12-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
CN110930347A (zh) * | 2018-09-04 | 2020-03-27 | 京东方科技集团股份有限公司 | 卷积神经网络的训练方法、焊点缺陷的检测方法及装置 |
CN109342456A (zh) * | 2018-09-14 | 2019-02-15 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
CN110929866A (zh) * | 2018-09-20 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 神经网络模型的训练方法、装置和系统 |
TWI718573B (zh) * | 2018-10-11 | 2021-02-11 | 南韓商樂人股份有限公司 | 缺陷檢測裝置及方法 |
CN111225299A (zh) * | 2018-11-27 | 2020-06-02 | 中国移动通信集团广东有限公司 | 一种onu故障识别、修复方法和装置 |
CN109727229B (zh) * | 2018-11-28 | 2023-10-20 | 歌尔股份有限公司 | 虚焊检测方法及装置 |
CN109741296B (zh) * | 2018-11-28 | 2023-10-20 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109741296A (zh) * | 2018-11-28 | 2019-05-10 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109727229A (zh) * | 2018-11-28 | 2019-05-07 | 歌尔股份有限公司 | 虚焊检测方法及装置 |
CN109829883A (zh) * | 2018-12-19 | 2019-05-31 | 歌尔股份有限公司 | 产品质量检测方法及装置 |
CN109829883B (zh) * | 2018-12-19 | 2020-11-17 | 歌尔光学科技有限公司 | 产品质量检测方法及装置 |
WO2020143592A1 (zh) * | 2019-01-07 | 2020-07-16 | 鲁班嫡系机器人(深圳)有限公司 | 缺陷识别模型训练方法、装置、计算机设备和存储介质 |
CN109752384A (zh) * | 2019-01-18 | 2019-05-14 | 深海弈智京山智能科技有限公司 | 一种焊锡盒的焊接引导与焊接缺陷检测系统及使用方法 |
CN111766253A (zh) * | 2019-03-15 | 2020-10-13 | 鸿富锦精密电子(成都)有限公司 | 锡膏印刷品质检测方法、数据处理装置及计算机存储介质 |
CN110455822A (zh) * | 2019-07-10 | 2019-11-15 | 苏州卓融新能源科技有限公司 | 一种pcb板缺陷的检测方法 |
TWI761806B (zh) * | 2019-07-23 | 2022-04-21 | 緯創資通股份有限公司 | 影像辨識裝置、影像辨識方法及其電腦程式產品 |
CN112308816B (zh) * | 2019-07-23 | 2024-02-06 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其存储介质 |
TWI749524B (zh) * | 2019-07-23 | 2021-12-11 | 緯創資通股份有限公司 | 影像辨識裝置、影像辨識方法及其電腦程式產品 |
CN112304952B (zh) * | 2019-07-23 | 2024-04-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
US11423531B2 (en) * | 2019-07-23 | 2022-08-23 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
US11455490B2 (en) | 2019-07-23 | 2022-09-27 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
US11521015B2 (en) | 2019-07-23 | 2022-12-06 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
US20210027444A1 (en) * | 2019-07-23 | 2021-01-28 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
CN112304952A (zh) * | 2019-07-23 | 2021-02-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
CN112308816A (zh) * | 2019-07-23 | 2021-02-02 | 纬创资通股份有限公司 | 影像辨识装置、影像辨识方法及其计算机程序产品 |
CN111091550A (zh) * | 2019-12-12 | 2020-05-01 | 创新奇智(北京)科技有限公司 | 多尺寸自适应的pcb锡膏区域检测系统及检测方法 |
US11833618B2 (en) | 2020-07-23 | 2023-12-05 | Pegatron Corporation | Solder joint inspection model training method, solder joint inspection method, and solder joint inspection device |
TWI744999B (zh) * | 2020-07-23 | 2021-11-01 | 和碩聯合科技股份有限公司 | 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置 |
CN112950533A (zh) * | 2021-01-21 | 2021-06-11 | 重庆大学 | 基于深度学习的焊点外观类别自动识别方法及系统 |
WO2023040629A1 (zh) * | 2021-09-18 | 2023-03-23 | 上海商汤智能科技有限公司 | 神经网络训练及图像处理的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2018072326A1 (zh) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106530284A (zh) | 基于图像识别的焊点类型检测和装置 | |
CN108520114B (zh) | 一种纺织布疵点检测模型及其训练方法和应用 | |
CN111127449B (zh) | 一种基于编码器-解码器的自动化裂缝检测方法 | |
CN105938563A (zh) | 一种基于图像纹理的焊缝表面缺陷识别方法 | |
CN109584248A (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN109670452A (zh) | 人脸检测方法、装置、电子设备和人脸检测模型 | |
CN108596892B (zh) | 一种基于改进LeNet-5模型的焊缝缺陷识别方法 | |
CN109063706A (zh) | 文字模型训练方法、文字识别方法、装置、设备及介质 | |
CN106156781A (zh) | 排序卷积神经网络构建方法及其图像处理方法与装置 | |
CN110047073A (zh) | 一种x射线焊缝图像缺陷定级方法及系统 | |
CN106910192A (zh) | 一种基于卷积神经网络的图像融合效果评估方法 | |
CN108256426A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
CN106920224A (zh) | 一种评估拼接图像清晰度的方法 | |
CN111275171B (zh) | 一种基于参数共享的多尺度超分重建的小目标检测方法 | |
CN109087294A (zh) | 一种产品缺陷检测方法、系统及计算机可读存储介质 | |
CN111080639A (zh) | 基于人工智能的多场景消化道内镜图像识别方法及系统 | |
CN110097110B (zh) | 一种基于目标优化的语义图像修复方法 | |
CN110232326A (zh) | 一种三维物体识别方法、装置及存储介质 | |
CN106934455A (zh) | 基于cnn的遥感影像光学适配结构选取方法及系统 | |
CN114359245A (zh) | 一种工业场景下产品表面缺陷检测方法 | |
CN116029979A (zh) | 一种基于改进Yolov4的布料瑕疵视觉检测方法 | |
CN107742132A (zh) | 基于卷积神经网络的马铃薯表面缺陷检测方法 | |
CN113689382B (zh) | 基于医学影像和病理图像的肿瘤术后生存期预测方法及系统 | |
CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
CN107590804A (zh) | 基于通道特征和卷积神经网络的屏幕图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170322 |
|
RJ01 | Rejection of invention patent application after publication |