CN112070837A - 一种基于视觉分析的零部件定位及抓取方法、系统 - Google Patents
一种基于视觉分析的零部件定位及抓取方法、系统 Download PDFInfo
- Publication number
- CN112070837A CN112070837A CN202010900424.9A CN202010900424A CN112070837A CN 112070837 A CN112070837 A CN 112070837A CN 202010900424 A CN202010900424 A CN 202010900424A CN 112070837 A CN112070837 A CN 112070837A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- data
- captured
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 66
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 11
- 238000010276 construction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000007774 longterm Effects 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于工业自动化控制技术领域，公开了一种基于视觉分析的零部件定位及抓取方法、系统，所述基于视觉分析的零部件定位及抓取方法包括：图像采集模块获取待抓取零部件的数字图像数据；数据获取模块获取目标零部件图像数据；中央控制模块控制图像处理模块对图像数据进行处理，特征提取模块提取待抓取零部件特征及尺寸数据；目标匹配模块将待抓取零部件特征及尺寸数据与获取的目标零部件的相关图像、尺寸数据匹配，判断待抓取的零部件的坐标位置；抓取模块进行待抓取零部件的抓取。本发明能够对复杂环境下的杂乱零件进行识别提取，准确计算出零件空间位置信息，并完成抓取工作；本发明还能够针对不同零件实现实时、准确、可靠的抓取。
Description
技术领域
本发明属于工业自动化控制技术领域，尤其涉及一种基于视觉分析的零部件定位及抓取方法、系统。
背景技术
目前，随着科技不断地发展，机器人的应用范围变得越来越广泛，进入了家庭娱乐、工业生产等多个不同的领域。要适应环境变化、独立工作的同时，这也带来了一些新的挑战，比如要求机器人需力以及具备更高的性等。智能机器人应该不仅能能够感知环境，还需要能与环境互动。而在所有这些力中，目标的识别和抓取是最基本且重要的一个能力，因为它将为社会带来巨大的生产力。
通过上述分析，现有技术存在的问题及缺陷为：现有零部件定位与抓取方法定位不准确，且检测时间长，检测识别精度不高，抓取错误率高。
发明内容
针对现有技术存在的问题，本发明提供了一种基于视觉分析的零部件定位及抓取方法、系统。
本发明是这样实现的，一种基于视觉分析的零部件定位及抓取方法，所述基于视觉分析的零部件定位及抓取方法包括：
步骤一，通过图像采集模块利用CCD传感器摄像设备获取待抓取零部件的数字图像数据；通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，所述预处理包括灰度处理、图像增强处理；
步骤二，对预处理后的图像做HSV空间下的缺项曲线图，根据所述缺项曲线图将图像分类，删除分类中难以识别的图像；同时计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；
步骤三，通过中央控制模块利用单片机或中央控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
步骤四，通过图像集数生成模块利用图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
步骤五，通过训练器模型构建模块利用模型构建程序基于步骤四生成的所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
步骤六，通过视觉分析处理模块利用所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
步骤七，通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合；采用特征直线的筛选及二维特征点的确定方法对零部件图像的有向直线段集合进行处理获得特征直线；
步骤八，对于每条特征直线，将提取的相互邻接的各个有向直线段作为二叉树的一个节点，根据邻接关系在正、负方向上分别构建两棵以该特征直线作为根节点且最大深度为m的二叉树，正方向为沿着特征直线方向，负方向为沿着特征直线方向的反方向；
步骤九，分别遍历这两棵二叉树从根节点到叶节点的根通路，将一个正二叉树的根通路和一个负二叉树的根通路之间进行任意两两排列组合，每个组合构成特征直线的一条有向直线链，一条特征直线构造至少一条有向直线链；
步骤十，将不少于4节点的有向直线链作为一个链状特征F；利用特征提取程序基于处理后的零部件图像数据将提取的链状特征的特征向量作为零部件图像的特征数据；
步骤十一，通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
步骤十二，通过抓取模块基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
步骤十三，通过数据存储模块利用存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
步骤十四，通过显示模块利用显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。
进一步，步骤一中，所述摄像设备为CCD传感器摄像设备或Kinect深度相机。
进一步，步骤一中，所述通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理的方法，包括：
(1)对获取的待抓取零部件的数字图像数据进行灰度处理；
(2)对灰度处理后的图像数据以某个像素为中心像素取数个滤波区间，获取各滤波区间内像素灰度值集合；
(3)分别计算各滤波区间的像素灰度值方差，以像素灰度值方差最小的滤波区间为最佳滤波区间；
(4)以最佳滤波区间对中心像素进行中值滤波，然后以该中心像素遍历零部件图像中的每个像素，得到滤波处理后的图像；
(5)采用二值化处理滤波处理的图像数据，得到处理后的待抓取零部件的图像增强数据。
进一步，步骤五中，所述基于所述图像集数，使用深度神经网络对所述训练样本集进行训练，得到训练器模型的方法，包括：
(i)设定预先建立的深度神经网络参数的初始值，所述深度神经网络包括输入层、中间变量层和输出层；
其中，所述参数包括用于调节长期权值和短期权值对输出神经元的影响比例的变量σ、变化步长δ、神经元非线性函数的变化曲率a、偏移量s和随训练次数变化的变量b；
(ii)根据所述图像集数对所述神经网络进行训练，直到各个神经元的可变权值的变动在预设允许范围内结束训练。
进一步，步骤七中，所述通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合的方法，包括：
(I)通过特征提取模块提取图像中的各个零部件所在区域并获得零部件在整张图像中的位置，并计算出感兴趣区域的形心；
(II)利用LSD直线检测算法提取感兴趣区域中的所有直线段，并确定每条直线段的方向；
(III)合并断裂直线段和删除孤立直线段，获得有向直线段集合。
进一步，步骤十一中，所述通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配的方法，包括：
(a)基于多尺度Harris角点算法构建零部件图像的检测算子；
(b)基于构建检测算子计算提取的待抓取零部件的特征点的向量与获取的目标零部件的相关图像中各特征点的向量的欧式距离；
(c)将提取的待抓取零部件的特征图像中与目标零部件的相关图像的特征点的向量的欧式距离最小的点作为目标零部件的相关图像的特征点的匹配点；若判断所述匹配点的数量大于预设的匹配点阈值，则匹配成功。
进一步，所述判断所述匹配点的数量大于预设的匹配点阈值之前，还包括：
选取提取的待抓取零部件的特征图像中与所述目标零部件的相关图像的特征点的向量具有最邻近欧式距离的特征点及具有次邻近欧式距离的特征点；
若所述最邻近欧式距离小于等于第一阈值，且所述次邻近欧式距离小于等于第二阈值，则将所述提取的待抓取零部件的特征图像中与所述目标零部件的相关图像的特征点的向量具有最邻近欧式距离的特征点及具有次邻近欧式距离的特征点作为匹配点对。
本发明的另一目的在于提供一种实施所述的基于视觉分析的零部件定位及抓取方法的基于视觉分析的零部件定位及抓取系统，所述基于视觉分析的零部件定位及抓取系统包括：
图像采集模块、图像处理模块、中央控制模块、图像集数生成模块、训练器模型构建模块、视觉分析处理模块、特征提取模块、目标匹配模块、抓取模块、数据存储模块、显示模块。
图像采集模块，与中央控制模块连接，用于通过CCD传感器摄像设备获取待抓取零部件的数字图像数据；
图像处理模块，与中央控制模块连接，用于通过图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，删除冗余的图像数据信息；
中央控制模块，与图像采集模块、数据获取模块、图像处理模块、特征提取模块、目标匹配模块、抓取模块连接，用于通过单片机或控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
图像集数生成模块，与中央控制模块连接，用于通过图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
训练器模型构建模块，与中央控制模块连接，用于通过模型构建程序基于所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
视觉分析处理模块，与中央控制模块连接，用于通过所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
特征提取模块，与中央控制模块连接，用于通过特征提取程序基于处理后的零部件图像数据提取待抓取零部件的特征以及尺寸数据；
目标匹配模块，与中央控制模块连接，用于通过匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
抓取模块，与中央控制模块连接，用于基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
显示模块，与中央控制模块连接，用于通过显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的基于视觉分析的零部件定位及抓取方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于视觉分析的零部件定位及抓取方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于视觉分析的零部件定位及抓取方法，能够对复杂环境下的杂乱零件进行识别提取，准确计算出零件空间位置信息，并完成抓取工作，本发明能够针对不同零件实现实时、准确、可靠的抓取。同时本发明能够对零部件实现实时的检测、识别与定位。
本发明基于视觉技术与机械综合定位的方式来抓取零件，无需精确的机械预定位，减少了不同零件的定位工装设备，降低硬件成本，提高设备的自动化程度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于视觉分析的零部件定位及抓取方法流程图。
图2是本发明实施例提供的基于视觉分析的零部件定位及抓取系统的结构框图；
图中：1、图像采集模块；2、图像处理模块；3、中央控制模块；4、图像集数生成模块；5、训练器模型构建模块；6、视觉分析处理模块；7、特征提取模块；8、目标匹配模块；9、抓取模块；10、数据存储模块；11、显示模块。
图3是本发明实施例提供的通过视觉分析处理模块获取目标零部件的相关图像及其他数据的方法流程图。
图4是本发明实施例提供的通过特征提取模块利用特征提取程序基于处理后的零部件图像数据提取待抓取零部件的特征以及尺寸数据的方法流程图。
图5是本发明实施例提供的通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于视觉分析的零部件定位及抓取方法、系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于视觉分析的零部件定位及抓取方法包括：
S101，通过图像采集模块利用CCD传感器摄像设备获取待抓取零部件的数字图像数据；通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行处理，删除冗余的图像数据信息；
S102，通过中央控制模块利用单片机或中央控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
S103，通过图像集数生成模块利用图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
S104，通过训练器模型构建模块利用模型构建程序基于所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得训练器模型；
S105，通过视觉分析处理模块利用所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
S106，通过特征提取模块利用特征提取程序基于处理后的零部件图像数据提取待抓取零部件的特征以及尺寸数据；
S107，通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
S108，通过抓取模块基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
S109，通过数据存储模块利用存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
S110，通过显示模块利用显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。
如图2所示，本发明实施例提供的基于视觉分析的零部件定位及抓取系统包括：图像采集模块1、图像处理模块2、中央控制模块3、图像集数生成模块4、训练器模型构建模块5、视觉分析处理模块6、特征提取模块7、目标匹配模块8、抓取模块9、数据存储模块10、显示模块11。
图像采集模块1，与中央控制模块3连接，用于通过CCD传感器摄像设备获取待抓取零部件的数字图像数据；
图像处理模块2，与中央控制模块3连接，用于通过图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，删除冗余的图像数据信息；
中央控制模块3，与图像采集模块1、图像处理模块2、图像集数生成模块4、训练器模型构建模块5、视觉分析处理模块6、特征提取模块7、目标匹配模块8、抓取模块9、数据存储模块10、显示模块11连接，用于通过单片机或控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
图像集数生成模块4，与中央控制模块3连接，用于通过图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
训练器模型构建模块5，与中央控制模块3连接，用于通过模型构建程序基于所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
视觉分析处理模块6，与中央控制模块3连接，用于通过所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
特征提取模块7，与中央控制模块3连接，用于通过特征提取程序基于处理后的零部件图像数据提取待抓取零部件的特征以及尺寸数据；
目标匹配模块8，与中央控制模块3连接，用于通过匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
抓取模块9，与中央控制模块3连接，用于基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
数据存储模块10，与中央控制模块3连接，用于通过存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
显示模块11，与中央控制模块3连接，用于通过显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。
下面结合具体实施例对本发明作进一步描述。
实施例1
本发明实施例提供的基于视觉分析的零部件定位及抓取方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过视觉分析处理模块获取目标零部件的相关图像及其他数据的方法包括：
S201，通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，所述预处理包括灰度处理、图像增强处理；
S202，对预处理后的图像做HSV空间下的缺项曲线图，根据所述缺项曲线图将图像分类，删除分类中难以识别的图像；同时计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；
S203，通过图像集数生成模块利用图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
S204，通过训练器模型构建模块利用模型构建程序基于所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
S205，通过视觉分析处理模块利用所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据。
本发明实施例提供的步骤S201中，所述通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理的方法，包括：
(1)对获取的待抓取零部件的数字图像数据进行灰度处理；
(2)对灰度处理后的图像数据以某个像素为中心像素取数个滤波区间，获取各滤波区间内像素灰度值集合；
(3)分别计算各滤波区间的像素灰度值方差，以像素灰度值方差最小的滤波区间为最佳滤波区间；
(4)以最佳滤波区间对中心像素进行中值滤波，然后以该中心像素遍历零部件图像中的每个像素，得到滤波处理后的图像；
(5)采用二值化处理滤波处理的图像数据，得到处理后的待抓取零部件的图像增强数据。
本发明实施例提供的步骤S204中，所述基于所述图像集数，使用深度神经网络对所述训练样本集进行训练，得到训练器模型的方法，包括：
(i)设定预先建立的深度神经网络参数的初始值，所述深度神经网络包括输入层、中间变量层和输出层；
其中，所述参数包括用于调节长期权值和短期权值对输出神经元的影响比例的变量σ、变化步长δ、神经元非线性函数的变化曲率a、偏移量s和随训练次数变化的变量b；
(ii)根据所述图像集数对所述神经网络进行训练，直到各个神经元的可变权值的变动在预设允许范围内结束训练。
实施例2
本发明实施例提供的基于视觉分析的零部件定位及抓取方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过特征提取模块利用特征提取程序基于处理后的零部件图像数据提取待抓取零部件的特征以及尺寸数据的方法包括：
S301，通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合；采用特征直线的筛选及二维特征点的确定方法对零部件图像的有向直线段集合进行处理获得特征直线；
S302，对于每条特征直线，将提取的相互邻接的各个有向直线段作为二叉树的一个节点，根据邻接关系在正、负方向上分别构建两棵以该特征直线作为根节点且最大深度为m的二叉树，正方向为沿着特征直线方向，负方向为沿着特征直线方向的反方向；
S303，分别遍历这两棵二叉树从根节点到叶节点的根通路，将一个正二叉树的根通路和一个负二叉树的根通路之间进行任意两两排列组合，每个组合构成特征直线的一条有向直线链，一条特征直线构造至少一条有向直线链；
S304，将不少于4节点的有向直线链作为一个链状特征F；利用特征提取程序基于处理后的零部件图像数据将提取的链状特征的特征向量作为零部件图像的特征数据。
本发明实施例提供的步骤S301中，通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合的方法，包括：
(I)通过特征提取模块提取图像中的各个零部件所在区域并获得零部件在整张图像中的位置，并计算出感兴趣区域的形心；
(II)利用LSD直线检测算法提取感兴趣区域中的所有直线段，并确定每条直线段的方向；
(III)合并断裂直线段和删除孤立直线段，获得有向直线段集合。
实施例3
本发明实施例提供的基于视觉分析的零部件定位及抓取方法如图1所示，作为优选实施例，如图5所示，本发明实施例提供的通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配的方法包括：
S401，基于多尺度Harris角点算法构建零部件图像的检测算子；
S402，基于构建检测算子计算提取的待抓取零部件的特征点的向量与获取的目标零部件的相关图像中各特征点的向量的欧式距离；
S403，将提取的待抓取零部件的特征图像中与目标零部件的相关图像的特征点的向量的欧式距离最小的点作为目标零部件的相关图像的特征点的匹配点；若判断所述匹配点的数量大于预设的匹配点阈值，则匹配成功。
本发明实施例提供的步骤S403中，所述判断所述匹配点的数量大于预设的匹配点阈值之前，还包括：
选取提取的待抓取零部件的特征图像中与所述目标零部件的相关图像的特征点的向量具有最邻近欧式距离的特征点及具有次邻近欧式距离的特征点；
若所述最邻近欧式距离小于等于第一阈值，且所述次邻近欧式距离小于等于第二阈值，则将所述提取的待抓取零部件的特征图像中与所述目标零部件的相关图像的特征点的向量具有最邻近欧式距离的特征点及具有次邻近欧式距离的特征点作为匹配点对。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于视觉分析的零部件定位及抓取方法，其特征在于，所述基于视觉分析的零部件定位及抓取方法包括：
步骤一，通过图像采集模块利用CCD传感器摄像设备获取待抓取零部件的数字图像数据；通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，所述预处理包括灰度处理、图像增强处理；
步骤二，对预处理后的图像做HSV空间下的缺项曲线图，根据所述缺项曲线图将图像分类，删除分类中难以识别的图像；同时计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；
步骤三，通过中央控制模块利用单片机或中央控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
步骤四，通过图像集数生成模块利用图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
步骤五，通过训练器模型构建模块利用模型构建程序基于步骤四生成的所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
步骤六，通过视觉分析处理模块利用所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
步骤七，通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合；采用特征直线的筛选及二维特征点的确定方法对零部件图像的有向直线段集合进行处理获得特征直线；
步骤八，对于每条特征直线，将提取的相互邻接的各个有向直线段作为二叉树的一个节点，根据邻接关系在正、负方向上分别构建两棵以该特征直线作为根节点且最大深度为m的二叉树，正方向为沿着特征直线方向，负方向为沿着特征直线方向的反方向；
步骤九，分别遍历这两棵二叉树从根节点到叶节点的根通路，将一个正二叉树的根通路和一个负二叉树的根通路之间进行任意两两排列组合，每个组合构成特征直线的一条有向直线链，一条特征直线构造至少一条有向直线链；
步骤十，将不少于4节点的有向直线链作为一个链状特征F；利用特征提取程序基于处理后的零部件图像数据将提取的链状特征的特征向量作为零部件图像的特征数据；
步骤十一，通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
步骤十二，通过抓取模块基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
步骤十三，通过数据存储模块利用存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
步骤十四，通过显示模块利用显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。
2.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤一中，所述摄像设备为CCD传感器摄像设备或Kinect深度相机。
3.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤一中，所述通过图像处理模块利用图像处理程序对获取的待抓取零部件的数字图像数据进行预处理的方法，包括：
(1)对获取的待抓取零部件的数字图像数据进行灰度处理；
(2)对灰度处理后的图像数据以某个像素为中心像素取数个滤波区间，获取各滤波区间内像素灰度值集合；
(3)分别计算各滤波区间的像素灰度值方差，以像素灰度值方差最小的滤波区间为最佳滤波区间；
(4)以最佳滤波区间对中心像素进行中值滤波，然后以该中心像素遍历零部件图像中的每个像素，得到滤波处理后的图像；
(5)采用二值化处理滤波处理的图像数据，得到处理后的待抓取零部件的图像增强数据。
4.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤五中，所述基于所述图像集数，使用深度神经网络对所述训练样本集进行训练，得到训练器模型的方法，包括：
(i)设定预先建立的深度神经网络参数的初始值，所述深度神经网络包括输入层、中间变量层和输出层；
其中，所述参数包括用于调节长期权值和短期权值对输出神经元的影响比例的变量σ、变化步长δ、神经元非线性函数的变化曲率a、偏移量s和随训练次数变化的变量b；
(ii)根据所述图像集数对所述神经网络进行训练，直到各个神经元的可变权值的变动在预设允许范围内结束训练。
5.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤七中，所述通过特征提取模块对处理后的零部件图像数据进行处理，得到所有零部件的有向直线段集合的方法，包括：
(I)通过特征提取模块提取图像中的各个零部件所在区域并获得零部件在整张图像中的位置，并计算出感兴趣区域的形心；
(II)利用LSD直线检测算法提取感兴趣区域中的所有直线段，并确定每条直线段的方向；
(III)合并断裂直线段和删除孤立直线段，获得有向直线段集合。
6.如权利要求1所述的基于视觉分析的零部件定位及抓取方法，其特征在于，步骤十一中，所述通过目标匹配模块利用匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配的方法，包括：
(a)基于多尺度Harris角点算法构建零部件图像的检测算子；
(b)基于构建检测算子计算提取的待抓取零部件的特征点的向量与获取的目标零部件的相关图像中各特征点的向量的欧式距离；
(c)将提取的待抓取零部件的特征图像中与目标零部件的相关图像的特征点的向量的欧式距离最小的点作为目标零部件的相关图像的特征点的匹配点；若判断所述匹配点的数量大于预设的匹配点阈值，则匹配成功。
7.如权利要求6所述的基于视觉分析的零部件定位及抓取方法，其特征在于，所述判断所述匹配点的数量大于预设的匹配点阈值之前，还包括：
选取提取的待抓取零部件的特征图像中与所述目标零部件的相关图像的特征点的向量具有最邻近欧式距离的特征点及具有次邻近欧式距离的特征点；
若所述最邻近欧式距离小于等于第一阈值，且所述次邻近欧式距离小于等于第二阈值，则将所述提取的待抓取零部件的特征图像中与所述目标零部件的相关图像的特征点的向量具有最邻近欧式距离的特征点及具有次邻近欧式距离的特征点作为匹配点对。
8.一种实施如权利要求1～7任意一项所述的基于视觉分析的零部件定位及抓取方法的基于视觉分析的零部件定位及抓取系统，其特征在于，所述基于视觉分析的零部件定位及抓取系统包括：
图像采集模块、图像处理模块、中央控制模块、图像集数生成模块、训练器模型构建模块、视觉分析处理模块、特征提取模块、目标匹配模块、抓取模块、数据存储模块、显示模块；
图像采集模块，与中央控制模块连接，用于通过CCD传感器摄像设备获取待抓取零部件的数字图像数据；
图像处理模块，与中央控制模块连接，用于通过图像处理程序对获取的待抓取零部件的数字图像数据进行预处理，删除冗余的图像数据信息；
中央控制模块，与图像采集模块、数据获取模块、图像处理模块、特征提取模块、目标匹配模块、抓取模块连接，用于通过单片机或控制器控制所述基于视觉分析的零部件定位及抓取系统各个模块的正常工作；
图像集数生成模块，与中央控制模块连接，用于通过图像集数生成程序采集待抓取零部件的数字图像数据，并将所述数字图像数据像按照类别顺序建立训练样本集，根据所述训练样本集生成图像集数；
训练器模型构建模块，与中央控制模块连接，用于通过模型构建程序基于所述图像集数，使用深度神经网络或HOG+SVM算法对所述训练样本集进行训练，得到训练器模型；
视觉分析处理模块，与中央控制模块连接，用于通过所述训练器模型处理所述待抓取零部件的数字图像后得到训练后的图像，通过视觉分析程序对采集的待抓取零部件的数字图像数据进行解码处理，获取目标零部件的相关图像及其他数据；
特征提取模块，与中央控制模块连接，用于通过特征提取程序基于处理后的零部件图像数据提取待抓取零部件的特征以及尺寸数据；
目标匹配模块，与中央控制模块连接，用于通过匹配程序将提取的待抓取零部件的特征以及尺寸数据与获取的目标零部件的相关图像、尺寸数据进行匹配，判断待抓取的零部件的坐标位置；
抓取模块，与中央控制模块连接，用于基于确定的待抓取的零部件的坐标位置数据调整工业机器人或机械手的位置以及姿态数据进行待抓取零部件的抓取；
数据存储模块，与中央控制模块连接，用于通过存储器存储获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置；
显示模块，与中央控制模块连接，用于通过显示器显示获取的待抓取零部件的数字图像数据、图像集数、训练器模型、目标零部件的相关图像及其他数据、待抓取零部件的特征以及尺寸数据、坐标位置的实时数据。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1～7任意一项所述的基于视觉分析的零部件定位及抓取方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的基于视觉分析的零部件定位及抓取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010900424.9A CN112070837A (zh) | 2020-08-31 | 2020-08-31 | 一种基于视觉分析的零部件定位及抓取方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010900424.9A CN112070837A (zh) | 2020-08-31 | 2020-08-31 | 一种基于视觉分析的零部件定位及抓取方法、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112070837A true CN112070837A (zh) | 2020-12-11 |
Family
ID=73665128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010900424.9A Pending CN112070837A (zh) | 2020-08-31 | 2020-08-31 | 一种基于视觉分析的零部件定位及抓取方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070837A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633187A (zh) * | 2020-12-28 | 2021-04-09 | 山东电子职业技术学院 | 基于图像分析的机器人自动搬运方法、系统和存储介质 |
| CN113269723A (zh) * | 2021-04-25 | 2021-08-17 | 浙江省机电设计研究院有限公司 | 三维视觉定位与机械手协同工作的零部件无序抓取系统 |
| CN113312969A (zh) * | 2021-04-23 | 2021-08-27 | 浙江省机电设计研究院有限公司 | 一种基于三维视觉的零部件识别与定位方法、系统 |
| CN114544665A (zh) * | 2022-04-27 | 2022-05-27 | 惠州威尔高电子有限公司 | Pcb成型槽漏锣快速检测方法、电子设备及存储介质 |
| CN115272302A (zh) * | 2022-09-23 | 2022-11-01 | 杭州申昊科技股份有限公司 | 图像中零部件检测方法，零部件检测设备及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9473594B1 (en) * | 2012-02-07 | 2016-10-18 | X Development Llc | Projection of interactive map data |
| CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
| CN107767365A (zh) * | 2017-09-21 | 2018-03-06 | 华中科技大学鄂州工业技术研究院 | 一种内窥镜图像处理方法及系统 |
| CN108229665A (zh) * | 2018-02-02 | 2018-06-29 | 上海建桥学院 | 一种以深度卷积神经网络为基础的零件分拣系统 |
| CN110390137A (zh) * | 2019-06-24 | 2019-10-29 | 浙江大学 | 一种针对机械零件三维注册的链状特征提取匹配方法 |
| CN110532897A (zh) * | 2019-08-07 | 2019-12-03 | 北京科技大学 | 零部件图像识别的方法和装置 |
| CN111126174A (zh) * | 2019-12-04 | 2020-05-08 | 东莞理工学院 | 一种用于机器人抓取零件的视觉检测方法 |
| CN111428731A (zh) * | 2019-04-04 | 2020-07-17 | 深圳市联合视觉创新科技有限公司 | 基于机器视觉的多类目标识别定位方法、装置和设备 |
-
2020
- 2020-08-31 CN CN202010900424.9A patent/CN112070837A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9473594B1 (en) * | 2012-02-07 | 2016-10-18 | X Development Llc | Projection of interactive map data |
| CN106897995A (zh) * | 2017-02-04 | 2017-06-27 | 同济大学 | 一种面向机械装配过程的零部件自动识别方法 |
| CN107767365A (zh) * | 2017-09-21 | 2018-03-06 | 华中科技大学鄂州工业技术研究院 | 一种内窥镜图像处理方法及系统 |
| CN108229665A (zh) * | 2018-02-02 | 2018-06-29 | 上海建桥学院 | 一种以深度卷积神经网络为基础的零件分拣系统 |
| CN111428731A (zh) * | 2019-04-04 | 2020-07-17 | 深圳市联合视觉创新科技有限公司 | 基于机器视觉的多类目标识别定位方法、装置和设备 |
| CN110390137A (zh) * | 2019-06-24 | 2019-10-29 | 浙江大学 | 一种针对机械零件三维注册的链状特征提取匹配方法 |
| CN110532897A (zh) * | 2019-08-07 | 2019-12-03 | 北京科技大学 | 零部件图像识别的方法和装置 |
| CN111126174A (zh) * | 2019-12-04 | 2020-05-08 | 东莞理工学院 | 一种用于机器人抓取零件的视觉检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 童磊: "面向机器人抓取的零件识别与定位方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112633187A (zh) * | 2020-12-28 | 2021-04-09 | 山东电子职业技术学院 | 基于图像分析的机器人自动搬运方法、系统和存储介质 |
| CN112633187B (zh) * | 2020-12-28 | 2023-05-05 | 山东电子职业技术学院 | 基于图像分析的机器人自动搬运方法、系统和存储介质 |
| CN113312969A (zh) * | 2021-04-23 | 2021-08-27 | 浙江省机电设计研究院有限公司 | 一种基于三维视觉的零部件识别与定位方法、系统 |
| CN113269723A (zh) * | 2021-04-25 | 2021-08-17 | 浙江省机电设计研究院有限公司 | 三维视觉定位与机械手协同工作的零部件无序抓取系统 |
| CN114544665A (zh) * | 2022-04-27 | 2022-05-27 | 惠州威尔高电子有限公司 | Pcb成型槽漏锣快速检测方法、电子设备及存储介质 |
| CN114544665B (zh) * | 2022-04-27 | 2022-07-08 | 惠州威尔高电子有限公司 | Pcb成型槽漏锣快速检测方法、电子设备及存储介质 |
| CN115272302A (zh) * | 2022-09-23 | 2022-11-01 | 杭州申昊科技股份有限公司 | 图像中零部件检测方法，零部件检测设备及系统 |
| CN115272302B (zh) * | 2022-09-23 | 2023-03-14 | 杭州申昊科技股份有限公司 | 图像中零部件检测方法，零部件检测设备及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112070837A (zh) | 一种基于视觉分析的零部件定位及抓取方法、系统 | |
| Kusumam et al. | 3D‐vision based detection, localization, and sizing of broccoli heads in the field | |
| WO2012052614A1 (en) | Method for the filtering of target object images in a robot system | |
| CN111008961A (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN110502962B (zh) | 视频流中目标的检测方法、装置、设备和介质 | |
| KR20180123810A (ko) | Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
| Zhang et al. | Prioritizing robotic grasping of stacked fruit clusters based on stalk location in RGB-D images | |
| Solak et al. | A new method for classifying nuts using image processing and k‐means++ clustering | |
| Le Louedec et al. | Segmentation and detection from organised 3D point clouds: A case study in broccoli head detection | |
| CN113128518B (zh) | 基于孪生卷积网络和特征混合的sift误匹配检测方法 | |
| CN109035666B (zh) | 一种火烟检测方法、装置及终端设备 | |
| CN114092478A (zh) | 一种异常检测方法 | |
| Wang et al. | A transformer-based mask R-CNN for tomato detection and segmentation | |
| CN113021355B (zh) | 一种用于预测遮挡农作物摘取点的农业机器人作业方法 | |
| CN113034526B (zh) | 一种抓取方法、抓取装置及机器人 | |
| KR20230061612A (ko) | 머신 러닝을 이용한 물체의 피킹 자동화 시스템 및 그 제어 방법 | |
| CN106934339B (zh) | 一种目标跟踪、跟踪目标识别特征的提取方法和装置 | |
| CN111611917A (zh) | 模型训练方法、特征点检测方法、装置、设备及存储介质 | |
| Altundogan et al. | Multiple object tracking with dynamic fuzzy cognitive maps using deep learning | |
| CN115100416A (zh) | 一种不规则钢板位姿识别方法及相关设备 | |
| CN113305848A (zh) | 一种基于YOLO v2网络的实时抓取检测方法 | |
| CN112634367A (zh) | 一种基于深度神经网络的抗遮挡的物体位姿估计方法 | |
| CN111125414A (zh) | 一种无人机遥感图像特定目标自动搜索方法 | |
| CN115034335B (zh) | 一种基于决策树模型的机器人自主协同控制方法和系统 | |
| Bohlool et al. | Cost-efficient automated visual inspection system for small manufacturing industries based on SIFT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201211 |
|
| RJ01 | Rejection of invention patent application after publication |