CN108491776A - 基于像素分类的装配体零件识别方法、装置及监测系统 - Google Patents

基于像素分类的装配体零件识别方法、装置及监测系统 Download PDF

Info

Publication number
CN108491776A
CN108491776A CN201810201904.9A CN201810201904A CN108491776A CN 108491776 A CN108491776 A CN 108491776A CN 201810201904 A CN201810201904 A CN 201810201904A CN 108491776 A CN108491776 A CN 108491776A
Authority
CN
China
Prior art keywords
assembly
image
pixel
depth
random forest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810201904.9A
Other languages
English (en)
Other versions
CN108491776B (zh
Inventor
李东年
田中可
陈成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201810201904.9A priority Critical patent/CN108491776B/zh
Publication of CN108491776A publication Critical patent/CN108491776A/zh
Application granted granted Critical
Publication of CN108491776B publication Critical patent/CN108491776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于像素分类的装配体零件识别方法、装置及监测系统，所述包括：接收待识别装配体的图像训练集和图像测试集；采用所述图像训练集训练随机森林模型；基于所述图像测试集对所述随机森林模型进行参数优化；基于所述随机森林模型对所述装配体进行零件识别；其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。本发明能够以较低的计算代价和较高的识别率对装配场景中的零件进行识别，进而监测装配过程中零件装配位置和装配顺序的正确性。

Description

基于像素分类的装配体零件识别方法、装置及监测系统
技术领域
本发明属于机械装备零件识别领域，尤其涉及一种基于像素分类的装配体零件识别方法、装置及监测系统。
背景技术
现代大型复杂机械装备涉及的装配知识较多，单纯依靠工人的经验、技术和知识难以高效地完成复杂机械装备的装配工作。随着增强现实技术的发展，采用增强现实技术来进行装配诱导逐渐受到各国研究者的重视。增强现实装配诱导的应用可以改进人工手动装配的效率，通过在操作者视图中将虚拟诱导信息与实际工作场景融合，可以减少操作者对相关操作规程的搜索时间，更好地使操作者将注意力集中在操作任务的执行上。
增强现实装配诱导要想获得良好的人机交互性，需要对装配场景进行识别和监测，但现有的增强现实装配诱导系统多通过3D点云分割和配准的方式来实现装配场景中的零件识别，具有较高的计算复杂度和较低的配准成功率。
因此，如何提供装配件零件的识别效率和准确率，是本领域技术人员目前需要迫切解决的技术问题。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于像素分类的装配体零件识别方法，通过基于随机森林的像素分类器能够以较低的计算代价和较高的识别率对装配场景中的零件进行识别，进而监测装配过程中零件装配位置和装配顺序的正确性。
为实现上述目的，本发明采用如下技术方案：
一种基于像素分类的装配体零件识别方法，包括以下步骤：
接收待识别装配体的图像训练集和图像测试集；
采用所述图像训练集训练随机森林模型；
基于所述图像测试集对所述随机森林模型进行参数优化；
基于所述随机森林模型对所述装配体进行零件识别；
其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。
进一步地，所述合成图像样本集和对应的彩色标记图像样本集的获取方法为：
建立待识别装配体的三维模型并进行颜色标记；
在装配体所在的6自由度位姿空间中对装配体的位姿状态进行均匀采样得到位姿状态样本集；
获取所述装配体在每一个位姿状态下的深度图像和对应的彩色标记图像。
进一步地，所述真实深度图像样本集和对应的彩色标记图像集的获取方法为：
利用深度相机获取真实装配体的不同位姿状态的深度图像；
采用图像处理软件对所述深度图像进行颜色标记。
进一步地，所述随机森林模型的训练方法为：
从图像训练集中的每张深度图像随机提取一定数量的像素来生成像素样本集；
计算所述像素样本的深度差分特征；
采用像素样本的深度差分特征训练随机森林模型。
进一步地，所述深度差分特征为：
其中，特征参数θ＝(u,v)描述相对于深度像素x的两个二维像素偏移向量u和v，d(x)为深度像素x在深度图像中对应的深度值。
进一步地，所述改进深度差分特征为：
其中，特征参数θ＝(u,v)描述相对于深度像素x的两个二维像素偏移向量u和v，d(x)为深度像素x在深度图像中对应的深度值，b表示边缘因子。
进一步地，所述边缘因子的确定方法为：
取深度图像上一个像素点，以该像素点x为中心以为边长绘制一个正方形方框，其中a为方框的边长系数，为深度因子；
统计正方形方框内的总像素点数N和落在方框内前景部分的像素点数n，则边缘因子b定义如下：
其中，bmin为边缘因子下限，取值范围为[0,1]，bmax为边缘因子上限，取值范围为[bmin,1]。
根据本发明的第二目的，本发明还提供了一种基于像素分类的装配体零件识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：
接收待识别装配体的图像训练集和图像测试集；
采用所述图像训练集训练随机森林模型；
基于所述图像测试集对所述随机森林模型进行参数优化；
基于所述随机森林模型对所述装配体进行零件识别；
其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。
根据本发明的第三目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行：
接收待识别装配体的图像训练集和图像测试集；
采用所述图像训练集训练随机森林模型；
基于所述图像测试集对所述随机森林模型进行参数优化；
基于所述随机森林模型对所述装配体进行零件识别；
其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。
根据本发明的第四目的，本发明还提供了一种装配监测系统，包括：
图像采集装置，用于采集装配后的装配体图像并发送至计算装置；
计算装置，包括存储器、处理器，所述存储器上存储装配体装配监测的计算机程序，所述处理器执行所述程序时实现：
接收装配后的装配体图像；
基于随机森林模型对所述装配体进行零件识别；
基于零件识别结果确定是否发生装配错误，所发生错误，将错误信息发送至显示装置；
显示装置，用于接收计算装置发送的监测结果并进行显示。
本发明的有益效果
1、本发明采用基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集进行分类模型的训练，由于真实图像的拍摄会引入大量的背景噪声，因而本发明相较于仅针对真实图像进行训练，准确度更高。
2、本发明采用基于图像识别的方法进行装配件零件识别，并应用于装配诱导和监测领域，相较于传统的增强现实装配诱导系统，监测效率更高。
3、本发明基于装配体的不同装配情况进行建模，能够根据实际装配情况给出诱导信息，确保了人工操作过程中装配的准确率。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明的技术框架图；
图2为装配体深度图及对应彩色标签图；其中，图2(a)合成深度图，图2(b)合成彩色标记图，图2(c)真实深度图，图2(d)真实彩色标记图；
图3为边缘因子示意图；
图4为偏移向量选取示意图；
图5为随机森林分类模型；
图6为减速器采集现场及实物图；其中，图6(a)采集现场图，图6(b)装配体实物图；
图7为分类器对装配体各零件的像素识别率；
图8为分类器对装配体的识别结果；其中，图8(a)合成深度图，图8(b)合成深度图识别结果，图8(c)真实深度图，图8(d)真实深度图识别结果；
图9为分类器对不同装配错误情况下装配体各零件的像素识别率；
图10为不同装配错误情况下装配体的识别结果；其中，图10(a)P0件错位，图10(b)P1件错位，图10(c)P4件漏装，图10(d)P10件漏装。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
术语解释：
像素分类：对图像像素点根据某些共同特性进行分类。
深度图像：深度图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。
随机森林：随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。该分类器最早由Leo Breiman和Adele Cutler提出，并被注册成了商标。
增强现实装配：增强装配通过将必要的虚拟样机、虚拟零部件、诱导信息等虚拟内容添加到用户周围的真实装配场景中，来诱导用户的装配操作，辅助用户进行装配设计和规划。
实施例一
本实施例的目的是提供一种基于随机森林和像素分类的装配体零件识别方法。
一种基于随机森林和像素分类的装配体零件识别方法，如图1所示，包括以下步骤：
步骤1：建立装配体的图像样本训练集和测试集，图像训练集和测试集均包括深度图像样本和对应的彩色标记图像样本两部分。
图像训练集根据预先建立的装配体的三维模型采用计算机图形渲染的方式来合成，而图像测试集既包括合成图像样本集又包括真实图像样本集。
步骤2：以图像训练集中的像素作为训练样本，从训练集中的深度图像提取像素的深度差分特征，从对应的彩色标记图像提取像素对应的分类标签，利用深度差分特征训练随机森林分类器，从而建立一个从深度差分特征到像素分类标签的映射关系。用训练好的随机森林分类器对图像测试集进行分类测试，通过反复的训练和测试来获取随机森林的最优参数。
步骤3：用建立好的随机森林像素分类器对装配体各零件进行分类识别，进而监测装配过程中零件装配位置和装配顺序的正确性。
本实施例采用计算机三维图形渲染的方式来合成随机森林分类器训练所需的图像样本集。其中，图像训练集的获取方法为：
首先，采用CAD建模软件(如SolidWorks)为待识别的装配体建立三维模型，通过OBJ中间格式将其导入可视化建模软件(如Mutigen Creator)并对组成装配体的各零件{Pi|i＝1,...,N}进行颜色标记，不同的零件Pi用不同的颜色Ci进行标记，每一种颜色对应一个分类标签li。其中，N为装配体中零件个数，即分类器的最大分类数。
然后，将进行了颜色标记的装配体三维可视化模型导入图形渲染引擎(如OpenSceneGraph)，在装配体所在的6自由度位姿空间中对装配体的位姿状态进行均匀采样得到位姿状态样本集{sj|j＝1,...,M}。
针对每一个位姿状态sj，利用图形渲染引擎以离屏渲染方式(如FBO离屏渲染)合成装配体在该位姿状态下的深度图像(如图2a)和对应的彩色标记图像(如图2b)，从而构成随机森林分类器训练所需的深度图像样本集{Dj|j＝1,...,M}和对应的彩色标记图像样本集{CLj|j＝1,...,M}。合成深度图像由GPU深度缓存Z-buffer中储存的数据生成，而彩色标记图像由GPU颜色缓存中储存的数据生成。其中，M为装配体的位姿状态样本数，即图像样本数。
图像测试集的获取方法为：
用于随机森林分类测试的图像测试集既包括合成图像样本集又包括真实图像样本集，其中，合成图像样本集与训练集一样通过计算机图形渲染方式合成；而在建立用于测试的真实样本集时，利用深度相机(如Kinect 2.0)进行图像采集来获取真实装配体的深度图像(如图2c)，再利用图像处理软件(如Adobe Photoshop)的颜色标记功能对采集的深度图像进行人工标记来获取对应的彩色标记图像(如图2d)，构成测试所需的真实样本集。
优选地，为了实现装配体不同安装情况的监测，还可以针对各种错误装配的装配体采集图像训练集和图像测试集，并分别训练随机森林分类器。
本实施例采用随机森林进行像素分类来实现装配体零件识别，利用从深度图像提取的深度差分特征训练随机森林分类器,通过像素分类实现了对装配体零件识别。
深度差分特征获取：
本发明采用像素分类的方法来实现对装配体零件的识别，通过随机森林来建立像素分类器，来将不同位置的深度像素划分到不同的零件类别。本发明从图像训练集中的每张深度图像随机提取一定数量的像素来生成像素样本集，采用像素样本的深度差分特征来训练随机森林分类器。给定一个深度像素x，深度差分特征fθ定义如下：
其中，特征参数θ＝(u,v)描述相对于深度像素x的两个二维像素偏移向量u和v，d(x)为深度像素x在深度图像中对应的深度值。两个偏移向量u和v分别通过除以d(x)来进行规范化，从而保证特征值fθ的深度不变性，即特征值fθ的大小不受物体到摄像机距离的影响。尽管这些深度差分特征只提供弱的分类信号，但是将其与随机森林分类器进行结合将足以识别物体的不同部分。
为了增加深度差分特征的去噪能力及偏移向量的自适应能力，本发明提出改进的深度差分特征，引入了边缘因子b。改进后的深度差分特征，一定程度上，去除了背景的噪音干扰，减少了边缘像素点的无效特征值数，提高了最终的像素识别率。改进的深度差分特征如公式(2)所示
其中，b为边缘因子。边缘因子的定义如下图3所示，x为深度图像I上一像素点，以该像素点x为中心以为边长绘制一个正方形方框，其中a为方框的边长系数，为深度因子,用于对边长进行归一化处理，保证边长能够随摄像机到物体距离的变化而做相应的变化。统计正方形方框内的总像素点数N和落在方框内前景部分的像素点数n，则边缘因子b定义如公式(3)所示：
其中，bmin为边缘因子下限，取值范围为[0,1]，bmax为边缘因子上限，取值范围为[bmin,1]。图3展示了边缘因子在实际应用时可能出现的状态，其中图3b框1代表方框完全处在前景内部时，则b＝1；图3b框2,3代表方框处在前景边缘时，b的取值需要根据公式(3)进行判断；图3b框4,5代表边缘方框处在背景噪音处时，则一般比较小，可通过进行图像的去噪处理。
本发明对每个像素选取63个偏移向量，加上待分类像素点x本身共产生64个深度值，可组合成2016对偏移向量，图4为偏移向量选取示意图。首先以像素点x为圆心建立四个同心圆，分别为偏移圆1、偏移圆2、偏移圆3、偏移圆4，其半径关系为r1:r2:r3:r4＝1:2:3:4。然后，分别在四个偏移圆上等角度选取若干点，以圆心为始以圆上的点为终构成偏移向量u,v。，即，u和v对应偏移圆中半径对应的x和y方向上的向量。通过实验对最小偏移圆半径rmin进行确定。下面是在四个偏移圆上的取点情况：
a.偏移圆1:
b.偏移圆2:
c.偏移圆3:
d.偏移圆4:
随机森林训练和测试：
随机森林是一种快速有效的多类分类器，它由多棵决策树(如CART(Classification And Regression Tree)决策树)组成，如图5所示。每一棵决策树由许多分枝节点和末端的叶节点组成，每一个分枝节点包含一个特征fθ和一个对应的阈值τ，而每一个叶节点都对应一个关于分类标签li的概率分布。第t棵决策树在进行分类决策时，待分类像素x在决策树t每一个分支节点根据该节点对应的深度差分特征进行阈值比较，根据比较结果将该像素分到左侧或右侧子集，最终该像素被分配到末端的一个叶节点，该叶节点对应的概率分布pt(li|x)即为决策树t对像素x做出的分类结果。将所有T棵决策树获取的概率分布进行平均，即可获得随机森林的最终分类结果
随机森林分类器利用多棵随机决策树对样本进行训练和预测，可以有效避免单个决策树分类器常出现的过拟合现象。每棵树所使用的训练样本集是从总的训练样本集中随机地有放回地抽取的，而在训练决策数的每个分支节点时，所使用的特征是从所有特征中按照一定比例通过无放回随机采样获取的。随机森林分类器的训练和预测过程可以总结如下：
训练：对于第t＝1-T棵树
(1)从总训练集中有放回地随机抽取一个训练集，作为当前决策树根节点的样本集，从根节点开始训练；具体地，以彩色标记图像中各零件对应的颜色作为分类标签，根据深度差分特征进行训练。
这个在技术框架图本文档图1中有体现。
(2)对于当前待分裂节点，从所有N维特征中随机地无放回地抽取n维特征{fθ}，根据特征参数θ及其阈值τ将当前节点的样本集S中的样本划分为左子集SL和右子集SR，如式(5)，SL和SR分别分配给当前节点的左子节点和右子节点
利用这n维特征，通过式(6)和式(7)寻找分类效果最好的一维特征θ及其阈值τ，
其中，Gini(S)为样本集S的Gini系数，pi为样本集中第i类样本所占的比例。
(3)如果当前节点达到终止条件，则将当前节点设置为叶节点，该叶节点储存了一个关于分类标签li的概率分布p(li)，即当前叶节点样本集合中各类别li所占的比例。
(4)如果还有节点未分裂或被设置为叶节点，则转到第(2)步。
预测：对于第t＝1-T棵树
(1)从当前决策树的根节点开始，根据当前节点的特征θ和阈值τ判断待分类样本x是进入左子节点还是进入右子节点，直到到达该决策树的某个叶节点，输出各类别li的概率分布pt(li|x)。
(2)重复执行(1)直到所有T棵树都输出了分类结果，将所有T棵决策树获取的概率分布进行平均，则分类输出为所有决策树预测概率总和最大的那一个类。
本实施例通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置，主要包括对训练图像数量、决策树最大深度、决策树数量等参数进行确定。
实施例二
本实施例的目的是提供一种计算装置。
一种基于像素分类的装配体零件识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：
接收待识别装配体的图像训练集和图像测试集；
采用所述图像训练集训练随机森林模型；
基于所述图像测试集对所述随机森林模型进行参数优化；
基于所述随机森林模型对所述装配体进行零件识别；
其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行：
接收待识别装配体的图像训练集和图像测试集；
采用所述图像训练集训练随机森林模型；
基于所述图像测试集对所述随机森林模型进行参数优化；
基于所述随机森林模型对所述装配体进行零件识别；
其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。
实施例四
本实施例的目的是提供一种装配监测系统。
本发明还提供了一种装配监测系统，包括：
图像采集装置，用于采集装配后的装配体图像并发送至计算装置；
计算装置，包括存储器、处理器，所述存储器上存储装配体装配监测的计算机程序，所述处理器执行所述程序时实现：
接收装配后的装配体图像；
基于随机森林模型对所述装配体进行零件识别；
基于零件识别结果确定是否发生装配错误，所发生错误，将错误信息发送至显示装置；
显示装置，用于接收计算装置发送的监测结果并进行显示。
其中，装配监测计算机程序包括用于装配体正确和错误装配的零件识别随机森林模型。
实施例二、三和四的具体步骤可参见方法实施例的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
实验结果
本发明通过对双级圆柱圆锥减速器这一典型装配体中零件的识别来验证本发明的有效性。减速器的三维模型使用SolidWorks进行构建，之后导入可视化建模软件MutigenCreator进行不同零件的颜色标记，最后通过三维渲染引擎OSG的渲染功能生成随机森林训练所用的图像训练集和一部分图像测试集。使用Kinect 2.0进行图像采集来获取真实装配体的深度图像，利用Adobe Photoshop对采集的深度图像进行人工颜色标记生成实验所用的真实测试集。装配体图像采集现场与装配体实物如图6所示，减速器各零件标记情况如表1所示。实验环境配置如下:PC一台(Intel Xeon(R)CPU E5-2630 V42.20GHz x 20，64G内存，ubuntu 16.04LTS系统)；深度传感器Kinect 2.0。编译环境：GCC编译器。
表1减速器各零件标记情况
标号 减速器零件 RGB值
P0 齿轮轴 255,159,15
P1 大齿轮 0,0,243
P2 底座 255,0,0
P3 斜齿轮(大) 243,243,0
P4 斜齿轮(小) 113,113,243
P5 轴1 42,107,0
P6 轴2 243,0,194
P7 轴承(大) 243,113,165
P8 轴承端盖1 127,255,42
P9 轴承端盖2 96,223,255
P10 轴承端盖3 194,243,0
P11 轴承端盖4 255,128,96
P12 轴承(小) 109,109,247
P13 轴承(中) 193,251,105
P14 轴套 188,75,0
为验证本发明对装配体各零件进行像素分类的有效性，设计了以下分别针对装配体模型及实物深度图像的两组实验，对各零件进行像素分类的识别率如图7所示。
具体实施过程中，从合成样本集中随机选取10张深度图及对应的标签图作为合成测试集，从实物样本集中随机选取10张深度图及对应的标签图作为真实测试集。本发明对于合成深度图像的平均像素分类准确率可达到98％左右，对于实物装配体深度图像的平均像素分类准确率也能达到83％左右，识别一张深度图像平均耗时600-800ms。
由图7可以看出，对减速器模型各零件的像素识别率可达到95％以上，对于减速器实物各零件的像素识别率也基本可达到60％以上，只有极少数零件由于体积较小导致识别率偏低，但也能达到44％左右。识别结果如图8所示。
为验证本发明对出现装配错误后的装配体的识别情况，设计了以下4组实验，各零件像素分类识别率如图9所示。其中，P0件错位是指首先人为将装配体模型的P0件位置调错，然后用该模型建立对应的合成样本集，并从中随机选取10张深度图像及对应的标签图组成测试集。P1件错位、P4件漏装、P10件漏装同P0件错位类似，只是装配错误不同，图10为四种装配错位的识别结果，通过将识别结果图与装配正确的彩色标记图对比，基本可以确定出装配错误的具体情况。
本发明的有益效果
1、本发明采用基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集进行分类模型的训练，由于真实图像的拍摄会引入大量的背景噪声，因而本发明相较于仅针对真实图像进行训练，准确度更高。
2、本发明采用基于图像识别的方法进行装配件零件识别，并应用于装配诱导和监测领域，相较于传统的增强现实装配诱导系统，监测效率更高。
3、本发明基于装配体的不同装配情况进行建模，能够根据实际装配情况给出诱导信息，确保了人工操作过程中装配的准确率。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于像素分类的装配体零件识别方法，其特征在于，包括以下步骤：
接收待识别装配体的图像训练集和图像测试集；
采用所述图像训练集训练随机森林模型；
基于所述图像测试集对所述随机森林模型进行参数优化；
基于所述随机森林模型对所述装配体进行零件识别；
其中，所述图像训练集和图像测试集均包括基于计算机图形渲染的合成图像样本集和对应的彩色标记图像样本集，所述图像测试集还包括装配件的真实图像样本集和对应的彩色标记图像集。
2.如权利要求1所述的一种基于像素分类的装配体零件识别方法，其特征在于，所述合成图像样本集和对应的彩色标记图像样本集的获取方法为：
建立待识别装配体的三维模型并进行颜色标记；
在装配体所在的6自由度位姿空间中对装配体的位姿状态进行均匀采样得到位姿状态样本集；
获取所述装配体在每一个位姿状态下的深度图像和对应的彩色标记图像。
3.如权利要求1所述的一种基于像素分类的装配体零件识别方法，其特征在于，所述真实深度图像样本集和对应的彩色标记图像集的获取方法为：
利用深度相机获取真实装配体的不同位姿状态的深度图像；
采用图像处理软件对所述深度图像进行颜色标记。
4.如权利要求1所述的一种基于像素分类的装配体零件识别方法，其特征在于，所述随机森林模型的训练方法为：
从图像训练集中的每张深度图像随机提取一定数量的像素来生成像素样本集；
计算所述像素样本的深度差分特征；
采用像素样本的深度差分特征训练随机森林模型。
5.如权利要求4所述的一种基于像素分类的装配体零件识别方法，其特征在于，所述深度差分特征为：
其中，特征参数θ＝(u,v)描述相对于深度像素x的两个二维像素偏移向量u和v，d(x)为深度像素x在深度图像中对应的深度值。
6.如权利要求4所述的一种基于像素分类的装配体零件识别方法，其特征在于，所述改进深度差分特征为：
其中，特征参数θ＝(u,v)描述相对于深度像素x的两个二维像素偏移向量u和v，d(x)为深度像素x在深度图像中对应的深度值，b表示边缘因子。
7.如权利要求6所述的一种基于像素分类的装配体零件识别方法，其特征在于，所述边缘因子的确定方法为：
取深度图像上一个像素点，以该像素点x为中心以为边长绘制一个正方形方框，其中a为方框的边长系数，为深度因子；
统计正方形方框内的总像素点数N和落在方框内前景部分的像素点数n，则边缘因子b定义如下：
其中，bmin为边缘因子下限，取值范围为[0,1]，bmax为边缘因子上限，取值范围为[bmin,1]。
8.一种基于像素分类的装配体零件识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行如权利要求1-7任一项的基于像素分类的装配体零件识别方法。
10.一种装配监测系统，其特征在于，包括：
图像采集装置，用于采集装配后的装配体图像并发送至计算装置；
计算装置，包括存储器、处理器，所述存储器上存储装配体装配监测的计算机程序，所述处理器执行所述程序时实现：
接收装配后的装配体图像；
基于随机森林模型对所述装配体进行零件识别；
基于零件识别结果确定是否发生装配错误，所发生错误，将错误信息发送至显示装置；
显示装置，用于接收计算装置发送的监测结果并进行显示。
CN201810201904.9A 2018-03-12 2018-03-12 基于像素分类的装配体零件识别方法、装置及监测系统 Active CN108491776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810201904.9A CN108491776B (zh) 2018-03-12 2018-03-12 基于像素分类的装配体零件识别方法、装置及监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810201904.9A CN108491776B (zh) 2018-03-12 2018-03-12 基于像素分类的装配体零件识别方法、装置及监测系统

Publications (2)

Publication Number Publication Date
CN108491776A true CN108491776A (zh) 2018-09-04
CN108491776B CN108491776B (zh) 2020-05-19

Family

ID=63338775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201904.9A Active CN108491776B (zh) 2018-03-12 2018-03-12 基于像素分类的装配体零件识别方法、装置及监测系统

Country Status (1)

Country Link
CN (1) CN108491776B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726481A (zh) * 2018-12-29 2019-05-07 深圳市优必选科技有限公司 一种机器人搭建的辅助方法、装置及终端设备
CN109816049A (zh) * 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
CN110013197A (zh) * 2019-04-16 2019-07-16 上海天诚通信技术股份有限公司 一种扫地机器人物体识别方法
CN110276804A (zh) * 2019-06-29 2019-09-24 深圳市商汤科技有限公司 数据处理方法及装置
CN110310273A (zh) * 2019-07-01 2019-10-08 南昌青橙视界科技有限公司 工业装配场景中的设备核检方法、装置及电子设备
CN110543892A (zh) * 2019-08-05 2019-12-06 青岛理工大学 一种基于多层随机森林的零部件识别方法
CN111161274A (zh) * 2018-11-08 2020-05-15 上海市第六人民医院 腹部图像分割方法、计算机设备
CN111784662A (zh) * 2020-06-29 2020-10-16 深圳至峰精密制造有限公司 工件识别方法、装置、计算机设备及存储介质
CN112200777A (zh) * 2020-09-25 2021-01-08 燕山大学 快速判别航空发动机核心零部件装置拆装顺序的方法
CN112528841A (zh) * 2020-12-11 2021-03-19 中航贵州飞机有限责任公司 一种基于神经网络的无纸化生产用智能识别系统
CN113269236A (zh) * 2021-05-10 2021-08-17 青岛理工大学 基于多模型集成的装配体变化检测方法、设备和介质
CN115049730A (zh) * 2022-05-31 2022-09-13 北京有竹居网络技术有限公司 零件装配方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101629812A (zh) * 2009-04-17 2010-01-20 华中科技大学 一种焊接接头成形组织特征的测量方法
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN107341401A (zh) * 2017-06-21 2017-11-10 清华大学 一种基于机器学习的恶意应用监测方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101629812A (zh) * 2009-04-17 2010-01-20 华中科技大学 一种焊接接头成形组织特征的测量方法
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN107341401A (zh) * 2017-06-21 2017-11-10 清华大学 一种基于机器学习的恶意应用监测方法和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAMIE SHOTTON等: "Real-Time Human Pose Recognition in Parts from Single Depth Images", 《COMMUNICATIONS OF THE ACM》 *
张乐锋: "单一深度图像人体部位识别", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张乐锋: "用改进的深度差分特征识别人体部位", 《微型机与应用》 *
王亚彪: "面向工业装配演示编程的零件识别与位姿估计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161274B (zh) * 2018-11-08 2023-07-07 上海市第六人民医院 腹部图像分割方法、计算机设备
CN111161274A (zh) * 2018-11-08 2020-05-15 上海市第六人民医院 腹部图像分割方法、计算机设备
CN109726481A (zh) * 2018-12-29 2019-05-07 深圳市优必选科技有限公司 一种机器人搭建的辅助方法、装置及终端设备
CN109726481B (zh) * 2018-12-29 2023-08-04 深圳市优必选科技有限公司 一种机器人搭建的辅助方法、装置及终端设备
CN109816049A (zh) * 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
NL2024682A (en) 2019-02-22 2020-09-04 Univ Qingdao Technology Assembly monitoring method and device based on deep learning, and readable storage medium
CN110013197A (zh) * 2019-04-16 2019-07-16 上海天诚通信技术股份有限公司 一种扫地机器人物体识别方法
CN110276804A (zh) * 2019-06-29 2019-09-24 深圳市商汤科技有限公司 数据处理方法及装置
CN110276804B (zh) * 2019-06-29 2024-01-02 深圳市商汤科技有限公司 数据处理方法及装置
CN110310273A (zh) * 2019-07-01 2019-10-08 南昌青橙视界科技有限公司 工业装配场景中的设备核检方法、装置及电子设备
CN110543892A (zh) * 2019-08-05 2019-12-06 青岛理工大学 一种基于多层随机森林的零部件识别方法
WO2021022970A1 (zh) * 2019-08-05 2021-02-11 青岛理工大学 一种基于多层随机森林的零部件识别方法及系统
CN110543892B (zh) * 2019-08-05 2023-08-25 青岛理工大学 一种基于多层随机森林的零部件识别方法
CN111784662A (zh) * 2020-06-29 2020-10-16 深圳至峰精密制造有限公司 工件识别方法、装置、计算机设备及存储介质
CN112200777A (zh) * 2020-09-25 2021-01-08 燕山大学 快速判别航空发动机核心零部件装置拆装顺序的方法
CN112528841A (zh) * 2020-12-11 2021-03-19 中航贵州飞机有限责任公司 一种基于神经网络的无纸化生产用智能识别系统
CN113269236A (zh) * 2021-05-10 2021-08-17 青岛理工大学 基于多模型集成的装配体变化检测方法、设备和介质
CN113269236B (zh) * 2021-05-10 2022-04-01 青岛理工大学 基于多模型集成的装配体变化检测方法、设备和介质
CN115049730A (zh) * 2022-05-31 2022-09-13 北京有竹居网络技术有限公司 零件装配方法、装置、电子设备及存储介质
CN115049730B (zh) * 2022-05-31 2024-04-26 北京有竹居网络技术有限公司 零件装配方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108491776B (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108491776A (zh) 基于像素分类的装配体零件识别方法、装置及监测系统
CN110543892B (zh) 一种基于多层随机森林的零部件识别方法
CN104572804B (zh) 一种视频物体检索的方法及其系统
CN111783525B (zh) 基于风格迁移的航空摄影图像目标样本生成方法
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
Ge et al. Enhanced subpixel mapping with spatial distribution patterns of geographical objects
CN110069972A (zh) 自动探测真实世界物体
US20210319363A1 (en) Method and system for generating annotated training data
CN105574550A (zh) 一种车辆识别方法及装置
CN111723654A (zh) 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置
CN110378997A (zh) 一种基于orb-slam2的动态场景建图与定位方法
Brekke et al. Multimodal 3d object detection from simulated pretraining
CN106780546B (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN112085840A (zh) 语义分割方法、装置、设备及计算机可读存储介质
CN110443862A (zh) 基于无人机的岩性填图方法及系统、电子设备
CN110458940A (zh) 动作捕捉的处理方法和处理装置
CN109448086B (zh) 基于稀疏实采数据的分拣场景平行数据集构建方法
CN113642621A (zh) 基于生成对抗网络的零样本图像分类方法
CN110276363A (zh) 一种基于密度图估计的鸟类小目标检测方法
Paulin et al. Review and analysis of synthetic dataset generation methods and techniques for application in computer vision
CN116433840A (zh) 无砟轨道板扣件的特异性伤损图像合成方法及检测方法
CN112465057A (zh) 一种基于深度卷积神经网络的目标检测识别方法
CN108961358A (zh) 一种获得样本图片的方法、装置及电子设备
US20220245896A1 (en) A computer-implemented method for generating a 3-dimensional wireframe model of an object comprising a plurality of parts
CN112215861A (zh) 一种足球检测方法、装置、计算机可读存储介质及机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant