CN109816049B - 一种基于深度学习的装配监测方法、设备及可读存储介质 - Google Patents

一种基于深度学习的装配监测方法、设备及可读存储介质 Download PDF

Info

Publication number
CN109816049B
CN109816049B CN201910131395.1A CN201910131395A CN109816049B CN 109816049 B CN109816049 B CN 109816049B CN 201910131395 A CN201910131395 A CN 201910131395A CN 109816049 B CN109816049 B CN 109816049B
Authority
CN
China
Prior art keywords
assembly
image
depth
physical
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910131395.1A
Other languages
English (en)
Other versions
CN109816049A (zh
Inventor
陈成军
张春林
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN201910131395.1A priority Critical patent/CN109816049B/zh
Publication of CN109816049A publication Critical patent/CN109816049A/zh
Priority to US16/739,115 priority patent/US10964025B2/en
Priority to NL2024682A priority patent/NL2024682B1/en
Application granted granted Critical
Publication of CN109816049B publication Critical patent/CN109816049B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的装配监测方法，包括如下步骤：创建物理装配体的训练集，训练集包括多个监测角度下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；利用训练集训练深度学习网络模型；通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入深度学习网络模型，输出物理装配体的像素分割图像，像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。本发明不仅能够识别装配体的各零件，还能监测装配步骤以及各零件是否装配出错、出错类型。

Description

一种基于深度学习的装配监测方法、设备及可读存储介质
技术领域
本发明涉及一种基于深度学习的装配监测方法、设备及可读存储介质，属于基于图像处理的计算机监测领域。
背景技术
个性化定制是制造业发展的主要趋势之一。目前，在我国机械装配行业自动化水平不高，在大量个性化定制产品及复杂机械产品装配过程中，仍然以人工装配为主。由于产品类型频繁变换，零部件数量多，工艺和装配精度要求较高。在装配过程中，极易出现零件漏装、装配顺序错误等诸多现象，影响了产品装配质量和效率。为了更好的适应制造业的新形势，适应大批量个性化定制产品的需求，传统的装配车间急需一种智能化的装配监测系统，能够智能识别装配体各零件并监测装配过程。
另一方面，在复杂产品装配中，各部件的装配进度不协调，造成产品总装时部分部件不能齐套，影响了生产效率，因此同样需要监测各部件的装备进度，协调部件之间的装配进度，提高装配效率。
公开号为CN108491776A的发明专利《基于像素分类的装配体零件识别方法、装置及监测系统》公开了通过训练随机森林模型进行零件识别，其训练过程需要人为设计深度差分特征，无法自动学习特征，且该技术方案仅能够实现零件识别，判断零件是否出错，无法进一步监测零件装配位置和装配顺序是否出错，因而无法及时发现漏装错装。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的装配监测方法，其不仅能够识别装配体的各零件，还能监测装配过程中装配步骤以及各零件是否装配出错、出错类型。
本发明的技术方案如下：
一种基于深度学习的装配监测方法，包括如下步骤：
创建物理装配体的训练集，所述训练集包括多个监测角度下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述监测角度是指深度相机与被监测装配体之间形成的视角，深度相机在原位且在预设转动范围内改变拍摄角度，形成所述多个监测角度；所述3D装配体为物理装配体的3D模型；利用所述训练集训练深度学习网络模型；通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。
更优地，所述训练集的创建步骤为：建立3D装配体，包括零件3D模型和零件间的位置关系；标记3D装配体中各零件的颜色，不同零件标注不同颜色，建立3D装配体的标注模型；定义装配顺序模型，包括定义每一步装配包含的零部件；依据所述装配顺序模型，加载不同零部件的标注模型，生成各装配步骤对应的装配体的3D模型和标注模型，使用深度缓存合成多个监测角度下的3D装配体的深度图像集Di，使用深度相机的成像模型合成标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件，从而建立训练集。
更优地，所述深度学习网络模型为全卷积类深度网络，包括卷积和反卷积过程，将所述训练集中深度图像集Di作为深度学习网络模型的输入，将所述训练集中标签图像集Li作为深度学习网络模型的输出，训练所述深度学习网络模型。
更优地，所述通过深度相机获取物理装配场景下的物理装配体深度图像C的步骤为：在初始化阶段，固定深度相机，对准装配区域，使用所述深度相机采集不含物理装配体的物理装配场景深度图像A；再循环阶段，使用所述深度相机采集包含物理装配体的物理装配场景深度图像B；在物理装配场景深度图像A和物理装配场景深度图像B中，通过对应像素点深度值相减计算得到所述物理装配体深度图像C，具体地，深度图像A和深度图像B中相对应的像素点的深度值之差的绝对值小于设定阈值D，则深度图像B中该像素点为背景，否则深度图像B中该像素点为装配体；所述深度图像A中的像素点和深度图像B中的像素点在图像坐标系中的坐标相同，则该俩像素点为相对应的像素点。
更优地，在识别出物理装配体的各零件后，还包括装配步骤监测：统计物理装配体的像素分割图像中零件像素的组成，确定零件的组成，然后依据零件的组成，按照所述装配顺序模型查询当前的装配步骤，完成装配步骤监测。
更优地，在识别出物理装配体的各零件后，还包括零件装配监测，判断零件是否装配错误，具体地：根据当前装配所在的步骤，比较物理装配体的像素分割图像与其对应的正确标签图像中的每一个像素点，分别计算出物理装配体的像素分割图像中当前装配步骤装配的零件相对于正确标签图像中该零件的像素重合率qz，
Figure BDA0001975448310000031
其中，nc为装配的零件分别在正确标签图像和像素分割图像中坐标重合的像素点数，nz为装配的零件在物理装配体的像素分割图像中所含像素点数；所述正确标签图像是在虚拟场景中以物理装配场景下深度相机的坐标为视点坐标，利用深度相机的成像模型合成得到的标签图像，每个步骤对应一正确标签图像；当qz≥设定的重合阈值E时，判定该零件没有装配错误，否则，提示检查信息。
更优地，所述零件装配监测还包括判断装配错误类型，具体地：根据当前装配所在的步骤，比较物理装配体的像素分割图像与其对应的正确标签图像中的每一个像素点，分别计算出物理装配体的像素分割图像中当前装配步骤装配的零件相对于正确标签图像中该零件的像素减少率qn，
Figure BDA0001975448310000041
na为装配的零件在正确标签图像中所含的像素点数，nz为装配的零件在物理装配体的像素分割图像中所含像素点数；当零件的qz≤设定的重合阈值F时，且qn绝对值≥设定的漏装阈值时，即该零件的像素点重合率较低且像素点数差距较大，则判定为该零件漏装，当该零件qz≤设定的重合阈值F时，且qn绝对值≤设定的错位阈值时，即该零件的像素点重合率较低但像素点数变化不大，则判定为该零件错位。
本发明还提供一种基于深度学习的装配监测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：创建物理装配体的训练集，所述训练集包括监测视角方向不同视角下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述3D装配体为物理装配体的3D模型；利用所述训练集训练深度学习网络模型；通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：创建物理装配体的训练集，所述训练集包括监测视角方向不同视角下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述3D装配体为物理装配体的3D模型；利用所述训练集训练深度学习网络模型；通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。
本发明具有如下有益效果：
1、本发明利用深度学习神经网络并根据深度图像计算装配体的零件组成，实现装配体零件识别；
2、本发明通过深度图像集和标签图像集训练深度学习网络模型，实现物理装配的监测，满足个性化定制产品的装配监测要求；
3、本发明能够实现装配步骤监测、漏装判断、装配位置错位监测等，对车间级大批量定制具有一定的应用价值。
附图说明
图1为本发明一种基于深度学习的装配监测方法的流程示意图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
请参阅图1，一种基于深度学习的装配监测方法，包括如下步骤：创建物理装配体的训练集，所述训练集包括基于计算机建模、图像渲染合成的多个监测角度下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述监测角度是指深度相机与被监测装配体之间形成的视角，深度相机在原位且在预设转动范围内改变拍摄角度，形成所述多个监测角度；所述3D装配体为物理装配体(即产品)的3D模型。
所述训练集的创建步骤为：可以通过CAD软件或其他三维软件建立3D装配体，包括零件3D模型和零件间的位置关系；将3D装配体导入虚拟现实建模软件(如MultigenCreator)中，标记3D装配体中各零件的颜色，不同零件标记不同颜色，建立3D装配体的标注模型；定义装配顺序模型，包括定义每一步装配包含的零部件；依据所述装配顺序模型，加载不同零部件的标注模型，生成各装配步骤对应的装配体的3D模型和标注模型，使用深度缓存合成多个监测角度下的3D装配体的深度图像集Di，使用深度相机的成像模型合成标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件，从而建立训练集，一般地，深度图像集Di和标签图像集Li中各图像的分辨率均相同。各步骤对应的深度图像集中包含了该装配步骤在多个监测角度下的深度图像的集合，各步骤对应的标签图像集中包含了该装配步骤在多个监测角度下的标签图像的集合。
利用所述训练集训练深度学习网络模型；所述深度学习网络模型为全卷积类深度网络，使用卷基层代替传统卷积神经网络为全连接层，包括卷积和反卷积过程，将所述训练集中深度图像集Di作为深度学习网络模型的输入，将所述训练集中标签图像集Li作为深度学习网络模型的输出，训练所述深度学习网络模型。
通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征了不同零件，识别出物理装配体的各零件。所述通过深度相机获取物理装配场景下的物理装配体深度图像C的步骤为：在初始化阶段，固定深度相机，对准装配区域，使用所述深度相机采集不含物理装配体的物理装配场景深度图像A；再循环阶段，使用所述深度相机采集包含物理装配体的物理装配场景深度图像B；在物理装配场景深度图像A和物理装配场景深度图像B中，通过对应像素相减计算得到所述物理装配体深度图像C，具体地，物理装配场景深度图像A和物理装配场景深度图像B中相对应的像素点的深度值之差的绝对值小于设定阈值d，则物理装配场景深度图像B中该像素点为背景，所述物理装配体深度图像C中对应像素点的深度值为0；否则物理装配场景深度图像B中该像素点为装配体，所述物理装配体深度图像C中项对应的像素点的深度值为物理装配场景深度图像B中相对应的像素点的深度值。两幅深度图像中坐标相同的像素点为两幅深度图像的相对应的像素点。
在识别出物理装配体的各零件后，还包括装配步骤监测：统计物理装配体的像素分割图像中零件像素的组成，确定零件的组成，然后依据零件的组成，按照所述装配顺序模型查询当前的装配步骤，完成装配步骤监测。
在识别出物理装配体的各零件后，还包括零件装配监测，判断零件是否装配错误，具体地：根据当前装配所在的步骤，比较物理装配体的像素分割图像与其对应的正确标签图像中的每一个像素点，分别计算出物理装配体的像素分割图像中当前装配步骤装配的零件相对于正确标签图像的像素重合率qz，
Figure BDA0001975448310000081
其中，nc为装配的零件分别在正确标签图像和像素分割图像中坐标重合的像素点数，nz为装配的零件在物理装配体的像素分割图像中所含像素点数；所述物理装配体的像素分割图像与正确标签图像的分辨率相同，所述正确标签图像是在虚拟场景中以物理装配场景下深度相机的坐标为视点坐标，利用深度相机的成像模型合成得到各步骤对应的正确标签图像，所述正确标签图像用不同颜色渲染3D装配体的不同零件。当qz≥设定的重合阈值E时，判定该零件没有装配错误，否则，提示检查信息。一般地，当qz接近于1时，表示该零件没有装配错误，因此，重合阈值E的取值可以取接近于1的数值。
所述零件装配监测还包括判断装配错误类型，具体地：根据当前装配所在的步骤，比较物理装配体的像素分割图像与其对应的正确标签图像中的每一个像素点，分别计算出物理装配体的像素分割图像中当前装配步骤装配的零件相对于正确标签图像的像素减少率qn，
Figure BDA0001975448310000082
na为装配的零件在正确标签图像中所含的像素点数，nz为装配的零件在物理装配体的像素分割图像中所含像素点数；当零件的qz≤设定的重合阈值F时，且qn绝对值≥设定的漏装阈值时，即该零件的像素点重合率较低且像素点数差距较大，则判定为该零件漏装，当该零件qz≤设定的重合阈值F时，且qn绝对值≤设定的错位阈值时，即该零件的像素点重合率较低但像素点数变化不大，则判定为该零件错位。所述重合阈值F选择接近于0的数值，当qz小于该重合阈值F时，表示该零件的像素点重合率较低。所述漏装阈值可以取值远大于0的数值，或者接近1的数值，表示物理装配体的像素分割图像中的零件像素点数与正确标签图像中的点数差异较大，所述错位阈值可以取值接近于0的数值，表明物理装配体的像素分割图像中的零件像素点数与正确标签图像中的点数差异较小，求出的qn绝对值接近0
实施例二
本实施例的目的是提供一种基于深度学习的装配监测设备。
一种基于深度学习的装配监测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序执行如下步骤：
创建物理装配体的训练集，所述训练集包括监测视角方向不同视角下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述3D装配体为物理装配体的3D模型；
利用所述训练集训练深度学习网络模型；
通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。
实施例三
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行如下步骤：
创建物理装配体的训练集，所述训练集包括监测视角方向不同视角下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述3D装配体为物理装配体的3D模型；
利用所述训练集训练深度学习网络模型；
通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件。
实施例二和实施例三的具体步骤可参见方法实施例的相关说明部分。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的装配监测方法，其特征在于，包括如下步骤：
创建物理装配体的训练集，所述训练集包括多个监测角度下的3D装配体的深度图像集Di和标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件；所述监测角度是指深度相机与被监测装配体之间形成的视角，深度相机在原位且在预设转动范围内改变拍摄角度，形成所述多个监测角度；所述3D装配体为物理装配体的3D模型；
利用所述训练集训练深度学习网络模型；
通过深度相机获取物理装配场景下的物理装配体深度图像C，并将该物理装配体深度图像C输入所述深度学习网络模型，输出物理装配体的像素分割图像，所述像素分割图像通过像素颜色表征不同零件，识别出物理装配体的各零件；
建立3D装配体，包括零件3D模型和零件间的位置关系；
标记3D装配体中各零件的颜色，不同零件标注不同颜色，建立3D装配体的标注模型；
定义装配顺序模型，包括定义每一步装配包含的零部件；
依据所述装配顺序模型，加载不同零部件的标注模型，生成各装配步骤对应的装配体的3D模型和标注模型，使用深度缓存合成多个监测角度下的3D装配体的深度图像集Di，使用深度相机的成像模型合成标签图像集Li，其中i表示装配步骤，第i步的深度图像集Di对应第i步的标签图像集Li，所述标签图像集Li中的标签图像用不同颜色渲染3D装配体的不同零件，从而建立训练集。
2.根据权利要求1所述的一种基于深度学习的装配监测方法，其特征在于：所述深度学习网络模型为全卷积类深度网络，包括卷积和反卷积过程，将所述训练集中深度图像集Di作为深度学习网络模型的输入，将所述训练集中标签图像集Li作为深度学习网络模型的输出，训练所述深度学习网络模型。
3.根据权利要求1所述的一种基于深度学习的装配监测方法，其特征在于：所述通过深度相机获取物理装配场景下的物理装配体深度图像C的步骤为：
在初始化阶段，固定深度相机，对准装配区域，使用所述深度相机采集不含物理装配体的物理装配场景深度图像A；
再循环阶段，使用所述深度相机采集包含物理装配体的物理装配场景深度图像B；
在物理装配场景深度图像A和物理装配场景深度图像B中，通过对应像素点深度值相减计算得到所述物理装配体深度图像C，具体地，深度图像A和深度图像B中相对应的像素点的深度值之差的绝对值小于设定阈值D，则深度图像B中该像素点为背景，否则深度图像B中该像素点为装配体；所述深度图像A中的像素点和深度图像B中的像素点在图像坐标系中的坐标相同，则该俩像素点为相对应的像素点。
4.根据权利要求1所述的一种基于深度学习的装配监测方法，其特征在于：在识别出物理装配体的各零件后，还包括装配步骤监测：统计物理装配体的像素分割图像中零件像素的组成，确定零件的组成，然后依据零件的组成，按照所述装配顺序模型查询当前的装配步骤，完成装配步骤监测。
5.根据权利要求1所述的一种基于深度学习的装配监测方法，其特征在于：在识别出物理装配体的各零件后，还包括零件装配监测，判断零件是否装配错误，具体地：
根据当前装配所在的步骤，比较物理装配体的像素分割图像与其对应的正确标签图像中的每一个像素点，分别计算出物理装配体的像素分割图像中当前装配步骤装配的零件相对于正确标签图像中该零件的像素重合率qz，
Figure FDA0002549835510000031
其中，nc为装配的零件分别在正确标签图像和像素分割图像中坐标重合的像素点数，nz为装配的零件在物理装配体的像素分割图像中所含像素点数；所述正确标签图像是在虚拟场景中以物理装配场景下深度相机的坐标为视点坐标，利用深度相机的成像模型合成得到的标签图像，每个步骤对应一正确标签图像；
当qz≥设定的重合阈值E时，判定该零件没有装配错误，否则，提示检查信息。
6.根据权利要求5所述的一种基于深度学习的装配监测方法，其特征在于：所述零件装配监测还包括判断装配错误类型，具体地：
根据当前装配所在的步骤，比较物理装配体的像素分割图像与其对应的正确标签图像中的每一个像素点，分别计算出物理装配体的像素分割图像中当前装配步骤装配的零件相对于正确标签图像中该零件的像素减少率qn，
Figure FDA0002549835510000041
na为装配的零件在正确标签图像中所含的像素点数，nz为装配的零件在物理装配体的像素分割图像中所含像素点数；当零件的qz≤设定的重合阈值F时，且qn绝对值≥设定的漏装阈值时，即该零件的像素点重合率较低且像素点数差距较大，则判定为该零件漏装，当该零件qz≤设定的重合阈值F时，且qn绝对值≤设定的错位阈值时，即该零件的像素点重合率较低但像素点数变化不大，则判定为该零件错位。
7.一种基于深度学习的装配监测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项的基于深度学习的装配监测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行如权利要求1-6任一项的基于深度学习的装配监测方法。
CN201910131395.1A 2019-02-22 2019-02-22 一种基于深度学习的装配监测方法、设备及可读存储介质 Active CN109816049B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910131395.1A CN109816049B (zh) 2019-02-22 2019-02-22 一种基于深度学习的装配监测方法、设备及可读存储介质
US16/739,115 US10964025B2 (en) 2019-02-22 2020-01-10 Assembly monitoring method and device based on deep learning, and readable storage medium
NL2024682A NL2024682B1 (en) 2019-02-22 2020-01-16 Assembly monitoring method and device based on deep learning, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910131395.1A CN109816049B (zh) 2019-02-22 2019-02-22 一种基于深度学习的装配监测方法、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN109816049A CN109816049A (zh) 2019-05-28
CN109816049B true CN109816049B (zh) 2020-09-18

Family

ID=66607233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910131395.1A Active CN109816049B (zh) 2019-02-22 2019-02-22 一种基于深度学习的装配监测方法、设备及可读存储介质

Country Status (3)

Country Link
US (1) US10964025B2 (zh)
CN (1) CN109816049B (zh)
NL (1) NL2024682B1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107236B2 (en) * 2019-04-22 2021-08-31 Dag Michael Peter Hansson Projected augmented reality interface with pose tracking for directing manual processes
CN110543892B (zh) * 2019-08-05 2023-08-25 青岛理工大学 一种基于多层随机森林的零部件识别方法
CN110666793B (zh) * 2019-09-11 2020-11-03 大连理工大学 基于深度强化学习实现机器人方形零件装配的方法
CN110738164B (zh) * 2019-10-12 2022-08-12 北京猎户星空科技有限公司 零件异常检测方法、模型训练方法及装置
CN111207875B (zh) * 2020-02-25 2021-06-25 青岛理工大学 基于多粒度并联cnn模型的肌电信号-扭矩匹配方法
CN114116366A (zh) * 2020-08-26 2022-03-01 宸展光电(厦门)股份有限公司 一种检测存储器安装状态的方法、装置及系统
CN112288750B (zh) * 2020-11-20 2022-09-20 青岛理工大学 一种基于深度学习网络的机械装配体图像分割方法和设备
CN112416368B (zh) * 2020-11-25 2024-01-16 中国科学技术大学先进技术研究院 缓存部署与任务调度方法、终端和计算机可读存储介质
CN112965372B (zh) * 2021-02-01 2022-04-01 中国科学院自动化研究所 基于强化学习的微零件精密装配方法、装置和系统
CN113269729B (zh) * 2021-05-10 2022-10-11 青岛理工大学 一种基于深度图像对比的装配体多视角检测方法和系统
CN113283478B (zh) * 2021-05-10 2022-09-09 青岛理工大学 一种基于特征匹配的装配体多视角变化检测方法及设备
CN113269786B (zh) * 2021-05-19 2022-12-27 青岛理工大学 基于深度学习和引导滤波的装配体图像分割方法及设备
US20230171935A1 (en) * 2021-11-29 2023-06-01 Hewlett Packard Enterprise Development Lp Identifications of deviations relating to assemblies of components
US11715300B1 (en) * 2022-01-28 2023-08-01 Robert Bosch Gmbh Systems and methods for providing product assembly step recognition using augmented reality
CN114782778B (zh) * 2022-04-25 2023-01-06 广东工业大学 一种基于机器视觉技术的装配状态监控方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897995A (zh) * 2017-02-04 2017-06-27 同济大学 一种面向机械装配过程的零部件自动识别方法
CN108602191A (zh) * 2016-03-14 2018-09-28 欧姆龙株式会社 动作信息生成装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9483584B2 (en) * 2012-01-19 2016-11-01 Oracle International Corporation Collaboration within a visualization application
WO2014006832A1 (ja) * 2012-07-02 2014-01-09 パナソニック株式会社 サイズ測定装置及びサイズ測定方法
US10824310B2 (en) * 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9292180B2 (en) * 2013-02-28 2016-03-22 The Boeing Company Locator system for three-dimensional visualization
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
US9305216B1 (en) * 2014-12-15 2016-04-05 Amazon Technologies, Inc. Context-based detection and classification of actions
WO2017160688A1 (en) * 2016-03-14 2017-09-21 Siemens Aktiengesellschaft Method and system for efficiently mining dataset essentials with bootstrapping strategy in 6dof pose estimate of 3d objects
CN108491776B (zh) * 2018-03-12 2020-05-19 青岛理工大学 基于像素分类的装配体零件识别方法、装置及监测系统
CN109117822A (zh) * 2018-08-31 2019-01-01 贵州大学 一种基于深度学习的零件实例分割识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108602191A (zh) * 2016-03-14 2018-09-28 欧姆龙株式会社 动作信息生成装置
CN106897995A (zh) * 2017-02-04 2017-06-27 同济大学 一种面向机械装配过程的零部件自动识别方法

Also Published As

Publication number Publication date
NL2024682B1 (en) 2020-11-05
US10964025B2 (en) 2021-03-30
US20200273177A1 (en) 2020-08-27
NL2024682A (en) 2020-09-04
CN109816049A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109816049B (zh) 一种基于深度学习的装配监测方法、设备及可读存储介质
Kaskman et al. Homebreweddb: Rgb-d dataset for 6d pose estimation of 3d objects
CN108596974B (zh) 动态场景机器人定位建图系统及方法
Hodan et al. T-LESS: An RGB-D dataset for 6D pose estimation of texture-less objects
CN111300416B (zh) 基于增强现实的模块化可重构机器人规划仿真方法和系统
CN115345822A (zh) 一种面向航空复杂零件的面结构光自动化三维检测方法
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN112801977B (zh) 一种基于深度学习的装配体零件相对位姿估计监测方法
US20070182739A1 (en) Method of and system for determining a data model designed for being superposed with an image of a real object in an object tracking process
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及系统
CN110349247A (zh) 一种基于语义理解的室内场景cad三维重建方法
CN114332214A (zh) 物体姿态估计方法、装置、电子设备及存储介质
CN112509127A (zh) 一种高精度仿真点云模型的生成方法
CN114022542A (zh) 一种基于三维重建的3d数据库制作方法
Shrestha et al. A real world dataset for multi-view 3d reconstruction
CN114372940A (zh) 一种真实场景图像合成方法及系统
CN110853103B (zh) 一种用于深度学习姿态估计的数据集制作方法
CN117456327A (zh) 一种基于几何边缘与颜色统计特征自适应融合的工业零件位姿跟踪方法
CN108898679A (zh) 一种零部件序号自动标注的方法
CN115147764A (zh) 一种基于多目视觉的管模螺栓识别定位方法
Wang et al. A cyber-physical prototype system in augmented reality using RGB-D camera for CNC machining simulation
Vanherle et al. Real-time detection of 2d tool landmarks with synthetic training data
CN111311721A (zh) 一种图像数据集处理方法、系统、存储介质、程序、装置
CN113902910B (zh) 一种视觉测量方法及系统
CN116524077B (zh) 虚拟对象的编辑方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190528

Assignee: Yuyi (Shenyang) Digital Technology Development Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980045813

Denomination of invention: A deep learning based assembly monitoring method, device, and readable storage medium

Granted publication date: 20200918

License type: Common License

Record date: 20231103

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190528

Assignee: Hubei kunpengxin Technology Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023420000308

Denomination of invention: A deep learning based assembly monitoring method, device, and readable storage medium

Granted publication date: 20200918

License type: Common License

Record date: 20231108

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190528

Assignee: Hefei Shupei Information Technology Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980052644

Denomination of invention: A deep learning based assembly monitoring method, equipment, and readable storage medium

Granted publication date: 20200918

License type: Common License

Record date: 20231215

Application publication date: 20190528

Assignee: Hefei Zhice Technology Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980052493

Denomination of invention: A deep learning based assembly monitoring method, equipment, and readable storage medium

Granted publication date: 20200918

License type: Common License

Record date: 20231215

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190528

Assignee: Hefei Hongduo Electronics Co.,Ltd.

Assignor: Qingdao University of Technology

Contract record no.: X2023980053512

Denomination of invention: A deep learning based assembly monitoring method, equipment, and readable storage medium

Granted publication date: 20200918

License type: Common License

Record date: 20231222