CN113269729A - 一种基于深度图像对比的装配体多视角检测方法和系统 - Google Patents

一种基于深度图像对比的装配体多视角检测方法和系统 Download PDF

Info

Publication number
CN113269729A
CN113269729A CN202110505998.0A CN202110505998A CN113269729A CN 113269729 A CN113269729 A CN 113269729A CN 202110505998 A CN202110505998 A CN 202110505998A CN 113269729 A CN113269729 A CN 113269729A
Authority
CN
China
Prior art keywords
depth
assembly
image
rgb
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110505998.0A
Other languages
English (en)
Other versions
CN113269729B (zh
Inventor
陈成军
吴遂超
刘庭煜
李东年
洪军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao University of Technology
Original Assignee
Qingdao University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao University of Technology filed Critical Qingdao University of Technology
Priority to CN202110505998.0A priority Critical patent/CN113269729B/zh
Publication of CN113269729A publication Critical patent/CN113269729A/zh
Application granted granted Critical
Publication of CN113269729B publication Critical patent/CN113269729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度图像对比的装配体多视角检测方法和系统，本发明方法包括以下步骤：在装配体上或附近设置注册卡，建立三维模型库和零件库；通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；计算所述RGB传感器在注册卡坐标系中的位置和姿态；计算所述深度传感器在注册卡坐标系中的位置和姿态；更新所述三维模型库的视角，获取三维模型库当前视角下的合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；根据所述变化区域及视角在零件库中查询当前装配零件；更新所述三维模型库。本发明系统包括RGB‑D相机、注册卡和计算机，通过RGB‑D相机采集图像，通过计算机根据采集图像对装配过程进行检测。

Description

一种基于深度图像对比的装配体多视角检测方法和系统
技术领域
本发明涉及一种基于深度图像对比的装配体多视角检测方法和系统，属于装配过程监测技术领域。
背景技术
机械产品大多具有连接形式多样，外形尺寸巨大，装配工艺繁琐等特点。但是机械装配是机器制造和修理的重要环节，装配工作的好坏直接影响着机器工作的效率等问题。装配工作由操作人员完成时，难以避免存在装配错误或者遗漏等问题。现有技术中没有对装配体装配过程进行检测的方法。对装配体装配过程进行检测需要考虑装配过程中装配体和零件之间组合的变化，也要考虑所采集图像随采集设备的位置和姿态的变化，导致所采集图像具有三维物体不同角度和距离的信息。
发明内容
为了克服上述问题，本发明提供一种基于深度图像对比的装配体多视角检测方法和系统，该检测方法通过装配过程中采集的RGB图像和物理深度图像，确定装配步骤与各步骤装配零件。
本发明的技术方案如下：
一种基于深度图像对比的装配体多视角检测方法，包括以下步骤：
在装配体上或附近设置注册卡，建立三维模型库和零件库；所述三维模型库包含所述装配体的三维信息；所述零件库包含各待装配零件的三维信息；
采集图像，通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；所述RGB图像和所述物理深度图像中均包含所述注册卡的图像；
获取位姿，识别所述RGB图像中的注册卡，获取所述RGB传感器在注册卡坐标系中的位置和姿态；根据所述RGB传感器和所述深度传感器之间的位置关系，计算所述深度传感器在注册卡坐标系中的位置和姿态；
获取变化区域，在深度图像合成工具中，利用所述深度传感器在注册卡中的位置和姿态，更新所述三维模型库中虚拟模型的视角，利用深度缓存技术，合成当前视角下虚拟模型的深度图像，即合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；
更新三维模型库，根据所述变化区域及视角在零件库中查询当前装配零件；根据所述当前装配零件和所述变化区域及视角更新所述三维模型库中的虚拟模型信息。
进一步的，还包括判断装配过程是否结束，若未结束，则重复采集图像、获取位姿、获取变化区域和更新三维模型库步骤，直到完成装配过程；所述三维模型库记录实际装配过程，所述装配过程包括装配步骤、各步骤装配零件和零件装配位置。
进一步的，所述对比合成深度图像和物理深度图像，获取变化区域，具体包括以下步骤：
通过所述合成深度图像与所述物理深度图像的对应像素坐标的深度值作差并取绝对值，获取深度变化图像；
设定深度变化阈值，根据所述深度变化阈值对所述深度变化图像进行二值化处理，得到区域变化图像；所述二值化处理，将灰度值大于所述深度变化阈值的像素设为目标像素，其余为背景像素；
所述目标像素相连通的区域设为目标区域，计算每个目标区域的像素个数，设定区域面积阈值，所述目标区域的像素个数大于所述区域面积阈值的设为变化区域；若不存在变化区域则判断未装配新零件，重复则重复采集图像、获取位姿和获取变化区域步骤。
一种基于深度图像对比的装配体多视角检测系统，使用上述基于深度图像对比的装配体多视角变化检测方法检测装配体装配过程，包括RGB-D相机、注册卡和计算机；其中RGB-D相机能够采集装配过程各时刻的RGB图像和物理深度图像，并传输给所述计算机；所述计算机能够根据所述RGB图像和所述物理深度图像得到并记录实际装配过程，并更新三维模型库。
进一步的，所述计算机中预先存储有装配体的预计装配过程，所述计算机记录所述实际装配过程后与所述预计装配过程进行对比，判断实际装配过程是否正确；所述对比包括对比每一步骤装配零件是否正确和零件装配位置是否正确。
本发明具有如下有益效果：
1.该检测方法通过物理深度图像与三维模型库中生成的合成深度图像进行对比，得到变化区域，从而确定当前装配零件。识别速度快，且准确率高。
2.该检测系统使用时，只需操作人员携带RGB-D相机对RGB图像和物理深度图像进行采集，判断过程由计算机完成。使用方便，且便携。
3.该检测系统采集图像由RGB-D相机完成，根据操作人员站位等，对装配情况进行采集，能够准确的采集到需要的图像。
附图说明
图1为本发明的方法流程图。
图2为本发明的实施例流程图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
参见图1和图2，一种基于深度图像对比的装配体多视角检测方法，包括以下步骤：
在装配体上或附近设置注册卡(又称AR注册卡，用于确定采集图像设备的位置和姿态)，建立三维模型库和零件库；所述三维模型库包含所述装配体的三维信息；所述零件库包含各待装配零件的三维信息；
采集图像，通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；所述RGB图像和所述物理深度图像中均包含所述注册卡的图像；
获取位姿，识别所述RGB图像中的注册卡，获取所述RGB传感器在注册卡坐标系中的位置和姿态；根据所述RGB传感器和所述深度传感器之间的位置关系，计算所述深度传感器在注册卡坐标系中的位置和姿态；利用深度图像无法直接计算深度传感器位姿，利用RGB图像和RGB传感器与深度传感器之间的位置关系，间接计算得到深度传感器的位姿。
获取变化区域，在深度图像合成工具中，利用所述深度传感器在注册卡中的位置和姿态，更新所述三维模型库中虚拟模型的视角，利用深度缓存技术，合成当前视角下虚拟模型的深度图像，即合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；
更新三维模型库，根据所述变化区域及视角在零件库中查询当前装配零件；根据所述当前装配零件和所述变化区域及视角更新所述三维模型库虚拟模型信息。
在至少一种实施方式中，还包括判断装配过程是否结束，若未结束，则重复采集图像、获取位姿、获取变化区域和更新三维模型库步骤，直到完成装配过程；所述三维模型库记录实际装配过程，所述装配过程包括装配步骤、各步骤装配零件和零件装配位置。
在至少一种实施方式中，所述对比合成深度图像和物理深度图像，获取变化区域，具体包括以下步骤：
通过所述合成深度图像与所述物理深度图像的对应像素坐标的深度值作差并取绝对值，获取深度变化图像；
设定深度变化阈值，根据所述深度变化阈值对所述深度变化图像进行二值化处理，得到区域变化图像；所述二值化处理，将灰度值大于所述深度变化阈值的像素设为目标像素，其余为背景像素；
所述目标像素相连通的区域设为目标区域，计算每个目标区域的像素个数，设定区域面积阈值，所述目标区域的像素个数大于所述区域面积阈值的设为变化区域；若不存在变化区域则判断未装配新零件，重复则重复采集图像、获取位姿和获取变化区域步骤。
一种基于深度图像对比的装配体多视角检测系统，使用上述基于深度图像对比的装配体多视角变化检测方法检测装配体装配过程，其特征在于，包括RGB-D相机、注册卡和计算机；其中RGB-D相机能够采集装配过程各时刻的RGB图像和物理深度图像，并传输给所述计算机；所述计算机能够根据所述RGB图像和所述物理深度图像得到并记录实际装配过程，并更新三维模型库。操作人员携带所述RGB-D相机进行装配操作，装配过程中所述RGB-D相机进行RGB图像和物理深度图像采集，随操作人员移动，所述RGB-D相机在注册卡坐标系中的位置和姿态发生变化，即图像视角发生变化，计算机根据不同视角下采集的RGB图像和物理深度图像，实时更新所述三维模型库中的虚拟模型信息及视角。
在至少一种实施方式中，所述计算机中预先存储有装配体的预计装配过程，所述计算机记录所述实际装配过程后与所述预计装配过程进行对比，判断实际装配过程是否正确；所述对比包括对比每一步骤装配零件是否正确和零件装配位置是否正确。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于深度图像对比的装配体多视角检测方法，其特征在于，包括以下步骤：
在装配体上或附近设置注册卡，建立三维模型库和零件库；所述三维模型库包含所述装配体的虚拟模型；所述零件库包含各待装配零件的三维信息；
采集图像，通过RGB传感器和深度传感器分别采集装配体在装配过程各时刻的RGB图像和物理深度图像；所述RGB图像和所述物理深度图像中均包含所述注册卡的图像；
获取位姿，识别所述RGB图像中的注册卡，获取所述RGB传感器在注册卡坐标系中的位置和姿态；根据所述RGB传感器和所述深度传感器之间的位置关系，计算所述深度传感器在注册卡坐标系中的位置和姿态；
获取变化区域，在深度图像合成工具中，利用所述深度传感器在注册卡中的位置和姿态，更新所述三维模型库中虚拟模型的视角，利用深度缓存技术，合成当前视角下虚拟模型的深度图像，即合成深度图像；对比合成深度图像和物理深度图像，获取变化区域；
更新三维模型库，根据所述变化区域及视角在零件库中查询当前装配零件；根据所述当前装配零件和所述变化区域及视角更新所述三维模型库中的虚拟模型信息。
2.根据权利要求1所述基于深度图像对比的装配体多视角检测方法，其特征在于，还包括判断装配过程是否结束，若未结束，则重复采集图像、获取位姿、获取变化区域和更新三维模型库步骤，直到完成装配过程；所述三维模型库记录实际装配过程，所述装配过程包括装配步骤、各步骤装配零件和零件装配位置。
3.根据权利要求1或2所述基于深度图像对比的装配体多视角检测方法，其特征在于，所述对比合成深度图像和物理深度图像，获取变化区域，具体包括以下步骤：
通过所述合成深度图像与所述物理深度图像的对应像素坐标的深度值作差并取绝对值，获取深度变化图像；
设定深度变化阈值，根据所述深度变化阈值对所述深度变化图像进行二值化处理，得到区域变化图像；所述二值化处理，将灰度值大于所述深度变化阈值的像素设为目标像素，其余为背景像素；
所述目标像素相连通的区域设为目标区域，计算每个目标区域的像素个数，设定区域面积阈值，所述目标区域的像素个数大于所述区域面积阈值的设为变化区域；若不存在变化区域则判断未装配新零件，重复则重复采集图像、获取位姿和获取变化区域步骤。
4.一种基于深度图像对比的装配体多视角检测系统，使用权利要求3所述基于深度图像对比的装配体多视角变化检测方法检测装配体装配过程，其特征在于，包括RGB-D相机、注册卡和计算机；其中RGB-D相机能够采集装配过程各时刻的RGB图像和物理深度图像，并传输给所述计算机；所述计算机能够根据所述RGB图像和所述物理深度图像得到并记录实际装配过程，并更新三维模型库。
5.根据权利要求4所述基于深度图像对比的装配体多视角检测系统，其特征在于，所述计算机中预先存储有装配体的预计装配过程，所述计算机记录所述实际装配过程后与所述预计装配过程进行对比，判断实际装配过程是否正确；所述对比包括对比每一步骤装配零件是否正确和零件装配位置是否正确。
CN202110505998.0A 2021-05-10 2021-05-10 一种基于深度图像对比的装配体多视角检测方法和系统 Active CN113269729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110505998.0A CN113269729B (zh) 2021-05-10 2021-05-10 一种基于深度图像对比的装配体多视角检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110505998.0A CN113269729B (zh) 2021-05-10 2021-05-10 一种基于深度图像对比的装配体多视角检测方法和系统

Publications (2)

Publication Number Publication Date
CN113269729A true CN113269729A (zh) 2021-08-17
CN113269729B CN113269729B (zh) 2022-10-11

Family

ID=77230315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110505998.0A Active CN113269729B (zh) 2021-05-10 2021-05-10 一种基于深度图像对比的装配体多视角检测方法和系统

Country Status (1)

Country Link
CN (1) CN113269729B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547356A (zh) * 2022-04-27 2022-05-27 深圳百里科技有限公司 模板图像存储方法、装置、设备及存储介质
CN116643648A (zh) * 2023-04-13 2023-08-25 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816049A (zh) * 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN112053447A (zh) * 2020-07-29 2020-12-08 清华大学 一种增强现实三维注册方法及装置
CN112613123A (zh) * 2020-12-25 2021-04-06 成都飞机工业（集团）有限责任公司 一种飞机管路ar三维注册方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414798A (zh) * 2019-02-03 2020-07-14 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN109816049A (zh) * 2019-02-22 2019-05-28 青岛理工大学 一种基于深度学习的装配监测方法、设备及可读存储介质
CN110288657A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种基于Kinect的增强现实三维注册方法
CN110238831A (zh) * 2019-07-23 2019-09-17 青岛理工大学 基于rgb-d图像及示教器的机器人示教系统及方法
US20210023694A1 (en) * 2019-07-23 2021-01-28 Qingdao university of technology System and method for robot teaching based on rgb-d images and teach pendant
CN112053447A (zh) * 2020-07-29 2020-12-08 清华大学 一种增强现实三维注册方法及装置
CN112613123A (zh) * 2020-12-25 2021-04-06 成都飞机工业（集团）有限责任公司 一种飞机管路ar三维注册方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547356A (zh) * 2022-04-27 2022-05-27 深圳百里科技有限公司 模板图像存储方法、装置、设备及存储介质
CN114547356B (zh) * 2022-04-27 2022-07-12 深圳百里科技有限公司 模板图像存储方法、装置、设备及存储介质
CN116643648A (zh) * 2023-04-13 2023-08-25 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质
CN116643648B (zh) * 2023-04-13 2023-12-19 中国兵器装备集团自动化研究所有限公司 一种三维场景匹配交互方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113269729B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN113269729B (zh) 一种基于深度图像对比的装配体多视角检测方法和系统
CN102135417B (zh) 一种全自动三维特征提取方法
CN111862037A (zh) 基于机器视觉的精密孔类零件几何特征检测方法及系统
EP1434169A2 (en) Calibration apparatus, calibration method, program for calibration, and calibration jig
CN108007388A (zh) 一种基于机器视觉的转盘角度高精度在线测量方法
CN111126174A (zh) 一种用于机器人抓取零件的视觉检测方法
CN112132886A (zh) 一种航空零件圆孔圆心快速定位及圆度检测方法
CN110991360B (zh) 一种基于视觉算法的机器人巡检点位智能配置方法
CN112734844B (zh) 一种基于正八面体的单目6d位姿估计方法
Borsu et al. Automated surface deformations detection and marking on automotive body panels
CN115880296B (zh) 基于机器视觉的预制构件质量检测方法及装置
CN113870217A (zh) 一种基于机器视觉的边缘偏移视觉测量方法、图像检测仪
WO2018223038A1 (en) Augmented reality application for manufacturing
CN111832760B (zh) 一种基于视觉算法的井盖自动巡检方法
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN115619738A (zh) 一种模组侧缝焊焊后检测方法
CN112348869A (zh) 通过检测和标定恢复单目slam尺度的方法
CN113822810A (zh) 一种基于机器视觉的三维空间中工件的定位方法
CN114473309A (zh) 用于自动焊接系统的焊接位置识别方法及自动焊接系统
CN110517323A (zh) 基于机械手单相机多目视觉的三维定位系统及方法
CN116563391B (zh) 一种基于机器视觉的激光结构自动标定方法
CN113112543A (zh) 一种基于视觉移动目标的大视场二维实时定位系统及方法
CN111415378B (zh) 用于汽车玻璃检测的图像配准方法及汽车玻璃检测方法
CN111340884A (zh) 一种双目异构相机与rfid的双重目标定位与身份辨识方法
CN115147764A (zh) 一种基于多目视觉的管模螺栓识别定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant