CN113284118A - 一种对复杂形状物体的3d坐标自动生成装置 - Google Patents

一种对复杂形状物体的3d坐标自动生成装置 Download PDF

Info

Publication number
CN113284118A
CN113284118A CN202110596049.8A CN202110596049A CN113284118A CN 113284118 A CN113284118 A CN 113284118A CN 202110596049 A CN202110596049 A CN 202110596049A CN 113284118 A CN113284118 A CN 113284118A
Authority
CN
China
Prior art keywords
imaging
coordinate
measured
robot
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110596049.8A
Other languages
English (en)
Inventor
韦卫
申平伟
陈凯涛
刘晨星昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smarteye Tech Ltd
Original Assignee
Smarteye Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smarteye Tech Ltd filed Critical Smarteye Tech Ltd
Priority to CN202110596049.8A priority Critical patent/CN113284118A/zh
Publication of CN113284118A publication Critical patent/CN113284118A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Abstract

本发明公开了一种对复杂形状物体的3D坐标自动生成装置，其关键是，设计被测物体的自动旋转和翻转机构，针对需要机器人处理的轨迹点、线或面做成像增强优化反差处理，利用3D成像设备进行多角度成像，生成多幅3D图像，设计拼接算法，生成物体的3D坐标或3D数字模型，最后生成可供机器人操作的运动轨迹。

Description

一种对复杂形状物体的3D坐标自动生成装置
技术领域
本发明属于机器视觉、人工智能和机器人智能装备技术领域。
背景技术
目前，机器人智能化主要依靠机器视觉为机器人生成操作坐标技术实现。而当前机器视觉的成像装备主要是基于2D或3D光学传感器相机感光被测物体生成图像，再由计算机处理生成3D点云坐标。对于形状和颜色复杂的物体，包括：金属、耐火材料等工业产品，鞋类服装消费产品材料，成像设备由于受感光传感器对可见光曝光成像的局限，特别是不反光的黑色，金属反光，荧光材料等，从而会严重影响为机器人生成操作运动轨迹的准确性。
由此可以看出，要使得机器人具备智能，获取被测物体的准确3D坐标和数字模型，从而精确地对被测物体进行操作加工处理，就必须解决针对复杂形状和复杂颜色物体的成像和生成机器人操作和运动轨迹的问题。
发明内容
本发明公开了一种对复杂形状物体的3D坐标自动生成装置，其关键是，设计被测物体的自动旋转和翻转机构，针对需要机器人处理的轨迹点、线或面做成像增强优化反差处理，利用3D成像设备进行多角度成像，生成多幅3D图像，设计拼接算法，生成物体的3D坐标或3D数字模型，最后生成可供机器人操作的运动轨迹。使得机器人可以处理复杂形状和复杂颜色的物体。
为达到上述目的，本发明的技术方案是这样实现的：
一种对复杂形状物体的3D坐标自动生成装置，装置由成像设备、计算设备、被测物体成像增强方、控制设备以及旋转翻转机构组成。
将被测物体放在旋转翻转机构上，被测物体做成像增强优化处理，计算设备触发成像设备成像，计算机设备驱动控制设备控制旋转翻转机构的运动成像设备对物体的各个姿态进行成像生成3D坐标数据，计算设备将拼接3D坐标数据和生成机器人操作轨迹3D坐标点位。
工作步骤如下：
a、将被测物体放在自动旋转翻转机构上；
b、如果需要标记被测物体机器人的处理轨迹，且被测物体的颜色和形状复杂，则做被测物体的成像优化处理；
c、计算设备触发成像设备对被测物体的一个面进行成像，计算设备驱动控制设备驱动旋转翻转机构到下一个面驱动成像设备成像，直至所有的面成像完成；
d、计算设备对步骤c成像数据进行拼接，形成物体的数字3D模型；
该装置所述被测物体做成像增强优化处理，是一种为便于成像设备成像标记需要机器人处理轨迹的方法，针对不同的被测加工的物体形状和材质，可使用如下方法，a)使用一种轻薄柔性材料包裹在被测物体上，并在柔性材料上用与之有颜色反差的笔描绘标定；b)用3D笔描绘生成凸起的点、线或面标定。
更进一步，便于成像设备成像标记需要机器人处理轨迹的方法至少有三种，a)线标记；b)点标记；c)区域面标记。
较佳的，柔性材料包含：a)美纹纸；b)有颜色涂层材料；c)无色涂层材料。
更进一步所述旋转翻转机构，为了使被测物体完成各个角度的成像，抓取物体的方法可以使用：机械夹爪，透明材料托盘，吸盘，水平旋转机构，垂直旋转机构。旋转翻转机构配合成像设备的位置部署包含以下几种情况，a)单一相机固定部署；b)相机可部署在运动机构上变换成像位置；c)在被测物体的每个面部署一个或多个相机成像。
较佳地，计算设备与控制设备的工作步骤：
a)由计算设备触发成像设备成像，计算设备接收成像设备的图像数据；
b)计算设备通知控制设备进行旋转或翻转；
c)重复步骤a)，直到所有的面成像完成；
d)计算设备将步骤a)，b)，c)获得的图像数据进行拼接处理生成被测物体完整的3D坐标数字模型。
更进一步成像设备至少包括，2D相机，3D面阵相机，线扫相机。
更进一步对于计算设备将拼接3D坐标数据和生成机器人操作轨迹3D坐标点位的方法，为便于成像设备成像，可在成像前，标记需要机器人处理轨迹的方法，包含单不仅限于，a)线标记；b)点标记；c)区域面标记。为机器人对被测物体的操作处理提供具体的，a)单一坐标点；b)由多个坐标点组成的线；c)由多个坐标点组成的区域面。
较佳地，计算设备将拼接3D坐标数据和生成机器人操作轨迹3D坐标点位以及使用一种轻薄柔性材料包裹在被测物体，是指计算设备在生成被测物体3D坐标时，a)在垂直坐标方向将减去柔性材料厚度；或b)减去3D笔生成凸起轨迹的厚度。
附图说明
图1所示为应用本发明的原理示意图
图2所示为应用本发明第一实施例
具体实施方式
本发明的思路是：针对复杂形状复杂颜色被测物体，利用成像设备、增强成像方法以及可以使物体姿态变化的机构对物体进行成像，计算设备生成物体的3D坐标信息，进而生成机器人操作处理的运动轨迹。
图1所示为应用本发明的原理图；包括：计算设备，成像设备，控制设备，成像增强，被测物体，旋转和翻转机构。
其实现过程如下：
a)人工判断被测物体颜色和反光情况，为被测物体表面增加便于成像曝光的柔性材料，如果需要标记机器人处理的坐标点、线或面，则，人工用笔标记；
b)计算设备触发设备成像，成像结果发给计算设备；
c)计算设备通知控制机构，控制旋转翻转机构将被测物体变化到下一个成像姿态；
d)重复步骤b)，直到被测物体所有的面成像采集完成；
e)计算设备拼接所有的图像成一个3D数字模型
图2为智能化鞋帮面喷胶实施案例
本实施例使用2台3D相机作为成像设备。
由于鞋帮面的颜色和花纹变化很大，影响成像效果，为保证成像后准确生成机器人喷胶轨迹，本实施例有以下步骤组成：
a)采用超薄柔性材料贴敷再鞋帮面需要喷涂胶水的部位；
b)人工或机器用与柔性材料颜色对比反差大的笔标记出需要机器人喷涂的轨迹线；
c)计算设备触发顶部3D成像设备成像；
d)计算设备触发侧面3D相机成像；
e)计算设备通知旋转控制设备旋转90度，触发侧面3D相机成像；
f)计算设备通知旋转控制设备旋转180度度，触发侧面3D相机成像；
g)计算设备通知旋转控制设备旋转270度，触发侧面3D相机成像；
h)计算设备拼接计算鞋帮面的3D坐标和机器人喷涂轨迹坐标。

Claims (9)

1.一种对复杂形状物体的3D坐标自动生成装置，其特征在于，被测物体放在旋转翻转机构上，被测物体做成像增强优化处理，通过旋转翻转机构的运动成像设备对物体的各个姿态进行成像生成3D坐标数据，计算设备将拼接3D坐标数据和生成机器人操作轨迹3D坐标点位；该方法还包括以下步骤：
a、将被测物体放在自动旋转翻转机构上；
b、如果需要标记被测物体机器人的处理轨迹，且被测物体的颜色和形状复杂，则做被测物体的成像优化处理；
c、计算设备触发成像设备对被测物体的一个面进行成像，计算设备通知控制设备驱动旋转翻转机构到下一个面驱动成像设备成像，直至所有的面成像完成；
d、计算设备对步骤c成像数据进行拼接，形成物体的数字3D模型。
2.根据权利要求1所述的装置，其特征在于，所述被测物体做成像增强优化处理，是一种为便于成像设备成像标记需要机器人处理轨迹的方法，包含不仅限于，a)使用一种轻薄柔性材料包裹在被测物体上，并在柔性材料上用与之有颜色反差的笔描绘标定；b)用3D笔描绘生成凸起的点、线或面标定。
3.根据权利要求1所述的装置，其特征在于，所述旋转翻转机构进一步包括但不限于：机械夹爪，透明材料托盘，吸盘，水平旋转机构，垂直旋转机构。
4.根据权利要求1所述的装置，其特征在于，该方法进一步包括：
所述成像设备至少包括但不仅限于，2D相机，3D面阵相机，线扫相机，且成像设备的位置部署包含但不仅限于，a)单一相机固定部署；b)相机可部署在运动机构上变换成像位置；c)在被测物体的每个面部署一个或多个相机成像。
5.根据权利要求2所述的方法，其特征在于，便于成像设备成像标记需要机器人处理轨迹的方法，包含单不仅限于，a)线标记；b)点标记；c)区域面标记。
6.根据权利要求1和权利要求5所述的方法，生成机器人操作轨迹3D坐标点位和像设备成像标记需要机器人处理轨迹的方法，其特征在于，为机器人对被测物体的操作处理提供具体的，a)单一坐标点；b)由多个坐标点组成的线；c)由多个坐标点组成的区域面。
7.根据权利要求1所述的装置，其特征在于，通过旋转翻转机构的运动成像设备对物体的各个姿态进行成像生成3D坐标数据以及计算设备将拼接3D坐标数据，更进一步包含以下步骤：
a)由计算设备触发成像设备成像，计算设备接收成像设备的图像数据；
b)计算设备通知控制设备进行旋转或翻转；
c)重复步骤a)，直到所有的面成像完成；
d)计算设备将步骤a)，b)，c)获得的图像数据进行拼接处理生成被测物体完整的3D坐标数字模型。
8.根据权利要求2所述的方法，其特征在于，所述被测物体做成像增强优化处理，使用一种轻薄柔性材料包裹在被测物体，更进一步，柔性材料包含但不仅限于：a)美纹纸；b)有颜色涂层材料；c)无色涂层材料。
9.根据权利要求1、权利要求2和权利要求8所述的方法，其特征在于，计算设备将拼接3D坐标数据和生成机器人操作轨迹3D坐标点位以及使用一种轻薄柔性材料包裹在被测物体，是指计算设备在生成被测物体3D坐标时，a)在垂直坐标方向将减去柔性材料厚度；或b)减去3D笔生成凸起轨迹的厚度。
CN202110596049.8A 2021-05-31 2021-05-31 一种对复杂形状物体的3d坐标自动生成装置 Pending CN113284118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110596049.8A CN113284118A (zh) 2021-05-31 2021-05-31 一种对复杂形状物体的3d坐标自动生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110596049.8A CN113284118A (zh) 2021-05-31 2021-05-31 一种对复杂形状物体的3d坐标自动生成装置

Publications (1)

Publication Number Publication Date
CN113284118A true CN113284118A (zh) 2021-08-20

Family

ID=77282502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110596049.8A Pending CN113284118A (zh) 2021-05-31 2021-05-31 一种对复杂形状物体的3d坐标自动生成装置

Country Status (1)

Country Link
CN (1) CN113284118A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763938A (zh) * 2012-04-28 2012-11-07 青岛大学 基于数码相机的鞋楦三维测量方法及制备的鞋楦
CN103267491A (zh) * 2012-07-17 2013-08-28 深圳大学 自动获取物体表面完整三维数据的方法及系统
CN107170035A (zh) * 2017-07-12 2017-09-15 朱培恒 一种高反光物体扫描方法及其系统
CN111702772A (zh) * 2020-06-04 2020-09-25 浙江和生荣智能科技有限公司 一种帮面自动引导涂胶方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102763938A (zh) * 2012-04-28 2012-11-07 青岛大学 基于数码相机的鞋楦三维测量方法及制备的鞋楦
CN103267491A (zh) * 2012-07-17 2013-08-28 深圳大学 自动获取物体表面完整三维数据的方法及系统
CN107170035A (zh) * 2017-07-12 2017-09-15 朱培恒 一种高反光物体扫描方法及其系统
CN111702772A (zh) * 2020-06-04 2020-09-25 浙江和生荣智能科技有限公司 一种帮面自动引导涂胶方法及系统

Similar Documents

Publication Publication Date Title
CN111791227B (zh) 机器人手眼标定方法、装置及机器人
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
CN111156925A (zh) 基于线结构光和工业机器人的大构件三维测量方法
CN108399639A (zh) 基于深度学习的快速自动抓取与摆放方法
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
CN107362987A (zh) 一种基于视觉的机器人分拣方法及系统
US20190061163A1 (en) Control device and robot system
TWI607814B (zh) 即時三維建模之雷射飛行打標系統及其方法
CN109291048A (zh) 一种磨抛工业机器人实时在线编程系统及方法
Agrawal et al. Vision-guided robot system for picking objects by casting shadows
CN115816471B (zh) 多视角3d视觉引导机器人的无序抓取方法、设备及介质
Jain et al. A force-controlled portrait drawing robot
CN108180834A (zh) 一种工业机器人同三维成像仪位姿关系现场实时标定方法
CN115070781B (zh) 一种物体抓取方法及双机械臂协作系统
CN109900251A (zh) 一种基于视觉技术的机器人定位装置及方法
CN110992416A (zh) 基于双目视觉与cad模型的高反光面金属零件位姿测量方法
CN112598752B (zh) 基于视觉识别的标定方法及作业方法
CN113284118A (zh) 一种对复杂形状物体的3d坐标自动生成装置
Cao et al. Fuzzy-depth objects grasping based on fsg algorithm and a soft robotic hand
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
Hanaoka et al. Development of 3D printed structure that visualizes bending and compression deformations for soft-bodied robots
CN116206189A (zh) 一种曲面图形标识码及其识别方法
Hasan et al. Model-free, vision-based object identification and contact force estimation with a hyper-adaptive robotic gripper

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210820