CN110517323A - 基于机械手单相机多目视觉的三维定位系统及方法 - Google Patents

基于机械手单相机多目视觉的三维定位系统及方法 Download PDF

Info

Publication number
CN110517323A
CN110517323A CN201910757779.4A CN201910757779A CN110517323A CN 110517323 A CN110517323 A CN 110517323A CN 201910757779 A CN201910757779 A CN 201910757779A CN 110517323 A CN110517323 A CN 110517323A
Authority
CN
China
Prior art keywords
image
manipulator
camera
point
control computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910757779.4A
Other languages
English (en)
Inventor
史时喜
段晓宏
蒋杰
赵留辉
刘志勇
丁子全
胡平
马森月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Railway First Survey and Design Institute Group Ltd
Original Assignee
China Railway First Survey and Design Institute Group Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Railway First Survey and Design Institute Group Ltd filed Critical China Railway First Survey and Design Institute Group Ltd
Priority to CN201910757779.4A priority Critical patent/CN110517323A/zh
Publication of CN110517323A publication Critical patent/CN110517323A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种基于机械手单相机多目视觉的三维定位系统及方法,系统中的图像采集装置由机械手和安装于机械手前端法兰盘的工业相机组成,用于控制工业相机姿态和采集被测物体的图像;系统中的工业控制计算机用于控制机械手运动和接收工业相机采集的图像,并且将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。本发明中采用单个工业相机组成多目硬件系统,硬件系统简单;多目成像源是一台相机,相机内参一致,没有多台相机内参不同带来的标定问题;由机械手完成多角度拍摄,灵活度好,重复精度高。

Description

基于机械手单相机多目视觉的三维定位系统及方法
技术领域
本发明涉及一种可视物体三维定位方法,具体涉及一种基于机械手单相机多目视觉的三维定位系统及方法。
背景技术
目前,对于目标物体进行三维定位的方法通常有以下几种,第一种,基于单目视觉三维定位,顾名思义,单目视觉定位就是仅利用一台摄像机完成定位工作,它具有简单易用和适用广泛的特点,但是需要目标点之间有几何约束关系,应用场景单一、固定,不适合复杂多变的应用场景。
第二种,双目视觉三维定位方法,双目视觉定位原理是指通过三角测量原理来对目标物体的三维空间位置进行定位。系统复杂,运算量大,可以单帧单目标点定位,对目标物体无几何约束,应用场合灵活,但是使用两台摄像机进行操作结构复杂且成本较高。
第三种,多目视觉三维定位方法,是在双目视觉系统的基础上发展而来,采用多台摄像机,需要对多台摄像机进行内外参数标定,标定过程非常复杂,且一台摄像机参数发生变化,需要对全部摄像机进行重新标定。系统非常复杂,运算量特别巨大,对目标物体无几何约束要求,成本很高,因此应用场合受到极大限制。
发明内容
本发明的目的是提供一种基于机械手单相机多目视觉的三维定位系统及方法,以解决现有三维定位存在的问题。
本发明所采用的技术方案为:
基于机械手单相机多目视觉的三维定位系统,其特征在于:
所述系统包括:
图像采集装置,由机械手和安装于机械手前端法兰盘的工业相机组成,用于控制工业相机姿态和采集被测物体的图像;
工业控制计算机,用于控制机械手运动和接收工业相机采集的图像,并且将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。
基于机械手单相机多目视觉的三维定位方法,其特征在于:
所述方法包括以下步骤:
工业控制计算机通过机械手控制工业相机的姿态,工业相机多角度采集被测物体的二维图像,并发送到工业控制计算机;
工业控制计算机将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。
工业控制计算机对多角度的二维被测图像进行图像分割,具体为:
首先,采用多级滤波对背景进行逐级抑制,把不相关的背景图像内容剔除掉,同时对背景区域进行合并;
然后,根据图像特征建立加权值计算模型,利用最优化算法得到能量函数的最小值;
最后,在完成最小化后,得到图像的最优化分割。
工业控制计算机对分割后的图像进行特征提取与三维匹配,具体为:
采用两种特征检测滤波类型,即Harris角点检测及高斯差分检测对各视点的图像进行特征提取;
Harris算子是一种基于信号的点特征提取算子,通过计算所在位置的梯度来检测角点;当像素所在位置沿任意方向的曲率都比较大时,则判定该像素点为角点;
两两取图像对的特征点(f,f′),运用三角形法则重建出空间点的三维坐标;
经过该空间点作指向相机光心的射线,从而得出物体表面的小长方形块及其经过该表面中心点的单位法向量。
工业控制计算机运用泊松表面重建方法,在特征点的匹配和相机标定的基础上对被测物体进行三维重建,具体为:
(1)将模型表面采样的有向样点转换为模型指示函数梯度的样点;
(2)使用隐函数框架的方法进行表面重建,计算指示函数;
(3)通过指示函数提取对应的等值面,从而获得重建表面;
(4)采用八叉树法,将细节点所在面的等值线段投影到粗节点所在面上,从而避免产生裂纹。
工业控制计算机根据被测物体的特点不同选取不同的深度学习算法进行三维定位。
工业控制计算机控制机械手进行多角度多点拍照,根据实际被测物件的具体情况,增加或删减拍摄角度的次数。
本发明具有以下优点:
①采用单个相机组成多目系统,硬件单一,成本低。
②多目成像源是一台相机,相机内参一致,没有多台相机内参不一致的标定问题。
③由机械手完成多角度拍摄,灵活度好,重复精度高。
④采用深度学习算法分离可靠性高、精度高的数据用于三维定位。
附图说明
图1为被测部件三维定位示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案做进一步说明,目的仅在于更好的理解本发明内容。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,绝不作为本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对位置和数值不限制本发明的范围。同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不做详细讨论,但在适当的情况下,所述技术、方法和设备应当被视为授权说明的一部分。
针对相关技术的上述问题,在本实施例中提供了,通过设置:图像采集装置,由机械手和安装于机械手前端法兰盘的工业相机组成,用于控制工业相机姿态和采集被测物体的图像;工业控制计算机,用于控制机械手运动和接收工业相机采集的图像,并且将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。下面具体说明:
图1是根据本发明实施例的被测物体三维定位的示意图。如图1所示,该方法,包括图像采集、图像分割、图像特征提取与三维匹配、三维定位。下面对该方法进行详细说明。
图像采集装置,由机械手和安装于机械手前端法兰盘的工业相机组成,用于控制工业相机姿态和采集被测物体的图像。
机械手前端法兰盘与工业相机之间设有连接装置,连接装置可以根据跟换后的机械手或是工业相机的安装孔不同进行调整。
机械手可以根据具体应用环境作业范围的不同进行同系列类型型号更换,例如在现场作业环境中使用的UR3机械手可以更换为UR5机械手。
工业相机可以根据具体作业环境测量范围的不同进行同系列类型型号更换以适用不同的作业部件。
工业控制计算机控制机械手进行多角度多点拍照时,可以根据不同的作业部件,根据部件外形的复杂程度,比如凹陷的角度、深度等适当增加拍照的次数,已达到完全、不失真复原部件表面图像的目的。
工业控制计算机,用于控制机械手运动和接收工业相机采集的图像,并且将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。
要提取被测部件的图像,需要将复杂背景除掉。首先采用多级滤波对背景进行逐级抑制,把不相关的背景图像内容剔除掉,同时将一些背景区域进行合并。然后,再根据图像特征建立合适的加权值计算模型以及找到合适的最优化算法来得到能量函数的最小值.最后在完成最小化后,即得到了图像的最优化分割。
采用两种特征检测滤波类型,即Harris角点检测及高斯差分检测对各视点的图像进行特征提取。Harris算子是一种基于信号的点特征提取算子,通过计算所在位置的梯度来检测角点.当像素所在位置沿任意方向的曲率都比较大时,则判定该像素点为角点。两两取图像对的特征点(f,f′),运用三角形法则重建出空间点的三维坐标。经过该空间点作指向相机光心的射线,从而得出物体表面的小长方形块及其经过该表面中心点的单位法向量。
在特征点的匹配和相机标定的基础上进行三维重建,利用泊松表面重建方法,可以较准确地获取和优化角点,并找到角点特征的匹配点,从而能够获得被重建轮圆的精确表面。泊松表面重建的步骤如下:(1)将模型表面采样的有向样点转换为模型指示函数梯度的样点;(2)使用隐函数框架的方法进行表面重建,计算指示函数;(3)通过指示函数提取对应的等值面,从而获得重建表面;(4)采用八叉树法,将细节点所在面的等值线段投影到粗节点所在面上,从而避免产生裂纹。
工业控制计算机根据被测物体的特点不同选取不同的深度学习算法进行三维定位。例如,使用LBP(局部二值模式)用来描述图像局部纹理特征的算子,具有灰度不变性。可用于提取待检部件的纹理特性。
工业控制计算机将被测部件的三维点云图像进行分门别类存储。
本发明采用单个工业相机组成多目硬件系统,硬件系统简单;多目成像源是一台相机,相机内参一致,没有多台相机内参不同带来的标定问题;由机械手完成多角度拍摄,灵活度好,重复精度高。
上述本发明的实施序号仅仅为了描述,不代表实施例的优劣。
在本申请提供的实施例中,应该理解到,所揭露的技术内容,可以通过其它的方式实现。例如所述机械手和工业相机可以根据具体的应用环境不同进行同系列的更换。
本发明的内容不限于实施例所列举,本领域普通技术人员通过阅读本发明说明书而对本发明技术方案采取的任何等效的变换,均为本发明的权利要求所涵盖。

Claims (7)

1.基于机械手单相机多目视觉的三维定位系统,其特征在于:
所述系统包括:
图像采集装置,由机械手和安装于机械手前端法兰盘的工业相机组成,用于控制工业相机姿态和采集被测物体的图像;
工业控制计算机,用于控制机械手运动和接收工业相机采集的图像,并且将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。
2.基于机械手单相机多目视觉的三维定位方法,其特征在于:
所述方法包括以下步骤:
工业控制计算机通过机械手控制工业相机的姿态,工业相机多角度采集被测物体的二维图像,并发送到工业控制计算机;
工业控制计算机将多角度的二维被测图像合成为三维点云图像,通过深度学习算法对被测物体进行三维定位。
3.根据权利要求2所述的基于机械手单相机多目视觉的三维定位方法,其特征在于:
工业控制计算机对多角度的二维被测图像进行图像分割,具体为:
首先,采用多级滤波对背景进行逐级抑制,把不相关的背景图像内容剔除掉,同时对背景区域进行合并;
然后,根据图像特征建立加权值计算模型,利用最优化算法得到能量函数的最小值;
最后,在完成最小化后,得到图像的最优化分割。
4.根据权利要求3所述的基于机械手单相机多目视觉的三维定位方法,其特征在于:
工业控制计算机对分割后的图像进行特征提取与三维匹配,具体为:
采用两种特征检测滤波类型,即Harris角点检测及高斯差分检测对各视点的图像进行特征提取;
Harris算子是一种基于信号的点特征提取算子,通过计算所在位置的梯度来检测角点;当像素所在位置沿任意方向的曲率都比较大时,则判定该像素点为角点;
两两取图像对的特征点(f,f′),运用三角形法则重建出空间点的三维坐标;
经过该空间点作指向相机光心的射线,从而得出物体表面的小长方形块及其经过该表面中心点的单位法向量。
5.根据权利要求4所述的基于机械手单相机多目视觉的三维定位方法,其特征在于:
工业控制计算机运用泊松表面重建方法,在特征点的匹配和相机标定的基础上对被测物体进行三维重建,具体为:
(1)将模型表面采样的有向样点转换为模型指示函数梯度的样点;
(2)使用隐函数框架的方法进行表面重建,计算指示函数;
(3)通过指示函数提取对应的等值面,从而获得重建表面;
(4)采用八叉树法,将细节点所在面的等值线段投影到粗节点所在面上,从而避免产生裂纹。
6.根据权利要求5所述的基于机械手单相机多目视觉的三维定位方法,其特征在于:
工业控制计算机根据被测物体的特点不同选取不同的深度学习算法进行三维定位。
7.根据权利要求6所述的基于机械手单相机多目视觉的三维定位方法,其特征在于:
工业控制计算机控制机械手进行多角度多点拍照,根据实际被测物件的具体情况,增加或删减拍摄角度的次数。
CN201910757779.4A 2019-08-16 2019-08-16 基于机械手单相机多目视觉的三维定位系统及方法 Pending CN110517323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910757779.4A CN110517323A (zh) 2019-08-16 2019-08-16 基于机械手单相机多目视觉的三维定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910757779.4A CN110517323A (zh) 2019-08-16 2019-08-16 基于机械手单相机多目视觉的三维定位系统及方法

Publications (1)

Publication Number Publication Date
CN110517323A true CN110517323A (zh) 2019-11-29

Family

ID=68625454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910757779.4A Pending CN110517323A (zh) 2019-08-16 2019-08-16 基于机械手单相机多目视觉的三维定位系统及方法

Country Status (1)

Country Link
CN (1) CN110517323A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN112906165A (zh) * 2021-03-29 2021-06-04 野象科技(重庆)有限公司 一种零部件自动分拣组装方法、装置、设备及计算机可读介质
CN115139074A (zh) * 2022-07-07 2022-10-04 华南理工大学 一种手机锂电池柔性极耳-塑壳的机械臂装配系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
WO2018103152A1 (zh) * 2016-12-05 2018-06-14 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
WO2018103694A1 (zh) * 2016-12-07 2018-06-14 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN109035200A (zh) * 2018-06-21 2018-12-18 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104596502A (zh) * 2015-01-23 2015-05-06 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
WO2018103152A1 (zh) * 2016-12-05 2018-06-14 杭州先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
WO2018103694A1 (zh) * 2016-12-07 2018-06-14 苏州笛卡测试技术有限公司 一种机器人三维扫描装置及方法
CN107481315A (zh) * 2017-06-29 2017-12-15 重庆邮电大学 一种基于Harris‑SIFT‑BRIEF算法的单目视觉三维环境重建方法
CN109035200A (zh) * 2018-06-21 2018-12-18 北京工业大学 一种基于单双目视觉协同的螺栓定位及位姿检测方法
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
章秀华等: "多目立体视觉三维重建系统的设计", 《武汉工程大学学报》 *
罗枭等: "基于多视点同步成像的三维重建方法", 《计算机与数字工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110980276A (zh) * 2019-12-30 2020-04-10 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN110980276B (zh) * 2019-12-30 2021-08-17 南京埃克里得视觉技术有限公司 一种三维视觉配合机器人实施铸件自动下料的方法
CN112906165A (zh) * 2021-03-29 2021-06-04 野象科技(重庆)有限公司 一种零部件自动分拣组装方法、装置、设备及计算机可读介质
CN115139074A (zh) * 2022-07-07 2022-10-04 华南理工大学 一种手机锂电池柔性极耳-塑壳的机械臂装配系统及方法
CN115139074B (zh) * 2022-07-07 2023-11-03 华南理工大学 一种手机锂电池柔性极耳-塑壳的机械臂装配系统及方法

Similar Documents

Publication Publication Date Title
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
JP6426968B2 (ja) 情報処理装置およびその方法
CN103988226B (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
CN109993793B (zh) 视觉定位方法及装置
CN112902953A (zh) 一种基于slam技术的自主位姿测量方法
CN109558879A (zh) 一种基于点线特征的视觉slam方法和装置
CN104933718A (zh) 一种基于双目视觉的物理坐标定位方法
JP6483832B2 (ja) Rgb−dセンサを使用して物体を走査する方法とシステム
CN110517323A (zh) 基于机械手单相机多目视觉的三维定位系统及方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
Borsu et al. Automated surface deformations detection and marking on automotive body panels
Brunie et al. Using force fields derived from 3D distance maps for inferring the attitude of a 3D rigid object
CN114862973A (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
Shah et al. Depth estimation using stereo fish-eye lenses
CN114170284A (zh) 基于主动标志点投射辅助的多视图点云配准方法
Yoon et al. Targetless multiple camera-LiDAR extrinsic calibration using object pose estimation
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN117350996A (zh) 工业内窥镜视场范围调整方法及系统
Fu et al. Passive binocular optical motion capture technology under complex illumination
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
Barrois et al. Spatio-temporal 3d pose estimation of objects in stereo images
Sheng et al. Image segmentation and object measurement based on stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191129

RJ01 Rejection of invention patent application after publication