CN107437261B - 深度图像获取方法 - Google Patents

深度图像获取方法 Download PDF

Info

Publication number
CN107437261B
CN107437261B CN201710574634.1A CN201710574634A CN107437261B CN 107437261 B CN107437261 B CN 107437261B CN 201710574634 A CN201710574634 A CN 201710574634A CN 107437261 B CN107437261 B CN 107437261B
Authority
CN
China
Prior art keywords
depth
depth camera
camera
image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710574634.1A
Other languages
English (en)
Other versions
CN107437261A (zh
Inventor
张贶恩
邵天兰
魏海勇
李玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN201710574634.1A priority Critical patent/CN107437261B/zh
Publication of CN107437261A publication Critical patent/CN107437261A/zh
Application granted granted Critical
Publication of CN107437261B publication Critical patent/CN107437261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

公开了一种深度图像获取方法，通过标定分别获取两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，进而计算获取第二深度相机到第一深度相机的转换矩阵，将两个深度图像进行融合获取融合深度图像。本发明深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。

Description

深度图像获取方法
技术领域
本发明涉及机器视觉领域，具体涉及一种深度图像获取方法。
背景技术
随着劳动力成本的不断提高以及自动化设备的不断完善，使用自动化设备代替人工进行生产的比率越来越高。最初的自动化设备不安装任何的传感器，只能在固定的场景中进行一些固定的动作。随着应用环境越来越复杂多变，需要在自动化设备上安装一些传感器，以便能够观察到物体的信息。深度相机是传感器的一种，能够观察到物体的深度信息，因而能够更加准确的确定物体在空间中的位置。但是由于主动投射光源，深度相机拍摄金属等反光物体时会出现明显的反光，导致获取的深度图像上出现孔洞。
发明内容
有鉴于此，本发明提供一种深度图像获取方法，可以减少反光物体拍摄深度图像时出现孔洞，提高深度相机的精度和视野范围。
本发明提供一种深度图像获取方法，包括：
分别标定获取第一深度相机的内参矩阵和第二深度相机的内参矩阵，所述第一深度相机和所述第二深度相机在不同的位置以不同的角度朝向拍摄目标；
多次采集标定板中斑点的位置，分别获取斑点在所述第一深度相机和所述第二深度相机坐标系的位置；
多次移动标定板，分别计算获得两个深度相机坐标系到机器人坐标系的第一转换矩阵和第二转换矩阵；
根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取所述第二深度相机到所述第一深度相机的转换矩阵；
通过标定结果进行融合，获取融合深度图像；
其中，所述第二深度相机到所述第一深度相机的转换矩阵的公式为：
T3＝A1×(T1)-1×T2×(A2)-1
其中A1为所述第一深度相机的内参矩阵，A2为所述第二深度相机的内参矩阵，T1为所述第一深度相机的坐标系到机器人坐标系的转换矩阵，T2为所述第二深度相机坐标系到机器人坐标系的转换矩阵。
优选地，标定获取所述深度相机的内参矩阵前将深度相机切换至红外模式。
优选地，所述斑点在所述第一深度相机和所述第二深度相机坐标系的位置是通过滤波、识别以及对应的深度值获取。
优选地，所述标定板为非对称圆斑点板，安装在机器人的末端。
优选地，所述第一转换矩阵和所述第二转换矩阵通过标定板上的斑点在相机视野中均匀分布后计算获取。
优选地，所述融合深度图像的过程，包括：
所述第一深度相机和所述第二深度相机分别获取拍摄目标的深度图像；
将所述第二深度相机获得的深度图像通过转换矩阵映射到所述第一深度相机的坐标系后与所述第一深度相机获得的深度图像融合，获取融合深度图像；
根据融合深度图像将第一深度相机的RGB图像和第二深度相机的RGB图像进行融合，获取融合彩色图。
优选地，所述第一深度相机的深度图像和所述第二深度相机的深度图像具有不同深度值时，融合后的深度图像的深度值通过计算获得；
其中，融合后的深度图像的深度值的计算公式为：
Figure BDA0001350602250000021
其中，d3和d2分别为所述第一深度相机和所述第二深度相机的深度图像的深度值，a为深度系数。
本申请提供一种深度图像获取方法，通过标定分别获取两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，进而计算获取第二深度相机到第一深度相机的转换矩阵，将两个深度图像进行融合获取融合深度图像。本申请深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例的深度图像获取装置的结构示意图；
图2是现有技术的单深度相机拍摄获取的深度图像；
图3是本发明实施例的深度图像获取装置的深度图像；
图4是本发明实施例的深度相机的标定流程图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图及具体实施方式对本发明作进一步说明。
本实施例的深度图像获取装置如图1所示，深度图像装置包括第一深度相机1、第二深度相机2、处理器3、第一支撑架4、第二支撑架5以及外壳6。第一深度相机1固定在第一支撑架4上，第二深度相机2固定在第二支撑架5上。本领域技术人员应理解，深度相机和支撑架的固定连接方式可以通过螺栓连接或者卡槽连接，只要能够使得深度相机和支撑架实现固定连接，深度相机可跟随支撑架进行移动或者旋转。外壳6包括顺序连接的第一部分、第二部分和第三部分，并形成一定的角度。在本实施例中，外壳6的第一部分和第三部分相对于第二部分在同侧弯折相同的角度。第一支撑架4可转动地连接在外壳6的第一部分，第二支撑架5可转动地连接在外壳6的第三部分，处理器3固定安装在外壳6的第二部分。连接后第一支撑架4和第二支撑架5相对于处理器3对称。处理器3为一种高性能图像采集与信号处理单元，能够对第一深度相机1和第二深度相机2进行快速地标定、融合以及后续处理等。第一支撑架4和第二支撑架5包括电机，通过电机驱动第一支撑架4和第二支撑架5进行角度的调节，由于第一深度相机1和第二深度相机2分别固定在第一支撑架4和第二支撑架5上，因此，通过调整第一支撑架4和第二支撑架5的角度间接地调整第一深度相机1和第二深度相机2的角度。
通过本实施例设置的深度图像获取装置，通过对深度相机的进行标定以及标定后对两个深度相机获得的深度图像进行融合，即可获得目标的融合深度图像。具体地，深度相机的标定方法如图4所示，所述标定方法包括：
步骤S100、调整第一深度相机和第二深度相机的角度。
具体地，通过第一支撑架4和第二支撑架5将第一深度相机1和第二深度相机2的角度调整至能够使得第一深度相机1和第二深度相机2分别拍摄的深度图像融合后得到的融合深度图像能够在给定的工作范围内获得最高的精度。
步骤S200、分别标定获取第一深度相机的内参矩阵和第二深度相机的内参矩阵。
将第一深度相机1和第二深度相机2切换到红外模式，利用棋盘格以及相机标定方法，可以分别标定出两个深度相机的内参矩阵，然后将其编号保存到文件中。
步骤S300、多次采集标定板中斑点的位置，分别获取斑点在第一深度相机和第二深度相机坐标系的位置。
标定过程中，将具有高精度的非对称圆斑点板安装在机器人的末端，每次采集可以得到斑点在机器人的位置，然后利用深度相机的红外模式对圆形斑点进行滤波及识别，最后加上对应的深度值，可以得到斑点在深度相机坐标系的位置。
步骤S400、多次移动标定板，分别计算获得两个深度相机坐标系到机器人坐标系的第一转换矩阵和第二转换矩阵。
将第一深度相机1和第二深度相机2通过第一支撑架4和第二支撑架5移动多次位置，使得斑点在第一深度相机1和第二深度相机2的视野中均匀分布，然后计算分别获取两个深度相机的坐标系到机器人坐标系的第一转换矩阵和第二转换矩阵。
步骤S500、根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取第二深度相机到第一深度相机的转换矩阵。
根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵通过矩阵之间的变换处理即可计算获取到第二深度相机2到第一深度相机1的转换矩阵。
其中，所述第二深度相机2到第一深度相机1的转换矩阵的公式为：
T3＝A1×(T1)-1×T2×(A2)-1
其中A1为第一深度相机1的内参矩阵，A2为第二深度相机2的内参矩阵，T1为第一深度相机1的坐标系到机器人坐标系的转换矩阵，即第一转换矩阵，T2为第二深度相机2的坐标系到机器人坐标系的转换矩阵，即第二转换矩阵。
第一深度相机1和第二深度相机2标定完成后，分别拍摄获取目标的深度图像。将第二深度相机2获得的深度图像通过转换矩阵映射到第一深度相机1的坐标系后与第一深度相机1获得的深度图像融合，获取融合深度图像。
第二深度相机2的深度图像通过映射公式先映射到以第一深度相机1为坐标系的一个480*640的方格里面，将映射点的位置和深度值通过加权平均法，计算得到一个映射好的深度图像。其中，映射公式如下：
Figure BDA0001350602250000061
其中，d0u、d0v为映射后映射点的平面坐标，d0为映射后映射点的深度值，d1u、d1v为映射前映射点的平面坐标，d1为映射前映射点的深度值，T2为第二深度相机2的坐标系到机器人坐标系的转换矩阵，即第二转换矩阵。
第一深度相机1和第二深度相机2在某一位置的深度图像的深度值不同时，第二深度相机2的深度图像与第一深度相机1的深度图像融合后的深度图像的深度值d的计算公式如下：
Figure BDA0001350602250000062
其中，d3和d2分别为第一深度相机1和第二深度相机2拍摄某一相同位置时的深度值，a为深度系数。
深度图像的是由无数个点组成，第二深度相机2的深度图像与第一深度相机1的深度图像融合的过程是两个深度图像通过无数的点进行融合，每个融合点通过上述公式获取具有深度值的融合点，融合后的点形成融合深度图像。
本领域技术人员应理解，本实施例的第一深度相机的深度图像和第二深度相机的深度图像进行融合，获取融合深度图像。其融合方法也可采用专利申请号为201510644681.X和201010290934.5的专利所公开的融合方法进行深度图像的融合。
如图2和图3所示，通过现有技术单深度相机获取的深度图像与本申请的深度图像获取装置拍摄获取的深度图像对比可以明显看出，本申请有效减少了反光物体在深度图像上出现的孔洞，提高了深度相机的精度。
本申请提供一种深度图像获取方法，通过标定分别获取两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，进而计算获取第二深度相机到第一深度相机的转换矩阵，将两个深度图像进行融合获取融合深度图像。本申请深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种深度图像获取方法，包括：
分别标定获取第一深度相机的内参矩阵和第二深度相机的内参矩阵，所述第一深度相机和所述第二深度相机在不同的位置以不同的角度朝向拍摄目标；
多次采集标定板中斑点在机器人坐标系中的位置，分别获取斑点在所述第一深度相机和所述第二深度相机坐标系的位置，所述标定板安装在机器人的末端，所述斑点在所述第一深度相机和所述第二深度相机坐标系的位置是通过滤波、识别以及对应的深度值获取；
多次移动标定板，分别计算获得两个深度相机坐标系到机器人坐标系的第一转换矩阵和第二转换矩阵；
根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取所述第二深度相机到所述第一深度相机的转换矩阵；
通过标定结果后，第一深度相机和第二深度相机分别拍摄获取目标的深度图像并将两个深度图像进行融合，获取融合深度图像；
其中，所述第二深度相机到所述第一深度相机的转换矩阵的公式为：
T3＝A1×(T1)-1×T2×(A2)-1
其中A1为所述第一深度相机的内参矩阵，A2为所述第二深度相机的内参矩阵，T1为所述第一深度相机的坐标系到机器人坐标系的转换矩阵，T2为所述第二深度相机坐标系到机器人坐标系的转换矩阵；
其中，所述第一深度相机的深度图像和所述第二深度相机的深度图像具有不同深度值时，融合后的深度图像的深度值通过计算获得；
其中，融合后的深度图像的深度值的计算公式为：
Figure FDA0002774016280000011
其中，d3和d2分别为所述第一深度相机和所述第二深度相机的深度图像的深度值，a为深度系数。
2.根据权利要求1所述的深度图像获取方法，其特征在于，标定获取所述深度相机的内参矩阵前将深度相机切换至红外模式。
3.根据权利要求1所述的深度图像获取方法，其特征在于，所述标定板为非对称圆斑点板。
4.根据权利要求1所述的深度图像获取方法，其特征在于，所述第一转换矩阵和所述第二转换矩阵通过标定板上的斑点在相机视野中均匀分布后计算获取。
5.根据权利要求1所述的深度图像获取方法，其特征在于，所述融合深度图像的过程，包括：
所述第一深度相机和所述第二深度相机分别获取拍摄目标的深度图像；
将所述第二深度相机获得的深度图像通过转换矩阵映射到所述第一深度相机的坐标系后与所述第一深度相机获得的深度图像融合，获取融合深度图像；
根据融合深度图像将第一深度相机的RGB图像和第二深度相机的RGB图像进行融合，获取融合彩色图。
CN201710574634.1A 2017-07-14 2017-07-14 深度图像获取方法 Active CN107437261B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710574634.1A CN107437261B (zh) 2017-07-14 2017-07-14 深度图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710574634.1A CN107437261B (zh) 2017-07-14 2017-07-14 深度图像获取方法

Publications (2)

Publication Number Publication Date
CN107437261A CN107437261A (zh) 2017-12-05
CN107437261B true CN107437261B (zh) 2021-03-09

Family

ID=60459748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710574634.1A Active CN107437261B (zh) 2017-07-14 2017-07-14 深度图像获取方法

Country Status (1)

Country Link
CN (1) CN107437261B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582171A (zh) * 2009-06-10 2009-11-18 清华大学 一种创建深度图的方法及装置
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
US20130215228A1 (en) * 2012-02-22 2013-08-22 David Stoker Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
CN103414909A (zh) * 2013-08-07 2013-11-27 电子科技大学 一种应用于三维视频虚拟视点合成的空洞填补方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN104463880A (zh) * 2014-12-12 2015-03-25 中国科学院自动化研究所 一种rgb-d图像获取方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN105374019A (zh) * 2015-09-30 2016-03-02 华为技术有限公司 一种多深度图融合方法及装置
CN106548489A (zh) * 2016-09-20 2017-03-29 深圳奥比中光科技有限公司 一种深度图像与彩色图像的配准方法、三维图像采集装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582171A (zh) * 2009-06-10 2009-11-18 清华大学 一种创建深度图的方法及装置
US20130215228A1 (en) * 2012-02-22 2013-08-22 David Stoker Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103414909A (zh) * 2013-08-07 2013-11-27 电子科技大学 一种应用于三维视频虚拟视点合成的空洞填补方法
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN104463880A (zh) * 2014-12-12 2015-03-25 中国科学院自动化研究所 一种rgb-d图像获取方法
CN105205858A (zh) * 2015-09-18 2015-12-30 天津理工大学 一种基于单个深度视觉传感器的室内场景三维重建方法
CN105374019A (zh) * 2015-09-30 2016-03-02 华为技术有限公司 一种多深度图融合方法及装置
CN106548489A (zh) * 2016-09-20 2017-03-29 深圳奥比中光科技有限公司 一种深度图像与彩色图像的配准方法、三维图像采集装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"四目立体测量中的关键技术研究";孙楠;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130415(第4期);正文第10-11页 *
"基于Kinect传感器多深度图像融合的";郭连朋 等;《应用光学》;20140930;第35卷(第5期);第811-816页 *
"基于双目立体视觉定位和识别技术的研究";高栋栋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140215(第2期);正文第18,24-25页 *

Also Published As

Publication number Publication date
CN107437261A (zh) 2017-12-05

Similar Documents

Publication Publication Date Title
CN107403447B (zh) 深度图像获取方法
US8310663B2 (en) Methods and systems for calibrating an adjustable lens
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN106570899B (zh) 一种目标物体检测方法及装置
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
KR101672732B1 (ko) 객체 추적 장치 및 방법
CN111683204A (zh) 无人机拍摄方法、装置、计算机设备和存储介质
CN110763140B (zh) 一种非平行光轴高精度双目测距方法
CN108734738B (zh) 相机标定方法及装置
CN109636857B (zh) 对位方法及标定系统
CN113014816A (zh) 飞拍拍摄触发点的确定方法和装置
CN109489558A (zh) 距离测量系统和距离测量方法
CN110827360B (zh) 一种光度立体式测量系统及其标定光源方向的方法
CN107274447B (zh) 深度图像获取装置和深度图像获取方法
CN108694713A (zh) 一种基于立体视觉的星箭对接环局部环段识别与测量方法
WO2020114433A1 (zh) 一种深度感知方法，装置和深度感知设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN107437261B (zh) 深度图像获取方法
CN110989645A (zh) 一种基于复眼成像原理的目标空间姿态处理方法
KR20200095183A (ko) 도트 그리드를 이용한 이미지 캘리브레이션 시스템 및 이를 이용한 캘리브레이션 방법, 그 방법을 수행하는 프로그램이 기록된 컴퓨터 판독이 가능한 기록매체
CN112102419B (zh) 双光成像设备标定方法及系统、图像配准方法
CN115471566A (zh) 一种双目标定方法和系统
JPWO2018235256A1 (ja) ステレオ計測装置及びシステム
CN111625001B (zh) 机器人的控制方法及装置、工业机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhang Kuangen

Inventor after: Shao Tianlan

Inventor after: Wei Haiyong

Inventor after: Li Xi

Inventor before: Zhang Kuangen

Inventor before: Shao Tianlan

Inventor before: Wei Haiyong

Inventor before: Li Xi

CB03 Change of inventor or designer information