CN107403447B - 深度图像获取方法 - Google Patents

深度图像获取方法 Download PDF

Info

Publication number
CN107403447B
CN107403447B CN201710574935.4A CN201710574935A CN107403447B CN 107403447 B CN107403447 B CN 107403447B CN 201710574935 A CN201710574935 A CN 201710574935A CN 107403447 B CN107403447 B CN 107403447B
Authority
CN
China
Prior art keywords
depth
depth camera
camera
coordinate system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710574935.4A
Other languages
English (en)
Other versions
CN107403447A (zh
Inventor
张贶恩
邵天兰
魏海勇
李玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mech Mind Robotics Technologies Co Ltd
Original Assignee
Mech Mind Robotics Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mech Mind Robotics Technologies Co Ltd filed Critical Mech Mind Robotics Technologies Co Ltd
Priority to CN201710574935.4A priority Critical patent/CN107403447B/zh
Publication of CN107403447A publication Critical patent/CN107403447A/zh
Application granted granted Critical
Publication of CN107403447B publication Critical patent/CN107403447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开了一种深度图像获取方法，通过标定计算获取第二深度相机到第一深度相机的转换矩阵，通过转换矩阵将深度图像进行映射后融合，获取融合深度图像。本发明的深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。

Description

深度图像获取方法
技术领域
本发明涉及机器视觉领域，具体涉及一种深度图像获取方法。
背景技术
随着劳动力成本的不断提高以及自动化设备的不断完善，使用自动化设备代替人工进行生产的比率越来越高。最初的自动化设备不安装任何的传感器，只能在固定的场景中进行一些固定的动作。随着应用环境越来越复杂多变，需要在自动化设备上安装一些传感器，以便能够观察到物体的信息。深度相机是传感器的一种，能够观察到物体的深度信息，因而能够更加准确的确定物体在空间中的位置。但是由于主动投射光源，深度相机拍摄金属等反光物体时会出现明显的反光，导致获取的深度图像上出现孔洞。
发明内容
有鉴于此，本发明提供一种深度图像获取方法，可以减少反光物体拍摄深度图像时出现孔洞，提高深度相机的精度和视野范围。
本发明提供一种深度图像获取方法，包括：
对第一深度相机和第二深度相机进行标定获取第一深度相机的内参矩阵和第一深度相机坐标系到机器人坐标系的转换矩阵以及第二深度相机的内参矩阵和第二深度相机坐标系到机器人坐标系的转换矩阵，其中，所述第一深度相机和所述第二深度相机在不同的位置以不同的角度朝向拍摄目标；
根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取所述第二深度相机到所述第一深度相机的转换矩阵；
所述第一深度相机和所述第二深度相机分别获取拍摄目标的深度图像；
将所述第二深度相机的深度图像通过转换矩阵映射到所述第一深度相机坐标系中，计算获得映射深度图像；
将不同的映射深度图像进行融合，获取融合深度图像；
根据融合深度图像将所述第一深度相机的RGB图像和所述第二深度相机的RGB图像进行融合，获取融合彩色图像；
其中，所述第一深度相机的深度图像和所述第二深度相机的深度图像具有不同深度值时，融合后的深度图像的深度值通过如下公式计算获得；
Figure BDA0001350693690000021
其中，d3和d2分别为所述第一深度相机和所述第二深度相机的深度图像的深度值，a为深度系数。
优选地，所述标定还包括多次采集标定板中斑点的位置，分别获取斑点在所述第一深度相机和所述第二深度相机坐标系的位置。
优选地，所述斑点在所述第一深度相机和所述第二深度相机坐标系的位置是通过滤波、识别以及对应的深度值获取。
优选地，所述深度相机的坐标系到机器人坐标系的转换矩阵通过标定板上的斑点在相机视野中均匀分布后计算获取。
优选地，所述第二深度相机到所述第一深度相机的转换矩阵为：
T3＝A1×(T1)-1×T2×(A2)-1
其中A1为所述第一深度相机的内参矩阵，A2为所述第二深度相机的内参矩阵，T1为所述第一深度相机的坐标系到机器人坐标系的转换矩阵，T2为所述第二深度相机坐标系到机器人坐标系的转换矩阵。
本申请提供了一种深度图像获取方法，通过标定计算获取第二深度相机到第一深度相机的转换矩阵，通过转换矩阵将深度图像进行映射后融合，获取融合深度图像。本申请的深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例的深度图像获取装置的结构示意图；
图2是现有技术的单深度相机拍摄获取的深度图像；
图3是本发明实施例的深度图像获取装置的深度图像；
图4是本发明实施例的融合前的深度图像；
图5是本发明实施例的融合后的深度图像；
图6是本发明实施例的深度相机标定流程图；
图7是本发明实施例的多深度图像融合流程图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图及具体实施方式对本发明作进一步说明。
本实施例的深度图像获取装置如图1所示，深度图像装置包括第一深度相机1、第二深度相机2、处理器3、第一支撑架4、第二支撑架5以及外壳6。第一深度相机1固定在第一支撑架4上，第二深度相机2固定在第二支撑架5上。本领域技术人员应理解，深度相机和支撑架的固定连接方式可以通过螺栓连接或者卡槽连接，只要能够使得深度相机和支撑架实现固定连接，深度相机可跟随支撑架进行移动或者旋转。外壳6包括顺序连接的第一部分、第二部分和第三部分，并形成一定的角度。在本实施例中，外壳6的第一部分和第三部分相对于第二部分在同侧弯折相同的角度。第一支撑架4可转动地连接在外壳6的第一部分，第二支撑架5可转动地连接在外壳6的第三部分，处理器3固定安装在外壳6的第二部分。连接后第一支撑架4和第二支撑架5相对于处理器3对称。处理器3为一种高性能图像采集与信号处理单元，能够对第一深度相机1和第二深度相机2进行快速地标定、融合以及后续处理等。第一支撑架4和第二支撑架5包括电机，通过电机驱动第一支撑架4和第二支撑架5进行角度的调节，由于第一深度相机1和第二深度相机2分别固定在第一支撑架4和第二支撑架5上，因此，通过调整第一支撑架4和第二支撑架5的角度间接地调整第一深度相机1和第二深度相机2的角度。
通过本实施例设置的深度图像获取装置，通过对深度相机的进行标定以及标定后对两个深度相机获得的深度图像进行融合，即可获得目标的融合深度图像。具体地，深度相机的标定过程如图6所示，所述标定过程包括：
步骤S100、调整第一深度相机和第二深度相机的角度。
具体地，通过第一支撑架4和第二支撑架5将第一深度相机1和第二深度相机2的角度调整至能够使得第一深度相机1和第二深度相机2分别拍摄的深度图像融合后得到的融合深度图像能够在给定的工作范围内获得最高的精度。
步骤S200、分别标定获取第一深度相机的内参矩阵和第二深度相机的内参矩阵。
将第一深度相机1和第二深度相机2切换到红外模式，利用棋盘格以及相机标定方法，可以分别标定出两个深度相机的内参矩阵，然后将其编号保存到文件中。
步骤S300、多次采集标定板中斑点的位置，分别获取斑点在第一深度相机和第二深度相机坐标系的位置。
标定过程中，将具有高精度的非对称圆斑点板安装在机器人的末端，每次采集可以得到斑点在机器人的位置，然后利用深度相机的红外模式对圆形斑点进行滤波及识别，最后加上对应的深度值，可以得到斑点在深度相机坐标系的位置。
步骤S400、多次移动标定板，分别计算获得两个深度相机坐标系到机器人坐标系的第一转换矩阵和第二转换矩阵。
将第一深度相机1和第二深度相机2通过第一支撑架4和第二支撑架5移动多次位置，使得斑点在第一深度相机1和第二深度相机2的视野中均匀分布，然后计算获取深度相机坐标系到机器人坐标系的转换矩阵。
步骤S500、根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取第二深度相机到第一深度相机的转换矩阵。
根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵通过矩阵之间的变换处理即可计算获取到第二深度相机2到第一深度相机1的转换矩阵。
其中，所述第二深度相机2到第一深度相机1的转换矩阵的公式为：
T3＝A1×(T1)-1×T2×(A2)-1
其中A1为第一深度相机1的内参矩阵，A2为第二深度相机2的内参矩阵，T1为第一深度相机1的坐标系到机器人坐标系的转换矩阵，T2为第二深度相机2的坐标系到机器人坐标系的转换矩阵。
第一深度相机1和第二深度相机2标定完成后，对两个深度相机获得的深度图像进行融合，获得融合深度图像。具体地，多深度图像融合过程如图7所示，所述融合过程包括：
步骤S100、第一深度相机和第二深度相机分别获取拍摄目标的深度图像。
第一深度相机1和第二深度相机2标定完成后，分别拍摄获取目标同一位置时的深度图像。
步骤S200、将第二深度相机的深度图像通过转换矩阵映射到第一深度相机坐标系中，计算获得映射深度图像。
第二深度相机2的深度图像通过映射公式先映射到以第一深度相机1为坐标系的一个480*640的方格里面，将映射点的位置和深度值通过加权平均法，计算得到一个映射好的深度图像。其中，映射公式如下：
Figure BDA0001350693690000061
其中，d0u、d0v为映射后映射点的平面坐标，d0为映射后映射点的深度值，d1u、d1v为映射前映射点的平面坐标，d1为映射前映射点的深度值，T2为第二深度相机2的坐标系到机器人坐标系的转换矩阵。
步骤S300、将不同的映射深度图像进行融合，获取融合深度图像。
第一深度相机1和第二深度相机2在某一位置的深度图像的深度值不同时，第二深度相机2的深度图像与第一深度相机1的深度图像融合后的深度图像的深度值d的计算公式如下：
Figure BDA0001350693690000062
其中，d3和d2分别为第一深度相机1和第二深度相机2拍摄某一相同位置时的深度值，a为深度系数。
深度图像的是由无数个点组成，第二深度相机2的深度图像与第一深度相机1的深度图像融合的过程是两个深度图像通过无数的点进行融合，每个融合点通过上述公式获取具有深度值的融合点，融合后的点形成融合深度图像。
本领域技术人员应理解，本实施例的第一深度相机的深度图像和第二深度相机的深度图像进行融合，获取融合深度图像。其融合方法也可采用专利申请号为201510644681.X和201010290934.5的专利所公开的融合方法进行深度图像的融合。
步骤S400、根据融合深度图像将第一深度相机的RGB图像和第二深度相机的RGB图像进行融合，获取融合彩色图像。
将融合深度图像中的有效点通过映射函数映射到第一深度相机的原始RGB图中相应位置，可以识别到物体的色彩信息。两个深度相机采集得到的深度图像以及彩色图像通过处理器3融合后，对外输出具有高精度、宽视野范围的深度图像以及彩色图像。
如图2和图3所示，通过现有技术单深度相机获取的深度图像与本申请的深度图像获取装置拍摄获取的深度图像对比可以明显看出，本申请有效减少了反光物体在深度图像上出现的孔洞。通过对多深度图像融合前后对比可以明显看出，本实施例将多深度图像融合后进一步提高了深度相机的精度，如图4和图5所示。
本申请提供了一种深度图像获取方法，通过标定计算获取第二深度相机到第一深度相机的转换矩阵，通过转换矩阵将深度图像进行映射后融合，获取融合深度图像。本申请的深度图像获取方法简单可靠，可以减少反光物体在深度图像上出现孔洞，提高深度相机的精度和视野范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种深度图像获取方法，包括：
对第一深度相机和第二深度相机进行标定获取第一深度相机的内参矩阵和第一深度相机坐标系到机器人坐标系的转换矩阵以及第二深度相机的内参矩阵和第二深度相机坐标系到机器人坐标系的转换矩阵，其中，所述第一深度相机和所述第二深度相机在不同的位置以不同的角度朝向拍摄目标；
根据两个深度相机的内参矩阵以及两个深度相机坐标系到机器人坐标系的转换矩阵，计算获取所述第二深度相机到所述第一深度相机的转换矩阵；
所述第一深度相机和所述第二深度相机分别获取拍摄目标的深度图像；
将所述第二深度相机的深度图像通过转换矩阵映射到所述第一深度相机坐标系中，计算获得映射深度图像；
将不同的映射深度图像进行融合，获取融合深度图像；
根据融合深度图像将所述第一深度相机的RGB图像和所述第二深度相机的RGB图像进行融合，获取融合彩色图像；
其中，所述第一深度相机的深度图像和所述第二深度相机的深度图像具有不同深度值时，融合后的深度图像的深度值通过如下公式计算获得；
Figure FDA0001350693680000011
其中，d3和d2分别为所述第一深度相机和所述第二深度相机的深度图像的深度值，a为深度系数。
2.根据权利要求1所述的深度图像获取方法，其特征在于，所述标定还包括多次采集标定板中斑点的位置，分别获取斑点在所述第一深度相机和所述第二深度相机坐标系的位置。
3.根据权利要求2所述的深度图像获取方法，其特征在于，所述斑点在所述第一深度相机和所述第二深度相机坐标系的位置是通过滤波、识别以及对应的深度值获取。
4.根据权利要求3所述的深度图像获取方法，其特征在于，所述深度相机的坐标系到机器人坐标系的转换矩阵通过标定板上的斑点在相机视野中均匀分布后计算获取。
5.根据权利要求1所述的深度图像获取方法，其特征在于，所述第二深度相机到所述第一深度相机的转换矩阵为：
T3＝A1×(T1)-1×T2×(A2)-1
其中A1为所述第一深度相机的内参矩阵，A2为所述第二深度相机的内参矩阵，T1为所述第一深度相机的坐标系到机器人坐标系的转换矩阵，T2为所述第二深度相机坐标系到机器人坐标系的转换矩阵。
CN201710574935.4A 2017-07-14 2017-07-14 深度图像获取方法 Active CN107403447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710574935.4A CN107403447B (zh) 2017-07-14 2017-07-14 深度图像获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710574935.4A CN107403447B (zh) 2017-07-14 2017-07-14 深度图像获取方法

Publications (2)

Publication Number Publication Date
CN107403447A CN107403447A (zh) 2017-11-28
CN107403447B true CN107403447B (zh) 2020-11-06

Family

ID=60400740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710574935.4A Active CN107403447B (zh) 2017-07-14 2017-07-14 深度图像获取方法

Country Status (1)

Country Link
CN (1) CN107403447B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840922B (zh) * 2018-01-31 2021-03-02 中国科学院计算技术研究所 基于双目光场相机的深度获取方法和系统
CN110895822B (zh) * 2018-09-13 2023-09-01 虹软科技股份有限公司 深度数据处理系统的操作方法
CN109615662A (zh) * 2018-12-04 2019-04-12 中冶赛迪工程技术股份有限公司 一种坐标系标定方法、系统、计算机可读存储介质及设备
CN109544616B (zh) * 2018-12-11 2021-02-26 维沃移动通信有限公司 一种深度信息确定方法和终端
CN109741405B (zh) * 2019-01-21 2021-02-02 同济大学 一种基于对偶结构光rgb-d相机的深度信息采集系统
US10818071B1 (en) * 2019-07-26 2020-10-27 Google Llc Image-based geometric fusion of multiple depth images using ray casting
CN110415288B (zh) * 2019-07-31 2022-04-08 达闼科技（北京）有限公司 深度图像生成方法、装置及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240214A (zh) * 2012-03-13 2014-12-24 湖南领创智能科技有限公司 一种用于三维重建的深度摄像机快速标定方法
CN103177442A (zh) * 2013-03-04 2013-06-26 北京邮电大学 一种无重叠视场的相机与二维激光的标定方法
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN103231708B (zh) * 2013-04-12 2015-08-05 安徽工业大学 一种基于双目视觉的智能车辆避障方法
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
EP2916286A1 (en) * 2014-03-06 2015-09-09 Thomson Licensing Camera calibration method and apparatus using a color-coded structure
CN105513068A (zh) * 2015-12-04 2016-04-20 湖北工业大学 基于多相机阵列大尺寸视觉测量系统的标定系统及方法
CN105712206B (zh) * 2016-04-27 2017-08-08 上海振华重工电气有限公司 集装箱吊具位姿检测系统及方法
CN106157304A (zh) * 2016-07-01 2016-11-23 成都通甲优博科技有限责任公司 一种基于多个相机的全景图拼接方法及系统
CN106162147B (zh) * 2016-07-28 2018-10-16 天津大学 基于双目Kinect深度相机系统的深度恢复方法

Also Published As

Publication number Publication date
CN107403447A (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
CN107403447B (zh) 深度图像获取方法
US8310663B2 (en) Methods and systems for calibrating an adjustable lens
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
CN106960454B (zh) 景深避障方法、设备及无人飞行器
WO2017080108A1 (zh) 飞行装置、飞行控制系统及方法
WO2019114617A1 (zh) 快速抓拍的方法、装置及系统
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN106570899B (zh) 一种目标物体检测方法及装置
CN106529495A (zh) 一种飞行器的障碍物检测方法和装置
CN108020200B (zh) 一种深度测量方法及系统
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
KR101672732B1 (ko) 객체 추적 장치 및 방법
JP3850541B2 (ja) 高度計測装置
CN111683204A (zh) 无人机拍摄方法、装置、计算机设备和存储介质
JP2015184767A (ja) 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム
CN105953741B (zh) 一种钢结构局部几何变形的测量系统和方法
WO2019144269A1 (zh) 多目摄像系统、终端设备及机器人
CN110763140B (zh) 一种非平行光轴高精度双目测距方法
JPWO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
CN113014816A (zh) 飞拍拍摄触发点的确定方法和装置
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
CN107274447B (zh) 深度图像获取装置和深度图像获取方法
CN108694713A (zh) 一种基于立体视觉的星箭对接环局部环段识别与测量方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
WO2023241263A1 (zh) 定位装置及定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhang Kuangen

Inventor after: Shao Tianlan

Inventor after: Wei Haiyong

Inventor after: Li Xi

Inventor before: Zhang Kuangen

Inventor before: Shao Tianlan

Inventor before: Wei Haiyong

Inventor before: Li Xi

CB03 Change of inventor or designer information