CN109978929A - 深度信息摄像模组的rgb-d图像合成优化系统及其方法 - Google Patents

深度信息摄像模组的rgb-d图像合成优化系统及其方法 Download PDF

Info

Publication number
CN109978929A
CN109978929A CN201711458603.6A CN201711458603A CN109978929A CN 109978929 A CN109978929 A CN 109978929A CN 201711458603 A CN201711458603 A CN 201711458603A CN 109978929 A CN109978929 A CN 109978929A
Authority
CN
China
Prior art keywords
image
rgb
module
depth
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711458603.6A
Other languages
English (en)
Other versions
CN109978929B (zh
Inventor
李程辉
颜扬治
汲梦宇
蒋坤君
陈远
胡增新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sunny Optical Zhejiang Research Institute Co Ltd
Original Assignee
Sunny Optical Zhejiang Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sunny Optical Zhejiang Research Institute Co Ltd filed Critical Sunny Optical Zhejiang Research Institute Co Ltd
Priority to CN201711458603.6A priority Critical patent/CN109978929B/zh
Publication of CN109978929A publication Critical patent/CN109978929A/zh
Application granted granted Critical
Publication of CN109978929B publication Critical patent/CN109978929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一深度信息摄像模组的RGB‑D图像合成优化系统，供优化一深度信息摄像模组的RGB‑D图像合成效果。该深度信息摄像模组的RGB‑D图像合成优化系统包括一标定模块，一对齐量化模块和一调整优化模块。该标定模块可通信地连接于该深度信息摄像模组，供标定该深度成像模块和该RGB成像模块的标定参数；该对齐量化模块可通信地连接于该深度信息摄像模组和该标定模块，供量化该IR图像和该RGB图像的特征点对齐效果，以间接地量化该深度图像数据和该RGB图像的对齐效果。该调整优化模块根据该对齐量化模块的量化对齐结果，调整该深度成像模块和该RGB成像模块的标定参数。

Description

深度信息摄像模组的RGB-D图像合成优化系统及其方法
技术领域
本发明涉及一三维成像领域，尤其涉及一深度信息摄像模组的RGB-D图像合成优化系统 及其方法。
背景技术
随着光学测量以及计算机视觉的发展，光学三维测量技术逐渐成熟，并被应用于人类生 产生活的各个领域，例如无人机的自动跟踪和避障系统，增强现实(AugmentedReality)、 虚拟现实(Virtual Reality)、3D建模等。
基于结构光技术的三维成像技术，其需要主动投射结构光到被测目标，以通过结构光的 变形或飞行时间等来确定被测目标的深度信息。传统的结构光三维成像模组,例如TOF深度信 息摄像模组和散斑结构光深度信息摄像模组，其所采集的被测目标的图像仅包括被测目标的 灰度信息和距离信息。因此，为了弥补三维成像模组在采集深度图像数据时所损失的色彩纹 理信息，现有的三维成像模组通常会集成一RGB成像模块，以通过该RGB成像模块采集被测 目标的彩色条纹信息，并进一步地将RGB图像和深度图像数据进行合成，获取被测目标的 RGB-D图像。
然而，受限于该RGB成像模块和该深度成像模块的感光芯片的差异，该RGB-D图像不能 在同一感光芯片上成像。也就是说，该RGB成像模块与该深度成像模块之间存在一定的位置 差，其将导致由该深度成像模块所采集的该深度图像数据和由该RGB成像模块所获取的该RGB 图像之间存在相应的视差。因此，在合成RGB图像和深度图像数据以进行重建或纹理贴附的 过程中，该深度图像数据和该RGB图像之间需进行对齐，其对齐的准确度对场景重建的视觉 效果有着重要的影响。
深度图像数据和RGB图像的对齐是三维重建研究领域的热门技术，其主流思想是对该深 度成像模块和该RGB成像模块进行标定，并利用标定结果,深度数据和两成像模块之间的空间 几何关系，进行图像对齐。然而，对于该深度图像数据和该RGB图像的对齐效果评价却主要 依赖于人的主观评价，这极其不利于算法的客观评价和效率提升。其主要原因在于，想要量 化评价深度图像数据和RGB图像的对齐效果和精度，必须依赖于RGB图像和深度图像数据的 特征点提取和比对，然而提取深度图像数据特征点的技术不仅繁琐而且精度低，没有实际的 产业利用价值。
进一步地，由于现有的深度图像数据和RGB图像的对齐效果评价主要依赖于人为主观感 觉，因此，无法对RGB图像和深度图像数据的合成进行后续针对性的调整和优化，以提高该 RGB-D的成像效果。
因此，在实际产业应用中，对于能够对三维成像模组的RGB图像和深度图像数据合成效 果进行量化评价并进行优化的系统的需求是极其强烈的。
发明内容
本发明的主要目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中所述RGB-D图像合成优化系统能够量化地评价所述深度图像数据和所述RGB图像的对 齐效果。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中所述RGB-D图像合成优化系统能够基于所述深度图像数据和所述RGB图像的量化对齐 评价效果，对所述RGB-D图像的合成效果进行调整和优化，以提升成像品质。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中所述RGB图像合成系统通过量化评价一IR图像和所述RGB图像的特征点对齐效果，来 间接地量化评价所述深度图像数据和所述RGB图像的对齐效果。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中所述IR图像和所述深度图像数据均于所述深度信息摄像模组的一深度成像模块上成像。 也就是说，所述IR图像和所述深度图像数据在同一感光芯片上成像，以使得所述IR图像高 度对齐于所述深度图像数据，从而通过量化评价所述IR图像和所述RGB图像特征点对齐效 果，能够间接地量化评价所述深度图像数据和所述RGB图像的对齐效果。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中相较于直接提取所述深度图像数据和所述RGB图像的特征点以进行对齐效果量化评价 的技术方案，提取所述IR图像的特征点更为容易且相对具有较高的精度。也就是说，通过评 价所述IR图像和所述RGB图像对齐效果以间接地量化评价所述深度图像数据和所述RGB图 像的对齐效果的技术方案，具有相对更高的精度且相对更为容易实施。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中在所述RGB-D图像合成优化系统标定的过程中，所述IR图像和所述RGB图像为棋盘 格图像，以利于所述IR图像和所述RGB图像的特征点选择和提取。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中在采集所述IR图像的过程中，所述深度信息摄像模组的一结构光投射模块被遮蔽或处于 非工作状态，以避免所述结构光投射模块所投射的图案对所述IR图像成像造成影响，从而确 保所述IR图像和所述深度图像数据保持对齐。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中在采集所述IR图像的过程中，可进行红外补光以使得所述IR图像具有相对较高的清晰 度，利于特征点提取和对比。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中所述IR图像和所述RGB图像的特征点提取和对齐算法，相对较为成熟且具有较高精度， 易于实施。
本发明的另一目的在于提供一深度信息摄像模组的RGB-D图像合成优化系统及其方法， 其中没有复杂的结构或昂贵的设备引入到所述RGB-D图像合成优化系统，因此，本发明提供 了一经济且有效的解决方案，其能够对所述RGB图像和所述深度图像数据合成效果进行量化 评价并进行相应调整和优化。
通过下面的描述，本发明的其它优势和特征将会变得显而易见，并可以通过权利要求书 中特别指出的手段和组合得到实现。
依本发明，前述以及其它目的和优势可以通过一深度信息摄像模组的RGB-D图像合成自 校准系统被实现，其中所述深度信息摄像模组包括一结构光投射模组，一深度成像模块，其 中所述深度成像模块可通信地连接于结构光投射模组，供采集一被测标板的一深度图像数据， 一RGB成像模块，所述RGB成像模块供采集所述被测标板的一RGB图像，和一图像处理 模块，所述图像处理模块供合成所述RGB图像和所述深度图像数据以获取一该被测目标的 RGB-D图像，其中所述RGB-D图像合成优化系统包括：
一标定模块，其中所述标定模块可通信地连接于该深度信息摄像模组，供标定所述深度 成像模块和所述RGB成像模块的标定参数，其中所述标定参数包括所述深度成像模块和所述 RGB成像模块的内参以及所述深度成像模块和所述RGB成像模块之间的旋转和平移矩阵；
一对齐量化模块，其中所述对齐量化模块可通信地连接于该深度信息摄像模组和所述标 定模块，供量化所述IR图像和所述RGB图像的特征点对齐效果，以间接地量化所述深度图 像数据和所述RGB图像的对齐效果；
一调整优化模块，其中所述调整优化模块根据所述对齐量化模块的量化对齐效果，调整 所述深度成像模块和所述RGB成像模块的标定参数。
在本发明的一实施例中，所述被测标板被实施为一棋盘格标板，其中所述深度信息摄像 模组采集所述棋盘格标板的所述IR图像，所述深度图像数据和所述RGB图像，其中所述IR 图像和所述RGB图像传输至所述对齐量化模块，供量化所述IR图像和所述RGB图像的特征 点对齐效果，其中所述IR图像和所述RGB图像传输至所述标定模块，供标定所述深度成像 模块和所述RGB成像模块的标定参数。
在本发明的一实施例中，所述IR图像和所述深度图像数据均于所述深度成像模块所成 像，以使得所述IR图像高度对齐于所述深度图像数据。
在本发明的一实施例中，所述RGB-D图像合成优化系统还包括一遮蔽装置，其中，在采 集所述IR图像时，所述遮蔽装置可操作地遮蔽所述深度信息摄像模组的所述结构光投射模 组。
在本发明的一实施例中，所述RGB-D图像合成优化系统还包括一补光装置，其中，在采 集所述IR图像时，所述补光装置供补充所述IR图像成像所需的红外光，以提高所述IR图像 的成像质量。
在本发明的一实施例中，其中量化所述IR图像和所述RGB图像的特征点对齐效果的过 程包括步骤：
a)对齐所述IR图像于所述RGB图像；
b)提取所述IR图像和所述RGB图像中的对应特征点；和
c)根据所述IR图像和所述RGB图像的对应特征点的对齐误差，量化所述IR图像和所 述RGB图像的特征点对齐效果。
在本发明的一实施例中，所述对齐所述IR图像和所述RGB图像的步骤还包括步骤：
a1)构造函数pir＝z×(x,y,1)，其中x、y是所述IR图像中各点的像素坐标，z是该像素坐 标对应的深度值；
a2)构建函数Pir＝inv(Kir)·pir，其中Pir是深度成像模块的坐标系中点的空间坐标，Kir是深 度成像模块的内参；
a3)利用函数Prgb＝R·Pir+T，将深度成像模块的坐标系转到RGB成像模块坐标系；
a4)利用函数prgb＝Krgb·Prgb，并进行齐次坐标变换，将RGB成像模块的坐标系中的空间各 点坐标映射到所述RGB图像坐标,prgb(1)为列坐标，prgb(2)为行坐标；
a5)利用函数IIR(prgb(2),prgb(1))＝IIR,ori(i,j)，将所述IR图像对齐于所述RGB图像。
在本发明的一实施例中，其中在提取所述IR图像和所述RGB图像的对应特征点的过程 中，所述IR图像和所述RGB图像为棋盘格图像，所述特征点为所述IR图像和所述RGB图像中棋盘格的各角点。
在本发明的一实施例中，所述对齐所述IR图像于所述RGB图像的步骤，还包括步骤：
a0)提取所述IR图像特征点，并将所述IR图像的各特征点对齐于所述RGB图像，以使 得在提取所述IR图像和所述RGB图像的对应特征点的步骤中，只需提取所述RGB图像中对 应特征点。
在本发明的一实施例中，其中在提取所述IR图像特征点的步骤中，所述IR图像和所述 RGB图像为棋盘格图像，所述特征点为所述IR图像中棋盘格的各角点。
在本发明的一实施例中，其中所述提取该IR图像对应特征点的步骤还包括步骤：
a01)根据预设算法，获取该IR图像的对应各特征点的深度值。
在本发明的一实施例中，所述获取所述IR图像各特征点的深度值的步骤还包括步骤：
a011)提取围绕对应特征点的分别沿着X轴和Y轴方向的一定数量的像素，其中当判定 该像素点皆具有深度值时，利用插值算法计算获取对应各特征点的深度值，其中当判定该像 素点中存在空值时，舍弃对应特征点。
在本发明的一实施例中，在根据所述IR图像和所述RGB图像的对应特征点的对齐误差， 量化所述IR图像和所述RGB图像的特征点对齐效果的步骤中，该量化特征点对齐效果的具 体公式为：
根据本发明的另一方面，本发明还提供一量化RGB-D图像合成效果的方法，所述量化方 法包括步骤：
采集一被测标板的IR图像，RGB图像和一深度图像数据，其中所述IR图像和所述深度 图像数据成像于所述深度成像模块，以使得所述IR图像对齐于所述深度图像数据；和
量化所述IR图像和所述RGB图像的特征点对齐效果，以间接地量化所述深度图像数据 和所述RGB图像的对齐效果。
在本发明的一实施例中，其中所述量化所述IR图像和所述RGB图像的特征点对齐效果 的步骤还包括步骤：
a)对齐所述IR图像于所述RGB图像；
b)提取所述IR图像和所述RGB图像中的对应特征点；和
c)根据所述IR图像和所述RGB图像的对应特征点的对齐误差，量化所述IR图像和所 述RGB图像的特征点对齐效果。
在本发明的一实施例中，其中所述对齐所述IR图像和所述RGB图像的步骤还包括步骤：
a1)构造函数pir＝z×(x,y,1)，其中x、y是所述IR图像中各点的像素坐标，z是该像素坐 标对应的深度值；
a2)构建函数Pir＝inv(Kir)·pir，其中Pir是深度成像模块的坐标系中点的空间坐标，Kir是深 度成像模块的内参；
a3)利用函数Prgb＝R·Pir+T，将深度成像模块的坐标系转到RGB成像模块坐标系；
a4)利用函数prgb＝Krgb·Prgb，并进行齐次坐标变换，将RGB成像模块的坐标系中的空间各 点坐标映射到所述RGB图像坐标,prgb(1)为列坐标，prgb(2)为行坐标；
a5)利用函数IIR(prgb(2),prgb(1))＝IIR,ori(i,j)，将所述IR图像对齐于所述RGB图像。
在本发明的一实施例中，其中在提取所述IR图像和所述RGB图像的对应特征点的过程 中，所述IR图像和所述RGB图像为棋盘格图像，所述特征点为所述IR图像和所述RGB图像中棋盘格的各角点。
在本发明的一实施例中，在根据所述IR图像和所述RGB图像的对应特征点的对齐误差， 量化所述IR图像和所述RGB图像的特征点对齐效果的步骤中，该量化特征点对齐效果的具 体公式为：
在本发明的一实施例中，其中在提取所述IR图像和所述RGB图像的对应特征点的过程 中，所述IR图像和所述RGB图像为棋盘格图像，所述特征点为所述IR图像和所述RGB图像中棋盘格的各角点。
在本发明的一实施例中，所述对齐所述IR图像于所述RGB图像的步骤，还包括步骤：
a0)提取所述IR图像的对应特征点，并将所述IR图像的各特征点对齐于所述RGB图像， 以使得在提取所述IR图像和所述RGB图像的对应特征点的步骤中，只需提取所述RGB图像 中对应特征点。
在本发明的一实施例中，其中在提取所述IR图像的对应特征点的步骤中，所述IR图像 和所述RGB图像为棋盘格图像，所述特征点为所述IR图像中棋盘格的各角点。
在本发明的一实施例中，所述提取所述IR图像对应特征点的步骤还包括步骤：
a01)根据预设算法，获取所述IR图像对应特征点的深度值。
在本发明的一实施例中，所述获取所述IR图像对应特征点的深度值的步骤还包括步骤：
a011)提取围绕对应特征点的分别沿着X轴和Y轴方向的一定数量的像素，其中当判定 该像素点皆具有深度值时，利用插值算法计算获取对应各特征点的深度值，其中当判定该像 素点中存在空值时，舍弃对应特征点。
根据本发明的另一方面，本发明还提供了一RGB-D图像合成自校准方法，其中所述自校 准方法包括步骤：
量化所述RGB-D图像的合成效果；和
根据量化对齐结果，调整所述深度成像模块和所述RGB成像模块的标定参数，其中具体 的公式为：
在本发明的一实施例中，其中所述自校准方法还包括步骤：
根据所述调整优化模块的所提供的标定参数，再次量化所述IR图像和所述RGB图像的 特征点对齐效果，并进一步地根据量化对齐结果，调整所述深度成像模块和所述RGB成像模 块的标定参数，通过这样的方式，进行循环迭代，直至满足迭代终止条件。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充 分体现。
附图说明
图1是依据本发明一较佳实施例的一深度信息摄像模组的RGB-D图像合成优化系统的框 图示意图。
图2是依据上述较佳实施例的所述深度信息摄像模组的RGB-D图像合成优化系统的另一 框图示意图。
图3示意的是所述深度信息摄像模组在采集被测标板图像时具有遮蔽装置和补光装置的 示意图。
图4是依据上述较佳实施例的所述深度信息摄像模组的一结构光投射模块通过一电路控 制单元控制其工作状态的示意图。
图5是依据上述较佳实施例的量化所述IR图像和所述RGB图像的特征点对齐效果过程 示意图。
图6是依据上述较佳实施例的提取所述IR图像对应特征点的深度值的示意图。
图7是依据上述较佳实施例的所述量化RGB-D图像合成效果的方法的框图示意图。
图8是依据上述较佳实施例的所述RGB-D图像合成调整优化方法的框图示意图。
图9是依据上述较佳实施例的所述深度信息摄像模组的RGB-D图像合成优化系统的循环 迭代示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施 例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明 的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明 的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、 “后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于 附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所 指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为 对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一或多个”，即在一实施例中，一元件的 数量可以为一，而在另外的实施例中，所述元件的数量可以为多个，术语“一”不能理解为对 数量的限制。
如图1至如图4所示，依据本发明的一较佳实施例的一深度信息摄像模组20的RGB-D 图像合成优化系统被阐明，其中所述RGB-D图像合成优化系统能够量化地评价所述深度信息 摄像模组20所采集的一深度图像数据和一RGB图像的对齐效果，并基于该量化对齐结果对 所述RGB-D图像的合成效果进行调整和优化，以利于提高所述深度信息摄像模组20的所述 RGB-D图像的视觉效果。
应注意的是，在本发明中，所述深度信息摄像模组20基于主动三维测量技术设计而得， 在工作过程中，其主动投射一结构光至被测目标，并通过所述结构光的变形或者飞行时间来 获取被测目标的深度信息。换言之，在本发明中，所述深度信息摄像模组20可被实施为一 TOF深度信息摄像模组20，其基于该结构光的飞行时间法则来获取被测目标的深度信息，或 被实施为一结构光深度信息摄像模组20，其通过该结构光的空间调制信息，例如该结构光的 相位变化或光强变化等来获取被测目标的深度信息。应领会的是，无论是TOF深度信息摄像 模组20或者结构光深度信息摄像模组20，其皆包括一结构光投射模块21和一深度成像模 块22，其中所述结构光投射模块21可通信地与所述深度成像模块22相配合，以获取被测 目标的深度图像数据信息。
受限于所述结构光投射模块21所投射的光波性质，所采集的被测目标的深度图像数据 仅包括被测目标的灰度信息和深度信息。因此，为了弥补所损失的色彩纹理信息，现有的深 度信息摄像模组20进一步地还包括一RGB成像模块23，以通过该RGB成像模块23采集被 测目标的彩色条纹信息，并进一步地将RGB图像和深度图像数据进行合成，获取被测目标的 RGB-D图像。然而，正如背景技术中所言，现有技术中，想要量化评价深度图像数据和RGB 图像的对齐效果和精度，必须依赖于所述RGB图像和所述深度图像数据的特征点提取和比对， 然而提取所述深度图像数据特征点的技术不仅繁琐而且精度低，难以实施。
相应地，本发明所提供的所述深度信息摄像模组20RGB-D图像合成优化系统，巧妙地将 量化评价所述深度图像数据和所述RGB图像的对齐效果的技术难题，转化为量化评价一IR 图像和所述RGB图像的特征点对齐效果的技术问题，通过这样的方式，易于量化评价所述深 度图像数据和所述RGB图像的对齐效果的技术方案的实施。
为了便于在后续的描述中充分阐述本发明所提供的所述RGB-D图像合成优化系统的技 术特征，所述深度信息摄像模组20以被实施为一散斑结构光深度信息摄像模组20为举例， 其包括一散斑投射模块21，一深度成像模块22，一RGB成像模块23和一图像处理模块， 其中所述散斑投射模块21配合所述深度成像模块22供采集被测目标的所述深度图像数据， 所述RGB成像模块23供采集被测目标的所述RGB图像，所述图像处理模块可通信地连接 于所述RGB成像模块23和所述深度成像模块22，供合成所述RGB图像和所述深度图像数据以获取所述被测目标的RGB-D图像。当然，本领域的技术人员应理解，在本发明中，所述深度信息摄像模组20不仅仅局限于散斑结构光深度信息摄像模组20。
进一步地，如图2所示，所述RGB-D图像合成优化系统包括一标定模块31和一对齐量 化模块32。所述标定模块31供标定所述深度信息摄像模组20的所述深度成像模块22和所述RGB成像模块23的参数。所述对齐量化模块32可通信地连接于所述标定模块31和 所述深度信息摄像模组20，供量化一IR图像和所述RGB图像的特征点对齐效果，以间接地 量化所述深度图像数据和所述RGB图像的对齐效果。应注意的是，在本发明中，所述IR图 像和所述深度图像数据均通过所述深度成像模块22所采集，因此，所述IR图像高度对齐于 所述深度图像数据，从而可通过量化评价所述IR图像和所述RGB图像对齐效果以间接地量 化评价所述深度图像数据和所述RGB图像的对齐效果。
也就是说，在本发明所提供的所述RGB-D图像合成优化系统具体的实施过程中，应先通 过所述深度信息摄像模组20采集一被测标板10的一RGB图像和一IR图像，进而将所述RGB图像和所述IR图像传输至所述标定模块31，供标定所述深度信息摄像模组20的所述 深度成像模块22和所述RGB成像模块23的深度信息的标定参数。具体地，其中该标定参 数包括所述深度成像模块22和所述RGB成像模块23的内参以及两者之间的坐标转化矩阵， 包括旋转矩阵和平移矩阵。值得一提的是，在后续所述对齐模块量化所述IR图像和所述RGB 图像的特征点对齐的过程中，该标定参数作为重要的参量参与到此量化评价过程。
进一步地，所述被测标板10的所述RGB图像和所述IR图像被传输至所述对齐量化模 块32，其中所述对齐量化模块32根据预载的算法，提取并量化对比所述RGB图像和所述IR图像的特征点对齐效果，以间接地量化评价所述深度图像数据和所述RGB图像的对齐效果。特别地，在量化对比所述RGB图像和所述IR图像对齐效果的过程中，不仅需引用所述 深度成像模块22和所述RGB成像模块23的该标定参数，还需结合所述被测标板10的深 度信息。也就是说，在本发明所提供的所述RGB-D图像合成优化的具体实施的过程中，需通 过所述深度信息摄像模组20采集所述被测标板10的一RGB图像，一深度图像数据和一IR 图像，其中所述RGB图像，所述深度图像数据和所述IR图像作为原始数据传输至所述标定 模块31和所述对齐量化模块32，以进行相应的处理获得相应的数据。
值得一提的是，为了便于所述标定模块31提取所述深度成像模块22和所述RGB模块 的标定参数和所述对齐量化模块32提取所述RGB图像和所述IR图像的特征点信息，优选地，所述被测标板10具有鲜明的特征点图文信息。例如，在本发明一具体的实施例中，所 述被测标板10被实施为一棋盘格标板100，此时所述IR图像和所述RGB图像为IR棋盘格 图像和RGB棋盘格图像。本领域的技术人员应知晓，所述标定模块31，可根据经典的张正 友标定法，解析所述RGB棋盘格图像和所述IR棋盘格图像，以获得所述深度成像模块22 和所述RGB成像模块23的标定参数。此外，所述IR棋盘格图像和所述RGB棋盘格图像具 有明显的特征点，例如，所述对齐量化模块32可选择所述IR棋盘格图像和所述RGB棋盘 格图像的对应各角点101作为特征点信息，以量化对比所述RGB图像和所述IR图像对齐效 果。当然，在本发明另外的实施中，所述被测标板10可被实施为其他类型的被测标板10， 对此并不为本发明所局限。
在图像采集的过程中，所述散斑结构光深度信息摄像模组20与所述棋盘格标板100间 隔地设置。特别地，为了防止所述散斑结构光深度信息摄像模组20的所述散斑投射模块21 所产生的散斑对后续所述IR棋盘格图像的特征点提取产生影响，优选地，所述IR图像采集 和所述深度图像数据采集过程分批次执行。
更具体地说，在采集所述IR图像的过程中，应设置所述散斑投射模块21处于不工作或 者被遮蔽状态，以使得所述散斑投射模块21无法产生散斑或者产生的散斑无法投射到其视 场内的所述被测标板10。相应地，在采集所述IR图像的过程中，可选择切断所述散斑投射 模块21的供电电路，以使得所述散斑投射器处于不工作状态，从源头上隔绝所述散斑投射 器所产生的散斑的不良影响。同样可行的是，在采集所述IR图像的过程中，所述散斑投射模 块21被一遮蔽装置35所遮蔽，以阻碍所述散斑投射模块21所投射的散斑抵至所述棋盘格 标板100，从而间接地避免所述散斑投射模块21所产生的散斑将造成的不良影响，如图3 所示。相反地，在采集所述深度图像数据的过程中，应导通所述散斑投射模块21的供电电 路或移除所述遮蔽装置35以暴露所述散斑投射模块21，从而通过所述散斑投射模块21和 所述深度成像模块22采集所述棋盘格标板100的深度图像数据。
也就是说，在本发明的一具体的实施例中，如图4所示，所述RGB-D图像合成优化系统 还包括一电路控制单元34，其中所述电路控制单元34电连接于所述散斑投射模块21的供 电电路，以控制所述散斑投射模块21在一工作态和非工作态之间切换。在本发明另一具体 的实施中，所述RGB-D图像合成优化系统还包括一遮蔽装置35，所述遮蔽装置35可操作地遮蔽所述散斑投射器，其中当所述遮蔽装置35遮蔽所述散斑投射模块21时，所述深度成像模块22采集所述被测标板10的所述IR图像，当所述遮蔽装置35显露所述散斑投射模 块21时，所述深度成像模块22采集所述被测标板10的所述深度图像数据。
值得一提的是，在切换所述散斑投射器的状态过程中，所述棋盘格标板100和所述深度 信息摄像模组20之间的相对位置应保持不变，以确保所述IR图像和所述深度图像数据高度 对齐。应注意的是，在采集所述IR图像或所述深度图像数据的过程中，所述RGB图像被同 步地采集。
进一步地，为了提升所述IR棋盘格图像成像质量，在采集所述IR棋盘格图像的过程中， 可对所述棋盘格标板100进行相应的补光操作，例如进行红外补光操作。正如前所述，当采 集所述IR图像的过程中，所述散斑投射模块21无法投射相应的光波至所述棋盘格标板100， 从而所述深度成像模块22只能依赖自然光中的红外光进行所述IR图像成像。显然，自然光 中所含的红外光的强度不足，其导致所述IR图像成像质量不高，因此，优选地，需对所述棋 盘格标板100进行相应的红外补光，以提高所述IR图像的解析度。相应地，在具体的实施 例中，所述RGB-D图像合成优化系统还包括一补光装置36，其中，在采集所述IR图像时， 所述补光装置36供补充所述IR图像成像所需的红外光，如图3所示。
值得一提的是，在本发明另外的实施例中，所述深度信息摄像模组20可被实施为一TOF 深度信息摄像模组20，其中区别于所述散斑结构光深度信息摄像模组20，所述TOF深度信 息摄像模组20的激光投射模块所投射的激光不会对所述IR棋盘格图像的特征点提取造成影 响。也就是说，在利用所述TOF深度信息摄像模组20进行图像采集的过程中，所述IR图像， 所述RGB图像和所述深度图像数据可同时采集，一次完成。同时，所述激光投射模块所产生 的激光确保所述棋盘格标板100被充分地曝光，以确保所述IR图像具有较高的成像质量， 因此，当所述深度信息摄像模组20为一TOF深度信息摄像模组20时，所述补光装置36可不再需要。
进一步地，所述深度信息摄像模组20可通信地连接于所述标定模块31和所述对齐量化 模块32，以将所述RGB棋盘格图像和所述IR棋盘格传输至所述标定模块31，和将所述RGB 棋盘格图像，所述IR棋盘格图像和所述棋盘格深度图像数据传输至所述对齐量化模块32。 所述标定模块31根据预设的程序，例如经典的张正友标定法散发，解析所述RGB棋盘格图 像和所述IR棋盘格图像，以获得所述深度成像模块22和所述RGB成像模块23的标定参数。 进一步地，所述标定模块31将该标定参数传输至所述对齐量化模块32，其中所述对齐量化 模块32根据预设的算法程式，并结合所述IR棋盘格图像，所述深度棋盘格图像，所述RGB 棋盘格图像和该标定参数，量化对比所述RGB图像和所述IR图像特征点对齐效果，以实现 量化对比所述RGB图像和所述深度图像数据的对齐效果。
如图5至如图7所示为所述对齐量化模块32量化对比所述RGB图像和所述IR图像特征点对齐效果的过程示意图，其中所述量化对比所述RGB图像和所述IR图像特征点对齐效果的过程包括如下步骤：
a)对齐所述IR图像于所述RGB图像；
b)提取所述IR图像和所述RGB图像中的对应特征点；和
c)根据所述IR图像和所述RGB图像的对应特征点的对齐误差，量化所述IR图像和所 述RGB图像的特征点对齐效果。
更具体地说，在对齐所述IR图像于所述RGB图像的步骤中，所述IR图像的对应像素点 分别对应于所述RGB图像的各像素点。相应地，所述对齐所述IR图像于所述RGB图像的步骤还包括步骤：
a1)构造函数pir＝z×(x,y,1)，其中x、y是所述IR图像中各点的像素坐标，z是该像素坐 标对应的深度值；
a2)构建函数Pir＝inv(Kir)·pir，其中Pir是深度成像模块的坐标系中点的空间坐标，Kir是深 度成像模块的内参；
a3)利用函数Prgb＝R·Pir+T，将深度成像模块的坐标系转到RGB成像模块坐标系；
a4)利用函数prgb＝Krgb·Prgb，并进行齐次坐标变换，将RGB成像模块的坐标系中的空间各 点坐标映射到所述RGB图像坐标,prgb(1)为列坐标，prgb(2)为行坐标；和
a5)利用函数IIR(prgb(2),prgb(1))＝IIR,ori(i,j)，将所述IR图像对齐于所述RGB图像；
值得一提的是，在本发明的该优选实施中，所述IR图像和所述RGB图像为IR棋盘格图 像和RGB棋盘格图像，所述IR图像和所述RGB图像的特征点为IR棋盘格图像和所述RGB棋盘格图像的各角点101。也就是说，在上述步骤中，坐标(x,y)为棋盘格图像的各角点101坐标。
进一步地，在根据所述IR图像和所述RGB图像的对应特征点的对齐误差，量化所述IR 图像和所述RGB图像的特征点对齐效果的步骤中，所述量化对应特征点的具体公式为：
应领会的是，相较于直接提取所述深度图像数据和所述RGB图像的特征点以量化对比所 述RGB图像和所述深度图像数据的对齐效果的技术方案，所述IR棋盘格图像和所述RGB图 像的特征点(各角点101)易于提取，且具有较高精度。也就是说，本发明所提供的，通过 评价所述IR图像和所述RGB图像特征点对齐效果，间接地量化评价所述深度图像数据和所 述RGB图像的对齐效果的技术方案，具有相对更高的可实施性和更高检测精度。
进一步地，在前述的对齐所述IR图像于所述RGB图像的过程中，所述IR图像的所有像 素点皆对齐于所述RGB图像，而在后续的过程中，仅有IR图像中的对应特征点参与量化评 价对齐效果的步骤中。也就是说，在所述IR图像中，大部分像素并不参与量化评价对齐效果 的计算过程中，反而，增加了大量无效的运算，徒增限制。此外，为了确保所述IR图像的所 有像素点能够对齐于所述RGB图像，所述IR图像和所述RGB图像需具有相同的分辨率，这 又增加了一层限制。因此，为了优化该量化对比所述RGB图像和所述IR图像特征点对齐效 果的过程，优选地，在对齐所述IR图像于所述RGB图像中，仅将所述IR图像的各特征点对应于所述RGB图像。
相应地，所述对齐所述IR图像于所述RGB图像的步骤，还包括步骤：
a0)提取所述IR图像的对应特征点，并将所述IR图像的各特征点对齐于所述RGB图像。 应领会的是，通过这样的方式，在后续提取所述IR图像和所述RGB图像的对应特征点的步 骤中，只需提取所述RGB图像中对应特征点。
相应地，在本发明的该优选实施例中，所述IR图像为IR棋盘格图像，所述IR图像对应 各特征点为所述IR棋盘格图像中的各角点。进一步地，在提取所述IR图像各特征点的过程 中，需采集该特征点对应的深度值。
本领域的技术人员应知晓，在本发明中，所述IR棋盘格图像的各角点像素为亚像素，无 法直接获取其对应的深度值。因此，需通过相应的算法，获取所述IR图像的对应各特征点的 深度值。
更具体地说，在本发明一具体的实施例中，在获取所述IR图像的对应各特征点的深度值 的过程中，首先，提取围绕对应特征点的分别沿着X轴和Y轴方向的提取一定数量的像素， 如图6所示，其次，判定该像素点是否皆具有深度值时，其中当判定结果为时，利用插值算 法计算获取对应各特征点的深度值，反之，当判定结果为假时，舍弃该对应特征点。
相应地，所述提取所述IR图像对应特征点的步骤还包括步骤：
a01)根据预设算法，获取所述IR图像的对应各特征点的深度值。
所述获取所述IR图像对应各特征点的深度值的步骤还包括步骤：
a011)提取围绕对应特征点的分别沿着X轴和Y轴方向的两像素，其中当判定该像素点 皆具有深度值时，利用插值算法计算获取对应各特征点的深度值，其中当判定该像素点中存 在空值时，舍弃对应特征点。
值得一提的是，当在对齐所述IR图像于所述RGB图像时，利用仅将所述IR图像的各特 征点对应于所述RGB图像的技术方案，不仅能够大幅降低运算量，而且解除了对所述IR图 像和所述RGB图像的分辨率的限制，即，此时，所述IR图像和所述RGB图像可具有不同的分辨率。应领会的是，由于本发明所提供的所述RGB-D图像合成优化系统能够量化地评价所述深度图像数据和所述RGB图像的对齐效果，因此，基于所述深度图像数据和所述RGB图 像的量化对齐评价结果，可对所述RGB-D图像的合成效果进行针对性地调整和优化，以提高所述RGB-D图像的视觉效果。
更具体地说，在本发明的该优选实施例中，所述RGB-D图像合成优化系统还包括一调整 优化模块33，其中所述调整优化模块33可通信地连接于所述对齐量化模块32，并根据预 载的算法，调整所述深度成像模块22和所述RGB成像模块23的标定参数，通过这样的方式，改变所述RGB-D图像的合成效果。相应地，在本发明一具体的实施例中，所述调整优化模块33的预载算法可表示为：
RGBprincipalPointx＝RGBprincipalPointx-XerrorMean
RGBprincipalPointy＝RGBprincipalPointy-XerrorMean。
应领会的是，本发明所提供的所述RGB-D图像合成优化系统可进行循环迭代，以使得最 终的RGB-D图像合成效果满足一定的预设条件。更具体地说，所述调整优化模块33根据所 述对齐量化模块32所提供的特征点对齐误差信息，调整所述RGB成像模块23和所述深度 成像模块22的标定参数。相应地，所述RGB-D图像合成优化系统，可进一步地，根据调整的标定参数再次通过所述对齐量化模块32量化地评价所述深度图像数据和所述RGB图像的对齐效果，并再一次通过所述调整优化模块33，调整所述深度成像模块22和所述RGB成 像模块23的标定参数，以此方式进行循环迭代，直至满足预设的迭代条件终止迭代过程。 特别地，该迭代终止条件可设为前后两次该量化结果平均误差小于预设值或迭代次数达到预设值等。
值得一提的是，在具体的实施过程中，所述RGB-D图像合成优化系统的所述标定模块 31，所述对齐量化模块32和所述调整优化模块33可集成于一PC端，或作为一嵌入式系统安装于一移动智能终端，例如智能手机等，此方面并不为本发明所局限。
根据本发明的另一方面，本发明还提供了一量化RGB-D图像合成效果的方法，所述量化 方法包括步骤：
i:采集一被测标板10的IR图像，RGB图像和一深度图像数据，其中所述IR图像和所述深度图像数据成像于所述深度成像模块22，以使得所述IR图像高度对齐于所述深度图像数据；和
ii:量化所述IR图像和所述RGB图像的特征点对齐效果，以间接地量化所述深度图像数 据和所述RGB图像的对齐效果。
特别地，所述步骤ii:量化所述IR图像和所述RGB图像的特征点对齐效果，还包括步骤：
a)对齐所述IR图像于所述RGB图像；
b)提取所述IR图像和所述RGB图像中的对应特征点；和
c)根据所述IR图像和所述RGB图像的对应特征点的对齐误差，量化所述IR图像和所 述RGB图像的特征点对齐效果。
相应地，所述对齐所述IR图像于所述RGB图像的步骤还包括步骤：
a1)构造函数pir＝z×(x,y,1)，其中x、y是所述IR图像中各点的像素坐标，z是该像素坐 标对应的深度值；
a2)构建函数Pir＝inv(Kir)·pir，其中Pir是深度成像模块的坐标系中点的空间坐标，Kir是深 度成像模块的内参；
a3)利用函数Prgb＝R·Pir+T，将深度成像模块的坐标系转到RGB成像模块坐标系；
a4)利用函数prgb＝Krgb·Prgb，并进行齐次坐标变换，将RGB成像模块的坐标系中的空间各 点坐标映射到所述RGB图像坐标,prgb(1)为列坐标，prgb(2)为行坐标；和
a5)利用函数IIR(prgb(2),prgb(1))＝IIR,ori(i,j)，将所述IR图像对齐于所述RGB图像。
值得一提的是，在本发明的该优选实施中，所述IR图像和所述RGB图像为IR棋盘格图 像和RGB棋盘格图像，所述IR图像和所述RGB图像的特征点为IR棋盘格图像和所述RGB棋盘格图像的各角点101。也就是说，在上述步骤中，坐标(x,y)为棋盘格图像的各角点101坐标。
相应地，在根据所述IR图像和所述RGB图像的对应特征点的对齐误差，量化所述IR图 像和所述RGB图像的特征点对齐效果的步骤中，所述量化对应特征点的具体公式为：
相应地，所述对齐所述IR图像于所述RGB图像的步骤，还包括步骤：
a0)提取所述IR图像的对应特征点，并将所述IR图像的各特征点对齐于所述RGB图像。 应领会的是，通过这样的方式，在后续提取所述IR图像和所述RGB图像的对应特征点的步 骤中，只需提取所述RGB图像中对应特征点。
相应地，所述获取所述IR图像对应各特征点的深度值的步骤还包括步骤：
a011)提取围绕对应特征点的分别沿着X轴和Y轴方向的一定数量的像素，例如两个像 素点，其中当判定该像素点皆具有深度值时，利用插值算法计算获取对应各特征点的深度值， 其中当判定该像素点中存在空值时，舍弃对应特征点。相应地，本发明还提供了一RGB-D图 像合成调整优化方法，其中所述自校准方法包括步骤：
量化所述RGB-D图像的合成效果；和
根据量化对齐结果，调整所述深度成像模块22和所述RGB成像模块23的标定参数，其中具体的公式为：
进一步地，所述RGB-D图像合成优化方法，还包括步骤：
根据所述调整优化模块33的所提供的标定参数，量化所述IR图像和所述RGB图像的 特征点对齐效果，并进一步地根据量化对齐结果，调整所述深度成像模块22和所述RGB成 像模块23的标定参数，通过这样的方式，进行循环迭代，直至满足迭代终止条件。
特别地，该迭代终止条件可设为前后两次该标定参数平均误差小于预设值或迭代次数达 到预设值等。
由此可以看到本发明目的可被充分有效完成。用于解释本发明功能和结构原理的所述实 施例已被充分说明和描述，且本发明不受基于这些实施例原理基础上的改变的限制。因此， 本发明包括涵盖在附属权利要求书要求范围和精神之内的所有修改。

Claims (26)

1.一深度信息摄像模组的RGB-D图像合成优化系统，供优化一深度信息摄像模组的RGB-D图像合成效果，其中该深度信息摄像模组包括一结构光投射模块，一深度成像模块和一RGB成像模块，该散斑投射模块配合该深度成像模块供采集一深度图像数据和一IR图像，该RGB成像模块供采集一RGB图像，该图像处理模块可通信地连接于该RGB成像模块和该深度成像模块，该RGB图像和该深度图像数据融合形成一RGB-D图像，其特征在于，包括：
一标定模块，其中所述标定模块可通信地连接于该深度信息摄像模组，供标定该深度成像模块和该RGB成像模块的标定参数；
一对齐量化模块，其中所述对齐量化模块可通信地连接于该深度信息摄像模组和所述标定模块，供量化该IR图像和该RGB图像的特征点对齐效果，以间接地量化该深度图像数据和该RGB图像的对齐效果；和
一调整优化模块，其中所述调整优化模块根据所述对齐量化模块的量化对齐结果，调整该深度成像模块和该RGB成像模块的标定参数。
2.如权利要求1所述的RGB-D图像合成优化系统，其中所述RGB-D图像优化系统还包括一被测标板，所述被测标板被实施为一棋盘格标板，其中该深度信息摄像模组采集所述棋盘格标板的该IR图像，该深度图像数据和该RGB图像。
3.如权利要求2所述的RGB-D图像合成优化系统，其中该RGB图像和该IR图像被传输至所述标定模块，供标定该深度信息摄像模组的该深度成像模块和该RGB成像模块的一标定参数。
4.如权利要求2所述的RGB-D图像合成优化系统，其中该IR图像和该深度图像数据均通过该深度成像模块所采集，以使得该IR图像高度对齐于该深度图像数据。
5.如权利要求4所述的RGB-D图像合成优化系统，其中所述RGB-D图像合成优化系统还包括一遮蔽装置，其中，在采集该IR图像时，所述遮蔽装置可操作地遮蔽该深度信息摄像模组的该结构光投射模组。
6.如权利要求5所述的RGB-D图像合成优化系统，其中所述RGB-D图像合成优化系统还包括一补光装置，其中，在采集该IR图像时，所述补光装置供补充该IR图像成像所需的红外光，以提高该IR图像的成像质量。
7.如权利要求4所述的RGB-D图像合成优化系统，其中所述RGB-D图像合成优化系统还包括一电路控制单元，其中所述电路控制单元电连接于该结构光投射模块的供电电路，以控制该结构光投射模块在一工作态和非工作态之间切换。
8.如权利要求7所述的RGB-D图像合成优化系统，其中所述RGB-D图像合成优化系统还包括一补光装置，其中，在采集该IR图像时，所述补光装置供补充该IR图像成像所需的红外光，以提高该IR图像的成像质量。
9.如权利要求1至权利要求8任一所述的RGB-D图像合成优化系统，其中量化该IR图像和该RGB图像的特征点对齐效果的过程，包括步骤：
a)对齐该IR图像于该RGB图像；
b)提取该IR图像和该RGB图像中的对应特征点；
c)根据该IR图像和该RGB图像的对应特征点的对齐误差，量化该IR图像和该RGB图像的特征点对齐效果；和
d)根据量化对齐结果，调整所述深度成像模块和所述RGB成像模块的标定参数。
10.如权利要求9所述的RGB-D图像合成优化系统，其中所述对齐该IR图像于该RGB图像的步骤，还包括步骤：
a0)提取该IR图像的对应特征点，并将该IR图像的各特征点对齐于该RGB图像。
11.如权利要求9或10所述的RGB-D图像合成优化系统，其中该IR图像和该RGB图像的特征点为该IR图像和该RGB图像中棋盘格的各角点。
12.如权利要求9所述的RGB-D图像合成优化系统，其中所述优化调整模块的算法可表示为：
RGBprincipalPointx＝RGBprincipalPointx-XerrorMean
RGBprincipalPointy＝RGBprincipalPointy-XerrorMean。
13.一量化RGB-D图像合成效果的方法，其特征在于，包括步骤：
采集一被测标板的一IR图像，RGB图像和一深度图像数据，其中该IR图像和该深度图像数据成像于该深度成像模块，以使得该IR图像高度对齐于该深度图像数据；和
量化该IR图像和该RGB图像的特征点对齐效果，以间接地量化该深度图像数据和该RGB图像的对齐效果。
14.如权利要求13所述的量化RGB-D图像合成效果的方法，其中所述量化该IR图像和该RGB图像的特征点对齐效果的步骤，还包括步骤：
a)对齐该IR图像于该RGB图像
b)提取该IR图像和该RGB图像中的对应特征点；和
c)根据该IR图像和该RGB图像的对应特征点的对齐误差，量化该IR图像和该RGB图像的特征点对齐效果。
15.如权利要求14所述的量化RGB-D图像合成效果的方法，其中所述对齐该IR图像和该RGB图像的步骤还包括步骤：
a1)构造函数pir＝z×(x,y,1)，其中x、y是所述IR图像中各点的像素坐标，z是该像素坐标对应的深度值；
a2)构建函数Pir＝inv(Kir)·pir，其中Pir是深度成像模块的坐标系中点的空间坐标，Kir是深度成像模块的内参；
a3)利用函数Prgb＝R·Pir+T，将深度成像模块的坐标系转到RGB成像模块坐标系；
a4)利用函数prgb＝Krgb·Prgb，并进行齐次坐标变换，将RGB成像模块的坐标系中的空间各点坐标映射到所述RGB图像坐标,prgb(1)为列坐标，prgb(2)为行坐标；
a5)利用函数IIR(prgb(2),prgb(1))＝IIR,ori(i,j)，将所述IR图像对齐于所述RGB 图像。
16.如权利要求14所述的量化RGB-D图像合成效果的方法，其中该IR图像和该RGB图像的特征点为该IR图像和该RGB图像中棋盘格的各角点。
17.如权利要求14所述的量化RGB-D图像合成效果的方法，其中所述对齐该IR图像于该RGB图像的步骤，还包括步骤：
a0)提取该IR图像的对应特征点，并将该IR图像的各特征点对齐于该RGB图像。
18.如权利要求17所述的量化RGB_D图像合成效果的方法，其中所述提取该IR图像对应特征点的步骤还包括步骤：
a01)根据预设算法，获取该IR图像的对应各特征点的深度值。
19.如权利要求18所述的量化RGB_D图像合成效果的方法，其中所述获取该IR图像对应各特征点的深度值的步骤还包括步骤：
a011)提取围绕对应特征点的分别沿着X轴和Y轴方向的两像素，其中当判定该像素点皆具有深度值时，利用插值算法计算获取对应各特征点的深度值，其中当判定该像素点中存在空值时，舍弃对应特征点。
20.如权利要求13所述的量化RGB-D图像合成效果的方法，其中所述采集一被测标板的该IR图像的步骤，还包括步骤:
设置该结构光投射模块处于不工作或者被遮蔽状态，以使得该结构光投射模块无法产生散斑或者产生的散斑无法投射到其视场内的所述棋盘格标板。
21.如权利要求20所述的量化RGB-D图像合成效果的方法，其中所述采集一被测标板的该IR图像的步骤，还包括步骤:
补充该IR图像成像所需的红外光，以提高该IR图像的成像质量。
22.一RGB-D图像合成调整优化方法，其特征在于，包括步骤：
如权利要求13至21任一权利要求所述的量化所述RGB-D图像的合成效果的步骤；和
根据量化对齐结果，调整该深度成像模块和该RGB成像模块的标定参数。
23.如权利要求22所述的RGB-D图像合成调整优化方法，其中所述调整该深度成像模块和该RGB成像模块的标定参数的具体的公式为：
24.如权利要求22所述的RGB-D图像合成调整优化方法，其中所述RGB-D图像合成优化方法，还包括步骤：
根据所述调整优化模块的所提供的标定参数，进一步地量化该IR图像和该RGB图像的特征点对齐效果，并进一步地根据量化对齐结果，调整该深度成像模块和该RGB成像模块的标定参数，通过这样的方式，进行循环迭代，直至满足迭代终止条件。
25.如权利要求24所述的RGB-D图像合成调整优化方法，其中该迭代终止条件可设为前后两次该量化结果平均误差小于预设值或迭代次数达到预设值等。
26.一深度信息摄像模组，其特征在于，依据权利要求1至权利要求11任一所述的深度信息摄像模组的RGB-D图像合成优化系统运行。
CN201711458603.6A 2017-12-28 2017-12-28 深度信息摄像模组的rgb-d图像合成优化系统及其方法 Active CN109978929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711458603.6A CN109978929B (zh) 2017-12-28 2017-12-28 深度信息摄像模组的rgb-d图像合成优化系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711458603.6A CN109978929B (zh) 2017-12-28 2017-12-28 深度信息摄像模组的rgb-d图像合成优化系统及其方法

Publications (2)

Publication Number Publication Date
CN109978929A true CN109978929A (zh) 2019-07-05
CN109978929B CN109978929B (zh) 2021-04-23

Family

ID=67074539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711458603.6A Active CN109978929B (zh) 2017-12-28 2017-12-28 深度信息摄像模组的rgb-d图像合成优化系统及其方法

Country Status (1)

Country Link
CN (1) CN109978929B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378971A (zh) * 2019-07-25 2019-10-25 Oppo广东移动通信有限公司 一种图像对齐精度的检测方法及装置、设备、存储介质
CN110415303A (zh) * 2019-07-29 2019-11-05 华天慧创科技（西安）有限公司 一种相机3d成像标定装置及3d成像标定方法
CN110443856A (zh) * 2019-08-12 2019-11-12 广州图语信息科技有限公司 一种3d结构光模组标定方法、存储介质、电子设备
CN110599550A (zh) * 2019-09-09 2019-12-20 香港光云科技有限公司 Rgb-d模组的校准系统及其设备和方法
CN110852293A (zh) * 2019-11-18 2020-02-28 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
CN113256611A (zh) * 2021-06-21 2021-08-13 浙江光珀智能科技有限公司 一种rgb-d配准精度测试方法及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN102096923A (zh) * 2011-01-20 2011-06-15 上海杰图软件技术有限公司 鱼眼标定方法和装置
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法
WO2014035128A1 (en) * 2012-09-03 2014-03-06 Lg Innotek Co., Ltd. Image processing system
CN104268871A (zh) * 2014-09-23 2015-01-07 清华大学 基于近红外激光散斑深度估计的方法及装置
CN104604221A (zh) * 2012-09-03 2015-05-06 Lg伊诺特有限公司 用于生成深度图像的设备
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN105869115A (zh) * 2016-03-25 2016-08-17 浙江大学 一种基于kinect2.0的深度图像超分辨率方法
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN102096923A (zh) * 2011-01-20 2011-06-15 上海杰图软件技术有限公司 鱼眼标定方法和装置
CN102692236A (zh) * 2012-05-16 2012-09-26 浙江大学 基于rgb-d相机的视觉里程计方法
WO2014035128A1 (en) * 2012-09-03 2014-03-06 Lg Innotek Co., Ltd. Image processing system
CN104604221A (zh) * 2012-09-03 2015-05-06 Lg伊诺特有限公司 用于生成深度图像的设备
CN104268871A (zh) * 2014-09-23 2015-01-07 清华大学 基于近红外激光散斑深度估计的方法及装置
CN104616284A (zh) * 2014-12-09 2015-05-13 中国科学院上海技术物理研究所 彩色深度相机的彩色图像到深度图像的像素级对准算法
CN105809681A (zh) * 2016-03-04 2016-07-27 清华大学 基于单相机的人体rgb-d数据恢复与三维重建方法
CN105869115A (zh) * 2016-03-25 2016-08-17 浙江大学 一种基于kinect2.0的深度图像超分辨率方法
CN107507235A (zh) * 2017-08-31 2017-12-22 山东大学 一种基于rgb‑d设备采集的彩色图像和深度图像的配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐欢等: "Kinect深度图像修复算法", 《微电子学与计算机》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378971A (zh) * 2019-07-25 2019-10-25 Oppo广东移动通信有限公司 一种图像对齐精度的检测方法及装置、设备、存储介质
CN110415303A (zh) * 2019-07-29 2019-11-05 华天慧创科技（西安）有限公司 一种相机3d成像标定装置及3d成像标定方法
CN110443856A (zh) * 2019-08-12 2019-11-12 广州图语信息科技有限公司 一种3d结构光模组标定方法、存储介质、电子设备
CN110599550A (zh) * 2019-09-09 2019-12-20 香港光云科技有限公司 Rgb-d模组的校准系统及其设备和方法
CN110852293A (zh) * 2019-11-18 2020-02-28 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
CN110852293B (zh) * 2019-11-18 2022-10-18 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
CN113256611A (zh) * 2021-06-21 2021-08-13 浙江光珀智能科技有限公司 一种rgb-d配准精度测试方法及设备

Also Published As

Publication number Publication date
CN109978929B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
CN109978929A (zh) 深度信息摄像模组的rgb-d图像合成优化系统及其方法
JP7418340B2 (ja) 機械学習を使用した画像増強深度感知
CN109118569B (zh) 基于三维模型的渲染方法和装置
KR102255031B1 (ko) 부정합 검출 시스템, 복합 현실 시스템, 프로그램 및 부정합 검출 방법
CN110390719B (zh) 基于飞行时间点云重建设备
CN104335005B (zh) 3d扫描以及定位系统
CN105869160B (zh) 利用Kinect实现三维建模和全息显示的方法及系统
CN112505065B (zh) 一种实现室内无人机对大部件表面缺陷进行检测的方法
CN113610889A (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN113160298B (zh) 一种深度真值获取方法、装置、系统及深度相机
CN109510948A (zh) 曝光调整方法、装置、计算机设备和存储介质
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
WO2021238171A1 (zh) 图像配准方法及其相关的模型训练方法、设备、装置
KR101495299B1 (ko) 3차원 형상 획득 장치 및 그 획득 방법
CN107517346A (zh) 基于结构光的拍照方法、装置及移动设备
CN107509043A (zh) 图像处理方法及装置
CN110264527A (zh) 基于zynq的实时双目立体视觉输出方法
US11182951B2 (en) 3D object modeling using scale parameters and estimated distance
CN102980511B (zh) 一种扫描动态物体的三维扫描系统及其扫描方法
US20230062973A1 (en) Image processing apparatus, image processing method, and storage medium
CN116612374A (zh) 一种基于结构光的人脸活体检测模型安全测试方法及系统
KR20170025214A (ko) 다시점 깊이맵 생성 방법
CN116527856B (zh) 球幕影院的播放控制方法、装置、设备及存储介质
KR20200049958A (ko) 3차원 깊이 측정 장치 및 방법
CN108053491A (zh) 动态视角条件下实现平面目标三维跟踪和增强现实的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190705

Assignee: Zhejiang Shunwei Technology Co.,Ltd.

Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd.

Contract record no.: X2024330000055

Denomination of invention: RGB-D image synthesis optimization system and method for depth information camera module

Granted publication date: 20210423

License type: Common License

Record date: 20240515