CN112750098B - 深度图优化方法及装置、系统、电子设备、存储介质 - Google Patents

深度图优化方法及装置、系统、电子设备、存储介质 Download PDF

Info

Publication number
CN112750098B
CN112750098B CN202110365727.XA CN202110365727A CN112750098B CN 112750098 B CN112750098 B CN 112750098B CN 202110365727 A CN202110365727 A CN 202110365727A CN 112750098 B CN112750098 B CN 112750098B
Authority
CN
China
Prior art keywords
polarization
depth
depth map
normal vector
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110365727.XA
Other languages
English (en)
Other versions
CN112750098A (zh
Inventor
徐永奎
郑灵杰
孙乐韵
齐伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lanxin Technology Co ltd
Original Assignee
Hangzhou Lanxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lanxin Technology Co ltd filed Critical Hangzhou Lanxin Technology Co ltd
Priority to CN202110365727.XA priority Critical patent/CN112750098B/zh
Publication of CN112750098A publication Critical patent/CN112750098A/zh
Application granted granted Critical
Publication of CN112750098B publication Critical patent/CN112750098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本发明公开了一种深度图优化方法及装置、系统、电子设备、存储介质，该方法包括：采集深度传感器获取的目标空间的深度图；采集偏振传感器获取的目标空间的偏振图；根据所述偏振图，获取目标面的法向量；将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。将深度传感器和偏振传感器结合，通过将深度信息与偏振信息（法向量信息）融合，经代价聚合进而实现深度图的滤波和精度提升。

Description

深度图优化方法及装置、系统、电子设备、存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种深度图优化方法及装置、系统、电子设备、存储介质。
背景技术
深度相机可以用来感知环境的三维深度信息，因此被广泛应用于移动机器人导航，航天、航空，增强现实，测绘等领域。目前深度相机领域分为以结构光深度相机和飞行时间深度相为代表的主动式深度相机和以双目相机为代表的被动式深度相机。相比于被动式深度相机，主动式深度相机不需要大量计算就可以获取真实环境的距离信息，并且获取的距离信息更为可靠。
目前主动式深度相机主要分为光飞行时间深度相机和结构光深度相机。以光飞行时间深度相机为例，光飞行时间深度相机主要存在空间感知精度偏低，一般在cm级别，提高感知精度的主要方法包括提高调制频率和多图优化上，提高调制频率目前最高也只能做到mm级别，在某些场景下的应用还是受限，而多图优化存在的最大问题就是出图的实时性大打折扣。
发明内容
本申请实施例的目的是提供一种深度图优化方法及装置、系统、电子设备、存储介质，以解决相关技术中存在的深度优化精度有限，出图实时性差的问题。
根据本申请实施例的第一方面，提供一种深度图优化方法，包括：采集深度传感器获取的目标空间的深度图；采集偏振传感器获取的目标空间的偏振图；根据所述偏振图，获取目标面的法向量；将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
进一步地，将所述深度图映射到所述偏振图上，包括：
计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵；
通过所述转换矩阵将深度图映射到所述偏振图上。
进一步地，所述转换矩阵为：
Figure 548593DEST_PATH_IMAGE002
其中（
Figure DEST_PATH_IMAGE003
、
Figure 129747DEST_PATH_IMAGE004
、
Figure DEST_PATH_IMAGE005
）为偏振图的像素坐标，（
Figure 688683DEST_PATH_IMAGE006
、
Figure DEST_PATH_IMAGE007
、
Figure 558550DEST_PATH_IMAGE008
）为深度图的像素坐标， W是一个4×4的转换矩阵。
进一步地，所述代价计算的函数为：
Figure 434102DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
是一个二元算子，
Figure 73025DEST_PATH_IMAGE012
是
Figure 375831DEST_PATH_IMAGE011
的K-T转换，
Figure DEST_PATH_IMAGE013
是深度图，
Figure 264152DEST_PATH_IMAGE014
是目标空间的法向量图，代价聚合的过程就是优化过程，使得
Figure 818761DEST_PATH_IMAGE013
计算得到的法向量与
Figure 905666DEST_PATH_IMAGE014
的法向量最接近。
根据本申请实施例的第二方面，提供一种深度图优化装置，包括：第一采集模块，用于采集深度传感器获取的目标空间的深度图；第二采集模块，用于采集偏振传感器获取的目标空间的偏振图；获取模块，用于根据所述偏振图，获取目标面的法向量；计算模块，用于将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
根据本申请实施例的第三方面，提供一种深度图优化系统，包括：深度传感器，用于采集目标空间的深度图；偏振检测传感器，用于采集目标空间的偏振图，并根据所述偏振图计算目标面的法向向量；计算模块，用于控制所述深度传感器和偏振检测传感器工作，并将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
进一步地，所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成，所述主动光发射模块用于向外发射光线，投射在目标物体上；所述深度传感模块用于接收若干由目标物体反射的光线信号；所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。
进一步地，所述偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成，所述偏振光发射模块用于向外发射光线，投射在目标物体上；所述偏振传感模块用于接收若干由目标物体反射的光线信号；所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。
根据本申请实施例的第四方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第五方面，提供一种计算机可读的存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本发明实施例提供的深度图优化方法是深度图融合偏振图进行深度优化，偏振图是可以很细致的反应目标物体反射面的法向量，因此深度优化的精度可以达到mm级以下，较现有深度优化方案有明显提升；深度图和偏振图的获取都可以是实时获取，而且系统计算的复杂度不高，深度优化也仅依赖单幅深度图和单幅偏振图，因此优化方案可以实现实施出图。
本发明实施例提供过的深度图优化系统只是在深度传感器外加一个偏振传感器，系统实现的简单，不需要对现有系统进行过多的硬件修改。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种深度图优化方法的流程图。
图2是根据一示例性实施例示出的将所述深度图映射到所述偏振图上的流程图。
图3是根据一示例性实施例示出的图像优选效果对比图，其中（a）为由深度相机直接采集2.5m处的白墙输出的效果图，（b）是采集10张墙面的数据，经过中值滤波和10张平均之后的效果图，（c）是经过本发明实施例的方法优化后的效果图。
图4是根据一示例性实施例示出的一种深度图优化装置的框图。
图5是根据一示例性实施例示出的一种深度图优化系统的原理图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种深度图优化方法的流程图。参看图1，本发明实施例提供的一种深度图优化方法可以包括以下步骤：
步骤S11，采集深度传感器获取的目标空间的深度图；
步骤S12，采集偏振传感器获取的目标空间的偏振图；
步骤S13，根据所述偏振图，获取目标面的法向量；
步骤S14，将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
由上述实施例可知，本申请在深度传感器外加一个偏振传感器实现深度图优化，是深度图融合偏振图进行深度优化的方法，优化程度很大程度上依赖偏振图的获取精度，此外因为偏振图是可以很细致的反应目标物体反射面的法向量，因此深度优化的精度可以很容易达到mm级以下 ，深度图和偏振图的获取都可以是实时获取，而且系统计算的复杂度不高，因此本发明优化方案可以实现实施深度优化出图。
在步骤S11的具体实施中，采集深度传感器获取的目标空间的深度图；
具体地， 所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成，所述主动光发射模块用于向外发射光线，投射在目标物体上；所述深度传感模块用于接收若干由目标物体反射的光线信号；所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。深度控制模块根据接收到的由目标物体反射的光信号进行深度解析和计算，获得目标空间的深度图。
在步骤S12的具体实施中，采集偏振传感器获取的目标空间的偏振图；
具体地，偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成，所述偏振光发射模块用于向外发射光线，投射在目标物体上；所述偏振传感模块用于接收若干由目标物体反射的光线信号，形成目标空间的偏振图。
在步骤S13的具体实施中，根据所述偏振图，获取目标面的法向量；
具体地，偏振控制模块控制偏振光发射模块和偏振传感模块，同时根据多个偏振方向上获得的偏振图，计算目标面的法向量。
在步骤S14的具体实施中，将所述深度图映射到所述偏振图上，参考图2，该步骤可以包括以下步骤：
步骤S21，计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵；
具体地，本发明实施例采用的是张正友标定法，通过采集棋盘格图像获得相机与棋盘格的外参关系，本发明实施例中深度传感器和偏振传感器具有重合的视野范围。在重合的视野范围内，根据两个传感器各自到棋盘格的外参建立他们之间的外参关系。
在深度传感器到偏振传感器的映射上首先需要对其外参进行标定，在针孔模型下偏振传感器相机坐标系下位置存在转换关系：
Figure 379373DEST_PATH_IMAGE016
其中：
Figure 489411DEST_PATH_IMAGE003
、
Figure 441187DEST_PATH_IMAGE004
、
Figure 320281DEST_PATH_IMAGE005
为偏振检测图像的像素坐标，
Figure DEST_PATH_IMAGE017
、
Figure 699310DEST_PATH_IMAGE018
为偏振传感器镜头在像素横向和纵向的焦距，
Figure DEST_PATH_IMAGE019
、
Figure 827803DEST_PATH_IMAGE020
为偏振传感器单个像素横向和纵向尺寸，
Figure DEST_PATH_IMAGE021
，
Figure 190126DEST_PATH_IMAGE022
表示偏振传感器镜头的偏心程度，
Figure DEST_PATH_IMAGE023
表示物体在偏振传感器坐标系下的空间位置。
同样的道理，
Figure DEST_PATH_IMAGE025
其中：
Figure 189306DEST_PATH_IMAGE006
、
Figure 4816DEST_PATH_IMAGE007
、
Figure 89446DEST_PATH_IMAGE008
为深度图的像素坐标，
Figure 851866DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
为深度传感器镜头在像素横向和纵向的焦距，
Figure 971132DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
为深度传感器单个像素横向和纵向尺寸，
Figure 691963DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE031
表示深度传感器镜头的偏心程度，
Figure 795048DEST_PATH_IMAGE032
表示物体在深度传感器坐标系下的空间位置。
此外，偏振传感器坐标
Figure DEST_PATH_IMAGE033
到深度传感器坐标
Figure 502104DEST_PATH_IMAGE034
的转换可以理解为旋转和平移关系，那么可以用旋转平移矩阵M来联系起他们的关系，即：
Figure DEST_PATH_IMAGE035
于是有，
Figure 7035DEST_PATH_IMAGE036
其中W是一个4×4的矩阵，（
Figure 102030DEST_PATH_IMAGE003
、
Figure 20307DEST_PATH_IMAGE004
、
Figure 796633DEST_PATH_IMAGE005
）为偏振图的像素坐标，（
Figure 483967DEST_PATH_IMAGE006
、
Figure 15442DEST_PATH_IMAGE007
、
Figure 27873DEST_PATH_IMAGE008
）为深度图的像素坐标。标定过程就是找到W的过程，通过标记相同物体分别在偏振传感器和深度传感器图像上的位置，可以计算得到W的值。
本实施例利用棋盘格，采用张正友标定法计算得到偏振传感器和深度传感器的内参矩阵和深度传感器坐标系到偏振传感器坐标系的转换矩阵W。
所述转换矩阵为：
Figure DEST_PATH_IMAGE037
步骤S22，通过所述转换矩阵将深度图映射到所述偏振图上。
在步骤S14的具体实施中，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
具体地，在根据外参W将深度图映射到偏振图上之后，因为两者所成像空间具有重合区域，同一区域的表面法向量连贯和一致，根据所述代价计算的函数：
Figure 404628DEST_PATH_IMAGE038
其中，
Figure 946468DEST_PATH_IMAGE011
是一个二元算子，
Figure 648844DEST_PATH_IMAGE012
是
Figure 417080DEST_PATH_IMAGE011
的K-T转换，
Figure 863105DEST_PATH_IMAGE013
是深度图，
Figure 259451DEST_PATH_IMAGE014
是目标空间的法向量图，代价聚合的过程就是优化过程，使得
Figure 804833DEST_PATH_IMAGE013
计算得到的法向量与
Figure 184999DEST_PATH_IMAGE014
的法向量最接近。
其中，
Figure DEST_PATH_IMAGE039
时，表示当前位置表面法向量与深度信息计算获得表面法向量一致，反之，当
Figure 841239DEST_PATH_IMAGE039
时，表示当前位置表面法向量与深度信息计算获得表面法向量相反，需要进行反向变换。对所获得的深度图进行全局的代价计算最终获得精度优化的深度图。
图3是根据一示例性实施例示出的图像优选效果对比图，其中（a）为由深度相机直接采集2.5m处的白墙输出的效果图，（b）是采集10张墙面的数据，经过中值滤波和10张平均之后的效果图，（c）是经过本发明实施例的方法优化后的效果图。
由以上图3中的（a）可以看到原始深度相机直接输出的2.5m处的白墙，点云排布较为无序，整体上仍然处于一个平面，这是因为原始深度相机输出精度在2cm左右，因此从斜视角度上看不出点云的分布规则。
由以上图3中的（b）可知，在经过中值滤波和10张平均之后，点云排布规则相对稳定很多，但是局部的波动和起伏仍然可见，此时的深度精度在3mm左右。
由以上图3中的（c）可知，在原始深度传感器数据基础上加了偏振优化后，可以看到点云非常规整地排列开来，且出现莫尔纹，表明所测的墙面平整度很高，此时的精度在0.5mm左右。
与前述的深度图优化方法的实施例相对应，本申请还提供了深度图优化装置的实施例。
图4是根据一示例性实施例示出的一种深度图优化装置的框图。参照图4，该装置包括
第一采集模块11，用于采集深度传感器获取的目标空间的深度图；
第二采集模块12，用于采集偏振传感器获取的目标空间的偏振图；
获取模块13，用于根据所述偏振图，获取目标面的法向量；
计算模块14，用于将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的深度图优化方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如上述的深度图优化方法。
图5是根据一示例性实施例示出的一种深度图优化系统的原理图。本发明实施例还提供一种深度图优化系统，该系统包括：
深度传感器，用于采集目标空间的深度图；
偏振检测传感器，用于采集目标空间的偏振图，并根据所述偏振图计算目标面的法向向量；
计算模块，用于控制所述深度传感器和偏振检测传感器工作，并将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例中，所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成，所述主动光发射模块用于向外发射光线，投射在目标物体上；所述深度传感模块用于接收若干由目标物体反射的光线信号；所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。主动式深度传感器相较于被动式传感器（如双目深度传感器），具有测距稳定的有点，在面对无纹理特诊的目标物体情况下依然可以进行有效测距。
本发明实施例中，所述深度传感器优选采用主动式深度感知传感器，当所述深度传感器为TOF深度相机时，主动光发射模块的时间调制频率与深度传感模块的解调频率同步；当所述深度传感器为散斑深度相机时，主动光发射模块的曝光与深度传感模块的传感时间同步。
本发明实施例中，所述偏振检测传感器主要由偏振光发射模块，偏振传感模块和偏振控制模块构成，所述偏振光发射模块用于向外发射光线，投射在目标物体上；所述偏振传感模块用于接收若干由目标物体反射的光线信号；所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。本实施例采用主动式光源照明，相较于环境光照明，在光线昏暗的场景下依然可以有效的进行偏振感知，在环境光照明照明下依然可以检测出偏振化方向，环境光适应能力更强。
所述偏振检测传感器有一下几种实现形式：
（1）所述偏振检测传感器由相机前置检偏器构成，通过旋转所述检偏器感知反射光信号的不同方向的偏振量。这种改装方法实现最为简单，只需要一个普通相机外加一个偏振片就可以实现。偏振方向的感知仅取决于偏振片的偏振化方向，这种方法的缺点在于一次完整的偏振化方向感知需要多组感知数据，成像的实时性较差。
（2）所述偏振检测传感器由多组相机前置检偏器构成，多组相机前置检偏器的偏振方向不同，从而感知射光信号的不同方向的偏振量。这种改装方法需要多个普通相机，不同相机前置的偏振片偏振化方向不一致，每个相机感知不同偏振化方向的偏振量，多组相机之间尽可能接近以降低视差影响。
（3）所述偏振检测传感器是在传感芯片前置不同的偏振掩膜，不同像素感知反射光信号的不同方向的偏振量。这种方法从芯片层面进行操作，相邻四个像素感知不同的偏振化方向的光信号，构成一组偏振感知组。这种方法最为稳定，成像的实时性较佳。
本发明实施例中，所述偏振光发射模块是偏振激光器或普通光源加偏振片构成的模块。偏振光经目标物体反射之后，可以形成鲜明的信号强度对比。
本发明实施例中，偏振检测传感器能够感知到目标物反射的光信号，一方面需要传感器能够在激光辐射波段有所响应，也需要信号光能够穿过镜头进行成像。优选地，为了避免环境光的干扰，需要在镜头上安装合适的窄带滤光片，滤光片参数与发射光源波长组成有关。
本发明的实施例所使用深度相机的空间感知距离为6m，空间感知精度为1%，即1m处空间感知精度1cm，空间分辨率320 × 240。
本发明的实施例所使用主动光发射模块和偏振光发射模块是一种850nm 500mW的半导体激光器，其输出激光为线偏振激光。本发明的实施例所使用的偏振传感模块采用的是一种全局曝光的偏振感知CMOS芯片，相比于普通CMOS芯片，其优势在于曝光可控，芯片集成偏振片，可直接获取反射光信号的偏振化方向。
计算模块主要负责对各个模块进行配置，以驱动模块之间协同工作，并采集和处理来自传感芯片的数据。本系统所述深度控制模块和偏振控制模块以现场可编程逻辑门阵列（FPGA）和ARM为主控芯片，搭载USB3.0控制芯片和DDR2芯片。此外，深度传感模块和主动光发射模块的上电和辐射时序和器件配置也是由深度控制模块完成的，偏振传感模块和偏振光发射模块的上电和辐射时序和器件配置也是由偏振控制模块完成的。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种深度图优化方法，其特征在于，包括：
采集深度传感器获取的目标空间的深度图；
采集偏振传感器获取的目标空间的偏振图；
根据所述偏振图，获取目标面的法向量；
将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图；
所述代价计算的函数为：
Figure DEST_PATH_IMAGE002
其中，
Figure DEST_PATH_IMAGE004
是一个二元算子，
Figure DEST_PATH_IMAGE006
是
Figure 500652DEST_PATH_IMAGE004
的K-T转换，
Figure DEST_PATH_IMAGE008
是深度图，
Figure DEST_PATH_IMAGE010
是目标空间的法向量图，代价聚合的过程就是优化过程，使得
Figure 342094DEST_PATH_IMAGE008
计算得到的法向量与
Figure 59514DEST_PATH_IMAGE010
的法向量最接近。
2.根据权利要求1所述的方法，其特征在于，将所述深度图映射到所述偏振图上，包括：
计算所述深度传感器坐标系到偏振传感器坐标系的转换矩阵；
通过所述转换矩阵将深度图映射到所述偏振图上。
3.根据权利要求2所述的方法，其特征在于，所述转换矩阵为：
Figure DEST_PATH_IMAGE012
其中（
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE018
）为偏振图的像素坐标，（
Figure DEST_PATH_IMAGE020
、
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE024
）为深度图的像素坐标，W是一个4×4的转换矩阵。
4.一种深度图优化装置，其特征在于，包括：
第一采集模块，用于采集深度传感器获取的目标空间的深度图；
第二采集模块，用于采集偏振传感器获取的目标空间的偏振图；
获取模块，用于根据所述偏振图，获取目标面的法向量；
计算模块，用于将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图；所述代价计算的函数为：
Figure DEST_PATH_IMAGE002A
其中，
Figure 143139DEST_PATH_IMAGE004
是一个二元算子，
Figure 895194DEST_PATH_IMAGE006
是
Figure 639028DEST_PATH_IMAGE004
的K-T转换，
Figure 578166DEST_PATH_IMAGE008
是深度图，
Figure 964016DEST_PATH_IMAGE010
是目标空间的法向量图，代价聚合的过程就是优化过程，使得
Figure 304999DEST_PATH_IMAGE008
计算得到的法向量与
Figure 95101DEST_PATH_IMAGE010
的法向量最接近。
5.一种深度图优化系统，其特征在于，包括：
深度传感器，用于采集目标空间的深度图；
偏振检测传感器，用于采集目标空间的偏振图，并根据所述偏振图计算目标面的法向量；
计算模块，用于控制所述深度传感器和偏振检测传感器工作，并将所述深度图映射到所述偏振图上，根据所述法向量，对所述深度图进行代价计算和聚合，获取优化的深度图；所述代价计算的函数为：
Figure DEST_PATH_IMAGE002AA
其中，
Figure 367206DEST_PATH_IMAGE004
是一个二元算子，
Figure 900956DEST_PATH_IMAGE006
是
Figure 752237DEST_PATH_IMAGE004
的K-T转换，
Figure 713240DEST_PATH_IMAGE008
是深度图，
Figure 892549DEST_PATH_IMAGE010
是目标空间的法向量图，代价聚合的过程就是优化过程，使得
Figure 89044DEST_PATH_IMAGE008
计算得到的法向量与
Figure 263673DEST_PATH_IMAGE010
的法向量最接近。
6.根据权利要求5所述的系统，其特征在于，所述深度传感器主要由主动光发射模块、深度传感模块和深度控制模块构成，所述主动光发射模块用于向外发射光线，投射在目标物体上；所述深度传感模块用于接收若干由目标物体反射的光线信号；所述深度控制模块用于控制深度传感模块和主动光发射模块进行深度感知。
7.根据权利要求5所述的系统，其特征在于，所述偏振检测传感器主要由偏振光发射模块、偏振传感模块和偏振控制模块构成，所述偏振光发射模块用于向外发射光线，投射在目标物体上；所述偏振传感模块用于接收若干由目标物体反射的光线信号；所述偏振控制模块用于控制偏振光发射模块和偏振传感模块获取目标面的法向量。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3任一项所述的方法。
9.一种计算机可读的存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-3中任一项所述方法的步骤。
CN202110365727.XA 2021-04-06 2021-04-06 深度图优化方法及装置、系统、电子设备、存储介质 Active CN112750098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110365727.XA CN112750098B (zh) 2021-04-06 2021-04-06 深度图优化方法及装置、系统、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110365727.XA CN112750098B (zh) 2021-04-06 2021-04-06 深度图优化方法及装置、系统、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN112750098A CN112750098A (zh) 2021-05-04
CN112750098B true CN112750098B (zh) 2021-07-06

Family

ID=75651723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110365727.XA Active CN112750098B (zh) 2021-04-06 2021-04-06 深度图优化方法及装置、系统、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN112750098B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310651A (zh) * 2020-02-13 2020-06-19 杭州凌像科技有限公司 一种基于偏振相机和rgb-d传感器的水面检测方法
CN111738941A (zh) * 2020-06-05 2020-10-02 大连海事大学 融合光场和偏振信息的水下图像优化方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017053592A1 (en) * 2015-09-23 2017-03-30 The Regents Of The University Of California Deep learning in label-free cell classification and machine vision extraction of particles
CN109242855B (zh) * 2018-07-19 2020-08-11 中国科学院自动化研究所 基于多分辨率三维统计信息的屋顶分割方法、系统及设备
CN111768331A (zh) * 2020-06-24 2020-10-13 深兰人工智能芯片研究院（江苏）有限公司 一种优化方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310651A (zh) * 2020-02-13 2020-06-19 杭州凌像科技有限公司 一种基于偏振相机和rgb-d传感器的水面检测方法
CN111738941A (zh) * 2020-06-05 2020-10-02 大连海事大学 融合光场和偏振信息的水下图像优化方法

Also Published As

Publication number Publication date
CN112750098A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
Giancola et al. A survey on 3D cameras: Metrological comparison of time-of-flight, structured-light and active stereoscopy technologies
Zennaro et al. Performance evaluation of the 1st and 2nd generation Kinect for multimedia applications
Hansard et al. Time-of-flight cameras: principles, methods and applications
Ahmadabadian et al. A comparison of dense matching algorithms for scaled surface reconstruction using stereo camera rigs
Beder et al. A comparison of PMD-cameras and stereo-vision for the task of surface reconstruction using patchlets
Lefloch et al. Technical foundation and calibration methods for time-of-flight cameras
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
CA2731680C (en) System for adaptive three-dimensional scanning of surface characteristics
Zeller et al. Depth estimation and camera calibration of a focused plenoptic camera for visual odometry
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
CN109307483A (zh) 一种基于结构光系统几何约束的相位展开方法
Hillemann et al. UCalMiCeL–Unified intrinsic and extrinsic calibration of a multi-camera-system and a laserscanner
Harvent et al. Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system
US20240087167A1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
Beder et al. A combined approach for estimating patchlets from PMD depth images and stereo intensity images
Shi et al. Large-scale three-dimensional measurement based on LED marker tracking
CN112750098B (zh) 深度图优化方法及装置、系统、电子设备、存储介质
Shim et al. Performance evaluation of time-of-flight and structured light depth sensors in radiometric/geometric variations
JP5147055B2 (ja) 距離計測装置及び距離計測方法
Langmann Wide area 2D/3D imaging: development, analysis and applications
EP3988895B1 (en) Compensation of three-dimensional measuring instrument having an autofocus camera
Mure-Dubois et al. Fusion of time of flight camera point clouds
Chen et al. A structured-light-based panoramic depth camera
Pfeifer et al. 3D cameras: Errors, calibration and orientation
Zhang et al. Passive 3D reconstruction based on binocular vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant