CN107862674A - 深度图像融合方法及系统 - Google Patents
深度图像融合方法及系统 Download PDFInfo
- Publication number
- CN107862674A CN107862674A CN201711091253.4A CN201711091253A CN107862674A CN 107862674 A CN107862674 A CN 107862674A CN 201711091253 A CN201711091253 A CN 201711091253A CN 107862674 A CN107862674 A CN 107862674A
- Authority
- CN
- China
- Prior art keywords
- summit
- depth image
- image
- fused
- confidence level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000012216 screening Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000004927 fusion Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001269238 Data Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种深度图像融合方法及系统，其中方法包括：获取待融合的深度图像中的各个顶点的可信度；根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果，其基于原始数据，具有高效高保真的优点。
Description
技术领域
本发明涉及图像和几何数据处理技术领域，特别涉及一种深度图像融合方法及系统。
背景技术
在三维扫描仪中，数据后处理至关重要，数据后处理技术主要包括深度图像(也称有序点云)的匹配和融合。
深度图像匹配的方法一般都是通过迭代最近点(Iterative Closest Points，ICP)算法得到。在进行ICP时，需要为数据提供初始位置信息。初始位置信息可以通过在物体表面贴标志点得到，或者根据物体表面曲率信息匹配得到，或者用户手工选取得到。ICP在深度图注册方面已经非常通用，而且已经达到很好的效果。
多视点深度图像融合是三维数据后处理的关键技术，深度图像的数据融合的目的就是要去除冗余数据,生成物体的完整三维图像和几何模型。具体来讲，就是通过深度图像匹配可以得到不同视点深度图像之间的变换关系，但是将这些深度图像变换到同一坐标系后，各深度图像之间往往存在重叠区域，因此必须将它们融合成一个完整的、无冗余的、带有几何和拓扑结构的曲面表达。现有的深度图像融合采用以下两种方法：
方法1，将深度图像转化为距离场(隐函数的)形式，如果有多个深度图像重叠时只需将距离场叠加；最后再采用Marching Cube(移动立方体算法)提取距离场的等值面。首先，该方法采用场，由于场非常耗费内存，因而重建物体的大小非常受到挑战；此外，重新提取等值面，需要对所有点都重新采样，不能忠实于原始数据。
方法2，将深度图转化为单幅点云，再将单幅点云合成整体点云。在同个位置会有多个角度的深度图像同时被拍到，从而会产生很多重叠数据，重叠数据通常在点云表面用圆柱面采样，圆柱的中心轴平行点的法向，半径的选择通常为深度图像的点间距，最后再采用三角剖分算法处理生成网格。该方法将深度图像转化为点云，丢失了原始数据的连接关系，在物体表面比较光滑的区域性能良好，而在曲率变化较大和深度值不连续的地方结果不理想。尤其是重新生成点与点之间的拓扑关系和三角化比较困难和费时。
基于此，针对深度图像的融合，目前仍然没有一个能取得很好效果的通用方法。
发明内容
基于以上问题，本发明提供了一种用于将三维扫描仪从多个角度获取的深度图像融合为一个整体的三角网格的方法及系统。该方法利用原始深度图像的拓扑关系，考虑每个深度图像的几何数据，能够快速高效的生成一个没有缝隙完整的网格，其基于原始数据，具有高效高保真的优点。
本发明提供的一种深度图像融合方法，包括以下步骤：
S100、获取待融合的深度图像中的各个顶点的可信度；
S200、根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；
S300、对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；
S400、根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。
作为一种可实施方式，所述步骤S100包括以下步骤：
S110、在待融合的深度图像上建立法向，计算各个顶点的法向；
顶点的法向计算过程如下：
选取顶点P，计算与顶点P相邻的四个面的法向N1、N2、N3和N4，顶点P的法向Np为这四个面的求和归一化：
S120、根据各个顶点的法向计算每个顶点的可信度：
公式如下：Conf_coef＝Q_coef*B_coef；
其中，Conf_coef∈[0,1]，B_coef∈[0,1]；
其中i为该点到边界的值，Conf_coef为顶点的可信度，Q_coef为扫描仪视角与物体表面法向的余弦值，B_coef为图像区域的边界可信度，Bw为边界带的宽度，单位为像素，边界带内部值为1。
作为一种可实施方式，所述步骤S200包括以下步骤：
S210、选择待融合的深度图像中的其中一幅深度图像作为基准图像，查找出剩余深度图像上与所述基准图像上的各个顶点相对应的顶点；
S220、根据待融合的深度图像中的各个顶点的可信度，筛选出可信度最高的各个顶点；
S230、删除可信度最高的各个顶点中的重叠点；
S240、根据删除重叠点后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。
作为一种可实施方式，在所述步骤S230之前还包括以下步骤：
S231、对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。
作为一种可实施方式，在所述步骤S231之后还包括以下步骤：
S232、进行去重叠点处理。
本发明还提供了一种深度图像融合系统，包括获取模块、去重叠模块、加权模块以及缝合模块；
所述获取模块，用于获取待融合的深度图像中的各个顶点的可信度；
所述去重叠模块，用于根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；
所述加权模块，用于对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；
所述缝合模块，用于根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。
作为一种可实施方式，所述获取模块包括第一计算单元和第二计算单元；
所述第一计算单元，用于在待融合的深度图像上建立法向，计算各个顶点的法向；
顶点的法向计算过程如下：
选取顶点P，计算与顶点P相邻的四个面的法向N1、N2、N3和N4，顶点P的法向Np为这四个面的求和归一化：
所述第二计算单元，用于根据各个顶点的法向计算每个顶点的可信度：
公式如下：Conf_coef＝Q_coef*B_coef；
其中，Conf_coef∈[0,1]，B_coef∈[0，1]；
其中i为该点到边界的值，Conf_coef为顶点的可信度，Q_coef为扫描仪视角与物体表面法向的余弦值，B_coef为图像区域的边界，Bw为边界带的宽度，单位为像素，边界带内部值为1。
作为一种可实施方式，所述去重叠模块包括查找单元、筛选单元、第一删除单元以及获取单元；
所述查找单元，用于选择待融合的深度图像中的其中一幅深度图像作为基准图像，查找出剩余深度图像上与所述基准图像上的各个顶点相对应的顶点；
所述筛选单元，用于根据待融合的深度图像中的各个顶点的可信度，筛选出可信度最高的各个顶点；
所述第一删除单元，用于删除可信度最高的各个顶点中的重叠点；
所述获取单元，用于根据删除重叠点后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。
作为一种可实施方式，所述去重叠模块还包括优化单元；
所述优化单元，用于对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。
作为一种可实施方式，所述去重叠模块还包括第二删除单元；
所述第二删除单元用于在所述优化单元对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点后，对深度图像进行去重叠点处理。
本发明的有益效果：
本发明将拓扑信息和几何信息分开，在所有原始深度图中选择质量最好的区域作为最终的拓扑信息，对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息，最后根据已获得的拓扑信息和几何信息，将这些区域缝合在一起，忠实于原始数据，高效高保真。本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果；在匹配时点云分层能取得较好的结果，边界区域平滑过渡；由于保持了原始数据的拓扑关系，因而只有在边界区域才需要重新建立拓扑，所以节约了大量计算时间。
附图说明
图1为本发明实施例一提供的深度图像融合方法的流程图；
图2为本发明一实施例提供的去重叠点之前的深度图像；
图3为本发明一实施例提供的去重叠点之后的深度图像；
图4为本发明一实施例提供的去重叠点之后未进行融合处理的深度图像；
图5为本发明一实施例提供的进行融合处理后的深度图像；
图6为本发明一实施例提供的缝合前的深度图像；
图7为本发明一实施例提供的缝合后的深度图像；
图8为本发明实施例二提供的深度图像融合系统的结构示意图。
具体实施方式
以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。
参见图1，本发明实施例一提供的深度图像融合方法，包括以下步骤：
S100、获取待融合的深度图像中的各个顶点的可信度；
S200、根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；
S300、对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；
S400、根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。
本发明提出了一种将三维扫描仪从多个角度获取的深度图像融合为一个整体的三角网格的方法，该方法利用原始深度图像的拓扑关系，考虑每个深度图像的几何信息，能够快速高效的生成一个没有缝隙的完整的三角网格。本发明将拓扑信息和几何信息分开，在所有原始深度图中选择质量最好的区域作为最终的拓扑信息，对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息，最后根据已获得的拓扑信息和几何信息，将这些区域缝合在一起，忠实于原始数据，高效高保真。
本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果；在匹配时点云分层能取得较好的结果，边界区域平滑过渡；由于保持了原始数据的拓扑关系，因而只有在边界区域才需要重新建立拓扑，所以节约了大量计算时间。
具体地，上述步骤S100可以通过以下步骤实现：
S110、在待融合的深度图像上建立法向，计算各个顶点的法向；
顶点的法向计算过程如下：
选取顶点P，计算与顶点P相邻的四个面的法向N1、N2、N3和N4，顶点P的法向Np为这四个面的求和归一化：
S120、根据各个顶点的法向计算每个顶点的可信度：
公式如下：Conf_coef＝Q_coef*B_coef；
其中，Conf_coef∈[0,1]，B_coef∈[0,1]；
其中i为该点到边界的值，Conf_coef为顶点的可信度，Q_coef为扫描仪视角与物体表面法向的余弦值，B_coef为图像区域的边界，Bw为边界带的宽度，单位为像素，边界带内部值为1。
此处需要说明的是，计算可信度Conf_coef时，需要考虑两个因素，一个是三维重建时重建的质量Q_coef,通常为扫描仪视角与物体表面法向的余弦值；另一个因素区域的边界B_coef，因为数据越靠近边界越不可靠。计算时，可以预设一个边界带(宽度为Bw个像素)，边界带内部值为1，在边界带上越靠近边界值越小。
上述步骤S200，主要目的是根据每个顶点的可信度删除重叠点，具体可通过以下步骤实现：
S210、依次选择待融合的深度图像中的每一幅深度图像作为基准图像，查找出剩余深度图像上与基准图像上的各个顶点相对应的顶点；
S220、根据待融合的深度图像中的各个顶点的可信度，在待融合的深度图像中筛选出可信度最高的各个顶点；
S230、对可信度最高的各个顶点进行去重叠点处理；
S240、根据去重叠点处理后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。
具体效果参见图2和图3，图2为8个角度扫描得到的具有重叠数据的图像，即去重叠点之前的深度图像，图3为去重叠点之后的深度图像。
进一步地，在步骤S230之前还包括以下步骤：
S231、对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。关于小孔和狭长的区域可以设定某一阈值进行筛选得到，例如，定义长和宽小于某一像素值的图像区域即为小孔或狭长的区域。
更进一步地，在步骤S231后，还包括步骤S232：
S232、进行去重叠点处理。
对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域后有可能会出现新的重叠点，所以进一步进行去重叠点处理，可以彻底删除图像中的重叠点，减小后续的计算量。
作为一种可实施方式，上述步骤S200也可以通过以下步骤实现：
第一步：对于每一个深度图像上的所有点，在其他深度图像中找对应的点；
第二步：对于每个深度图像上的所有点，如果存在置信度比自己高的点，删除自己；
第三步：对于每个深度图像，恢复小孔和狭长区域，并删除离散点(即小区域)；
第四步，对于每个深度图像上的所有点，如果有重叠点，则删除对方点。
本发明在中所述的重叠是指空间位置相同，但属于不同深度上的点。查找重叠点可以采用空间查找信息法，例如八叉树等数据结构实现。
如果直接将分区域重叠后的数据缝合在一起，则来自不同深度图像的区域边缘就会有比较明显的痕迹。这是由于来自不同深度图像的数据不能完全重叠在一起，存在一定的深度误差。为了消除这个痕迹，可以进一步将对几何数据进行筛选融合。参见图4和图5，图4为去重叠点之后未进行融合处理的深度图像，图5为进行融合处理后的深度图像。
对于去完重叠后的深度图的每个顶点，沿着该顶点法线的正负两个方向，找到与其他深度图的交点，计算些交点与该点的距离，该距离带符号，与法向同方向为正，反方向为负。将这些距离沿着法向加权求和，就得到最终的位置。
如果直接把所有交点求和，会出现图4中亮度不均匀的痕迹，造成这个痕迹的问题是一些比较差的点，影响了处理结果。本申请中，选取两个阈值，距离阈值和置信度阈值。如果交点距离大于阈值，就把该交点剔除；如果交点的自信度小于自信度，也把该交点剔除。最终，将剩下的交点沿着法向运用自信度加权求和，得到最终结果。
步骤S400区域缝合的方式可以用常规的三角网格补洞方法，或者选取分区域的边缘顶点，对这些顶点进行三角化，加上原有的三角网格，就可以得到完整的三角网格。参见图6和图7，图6为缝合前的深度图像，图7为缝合后的深度图像。
基于同一发明构思，本申请实施例二还提供了一种深度图像融合系统，该系统与前述方法的发明原理相同，该系统的实施可参照前述方法实现，重复之处不再冗述。
参见图2，本发明实施例二提供的深度图像融合系统，包括获取模块100、去重叠模块200、加权模块300以及缝合模块400；
获取模块100用于获取待融合的深度图像中的各个顶点的可信度；
去重叠模块200用于根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；
加权模块300用于对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；
缝合模块400用于根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。
进一步地，获取模块100包括第一计算单元和第二计算单元；
第一计算单元用于在待融合的深度图像上建立法向，计算各个顶点的法向；
顶点的法向计算过程如下：
选取顶点P，计算与顶点P相邻的四个面的法向N1、N2、N3和N4，顶点P的法向Np为这四个面的求和归一化：
第二计算单元用于根据各个顶点的法向计算每个顶点的可信度：
公式如下：Conf_coef＝Q_coef*B_coef；
其中，Conf_coef∈[0,1]，B_coef∈[0,1]；
其中i为该点到边界的值，Conf_coef为顶点的可信度，Q_coef为扫描仪视角与物体表面法向的余弦值，B_coef为图像区域的边界，Bw为边界带的宽度，单位为像素，边界带内部值为1。
进一步地，去重叠模块200包括查找单元、筛选单元、第一删除单元以及获取单元；
查找单元用于选择待融合的深度图像中的其中一幅深度图像作为基准图像，查找出剩余深度图像上与基准图像上的各个顶点相对应的顶点；
筛选单元用于根据待融合的深度图像中的各个顶点的可信度，筛选出可信度最高的各个顶点；
删除单元用于删除可信度最高的各个顶点中的重叠点；
获取单元用于根据删除重叠点后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。
进一步地，去重叠模块200还包括优化单元；
优化单元用于对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。
进一步地，去重叠模块200还包括第二删除单元；
第二删除单元用于在所述优化单元对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点后，对深度图像进行去重叠点处理。
本发明采用深度图像的顶点位置数据进行计算，从而避免采样失真，而且最终融合数据尽可能保持原有的拓扑关系，在曲率变化较大和深度不连续的地方也能保持较好的结果；在匹配时点云分层能取得较好的结果，边界区域平滑过渡；由于保持了原始数据的拓扑关系，因而只有在边界区域才需要重新建立拓扑，所以节约了大量计算时间。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (10)
1.一种深度图像融合方法，其特征在于，包括以下步骤：
S100、获取待融合的深度图像中的各个顶点的可信度；
S200、根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；
S300、对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；
S400、根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。
2.根据权利要求1所述的深度图像融合方法，其特征在于，所述步骤S100包括以下步骤：
S110、在待融合的深度图像上建立法向，计算各个顶点的法向；
顶点的法向计算过程如下：
选取顶点P，计算与顶点P相邻的四个面的法向N1、N2、N3和N4，顶点P的法向Np为这四个面的求和归一化：
<mrow>
<mi>N</mi>
<mi>p</mi>
<mo>=</mo>
<mi>N</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mi>a</mi>
<mi>l</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>4</mn>
</munderover>
<mi>N</mi>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
S120、根据各个顶点的法向计算每个顶点的可信度：
公式如下：Conf_coef＝Q_coef*B_coef；
其中，Conf_coef∈[0,1]，B_coef∈[0,1]；
其中i为该点到边界的值，Conf_coef为顶点的可信度，Q_coef为扫描仪视角与物体表面法向的余弦值，B_coef为图像区域的边界可信度，Bw为边界带的宽度，单位为像素，边界带内部值为1。
3.根据权利要求1所述的深度图像融合方法，其特征在于，所述步骤S200包括以下步骤：
S210、依次选择待融合的深度图像中的每一幅深度图像作为基准图像，查找出剩余深度图像上与所述基准图像上的各个顶点相对应的顶点；
S220、根据待融合的深度图像中的各个顶点的可信度，在所述待融合的深度图像中筛选出可信度最高的各个顶点；
S230、对可信度最高的各个顶点进行去重叠点处理；
S240、根据去重叠点处理后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。
4.根据权利要求3所述的深度图像融合方法，其特征在于，在所述步骤S230之前还包括以下步骤：
S231、对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。
5.根据权利要求4所述的深度图像融合方法，其特征在于，在所述步骤S231之后还包括以下步骤：
S232、进行去重叠点处理。
6.一种深度图像融合系统，其特征在于，包括获取模块、去重叠模块、加权模块以及缝合模块；
所述获取模块，用于获取待融合的深度图像中的各个顶点的可信度；
所述去重叠模块，用于根据待融合的深度图像中的各个顶点的可信度，删除待融合的深度图像中的重叠点，得到待融合的深度图像中的各个分区域图像的拓扑信息；
所述加权模块，用于对分区域图像上的顶点进行深度加权处理，得到各个分区域图像的几何信息；
所述缝合模块，用于根据分区域图像的拓扑信息和分区域图像的几何信息，对所有的分区域进行缝合，得到完整的三角网格。
7.根据权利要求6所述的深度图像融合系统，其特征在于，所述获取模块包括第一计算单元和第二计算单元；
所述第一计算单元，用于在待融合的深度图像上建立法向，计算各个顶点的法向；
顶点的法向计算过程如下：
选取顶点P，计算与顶点P相邻的四个面的法向N1、N2、N3和N4，顶点P的法向Np为这四个面的求和归一化：
<mrow>
<mi>N</mi>
<mi>p</mi>
<mo>=</mo>
<mi>N</mi>
<mi>o</mi>
<mi>r</mi>
<mi>m</mi>
<mi>a</mi>
<mi>l</mi>
<mi>i</mi>
<mi>z</mi>
<mi>e</mi>
<mrow>
<mo>(</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>4</mn>
</munderover>
<mi>N</mi>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
所述第二计算单元，用于根据各个顶点的法向计算每个顶点的可信度：
公式如下：Conf_coef＝Q_coef*B_coef；
其中，Conf_coef∈[0,1]，B_coef∈[0,1]；
<mrow>
<mi>B</mi>
<mo>_</mo>
<mi>c</mi>
<mi>o</mi>
<mi>e</mi>
<mi>f</mi>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo>></mo>
<msub>
<mi>B</mi>
<mi>w</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
<mo>*</mo>
<mo>(</mo>
<mi>i</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>B</mi>
<mi>w</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
<mo>*</mo>
<mo>(</mo>
<msub>
<mi>B</mi>
<mi>w</mi>
</msub>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mfrac>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mo><</mo>
<msub>
<mi>B</mi>
<mi>w</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中i为该点到边界的值，Conf_coef为顶点的可信度，Q_coef为扫描仪视角与物体表面法向的余弦值，B_coef为图像区域的边界可信度，Bw为边界带的宽度，单位为像素，边界带内部值为1。
8.根据权利要求6所述的深度图像融合系统，其特征在于，所述去重叠模块包括查找单元、筛选单元、第一删除单元以及获取单元；
所述查找单元，用于依次选择待融合的深度图像中的每一幅深度图像作为基准图像，查找出剩余深度图像上与所述基准图像上的各个顶点相对应的顶点；
所述筛选单元，用于根据待融合的深度图像中的各个顶点的可信度，在所述待融合的深度图像中筛选出可信度最高的各个顶点；
所述第一删除单元，用于对可信度最高的各个顶点进行去重叠点处理；
所述获取单元，用于根据去重叠点处理后的可信度最高的各个顶点，得到各个分区域图像的拓扑信息。
9.根据权利要求8所述的深度图像融合系统，其特征在于，所述去重叠模块还包括优化单元；
所述优化单元，用于对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点。
10.根据权利要求9所述的深度图像融合系统，其特征在于，所述去重叠模块还包括第二删除单元；
所述第二删除单元用于在所述优化单元对待融合的深度图像的边界和区域进行优化，恢复小孔和狭长的区域，并删除离散点后，对深度图像进行去重叠点处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711091253.4A CN107862674B (zh) | 2017-11-08 | 2017-11-08 | 深度图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711091253.4A CN107862674B (zh) | 2017-11-08 | 2017-11-08 | 深度图像融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107862674A true CN107862674A (zh) | 2018-03-30 |
| CN107862674B CN107862674B (zh) | 2020-07-03 |
Family
ID=61699867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711091253.4A Active CN107862674B (zh) | 2017-11-08 | 2017-11-08 | 深度图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107862674B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564614A (zh) * | 2018-04-03 | 2018-09-21 | Oppo广东移动通信有限公司 | 深度获取方法和装置、计算机可读存储介质和计算机设备 |
| CN109377524A (zh) * | 2018-10-29 | 2019-02-22 | 山东师范大学 | 一种单幅图像深度恢复方法和系统 |
| CN110189273A (zh) * | 2019-05-27 | 2019-08-30 | 广西师范大学 | 一种基于重抽样的隐藏图像修复方法 |
| CN112184603A (zh) * | 2019-07-04 | 2021-01-05 | 浙江商汤科技开发有限公司 | 一种点云融合方法、装置、电子设备和计算机存储介质 |
| CN113674354A (zh) * | 2021-08-30 | 2021-11-19 | 上海交通大学 | 一种三维重建方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049896A (zh) * | 2012-12-27 | 2013-04-17 | 浙江大学 | 三维模型的几何数据和纹理数据自动配准算法 |
| CN104780355A (zh) * | 2015-03-31 | 2015-07-15 | 浙江大学 | 一种视点合成中基于深度的空洞修复方法 |
| CN105069804A (zh) * | 2015-08-21 | 2015-11-18 | 清华大学 | 基于智能手机的三维模型扫描重建方法 |
| CN105608666A (zh) * | 2015-12-25 | 2016-05-25 | 普瑞福克斯（北京）数字媒体科技有限公司 | 一种二维图形生成三维图像的方法及系统 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN106709568A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 |
| US20170302910A1 (en) * | 2016-04-19 | 2017-10-19 | Motorola Mobility Llc | Method and apparatus for merging depth maps in a depth camera system |
-
2017
- 2017-11-08 CN CN201711091253.4A patent/CN107862674B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049896A (zh) * | 2012-12-27 | 2013-04-17 | 浙江大学 | 三维模型的几何数据和纹理数据自动配准算法 |
| CN104780355A (zh) * | 2015-03-31 | 2015-07-15 | 浙江大学 | 一种视点合成中基于深度的空洞修复方法 |
| CN105069804A (zh) * | 2015-08-21 | 2015-11-18 | 清华大学 | 基于智能手机的三维模型扫描重建方法 |
| CN105608666A (zh) * | 2015-12-25 | 2016-05-25 | 普瑞福克斯（北京）数字媒体科技有限公司 | 一种二维图形生成三维图像的方法及系统 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| US20170302910A1 (en) * | 2016-04-19 | 2017-10-19 | Motorola Mobility Llc | Method and apparatus for merging depth maps in a depth camera system |
| CN106709568A (zh) * | 2016-12-16 | 2017-05-24 | 北京工业大学 | 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董鹏飞: ""一种基于置信度的深度图融合方法"", 《图形图像》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564614A (zh) * | 2018-04-03 | 2018-09-21 | Oppo广东移动通信有限公司 | 深度获取方法和装置、计算机可读存储介质和计算机设备 |
| CN108564614B (zh) * | 2018-04-03 | 2020-09-18 | Oppo广东移动通信有限公司 | 深度获取方法和装置、计算机可读存储介质和计算机设备 |
| CN109377524A (zh) * | 2018-10-29 | 2019-02-22 | 山东师范大学 | 一种单幅图像深度恢复方法和系统 |
| CN110189273A (zh) * | 2019-05-27 | 2019-08-30 | 广西师范大学 | 一种基于重抽样的隐藏图像修复方法 |
| CN110189273B (zh) * | 2019-05-27 | 2021-09-10 | 广西师范大学 | 一种基于重抽样的隐藏图像修复方法 |
| CN112184603A (zh) * | 2019-07-04 | 2021-01-05 | 浙江商汤科技开发有限公司 | 一种点云融合方法、装置、电子设备和计算机存储介质 |
| CN112184603B (zh) * | 2019-07-04 | 2022-06-24 | 浙江商汤科技开发有限公司 | 一种点云融合方法、装置、电子设备和计算机存储介质 |
| CN113674354A (zh) * | 2021-08-30 | 2021-11-19 | 上海交通大学 | 一种三维重建方法及系统 |
| CN113674354B (zh) * | 2021-08-30 | 2024-05-24 | 上海交通大学 | 一种三维重建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107862674B (zh) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107862674A (zh) | 深度图像融合方法及系统 | |
| Xiao et al. | Image-based street-side city modeling | |
| US9348877B2 (en) | Methods, systems, and data structures for performing searches on three dimensional objects | |
| WO2024077812A1 (zh) | 基于点云语义分割与结构拟合的单体建筑三维重建方法 | |
| Song et al. | Road extraction using SVM and image segmentation | |
| CN100559398C (zh) | 自动的深度图像配准方法 | |
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN107123164A (zh) | 保持锐利特征的三维重建方法及系统 | |
| US8004517B1 (en) | Methods, apparatus and computer program products that model three-dimensional surface structures | |
| EP2118854B1 (en) | Exemplar/pde-based technique to fill null regions and corresponding accuracy assessment | |
| CN107369183A (zh) | 面向mar的基于图优化slam的跟踪注册方法及系统 | |
| CN104299263B (zh) | 一种基于单幅图像建模云场景的方法 | |
| Visvalingam et al. | Simplification and generalization of large scale data for roads: a comparison of two filtering algorithms | |
| Tsogkas et al. | Amat: Medial axis transform for natural images | |
| CN104200240A (zh) | 一种基于内容自适应哈希编码的草图检索方法 | |
| Ezuz et al. | Elastic correspondence between triangle meshes | |
| CN112712546A (zh) | 一种基于孪生神经网络的目标跟踪方法 | |
| Yang et al. | Road detection via deep residual dense u-net | |
| CN103971338A (zh) | 一种基于显著图的可变块图像修复方法 | |
| CN113296543B (zh) | 航拍航线规划方法及系统 | |
| CN107369204A (zh) | 一种基于深度学习从单幅照片恢复出场景基本三维结构的方法 | |
| CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
| CN109636913A (zh) | 基于Delaunay剖分的三角网格增量拓扑拼接方法 | |
| CN115861247A (zh) | 一种高分辨率遥感影像轮廓多级正则化方法、系统及应用 | |
| CN110909778A (zh) | 一种基于几何一致性的图像语义特征匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Depth image fusion method and system Effective date of registration: 20220802 Granted publication date: 20200703 Pledgee: Bank of Hangzhou Limited by Share Ltd. science and Technology Branch Pledgor: HANGZHOU CEDU TECHNOLOGY CO.,LTD. Registration number: Y2022980011782 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20200703 Pledgee: Bank of Hangzhou Limited by Share Ltd. science and Technology Branch Pledgor: HANGZHOU CEDU TECHNOLOGY CO.,LTD. Registration number: Y2022980011782 |