CN116824070B - 一种基于深度图像的实时三维重建方法及系统 - Google Patents
一种基于深度图像的实时三维重建方法及系统 Download PDFInfo
- Publication number
- CN116824070B CN116824070B CN202311110990.XA CN202311110990A CN116824070B CN 116824070 B CN116824070 B CN 116824070B CN 202311110990 A CN202311110990 A CN 202311110990A CN 116824070 B CN116824070 B CN 116824070B
- Authority
- CN
- China
- Prior art keywords
- depth map
- frame
- camera
- depth
- vel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 230000009466 transformation Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Abstract
本发明提供一种基于深度图像的实时三维重建方法及系统，方法包括：获取目标物品的深度图序列；分别获取每一帧深度图f的E jit(f)、E dif(f)、及E vel(f)；判断是否满足1+E jit(f)＞E dif(f)+E vel(f)；若是，淘汰对应帧的深度图；若否，则入选对应帧的深度图以进行三维重建。本发明通过分别获取E jit(f)以及E vel(f)用于筛选抖动帧、通过获取E dif(f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建。
Description
技术领域
本发明涉及三维重建技术领域，特别涉及一种基于深度图像的实时三维重建方法及系统。
背景技术
随着各种面向普通消费者的深度相机的出现，基于深度相机的三维扫描和重建技术得到了飞速发展。
三维重建就是从输入数据中建立3D模型。对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括了场景中的点的彩色RGB图像，还包括每个点到深度相机所在的垂直平面的距离值，这个距离值为深度值(depth)，这些深度值共同组成了这一帧的深度图像。深度图像可以看做是一幅灰度图像，图像中的每一个点的灰度值代表了这个点在现实中的位置到相机所在垂直平面的真实距离距离。RGB图像中的每个点都会对应一个在相机的局部坐标系中的三维点。因此，深度相机的每一帧的深度图像相当于一个在相机的局部三维坐标系中的点云模型。基于深度相机的三维重建技术所使用的输入数据是RGB图像和深度图像，因此，这类技术也被称为基于RGBD数据的三维重建技术(D表示深度值，Depth)。
目前，一般采用TSDF（全称：truncated signed distance function，基于截断地带符号距离函数）三维模型表示方法进行三维重建，TSDF是三维重建的主流方法，TSDF三维重建的流程包括：首先，采集深度图，将采集到的所有深度图转换为顶点图和法向量图；其次，通过双边滤波降噪；使用ICP（Iterative Closest Point，迭代最近点）算法估测相机姿态；再者，计算TSDF模型；再进行场景融合，将当前帧的表面信息融合进重建模型。由此可得，在现有技术中，未对采集到的深度图序列进行冗余筛选而全部用于三维重建，然而在实际重建过程中，当使用深度相机扫描一个中型或者大型对象时，会采集得到上千帧深度图序列，但大部分帧的深度图序列是冗余的，因此，未对深度图序列进行筛选而直接将全部深度图序列用于三维重建，将导致建模计算量大，不仅需要更高性能的计算设备，提高建模成本，还影响建模效率，导致建模效率低，因此，现有技术中的三维重建方法，不利于实时重建。
发明内容
基于此，本发明的目的是提供一种基于深度图像的实时三维重建方法及系统，用于解决现有技术中将采集到的深度图序列不进行冗余筛选而全部用于三维重建，导致深度图序列的计算量大，建模效率低，不利于实时重建的技术问题。
本发明一方面提供一种基于深度图像的实时三维重建方法，包括：
获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；
分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)，所述E jit(f)用于衡量相机姿态变换幅度、所述E dif(f)用于衡量深度图是否提供足够信息重建，所述E vel(f)用于衡量相机移动速度；
根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+E jit(f)＞E dif(f)+E vel(f)；
若满足1+E jit(f)＞E dif(f)+E vel(f)，则淘汰对应帧的深度图；
若不满足1+E jit(f)＞E dif(f)+E vel(f)，则入选对应帧的深度图以进行三维重建。
上述基于深度图像的实时三维重建方法，通过分别获取E jit(f)以及E vel(f)用于筛选抖动帧、通过获取E dif(f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建，解决了现有技术中将采集到的深度图序列全部用于三维重建，不进行冗余筛选，导致深度图序列的计算量大，不利于实时重建。
另外，根据本发明上述的基于深度图像的实时三维重建方法，还可以具有如下附加的技术特征：
进一步地，分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤之前包括：
根据相机内参计算出相邻两帧深度图中每一像素点的相机坐标系坐标；
根据相邻两帧深度图中每一像素点的相机坐标系坐标计算出相机姿态，所述相机姿态包括相机相对于初始时刻的旋转变换和平移变换，当相机姿态通过矩阵表示时，则旋转变换用旋转矩阵表示、平移变换用平移矩阵表示；
其中，相机姿态的计算公式为：
；
其中，R、t分别为相机姿态的旋转矩阵以及平移矩阵；P s为上一帧深度图中相机坐标系下的像素点的集合，即源点集合；P t为当前帧深度图中相机坐标系下的像素点的集合，即目标点集合；W i为源点变换后和目标点之间距离的权重，像素深度值越小，权重越大；
为范数的平方；i用于表示元素的序号；/>用于表示源点集合中的一个元素；用于表示目标点集合中的一个元素。
进一步地，权重的计算公式为：
；
其中，Z i为源点集合点i的深度；α、β为可调参数，用于控制权重大小。
进一步地，在分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤中，E jit(f)的计算公式为：
；
其中，
，<﹒>表示向量内积，/>表示向量长度，v f表示当前帧相机观看方向向量；v f-1表示上一帧相机观看方向向量；
，/>表示当前帧之前若干帧（可调参数）的平均相机观看方向向量；
，其中，v k表示上一个评价合格的帧的相机观看方向向量；
用于衡量当前帧与上一帧之间的移动差距；
用于衡量当前帧与之前一段时间内平均移动的差距；
用于衡量当前帧与上一个被选中的帧的移动差距。
进一步地，在分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤中，E dif(f)的计算公式为：
；
其中，k表示上一个评价合格的帧；θ j与θ f定义相同，S为可调参数，用于调整θ j权重，表示向量长度，l j表示帧j时刻相机的位置向量。
进一步地，在分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤中，E vel(f)的计算公式为：
其中，，表示帧f前m帧的移动距离之和，m为可调参数，表示整个扫描过程中的连续两帧移动距离之和，/>为整个扫描过程中的帧数。
进一步地，若不满足1+E jit(f)＞E dif(f)+E vel(f)，则入选对应帧的深度图以进行三维重建的步骤之后包括：
对入选深度图进行去噪，去噪方法包括：
获取深度图中的每一像素点P，通过改进后的双边滤波方法进行去噪，改进后的双边滤波方法的法向量更新公式为：
；
其中，为改进后的双边滤波方法的法向量；P为深度图中某一像素点；P old为点P的旧坐标，N()为点的最邻近若干点集合（数量为可调参数），/>为点P法向量；/>为点P的旧法向量；g 1，g 2为权重，其值为以邻近点与要降噪的点的距离为自变量，取一维高斯函数的对应因变量值，其中高斯函数的参数为可调参数；
；
；
其中，<﹒>为向量内积。
本发明另一方面提供一种基于深度图像的实时三维重建系统，包括：
第一获取模块，用于获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；
第二获取模块，用于分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)，所述E jit(f)用于衡量相机姿态变换幅度、所述E dif(f)用于衡量深度图是否提供足够信息重建，所述E vel(f)用于衡量相机移动速度；
判断模块，用于根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+E jit(f)＞E dif(f)+E vel(f)；
第一执行模块，用于当满足1+E jit(f)＞E dif(f)+E vel(f)，淘汰对应帧的深度图；
第二执行模块，用于当不满足1+E jit(f)＞E dif(f)+E vel(f)，入选对应帧的深度图以进行三维重建。
本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于深度图像的实时三维重建方法。
本发明另一方面还提供一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的基于深度图像的实时三维重建方法。
附图说明
图1为本发明第一实施例中基于深度图像的实时三维重建方法步骤图；
图2为本发明第二实施例中基于深度图像的实时三维重建方法步骤图；
图3为本发明的三维重建方法制备得到的模型与现有的三维重建方法制备得到的模型的对比图；
图4为本发明第三实施例中基于深度图像的实时三维重建系统的系统框图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
当前使用深度相机扫描一个中型或者大型对象时，会采集得到上千帧深度图序列，但大部分帧的深度图序列是冗余的，将全部深度图序列用于三维重建，导致大量的计算，不利于实时重建；并且当手持深度相机扫描时，抖动或无意间的快速移动会导致由曝光时间不足而产生模糊，深度相机本身也会因为传感器原因采集到噪声数据，这将影响三维重建的精度。因此，本发明提供了一种基于深度图像的实时三维重建方法及系统用于筛选深度图序列，去除抖动帧以及冗余帧，以提供尽可能少但又包含足够重建信息的深度图序列，大大减少了计算量；此外还对深度相机姿态估计改进，对噪声数据提供了新的处理方法，能够生成高精度三维模型。
为了便于理解本发明，下面将给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
实施例一
请参阅图1，所示为本发明第一实施例中的基于深度图像的实时三维重建方法，所述方法包括步骤S101至S105：
S101、获取目标物品的深度图序列。
具体的，深度图序列包括多帧深度图，深度图包括多个像素点的深度信息。
S102、分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)。
作为一个具体示例，E jit(f)用于衡量相机姿态变换幅度、E dif(f)用于衡量深度图是否提供足够信息重建，E vel(f)用于衡量相机移动速度。
S103、根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+E jit(f)＞E dif(f)+E vel(f)。
若满足1+E jit(f)＞E dif(f)+E vel(f)，则执行步骤S104；
若不满足1+E jit(f)＞E dif(f)+E vel(f)，则执行步骤S105；
S104、淘汰对应帧的深度图。
S105、入选对应帧的深度图以进行三维重建。
综上，本发明上述实施例当中的基于深度图像的实时三维重建方法，通过分别获取E jit(f)以及E vel(f)用于筛选抖动帧、通过获取E dif(f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建，解决了现有技术中将采集到的深度图序列全部用于三维重建，不进行冗余筛选，导致深度图序列的计算量大，不利于实时重建。
实施例二
请参阅图2，所示为本发明第二实施例中的基于深度图像的实时三维重建方法，所述方法包括步骤S201至S208：
S201、获取目标物品的深度图序列。
深度图序列包括多帧深度图，深度图包括多个像素点的深度信息。作为一个具体示例，深度图可视为一个m×n的矩阵，其中每一个元素储存了当前像素的深度信息，深度图序列由深度相机连续扫描得到，作为一个具体示例，深度相机可以为Azure Kinect DK深度相机。以对花瓶进行三维重建为例，通过Azure Kinect DK深度相机获取花瓶的多帧深度图，从而根据获取的多帧深度图构建得到花瓶的深度图系列。
S202、根据相机内参计算出相邻两帧深度图中每一像素点的相机坐标系坐标。
S203、根据相邻两帧深度图中每一像素点的相机坐标系坐标计算出相机姿态。
在本实施例中，相机姿态包括相机相对于初始时刻的旋转变换和平移变换，可以用一个矩阵表示：
；
其中，R 3×3表示相机的旋转变换部分，t 3×1表示相机的平移变换部分。即当相机姿态通过矩阵表示时，则旋转变换用旋转矩阵表示、平移变换用平移矩阵表示。
则相机姿态的计算公式为：
；
其中，R、t分别为相机姿态的旋转矩阵以及平移矩阵；P s为上一帧深度图中相机坐标系下的像素点的集合，即源点集合；P t为当前帧深度图中相机坐标系下的像素点的集合，即目标点集合；W i为源点变换后和目标点之间距离的权重，像素深度值越小，权重越大；为范数的平方；i用于表示元素的序号；/>用于表示源点集合中的一个元素；/>用于表示目标点集合中的一个元素。
进一步地，权重的计算公式为：
；
其中，Z i为源点集合点i的深度；α、β为可调参数，用于控制权重大小。
作为一个具体示例，权重的作用为：当人手持深度相机扫描物体时，物体处于背景前方且不会被其他物体遮挡，因此物体的深度值最小，当像素深度值越小时，权重越大，因此，可以减少背景像素对相机姿态的估测。
S204、根据相机姿态分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)。
对于获取的每一帧深度图f，通过E jit(f)、E dif(f)、以及E vel(f)三个指标进行评价，具体的，E jit(f)用于衡量相机姿态变换幅度、E dif(f)用于衡量深度图是否提供足够信息重建，E vel(f)用于衡量相机移动速度。
其中，E jit(f)的计算公式为：
；
其中，
，<﹒>表示向量内积，/>表示向量长度，v f表示当前帧相机观看方向向量；v f-1表示上一帧相机观看方向向量；
，/>表示当前帧之前若干帧（可调参数）的平均相机观看方向向量；
，其中，v k表示上一个评价合格的帧的相机观看方向向量；
用于衡量当前帧与上一帧之间的移动差距；
用于衡量当前帧与之前一段时间内平均移动的差距；
用于衡量当前帧与上一个被选中的帧的移动差距。
其次，E dif(f)的计算公式为：
；
其中，k表示上一个评价合格的帧；θ j与θ f定义相同，S为可调参数，用于调整θ j权重，表示向量长度，l j表示帧j时刻相机的位置向量。
再者，E vel(f)的计算公式为：
其中，，表示帧f前m帧的移动距离之和，m为可调参数，表示整个扫描过程中的连续两帧移动距离之和，/>为整个扫描过程中的帧数。
S205、根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+E jit(f)＞E dif(f)+E vel(f)。
作为一个具体示例，评价一帧深度图的具体过程为：
首先，计算E jit(f)、E dif(f)、以及E vel(f)；其次，若E vel(f)＜0，令E vel(f)=0；再者，若1+E jit(f)＞E dif(f)+E vel(f)成立，则将该帧淘汰，否则，该帧入选以进行三维重建的后续操作。
若满足1+E jit(f)＞E dif(f)+E vel(f)，则执行步骤S206；
若不满足1+E jit(f)＞E dif(f)+E vel(f)，则执行步骤S207；
S206、淘汰对应帧的深度图。
S207、入选对应帧的深度图。
S208、对入选的深度图进行去噪，以根据去噪后的深度图计算TSDF，进行三维重建。
在实际操作过程中，当手持深度相机扫描时，抖动或无意间的快速移动会导致由曝光时间不足而产生模糊，深度相机本身也会因为传感器原因采集到噪声数据，这将影响三维重建的精度，进而，为了提高三维重建的精度，避免抖动帧带来的负面影响，作为一个具体示例，需对入选的深度图进行去噪处理，以避免出现模糊的三维重建结果。在本实施例中，去噪的方法包括：
获取深度图中的每一像素点P，通过改进后的双边滤波方法进行去噪，改进后的双边滤波方法的法向量更新公式为：
；
其中，为改进后的双边滤波方法的法向量；P old为点P的旧坐标，是指上一次更新前的坐标，若为第一次更新，则为初始坐标；N()为点的最邻近若干点集合（数量为可调参数），/>为点P法向量；/>为点P的旧法向量；g 1，g 2为权重，其值为以邻近点与要降噪的点的距离为自变量，取一维高斯函数的对应因变量值，其中高斯函数的参数为可调参数；
；
；
其中，P new为点P的新坐标；K(P old)作为缩放向量长度的系数，用于保证结果仍是单位长度的向量；<﹒>为向量内积。
如图3所示，图3中的（a）为通过本发明的三维重建方法得到的模型，图3中的（b）为通过现有的三维重建方法得到的模型，本发明通过在相机姿态估测以及去噪方法上进行改进，使得通过本发明的三维重建方法得到的模型与通过现有的三维重建方法得到的模型相比，更加精细。具体的，本发明在估测相机姿态时对物体和背景赋予不同权重，减小了背景的影响，大大增加了估测精度，并在去噪处理做了改进，避免抖动帧带来的负面影响，使得最终建模结果更加精细。
需要指出的是，本发明第二实施例所提供的方法，其实现原理及产生的一些技术效果和第一实施例相同，为简要描述，本实施例未提及之处，可参考第一实施例中相应内容。
综上，本发明上述实施例当中的基于深度图像的实时三维重建方法，通过分别获取E jit(f)以及E vel(f)用于筛选抖动帧、通过获取E dif(f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建，解决了现有技术中将采集到的深度图序列全部用于三维重建，不进行冗余筛选，导致深度图序列的计算量大，不利于实时重建。
实施例三
请参阅图4，所示为本发明第三实施例中的基于深度图像的实时三维重建系统，包括：
第一获取模块，用于获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；
第二获取模块，用于分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)，所述E jit(f)用于衡量相机姿态变换幅度、所述E dif(f)用于衡量深度图是否提供足够信息重建，所述E vel(f)用于衡量相机移动速度；
判断模块，用于根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+E jit(f)＞E dif(f)+E vel(f)；
第一执行模块，用于当满足1+E jit(f)＞E dif(f)+E vel(f)，淘汰对应帧的深度图；
第二执行模块，用于当不满足1+E jit(f)＞E dif(f)+E vel(f)，入选对应帧的深度图以进行三维重建。
综上，本发明上述实施例当中的基于深度图像的实时三维重建系统，通过分别获取E jit(f)以及E vel(f)用于筛选抖动帧、通过获取E dif(f)用于筛选冗余帧，从而对深度图序列进行筛选，以提供尽可能少但又包含足够重建信息的深度图序列进行三维重建，大大减少了计算量，也避免了冗余计算，可以降低对设备性能的需求，利于实时重建，解决了现有技术中将采集到的深度图序列全部用于三维重建，不进行冗余筛选，导致深度图序列的计算量大，不利于实时重建。
此外，本发明的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中方法的步骤。
此外，本发明的实施例还提出一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述实施例中方法的步骤。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种基于深度图像的实时三维重建方法，其特征在于，包括：
获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；
分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)，所述E jit(f)用于衡量相机姿态变换幅度、所述E dif(f)用于衡量深度图是否提供足够信息重建，所述E vel(f)用于衡量相机移动速度；
根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+ E jit(f)＞E dif(f)+E vel(f)；
若满足1+ E jit(f)＞E dif(f)+ E vel(f)，则淘汰对应帧的深度图；
若不满足1+ E jit(f)＞E dif(f)+ E vel(f)，则入选对应帧的深度图以进行三维重建；
其中，在分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤中，E jit(f)的计算公式为：
；
其中，
，< ﹒ >表示向量内积，/>表示向量长度，v f表示当前帧相机观看方向向量；v f-1表示上一帧相机观看方向向量；
，/>表示当前帧之前若干帧的平均相机观看方向向量；
，其中，v k表示上一个评价合格的帧的相机观看方向向量；
用于衡量当前帧与上一帧之间的移动差距；
用于衡量当前帧与之前一段时间内平均移动的差距；
用于衡量当前帧与上一个被选中的帧的移动差距；
E dif(f)的计算公式为：
；
其中，k表示上一个评价合格的帧；θ j与θ f定义相同，S为可调参数，用于调整θ j权重，表示向量长度，l j表示帧j时刻相机的位置向量；
E vel(f)的计算公式为：
其中，，表示帧f前m帧的移动距离之和，m为可调参数，/>表示整个扫描过程中的连续两帧移动距离之和，/>为整个扫描过程中的帧数。
2.根据权利要求1所述的基于深度图像的实时三维重建方法，其特征在于，分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤之前包括：
根据相机内参计算出相邻两帧深度图中每一像素点的相机坐标系坐标；
根据相邻两帧深度图中每一像素点的相机坐标系坐标计算出相机姿态，所述相机姿态包括相机相对于初始时刻的旋转变换和平移变换，当相机姿态通过矩阵表示时，则旋转变换用旋转矩阵表示、平移变换用平移矩阵表示；
其中，相机姿态的计算公式为：
；
其中，R、t分别为相机姿态的旋转矩阵以及平移矩阵；P S为上一帧深度图中相机坐标系下的像素点的集合，即源点集合；P t为当前帧深度图中相机坐标系下的像素点的集合，即目标点集合；W i为源点变换后和目标点之间距离的权重，像素深度值越小，权重越大；
为范数的平方；i用于表示元素的序号；/>用于表示源点集合中的一个元素；/>用于表示目标点集合中的一个元素。
3.根据权利要求2所述的基于深度图像的实时三维重建方法，其特征在于，权重的计算公式为：
；
其中，Z i为源点集合点i的深度；α、β为可调参数，用于控制权重大小。
4. 根据权利要求1所述的基于深度图像的实时三维重建方法，其特征在于，若不满足1+ E jit(f)＞E dif(f)+ E vel(f)，则入选对应帧的深度图以进行三维重建的步骤之后包括：
对入选深度图进行去噪，去噪方法包括：
获取深度图中的每一像素点P，通过改进后的双边滤波方法进行去噪，改进后的双边滤波方法的法向量更新公式为：
；
其中：
为改进后的双边滤波方法的法向量；P为深度图中某一像素点；P old为点P的旧坐标， N()为点的最邻近若干点集合，/>为点P法向量；/>为点P的旧法向量；g 1，g 2为权重，其值为以邻近点与要降噪的点的距离为自变量，取一维高斯函数的对应因变量值，其中高斯函数的参数为可调参数；
；
；
其中，
P new为点P的新坐标；K(P old)作为缩放向量长度的系数，用于保证结果仍是单位长度的向量；< ﹒ >为向量内积。
5.一种基于深度图像的实时三维重建系统，其特征在于，包括：
第一获取模块，用于获取目标物品的深度图序列，所述深度图序列包括多帧深度图，所述深度图包括多个像素点的深度信息；
第二获取模块，用于分别获取每一帧深度图f的E jit(f)、E dif(f)、以及E vel(f)，所述E jit(f)用于衡量相机姿态变换幅度、所述E dif(f)用于衡量深度图是否提供足够信息重建，所述E vel(f)用于衡量相机移动速度；
判断模块，用于根据每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)判断是否满足1+ E jit(f)＞E dif(f)+ E vel(f)；
第一执行模块，用于当满足1+ E jit(f)＞E dif(f)+ E vel(f)，淘汰对应帧的深度图；
第二执行模块，用于当不满足1+ E jit(f)＞E dif(f)+ E vel(f)，入选对应帧的深度图以进行三维重建；
其中，在分别获取每一帧深度图的E jit(f)、E dif(f)、以及E vel(f)的步骤中，E jit(f)的计算公式为：
；
其中，
，< ﹒ >表示向量内积，/>表示向量长度，v f表示当前帧相机观看方向向量；v f-1表示上一帧相机观看方向向量；
，/>表示当前帧之前若干帧的平均相机观看方向向量；
，其中，v k表示上一个评价合格的帧的相机观看方向向量；
用于衡量当前帧与上一帧之间的移动差距；
用于衡量当前帧与之前一段时间内平均移动的差距；
用于衡量当前帧与上一个被选中的帧的移动差距；
E dif(f)的计算公式为：
；
其中，k表示上一个评价合格的帧；θ j与θ f定义相同，S为可调参数，用于调整θ j权重，表示向量长度，l j表示帧j时刻相机的位置向量；
E vel(f)的计算公式为：
其中，，表示帧f前m帧的移动距离之和，m为可调参数，表示整个扫描过程中的连续两帧移动距离之和，/>为整个扫描过程中的帧数。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－4任一所述的基于深度图像的实时三维重建方法。
7.一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－4任一所述的基于深度图像的实时三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311110990.XA CN116824070B (zh) | 2023-08-31 | 2023-08-31 | 一种基于深度图像的实时三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311110990.XA CN116824070B (zh) | 2023-08-31 | 2023-08-31 | 一种基于深度图像的实时三维重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116824070A CN116824070A (zh) | 2023-09-29 |
| CN116824070B true CN116824070B (zh) | 2023-11-24 |
Family
ID=88141400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311110990.XA Active CN116824070B (zh) | 2023-08-31 | 2023-08-31 | 一种基于深度图像的实时三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116824070B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710620B (zh) * | 2024-02-05 | 2024-05-07 | 江西求是高等研究院 | 仿真智能体目标可见性检测方法、系统和存储介质及终端 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| WO2017004882A1 (zh) * | 2015-07-08 | 2017-01-12 | 北京大学深圳研究生院 | 面向平面显示设备的视频立体化绘制方法 |
| CN107833270A (zh) * | 2017-09-28 | 2018-03-23 | 浙江大学 | 基于深度相机的实时物体三维重建方法 |
| CN109544677A (zh) * | 2018-10-30 | 2019-03-29 | 山东大学 | 基于深度图像关键帧的室内场景主结构重建方法及系统 |
| WO2019161813A1 (zh) * | 2018-02-23 | 2019-08-29 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法以及装置和系统、服务器、介质 |
| CN111353982A (zh) * | 2020-02-28 | 2020-06-30 | 贝壳技术有限公司 | 一种深度相机图像序列筛选方法及装置 |
| CN114419246A (zh) * | 2021-12-10 | 2022-04-29 | 上海航天控制技术研究所 | 一种空间目标即时稠密重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10984583B2 (en) * | 2018-03-28 | 2021-04-20 | Apple Inc. | Reconstructing views of real world 3D scenes |
-
2023
- 2023-08-31 CN CN202311110990.XA patent/CN116824070B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017004882A1 (zh) * | 2015-07-08 | 2017-01-12 | 北京大学深圳研究生院 | 面向平面显示设备的视频立体化绘制方法 |
| CN105654492A (zh) * | 2015-12-30 | 2016-06-08 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN107833270A (zh) * | 2017-09-28 | 2018-03-23 | 浙江大学 | 基于深度相机的实时物体三维重建方法 |
| WO2019161813A1 (zh) * | 2018-02-23 | 2019-08-29 | 清华-伯克利深圳学院筹备办公室 | 动态场景的三维重建方法以及装置和系统、服务器、介质 |
| CN109544677A (zh) * | 2018-10-30 | 2019-03-29 | 山东大学 | 基于深度图像关键帧的室内场景主结构重建方法及系统 |
| CN111353982A (zh) * | 2020-02-28 | 2020-06-30 | 贝壳技术有限公司 | 一种深度相机图像序列筛选方法及装置 |
| CN114419246A (zh) * | 2021-12-10 | 2022-04-29 | 上海航天控制技术研究所 | 一种空间目标即时稠密重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多视图深度采样的自然场景三维重建;姜翰青;赵长飞;章国锋;王慧燕;鲍虎军;;计算机辅助设计与图形学学报(第10期);全文 * |
| 面向三维街景重构的立体平行拼图自动生成算法;高辉;张茂军;徐玮;谢凌霄;;计算机辅助设计与图形学学报(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116824070A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101554241B1 (ko) | 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법 | |
| JP5861949B2 (ja) | オプティカルフローの決定のためのデジタル処理方法およびシステム | |
| CN109903372B (zh) | 深度图超分辨率补全方法及高质量三维重建方法与系统 | |
| JP5242540B2 (ja) | 画像処理方法 | |
| Jeon et al. | Reconstruction-based pairwise depth dataset for depth image enhancement using CNN | |
| CN116824070B (zh) | 一种基于深度图像的实时三维重建方法及系统 | |
| Lindner et al. | Sub-pixel data fusion and edge-enhanced distance refinement for 2d/3d images | |
| JP6598660B2 (ja) | 画像処理装置および画像処理方法 | |
| US8040352B2 (en) | Adaptive image interpolation for volume rendering | |
| Schall et al. | Adaptive feature-preserving non-local denoising of static and time-varying range data | |
| Wang et al. | Blurred image restoration using knife-edge function and optimal window Wiener filtering | |
| JP2012515982A (ja) | コンピュータグラフィックスのためのスムージングされたローカルヒストグラムフィルタ | |
| KR20140109801A (ko) | 3d이미지 품질을 향상시키는 방법과 장치 | |
| Lee et al. | Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction | |
| CN113744142B (zh) | 图像修复方法、电子设备及存储介质 | |
| Tao et al. | Adaptive image enhancement method using contrast limitation based on multiple layers BOHE | |
| CN112017130A (zh) | 新颖的基于自适应各向异性全变分正则化的图像复原方法 | |
| JP6661491B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2023547454A (ja) | 画像フレームシーケンスの信号対雑音比を改善するための方法および画像処理デバイス | |
| JP7040422B2 (ja) | 動きベクトル生成装置、投影像生成装置、動きベクトル生成方法、およびプログラム | |
| CN113284081A (zh) | 深度图超分辨率优化方法、装置、处理设备及存储介质 | |
| Franke et al. | TRIPS: Trilinear Point Splatting for Real‐Time Radiance Field Rendering | |
| Vaudrey et al. | Residual images remove illumination artifacts! | |
| JP2007128467A (ja) | 特徴稜線認識型メッシュスムージング手法 | |
| CN108230276A (zh) | 一种融合无参图像质量评价的自然场景图像去模糊方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |