CN108876897B - 快速运动下的场景三维重建方法 - Google Patents

快速运动下的场景三维重建方法 Download PDF

Info

Publication number
CN108876897B
CN108876897B CN201810361369.3A CN201810361369A CN108876897B CN 108876897 B CN108876897 B CN 108876897B CN 201810361369 A CN201810361369 A CN 201810361369A CN 108876897 B CN108876897 B CN 108876897B
Authority
CN
China
Prior art keywords
camera
model
frame
depth
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810361369.3A
Other languages
English (en)
Other versions
CN108876897A (zh
Inventor
颜成钢
龚冰剑
朱尊杰
徐枫
黄海亮
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810361369.3A priority Critical patent/CN108876897B/zh
Publication of CN108876897A publication Critical patent/CN108876897A/zh
Application granted granted Critical
Publication of CN108876897B publication Critical patent/CN108876897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Abstract

本发明属于计算机视觉与计算机图形学相结合的领域。本发明公开了一种相机快速运动下的场景三维重建方法。本发明步骤如下：步骤1：预处理；步骤2：建立模糊模型；步骤3：相机姿态估计；步骤4：从深度相机采集的模糊深度图中提取出清晰深度图像，将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合，获得新的场景模型。本发明利用相机模糊原理，建立快速运动下的相机运动模型，在进行相机姿态估计时，先利用图像信息估计出一个粗糙的相机姿态作为ICP的初始值，再利用ICP和深度图得到相对准确的相机姿态信息，最后利用能量函数优化该相机姿态信息。传统方法单纯使用ICP方法估计相机姿态，这在快速运动的情况下是无法实现的。

Description

快速运动下的场景三维重建方法
技术领域
本发明属于计算机视觉与计算机图形学相结合的领域，尤其针对场景三维重建，具体涉及一种相机快速运动下的场景三维重建方法。
背景技术
近几年以来，随着深度感知传感器技术的演进，实现三维场景的实时深度扫描成为可能。业界提出了多个三维场景重建方法，并展现了较好的重建结果，然而这些方法均无法适用于相机快速运动的情况。业界当前的方法多基于深度相机，直接记录场景的深度信息，而当相机运动过快时，所采集的深度图像将产生模糊，因此无法直接通过所采集的图形进行场景重建。
另一方面，实现基于深度图像的场景三维重建的技术其核心是将所拍摄的不同视角下的场景深度图序列融合在一起，形成三维模型。该技术的关键是估计相邻图像帧之间的相机相对运动姿态，而业界多采用迭代最近点方法(ICP)来估计由两个深度帧获得的点云之间的对应关系。然后，两点云可以通过估计的相机运动合并。然而该方法容易陷入局部最优解，尤其是在相机快速运动的情况下，无法直接通过迭代最近点方法得到相机相对运动姿态。
因此，目前业界提出的多个三维重建方法应用于快速运动的场景时，由于深度图像的模糊以及无法估计出准确的相机相对运动姿态，导致了它们无法在快速运动的情况下有效重建出场景的三维模型。
参考文献：
[1]Bloesch M,Burri M,Omari S,et al.Iterated extended Kalman filterbased visual-inertial odometry using direct photometric feedback[J].TheInternational Journal of Robotics Research,2017,36(10):1053-1072；
[2]Dai S,Wu Y.Motion from blur[C]//Computer Vision and PatternRecognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.
发明内容
本发明的目的是针对现有技术的不足，提出一种能在快速运动的情况下对场景进行三维重建的方法。
在快速运动下，由于相机的成像原理导致了无论是深度相机还是彩色相机，所拍出的图像均是模糊的。我们不能直接采用迭代最近点方法(ICP)利用模糊的深度图进行相机姿态估计，因此我们在这里利用彩色图像，采用了基于颜色图像的特征区块得到相对准确的帧间相机相对姿态[1],利用其作为相机姿态的初始值进行后续的优化。步骤如下：
步骤1：预处理。
1.1将6DOF的相机姿态变化矩阵表示为如下形式:
Figure GDA0003741000680000021
其中，旋转矩阵
Figure GDA0003741000680000022
平移向量
Figure GDA0003741000680000023
其表示从第i帧相机变化到第j帧相机的相机相对姿态变化矩阵,比如第i帧上的相机三维坐标点
Figure GDA0003741000680000024
经变化矩阵变换到j帧上的的坐标位置为pj＝Tj,ipi；此外，设相机的内参矩阵为K,像素坐标系上像素点u的齐次向量为
Figure GDA0003741000680000026
在第k帧时，通过深度相机获得像素坐标系上每个像素点u＝(u,v)T的原始深度图Rk(u)，计算出每个相机坐标点的世界坐标值p所组成的三维点云模型:
Figure GDA0003741000680000025
1.2通过双边滤波去除原始深度图Rk(u)的大量噪声，得到双边滤波后的深度图Dk(u)。然后对深度图Dk(u)做图像金字塔，得到不同分辨率的深度图，并采用从低到高的形式来提高相机跟踪的速度，同时输出一个点云二值图提高数据匹配速度。
步骤2：建立模糊模型
由于结构光深度相机的曝光性质同彩色相机十分相似，因此其在快速运动情况下获得的深度图存在与彩色相机的在快速运动下形成的模糊图相似的模糊效果。根据论文[2]\cite{IEEEhowto:kopka}所论证的彩色相机的模糊原理，将第k帧模糊的深度图像表示成每一时刻深度图在相机曝光时间内的积分：
Figure GDA0003741000680000031
其中，T为相机曝光时间，r(t)为相机曝光时间内t时刻深度相机采集的场景深度。由于在相机快速运动的情况下，在某帧曝光时间内的相机姿态也是随时间变化的。因此我们不能简单的认为相邻两帧的相机相对位姿是一个定值，它应该是一个随时间和速度变化的函数：
Tk,k-1(t)＝T0+vt,t∈[0,Δt] 公式4
其中，T0为相机曝光起始时间点的k-1帧至k相机相对位姿，v是在第k帧的曝光时间段内相机的速度，由于曝光时间短，我们合理地假设单帧曝光时间内的相机速度不变。
步骤3：相机姿态估计
根据参考文献[1]相机跟踪的方法,通过模糊的彩色图像预先估计出一个粗糙的相机相对姿态作为迭代最近点方法(ICP)方法的初始姿态，随后利用ICP方法估计出一个相对精确的相机相对姿态。将该相机相对姿态作为初始值，利用设置的能量函数联合优化相机的姿态和曝光时间内相机速度，具体如下：
根据相机的成像原理，通过第k-1帧相机在世界坐标系下的姿态Tk-1,g和第k-1帧时所建立的场景模型Fk-1，来获得第k-1帧的三维点云模型Vk-1：
Vk-1＝Fk-1(Tk-1,g) 公式5
通过将ICP估计出的在快速运动下相邻两帧的相机相对位姿
Figure GDA0003741000680000041
作为T0的初始值，估计的当前帧相机速度vinit作为速度的初始值。
利用模糊成像原理，建立数据项能量函数：
Figure GDA0003741000680000042
根据相机运动原理，在很短的相机曝光时间内，相机的运动速度变化很小，于是假设相机的一个曝光时间内加速度为0。以此建立相机姿态和速度的平滑项能量函数：
Figure GDA0003741000680000043
Evelocity＝‖vinit-v‖2 公式7
然后对能量函数优化：
Figure GDA0003741000680000044
其中，λ1和λ2为能量权重，通过使该能量函数最小，求得最优的相机速度和相机姿态。
步骤4：清晰深度图像的提取及融合
4.1从深度相机采集的模糊深度图中提取出清晰深度图像：
设第k帧在曝光结束那一刻所采集的三维点云模型为
Figure GDA0003741000680000045
其中δ(u)为该时间点的三维点云模型与模糊三维点云模型的差值。因此曝光时间内任意时刻的三维点云模型表示为
Figure GDA0003741000680000051
其中，
Figure GDA0003741000680000052
根据深度图模糊原理，我们可以建立能量函数：
Figure GDA0003741000680000053
最后通过能量最小化求解得到最优值：
Figure GDA0003741000680000054
4.2将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合，获得新的场景模型；
用一种三维模型表达方式TSDF来表示我们的模型，在提取出当前帧k的清晰三维模型后，利用之前估计的相机相对姿态，将当前采集的模型
Figure GDA0003741000680000055
同我们之前采集的场景模型进行融合得到最新的场景模型Fk：
Figure GDA0003741000680000056
本发明的特点及有益效果：
本发明实现了一种快速运动下的三维场景重建方法，场景重建技术有较大意义。本发明中的方法利用相机模糊原理，建立快速运动下的相机运动模型，在进行相机姿态估计时，我们先利用图像信息估计出一个粗糙的相机姿态作为ICP的初始值，然后利用ICP和深度图得到相对准确的相机姿态信息，最后利用我们的能量函数优化该相机姿态信息。而传统方法单纯使用ICP方法估计相机姿态，这在快速运动的情况下是无法实现的。
此外，我们还利用所建立的相机模糊模型以及能量函数在模糊的深度图像中提取出有效的三维模型，并将该模型融合到之前所建立的场景模型中。此技术可以在普通PC机或工作站等硬件系统上实现。
附图说明
图1为本发明方法流程图。
具体实施方式
下面结合具体实施例对本发明作进一步的分析。
由于连续函数难以求解，因此我们采用离散近似的方法，对所设计的模型方法进行离散化求解。
一.模糊模型建立
由于结构光深度相机的曝光性质同彩色相机十分相似，因此其在快速运动情况下获得的深度图存在与彩色相机的在快速运动下形成的模糊图相似的模糊效果。根据论文[2]\cite{IEEEhowto:kopka}所论证的彩色相机的模糊原理，我们将第k帧模糊的深度图像表示成每一时刻深度图在相机曝光时间内的积分：
Figure GDA0003741000680000061
其中T为相机曝光时间，r(t)为相机曝光时间内t时刻深度相机采集的场景深度。
为了方便求解可以进一步离散为：
Figure GDA0003741000680000062
由于在相机快速运动的情况下，在某帧曝光时间内的相机姿态也是随时间变化的。因此不能简单的认为相邻两帧的相机相对位姿是一个定值，它应该是一个随时间和速度变化的函数：
Tk,k-1＝T0+vt, t∈[0,Δt]；
其中，T0为相机开始曝光时第k-1帧到第k帧的相机相对位姿，v是在第k帧的曝光时间段内相机的速度，由于曝光时间短，我们合理地假设单帧曝光时间内的相机速度不变。
二.相机姿态估计
2.1根据参考文献[1]的方法通过模糊的彩色图像，预先估计出一个粗糙的相机相对姿态作为ICP方法的初始姿态，随后利用ICP方法估计出一个相对精确的相机相对姿态。将该姿态作为初始值，利用设置的能量函数联合优化相机的姿态和曝光时间内相机速度。
2.2根据相机的成像原理，通过第k-1帧相机在世界坐标系下的姿态Tk-1,g和第k-1帧时所建立的场景模型Fk-1，来获得上一帧的三维点云模型：
Vk-1＝Fk-1(Tk-1,g)
通过将ICP估计出的在快速运动下相邻两帧的相机相对位姿
Figure GDA0003741000680000071
作为T0的初始值，估计的当前帧相机速度vinit作为速度的初始值。利用模糊成像原理，我们建立数据项能量函数：
Figure GDA0003741000680000072
根据相机运动原理，在很短的相机曝光时间内，相机的运动速度变化很小，于是我们假设相机的一个曝光时间内加速度为0。以此建立相机速度和姿态的平滑项能量函数：
Figure GDA0003741000680000073
Evelocity＝‖vinit-v‖2
根据离散策略，将曝光时间内的相机位姿进行离散化处理
Figure GDA0003741000680000081
因此Edata进一步表示成：
Figure GDA0003741000680000082
Figure GDA0003741000680000083
其中
Figure GDA0003741000680000084
为k帧的像素投影到k-1帧的像素坐标.同时Epose可以被表示为：
Figure GDA0003741000680000085
最后对能量函数优化：
Figure GDA0003741000680000086
三.清晰深度图像的提取及融合：
3.1从深度相机采集的模糊深度图中提取出清晰深度图像：
设第k帧在曝光结束那一刻所采集的三维点云模型为
Figure GDA0003741000680000087
其中δ(u)为该时间点的三维点云模型与模糊三维点云模型的差值。因此曝光时间内任意时刻的三维点云模型表示为
Figure GDA0003741000680000088
其中，
Figure GDA0003741000680000089
根据深度图模糊原理，建立能量函数：
Figure GDA00037410006800000810
最后通过能量最小化求解得到最优值：
Figure GDA0003741000680000091
3.2将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合，获得新的场景模型；
用一种三维模型表达方式TSDF来表示我们的模型，在提取出当前帧k的清晰三维模型后，利用之前估计的相机相对姿态，将当前采集的模型
Figure GDA0003741000680000092
同我们之前采集的场景模型进行融合得到最新的场景模型Fk：
Figure GDA0003741000680000093

Claims (1)

1.快速运动下的场景三维重建方法，其特征在于包括步骤如下：
步骤1：预处理；
1.1将6DOF的相机姿态变化矩阵表示为如下形式:
Figure FDA0003729936270000011
其中，旋转矩阵
Figure FDA0003729936270000012
平移向量
Figure FDA0003729936270000013
其表示从第i帧相机变化到第j帧相机的相机相对姿态变化矩阵,即第i帧上的相机三维坐标点
Figure FDA0003729936270000014
经变化矩阵变换到j帧上的的坐标位置为pj＝Tj,ipi；此外，设相机的内参矩阵为K,像素坐标系上像素点u的齐次向量为
Figure FDA0003729936270000015
在第k帧时，通过深度相机获得像素坐标系上每个像素点
Figure FDA0003729936270000016
的原始深度图Rk(u)，计算出每个相机坐标点的世界坐标值p所组成的三维点云模型:
Figure FDA0003729936270000017
1.2通过双边滤波去除原始深度图Rk(u)的大量噪声，得到双边滤波后的深度图Dk(u)；然后对深度图Dk(u)做图像金字塔，得到不同分辨率的深度图，并采用从低到高的形式来提高相机跟踪的速度，同时输出一个点云二值图提高数据匹配速度；
步骤2：建立模糊模型
根据彩色相机的模糊原理，将第k帧模糊的深度图像表示成每一时刻深度图在相机曝光时间内的积分：
Figure FDA0003729936270000018
其中，Δt为相机曝光时间，r(t)为相机曝光时间内t时刻深度相机采集的场景深度；由于在相机快速运动的情况下，在某帧曝光时间内的相机姿态也是随时间变化的；因此是一个随时间和速度变化的函数：
Tk,k-1(t)＝T0+vt,t∈[0,Δt] 公式4
其中，T0为相机曝光起始时间点的k-1帧至k相机相对位姿，v是在第k帧的曝光时间段内相机的速度，由于曝光时间短，因此假设单帧曝光时间内的相机速度不变；
步骤3：相机姿态估计；
根据相机跟踪的方法,通过模糊的彩色图像预先估计出一个粗糙的相机相对姿态作为迭代最近点方法ICP方法的初始姿态，随后利用ICP方法估计出一个相对精确的相机相对姿态；将该相机相对姿态作为初始值，利用设置的能量函数联合优化相机的姿态和曝光时间内相机速度，具体如下：
根据相机的成像原理，通过第k-1帧相机在世界坐标系下的姿态Tk-1,g和第k-1帧时所建立的场景模型Fk-1，来获得第k-1帧的三维点云模型Vk-1：
Vk-1＝Fk-1(Tk-1,g) 公式5
通过将ICP估计出的在快速运动下相邻两帧的相机相对位姿
Figure FDA0003729936270000021
作为T0的初始值，估计的当前帧相机速度vinit作为速度的初始值；
利用模糊成像原理，建立数据项能量函数：
Figure FDA0003729936270000022
根据相机运动原理，在很短的相机曝光时间内，相机的运动速度变化很小，于是假设相机的一个曝光时间内加速度为0；以此建立相机姿态和速度的平滑项能量函数：
Figure FDA0003729936270000031
Evelocity＝||vinit-v||2 公式7
然后对能量函数优化：
Figure FDA0003729936270000032
其中，λ1和λ2为能量权重，通过使该能量函数最小，求得最优的相机速度和相机姿态；
步骤4：清晰深度图像的提取及融合
4.1从深度相机采集的模糊深度图中提取出清晰深度图像：
设第k帧在曝光结束那一刻所采集的三维点云模型为
Figure FDA0003729936270000033
其中δ(u)为该时间点的三维点云模型与模糊三维点云模型的差值；因此曝光时间内任意时刻的三维点云模型表示为
Figure FDA0003729936270000034
其中，
Figure FDA0003729936270000035
根据深度图模糊原理，我们可以建立能量函数：
Figure FDA0003729936270000036
最后通过能量最小化求解得到最优值：
Figure FDA0003729936270000037
4.2将清晰深度图像计算得到的三维点云模型与当前场景模型进行融合，获得新的场景模型；
用一种三维模型表达方式TSDF来表示我们的模型，在提取出当前帧k的清晰三维模型后，利用之前估计的相机相对姿态，将当前采集的模型
Figure FDA0003729936270000041
同我们之前采集的场景模型进行融合得到最新的场景模型Fk：
Figure FDA0003729936270000042
CN201810361369.3A 2018-04-20 2018-04-20 快速运动下的场景三维重建方法 Active CN108876897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810361369.3A CN108876897B (zh) 2018-04-20 2018-04-20 快速运动下的场景三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810361369.3A CN108876897B (zh) 2018-04-20 2018-04-20 快速运动下的场景三维重建方法

Publications (2)

Publication Number Publication Date
CN108876897A CN108876897A (zh) 2018-11-23
CN108876897B true CN108876897B (zh) 2022-10-18

Family

ID=64326437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810361369.3A Active CN108876897B (zh) 2018-04-20 2018-04-20 快速运动下的场景三维重建方法

Country Status (1)

Country Link
CN (1) CN108876897B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414798B (zh) * 2019-02-03 2022-12-06 沈阳工业大学 基于rgb-d图像的头部姿态检测方法及系统
CN110677556B (zh) * 2019-08-02 2021-09-28 杭州电子科技大学 一种基于相机定位的图像去模糊方法
CN110706332B (zh) * 2019-09-25 2022-05-17 北京计算机技术及应用研究所 一种基于噪声点云的场景重建方法
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、系统和可读存储介质
CN111354043A (zh) * 2020-02-21 2020-06-30 集美大学 一种基于多传感器融合的三维姿态估计方法及装置
CN111739071B (zh) * 2020-06-15 2023-09-05 武汉尺子科技有限公司 基于初始值的快速迭代配准方法、介质、终端和装置
CN113916223B (zh) * 2021-09-29 2022-11-11 深圳市慧鲤科技有限公司 定位方法及装置、设备、存储介质
CN117496074B (zh) * 2023-12-29 2024-03-22 中国人民解放军国防科技大学 一种适应相机快速移动的高效三维场景重建方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
CN107371012A (zh) * 2017-07-04 2017-11-21 歌尔科技有限公司 一种vr图像处理和显示方法及装置
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103914874B (zh) * 2014-04-08 2017-02-01 中山大学 一种无特征提取的紧致sfm三维重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371012A (zh) * 2017-07-04 2017-11-21 歌尔科技有限公司 一种vr图像处理和显示方法及装置
CN107292965A (zh) * 2017-08-03 2017-10-24 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法
CN107833270A (zh) * 2017-09-28 2018-03-23 浙江大学 基于深度相机的实时物体三维重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A COMPLEX TARGET RECONSTRUCTION CHARACTERIZED BY CANONICAL SCATTERING OBJECTS;Li,YC等;《2016 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM 》;20161231;全文 *
基于包含多个刚体运动目标的单目视频三维重建研究;李沛燃等;《计算机与数字工程》;20161020(第10期);全文 *
基于相对坐标ICP的室内场景三维重建算法;李策等;《兰州理工大学学报》;20170615(第03期);全文 *
金字塔光流三维运动估计与深度重建直接方法;张聪炫等;《仪器仪表学报》;20150515(第05期);全文 *

Also Published As

Publication number Publication date
CN108876897A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108876897B (zh) 快速运动下的场景三维重建方法
Casser et al. Depth prediction without the sensors: Leveraging structure for unsupervised learning from monocular videos
CN109166149B (zh) 一种融合双目相机与imu的定位与三维线框结构重建方法与系统
CN110223348B (zh) 基于rgb-d相机的机器人场景自适应位姿估计方法
CN108428255B (zh) 一种基于无人机的实时三维重建方法
Wang et al. Joint filtering of intensity images and neuromorphic events for high-resolution noise-robust imaging
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
Valgaerts et al. Lightweight binocular facial performance capture under uncontrolled lighting.
CN105141807B (zh) 视频信号图像处理方法和装置
KR20180054487A (ko) Dvs 이벤트 처리 방법 및 장치
US10863210B2 (en) Client-server communication for live filtering in a camera view
CN102456225A (zh) 一种视频监控系统及其运动目标检测与跟踪方法
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN111524233A (zh) 一种静态场景动态目标的三维重建方法
CN111798485B (zh) 一种利用imu增强的事件相机光流估计方法及系统
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN110349249B (zh) 基于rgb-d数据的实时稠密重建方法及系统
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统
CN106778576A (zh) 一种基于sehm特征图序列的动作识别方法
Shi et al. Self-supervised learning of depth and ego-motion with differentiable bundle adjustment
Shi et al. Zeroscatter: Domain transfer for long distance imaging and vision through scattering media
CN115063562A (zh) 一种基于多视图三维重建的虚实融合增强现实呈现方法
Li et al. Advanced multiple linear regression based dark channel prior applied on dehazing image and generating synthetic haze

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Yan Chenggang

Inventor after: Gong Bingjian

Inventor after: Zhu Zunjie

Inventor after: Xu Feng

Inventor after: Huang Hailiang

Inventor after: Zhang Yongdong

Inventor before: Yan Chenggang

Inventor before: Zhu Zunjie

Inventor before: Xu Feng

Inventor before: Gong Bingjian

Inventor before: Huang Hailiang

Inventor before: Zhang Yongdong

GR01 Patent grant
GR01 Patent grant