CN107292965B - 一种基于深度图像数据流的虚实遮挡处理方法 - Google Patents

一种基于深度图像数据流的虚实遮挡处理方法 Download PDF

Info

Publication number
CN107292965B
CN107292965B CN201710654653.5A CN201710654653A CN107292965B CN 107292965 B CN107292965 B CN 107292965B CN 201710654653 A CN201710654653 A CN 201710654653A CN 107292965 B CN107292965 B CN 107292965B
Authority
CN
China
Prior art keywords
dimensional
camera
point cloud
depth
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710654653.5A
Other languages
English (en)
Other versions
CN107292965A (zh
Inventor
齐越
郭小志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Original Assignee
Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics, Beihang University filed Critical Qingdao Research Institute Of Beijing University Of Aeronautics And Astronautics
Priority to CN201710654653.5A priority Critical patent/CN107292965B/zh
Publication of CN107292965A publication Critical patent/CN107292965A/zh
Application granted granted Critical
Publication of CN107292965B publication Critical patent/CN107292965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明涉及一种基于深度图像数据流的虚实遮挡处理方法，包括场景点云模型的构建、三维空间注册和虚实遮挡处理并渲染三个部分。首先将深度相机采集的深度数据进行滤波等预处理操作，并计算每一点的法向量；然后根据带有法向量的点云和利用上一帧相机位姿从三维场景模型投影得到的点云，采用最近点迭代算法计算相机位姿；然后将当前帧的点云融合到三维场景的点云模型中；在重建场景的同时，实时计算深度相机采集的彩色图像特征点，通过与模板图像特征点匹配来进行三维空间注册；然后通过得到的相机姿态去处理虚拟物体和三维场景的空间位置关系和遮挡关系并实时渲染。本发明能够在现有的主流设备上实时运行，并能够在输入数据分辨率较低时也能得到良好的虚实遮挡效果。

Description

一种基于深度图像数据流的虚实遮挡处理方法
技术领域
本发明属于计算机视觉与计算机图形图像处理领域，具体地说是一种基于深度图像数据流的虚实遮挡处理方法，该方法可在输入数据分辨率较低、深度数据存在空洞和噪声的情况下，实时地估计相机姿态和重建三维场景的点云模型，并根据相机姿态实时处理虚拟物体与三维场景之间的遮挡关系，并将遮挡处理后的结果与彩色图像融合，实现一种虚实融合的效果，对于三维重建系统和实时增强现实(AR)技术的研究有着重要意义。
背景技术
增强现实是将虚拟物体叠加到真实环境中从而实现虚实融合效果的一项技术，近年来己经成为计算机视觉、计算机图形学等领域的一个研究热点。虚实遮挡处理问题的研究对于增强现实系统的完善和实用化起到至关重要的作用，是增强现实应用中迫切需要解决的关键问题。当融合图像中存在错误的虚实遮挡关系时，观察者就很难正确地判断虚实物体之间的相对位置关系，难以得到逼真的虚实融合效果。随着深度传感器的普及和三维重建技术的发展，近年来基于深度数据的SLAM系统和三维模型重建的研究正在兴起。与传统基于图像识别追踪的AR系统相比，深度数据提供了场景的三维信息，极大地提高了相机位姿的估计的准确度，并为处理虚实遮挡问题提供了足够的数据信息。在三维重建和虚实融合系统等相关应用场景中起到了至关重要的作用。
目前在增强现实技术方法可以分为以下三大类：一是基于图像识别追踪，可使用光学摄像机对平面识别标识图像的特征点提取，结合摄像头标定参数及标识特征点位置计算叠加模型的3D空间变换矩阵，然后进行虚拟模型在视频层上的叠加，但此技术对识别追踪的速度、准确性、环境光的适应能力以及对多识别标识同时追踪的容错能力有极高的要求；二是基于传感器实现相机运动的追踪和定位，这类方法通过实时的摄像机或者物体的姿态与位置的捕捉来准确计算出需要叠加的数字虚拟物体的相对空间位置。物体姿态的捕捉一般通过带陀螺仪的姿态传感器、电子罗盘、重力加速计等传感器来实现，但对硬件设备的需求较高；三是结合图像识别追踪与传感器运动追踪。在硬件条件允许的情况下，结合图像识别与传感器运动捕捉技术，可以充分发挥两种技术各自的优势，提高增强现实应用的稳定性与环境适应性。
上述方法有的耗时较大，比如特征点的提取，能量方程的优化等步骤，缺少真实场景的三维信息，难以处理虚拟物体和真实场景之间的遮挡关系，虚实融合缺乏真实感。
发明内容
为克服上述缺点，本发明的目的在于根据深度图像数据流的特点，结合真实场景实时三维重建的需求，提供一种基于深度图像数据流的虚实遮挡处理方法，根据相机姿态实时处理虚拟物体与三维场景之间的遮挡关系，并将遮挡处理后的结果与彩色图像融合，实现一种较为真实、具有遮挡关系的虚实融合效果。
为了达到上述目的，本发明提出了一种基于深度图像数据流的虚实遮挡处理方法，包括以下步骤：
步骤(1)、对原始深度图像数据作预处理操作，其中包括平滑处理、对深度图像的空洞区域的修补和增强；若尚未进行虚拟物体的三位空间注册，则对原始深度相机数据流中的彩色图像进行ORB特征检测，用于匹配模板图像的特征点；
步骤(2)、根据相机内部参数，将预处理后的深度数据中的每一个像素点的坐标和深度转化为相机坐标系下的三维坐标；然后利用相邻像素的三维坐标值计算每一个像素对应的三维点云的法向量；由所述三维坐标和法向量构成三维点云映射图；
步骤(3)、根据上一帧的相机位姿，采用光线投影算法，计算三维模型的投影点云映射图Map1，采用最邻近点迭代算法(ICP)，利用Map1与步骤(2)计算得到的三维点云映射图Map2计算出相机的当前位姿；然后根据当前相机位姿，将当前帧的点云融合到三维模型中；根据当前帧相机位姿从模型投影得到当前相机视角下的点云，并且计算其法向量，用于对下一帧点云图像配准；
步骤(4)、若尚未完成三维空间注册，则将步骤(1)所得的彩色图像ORB特征点与模板图像ORB特征点进行KNN匹配，通过计算单映射矩阵得到模板图像在原始彩色图像所对应的区域，通过彩色图像与步骤(2)三维点云映射图的对应关系，计算模板图像在相机坐标系的三维空间坐标，再根据步骤(3)相机位姿，将该坐标变换到三维场景坐标系，完成三维空间注册；
步骤(5)、根据步骤(3)得到的相机姿态和步骤(4)得到虚拟物体空间注册位置，实时处理虚拟物体和三维场景的空间位置关系和遮挡关系，对处理后的虚拟物体采用渲染到纹理(RTT)技术，并将渲染的图像结果与彩色图像融合，实现一种较为真实的、具有良好遮挡关系的虚实融合效果。
所述步骤(4)中，快速计算ORB图像特征，然后进行FLANN特征匹配，对匹配的结果采用KNN筛选匹配点，其中KNN的最邻近匹配参数K为4。再通过单应性变换矩阵进行目标定位。
所述步骤(5)中，先将OpenGL环境的颜色缓冲区设为黑色，作为融合时的掩码，同时设置场景模型的材质混合光颜色为透明，并开启深度测试，采用RTT技术与彩色图像融合。
通过深度图像进行相机姿态的估计和场景的模型重建相结合的方式，解决了虚实遮挡问题。
本发明的原理在于：充分结合深度相机的深度图像数据和彩色图像数据，通过建模的方法解决增强现实系统中的虚实遮挡问题。首先对深度图像进行快速双边滤波，对带有噪声的深度数据进行滤波去噪。对预处理后的深度图像，根据相机内部参数计算每一个像素对应的相机坐标系下的三维坐标，构成初步的三维点云映射图。基于相邻像素的点云在三维坐标系下也相邻的假设，计算每一个像素对应的点云法向量，构造三维点云映射图。再利用相机内部参数，将场景的三维点云模型投影到像素坐标系下，获得上一帧三维点云映射图中对应像素坐标的数据，根据点到平面的距离误差函数，采用最邻近迭代算法，得到两帧数据的相机变换矩阵，再将当前点云融合到真实场景的三维模型中。利用彩色图像数据与模板图像的匹配，解决三维空间的注册问题，实时地计算相机姿态和更新融合场景的三维点云模型。
本发明中深入分析了增强现实系统(AR)在处理遮挡和真实感问题时，对相机位姿估计、场景三维重建和处理遮挡问题的需求，与一般现有的强现实系统的技术方法相比的优点在于：
(1)利用深度相机提供的深度图像数据进行相机姿态估计和实时三维重建，并结合彩色图像进行三维空间注册，提高了相机位姿估计的精确度和鲁棒性。既实时获得相机姿态，也可获得真实场景的三维信息，利用相机姿态、场景三维模型和虚拟物体三者的空间位置关系，可有效解决VR系统中的虚实遮挡问题。
(2)考虑增强现实(AR)系统的应用场合，本方法能够在现有的主流平台下能够实时地进行相机姿态估计、模型重建和渲染任务。本发明所有步骤均可在GPU下加速执行，能够空出CPU资源用于其他功能模块。经过实验，在主流平台运行的帧率能够达到20fps，基本达到实时要求。
附图说明
图1为本发明中基于深度图像数据流的虚实遮挡处理方法的主要流程图；
图2为本发明中根据深度图像进行三维场景重建的结果图；
图3为本发明中处理虚实遮挡后的虚实融合效果图；
图4为本发明中虚实融合后的效果图。
具体实施方式
下面结合附图对本发明实施例进行详细的描述。
如图1所示，本发明的实施过程主要分成四个步骤：深度数据预处理、构建场景三维点云模型、三维空间注册、虚实融合渲染。
步骤一、深度数据预处理
其主要步骤为：
(11)对于给定的输入RGBD(彩色+深度)数据流中的深度数据，根据深度相机的误差范围设定阈值wmin,wmax，深度值在wmin与wmax之间的点视为可信值，只保留阈值范围内的深度数据I。
(12)对深度数据的每一个像素做快速双边滤波，具体如下：
Figure GDA0002528446510000041
其中pj为像素pi的邻域内的像素，s为邻域内有效像素的个数，σ1与σ2为预设参数，dpi为像素pi滤波后的深度值。
(13)对给定的输入RGBD数据流中的RGB数据作维纳滤波去模糊。
步骤二、构建场景三维点云模型
其主要步骤为：
(21)根据相机内部参数，对滤波后的深度数据图中的每一个像素，计算其在相机坐标系下的三维坐标：
P(x,y,z)＝K-1·(u,v,d)T (2)
其中，p为映射后的三维点坐标，u,v为滤波后的深度数据图中的像素坐标，d为对应的深度值，K-1为深度相机的内参矩阵的逆矩阵。
(22)根据相邻像素的三维坐标，依次计算深度图像中的每一个像素在相机坐标系下的法向量：
Figure GDA0002528446510000042
其中，normalize为向量的归一化，P(u,v)为像素坐标u,v处在相机坐标系中的三维坐标。
最终的三维点云映射图Map1是一组二维数据，每一个像素存储对应三维点云在相机坐标系下的三维点坐标p以及对应的法向量n。
(23)根据三维模型的投影点云映射图Map1和三维点云映射图Map2，按照如下所述的方式计算三维坐标和法向量的差值筛选对应点：
Figure GDA0002528446510000051
其中，ci为对应像素的RGB值，cross为向量的叉乘运算。d_p表示对应点三维坐标的距离，d_n表示对应点法向量的夹角正弦值，dist_c表示对应点颜色的差值。d_p、d_n、d_c均在一定阈值范围内的点对视为第i帧与第i-1帧的对应点对。
(24)对每一组对应点对，计算点到平面的距离平方和目标函数，极小化该目标函数：
Figure GDA0002528446510000052
以上目标函数对于未知6维位姿参数x＝(rx,ry,rz,tx,ty,tz)求导并且令导数为0，得：
Figure GDA0002528446510000053
其中，r,t是待求解的位姿变换。pi,qi分别是点集原始点和目标点。
(25)利用以下公式对当前帧的点云映射图融合到场景的三维模型中。并根据最新的相机姿态，采用光线投影算法投影出当前视角下的点云，用于下一帧的匹配。
global_P(x1,y1,z1)＝M-1·cam_p(x,y,z) (7)
其中，global_p为当前帧点云在三维场景坐标系的坐标，cam_p是在相机坐标系下的坐标，M为当前相机姿态。
步骤三、三维空间注册
获取相机当前帧的彩色图像curIMG，分别计算彩色图像ORB特征关键点keyPoint1和模板图像tempIMG的ORB特征关键点keyPoint2，模板图像的关键点只需要计算一次。
(31)根据keyPoint1和keyPoint2，采用FLANN最邻近算法计算出两者之间的匹配关系，然后通过KNN最邻近算法进行进一步优化，去除伪匹配，得到两幅图像最终的匹配关系。然后计算出单应性变换矩阵H，依次对tempIMG的四个顶点的像素位置进行下列操作得到tempIMG在curIMG的位置区域：
bi＝H·ai T，ai＝(x,y,1)，bi＝(x1,y1,1) (8)
其中，ai为tempIMG的四个顶点的像素位置，bi为对应i坐标在curIMG的像素位置。
(32)根据上一步获取的四个像素坐标点，以及当前帧的三维点云映射图的像素和前帧的彩色图像curIMG的对应关系，依次计算在三维点云映射图中对应的四个像素坐标在世界坐标系下的三维坐标和法向量。具体对每一个像素作如下操作：
Figure GDA0002528446510000061
其中，vi表示第i个像素坐标，K表示相机内参，T表示第i帧数据估计的相机位姿，p_gi和n_gi分别为第i帧个相机坐标系下的三维点云映射图对应像素的三维坐标和法向量。
(33)由以上步骤获取到模板图像在世界坐标系下的场景三维模型的具体位置，将虚拟物体放置到有该四个点决定的平面区域，并计算平面法向量，用于旋转虚拟物体至合适的角度。
步骤四、虚实融合渲染
其主要步骤为：
(41)每处理一帧图像，渲染引擎获取最新的相机姿态，并实时更新渲染引擎摄像机的参数，设置如下：
Figure GDA0002528446510000062
其中camPos为摄像机在世界坐标系的三维坐标，camDir为摄像机的向前的朝向，camHead为摄像机正上方朝向。
(42)为了实现场景模型对虚拟物体的遮挡效果，先将OpenGL环境的颜色缓冲区设为黑色，同时设置场景模型的材质混合光颜色为透明，并开启深度测试，采用RTT技术与彩色图像融合。
本发明与其他现有增强现实技术相比，能够适应输入深度数据分辨率较低的场景，能够适应较大空间的应用场合，相机姿态估计较为准确，能够较好的处理虚拟物体和现实场景之间的遮挡关系，实现了一种较为真实、具有遮挡关系的虚实融合效果。

Claims (3)

1.一种基于深度图像数据流的虚实遮挡处理方法，其特征在于，包括以下步骤：
步骤(1)、对原始深度图像数据作平滑预处理操作；对原始相机数据流中的彩色图像进行ORB特征关键点检测，用于后续匹配模板图像的特征关键点；
步骤(2)、根据相机内部参数，将预处理后的深度数据中的每一个像素点的坐标和深度转化为相机坐标系下的三维坐标；然后利用相邻像素的三维坐标值计算每一个像素对应的三维点云的法向量；由所述三维坐标和法向量构成三维点云映射图；
步骤(3)、根据上一帧的相机位姿，采用光线投影算法，计算三维模型的投影点云映射图Map1，采用最邻近点迭代算法(ICP)，利用Map1与步骤(2)计算得到的三维点云映射图Map2计算出相机的当前位姿；然后将当前帧的点云融合到三维模型中；根据模型投影得到当前相机视角下的点云，并且计算其法向量，用于对下一帧点云图像配准；
步骤(4)、若尚未完成三维空间注册，则将步骤(1)所得的彩色图像ORB特征点与模板图像ORB特征点进行FLANN特征匹配，得到模板图像在原始彩色图像所对应的区域，通过彩色图像与步骤(2)三维点云映射图的对应关系，计算模板图像在相机坐标系的三维空间坐标，再根据步骤(3)相机位姿，将该坐标变换到三维场景坐标系，完成三维空间注册；
步骤(5)、根据步骤(3)得到的相机姿态和步骤(4)得到虚拟物体空间注册位置，实时处理虚拟物体和三维场景的空间位置和遮挡关系，对虚拟物体的渲染图像结果与彩色图像融合。
2.根据权利要求1所述的基于深度图像数据流的虚实遮挡处理方法，其特征在于：所述步骤(4)中，通过快速计算ORB图像特征，然后进行FLANN特征匹配，对匹配的结果采用KNN筛选匹配点，其中KNN的最邻近匹配参数K为4，再通过单应性变换矩阵进行目标定位。
3.根据权利要求1所述的基于深度图像数据流的虚实遮挡处理方法，其特征在于：所述步骤(5)中，为了实现场景模型对虚拟物体的遮挡效果，先将OpenGL环境的颜色缓冲区设为黑色，同时设置场景模型的材质混合光颜色为透明，并开启深度测试，采用RTT技术与彩色图像融合。
CN201710654653.5A 2017-08-03 2017-08-03 一种基于深度图像数据流的虚实遮挡处理方法 Active CN107292965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710654653.5A CN107292965B (zh) 2017-08-03 2017-08-03 一种基于深度图像数据流的虚实遮挡处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710654653.5A CN107292965B (zh) 2017-08-03 2017-08-03 一种基于深度图像数据流的虚实遮挡处理方法

Publications (2)

Publication Number Publication Date
CN107292965A CN107292965A (zh) 2017-10-24
CN107292965B true CN107292965B (zh) 2020-10-13

Family

ID=60104337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710654653.5A Active CN107292965B (zh) 2017-08-03 2017-08-03 一种基于深度图像数据流的虚实遮挡处理方法

Country Status (1)

Country Link
CN (1) CN107292965B (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107845134B (zh) * 2017-11-10 2020-12-29 浙江大学 一种基于彩色深度相机的单个物体的三维重建方法
CN108230437B (zh) * 2017-12-15 2021-11-09 深圳市商汤科技有限公司 场景重建方法和装置、电子设备、程序和介质
CN108052914A (zh) * 2017-12-21 2018-05-18 中国科学院遥感与数字地球研究所 一种基于slam和图像识别的森林林木资源调查方法
TWI708210B (zh) * 2017-12-25 2020-10-21 宏達國際電子股份有限公司 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體
CN108320330A (zh) * 2018-01-23 2018-07-24 河北中科恒运软件科技股份有限公司 基于深度视频流的实时三维模型重建方法及系统
CN108428255B (zh) * 2018-02-10 2022-04-12 台州智必安科技有限责任公司 一种基于无人机的实时三维重建方法
CN108550181B (zh) * 2018-03-12 2020-07-31 中国科学院自动化研究所 移动设备上在线跟踪与稠密重建方法、系统及设备
CN108491081B (zh) * 2018-03-23 2020-09-25 联想(北京)有限公司 一种基于神经网络的数据处理方法及装置
CN108876897B (zh) * 2018-04-20 2022-10-18 杭州电子科技大学 快速运动下的场景三维重建方法
CN108735052B (zh) * 2018-05-09 2021-01-08 北京航空航天大学青岛研究院 一种基于slam的增强现实自由落体实验方法
CN108734772A (zh) * 2018-05-18 2018-11-02 宁波古德软件技术有限公司 基于Kinect fusion的高精度深度图像获取方法
CN108830804B (zh) * 2018-05-23 2023-03-10 长春理工大学 基于线扩展函数标准差的虚实融合模糊一致性处理方法
CN110554770A (zh) * 2018-06-01 2019-12-10 苹果公司 静态遮挡物
CN110659547B (zh) * 2018-06-29 2023-07-14 比亚迪股份有限公司 物体识别方法、装置、车辆和计算机可读存储介质
CN109147025B (zh) * 2018-07-11 2023-07-18 北京航空航天大学 一种面向rgbd三维重建的纹理生成方法
US10991079B2 (en) * 2018-08-14 2021-04-27 Nvidia Corporation Using previously rendered scene frames to reduce pixel noise
CN109242954B (zh) * 2018-08-16 2022-12-16 叠境数字科技（上海）有限公司 基于模板变形的多视角三维人体重建方法
CN109410133B (zh) * 2018-09-30 2021-08-24 北京航空航天大学青岛研究院 一种基于3dmm的人脸纹理修复方法
CN109491497A (zh) * 2018-10-19 2019-03-19 华中科技大学 一种基于增强现实技术的人工辅助装配应用系统
CN109584347B (zh) * 2018-12-18 2023-02-21 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
CN109685913B (zh) * 2018-12-21 2022-12-02 西安电子科技大学 基于计算机视觉定位的增强现实实现方法
CN109887030A (zh) * 2019-01-23 2019-06-14 浙江大学 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN109993793B (zh) * 2019-03-29 2021-09-07 北京易达图灵科技有限公司 视觉定位方法及装置
CN111815755B (zh) 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN110766738B (zh) * 2019-05-08 2024-03-26 叠境数字科技（上海）有限公司 基于多视角深度传感器的虚拟试鞋方法
CN110136082B (zh) 2019-05-10 2021-06-01 腾讯科技（深圳）有限公司 遮挡剔除方法、装置及计算机设备
CN110288657B (zh) * 2019-05-23 2021-05-04 华中师范大学 一种基于Kinect的增强现实三维注册方法
CN110276791B (zh) * 2019-06-28 2021-04-06 北京航空航天大学 一种参数可配置的深度相机仿真方法
CN112184916A (zh) * 2019-07-03 2021-01-05 光宝电子(广州)有限公司 平面物件的增强现实渲染方法
CN110555908B (zh) * 2019-08-28 2022-12-02 西安电子科技大学 基于室内移动目标背景修复的三维重建方法
TWI709062B (zh) * 2019-09-20 2020-11-01 財團法人資訊工業策進會 虛實疊合方法與系統
CN110931121A (zh) * 2019-11-29 2020-03-27 重庆邮电大学 一种基于Hololens的远程手术指导装置及操作方法
CN111161408B (zh) * 2019-12-27 2021-12-21 华南理工大学 一种实现增强现实的方法及其应用、计算设备
CN111260794B (zh) * 2020-01-14 2022-07-08 厦门大学 基于跨源图像匹配的户外增强现实应用方法
CN111275750B (zh) * 2020-01-19 2022-05-13 武汉大学 基于多传感器融合的室内空间全景图像生成方法
CN113139910B (zh) * 2020-01-20 2022-10-18 复旦大学 一种视频补全方法
CN111598946B (zh) * 2020-03-16 2023-03-21 华南理工大学 一种物体位姿测量方法、装置及存储介质
CN111563961B (zh) * 2020-05-11 2023-08-22 南方电网科学研究院有限责任公司 一种变电站的三维建模方法和相关装置
CN112053447B (zh) * 2020-07-29 2022-10-25 清华大学 一种增强现实三维注册方法及装置
CN111915741A (zh) * 2020-08-13 2020-11-10 广东申义实业投资有限公司 一种基于三维重建的vr生成器
CN114143528A (zh) * 2020-09-04 2022-03-04 北京大视景科技有限公司 多视频流融合方法、电子设备、存储介质
CN112330815A (zh) * 2020-11-26 2021-02-05 北京百度网讯科技有限公司 基于障碍物融合的三维点云数据处理方法、装置和设备
CN112580463A (zh) * 2020-12-08 2021-03-30 北京华捷艾米科技有限公司 三维人体骨架数据识别方法及装置
CN113034675A (zh) * 2021-03-26 2021-06-25 鹏城实验室 一种场景模型构建方法、智能终端及计算机可读存储介质
CN112927308B (zh) * 2021-03-26 2023-09-26 鹏城实验室 一种三维注册方法、装置、终端及计算机可读存储介质
CN113096185B (zh) * 2021-03-29 2023-06-06 Oppo广东移动通信有限公司 视觉定位方法、视觉定位装置、存储介质与电子设备
CN113066191B (zh) * 2021-04-10 2022-12-02 中国人民解放军陆军装甲兵学院 基于深度图的全息体视图视差图像的虚实融合方法及系统
CN113436304B (zh) * 2021-06-22 2023-05-23 青岛小鸟看看科技有限公司 图像渲染方法、装置及头戴式显示设备
CN113419630B (zh) * 2021-06-28 2022-12-13 西北工业大学 一种基于投影ar的自适应遮挡消除方法
CN113593049B (zh) * 2021-07-27 2023-08-04 吉林大学 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113689496B (zh) * 2021-08-06 2023-07-18 西南科技大学 一种基于vr的核辐射环境场景构建与人机交互方法
CN113870553B (zh) * 2021-08-20 2023-08-29 西安电子科技大学 一种面向混合交通流的路网运行状态检测系统及方法
CN114373041B (zh) * 2021-12-15 2024-04-02 聚好看科技股份有限公司 一种三维重建方法及设备
CN114219900B (zh) * 2022-02-21 2022-07-01 北京影创信息科技有限公司 基于混合现实眼镜的三维场景重建方法、重建系统和应用
CN114881878B (zh) * 2022-05-12 2023-07-18 厦门微图软件科技有限公司 深度图像增强方法、装置、设备及存储介质
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法
CN117541755A (zh) * 2023-12-26 2024-02-09 广州市大湾区虚拟现实研究院 一种基于rgb-d三维重建的刚性物体虚实遮挡方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442355B2 (en) * 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
EP3144898A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing Method and system for determination of intrinsic images from two dimensional images in a video sequence

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-time 3d reconstruction at scale using voxel hashing;M Nießner, M. Zollh¨ofer, S. Izadi, and M. Stamminger;《ACM Transactions on Graphics》;20131231;第32卷(第6期);全文 *
实时增强现实中运动目标及场景的跟踪注册关键问题研究;赵越;《中国博士学位论文全文数据库 信息科技辑》;20160315(第3期);全文 *

Also Published As

Publication number Publication date
CN107292965A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
AU2018292610B2 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
US11790610B2 (en) Systems and methods for selective image compositing
US20180075660A1 (en) Method and device for blurring a virtual object in a video
CN111524233A (zh) 一种静态场景动态目标的三维重建方法
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
CN110941996A (zh) 一种基于生成对抗网络的目标及轨迹增强现实方法和系统
CN110245199A (zh) 一种大倾角视频与2d地图的融合方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN112613123A (zh) 一种飞机管路ar三维注册方法及装置
CN113160421A (zh) 一种基于投影的空间式实物交互虚拟实验方法
EP2800055A1 (en) Method and system for generating a 3D model
CN108510434B (zh) 通过球幕相机进行三维建模的方法
CN110232664A (zh) 一种基于增强现实的傩面具修复方法
CN108564654B (zh) 三维大场景的画面进入方式
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
CN107274477B (zh) 一种基于三维空间表层的背景建模方法
WO2023038369A1 (en) Semantic three-dimensional (3d) building augmentation
CN113989434A (zh) 一种人体三维重建方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant