CN112365516A - 一种增强现实中虚实遮挡处理方法 - Google Patents

一种增强现实中虚实遮挡处理方法 Download PDF

Info

Publication number
CN112365516A
CN112365516A CN202011255392.8A CN202011255392A CN112365516A CN 112365516 A CN112365516 A CN 112365516A CN 202011255392 A CN202011255392 A CN 202011255392A CN 112365516 A CN112365516 A CN 112365516A
Authority
CN
China
Prior art keywords
pixel
virtual
real
image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011255392.8A
Other languages
English (en)
Other versions
CN112365516B (zh
Inventor
刘卫忠
薛静
冯卓明
刘辉斌
陶雄飞
胡作启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202011255392.8A priority Critical patent/CN112365516B/zh
Publication of CN112365516A publication Critical patent/CN112365516A/zh
Application granted granted Critical
Publication of CN112365516B publication Critical patent/CN112365516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实中虚实遮挡处理方法，包括虚实遮挡判定的方法和虚实物体遮挡渲染方法；与现有技术相比，本发明首先通过SFM算法判定虚实物体两者的遮挡关系，分离出遮挡物；然后通过建立蒙版的方法对虚实物体进行遮挡渲染，使得在增强现实系统能够实现遮挡边缘更好，准确度更高的遮挡效果。

Description

一种增强现实中虚实遮挡处理方法
技术领域
本发明涉及计算机图形学与增强现实相结合的技术领域，尤其涉及一种增强现实中虚实遮挡处理方法。
背景技术
增强现实(Augmented Reality，AR)是在虚拟现实(Virtual Reality，VR)的基础上发展起来的，是将计算机生成的虚拟物体嵌入到真实存在的现实场景中实现虚实融合的一项技术。其中，虚实遮挡处理是虚实融合的关键。主要分为两大环节：虚实物体遮挡关系判定和融合渲染。目前遮挡处理技术主要分为三类：基于三维重建、基于深度计算和基于图像分析三种方法。基于三维重建的方法，原理是对真实环境进行三维重建后，自动获取真实对象与虚拟对象三维模型之间的遮挡关系。基于深度计算的方法，前提是利用立体视觉原理获取场景的深度信息，并将深度信息储存在深度缓冲区中，在进行遮挡判断时，将真实场景的深度值也即存储在缓冲区的深度值与渲染的虚拟对象到摄像头的距离进行比较，并将此比较值作为判断虚实遮挡关系的依据。基于图像分析的方法，通过获取真实遮挡物的轮廓和人工标记的虚实位置关系，就能够对场景图像进行遮挡处理和渲染。在上述方法中，每种方法都有着各自适用的场景和缺点限制，例如计算量较大，融合渲染效果不理想等。
发明内容
本发明的目的就在于为了解决上述问题而提供一种增强现实中虚实遮挡处理方法。
本发明通过以下技术方案来实现上述目的：
本发明包括虚实遮挡判定的方法和虚实物体遮挡渲染方法；虚实遮挡判定的方法所述以下步骤：
(1)在相机初始化过程中记录初始化平移距离作为一个尺度值；
(2)分解出相机的位姿，得到两帧之间相机的运动；
(3)计算真实物体特征点的相对深度，结合初始化平移尺度得出特征点实际深度值；
(4)将虚拟物体各像素点在相机坐标系下的Z轴坐标作为虚拟物体深度值；
(5)通过比较深度值确定遮挡关系；
所述虚实物体遮挡渲染方法包括以下步骤：
(6)已知场景中真实物体与虚拟物体之间的遮挡关系，确定出遮挡物与被遮挡物；
(7)提取遮挡物轮廓；
(8)轮廓边缘优化与连接：在获取遮挡物轮廓后，对其边缘进行滤波优化，去除杂点，并对间断点进行连接；
(9)建立遮挡蒙版：遍历获取的遮挡物轮廓图片所有像素，判定像素是否位于轮廓内部，是则将该像素值设置为1，否则设为0；
(10)OpenGL模板测试：根据遮挡蒙版建立OpenGL模板缓存中的模板，设置glStencilFunc函数设置参数func为GL_EQUAL，使得模板像素值为1的像素通过测试并将此像素的RGB信息存储到颜色缓存中，未通过模板测试的像素后续进行深度测试，从而绘制出遮挡物；
(11)OpenGL深度测试：将深度缓存中存储的各像素深度值设置为一个相对较大值(far)，对未通过模板测试的像素，将通过SFM计算的像素深度值与此像素存储在深度缓存中的深度值进行比较，glDepthFunc函数变量设为GL_LESS，此时像素深度值若小于存储在深度缓存中的值，则用计算得到的像素深度值更新深度缓存，并将此通过深度测试的像素的RGB信息存储到颜色缓存中，从而绘制出遮挡物以外像素。
进一步，所述步骤(1)中具体为：在相机标定求解相机内参的过程中，记录下相机在场景中平移的实际距离，与通过计算得出的相机的平移向量进行映射，得出一个尺度值。
进一步，所述步骤(2)中具体为：将相机第一帧图像所在坐标系设为世界坐标系OwXwYwZw，后续对相机拍摄的真实物体图像帧OcXcYcZc进行ORB特征提取和匹配，求取每个图像帧相对于第一帧所对应的变换矩阵，从而分解出相机的位姿，得到式(1)中的旋转矩阵R和平移向量t，得到两帧之间相机的运动；
Figure BDA0002772958400000031
进一步，所述步骤(3)中具体为：根据第二个步骤中所得到的变换矩阵和三角测量原理，利用公式(2)可计算真实物体特征点的相对深度s1和s2，结合初始化平移尺度s得出特征点实际深度值，在对真实物体提取特征时，应提取尽量足够多的特征点以覆盖物体表面，这样求得的特征点深度值才能作为真实物体深度来近似。
s1x1＝s2Rx2+t 式(2)
s1x1^x1＝s2x1^Rx2+x1^t 式(3)
s2x1^Rx2+x1^t＝0 式(4)。
进一步，所述步骤(5)中具体为：将处于同一视点下的虚拟物体和真实物体像素点的深度值进行比较，若虚拟物体像素深度值小于真实物体像素深度值，则为虚拟物体像素遮挡真实物体像素，否则为真实物体像素遮挡虚拟物体像素。
进一步，所述步骤(7)中具体为：在静态场景中，利用canny边缘检测算法对遮挡物进行轮廓提取，首先需要将彩色图像转化为灰度图，然后进行高斯模糊计算图像梯度，非极大值抑制和双阈值进行边缘细化和连接处理，最后输出边缘轮廓；动态场景下轮廓提取算法采用的是帧间差分法，通过检测相邻两帧图像发生改变的区域来进行差分运算，从而获取物体轮廓；
进一步，所述步骤(11)中：通过分析获取的遮挡边缘清晰度来判定实际效果，采用手动分割的基准图与所获取的蒙版图进行比对得到的均方误差和结构相似性来评价遮挡蒙版图像质量问题；
Figure BDA0002772958400000041
Figure BDA0002772958400000042
式(5)中M和N分别为图像的长宽，fij为基准图像像素值，fij'为待测图像像素值。MSE越小，表示待测图像与基准图像的差异越小，则待测图像准确度越高；MSE越大，则表示待测图像误差越大，准确度越低；
式(6)中μx和μy为图像像素，δx和δy为像素值的标准差，δxy为x与y的协方差，C1和C2为常数；SSIM是一个0到1之间的数值；SSIM值越大，表示待测图像与基准图像结构越相似，则待测图像准确度越高；SSIM值越小，表示待测图像与基准图像结构差异越大，准确度则越低。
本发明的有益效果在于：
本发明是一种增强现实中虚实遮挡处理方法，与现有技术相比，本发明首先通过SFM算法判定虚实物体两者的遮挡关系，分离出遮挡物；然后通过建立蒙版的方法对虚实物体进行遮挡渲染，使得在增强现实系统能够实现遮挡边缘更好，准确度更高的遮挡效果。
附图说明
图1虚实遮挡判定流程图；
图2虚实遮挡渲染流程图。
具体实施方式
下面结合附图对本发明作进一步说明：
首先通过SFM算法判定虚实物体两者的遮挡关系，分离出遮挡物；然后通过建立蒙版的方法对虚实物体进行遮挡渲染，使得在增强现实系统能够实现遮挡边缘更好，准确度更高的遮挡效果。
如图1所示：为实现上述目的，本发明一方面是提供一种虚实遮挡判定的方法，步骤如下：
(1)在相机初始化过程中记录初始化平移距离作为一个尺度值，具体做法为在相机标定求解相机内参的过程中，记录下相机在场景中平移的实际距离，与通过计算得出的相机的平移向量进行映射，得出一个尺度值；
(2)将相机第一帧图像所在坐标系设为世界坐标系OwXwYwZw，后续对相机拍摄的真实物体图像帧OcXcYcZc进行ORB特征提取和匹配，求取每个图像帧相对于第一帧所对应的变换矩阵，从而分解出相机的位姿，得到式(1)中的旋转矩阵R和平移向量t，得到两帧之间相机的运动；
Figure BDA0002772958400000051
(3)根据第二个步骤中所得到的变换矩阵和三角测量原理，利用公式(2)可计算真实物体特征点的相对深度s1和s2，结合初始化平移尺度s得出特征点实际深度值，在对真实物体提取特征时，应提取尽量足够多的特征点以覆盖物体表面，这样求得的特征点深度值才能作为真实物体深度来近似。
s1x1＝s2Rx2+t 式(2)
s1x1^x1＝s2x1^Rx2+x1^t 式(3)
s2x1^Rx2+x1^t＝0 式(4)
(4)将虚拟物体各像素点在相机坐标系下的Z轴坐标作为虚拟物体深度值；
(5)通过比较深度值确定遮挡关系。将处于同一视点下的虚拟物体和真实物体像素点的深度值进行比较，若虚拟物体像素深度值小于真实物体像素深度值，则为虚拟物体像素遮挡真实物体像素，否则为真实物体像素遮挡虚拟物体像素。
如图2所示：本发明一种虚实物体遮挡渲染方法，步骤如下：
(6)首先是已知场景中真实物体与虚拟物体之间的遮挡关系，确定出遮挡物与被遮挡物。
(7)提取遮挡物轮廓。在静态场景中，利用canny边缘检测算法对遮挡物进行轮廓提取，首先需要将彩色图像转化为灰度图，然后进行高斯模糊计算图像梯度，非极大值抑制和双阈值进行边缘细化和连接处理，最后输出边缘轮廓；动态场景下轮廓提取算法采用的是帧间差分法，通过检测相邻两帧图像发生改变的区域来进行差分运算，从而获取物体轮廓。
(8)轮廓边缘优化与连接。在获取遮挡物轮廓后，对其边缘进行滤波优化，去除杂点，并对间断点进行连接。
(9)建立遮挡蒙版。遍历获取的遮挡物轮廓图片所有像素，判定像素是否位于轮廓内部，是则将该像素值设置为1，否则设为0。
(10)OpenGL模板测试。根据遮挡蒙版建立OpenGL模板缓存中的模板，设置glStencilFunc函数设置参数func为GL_EQUAL，使得模板像素值为1的像素通过测试并将此像素的RGB信息存储到颜色缓存中，未通过模板测试的像素后续进行深度测试，从而绘制出遮挡物。
(11)OpenGL深度测试。将深度缓存中存储的各像素深度值设置为一个相对较大值(far)，对未通过模板测试的像素，将通过SFM计算的像素深度值与此像素存储在深度缓存中的深度值进行比较，glDepthFunc函数变量设为GL_LESS，此时像素深度值若小于存储在深度缓存中的值，则用计算得到的像素深度值更新深度缓存，并将此通过深度测试的像素的RGB信息存储到颜色缓存中，从而绘制出遮挡物以外像素。
通过分析获取的遮挡边缘清晰度来判定实际效果，采用手动分割的基准图与所获取的蒙版图进行比对得到的均方误差(Mean Squared Error，MSE)和结构相似性(Structural SIMilarity，SSIM)来评价遮挡蒙版图像质量问题。
Figure BDA0002772958400000071
Figure BDA0002772958400000072
式(5)中M和N分别为图像的长宽，fij为基准图像像素值，fij'为待测图像像素值。MSE越小，表示待测图像与基准图像的差异越小，则待测图像准确度越高；MSE越大，则表示待测图像误差越大，准确度越低。
式(6)中μx和μy为图像像素，δx和δy为像素值的标准差，δxy为x与y的协方差，C1和C2为常数。SSIM是一个0到1之间的数值。SSIM值越大，表示待测图像与基准图像结构越相似，则待测图像准确度越高；SSIM值越小，表示待测图像与基准图像结构差异越大，准确度则越低。
本发明在有标记和无标记两类AR系统上，与现有方法相比，MSE值更小且SSIM值更大，因此能够获取遮挡边缘更好，准确度更高的渲染效果。
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种增强现实中虚实遮挡处理方法，其特征在于，包括虚实遮挡判定的方法和虚实物体遮挡渲染方法；虚实遮挡判定的方法所述以下步骤：
(1)在相机初始化过程中记录初始化平移距离作为一个尺度值；
(2)分解出相机的位姿，得到两帧之间相机的运动；
(3)计算真实物体特征点的相对深度，结合初始化平移尺度得出特征点实际深度值；
(4)将虚拟物体各像素点在相机坐标系下的Z轴坐标作为虚拟物体深度值；
(5)通过比较深度值确定遮挡关系；
所述虚实物体遮挡渲染方法包括以下步骤：
(6)已知场景中真实物体与虚拟物体之间的遮挡关系，确定出遮挡物与被遮挡物；
(7)提取遮挡物轮廓；
(8)轮廓边缘优化与连接：在获取遮挡物轮廓后，对其边缘进行滤波优化，去除杂点，并对间断点进行连接；
(9)建立遮挡蒙版：遍历获取的遮挡物轮廓图片所有像素，判定像素是否位于轮廓内部，是则将该像素值设置为1，否则设为0；
(10)OpenGL模板测试：根据遮挡蒙版建立OpenGL模板缓存中的模板，设置glStencilFunc函数设置参数func为GL_EQUAL，使得模板像素值为1的像素通过测试并将此像素的RGB信息存储到颜色缓存中，未通过模板测试的像素后续进行深度测试，从而绘制出遮挡物；
(11)OpenGL深度测试：将深度缓存中存储的各像素深度值设置为一个相对较大值(far)，对未通过模板测试的像素，将通过SFM计算的像素深度值与此像素存储在深度缓存中的深度值进行比较，glDepthFunc函数变量设为GL_LESS，此时像素深度值若小于存储在深度缓存中的值，则用计算得到的像素深度值更新深度缓存，并将此通过深度测试的像素的RGB信息存储到颜色缓存中，从而绘制出遮挡物以外像素。
2.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(1)中具体为：在相机标定求解相机内参的过程中，记录下相机在场景中平移的实际距离，与通过计算得出的相机的平移向量进行映射，得出一个尺度值。
3.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(2)中具体为：将相机第一帧图像所在坐标系设为世界坐标系OwXwYwZw，后续对相机拍摄的真实物体图像帧OcXcYcZc进行ORB特征提取和匹配，求取每个图像帧相对于第一帧所对应的变换矩阵，从而分解出相机的位姿，得到式(1)中的旋转矩阵R和平移向量t，得到两帧之间相机的运动；
Figure FDA0002772958390000021
4.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(3)中具体为：根据第二个步骤中所得到的变换矩阵和三角测量原理，利用公式(2)可计算真实物体特征点的相对深度s1和s2，结合初始化平移尺度s得出特征点实际深度值，在对真实物体提取特征时，应提取尽量足够多的特征点以覆盖物体表面，这样求得的特征点深度值才能作为真实物体深度来近似。
s1x1＝s2Rx2+t 式(2)
s1x1 ∧x1＝s2x1 ∧Rx2+x1 ∧t 式(3)
s2x1 ∧Rx2+x1 ∧t＝0 式(4)。
5.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(5)中具体为：将处于同一视点下的虚拟物体和真实物体像素点的深度值进行比较，若虚拟物体像素深度值小于真实物体像素深度值，则为虚拟物体像素遮挡真实物体像素，否则为真实物体像素遮挡虚拟物体像素。
6.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(7)中具体为：在静态场景中，利用canny边缘检测算法对遮挡物进行轮廓提取，首先需要将彩色图像转化为灰度图，然后进行高斯模糊计算图像梯度，非极大值抑制和双阈值进行边缘细化和连接处理，最后输出边缘轮廓；动态场景下轮廓提取算法采用的是帧间差分法，通过检测相邻两帧图像发生改变的区域来进行差分运算，从而获取物体轮廓。
7.根据权利要求1所述的增强现实中虚实遮挡处理方法，其特征在于：所述步骤(11)中：通过分析获取的遮挡边缘清晰度来判定实际效果，采用手动分割的基准图与所获取的蒙版图进行比对得到的均方误差和结构相似性来评价遮挡蒙版图像质量问题；
Figure FDA0002772958390000031
Figure FDA0002772958390000032
式(5)中M和N分别为图像的长宽，fij为基准图像像素值，fij'为待测图像像素值。MSE越小，表示待测图像与基准图像的差异越小，则待测图像准确度越高；MSE越大，则表示待测图像误差越大，准确度越低；
式(6)中μx和μy为图像像素，δx和δy为像素值的标准差，δxy为x与y的协方差，C1和C2为常数；SSIM是一个0到1之间的数值；SSIM值越大，表示待测图像与基准图像结构越相似，则待测图像准确度越高；SSIM值越小，表示待测图像与基准图像结构差异越大，准确度则越低。
CN202011255392.8A 2020-11-11 2020-11-11 一种增强现实中虚实遮挡处理方法 Active CN112365516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011255392.8A CN112365516B (zh) 2020-11-11 2020-11-11 一种增强现实中虚实遮挡处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011255392.8A CN112365516B (zh) 2020-11-11 2020-11-11 一种增强现实中虚实遮挡处理方法

Publications (2)

Publication Number Publication Date
CN112365516A true CN112365516A (zh) 2021-02-12
CN112365516B CN112365516B (zh) 2022-09-27

Family

ID=74515979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255392.8A Active CN112365516B (zh) 2020-11-11 2020-11-11 一种增强现实中虚实遮挡处理方法

Country Status (1)

Country Link
CN (1) CN112365516B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409231A (zh) * 2021-06-10 2021-09-17 杭州易现先进科技有限公司 一种基于深度学习的ar人像拍照方法和系统
CN113947549A (zh) * 2021-10-22 2022-01-18 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN104539925A (zh) * 2014-12-15 2015-04-22 北京邮电大学 基于深度信息的三维场景增强现实的方法及系统
TWI526992B (zh) * 2015-01-21 2016-03-21 國立清華大學 擴充實境中基於深度攝影機之遮蔽效果優化方法
CN107909652A (zh) * 2017-11-10 2018-04-13 上海电机学院 一种虚实场景相互遮挡实现方法
CN108830940A (zh) * 2018-06-19 2018-11-16 广东虚拟现实科技有限公司 遮挡关系处理方法、装置、终端设备及存储介质
CN109584347A (zh) * 2018-12-18 2019-04-05 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
US20200211206A1 (en) * 2018-12-27 2020-07-02 Baidu Usa Llc Joint learning of geometry and motion with three-dimensional holistic understanding
CN111768452A (zh) * 2020-06-30 2020-10-13 天津大学 一种基于深度学习的非接触式自动贴图方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN104539925A (zh) * 2014-12-15 2015-04-22 北京邮电大学 基于深度信息的三维场景增强现实的方法及系统
TWI526992B (zh) * 2015-01-21 2016-03-21 國立清華大學 擴充實境中基於深度攝影機之遮蔽效果優化方法
CN107909652A (zh) * 2017-11-10 2018-04-13 上海电机学院 一种虚实场景相互遮挡实现方法
CN108830940A (zh) * 2018-06-19 2018-11-16 广东虚拟现实科技有限公司 遮挡关系处理方法、装置、终端设备及存储介质
CN109584347A (zh) * 2018-12-18 2019-04-05 重庆邮电大学 一种基于主动表观模型的增强现实虚实遮挡处理方法
US20200211206A1 (en) * 2018-12-27 2020-07-02 Baidu Usa Llc Joint learning of geometry and motion with three-dimensional holistic understanding
CN111768452A (zh) * 2020-06-30 2020-10-13 天津大学 一种基于深度学习的非接触式自动贴图方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GHEORGHE C 等: "Occlusion management in augmented realitysystems for machine-tools", 《INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION》 *
YUAN TIAN 等: "Handling occlusions in augmented reality based on 3D reconstruction method", 《NEUROCOMPUTING》 *
康波: "一种增强现实虚实遮挡的实时处理方法", 《系统仿真学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409231A (zh) * 2021-06-10 2021-09-17 杭州易现先进科技有限公司 一种基于深度学习的ar人像拍照方法和系统
CN113947549A (zh) * 2021-10-22 2022-01-18 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品
CN113947549B (zh) * 2021-10-22 2022-10-25 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品

Also Published As

Publication number Publication date
CN112365516B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN107833270B (zh) 基于深度相机的实时物体三维重建方法
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN109544456B (zh) 基于二维图像和三维点云数据融合的全景环境感知方法
CN113313815B (zh) 一种机械臂抓取物体实时三维重建方法
US20090028432A1 (en) Segmentation of Video Sequences
CN107622480B (zh) 一种Kinect深度图像增强方法
CN107240073B (zh) 一种基于梯度融合与聚类的三维视频图像修复方法
CN113744337B (zh) 一种融合视觉、imu与声纳的同步定位与建图方法
CN112365516B (zh) 一种增强现实中虚实遮挡处理方法
CN109242959B (zh) 三维场景重建方法及系统
CN110570435B (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN110544300B (zh) 一种基于二维手绘图像特征自动生成三维模型的方法
CN112258658A (zh) 一种基于深度相机的增强现实可视化方法及应用
CN111242864A (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
WO2015181179A1 (en) Method and apparatus for object tracking and segmentation via background tracking
CN110555908A (zh) 基于室内移动目标背景修复的三维重建方法
CN112070736B (zh) 一种结合目标检测和深度计算的物体体积视觉测量方法
CN113971669A (zh) 应用于管道损伤识别的三维检测系统
CN113313116A (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN111160362B (zh) 一种fast特征均匀化提取与帧间特征误匹配去除方法
CN112288726B (zh) 一种井下带式输送机带面异物检测方法
Nouduri et al. Deep realistic novel view generation for city-scale aerial images
CN113643290B (zh) 一种基于图像处理的吸管计数方法、装置及存储介质
CN115147764A (zh) 一种基于多目视觉的管模螺栓识别定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant