CN111899293A - Ar应用中的虚实遮挡处理方法 - Google Patents

Ar应用中的虚实遮挡处理方法 Download PDF

Info

Publication number
CN111899293A
CN111899293A CN202011049649.4A CN202011049649A CN111899293A CN 111899293 A CN111899293 A CN 111899293A CN 202011049649 A CN202011049649 A CN 202011049649A CN 111899293 A CN111899293 A CN 111899293A
Authority
CN
China
Prior art keywords
depth
camera
human body
map
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011049649.4A
Other languages
English (en)
Other versions
CN111899293B (zh
Inventor
罗天
何金龙
袁霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN202011049649.4A priority Critical patent/CN111899293B/zh
Publication of CN111899293A publication Critical patent/CN111899293A/zh
Application granted granted Critical
Publication of CN111899293B publication Critical patent/CN111899293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明公开了一种AR应用中的虚实遮挡处理方法，包括步骤：将深度相机下的离散人体深度图配准到主摄像机下进行稠密化处理后生成人体深度图；加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图来显示虚拟物体像素或真实人体像素等；本发明能够实时地输出目标真实物体和虚拟物之间精细的遮挡效果，不仅能够适用于真实物体遮挡虚拟物体的应用场景，而且能够达到部分遮挡的复杂效果，同时还能够最大程度保持边缘细节，对AR系统的真实性感观，提供了可靠的技术保障。

Description

AR应用中的虚实遮挡处理方法
技术领域
本发明涉及AR技术领域，更为具体的，涉及一种AR应用中的虚实遮挡处理方法。
背景技术
随着视频技术的发展，图像深度估计算法、三维重建工程以及立体视觉硬件系统的日趋完善。AR(增强现实)技术在以上理论和技术基础上能够构建更加真实和丰富沉浸感的虚拟体验，它可以应用于游戏行业、医疗行业、虚拟演播室等。AR技术的核心就是表达一个虚实交互的过程，能够正确地反映真实场景和虚拟物体的空间关系是这一项技术的关键，AR中的遮挡处理问题求解就是从无到有地构建虚和实现在当前相机视角下的成像位置关系。构建遮挡处理关系的重点在于实体的深度估计、虚实之间的边缘融合、以及相机配准等相关流程。发展至今，主要存在以下几类解决方案：
1）现有的一些虚拟演播技术能够实现一些简单的遮挡处理关系，但是他们大多数只能够通过简单的场景标定和贴图过程的方式将虚拟物体放置在比真实物体更靠近镜头的位置。这种方式只能够实现虚拟物体遮挡处理真实物体的情形，其应用的单一性已经不能满足各行业日益增长的需求。
2）随着抠像技术的成熟，以及它在虚拟演播室中的广泛应用，一些基于人物面片的遮挡处理技术问世并被各种产品采纳。这种方式能够很好地解决方案1）中不能实现实体遮挡处理虚拟物体的问题，但是由于人物数据是面片形式，缺少局部深度信息，完成更加精细的虚实交互存在一定难度。
3）虚实遮挡处理效果的精度与真实场景的三维化程度成正比例关系，一些技术方案通常采用稠密三维重建的方式对场景进行三维重构，在获得完整的深度信息之后，便能够实现比较精细的遮挡处理效果。但是稠密重建的数据量大、运算复杂等特点，使得这项技术在AR应用中基本上达不到实时。
针对AR中的遮挡处理问题，每条技术路线具备相应的衍生算法或技术、预处理以及后处理过程。基本框架涵盖多视图几何问题、计算成像体系以及二维图像处理等相关技术，如何设计和组合这些算法或流程是开发一个高效的AR虚实遮挡处理应用的前提。技术方案的选择和设计应综合考虑硬件成本、开发成本、算法实现难易程度、算法鲁棒性等因素。
发明内容
本发明的目的在于克服现有技术的不足，提供一种AR应用中的虚实遮挡处理方法，能够实时地输出目标真实物体和虚拟物之间精细的遮挡效果，不仅能够适用于真实物体遮挡虚拟物体的应用场景，而且能够达到部分遮挡的复杂效果，同时还能够最大程度保持边缘细节，对AR系统的真实性感观，提供了可靠的技术保障。
本发明的目的是通过以下方案实现的：
一种AR应用中的虚实遮挡处理方法，包括步骤：
将深度相机下的离散人体深度图配准到主摄像机下进行稠密化处理后生成人体深度图；
加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；
通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图显示虚拟物体像素或真实人体像素。
进一步的，采用卷积方式填充满离散化的深度坐标周边的空洞像素点得到稠密的人体区域且对应填充位置上的深度值由周边邻域共同决定，生成稠密化后的所述人体深度图。
进一步的，对人体深度图
Figure 686885DEST_PATH_IMAGE001
、主摄像机RGB的梯度图
Figure 230999DEST_PATH_IMAGE002
和配 准遮罩图
Figure 582345DEST_PATH_IMAGE003
分别赋予权重
Figure 793884DEST_PATH_IMAGE004
映射融合得到最终人体遮罩图
Figure 205274DEST_PATH_IMAGE005
；
Figure 236684DEST_PATH_IMAGE006
（1）
其中，
Figure 126142DEST_PATH_IMAGE007
。
进一步的，将真实人体和虚拟物体在同一像素坐标下的深度值的差值
Figure 192187DEST_PATH_IMAGE008
作为融合 权重加入到像素值生成中。
进一步的，当
Figure 774478DEST_PATH_IMAGE008
大于最大阈值
Figure 168551DEST_PATH_IMAGE009
或者小于最小阈值
Figure 720755DEST_PATH_IMAGE010
时，选择深度 值小的rgb填充于最终遮挡渲染图的对应坐标上；当
Figure 782252DEST_PATH_IMAGE011
，选择虚 实物体两端的rgb信息共同参与得到融合的颜色信息。
进一步的，还包括相机配准步骤：在深度相机和主摄像机的棋盘格图中提取角点信息，建立对应的匹配关系并进行深度相机内部配准，求解深度相机和主摄像机之间的位置关系，基于位置关系将深度相机的深度数据转换到主摄像机坐标系下，然后投影到二维幅面上与虚拟物体的深度值进行逐像素比较。
进一步的，包括步骤：
S1，角点检测，分别对主摄像机和深度相机下的棋盘格图像提取角点坐标；
S2，角点匹配，通过顺序、数量和方向对坐标数值标进行限制以及排序，然后使得主摄像机和深度相机的角点坐标一一对应；
S3，深度相机设备内部配准，由于其深度相机和RGB相机的内参以及他们之间的旋转平 移关系已知，通过求解公式（1）计算得到深度相机坐标系下的角点三维坐标
Figure 660078DEST_PATH_IMAGE012
；
Figure 541446DEST_PATH_IMAGE013
其中，
Figure 897341DEST_PATH_IMAGE014
是相机的内参，
Figure 813344DEST_PATH_IMAGE015
是深度相机下的对应的角点像素坐标；
S4，主摄像机与深度相机的位置关系求解，将深度相机的坐标系当作世界坐标系，即
Figure 867931DEST_PATH_IMAGE016
，通过PnP的方法求解旋转矩阵
Figure 236596DEST_PATH_IMAGE017
和平移矩阵
Figure 396182DEST_PATH_IMAGE018
，
Figure 166691DEST_PATH_IMAGE019
其中，
Figure 261686DEST_PATH_IMAGE020
是主摄像机相机下对应的角点坐标，
Figure 242281DEST_PATH_IMAGE021
是主摄像 机的内参矩阵；基于旋转矩阵
Figure 815345DEST_PATH_IMAGE022
和平移矩阵
Figure 830574DEST_PATH_IMAGE023
实时地将深度相机的深度数据转换到主摄 像机坐标系下，然后实时投影到二维幅面上实时与虚拟物体的深度值进行逐像素比较。
进一步的，包括数据源输入步骤，在该步骤中基于深度学习算法构建深度学习模型训练数据，且仅在深度图像中进行人体区域预测，获得人体解析结果数据。
进一步的，获得人体解析数据后，包括后处理步骤：
将对应像素坐标下的人体深度值进行索引，生成对应的人体深度图
Figure 96470DEST_PATH_IMAGE024
；
对人体深度图
Figure 298781DEST_PATH_IMAGE024
进行平滑滤波后将深度相机下的离散人体深度图转换到主摄 像机下。
进一步的，平滑滤波包括中值滤波、高斯滤波中的任一种。
本发明的有益效果是：
（1）本发明能够实时地输出目标真实物体和虚拟物之间精细的遮挡效果，不仅能够适用于真实物体遮挡虚拟物体的应用场景，而且能够达到部分遮挡的复杂效果，同时还能够最大程度保持边缘细节，对AR系统的真实性感观提供了可靠的技术保障。
（2）本发明不仅充分利用了不同设备的数据，增加可用数据的多样性，而且在生成最终遮挡效果图过程中，通过改变虚实边缘融合的策略，解决了逐像素遮挡判断过程中存在的武断性。
（3）本发明中相机配准技术结合多视角几何理论，同时利用开发成本低及数据获取容易地深度相机，合理地将深度数据和主成像设备RGB信息配准，解决了单目视觉深度缺失以及双目视觉深度估计复杂等问题，为AR应用中的遮挡技术提供了一种可行的新技术思路。
（4）本发明借助深度相机设备，不需要额外的计算成本，能够在线地完成虚拟现实应用，同时在遮挡过程中使得虚实物体在输出图像上保持准确的成像关系和逼真的遮挡效果。
（5）本发明在遮挡效果图的生成中公开了一套新的融合思路，使得AR的遮挡效果更加逼真。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的框架示意图；
图2为本发明的彩色图像与深度数据对齐过程示意图；
图3为本发明的稠密化处理效果图；
图4为本发明的相机配准标定板；
图5为本发明的人体解析处理效果图；
图6为本发明的方法步骤流程图。
具体实施方式
本说明书中所有实施例公开的所有特征（包括任何附加权利要求、摘要和附图），或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合或替换。
如图1~6所示，一种AR应用中的虚实遮挡处理方法，包括步骤：
将深度相机下的离散人体深度图配准到主摄像机下进行稠密化处理后生成人体深度图；
加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；
通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图显示虚拟物体像素或真实人体像素。
进一步的，采用卷积方式填充满离散化的深度坐标周边的空洞像素点得到稠密的人体区域且对应填充位置上的深度值由周边邻域共同决定，生成稠密化后的所述人体深度图。
进一步的，对人体深度图
Figure 941115DEST_PATH_IMAGE001
、主摄像机RGB的梯度图
Figure 545272DEST_PATH_IMAGE002
和配 准遮罩图
Figure 716490DEST_PATH_IMAGE003
分别赋予权重
Figure 671677DEST_PATH_IMAGE004
映射融合得到最终人体遮罩图
Figure 586543DEST_PATH_IMAGE005
；
Figure 310786DEST_PATH_IMAGE006
（1）
其中，
Figure 918485DEST_PATH_IMAGE007
。
进一步的，将真实人体和虚拟物体在同一像素坐标下的深度值的差值
Figure 95388DEST_PATH_IMAGE008
作为融合 权重加入到像素值生成中。
进一步的，当
Figure 813945DEST_PATH_IMAGE008
大于最大阈值
Figure 392694DEST_PATH_IMAGE009
或者小于最小阈值
Figure 905715DEST_PATH_IMAGE010
时，选择深度 值小的rgb填充于最终遮挡渲染图的对应坐标上；当
Figure 569915DEST_PATH_IMAGE011
，选择虚 实物体两端的rgb信息共同参与得到融合的颜色信息。
进一步的，还包括相机配准步骤：在深度相机和主摄像机的棋盘格图中提取角点信息，建立对应的匹配关系并进行深度相机内部配准，求解深度相机和主摄像机之间的位置关系，基于位置关系将深度相机的深度数据转换到主摄像机坐标系下，然后投影到二维幅面上与虚拟物体的深度值进行逐像素比较。
进一步的，包括步骤：
S1，角点检测，分别对主摄像机和深度相机下的棋盘格图像提取角点坐标；
S2，角点匹配，通过顺序、数量和方向对坐标数值标进行限制以及排序，然后使得主摄像机和深度相机的角点坐标一一对应；
S3，深度相机设备内部配准，由于其深度相机和RGB相机的内参以及他们之间的旋转平 移关系已知，通过求解公式（1）计算得到深度相机坐标系下的角点三维坐标
Figure 92163DEST_PATH_IMAGE012
；
Figure 525418DEST_PATH_IMAGE013
其中，
Figure 474920DEST_PATH_IMAGE014
是相机的内参，
Figure 626415DEST_PATH_IMAGE015
是深度相机下的对应的角点像素坐标；
S4，主摄像机与深度相机的位置关系求解，将深度相机的坐标系当作世界坐标系，即
Figure 952354DEST_PATH_IMAGE016
，通过PnP的方法求解旋转矩阵
Figure 240116DEST_PATH_IMAGE017
和平移矩阵
Figure 360519DEST_PATH_IMAGE018
，
Figure 999311DEST_PATH_IMAGE019
其中，
Figure 128941DEST_PATH_IMAGE020
是主摄像机相机下对应的角点坐标，
Figure 146575DEST_PATH_IMAGE021
是主摄像 机的内参矩阵；基于旋转矩阵
Figure 828092DEST_PATH_IMAGE022
和平移矩阵
Figure 563967DEST_PATH_IMAGE023
实时地将深度相机的深度数据转换到主摄 像机坐标系下，然后实时投影到二维幅面上实时与虚拟物体的深度值进行逐像素比较。
进一步的，包括数据源输入步骤，在该步骤中基于深度学习算法构建深度学习模型训练数据，且仅在深度图像中进行人体区域预测，获得人体解析结果数据。
进一步的，获得人体解析数据后，包括后处理步骤：
将对应像素坐标下的人体深度值进行索引，生成对应的人体深度图
Figure 108342DEST_PATH_IMAGE024
；
对人体深度图
Figure 246062DEST_PATH_IMAGE024
进行平滑滤波后将深度相机下的离散人体深度图转换到主摄 像机下。
进一步的，平滑滤波包括中值滤波、高斯滤波中的任一种。
本发明的进一步阐述：
本发明提供了一种AR应用中的虚实遮挡方法技术，此方法能够实时地输出目标真实物体和虚拟物之间精细的遮挡效果，不仅能够适用于真实物体遮挡虚拟物体的应用场景，而且能够达到部分遮挡的复杂效果，同时还能够最大程度保持边缘细节。此方法对AR系统的真实性感观提供了可靠的技术保障。
本发明AR虚实遮挡技术主要包含以下几个功能和数据模块：相机配准、人体解析、彩色图像与深度数据对齐，整个系统框架如图1所示，其中相机配准模块是寻找两个设备之间的关系；人体解析目的是输出人体深度信息及遮罩图；彩色图像与深度对齐模块将所有数据转换到主成像设备中经过处理显示最终的虚实渲染图像。
彩色图像与深度数据对齐
本技术方案中彩色图像与深度数据的对齐工作，即相机配准操作，它的目的是将深度相机与主相机进行数据关联。
首先，在主摄像机下将对应的人体RGB数据分割出来，然后与虚拟物体在对应坐标 下进行深度比较，从而获得一个遮挡效果图。从设备层面分为深度相机和主摄像机，他们分 别提供最终虚拟现实效果的深度数据和颜色信息；从过程是上分为场景建模和视点位姿跟 踪，它们的关系如图2所示，深度相机下的人体深度图
Figure 98480DEST_PATH_IMAGE025
配准到主摄像机下，生成人体 遮罩图
Figure 321651DEST_PATH_IMAGE026
及深度图
Figure 917718DEST_PATH_IMAGE027
的过程是一个2D-3D-2D的过程，由于两个相机设备的内参 信息、视口等参数不一样，使得主摄像机获得的人体深度图是一个离散的状态，稠密化是这 一模块必要的操作，如图3所示。
经过稠密化的深度图在主摄像机下本身就具备了图像遮罩的功能，为了提高最终 遮挡的准确程度以及修正边缘部分的错误分割，本发明方法还加入了配准遮罩图
Figure 909944DEST_PATH_IMAGE028
和 主摄像机RGB的梯度信息
Figure 667685DEST_PATH_IMAGE029
进行综合判断，从而对主摄像机下的人体深度数据进 行完美映射；在遮挡判断阶段，通过对应像素坐标下的深度值大小比较，生成最终的遮挡效 果遮罩图，依据这个遮罩图
Figure 378152DEST_PATH_IMAGE030
决定最终显示是虚拟物体像素还是真实的人体的像素。
大致流程如下：
1）图3中显示了转换到主摄像机下的深度点坐标信息，即离散的
Figure 512330DEST_PATH_IMAGE031
，我们采用卷 积方式填满离散化的深度坐标周边的空洞像素点，得到一个稠密的人体区域
Figure 624643DEST_PATH_IMAGE032
，对应 填充位置上的深度值的由周边邻域共同决定，最后得到稠密的人体深度图
Figure 694230DEST_PATH_IMAGE033
。
2）最后将主摄像机RGB图像的梯度图
Figure 751047DEST_PATH_IMAGE034
、配准遮罩图
Figure 564283DEST_PATH_IMAGE035
、以及人体深度 图
Figure 921315DEST_PATH_IMAGE036
分别赋予权重
Figure 896224DEST_PATH_IMAGE037
，融合得到主摄像机下的人体遮罩图
Figure 705917DEST_PATH_IMAGE038
；
Figure 57264DEST_PATH_IMAGE039
（1）
其中，
Figure 3223DEST_PATH_IMAGE040
。
3）遮挡比较过程中，只需要对遮罩图中的有效区域（遮罩图
Figure 149034DEST_PATH_IMAGE041
人体部分标记 1，其余部分为0）的深度值与虚拟物体进行大小判断，将深度值小的一端的rgb显示在最终 效果图
Figure 180444DEST_PATH_IMAGE042
对应的坐标上；
简单的二值选择是遮挡图生成的主要思想，但是针对虚实物件的边缘处，这种粗暴的 方法通常会对视觉效果的真实化产生阻碍，所以最后本发明在遮挡效果图
Figure 601061DEST_PATH_IMAGE042
的生成阶段 设计了一套新的融合思路。分析真实人体和虚拟物体在同一像素坐标下的深度值，我们把 它们之间的差值的
Figure 276893DEST_PATH_IMAGE043
作为融合权重加入到最后的像素值生成中。当
Figure 983817DEST_PATH_IMAGE044
大于最大阈值
Figure 377890DEST_PATH_IMAGE045
或者小于最小阈值
Figure 195673DEST_PATH_IMAGE046
时，这时候仅选择深度值小的rgb填充于最终遮挡渲染图的 对应坐标上，当
Figure 991591DEST_PATH_IMAGE047
，则需要将虚实物体两端的rgb信息共同参与得到融 合的颜色信息。这种方法相当于在视觉上增加了一个锐化作用，使得AR的遮挡效果更加逼 真。
相机配准
基于开发成本和深度估计准确度的综合考量，本发明的硬件系统除主摄像机之外，额外增加了深度相机，它作为深度数据捕获设备加入整个AR解决方案。由于最终的图像由主摄像机的成像坐标系决定，因此需要将两个相机设备（主摄像机和深度相机）进行几何上的关联，配准就是本技术方案必要的预处理模块。
配准过程中需要准备如图4中的标定板，在两个相机的彩色图中提取角点信息，建立对应的匹配关系。在深度相机内部配准之后，即可以得到每个角点的三维点，然后通过类似PnP的方法求解两个相机之间的位置关系，详细步骤如下：
1) 角点检测：分别对主摄像机和深度相机下的棋盘格图像提取角点坐标。
2) 角点匹配：通过顺序、数量和方向对坐标数值标进行限制以及排序，然后使得两个相机下的角点坐标一一对应。
3) 深度相机设备内部配准：由于深度相机和RGB相机的内参以及它们之间的旋转 平移关系已知，可以通过求解公式（1）计算得到深度相机设备的深度相机坐标系下的角点 三维坐标
Figure 134996DEST_PATH_IMAGE048
，
Figure 750785DEST_PATH_IMAGE049
（2）
其中是
Figure 372259DEST_PATH_IMAGE050
相机的内参，
Figure 22684DEST_PATH_IMAGE051
是深度相机下的对应的角点像素坐标。
4) 主摄像机与深度相机的位置关系求解：默认将深度相机的坐标系当作世界坐 标系,即
Figure 212356DEST_PATH_IMAGE052
，通过PnP的方式求解公式（3）得到其旋转矩阵
Figure 705655DEST_PATH_IMAGE053
和平 移矩阵
Figure 740607DEST_PATH_IMAGE054
。
Figure 370171DEST_PATH_IMAGE055
（3）
其中，
Figure 465166DEST_PATH_IMAGE056
是主摄像机相机下对应的角点坐标，
Figure 654882DEST_PATH_IMAGE057
是主摄像机 的内参矩阵。
有了两个相机之间的平移和旋转矩阵，本发明就可以将实时地将深度相机的深度数据转换到主摄像机坐标系下，然后投影到二维幅面上，最后与虚拟物体的深度值进行逐像素比较。
人体解析
AR中经典的应用场景只需要将摄像机拍摄到的人或者其他运动主体与虚拟物件进行交互，因而不必将整个场景进行三维重构，把人作为目标进行深度估计，一方面减少了数据量，降低了运算处理的复杂度，另一方面可以更加目的性地实现虚实交互。
基于图像分类网络的启发，类似于FCN，本发明设计和改进了针对本技术方案对应的人体解析预测网络，区别在于本发明不需要RGB信息，只在深度图像中进行人体区域预测。同时，由于深度学习算法对数据的依赖性，本发明利用应用的特定性，构造相应的数据进行模型训练，最终得到的预测结果完全符合AR遮挡应用中间过程的数据要求，为后续模块提供了相对准确的输入数据，人体解析结果如图5。
人体解析之后，还需要进行一些后处理才能将其输入到后续模块：
1）解析结果只是图像的一个分类标签，因此需要将对应像素坐标下的人体深度值进行 索引，生成对应的人体深度图
Figure 618159DEST_PATH_IMAGE058
；
2）人体的深度图通常含有噪声，需要对深度图进行平滑滤波，常用的滤波方法，例如中值滤波、高斯滤波等都可以用于本模块的处理；
结合相机配准中配准的信息，通过公式（1）和（2）将深度相机下的人体深度数据
Figure 243175DEST_PATH_IMAGE058
转换到主摄像机下
Figure 633705DEST_PATH_IMAGE059
，同时生成对应的遮罩图
Figure 711383DEST_PATH_IMAGE060
。
本发明提出的相机配准技术，结合多视角几何理论，同时利用开发成本低及数据获取容易地深度相机，合理地将深度数据和主成像设备RGB信息配准，解决了单目视觉深度缺失以及双目视觉深度估计复杂等问题，为AR应用中的遮挡技术提供了一种可行的技术思路；本发明提出的彩色图像和深度图对齐方法，不仅充分利用了不同设备的数据，增加可用数据的多样性。在生成最终遮挡效果图过程中，改变虚实边缘融合策略，解决了逐像素遮挡判断过程中存在的武断性。
本发明提供了一种AR应用中的遮挡技术，主要优势如下：
基于多视角几何理论下的AR重构技术，它不仅解决了现有技术方案1）中只能贴图表达虚拟物体遮挡实景的问题，同时它也杜绝了方案2)中片面化的粗糙遮挡效果，能够实现局部的AR遮挡，增加了整个虚拟现实的真实性。
借助深度相机设备，不需要额外的计算成本，能够在线地完成虚拟现实应用，同时在遮挡过程中使得虚实物体在输出图像上保持准确的成像关系和逼真的遮挡效果。
本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种AR应用中的虚实遮挡处理方法，其特征在于，包括步骤：
将深度相机下的离散人体深度图配准到主摄像机下进行稠密化处理后生成人体深度图；
加入主摄像机RGB的梯度图和配准遮罩图对主摄像机下的人体深度图进行映射后得到人体遮罩图；
通过人体遮罩图中对应像素坐标下的深度值大小比较生成遮挡效果遮罩图，依据遮挡效果遮罩图显示虚拟物体像素或真实人体像素。
2.根据权利要求1所述的AR应用中的虚实遮挡处理方法，其特征在于，采用卷积方式填充满离散化的深度坐标周边的空洞像素点得到稠密的人体区域且对应填充位置上的深度值由周边邻域共同决定，生成稠密化后的所述人体深度图。
3.根据权利要求1所述的AR应用中的虚实遮挡处理方法，其特征在于，对人体深度图
Figure 630382DEST_PATH_IMAGE001
、主摄像机RGB的梯度图
Figure 63638DEST_PATH_IMAGE002
和配准遮罩图
Figure 13139DEST_PATH_IMAGE003
分别赋予权重
Figure 633476DEST_PATH_IMAGE004
映射融合得到最终人体遮罩图
Figure 224995DEST_PATH_IMAGE005
；
Figure 512757DEST_PATH_IMAGE006
（1）
其中，
Figure 633159DEST_PATH_IMAGE007
。
4.根据权利要求1所述的AR应用中的虚实遮挡处理方法，其特征在于，将真实人体和虚 拟物体在同一像素坐标下的深度值的差值
Figure 271951DEST_PATH_IMAGE008
作为融合权重加入到像素值生成中。
5.根据权利要求4所述的AR应用中的虚实遮挡处理方法，其特征在于，当
Figure 136002DEST_PATH_IMAGE008
大于最大阈 值
Figure 543849DEST_PATH_IMAGE009
或者小于最小阈值
Figure 100733DEST_PATH_IMAGE010
时，选择深度值小的rgb填充于最终遮挡渲染图的 对应坐标上；当
Figure 961241DEST_PATH_IMAGE011
，选择虚实物体两端的rgb信息共同参与得到 融合的颜色信息。
6.根据权利要求1~5任一所述的AR应用中的虚实遮挡处理方法，其特征在于，还包括相机配准步骤：在深度相机和主摄像机的棋盘格图中提取角点信息，建立对应的匹配关系并进行深度相机内部配准，求解深度相机和主摄像机之间的位置关系，基于位置关系将深度相机的深度数据转换到主摄像机坐标系下，然后投影到二维幅面上与虚拟物体的深度值进行逐像素比较。
7.根据权利要求6所述的AR应用中的虚实遮挡处理方法，其特征在于，包括步骤：
S1，角点检测，分别对主摄像机和深度相机下的棋盘格图像提取角点坐标；
S2，角点匹配，通过顺序、数量和方向对坐标数值标进行限制以及排序，然后使得主摄像机和深度相机的角点坐标一一对应；
S3，深度相机设备内部配准，由于其深度相机和RGB相机的内参以及他们之间的旋转平 移关系已知，通过求解公式（1）计算得到深度相机坐标系下的角点三维坐标
Figure 628983DEST_PATH_IMAGE012
；
Figure 625758DEST_PATH_IMAGE013
其中，
Figure 353542DEST_PATH_IMAGE014
是相机的内参，
Figure 701347DEST_PATH_IMAGE015
是深度相机下的对应的角点像素坐标；
S4，主摄像机与深度相机的位置关系求解，将深度相机的坐标系当作世界坐标系，即
Figure 172780DEST_PATH_IMAGE016
，通过PnP的方法求解旋转矩阵
Figure 165007DEST_PATH_IMAGE017
和平移矩阵
Figure 188326DEST_PATH_IMAGE018
，
Figure 633214DEST_PATH_IMAGE019
其中，
Figure 32971DEST_PATH_IMAGE020
是主摄像机相机下对应的角点坐标，
Figure 145284DEST_PATH_IMAGE021
是主摄像 机的内参矩阵；基于旋转矩阵
Figure 73926DEST_PATH_IMAGE022
和平移矩阵
Figure 271689DEST_PATH_IMAGE023
实时地将深度相机的深度数据转换到主摄 像机坐标系下，然后实时投影到二维幅面上实时与虚拟物体的深度值进行逐像素比较。
8.根据权利要求6所述的AR应用中的虚实遮挡处理方法，其特征在于，包括数据源输入步骤，在该步骤中基于深度学习算法构建深度学习模型训练数据，且仅在深度图像中进行人体区域预测，获得人体解析结果数据。
9.根据权利要求8所述的AR应用中的虚实遮挡处理方法，其特征在于，获得人体解析数据后，包括后处理步骤：
将对应像素坐标下的人体深度值进行索引，生成对应的人体深度图
Figure 938119DEST_PATH_IMAGE024
；
对人体深度图
Figure 904938DEST_PATH_IMAGE024
进行平滑滤波后将深度相机下的离散人体深度图转换到主摄像 机下。
10.根据权利要求9所述的AR应用中的虚实遮挡处理方法，其特征在于，平滑滤波包括中值滤波、高斯滤波中的任一种。
CN202011049649.4A 2020-09-29 2020-09-29 Ar应用中的虚实遮挡处理方法 Active CN111899293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049649.4A CN111899293B (zh) 2020-09-29 2020-09-29 Ar应用中的虚实遮挡处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049649.4A CN111899293B (zh) 2020-09-29 2020-09-29 Ar应用中的虚实遮挡处理方法

Publications (2)

Publication Number Publication Date
CN111899293A true CN111899293A (zh) 2020-11-06
CN111899293B CN111899293B (zh) 2021-01-08

Family

ID=73223985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049649.4A Active CN111899293B (zh) 2020-09-29 2020-09-29 Ar应用中的虚实遮挡处理方法

Country Status (1)

Country Link
CN (1) CN111899293B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165385A1 (en) * 2022-03-01 2023-09-07 Qualcomm Incorporated Checkerboard mask optimization in occlusion culling

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062117A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
CN105809667A (zh) * 2015-01-21 2016-07-27 瞿志行 扩充实境中基于深度摄影机的遮蔽效果优化方法
CN109471521A (zh) * 2018-09-05 2019-03-15 华东计算技术研究所（中国电子科技集团公司第三十二研究所） Ar环境下的虚实遮挡交互方法及系统
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110619285A (zh) * 2019-08-29 2019-12-27 福建天晴数码有限公司 人体骨骼关键点提取方法及计算机可读存储介质
CN110751716A (zh) * 2019-05-08 2020-02-04 叠境数字科技（上海）有限公司 基于单视角rgbd传感器的虚拟试鞋方法
CN111199573A (zh) * 2019-12-30 2020-05-26 成都索贝数码科技股份有限公司 一种基于增强现实的虚实互反射方法、装置、介质及设备
US10701247B1 (en) * 2017-10-23 2020-06-30 Meta View, Inc. Systems and methods to simulate physical objects occluding virtual objects in an interactive space

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504671B (zh) * 2014-12-12 2017-04-19 浙江大学 一种用于立体显示的虚实融合图像生成方法
CN108898676B (zh) * 2018-06-19 2022-05-13 青岛理工大学 一种虚实物体之间碰撞及遮挡检测方法及系统
CN110288657B (zh) * 2019-05-23 2021-05-04 华中师范大学 一种基于Kinect的增强现实三维注册方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150062117A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
CN105809667A (zh) * 2015-01-21 2016-07-27 瞿志行 扩充实境中基于深度摄影机的遮蔽效果优化方法
US10701247B1 (en) * 2017-10-23 2020-06-30 Meta View, Inc. Systems and methods to simulate physical objects occluding virtual objects in an interactive space
CN109471521A (zh) * 2018-09-05 2019-03-15 华东计算技术研究所（中国电子科技集团公司第三十二研究所） Ar环境下的虚实遮挡交互方法及系统
CN110751716A (zh) * 2019-05-08 2020-02-04 叠境数字科技（上海）有限公司 基于单视角rgbd传感器的虚拟试鞋方法
CN110221690A (zh) * 2019-05-13 2019-09-10 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN110619285A (zh) * 2019-08-29 2019-12-27 福建天晴数码有限公司 人体骨骼关键点提取方法及计算机可读存储介质
CN111199573A (zh) * 2019-12-30 2020-05-26 成都索贝数码科技股份有限公司 一种基于增强现实的虚实互反射方法、装置、介质及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALEKSANDER HOLYNSKI等: "《Fast Depth Densification for Occlusion-aware Augmented Reality》", 《ACM TRANSACTIONS ON GRAPHICS》 *
冒佳仪: "《基于深度图像的虚实遮挡处理系统》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张梓卷: "《图像视频感知适配方法研究》", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023165385A1 (en) * 2022-03-01 2023-09-07 Qualcomm Incorporated Checkerboard mask optimization in occlusion culling

Also Published As

Publication number Publication date
CN111899293B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US11562498B2 (en) Systems and methods for hybrid depth regularization
Koch et al. Evaluation of cnn-based single-image depth estimation methods
CN106355570B (zh) 一种结合深度特征的双目立体视觉匹配方法
Zhang et al. Light-field depth estimation via epipolar plane image analysis and locally linear embedding
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
US20070279412A1 (en) Infilling for 2D to 3D image conversion
Fyffe et al. Multi‐view stereo on consistent face topology
Dellepiane et al. Flow-based local optimization for image-to-geometry projection
Du et al. Changing perspective in stereoscopic images
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
US8633926B2 (en) Mesoscopic geometry modulation
da Silveira et al. Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications
Sharma et al. A flexible architecture for multi-view 3DTV based on uncalibrated cameras
CN110910431A (zh) 一种基于单目相机多视点三维点集恢复方法
Zhuang et al. A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
Zhou et al. Single-view view synthesis with self-rectified pseudo-stereo
Jung et al. Visual discomfort visualizer using stereo vision and time-of-flight depth cameras
CN114935316B (zh) 基于光学跟踪与单目视觉的标准深度图像生成方法
GB2585197A (en) Method and system for obtaining depth data
US20220198707A1 (en) Method and apparatus with object pose estimation
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
CN115761116A (zh) 一种基于单目相机的透视投影下三维人脸重建方法
CN112200852B (zh) 一种时空混合调制的立体匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant