CN117475117B - 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统 - Google Patents

一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统 Download PDF

Info

Publication number
CN117475117B
CN117475117B CN202311827070.XA CN202311827070A CN117475117B CN 117475117 B CN117475117 B CN 117475117B CN 202311827070 A CN202311827070 A CN 202311827070A CN 117475117 B CN117475117 B CN 117475117B
Authority
CN
China
Prior art keywords
virtual
image
depth
real
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311827070.XA
Other languages
English (en)
Other versions
CN117475117A (zh
Inventor
张炜
何露
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaoguan Museum Shaoguan Institute Of Cultural Relics And Archaeology
Guangzhou Dawan District Virtual Reality Research Institute
Original Assignee
Shaoguan Museum Shaoguan Institute Of Cultural Relics And Archaeology
Guangzhou Dawan District Virtual Reality Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaoguan Museum Shaoguan Institute Of Cultural Relics And Archaeology, Guangzhou Dawan District Virtual Reality Research Institute filed Critical Shaoguan Museum Shaoguan Institute Of Cultural Relics And Archaeology
Priority to CN202311827070.XA priority Critical patent/CN117475117B/zh
Publication of CN117475117A publication Critical patent/CN117475117A/zh
Application granted granted Critical
Publication of CN117475117B publication Critical patent/CN117475117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统，涉及增强显示AR技术领域，方法包括：利用训练好的实例分割网络分割非刚性物体的轮廓，将非刚性物体的分割掩码图像与虚拟物体的深度值进行比较，最后根据比较结果进行虚实遮挡处理；针对深度相机获取高反射率物体的深度图像存在较大误差的问题，通过构建高反射率物体的三维模型并结合其掩码图像对其深度值进行校正，最后基于混合参数将高反射率物体的合成图像设置为虚拟物体和真实场景的混合；本发明能够有效提高分割精度和分割效率，提高虚实遮挡处理的实时性，而且能够实现非刚性物体、高反射率物体和虚拟物体之间像素级别的精确、连续、多层虚实遮挡效果。

Description

一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统
技术领域
本发明涉及增强现实（Augmented Reality，AR）技术领域，更具体地，涉及一种基于卷积神经网络的非刚性物体虚实遮挡方法。
背景技术
AR技术能够在用户周围的现实世界呈现由计算机构建的虚拟物体或作为提示的文字、图案、视频等信息，并允许用户与虚拟世界信息进行自然交互。成功构建增强现实系统的关键技术之一是虚实遮挡，即在AR场景中真实世界物体与虚拟世界信息之间应该是“无缝”融合的，从而确保用户获得自然、真实的体验。
虚实遮挡的处理流程由检测虚实遮挡关系、提取遮挡边缘以及生成虚实融合图像三部分组成。其中虚实遮挡关系检测指利用场景的深度信息判断真实物体与虚拟物体的空间位置关系，深度信息可以通过双目立体视觉算法计算得到，也可以利用深度相机等设备直接获取。虚实遮挡边缘提取指计算真实世界前景物体的遮挡轮廓并在后续进行跟踪定位，在AR场景中，真实物体既可能是刚性物体，也可能是用户的手或进入视场的其他用户等非刚性物体，不同纹理、形状的刚性物体提取前景轮廓的方式各有不同，而非刚性物体的可形变性质导致其快速移动时系统很难提取轮廓。在完成虚实遮挡关系检测和遮挡边缘处理的基础上，需要基于计算机图形学原理确认背景图像、虚拟物体和前景物体之间的渲染顺序，以生成具有正确遮挡关系的虚实融合图像。
与刚性物体不同，在运动过程中非刚性物体易发生不规则形变、内部褶皱扭曲等现象。在AR应用中典型的非刚性物体是用户的手或场景中其他用户的身体。目前，非刚性物体的遮挡处理主要可分为基于深度和基于图像分析两种方法：1）基于深度的方法利用深度传感器实时获取真实非刚性物体的深度信息，然后逐像素比较非刚性物体和虚拟物体的深度关系，但这种方法存在以下问题：首先是当背景复杂的场景中目标物体附近存在许多显著边缘信息以及不同物体具有非常相似的颜色特征时，无法捕捉到适合的 RGB图像边缘点；其次，当深度相机移动速度过快时，会出现场景抖动问题；另外，该方法并未考虑到RGB图像的颜色分布信息，因此在场景中存在高反射率物体以及真实物体与背景颜色相近时会出现不正确的遮挡效果；2）基于图像分析的方法从图像处理的角度获取非刚性物体的轮廓边界并在后续视频序列中进行跟踪，由人工指定或借助深度图像判断非刚性物体轮廓与虚拟物体之间的深度关系，但该方法仍然存在仅能处理指定的遮挡目标且需要人工干预，自动化程度低的缺陷。
发明内容
本发明为克服上述现有技术对于非刚性物体的轮廓分割困难、虚实融合实时性差且难以连续跟踪，以及当场景中存在高反射率物体时遮挡关系易出错的缺陷，提供一种基于卷积神经网络的非刚性物体虚实遮挡方法，能够实现在不同场景下，非刚性物体、高反射率物体与虚拟物体之间像素级别精确、连续、多层的虚实遮挡效果。
为解决上述技术问题，本发明的技术方案如下：
一种基于卷积神经网络的非刚性物体虚实遮挡方法，包括以下步骤：
S1：获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；
S2：建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
S3：获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；
S4：利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；
S5：获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
S6：比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；
S7：根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理。
优选地，所述步骤S1中，预处理的步骤包括：利用循环生成网络CycleGAN对所有的真实场景图像进行图像增强处理，并对图像增强后的所有真实场景图像进行非刚性物体轮廓标注，完成预处理。
优选地，所述步骤S2中的实例分割网络具体为Mask R-CNN神经网络模型。
优选地，所述步骤S6包括：
遍历待融合虚拟物体图像的投影图中的每个像素，逐像素比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系；
对于待融合虚拟物体图像的投影图中每个被遍历到的像素，若待融合虚拟物体图像的投影图中该被遍历到的像素的深度小于非刚性物体的分割掩码图像中对应位置像素的深度，则在该被遍历到的像素位置，虚拟物体遮挡真实场景；否则在该被遍历到的像素位置，真实场景遮挡虚拟物体；
遍历完成后，获取虚实物体的遮挡关系。
优选地，所述步骤S3中，当待融合真实场景图像中带有反射率大于预设值的高反射率物体时，根据以下步骤获取待融合真实场景图像每个像素的深度：
获取高反射率物体的真实尺寸并构建高反射率物体的虚拟模型，根据虚拟模型/>获取高反射率物体的虚拟深度图/>；
利用深度相机获取待融合真实场景图像中除高反射率物体外的每个像素的深度，利用虚拟深度图获取高反射率物体每个像素的深度。
优选地，获取所述高反射率物体的虚拟深度图后还包括：利用训练好的实例分割网络对待融合真实场景图像中的高反射率物体轮廓进行分割，获取高反射率物体的分割掩码图像/>；
利用高反射率物体的分割掩码图像对虚拟深度图/>中每个像素点的深度进行校正。
优选地，所述利用高反射率物体的分割掩码图像对虚拟深度图/>中每个像素点的深度进行校正的步骤包括：
判断高反射率物体的分割掩码图像内每个像素点在虚拟深度图/>中对应位置的像素点深度是否为0；
若像素点在高反射率物体的分割掩码图像内部且在虚拟深度图/>中的深度不为0，则该像素点不需要校正；否则，利用邻域搜索算法在高反射率物体的分割掩码图像/>中搜索该像素点的邻域/>，将邻域/>内所有像素点的加权平均深度作为虚拟深度图/>中该像素点的深度。
优选地，当待融合真实场景图像中带有反射率大于预设值的高反射率物体时，所述步骤S7包括：
若像素点在高反射率物体的分割掩码图像内部且该像素点校正后的深度小于或等于虚拟物体深度，则根据预设的公式1进行融合，所述公式1为：
若像素点在高反射率物体的分割掩码图像内部且该像素点校正后的深度大于虚拟物体深度，则根据预设的公式2进行融合，所述公式2为：
若像素点不在高反射率物体的分割掩码图像内部且该像素点校正后的深度小于或等于虚拟物体深度，则根据预设的公式3进行融合，所述公式3为：
若像素点不在高反射率物体的分割掩码图像内部且该像素点校正后的深度大于虚拟物体深度，则根据预设的公式4进行融合，所述公式4为：
在所述公式1~4中，为像素点的横纵坐标对，/>为虚实融合图像，/>为待融合真实场景图像，/>为待融合虚拟物体图像，/>为预设参数。
优选地，所述高反射率物体包括：透明物体和半透明物体中的任意一种或多种。
本发明还提供一种基于卷积神经网络的非刚性物体虚实遮挡系统，应用上述的基于卷积神经网络的非刚性物体虚实遮挡方法，包括：
数据集获取单元：用于获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；
模型建立和训练单元：用于建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
真实场景深度获取单元：用于获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；
遮挡边缘提取单元：用于利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；
虚拟物体深度获取单元：用于获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
遮挡关系判断单元：用于比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；
虚实融合单元：用于根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理。
与现有技术相比，本发明技术方案的有益效果是：
本发明提供一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统，方法主要包括3个阶段，首先利用训练好的实例分割网络分割非刚性物体的轮廓，之后将非刚性物体的分割掩码图像与虚拟物体的深度值进行比较，最后根据比较结果进行虚实遮挡处理；
针对深度相机获取高反射率物体的深度图像存在较大误差的问题，在上述方法中增加了一个阶段，构建了高反射率物体的三维模型并结合其掩码图像对其深度值进行校正，最后提出基于混合参数的渲染方法，将高反射率物体的合成图像设置为虚拟物体和真实场景的混合；
与现有技术相比，本发明具有以下优点：
1）通过利用训练好的实例分割网络分割非刚性物体的轮廓，能够有效提高分割精度和分割效率；
2）传统的基于深度的方法依靠完整的密集深度图像通过逐像素方法比较真实物体与虚拟物体的深度值大小，而本发明仅需比较非刚性物体的分割掩码图像与虚拟物体的深度值，大大降低了比较时间，从而提高了虚实遮挡处理的实时性；
3）针对深度相机获取高反射率物体的深度图像存在较大误差的问题提出了相应的解决方法，能够实现非刚性物体、高反射率物体和虚拟物体之间像素级别的精确、连续、多层虚实遮挡效果。
附图说明
图1为实施例1所提供的一种基于卷积神经网络的非刚性物体虚实遮挡方法流程图。
图2为实施例1所提供的手部图像数据集样本示例。
图3为实施例1所提供的部分手部图像标注结果。
图4为实施例1所提供的Mask R-CNN网络结构示意图。
图5为实施例1所提供的Mask R-CNN主干网络结构示意图。
图6为实施例1所提供的虚拟物体在二维坐标系上的投影示意图。
图7为实施例1所提供的基于像素遍历的遮挡关系判断流程图。
图8为实施例2所提供的半透明物体的深度校正过程。
图9为实施例3所提供的手势分割结果示意图。
图10为实施例3所提供的服务器与客户端间的数据传输过程示意图。
图11为实施例3所提供的不同手势与虚拟物体的遮挡效果示意图。
图12为实施例3所提供的手部运动时不同图像帧的遮挡效果示意图。
图13为实施例3所提供的手、半透明物体与虚拟物体之间的虚实遮挡效果示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本申请的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
如图1所示，本实施例提供一种基于卷积神经网络的非刚性物体虚实遮挡方法，本实施例中的非刚性物体为用户的手，包括以下步骤：
S1：获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；
S2：建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
S3：获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；
S4：利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；
S5：获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
S6：比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；
S7：根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理；
所述步骤S1中，预处理的步骤包括：利用循环生成网络CycleGAN对所有的真实场景图像进行图像增强处理，并对图像增强后的所有真实场景图像进行非刚性物体轮廓标注，完成预处理；
所述步骤S2中的实例分割网络具体为Mask R-CNN神经网络模型；
所述步骤S6包括：
遍历待融合虚拟物体图像的投影图中的每个像素，逐像素比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系；
对于待融合虚拟物体图像的投影图中每个被遍历到的像素，若待融合虚拟物体图像的投影图中像素的深度小于非刚性物体的分割掩码图像中对应位置像素的深度，则在该被遍历到的像素位置，虚拟物体遮挡真实场景；否则在该被遍历到的像素位置，真实场景遮挡虚拟物体；
遍历完成后，获取虚实物体的遮挡关系。
在具体实施过程中，首先获取若干张带有非刚性物体（本实施例中为用户的手）的真实场景图像作为模型训练用的数据集，本实施例中训练用的数据集为不同手势的图像集；目前已有的开源手势数据大多针对肢体动作检测任务，用于手部检测分割的开源数据集往往数据量较小且包含的手势种类较少，由于本实施例使用实例分割网络获取手部掩码需要在检测时将所有手势设定为同一种类且要求数据集中包含尽可能多的手势种类，因此本实施例利用不同规格的摄像头采集了多人手部的图像数据，在采集中考虑到了光照强弱、距离远近、拍摄角度对手部识别和分割的影响，进行了全方位的图像数据采集，如图2所示，图2示出了本实施例采集的手势图像数据集的5个样本；
之后进行数据集的预处理，由于人工采集手势图像的数量有限，为了避免因数据量少而造成的训练模型过程中的过拟合问题，本实施例利用循环生成网络CycleGAN对采集的图像数据进行数据增强，以提高模型训练的泛化能力；最终平均采集了15种手势，得到数据集的样本数量共7000张，在其中随机选取5300张图片进行训练，余下1700张作为测试样本；由于人工标注图像工程量庞大、占用时间长，因此本实施例利用自动标注软件AutoAnnotationTool对数据集中图像进行标注，在人工勾勒出包含手势在内的矩形框后，软件会自动在手轮廓边界生成密集的点，这些边界上的点会根据OpenCV中绘制多边形原理生成手部掩码图像，如图3所示，标注完成后即可获得预处理后的真实场景图像数据集；
建立实例分割网络并进行训练，本实施例中为Mask R-CNN神经网络模型；Mask R-CNN是经典的基于候选框的实例分割算法，在Faster R-CNN的基础上，增加了一个生成掩码的模块，做到了物体检测、分类、分割三个任务同步完成；图4示出了Mask R-CNN的网络结构，其主干网络为残差网络（ResNet-50）和特征金字塔网络（Feature Pyramid Network，FPN）；该网络首先通过ResNet-50提取特征图，之后利用区域候选网络（Region ProposalNetwork，RPN）识别前景所在区域，在生成候选框并采用ROI Align操作提取感兴趣区域（ROI）的特征后进行分类和边界框回归，最后在Faster R-CNN的基础上增加了掩码分支用于分割出预测物体的掩码图像，同时也可识别出物体所属类别；
如图5所示为Mask R-CNN网络的主干网络结构图，其中自下而上路径是特征提取的过程，Mask R-CNN通过ResNet50网络进行特征提取，根据产生的特征图尺寸分为五个阶段；由于第一阶段输出的特征图分辨率过大，容易增加运算成本，因此从第二阶段开始，定义第二阶段到第五阶段每一层的输出分别为，步长分别为/>；自上向下路径的主要作用是融合深层特征与浅层特征，首先将深层特征进行上采样保证该层特征图与之前一层的特征图尺寸相同，之后通过横向连接之前一层加强高层特征；由于自下而上路径得到的特征图通道数量不同，因此首先使用1×1的卷积调整其通道数，C5经过1×1卷积后得到特征图P5，然后再将P5上采样到和C4相同的尺寸，同样的对自下而上路径中的C4通过1×1卷积进行降维，得到P4，此时P5与P4的尺寸与维度均相同，将P5与P4相加得到新的P4；利用同样的方法依次更新P3和P2；由于P5到P2是从上向下逐层更新的，所以称为自上向下路径，而FPN中使用特征图相加的操作称为横向连接，最后通过对融合之后的特征图使用3×3的卷积进行处理消除混叠效应，图5中的主干网络为ResNet-50与FPN结合的结构，其中P6是P5经过步长为2的最大池化操作后得到的；区域候选网络RPN的输入特征图为P2~P6；Mask R-CNN网络的主干网络所提取的特征图包括P2~P5；
将预处理后的真实场景图像数据集（手势数据集）输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
之后获取带有用户的手的待融合真实场景图像，利用深度相机获取待融合真实场景图像每个像素的深度；利用训练好的Mask R-CNN网络对待融合真实场景图像中的用户手的轮廓进行分割，获取非刚性物体（用户的手）的分割掩码图像；
通过Unity构建虚拟物体模型并利用Marker注册虚拟物体，并通过Unity内的虚拟相机获取待融合虚拟物体图像及其中每个像素的深度，将待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
进行虚实遮挡关系判断的目的是确定真实物体和虚拟物体的空间位置关系，其准确性对后续遮挡剔除处理和遮挡效果的优劣至关重要；比较真实物体和虚拟物体的深度关系是常用的虚实遮挡关系判断方法，本实施例利用Unity软件的着色器深度写入功能存储修复后的深度图像，通过像素遍历的方法进行手与虚拟物体遮挡关系判断；
在进行像素遍历之前需将真实场景中的虚拟物体经过坐标转换投影到成像平面上，如图6所示，m代表虚拟物体在二维成像平面坐标系上的投影面，由、/>、和/>四个点所组成的区域构成，在这个投影面上可以求得虚拟物体的像素信息；通过像素遍历法在该范围进行像素遍历，依据结果判断虚实物体空间关系；
利用像素方法判断遮挡关系的流程如图7所示，在进行像素遍历时首先开启Unity着色器的ZWrite和ZTest功能，将此时经过图像修复得到的深度图像以Texture的格式接收并存入渲染缓冲区，之后利用ZTest函数从缓冲区读取真实物体深度并与虚拟物体深度进行比较来判断虚实遮挡关系；像素遍历时如果虚拟物体的深度小于深度图像中对应该点的深度值，则虚拟物体遮挡真实物体，继续执行顶点和片段着色器，其渲染不会受到遮挡关系的影响；反之则为真实物体遮挡虚拟物体，该像素点被遮挡，不进行渲染直接遍历至下一个像素点；最后完成虚拟物体投影平面所有边界点的深度比较后停止遍历，遍历完成后，获取虚实物体的遮挡关系；
最后根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理；
本方法通过利用训练好的Mask R-CNN神经网络模型分割非刚性物体的轮廓，能够有效提高分割精度和分割效率；另外，传统方法逐像素比较深度值的步骤最为耗时，拖慢了系统的运行速度，本方法仅需比较非刚性物体的分割掩码图像与虚拟物体的深度值，大大降低了比较时间，从而提高了虚实遮挡处理的实时性。
实施例2
本实施例提供一种基于卷积神经网络的非刚性物体虚实遮挡方法，本实施例中的非刚性物体为用户的手，包括以下步骤：
S1：获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；
S2：建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
S3：获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；
S4：利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；
S5：获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
S6：比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；
S7：根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理。
所述步骤S1中，预处理的步骤包括：利用循环生成网络CycleGAN对所有的真实场景图像进行图像增强处理，并对图像增强后的所有真实场景图像进行非刚性物体轮廓标注，完成预处理；
所述步骤S2中的实例分割网络具体为Mask R-CNN神经网络模型；
所述步骤S3中，待融合真实场景图像中带有反射率大于预设值的高反射率物体，本实施例中为半透明物体，根据以下步骤获取待融合真实场景图像每个像素的深度：
获取高反射率物体的真实尺寸并构建高反射率物体的虚拟模型，根据虚拟模型/>获取高反射率物体的虚拟深度图/>；
利用深度相机获取待融合真实场景图像中除高反射率物体外的每个像素的深度，利用虚拟深度图获取高反射率物体每个像素的深度；
获取所述高反射率物体的虚拟深度图后还包括：利用训练好的实例分割网络对待融合真实场景图像中的高反射率物体轮廓进行分割，获取高反射率物体的分割掩码图像；
利用高反射率物体的分割掩码图像对虚拟深度图/>中每个像素点的深度进行校正；
所述利用高反射率物体的分割掩码图像对虚拟深度图/>中每个像素点的深度进行校正的步骤包括：
判断高反射率物体的分割掩码图像内每个像素点在虚拟深度图/>中对应位置的像素点深度是否为0；
若像素点在高反射率物体的分割掩码图像内部且在虚拟深度图/>中的深度不为0，则该像素点不需要校正；否则，利用邻域搜索算法在高反射率物体的分割掩码图像/>中搜索该像素点的邻域/>，将邻域/>内所有像素点的加权平均深度作为虚拟深度图/>中该像素点的深度；
当待融合真实场景图像中带有反射率大于预设值的高反射率物体时，所述步骤S7包括：
若像素点在高反射率物体的分割掩码图像内部且该像素点校正后的深度小于或等于虚拟物体深度，则根据预设的公式1进行融合，所述公式1为：
若像素点在高反射率物体的分割掩码图像内部且该像素点校正后的深度大于虚拟物体深度，则根据预设的公式2进行融合，所述公式2为：
若像素点不在高反射率物体的分割掩码图像内部且该像素点校正后的深度小于或等于虚拟物体深度，则根据预设的公式3进行融合，所述公式3为：
若像素点不在高反射率物体的分割掩码图像内部且该像素点校正后的深度大于虚拟物体深度，则根据预设的公式4进行融合，所述公式4为：
在所述公式1~4中，为像素点的横纵坐标对，/>为虚实融合图像，/>为待融合真实场景图像，/>为待融合虚拟物体图像，/>为预设参数。
在具体实施过程中，前期的模型建立和训练的过程均与实施例1相同，不同点在于本实施例中待融合真实场景图像中带有半透明物体，因此处理方法也需要进行改进；
在实际应用中，真实物体中存在大量的透明物体或半透明物体，这一类高反射率物体的深度图像存在较大误差，很难准确计算出其深度；因此，本实施例在离线阶段利用Unity软件根据实际尺寸构建场景中的半透明物体虚拟模型，利用AR标记信息（Marker）将/>注册到虚拟主相机空间，利用Unity着色器得到虚拟模型/>的虚拟深度图/>，此后半透明物体的深度将通过/>获取而不再依赖于深度相机获取深度图像；
另外，由于建模过程的误差和相邻帧之间的微小注册误差导致与Mask R-CNN网络分割的半透明物体掩码/>不完全匹配，为此本实施例还利用/>对/>中深度值不正确的像素点进行深度校正，其算法伪代码如表1所示；该算法的核心思想是检验/>内的像素点的深度值是否为0，若此时/>深度值不为0，则该像素点深度不需要校正；若/>深度值为0，则表示/>深度存在误差，利用邻域填充算法搜索该像素点的邻域/>，将其深度值替换为邻域/>范围内所有像素点深度值的加权平均；同时该算法还利用不透明物体（用户的手）的掩码图像/>对深度相机得到的深度值进行检验，若深度图像对应的不透明物体掩码区域与/>不完全匹配，则可以利用与半透明物体类似的深度校正法对深度相机获得的深度图/>进行校正；
表1 半透明物体深度值校正算法伪代码
图8示出了当半透明物体的掩码图像/>与深度图像/>不完全匹配时，其深度值校正过程；情况1与表1的Case 1相对应，像素点在/>内部且在/>中具有有效的深度值；情况2与表1的Case 2相对应，像素点在/>内部但在/>中未搜索到对应的深度值，因此用邻域内加权平均深度值代替这一像素点的深度值；
在对半透明物体进行深度校正后本实施例提出基于混合参数的遮挡渲染算法，伪代码如表2所示；算法以、待融合的真实场景RGB图像/>、校正后的深度图像/>和Unity内虚拟相机获取的待融合虚拟物体图像/>作为输入；在片段着色器中，若像素点在内部且校正后的深度小于或等于虚拟物体深度，则合成图像利用参数/>将/>和/>进行混合，表达式为：/>；若像素点在/>内部且校正后的深度大于虚拟物体深度， 则 合 成 图 像 利用参数/>将/>和/>进行混合，表 达 式为：/>；若像素点不在/>内部，表明此时真实物体为不透明物体，则合成图像不必经过参数混合而成，而是根据虚拟物体深度和校正后的深度关系单独显示/>和/>；经过实验验证，当/>时，半透明物体具有良好的虚实遮挡效果；
表2 基于混合参数的半透明物体渲染过程伪代码
本实施例针对深度相机获取高反射率物体的深度图像存在较大误差的问题提出了相应的解决方法，能够实现非刚性物体、高反射率物体和虚拟物体之间像素级别的精确、连续、多层虚实遮挡效果。
实施例3
本实施例提供一种验证实验，用于验证实施例1和2所提出的一种基于卷积神经网络的非刚性物体虚实遮挡方法的有效性。
在具体实施过程中，实验中首先在Tensorflow深度学习框架下训练了实施例1和2所构建的Mask R-CNN网络，并通过Unity构建了虚拟物体模型并利用Marker注册虚拟物体，然后建立基于TCP的通信连接在Unity和Python之间传输实例分割的掩码信息并在Unity中生成虚实融合场景，实验验证环节配置信息如表3所示：
表3 基于Mask R-CNN的非刚性物体虚实遮挡实验环节配置
利用自制的数据集对Mask R-CNN网络进行训练后的手势分割和识别效果如图9所示，第一行代表原始RGB图像，第二行代表手部掩码图像；可以看出，实施例1和2中的MaskR-CNN网络能够精准分割手部轮廓；
在Unity中基于手势分割结果进行虚实遮挡实验需要从Python传输手部的掩码图像，因此在Unity和Python之间还建立了如图10所示的数据传输流程；
本实施例设计了3组对照实验验证基于实例分割的非刚性物体虚实遮挡效果，其中第1组实验验证用户使用不同手势与虚拟物体交互时的虚实遮挡效果，第2组实验验证用户手部连续运动对虚实遮挡效果的影响，第3组实验验证用户手、半透明物体和虚拟物体之间的遮挡效果；
图11示出了用户使用不同手势与虚拟物体（图11中的小熊）交互时的虚实遮挡结果，从中可以看出不同手势下虚拟物体与真实物体间均具有正确的虚实遮挡关系，且手部边缘区域遮挡效果良好；
图12示出了虚实融合场景不同图像帧中用户的手与虚拟物体（图12中的小熊）的遮挡结果，在第5帧、第28帧以及第57帧中用户的手逐渐向右移动，在此期间手部分割效果良好且未发生遮挡不正确情况；
图13示出了手、半透明物体与虚拟物体（图13中杯子内部模拟的液体）之间的分层遮挡关系；从图13中可以看出半透明物体与虚拟物体之间具有正确的虚实遮挡关系，且随着用户手部位置的移动，半透明物体与虚拟物体之间一直保持良好准确的虚实遮挡关系且未出现跟踪失效问题；
另外，为了对实施例1和2提出的非刚性物深度图像的虚实遮挡方法和本文方法对每一帧图像的体虚实遮挡方法的实时性能进行定量分析，本实施例比较了基于改进处理时间，结果如表4所示；系统运行过程主要分为以下阶段：用户手部分割、分割掩码结果传输、深度图像修复处理、掩码图像与虚拟物体的深度值比较；基于修复后的深度图像的虚实遮挡方法中，逐像素比较深度值步骤最为耗时，拖慢了系统的运行速度；而实施例1和2的方法只需要比较掩码图像和虚拟物体的深度关系且采用了GPU并行处理提高运算速度，整个过程耗时48.56ms，系统运行速度可实现每秒20帧，优于基于修复后的深度图像；由此可见，实施例1和2的方法效果较好，虚实处理的实时性较好；
表4非刚性物体虚实遮挡处理每一帧处理时间
本实施例通过验证实验，验证了基于实例分割算法的非刚性物体虚实遮挡方法，验证了不同场景下手、半透明物体与虚拟物体间的虚实遮挡效果，而且验证了本申请所提方法的实时性能。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本申请的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，包括以下步骤：
S1：获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；
S2：建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
S3：获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；
S4：利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；
S5：获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
S6：比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；
S7：根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理。
2.根据权利要求1所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，所述步骤S1中，预处理的步骤包括：利用循环生成网络CycleGAN对所有的真实场景图像进行图像增强处理，并对图像增强后的所有真实场景图像进行非刚性物体轮廓标注，完成预处理。
3.根据权利要求1所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，所述步骤S2中的实例分割网络具体为Mask R-CNN神经网络模型。
4.根据权利要求1所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，所述步骤S6包括：
遍历待融合虚拟物体图像的投影图中的每个像素，逐像素比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系；
对于待融合虚拟物体图像的投影图中每个被遍历到的像素，若待融合虚拟物体图像的投影图中该被遍历到的像素的深度小于非刚性物体的分割掩码图像中对应位置像素的深度，则在该被遍历到的像素位置，虚拟物体遮挡真实场景；否则在该被遍历到的像素位置，真实场景遮挡虚拟物体；
遍历完成后，获取虚实物体的遮挡关系。
5.根据权利要求1~4任意一项中所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，所述步骤S3中，当待融合真实场景图像中带有反射率大于预设值的高反射率物体时，根据以下步骤获取待融合真实场景图像每个像素的深度：
获取高反射率物体的真实尺寸并构建高反射率物体的虚拟模型，根据虚拟模型/>获取高反射率物体的虚拟深度图/>；
利用深度相机获取待融合真实场景图像中除高反射率物体外的每个像素的深度，利用虚拟深度图获取高反射率物体每个像素的深度。
6.根据权利要求5所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，获取所述高反射率物体的虚拟深度图后还包括：利用训练好的实例分割网络对待融合真实场景图像中的高反射率物体轮廓进行分割，获取高反射率物体的分割掩码图像；
利用高反射率物体的分割掩码图像对虚拟深度图/>中每个像素点的深度进行校正。
7.根据权利要求6所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，所述利用高反射率物体的分割掩码图像对虚拟深度图/>中每个像素点的深度进行校正的步骤包括：
判断高反射率物体的分割掩码图像内每个像素点在虚拟深度图/>中对应位置的像素点深度是否为0；
若像素点在高反射率物体的分割掩码图像内部且在虚拟深度图/>中的深度不为0，则该像素点不需要校正；否则，利用邻域搜索算法在高反射率物体的分割掩码图像中搜索该像素点的邻域/>，将邻域/>内所有像素点的加权平均深度作为虚拟深度图/>中该像素点的深度。
8.根据权利要求7所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，当待融合真实场景图像中带有反射率大于预设值的高反射率物体时，所述步骤S7包括：
若像素点在高反射率物体的分割掩码图像内部且该像素点校正后的深度小于或等于虚拟物体深度，则根据预设的公式1进行融合，所述公式1为：
若像素点在高反射率物体的分割掩码图像内部且该像素点校正后的深度大于虚拟物体深度，则根据预设的公式2进行融合，所述公式2为：
若像素点不在高反射率物体的分割掩码图像内部且该像素点校正后的深度小于或等于虚拟物体深度，则根据预设的公式3进行融合，所述公式3为：
若像素点不在高反射率物体的分割掩码图像内部且该像素点校正后的深度大于虚拟物体深度，则根据预设的公式4进行融合，所述公式4为：
在所述公式1~4中，为像素点的横纵坐标对，/>为虚实融合图像，/>为待融合真实场景图像，/>为待融合虚拟物体图像，/>为预设参数。
9.根据权利要求8所述的一种基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，所述高反射率物体包括：透明物体和半透明物体中的任意一种或多种。
10.一种基于卷积神经网络的非刚性物体虚实遮挡系统，应用权利要求1~9任意一项中所述的基于卷积神经网络的非刚性物体虚实遮挡方法，其特征在于，包括：
数据集获取单元：用于获取若干张带有非刚性物体的真实场景图像，并对所有真实场景图像进行预处理，获取预处理后的真实场景图像数据集；
模型建立和训练单元：用于建立实例分割网络，并将预处理后的真实场景图像数据集输入实例分割网络中进行优化训练，获取训练好的实例分割网络；
真实场景深度获取单元：用于获取带有非刚性物体的待融合真实场景图像，并利用深度相机获取待融合真实场景图像每个像素的深度；
遮挡边缘提取单元：用于利用训练好的实例分割网络对待融合真实场景图像中的非刚性物体轮廓进行分割，获取非刚性物体的分割掩码图像；
虚拟物体深度获取单元：用于获取待融合虚拟物体图像及其中每个像素的深度，并将所述待融合虚拟物体图像投影至二维平面，获取待融合虚拟物体图像的投影图；
遮挡关系判断单元：用于比较待融合虚拟物体图像的投影图与非刚性物体的分割掩码图像中每个像素之间的深度关系，根据比较结果获取虚实物体的遮挡关系；
虚实融合单元：用于根据虚实物体的遮挡关系将待融合真实场景图像与待融合虚拟物体图像进行融合，获取虚实融合图像，完成非刚性物体的虚实遮挡处理。
CN202311827070.XA 2023-12-28 2023-12-28 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统 Active CN117475117B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311827070.XA CN117475117B (zh) 2023-12-28 2023-12-28 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311827070.XA CN117475117B (zh) 2023-12-28 2023-12-28 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统

Publications (2)

Publication Number Publication Date
CN117475117A CN117475117A (zh) 2024-01-30
CN117475117B true CN117475117B (zh) 2024-03-08

Family

ID=89640147

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311827070.XA Active CN117475117B (zh) 2023-12-28 2023-12-28 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统

Country Status (1)

Country Link
CN (1) CN117475117B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683161A (zh) * 2016-12-13 2017-05-17 中国传媒大学 基于图像分割与自定义图层法的增强现实遮挡方法
KR20230095197A (ko) * 2021-12-22 2023-06-29 엔센스코리아 주식회사 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10719939B2 (en) * 2014-10-31 2020-07-21 Fyusion, Inc. Real-time mobile device capture and generation of AR/VR content
US11727587B2 (en) * 2019-11-12 2023-08-15 Geomagical Labs, Inc. Method and system for scene image modification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683161A (zh) * 2016-12-13 2017-05-17 中国传媒大学 基于图像分割与自定义图层法的增强现实遮挡方法
KR20230095197A (ko) * 2021-12-22 2023-06-29 엔센스코리아 주식회사 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real-time occlusion handling for augmented reality assistance assembly systems with monocular images;Wang Li等;Journal of Manufacturing Systems;20220131;第561-574页 *
增强现实虚实遮挡技术研究现状分析;邢立国等;电脑知识与技术;20180925;第255-257页 *

Also Published As

Publication number Publication date
CN117475117A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
CN110084304B (zh) 一种基于合成数据集的目标检测方法
CN105279771B (zh) 一种视频中基于在线动态背景建模的运动目标检测方法
CN110176064B (zh) 一种摄影测量生成三维模型的主体对象自动识别方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
Wenninger et al. Realistic virtual humans from smartphone videos
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
Xu et al. Survey of 3D modeling using depth cameras
CN115428027A (zh) 神经不透明点云
WO2018080533A1 (en) Real-time generation of synthetic data from structured light sensors for 3d object pose estimation
CN118071968B (zh) 一种基于ar技术的智能交互深展示方法及系统
CN110378995A (zh) 一种利用投射特征进行三维空间建模的方法
CN117252988A (zh) 图像数据的处理方法、设备及计算机可读存储介质
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
CN116883550B (zh) 一种三维虚拟实景动画显示方法
WO2023277906A1 (en) Synthetic images for machine learning
CN117475117B (zh) 一种基于卷积神经网络的非刚性物体虚实遮挡方法和系统
Tian et al. Robust facial marker tracking based on a synthetic analysis of optical flows and the YOLO network
US20230326137A1 (en) Garment rendering techniques
Shamsuddin et al. From synthetic to natural—Single natural image dehazing deep networks using synthetic dataset domain randomization
CN113068017A (zh) 增强真实场景的视频通量
Zeng et al. Archaeology drawing generation algorithm based on multi-branch feature cross fusion
Rodrigues et al. AR contents superimposition on walls and persons
Sakkari et al. Using hand as support to insert virtual object in augmented reality applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant