CN110168614A

CN110168614A - 用于生成混合现实中的动态虚拟内容的设备和方法

Info

Publication number: CN110168614A
Application number: CN201780080787.9A
Authority: CN
Inventors: A.劳伦特; M.弗拉德特; C.贝尔拉德
Original assignee: InterDigital CE Patent Holdings SAS
Current assignee: InterDigital CE Patent Holdings SAS
Priority date: 2016-12-26
Filing date: 2017-12-19
Publication date: 2019-08-23
Anticipated expiration: 2037-12-19
Also published as: JP2020503611A; KR102433857B1; CN117274542A; US20190340825A1; KR20220119180A; JP2023171435A; EP3559915A1; KR20190100305A; JP6972135B2; EP3340187A1; US11580706B2; US11113888B2; US20210366197A1; CN110168614B; WO2018122030A1; JP2022019748A; JP7556839B2; KR102555214B1

Abstract

要被叠加到真实3D场景的表示的动态虚拟内容符合情景，该情景在运行时间之前被定义并涉及真实世界约束(23)。在真实3D场景中捕获真实世界信息(22)，并且在存在真实世界约束的情况下在运行时间执行情景(14)。当未从真实世界信息中识别(12)真实世界约束时，在执行情景之前执行(13)真实3D场景的表示到虚拟适配3D场景的变换，使得虚拟适配3D场景遵守那些约束，并且在取代真实3D场景的虚拟适配3D场景中而不是在真实3D场景中执行情景。混合现实的应用。

Description

用于生成混合现实中的动态虚拟内容的设备和方法

技术领域

本发明涉及混合现实(MR)领域，其中计算机生成的(CG)内容不是仅覆盖在真实世界的视图的顶部，而是真正地与真实世界环境交互(interact)，使得数字和物理现实无缝地融合在一起。

背景技术

增强现实(AR)应用是指其元素通过CG内容(诸如视频或图形)被增强的真实世界环境的现场视图。在MR中，CG内容还与真实世界环境交互。

在AR/MR应用中，将视觉CG内容在给定位置插入真实世界视图中。该位置通常相对于预定义的可视2D/3D图案被定义(用于例如工业应用)、通过空间坐标(例如基于室外定位的应用)或屏幕坐标(例如Google Glass应用)被预先确定、或者由用户手动选择(例如交互式应用)。

然而，在高级应用中，虚拟场景(scene)可能包含准备好的动画内容。这从基于单个平面和减少的占用体积的动画(例如，就地跳跃的人物或转圈的舞者)扩展到基于不同平面的复杂的情景构建(scenario-built)动画，该不同平面涉及具有可能的交互和复杂的轨迹的若干个人物和/或物体(例如，人物在平面上从初始位置走到第二位置，他在第二位置抓住物体，然后他改变他的方向以将该物体隐藏在另一个物体的后面，然后他再次改变他的方向并突然掉进洞里)。

为了良好的用户体验、沉浸感和真实性，这样复杂的虚拟动画内容应当在空间上与真实环境交互：人物走在其上的平面可以是真实的平坦表面，其应当足够大并具有足够的自由场所，例如桌子，遮挡物体可以是桌子上的真实物体，洞可以对应于桌子的边界，等等。

由艺术家创建动画CG内容是基于这种对真实环境的几何的强假设和约束以及真实元素的存在还是缺乏。然而，如果不控制真实环境，则有效呈现这样复杂的MR动画变得有问题。例如，水平场所可能比期望的小得多或大得多，水平平面可能在其上具有许多物体，使得没有留下足够的自由场所来在没有几何像差的情况下执行动画(比如缺少遮挡)。该情况还可能导致质疑动画本身的语义。

已知的解决方案包括使虚拟动画适配于真实环境。这可以以两个步骤来进行：准备虚拟动画内容时在上游，通过使动画参数化；以及在稍后的预处理步骤中，通过扫描真实环境并分析其布局，以便计算要应用于虚拟内容的最佳定位、取向和比例。

在Daqri LLC的专利申请US 2015/0187108中，在这方面开发了灵活的加强的解决方案，其中增强现实内容适配于局部环境的真实世界空间几何中的改变。更准确地说，设备可以基于被映射的真实世界空间几何来识别真实世界空间几何中的物理改变，并且响应于该物理改变来修改虚拟物体。这样的修改可以与虚拟物体的大小、形状、定位或行为有关。

然而，这样的现有解决方案不保证真实环境包含足以有效呈现动画的最小要求。例如，可能缺少水平平面以使虚拟人物在其上行走，或者真实物体可能隐藏被人物抓住的虚拟物体。

此外，如US 2015/0187108中提出的那样，使虚拟内容动态适配可能不利于所希望的情景。另外，提供足够灵活的情景以适配于大范围的真实情况可能需要大量的存储和计算资源。

发明内容

本公开的目的是有利地实现MR情景到大范围的真实情况的灵活适配，而不需要大量附加的存储或计算资源。

在优选实施例中，因此可以基于真实环境实时执行具有各种约束的多个情景。

在这方面，本公开的目的尤其是一种用于生成要被叠加到真实3D场景的表示的至少一个动态虚拟内容的设备，动态虚拟内容符合至少一个情景，该至少一个情景在情景的运行时间之前被定义并且涉及至少一个真实世界约束。该设备包括：

-至少一个输入端(input)，适配于接收在真实3D场景中捕获的真实世界信息，以及

-至少一个处理器，被配置用于在存在从真实世界信息中识别的真实世界约束的情况下，在运行时间执行情景。

根据本公开，至少一个处理器还被配置用于，当未从真实世界信息中识别至少一个真实世界约束时，在执行情景之前执行真实3D场景的表示到虚拟适配3D场景的变换，使得虚拟适配3D场景遵守约束，以及代替在真实3D场景中执行情景，在取代真实3D场景的虚拟适配3D场景中执行情景。

因此，该设备有利地被配置为仿佛所获得的关于虚拟适配3D场景的信息是关于实际的真实3D场景的信息而起作用，导致某种故意系统误导。也就是说，所计划的情景可以有利地被正常执行，服从于对真实世界的表示应用的一些初步虚拟补片。

可以注意到，MR情景可能已经在没有任何环境的准确知识的情况下在上游被设计，或者在没有更多准确度的情况下针对大量不同的环境(例如针对电视机和在其上放置电视的桌子)被设计。然后，有利地在运行场所使适配本地实现，以使那些情景可操作。

在下文中，将参考“适配的”或“完整的”环境或真实场景，或者“移动的”或“变换的”真实物体。为了方便和简洁而使用的那些表达应当被理解为意指真实3D场景在通过虚拟效果执行情景之前服从于其表示的相关变换。那些虚拟效果尤其可以包括添加、减少、颜色或纹理修改。更一般地，它们包括由于对现实的表示的动作所导致的用户对真实3D场景的感知的任何改变。

这样的表示还意指对用户的任何种类的表示，其可以特别地通过透明或半透明的眼镜(直接观看)，或者通过捕获真实3D场景的图像的相机的中介，那些图像被用户在屏幕上可见(间接观看)。将不在这里开发那些技术，因为是本领域普通技术人员熟知的。

将情景定义为由创建者预先设计的CG内容动画。

优选地实时执行真实3D场景的表示以及虚拟适配3D场景的表示。

与现有解决方案相反，并且令曾经使虚拟世界适配于真实世界的技术人员惊讶的，本设备人为地引入虚拟修改，仿佛应用于真实世界，以用于满足虚拟情景约束。虽然所应用的变换实际上保持在虚拟世界的领域中，但是它们在执行给定情景之前被引入，以便满足通常与真实世界有关的约束。

在实施例中，在任何情景运行时间之前，在初步调整阶段执行真实3D场景的表示的变换。

在另一实施例中，该表示的变换在前一情景的运行时间期间被执行，并且预期一个或多个后面的情景。在这方面，可以可能地将给定情景的包括两个或更多个场景的不同连续部分视为不同情景，只要那些连续部分中的每一个与至少一个相应的真实世界约束相关联。

在加强版本中，通过真实3D场景中的改变来触发情景的一个部分到另一部分的过渡(例如，在环境中移除真实物体)。这甚至有利地包括以下情况：情景在两个部分中包括类似的特征和真实世界约束，但是其中至少一个约束依赖于在运行时间期间被修改的真实3D场景的特征。然后，如先前所公开的，可以通过以下来考虑该改变：在MR处理的框架中，通过欺骗(trick)真实3D场景的感知，在虚拟适配3D场景中满足有关约束。然后，将遵循改变的情景的部分本身视为“情景”。

在真实3D场景中捕获的真实世界信息有利地包括从扫描环境获得的点云或3D模型。此外，至少一个处理器有利地被配置用于确定环境特征，诸如尤其是识别存在于真实3D场景中的物体与其类型、位置、大小和形状中的部分或全部，以及自由平坦区域。它还有利地被配置用于分析MR应用要求(真实世界约束，其尤其可以涉及元素或自由平坦区域)并检查环境是否遵守那些要求，即使部分遵守。

此外，至少一个处理器有利地被配置用于利用取代真实3D场景的虚拟适配3D场景，更新要被执行或当前正被执行的MR应用。

在优选实现方式中，至少一个真实世界约束为至少两个并且可能是交互的，并且至少一个处理器还被配置用于针对那些真实世界约束联合执行变换，使得虚拟适配3D场景遵守那些约束。

在一些相关实施例中，然后通过涉及不同变换项的若干个连续尝试来迭代地实现联合变换，直到满足两个或更多个约束。

在另一实现方式中，至少一个真实世界约束为至少两个、可能是交互的并且根据重要性顺序被排序(rank)。至少一个处理器还被配置用于针对具有至少一个最高优先级排序的约束优先执行变换，以及用于在缺乏与具有最高优先级排序的真实世界约束不同的至少一个真实世界约束的情况下，在运行时间执行情景。

因此，可以满足一些约束，而不满足其他约束，只要认为后者在有关情景的执行中不太重要。

根据优选实施例，单独或以任何合适的组合来考虑：

-至少一个约束包括存在至少一个真实世界物体，并且至少一个处理器被配置用于在虚拟适配3D场景中添加真实世界物体的虚拟表示；

-至少一个约束与至少一个真实世界物体的至少一个尺寸有关，并且至少一个处理器被配置用于在虚拟适配3D场景中修改真实世界物体的至少一个尺寸的表示，使得满足对尺寸的至少一个约束；

-至少一个处理器被配置用于在虚拟适配3D场景中变换对至少一个约束不利的至少一个真实世界物体的虚拟表示，使得满足至少一个约束；

-至少一个处理器被配置用于通过在虚拟适配3D场景中使真实世界物体移除、减少和移动中的至少一个来执行变换；

-至少一个约束关系到至少一个真实世界物体，并且至少一个处理器被配置用于通过使真实世界物体移动、旋转、平移、缩放、复制中的至少一个来执行变换，使得满足对真实世界物体的至少一个约束。

有利地，该变换涉及在虚拟适配3D场景中清理至少一个区域，至少一个处理器还被配置用于在虚拟适配3D场景中修复至少一个区域。

然后，即使在虚拟适配(例如通过虚拟移除真实3D场景的真实物体)引入一些不规则性的情况下，也可以向用户提供连续性的感知。

在一些实现方式中，至少一个处理器还被配置用于让用户明确地参与执行变换。

因此，用户可以完成自动处理，这尤其使更加用户友好或定制的情景执行成为可能。

有利地，至少一个输入端还适配于接收情景，并且该设备还包括至少一个输出端(output)，适配于为用户输出虚拟适配3D场景的表示的至少部分，以使情景在虚拟适配3D场景中可见。

本公开还涉及一种包括根据本公开的设备的装置，该装置是视频接收器、移动电话、平板或增强现实头戴式显示系统。

本公开的另一目的是一种用于生成要被叠加到真实3D场景的表示的至少一个动态虚拟内容的设备，动态虚拟内容符合至少一个情景，该至少一个情景在情景的运行时间之前被定义并且涉及至少一个真实世界约束。该设备包括：

-用于接收在真实3D场景中捕获的真实世界信息的部件，以及

-用于在存在从真实世界信息中识别的真实世界约束的情况下，在运行时间执行情景的部件。

根据本公开，用于执行的部件适配于，当未从真实世界信息中识别至少一个真实世界约束时，在执行情景之前执行真实3D场景的表示到虚拟适配3D场景的变换，使得虚拟适配3D场景遵守约束，以及代替在真实3D场景中执行情景，在取代真实3D场景的虚拟适配3D场景中执行情景。

本公开还涉及一种用于生成要被叠加到真实3D场景的表示的至少一个动态虚拟内容的方法，至少一个动态虚拟内容符合至少一个情景，该至少一个情景在情景的运行时间之前被定义并且涉及至少一个真实世界约束。该方法包括：

-接收在真实3D场景中捕获的真实世界信息，以及

-在存在从真实世界信息中识别的真实世界约束的情况下，在运行时间执行情景。

根据本公开，该方法还包括，当未从真实世界信息中识别至少一个真实世界约束时，在执行情景之前执行真实3D场景的表示到虚拟适配3D场景的变换，使得虚拟适配3D场景遵守至少一个约束，以及代替在真实3D场景中执行情景，在取代真实3D场景的虚拟适配3D场景中执行情景。

该方法有利地由根据本公开的任何实现模式的设备来执行。

此外，本公开涉及一种用于生成至少一个动态虚拟内容的计算机程序，包括软件代码，该软件代码适配于在由处理器执行程序时执行符合任何以上执行模式的方法。

本公开还涉及一种非临时性程序存储设备，其可由计算机读取，有形地包含可由计算机执行的指令的程序，以执行符合本公开的用于生成至少一个动态虚拟内容的方法。

这样的非临时性程序存储设备可以是但不限于电子、磁、光、电磁、红外或半导体设备，或者前述的任何合适的组合。要理解，以下虽然提供更具体的示例，但仅仅是本领域普通技术人员容易理解的说明性而非详尽的列表：便携式计算机磁盘、硬盘、ROM(只读存储器)、EPROM(可擦除可编程ROM)或闪速存储器、便携式CD-ROM(压缩盘ROM)。

附图说明

在阅读以下对特定且非限制性的说明性实施例的描述时，将更好地理解本公开，并且其他具体特征和优点将显现，该描述参考附图，其中：

-图1是示意性地表示符合本公开的用于生成动态虚拟内容的设备的框图；

-图2图示了为利用图1的设备所考虑的用户环境的示例；

-图3是示出以图1的设备执行的连续的混合现实步骤的流程图表；

-图4示意性地示出了包括图1上所示的设备的MR装置。

具体实施方式

本描述说明本公开的原理。因此将理解，本领域技术人员将能够设计各种布置，该布置虽然未在此被明确描述或示出，但是体现本公开的原理并被包括在其精神和范围内。

在此叙述的所有示例和条件语言旨在用于教育目的，以帮助读者理解本公开的原理和发明人为促进技术所贡献的概念，并且要被解释为不限于这样具体叙述的示例和条件。

此外，在此叙述本公开的原理、方面和实施例以及其具体示例的所有陈述旨在包含其结构和功能等同物。另外，旨在这样的等同物包括当前已知的等同物以及将来开发的等同物，即，所开发的执行相同功能的任何元素，不管结构如何。

因此，例如，本领域技术人员将理解，在此展现的框图表示体现本公开的原理的说明性电路的概念视图。类似地，将理解，任何流程图表、流程图等表示可以基本上表示在计算机可读介质中并因此由计算机或处理器执行的各种处理，无论这样的计算机或处理器是否被明确示出。

术语“适配的”和“配置的”在本公开中用作广义地包含本设备的初始配置、稍后适配或补充，或相似地其任何组合，无论通过材料还是软件手段(包括固件)来实现。

可以通过使用专用硬件以及与适当软件相关联的能够执行软件的硬件来提供图中所示的各种元素的功能。当由处理器提供时，功能可以由单个专用处理器、单个共享处理器或多个单独的处理器(其中的一些可被共享)来提供。此外，术语“处理器”的明确使用不应被解释为排他地指代能够执行软件的硬件，而是以通常的方式指代处理设备，其可以例如包括计算机、微处理器、集成电路、或可编程逻辑器件(PLD)。另外，能够执行相关联的和/或所得的功能的指令和/或数据可以存储在任何处理器可读介质上，诸如例如集成电路、硬盘、CD(压缩盘)、诸如DVD(数字多功能盘)之类的光盘、RAM(随机存取存储器)或ROM存储器。指令尤其可以存储在硬件、软件、固件或其任何组合中。

应当理解，图中所示的元素可以以各种形式的硬件、软件或其组合来实现。优选地，这些元素在一个或多个适当编程的通用设备(其可包括处理器、存储器和输入/输出接口)上以硬件和软件的组合来实现。

将参考如图1上所示的用于生成动态虚拟内容的设备1的特定功能实施例来描述本公开。

设备1适配于生成至少一个动态虚拟内容并且与混合现实(MR)有关，该动态虚拟内容要被叠加到真实3D场景的表示并且符合至少一个情景。

设备1有利地是被设计、配置和/或适配于执行所提及的功能并产生所提及的效果或结果的装置或装置的物理部分。在替选实现方式中，将设备1实施为一组装置或装置的物理部分，无论被分组在同一机器中还是分组在不同的、可能远离的机器中。

在下文中，模块要被理解为功能实体而不是材料、物理上不同的组件。因此，可以将它们实施为在同一有形且具体的组件中分组在一起，或者分布到若干个这样的组件中。此外，那些模块中的每一个可能本身在至少两个物理组件之间共享。另外，模块也以硬件、软件、固件或其任何混合形式来实现。它们优选地实施在设备1的至少一个处理器内。

设备1包括用于分析例如从真实3D场景的相机捕获中取回的真实世界信息22的模块11，用于关于所分析的真实世界信息22来分析和检查MR情景(虚拟应用23)的要求的模块12，用于进行应用于真实3D场景的表示的相关虚拟适配的模块13，以及用于执行情景(应用于从该适配产生的虚拟适配3D场景)的模块14。模块13的输出可以可能地返回到模块12，使得可以迭代地调整适配，直到找到满意的适配解决方案。

可以由用户经由与设备1交互的用户界面20来输入和取回信息。用户界面20包括适合于输入或取回数据、信息或指令、尤其是视觉、触觉和/或音频能力的任何部件，其可以包含本领域技术人员熟知的以下部件中的任一个或若干个：屏幕、键盘、轨迹球、触摸板、触摸屏、扬声器、语音识别系统。

设备1还适配于被提供有来自存储资源10的、专用于执行对MR情景要求的虚拟适配的虚拟工具21。那些存储资源10可以从任何种类的适当的存储部件获得，存储部件尤其可以是RAM或EEPROM(电可擦除可编程只读存储器)，诸如闪速存储器，可能在SSD(固态盘)内。

下面详述设备1的功能。

5.1先决条件(pre-requisite)：情景定义

在初始步骤中，MR应用创建者定义情景。他尤其指定情景中涉及的真实元素，以及虚拟元素如何与它们交互。连续的情景元素的示例如下：

-第一块虚拟石头落下，在真实立方体上反弹并停在真实桌子上；

-第二块虚拟石头撞击真实空玻璃制品；

-虚拟动物具有预定义且不可修改的动画，其位于真实桌子上的自由平坦区域中；

-虚拟人物在自由区域中的地上行走，爬上真实桌脚，在真实桌子上行走并与虚拟动物会合；其轨迹取决于真实桌子上的自由区域。

为了遵守该情景，创建者关于真实环境指定一些要求。下面列出一些针对先前情景的要求的示例，该场景发生在室内：

-桌子，具有1.20m×0.60m的最小大小；

-桌子上的自由平坦区域，具有03m×0.2m的尺寸并且以桌子中心为中心；

-立方体，具有0.10m的边，位于桌子的左部；

-空玻璃制品，位于桌子上；

-地上的自由平坦区域，具有0.6m×0.3m的尺寸，位于桌子的左边并且包括桌子的左前脚。

要求也可以强加具体的位置或取向。它们还可能受到“约束等级”的影响。也就是说，一些要求是强约束的，而其他是较轻的。例如，强约束要求包括具有大小为1.20m×0.60m的桌子，因为如果桌子存在，则它必须具有这些精确尺寸以遵守要求。较轻约束要求包括具有位于桌子的左边的、边为0.10m的立方体，因为不对它的精确定位进行强加。

5.2先决条件：要求的分层分类(sorting)

优选地，以与要求之间的关联有关的分层方式对要求进行分类。因此，将每个要求分配给分层等级，由内容创建者在内容创作阶段完成分层归类。

考虑到例如以上要求，最重要的要求是第一个要求(“桌子，具有1.20m×0.60m的最小大小”)。其他四个要求取决于桌子的存在，但是彼此独立。因此，它们具有相同的重要性，即相同的层次等级。由此获得以下分类表：

1桌子，具有1.20m×0.60m的最小大小

1.1桌子上的自由平坦区域，具有03m×0.2m的尺寸并且以桌子中心为中心

1.2立方体，具有0.10m的边，位于桌子的左部

1.3空玻璃制品，位于桌子上

1.4地上的自由平坦区域，具有0.6m×0.3m的尺寸，位于桌子的左边并且包括桌子的左前脚

如果包括附加要求，诸如“圆柱体，具有0.1m的半径和0.3m的高度，位于立方体上”，则其等级为1.2.1，因为它取决于对要求1.2的遵守。

5.3环境扫描和特征确定

下个步骤包括环境扫描和相关特征的确定。它涉及通过检测和标记环境特征(诸如尤其是环境中存在的物体(例如，桌子，位于桌子上的玻璃制品，植物)和自由平坦区域)来建立环境描述。

因此，用户扫描他的环境，这尤其可以利用配备有深度传感器的设备(诸如以名称“Intel Real Sense”商业化的产品)来实现，该设备提供扫描场景的点云。

然后，分析点云以检测和标记环境特性。用于实现该任务的技术解决方案在以下文章中被特别描述：第15届机器人世界杯国际研讨会论文集(Proceedings of the 15^thRoboCup International Symposium)，伊斯坦布尔，2011年7月中的Dirk Holz、StefanHolzer、Rady Bogdan Rusu和Sven Behnk的“Real-Time Plane Segmentation using RGB-D Cameras”；类人机器人2012(Humanoids2012)，第198-203页中的André Uckermann、Robert Haschke和Helge J.Ritter的“Real-time 3D segmentation of clutteredscenes for robot grasping”；多媒体建模2014(MultiMedia Modeling 2014)，第449-460页中的Zhe Whang、Hong Liu、Xiangdong Wang和Yueliang Qian的“Segment and LabelIndoor Scene Based on RB-D for the Visually Impaired”；以及机器人与自动化系统2013(Robotics and Autonomous Systems 2013)，61(12)，第1641-1652页中的J.Xiao、J.Zhang、B.Adler、H.Zhang和J.Zhang的“Three-dimensional point cloud planesegmentation in both structured and unstructured environments”。

也可以利用诸如以名称Microsoft Hololens商业化的设备来实现对环境的分析，该设备输出3D网格。能够从这样的3D网格中取回环境特性的一些解决方案包括在以下文章中描述的那些解决方案：CVPR 2013中的Julien P.C.Valentin、Sunando Sengupta、Jonathan Warrel、Ali Shahrokni和Philip H.S.Torr的“Mesh Based SemanticModelling for Indoor and Outdoor Scenes”；以及计算机图形学论坛(ComputerGraphics forum)，第27卷，2008，第6期，第1539-1556页中的Ariel Shamir的“A survey onMesh Segmentation Techniques”。

用于分析真实世界信息(负责该步骤)的模块11可以嵌入用于扫描场景的设备中或者在服务器上运行。

5.4虚拟信息确定

在本等级，对环境的描述是已知的。本步骤包括与情景要求结合，分析各种环境描述，以确定可能需要的虚拟环境。该虚拟环境对于每个用户是唯一的并且被叠加到真实环境，以便向所有用户提供类似的行为和体验。

该步骤包括两个部分：检查被遵守的情景要求和未被遵守的情景要求(模块12)，以及针对每个真实环境，确定如何补偿每个未被完全遵守的情景要求(模块13)。

下面关于先前展现的示例要求来详述这两个部分。相应地，环境必须包含：

1/桌子，具有1.20m×0.60m的最小大小；

2/桌子上的自由平坦区域，具有03m×0.2m的尺寸并且以桌子中心为中心；

3/立方体，具有0.10m的边，位于桌子的左部；

4/空玻璃制品，位于桌子上；

5/地上的自由平坦区域，具有0.6m×0.3m的尺寸，位于桌子的左边并且包括桌子的左前脚。

在图2上示出说明性的真实环境，在图2上桌子31具有位于左侧的立方体32和位于右侧的花瓶33，而植物34被放置在桌子31的右边。

5.4.1情景要求的检查

模块12检查哪些情景要求被遵守以及哪些情景要求未被遵守，要求的总数记为nbReq。

对应的算法进行：

-加载从环境扫描和特征确定中推导的特性(模块11)；

-创建nbReq布尔值的列表statusList，其存储每个要求的状态(完全遵守或不完全遵守)；

-创建nbReq数据的列表dataList，其在对应的情景要求被部分遵守或完全遵守的情况下存储真实环境特征/多个真实环境特征，或者在其他情况下什么都不存储；

-加载情景要求的列表。

-对于每个情景要求，模块13接下来负责：

-检查要求是否被遵守；

-如果是，则将statusList的对应元素设置为True，并利用与该要求相关联的环境特征/多个环境特征来填充dataList的对应元素；

-如果否，则将statusList的对应元素设置为False，并利用与该要求相关联的环境特征/多个环境特征来填充dataList的对应元素(例如，物体存在但是小于期望或者处于错误的位置)，或者在没有特征的情况下(例如，所需物体不存在)将statusList的对应元素设置为Empty。

应当注意，即使要求仅被部分遵守，但是由于下面开发的原因，存储环境特征/多个环境特征也是令人感兴趣的。

遵循以上示例，statusList具有以下值：

1/False(桌子31不具有所需尺寸)

2/True

3/True(立方体32)

4/False

5/True

并且dataList具有以下值：

1/桌子大小为1.0m×0.6m

2/大小为0.5m×0.6m、以(X_tfp,Y_tfp)为中心的自由平坦区域

3/具有0.10m的大小、以(X_c,Y_c)为中心的立方体32

4/

5/2m×1m、以(X_gfp,Y_gfp)为中心的地上的自由平坦区域

5.4.2情景要求的分析

继对MR应用要求(特别是：元素、自由平坦区域)的分析以及对环境是否遵守这些要求(即使是部分遵守)的检查，模块13利用虚拟元素使不完全遵守要求的用户(真实)环境的现有部分完整。该适配使得任何环境最终包含确保MR应用以类似方式被呈现的共同特征。

最后，模块13利用加强真实环境的虚拟环境来更新MR应用。

更准确地说，模块13针对每个具体的真实环境，确定如何补偿每个未被完全遵守的情景要求。

在第一种情况中，缺少特征，这可能等于缺乏所需元素(诸如例如以上示例中的玻璃制品)。通过添加虚拟物体来解决该问题，这基于物体的预定义虚拟模型。

在第二种情况中，特征存在于真实环境中，但是不以适当的方式存在。这尤其覆盖所需物体存在但是其大小、位置和/或取向不遵守情景要求的情况。随着真实物体被标记，其相关3D模型以及可能地其纹理是已知的。然后，在有利的实现方式中，将该3D模型变换(移动、缩放和/或旋转)。

如果3D模型太小，则可以将其放大，并且如果3D模型太大，则可以将其缩小。在后一种情况下，填充真实环境中“移除的”或“缺少的”真实物体的部分，这可以通过修复技术来进行，诸如例如在以下文章中开发的那样：IEEE可视化和计算机图形学学报(IEEETransactions on Visualization and Computer Graphics)，第20卷，2014，第6期，第866-879页中的Jan Herling和Wolfgang Broll的“High-Quality Real-Time VideoInpainting with PixMix”。

如果所需物体存在于真实3D场景中但是处于错误的位置，则有利地将其移动或复制/克隆。然后，如果所应用的解决方案包括使物体移动，则填充不再被真实物体覆盖的该物体的区域(这可以通过修复来进行)。如果物体取向不正确，则可以进行类似的动作。

在另一实施例中，请求用户以正确的位置和/或取向手动移动和/或旋转真实物体。在这方面，通过显示虚拟物体向用户示出物体的最终定位和/或取向，虚拟物体的几何形状与真实物体的几何形状相同。用户移动/旋转真实物体的表示，直到它与虚拟物体叠加。

在缺少自由平坦区域/体积或没有足够大的自由平坦区域/体积的情况下，可以应用先前陈述的两个方法。通过使用修复技术，使得可能“移除”占据平坦区域/体积的真实元素的表示，并且可以请求用户手动“清除”该区域/体积。

5.4.3多情景要求的联合管理

补偿未被完全遵守的要求可能导致不再遵守另一要求的事实。例如，通过在桌子31上添加缺少的玻璃制品(图2)，要求2的自由区域(0.3m×0.2m的桌子上的自由平坦区域)可能消失。

下面描述用于管理这种情况所利用的算法。对于使其值设置为False的、statusList的每个当前元素(当前元素于是具有名为Ifalse的索引)，执行以下步骤：

-确定解决方案以遵守与该当前元素相对应的要求，如上所述；

-将具有索引Ifalse的、stateList的当前元素设置为True；

-对于使其值设置为True(并且具有名为Itrue的索引)的、statusList的每个其他元素，检查对应要求在对当前元素采用以上解决方案时是否仍被遵守；

-如果否，则对于当前元素测试允许使索引Itrue的要求仍被遵守的另一配置；

-如果不可能，则令具有索引Ifalse的、stateList的当前元素为False。

该处理的加强版本使得能够避免以不受控制的方式仅使第一被处理要求被满足，而稍后考虑的要求无法被遵守(“先到先服务”)。因此，首先处理具有最高排序优先级的要求，并且根据连续降低的排序(下至最低的排序)来处理其他要求。

在进一步改进的版本中，检查是否可以将一些修改应用于statusList值为True的已经遵守要求的一个或多个真实元素(尤其包括已被布置的元素)的表示，以便获得：

-已经遵守的要求保持完全遵守；

-具有索引Ifalse的当前要求也被完全遵守。

换句话说，该步骤试图找到满足两个目标的修改的组合，虽然修改真实元素的表示可能引起修改一个或多个(可能很多)其他元素的表示。

同样，当不能满足所有约束时，有利地利用要求的层次对最高排序给予优待。

如果statusList的所有元素都等于True，则找到完全遵守情景的解决方案。否则，找不到普通(trivial)的解决方案，并且可能不考虑具有最低优先级排序(或多个最低优先级排序)的一个或多个约束。在变型实现方式中，在缺乏任何全局解决方案的情况下，将所有要求展现给用户，要求该用户修改其真实环境的表示(添加/移动/移除元素)，以便满足要求。

在执行中，如图3上所示，设备1优选地如下进行MR操作。在采集阶段，加载真实3D环境的特征(那些特征与相应的、可能相同的主题相关联)(步骤41)以及加载情景要求的列表(步骤42)。检查是否所有要求已被处理(步骤431)。如果是，则停止该处理(步骤432)。否则，加载下个要求，对应的statusList被初始化为False并且对应的dataList为Empty(步骤433)。

然后，检查是否所有环境特征已被处理(步骤441)。如果是，则该处理循环回到步骤431。否则，加载下个环境特征(步骤451)。然后，检查特征是否涉及要求主题(步骤452)。如果否，则该处理循环回到步骤441。否则，检查特征是否遵守所考虑的要求(步骤453)。如果否，则将对应的statusList设置为False，将该特征添加到对应的dataList中，并且该处理循环回到步骤441。

否则，将对应的statusList设置为True，将该特征添加到对应的dataList中，并且该处理循环回到步骤441。

在图4上可见的特定装置5体现上述设备1。它例如对应于平板、智能电话、头戴式显示器(HMD)、游戏控制台(诸如产生并显示图像现场的专用游戏控制台)或膝上型计算机。无论对于直接观看(用户典型地通过玻璃观看真实3D场景)还是对于间接观看(用户观看在屏幕上显示的真实3D场景)，该装置5都适合于增强现实。两个能力也可以组合。

装置5包括通过地址和数据的总线55(其还传输时钟信号)彼此连接的以下元件：

-微处理器51(或CPU)；

-图形卡52，包括若干个图形处理器单元(或GPU)520和图形随机存取存储器(GRAM)521；

-ROM类型的非易失性存储器56；

-RAM 57；

-一个或若干个I/O(输入/输出)设备54，诸如例如键盘、鼠标、操纵杆、网络摄像头；用于引入命令的其他模式，诸如例如声音识别也是可能的；

-电源58；以及

-射频单元59。

装置5还包括直接连接到图形卡52的显示屏类型的显示设备53，以显示在图形卡中计算和构成的合成图像，例如现场。使用专用总线将显示设备53连接到图形卡52提供具有大得多的数据传输比特率的优点，并因此减少显示由图形卡构成的图像的等待时间。根据变型，显示设备在装置5的外部并通过缆线或无线地连接到装置5，以用于传送显示信号。装置5例如通过图形卡52包括用于传输或连接的接口，其适配于将显示信号传送到外部显示部件，诸如例如LCD或等离子屏幕或视频投影仪。在这方面，RF单元59可以用于无线传输。

在替选实现方式中，显示设备53对应于用户通过其看到真实环境的玻璃，并且装置5还包括光学投影系统(未示出)，其能够例如在玻璃上投影所生成的虚拟图像或内容。

注意，在存储器521、56和57的描述中使用的词语“寄存器”在每个所提及的存储器中表示低容量的存储区(一些二进制数据)以及大容量的存储区(使得能够存储整个程序或者计算或显示代表数据的全部数据或部分数据)。此外，针对GRAM 521表示的寄存器可以以任何方式布置和构成，并且它们中的每一个不一定对应于相邻的存储器定位，而是可以以其他方式分布(这尤其覆盖一个寄存器包括若干个较小寄存器的情况)。

当接通时，微处理器51加载并执行在RAM 57中包含的程序的指令。

随机存取存储器57尤其包括：

-在寄存器570中，负责接通装置5的微处理器51的操作程序，

-在寄存器571中，代表真实3D场景的参数(例如场景的物体的模型和照明参数)；

-在寄存器572中，代表一个或若干个MR情景的参数；

-在寄存器573中，对与MR情景相关联的真实3D场景的约束；

-在寄存器574中，关于真实3D场景并且对应于MR情景的约束的虚拟适配的参数。

实现特定于本公开的方法的步骤并且以上描述的算法存储在与实现那些步骤的装置5相关联的图形卡52的存储器GRAM 521中。当接通并且一旦参数571、572和574被加载到RAM 57中时，图形卡52的图形处理器520将那些参数加载到GRAM 521中，并且例如以使用HLSL(高级着色器语言)语言或GLSL(OpenGL着色语言)的“着色器”类型的微程序的形式来执行那些算法的指令。

随机存取存储器GRAM 521尤其包括：

-在寄存器5211中，代表真实3D场景的参数；

-在寄存器5212中，代表MR情景的参数；

-在寄存器5213中，代表要与情景约束相关地应用的虚拟适配的参数。

根据变型，至少一些与基元有关的数据存储在RAM 57中并由微处理器51处理。然而，该变型导致更大的构成图像的等待时间，该图像包括从包含在GPU 520中的微程序构成的环境的表示，因为数据必须通过总线55从图形卡传送到随机存取存储器57，总线55的传输能力通常不如图形卡中可用于从GPU 520到GRAM 521传输数据(反之亦然)的传输能力。

如技术人员将理解的那样，图形卡52的存在不是强制性的，并且可以用更简单的可视化实现方式来取代。

根据另一变型，电源58在装置1的外部。

基于本公开和详细实施例，在不脱离本发明的范围的情况下，其他实现方式是可能的并且在本领域技术人员的可及范围内。指定元素尤其可以以保持在本公开的框架内的任何方式来互换或关联。此外，可以对不同实现方式的元素进行组合、补充、修改或移除，以产生其他实现方式。通过本公开考虑所有那些可能性。

Claims

1.一种用于生成要被叠加到真实3D场景的表示的至少一个动态虚拟内容的设备(1，5)，所述至少一个动态虚拟内容符合至少一个情景，所述至少一个情景在所述至少一个情景的运行时间之前被定义并且涉及至少一个真实世界约束(23)，所述设备包括：

-至少一个输入端，适配于接收在所述真实3D场景中捕获的真实世界信息(22)，以及

-至少一个处理器，被配置用于在存在从所述真实世界信息中识别的所述至少一个真实世界约束的情况下，在所述运行时间执行所述至少一个情景(14)，

其特征在于，所述至少一个处理器还被配置用于，当未从所述真实世界信息中识别所述至少一个真实世界约束时(12)，在执行所述至少一个情景之前执行所述真实3D场景的所述表示到虚拟适配3D场景的变换(13)，使得所述虚拟适配3D场景遵守所述至少一个约束，以及代替在所述真实3D场景中执行所述至少一个情景，在取代所述真实3D场景的所述虚拟适配3D场景中执行所述至少一个情景。

2.根据权利要求1所述的设备(1，5)，其特征在于，所述至少一个真实世界约束为至少两个并且可能是交互的，并且所述至少一个处理器还被配置用于针对所述至少两个真实世界约束联合执行所述变换，使得所述虚拟适配3D场景遵守所述至少两个约束。

3.根据权利要求1或2所述的设备(1，5)，其特征在于，所述至少一个真实世界约束为至少两个、可能是交互的并且根据重要性顺序被排序，并且所述至少一个处理器还被配置用于针对具有至少一个最高优先级排序的所述至少一个真实世界约束优先执行所述变换，以及用于在缺乏与具有所述至少一个最高优先级排序的所述至少一个真实世界约束不同的所述至少一个真实世界约束中的至少一个的情况下，在所述运行时间执行所述至少一个情景。

4.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述至少一个约束包括存在至少一个真实世界物体，并且所述至少一个处理器被配置用于在所述虚拟适配3D场景中添加所述至少一个真实世界物体的虚拟表示。

5.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述至少一个约束与至少一个真实世界物体的至少一个尺寸有关，并且所述至少一个处理器被配置用于在所述虚拟适配3D场景中修改所述至少一个真实世界物体的所述至少一个尺寸的表示，使得满足对所述至少一个尺寸的所述至少一个约束。

6.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述至少一个处理器被配置用于在所述虚拟适配3D场景中变换对所述至少一个约束不利的至少一个真实世界物体的虚拟表示，使得满足所述至少一个约束。

7.根据权利要求6所述的设备(1，5)，其特征在于，所述至少一个处理器被配置用于通过在所述虚拟适配3D场景中使所述至少一个真实世界物体移除、减少和移动中的至少一个来执行所述变换。

8.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述至少一个约束关系到至少一个真实世界物体，并且所述至少一个处理器被配置用于通过使所述至少一个真实世界物体移动、旋转、平移、缩放、复制中的至少一个来执行所述变换，使得满足对所述至少一个真实世界物体的所述至少一个约束。

9.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述变换涉及在所述虚拟适配3D场景中清理至少一个区域，所述至少一个处理器还被配置用于在所述虚拟适配3D场景中修复所述至少一个区域。

10.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述至少一个处理器还被配置用于让用户明确地参与执行所述变换。

11.根据前述权利要求中任一项所述的设备(1，5)，其特征在于，所述至少一个输入端还适配于接收所述至少一个情景，并且所述设备还包括至少一个输出端，适配于为用户输出所述虚拟适配3D场景的表示的至少部分，以使所述至少一个情景在所述虚拟适配3D场景中可见。

12.一种装置(5)，其特征在于，其包括根据前述权利要求中任一项的设备，所述装置在视频接收器、移动电话、平板和增强现实头戴式显示系统之中被选择。

13.一种用于生成要被叠加到真实3D场景的表示的至少一个动态虚拟内容的方法，所述至少一个动态虚拟内容符合至少一个情景，所述至少一个情景在所述至少一个情景的运行时间之前被定义并且涉及至少一个真实世界约束，所述方法包括：

-接收(41)在所述真实3D场景中捕获的真实世界信息，以及

-在存在从所述真实世界信息中识别的所述至少一个真实世界约束的情况下，在所述运行时间执行所述至少一个情景，

其特征在于，所述方法还包括，当未从所述真实世界信息中识别(452，453)所述至少一个真实世界约束时，在执行所述至少一个情景之前执行所述真实3D场景的所述表示到虚拟适配3D场景的变换，使得所述虚拟适配3D场景遵守所述至少一个约束，以及代替在所述真实3D场景中执行所述至少一个情景，在取代所述真实3D场景的所述虚拟适配3D场景中执行所述至少一个情景。

14.根据权利要求13所述的方法，其特征在于，所述方法由根据权利要求1至11中任一项的设备(1，5)来执行。

15.一种用于生成至少一个动态虚拟内容的计算机程序，包括软件代码，所述软件代码适配于在由处理器执行所述程序时执行符合权利要求13或14的方法。