CN114972599A - 一种对场景进行虚拟化的方法 - Google Patents

Abstract

本公开提供一种对物理场景进行虚拟化的方法、电子设备、计算机可读存储介质和计算机程序产品。所述方法包括基于用于指示场景边界的交互信息，确定所述场景边界内的物理实体，并捕获所述物理实体对应的视频数据；基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据；以及基于所述虚拟实体对应的模型数据，创建所述物理场景对应的虚拟场景。

Description

一种对场景进行虚拟化的方法

技术领域

本公开涉及虚拟现实以及数字孪生领域，更具体地涉及一种对场景进行虚拟化的方法、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

数字孪生(英语：Digital Twins)是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的物理实体的全生命周期过程。数字孪生是一种超越现实的概念，可以被视为一个或多个重要的、彼此依赖的装备系统的数字映射系统。

数字孪生技术还可以与扩展现实技术(XR，Extended Reality)进行结合。扩展现实技术具体包含虚拟现实技术(VR，Virtual Reality)、增强现实技术(AR，AugmentedReality)、混合现实技术(MR，Mixed Reality)等。

数字孪生技术已经广泛应用于工程建设领域，尤其是三维场景建模领域。基于三维场景模型的可视化三维场景应用已经广泛流行。目前存在三维引擎可以助力可视化三维场景应用研发。此外，由于三维场景的虚拟化属性，往往涉及到场景建模应用与虚拟现实应用同时运行的情况。然而，当前的三维场景建模方案的模型生成过程不仅复杂度高耗时长，还需要提前采集大量的数据，因此在实际应用的过程中往往出现卡顿和模拟的虚拟场景的真实度太低的情况。

为此，本公开提出了一种对场景进行虚拟化的方法、电子设备、计算机可读存储介质和计算机程序产品，以解决场景虚拟化过程中的计算复杂度高并且耗时长的技术问题。

发明内容

本公开的实施例提供了一种对物理场景进行虚拟化的方法，包括：基于用于指示场景边界的交互信息，确定所述场景边界；基于所述场景边界，确定所述场景边界内的物理实体，并捕获所述物理实体对应的视频数据；基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据；以及基于所述虚拟实体对应的模型数据，创建所述物理场景对应的虚拟场景。

例如，所述视频数据包括多个视频帧，所述多个视频帧中不同的视频帧对应于不同的光照条件、拍摄位置或拍摄角度。

例如，所述基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据还包括：从所述视频数据中的每个视频帧提取多个离散点；基于每个视频帧的多个离散点，生成以泰森多边形表征的立体模型数据作为所述视频帧的立体模型数据；基于各个视频帧的立体模型数据，确定与所述物理实体对应的虚拟实体的模型数据。

例如，所述基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据还包括：获取建筑信息模型、全球地理位置信息和建筑定位空间数据中的一项或多项；基于所述建筑信息模型、所述全球地理位置信息和所述建筑定位空间数据中的一项或多项，利用所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

例如，所述基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据还包括：获取城市交通数据、城市规划数据、城市市政数据中的一项或多项；基于所述城市交通数据、城市规划数据、城市市政数据中的一项或多项，利用所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

例如，所述的方法还包括：基于所述物理场景对应的虚拟场景，显示所述虚拟场景的相关信息。

例如，所述显示所述虚拟场景的相关信息还包括：从所述视频数据中，选择多个视频帧；对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据；基于所述贴图数据，对所述物理场景对应的虚拟场景进行渲染，显示渲染后的虚拟场景。

例如，所述对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据还包括：对所述多个视频帧进行纹理压缩，以生成纹理压缩后的贴图数据；基于纹理压缩后的贴图数据，确定所述贴图数据对应的材质资源数据和材料资源数据；基于所述贴图数据对应的材质资源数据和材料资源数据，确定纹理缩放处理对应的参数；基于纹理缩放处理对应的参数，对纹理压缩后的贴图数据进行纹理缩放处理，以生成纹理缩放处理后的贴图数据。

本公开的一些实施例提供了一种电子设备，包括：处理器；存储器，存储器存储有计算机指令，该计算机指令被处理器执行时实现上述的方法。

本公开的一些实施例提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述的方法。

本公开的一些实施例提供了一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令在被处理器执行时，使得所述处理器执行上述的方法。

由此，针对应用业务可视化与场景虚拟化的需求，本公开的各个实施例利用视频数据来实现场景的虚拟化，有助于解决场景模型生成过程复杂度高并且耗时长的技术问题。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。

图1是示出根据本公开实施例的应用场景的示例示意图。

图2是示出根据本公开实施例的对物理场景进行虚拟化的示例方法的流程图。

图3是示出根据本公开实施例的物理场景、交互信息和物理实体的示意图。

图4是示出根据本公开的实施例的终端在获取交互信息时的示例界面变化示意图。

图5是示出根据本公开实施例的获取交互信息的示意图。

图6是示出根据本公开的实施例的对视频帧的处理的示意图。

图7是示出根据本公开的实施例的结合建筑信息的对视频帧的处理的示意图。

图8是示出根据本公开的实施例的结合地理信息对视频帧的处理的示意图。

图9是示出根据本公开的实施例的场景建模应用和/或虚拟现实应用的架构示意图。

图10是示出根据本公开的实施例的渲染引擎的操作示意图。

图11示出了根据本公开实施例的电子设备的示意图。

图12示出了根据本公开实施例的示例性计算设备的架构的示意图。

图13示出了根据本公开实施例的存储介质的示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

在本说明书和附图中，具有基本上相同或相似操作和元素用相同或相似的附图标记来表示，且对这些操作和元素的重复描述将被省略。同时，在本公开的描述中，术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种示例的范围的情况下，第一数据可以被称为第二数据，并且类似地，第二数据可以被称为第一数据。第一数据和第二数据都可以是数据，并且在某些情况下，可以是单独且不同的数据。本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个音频帧是指两个或两个以上的音频帧。

应理解，在本文中对各种示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。

还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。还应理解，根据(基于)A确定B并不意味着仅仅根据(基于)A确定B，还可以根据(基于)A和/或其它信息来确定B。

还应理解，术语“包括”(也称“includes”、“including”、“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、操作、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、操作、操作、元素、部件、和/或其分组。

还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

为便于描述本公开，以下介绍与本公开有关的概念。

首先，参照图1描述本公开的各个方面的应用场景。图1示出了根据本公开实施例的应用场景100的示意图，其中示意性地示出了服务器110和多个终端120。终端120以及服务器110可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

如图1所示，本公开实施例采用互联网技术，尤其是物理网技术。物联网可以作为互联网的一种延伸，它包括互联网及互联网上所有的资源，兼容互联网所有的应用。随着物联网技术在各个领域的应用，出现了诸如智能家居、智能交通、智慧健康等各种新的智慧物联的应用领域。

根据本公开的一些实施例用于处理场景数据。这些场景数据可能是物联网技术相关的数据。场景数据包括XX。当然，本公开并不以此为限。

例如，根据本公开的一些实施例的方法可以全部或部分地搭载在服务器110上以对场景数据进行处理，例如，对图片形式的场景数据。例如，服务器110将用于分析场景数据，并基于分析结果确定模型数据。这里的服务器110可以是独立的服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN，Content Delivery Network)、定位服务以及大数据和人工智能平台等基础云计算服务的云服务器，本公开实施例对此不作具体限制。以下，又将服务器110称为云端。

例如，根据本公开实施例的方法还可以全部或部分地搭载在终端120上以对场景数据进行处理。例如，终端120将用于采集上述图片形式的场景数据。又例如，终端120将用于呈现场景数据以使得用户可在虚拟场景中与构建的三维模型进行交互。例如，终端120可以是一种交互装置，其能提供3D数字虚拟对象且包括用户界面的显示装置，可通过用户界面对3D数字虚拟对象进行显示，用户可以与交互装置进行信息交互，又例如，终端120还将用于分析上述的建筑数据。本公开对此并不进行限定。

例如，多个终端120中的每个终端可以是诸如台式计算机等的固定终端，诸如，智能手机、平板电脑、便携式计算机、手持设备、个人数字助理、智能可穿戴设备(例如，智能眼镜)、智能头戴设备、摄像机、车载终端等具有网络功能的移动终端，或者它们的任意组合，本公开实施例对此不作具体限制。所述多个终端120中的每个终端还可以包括各种传感器或者数据采集装置，例如图1中所示的温度传感器等。在一些示例中，场景数据与光照条件相关，因此所述终端还可以是亮度传感器。在又一些示例中，终端120还可以是摄像机(例如红外摄像机)或者距离探测仪。

上述的各种终端120均可以结合增强现实(AR)技术和虚拟现实(VR)技术。其中，增强现实技术是一种将虚拟场景数据与真实场景进行融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。虚拟现实是利用计算机针对真实场景仿真产生一个三维空间的虚拟世界，提供用户关于视觉等感官的仿真，让使用者感觉彷佛身历其境，可以实时、没有限制地观察三维空间内的事物。用户进行位置移动时，计算机可以立即进行复杂的运算，将精确的三维世界影像传回产生临场感。

以图1中示出的智能眼镜为例对结合有增强现实技术和虚拟现实技术的终端120进行进一步说明。智能眼镜不仅包括常规眼镜的各种光学组件和支撑组件，其还包括显示组件，用于显示上述的增强现实信息和/或虚拟现实信息。智能眼镜还包括对应的电池组件、传感器组件和网络组件等等。其中，传感器组件可以包括深度相机(例如，Kinect深度相机)，其通过调幅连续波(AMCW)时差测距(TOF)原理来捕捉真实场景中的深度信息，利用近红外光(NIR)来生成真实场景对应的深度图。传感器组件还可以包括各种加速度传感器、陀螺仪传感器和地磁场传感器等，用于检测用户的姿态和位置信息，从而为场景数据的处理提供参考信息。智能眼镜上还可能集成由各种眼球追踪配件，以通过用户的眼动数据来在现实世界、虚拟世界和用户之间搭建桥梁，从而提供更为自然的用户体验。本领域技术人员应当理解，虽然以智能眼镜为例对终端120进行了进一步的说明，但是本公开并未对终端的种类进行任何限制。

可以理解的是，本公开的实施例还可以进一步涉及人工智能服务以智能地提供上述的虚拟场景。人工智能服务不仅可以是在服务器110上执行的，也可以是在终端120上执行的，还可以是由终端和服务器共同执行的，本公开对此不进行限制。此外，可以理解的是，应用本公开的实施例的人工服务来对场景数据进行分析推理的装置既可以是终端，也可以是服务器，还可以是由终端和服务器组成的系统。

目前，数字孪生技术已经广泛应用于工程建设领域，尤其是三维场景建模领域。基于三维场景模型的可视化三维场景应用已经广泛流行。目前存在很多三维引擎可以助力可视化三维场景应用研发。此外，由于三维场景的虚拟化属性，往往涉及到场景建模的应用与虚拟现实应用同时运行的情况。然而，当前的三维场景建模方案的模型生成过程不仅复杂度高耗时长，还需要提前采集大量的数据，因此在实际应用的过程中往往出现卡顿和模拟的虚拟场景的真实度太低的情况。

例如，目前存在这样的技术方案：从一个固定点，从上下左右前后六个固定的角度拍摄某个场景的六张图片，然后将这六张图片通过贴图方案贴至立方体形式的空间场景模型。

由于在实际展示的过程中，需要对贴图的数据进行拉伸形变，这样的方案生成的虚拟三维场景往往真实度差。此外，由于这六张图片的拍摄时间往往存在差异，导致六张图片均对应不同的光照场景。由此，实际生成的虚拟场景往往难以模拟真实的光照情况，导致虚拟场景的失真。更进一步地，由于这六张图片仅简单的贴至立方体形式的空间场景模型，其往往需要提前采集的大量信息并使用大量的计算资源才能准确地确定符合场景建模应用需求的信息，导致场景建模应用难以与虚拟现实应用同时运行。

因此，本公开的实施例提供了一种对物理场景进行虚拟化的方法，包括：基于指示场景边界的交互信息，确定所述场景边界内的物理实体，并捕获所述物理实体对应视频数据；基于所述视频数据，确定与所述物理实体对应的虚拟实体的模型数据；以及基于所述虚拟实体对应的模型数据，创建所述物理场景对应的虚拟场景。由此，针对应用业务可视化与场景虚拟化的需求，本公开的各个实施例利用视频数据来实现场景的虚拟化，有助于解决场景模型生成过程复杂度高并且耗时长的技术问题。

以下，参考图2至图12以对本公开实施例进行进一步的描述。

作为示例，图2是示出根据本公开实施例的对物理场景进行虚拟化的示例方法20的流程图。图3是示出根据本公开实施例的物理场景、交互信息和物理实体的示意图。

参见图2，示例方法20可以包括操作S201-S203之一或全部，也可以包括更多的操作。本公开并不以此为限。如上所述，操作S201至S203是由终端120/服务器110实时执行的，或者由终端120/服务器110离线执行。本公开并不对示例方法200各个操作的执行主体进行限制，只要其能够实现本公开的目的即可。示例方法中的各个步骤可以全部或部分地由虚拟现实应用和/或场景建模应用执行。虚拟现实应用和场景建模应用可以集成成一个大型应用，虚拟现实应用和场景建模应用可以是两个独立的应用，但是通过二者互相开放的接口传输交互信息、视频数据、模型数据等等。本公开并不以此为限。

例如，在操作S201中，基于指示场景边界的交互信息，确定所述场景边界。在操作S202中，基于所述场景边界，确定所述场景边界内的物理实体，并捕获所述物理实体对应视频数据。

例如，所述交互信息可以是通过图1中的终端120采集的，其指示需要对物理场景中的哪些物理实体进行进一步虚拟化处理。例如，如图3所示，其示出了一种物理场景、交互信息和物理实体的示例，其示意地示出了包括沙发、窗帘、月亮、台灯、置物柜和书籍等物理实体的物理场景的示例。针对这样的物理场景，可以获取以圆形框示出的交互信息，其指示仅需要对圆形框中的物理实体及物理场景进行虚拟化。也即在图3的示例中，其可以对应地确定所述场景中的物理实体仅包括台灯、置物柜和书籍。接着，可以捕获台灯、置物柜和书籍对应的视频数据。虽然在图3以圆形框的形式示出了场景边界，本领域技术人员应当理解本公开并不以此为限，具体地，还可以任意的连通形状指示场景边界。之后将参考图4至图5来详细描述交互信息的各种示例，本公开在此不再赘述。

作为一个示例，所述物理实体对应的视频数据是指连续的图像序列，其实质是由一组组连续的图像构成的。该图像序列中的每个图像又称为视频帧，其是组成视频的最小视觉单位。可以以参考图1描述的各种终端120来采集该视频数据，例如可以使用智能眼镜、手机终端、深度相机等设备来采集该视频数据。由于视频数据捕获的物理实体在一段时间内的图像(视频帧)，所述多个视频帧中不同的视频帧对应于不同的光照条件、拍摄位置或拍摄角度。因此，视频数据中的每个视频帧包括关于该物理实体的各种信息。根据采用本公开实施例的各种实验，可以确定能够从包括300帧的视频数据中提取到能够表征物理实体的足够多的信息，从而实现真实度高的虚拟实体的建模处理。

在操作S203中，基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

可选地，所述视频数据虽然是利用终端120采集的，但是视频数据的分析处理可以是服务器110处理的。例如，终端120可以通过流式传输将视频数据传输至服务器，然后服务器110可以对所述物理实体对应的视频数据进行处理(例如，图像处理等)以获取与所述物理实体对应的虚拟实体的模型数据。此外，服务器110还可以结合各种已知信息或通过各类接口连接至公开或非公开数据库，以获取与所述物理实体相关的信息作为所述虚拟实体的模型数据。

例如，所述虚拟实体的模型数据指示可以用于在虚拟场景中搭建虚拟实体有关的任意数据。例如，其可以从所述视频数据的各个视频帧中提取的虚拟实体的边缘信息、位置信息、深度信息、顶点信息、高度信息、宽度信息、长度信息等等。所述虚拟实体的模型数据也可以是从所述视频数据的各个视频帧中提取的虚拟实体所处的环境信息，例如，光照信息、相对位置关系信息等等。甚至在物理实体为物联网设备的情况下，所述虚拟实体的模型数据还可以包括物联网相关信息，例如网络状态、注册请求信息、注册实体信息、设备运行信息等等。又或者，还可以基于对所述视频数据的分析，从互联网/数据库中拉取与所述物理实体相关的任意数据。本公开对此不进行限制。之后将参考图6来详细描述交互信息的各种示例，本公开在此不再赘述。

在操作S204中，基于所述虚拟实体对应的模型数据，创建所述物理场景对应的虚拟场景。

可选地，所述虚拟场景是三维虚拟场景，其是真实物理场景的虚拟化。在该三维虚拟场景内放置有所述虚拟实体对应的三维虚拟模型。三维虚拟模型又称为3D模型，其可通过各种3D软件制作。结合以下详述的本公开的各个实施例，本公开中制作3D模型的软件例如是CAD(CAD-Computer Aided Design，计算机辅助设计)软件。在这些示例中，可以通过该软件得到STL格式的3D模型文件；然后，再将STL格式文件导入到可进行切片的3D软件中的切片处理流程管线，以获得该三维虚拟模型。此外，还可在闯将三维虚拟模型之前，对模型数据进行结构性优化，以节省计算资源，提高处理效率。值得注意的是，本公开并不对3D软件的类型进行限制，例如，可为3D模型剖析的软件，可为进行视觉艺术创作的3D软件，还可为3D打印的3D软件，等等；此外，还可通过计算机图形库(即自编程时用到的图形库)制作生成三维模型；例如，(OpenGraphics Library，开放图形库)、DirectX(Direct eXtension)等等。

可选地，方法20还可以进一步包括操作S205。在操作S205中，基于所述物理场景对应的虚拟场景，显示所述虚拟场景的相关信息。例如，以三维的形式显示该虚拟场景。

可选地，可以使用各类三维渲染引擎来将所述虚拟场景进行可视化。三维渲染引擎能够实现从数字三维场景中生成可显示的二维影像。所生成的二维影像可以是写实的也可以是非写实的。而三维渲染的过程需要依靠3D渲染引擎来生成。结合以下详述的本公开的各个实施例，本公开中的示例渲染引擎可以使用“光线追踪”技术，其通过追踪来自摄影机的光线穿过像素的虚拟平面并模拟其与物体相遇的效果来生成影像。本公开中的示例渲染引擎还可以使用“光栅化”技术，其通过收集各种面元的相关信息来确定二维影像中各个像素的值。本公开并不对3D渲染引擎的种类以及采用的技术进行限制。

由此，针对应用业务可视化与场景虚拟化的需求，方法20利用视频数据来实现场景的虚拟化，有助于解决场景模型生成过程复杂度高并且耗时长的技术问题。

接下来参考图4和图5来进一步描述操作S201至S202的示例。其中，图4是示出根据本公开的实施例的终端在获取交互信息时的示例界面变化示意图。图5是示出根据本公开实施例的获取交互信息的示意图。

如图4所示，终端120上可能搭载有场景建模应用和/或虚拟现实应用。响应于场景建模应用和/或虚拟现实应用开启，终端120可以触发“手势圈选”相关功能，用于获取指示场景边界的交互信息。具体地，响应于终端120为智能眼镜或智慧手机，透过所述智能眼镜或利用所述智慧手机的摄像头可能看到图4的左图中的7个示例物理实体。通过触发显示屏上的对话框，智能眼镜或智慧手机将对用户的手势进行捕捉。例如，用户可能在智能眼镜前用手在空中比划一个不规则区域范围。又例如，用户可能一手握着智慧手机，并用另一只手在智慧手机的摄像头可拍摄的区域中比划一个不规则的区域范围。智能眼镜或智慧手机将对该手势进行识别，以获得一个可以用矢量性的接续向量描述的场景边界，其在首尾定向闭合时，可以生成如图4和图5所示的凸多边形闭合区域。

进一步地，如图5所示，以摄像组件(例如，智能眼镜或智慧手机的摄像头)为起点，基于从上述的凸多边形闭合区域的边缘上的多个点到起点所在的垂直面的距离。基于所述多个点到起点所在的垂直面的距离，从中选取最短距离作为凸多边形闭合区域对应的最短距离。基于凸多边形闭合区域对应的最短距离，确定第一垂直面。例如，第一垂直面垂直于水平面，并且第一垂直面与摄像组件之间的水平距离为凸多边形闭合区域对应的最短距离。接着，基于所述第一垂直面确定圆形平面区域。所述圆形平面区域用于辅助确定某个物理实体是否位于场景边界内。

例如，可以将所述凸多边形闭合区域上的最高点和最低点投影到所述第一垂直面上，并将第一垂直面上的所述最高点的投影和所述最低点的投影之间连线作为直径，以该连线的中心作为圆心，确定所述圆形平面区域。又例如，可以将所述凸多边形闭合区域上的最左点和最右点投影到所述第一垂直面上，并将第一垂直面上的所述最左点的投影和所述最右点的投影之间连线作为直径，以该连线的中心作为圆心，确定所述圆形平面区域。又例如，还可以将所述凸多边形闭合区域的最长对角线投影到所述第一垂直面上，以所述最长对角线的投影作为直径，以所述最长对角线的投影的中心作为圆心，确定所述圆形平面区域。本公开并不对确定圆形平面区域的方式进行进一步的限定。

类似地，以摄像组件为起点，确定从物理实体的边缘上的多个点到起点所在的垂直面的距离。基于所述物理实体的边缘上的多个点到起点所在的垂直面的距离，选取物理实体对应的最短距离。基于该物理实体对应的最短距离，确定第二垂直面。例如，第二垂直面垂直于水平面，并且第二垂直面与摄像组件之间的水平距离为物理实体对应的最短距离。基于凸多边形闭合区域对应的最短距离与物理实体对应的最短距离的比值，在第二垂直面上确定等比扩大的圆形平面区域。圆形平面区域的直径与等比扩大的圆形平面区域的直径之间的比值等于凸多边形闭合区域对应的最短距离与物理实体对应的最短距离的比值，并且圆形平面区域的圆心与等比扩大的圆形平面区域的圆心在同一条水平线上。

如果该物理实体在该等比扩大的圆形平面区域上的投影全部在所该等比扩大的圆形平面区域内，那么可以确定该物理实体在所述场景边界内部。如图4和图5所示，可以确定灰色标记的物理实体在所述场景边界内，而白色标记的物理实体在所述场景边界外。由此，基于凸多边形闭合区域对应的最短水平距离确定第一垂直面和第二垂直面能够实现更小的误差。当然本公开并不以此为限。

图4和图5仅为利用手势追踪方案来获取指示场景边界的交互信息以及确定场景边界内的物理实体的一种示例方案，本公开并不以此为限。例如，虚拟现实应用还可以先通过红外线感测或动态图像识别的方案，先确定摄像组件能够拍摄的多个物理实体，并通过语音或文字对话框提示用户从所述多个物理实体中进行选择。在这样的情况下，用户从所述多个物理实体中进行选择的信息将作为指示场景边界的交互信息。又例如，虚拟现实应用还可以先拍摄一张静态的图像，对该静态的图像进行边缘提取，以在静态的图像上绘制覆盖所拍摄的物理实体的按钮，用户通过点击/触摸/手势指示等方式触发该按钮以实现从所述多个物理实体中选择需要虚拟化的物理实体。在这样的情况下，用户对于该按钮进行触发的信息也可以作为指示场景边界的交互信息。

接着，摄像组件将捕获场景边界内的物理实体对应的视频数据。例如，摄像组件可以在拍摄时段内不断地自动/手动调整拍摄参数，例如，调整焦点、焦距、摄像组件的位置、间断地开启闪光灯、间断地开启远光灯、间断地开启近光灯等方式捕获所述物理实体对应的视频数据，以使得视频数据中包括更多的信息。当然在一些示例中，摄像组件也可以在拍摄时段内不对拍摄参数进行任何调整。由于在虚拟现实应用的运行过程中，环境光往往存在设备可捕捉变化，所捕获的视频数据往往也包括了足够多的信息，足以提供足够的虚拟实体的模型数据。

由此，本公开的各个方面通过虚拟现实应用，采用丰富的人机交互方式提供用于指示场景边界的交互信息，能够便捷地确定场景边界内的物理实体，为后续的虚拟场景的创建提供足够多的模型数据。

接下来，参考图6至图8来进一步描述操作S202的示例。其中，图6是示出根据本公开的实施例的对视频帧的处理的示意图。图7是示出根据本公开的实施例的结合建筑信息的对视频帧的处理的示意图。图8是示出根据本公开的实施例的结合地理信息对视频帧的处理的示意图。

可选地，操作S202包括从所述视频数据中的每个视频帧提取多个离散点；基于每个视频帧的多个离散点，生成以泰森多边形表征的立体模型数据作为所述视频帧的立体模型数据；基于各个视频帧的立体模型数据，确定与所述物理实体对应的虚拟实体的模型数据。

图6示出了场景建模应用和/或虚拟现实应用对于视频数据中的一个视频帧的示例。该视频数据拍摄以杯子形态示出的物理实体。本领域技术人员应当理解，图6仅是用于说明本公开的方案的示意图，真实的视频数据还可能在单个视频帧中包括更多或更少的像素和信息。

作为一个示例，场景建模应用和/或虚拟现实应用将从视频数据中提取如601标记的视频帧。接着，可以从以601标记的视频帧中提取如602标记的图像中以黑色圆点标记的多个离散点。所述多个离散点中的每个离散点均指示物理实体关联的信息。离散点的示例可以是杯子的顶点、中心点、特征点、以及明暗变化最剧烈的点。作为一个示例，可以在单个视频帧中提取20个至30个离散点。当然，本公开的实施例并不以此为限。

可以以各种方式来提取离散点，本公开对提取离散点的方式不进行限制。例如，可以该视频帧生成灰度图以从灰度图中确定每个像素的明暗变化情况。然后，基于每个像素的明暗变化情况生成热力图，以获取视频帧的明暗变化分布。基于所述明暗变化分布，确定多个离散点的坐标，这些离散点均指示该视频帧的明暗变化信息。

又例如，可以利用神经网络来智能地识别所述视频帧中的多个离散点，每个离散点可以是该视频帧中的特征点。可以使用各种神经网络模型来确定这些离散点，例如可以采用深度神经网络(DNN)模型、因子分解机(FM)模型等等。这些神经网络模型可以被实现为无环图，其中神经元布置在不同的层中。通常，神经网络模型包括输入层和输出层，输入层和输出层通过至少一个隐藏层分开。隐藏层将由输入层接收到的输入变换为对在输出层中生成输出有用的表示。网络节点经由边全连接至相邻层中的节点，并且每个层内的节点之间不存在边。在神经网络的输入层的节点处接收的数据经由隐藏层、激活层、池化层、卷积层等中的任意一项被传播至输出层的节点。神经网络模型的输入输出可以采用各种形式，本公开对此不作限制。

接续该示例，可以基于所提取的各个离散点生成以泰森多边形表征的立体模型数据。例如，可以从这些离散点中任意选取一个离散点作为第一离散点，然后查找距离此点最近的点作为第二离散点，连接第一离散点和第二离散点作为第一基线。查找距离该第一基线最近的点作为第三离散点，连接第一离散点和第三离散点作为第二基线并连接第二离散点和第三离散点作为第三基线。第一基线、第二基线和第三基线组成框603中标记的三角形。接着，再查找距离第二基线和第三基线最近的离散点，重复生成多个三角形，直至生成框604中标记的三角网。基于该三角网，利用泰森多边形生成的方式，形成立体的模型结构。泰森多边形生成是将任意一个离散点作为中心点，然后将中心点分别同周围多个离散点相连，然后分别做直线的垂直平分线，这些垂直平分线相交组成的多边形(由此，由称为该中心点的临近范围)，该多边形即为泰森多边形。由此，针对每个视频帧，均能生成以泰森多边形进行表征的立体模型结构。

由于同一个物理实体，其的物理结构、物理表面均难以在短时间(例如视频数据捕获的时段内)中变化，因此，针对时间上相邻或相近的视频帧，可以根据视频帧中提取的离散点之间的相似度来确定多个视频帧中的相同离散点。结合近大远小的原理，可以算出各个离散点处的深度信息。各个离散点处的深度信息将作为所述物理实体对应的虚拟实体的模型数据的示例。

如图7所示，如果场景建模应用和/或虚拟现实应用需要对包括大型建筑物的场景进行虚拟化(其中大型建筑物将作为一个物理实体)，那么可以进一步地结合该大型建筑物的建筑信息模型(BIM模型)来确定该物理实体对应的虚拟实体的模型数据。BIM模型也即建筑信息化模型，其英文全称是Building Information Modeling。一个BIM模型中不仅有建筑的三维模型，还可以设置建筑的材料特性、颜色、设计者、制造者、施作者、检验者、日期时间、面积、体积等信息。各个监测虚拟实体可以作为实体对象被设置于BIM模型中，其对应地包括对象标识、对象的几何数据、对象的基准几何数据、对象实时采集到的数据等等。本公开并不以此为限。

此外，还可以进一步结合该大型建筑物对应的全球地理位置信息，来确定该物理实体对应的虚拟实体的模型数据。其中，全球地理位置信息可以是在地图数据库中根据该物理实体的部分特征查找到的信息。例如可以通过各种导航地图应用查找到该物理实体对应的经纬度信息作为全球地理位置信息。又例如，还可以基于终端120的定位模块(例如GPS定位模块、北斗系统定位模块)确定的终端120的位置数据，来进一步确定距离手机一定范围内的物理实体的位置。本公开并不对全球地理位置信息进行进一步的限定。

此外，还可以进一步结合该大型建筑物对应的建筑定位空间数据，来确定该物理实体对应的虚拟实体的模型数据。例如，可以通过终端120从建筑定位空间数据库中拉取对应建筑的建筑定位空间数据，其包括建筑的长宽高数据、墙体数据、建筑在报批时的各项设计数据等等。本公开并不对建筑定位空间数据进行进一步的限定。

例如，可以从上述的视频数据中提取光照信息，然后将该光照信息与上述的建筑信息模型进行结合，以确定与所述物理实体对应的虚拟实体的模型数据。又例如，可以结合图6中描述的方法，从视频数据中的各个视频帧中生成所述视频帧的立体模型数据，结合立体模型数据、建筑信息模型、全球地理位置信息和建筑定位空间数据中的一项或多项，确定与所述物理实体对应的虚拟实体的模型数据，进而使得能够呈现不同光照条件下的虚拟场景。本公开对此不进行限制。

如图8所示，如果场景建模应用和/或虚拟现实应用需要对远景进行虚拟化(该远景中包括多个大型建筑物，每个大型建筑物都将作为一个物理实体)，那么还可以进一步地结合城市交通数据、城市规划数据、城市市政数据等来确定该物理实体对应的虚拟实体的模型数据。城市交通数据、城市规划数据、城市市政数据可以从城市相关的网页信息中直接获取，或从相关数据库中拉取。本公开对此不进行限定。城市交通数据、城市规划数据、城市市政数据均为示例性的地理信息，本公开在此就不再赘述。

接下来参考图9来进一步描述操作S203的示例。其中，图9是示出根据本公开的实施例的场景建模应用和/或虚拟现实应用的架构示意图。

如图9所示场景建模应用和/或虚拟现实应用中可以从数据采集模块(例如摄像头)中获得视频数据，然后通过底层功能模块对该视频数据进行初步解析。其中数据采集模块的支持组件可以包括任意的硬件设备SDK或WebSocket客户端，而底层功能模块则包括：基于视频数据生成序列化的Xml/Json的文件摘要的序列化功能模块、确定各个程序/服务的活动性的监听功能模块、文件格式转换模块等等。

根据上述对于该视频数据的初步解析，还可以使用I/O模块来将视频数据处理为可传输的文件。例如，I/O模块可以包括多个服务模块，例如，提供文件监听服务的文件监听模块以及用于将文件进行FTP传输的文件传输模块等等。

然后，终端120上搭载的场景建模应用和/或虚拟现实应用将文件形式的视频数据传输至服务器110进行进一步解析。具体地，服务器110上也类似地包括通信模块。该通信模块也类似支持组件可以包括任意的硬件设备SDK或WebSocket客户端。甚至为提高传输速度，还可以对应地包括管道传输模块。服务器110上还包括各种数据库，例如模型数据库、材质数据库和纹理数据库。服务器110可以使用其分析模块，结合各种数据库中的执行上述操作S202，然后将虚拟实体的模型数据返回至场景建模应用和/或虚拟现实应用。

接着场景建模应用和/或虚拟现实应用将利用规则转换模块，将物理世界中的规则转换为虚拟场景中的规则(例如，进行坐标转换)，并结合该虚拟场景中的规则创建所述物理场景对应的虚拟场景。值得注意的是，接收虚拟实体的模型数据的终端不一定是发送视频数据文件的终端。例如，可以利用终端A采集视频数据发送至服务器，然后服务器将模型数据发送至终端B，从而实现远端多地协同操作。为物理场景之外的用户提供相应动态参考，以助于该用户进行虚拟场景的异地分析和虚拟场景还原。

此外，场景建模应用和/或虚拟现实应用中还可以包括渲染进程和控制进程以实现虚拟场景的可视化过程。例如，渲染进程和控制进程可以互相通信，以实现虚拟场景的可视化，此外渲染进程还向控制进程提供仿真反馈信息，以指示上述的虚拟场景与物理场景之间的比较信息。当然本公开并不限于此。

本公开的各个实施例的扩展性强，不仅能够结合各种手势识别算法，进行深度纵向开发，以向终端120的普通用户提供模型数据和辅助数据，还可以进行横向扩展开发，以向某些特殊行业的监管者提供场景监管服务，通过真实场景还原，实现实时场景检测。此外，本公开的各个实施例还可以输出为对应平台可使用的JAR包/动态链接库，供多系统进行集成。

接下来参考图10来进一步描述操作S204的示例，其中，图10是示出根据本公开的实施例的渲染引擎的操作示意图。

作为一个示例，操作S204包括：从所述视频数据中，选择多个视频帧；对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据；基于所述贴图数据，对所述物理场景对应的虚拟场景进行渲染，显示渲染后的虚拟场景。

例如，可以利用OpenGL ES的接口glCompressedTexImage2D(…,format,…,data)来对所述多个视频帧进行纹理压缩。值得注意地是，本公开并不限制纹理数据的格式，其可以根据供应商的SDK或文档，将纹理数据转换为任意的格式。例如，假设终端120的显示屏幕适配有32MB的显示内存。可以将2MB的单个视频帧图像进行纹理压缩以生成ECT(EricssonTexture Compression)格式的贴图数据，以保证16张贴图以上的贴图数据。

在一些情况下，经纹理压缩后得到的贴图数据可能在比例上出现失真，因此，可以在三维渲染引擎中利用纹理缩放进一步调整贴图数据。例如，可以针对贴图数据生成材质(Texture)资源数据(例如，图10所示的材质A至材质C参数)。基于材质资源数据，渲染引擎将对应地生成材料(Material)资源数据(例如，图10所示的颜色、高光、金属等参数)。结合从视频数据中获取的与所述物理实体对应的虚拟实体的模型数据，基于所述材质资源数据和材料资源数据，可以确定纹理缩放处理对应的参数(例如，部分贴图中的像素数据可以直接以纹理缩放参数进行表征)，基于所述纹理缩放处理对应的参数，可以进一步地对贴图数据进行纹理缩放处理，以进一步减少贴图数据的文件大小，保证虚拟现实应用的运行速度。

由此，针对应用业务可视化与场景虚拟化的需求，本公开的各个实施例利用视频数据来实现场景的虚拟化，有助于解决场景模型生成过程复杂度高并且耗时长的技术问题。

此外根据本公开的又一方面，还提供了一种对物理场景进行虚拟化的装置，所述装置包括：第一模块，被配置为基于用于指示场景边界的交互信息，确定所述场景边界内的物理实体，并捕获所述物理实体对应的视频数据；第二模块，被配置为基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据；以及第三模块，被配置为基于所述虚拟实体对应的模型数据，创建所述物理场景对应的虚拟场景。

例如，所述视频数据包括多个视频帧，所述多个视频帧中不同的视频帧对应于不同的光照条件、拍摄位置或拍摄角度。

例如，所述第二模块还被配置为：从所述视频数据中的每个视频帧提取多个离散点；基于每个视频帧的多个离散点，生成以泰森多边形表征的立体模型数据作为所述视频帧的立体模型数据；基于各个视频帧的立体模型数据，确定与所述物理实体对应的虚拟实体的模型数据。

例如，所述第二模块还被配置为：获取建筑信息模型、全球地理位置信息和建筑定位空间数据中的一项或多项；基于所述建筑信息模型、所述全球地理位置信息和所述建筑定位空间数据中的一项或多项，利用所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

例如，所述第二模块还被配置为：获取城市交通数据、城市规划数据、城市市政数据中的一项或多项；基于所述城市交通数据、城市规划数据、城市市政数据中的一项或多项，利用所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

例如，所述装置还包括第四模块，被配置为：基于所述物理场景对应的虚拟场景，显示所述虚拟场景的相关信息。

例如，所述显示所述虚拟场景的相关信息还包括：从所述视频数据中，选择多个视频帧；对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据；基于所述贴图数据，对所述物理场景对应的虚拟场景进行渲染，显示渲染后的虚拟场景。

例如，所述对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据还包括：对所述多个视频帧进行纹理压缩，以生成纹理压缩后的贴图数据；基于纹理压缩后的贴图数据，确定所述贴图数据对应的材质资源数据和材料资源数据；基于所述贴图数据对应的材质资源数据和材料资源数据，确定纹理缩放处理对应的参数；基于纹理缩放处理对应的参数，对纹理压缩后的贴图数据进行纹理缩放处理，以生成纹理缩放处理后的贴图数据。

此外根据本公开的又一方面，还提供了一种电子设备，用于实施根据本公开实施例的方法。图11示出了根据本公开实施例的电子设备2000的示意图。

如图11所示，所述电子设备2000可以包括一个或多个处理器2010，和一个或多个存储器2020。其中，所述存储器2020中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器2010运行时，可以执行如上所述的搜索请求处理方法。

本公开实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、操作及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或ARM架构的。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

例如，根据本公开实施例的方法或装置也可以借助于图12所示的计算设备3000的架构来实现。如图7所示，计算设备3000可以包括总线3010、一个或多个CPU 3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如ROM 3030或硬盘3070可以存储本公开提供的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备3000还可以包括用户界面3080。当然，图7所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图7示出的计算设备中的一个或多个组件。

根据本公开的又一方面，还提供了一种计算机可读存储介质。图13示出了根据本公开的存储介质4000的示意图。

如图13所示，所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的根据本公开实施例的方法。本公开实施例中的计算机可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本公开的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开实施例的方法。

需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

在上面详细描述的本公开的示例实施例仅仅是说明性的，而不是限制性的。本领域技术人员应该理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。

Claims (11)

1.一种对物理场景进行虚拟化的方法，包括：

基于用于指示场景边界的交互信息，确定所述场景边界；

基于所述场景边界，确定所述场景边界内的物理实体，并捕获所述物理实体对应的视频数据；

基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据；以及

基于所述虚拟实体对应的模型数据，创建所述物理场景对应的虚拟场景。

2.如权利要求1所述的方法，其中，所述视频数据包括多个视频帧，所述多个视频帧中不同的视频帧对应于不同的光照条件、拍摄位置或拍摄角度。

3.如权利要求1所述的方法，其中，所述基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据还包括：

从所述视频数据中的每个视频帧提取多个离散点；

基于每个视频帧的多个离散点，生成以泰森多边形表征的立体模型数据作为所述视频帧的立体模型数据；

基于各个视频帧的立体模型数据，确定与所述物理实体对应的虚拟实体的模型数据。

4.如权利要求1所述的方法，其中，所述基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据还包括：

获取建筑信息模型、全球地理位置信息和建筑定位空间数据中的一项或多项；

基于所述建筑信息模型、所述全球地理位置信息和所述建筑定位空间数据中的一项或多项，利用所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

5.如权利要求1所述的方法，其中，所述基于所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据还包括：

获取城市交通数据、城市规划数据、城市市政数据中的一项或多项；

基于所述城市交通数据、城市规划数据、城市市政数据中的一项或多项，利用所述物理实体对应的视频数据，确定与所述物理实体对应的虚拟实体的模型数据。

6.如权利要求1所述的方法，还包括：

基于所述物理场景对应的虚拟场景，显示所述虚拟场景的相关信息。

7.如权利要求6所述的方法，其中，所述显示所述虚拟场景的相关信息还包括：

从所述视频数据中，选择多个视频帧；

对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据；

基于所述贴图数据，对所述物理场景对应的虚拟场景进行渲染，

显示渲染后的虚拟场景。

8.如权利要求7所述的方法，其中，所述对所述多个视频帧进行纹理压缩和/或纹理缩放处理，以生成贴图数据还包括：

对所述多个视频帧进行纹理压缩，以生成纹理压缩后的贴图数据；

基于纹理压缩后的贴图数据，确定所述贴图数据对应的材质资源数据和材料资源数据；

基于所述贴图数据对应的材质资源数据和材料资源数据，确定纹理缩放处理对应的参数；

基于纹理缩放处理对应的参数，对纹理压缩后的贴图数据进行纹理缩放处理，以生成纹理缩放处理后的贴图数据。

9.一种电子设备，包括：处理器；存储器，存储器存储有计算机指令，该计算机指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-8中任一项所述的方法。

11.一种计算机程序产品，其包括计算机可读指令，所述计算机可读指令在被处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述的方法。

Images