CN113313749A

CN113313749A - 多维数字环境中多维对象的可见度度量

Info

Publication number: CN113313749A
Application number: CN202010122934.8A
Authority: CN
Inventors: J·拉蒙塔涅; S·康德拉托夫; I·比特尼
Original assignee: Trivver Inc
Current assignee: Trivver Inc
Priority date: 2020-02-27
Filing date: 2020-02-27
Publication date: 2021-08-27

Abstract

使用各种实施例，描述了确定多维数字环境中多维对象的可见度度量的方法和系统。在一个实施例中，一种系统配置为渲染在图形用户界面上显示的多维数字环境的视口。视口包括感兴趣对象。感兴趣对象包括多维数字对象。用第一组颜色渲染感兴趣对象。该系统还配置为确定代表第一颜色集合中的像素总数的第一像素数，并确定代表视口的像素总数的视口中的第二像素数。此后，通过将第一像素数除以第二像素数来计算比率。然后，通过计算出的比率得出可见度度量。

Description

多维数字环境中多维对象的可见度度量

技术领域

本发明的实施例总体上涉及出于计算机生成的(或模拟的)多维数字环境中的分析目的的数据收集。更具体地，本发明的实施例涉及在多维数字环境中确定多维数字对象的可见度的度量。

背景技术

在许多使用计算机辅助可视化技术的不同领域中利用了多维计算机生成或模拟的环境。示例可以包括与游戏、医疗、培训、金融、广告、房地产或涉及使用虚拟现实、增强现实、混合现实、三维数字对象的任何领域有关的行业。以上认定领域中任何一个的重要方面可以包括基于驻留在多维数字环境中的多维数字对象的可见性来收集数据。然而，当前已知的实施例效率低下或不正确地收集此类数据，并且随后可能导致不正确的分析确定。因此，需要能够克服上述认定的限制，并准确地收集与多维数字环境内的多维数字对象的可见性有关的数据的系统、方法和技术。

发明内容

一个或多个计算机的系统可以配置为通过在系统上安装软件、固件、硬件或其组合来执行特定的操作或动作，该软件、固件、硬件或其组合在操作中引起或导致系统在其中执行所描述的动作。一个或多个计算机程序可以配置为通过包括指令来执行特定的操作或动作，指令在由数据处理设备执行时使该设备执行本文所述的动作。

在一个实施例中，一台或多台计算机的系统可以配置为通过在系统上安装软件、固件、硬件或它们的组合来执行特定的操作或动作，这些软件、固件、硬件或它们的组合在操作中引起或导致系统执行这些动作。一个或多个计算机程序可以配置为通过包括指令来执行特定的操作或动作，所述指令在由数据处理设备执行时使该设备执行动作。一个一般方面包括一个系统，通过渲染在图形用户界面上显示的多维数字环境的视口，来确定在图形用户界面上显示的电子生成的多维数字环境中感兴趣对象(虚拟/数字资产)的可见度的度量，其中，视口包括感兴趣对象，并且感兴趣对象包括多维数字对象，并且感兴趣对象使用第一组颜色渲染。之后，该系统可以配置为确定第一像素数目，该第一像素数目表示第一组颜色中的像素总数。该系统还可以确定视口中的第二像素数，该第二像素数代表视口中像素的总数，并且通过将第一像素数除以第二像素数来计算第一比率。

该方面的其他实施例包括记录在一个或多个计算机存储设备上的相应的计算机系统、装置和计算机程序，每个计算机存储设备配置为执行所述方法的动作。

实施例可以包括以下特征中的一个或多个。该系统可以包括确定感兴趣对象在视口上的投影几何面积(GAP)，其中该GAP包括该感兴趣对象在归一化视口空间中投影的总面积，以及通过将第一比率除以第二比率来计算第二比率GAP的比率。该系统可以进一步配置为通过将感兴趣对象的顶点从世界坐标投影到归一化视口空间来确定该感兴趣对象在视口上的GAP。该系统还可以配置为计算归一化视口空间中感兴趣对象的顶点投影的总面积。在一个实施例中，归一化视口空间由归一化二维(2D) 坐标系表示。

该系统还可以配置为通过计算由第一组颜色的顶点投影的感兴趣对象的每个面的面积来确定由第一组颜色的顶点投影的总面积，该处理系统归一化视口空间，并对归一化视口空间中第一组颜色的顶点投影的每个面的面积求和。该系统可以配置为通过使用第二组颜色渲染视口内的对象来确定不是感兴趣对象的对象。感兴趣对象可以包括包围多维数字对象/资产的多维边界框。多维边界框可以具有与其所包围的资产相同的维数。在一实施例中，多维数字环境可以是至少三维环境。在一实施例中，多维数字对象可以是至少三维数字对象。在又一个实施例中，边界框是至少三维的并且包围三维物体。所描述的技术的实现可以包括硬件、方法或过程或计算机可访问介质上的计算机软件。

附图说明

通过示例而非限制的方式在附图中示出了本发明，在附图中，相似的附图标记指示相似的元件。

图1示出了根据本发明的一个实施例的，配置为确定在图形用户界面上显示的电子生成的多维数字环境中感兴趣对象的可见性的度量。

图2A示出了根据本发明的一个实施例的，描述多维数字环境的视口中的感兴趣对象的图200。

图2B示出了根据本发明的一个实施例的，描述在多维数字环境的视口中的渲染的感兴趣对象的示图201。

图3示出了根据本发明的一个实施例的图300，其描述了具有相同方向和距离的，相同大小的两个感兴趣对象，并确定了感兴趣对象相对于视口的屏幕覆盖率。

图4A示出了根据本发明的一个实施例的图400，其描述了需要确定投影几何面积的多维空间中的感兴趣对象。

图4B示出了根据本发明的一个实施例的图401，其描述了感兴趣对象在多维数字环境的视口的归一化坐标上的投影几何面积。

图5示出了根据本发明的一个实施例的流程图500，其描述了确定感兴趣对象在多维数字环境中的可见度的度量的操作。

图6示出了根据本发明的一个实施例的流程图600，其描述了确定感兴趣对象在多维数字环境中的另一可见度度量的操作。

图7示出了根据本发明的一个实施例的流程图700，其描述了在多维数字环境中导出感兴趣对象的投影几何面积的操作。

图8示出了根据本发明的一个实施例的，在视口的归一化二维坐标系中确定由感兴趣对象的顶点投影的所有面的总面积的流程图800。

图9示出了根据本发明的一个实施例的，确定由感兴趣对象的顶点投影的每个面的面积的流程图900。

图10示出了根据本发明的一个实施例的诸如处理系统1000的数据处理系统的框图。

具体实施方式

将参考下面讨论的细节来描述本发明的各种实施例和方面，并且附图将示出各种实施例。以下描述和附图是本发明的说明，并且不应解释为限制本发明。描述了许多具体细节以提供对本发明的各种实施例的透彻理解。然而，在某些情况下，为了提供对本发明的实施例的简要讨论，没有描述众所周知的或常规的细节。

在说明书中对“一个实施例”或“一实施例”或“另一实施例”的引用是指结合该实施例描述的特定特征、结构或特性可以包括在本发明的至少一个实施例中。说明书中各个地方出现的短语“在一个实施例中”不一定全都指同一实施例。在以下附图中描绘的过程由包括硬件(例如，电路、专用逻辑等)、软件或两者的组合的处理逻辑执行。尽管下面根据一些顺序操作描述了这些过程，但是应当理解，所描述的一些操作可以以不同的顺序执行。此外，一些操作可以并行执行而不是顺序执行。

在此使用以下术语：

屏幕覆盖率度量(在本文中也称为屏幕覆盖率的度量)是指与多维数字环境中图形界面(例如，屏幕)的视口上的多维对象的屏幕覆盖率有关的度量。度量可以表示为百分比或比率。就这一点而言，屏幕覆盖范围是指多维对象相对于显示多维数字环境的视口的跨度比或百分比。视口是在特定于渲染设备的坐标中表示的区域(例如，矩形或任何其他几何形状)。因此，显示在屏幕上的常规图形界面的视口将是屏幕的像素，并且对象的可见度将是对象相对于视口的跨度或百分比(以像素为单位)。本文所指的像素可以是常规像素，纹素(Texel)(即，具有纹理元素的像素，在本文中也称为纹理像素)或本领域普通技术人员已知的任何其他图片元素。

可见性度量(在本文中也称为可见性的度量)是指与多维数字环境中图形界面的视口上的多维对象或其一部分的可见性相关的度量。可见性度量是指多维对象在视口上的可见性的度量。度量可以确定为百分比或比率。就这一点而言，物体的可见性是指多维物体对多维数字环境的用户或观看者可见的比率或百分比。

可见度的度量(在本文中也称为可见度度量或多个可见度度量)可以表示屏幕覆盖度量、可见性度量，其组合，或由屏幕覆盖度量和可见性度量的关联得出的任何结果。

感兴趣对象是需要确定可见度的任何对象。在一个实施例中，感兴趣对象可以是在多维环境中显示的多维对象。在其他实施例中，感兴趣对象还可以包括包围多维对象的边界框。

投影几何面积(GAP)是感兴趣对象在归一化坐标系中在视口(归一化视口空间)上可见的总投影面积。可以使用感兴趣对象投影的顶点来确定。当渲染设备包括常规图形界面(例如，屏幕)时，归一化坐标系可以表示为二维坐标系。

尽管在屏幕坐标系中解释了示例性实施例，但是本发明的范围并不旨在限于常规渲染设备(例如，屏幕)，而是可以包括多维渲染设备，包括虚拟现实和增强现实系统、混合现实和三维数字环境所需的接口。

图1示出了根据一个实施例的配置为确定在图形用户界面上显示的电子生成的多维数字环境中感兴趣对象的可见性的度量。在一些实施例中，系统100可以包括一个或多个服务器102。服务器102可以配置为根据客户端/服务器架构和/或其他架构与一个或多个客户端计算平台104进行通信。客户端计算平台104可以配置为经由服务器102和/或根据对等架构和/或其他架构与其他客户端计算平台进行通信。用户可以通过客户端计算平台104访问系统100。

服务器102可以由机器可读指令106配置。机器可读指令106可以包括一个或多个指令模块。指令模块可以包括计算机程序模块。指令模块可以包括视口渲染模块 108、屏幕覆盖率度量确定模块110和可见性度量确定模块112和/或其他指令模块中的一个或多个。在一个实施例中，可见性度量确定模块112还可以包括GAP确定模块 (未示出)。

视口渲染模块108可以配置为渲染在图形用户界面上显示的多维数字环境的视口。在该实施例中，视口可以包括感兴趣对象。在一个实施例中，感兴趣对象可以包括多维数字对象。在其他实施例中，感兴趣对象还可以包括包围多维数字对象的边界框。在优选实施例中，视口渲染模块108可以通过将附加摄像机放置在与主场景摄像机完全相同的位置处来在多维数字环境中渲染场景，用户可以使用该主场景摄像机查看该场景。在另一个实施例中，附加摄像机和主场景摄像机也可以具有相同的焦距。

在一个实施例中，模块108可以用一组颜色来渲染感兴趣对象。一组颜色可以是预先配置为代表感兴趣对象的任何颜色。例如，在一个实施例中，可以以一种或多种颜色(例如，黑色、绿色、白色等)来渲染任何或所有感兴趣对象，而可以以不同的方式来渲染其他对象(不被视为感兴趣对象)，以从渲染的视口或屏幕的其余部分识别出感兴趣对象。如本文所指，将颜色缩进表示一种独特的颜色阴影，通常可以用唯一的十六进制(hex)颜色代码和/或红色、蓝色、绿色(RGB)值表示。

在一个实施例中，使用附加摄像机，渲染纹理可以被应用到其中每个感兴趣对象以唯一的颜色(例如，绿色)被渲染，而其他不感兴趣的场景特征/对象以特定颜色 (例如，黑色)被渲染的情况，如本文中进一步描述的，以允许屏幕覆盖率度量确定模块110识别视口上的感兴趣对象的像素数量。可以按颜色对每个像素进行分类，以确定一个或多个感兴趣对象，并确定每个感兴趣对象使用的视口的像素数。在一个实施例中，模块108使用多维数字环境的附加摄像机将视口渲染为低分辨率图像，其中摄像机放置在与当前场景摄像机相同的位置或近似于该位置以及与该当前场景摄像机一样旋转，其中用户在多维数字环境中可以看到该场景。在一个实施例中，附加摄像机的渲染视图可以对用户隐藏(即，用户/查看者只能看到由主摄像机渲染的场景)。在此实现中，主摄像机用于在视口上向用户或查看者显示多维数字环境的场景，而其他摄像机恰好重叠在主摄像机上，因此两个摄像机都可以从相同的距离和取向渲染出完全相同的场景。在一个实施例中，两个摄像机共享相同的属性(例如，焦距，视角等)。在一个实施例中，获取渲染场景的屏幕截图/快照，然后由屏幕覆盖率度量确定模块110使用该屏幕截图/快照进行进一步处理。在一个实施例中，服务器102可以配置为以预定间隔拍摄屏幕截图/快照。

屏幕覆盖率度量确定模块110可以配置为确定表示感兴趣对象的像素总数以及视口中的像素总数。此后，模块110可以通过将感兴趣对象使用的像素数量(例如，基于颜色)除以视口中的像素总数来确定屏幕覆盖率度量。该比率或比例可以表示或可以用来导出感兴趣对象的屏幕覆盖率度量。

可选实施例可以包括可见性度量确定模块112，其可以配置为确定视口上的感兴趣对象的比率或比例。在一个实施例中，模块112可以通过将屏幕覆盖范围度量除以 GAP来确定可见性度量。可以由GAP确定模块计算GAP，该模块可以可选地由模块112 实现，或者由另一个模块独立实现。

在一个实施例中，GAP提供针对感兴趣对象在视口上的投影的假设屏幕区域的估计。在一个实施例中，可见性度量可以表示在屏幕上可见的感兴趣对象的实际尺寸(面积)与其假设最大值之间的比率。可见性度量不仅反映或考虑了感兴趣对象的被其他对象遮挡的部分，而且还反映了对象在视口上不可见的部分(部分)。因此，在一个实施例中，模块112的比率或比例，可以通过将感兴趣对象的屏幕覆盖率(由模块 110确定)除以计算出的感兴趣对象的GAP，来确定与感兴趣对象的可见性相关的信息。由模块112确定的比率或比例可以表示或可以用来导出可见性度量。

在一些实施例中，服务器102、客户端计算平台104和/或外部资源114可以经由一个或多个电子通信链路可操作地链接。例如，可以至少部分地经由诸如因特网和 /或其他网络之类的网络来建立这样的电子通信链路。将会意识到，这并非旨在进行限制，并且本公开的范围包括其中服务器102、客户端计算平台104和/或外部资源 114可以经由一些其他通信介质可操作地链接的实施例。

给定的客户端计算平台104可以包括一个或多个配置为执行计算机程序模块的处理器。计算机程序模块可以配置为使得与给定客户端计算平台104相关联的专家或用户能够与系统100和/或外部资源114对接，和/或提供这里归于客户端计算平台 104的其他功能。作为非限制性示例，给定的客户端计算平台104可以包括台式计算机、膝上型计算机、手持计算机、平板计算平台、上网本、智能手机、游戏控制台和 /或其他计算平台中的一个或多个。外部资源114可以包括系统100之外的信息源、参与系统100的外部实体，和/或其他资源。在一些实施例中，本文归于外部资源114 的一些或全部功能可以由系统100中包括的资源来提供。

服务器102可以包括电子存储器116，一个或多个处理器118和/或其他组件。服务器102可以包括通信线路或端口，以使得能够与网络和/或其他计算平台交换信息。图1中的服务器102的图示不意图是限制性的。服务器102可以包括多个硬件、软件和/或固件组件，这些硬件、软件和/或固件组件一起操作以提供在此归因于服务器102的功能。例如，服务器102可以由一起作为服务器102运行的计算平台的云来实现。

电子存储器116可以包括电子存储信息的非暂时性存储介质。电子存储器116的电子存储介质可以包括与服务器102整体地(即，基本上不可移动的)提供的系统存储和/或通过服务器可移动地连接到服务器102的可移动存储中的一个或多个。例如，端口(例如USB端口，火线端口等)或驱动器(例如磁盘驱动器等)。电子存储器116 可以包括光学可读存储介质(例如，光盘等)、磁性可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如EEPROM、RAM等)、固态存储介质(例如闪存驱动器等)和/或其他电子可读存储介质中的一种或多种。电子存储器116可以包括一个或多个虚拟存储资源(例如，云存储、虚拟专用网络和/或其他虚拟存储资源)。电子存储器116可以存储软件算法、由处理器118确定的信息、从服务器102接收的信息、从客户端计算平台104接收的信息和/或使服务器102能够执行如本文所述功能的其他信息。

处理器118可以配置为在服务器102中提供信息处理能力。这样，一个或多个处理器118可以包括以下一个或多个：数字处理器、模拟处理器、设计为处理信息的数字电路、设计为处理信息的模拟电路、状态机，和/或其他用于电子处理信息的机制。尽管在图1中将处理器118示为单个实体，但这仅出于说明目的。在一些实施例中，处理器118可以包括多个处理单元。这些处理单元可以物理上位于同一设备内，或者一个或多个处理器118可以表示协同操作的多个设备的处理功能。处理器118可以配置为执行模块108、110、112和/或其他模块。

处理器118可以被配置为通过软件、硬件、固件，软件，硬件和/或固件的某种组合，和/或其他用于在处理器118上配置处理能力的机制，来执行模块108、110、 112和/或其他模块。如本文所使用的，术语“模块”可以指执行归因于模块的功能的任何组件或组件集合。这可以包括在处理器可读指令的执行期间的物理处理器、处理器可读指令、电路、硬件、存储介质或任何其他组件一个或多个。

应当理解，尽管在图1中将模块108、110和/或112示为在单个处理单元内实现，但是在处理器118包括多个处理单元的实施例中，一个或多个模块108、110和/或 112中的“模块”可以远离其他模块来实现。由下面描述的不同模块108、110和/或 112提供的功能的描述是出于说明性目的，由于模块108、110和/或112中的任何一个模块都可以提供比所描述的更多或更少的功能，因此并不旨在进行限制。例如，可以消除模块108、110和/或112中的一个或多个，并且其功能的一些或全部可以由模块108、110和/或112中的其他模块提供。作为另一示例，处理器118可以配置为执行一个或多个附加模块，该模块可以执行以下归于模块108、110和/或112中的一个的一些或全部功能。

图2A示出了根据本发明的一个实施例的场景200，该场景200描述了多维数字环境的视口中的感兴趣对象。如图所示，在一个实施例中，视口202可以显示感兴趣对象204。感兴趣对象204可以是在多维数字环境中显示的多维数字对象。感兴趣对象204可以包括可以代表多维数字对象的资产206，并且可选地还可以包括包围资产 206的边界框208。

图2B示出了根据本发明的一个实施例的场景201，该场景201描述了在多维数字环境的视口中的渲染的感兴趣对象。如图所示，在该实施例中，感兴趣对象204包括资产206和边界框208。感兴趣对象204可以用特定的颜色渲染，以将其与视口202 中的其余对象区分开。视口202和不被视为感兴趣对象的所有其他对象可以用不同于用于渲染感兴趣对象204的特定/唯一颜色的另一种颜色进行渲染。感兴趣对象204 的渲染可以被投影在多维数字环境的视口上，如所示的210。

在一个实施例中，以比场景的用户/观看者可见的主摄像机更低的分辨率通过附加摄像机渲染视口202。在该实施例中，由附加摄像机显示的场景(例如，场景201) 保持对用户/观看者隐藏。在一个实施例中，附加摄像机可以用于实现本文所述的本发明。附加摄像机与主摄像机重叠，该主摄像机用于渲染用户/查看者查看的场景。

图3示出了渲染场景300，该渲染场景300描述了在视口202中显示的具有相同大小的两个感兴趣对象302和304。在示例性实施例中，场景300是看到的低分辨率，其由位于与用于向用户显示多维数字环境的渲染场景的主摄像机位于相同方位、位置和距离的附加摄像机渲染而成。如图所示，摄像机具有感兴趣对象302的无遮挡视图，而摄像机具有感兴趣对象304的部分遮挡视图。如图所示，另一对象306(不是感兴趣对象)部分地遮挡了摄像机对感兴趣对象304的视图。作为示例，假定感兴趣对象 302和304各自渲染3,000像素(当未被另一对象遮挡时)当对象306渲染1,380像素时，则显示为“视口202”。但是，由于感兴趣对象304的视图被对象306部分遮挡，因此，感兴趣对象304渲染了视口202的3,000-1,380＝1,620像素。因此，如果假定视口202共渲染10,000个像素，则感兴趣对象的屏幕覆盖率V1可确定为：

V₁＝感兴趣对象的像素÷视口中的像素总数

V_1(对象302)＝3,000÷10,000＝0.300

V_1(对象304)＝1,620÷10,000＝0.162

因此，在此示例中，可以将屏幕覆盖率的度量确定为感兴趣对象302的0.3％或30％和对象304的0.162％或16.2％。在一个实施例中，如果实际计算的屏幕覆盖率低于预定阈值，则系统可以配置为将屏幕覆盖率的度量设置为零。在一实施例中，如果确定屏幕覆盖率的度量低于预定阈值，尽管度量至少部分可见，但可以将其假定为零(即，假定感兴趣对象在视口中不可见)。

图4A和图4B分别示出了图400和图401，其描述了根据本发明的一个实施例的多维空间中的感兴趣对象，该多维空间的投影几何面积(GAP)需要被确定。如图所示，通过将感兴趣对象的顶点从世界坐标(例如，在三维环境中的x，y，z坐标)(图 4A)投影到二维坐标系(图4B)来计算GAP感兴趣对象的每个面的面积(如果可见)。在一个实施例中，通过对视口中感兴趣对象的每个渲染的面的总面积求和来计算GAP。对每个面的面积求和用于计算位于摄像机的距离和方向(渲染场景的位置)的感兴趣对象的最大理论面积。

在一个实施例中，GAP使用归一化视口坐标(NVC)来计算感兴趣对象的每个面的面积。在一个实施例中，NVC是指由2D坐标系表示的视口空间。在NVC中，在二维坐标系中，坐标的最小值为0,0，最大值为1,1。因此，在一个实施例中，可以通过将感兴趣对象的顶点从世界坐标投影到归一化视口空间(例如，NVC系统)来确定视口上的感兴趣对象的GAP。此后，由感兴趣对象的顶点投影的总面积在视口空间中。

在一个实施例中，多维数字环境可以表示为三维空间。在该实施例中，为了计算GAP，可以将感兴趣对象表示为包括平行四边形形状的边界框。将世界坐标投影到NVC 系统中的二维空间中后，感兴趣对象可以表示为具有一到三个凸四边形。

在一个实施例中，在投影平行四边形的面之前，确定摄像机当前可看见平行四边形的哪个面。为了定义可见的面，在一个实施例中，该系统测量面的法线与从摄像机到面的矢量之间的角度。在一个实施例中，确定摄像机相对于面中点的位置。该点在视口坐标系(模型坐标系)中计算。

在一个实施例中，在平面(投影在y轴上)上的面的中点(Mp)可以计算为：

M_p＝((x₁,y,z₁)+(x₁,y,z₂)+(x₂,y,z₂)+(x₂,y,z₁))÷4

在一个实施例中，如果要在视口坐标系中投影的面，如果该面的法线之间的角度是可见的，向量(C_p-M_p)在±90度之间(即+90至-90度之间)，其中Cp是将摄像机放置在三维空间中的点。之后，可以将点从可见面投影到视口空间。在一个实施例中，可以使用ViewProjection矩阵(MViewProjection)来执行该操作。从3D空间(P_3Dspace) 到视口空间(P_viewspace)的点P的投影可以表示为：

P_viewspace＝M_{ViewProjection}×P_3Dspace

其中，P_3Dspace是P＝(x，y，z，1)的齐次坐标。在一个实施例中，投影运算本身可以是向量上矩阵的乘法。

在一个实施例中，为了导出ViewProjection矩阵，使用在3D Engine中的渲染管线中使用的viewProjection矩阵。ViewProjection矩阵可以通过使用摄像机的位置/旋转、视场(FOV)、屏幕高宽比、摄像机的远和/或近裁剪平面来确定。

投影了视口空间中感兴趣对象的每个点之后，可以从投影中定义一个或多个多边形。然后可以导出每个多边形的面积(例如，三角形、四边形、正方形、五边形、六边形、八边形等)。在一实施例中，投影在视口空间上且与感兴趣对象有关的所有多边形面积的总和可以被认为是GAP。多边形可以标识为四边形、正方形、三角形、六边形、五边形等。

在一个实施例中，GAP可以使用基于归一化视口空间的坐标，其中x和y轴的区域[0，1]是视口(屏幕)。超出该范围投影的点视为位于屏幕之外。因此，在该实施例中，GAP被测量为与屏幕尺寸有关，并且包括投影在屏幕上的感兴趣对象的面积除以屏幕的总面积的比率。因此，归一化视口空间中的GAP可以表示为：

GAP＝S_projection÷S_screen,其中S_screen＝1

在一个实施例中，可以在将感兴趣对象渲染成特定的(唯一的)颜色之后，确定感兴趣对象的顶点投影的总面积，如本文先前所述。在一个实施例中，由顶点投影的总面积可以包括确定感兴趣对象的面的数量(基于视口的每个像素的渲染颜色来识别)，其中每个面是使用在视口空间(例如NVC系统)中投影的一组顶点确定的。此后，确定在视口上可见的每个投影面的面积，并且对通过顶点投影的每个面的面积进行求和。

在一个实施例中，基于被识别为感兴趣对象的像素的颜色，为了确定在视口上是否可见的面，确定垂直于每个面的第一矢量与从摄像机到每个面的一点绘制的第二矢量之间的角度。如果第一矢量和第二矢量之间的角度小于90度，则假定该面在视口中可见，否则确定该面不可见。90度的角度将意味着仅对象的边缘是可见的。在一个实施例中，第二矢量被绘制到每个识别的面的中心。但是，应该注意，可以考虑面上的任何端点。因此，第二矢量不必朝着面的中心绘制。

在一个实施例中，可以通过将屏幕覆盖率(V1)除以GAP来计算或部分确定可见性度量(V₂)。因此，在一个实施例中：

V₂＝V₁÷GAP

在一个实施例中，可以通过将每个相应的比率乘以100来将V₁或V₂导出为百分比。在一实施例中，GAP包括NVC系统中感兴趣对象投影的总面积。在一个实施例中，V₂可用于确定或导出可见性度量。在一个实施例中，可使用多维数字环境的摄像机将视口渲染为低分辨率图像，其中摄像机是至少放置在或近似放置在与多维数字环境的另一摄像机的位置和旋转/方向相同，并且具有与多维数字环境的另一摄像机相同的焦距中的一个。用于渲染视口的其他摄像机对于多维数字环境的观看者可能可见，也可能不可见。在一个实施例中，感兴趣对象包括包围多维数字对象(资产)的边界框。在其他实施例中，感兴趣对象可以包括边界框。本文描述的方法和技术可以在具有任何数量尺寸的环境中实现。因此，在一个实施例中，多维数字环境至少是三维环境，而多维数字对象(资产)至少是三维数字对象。在又一个实施例中，资产可以是二维数字对象。

在替代实施例中，可见性度量(V₂)可以通过使用感兴趣对象的顶点与从摄像机视场看到的视锥(frustum)之间的交点来确定。以下计算可用于确定与摄像机的视锥的交点的相对百分比。

百分比_{屏幕上的对象}＝对象_{视锥中的顶点}÷对象_{总采样顶点}

在一个实施例中，选择感兴趣对象的体积中的预定数量的采样顶点(例如，1000个顶点)。这样的选择可以是随机的或在预定的固定位置。对于这些点/顶点中的每一个，计算机系统可以确定该点是否落在摄像机的视锥范围内。为了估计出现在视口空间中的对象的比率，将在视锥中调用的顶点总数除以感兴趣对象的采样顶点总数(例如1000)。在又一个实施例中，如果对象中的可用顶点的总数小于预定数量的采样点，则对所有可用顶点进行采样。

在一个实施例中，感兴趣对象还可以包括包围多维数字对象的边界框。本文所述的多维数字环境可以是具有二、三、四、六、十二维(但当然不限于所提及的维度) 的计算机环境。因此，在一个实施例中，本文描述的计算机环境是至少三维环境，并且其中多维数字对象是至少二维数字对象。在另一个实施例中，数字对象可以具有与计算机环境相同数的维度。因此，三维环境可以具有最多三个维度的数字对象，四维环境可以具有最多四个维度的数字对象，等等。在一个实施例中，可见度的度量可以进一步由与第二比率相关联的第一比率来确定。在一个实施例中，可以用表示任何不被认为是感兴趣对象的对象的预先配置的颜色来渲染视口内的非感兴趣对象的另一对象。在又一个实施例中，使用多维数字环境的低分辨率摄像机(LRC)将视口渲染为低分辨率图像，其中，LRC放置在或近似于多维数字环境的主摄像机的位置和旋转处；主摄像机渲染的场景可由用户/查看者查看。在一个实施例中，由LRC渲染的场景对于用户是不可见的。在其他实施例中，主摄像机和LRC也可以都具有相同的焦距。

图5示出了根据本发明的一个实施例的流程图500，该流程图500描述了确定感兴趣对象在多维数字环境中的可见度的度量的操作。

如所示，在502，操作包括渲染在图形用户界面上显示的多维数字环境的视口，其中视口包括感兴趣对象。感兴趣对象可以包括多维数字对象，并且可以通过使用预先配置为与感兴趣对象相关联的一种或多种颜色来渲染。此后，在504，确定投影感兴趣对象的像素的总数。在一个实施例中，这可以通过计算由与感兴趣对象相关联的一种或多种预配置颜色表示的像素总数来确定。在506处，确定视口的像素总数，并且在508处，通过将由感兴趣对象表示的像素的总数除以视口中的像素总数来计算比率。然后，在一个实施例中，如在510所示，第一比率可以表示感兴趣对象(V₁)的屏幕覆盖率的度量，或者可以用于得出该比率。

如所示，在602处，确定视口上的感兴趣对象的GAP。在604处，可选地，可以通过将第一比率除以GAP来确定第二比率。第二比率可以表示可见性度量(V₂)，或者可以用来导出可见性度量(V₂)，如606所示。

图7示出了根据本发明的一个实施例的流程图700，其描述了在多维数字环境中导出感兴趣对象的GAP的操作。

如所示，在702处，可以通过将感兴趣对象的顶点从世界坐标投影到归一化视口空间(例如，二维(2D)坐标系)来确定感兴趣对象在视口上的GAP。在704处，可以计算在视口上可见的归一化2D坐标系中由感兴趣对象的顶点投影的总面积。在706，基于顶点投影的总面积确定GAP。

如所示，在802处，确定由感兴趣对象的每个面的顶点投影的总面积。在一个实施例中，在通过一种或多种预定颜色投影感兴趣对象的情况下，顶点由视口上可见的归一化2D坐标系中的投影的颜色确定。此后，可以执行由代表感兴趣对象的颜色的顶点在可见的归一化2D坐标系可见的颜色的顶点投影的每个面的面积的总和，以确定由第一组颜色的顶点投影的总面积，如所示的804。此后，在806处，确定由感兴趣对象的顶点投影的总面积。

如所示，在902处，计算垂直于每个面的第一矢量与从多维数字环境的摄像机绘制到该相应面上的点的第二矢量之间的角度。在904，如果当第一矢量与第二矢量之间的角度小于±90度时，确定在视口上的面可见。如果确定角度为±90度，则将其视为对象的边缘。如在904处所示，大于±90度的任何角度都被视为在视口上不可见。在906处，计算被确定为在视口上可见的，由代表归一化2D坐标系中的感兴趣对象的颜色的顶点投影的每个面的面积。

图10示出可与本发明的一个实施例一起使用的数据处理系统(例如，计算系统1000)的框图。例如，系统1000可以实现为确定多维数字环境中的多维对象的可见度度量的系统的一部分。从该描述应该显而易见的是，本发明的各方面可以至少部分地以软件来体现。也就是说，可以响应于其处理器(例如微处理器)在计算机系统或其他计算机系统中执行这些技术，执行存储器中(例如ROM，DRAM，大容量存储或远程存储设备)包含的指令序列。在各种实施例中，可以将硬件电路与软件指令结合使用以实现本发明。因此，该技术不限于硬件电路和软件的任何特定组合，也不限于由计算机系统执行的指令的任何特定源。另外，在整个说明书中，各种功能和操作被描述为由软件代码执行或由软件代码引起，以简化描述。但是，本领域技术人员将认识到，这种表达的意思是功能是由处理器执行代码而产生的。

在一个实施例中，系统1000可以代表服务器102。系统1000可以具有分布式架构，该分布式架构具有通过网络耦接的多个节点，或者其所有组件可以被集成到单个单元中。计算系统1000可以代表执行上述任何过程或方法的上述任何数据处理系统。在一个实施例中，计算机系统1000可以实现为集成电路(IC)、分立的电子设备、适合于诸如主板的电路板的模块、计算机系统的附加卡，和/或被实现为可以是集成在任何计算设备的机箱/机箱中。系统1000旨在示出任何数据处理单元或计算机系统的许多组件的高级视图。然而，应当理解，在某些实施例中可以存在更多或更少的组件，此外，在其他实施例中可以出现所示组件的不同布置。系统1000可以代表台式机、笔记本电脑、平板电脑、服务器、移动电话、可编程逻辑控制器、个人数字助理(PDA)、个人通信器、网络路由器或集线器、无线接入点(AP)中继器、机顶盒或其组合。

在一个实施例中，系统1000经由总线或互连1022包括处理器1001，存储器1003 和设备1005-1008。处理器1001可以表示其中包括单个处理器核心或多个处理器核心的单个处理器或多个处理器。处理器1001可以代表一个或多个通用处理器，例如微处理器、中央处理器(CPU)、微控制器单元(MCU)等。处理器1001可以是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW) 微处理器，或实现其他指令集的处理器或实现指令集组合的处理器。处理器1001也可以是一个或多个专用处理器，例如专用集成电路(ASIC)、蜂窝或基带处理器、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、网络处理器、图形处理器、网络处理器、通信处理器、密码处理器、协处理器、嵌入式处理器或能够处理指令的任何其他类型的逻辑。处理器1001还可以是低功率多核处理器插槽，例如超低压处理器，可以充当主处理单元和中央集线器以与系统的各个组件进行通信。可以将这种处理器实现为片上系统(SoC)。

处理器1001配置为执行用于实现本文讨论的操作和方法的指令。系统1000还包括与图形子系统1004通信的图形界面，该图形子系统可以包括显示控制器和/或显示设备。处理器1001可以与存储器1003通信，在一个实施例中，其可以经由多个存储器设备实现以提供给定数量的系统存储器。在各个实施例中，各个存储器件可以具有不同的封装类型，例如单芯片封装(SDP)、双芯片封装(DDP)或四芯片封装(QDP)。在某些实施例中，这些设备可以直接焊接到主板上以提供一种薄型解决方案，而在其他实施例中，这些设备可以配置为一个或多个存储模块，这些模块又可以通过给定的连接器耦接到主板。存储器1003可以是机器可读的非暂时性存储介质，例如一个或多个易失性存储(或存储器)设备，例如随机存取存储器(RAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)，或其他类型的存储设备，例如硬盘驱动器和闪存。存储器1003可以存储包括由处理器1001或任何其他设备执行的可执行程序指令的序列的信息。系统1000可以进一步包括诸如设备1005-1008之类的IO设备，包括无线收发器1005、输入设备1006、音频IO设备1007以及其他IO设备1008。

无线收发器1005可以是WiFi收发器、红外收发器、蓝牙收发器、WiMax收发器、无线蜂窝电话收发器、卫星收发器(例如，全球定位系统(GPS)收发器)或其他射频(RF)收发器、网络接口(例如，以太网接口)或其组合。输入设备1006可以包括鼠标、触摸板、触摸屏(可以与显示设备1004集成)，诸如触笔的指示器设备和/ 或键盘(例如，物理键盘或键盘)。虚拟键盘显示为触摸屏的一部分)。其他可选设备 1008可以包括存储设备(例如，硬盘驱动器、闪存设备)、通用串行总线(USB)端口、并行端口、串行端口、打印机、网络接口、总线桥(例如，PCI-PCI桥)、传感器(例如，运动传感器，例如加速计、陀螺仪、磁力计、光传感器、罗盘、接近传感器等)或它们的组合。可选设备1008可以进一步包括成像处理子系统(例如，摄像机)，它可以包括光学传感器，例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器，用于促进相机功能，例如记录照片和视频剪辑。取决于系统 1000的特定配置或设计，某些传感器可以经由传感器集线器(未示出)耦接到互连 1022，而诸如键盘或热传感器之类的其他设备可以由嵌入式控制器(未示出)控制。

为了提供诸如数据、应用程序、一个或多个操作系统等之类的信息的持久存储，在一个实施例中，大容量存储(未示出)也可以耦接至处理器1001。在各种实施例中，为了实现更薄和更轻的系统设计以及改善系统响应能力，可以通过固态设备(SSD) 实现该大容量存储。但是在其他实施例中，大容量存储主要可以使用硬盘驱动器(HDD) 和少量SSD存储来实现，以用作SSD缓存以启用上下文状态的非易失性存储以及断电事件期间的其他此类信息，以便在重新启动系统活动时可以快速上电。闪存设备也可以例如经由串行外围接口(SPI)耦接到处理器1001。该闪存设备可以提供系统软件的非易失性存储，包括基本输入/输出软件(BIOS)以及系统的其他固件。

注意，虽然系统1000被图示为具有数据处理系统的各种组件，它无意代表互连组件的任何特定体系结构或方式；因为这样的细节与本发明的实施例无关。还应当理解，具有更少的组件或也许更多的组件的网络计算机、手持式计算机、移动电话和其他数据处理系统也可以与本发明的实施例一起使用。

此外，在标题为“基于纹理的像素计数确定”的共同未决美国专利申请16/262,880中描述的各种技术与之同时提交的标题为“多维对象在视口空间中的投影的几何区域”的美国专利申请16/262,881，可以在本文描述的本发明的实施例和/或方面中实现；结果，那些专利申请的内容在此与之相一致的程度上通过引用并入本文。

因此，本文描述了用于确定多维数字环境中的多维对象的可见度度量的方法，装置和计算机可读介质。尽管已经参考特定的示例性实施例描述了本发明，但是显而易见的是，可以对这些实施例进行各种修改和改变，而不脱离权利要求中所阐述的本发明的更广泛的精神和范围。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims

1.一种方法，包括：

通过计算系统渲染在图形用户界面上显示的多维数字环境的视口，其中，视口包括感兴趣对象，并且其中，所述感兴趣对象包括多维数字对象，以及其中所述感兴趣对象用第一组颜色渲染；

确定第一像素数，所述第一像素数代表所述第一组颜色中的像素总数；

确定视口中的第二像素数，所述第二像素数代表视口的像素总数；以及

通过将第一像素数除以第二像素数来计算第一比率；

其中，所述方法确定所述感兴趣对象的可见度的度量。

2.根据权利要求1所述的方法，还包括：

确定所述感兴趣对象在所述视口上的投影几何面积(GAP)，其中，所述GAP包括所述感兴趣对象在归一化视口空间中投影的总面积；和

通过将第一比率除以GAP来计算第二比率。

3.根据权利要求2所述的方法，其中，在所述视口上所述感兴趣对象的GAP通过以下确定：

将所述感兴趣对象的顶点从世界坐标投影到归一化视口空间；和

计算归一化视口空间中所述感兴趣对象的顶点投影的总面积。

4.根据权利要求3所述的方法，其中，由所述第一组颜色的顶点投影的总面积包括：

计算归一化视口空间中可见的第一组颜色的顶点投影的每个面的面积；和

对归一化视口空间中第一组颜色的顶点投影的每个面的面积求和。

5.根据权利要求1所述的方法，其中，另一对象在视口中使用第二组颜色渲染，所述另一对象不是所述感兴趣对象。

6.根据权利要求1所述的方法，其中，所述感兴趣对象包括包围所述多维数字对象的多维边界框。

7.根据权利要求1所述的方法，其中，所述多维数字环境是至少三维环境，其中，所述多维数字对象是至少三维数字对象。

8.一种非暂时性计算机可读介质，其包括指令，所述指令在由处理系统执行时实施一种方法，包括：

渲染在图形用户界面上显示的多维数字环境的视口，其中，所述视口包括感兴趣对象，其中，所述感兴趣对象包括多维数字对象，并且其中利用第一组颜色来渲染所述感兴趣对象；

确定所述视口中的第二像素数，所述第二像素数代表所述视口中的像素总数；和

通过将所述第一像素数除以所述第二像素数来计算第一比率；

其中，所述处理系统确定所述感兴趣对象的可见度的度量。

9.根据权利要求8所述的非暂时性计算机可读介质，还包括：

通过将所述第一比率除以所述GAP来计算第二比率。

10.根据权利要求9所述的非暂时性计算机可读介质，其中，所述视口上所述感兴趣对象的GAP通过以下确定：

11.根据权利要求10所述的非暂时性计算机可读介质，其中，所述第一组颜色的顶点投影的总面积包括：

计算归一化视口空间中所述第一组颜色的顶点所投影的每个面的面积；和

对归一化视口空间中所述第一组颜色的顶点投影的每个面的面积求和。

12.根据权利要求8所述的非暂时性计算机可读介质，其中，在所述视口内的另一对象用第二组颜色渲染，所述另一对象不是所述感兴趣对象。

13.根据权利要求8所述的非暂时性计算机可读介质，其中，所述感兴趣对象包括包围所述多维数字对象的多维边界框。

14.根据权利要求8所述的非暂时性计算机可读介质，其中，所述多维数字环境是至少三维环境，并且其中，所述多维数字对象是至少三维数字对象。

15.一种系统，包括：

存储模块；

处理系统，所述处理系统包括与所述存储模块耦接的至少一个硬件内核，所述处理系统配置为：

渲染在图形用户界面上显示的多维数字环境的视口，其中，所述视口包括感兴趣对象，其中所述感兴趣对象包括多维数字对象，并且其中所述感兴趣对象用第一组颜色渲染；

确定所述视口中的第二像素数，所述第二像素数代表所述视口的像素总数；和

其中，所述系统确定所述感兴趣对象的可见度的度量。

16.根据权利要求15所述的系统，还包括：

确定所述感兴趣对象在视口上的投影几何面积(GAP)，其中，所述GAP包括所述感兴趣对象在归一化视口空间中投影的总面积；和

通过将所述第一比率除以所述GAP来计算第二比率。

17.根据权利要求16所述的系统，其中，为了确定所述视口上的所述感兴趣对象的GAP，所述处理系统还配置为：

18.根据权利要求17所述的系统，其中，为了确定由所述第一组颜色的顶点投影的总面积，所述处理系统还配置为：

计算归一化视口空间中所述第一组颜色的顶点投影的每个面的面积；和

19.根据权利要求15所述的系统，其中，在所述视口内的另一对象用第二组颜色渲染，所述另一对象不是所述感兴趣对象。

20.根据权利要求15所述的系统，其中，所述感兴趣对象包括包围所述多维数字对象的多维边界框。

21.根据权利要求15所述的系统，其中，所述多维数字环境是至少三维环境，并且其中，所述多维数字对象是至少三维数字对象。