CN107229898A - 3d显示中的布尔对象管理 - Google Patents

Abstract

将特定的计算机生成3D环境中呈现的对象向用户呈现为分布在多个显示区之中。维持对象的相对位置，并且每当对象从一个显示区中移除时该对象被添加到另一显示区中。呈现给用户的视点对于每个显示区可以是相同的，全部都控制在一起，或者可以针对每个区域或区域子组来提供单独的控制。

Description

3D显示中的布尔对象管理

技术领域

本发明涉及计算机生成的虚拟环境的辅助探索，并且特别是涉及在此类环境中离散对象的识别。

背景技术

体积数据集存在于许多领域，例如，工程、材料科学、医学成像、天体物理学。体积数据集的探索绝非小事，并且在很大程度上受到用户的特定需求影响。例如，在大多数机场中，安全代理在行李箱检查的情况下处理这种数据探索。X射线和断层摄影是两种常用的荧光透视扫描系统。X射线系统提供平坦化的2D行李箱扫描，而断层摄影系统产生横向扫描，也称为切片。由于诸如Radon变换的数据处理技术，这些系统可以产生完整的3D扫描，包括具有相对应密度数据的一组体素。由于得到的X射线扫描图像仅包含体素或像素密度，因此其不能显示原始材料颜色。标准颜色视觉映射使用三种不同的颜色(橙色、绿色和蓝色)来显示数据密度。橙色对应于低密度(主要是有机物)。相反，蓝色用于高密度值(即金属)。在X射线系统的情况下，绿色对应于不同种类的材料或平均密度材料的叠加。

图1示出了在扫描中物品可以被遮蔽的一些方式。如图1所示，所显示的2D扫描图像可能遭受四个问题：

叠加：威胁物(例如，被禁止的物体，如刀，切割器...)可能被掩蔽在密集的材料后面。有时，使用诸如高穿透性(增强的X射线功率)或图像处理(对比度改进)等功能，可以看穿该盲屏蔽物。如图1所示，在右上角101中的伞和密集的物体的集合会遮蔽感兴趣的物品。

位置：根据其在行李箱内的位置，威胁物可能很难检测。位于角落、边缘或行李箱架内的物品很难识别。如图1所示，箱体102的可缩回的滑触杆和刚性拐角可能遮蔽感兴趣的物品。

分离：另一种掩饰威胁物的方式是将其部件分开且散布在行李箱中(武器或炸药由多个分开的项构成，比如扳机、药筒…)。该分离可以与其它掩饰技术相结合。如图1所示。呈现出不可能吸引特别注意的多个明显难以描述的项103，但是它们可以组装而形成某感兴趣的物品。

引诱物：用意不良的个体会使用引诱物来隐藏真实的威胁物。例如，比如小剪刀的小威胁物会是明显可见的并且俘获安全代理的注意力，而更重要的威胁物被隐藏。如图1所示，金属棒104会吸引用户的注意，而使他们放松对某些不太可见的威胁物的注意。

利用直接体积渲染技术的体积数据探索在如下许多科学领域对于视觉上提取相关结构有极大的帮助：医学成像、天文物理学，以及更近期的行李箱安全。为利用该知识提取，已经开发了许多技术。在领域中已知多种现有的基础技术，包括体积可视化、传递函数、直接体素操纵和聚焦加上下文交互。

特别地，体积可视化可以利用几何渲染系统来完成，几何渲染系统将数据变换成表示等面的一组多边形。轮廓树算法和比如分支分解的其它替代方法通常用于发现这些等面。轮廓树算法易受噪声影响，这在行李箱检查上存在问题，因为比如钢的密致材料由于反射X射线而产生噪声。

为了调查体积数据集，可以使用传递函数(TF)。实际上，传递函数利用具体的颜色(包括其透明性)来映射体素密度。传递函数可以是1维、2维或n维，并且对隔离体积数据中的感兴趣的结构具有极大帮助。借助于颜色混合处理，适当的传递函数也能够显现出等面或隐藏密度以改善体积数据可视化。

在环境中出现的比如结合图1所描述的具体难题是，特定感兴趣的物品的用户视图通常被多个其它非感兴趣的物体遮蔽。为了更好地观看感兴趣的对象，用户可能希望隔离或突出显示感兴趣的对象，或者选择性地移除干扰对象或使得干扰对象较不可见。另一方面，当用户开始以此方式修改环境的表示时，表示与现实之间的固有链接被破坏，并且用户易于变得失去方向且丢失对对象或其相互关系的跟踪。期望的是提供用于管理对象及其表示的方式，以避免或减少这些问题。

发明内容

根据第一方面，提供一种用于管理在三维计算机生成的环境中具有预定义空间关系的多个对象的显示的方法，包括以下步骤：在第一显示区中以所述对象的第一子集的相应的空间关系来显示所述对象的第一子集的图形表示，以及在一个或多个另外的显示区中以所述对象中的不属于所述第一子集的全部对象的相应的空间关系显示所述对象中的不属于所述第一子集的全部对象的图形表示。从所述第一显示区或所述另外的显示区中的一个中移除选定的对象，以及将所述选定的对象添加到在目的显示区中的图形表示中，所述目的显示区是除了从其移除所述选定的对象的显示区之外的任何显示区。通过在显示区中呈现全部对象，用户可以更容易跟踪多个对象及其空间关系，同时整理特别重要的一组对象的他的视图。以此方式，避免用户出错，并且提高了用户效率，随时间推移实现较低的系统要求。

在第一方面的发展中，该方法包括如下另外的步骤：接收预定义的用户输入，以及响应于该预定义的用户输入而在一个所述显示区中显示全部对象。通过容易地反转对象的分离，用户更容易跟踪多个对象及其空间关系，进一步减少用户出错，且提高效率，随时间推移实现更低的系统要求。

在第一方面的发展中，该方法包括如下另外的步骤：接收预定义的用户输入，以及响应于所述预定义的用户输入，根据对所述对象的分类，在相应的显示区中显示所述对象，其中具有相关分类的对象显示在同一显示区中。通过呈现基于分类而分组的全部对象，用户可以更容易掌握对象之间的关系。

在第一方面的发展中，分类反映了密度、形状、体积、长宽比或重量中的至少一项。

在第一方面的发展中，该方法包括如下另外的步骤：通过与对象模型的库进行比较来识别每个对象的形状，并且其中所述分类对应于所识别的每个对象的形状。通过基于与模型库的比较来对对象分类，可利用环境的内容的最少知识来建立关系，从而避免生成、存储和管理这些数据的系统资源成本。

在第一方面的发展中，该方法包括以下另外的步骤：接收预定义的用户输入，以及响应于所述预定义的用户输入，以在给定当前虚拟相机位置和方位的情况下达到所有对象的最佳可能视图的方式在相应的显示区中显示所述对象。通过分布和显示对象以达到最优可视性，减少了用户的操纵量，降低了对处理和存储器资源的需求。

在第一方面的发展中，该方法包括在从所述第一显示区中移除选定的对象的所述步骤之后且在添加到所述目的显示区的所述步骤之前的如下另外的步骤：在一个显示区中的其起始位置与在所述目的显示区中的其最终位置之间的一个或多个中间位置中表示所述选定的对象。因此进一步改善了不同对象的位置的用户直观理解，进一步减少了用户出错且提高了用户效率，使得随时间推移具有较低的系统要求。

在第一方面的发展中，从所述第一显示区移除选定的对象的步骤、在一个显示区中的其起始位置与在所述目的显示区中的其最终位置之间的一个或多个中间位置中表示所述选定的对象的步骤以及添加到所述目的显示区的步骤与拖放式界面交互同步。因此进一步改善了不同对象的位置的用户的直观理解，进一步减少了用户出错且提高了用户效率，使得随时间推移具有较低的系统要求。

在第一方面的发展中，在每个所述显示区中的对象是从相对于所述三维计算机生成的环境的第一虚拟相机位置的视点来显示的。

在第一方面的发展中，一个或多个所述显示区中的对象是从相对于所述三维计算机生成的环境的第一虚拟相机位置的视点来显示的，并且一个或多个另外的所述显示区是从相对于所述三维计算机生成的环境的第二虚拟相机位置的视点来显示的。从不同的方位观看不同组对象的可能性能够减少用户的操纵量，降低对处理和存储器资源的需求。

在第一方面的发展中，该方法包括以下另外的步骤：在所述显示步骤之前将所述对象识别为所述三维计算机生成的环境中的对象。通过识别环境中的对象，可以利用最少的环境内容的先前知识来建立关系，从而避免生成、存储和管理该数据的系统资源成本。

在第一方面的发展中，将对象识别为对象的所述步骤包括以下步骤：选择具有超过预定阈值的标量元数据值的第一体素，评估与所述第一体素相邻的每个体素，以及对其标量元数据值阈值超过所述预定标量元数据值阈值的每个相邻体素进行选择和加标签，以及重复对与加标签的体素相邻的每个体素进行评估、选择和加标签的步骤直至没有另外的体素满足用于评估的标准，改变到新的第一体素和新的标签，以及重复选择、评估和改变的所述步骤直至所述计算机生成的环境中的全部体素已经被加标签，其中取具有相同的标签的每组体素以构成对象。

根据第二方面，提供一种适于实现第一方面的装置。

根据第三方面，提供一种用于管理在三维计算机生成的环境中具有预定义空间关系的多个对象的显示的装置。该装置适于：

使得在第一显示区中以所述对象的第一子集的相应的空间关系来显示所述对象的第一子集的图形表示，

使得在一个或多个另外的显示区中以所述对象中的不属于所述第一子集的全部对象的相应的空间关系显示所述对象中的不属于所述第一子集的全部对象的图形表示，

使得从所述第一显示区或所述另外的显示区中的一个中移除选定的对象，以及使得将所述选定的对象添加到目的显示区中的图形表示中，所述目的显示区是除了从其移除所述选定的对象的显示区之外的任何所述显示区。

在第四方面，提供一种适于实现第一方面的步骤的计算机程序。

附图说明

现在将参照附图描述本发明的上述优点和其它优点，其中：

图1示出了在扫描中物品被遮蔽的一些方式；

图2示出了在三维计算机生成的环境中的一组对象；

图3示出了图2的对象的次优视图；

图4示出了根据实施例的方法的步骤；

图5示出了根据第一方面的实施例的一组表示；

图6示出了根据第二方面的实施例的一组表示；

图7示出了根据第三方面的实施例的一组表示；

图8示出了根据第四方面的实施例的一组表示；

图9示出了根据实施例的方法；

图10是图9的方法的更详细的实现；

图11示出了图10的方法的步骤应用于特定体素集合的示例；

图12示出了图11的示例中所识别的对象；

图13示出了可利用较低不透明度阈值来识别的对象；

图14将图11的选定体素表示为树；

图15示出了适合于本发明的实施例的实现的一般的计算系统；

图16示出了适于构成实施例的智能电话设备；

图17示出了适于构成实施例的对象扫描仪系统；以及

图18示出了适于构成实施例的身体扫描仪系统。

具体实施方式

图2示出了在三维计算机生成的环境中的一组对象。如图所示，环境包含第一对象“A”210、第二对象“B”220和第三对象“C”230。图2中的视点已经被选择而使得提供了每个对象的相当不受阻碍的视图，同时还给出对象的突出特征的良好视图，例如通过使得能够读这些对象的表面上的字符A、B和C。将意识到，在很多情况下，因为其它中间对象会阻挡视图，所以不可能采用该最优观看位置。

因此，通常有必要采用次优视点。

图3示出了图2的对象的次优视图。如图3所示，表示出相同的三个对象210、220和230，然而，限定在虚拟环境中的视点的位置和方位的虚拟相机位置较靠近垂直于最近对象210的角，使得对象220被对象210部分遮蔽，并且对象230被对象210和对象220部分遮蔽。

图4示出了根据实施例的方法的步骤。

如图4所示，提供了一种用于管理在诸如例如图2和图3所示的三维计算机生成的环境中具有预定义空间关系的多个对象的显示的方法。

如图所示，该方法在进行到步骤410之前开始于步骤400，在步骤410中，在第一显示区中以所述对象的第一子集的相应的空间关系显示所述对象的第一子集的图形表示，并且然后进行到步骤420，在步骤420中，在第二显示区中以所述对象中的不属于第一子集的全部对象的相应的空间关系显示所述对象中的不属于第一子集的全部对象的图形表示。

该方法然后进行到步骤430，在步骤430中从所述第一显示区或所述第二显示区中移除选定的对象，然后进行到步骤440，在步骤440中，在未从其中移除选定的对象的无论哪个显示区中将选定的对象添加到所述图形表示。

因此，三维计算机生成的虚拟环境可以分解成一组对象X，其中第一子集并且其中相对于第二子集Z，

将意识到，显示第一组对象410以及显示第二组对象420的步骤的顺序可以相反，或者两个步骤可一起执行。

将意识到，一方面从第一显示区或第二显示区430中移除选定的对象以及另一方面在未从其中移除选定的对象的无论哪个显示区440中将选定的对象添加到所述图形表示的步骤的顺序可以一起执行。

通过这种方式，放在一起的两个显示区在任何时候(除了步骤430与440之间的间隔中(如果有的话))显示环境中的每一个对象(达到它们在当前相机位置和方位设置中可见的程度)，但是对象在第一显示区和第二显示区之间的分布会随时间而变化，它们通常在一个显示区中或另一显示区中对用户可见。通过这种方式，降低了丢失或忘记对象或失去对各对象的相互关系的跟踪的风险。

图5示出了根据第一方面的实施例的一组表示。

如图5所示，如参考图2所描述的相同的三个对象210、220和230以如参考图3所描述的相同的次优布置表示，由此限定虚拟环境中的视点的位置和方位的虚拟相机位置更靠近垂直于最近对象210的角，使得对象220被对象210部分地遮蔽，并且对象230被对象210和对象220部分地遮蔽。三个对象210、220、230显示在第一显示区541中，而第二显示区542显示为空白。

图6示出了根据第二方面的实施例的一组表示。

如图6所示，如参考图2所描述的相同的三个对象210、220和230以如参考图3所描述的相同的次优布置来表示。然而，在该方面，根据图4的方法的相应的步骤430和440，第二对象“B”220已经从第一显示区541中移除且添加到第二显示区542中。因此，尽管虚拟相机的次优方位，但是提供了全部三个对象的清楚视图，仍然保留了它们的相应的空间关系和方位。

图7示出了根据第三方面的实施例的一组表示。

如图7所示，如参考图2所描述的相同的三个对象210、220和230以如参考图3所描述的相同的次优布置来表示。第二对象“B”220保留在第二显示区542中，如关于图6所描述的。此外，在这方面，根据图4的方法的相应的步骤430和440，第一对象“A”210已经从第一显示区541中移除且添加到第二显示区542中。因此，尽管虚拟相机的次优方位，但是在第一显示区541中提供了第三对象“C”230的完全不受阻挡的视图，同时三个对象仍保留它们的相应的空间关系和方位。

图8示出了根据第四方面的实施例的一组表示。

如图8所示，如参考图2所描述的相同的三个对象210、220和230以如参考图3所描述的相同的次优布置来表示。第一对象“A”210和第二对象“B”220分别保留在第二显示区542中，如结合图7所描述的。此外，在该方面，根据图4的方法的相应的步骤430和440，第三对象“C”230已经从第一显示区541中移除且添加到第二显示区542中。因此，尽管虚拟相机的次优方位，但是用户仍能够看到第一显示区541现在完全是空白，从而用户能够通过从一个显示移到另一显示来确保每个对象已经被列举。

根据一些实施例，可以提供多于两个的显示区，完整的一组对象以无论何种最适合用户的方式来分布在任意或全部显示区中。

根据一些实施例，可以提供快捷接口特征，例如，键盘快捷键、显示热点区等，当被激活时这些快捷接口特征可以使得相对于不同的显示区对对象进行预定操作。例如，该接口特征可以使得全部对象聚集在一个特定显示区中，或者根据特定算法分布在不同的显示区中。该算法的示例可以包括：

在相同的显示区将具有相似性质(例如密度、尺寸、形状、体积、长宽比、重量等)的对象组合在一起。

参考对象模型的库来识别每个对象的类型并且在相同的显示区中将类似或相同类型的对象组合在一起。

以在给定当前虚拟相机位置和方位的情况下实现全部对象的最佳可能视图的方式来将对象分布在可用显示区之中。

还可能使用这些不同方法的组合，可能具有不同的相应权重。

根据一些实施例，可以提供在从第一显示区541中移除选定的对象的步骤430与在步骤440中添加到第二显示区542之间的一个或多个中间步骤，在该期间内选定的对象可以在在一个显示区中的其起始位置与在另一显示区中的其最终位置之间的一个或多个中间位置中表示，从而提供选定的对象从一个显示区移到另一显示区的假象。该动画效果可进一步帮助用户维持与对象的直观关系。此外，该过程可与拖放式接口交互同步，从而用户具有实际上将对象从一个显示区物理地移到另一显示区的印象。

在图5、图6、图7和图8的实施例中，对象210、220和230在每个图中均显示处于相同的方位，表示根据该实施例虚拟相机位置和方位对于两个显示区而言相同的事实。在该上下文中，用户可以改变相机位置或方位从而探索虚拟环境，并且不同的视图将相同地且同步地倾斜、摇动、缩放等。

在一些实施例中，不同的显示区可以解耦，使得对于每个显示区限定不同的相机位置和方位，使得用户能够从不同的视点观察到不同组的对象。以此方式，用户可以通过将其从一个视图移位到另一视图(如上文所述)而从不同的视点观察到相同的对象。

在该上下文中，可提供将根据例如上文建议的选择算法而选出的一些对象从一个显示区移动到另一显示区从而从不同的视点呈现该组对象的快捷键。

可提供用于如上所述将显示的视点解耦且进而关于可预定义的单个优选相机位置和方位或相对于所选显示区的当前相机位置和方位重新同步显示或其它的快捷键。

可以根据体素、多边形或任何其它此类数据结构来定义三维计算机生成的环境。通常，在单独的对象彼此接触的程度上这种结构本质上不在单独的对象之间进行区分，从而对诸如图4的方法提供有限的支持。

相应地，在一些实施例中，可以提供在第一显示区中以对象的第一子集的相应的空间关系显示对象的第一子集的图形表示的步骤之前的、识别在三维计算机生成的环境中的对象的附加步骤。

在根据体素来定义三维计算机生成的环境的情况下，对象的识别可以通过示例的方式实现如下。

图9示出了根据实施例的方法。

如图9中所示，提供了一种基于由体素集合定义的三维体积来选择体素以在计算机生成的图像中显示的方法。该方法开始于步骤900，之后在步骤910处进行以选择具有超过预定标量元数据值阈值的标量元数据值的第一体素。为了本示例的目的，假定标量元数据值表示与体素相关联的不透明度，但是标量元数据值可具有任何含义，表示例如颜色、密度等。该方法接着进行到步骤920，在该步骤中评估邻近第一体素的每个体素。对于其不透明度阈值超过预定不透明度阈值的任何相邻体素，该方法进行到步骤940，在步骤940中，该体素被选定且加标签。一旦对于给定的所选体素已经评估了全部相邻的体素，则该方法进行到步骤950，在该步骤950中，考虑其它体素是否满足用于评估的标准(即，是邻近的加标签的体素且超过预定不透明度阈值)，在该情况下，方法经由步骤960循回以重复对于邻近加标签体素的每个体素进行评估920和选择以及加标签940的步骤，直到没有另外的体素满足用于评估的标准，于是该方法进行到步骤962，在该步骤962中确定环境中的任何体素是否仍未被加标签。如果确定仍有未被加标签的体素，则该方法进行到步骤964，在该步骤中选择新标签和新的第一体素，此后该方法循回到步骤960，开始评估、选择和加标签的新的循环。如果在步骤962中确定环境中的全部体素已经被加标签，则该方法在步骤970中进行以显示全部加标签的体素。

通过改变到新的第一体素和新的标签以及重复所述选择、评估和改变的步骤直至所述计算机生成的环境中的全部体素已经被加标签，图9中的过程因此可以迭代以识别环境中的对象。在此基础上，取具有相同标签的每组体素以构成对象。

显示加标签体素的步骤可以完全省略，或者根据需要在某任意稍后的时间实施。

这些对象可以在任意数量的显示区之间进行划分。在一些实施例中，存在两个显示区，使得一个或多个另外的显示区包括第二显示区，以及从第一显示区或另外的显示区之一中去除所选所述对象以及在不同的显示区中将选定的对象添加到图形表示中的步骤包括从第一显示区或第二显示区中移除选定的对象以及将选定的对象添加到未从其中移除选定的对象的无论哪个显示区中。

将意识到，图9的基本的基础方法可以通过多种不同的机制来实现。评估邻近当前所选体素的体素的过程可涉及到依次对于每个相邻体素实施评估每个相邻体素，或者每个相邻体素可以并行地评估。评估过程本质上可以是多步骤的，例如，首先考虑所讨论中的体素是否已被加标签，并且然后考虑是否满足不透明度标准。在一些实施例中，当体素未能满足标准而不是当它们确实满足标准时，可能对体素加标签，或者可以对所评估的全部体素加标签以指示它们是否满足不透明度阈值。

根据这些步骤所识别的任何对象的定义在一些实施例中可以保留以供后来参考。例如，每个新对象的加标签可以特定于该对象，或者可替代地，可以对哪些体素已经被组合在一起作为对象的记录进行汇编。因此，通过所描述的方法的多种应用，可以按对象的集合而非仅体素矩阵来定义三维环境。此外，该方法可以加速该过程的后续应用的过程，因为已经被识别为属于第一对象的体素可以从过程中排除。

图10是图9的方法的更详细的实现方式。如图10所示，该方法开始于步骤900，然后进行到步骤910以选择具有超过预定不透明度阈值的不透明度的第一体素。该方法接着进行到步骤1021，在步骤1021中判定沿正x方向邻近第一体素的体素是否已经被加标签。如果该体素尚未加标签，则该方法进行到步骤1041，在该步骤中确定评估中的体素是否超过不透明度阈值。在步骤1042中，如果阈值被超过，则评估中的体素被加标签为满足选择标准且被选为用于相邻体素的接下来的评估的参考系。否则，在步骤1043中体素被加标签为不满足选择标准，并且方法随后返回到步骤1021。假定沿正x方向的相邻体素不满足不透明度阈值，则该方法现在从步骤1021进行到步骤1022，因为沿正x方向的相邻体素现在被加标签为不满足选择标准。现在依次对于每个相邻体素重复该过程，步骤1022评估沿正y方向的相邻体素，步骤1023评估沿正z方向的相邻体素，步骤1024评估沿负x方向的相邻体素，步骤1025评估沿负y方向的相邻体素，并且步骤1026评估沿负z方向的相邻体素。对于给定的所选体素，该方法最终将确定已经对全部相邻体素加标签为或者是满足选择标准，或者不满足选择标准，并且将到达步骤1051，在步骤1051中，该方法考虑与被加标签为满足选择标准的体素相邻的体素是否尚未评估。这将在步骤1042中该方法选择新的体素作为用于评估相邻体素的参考点的情况下发生，在该情况下尚未评估的任何体素将被暂时丢弃，直至该方法在步骤1052中返回它们。如果另一方面在步骤1051中确定与被加标签为满足选择标准的任何体素相邻的全部体素已经被加标签(为不满足选择标准)，则树形图被完全探索，于是该方法进行到步骤962，在该步骤962中确定环境中的任何体素是否仍未被加标签。如果确定仍有未加标签的体素，则该方法进行到步骤964，其中选择新的标签和新的第一体素，此后该方法循回到步骤960，开始对新循环评估、选择和加标签。如果在步骤962中确定环境中的全部体素已被加标签，则该方法在步骤970中继续以显示全部加标签的体素，然后在步骤980中终止。

通过改变到新的第一体素和新的标签，以及重复选择、评估和改变的所述步骤直至所述计算机生成的环境中的全部体素已经被加标签，图9的过程因此可以被迭代以识别环境中的对象。在该基础上，取具有相同标签的每组体素以构成对象。

在一些实施例中，不透明度阈值可以是双重的，表明体素不仅必须超过最小值，而且落到最大值以下。

图11示出了将图10的方法的步骤应用于具体的体素集合的示例。

图11示出了在由x、y和z轴1111、1112和1113定义的三维空间中的体素集合。如图所示，体素被分类为属于四个不透明度级别中的一个。在图1的应用的上下文中，不透明度与密度对齐。如图11所示的最致密的体素是暗淡且不透明的(例如体素1151)，次致密的是中度灰色且略透明(例如体素1152)，再次致密的是暗灰色且非常透明(例如，体素1153)，并且为清晰起见不渲染最不致密分类的体素。为本示例的目的，不透明度阈值被定义为中等密度体素的不透明度。

第一选定体素可以多种不同的方式来选择。例如，第一选定体素可以被选为最靠近定义用户视点的虚拟相机1160的当前位置，这满足预定义不透明度阈值。在此基础上，考虑到虚拟相机1160的位置和方位以及预定义不透明度阈值，为本示例的目的，第一选定体素是体素1131。因此，提供了确定虚拟相机位置以及建立所述对象的部分与所述虚拟相机位置之间的直路径的另一步骤，由此第一体素被选为沿所述路径定位最靠近所述虚拟相机位置的且超过所述预定不透明度阈值的体素。

根据图10的方法，该方法考虑体素1131的正x方向上的体素。该体素未加标签，但是不满足不透明度阈值。该方法然后考虑正y方向上的体素。该体素未加标签，但是不满足不透明度阈值。该方法然后考虑正z方向上的体素。该体素未加标签，但是不满足不透明度阈值。该方法然后考虑负x方向上的体素。该体素未加标签，但是不满足不透明度阈值。该方法然后考虑负y方向上的体素1132。该体素未加标签，且确实满足不透明度阈值。因此，体素1132被加标签为满足选择标准，并且被选为下一轮评估的基础。此处值得注意的是，体素1142也满足不透明度阈值，但是尚未进行评估。对于体素1132重复评估过程，这将导致选择体素1133，然后是1134，然后是1135。当对体素1135执行评估时，确定除了已经被加标签的体素1134之外相邻体素都不满足不透明度阈值，从而不选择新体素。因此，该方法进行到步骤1051，如上所述，在该步骤1051中确定体素1136是被标记为满足选择标准但是尚未评估的相邻体素1134。因此，选择返回到体素1134。此时，体素1135因已经被加标签而被丢弃，并且选择进行到体素1136。以类似的方式，选择随后返回到体素1133，然后进行穿过体素1137、1138、1139、1140和1141，然后返回到1140以到达1142，然后返回431以探索包括体素1143、1144、1145、1146、1147和1148的分支。通过这种方式，该方法已经从所选的第一选定体素1131开始对满足不透明度阈值的各个相邻体素加标签。

根据图9或图10的方法，该方法然后进行以对于环境的其它对象重复该过程。

图12示出了图11的示例中所识别的对象。示出了可见体素1131、1132、1133、1134、1135、1136、1137、1138、1139、1141、1142、1143、1144、1145、1146、1147，而体素1140和1148被遮蔽。图11的未被加标签为满足选择标准的所有其它体素已经在所显示的图像中被移除，提供了所识别对象的更清楚的视图。

将意识到，对象的定义主要取决于不透明度阈值的选择。

图13示出了可利用较低不透明度阈值识别的对象。在如上述所呈现的图11和图12的示例中，利用对应于所示的体素的最低不透明度级别的不透明度阈值来应用该方法。如果选择了最高不透明度级别，如比如体素1151所表示的，将定义较小的对象，表示对象的致密核心，如图13所示。

图14将图11的所选体素表示为树。将意识到，关于图11所详细的说明实现了树爬行。如关于图11所描述的，上述过程顺着分支到其末端(深度优先搜索)，并且然后退回到最近的未探索分叉，等等，如虚线1400所表示的。其它等价算法可返回到最远的未探索分叉，或者在进行到下一级之前在树形图的每一级探索每一可能(广度优先搜索)。在该算法中，可以按顺序1131、1132、1143、1132、1133、1134、1137、1144、1135、1136、1145、1138、1146、1139、1147、1140、1147、1141、1142、1148等来选择体素。树搜索算法本身是学术研究领域，并且实施例可以在相关步骤中包含适当配置所要求的任何此类算法，尤其是步骤960“重复对另外的体素评估、选择和加标签的步骤”。

根据一些实施例，关于图9或图10所描述的过程可以响应于指定不同标量元数据值阈值的用户输入而实时地执行，使得用户能够立即看到标量元数据值阈值的变化的效果。该用户输入可借助于滑块、滚轮等来输入，使得用户能够快速地尝试不同的值且识别该值给出的最视觉可信的结果。

根据一些实施例，可以对于相同的一组体素和相同的第一所选体素但是具有一系列不同的标量元数据值阈值来重复关于图9或图10所描述的过程。可以向用户顺序地显示所得到的对象，给予用户选择所讨论的对象的最视觉可信表示的机会。

根据一些实施例，可以对于相同的一组体素和相同的第一所选体素但是具有一系列不同的标量元数据值阈值来重复关于图9或图10所描述的过程。所得到的对象可以在同一视图的多个表示中一起显示给用户，给予用户选择所讨论的对象的最视觉可信表示的机会。

可以对于相同的一组体素和相同的第一所选体素但是具有一系列不同的标量元数据值阈值来重复关于图9或图10所描述的过程。所得到的对象可以与已知对象库进行比较，并且提供最紧密对应于库模型的对象的标量元数据值阈值可保留以用于向用户呈现对象。

在前面的示例中，相邻体素已经被视为那些具有共同面的体素。在其它实施例中，术语可以扩展以包含具有共同顶点的体素，并且此外，扩展以包含在预定半径内的体素，或者具有预定数量的中间体素的体素。

已经基于以立方体点阵布置的体素描述了前述实施例。将意识到，其它体素类型结构是已知的，诸如基于规则八面体和四面体、菱形十二面体和截头锥形八面体等，并且图9的过程能应用于任何这样的结构，只要能够明确地确定相邻体素即可。

根据一些实施例，在基于体素的计算机生成的三维环境中的对象是通过爬行经过满足关于与每个体素相关联的标量元数据值的预定标准(比如不透明度或密度)的相邻体素来识别的。可以根据树爬行算法比如广度优先或深度优先算法来探索这些相邻体素。一旦识别出满足标准的全部相邻单元，这些被确定为表示离散对象，并且如此显示。爬行过程的起始点可以是满足标准的、沿该虚拟相机的视线最接近虚拟相机位置的体素。

在一些实施例中，在特定的计算机生成3D环境中呈现的对象向用户表示为分布在多个显示区之中。维持对象的相对位置，并且每当从一个显示区移除对象时将其添加到另一显示区。呈现给用户的视点对于每个显示区可以相同，所有显示区一起控制，或者可以为每个区域或区域的子组提供单独的控制。

所公开的方法可以采取完全硬件实施例(例如，FPGA)，完全软件实施例(例如，根据本发明来控制系统)或包含硬件和软件元件的实施例。因此，实施例可以包括适于实现彼此通信的本发明的多个子系统、功能元件或模块和/或例如如下所述的标准固定功能或可编程元件。

软件实施例包括但不限于应用、固件、驻留软件、微代码等。本发明可以采取能从计算机可用或计算机可读介质访问的计算机程序产品的形式，计算机可用或计算机可读介质提供由计算机或指令执行系统使用或者与计算机或指令执行系统相结合使用的程序代码。计算机可用或计算机可读可以是任何能够包含、存储、传送、传播、或传输程序以便由指令执行系统、装置或设备使用或与指令执行系统、装置或设备相结合使用的任意装置。介质可以是电子的、磁的、光的、电磁的、红外的或半导体系统(或装置或设备)或传播介质。

在一些实施例中，本文所述的方法和过程可以完全或部分地通过用户设备来实现。这些方法和过程可通过计算机应用程序或服务、应用编程接口(API)、库、和/或其它计算机程序产品或这些实体的任意组合来实现。

用户设备可以是移动设备诸如智能电话或平板设备、无人机、计算机或具备处理能力的任何其它设备，比如机器人或其它连接的设备。

根据一些实施例，为了在能够易于图形表示的数据集的集合之间浏览，这些数据集与一维、二维或三维的滑动标尺上的点相关联。当对应于特定数据集的点由用户经由鼠标指针或诸如此类的选定时，其被渲染为图形表示且呈现给用户。当中间点被选定时，对应于附近点的数据集的插值被生成，并且得到的数据集被渲染为图形表示且呈现给用户。交互可以利用具有混杂行为的滑动条式微件来实现，使得在条上的点击引起按钮跳到对应于数据的最近点，同时滑动到选定的中间位置激活相邻数据集的插值。

图15示出了适合实现本发明的实施例的一般的计算系统。

如图15所示，系统包括逻辑设备1501和存储设备1502。系统可以可选地包括显示子系统1511、输入/输出子系统1503、通信子系统1520和/或未示出的其他组件。

逻辑设备1501包括被配置成执行指令的一个或多个物理设备。例如，逻辑设备1501可以被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的部分的指令。该指令可以被实现以执行任务，实现数据类型，变换一个或多个组件的状态，实现技术效果或以其它方式达到期望的结果。

逻辑设备1501可以包括被配置成执行软件指令的一个或多个处理器。另外地或者可替代地，逻辑设备可以包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑设备的处理器可以是单核或多核，并且在其上面执行的指令可以被配置成顺序的、并行的和/或分布式的处理。逻辑设备1501的各个组件可选地可以分布在两个或更多个单独的设备之中，所述两个或更多个单独的设备可以远程地定位和/或被配置用于协调处理。逻辑设备1501的方面可以通过以云计算配置来配置的可远程访问的、联网计算设备来虚拟化和执行。

存储设备1502包括被配置成保存由逻辑设备可执行的指令来实现本文所述的方法和过程的一个或多个物理设备。当这些方法和过程被实现时，存储设备1502的状态可以变换——例如，变换为保存不同的数据。

存储设备1502可以包括可移除设备和/或内置设备。存储设备1502可以包括一个或多个类型的存储设备，包括光存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，FLASH RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)，以及其它。存储设备可以包括易失性的、非易失性的、动态的、静态的、读/写、只读、随机存取、顺序访问、位置可寻址、文件可寻址和/或内容可寻址的设备。

在一些布置中，该系统可以包括适于支持逻辑设备1501与另外的系统组件之间的通信的接口1503。例如，附加的系统组件可以包括可移除和/或内置扩展的存储设备。扩展的存储设备可以包括一个或多个类型的存储设备，包括光存储器1532(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(未示出)(例如，RAM、EPROM、EEPROM、FLASH等)和/或磁存储器1531(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)，以及其它。这些扩展的存储设备可以包括易失性的、非易失性的、动态的、静态的、读/写、只读、随机存取、顺序访问、位置可寻址、文件可寻址和/或内容可寻址的设备。

将意识到，存储设备包括一个或多个物理设备，并且不包括传播信号本身。然而，本文所述的指令的各方面可替代地可通过通信介质(例如，电磁信号、光信号等)来传播，与存储在存储设备上不同。

逻辑设备1501和存储设备1502的各方面可以集成在一起而成为一个或多个硬件逻辑组件。该硬件逻辑组件可以包括例如现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。

术语“程序”可用于描述被实现以执行特定功能的计算系统的方面。在一些情况下，程序可以经由执行存储设备所保存的机器可读指令的逻辑设备来例示。将理解的是，可以从同一应用、服务、代码块、对象、库、例程、API、函数等来例示不同的模块。同样，同一程序可由不同的应用、服务、代码块、对象、例程、API、函数等来例示。术语“程序”可以涵盖单个的或成组的可执行文件、数据文件、库、驱动器、脚本、数据库记录等。

特别地，图15的系统可以用于实现本发明的实施例。

例如，实现关于图2、图3、图9或图10所描述的步骤的程序可以存储在存储设备1502中且由逻辑设备1501来执行。用于创建包括体素及其相关联的标量元数据的数据集的图形表示的数据可以存储在存储设备1502或扩展的存储设备1532或1531中，并且显示器1511用于显示图形表示。

在一些情况下，计算系统可以包括扫描仪1580或如上所述的其他三维成像系统或与之通信。这种通信可以根据需要通过有线或无线网络、串行总线、火线、Thunderbolt、SCSI或任何其它通信手段来实现。在这种情况下，用于控制扫描仪1580和/或从其检索数据的程序可以在逻辑设备1501上同时运行，或者这些特征可以实现于与关于图2、图3、图9或图10所描述的步骤的相同的程序中。

因此，本发明可以以计算机程序的形式实施。

此外，当被适当地配置和连接时，图15的元件可以构成适于生成数据集的图形表示并且使显示设备显示所述表示的装置；该装置还可以适于从眼睛跟踪系统接收指示注视点的数据。所述装置可以包括用于在持续时间内编译所述注视点的记录的存储器，并且所述装置还可以适于修改图形表示以指示所述注视点指向所述表示中的每个点的持续时间的比例。该注视点随后可以被同化成如上所述的所选点和/或光标。

将意识到，本文所使用的“服务”是能够跨多个用户会话执行的应用程序。服务可供一个或多个系统组件、程序和/或其它服务使用。在一些实现方式中，服务可运行于一个或多个服务器计算设备上。

当被包含时，显示子系统1511可以用于呈现存储设备所保存的数据的可视表示。该可视表示可采取图形用户接口(GUI)的形式。由于本文所述的方法和过程改变存储设备1502所保存的数据并且因此变换存储设备602的状态，所以显示子系统1511的状态同样可以变换以可视地表示底层数据的变化。显示子系统1511可以包括使用实际上如上文所述的任何类型的技术的一个或多个显示设备。该显示设备可以与共享外壳中的逻辑设备和/或存储设备相结合，或者该显示设备可以是外围显示设备。

当被包含时，输入子系统可以包括一个或多个用户输入设备比如键盘1512、鼠标1513、触摸屏1511或游戏控制器(未示出)或者与它们接口。在一些实施例中，输入子系统可以包括选定的自然用户输入(NUI)组件或与其接口。该组件可以是集成的或外围的，并且输入动作的转导和/或处理可在板上处理或离板处理。示例的NUI组件可以包括用于语言和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、颜色、立体声和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计、和/或陀螺仪；以及用于评估大脑活动的电场感应组件。

当被包含时，通信子系统1520可以被配置成将计算系统与一个或多个其它计算设备通信耦合。例如，通信模块可以经由任意大小的网络(包括例如个域网、局域网、广域网或互联网)将计算设备与例如托管在远程服务器1576上的远程服务通信耦合。通信子系统可以包括能够与一个或多个不同的通信协议兼容的有线和/或无线通信设备。作为非限制的示例，通信子系统可以被配置为经由无线电话网1574或有线或无线局域网或广域网来通信。在一些实施例中，通信子系统可允许计算系统经由比如因特网1575的网络发送消息到其它设备和/或接收来自其它设备的消息。通信子系统可以另外支持与无源设备(NFC、RFID等)的短程感应通信。

图15的系统旨在反映宽范围的不同类型的信息处理系统。将意识到，本文关于图15所述的许多子系统和特征对于本发明的实现方式不是必需的，而是被包含以反映根据本发明的可能的系统。将意识到，系统架构多样地变化，并且图15的不同子系统之间的关系仅仅是示意的，并且同样可以在系统中的布局和角色分配上进行变化。将意识到，实际上，系统可能并入上文结合图15所描述的各个特征和子系统的不同子集。图16、图17和图18公开了根据本发明的另外的示例设备。本领域技术人员将意识到，也根据本发明操作系统的可以在未来被采用。

图16示出了适于构成实施例的智能电话设备。如图6所示，智能电话设备包含了元件1501、1502、1503、1520，近场通信接口1621，闪速存储器1633，如上所述的元件1514、1515和1511。智能电话设备经由网络1575与电话网1674和服务器1576通信。还可以使用诸如专用网络或WiFi的替代通信机制。该设备还可以与扫描仪设备1580通信。该图中公开的特征也可以包括在平板设备内。

图17示出了适于构成实施例的对象扫描仪系统。这代表了在机场等中针对所隐藏的武器或走私品的设备来扫描行李箱和其它物品。如图17所示，对象扫描仪系统包括如上所述的元件1501、1502、1503、1520、1521、1515和1517。它可以经由网络1575来与服务器1576通信。也可以使用诸如专用网络或WiFi的替代通信机制。该设备还与扫描仪硬件1580通信。

图18示出了适于构成实施例的身体扫描仪系统。这代表了在机场等中针对所隐藏的武器或走私品来扫描个体的设备。如图18所示，对象扫描仪系统包括如上所述的元件1501、1502、1503、1520、1521、1515和1517。它可以经由网络1575来与服务器1576通信。也可以使用诸如专用网络或WiFi的替代通信机制。该设备也与扫描仪硬件1580通信。

将理解的是，本文所述的配置和/或方法本质上是示范性的，并且这些具体的实施例或示例不应在限制的意义上考虑，因为若干变型例是可能的。本文所述的具体的例程或方法可以代表任意多个处理策略中的一个或多个。因此，所图示和/或描述的各个动作可以按图示和/或描述的顺序来执行，按其它顺序执行、并行地执行、或者省略。同样，上述过程的顺序可以改变。

本公开的主题包括各个过程、系统和配置、以及本文公开的其它特征、功能、动作和/或性质以及它们的任意和全部等同物的全部新颖的且非显而易见的组合和子组合。

Claims (15)

1.一种用于管理在三维计算机生成的环境中具有预定义空间关系的多个对象的显示的方法，所述方法包括以下步骤：

在第一显示区中以所述对象的第一子集的相应的空间关系来显示所述对象的第一子集的图形表示，

在一个或多个另外的显示区中以所述对象中的不属于所述第一子集的全部对象的相应的空间关系来显示所述对象中的不属于所述第一子集的全部对象的图形表示，

从所述第一显示区或所述另外的显示区中的一个中移除选定的对象，以及将所述选定的对象添加到目的显示区中的图形表示中，所述目的显示区是除了从中移除所述选定的对象的显示区之外的任何所述显示区。

2.如任一前述权利要求所述的方法，包括以下另外的步骤：接收预定义的用户输入，以及响应于所述预定义的用户输入而在一个所述显示区中显示全部所述对象。

3.如权利要求1所述的方法，包括以下另外的步骤：接收预定义的用户输入，以及响应于所述预定义的用户输入，根据所述对象的分类在相应的显示区中显示所述对象，其中，具有相关的分类的对象被显示在同一显示区中。

4.如权利要求3所述的方法，其中，所述分类反映密度、形状、尺寸、体积、长宽比或重量中的任一项。

5.如权利要求3所述的方法，包括以下另外的步骤：通过与对象模型的库进行比较来识别每个对象的形状，并且其中，所述分类对应于所识别的每个对象的形状。

6.如任一前述权利要求所述的方法，包括以下另外的步骤：接收预定义的用户输入，以及响应于所述预定义的用户输入，以在给定当前虚拟相机位置和方位的情况下达到所有对象的最佳可能视图的方式在相应的显示区中显示所述对象。

7.如任一前述权利要求所述的方法，包括在从所述第一显示区中移除所述选定的对象的所述步骤之后并且在添加到所述目的显示区的所述步骤之前的另外的步骤：在所述选定的对象在一个显示区中的起始位置与其在所述目的显示区中的最终位置之间的一个或多个中间位置中表示所述选定的对象。

8.如权利要求7所述的方法，其中，从所述第一显示区移除选定的对象的所述步骤、在所述选定的对象在一个显示区中的起始位置与其在所述目的显示区中的最终位置之间的一个或多个中间位置中表示所述选定的对象的所述步骤以及添加到所述目的显示区的所述步骤是与拖放式界面交互同步的。

9.如任一前述权利要求所述的方法，其中，在每个所述显示区中的对象是从相对于所述三维计算机生成的环境的第一虚拟相机位置的视点显示的。

10.如权利要求1至8中任一项所述的方法，其中，一个或多个所述显示区中的对象是从相对于所述三维计算机生成的环境的第一虚拟相机位置的视点显示的，并且所述一个或多个另外的显示区是从相对于所述三维计算机生成的环境的第二虚拟相机位置的视点显示的。

11.如任一前述权利要求所述的方法，包括以下另外的步骤：在显示的步骤之前将所述对象识别为所述三维计算机生成的环境中的对象。

12.如权利要求11所述的方法，其中，将对象识别为对象的所述步骤包括以下步骤：

选择具有超过预定阈值的标量元数据值的第一体素，

评估与所述第一体素相邻的每个体素，以及对其标量元数据值阈值超过所述预定标量元数据值阈值的每个相邻体素进行选择和加标签，以及重复对与加标签的体素相邻的每个体素进行评估、选择和加标签的步骤直至没有另外的体素满足用于评估的标准，

改变到新的第一体素和新的标签，以及

重复选择、评估和改变的所述步骤直至所述计算机生成的环境中的全部体素已经被加标签，

其中，具有相同的标签的每组体素被取得以构成对象。

13.一种适于实现任一前述权利要求所述的方法的装置。

14.一种用于管理在三维计算机生成的环境中具有预定义空间关系的多个对象的显示的装置，所述装置适于

使得在第一显示区中以所述对象的第一子集的相应的空间关系来显示所述对象的第一子集的图形表示，

使得在一个或多个另外的显示区中以所述对象中的不属于所述第一子集的全部对象的相应的空间关系来显示所述对象中的不属于所述第一子集的全部对象的图形表示，

使得从所述第一显示区或所述另外的显示区中的一个中移除选定的对象，以及使得将所述选定的对象添加到目的显示区中的图形表示中，所述目的显示区是除了从中移除所述选定的对象的显示区之外的任何所述显示区。

15.一种适于实现权利要求1至12中的任一项所述的步骤的计算机程序。