CN108604388B - 虚拟现实和/或扩增现实中的直接体渲染 - Google Patents

Abstract

通过应用自适应蒙特卡洛积分、基于格栅加速器的视线追踪、图像过滤和检测到用户移动的自适应帧补偿在虚拟现实环境中执行体渲染。

Description

虚拟现实和/或扩增现实中的直接体渲染

相关申请的交叉引用

本申请要求2015年10月17日提交的第62/243,011号美国临时专利申请的权益，其全部内容以引用的方式并入本文中。

背景

技术领域

本申请大体上涉及用于在电子显示器中显像的图像的渲染。特定来说，本文中所要求保护的方法和系统涉及虚拟和扩增现实体渲染。

背景技术

为了提供高度逼真的用户体验，虚拟现实和扩增现实具有高显像要求。具有高度可变的三维特征的环境带来了额外的挑战。尝试解决这些挑战的硬件处理技术极大地增加了成本和大小，通常还同时妨碍用户维持在具有足够计算能力的计算系统附近。同样地，便于多个基于虚拟现实或扩增现实眼镜的用户的缩放系统进一步提高了对计算资源的要求。当应用当前领域解决方案所需的折中时，成本、大小和便利性会受损。所需的是一种改善的渲染方法，例如直接体渲染方法。

发明内容

体渲染在视觉敏锐度和准确性方面提供了显著的优势，从而使得成像高度逼真。相比于用于大多数图像采集模态的另一虚拟现实渲染技术，设想在虚拟现实中使用体渲染允许虚拟现实用户沉浸在明显更接近物质世界的环境中。在向虚拟现实应用体渲染时所面对的一些挑战一般集中在权衡图像质量和表现。图像质量和表现通过需要立体渲染(一个图像用于呈现给左眼，且另一对应图像用于呈现给右眼)的虚拟现实来调节。另外，虚拟现实渲染一般需要高到足以确保用户不会经受动晕症或引入抖动景象的帧刷新速率。虚拟现实的一般原则是经渲染图像应该具有高视觉保真度。实现合乎需要的虚拟现实体验可能需要解决这个问题，因为用户的视角在虚拟现实世界中会改变。然而，虚拟现实环境中的直接体渲染可使用用户运动来重新配置渲染器的设置以递送自适应渲染。自适应渲染向虚拟现实用户提供具有最高质量的图像，同时因为渲染速度慢，不会产生运动相关的负面影响。

尽管虚拟现实是本文中所描述的直接体渲染和相关技术的方法和系统的示范性应用，但是每当使用虚拟现实时，也可应用例如扩增现实的另一部署设置。因此，除非上下文以其它方式指示，否则虚拟现实和扩增现实在本文的描述中可以互换。

如本文中所描述的图像分析平台可提供完整的基于图像的工作流探索、定义和执行环境，用于从单个用户探索和分析单个数据集到具有大量用户和若干个高含量工作流的大型机构或公司每年产生具有拍字节的数据的数千个数据集的任何水平的可扩展性。所述平台还可为通过促进利用一组共同的图像分析操作对从极大数据库中的少量数据一直到完整数据库进行操作来实现高度可扩展的图像分析的媒介。图像分析过程可起始于工作站，在其中发现数据，分析操作在所述数据的子集上测试并细化，分析函数管道进行定义和配置，并且提供控件以对云和基于服务器的其它资源执行分析，所述云和基于服务器的其它资源一般具有比工作站多的处理和数据存储资源。

图像分析的方法和系统可包含一种可扩展图像分析的方法，其可包含：在计算机可存取非暂时性存储器中将图像存储为多个图像分辨率数据集，其中图像存储为多个图像分辨率层，每一图像分辨率层对应于多个图像分辨率数据集中的一个且包括区域的图像数据的子集；基于存储在图像分析描述文件中的用户指定的图像分析参数，确定第一分辨率和第一图像区域；通过从多个图像分辨率层中的至少一个检索图像数据并组合从多个图像分辨率层中的所述至少一个中的每一个检索的数据，检索表示第一分辨率的图像的第一区域的数据；以及利用在工作站上执行的分析模块、在服务器上执行且由工作站存取的批处理模块和在服务器上执行的分析服务器模块中的至少一个产生表示经组合的第一图像区域图像数据的至少一个结构化数据集；其中分析模块、批处理模块和分析服务器中的每一个基于图像分析描述文件而执行图像分析。在此方法中，分析模块可在第一分辨率下对第一图像区域执行分析，且批处理模块和分析服务器中的至少一个在指示组合来自至少一个额外图像分辨率层的数据的第二分辨率下执行第一图像区域的分析。另外在此方法中，分析模块可在第一分辨率下对第一图像区域执行分析，且批处理模块和分析服务器中的至少一个对第二图像区域执行分析，所述第二图像区域包括包含第一图像区域加上至少一个邻近图像区域的图像的部分。可替代地，在此方法中，利用分析服务器处理经组合的区域数据可响应于针对分析服务器的工作站独立执行的请求。

本文中所描述的图像处理的方法和系统的一方面可包含一种用于在多个分辨率下对图像的重叠部分执行图像分析的系统。所述方面可包含工作站，所述工作站包括：用户接口，其用于促进在计算机可存取数据文件中利用相关联的分析参数配置一系列图像分析函数，所述分析参数至少包含图像的分析区域的描述和图像的分析分辨率；图像存储接口，其用于从计算机可存取非暂时性存储器检索存储为多个图像分辨率数据集的图像，其中图像存储为多个图像分辨率层，每一图像分辨率层对应于多个图像分辨率数据集中的一个且包括图像数据的子集，其中图像是基于经配置的一系列图像分析函数中的至少一个而从多个图像分辨率层中的至少一个存取，且通过组合从多个图像分辨率层中的所述至少一个中的每一个检索的数据而组合成分析区域；以及图像分析模块，其用于通过基于相关联的分析参数执行所述一系列图像分析函数，产生表示经组合的图像数据的至少一个结构化数据集。所述方面可进一步包含服务器，其包括：到工作站的接口，通过所述接口，所述一系列图像分析函数从工作站传送到服务器且结构化分析数据从服务器传送到工作站；图像存储接口，其用于基于所述一系列图像分析函数和相关联的分析参数，从多个图像分辨率层检索图像数据，并用于将检索到的图像数据组合成单个图像文件；以及图像分析模块，其用于通过基于相关联的分析参数执行所述一系列图像分析函数，产生表示经组合的图像数据的至少一个结构化数据集。

本文中所描述的方法和系统的另一方面可包含一种用于计算机存储器的数据存储和检索系统，其可包含：用于根据图像数据特定结构配置存储器的构件，所述图像数据特定结构包含：多个在逻辑上不同且层级布置的层，每一层对应于与图像的不同分辨率对应的图像的有界区域的图像数据的不同子集，每一较低层级层含有的图像数据的分辨率比较高层级层的图像数据的分辨率高，其中产生有界区域的完整分辨率表示需要组合图像数据特定结构中的多个逻辑上不同的层中的每一个的有界区域特定部分；以及用于存取存储在图像数据特定结构中的数据的构件。

图像渲染的方法和系统可包含一种图像渲染的方法，包括：通过应用自适应蒙特卡洛积分、基于格栅加速器的视线追踪、图像过滤和检测到用户移动的自适应帧补偿在虚拟现实环境中进行体渲染。

图像渲染的方法和系统可包含一种在多遍三维体渲染过程中实现虚拟现实图像的预定义图像噪声比的方法，所述方法可包含：对图像进行过滤；基于用户视角，渲染图像中在用户本地的子集；基于检测到的用户运动，渲染图像的部分；以及基于用户视角，调整经渲染帧之间的允许统计方差。

图像渲染的方法和系统可包含一种体渲染控制的方法，其可包含：使用第一直接体渲染技术对第一场景进行直接体渲染；相对于用户的经渲染场景的视野，检测用户运动；基于检测到的相对用户运动，在多个直接体渲染技术当中进行选择；以及使用所选择的直接体渲染技术对第二场景进行直接体渲染。

图像渲染的方法和系统可包含一种在计算机上进行体渲染的方法，其可包含：相对于经渲染虚拟现实场景，检测用户移动的量度；确定用户移动的量度对人体移动模型的依从性；基于所确定的依从性，确定用于渲染下一虚拟现实场景的计算要求；以及分配计算机的硬件资源以满足计算要求。在此方法中，渲染下一虚拟现实场景可包含直接体渲染。另外在此方法中，用户移动的量度可包含用户移动在多个用户移动类别内的分类。可替代地，用户移动的量度可包含用户移动在多个经依序渲染的虚拟现实场景中的趋向。在此方法的又一替代方案中，用户移动的量度可为包括方向、速度和旋转中的至少一个的进一步用户移动的可能性。在此方法中，确定可包括通过向具有基于移动模型的渲染计算资源要求应用检测到的用户移动的量度来预测计算资源。

此方法可进一步包含利用经配置硬件资源渲染下一虚拟现实场景。另外，渲染下一场景可包含直接体渲染。

图像渲染的方法和系统可包含一种建立渲染控制集的方法，其可包含：渲染虚拟现实场景的帧；相对于经渲染场景，检测用户移动；向人体运动模型应用检测到的用户移动；以及基于向人体运动模型应用检测到的用户移动的结果，建立下一帧渲染控制集。在此方法中，渲染可包含直接体渲染。

图像渲染的方法和系统可包含一种建立渲染控制集的方法，其可包含：渲染虚拟现实场景的帧；相对于经渲染场景，检测用户移动；计算检测到的用户移动对人体运动模型的依从性；以及基于计算的结果，建立下一帧渲染控制集。在此方法中，渲染可包含直接体渲染。

图像渲染的方法和系统可包含一种预测渲染控制集的方法，其可包含：渲染虚拟现实场景的帧；相对于经渲染场景，检测用户移动；将检测到的用户移动分类到多个特定移动模式中的一个中；以及基于分类，预测下一帧渲染控制集。在此方法中，渲染可包括直接体渲染。

图像渲染的方法和系统可包含一种预测渲染控制集的方法，其可包含：渲染虚拟现实场景的帧；检测渲染控制集随着时间推移的改变；基于检测到的渲染控制集的改变和人体运动模型，预测下一帧渲染控制集。在此方法中，检测渲染控制集的改变可依序在前面的至少三个帧中执行。同样在此方法中，渲染可包含直接体渲染。

图像渲染的方法和系统可包含一种预测渲染控制集的方法，其可包含：渲染虚拟现实场景的帧；相对于经渲染场景，检测用户移动；计算多个经依序渲染的帧的渲染工作量；以及基于计算出的渲染工作量和人体运动模型，预测下一帧渲染控制集。在此方法中，多个经依序渲染的帧可包含紧接在虚拟现实场景的经渲染帧之前进行渲染的多个帧。在此方法中，渲染可包含直接体渲染。

图像渲染的方法和系统可包含一种预测渲染控制集的方法，其可包含：渲染虚拟现实场景的帧；相对于经渲染场景，检测用户移动；基于人体移动模型，预测用户移动的改变；计算多个经依序渲染的帧的渲染工作量；以及基于计算出的渲染工作量和对用户移动的改变的预测，预测下一帧渲染控制集。在此方法中，渲染可包含直接体渲染。

图像渲染的方法和系统可包含一种预测虚拟现实场景渲染时间的方法，其可包含：渲染虚拟现实场景的帧；相对于经渲染场景，检测用户移动；向人体移动模型应用检测到的用户移动；以及基于向人体移动模型应用检测到的用户移动，预测渲染下一虚拟现实场景所需的持续时间。在此方法中，渲染可包含直接体渲染。此方法可进一步包含对下一虚拟现实场景进行直接体渲染。

图像渲染的方法和系统可包含一种预测用户移动的方法，其可包含：渲染多个依序虚拟现实帧；检测与多个帧中的每一个相关联的用户移动；计算多个帧中的每一个的渲染工作量的量度；处理检测到的用户移动和计算出的渲染工作量的量度，以产生多个依序虚拟现实帧的检测到的用户移动和渲染工作量之间的关系；基于所述关系，预测下一用户移动；以及基于预测的用户移动，配置用于渲染下一虚拟现实帧的计算资源。在此方法中，渲染可包含直接体渲染。

图像渲染的方法和系统可包含一种调整渲染虚拟现实场景所需的依序帧的数目的方法，其可包含：基于相对于场景检测到的用户移动，计算虚拟现实场景的改变的量度；基于改变量度，计算渲染下一虚拟现实场景的渲染工作量的量度；以及基于当前渲染图像质量参数和多场景质量相较于表现方向向量，动态地调整计算出的渲染工作量在其内进行积分的依序帧的数目。在此方法中，渲染可包含直接体渲染。

附图说明

图1描绘每秒经体渲染的帧的图；

图2描绘本文中所描述的方法和系统的实施例的框图；以及

图3描绘表面和经体渲染的图像。

图4描绘图像分析管道配置用户接口。

图5描绘可扩展图像分析管道平台。

具体实施方式

体渲染可促进使三维标量函数(f:R³→R)显像。这些数据可通过将亮度值[f(x)]映射到多对色彩和不透明度值等等来显像。沿着视线，一个人可能会混合色彩值与相关联的不透明度值。从物理视角来看，三维标量数据可能会被视为参与介质。在此情况下，举例来说，渲染可表达为计算通过介质到达眼睛的光传输，从而产生所谓的参与介质的渲染方程。

相比于其它更基础的渲染方法，例如表面渲染，体渲染可使基于体素的环境的显像显得更自然，且提高了图像质量。此外，光引入了可被视为辨识结构特性的重要线索的阴影。然而，求解渲染方程在计算上是很昂贵的，原因至少在于它涉及计算每一光线中的大量色彩和不透明度值的积分。在以可接受虚拟现实解决方案为特征的近实时表现中执行用于体渲染的许多计算需要大大超过当前技术的虚拟现实处理硬件的计算能力。

为了虚拟现实的应用，直接体渲染解决方案需要考虑至少几个要求：(i)现今的虚拟现实解决方案采用立体渲染——这不仅意味着渲染两个图像，还可能需要在渲染和时序方面协调这两个图像，从而产生仅大于单个图像渲染需求的两倍的计算需求，(ii)虚拟现实帧刷新速率必须高到足以避免产生用户动晕症和由另一运动诱发的影响。一般来说，这表明刷新速率为至少60Hz，并且优选地，高达75Hz或更高。考虑到用户的移动和环境中各要素的移动，这些刷新速率表明了需要极高的渲染速率，或至少需要高效渲染。利用体渲染实现这一目标进一步加强了这个挑战，(iii)视觉保真度很重要——如果不具有高图像质量，那么虚拟现实装置的使用会受到质疑。当前，利用常规的虚拟现实装置递送高图像质量对虚拟现实设计者来说是一种挑战。其与可易于实现高图像质量的体渲染混合会产生需要克服的额外表现问题。

用于虚拟现实中的直接体渲染的方法和系统可包含自适应蒙特卡洛积分、如“空白空间”跳过或基于色彩传递函数(colortransferfunction，CTF)的跳过的预计算加速技术以及用户运动(速度、方向、加速度等)追踪，从而实现合乎需要的图像质量和表现之间的平衡程度。

例如蒙特卡洛积分的数值积分方法可调适成使得可以利用少量渲染遍次将通常显现为噪声的统计方差最小化。可以应用的一种技术包含作用于统计方差以减少它们对图像质量的影响的噪声减小图像过滤。通过这种方式，在图像中实现优选的噪声阈值所需的渲染遍次可能更少。另外，针对一系列因素测量用户视角，所述因素包含驻留时间(dwell)、移动、方向、速度、加速度等等，使得可进一步调适渲染(例如，更少遍次、局部渲染等等)以实现可接受水平的图像质量。在实例中，可基于用户视角的量度调整优选噪声阈值(例如，图像保真度阈值)。这可直接影响与任何给定场景或正在渲染的场景的部分相关联的渲染动作。另外，本文中所描述的体渲染的方法和系统可包含可进行调整以平衡质量和表现的许多参数。此类参数可进行预配置、针对每一渲染遍次进行调整、在较长时间周期内进行调整、基于与用户视角的量度相关联的信息进行调整等等。

空白空间加速结构可进行配置和调整以进一步优化渲染表现。此类结构可调适成供虚拟现实使用体渲染，以实现与本文中上文所描述的虚拟现实渲染相关联的要求和目标。作为加速结构的一实例，可通过在待渲染的体数据上限定粗格栅来向显像空间应用格栅加速器。针对每一单元格，计算待渲染区域的最小和最大值。值可进行处理(例如，彼此相比较和/或处理成预定义阈值)以识别含有可见数据(例如，待渲染数据)的单元格。对于不含有(或几乎不含有)可见数据的单元格，可跳过所述单元格的渲染。这可通过遍历如上文所提到的视线并跳过不具有数据的单元格来完成，从而有效地沿着光线前进到另一单元格。作为空白空间加速结构(例如，格栅加速器)的又一替代方案，可采用更精密的方法，例如八叉树法。

可使得渲染控制参数可用于控制渲染操作以实现图像质量和表现的所要混合。可进行调整的参数包含：(i)图像分辨率——最终图像的分辨率可进行调整。像素越少，计算越少。这减少了经渲染图像中的视觉细节，同时改善了表现，(ii)用于积分的每光线样本数——减少每光线样本数可减少待处理的数据量。这减少了经渲染图像中的细微细节，同时改善了表现，(iii)光传递复杂度——使用光传递抽象化模型的近似而不是完全实施此类模型。这由于光传递数据而使得潜在较低的图像质量有所提高，同时改善了表现。可应用任何数目个照明模型以实现光传递分析的益处，(iv)数据分辨率——降低数据分辨率可减少计算次数。这可使得视觉分辨率降低，同时提高了表现。一个实例是使用离散细节水平(Level of Detail，LoD)方法，例如在不同数据体中存储不同分辨率水平的原始数据。渲染系统可在这些数据体中间的帧之间切换。

另外，每一帧渲染动作可基于用户运动的方面进行调整，所述用户运动通过安置用于检测和传送用户的移动的传感器检测。一般来说，此信息可表明用户相对于虚拟现实环境中的视野的方向、速度和加速度。渲染功能性，例如本文中所描述的体渲染方法，可通过促进权衡图像质量与帧渲染表现的一组参数来控制。针对停止或近停止运动、缓慢运动和快速运动，呈现用户运动可如何影响渲染的实例。

对于检测到的指示用户运动已有效停止或相对于经渲染视野变化仅为少量(例如，用户可移动他的眼睛以集中在当前经渲染视野的某一区域上)的用户运动，影响渲染操作的参数可进行调整以促进高分辨率渲染。这可通过增加将连续渲染的帧的数目来实现，其中每一帧潜在地提高了图像质量的某一方面。在此控制集中，图像渲染函数可进行配置(例如，通过调整渲染参数)以提高最近渲染(例如，在先前视频帧中渲染)的图像的质量。检测到的用户运动(或其不存在)可转换成渲染时间和/或分配用于渲染每一场景的渲染帧的数目。在相对于场景，用户运动有效停止的情况下，渲染时间可使得当前场景的多个帧进行依序渲染，例如通过如本文中所描述的体渲染。渲染函数可将已停止用户运动解译为提高质量的判定，并且因此可使正在渲染的每一连续帧集中于提高先前帧的图像质量。此处，随着时间推移分配计算资源以执行高质量渲染。

为检测指示用户正在快速改变他的视角(例如，将头部从一侧转到另一侧)的用户运动，可调整渲染参数以集中于维持与用户的不断改变的视野一致的场景的渲染。在快速移动下，场景同样必须改变以密切地追踪用户视野的移动速率。为了实现这一目标，可调整渲染参数以将计算资源集中在快速渲染新的和/或部分重叠的视野图像上，以使得用户对虚拟现实场景的感知不大可能滞后于他/她的运动。在检测到用户快速移动的情况下，每一连续帧可包含不存在于最近经渲染帧中的数据的绝大部分；因此，当用户快速移动他的视野时，连续帧可由于较低图像质量参数被置于渲染的控制下而进行渲染。

为检测指示用户正在慢慢地(例如，在静止和快速之间，但是具有可测量移动分量)改变他的视野的用户运动，可调整渲染图像质量参数以实现渲染速度和渲染质量之间的更大平衡。

用户运动进行检测并应用到移动模型，以便于预测在下一次检查用户运动时(例如，每一帧、以比每一帧更高的频率，或在数个帧之后)可检测到什么。此技术的目标是确定可最佳递送渲染速度和渲染质量的所要平衡的渲染类型。用户移动模型例如可基于对人类如何移动的理解，其可促进预测下一次检测到的用户移动的各方面。作为一实例，用户头部的自然移动可进行建模，以使得当用户在第一方向上缓慢移动他的头部时，模型表明用户头部将在相同方向上继续或停止，但是不太可能立即在不同方向上快速移动。使用用户呈现自然头部移动的可能性可有利于权衡高质量或高表现的渲染。本文中的实例将移动模型称为人体移动模型，以(例如)消除由戴着虚拟或扩增现实眼镜的用户的头部和或身体移动所产生的伪影。然而，因为虚拟和/或扩增现实的应用可能并不只限于人类，所以在实施例中，移动模型不限于人体移动。作为一实例，用于虚拟和扩增现实的直接体渲染的方法和系统可易于应用到供动物使用虚拟现实。另外，用户可位于相对于虚拟现实环境移动的物体上，例如车辆、马、船、星球——基本上任何可移动的物体。因此，此类移动模型可对动物、植物、车辆、通常的移动物体、星球、光等等的移动进行建模。移动模型可考虑一系列可影响移动的要素，例如重力、风力、磁力、惯性等等。

用户运动可用方向向量、定向变化率、一些加权因数等等体现。作为一实例，用户在一个帧呈现快速移动而在下一帧没有移动可能并不常见/不自然。因此，对下一次检测到的用户移动将为完全无移动进行加权的权重可能低于下一次检测到的用户移动为用户头部减速移动。可通过确定当前用户移动方向向量并应用基于自然人体移动的权重来预测用户的移动。接着可使用此预测来调整渲染(例如，通过改变渲染算法的渲染参数)。

用于处理、产生移动向量、预测用户移动并对用户移动做出反应的算法可包含多个参数、权重等等，它们可得到渲染下一图像场景的时间。在实例中，此类算法可包含线性近似。

检测到的移动数据用于计算用户移动的速度和主要移动方向。两种类型的信息都应考虑。举例来说，相比于前向移动，侧向移动和旋转对用户产生动晕症的可能性的影响更大。快速和缓慢移动同样如此。因此，移动的方向和加速度两者都有助于计算表现和质量之间的目标权重。这可表示为在[0……1]范围内的模糊值。此算法可概括如下：(i)当用户静止站立或移动加速度处于某一范围内时，权重很大程度上偏向提供最高质量，(ii)当移动变得更快时，随着时间推移，表现的权重越来越大，并因此导致渲染质量设置减小，(iii)当快速移动时，主要是表现，以使得权重很大程度上偏重表现。这些权重当中的阈值可取决于用户可配置设置。这三个示范性权重之间的关系可为线性的。然而，优选地，不同种类的移动可进行独立加权。当确定渲染质量/表现权重时，这可准许偏重某一特定移动模式(例如，旋转或侧向移动)。

基于用户移动向量的渲染和其改变可进行调整以偏重质量、表现或尝试实现平衡。当没有检测到运动时，在渲染操作中几乎可以不用考虑表现。当检测到快速移动，具体地说，加速移动时，在渲染操作中几乎可以不用考虑质量。通过保持追踪每一帧的渲染工作，也许可以有助于更好的预测用户移动向量的改变。作为一实例，如果若干个帧的渲染工作量很大(例如，连续帧包括显著不同的数据)，那么这可表明快速或加速用户移动。如果渲染工作量很小(例如，在依序帧中渲染许多相同数据)，那么这可表明极少或无用户移动。

追踪每一帧的工作量还可降低图像质量渲染中的硬切换的可能性。一种技术可包含对多个依序帧的渲染工作量(例如，与渲染场景相关联的时间或帧的数目)进行积分，以使得渲染质量参数的显著改变可以稍微缓解，从而提供更好的虚拟现实体验。求平均是本文中可使用的一种可能的积分函数。渲染工作量可在其内进行求平均的帧的数目可进一步取决于用户移动向量的改变。快速加速度可减少求平均的帧的数目，使得在检测到用户快速运动时，集中于高质量的最近经渲染帧不会有效减缓渲染表现。同样地，如果检测到的用户运动指示用户突然停止他的运动，那么(例如，在用户快速移动期间)集中于低质量的最近经渲染帧可从渲染工作量求平均函数中移除，以有效地且更快速地实现高图像质量。渲染工作量可与用户移动速度和用户移动加速度组合以产生用于要渲染的下一帧的渲染质量设置。

确保快速质量改变不会呈现给用户的另一技术包含动态帧补偿，其需要相对于质量权重和当前质量设置，调整用于累积的帧的数目。在一个示范性实施方案中，帧的数目和质量权重之间可存在简单的线性关系。在另一示范性实施方案中，最高质量模式可使用用户定义的数个帧以相对于当前质量权重减少数目。在又一示范性实施方案中，当请求高表现时，可停用动态帧补偿。

渲染设置可包含预定义设置列表。设置可选择成有助于平滑质量切换。一个方法可为依序切换质量设置以提供平滑过渡。在一个示范性实施方案中，图像分辨率和光线样本的数目可进行调整。可自动产生基于这一依序调整的设置列表，如下：(i)连续减少光线样本的数目到一定程度；(ii)在一定程度上(一次)减少像素的数目；(iii)从(i)起始并重复。在实例中，初始设置可为最高质量设置(例如，虚拟现实装置显示器的图像分辨率)以及用户定义的光线样本数量。每体素初始光线样本数量小于或等于1将潜在地提供最佳可能质量。

准许光线样本、图像分辨率和迭代次数的减小因数由用户定义可为有利的。另外，针对不同种类的计算机和VR装置具有不同预定义设置可为有利的。

与虚拟现实中的体渲染相关联的方法和系统可促进在一系列虚拟现实装置中使用体渲染。一些类型的实例以各个种商品名命名，包含OCULUS RIFT、索尼PROJECTMORPHEUS、HTC VIVE、VALVE STEAM、HOLOLENS等等。然而，任何其它类型的虚拟或增强现实装置中的基于体素的图像数据的用户体验可通过使用直接体渲染来增强。通过应用本文中所描述的用于使用体渲染渲染图像的方法和系统的至少一部分，这些和其它虚拟现实装置可获得经体渲染图像的益处。

参考图1，图示了使用现有技术水平的虚拟现实装置进行体渲染的帧速率表现。此数据表示在飞行期间通过神经元数据资源经渲染的每秒帧数，所述神经元数据资源已经在高质量渲染设置下二次采样到大致4GB的体素数据(1300³个体素)。实现至少60Hz的渲染帧速率无法利用使用当前技术的虚拟现实硬件的常规体渲染方法实现。在此情形中，实现最小60Hz的持续帧渲染速率将需要以比最新的高端GPU至少快5倍的速度渲染图形的图形处理。因此，在虚拟现实中应用本文中所描述的体渲染的方法和系统使得虚拟现实硬件表现具有显著改进，同时维持了合乎需要的虚拟现实环境运行。

参考图2，描绘了虚拟现实中的体渲染的方法和系统的框图。虚拟现实数据202可进行处理以产生预计算空白空间加速器结构204。此结构204连同由场景选择器从虚拟现实数据202中选择的场景数据208可由体渲染设备210处理。所选择的场景数据208可基于用户视角数据而选择，所述用户视角数据可利用用户追踪设备212和/或移动控制器数据设备收集。移动预测设备214可接收用户移动数据并参照自然移动模型216以产生一系列用户移动数据，包含用户移动向量、用户移动方向、速度、加速度等等。移动预测设备214可向体渲染设备210提供输入。每一帧的渲染工作量可通过帧工作量计算设备218测量。此设备218可处理一系列帧渲染工作量测量值，以向体渲染设备210提供多个帧渲染工作量的积分。用户移动数据和经积分帧渲染工作量数据可进行组合(例如，在体渲染设备210中)以产生下一帧质量控制参数集。这些参数可至少部分地确定待体渲染的下一帧的质量。另外，图像过滤设备220可处理经体渲染图像以减少可损害图像质量的噪声或其它伪影。

参考描绘虚拟现实中的表面渲染和体渲染的图3，要素302描绘三维神经元数据集的表面渲染。自动分段的神经元的这一表面渲染是从由ZEISS Lightsheet.Z1记录并使用LUMOS以光学方式清除的基础体数据开始。要素304将相同的基础体数据集描绘为经直接体渲染的要素302。数据的不同方面用色彩或阴影方案突出。相比于302中的不透明神经元，半透明表面使得能够“看到神经元内部”。

直接体渲染的改进可通过如本文中所描述的自适应蒙特卡洛积分来实现。一开始，考虑基于蒙特卡洛积分而使体数据显像。使体数据显像可表达为对图像像素的积分。像素的值表示透射穿过体到眼睛中的光能。在透射期间，光被(a)吸收及(b)散射。蒙特卡洛渲染通过投射穿过体的视线(光线行进)来对此积分进行求解。光线被划分成等距步长，从而产生一系列样本点。对于每一样本点，估计入射光并计算入射光中有多少沿着光线传输到这只眼睛中。多个图像进行组合以减少由于随机变化而出现的噪声。所支持的光效仅取决于所实施的光照模型的复杂度。然而，这一方法并不会加速显像过程。此外，为了支持阴影，需要在每一样本点处估计阴影。实时或交互表现可能难以实现。

尤其是对于体渲染，替代性蒙特卡洛算法可基于Woodcock追踪。Woodcock追踪传播穿过具有随机步长的体并确定单个散射点。体的细节随着时间推移通过组合多个遍次进行重构，以实现与常用蒙特卡洛渲染相同的视觉质量。然而，对于复杂光照的计算减少到单个点。

随着时间推移的积分(累积多个渲染遍次的结果)可以交互方式完成。直接结果可显示给用户。这使得能够利用复杂的光照模型和适用于实时虚拟现实显像的全局照明效应实现高表现体显像。

本文中所描述的直接体渲染的方法和系统可包括含有传统和Woodcock追踪算法的复杂的光线投射框架(Raycasting framework)，所述算法支持：(i)不同光照模型(局部、相位、阴影、最大亮度等等)；(ii)复杂的相机特性(透镜、投影等等)；(iii)基于时间的积分的即时预览；以及(iv)基于追踪用户运动的质量控制。

使用眼镜的虚拟现实(virtual reality，VR)中的基础问题是仅一个人可以获得VR体验。对于如在空间VR环境(例如，VR洞穴)中可能的眼镜应用来说，并行用户的数目难以扩展。但是存在基于在相同虚拟地景中的并行用户的想法的若干种VR应用，例如教育、训练、某一环境中的带导向游览。

虚拟现实的直接体渲染的方法和系统可进一步包括被配置成用于协同虚拟现实的系统。此类系统可包含通过高速网络连接的工作站，数据通过所述高速网络传递以有助于自适应同步协议。系统的其它方面包含与工作站通信的虚拟现实眼镜。

本文中所描述的方法和系统通过自适应场景共享协议实现并行用户。系统包括数个工作站和眼镜。工作站通过快速网络连接，所述快速网络受在所有用户之间使若干个参数同步的网络协议控制。此网络同步协议的要素包含当前数据集、显像参数、虚拟空间中每个人的位置和视见体、当前显示模式、用户的角色和可视性等等。任选地，参数和/或数据可通过网络同步。可能不需要一直使这两者同步。

两种示范性同步模式包含自由模式和虚拟课堂模式。自由模式涉及每一用户独立地移动并控制他的/她的虚拟形象的可视性。虚拟形象(可见或不可见)提供用户的位置以及他的/她的视图向量。

用户可决定“跟随”另一用户(例如，领导者)。在跟随领导者情形中，领导者控制跟随用户的位置，但是他们可以自由环顾周围。跟随用户的虚拟形象是不可见的。当跟随用户可以看到领导者的视图向量时，它还可跟随他的视图。可替代地，视图参考点是根据领导者视图而估计，并呈现为跟随者视图中的特别提示。

虚拟课堂模式可包括一个呈现者和多个观众。在此情形中，呈现者可完整控制环境，并且观众的自由度可取决于呈现模式。确切地说，如果呈现模式是自由模式，那么观众可在环境中自由移动(这类似于上文所描述的自由模式)。如果呈现模式是跟随模式，那么观众限于跟随呈现者穿过环境的路径，但是他们可以自由环顾周围。

在虚拟课堂模式中，呈现者可标记令人感兴趣的细节、记录穿过环境的路径和环境变化、向观众提供令人感兴趣的事物的指示、提供带导向游览。另外，呈现者角色可通过(例如)呈现者令牌交换而转移给观众。

直接体渲染的方法和系统有助于基于大数据集的协同虚拟现实，而不需要使工作站当中的完整的数据集自身同步。数据集的各部分可安装在每一工作站上或者可通过快速中心存储装置存取，所以每一工作站可通过存储装置存取相同数据集，同时维持可接受水平的虚拟现实直接体渲染。

需要通过自然环境中不是必需的技术解决科学显像中(例如，人体结构内)的定向，例如飞行、游泳等等。用于建立用户位置的技术可包含依赖于剖视图、鸟瞰图、包含具有标记剖视图的饼状切面透明体的概貌图等等，以及视锥体的显像。用于建立用户观看历史的技术可包含面包屑导航、手动设置道路点、支持沿着此路径往返移动的动画化路径记录等等。用于确定通过体的道路的技术可包含在进入体之前手动设置关注点、半自动化关注点设置、基于手动设置点的自动关注点设置和机器学习。动画可用于维持用户心理地图。

虚拟现实的直接体渲染的方法和系统可应用于一系列环境和市场，包含：地理信息，例如天气、保险评估、综合研究等等；油气储量勘测；材料科学、汽车产品、用于例如研究、质量控制、生物医学成像、材料鉴别等活动的半导体；用于例如空间勘测、累积平铺和绘图、多模态数据集、深度空间追踪等活动的天体物理学；保健；教育；训练；用于例如手术显微镜检查、诊断成像相关显微镜检查、疾病监测、神经元分段、精准施药、RNA排序等活动的病患护理；用于例如临床试验、图像数据管理、远程图像分析等任务的远程医疗；用于例如直接病患护理、制药、生物技术和农业技术研究、细胞生物学、个体化用药等项目的生命科学。

如图5中所描绘，图像分析平台可提供柔性图像处理、管理、显像、分析和结果分布。图像分析平台500可由处理图像数据且具有至少两个计算构件——工作站502和服务器——的以下若干个模块组成：(i)模块化桌面解决方案522，其用于导入、探索和显像来自不同来源的图像数据；(ii)管道配置模块518(也称为分析模块)，其与模块化桌面解决方案一起使用以交互式地创建图像分析工作流，例如图像分析操作的管道521；(iii)自动化管道执行模块514(也称为批处理模块)，其适用于通过桌面解决方案522供用户504使用以自动处理一个或多个经配置管道中的数个数据集或关注区域；(iv)无头式独立服务程序(也称为分析服务器)510，其用于在可通过HTTP/REST接口等远程控制的服务器上处理数据集上的经配置分析管道521；以及(v)基于web的模块化框架(也称为web视图)512，其用于管理图像数据且含有控制分析服务器的模块。数据存储特征可包含本地工作站存储装置520和网络可存取的图像存储装置508。

图像分析平台组合这些模块以便能够提供完整的基于图像的工作流探索、定义和执行环境，用于从单个用户探索和分析单个数据集到具有大量用户和若干个高含量工作流的大型机构或公司在每年或以更少时间产生具有拍字节的数据的数千个数据集的任何水平的可扩展性。

所述平台还可为通过促进利用一组共同的图像分析操作对从极大数据库中的少量数据一直到完整数据库进行操作来实现高度可扩展的图像分析的媒介。图像分析过程可起始于工作站，在其中发现数据，分析操作在所述数据的子集上测试并细化，分析函数管道进行定义和配置，并且提供控件以对云和基于服务器的其它资源执行分析，所述云和基于服务器的其它资源一般具有比工作站多的处理和数据存储资源。

用户可起始于数据集的一小部分，以执行参数化并测试分析，例如在用户的工作站上。在工作站上针对数据集配置和执行的分析操作的管道可由服务器对一个或多个数据集执行。多个数据集可包含大型数据集的各个部分或不同数据集。所述平台便于存取可扩展的客户端服务器的基于云的资源，以使用多个处理器对多个数据集执行经测试的分析操作管道。这可产生通过web视图接口可进行存取、累积、进一步分析(例如，以统计方式等)的许多结果，所述网络视图接口将工作站用作存取服务器以执行统计分析的客户端。

在图像分析管道的实例中，此类管道可为执行不同分析角色的分析组件(例如，运算)的流，包含：

a.图像过滤器——用于突出特别特征、移除伪影或为后续步骤准备数据的图像修改

b.分段器——从图像数据创建结构化对象

c.分段操作——通过对象的特征将它们过滤为对象体或其相对于其它对象的邻域，从而创建联合对象作为轨迹(track)或长丝(filament)

d.联合对象操作——通过特征来过滤联合对象

e.导出操作——将结果写到文件或数据库中

管道可存储为XML片段，所述XML片段含有存储运算以及它们全部参数和设置所需的所有信息。因此，管道可在平台的不同尺度实现之间传输，例如通过利用一个组件将XML写到文件中并利用另一组件读取它，或通过借助所定义接口(例如，HTTP/REST)传递XML。

所有管道操作的平台模块，包含分析模块、批处理模块、分析服务器，可使用相同后端代码来处理管道描述。这确保分析结果将始终相同，而与处理管道运算的模块无关。

管道可通过编写XML描述(自动化工作流创建)的专用程序或通过使用管道模块的用户创建。图4中所描绘的管道模块用户接口含有用于可用运算和管道创建区域的目录。简单地通过从目录中选择运算、将运算拖动到创建区域并按适当顺序结束它们来创建管道。

如图4中所示，运算可确定它们检索的数据。因此，样本管道中的对象过滤操作“经过滤红色对象”从分段操作“红色对象”获得它的数据。尽管用户接口可限于创建单个数据流(例如，严格按照自上向下来处理运算)，但是分析自身由于源-目的地数据流而相当具有柔性。管道中的运算可容易地且交互式地进行参数化。这意味着修改参数会直接影响数据。可提供向导状接口，以便其成为分析管道用户接口的前端，使得作为响应于某些问题的用户类型，向导自动产生分析操作管道作为XML文件。

图像分析过程的目标是从图像数据创建结构化数据。一般来说，这可通过分段来实现。分段限定图像的各部分并向这些区域应用特别语义。分析管道将这些区域称为对象。通过例如分段(Segment)、追踪(Track)或跟踪操作(Filament)创建的对象指派有数个特征。举例来说，Segment具有体积、面积和平均亮度。Track包括时域中的片段集合，并且因此具有长度或速度。

通过创建对象并指派特征值，原始图像数据集产生结构。对象可进行大小比较，邻域可进行限定，对象数据可易于存储在数据库中并且可向其应用统计方法。因此，大多数分析工作流创建了数个(大量)对象。平台含有用于评估、比较、分组和分析它们的工具。

以下是用于可扩展分析管道应用的若干种情形。

在本地关注区域上创建管道

基础管道可使用模块化桌面解决方案和分析模块交互式地创建。创建分析管道可涉及迭代程序，且分析模块提供工具以支持此程序。管道的第一步骤可包含选择用于交互程序的关注区域(Region of Interest，RoI)。用户可尝试不同RoI和分析操作来找到合适的运算和参数的组合。他可在两个方向上逐步通过管道。分析模块的接口可支持简单地通过点击两个运算来比较它们的输出。图像过滤操作含有用于参数修改的即时反馈的预览模式。用户甚至可使用Matlab、Python运算等等来整合他自己的算法。最后，用户可将管道存储为XML文件，因此这一步骤的结果是分析程序的定义。

在数据集上运行管道

在创建管道之后，用户可在他的工作站上的整个数据集上运行管道。为了运行管道，它必须进行加载，且用户必须点击“运行”按钮。现在执行完整工作流，结果存储在数据集文件中。所有运算支持在CPU水平上并行操作，因此工作站能力被最大化地利用。这一步骤的结果是针对一个工作站上的一个数据集的数个结果。

在数个数据集上运行管道

在大多数应用中，将需要在数个数据集上应用相同分析。进行此操作的一个方法是使用批处理模块。此处，用户可选择管道和数个数据集或数据集中的RoI。他可以将若干个参数设置为结果存储等。所有数据集的分析连续运行，每一数据集分析在上文所描述的数据集上运行管道时并行操作。这一步骤的结果是单个工作站上的数个所分析数据集。

在数个数据集上运行若干个管道

对于用户群来说，使用强有力的服务器环境同时分析若干个数据集是至关重要的。针对此应用，预期分析服务器模块。数个分析服务器例项可在服务器系统上并行起始。这些运行例项等待调用用于接触它们和传递在数据集上运行管道所需的参数的程序。外部系统可通过简单的HTTP/REST接口传递管道描述和数据集参考。每一分析服务器程序含有内置调度，因此即使是大量分析请求也以有目的的顺序处理。分析结果存储在对应于数据集的文件中。

综合管理和分析环境

特大用户群需要图像存储和管理系统，以便以一种结构化方式存储图像数据集。这包含基于角色的权限管理、对分布式存储以及数据分布和共享的支持。web视图模块是一种有助于创建结构化图像管理的模块化工具包。用户可将数据集上传和寄存到系统中，数据可通过任何web浏览器进行管理、显现和标注。

一个基础web视图特征是图像分析。web视图可管理和控制数个分析服务器例项。除图像数据之外，系统管理分析管道和用户还可通过简单的web接口在数个数据集上应用数个管道。web视图将替代原始存储操作，以便将所有结构化数据存储到一个数据库中。因此，用户可直接在web浏览器中观察到对象，以及获得统计数据和结果数据。

公开数据集和远程SIS

模块桌面解决方案和相关联的web视图模块可能不是独立的模块，而是可以形成有力的联合基础设施。因此，在工作站上本地使用和存储在工作站可存取的中心存储装置上的任何数据集可寄存在web视图模块中。为了这样做，在web视图模块中可存在“寄存数据集”功能，且在模块桌面解决方案中存在“向web视图公开”功能。

可由web视图模块存取的任何数据集可供本地模块化桌面解决方案例项使用。为了这样做，web视图模块数据集描述含有链接。这一链接可通过远程协议(例如，远程SIS)创建在本地安装的模块化桌面解决方案例项并打开数据集。当然，所有用户权限都会被遵守。

上述的远程SIS协议是web视图模块数据存取协议以及利用图像金字塔数据结构存储方法的高速缓存算法的混合物。如果在本地操作的模块化桌面解决方案例项请求数据集的部分，那么所述请求被转译成适当的web视图模块数据请求。这可导致接收具有所请求的图像数据的图块。这些图块被传递到模块化桌面例项，以及高速缓存在受高速缓存控制器控制的本地SIS高速缓存文件中。高速缓存控制器了解在哪一缩放水平的数据集的哪些部分和体素已经进行高速缓存。因此，对于下一请求，高速缓存控制器将从本地SIS高速缓存文件读取高速缓存的数据，并且仅传递这一请求中缺失的部分。随着时间推移，数据集中越来越多的部分被高速缓存。

平台向用户提供柔性以选择最佳符合他的需要的操作模式：为了与数据交互合作，他可在本地文件上或通过远程SIS利用高速缓存使用模块化桌面解决方案例项。为了分析大量图像，他可以轻易地使用web视图模块在远程服务器系统上处理数据。

高速缓存方法支持在不同层上存储图像的不同分辨率的数据的金字塔图像数据结构化。在实例中，可存储像素的4x4方块，以使得4个像素中的3个存储在第一层中，且第4个像素存储在数据集的第二层中。读取数据集可起始于最小缩放级别，并且持续存取额外分辨率层，直到检索到满足特定分辨率要求所需要的所有像素为止。在实例中，如果请求是显示表示10000x10000图像的100x100图像(或10％分辨率)，那么图像核心与高速缓存控制器合作以确定所请求的分辨率特定像素是否可用。给定低分辨率要求，大部分(如果不是全部)所需像素都可在本地进行高速缓存。控制器可通过远程SIS请求任何缺失的像素。

然而，为了展示完整数据集的小部分的100x100完整分辨率，除非已经在完整分辨率下检索到100x100个对象，否则高速缓存控制器可通过向服务器发送针对数据的远程SIS请求来请求数据，服务器传递数据并将其存储在本地。

在远程和桌面环境中与分析结果合作

在通过服务器处理分析之后，可使用web视图模块工具检视结果。作为一实例，数据集可连同结果对象一起显现为覆层。在另一实例中，对象可在具有特征值的表格视图中列出，且统计数据可在表格或图中显现。

结果还可导入到在本地具现化的模块化桌面解决方案中。web视图服务可将分析结果和相关对象导出到本地工作站，其中模块化桌面解决方案可针对适当的数据集将它们导入。可替代地，结果和数据集可从分析服务器通过远程连接加载，例如通过远程SIS。

在获得数据集和分析结果之后，用户能够执行质量检视和控制步骤或使用现有分析结果作为复杂分析步骤的基础。

为了维持易用性，平台可将用户限制成配置和限定单一管道，从而避免需要配置支持数据流的分裂和重新连接的管道的复杂情况。平台可促进单独地存储每一运算的数据和参数，以允许通过将分析管道显示为一组运算的用户接口中的单击能够对每一运算进行读访问。通过点击任何运算，用户可以看见所选择的运算的输出。这允许用户能够有效地向前和向后查看运算的管道，同时始终显示有效结果。在实施例中，此模块化操作是图像和对象(图像子集)两者控制分析操作的结果。对于图像控制，图像处理核心可在单个数据集例项内处理不同形式的数据集。因此，平台支持在单个数据集中存储原始源数据和经修改图像。对于对象控制，本文中被称为对象的图像子集是由分段程序限定的关注区域。这些对象可在数据库中限定，且可在管道操作期间标记，我们保留保持这些对象。例如过滤操作的管道操作使用这些标记来确定存取哪些对象。为了有效地向后移动到先前的分析操作步骤，指示对象已经通过中间步骤处理的标记可被移除。在实例中，标记可指代存储在数据集中的不同形式的图像数据。

处理较大图像数据集的图像分析工作流或分析管道可能需要较长的时间(例如，每一数据集几个小时)来进行处理。在工作站环境以及服务器环境中存在若干种情形，其中可能需要中断工作流并稍后在相同位置或不同的前面的位置上继续进心工作流。在中断分析工作流的实例中，如果装置需要用于其它目的或分析程序可重新调度到使用更少的时间(例如，在夜间)，那么工作站的管道可中断。在服务器场景中，服务器上的任务调度器应该能够决定中断管道，例如由于定量参数，诸如其它分析程序的更好并行化或更高优先级。

另外，中断分析管道可在两种不同的情形中发生：(i)两个操作之间，以及(ii)在一个操作内部。对于情形(i)，因为分析管道由数个独立操作构成，通过中断命令，分析管道模块在单独的存储装置(例如，中间存储装置)中存储临时图像数据以及当前对象数据。中断管道可存储在全局列表中。如果中断管道继续，那么中间存储装置可再次进行存取，并且过程继续进行到下一操作。对于情形(ii)，使用多线程环境有助于操作内中断，因为个别线程是可以感知中断的。因此，每一操作都可被中断。取决于被中断的操作，恢复在先前操作之后的状态或操作可存储中间状态。后一种技术可针对需要处理资源的操作实施，例如超过资源消耗阈值的计算循环和内存。因此，在处理资源方面昂贵的操作可通过标准线程起始/重新起始技术恢复。

在服务器环境或至少在具有调度器的环境中，调度器可监测用于经调度的每一分析管道和全局环境的数个参数。每一管道可被给定优先级和资源负载/成本值以供计算和数据传输。因此，调度器能够优化若干个管道的并行操作。此外，调度器可控制对管道执行的中断和推迟。如果中间存储增长，例如，由于中断，那么调度器可增加中断管道的等级来实现不同参数的最佳权衡。

可扩展图像分析平台可包含通过限定和选择二维、三维或更高维度的数据来实现有效运算的特征。一个此类特征包括可直接构建到工作流分析操作中的数据存储和存取特征。对于三维分析操作，可以使用分析要求，例如待分析区域的大小，来确定从图像存储装置存取的最佳三维程序块(brick)大小，从而减少填入待分析区域所需的存取请求的数目。

本文中所描述的方法和系统可部分地或完全地通过在处理器上执行计算机软件、程序代码和/或指令的机器部署。处理器可为服务器、客户端、网络基础设施、移动计算平台、静止计算平台或其它计算平台的部分。处理器可为任何种类的能够执行程序指令、代码、二进制指令等的计算或处理装置。处理器可以是或包含信号处理器、数字处理器、嵌入式处理器、微处理器或可直接或间接促进执行存储在其上的程序代码或程序指令的任何变化形式，例如协处理器(数学协处理器、图形协处理器、通信协处理器等等)等等。此外，处理器可使得多个程序、线程和代码能够执行。线程可同时执行，以加强处理器的性能且便于应用程序的同时运行。借助于实施方案，本文中所描述的方法、程序代码、程序指令等等可实施在一个或多个线程中。线程可引发其它线程，所述其它线程可能已被指派与它们相关联的优先级；处理器可基于优先级或基于在程序代码中提供的指令以任一其它顺序执行这些线程。处理器可包含存储如本文和其它地方所描述的方法、代码、指令和程序的存储器。处理器可通过接口存取可存储如本文和其它地方所描述的方法、代码和指令的存储媒体。与处理器相关联的用于存储方法、程序、代码、程序指令或能够被计算或处理装置执行的其它类型的指令的存储媒体可包含但可以不限于CD-ROM、DVD、存储器、硬盘、快闪驱动器、RAM、ROM、高速缓存器等等中的一个或多个。

处理器可包含可改善多处理器的速度和性能的一个或多个核心。在实施例中，程序可为双核处理器、四核处理器、组合两个或更多个独立核心(被称作裸片)的其它芯片级多处理器等等。

本文中所描述的方法和系统可部分地或完全地通过在服务器、客户端、防火墙、网关、集线器、路由器或其它此类计算机和/或联网硬件上执行计算机软件的机器。软件程序可与服务器相关联，所述服务器可包含文件服务器、打印服务器、域服务器、因特网服务器、内联网服务器和其它变化形式，例如辅助服务器、主机服务器、分布式服务器等等。服务器可包含以下中的一个或多个：存储器、处理器、计算机可读媒体、存储媒体、端口(物理和虚拟)、通信装置和能够通过有线或无线媒体存取其它服务器、客户端、机器和装置的接口等等。如本文和其它地方所描述的方法、程序或代码可由服务器执行。此外，执行如本申请中所描述的方法所需的其它装置可被视为与服务器相关联的基础设施的部分。

服务器可向其它装置提供接口，所述其它装置包含但不限于客户端、其它服务器、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器等等。另外，此耦接和/或连接可促进通过网络远程执行程序。这些装置中的一些或全部的联网可促进在一个或多个位置处并行处理程序或方法，同时不偏离本发明的范围。此外，通过接口附接到服务器上的所有装置可包含能够存储方法、程序、代码和/或指令的至少一个存储媒体。中心存储库可提供将在不同装置上执行的程序指令。在此实施方案中，远程存储库可充当程序代码、指令和程序的存储媒体。

软件程序可与客户端相关联，所述客户端可包含文件客户端、打印客户端、域客户端、因特网客户端、内联网客户端和其它变化形式，例如辅助客户端、主机客户端、分布式客户端等等。客户端可包含以下中的一个或多个：存储器、处理器、计算机可读媒体、存储媒体、端口(物理和虚拟)、通信装置和能够通过有线或无线媒体存取其它客户端、服务器、机器和装置的接口等等。如本文和其它地方所描述的方法、程序或代码可由客户端执行。此外，执行如本申请中所描述的方法所需的其它装置可被视为与客户端相关联的基础设施的部分。

客户端可向其它装置提供接口，所述其它装置包含但不限于服务器、其它客户端、打印机、数据库服务器、打印服务器、文件服务器、通信服务器、分布式服务器等等。另外，此耦接和/或连接可促进通过网络远程执行程序。这些装置中的一些或全部的联网可促进在一个或多个位置处并行处理程序或方法，同时不偏离本发明的范围。此外，通过接口附接到客户端上的所有装置可包含能够存储方法、程序、应用程序、代码和/或指令的至少一个存储媒体。中心存储库可提供将在不同装置上执行的程序指令。在此实施方案中，远程存储库可充当程序代码、指令和程序的存储媒体。

本文中所描述的方法和系统可部分地或完全地通过网络基础架构部署。网络基础设施可包含例如计算装置、服务器、路由器、集线器、防火墙、客户端、个人计算机、通信装置、路由装置和如所属领域中已知的其它有源和无源装置、模块和/或组件的要素。与网络基础设施相关联的计算和/或非计算装置可包含例如快闪存储器、缓冲器、堆栈、RAM、ROM等等存储媒体，以及其它组件。本文和其它地方所描述的过程、方法、程序代码、指令可由网络基础设施要素中的一个或多个执行。

本文和其它地方所描述的方法、程序代码和指令可实施在具有多个小区的蜂窝式网络上。蜂窝式网络可为频分多址(frequency division multiple access，FDMA)网络或码分多址(code division multiple access，CDMA)网络。蜂窝式网络可包含移动装置、小区站点、基站、转发器、天线、塔等等。

本文和其它地方所描述的方法、程序代码和指令可实施在移动装置上或通过移动装置实施。移动装置可包含导航装置、蜂窝电话、移动电话、移动个人数字助理、笔记本电脑、掌上电脑、上网本、寻呼机、电子书阅读器、音乐播放器等等。这些装置可包含例如快闪存储器、缓冲器、RAM、ROM和一个或多个计算装置的存储媒体，以及其它组件。与移动装置相关联的计算装置可启用以执行存储在其上的程序代码、方法和指令。可替代地，移动装置可被配置成与其它装置协作来执行指令。移动装置可与和服务器介接的基站通信且配置成执行程序代码。移动装置可在对等网络、网状网络或其它通信网络上进行通信。程序代码可存储在与服务器相关联的存储媒体上且由嵌入于服务器内的计算装置执行。基站可包含计算装置和存储媒体。存储装置可存储由与基站相关联的计算装置执行的程序代码和指令。

计算机软件、程序代码和/或指令可存储在机器可读媒体上和/或通过机器可读媒体存取，所述机器可读媒体可包含：计算机组件、装置和保留用于在某一时间间隔内计算的数字数据的记录媒体；被称为随机存取存储器(random access memory，RAM)的半导体存储装置；通常用于更持久的存储的大容量存储装置，例如光碟、磁存储形式，如硬盘、磁带、磁鼓、磁卡和其它类型；处理器寄存器、高速缓存存储器、易失性存储器、非易失性存储器；光学存储装置，例如CD、DVD；可装卸媒体，例如快闪存储器(例如，USB棒或密钥)、软盘、磁带、纸带、打孔卡、独立RAM盘、极碟驱动器(Zip drive)、可装卸大容量存储装置、离线等等；其它计算机存储器，例如动态存储器、静态存储器、读取/写入存储装置、可变存储装置、仅读、随机存取、依序存取、位置可定址、文件可定址、内容可定址、网络连接存储、存储区域网络、条形码、磁性墨水等等。

本文中所描述的方法和系统可将有形和/或无形项目从一种状态转换成另一状态。本文中所描述的方法和系统还可将表示有形和/或无形项目的数据从一种状态转换到另一状态。

在所有图中的流程图和框图中包含的本文中描述和描绘的要素表明这些要素之间的逻辑边界。然而，根据软件或硬件工程惯例，所描绘的要素和其功能可通过计算机可执行媒体实施在机器上，所述计算机可执行媒体具有能够执行作为整体软件结构、独立软件模块或采用外部例程、代码、服务等等或这些的任何组合的模块存储在其上的程序指令的处理器，并且所有此类实施方案可在本发明的范围内。此类机器的实例可包含但可以不限于，个人数字助理、笔记本电脑、个人计算机、移动电话、其它手持型计算装置、医疗设备、有线或无线通信装置、传感器、芯片、计算器、卫星、平板电脑、电子书、小器件(gadget)、电子装置、具有人工智能的装置、计算装置、联网设备、服务器、路由器等等。此外，流程图和框图中描绘的要素或任何其它逻辑组件可实施在能够执行程序指令的机器上。因此，尽管前述附图和描述阐述了所公开的系统的功能方面，但是不应根据这些描述推断用于实施这些功能方面的软件的特定布置，除非明确陈述或以其它方式根据上下文清楚的。类似地，应了解，上文识别和描述的各个步骤可发生变化，且步骤顺序可被调适成用于本文所公开的技术的特定应用。所有此类变化和修改也既定处于本公开的范围内。因而，以某一顺序对各个步骤的描绘和/或描述不应理解为需要以特定顺序执行那些步骤，除非特定应用需要那样，或者经明确陈述或以其它方式根据上下文清楚的。

上文所描述的方法和/或过程和其步骤可用硬件、软件或适用于具体应用的硬件和软件的任何组合实现。硬件可包含通用计算机和/或专用计算装置或特定计算装置或特定计算装置的具体方面或组件。这些过程可在一个或多个微处理器、微控制器、嵌入式微控制器、可编程数字信号处理器或另一可编程装置以及内部和/或外部存储器中实现。或替代地，这些过程还可实施于专用集成电路、可编程门阵列、可编程阵列逻辑或任何其它装置或可被配置成处理电子信号的装置的组合中。另外应了解，这些过程中的一个或多个可被实现为能够在机器可读媒体上执行的计算机可执行代码。

计算机可执行代码可使用例如C的结构化编程语言、例如C++的面向对象的程序设计语言或任何其它高级或低级编程语言(包含集合语言、硬件描述语言和数据库编程语言和技术)创建，这些语言可进行存储、编译或解译以在上述装置以及处理器、处理器架构的异质组合或不同硬件和软件的组合或能够执行程序指令的任何其它机器中的一个上运行。

因此，一方面，上文所描述的每一方法及其组合可实施于在一个或多个计算装置上执行时执行其步骤的计算机可执行代码。另一方面，方法可实施于执行其步骤的系统，并且可通过数种方式分布在装置中，或者所有功能性可集成到专用独立装置或另一硬件中。另一方面，用于执行与上文所描述的过程相关联的步骤的构件可包含上文所描述的硬件和/或软件中的任一个。所有此类排列和组合既定处于本发明的范围内。

尽管本发明已经结合详细地展示和描述的优选实施例公开，但是所属领域的技术人员将很容易清楚其各种修改和改进。因此，本发明的精神和范围不受前述实例限制，而是应在法律允许的最广泛意义上理解。

Claims (5)

1.一种可扩展图像分析的方法，以自图像数据确定对象，包括：

在计算机可存取非暂时性存储器中将图像存储为多个图像分辨率数据集，其中所述图像存储为多个图像分辨率层，每一图像分辨率层对应于所述多个图像分辨率数据集中的一个且包括区域的图像数据的子集；

基于存储在图像分析描述文件中的用户指定的图像分析参数，确定第一分辨率和第一图像区域；

通过从所述多个图像分辨率层中的至少一个检索图像数据，检索表示所述第一分辨率的所述图像的所述第一图像区域的数据，并如果检索到多个图像分辨率层中的一个以上，组合从所述多个图像分辨率层中所检索的图像数据，以形成组合的第一图像区域图像数据，其中不同图像分辨率层的像素被组合起来，形成组合的第一图像区域图像数据，其中产生有界区域的完整分辨率表示需要组合多个图像分辨率层中的每一个的有界区域特定部分，其中完整分辨率的像素方块分布在不同的图像分辨率层上；

以及

通过在工作站上执行的分析模块、在服务器上执行且由所述工作站存取的批处理模块和在服务器上执行的分析服务器模块中的至少一个，产生表示经组合的第一图像区域图像数据的至少一个结构化数据集，其中产生至少一个结构化数据集包括分段、追踪和/或跟踪操作，以识别存储在所述至少一个结构化数据集中的对象；

其中所述分析模块、批处理模块和分析服务器模块中的至少一个基于所述图像分析描述文件而执行图像分析；

其中在工作站上执行的所述分析模块在所述第一分辨率下对所述第一图像区域执行分析，且所述批处理模块和所述分析服务器模块中的至少一个在第二分辨率下执行所述第一图像区域的分析，所述第二分辨率指示组合来自至少一个额外图像分辨率层的数据。

2.根据权利要求1所述的方法，其中所述分析模块在所述第一分辨率下对所述第一图像区域执行分析，且所述批处理模块和所述分析服务器模块中的至少一个对第二图像区域执行分析，所述第二图像区域包括包含所述第一图像区域加上至少一个邻近图像区域的图像的部分。

3.根据权利要求1所述的方法，其中利用所述分析服务器模块处理经组合的区域数据是响应于针对所述分析服务器模块的工作站独立执行的请求。

4.一种用于在多个分辨率下对图像的重叠部分执行图像分析的系统，以自图像数据确定对象，包括：

工作站，包括：

用户接口，其用于促进在计算机可存取数据文件中利用相关联的分析参数来配置一系列图像分析函数，所述分析参数至少包含所述图像的分析区域的描述和所述图像的分析分辨率；

图像存储接口，其用于从计算机可存取非暂时性存储器检索存储为多个图像分辨率数据集的图像，其中所述图像存储为多个图像分辨率层，每一图像分辨率层对应于所述多个图像分辨率数据集中的一个且包括所述图像数据的子集，其中所述图像是基于经配置的一系列图像分析函数中的至少一个而从所述多个图像分辨率层中的至少一个存取，且通过组合从所述多个图像分辨率层中的所述至少一个中的每一个所检索的数据而组合成分析区域，其中不同图像分辨率层的像素被组合起来，形成组合的图像数据，其中完整分辨率的像素方块分布在不同的图像分辨率层上；以及

图像分析模块，其用于通过基于所述相关联的分析参数执行所述一系列图像分析函数，产生表示经组合的图像数据的至少一个结构化数据集，其中产生至少一个结构化数据集包括分段、追踪和/或跟踪操作，以识别存储在所述至少一个结构化数据集中的对象；以及

服务器，包括：

到所述工作站的接口，通过此接口，所述一系列图像分析函数从所述工作站传送到所述服务器且结构化分析数据从所述服务器传送到所述工作站；

图像存储接口，其用于基于所述一系列图像分析函数和相关联的分析参数，从所述多个图像分辨率层检索图像数据，并用于将检索到的图像数据组合成单个图像文件；以及

图像分析模块，其用于通过基于所述相关联的分析参数执行所述一系列图像分析函数，产生表示经组合的图像数据的至少一个结构化数据集，其中产生至少一个结构化数据集包括分段、追踪和/或跟踪操作，以识别存储在所述至少一个结构化数据集中的对象；

其中工作站的图像分析模块在一第一分辨率下对组合的图像数据执行分析，且服务器中的图像分析模块在第二分辨率下对组合的图像数据执行分析，所述第二分辨率指示组合来自至少一个额外图像分辨率层的数据。

5.一种用于计算机存储器的数据存储和检索系统，包括：

用于根据图像数据特定结构配置所述存储器的构件，所述图像数据特定结构包含：

多个逻辑上不同且层级布置的层，其中每一层对应于与图像的不同分辨率对应的所述图像的有界区域的图像数据的不同子集，其中每一较低层级层含有的图像数据的分辨率，比较高层级层的图像数据的分辨率高，使得完整分辨率的像素方块分布在不同的图像分辨率层上，其中不同图像分辨率层的像素被组合起来，形成组合的第一图像区域图像数据，其中产生所述有界区域的完整分辨率表示需要组合所述图像数据特定结构中的所述多个逻辑上不同的层中的每一个的有界区域特定部分；

以及 用于存取存储在所述图像数据特定结构中的数据的构件。

Images