CN101159869A - 提供代表性图像信息 - Google Patents

Abstract

在交互式可视化系统中提供代表图像的信息包括从图像流中选择当前图像、评估可视化系统之内的上下文信息以及基于该上下文信息确定当前图像的代表性信息。

Description

提供代表性图像信息

相关申请的交叉引用

本申请要求于2006年10月13日申请的、序列号为60/829,406且标题为“Hierarchical Inter-frame Compression Systems and Methods for Remote InteractiveVisualization Services of 3D Medical Data”的美国临时专利申请和于2006年8月30日申请的、序列号为60/841,261且标题为“Inter-Frame Compression Methods AndSystems For Windowing And Leveling Operations In Client-Server Environment”的美国临时专利申请根据35 U.S.C.§119(e)主张的优先权的权益，这些临时专利申请的内容在此并入作为参考。

技术领域

本发明涉及图像的可视化，并且更特别地涉及图像信息的压缩。

背景技术

在各种技术领域中，例如，在医学和科学研究中以及在临床实践中，被测数据的适当视觉显示是必需的。通过可视化应用，例如通过体绘制应用，实现了将体数据可视化为二维图像。可视化应用可以是交互式的，也就是允许用户控制像视角和放大率那样的视图参数。此外，可以远程控制可视化应用。例如，可以在特别装备的绘制计算机上执行大量绘制计算，同时用户控制来自不同计算机的可视化。通常，分析和解释数据的质量取决于这样的可视化应用能如何有效地并以什么质量给用户提供所要求的图像信息。

医学应用例如处理通过计算机断层扫描、放射照相术、心血管造影术或外围血管造影术以及核磁共振成像所获得的体数据。在这样的应用中，医务人员与可视化应用相互作用来找到对象的最佳视图(多幅视图)用于分析。在这样的交互作用期间，绘制算法计算不同的视图。通常的绘制算法包括光线投射算法和光线跟踪算法。

在可视化应用中，所绘制的图像主要是三维体对象在视平面(或成像平面)上的投影。该投影可以是正交的、平行透视的或者透视的。绘制算法可以例如在单个工作站上或者在远程客户端-服务器系统或者对等系统之内运行。绘制系统的重要要求是允许尽可能接近实时地可视化三维数据的快速、高质量的可视化的高度可靠性。

在客户端-服务器环境中，超过10GB的大数量的三维数据使得复制数据和将数据传输给每个单独的用户不切实际。绘制应用的复杂度和性能要求也限制了在终端用户的机器上安装绘制工具。在这种情况下，用户可以发送请求来绘制数据集，该数据集被存储在远程绘制业务上，该绘制业务已经被特别设计来处理体可视化的复杂度和性能要求。在这样的客户端-服务器环境中，服务器响应于客户端请求而根据体数据绘制二维图像序列，并且然后通过通信网络将那些被绘制的图像发送给进行请求的客户端。客户端将那些图像呈现给用户，作为对应于用户的可视化请求的图像流。

远程可视化的业务质量要求短的等待时间。通常，客户端侧的接近零的等待时间对于有效的临床工作流是重要的。对于用户与所绘制的图像之间的实时交互作用，通过通信网络绘制和传输给客户端优选地应是快速的。交互式应用不仅优选服务器的高性能绘制，而且促使通过网络传输。当通信网络不能实现带宽需求时，例如，由于资源限制和网络通信量而不能实现带宽需求时，可以使用压缩技术来缓和带宽需求。

在视频压缩中，帧间冗余(也就是，一系列帧中为每个帧所共有的信息)对于有效压缩常常是很重要的。具体地，特别是当采样频率高时，许多压缩技术利用相邻帧之间的冗余。

但是，交互式可视化应用具有不同于大多数其它可视化应用的要求和特征。因为这些差别，客户端可能没有足够的计算能力来应用标准的视频压缩方法。因此，交互式可视化应用要求不同于现有的视频压缩技术的压缩结构、方法和系统。

发明内容

本发明部分基于以下事实，即在交互式压缩系统中，可以利用上下文信息来确定当前图像的哪一种代表性信息应被提供用于传输。

在一个方面，在交互式可视化系统中提供代表图像的信息包括从图像流中选择当前图像、评估可视化系统之内的上下文信息以及基于该上下文信息确定当前图像的代表性信息。

在另一方面，用于提供代表图像的信息的可视化系统包括用于根据三维数据绘制图像的绘制系统以及基于上下文敏感的(context-sensitive)信息提供对于所绘制的图像有代表性的图像信息的上下文敏感的压缩系统。

实施方式可以包括一个或者多个以下特征。从三维数据集中检索数据，该三维数据集代表了当前图像，并且当前图像基于检索到的数据被绘制。代表性图像信息被编码用于传输，并且已编码的代表性图像信息被传输到可视化系统的可视化单元。已编码的代表性图像信息被重建成被显示的重建图像。

上下文信息从由用户带来的(induced)可视化参数、可视化隐含参数、用户带来的系统参数以及系统隐含参数所组成的组中选择。

代表性图像信息被确定为由当前图像、当前图像的帧内缩小图像信息以及当前图像的上下文敏感的压缩过的图像信息构成的组中的一个。

代表性图像信息被确定为具有逼真度，该逼真度详细说明有损重建图像的重建。代表性图像信息包括使用下降采样方法、子带图像处理方法或者金字塔法产生的帧内缩小图像信息。

提供代表性信息进一步包括：提供输入图像，识别由上下文信息给出的预测信息以及使用预测信息和输入图像确定所预测的图像。基于所预测的图像和当前图像确定误差图像，并且以统计学方式评估该误差图像，以确定预测信息和误差图像是否构成了上下文敏感的压缩过的图像信息。

可以从由当前图像、先前预测的图像和先前重建的图像组成的组中选择输入图像。可以使用从由线性预测阶段、使用预测参数和已知操作的预测阶段以及使用预测操作和预测操作的预测参数的预测阶段所组成的组中选择的预测阶段来确定所预测的图像。

预测信息可被用于部分输入图像，并且该部分的上下文敏感的压缩过的图像信息可以是代表性图像信息的一部分。

可以使用预测信息和输入图像来再现所预测的图像，并且所预测的图像可以与误差图像结合来重建被显示的重建图像。

基于可得到的上下文信息，当前图像的代表性信息的编码和/或重建可以被适配。当前图像的代表性信息的编码可以使用多重描述方案。

所述可视化系统可以包括上下文敏感的压缩系统之内的控制单元，用于将所提供的代表性图像信息控制为来自由当前图像、当前图像的帧内缩小图像信息以及当前图像的上下文敏感的压缩过的图像信息所组成的组。

可视化系统可以包括解压系统和可视化单元，所述解压系统通过网络被连接到压缩系统，以接收用于重建所重建的图像的代表性图像信息，以及所述解压系统被连接到可视化单元，以将重建图像提供给可视化单元，用于显示重建图像。

可视化系统可以包括编码代表性图像信息的编码单元，用于将已编码的代表性图像信息传输给解压系统。

这些普通的和特定的方面可以利用系统、方法、计算机可读介质、或者计算机程序来实现，或者可以利用系统、方法、计算机可读介质或计算机程序的任意组合来实现。

某些实现方式可以具有一个或者多个下述优点。可以利用上下文信息来实现高压缩率。灵活的结构使得系统能够处理急剧变化、渐进的和可中断的质量要求以及资源限制。能分别在交互模式和确定模式下提供无损的和有损的代表性图像信息。

根据视觉质量的用户偏好可以由用户控制质量。因此，代表性图像信息可被适配到要求重建图像的不同级别质量的一系列情形。

压缩利用动态地适配所绘制的序列和上下文信息的灵活结构；具体地，可以动态地(on the fly)利用上下文信息和帧间信息，而无需固定帧间间隔。取决于绘制序列的密度或用户的请求，帧频是可变的。

客户端的计算适配于客户端的资源。所述适配可以由用户人为选择或者由可视化系统之内的反馈机构自动设置。因此，客户端侧的计算是最小的，并且客户端的存储器要求可以是小的。

压缩系统能以多阶段和多解决方案的形式利用上下文信息。多阶段设计使得压缩适于不同种类的客户端机器和带宽条件。

所提供的代表性图像信息可以基于客户端的计算能力或改变网络条件来动态地使自己适配，或者由用户人为设置。例如，如果网络带宽很宽并且存在请求绘制图像的瘦客户端，则系统通过使得重建步骤简单来适配。相反地，如果有连接到低带宽网络的富客户端，则压缩通过最小化所传输的数据以及允许客户端在解压期间执行更多的重建过程来适配。

本发明的一个或者多个实施例的细节在附图和以下说明中被阐述。本发明的其它特征、目标和优点从该描述和附图中以及从权利要求中将变得显而易见。

附图说明

图1是绘制系统的示意图。

图2是上下文敏感的压缩系统的总览示意图。

图3是说明用于执行远程交互观察的分级帧间压缩的示范性系统的图表。

图4是无损上下文敏感的压缩的总览流程图。

图5是当前绘制的二维图像的图像。

图6是所预测的图像的图像。

图7是误差图像的图像。

图8是使用先前预测的图像的上下文敏感的压缩的示范性流程图。

图9是上下文敏感的压缩的详细流程图。

图10是说明根据本发明的实施例的示范性数据处理系统的图表。

不同图中的相同的参考符号指示相同的元件。

具体实施方式

图1说明了绘制应用系统100。对于由数据库115所提供的体数据，绘制器120计算一系列二维投影图像A、B、C、D、E...。图像被提供给用户站130作为数据流125并且例如被呈现在用户站130的屏幕上。绘制器120和用户站例如可以通过网络连接。使用用户站130，用户通过指定绘制参数来控制绘制器120。绘制参数的例子包括视角、放大率以及呈现类型(例如，最大密度投影、多平面重建、表面遮盖显示、或者体绘制技术)。使用绘制参数，绘制器120计算用户要求的当前图像。用户使用用户站130的接口来给绘制参数赋值。例如，用户可以使用操纵杆来慢慢地旋转他的视向，响应于此，绘制器120计算具有轻微不同的投射角的一系列图像。可替换地，用户可以从固定的视向放大三维数据，响应于此，绘制器120可以生成具有增加的放大率的一系列图像。

上下文敏感的压缩的通用概念

图2是示范性上下文敏感的可视化系统200的概观。如图1中所示，绘制器120响应于由用户站130所提供的绘制参数来绘制一系列二维投影图像A、B。压缩器210使用可从上下文信息储存库220中得到的上下文信息来预测所预测的图像，评估这个预测，以及给用户站130提供用于将图像信息压缩传输的数据。上下文信息的例子包括：指定所绘制的图像的绘制参数，以及由绘制器120使用的绘制器隐含参数(例如，射线投影的类型)或者系统上下文信息，例如关于网络225的负荷的信息和关于特定用户要求的信息，诸如所述压缩是无损的还是有损的。如果必要的话，则在被提供给用户站130之前，解压器230解压所述图像信息。

通过使用和评估上下文信息，系统200确定，所传输的图像信息是没有压缩过的绘制图像(在数据流240中被表示为大写字母)还是压缩过的图像信息。例如，关于观察点的已知运动(T，θ)或者预测运动(T′，θ′)的信息可以与误差图像(Δ)一起或者不与误差图像(Δ)一起传输，以允许恢复图像而不必传输整个绘制图像。如果用户乐于容忍有损压缩，则所传输的图像信息可以包括逼真度减小的绘制图像或者误差图像。这被表示为压缩数据流240中的图像E^*。

图3是说明根据本发明的实施例的用于执行远程交互观察的压缩的示范性系统的图表。系统300包括服务器310、网络320和用户终端330。网络320可以包括局域网、广域网或者其组合。服务器310和用户终端330包括计算机。根据本发明的实施例，响应于用户偏好、网络条件、用户终端330的计算能力和/或来自用户终端330的反馈，系统300自适应地移位服务器310与用户终端330之间的计算。另外，可以使用用户交互作用，诸如使用涉及交互模式的预定义的移动来确定图像如何被压缩或者被绘制。

无损压缩

图4是说明允许给用户提供没有损耗的当前图像B的压缩图像信息的传输的流程图。上下文敏感的压缩系统400包括预测单元410和分析单元420，该预测单元410用于基于输入图像预测所预测的图像B′，该分析单元420分析该预测。

具体地，绘制器120利用从用户站130所提供的绘制参数T和θ来绘制当前图像B。绘制参数T和θ代表关于用户的观察点相对于三维数据的运动的信息；也就是说，参数T是移动操作的用户输入，而参数θ是表示移动操作T的程度的移动参数。在图4的例子中，T和θ是可用于预测单元410的上下文信息的例子。绘制参数T和θ由预测单元410用作预测参数，以根据先前绘制的图像A来预测所预测的图像B′，该先前绘制的图像A被用作输入图像或者预测的起点。

在分析单元420中，所预测的图像B′与当前图像B相比，以创建误差图像Δ(B，B′)。该误差图像Δ(B，B′)包含表现出当前图像B与所预测的图像B ′之间的差别的数据。可以使用代表性统计值的阈值分析来评估该误差图像，诸如使用均方误差值或绝对平均差值来评估。该分析允许确定当前图像或压缩图像信息(也就是，误差图像Δ(B，B′)和绘制参数T和θ)是否应被传输或者是否必需可替换的预测。例如，可利用如下所述的分级多阶段算法来确定可替换的所预测的图像B′。针对缩放操作，图5到图8示出了当前图像B、输入图像A、所预测的图像B′和误差图像Δ(B，B′)的例子。

当传输当前图像B时，当然可以实现当前图像B的无损可视化。然而，如果输入图像A例如可从本地存储器430存取，则在解压器230中解压压缩图像信息也导致图像B的无损再现。在这种情况下，输入图像A和绘制参数T和θ在重预测单元440中被用于‘重新’预测所预测的图像B′。在重建单元450中，所预测的图像B′与所传输的误差图像Δ(B，B′)组合来重建当前图像B，该当前图像B然后被提供给用户站130。

可以存在预测的多种变型。代替使用先前绘制的图像作为输入图像A，预测可以使用任何在前图像、任何解压图像或者任何先前预测的图像A。提供给预测单元410的预测参数可以包括由用户或者移动参数θ和/或移动操作T的估计参数(θ′，T′)所定义的精确和完整的移动参数。在任何情况下，只要关于预测和误差图像Δ(B，B′)的信息以足够的精度被传输，就可以给用户130提供无损图像B。然而，例如误差图像Δ(B，B′)中的某些不确定性由将所预测的图像B′与当前图像B进行比较时出现的计算误差而引起。这些不确定性可能危害重建图像B的质量。

有损压缩

为了维持服务质量需要较大的压缩，而用户例如在选择正确的视角的同时与可视化图像相互作用。在这种情况下，用户容许逼真度减小的有损图像，以交换较低的等待时间。当非绘制上下文信息出现时，较大的压缩也是必需的。例如，压缩器210可以响应于检测网络的低传输率而自适应地压缩图像。

必须被传输的数据的量也可以通过使用帧内编码(例如，下降采样、子带技术或金字塔法)来减少当前图像B的逼真度而被减少。类似地，通过量化减少误差图像Δ的质量将减少必须被传输的数据的量。

上下文信息

上下文信息的例子包括用户带来的可视化参数、可视化隐含参数、用户带来的系统参数以及系统隐含参数。用户带来的可视化参数是指定由用户所请求的可视化的参数(例如，诸如移动操作T和参数θ的绘制参数)。在临床工作流之内，操作T的例子包括选择用于开窗/调平、旋转、扫视和变焦的参数。可视化隐含参数是在可视化系统之内所使用的参数，例如，用于绘制算法、在算法之内使用的参数，并且诸如投影类型那样例如是预置的。

与上下文信息相关的算法也可以包括算法的特征。例如，如果绘制了变形的体积并且如果绘制是将两个图像结合到一起的结果(例如PET+CT)，则压缩算法可以通过预测输出图像应具有相同的大小和方位(也就是，没有运动向量)而仅仅具有不同的形状来有利地利用这个事实。此外，如果预测知道所述变形是简单的刚性变形还是非刚性变形，则该预测很可能改进。

用户带来的系统参数是由用户分配给可视化系统的参数并且并不控制绘制器(非绘制上下文信息)。例如，当系统被分配来用于交互模式时，例如，当系统被分配来用于找到视野的最佳视图和呈现时，有损可视化是可接受的。然而，当系统被分配来用于确定模式时，例如，当系统被分配来用于精确地诊断所述图像时，期望无损可视化。用户带来的系统参数的另一个例子是所请求的绘制器类型。

系统隐含参数是由系统部件本身定义的参数，例如，系统结构、网络条件(例如，网络上的负荷和网络类型：无线，10Mb，100Mb)以及计算能力(例如，中央处理单元、图形处理单元或者通用图形处理单元的存在)。在多用户系统中，例如，压缩算法可以抢先适配其参数，这取决于该系统是正在峰值网络负荷期间操作还是正在稀疏网络负荷期间操作。

可以通过上下文敏感的压缩系统利用这些参数形式的上下文信息，以确定当前图像的代表性信息。上下文信息被存储在上下文信息储存库220中，并且当由控制器910评估该上下文信息时可以与系统的不同部分相互作用。例如，该上下文信息可以影响压缩算法的流程，例如，影响用于预测和分析单元的输入参数或者必须做出的选择。

图9示出了响应于上下文信息的上下文敏感的压缩系统的示范性实现方式。上下文信息被用于根据用户要求的质量控制图像的传输以及用于减少必须传输给用户站130的数据的量，同时允许可视化具有所请求的质量的图像。

在操作中，用户请求图像B，该图像B是得自通过数据库115所提供的三维数据的绘制图像。基于可得到的上下文信息，连接到多路复用器920的控制输入端的压缩控制器910选择传输代表图像B的多种类型数据中的哪一种类型数据，也就是选择多路复用器920提供给编码器930的哪一种类型的代表性图像信息。多路复用器920可以提供的图像信息的例子包括当前图像B、当前图像B的帧内压缩版本B^*、或者上下文敏感的压缩图像信息(Δ(B，B′)，T，θ)。编码器930将控制器选择的无论哪个图像信息准备用于通过网络225传输。可选的解压器230由所传输的数据产生重建图像R。得自该数据的图像然后在用户站130上被可视化。

通过控制开关940，控制器910可以将图像B直接提供给多路复用器920或者提供该帧内压缩单元950，该帧内压缩单元950使用传统的帧内压缩技术来创建帧内压缩图像B^*。另外，控制器910可以促使开关940来给比较单元960提供图像B。比较单元960从预测单元410接收所预测的图像和上下文信息，将该所预测的图像与绘制图像B比较，以及给评估单元970提供得到的比较结果。

上下文敏感的压缩方法预测尽可能类似于图像B的图像B′。压缩单元960和评估单元970合作来分析所预测的图像B′。如果所预测的图像B′足够类似于图像B，则压缩器210将残余的信息(也就是，误差图像Δ(B，B′))连同关于预测如何实现的信息一起传输。

所说明的方法使用输入图像I用于预测。利用多路复用器980，控制单元910可以从多个源中选择输入图像，示出这些源中的两个，即先前绘制的图像A或者存储在缓冲单元985中的图像A_p。。输入图像I和来自控制器910的上下文信息使得预测单元410能够创建所预测的图像B′。比较单元960将所预测的图像B′与当前图像B比较，以产生误差图像Δ(B，B′)。然后，评估单元970利用误差图像Δ(B，B′)来获取关于预测质量的信息。可以通过考虑可得到的上下文信息来控制用于比较和评估的量度。例如，误差图像Δ(B，B′)可以与取决于网络负荷的阈值τ比较。取决于评估结果，误差图像Δ(B，B′)和预测参数、当前图像B或帧内压缩图像B^*之一被传输给用户，或通过应用预测单元410中的另一阶段来进一步改进预测图像。

误差图像Δ(B，B′)被提供给量化单元990。压缩器控制器910促使量化单元990不工作，在这种情况下，误差图像Δ(B，B′)以高逼真度被传输，或者例如当低分辨率图像的可视化足够时，压缩器控制器910促使量化单元990量化误差图像Δ(B，B′)，以进一步减少数据量。

因此，绘制上下文信息可以在很多方面影响预测。非绘制或系统上下文信息可以影响分析，例如影响误差图像Δ(B，B′)的确定以及用于评估的阈值τ的确定。非绘制上下文信息也可以影响预测和是否完全要求上下文敏感的压缩或者量化或帧内操作是否足够。

多阶段预测

与利用任意运动处理的普通的视频编解码器相反，压缩系统210主要考虑可能可用于三维对象的交互式可视化中的那些潜在运动的子集。通常说来，这些潜在的运动由交互式可视化应用的用户接口来预定义。这些运动包括一个或多个下列操作：改变对象的斜度、滚动或者偏航、放大或者缩小、剪切对象、给对象开窗、移位对象以及扫视对象。这些运动由用户利用鼠标、操纵杆或者跟踪球通过图形接口来操纵。利用键盘，用户给运动操作分配特定值(通常称为绘制参数θ)。这些操作(通常称为“T”)以及绘制参数θ代表绘制上下文信息。

这里有至少三种情形，其中绘制上下文信息可用于预测所预测的图像。

情形a)输入图像与当前图像之间的相对运动信息的全部知识，也就是，T和θ是已知的。

情形b)输入图像与当前图像之间的相对运动信息的部分知识，也就是，仅仅T是已知的，而θ必须被估计。

情形c)特定操作及其参数是未知的：T和θ必须被估计，但是θ的范围和可用的操作是已知的。

为了减少计算，图像被处理，并且以分级的方式利用暂时的帧内信息。评估不同的情形，以便利用具有渐进的复杂度的分级的多阶段算法来逐渐估计预测图像B′。

在预测单元410的第一阶段，从输入图像到当前图像的小变化被假设，并且算子T是已知的。出现三种可能的“直接预测”。第一，运动操作T被假设为恒等算子，并且所预测的图像等于输入图像(B′＝A)。假定误差图像的评估表示充分的压缩，则压缩图像信息由恒等算子和误差图像构成。第二，在情形a)的情况下，运动信息和输入图像I是已知的。利用T和θ，计算当前图像B：B＝I_(T，θ))。由于运行误差或者通过将三维绘制参数用于二维图像而引起的小差别，所计算的图像可能轻微地背离当前图像B～I_(T，θ)。图像B和I_(T，θ))的差别被计算为残余误差图像。到了这样的误差图像存在的程度，结合运动信息作为部分压缩图像信息。第三，由于开窗和调平中的变化而仅仅要求改变像素值。这样的缩放可被预测，例如，利用最小二乘方逼近(B′＝aI+b)来预测。在那种情况下，误差图像和近似参数a和b构成了压缩图像信息。

如果基于上下文信息探寻进一步的压缩，则误差图像可以被量化，同时近似参数a和b以高精度被传输。

在预测单元410的第二阶段，运动算子T是已知的，但是需要估计其参数θ，用于计算所预测的图像B′(情形b)。估计运动作参数θ的示范性方法是最小平方法、刚性运动模型(仿射模型)或相位相关模型。

在预测单元410的第三阶段，需要估计运动算子T及其参数θ，用于计算所预测的图像B′(情形c)。示范性方法是刚性运动模型(仿射模型)和相位相关模型，如在阶段2中那样。

在预测单元410的第四阶段，图像被分割成更小的块，针对这些块单独应用前述阶段中的一个或者多个。

不同阶段的不同预测方法的具体例子将在下面讨论。

阶段1：最小二乘方逼近

当导数(derivative)以及运动参数小时，在整个图片级别上计算图像相似性和误差图像，而无需进一步明确估计运动参数。就是说，利用线性预测方法(例如，最小二乘方逼近)，由I(x，y，t-1)来近似I(x+u，y+v，t)。变量x和y表示像素位置，而u和v表示运动参数。变量t表示随着时间推移的图像系列。当(虚拟)摄像机位置(视点)接近时，这个近似是有用的，在这种情况下，图像之间的相似性是明显的。通过直接计算整个图像的误差图像而不用将图像分解成较小的宏模块并且以成对的方式匹配这些图像，针对必须被传输的大部分图像的相关计算被最小化。当采样频率高或者当摄像机运动小时，整个帧运动描述趋向于工作良好。在这样的情况下，代替发送整个帖，仅仅传输误差图像。

然而，当出现急剧的(虚拟的)摄像机运动时，图像之间的差别变大。在这种情况下，一种可选的方式是独立地根据先前的绘制图像来编码新绘制的图像。当使用这个选项时，服务器侧和客户端侧的计算少。

压缩器210决定相似性是否足够，并且使用标记来例如通知客户端。客户端解压所传输的位流并且读取标记信息。如果图像B已经独立地被编码，则所解码的图像是被显示的图像B；否则，所解码的图像是误差图像，该误差图像被用于重建图像B。当客户端是瘦客户端时，这个简单的选项特别有用。

阶段1：完整运动信息

当先验的运动信息可用于压缩系统210时，例如，该先验的运动信息得自终端用户鼠标移动并且作为绘制上下文以外的附属数据被发送到上下文信息储存库220，先验的运动信息可以直接被利用。视图变换过程确定图像平面上的新位置，并且由变换矩阵表示对象的移动，如例如由J.Foley等人在“Computer Graphics：Principles and Practice”(Addison-Wesley，1997年)中所描述的那样，该文献的内容在此并入作为参考。

用于沿着x轴、y轴和z轴平移的参数、放大因数和旋转直接得自这个变换矩阵。在利用绘制器的投影矩阵投影在图像平面上之后，找到了图像平面上的相对应的位置。因此，运动信息是可得到的并且可以被压缩系统210利用。即使先验信息不是特定的，例如，不是来自变换矩阵的已知参数的形式，对于压缩，了解操作类型也已经是有用的，如可以设计适合每个单独操作的特定的预测和运动补偿方法。

阶段2和3：部分或者非运动信息

在许多情况下，先验运动信息对于压缩系统是不可得到的，例如，当绘制和压缩系统彼此独立时。例如，当系统来自不同的卖主时，这可以实现。在这样的情况下，压缩系统210仅仅将图像序列作为其输入接收，并且直接从绘制图像(例如，从图像A和B中)导出所预测的图像B′。给出视点和用户交互作用的变化主要由多种预定义的类型组成的事实，这些类型诸如扫视、放大、旋转、剪切和开窗，新绘制的图像与先前的图像具有接近的关系。因此，对象在图像平面上的运动可以通过利用仿射投影或者正交投影模型来模拟。

确定运动参数的仿射模型

以下描述了用于压缩系统的仿射模型的采用，但是也能以类似的方式使用其它模型。在讨论仿射模型时，使用以下等式：

x+u＝ax+by+e，

y+v＝cx+dy+f。    (1)

在等式(1)中，(u，v)表示矢量场，而(x，y)是像素位置。对象在图像平面中的运动包括缩放、平移、旋转、剪切等。因此，这个仿射模型对于交互式远程可视化应用是用来捕获通常使用的操作的效果的简单而有效的方式。使用六个参数(a，b...f)表示图像平面中的运动的简单性大大减少了复杂性。

作为例子，假设利用一阶马尔可夫模型来描述绘制图像，由I(x，y，t)定义时刻t的绘制图像，x和y是像素位置，而t表示时间索引、诸如帧编号。然后，从I(x，y，t-1)中可得到预测I(x，y，t)的运动信息，而不用考虑时间索引在t-1之前的任何图像。因此，这个一阶马尔可夫模型减少了计算复杂度和所要求的存储器存储。

为了估计运动参数，可以应用不同的方法，例如应用最小平方估计。注意，当所应用的操作T的知识将六个仿射参数中的一个和多个设置为零时，仿射模型可以进一步被简化。因此可以进一步减少计算。

假设运动小，基于在前帧来对随后帧进行泰勒级数近似产生：

I(x+u，y+v，t)＝I(x，y，t-1)+I1(x，y，t-1)u+I2(x，y，t-1)v+I3(x，y，t-1)+o(u，v) (2)

在以上的等式中，(u，v)表示点(x，y)处的位移，I1、I2和I3是分别相对于x、y和t的偏导；而o(u，v)表示高阶项。这个表示法利用空间导数和时间导数链接了运动和连续图像。当应用仿射图像时，估计仿射参数。

仿射参数的估计

利用n个像素用于估计，等式(1)可以被重写为

T＝GX+N

其中，X^T＝(a，b，c，d，e，f)表示仿射参数向量，G是大小为n×6的矩阵并被定义为G^T＝[H(x₁，y₁)|H(x₂，y₂)|...|H(x_n，y_n)]，其中H(x，y)被定义为H(x，y)^T＝(xI1，yI1，xI2，yI2，I1，I2)，并且误差向量N和时间导数向量T被定义为：

N^T＝[I(x₁+u₁，y₁+v₁，t)-I(x₁，y₁，t-1)+o(u₁，v₁)，…，I(x_n+u_n，y_n+v_n，t)-I(x_n，y_n，t-1)+o(u_n，v_n)]，

T^T＝[-I3(x₁，y₁)，...，-I3(x_n，y_n]    (3)

G通常是超定矩阵。误差项主要由高阶近似误差和运动之后的强度差组成。如果运动小，则误差向量小。假设N是高斯白噪声向量，则线形系统被高斯白噪声破坏。系数X可以通过简单的数据匹配方法来找到。例如，利用最小平方法来找到系数：

$\hat{X}={\left(G^{T}G\right)}^{-1}{G}^{T}T---\left(4\right)$

n个像素的随机选择

由于包含了矩阵求逆和乘法，所以通过选择数据点的小子集来减少计算，在这种情况下，该小子集对应于像素。为了避免增加不准确度，选择突出的数据点来计算X。为此，首先选择区域，从该区域中选择数据点。为了方便，使用大小被减小两倍的中间部分。可以利用联合随机选择方法选择凸点。如果候选的凸点具有比预定阈值更大的空间导数，则该候选点被保留。否则，该候选点被拒绝并且选择下一候选点。如果在某个数量的迭代之后没有数据点被保留，则使用不同的区域来选择候选数据点。相对应的算法可以示出以下基本方面：

步骤1，确定区域Ω1；

步骤2，在Ω1中选择点(x，y)，计算I1(x，y)，I2(x，y)；

步骤3，如果I1(x，y)大于阈值1且I2(x，y)大于阈值2，

则保留该点(x，y)；否则，拒绝该点(x，y)；

步骤4，如果保留点的数目少于预定数目，则返回到步骤2；否则停止。

步骤5，如果迭代的数目达到迭代阈值并且在区域Ω1中没有保留点，则将不同的区域表示为Ω1，并返回到步骤1。

基于这种导数的评估选择可以给出关于图像之内的边缘的信息的边缘数据点。在某些实践中，如果候选数据点位于两个阈值之间，则该候选数据点被接受。

数据点的数目

数据点的数目可以预先确定。例如，使用12个数据点显示结果是令人满意的。更多的数据点使得算法更稳定，然而，在计算上不有效。设计随机方法，用于有效地搜索具有稳定性能的图像之间的运动场。

对于通常的仿射模型，存在6个未知参数。对于情况良好的伪逆矩阵，等式(4)的线性系统必须具有至少6个独立等式。对于诸如扫视、放大等的具体了解的操作(阶段2)，未知参数的数目更少，并且事实上可以小到一。在这种情况下，等式(4)的线性系统被减少到更小的大小，并且估计在计算上更不复杂。对于诸如扫视的情况，当上下文信息是可检索的时候，可以明确写出公式。计算明显更少，并且结果特别准确。

当高斯白噪声模型不适合于该数据时，性能可能恶化。在这种情况下，使用其它的数据匹配方法是有用的。例如，当误差分配的侧翼是重尾的时候，重尾模型可适用作数据匹配方法。一种这样的模型是最小中值方法，该最小中值方法要求导数的排序，但是可能更稳定。

多尺度方法

当运动向量对于交互式远程可视化应用小的时候，上述方法工作良好。当摄影机的运动曲线在实践中是连续的并且采样频率高的时候(对于平滑的视觉体验经常发生)，这是合理的。

然而，存在小运动假设无效的情况，例如，当用户通过颠簸鼠标而急剧变化时。在这种情况下，使用多尺度方法。多尺度方法依赖以下事实，即扫视多个像素的大运动以更低的分辨率变成更小的运动，并且小运动假设变成有效。

多尺度方法可以迭代多次。在最低分辨率时，运动首先被搜索。通过到达更好的分辨率，运动参数逐渐建立。出于这个目的，多级别分级方法特别有用。在一个例子中，该图像迭代地被下降采样两倍，以获得更低的分辨率。级别数可以是在0到4之间。为简单起见使用下降采样。能以类似的方式使用其它的多分辨率方法。

确定运动参数的变换域方法

作为阶段2和3中的仿射模型的替换方案，可以应用变换域方法。例如，可以使用相位相关方法来计算运动参数。第一步是使用相位相关来计算位移参数。在空间域中的移位或平移对应于频域中的相移。通过使用快速傅立叶变换，可以计算相移。在这个步骤之后，如果误差图像低于某个级别，则预测停止。否则，进行预测，以识别和量化任何放大或旋转。在变换域方法中，应用坐标变换到极坐标系统是有用的，并且然后评估算法。在极坐标系统中，放大或旋转变成移位并且可以利用相位相关。该相关基于随机选择的数据点组。

阶段4：分割

如果所预测的图像明显不同于当前图像，则当前图像可以被独立编码，或者可以应用第四阶段来搜索更准确的运动参数。在第四阶段的一个例子中，图像被分割成更小的块，在每个块上执行本地运动估计。当对象的运动通过仿射模型没有很好地描述时，例如，由于大的遮挡区域而不能很好地描述时，图像的分割是有效的。然而，找到每个块的本地运动的分割图像和基于块的处理的效率以更多的计算为代价。用户决定是否执行该进一步的处理，例如，通过在图形用户接口指示该选择来决定。如果用户想要具有更高的逼真度，或者如果客户端系统具有足够的计算能力，则这可以发生。否则，用户可以放弃附加的细节并使图像独立地被压缩。

预测单元410利用由仿射参数或者相位相关参数产生的运动参数计算所预测的图像。一旦该预测单元410完成这些，比较单元960就比较所预测的图像和当前图像。基于所述预测，评估单元970计算误差图像。

编码

控制器910选择当前图像或者误差图像用于部分地基于上下文信息的传输。例如，无损编码用于确定模式，而有损编码用于交互模式。服务器通过监控网络通信量和带宽条件以及客户端的计算能力来选择用于编码的速率、变形和压缩设置。除了系统多阶段的分级以及以下描述的反馈率控制机构，多重描述方案被用于进一步适配带宽条件和客户端资源，例如参见Y.Wang等人的“Multipledescription coding for video delivery”(Proc.IEEE，第93卷，第1期，第57-70页，1995年1月)。多重描述包括产生多个位流层，每个位流层包括关于源的类似信息并被用于构建较低分辨率图像。更多的层给出更好的质量。这一个实施例将8×8离散傅立叶块变换用于快速计算。其它的变换(包括小波变换)可以以类似的方式被包含。

编码和非绘制上下文信息

如果预测图像类似于当前图像，则编码器930仅仅编码当前图像中的新信息，该新信息不可从校正过的图像得到。根据上下文信息选择编码方法，例如，根据所选择的压缩级别来选择。这包括用户的选择、来自服务器的监控网络通信量和带宽利用的位率输入、和/或交互模式与确定模式之间的切换。用户的选择具有高优先级。在默认设置时，压缩系统根据网络条件自动地选择位率。在某些实施例中，客户端机器的资源被作为反馈被提供给服务器，使得服务器可以执行速率控制。反馈机构依赖于远程客户端与服务器之间的通信协议的相对应变化。例如，当绘制请求被发送到服务器时，可得到的资源的状态被同时发送。所述状态可以预先并且以简单的形式被定义。例如，仅仅用户操作类型被指定。为了减少通信开销，状态的数目尽可能小地保持与客户端和用户接口的计算能力一致。

上下文敏感的速率控制

在至少一个实施例中，反馈或前馈机构基于上下文信息控制传输速率。执行速率控制，例如，通过改变压缩量化步骤大小或者通过低通滤波误差图像来执行。量化步骤大小或者低通滤波器能以确定性方式来选择。在某些实施例中，根据网络条件，固定步骤大小或者低通滤波器的带宽实现了近似的位率。当利用8×8离散傅立叶块变换时，这是合适的，对此，量化步骤大小与位率具有已知的对应关系，就是说，数据适合于网络的带宽。这个决定性方法的缺点是其对于带宽信息的依赖，这要求监控网络通信量或者利用带宽。

另一种自适应方法避免了通过利用来自客户端的反馈而紧密监控网络的需要。在一个实施例中，当来自压缩的得到的位率不足时，客户端发送带有标志位的请求，该标志位要求较高的位率。否则，客户端发送带有不同的、要求较低位率的标志位的请求。一接收到这些标志位，压缩系统就因此适配量化步骤。因此，将要被传输的图像被更粗糙地量化，并且压缩率变得更大。相对应的算法示出了以下基本方面：

是否为中断模式，是；在循环中任意处停止；

是否为确定模式，没有量化；无损地压缩；

否则是否为交互模式，

如果COMP_COARSE，量化步骤大小+＝德耳塔步骤大小；

增加用于比较差别图像的阈值；

否则COMP_FINE，量化步骤大小-＝德耳塔步骤大小；

增加用于比较差别图像的阈值；

否则量化步骤大小是相同的，阈值是相同的；

标志位联合地与模式声明位一起使用。当可视化处于交互模式时，优选地瞬间调整该速率；当处于确定模式时，粗糙压缩的图像首先被发送，随后发送粗糙压缩的图像与原始图像之间的差别。这些差别经历了无损压缩。因为这些差别包含更少量的信息，并且因为在确定模式，用户通常能够担负得起等待，所以由无损压缩而引起的附加等待时间可能不是关键的。无损编解码器可以不是非常复杂的，但是计算优选地简单得足以考虑瘦客户端。在中断模式下，停止压缩并且在任意时刻重新启动，而不用例如要求传送图像包。

现在参见图10，根据本发明的实施例，用于实现本发明的计算机系统1001尤其是包括中央处理单元(CPU)1002、存储器1003和输入/输出(I/O)接口1004。计算机系统1001通常通过I/O接口1004被耦合到显示器1005和诸如鼠标和键盘的各种输入装置1006。配套电路可以包括诸如高速缓冲存储器、电源、时钟电路以及通信总线的电路。存储器1003可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁盘驱动器、磁带驱动器等或者其组合。本发明可以被实现为被存储在存储器1003中的例行程序1007并由CPU 1002来执行，以便处理来自信号源1008的信号。同样地，计算机系统1001是通用计算机系统，当执行本发明的例行程序1007时，该通用计算机系统变成专用计算机系统。

计算机系统1001还包括操作系统和微指令代码。在此所描述的各种过程和功能可以是微指令代码的部分或者是应用程序的部分(或者其组合)，其通过操作系统来执行。另外，各种其它外围设备可以被连接到计算机平台，诸如连接到附加的数据存储设备和打印设备。

可以进一步理解的是，因为在附图中所描述的某些组成系统部件和方法步骤可以用软件实现，所以系统部件(或过程步骤)之间的实际连接可能取决于其中本发明被编程的方式而不同。给出在此所提供的本发明的教导，本领域普通技术人员将能够设想本发明的这些和类似的实施方案或者配置。

例如，在此所描述的用数字表示的和用符号表示的步骤根据本领域公知的方法可被转换成例如在数字信号处理器上执行的数字程序。该数字程序可被存储在诸如硬盘的计算机可读介质上，并且可以由计算机处理器执行。可替换地，合适的步骤可以被转换成数字程序，该数字程序被硬连线成执行这些步骤的压缩器之内的专用电子电路。基于给定的用数字表示的或用符号表示的分析程序产生这样的专用电子电路的方法在本领域中也是公知的。

已经描述了本发明的多个实施例。然而，可以理解的是，在不偏离本发明的精神和范围的情况下可以做各种修改。因此，其它实施例在下列权利要求的范围之内。

Claims (23)

1.一种用于在交互式可视化系统中提供代表图像的信息的方法，该方法包括：

从图像流中选择当前图像；

评估可视化系统之内的上下文信息；

基于上下文信息确定当前图像的代表性信息。

2.根据权利要求1所述的方法，进一步包括：

从三维数据集中检索代表当前图像的数据；以及

基于检索到的数据绘制当前图像。

3.根据权利要求1所述的方法，进一步包括：

编码用于传输的代表性图像信息；以及

将已编码的代表性图像信息传输给可视化系统的可视化单元。

4.根据权利要求3所述的方法，进一步包括：

将已编码的代表性图像信息重建成重建图像；以及

显示该重建图像。

5.根据权利要求1所述的方法，其中，从由用户带来的可视化参数、可视化隐含参数、用户带来的系统参数以及系统隐含参数所构成的组中选择上下文信息。

6.根据权利要求1所述的方法，进一步包括将代表性图像信息确定为由当前图像、当前图像的帧内缩小图像信息以及当前图像的上下文敏感的压缩图像信息构成的组中的一个。

7.根据权利要求1所述的方法，进一步包括确定代表性图像信息具有详细说明重建有损重建图像的逼真度。

8.根据权利要求6所述的方法，其中，代表性图像信息包括帧内缩小图像信息，该方法进一步包括利用下降采样方法、子带图像处理方法或者金字塔法产生当前图像的帧内缩小图像信息。

9.根据权利要求1所述的方法，进一步包括：

提供输入图像；

识别由上下文信息给出的预测信息；

利用预测信息和输入图像来确定所预测的图像；

基于所预测的图像和当前图像来确定误差图像；

以统计学方式评估误差图像，以确定上下文敏感的压缩图像信息是否包括预测信息和误差图像。

10.根据权利要求9所述的方法，进一步包括从由当前图像、先前预测的图像和先前重建的图像组成的组中选择输入图像。

11.根据权利要求9所述的方法，进一步包括利用从由线性预测阶段、使用预测参数和已知操作的预测阶段、以及使用预测操作和使用预测操作的预测参数的预测阶段所组成的组中选择的预测阶段来确定所预测的图像。

12.根据权利要求9所述的方法，进一步包括将预测信息用于输入图像的部分以及将所述部分的上下文敏感的压缩图像信息确定为代表性图像信息的部分。

13.根据权利要求9所述的方法，进一步包括：

利用预测信息和输入图像来再现所预测的图像；

将所预测的图像与误差图像组合来重建所重建的图像；

显示所重建的图像。

14.根据权利要求3所述的方法，进一步包括基于可得到的上下文信息适配当前图像的代表性信息的编码。

15.根据权利要求3所述的方法，进一步包括使用多重描述方案编码当前图像的代表性信息。

16.一种在其上包含软件的计算机可读介质，所述软件包括在交互式可视化系统中提供代表性图像信息的指令，所述指令包括：

选择图像流的当前图像；

评估可视化系统之内的上下文信息；

在考虑上下文信息的评估的情况下确定当前图像的代表性信息。

17.根据权利要求16所述的计算机可读介质，所述指令进一步包括：

编码用于传输的代表性图像信息；

将已编码的代表性图像信息传输给可视化系统的可视化单元；

将已编码的代表性图像信息重建成所重建的图像；

显示所重建的图像。

18.根据权利要求16所述的计算机可读介质，所述指令进一步包括：

提供输入图像；

识别由上下文信息给出的预测信息；

利用预测信息和输入图像来确定所预测的图像；

基于所预测的图像和当前图像来确定误差图像；

以统计学方式评估误差图像，以确定预测信息和误差图像是否构成了上下文敏感的压缩图像信息。

19.根据权利要求18所述的计算机可读介质，所述指令进一步包括：

利用预测信息和输入图像来再现所预测的图像；

将所预测的图像与误差图像组合，以重建所重建的图像；

显示所重建的图像。

20.一种用于提供代表图像的信息的可视化系统，该系统包括：

用于由三维数据绘制图像的绘制系统；

基于上下文敏感的信息来提供代表所绘制的图像的图像信息的上下文敏感的压缩系统。

21.根据权利要求20所述的系统，进一步包括上下文敏感的压缩系统之内的控制单元，用于将所提供的代表性图像信息控制为来自由当前图像、当前图像的帧内缩小图像信息以及当前图像的上下文敏感的压缩图像信息所组成的组。

22.根据权利要求20所述的系统，进一步包括解压系统和可视化单元，该解压系统通过网络被连接到压缩系统，以接收用于重建所重建的图像的代表性图像信息，并且解压系统被连接到可视化单元，以将所重建的图像提供给可视化单元，用于显示所重建的图像。

23.根据权利要求20所述的系统，进一步包括编码代表性图像信息的编码单元，用于将已编码的代表性图像信息传输给解压系统。

Images