CN101149842A - 利用图像着色系统的多维图像数据的细节级别设置 - Google Patents

利用图像着色系统的多维图像数据的细节级别设置 Download PDF

Info

Publication number
CN101149842A
CN101149842A CNA2007101547881A CN200710154788A CN101149842A CN 101149842 A CN101149842 A CN 101149842A CN A2007101547881 A CNA2007101547881 A CN A2007101547881A CN 200710154788 A CN200710154788 A CN 200710154788A CN 101149842 A CN101149842 A CN 101149842A
Authority
CN
China
Prior art keywords
image
server
data
client computer
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101547881A
Other languages
English (en)
Other versions
CN101149842B (zh
Inventor
克劳斯·恩格尔
费尔南多·维加-希格拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN101149842A publication Critical patent/CN101149842A/zh
Application granted granted Critical
Publication of CN101149842B publication Critical patent/CN101149842B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities

Abstract

本发明涉及用于存储、调用和图形可视化多维数字图像数据的基于客户机/服务器的图像存档、图像检索和图像着色系统，其例如可以用于医生对显示待检查患者的内部器官、骨骼和肌肉组织的图像数据的检查诊断。涉及用于设置通过数据传输网络接收的以图形形式显示的立体图像数据的细节级别的显示屏客户机和由其执行的方法。待显示对象的压缩立体数据以成像系统预定的尽可能细的分辨率存储在由服务器管理且只能由其直接访问的数据库中。立体数据以直到特定的随位置变化的、特定于区域或对象的细节级别用压缩格式提供，传送到显示屏客户机并且在其上以图形形式显示。此外还可以在服务器上执行图像着色和图像后处理算法。

Description

利用图像着色系统的多维图像数据的细节级别设置
技术领域
本发明总的涉及用于存储、调用和图形可视化多维数字图像数据的基于客户机/服务器的图像存档、图像检索和图像着色系统，该系统例如可以在临床领域用于医生对显示待检查患者的内部器官、骨骼和肌肉组织的图像数据进行检查诊断。在此本发明尤其涉及用于设置通过数据传输网络接收的以图形形式显示的立体图像数据(立体数据)的细节级别的显示屏客户机和由其执行的方法。
背景技术
目前可用的、根据由ANSI标准化的“图像存档和通信系统(PACS)”标准工作的图像存档系统或者直接在相应成像模态的存储区中存储二维图像的数字图像数据(例如通过由成像器如磁共振设备或计算机断层造影设备获得的原始数据再现出截面图像)，或者存储在用于图像后处理的、通过数据传输网络与成像模态连接的PACS工作站的存储区中。只要产生了图像并且存储在中央PACS数据库中，则该数据可以通过工作站调用，以图形方式显示在工作站的显示屏上并且由治疗医师检查。
传统的基于PACS标准的图像存档和通信系统的系统体系结构存在很多涉及临床工作流程的问题。
由于传统中只有经过再现的图像的图像数据才存储在成像模态的存储区中(例如三维腹部计算机断层造影扫描图像的经过再现的截面图，截面图像之间的间隔为7mm)，因此在PACS工作站上工作的医生只能得到一小部分信息。如果例如要对该数据另外检查是否需要用更高的分辨率重新进行图像再现以进行精确的诊断，则治疗医生需被迫请求新的图像再现或甚至离开其工作位，以走到成像模态的设置地点去。如果无法交互地通过PACS工作站调用具有期望分辨率的图像数据，则会给临床工作流程带来不可忽视的干扰。
目前存储在PACS数据库中的图像序列的图像数据不顾治疗医生的实际信息需求而以完全的分辨率传输给PACS工作站。即使可显示的显示屏区域限于特定的图像点(像素)个数，如限于420×420个图像点，按传统方式也是将一个图像数据组中的所有图像不加改变地用例如512×512个图像点的分辨率传输。这将对其所基于的医院内部数据传输网络的效率造成负面影响，如果有临界数量的用户同时访问PACS数据库的话。在这种状况下达到极限值，此时系统的效率在一个实际上不再允许使用PACS系统的值处中断。此外还预计这些问题在更高分辨率的图像矩阵时(例如具有1024×1024个图像点)限制这种PACS系统的功能。
目前PACS工作站没有配备用于分割和3D可视化医学图像数据的专门软件程序的工作站(例如Siemens Leonardo工作站)所具有的图像后处理功能。如果在PACS工作站上工作的治疗医生在对以图形形式显示在PACS工作站的显示屏上的患者CT或MRT数据进行检查诊断期间需要对该图像数据进行进一步的后处理(例如为了细化分割、为了精确定位用立体着色技术(VRT)产生的待检查器官的3D图像再现等)，则需要中断正常的工作流程。在此治疗医生被迫用新的参数值重新执行后处理步骤，或者接近成像模态以重新启动成像过程。在此临床工作流程由于PACS系统的有限的后处理手段而中断。
由于传统PACS系统的上面列出的性能限制，目前将很多计算机支持的诊断(CAD)应用非透明地集成到临床工作流程中。图像后处理应用的采用对很多医生来说只起着不太重要的角色，如果这些医生被迫要中断其正常工作流程的话。
在成像模态的放置地点执行了对患者的检查之后，目前的PACS系统基于经过再现的截面图像在中央数据库中的存储。在此，技术专业人员借助该成像模态从很多扫描的原始数据中利用预先给定的截面图像间隔和预先给定的分辨率产生一系列截面图像。然后将经过再现的图像传送给服务器，服务器将这些图像存储在中央数据库中。接着PACS工作站以及其它配置为适用于图像后处理的工作站向服务器进行查询，服务器按照DICOM标准经由数据传输网络提供各个截面图像的数据。扫描的原始数据通常没有存储在数据库中。但只要应当这样做，就直接在诊断结束后重新删除这些原始数据，以保持较低的存储空间需求。产生具有不同分辨率的截面图像在PACS工作站上是不可能的。另一个问题是在很多PACS工作站中缺少计算机支持的诊断工具。为了解决这些问题，市场上出现了几种基于客户机/服务器的软件程序。
例如TeraRecon Inc.公司提供了Aquarius-NETTM服务器作为解决方案，该服务器基于每单位立体射线跟踪-硬件。其系统体系结构基于3D图像数据服务器，该服务器用于产生全分辨率的图像数据和将产生的图像数据数据流地传输到多个显示屏客户机。显示屏客户机在此只用作向服务器发送图像产生查询的图像显示设备。但是如果客户机的数量增加，则图像产生速率急剧下降，因为服务器必须将图像产生资源分配给各客户机。此外在对产生的图像数据进行实时数据流传输时积累非常大的数据量。例如，对于为具有1280×1024个图像点的显示屏区域产生的RGB编码图像来说，在数据传输率为30帧/s时仅在一秒内就积累超过110M字节的数据。另外，传统的PACS系统没有提供基于细节级别(LOD)的导航和可视化的手段。
地理图形信息系统(GIS)存在与目前用于图形显示医学图像数据的可视化系统类似的问题：因为在两种情况下都必须交互地可视化和操纵大量的向量数据(例如涉及几何对象的位置、大小、温度和陆地覆盖等)。很多目前市面上可得到的基于Web的GIS软件解决方案，如Map24或Google Earth解决了这个问题，其中它们将图像数据按照使用者的当前要求利用不同的细节级别显示出来。在本发明中采用同样的思想来建立PACS系统，该系统适合于透明地图形可视化以全分辨率存在的医学图像数据。为了实现该思想，在PACS客户机一方使用特定于客户的图形硬件以采集和图形可视化多维医学图像数据，并且引入一种在服务器上存储以全分辨率存在的立体数据的有效数据压缩机制。
二维图像的图像数据的基于JPEG2000格式的压缩和数据流传输在图像处理专业领域中是普遍公知的(例如参见Thomos，N.，Boulgouris，N.V.和Strintzis，M.G.：Wireless Transmission of Images Using JPEG 2000，在：Proceedings of IEEEInternational Conference on Image Processing，ICIP 2004，Singapur，S.2523-2526，October 2004)。此外市面上可得到的用于压缩医学立体数据的软件工具，如Aware公司的Aware JPEG 2000-3D，基于JPEG 2000格式。这些技术已经由Siemens公司的研发部门开发(例如参见Siegel，E.，Siddiqui，K.等人“Compressionof Multislice CT：2D vs.3D JPEG 2000 and Effects of Slice Thickness”，在：Proc.SPIE，Band 5748，S.162-170，Medical Imaging 2005：PACS and ImagingInformatics)。最后，非常大量的立体数据的可视化在利用特定于客户的图形硬件的数据压缩领域是计算机图形专业领域的当前主题(例如参见Guthe，S.和Strasser，W.，“Real-Time Decompression and Visualization of Animated VolumeData”，在：Proceedings of the Conference  on Visualization‘01(San Diego，Kalifornien，October 21.-26.，2001)，IEEE Computer Society，Washington，DC，S.349-356以及Schneider，J.和Westermann，R.，“Compression Domain volumeRendering”，在：Proceedings IEEE Visualization 2003)。
在US 6683933B2中公开了一种基于客户机/服务器的图像检索和图像着色系统，其具有与数据传输网络连接的显示屏客户机，该显示屏客户机具有适用于采集和分析由网络服务器接收的待显示对象的基于体素的3D图像数据(立体数据)的装置，用于对该3D图像数据就所显示对象的空间坐标和方向角、表面颜色和暗度进行后处理的装置，以及用于通过将经过后处理的立体数据投影到客户机显示屏的二维图像平面上来图像整理和三维图形可视化待显示对象的装置。该投影成像的参数值在此可以由使用者通过显示屏客户机的用户界面单独预先给定。
US2004/0179744A1描述了一种在基于客户机/服务器原理的数据传输系统中的数据传输方法，其中应当从服务器传送给客户机终端的图像数据在由服务器进行数据传输之前通过减少冗余而转换为分级的数据表示，从而该图像数据在客户机终端上根据通过减少冗余所达到的压缩率而以期望的、相应较低的分辨率被再现出来，并且以图形、着色的方式显示。为了再现出新的、更高分辨率的视图，客户机终端向服务器请求额外的数据，然后这些数据由服务器提供并通过计算机网络的数据传输线发送给所涉及的客户机终端。在此图像数据以分级的数据表示按照由多个分级层组成的“金字塔数据结构”形式存在，其中每个分级层分配有非冗余的、保存在服务器的存储区中数据(“增量变换数据”)，在由服务器要求了相应的小波系数并且事后加载到客户机终端的存储区中之后，利用这些数据可以将压缩的、具有特定最低分辨率的2D或3D图像数据例如借助小波分解根据期望的、由使用者预先给定的分级层逐个图像区域地补充为更高细节级别的图像数据(多比例显示)。
可以在URL http://vadl.cc.gatech.edu/documents/34 Yang-class5 multireex.pdf上访问到的Dr.Jing Yang于2005年秋季在Charlotte的North Carolina大学关于“An Introduction to Information Visualization Techniques for Exploring LargeDatabase”的讲课的讲座材料，讨论并互相对比了用于以多个细节级别(multi-resolution visualization多分辨率可视化，MRV)可视化二维或三维图像数据的传统技术，这些技术例如在基于视频点播或因特网的图像服务器应用中采用。在此例如讨论了借助小波分解产生多比例显示、用于借助3D纹理绘制再现待显示图像区域的不同分辨率的3D视图的立体着色技术，以及借助选择性的可细化累进网络(multi-resolution meshes多分辨率网格)进行图像数据压缩以显示可预先给定的细节级别的图像区域的手段。
B.Raman等人的专业杂志文章“Radiology on Handheld Devices：ImageDisplay，Manipulation，and PACS Integration Issues”(在RadioGraphics(RG)，Vo1.24，No.1，pp.299-310，RSNA 2004)涉及单手便携式个人数字助理(PDA)在远程放射学领域中的使用，以及涉及符合DICOM的、根据客户机/服务器原理工作的按照PACS标准的医疗技术的图像存档、图像检索和图像着色系统，其中PDA服务器作为图像数据库和多个与该系统连接的客户机PDA之间的网关工作，并且将所要求的、具有特定颜色深度和特定细节级别的图像数据传送给各个客户机，所述颜色深度和细节级别通过所采用的显示技术或各客户机PDA的显示屏分辨率(即通过每单位显示屏面积的像素个数)预先给定。
发明内容
从上述现有技术出发，本发明要解决的技术问题是简化工作流以实现为了在要求和传输进行图像着色所需要的压缩图像数据方面降低系统负荷程度而执行的减少基于客户机/服务器原理的图像存档、图像检索和图像着色系统的图像数据服务器和客户机终端之间的数据通信量，所述压缩数据是在显示屏客户机上显示不同细节级别的图像区域所需要的。
本发明相应于上述定义的技术问题提出了一种基于客户机/服务器的图像存档、图像检索和图像着色系统的显示屏客户机，用于采集、存储、调用和图形地可视化多维数字图像数据，以及一种由该显示屏客户机执行的用于调整待显示数字图像数据的细节级别方法的方法。该方法例如可以在临床领域对将要图形显示的图像数据进行医生检查诊断时使用，这些图像数据展示出待检查患者的器官的内部结构。
本发明的基本思想在于，对每次患者检查都在PACS数据库中存储唯一的一个以全分辨率存在的立体数据组。对立体数据的采集和分析通过客户机/服务器机制实现，其中不管立体数据的数量是多少，只显示到一个由在PACS工作站上工作的医生的当前要求预先给定的细节级别(LOD)的信息。这通过在服务器上测量的数据流压缩和立体数据存储以及接着向各个客户机的数据传输来实现，其中由特定于客户的图形硬件支持地逐步进行立体数据的再现和显示。在此，具有最大可能分辨率的数据总是可以在所有与PACS服务器连接的客户机上提供给医生。此外避免对数据不必要的冗余存储和传输。在PACS客户机上提供图像后处理功能，其中采用类似的客户机/服务器规则。这导致思路从目前的面向截面图像的PACS系统移向面向立体数据的PACS系统体系结构。
本发明尤其是涉及一种用于在基于客户机/服务器原理的图像存档、图像检索和图像着色系统的显示屏客户机上调用和图形可视化多维压缩图像数据的方法，其中通过该显示屏客户机从服务器向显示屏客户机传输所要求的、进行图像着色所需要的待显示对象的压缩立体数据并且以图形形式显示在该显示屏客户机上，该立体数据只具有直到特定的、随位置变化的、特定于区域或对象的细节级别。
待显示对象的随位置变化的、特定于区域或对象的细节级别在此可以取决于对象与显示屏客户机的显示屏面之前的定义观察点之间的投影深度距离。为了能够以特定于对象(也就是说对将要显示对象的所有空间点相同的，但是对不同的、与观察者之间的距离有差异的对象是不同的)的细节级别显示各个对象，例如可以采用用于分割这些对象的分割算法的结果数据来事后加载更高分辨率的、具有取决于对象与观察者之间距离的特定于对象的细节级别的立体数据。按照本发明还可以规定，所要求立体数据的位置变化的、特定于区域或对象的细节级别在由使用者执行的图像片段放大操作中以可由使用者定义的程度增大，以选择所显示对象的放大的显示比例。
图像着色所需要的待显示对象的压缩立体数据以成像系统预先给定的最精细的分辨率存储在由服务器管理并且只能由该服务器直接访问的数据库中。对立体数据执行的复杂的滤波算法、分割算法、集群算法、着色算法、特征提取算法和/或模式识别算法按照本发明是在服务器上执行的，而对该立体数据的开销较小的图像处理或图像后处理算法按照本发明是在显示屏客户机上执行的。
在显示屏客户机上，按照本发明执行图像检索和图像着色方法，该方法包括以下步骤：在将以图形形式显示的虚拟对象空间划分为具有预定形状和大小的立体单位，将该虚拟对象空间内并具有通过该立体单位的大小预先给定的细节级别的待图形显示对象的压缩立体数据从服务器加载过来，以及解压缩该立体数据之后，按照本发明首先以通过立体单位的大小预定的细节级别显示该虚拟对象空间以及位于其中的对象的视图。接着将对所涉及对象采用的虚拟对象空间的立体单位一直细分到取决于各对象与在显示屏客户机的显示屏面之前的观察点之间的距离的刻度深度，其中该细分的精细度按照本发明在观察点的方向上增加而在反方向降低，而且自动对对象的更高分辨率的、具有通过对象子单位的大小预定的细节级别的压缩立体数据连续从服务器事后加载过来，并逐步地解压缩。所显示对象的视图然后通过产生该对象具有通过各子单位预定的细节深度的更高分辨率的显示来逐步地得到细化。
在上述划分中，按照本发明采用树状结构的层次数据结构将虚拟对象空间划分为具有预定形状和大小的立体单位，这些立体单位使得可以只调用那些对应于同时由在显示屏客户机上工作的使用者采用的图像区域的立体数据。
按照本发明，服务器可用于压缩例如通过显示屏客户机请求的压缩格式的立体数据，该压缩格式对待显示对象的形状、表面纹理或对象结构的规律性进行编码。这种压缩格式例如可以是对通过显示屏客户机要求的立体数据的小波压缩。该立体数据按照本发明是用于对与时间无关或与时间有关的两维或三维光栅图形进行图像着色的数据。按照本发明，在此针对每个着色图像的立体数据存储所显示对象的位置变化的、特定于区域或对象的细节级别的函数值。
此外，本发明涉及一种基于客户机/服务器的图像存档、图像检索和图像着色系统的服务器，该服务器具有用于本地临时存储来自由服务器管理并且只能由该服务器直接访问的数据库的具有为该系统预定的最精细分辨率的压缩立体数据的装置，具有用于将该立体数据转换为具有位置变化的、取决于待显示对象与在显示屏客户机的显示屏面之前的定义观察点的投影深度距离的细节级别的低分辨率的数据格式的装置，以及用于压缩和提供转换为该数据格式的立体数据的装置。
本发明还涉及一种通过数据传输网络与基于客户机/服务器的图像存档、图像检索和图像着色系统的服务器连接的显示屏客户机，其中后者具有用于将以图形形式显示的虚拟对象空间划分为具有预定形状和大小的立体单位以及用于将这些立体单位连续细分为更小的子单位直到最大可达到的刻度深度的装置，其中该细分的精细度在观察方向上增加而在相反方向上降低。此外该显示屏客户机按照本发明还包括用于将设置在该虚拟对象空间内部并具有通过该立体单位的大小预定的细节级别的待图形显示对象的压缩立体数据从服务器加载过来，以及用于自动对该对象的更高分辨率的、具有通过子单位的大小预定的细节级别的压缩立体数据连续从服务器事后加载过来的装置，以及用于解压缩该立体数据的装置。此外，在显示屏客户机上按照本发明还设置用于按照通过立体单位的大小预定的细节级别显示虚拟对象空间以及位于其中的对象的视图，以及通过产生该对象具有通过各子单位预定的细节深度的更高分辨率的显示来逐步地细化所显示对象的视图的装置。
此外，本发明涉及一种用于存储、调用和图形可视化多维压缩图像数据的基于客户机/服务器的图像存档、图像检索和图像着色系统，其中通过显示屏客户机从服务器向该显示屏客户机传输所要求的、进行图像着色所需要的待显示对象的压缩立体数据并且以图形形式显示在该显示屏客户机上，该立体数据只具有直到特定的、随位置变化的、特定于区域或对象的细节级别。
待显示对象的随位置变化的、特定于区域或对象的细节级别在此还是可以例如取决于该对象与在显示屏客户机的显示屏面前的定义的观察点的投影深度距离。
图像着色所需要的待显示对象的压缩立体数据以为该系统预定的最精细的分辨率存储在由服务器管理并且只能由该服务器直接访问的数据库中。
最后本发明还涉及一种计算机软件程序产品，其用于在所述基于客户机/服务器的图像存档、图像检索和图像着色系统的显示屏客户机上运行时执行所述图像检索和图像着色方法。
附图说明
本发明的其它特性、特征、优点和应用由从属权利要求以及下面对本发明两个实施例的描述给出，该实施例绘制在附图中。
图1A示出用于说明本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统的系统体系结构的框图，
图1B示出用于说明在服务器或显示屏客户机上实现这种系统所需要的本发明系统部件的框图，
图2示出基于Web的地理信息系统(Google Maps)的用户界面，包括一个地理比例尺的不同显示比例的3个视图，用于忠实于比例地根据显示比例以不同的细节级别制图地显示地理区域，
图3示出磁共振图像，以二维地显示在待检查患者的腹部区域、骨盆区域和下肢的骨骼和肌肉组织的纵截面的划分后的立体数据，具有以虚线示出的四方形网格用于借助近似八角形的树结构说明所示图像区域划分为取决于相距观察者的距离的数量的、具有不同细节级别的待存储立体区域，
图4以7个不同的大小格式和7个不同的显示比例示出磁共振照片，从而以7个不同的细节级别二维显示所述骨骼和肌肉组织的立体数据(“MIP映射”机制)，
图5示出从基于Web的地理信息系统(Google Earth)中调出的一部分地表面的卫星照片的视图，用于以不同的显示比例和细节级别真实显示地理区域，
图6示出用于说明本发明所采用的借助近似八角形的树结构划分和自动细节级别设置待显示立体数据的解决方案，从而将对象空间连续细分为立方体形状的立体单位，其中以比空间上远离的对象更高的细节级别显示空间位置靠近观察者的对象。
具体实施方式
下面借助附图详细描述本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统的系统部件以及对应的本发明方法的步骤。在此没有限制一般性地提到服务器和多个显示屏客户机(也称为客户机工作站)，它们借助通信标准PACS通过数据传输网络彼此通信。本发明不仅可用于这种PACS系统，而且可普遍用于基于客户机/服务器的图像存档、图像检索和图像着色系统，因此与数据传输所基于的通信标准无关。
如图1A所示，按照本发明的图像存档、图像检索和图像着色系统围绕客户机/服务器体系结构构成，其中只有负责向多个显示屏客户机104传输立体数据的服务器102及其数据存储器103才可以直接访问全分辨率的立体数据。服务器102在此负责处理由客户机104引起的关于为产生的立体数据的特定图像区域调整细节级别的查询。在对这样的查询处理完之后，所涉及的立体数据就作为数据流传送给客户机104。读入该数据的客户机104在此对该立体数据进行逐步地解压缩，并例如以二维图像或用立体着色技术产生的三维图像再现的形式显示该立体数据。如果如图1A所示，客户机104具有图像整理功能，则服务器102提供图像整理服务，该服务使得可以在成功地将产生的立体数据以数据流的方式传输到客户机104之后进行精细的可视化。复杂的图像后处理算法，如滤波算法、分割算法或模式识别算法都在服务器102上执行，而开销较小的任务就在客户机104上解决。在此客户机104由按照本地图像整理模块105形式的特定于客户的图形硬件支持地执行图像整理方法。
在图1b中示出用于显示在服务器102上或在显示屏客户机104上实现本发明的图像存档、图像检索和图像着色系统所需要的系统部件的详细框图。从图中可以看出，具有为该系统预定的最精细分辨率的立体数据存储在只能由服务器102访问的外部图像存档103中，该立体数据是对在显示屏客户机104的显示屏106上以中等细节级别显示的多个对象604的光栅图像显示进行细化所需要的。所显示的光栅图像的细节级别在此通过显示屏客户机104的划分装置104c预先给定，通过该划分装置将待显示的虚拟对象空间细分为具有特定形状和大小的立体单位。在获得显示屏客户机104自动或者例如在使用者的图像片段放大操作过程中进行的用于提高分割后图像区域的分辨率的查询时，具有最精细可能的分辨率的立体数据通过输入/输出接口102a加载到服务器102的本地临时存储器102b中，并通过总线系统在服务器102的中央处理单元102c(CPU)发出对应的控制命令时发送给中央处理单元102c。服务器内部的中央处理单元102c计算所显示对象604的立体数据，并且根据各对象604与定义在显示屏客户机104的显示屏面之前的观察点601的距离将从外部图像存档103获得的立体数据转换为更高细节级别的立体数据，并将该处理的结果数据传送给压缩模块102d，在压缩模块中根据立体数据是静止图像数据还是运动图像数据来对该结果数据进行JPEG压缩或MPEG压缩。然后经过压缩的立体数据通过总线系统传送给服务器102的输入/输出接口102a，通过(未示出的)数据传输网络传送给显示屏客户机104的输入/输出接口104a，并且连续地由上述显示屏客户机104的加载装置加载。连续加载的立体数据断续地由解压缩模块104d解压缩，然后借助划分装置104c根据断续解压缩的立体数据的与位置有关的细节级别将待显示的虚拟对象空间细分为具有特定形状和大小的立体单位602c直到特定的、取决于为止的刻度深度。该细分的精细度在此在观察点601的方向上增加而在反方向上降低。在此期间，经过解压缩的立体数据根据本发明的第一实施例输入在显示屏客户机104上可用的本地图像整理模块105中，在此(在三维图像数据的情况下或在考虑时间相关性时则在四维图像数据的情况下)在该数据以通过加载的立体数据预定的、与位置有关的细节级别显示在显示屏客户机104的显示屏106上之前，借助投影成像将该立体数据转换为适合于二维显示在显示屏上的透视显示形式。如果显示屏客户机104的计算容量不足以在本地执行为此所需要的开销很大的图像着色和图像后处理过程，则根据本发明第二实施例同样由服务器102的中央处理单元102c执行。
在图1b中示出的服务器102例如将以多个不同的分辨率级别存在的划分数据根据由客户机104上的使用者当前所需要的细节级别提供给多个显示屏客户机104。这种机制与基于Web的地理信息系统如Google Maps或Google Earth一样地实现，在这些地理信息系统中高分辨率的地理数据存储在中央服务器上，并以不同显示比例的不同视图的形式作为地理比例尺(I，II，III)再现，以根据显示比例忠实于比例地以不同的细节级别制图地显示地理区域(参见图2)。从图2可以看出，该细节级别在此随着映射为比例尺I、II和III的地理区域的显示比例增加而增大。
客户机104在此可以与服务器102连接，而且就特定的图像区域和分辨率级别进行个性化的数据查询。本发明的图像检索系统基于这一思想，但是不是采用地理数据而是采用断层造影数据作为人体的三维“地图”。为了能够操作多个客户机104的查询以及在临床机构的正常运行区域内保持通过数据传输网络的数据通信量，必须在服务器102上执行高效的数据压缩方法。
另一个在确定由服务器102提供的服务时考察的方面是，由计算机支持的诊断工具在PACS客户机104上的可用性。在由计算机支持的诊断时采用的算法通常非常复杂而且带来很高的计算开销。为了将图像检索系统的效率保持在很高的水平以及同时对客户机104的涉及必需的硬件结构的要求保持在能够承受的程度，服务器102按照本发明提供用于执行滤波算法、分割算法、集群算法、着色算法、特征提取算法、模式识别算法和/或其它复杂图像处理算法的图像处理服务。
患者数据可以借助两种基本过程产生：通过在成像模态上产生扫描图像或者通过在各工作站上进行图像后处理。在第一种情况下，患者数据对应于属于一个或多个四维标量场
Figure A20071015478800171
的图像序列，该标量场具有函数规则
Figure A20071015478800172
(其中
Figure A20071015478800173
对于
Figure A20071015478800174
以及
Figure A20071015478800175
)
Figure A20071015478800176
)，其中n表示各标量场的下标号，参数向量表示在坐标原点为O的笛卡儿对象坐标系中补充了时间坐标t的三维位置向量
Figure A20071015478800178
该坐标系反映了一个待显示对象点P(x，y，z)的3个笛卡儿位置坐标x、y和z与时间t的关系。二维截面图像的图像数据以及借助放射成像方法获得的立体数据在此被看作动画3D光栅图形的特殊情况，下面也称为4D图像数据组或随时间变化的3D图像数据组。在此，通过图像后处理得到的图像数据也可以作为标量场或作为特殊数据类型的数据产生，例如用于对成像对象进行分割、显示变换或区域标记。在按照本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统中，对这些特殊的数据类型一般利用常见的压缩格式(zip，gzip，bzip2等)进行存储和传送。相反，立体数据则利用特殊的压缩格式存储，这种格式利用显示对象的形状、表面纹理或对象结构的规则性，并允许以数据流的形式逐步地传输经过压缩的图像数据。
本发明的用于压缩立体数据的方法涉及JPEG 2000文件格式的三维扩展，这种文件格式用于存储二维图像的图像数据。由于由相同立体数据组成的一个数据组的彼此连续的截面图像非常相似，因此对于借助放射学成像方法获得的立体数据组的压缩率很高。按照该压缩方法，对每次患者检查都在服务器上存储唯一的一个具有在再现时刻最大可提供的分辨率的数据组。另外，采用近似八角的树结构划分对象空间的立体数据，该树结构允许只调用那些对应于正好由在客户机104上工作的使用者使用的图像区域的数据。近似八角的树是一种层次数据结构，其通过连续细分为立方体形状的立体单位602c直到预定的刻度深度(例如直到单个体素)来描述对象空间602，所述立体单位分别由一半棱边长度的8个通过其侧面成对地彼此接壤的子立方体602a/b组成，并由次适合于通过立方体形状的空间细分用特定的细节级别、即用预定的区别程度显示真实或虚拟的对象602。借助这种近似八角形的树结构进行的将待显示对象空间划分为多个立体区域并且该立体区域要用取决于该立体区域与观察者之间的距离的不同细节级别存储的例子，通过图3中的磁共振照片的方向栅格网络示出，其中显示在待检查患者604的腹部区域、骨盆区域和下肢的骨骼和肌肉组织的纵截面。在这个例子中假定与观察者之间的距离最小的立体单位602a位于所示图像片段的左上角，与观察者之间的距离最大的立体单位602c位于所示图像片段的右下角。因此，在所示图像片段的左上角的方向上连续地更为精细地划分这些立体单位，该立体单位对应的图像区域在左上角的方向上以逐渐增大的分辨率存储，这通过与其余图像片段中没有细分的立体单位602c相比，通过连续的细分获得的左上角的立体单位602b或602a的棱边长度缩小了两倍或4倍来表示。
为了保持显示屏客户机104上的图像建立时间尽可能地短，属于不同细节级别的立体数据一直作为数据流传送给各个客户机104，直到达到产生图像所期望的分辨率为止。
这例如可以通过采用从存储的小波变换到JPEG 2000文件中包含的立体数据来实现。与纹理MIP映射(从multum in parvo中导出＝小型而内容丰富)类似，这是一种用于通过采用不同分辨率的纹理实现3D效果以真实地、多方面地显示近处对象和远处对象的表面的方法，借助该方法通过粗略的纹理避免近处对象的引起干扰的阶梯形效果和条纹，通过降低远处对象的纹理的细节级别来达到透视的深度效果，中等分辨率的立体数据、即具有由成像模态提供的细节级别的图像的立体数据可以没有进一步延迟地显示在客户机104的显示屏上，其中一旦由服务器102按照数据流的形式提供了为此所需的附加信息，就对该细节级别进行逐步地细化。
借助在其放置地点可用的计算操作装置105不能满足对由二维、三维或(在另外考虑时间相关性时)四维图像数据组成的数据流的采集、分析和处理的要求的客户机104，服务器102为其提供远程图像生成服务(在图1a中称为“图像整理服务”)。服务器102在此根据客户机104上进行的查询对具有不同细节级别的立体数据进行图形可视化。然后采用视频压缩格式将在服务器102上产生的图像数据以数据流的格式传送给客户机104。
按照本发明在服务器102上执行需要超出交错应用硬件的能力的数据处理能力的计算机支持的诊断任务，以便将客户机104上安装的系统的总计算功率保持在恒定的水平。作为分类为“服务器支持的”任务，由客户机104转换为要传送给服务器102的查询数据分组。服务器102接着对该数据执行所涉及的算法(例如滤波算法、分割算法或模式识别算法)，然后将该处理结果返回所涉及的客户机104。在此采用具有优先级的负载分配方法，该优先级是根据要完成的任务的复杂性来给定的，在该方法中由在客户机上提供的计算操作装置105(在图1a中称为“本地图像整理模块”)解决简单执行的任务。在计算操作装置的这种分派中，在客户机104上的处理持续时间肯定保持在一个将计算机支持的诊断工具集成到临床工作流程中所需要的时间窗内。
在本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统中，PACS工作站104用于完成对由二维、三维或(在另外考虑时间相关性时)四维图像数据组成的数据流的快速采集和分析，以及提供在使用者PC上运行的计算机支持的诊断工具。这在该显示屏客户机104上运行的、负责图像后处理的过程中是这样来达到的：委托在服务器102上进行复杂的任务，而更简单的任务现场地、即由所涉及的客户机本身来解决。借助在显示屏客户机104上运行的、负责采集和分析所接收的图像数据的过程，根据一个采用上面解释的存储机制的概念产生具有不同细节级别的二维图像的图像数据。用立体着色技术产生的具有三维和四维图像数据的3D图像再现要求一个针对立体数据的特殊的、基于纹理的图像处理模块与使用者图形硬件相结合。只要客户机硬件不能提供用于从包括二维、三维或四维图像数据的数据流出发进行图像生成的功能，按照本发明的图像检索系统就自动切换到远程图像生成模块，并且将从服务器102输入的图像数据以图形格式显示在客户机显示屏上。在这种机制中，所涉及的客户机104不需要由三维截面图像的图像数据来产生三维的图像再现，因为客户机可以访问其中各个截面图像的号码或其相应的分辨率没有什么意义的立体数据的数据组。使用者在此将一幅图像的图像数据认为是具有“无限分辨率”的图像，其中使用者可以不管相应数据量地透明地导航。
与数字地图服务(例如Map24、ViaMichelin、Google Earth等)类似，在这些服务中例如再现出一部分地表面的卫星照片的不同视图(I，II，III)以用不同的显示比例和细节级别现实地显示地理区域(参见图5)，客户机104在开始向服务器102请求具有比较粗略的细节级别的图像数据，以使得使用者能够辨别方位。只要使用者识别出他感兴趣的图像区域，他就对期望的图像片段执行图像片段放大操作或图像修剪操作。客户机104随后向服务器102进行涉及预先给定的图像片段和在各显示屏中最大可显示的细节级别的查询。由服务器102调用的图像数据部分在此对应于一个八角树的片段，这些片段涉及围绕一个边缘区域的感兴趣图像区域，从而可以实现在图像层面中以及与该平面正交地导航。如果使用者从开始调用的图像区域向外导航，则进行新的查询，并且更新的图像区域的图像数据被加载到客户机104上。在此各最新的数据查询本地临时存储在客户机104上的本地存储装置中，以便能够快速地调用使用者在此期间关联地检查的图像区域。
在本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统中，采用由使用者硬件支持的、基于纹理的针对立体数据的图像整理模块105来采集和分析由二维、三维或(在另外考虑时间相关性时)四维图像数据组成的数据流。在此，这是对Siemens公司的VRT系统Syngo 3D采用的图形处理器支持的图像整理模块的扩展。为了不管所采用的细节级别是什么也获得很高的图像建立速率，采用与用于在服务器102上存储立体数据的八角树结构类似的八角树结构将待检查的对象立体604划分为子立体。对于在观察时刻t0在客户机显示屏上显示整个对象立体的情况，为所有子立体采用来自不同分辨率的光栅图像序列中的一张具有比较粗略的细节级别的光栅图像，该光栅图像序列全部显示同一对象604(MIP地图)。这种“MIP地图”机制的例子在图4中示出，该图以7个不同的大小格式和7个不同的显示比例(I至VII)示出磁共振照片，用于以7个不同的细节级别(MIP水平)二维显示在待检查患者的腹部区域、骨盆区域和下肢的骨骼和肌肉组织的立体数据。如图4所示，细节级别在此随着成像在该磁共振图像上的身体部位的显示比例增加而增加，并由此随着磁共振图像的大小格式的增加而增大。为了能够以可预定的显示比例将磁共振图像显示在可预定的大小格式上，根据每个待显示立体区域与观察者之间的距离将不同细节级别的图像数据加载到显示屏客户机上，并在该显示屏客户机上以2D着色的形式图形地可视化，所述图像数据以八角树结构的形式作为不同大小的经过划分的立体单位存储在服务器上，其中靠近观察者的立体单位的图像边缘以比远离观察者的立体单位的图像边缘更大的细节级别显示。如果使用者对特定的图像区域执行图像片段放大操作，则由服务器102调用相应的图像数据部分，并且只对落入更新的相机透视区域中的子立体进行更新。然后根据对象和相机之间的距离采用不同细节级别的光栅图像。
该原理通过图6所示的图像说明，其示出本发明所采用的借助近似八角形的树结构划分和自动细节级别设置待显示立体数据的解决方案，从而将所显示的真实或虚拟的对象空间连续细分为立方体形状的立体单位602c直到预定的刻度深度。所述立体单位在此分别由一半棱边长度的8个通过其侧面成对地彼此接壤的子立方体602a/b组成。如图6所示，根据相机位置和待显示的真实或虚拟对象604之间的距离来对细节级别进行自动调整，其中在空间上靠近观察者601的停留地点(即相机位置)的对象以比远离观察者停留地点的对象更高的细节级别显示。出于这个原因，所示对象空间602向立方体形状的立体单位602a-c的细分以及由此所显示的真实或虚拟对象604的显示的差异性在观察者601的方向上(至少在其视角603内，即在可由相机采集的对象场景内)越来越精细。此外在本发明的图像检索系统中，在显示屏客户机104上执行用于对服务器102请求和着色的与时间有关的二维和三维图像数据进行采集和可视化的程序。
一般显示屏客户机根据现场安装的计算机硬件和软件的效率极限仅在有限的范围内提供图像后处理功能。因此按照本发明，现场仅执行更为简单的任务，这些任务可以借助现场、即在各客户机104的停留地点提供的图形处理器或借助客户机的中央处理单元在可期望的时间帧内解决(如简单的滤波运算)。复杂的任务，如模板识别或复杂的分割算法的执行以图像处理查询的形式委托服务器102进行。只要服务器102解决了所要求的任务，服务器就将获得的结果数据作为数据流传送给所涉及的客户机104，该客户机将结果数据在自己这一方现场显示出来。
除了目前PACS系统的检查诊断和书写报告功能之外，本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统还具有用于存储VRT参数的功能，该VRT参数保证计算机支持的诊断工具对细节级别设置的可再现性。如果治疗医生决定将图像后处理过程的结果数据存储在报告文件中以保证该检查的可再现性，在该报告文件中通常存储了检查结果数据以及进行CT或MRT拍摄的放射检查、检查参数和患者的基本数据，则所属的VRT参数值透明地存储在该报告文件中，并最终传送给服务器102。如果该报告文件在晚些时候加载到客户机104中，则本发明的图像检索系统将为计算机支持的诊断工具调用所属的细节级别设置，其使得可以继续在获得所存储的结果数据的时刻进行的检查。如果治疗医生例如将借助立体着色技术产生的图像的图像数据存储为该报告文件的一部分，则图像检索系统存储针对相应图像数据组的细节级别设置和感兴趣区域的图像数据，以及针对图像整理模块的VRT参数值(例如用于将待显示的真实或虚拟对象604的三维图像数据投影到客户机显示屏的二维图像平面上的投影成像的功能规定，用于描述所显示的对象场景的相机透视和/或照明的参数值等)。对于该报告文件在晚些时候重新被加载到客户机工作站中，而且使用者例如通过操作与客户机工作站连接的计算机鼠标的功能键来点击用立体着色技术产生的图像，则图像检索系统从服务器102调用具有在存储该报告文件之前最后显示的细节级别的有关立体数据，并借助预先给定的参数值利用立体着色技术产生该立体数据的透视3D显示，从而使用者可以继续在上次执行的时期、即在存储该报告文件的时刻进行的检查。
与根据现有技术的传统的PACS系统相比，上述基于客户机/服务器的图像检索方法的自动细节级别设置根据本发明带来了以下决定意义的优点：
由于对每次患者检查在服务器上只存储唯一的一个高分辨率立体数据组，因此所有连接到图像存档、图像检索和图像着色系统的治疗医生随时可以获取全分辨绿的图像数据。通过这种方式避免在客户机104上不必要地冗余存储不同分辨率的图像再现。此外，全分辨率图像数据透明地集成到临床工作流程中避免了诊断过程的令人厌烦的中断，而这在传统的、基于2D截面图像的处理的PACS系统中可能发生。相反在本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统中，治疗医生以由二维、三维或(在另外考虑时间相关性时)四维图像的形式感觉到患者检查的图像数据，而该图像是可以得到透明的检查的。
传统的基于截面图像的处理的PACS系统通过数据传输网络发送已执行的患者检查的全分辨率的图像数据。该解决方案对于多个使用者与PACS服务器连接的情况来说产生非常大的数据通信量，并由此产生增大的响应时间。与此相比，在本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统中借助考虑待显示立体数据的不同细节级别的智能的压缩和数据流传输格式将系统响应时间和通过数据传输网络引导的数据通信量保持为较低的值。通过这种方式，在显示屏客户机104上工作的医生不管以图形形式显示的图像数据的数据量有多大都会没有显著延迟地获得待产生图像的为两维显示准备的三维或四维图像数据。
目前可用的PACS系统可能通过检查过程的中断而使得临床工作流程难度增加，从而使治疗医生被迫重复已经在所涉及的客户机工作站104上进行的图像后处理步骤，或者在成像设备上执行具有更高分辨率的新的图像再现。本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统将图像后处理功能集成到PAXCS工作站104上，该功能使得治疗医生可以操作计算机支持的诊断工具而无需离开其工作岗位。通过这种方式避免临床工作流程的干扰源。
由于在本发明的基于客户机/服务器的图像存档、图像检索和图像着色系统中图像后处理功能在客户机104和服务器102之间分配，因此对客户机104的硬件要求在家用PC的功率范围内就足以在很多地点利用图像检索系统的完全效率，而不会导致额外的成本。此外还实现了利用计算机支持的诊断工具从多个PACS工作站104干预软件工具完全集成到临床工作流程的功能。

Claims (24)

1.一种用于在基于客户机/服务器原理的图像存档、图像检索和图像着色系统的显示屏客户机(104)上调用和图形可视化多维压缩图像数据的方法，其中，通过该显示屏客户机(104)从服务器(102)向显示屏客户机(104)传输所要求的、进行图像着色所需要的在待显示对象(604)的虚拟对象空间(602)中的压缩立体数据，并以图形形式显示在该显示屏客户机上，
其特征在于，显示屏客户机(104)自动将虚拟对象空间(602)根据待显示立体区域与在显示屏客户机(104)的显示屏面前的观察点(601)之间的深度距离划分(S1)为不同大小的立体单位(602a-c)，这些立体单位在观察点(601)的方向上按照定义的方式减小，加载(S2a)最粗略划分的、离观察者最远的立体区域的立体数剧组的较低分辨率的压缩图像数据，并且为在观察点(601)方向上越来越精细划分的立体区域的立体单位(602a)事后加载(S5c)在深度距离减小的方向上连续减弱压缩的更高分辨率的立体图像数据，然后随着该立体区域越来越靠近观察点(601)而用比较粗略划分的、远离观察者的立体区域的立体单位(602b+c)更高的随着位置变化的细节级别来显示该立体区域。
2.根据权利要求1所述的方法，其特征在于，所述从服务器(102)请求并以图形的、着色的形式显示在显示屏客户机(104)上的立体图像数据的随位置变化的细节级别是特定于对象区域或特定于对象的。
3.根据权利要求1或2所述的方法，其特征在于，待显示对象(604)的随位置变化的、特定于对象区域或特定于对象的细节级别取决于该对象与在显示屏客户机(104)的显示屏面前的观察点(601)之间的投影深度距离。
4.根据上述权利要求之一所述的方法，其特征在于，所要求立体数据的随位置变化的、特定于对象区域或对象的细节级别在由使用者执行的图像片段放大操作中以可由使用者定义的程度增大，以选择所显示对象(604)的更大的显示比例。
5.根据上述权利要求之一所述的方法，其特征在于，将图像着色所需要的待显示对象(604)的压缩立体数据以为所述系统预先给定的尽可能精细的分辨率存储在由服务器(102)管理并且只能由该服务器(102)直接访问的数据库(103)中。
6.根据上述权利要求之一所述的方法，其特征在于，在服务器(102)上对立体数据执行复杂的滤波算法、分割算法、集群算法、着色算法、特征提取算法和/或模式识别算法(S4a，S4b)，而在显示屏客户机(104)上对该立体数据执行开销较小的图像处理或图像后处理算法。
7.根据上述权利要求之一所述的方法，其特征在于包括以下步骤：
将以图形形式显示的虚拟对象空间(602)划分为具有预定形状和大小的立体单位(602c)，
将在该虚拟对象空间(602)内并具有由该立体单位(602c)的大小预先给定的细节级别的待图形显示的对象(604)的压缩立体数据从服务器(102)加载过来，并对该立体数据解压缩(S2b)，
以由立体单位(602c)的大小预先给定的细节级别来显示(S3)该虚拟对象空间(602)以及位于其中的对象(604)的视图，
将对所涉及对象采用的虚拟对象空间(602)的立体单位(602c)连续细分为更小的子单位(602a/b)直到取决于该对象与在显示屏客户机(104)的显示屏面前的观察点(601)之间距离的特定刻度深度，其中该细分的精细度在观察点(601)的方向上增加而在相反方向上降低，连续自动地将对象(604)的更高分辨率的、具有由对象子单位(602a/b)的大小预先给定的细节级别的压缩立体数据从服务器(102)事后加载过来，并对该立体数据逐步地解压缩(S5d)，以及然后通过产生该对象(604)的具有通过各子单位(602a/b)预先给定的细节深度的更高分辨率的显示来逐步地细化所显示对象(604)的视图。
8.根据上述权利要求之一所述的方法，其特征在于，采用树状结构的层次数据结构将虚拟对象空间(602)划分为具有预定形状和大小的立体单位(602c)，这些立体单位使得可以只调用那些对应于同时由在显示屏客户机(104)上工作的使用者采用的图像区域的立体数据。
9.根据上述权利要求之一所述的方法，其特征在于，所述服务器(102)用于压缩通过显示屏客户机(104)请求的压缩格式的立体数据，该压缩格式对待显示对象(604)的形状、表面纹理或对象结构的规律性进行编码。
10.根据权利要求9所述的方法，其特征在于，所述压缩格式是对通过显示屏客户机(104)要求的立体数据的小波压缩。
11.根据上述权利要求之一所述的方法，其特征在于，所述通过显示屏客户机(104)要求的立体数据是用于对与时间无关或与时间有关的两维或三维光栅图形进行图像着色的数据。
12.根据上述权利要求之一所述的方法，其特征在于，针对每个着色图像的立体数据存储所显示对象(604)的随位置变化的、特定于对象区域或特定于对象的细节级别的函数值。
13.根据上述权利要求之一所述的方法，其特征在于，所述基于客户机/服务器原理的图像存档、图像检索和图像着色系统是用于存档和传输医学立体数据的PACS系统。
14.一种基于客户机/服务器的图像存档、图像检索和图像着色系统的服务器，该服务器(102)的特征在于用于压缩(102d)和向显示屏客户机(104)提供(102a)由显示屏客户机(104)请求的、对虚拟对象空间(602)中的待显示对象(604)进行图像着色所需要的立体数据组的压缩图像数据的装置，其中该装置(102a+d)根据由显示屏客户机(104)进行的将虚拟对象空间(602)划分为到不同大小的、在位于显示屏客户机(104)的显示屏面之前的观察点(601)的方向上按照定义的方式逐渐减小的立体单位(602a-c)的划分，为在观察点(601)的方向上越来越精细划分的立体区域的立体单位(602a)提供连续减弱压缩的更高分辨率的立体图像数据。
15.根据权利要求14所述的服务器，其特征在于，所述由服务器(102)提供的立体图像数据的随位置变化的细节级别是特定于对象区域或特定于对象的。
16.根据权利要求14或15所述的服务器，其特征在于，所述服务器(102)具有以下系统部件：
用于本地临时存储来自由服务器(102)管理并且只能由该服务器直接访问的数据库(103)的、具有由成像系统预先给定的尽可能细的分辨率的压缩立体数据的装置(102b)，
用于将该立体数据转换为具有随位置变化的、取决于待显示对象(604)与在显示屏客户机(104)的显示屏面前的定义观察点(601)的投影深度距离的细节级别的较低分辨率的数据格式的装置。
17.一种通过数据传输网络与基于客户机/服务器的图像存档、图像检索和图像着色系统的服务器连接的显示屏客户机，其中该显示屏客户机(104)的特征在于具有用于将以图形形式显示的虚拟对象空间(602)划分为具有不同大小的立体单位(602a-c)直到最大可达到的刻度深度的装置(104c)，其中该细分的精细度随着到位于显示屏客户机(104)的显示屏面前的观察点(601)的深度距离的减小而以定义的方式增加，
用于将设置在该虚拟对象空间(602)内部并具有通过该立体单位(602c)的大小预先给定的细节级别的待图形显示对象(604)的压缩立体数据从服务器(102)加载过来，以及用于将该对象(604)的减弱压缩的、更高分辨率的、具有在深度距离减小的方向上增大的并通过在精细划分的靠近观察者的立体区域中的立体单位(602a+b)的大小预先给定的细节级别的立体数据连续地事后加载过来的装置(104b)，
用于解压缩该立体图像数据的装置(104d)，
用于显示虚拟对象空间(602)的视图的装置(105)，在该视图中随着越来越靠近观察点(601)而越来越精细划分的立体区域中的立体单位(602c)按照比更粗略划分的、远离观察者的立体区域的立体单位(602b+c)更大的随着位置变化的细节级别来显示。
18.根据权利要求17所述的显示屏客户机，其特征在于，所述由服务器(102)提供的立体图像数据的随位置变化的细节级别是特定于对象区域或特定于对象的。
19.一种用于存储、调用和图形可视化多维压缩图像数据的基于客户机/服务器的图像存档、图像检索和图像着色系统，其特征在于，通过数据传输网络与服务器(102)连接的显示屏客户机(104)，该显示屏客户机(104)自动将虚拟对象空间(602)根据待显示立体区域与在显示屏客户机(104)的显示屏面前的观察点(601)之间的深度距离划分(S1)为不同大小的立体单位(602a-c)，这些立体单位在观察点(601)的方向上按照定义的方式减小，加载(S2a)最粗略划分的、离观察者最远的立体区域的立体数剧组的较低分辨率的压缩图像数据，并且为在观察点(601)方向上越来越精细划分的立体区域的立体单位(602a)事后加载(S5c)在深度距离减小的方向上连续地衰减压缩的更高分辨率的立体图像数据，然后随着该立体区域越来越靠近观察点(601)而用比更粗略划分的、远离观察者的立体区域的立体单位(602b+c)更大的随着位置变化的细节级别来显示该立体区域。
20.根据权利要求19所述的基于客户机/服务器的图像存档、图像检索和图像着色系统，其特征在于，所述向服务器(102)请求并以图形的、着色的形式显示在显示屏客户机(104)上的立体图像数据的随位置变化的细节级别是特定于对象区域或特定于对象的。
21.根据权利要求19或20所述的基于客户机/服务器的图像存档、图像检索和图像着色系统，其特征在于，待显示对象(604)的随位置变化的、特定于对象区域或特定于对象的细节级别取决于该对象与在显示屏客户机(104)的显示屏面前的观察点(601)之间的投影深度距离。
22.根据权利要求19至21中任一项所述的方法，其特征在于，图像着色所需要的待显示对象(604)的压缩立体数据以为所述系统预先给定的尽可能细的分辨率存储在由服务器(102)管理并且只能由该服务器(102)直接访问的数据库(103)中。
23.根据权利要求22所述的基于客户机/服务器的图像存档、图像检索和图像着色系统，其以用于存档和传输医学立体数据的PACS系统形式存在。
24.一种计算机软件程序产品，其用于在按照权利要求19至23中任一项所述的基于客户机/服务器的图像存档、图像检索和图像着色系统的显示屏客户机(104)上运行时执行根据权利要求7所述的方法。
CN2007101547881A 2006-09-19 2007-09-19 利用图像着色系统的多维图像数据的细节级别设置 Expired - Fee Related CN101149842B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006043894.9 2006-09-19
DE102006043894A DE102006043894B3 (de) 2006-09-19 2006-09-19 Detailtiefenstufen-Einstellung mehrdimensionaler Bilddaten mit einem Client/Server-basierten Bildrenderingsystem

Publications (2)

Publication Number Publication Date
CN101149842A true CN101149842A (zh) 2008-03-26
CN101149842B CN101149842B (zh) 2012-07-11

Family

ID=38460573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101547881A Expired - Fee Related CN101149842B (zh) 2006-09-19 2007-09-19 利用图像着色系统的多维图像数据的细节级别设置

Country Status (3)

Country Link
US (1) US20080069458A1 (zh)
CN (1) CN101149842B (zh)
DE (1) DE102006043894B3 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976458A (zh) * 2010-10-15 2011-02-16 华中科技大学 应用于移动手持设备的医学图像三维可视化方法
CN102722912A (zh) * 2012-05-25 2012-10-10 任伟峰 一种三维虚拟现实场景中物体按层级加卸载的方法和装置
CN103080984A (zh) * 2010-06-30 2013-05-01 巴里·林恩·詹金斯 使用保守的线性化本影事件面来确定从区看去的可见性和进行基于增量pvs的内容流处理的系统及方法
CN103959288A (zh) * 2011-11-30 2014-07-30 诺基亚公司 用于基于web的增强现实应用查看器的方法和装置
CN104484895A (zh) * 2014-12-24 2015-04-01 天脉聚源（北京）科技有限公司 一种数据显示方法及装置
US9202178B2 (en) 2014-03-11 2015-12-01 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
US9424337B2 (en) 2013-07-09 2016-08-23 Sas Institute Inc. Number of clusters estimation
US9892546B2 (en) 2010-06-30 2018-02-13 Primal Space Systems, Inc. Pursuit path camera model method and system
US9916763B2 (en) 2010-06-30 2018-03-13 Primal Space Systems, Inc. Visibility event navigation method and system
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
US10095374B2 (en) 2012-05-25 2018-10-09 Weifeng Ren Method and device for clicking and selecting object in three-dimensional virtual reality scene
CN111984580A (zh) * 2020-08-05 2020-11-24 何泳岐 车辆总线数据的采集与消费方法及其相关设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8102865B2 (en) * 2008-05-16 2012-01-24 Microsoft Corporation Group based allocation of network bandwidth
US20100027074A1 (en) * 2008-07-31 2010-02-04 Sharp Laboratories Of America, Inc. Partition halftone for multi-tone level output device
WO2010091273A1 (en) * 2009-02-05 2010-08-12 The Research Fondation Of State University Of New York Method and system for transfer of image data files
US8639046B2 (en) * 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
DE102011079916B4 (de) * 2011-07-27 2013-08-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum progressiven Laden von medizinischen, mehrdimensionalen Bildern in eine medizinische Applikation
CN103092836B (zh) * 2011-10-28 2017-07-18 鸿富锦精密工业（深圳）有限公司 尺寸号定位系统及方法
JP5548671B2 (ja) * 2011-12-27 2014-07-16 株式会社ソニー・コンピュータエンタテインメント 画像処理システム、画像提供サーバ、情報処理装置、および画像処理方法
US9002126B2 (en) 2012-05-04 2015-04-07 Environmental Systems Research Institute (ESRI) Limited error raster compression
US9819964B2 (en) 2012-05-04 2017-11-14 Environmental Systems Research Institute, Inc. Limited error raster compression
US9591347B2 (en) * 2012-10-31 2017-03-07 Google Inc. Displaying simulated media content item enhancements on mobile devices
US9091628B2 (en) 2012-12-21 2015-07-28 L-3 Communications Security And Detection Systems, Inc. 3D mapping with two orthogonal imaging views
EP2767905A1 (en) * 2013-02-15 2014-08-20 Samsung Electronics Co., Ltd Terminal apparatus, server, browser of terminal apparatus operating system and method of operating browser
US9245376B2 (en) * 2013-05-14 2016-01-26 Roblox Corporation Lighting management in virtual worlds
WO2015154009A1 (en) * 2014-04-03 2015-10-08 Evolv Technologies, Inc. Partitioning for radar systems
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
KR20180025797A (ko) * 2016-09-01 2018-03-09 삼성전자주식회사 영상 스트리밍 방법 및 이를 지원하는 전자 장치
US11704850B2 (en) * 2017-04-07 2023-07-18 Formus Labs Limited System for transmitting and viewing a series of images
KR20220078298A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 적응적 증강 현실 스트리밍 제공 방법 및 이를 수행하는 장치
US20220319114A1 (en) * 2021-04-01 2022-10-06 Sony Group Corporation Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking
CN117764541A (zh) * 2024-02-22 2024-03-26 湖南必和必拓科技发展有限公司 一种基于三维可视化技术的交互式工厂管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711297B1 (en) * 1998-07-03 2004-03-23 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Methods and apparatus for dynamic transfer of image data
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
JP3766608B2 (ja) * 2001-05-02 2006-04-12 テラリコン・インコーポレイテッド ネットワーク環境における三次元画像表示装置
US7019742B2 (en) * 2003-11-20 2006-03-28 Microsoft Corporation Dynamic 2D imposters of 3D graphic objects
US7345688B2 (en) * 2004-10-18 2008-03-18 Microsoft Corporation Semantic thumbnails
US7382381B2 (en) * 2004-10-22 2008-06-03 Hewlett-Packard Development Company, L.P. Graphics to video encoder
CA2533381A1 (en) * 2005-01-20 2006-07-20 Dan Lynch A wall panel joint apparatus and system using same

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9916763B2 (en) 2010-06-30 2018-03-13 Primal Space Systems, Inc. Visibility event navigation method and system
US9472019B2 (en) 2010-06-30 2016-10-18 Primal Space Systems, Inc. System and method of from-region visibility determination and delta-PVS based content streaming using conservative linearized umbral event surfaces
CN103080984B (zh) * 2010-06-30 2017-04-12 巴里·林恩·詹金斯 确定从视区看去可见的网格多边形或所述网格多边形的分段的集合的方法及系统
CN103080984A (zh) * 2010-06-30 2013-05-01 巴里·林恩·詹金斯 使用保守的线性化本影事件面来确定从区看去的可见性和进行基于增量pvs的内容流处理的系统及方法
US9892546B2 (en) 2010-06-30 2018-02-13 Primal Space Systems, Inc. Pursuit path camera model method and system
CN101976458A (zh) * 2010-10-15 2011-02-16 华中科技大学 应用于移动手持设备的医学图像三维可视化方法
CN103959288A (zh) * 2011-11-30 2014-07-30 诺基亚公司 用于基于web的增强现实应用查看器的方法和装置
US9870429B2 (en) 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
US10095374B2 (en) 2012-05-25 2018-10-09 Weifeng Ren Method and device for clicking and selecting object in three-dimensional virtual reality scene
CN102722912B (zh) * 2012-05-25 2015-11-25 任伟峰 一种三维虚拟现实场景中物体按层级加卸载的方法和装置
CN102722912A (zh) * 2012-05-25 2012-10-10 任伟峰 一种三维虚拟现实场景中物体按层级加卸载的方法和装置
US9424337B2 (en) 2013-07-09 2016-08-23 Sas Institute Inc. Number of clusters estimation
US9202178B2 (en) 2014-03-11 2015-12-01 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
CN104484895A (zh) * 2014-12-24 2015-04-01 天脉聚源（北京）科技有限公司 一种数据显示方法及装置
CN107950017A (zh) * 2016-06-15 2018-04-20 索尼公司 图像处理设备、图像处理方法以及摄像设备
CN111984580A (zh) * 2020-08-05 2020-11-24 何泳岐 车辆总线数据的采集与消费方法及其相关设备
CN111984580B (zh) * 2020-08-05 2022-08-16 何泳岐 车辆总线数据的采集与消费方法及其相关设备

Also Published As

Publication number Publication date
US20080069458A1 (en) 2008-03-20
DE102006043894B3 (de) 2007-10-04
CN101149842B (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
CN101149842B (zh) 利用图像着色系统的多维图像数据的细节级别设置
US8497861B2 (en) Method for direct volumetric rendering of deformable bricked volumes
EP0412748B1 (en) Methods and apparatus for generating three-dimensional images
CN102197649B (zh) 三维图像数据的动态传送
CN100452067C (zh) 一种医学图像数据传输与三维可视化的实现方法
US7689539B2 (en) Systems for fast efficient retrieval of medical image data from multidimensional data sets, related methods and computer products
US8659602B2 (en) Generating a pseudo three-dimensional image of a three-dimensional voxel array illuminated by an arbitrary light source by a direct volume rendering method
US20050237336A1 (en) Method and system for multi-object volumetric data visualization
US20060056680A1 (en) 3D volume construction from DICOM data
US20120250956A1 (en) Method, apparatus and computer program product for normalizing and processing medical images
US7876940B2 (en) Universal image processing
Ponto et al. Giga-stack: A method for visualizing giga-pixel layered imagery on massively tiled displays
Tran et al. A research on 3D model construction from 2D DICOM
Wilson et al. Interactive multi-volume visualization
CN104395927B (zh) 用于将存储在第一存储器中的图像数据加载到第二存储器中的方法、系统和设备
Sohn et al. Volumetric video compression for interactive playback
Piccand et al. Region of interest and multiresolution for volume rendering
Goldwasser et al. Real-time display and manipulation of 3-D CT, PET, and NMR data
Chen et al. BlueLight: an open source DICOM viewer using low-cost computation algorithm implemented with javascript using advanced medical imaging visualization
Brady et al. Information flow in streaming 3d video
Li et al. R4: a client server architecture oriented open three dimensional reconstruction layered reference model for medical images
Tiwari et al. Web-based volume visualization of 3d medical data using slice streaming method
Kalem et al. Adaptive sampling for real-time rendering of large terrain based on B-spline wavelet
Ai et al. Reconstruction and exploration of three-dimensional confocal microscopy data in an immersive virtual environment
Saladi et al. Texture-based 3D brain imaging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120711

Termination date: 20150919

EXPY Termination of patent right or utility model