CN117795560A - 视觉数据传输系统、显示系统及其操作方法 - Google Patents

Abstract

根据一方面，本发明提供了一种操作视觉数据传输系统的计算机实现的方法。该方法包括：处理(901)主体的三维3D图像序列，以便生成表示主体的第一二维2D图像序列的第一2D图像数据，其中2D图像是主体的在穿过3D图像的2D图像平面中的图像，并且表示第一2D图像数据的数据量小于表示3D图像的数据量，第一2D图像数据是根据3D图像生成的；将第一2D图像数据发送(903)到显示系统，以便通过显示系统显示主体的第一2D图像序列；接收(905)来自显示系统的2D图像平面调整指示，其中2D图像平面调整指示指示出所需的2D图像平面的旋转和/或平移；处理(907)该3D图像序列和/或另一3D图像序列，以便生成表示主体的第二2D图像序列的第二2D图像数据，其中第二2D图像序列中的2D图像是主体的在旋转和/或平移后的2D图像平面中的图像；以及将第二2D图像数据发送到显示系统，以便通过显示系统显示主体的第二2D图像序列。

Description

视觉数据传输系统、显示系统及其操作方法

技术领域

本发明涉及一种视觉数据传输系统、显示系统及其操作方法，尤其涉及主体的三维(3D)图像序列的处理，以便生成主体的二维(2D)图像序列以供显示。

背景技术

WO 2017/212063 A1描述了一种医学成像和可视化系统，该系统提供用户界面，使用户能够可视化三维(3D)数据集的体积渲染，并操纵体积渲染，以便动态地选择3D数据集的MPR平面，从而在动态选择的MPR平面处生成B模式图像。在一些示例中，3D数据集被渲染为体积的2D投影，且用户控件能使用户能够动态地移动MPR平面的位置，同时显示器更新体积的渲染，以指示MPR平面和/或相应的B模式图像的当前位置。

超声(US)成像被超声技师和医生用于诊断各种健康状况，例如心脏状况。与其他类型的医学成像相比，超声成像具有许多优点，例如不存在电离辐射，可以以非侵入性和非侵入式的方式获得图像。US成像可用于获得主体的3D图像数据，即可用于显示主体的3D图像的数据，该3D图像可旋转，以便从不同视角观察主体。3D图像数据也被称为“3D体积数据”。

根据利用超声对患者的心脏(或其他)状况进行的连续监测，可以产生许多新的或有用的临床见解。因此，可以从单个患者身上实时收集多个数据流。虽然这些数据流可以给医生提供关于患者状况的及时、重要的了解，但数据量可能是让人混淆的，而且缺乏上下文信息(context)。尤其是，与其他医学成像模式相比，超声图像的解读通常被视为一项复杂的任务。因此，基于智能图像分析和信号处理算法的用于(图像)数据可视化的新工具和方法已经出现。

在患者监护系统中，以连续方式实时地流式传输的3D图像数据的量可能非常大，这意味着处理该系统的内部和外部数据传输带宽可能是一个挑战。因此，不同子系统之间的数据传输可能会出现瓶颈。在这种情况下，不可能再采用直接的“蛮力(brute force)”数据传输方法(即传输所有数据的方法)，且系统架构师必须提出智能解决方案/工作流程，以便减少必须在子系统之间传输的数据量。

数据传输带宽并不是阻碍将3D数据流式传输到一定子系统的唯一问题。另一个问题是子系统的有限的计算能力。如果子系统的计算能力不足以处理和显示该数据，那么就没有必要将该数据流传输到该子系统。

在当前的(心脏)监护系统中，瓶颈通常是生成超声图像的子系统与显示该图像的患者监护仪之间的外部链接，因为连接两个子系统的线缆的传输带宽可能小于流式传输3D图像数据所需的带宽。在其他系统中，内部或外部数据带宽可能受到线缆或无线连接的限制。因此，超声3D体积数据通常无法在两个子系统之间连续地实时传输，且图像交换仅限于流式传输从3D图像数据中提取的2D视频序列。这些视频序列可包括相关的图像切片(即在3D图像数据中观察到的穿过3D主体的平面)，以及附加的叠加信息，如器官轮廓、测量值、颜色编码等。

发明内容

在临床实践中，显示系统的用户通常希望改变当前显示的2D视频流的解剖结构视图，以便从不同的视角观察主体。这被称为与3D图像数据的3D图像交互，这种3D图像交互的示例是重新调整在2D视频流中的心脏的定向(orientation)，从而导致穿过3D体积数据的不同的切割平面/图像平面。然而，目前的系统并没有提供这样的机制，即，通过该机制使显示系统的用户能够在显示系统处执行这种3D交互，而显示系统正在显示根据3D图像数据远程确定的2D视频序列。因此，需要一种在不直接访问实际的3D图像数据的情况下允许3D图像交互的解决方案。

本发明由独立权利要求限定。从属权利要求限定了有利的实施例。

根据第一具体方面，本发明提供了一种操作视觉数据传输系统的计算机实现的方法。该方法包括处理主体的三维3D图像序列，以便生成表示主体的第一二维2D图像序列的第一2D图像数据，其中2D图像是主体的在穿过3D图像的2D图像平面中的图像，并且表示第一2D图像数据的数据量少于表示3D图像的数据量，第一2D图像数据是根据3D图像生成的；将第一2D图像数据发送至显示系统，以便通过显示系统显示主体的第一2D图像序列；从显示系统接收2D图像平面调整指示，其中2D图像平面调整指示指示出所需的2D图像平面的旋转和/或平移；处理该3D图像序列和/或另一3D图像序列，以便生成表示主体的第二2D图像序列的第二2D图像数据，其中第二2D图像序列中的2D图像是在旋转和/或平移后的2D图像平面中的主体图像；以及将第二2D图像数据发送至显示系统，以便显通过示系统显示主体的第二2D图像序列。

根据第二方面，提供了一种操作显示系统的计算机实现的方法。该方法包括从视觉数据传输系统接收表示主体的第一二维2D图像序列的第一2D图像数据，其中2D图像是主体的在穿过主体的三维3D图像的2D图像平面中的图像；显示第一2D图像序列；从显示系统的用户接收用户输入，其中用户输入指示所需的2D图像平面的旋转和/或平移；向视觉数据传输系统发送2D图像平面调整指示，其中2D图像平面调整指示指示出所需的2D图像平面的旋转和/或平移；从视觉数据传输系统接收表示主体的第二2D图像序列的第二2D图像数据，其中第二2D图像序列是主体的在旋转和/或平移后的2D图像平面中的图像；以及显示第二2D图像序列。

根据第三方面，提供了一种计算机程序产品，该计算机程序产品包括计算机可读介质，该计算机可读介质具有包含在其中的计算机可读代码，该计算机可读代码被配置成在由合适的计算机或处理器执行时致使该计算机或处理器执行根据第一方面、第二方面或其任意实施例所述的方法。

根据第四方面，提供了一种视觉数据传输系统，该视觉数据传输系统包括处理单元和接口电路。视觉数据传输系统配置为：使用处理单元处理主体的三维3D图像序列，以便生成表示主体的第一二维2D图像序列的第一2D图像数据，其中2D图像是主体的在穿过3D图像的2D图像平面中的图像，并且表示第一2D图像数据的数据量少于表示3D图像的数据量，第一2D图像数据是根据该3D图像生成的；通过接口电路将第一2D图像数据发送至显示系统，以便通过显示系统显示主体的第一2D图像序列；通过接口电路从显示系统接收2D图像平面调整指示，其中2D图像平面调整指示指示出所述的2D图像平面的旋转和/或平移；使用处理单元处理该3D图像序列和/或另一3D图像序列，以便生成表示主体的第二2D图像序列的第二2D图像数据，其中第二2D图像序列中的2D图像是主体的在旋转和/或平移后的2D图像平面中的图像；以及通过接口电路将第二2D图像数据发送至显示系统，以便通过显示系统显示主体的第二2D图像序列。

根据第五方面，提供了一种显示系统，该显示系统包括显示屏和接口电路。显示系统被配置为：通过接口电路接收来自视觉数据传输系统的表示主体的第一二维2D图像序列的第一2D图像数据，其中2D图像是主体的在穿过主体的三维3D图像的2D图像平面中的图像；使用显示屏显示第一2D图像序列；通过接口电路接收来自显示系统的用户的用户输入，其中用户输入指示出所需的2D图像平面的旋转和/或平移；通过接口电路向视觉数据传输系统发送2D图像平面调整指示，其中2D图像平面调整指示指示出所需的2D图像平面的旋转和/或平移；通过接口电路从视觉数据传输系统接收表示主体的第二2D图像序列的第二2D图像数据，其中第二2D图像序列是主体的在旋转和/或平移后的2D图像平面中的图像；以及使用显示屏显示第二2D图像序列。

根据第六方面，提供了一种成像系统，该成像系统包括根据第四方面或其任意实施例所述的视觉数据传输系统和根据第五方面或其任意实施例所述的显示系统中的一者或两者。在一些实施例中，该成像系统还可包括图像获取系统，该图像获取系统被配置为获得主体的3D图像序列。

这些方面和其他方面将从下文描述的实施例中变得明显，并将参照下面描述的实施例得以阐明。

附图说明

现在将仅以举例的方式参照以下附图来描述示例性实施例，其中：

图1是可应用本文所描述的技术的系统的框图；

图2是图1的系统的基于超声的实施例的框图；

图3是根据各种实施例的视觉数据传输系统的框图；

图4是根据各种实施例的显示系统的框图；

图5是例示根据各种实施例的方法的流程图；

图6(a)是2D超声图像，其表示穿过心脏的3D超声图像的切割平面，图6(b)示出了叠加在图6(a)的2D超声图像上的心脏的3D模型；

图7(a)和(b)是心脏的3D模型在不同定向上的示图；

图8是处于穿过3D模型的初始位置/定向和处于调整后的位置/定向的2D切割平面的示图；

图9是例示根据各种实施例的操作视觉数据传输系统的方法的流程图；以及

图10是例示根据各种实施例的操作显示系统的方法的流程图。

具体实施方式

如上所述，当前的超声(US)系统(和其他类型的3D成像系统)只允许显示系统的用户查看由远程系统根据3D图像数据确定的2D视频序列；用户无法操纵3D图像数据的2D视图。因此，本文描述的技术使用户能够进行3D图像交互，并在显示出的2D序列中观察交互的结果，而无需直接访问实际的3D图像数据。

图1是可应用本文所述的技术的成像系统1的框图。成像系统1包括图像获取系统(或子系统)2、视觉数据传输系统(或子系统)3和显示系统(或子系统)4。视觉数据传输系统3通过连接5向显示系统4提供图像序列，显示系统4显示该图像序列。替代性地，视觉数据传输系统3可通过连接5向显示系统4提供图像数据，显示系统4可根据该图像数据重建图像序列并显示该图像序列。

图像获取系统2被用于获取3D图像数据，因此图像获取系统2包括用于获得主体或主体的一部分的3D图像数据的一个或多个探头、扫描仪或其他传感器。主体可以是人类身体、动物身体或物体。主体的一部分可以是肢体、头部、内部器官(如心脏、肺、膀胱、肾脏、肝脏等)、躯干或腹部(例如，包括在这些身体部位内的内部器官)中的任何一个。3D图像数据是一组表示3D体积随时间变化的图像的数据。图像获取系统2可以使用超声来获取3D图像数据，或者可以使用任何其他合适的技术，例如实时3D磁共振(MR)。视觉数据传输系统3处理获取到的3D图像数据。视觉数据传输系统3可在获取3D图像数据时对3D图像数据进行处理，即实时或尽可能接近实时地处理3D图像数据。

如上所述，通过连接5将3D图像数据或从3D图像数据中得到的3D图像传递或流式传输到显示系统4是不期望的，或者说是不可能的。因此，根据本文描述的技术，视觉数据传输系统3处理3D图像数据(其包括主体的3D图像序列)以生成2D图像数据(其表示主体的2D图像序列)。2D图像是主体的在穿过3D体积的2D图像平面中的图像。2D图像数据由比3D图像序列明显更小的数据量来表示，该2D图像数据是根据该3D图像序列确定的，因此2D图像数据更适合通过连接5来传递或流式传输。2D图像数据可以是2D图像(视频序列的帧)序列，例如2D视频流，或者2D图像数据可以是使显示系统4能够重建2D图像(帧)序列的数据。例如，2D图像数据可包括第一2D图像(即2D视频序列的帧)和指示视频序列的后续图像/帧与第一2D图像如何不同的数据。这样，显示系统4可以根据第一2D图像和2D图像数据重建该序列中的在第一2D图像之后的下一2D图像。另一2D图像数据可指示下一图像/帧与重建的2D图像如何不同。这种技术可被称为基于运动矢量场的方法。本领域的技术人员会意识到以数据高效的方式向显示系统4传递2D图像序列的信息的其他方法，以及显示系统4可根据2D图像数据重建2D图像序列的其他方法。

2D图像数据被流式传输或发送到显示系统4，以便能够向显示系统4的用户显示2D图像序列，例如使用显示屏或监视器。显示系统4使用户能够输入所需的在主体的3D图像中的2D图像平面的旋转和/或平移，并将用户输入或表示用户输入的信号发送到视觉数据传输系统3。

视觉数据传输系统3根据所需的2D图像平面的旋转和/或平移来处理3D图像数据，以便根据所需的2D图像平面生成2D图像数据，并将该2D图像数据发送至显示系统4以显示给用户。这样，显示系统4的用户能够进行3D图像交互，并在显示出的2D序列中观察交互的结果，而无需直接访问实际的3D图像数据本身。

视觉数据传输系统3从3D图像数据中确定所谓的“替换数据”，该替换数据是3D图像数据的内容(或内容的一部分)的3D表示，但替换数据具有明显少于相应的3D图像数据的数据量，且该替换数据被发送至显示系统。替换数据可以呈低分辨率的3D模型的形式，如网格模型、分割模型和三角形网格模型。根据替换数据确定3D表示，并将其显示给显示系统4的用户。用户可使用显示出的3D表示来指示所需的2D图像平面的旋转和/或平移，且代表该用户输入的数据被发送到视觉数据传输系统3，以便在3D图像数据上运行。代表用户输入的数据可以呈旋转矩阵、与网格模型中的重要点(如网格模型的重心)相关的平移矢量等形式。

因此，视觉数据传输系统3可以发送数据以促进在显示系统4处的3D交互，即不是3D图像数据本身，而是数据量减少的替换数据，例如反映3D图像数据的内容的替换数据，如心脏的3D分割网格。替换数据的交换可以不必是连续的或实时的(尽管如果替换数据是实时发送的，则它可以表示主体或主体的一部分的实际形状/状态，例如心脏跳动期间心脏的变形)，而且不必每次新的交互都要进行新的替换数据交换。替代性地，促进在显示系统4处的的3D交互的数据可以是3D图像数据中主体或主体的一部分的类型的指示，显示系统4可以显示主体或主体的一部分的预定模型，且用户可以与该预定模型交互，以指示所需的旋转和/或平移。

显示系统4接收基于3D图像数据的2D图像数据(例如，2D图像序列或可使显示系统4构建2D图像序列的数据)。2D图像数据可以是基于3D图像数据的(例如连续的)数据流，并且可以包括用于叠加在主体或主体的一部分的2D图像上的附加信息，例如测量值、标签、颜色编码等。

根据来自用户的输入，显示系统4将表示或指示所需的旋转或平移的数据发送到视觉数据传输系统3，使得视觉数据传输系统3可以确定或计算主体或主体的一部分的更新的2D可视化表示。因此，旋转或平移可在无需在视觉数据传输系统3和显示系统4之间交换3D图像数据的情况下实现。相反，用于操纵(旋转和/或平移)3D图像数据的被交换的数据可以是例如用于计算2D可视化表示的参数集，例如同质转移矩阵或平移矢量。

采用上述方法，显示系统4所需的计算能力大大低于视觉数据传输系统3所需的计算能力，同时仍能让显示系统4的用户实时或接近实时地观察和操纵2D图像。这样可使显示系统4被实现为例如台式电脑、笔记本电脑、患者监护设备、患者监护仪、床边监视器、平板电脑、智能手机、智能手表等的电子设备。

图2是图1的系统的基于超声的实施例的框图。图中详细示出了超声成像系统1的图像获取系统2、视觉数据传输系统3和显示系统4中的每一个。

图像获取系统2包括阵列换能器探头6、换能器阵列7、二维换能器阵列8、微波束成形器12、开关16、换能器控制器18、主波束成形器20、用户界面或控制面板38和DC偏压控件45。

视觉数据传输系统3包括信号处理器22、B模式处理器26、多普勒处理器28、图像处理器30、扫描转换器32、量化处理器34、图形处理器36、控制面板38(或独立于图像获取系统2中的控制面板38的单独控制面板)、体积渲染器42和多平面重整器44。

显示系统4包括显示屏40和控制面板或用户界面46。

阵列换能器探头6具有用于发射超声波和接收回波信息的换能器阵列7。换能器阵列7可包括CMUT换能器；由比如PZT或PVDF等材料形成的压电换能器；或任何其他合适的换能器技术。在本示例中，换能器阵列7是能够扫描关注区域的三维体积的二维换能器阵列8，。

换能器阵列7与微波束成形器12相联，微波束成形器控制通过换能器元件实现的对信号的接收。如美国专利5,997,479(Savord等人)、6,013,032(Savord)和6,623,432(Powers等人)中所述，微波束成形器至少能够对由子阵列(通常称为“群组”或“片块”)接收的信号进行部分波束成形。

应注意的是，微波束成形器完全是可选的。此外，系统1包括发射/接收(T/R)开关16，微波束成形器12可以联接到该开关上，该开关可以使阵列在发射模式和接收模式之间切换，并在不使用微波束成形器且换能器阵列由主系统波束成形器直接操作的情况下，保护主波束成形器20免受高能发射信号的影响。来自换能器阵列7的超声波束的发射由换能器控制器18引导，该换能器控制器通过T/R开关16和主发射波束成形器(未显示)与微波束成形器联接，可接收来自用户对用户界面或控制面板38的操作的输入。控制器18可包括发射电路，其被布置成用于在发射模式下驱动阵列7的换能器元件(直接或通过微波束成形器)。

在典型的逐行成像序列中，探头内的波束成型系统可按如下方式运行。在发射期间，波束成形器(其可以是微波束成形器，或主系统波束成形器，这取决于实施方式)激活换能器阵列或换能器阵列的子孔径。子孔径可以是一维的一行换能器，或可以是大阵列中的换能器的二维片块。在发射模式下，由该阵列或该阵列的子孔径产生的超声波束的聚焦和转向被如下所述进行控制。

在接收到来自受试者的后向散射回波信号后，接收到的信号经历接收波束成形(如下所述)，以便对齐接收到的信号，且在使用子孔径的情况下，子孔径会被移位，例如移位一个换能器元件。然后，移位的子孔径被激活，然后重复该过程，直到换能器阵列的所有换能器元件都已被激活。

对于每行(或子孔径)，用于形成最终超声图像的相关行的总的接收到的信号将是由给定子孔径的换能器元件在接收期间测量到的电压信号的总和。经过下面的波束成形过程后得到的行信号通常被称为射频(RF)数据。然后，由各个子孔径产生的每行信号(RF数据集)经历附加的处理，以生成最终超声图像的行。行信号的振幅随时间的变化将导致超声图像的亮度随深度的变化，其中高振幅峰值将对应最终图像中的亮像素(或像素集合)。在行信号的开始处附近出现的峰值将代表来自浅层结构的回波，而在行信号中后期逐渐出现的峰值将代表来自受试者内部增加的深度处的结构的回波。

由换能器控制器18控制的功能之一是波束被转向和聚焦的方向。波束可被转向成从换能器阵列正向前(正交于换能器阵列)，或可被转向到不同的角度，以获得更宽的视场。发射波束的转向和聚焦可作为换能器元件致动时间的函数进行控制。

一般超声数据获取可分为两种方法：平面波成像和“波束转向”成像。这两种方法的区别在于发射模式(“波束转向”成像)和/或接收模式(平面波成像和“波束转向”成像)中存在波束成形。

首先来看聚焦功能，通过同时激活所有换能器元件，换能器阵列产生平面波，该平面波在其穿过受试者时发散。在这种情况下，超声波的波束仍然保持未聚焦。通过给换能器的激活引入一个与位置相关的时间延迟，可以使波束的波前汇聚到期望的点(被称为焦点区)。焦点区被定义为横向波束宽度小于发射波束宽度的一半的点。这样，最终超声图像的横向分辨率得到改善。

例如，如果时间延迟导致换能器元件串联激活，从换能器阵列的最外围元件开始，到换能器阵列的中心元件处结束，则会在与探头相距给定距离的位置处形成焦点区，与中心元件保持一致。焦点区与探头的距离将随后续的每一轮换能器元件激活之间的时间延迟而改变。在波束通过焦点区后，波束将开始发散，从而形成远场成像区域。需注意的是，对于靠近换能器阵列的焦点区，超声波束将在远场中迅速发散，从而导致最终图像中出现束宽伪影。通常，位于换能器阵列和焦点区之间的近场由于超声波束中重叠较多而显示出较少细节。因此，改变焦点区的位置会导致最终图像的质量发生显著变化。

需注意的是，在发射模式中，除非将超声图像划分为多个焦点区(每个焦点区可有不同的发射焦点)，否则仅可限定一个焦点。

此外，在从受试者内部接收回波信号后，可以执行上述过程的逆过程，以便执行接收聚焦。换句话说，进入的信号可以由换能器元件接收，并在进入该系统进行信号处理之前经历电子时间延迟。最简单的示例被称为延迟叠加波束成形。可以根据时间动态地调整换能器阵列的接收聚焦。

现在来看波束转向的功能，通过对换能器元件正确应用时间延迟，可以在超声波束离开换能器阵列时赋予超声波束预期的角度。例如，通过激活换能器阵列的第一侧的换能器，然后依在该阵列的相反侧终止的次序激活其余换能器，波束的波前将朝向第二侧倾斜。相对于换能器阵列的法线的转向角的大小取决于后续换能器元件激活之间的时间延迟的大小。

此外，还可以聚焦经转向的波束，其中应用于每个换能器元件的总时间延迟是聚焦时间延迟和转向时间延迟两者的总和。在这种情况下，换能器阵列被称为相控阵列。

在需要DC偏压来激活的CMUT换能器的情况下，可将换能器控制器18联接到用于换能器阵列的DC偏置控件45。DC偏置控件45设置被施加到CMUT换能器元件上的DC偏压。

对于换能器阵列的每个换能器元件，模拟超声信号(通常被称为信道数据)通过接收信道进入该系统。在接收信道中，部分波束成形的信号通过微波束成形器12从信道数据中产生，然后被传送到主接收波束成形器20，在这里，来自单个片块换能器的部分波束成形的信号被组合成完全波束成形的信号，被称为射频(RF)数据。在每个阶段执行的波束成形可以如上所述来执行，或者可以包括附加功能。例如，主波束成形器20可以有128个信道，每个信道接收来自由数十个或数百个换能器元件组成的片块的部分波束成形的信号。这样，由换能器阵列中的数千个换能器接收到的信号可有效地促成单个波束成形信号。

经波束成形的接收信号被耦合到信号处理器22。信号处理器22能以各种方式处理接收到的回波信号，例如：带通滤波；抽取；I和Q分量分离；以及谐波信号分离，其用于分离线性和非线性信号，以便能够识别从组织和微气泡返回的非线性(基频的高次谐波)回波信号。信号处理器还可以执行附加的信号增强功能，如斑点减少、信号复合和噪声消除。信号处理器中的带通滤波器可以是跟踪滤波器，当接收到来自增加的深度的回波信号时，其通带从较高的频带滑向较低的频带，从而剔除来自更大深度的较高频率的噪声，这些噪声通常没有解剖信息。

用于发射的波束成形器和用于接收的波束成形器由不同的硬件实现，且可以具有不同的功能。当然，接收波束成形器被设计成考虑发射波束成形器的特性。为简单起见，在图1只显示了接收波束成形器12和20。在完整的系统中，还将有带有发射微波束成形器和主发射波束成形器的发射链。

微波束成形器12的功能用于提供信号的初始组合，以便减少模拟信号路径的数量。这通常在模拟域中执行。

最终的波束成形在主波束成形器20中完成，且通常是在数字化之后。

发射信道和接收信道使用同一换能器阵列7，其具有固定的频带。然而，发射脉冲所占的带宽可根据所使用的发射波束成形而改变。接收信道可以捕获整个换能器带宽(这是传统方法)，或者通过使用带通处理，可以只提取包含所期望的信息的带宽(例如主谐波的谐波)。

然后，RF信号可被耦合到B模式(即亮度模式或2D成像模式)处理器26和多普勒处理器28。B模式处理器26对接收到的超声信号进行振幅检测，以便对主体内的结构(如器官组织和血管)进行成像。在逐行成像的情况下，每行(波束)由相关联的RF信号表示，其振幅用于生成待被分配给B模式图像中的像素的亮度值。像素在图像中的确切位置由沿RF信号的相关振幅测量位置和射频信号的行(波束)编号来确定。此类结构的B模式图像可以在谐波或基波图像模式中形成，或者在两者的结合中形成，如美国专利6,283,919(Roundhil等人)和美国专利6,458,083(Jago等人)中所述。多普勒处理器28处理由组织运动和血液流动产生的时间上不同的信号，以便检测移动的物质，例如图像场中的血细胞的流动。多普勒处理器28通常包括壁式滤波器，其参数被设置成用于通过或拒绝来自主体内选定类型的物质的回波。

由B模式处理器和多普勒处理器产生的结构信号和运动信号被耦合到扫描转换器32和多平面重整器44。扫描转换器32以空间关系排列回波信号，回波信号根据该空间关系被以所期望的图像格式接收。换句话说，扫描转换器用于将RF数据从圆柱坐标系转换为适合在显示屏40上显示超声图像的笛卡尔坐标系。在B模式成像的情况下，在给定坐标处的像素的亮度与从该位置接收到的RF信号的振幅成正比。例如，扫描转换器可将回波信号排列成二维(2D)扇形格式或金字塔形三维(3D)图像。扫描转换器可在B模式结构图像上叠加与图像场内各点处的运动相对应的颜色，其中多普勒估算的速度产生给定颜色。组合的B模式结构图像和彩色多普勒图像描绘了结构图像场内的组织和血流的运动。多平面重整器将从主体的体积区域内的共同平面上的各点接收到的回波转换成该平面的超声图像，如美国专利6,443,896(Detmer)中所述。体积渲染器42将3D数据集的回波信号转换为从给定参考点观察到的投影的3D图像，如美国专利6,530,885(Entrekin等人)中所述。

2D或3D图像被从扫描转换器32、多平面重整器44和体积渲染器42耦合到图像处理器30，以便进一步增强、缓冲和临时存储，从而通过连接5显示在显示屏40上。图像处理器可适于从最终超声图像中消除一些成像伪影，例如：声影，例如由强衰减子或折射引起的声影；后增强，例如由弱衰减子引起的后增强；混响伪影，例如在高反射性组织界面位于紧密靠近的位置的情况下；等等。此外，图像处理器还可适于处理一定的斑点减少功能，以便改善最终超声图像的对比度。

除了用于成像外，由多普勒处理器28生成的血流值和由B模式处理器26生成的组织结构信息被耦合到量化处理器34。量化处理器除了产生比如器官大小和胎龄等结构测量值外，还能产生不同的血流状况的量度，如血流的体积率。量化处理器可接收来自用户控制面板38的输入，例如图像的解剖结构中待进行测量的点。

来自量化处理器的输出数据被耦合到图形处理器36，以便利用显示屏40上的图像再现测量图形和值，以及从扬声器(未显示)输出音频。图形处理器36还可以生成图形叠加，以便与超声图像一起显示。这些图形叠加可包含标准的识别信息，如患者姓名、图像的日期和时间、成像参数等。出于这些目的，图形处理器接收来自用户界面38或用户界面46的输入，如患者姓名。用户界面38还与发射控制器18联接，以便控制来自换能器阵列7的超声信号的产生，从而控制由换能器阵列和超声系统产生的图像。控制器18的发射控制功能只是执行的功能中的一项。控制器18还考虑操作模式(由用户给定)以及相应的所需的发射器配置和接收器模数转换器中的带通配置。控制器18可以是具有固定状态的状态机。

用户界面还与多平面重整器44联接，以便选择和控制多个经多平面重整的(MPR)图像的平面，这些平面可被用于在MPR图像的图像场中执行量化测量。

图3是根据各种实施例的视觉数据传输系统3的框图。

视觉数据传输系统3包括处理单元52，该处理单元控制视觉数据传输系统3的操作，并可被配置为执行或实施本文所述的方法。处理单元52可以利用软件和/或硬件以多种方式实现，以执行本文所述的各种功能。例如，处理单元52可以实现上述与图2有关的任何处理器的功能。处理单元52可包括一个或多个微处理器或数字信号处理器(DSP)，可以使用软件或计算机程序代码对其进行编程，以执行所需的功能和/或控制处理单元52的组件来实现所需的功能。处理单元52可被实现为用于执行一些功能的专用硬件(例如放大器、前置放大器、模数转换器(ADC)和/或数模转换器(DAC))和用于执行其他功能的处理器(例如一个或多个经编程的微处理器、控制器、DSP和相关电路)的组合。在本公开的各种实施例中可采用的组件的示例包括但不限于传统微处理器、DSP、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于实现神经网络的硬件和/或所谓的人工智能(AI)硬件加速器(即专门为人工智能应用设计的处理器或其他硬件，可与主处理器一起使用)。

处理单元52与存储器单元54相连，存储器单元54可存储数据、信息和/或信号，以供处理单元52在控制视觉数据传输系统3的操作和/或执行或实施本文所述的方法时使用。在一些实施方式中，存储器单元54存储计算机可读代码，这些代码可由处理单元52执行，以便处理单元52执行一项或多项功能，包括本文所述的方法。存储器单元54可包括任何类型的非暂时性机器可读介质，例如高速缓存或系统存储器，包括易失性和非易失性计算机存储器，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)和电可擦除PROM(EEPROM)，且存储单元54可以以存储芯片、光盘(如光盘(CD)、数字多功能光盘(DVD)或蓝光光盘)、硬盘、磁带存储解决方案或固态设备(包括记忆棒、固态驱动器(SSD)、存储卡等)的形式实现。

视觉数据传输系统3还包括接口电路56，该接口电路用于实现与其他设备的数据连接5和/或数据交换，这些其他设备尤其包括图像获取系统2、显示系统4，以及可选的任何其他设备，如服务器、数据库、用户设备等。连接可以是直接的或间接的(如通过互联网)，因此接口电路56可以通过网络(如互联网)在视觉数据传输系统3和显示系统4之间实现连接，或通过任何期望的有线或无线通信协议在视觉数据传输系统3和显示系统4之间直接实现连接。例如，接口电路56可以使用WiFi、蓝牙、Zigbee或任何蜂窝通信协议来工作。在无线连接的情况下，接口电路56(以及视觉数据传输系统3)可包括一个或多个合适的天线，以便通过传输介质(如空气)进行发射/接收。替代性地，在无线连接的情况下，接口电路56可包括使接口电路56能够连接到视觉数据传输系统3外部的一个或多个合适的天线的装置(如连接器或插头)，以便通过传输介质(如空气)进行发射/接收。接口电路56连接到处理单元52，以便将由接口电路56接收到的信息或数据提供给处理单元52，和/或将来自处理单元52的信息或数据通过接口电路56发送。

在一些实施例中，视觉数据传输系统3包括用户界面58，用户界面58包括一个或多个组件，这些组件使视觉数据传输系统3的用户能够向视觉数据传输系统3输入信息、数据和/或命令，和/或使视觉数据传输系统3能够向视觉数据传输系统3的用户输出信息或数据。用户界面58可包括任何合适的输入组件，包括但不限于键盘、小键盘、一个或多个按钮、开关或拨盘、鼠标、轨迹板、触摸屏、触控笔、摄像头、麦克风等，且用户界面58可包括任何合适的输出组件，包括但不限于显示屏、一个或多个灯或灯元件、一个或多个扬声器、振动元件等。用户界面58可以与图2中的控制面板38相对应。

视觉数据传输系统3可以是任何类型的电子设备或计算设备。例如，视觉数据传输系统3可以是膝上型电脑、计算机或服务器(例如在数据中心(也被称为“在云中”)的服务器)或其一部分。

应理解的是，视觉数据传输系统3的实际实施方式可包括图1所示的组件之外的附加组件。例如，视觉数据传输系统3还可包括用于将视觉数据传输系统3连接到主电源的组件。

图4是根据各种实施例的显示系统4的框图。

显示系统4包括处理单元62，该处理单元控制显示系统4的操作，并可被配置为运行或执行本文所述的方法。处理单元62可利用软件和/或硬件以多种方式来实现，以执行本文所述的各种功能。例如，处理单元62可以根据视觉数据传输系统3中的处理单元52的任何实施例和实现方式来实现。

显示系统4包括用于向显示系统4的用户显示信息的显示屏64。显示屏64与处理单元62相连，且由处理单元62控制以显示所需的信息。具体而言，显示屏64可用于显示主体的2D图像序列，例如包括主体的超声图像的2D视频流。显示屏64可以使用任何合适的技术来生成视觉图像，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)等。

显示系统4还包括用户界面66，该用户界面包括一个或多个组件，这些组件使显示系统4的用户能够向显示系统4输入信息、数据和/或命令。用户可使用输入组件针对由显示系统4显示的2D图像输入所需的2D图像平面的旋转和/或平移。输入组件可以是任何合适的类型，包括但不限于键盘、小键盘、一个或多个按钮、开关或拨盘、鼠标、轨迹板、触摸屏(例如与显示屏64集成)、触控笔、摄像头、麦克风等。用户界面66可以与图2中的控制面板46相对应。

在一些实施例中，除显示屏64外，用户界面66还可包括一个或多个组件，这些组件使显示系统4能够向显示系统4的用户输出信息或数据。例如，用户界面66的输出组件可包括一个或多个灯或灯元件、一个或多个扬声器、振动元件等。

显示系统4还包括用于实现与其他设备的数据连接5和/或数据交换的接口电路68，这些其他设备尤其包括视觉数据传输系统3，以及可选的任何其他设备，如服务器、数据库、用户设备等。连接可以是直接的或间接的(如通过互联网)，因此接口电路68可以通过网络(如互联网)在显示系统4和视觉数据传输系统3之间实现连接，或通过任何期望的有线或无线通信协议在显示系统4和视觉数据传输系统3之间直接实现连接。接口电路68可以根据视觉数据传输系统3中的接口电路56的任何实施例和实施方式来实现。

显示系统4可以是任何类型的电子设备或计算设备。例如，显示系统4可以是膝上型电脑、计算机、患者监护设备(如床边患者监护仪)、服务器、平板电脑、智能手机、智能手表等或其一部分。

可以理解的是，显示系统4的实际实施方式可包括图1所示的组件之外的其他组件。例如，显示系统4可以包括电源，和/或包括用于使显示系统4能够连接到主电源的组件。虽然图4中未显示，但显示系统4可包括存储器单元，该存储器单元可以存储数据、信息和/或信号，以供处理单元62在控制显示系统4的操作和/或运行或实施本文所述的方法时使用。存储器单元可以根据视觉数据传输系统3中的存储单元54的任何实施例和实施方式来实现。

图5是例示根据各种实施例的方法的流程图。该方法包括由图像获取系统2、视觉数据传输系统3和显示系统4执行的步骤。可应用图5中的方法的成像系统1可以是患者监护系统，该患者监护系统由呈超声系统形式的组合的图像获取系统2和视觉数据传输系统3(如飞利浦公司的EPIQ系统)以及呈患者监护仪形式的显示系统4(如飞利浦公司的IntelliVue MX550患者监护仪)组成。在该示例性成像系统1中，图像获取系统2和视觉数据传输系统3包括用于在由图像获取系统2获取3D图像时显示3D图像序列的显示屏。视觉数据传输系统3和显示系统4之间的连接5可以是特定于传输US数据的接口，或比如USB或以太网的通用通信接口。该接口与患者监护仪4之间的传输速率有限，以致无法将捕获到的3D体积的连续实时地流式传输到患者监护仪4上。在任何情况下，患者监护仪4具有有限的计算能力，因此在患者监护仪4处也无法计算3D超声数据的可视化表示和3D图像的任何分割。这些计算需要在通过接口传输数据之前进行，以避免通向/通过接口传输高带宽数据的需要。

在图5的方法中，获得3D超声数据，并在患者监护仪/显示系统4上显示穿过3D体积的切割平面的2D图像序列。3D体积的“切割平面”在本文中也被称为“2D图像平面”。2D图像(2D视频)序列可包括叠加在图像上的其他数据，例如图像中示出的内部器官轮廓和/或其他信息。图6(a)是表示穿过心脏的3D超声图像的切割平面的2D超声图像，2D图像上叠加有心脏轮廓。如图6(b)所示，在一些实施例中，通过患者监护仪/显示系统4的用户与显示在患者监护仪4上的简化(即低分辨率)的3D模型80或内部器官的模型80交互，能够实现穿过3D体积的切割平面的旋转和/或平移。2D视频被连续或半连续地更新和流式传输到患者监护仪/显示系统4，因此显示的可视化表示可以是实时的2D视频。因此，超声系统2、3和患者监护仪/显示系统4之间交换的数据量大大低于传输整个3D体积所需的数据量。

因此，在步骤501中，3D超声数据由图像获取系统2获得，且3D图像可显示在图像获取系统2的显示屏或视觉数据传输系统3的显示屏上。可对3D图像数据进行处理，以确定用于显示出的3D图像的图形叠加的有用信息，如3D图像中可见的内部器官的轮廓等。

在步骤503中，视觉数据传输系统3分析3D图像数据，以便生成呈3D图像中示出的内部器官(如心脏)的3D表示/模型80的形式的替换数据。

在步骤505中，将用于3D表示80(例如3D心脏网格)的替换数据发送到患者监护仪/显示系统4，且还确定与根据3D图像数据确定的切割平面(2D图像平面)的当前位置相对应的2D图像序列，并将其发送到患者监护仪4。2D图像序列还可包括叠加在2D图像上的数据，或患者监护仪4本身要叠加在2D图像上的数据。

因此，患者监护仪4的显示屏40上示出的所得到的可视化表示是2D图像序列，而不是3D图像序列，可选地带有器官轮廓信息和内部器官的3D表示80，例如如图6(a)和(b)中所示。

在步骤507中，患者监护仪4的用户能够与3D表示80交互，并指示3D体积中的切割平面的旋转和/或平移。在步骤509中这种交互被传送给视觉数据传输系统3，使得视觉数据传输系统3可以调整2D图像平面，并生成新的2D图像平面位置的2D视频(步骤511)。新的2D视频被发送给患者监护仪4。

例如，在步骤507中，所期望的3D用户交互可以是改变显示出的2D图像中的心脏的定向。通常情况下，这是一种3D用户交互，其必须在3D超声数据上执行，但此类数据在患者监护仪处是不可用的。因此，为了对(未显示的)3D超声数据执行3D交互，用户与替换数据(如3D网格80)进行交互，这样允许用户使3D体积的2D视图将如何变化可见。优选地，替换数据也是3D数据集，如3D模型80或3D网格80，但替换数据由比3D图像数据明显小的数据量来表示。在图6(b)所示的实施例中，表示3D超声体积的替换数据是(心脏)网格(如三角形网格)，它给出了从3D超声体积中提取的分段器官轮廓。在“Automatic Model-basedSegmentation of the Heart in CT Images(CT图像中心脏的基于模型的自动分割”(O.Ecabert，J.Peters，H.Schramm，C.Lorenz，J.vonBerg，M.J.Walker，M.Vembar，M.E.Olszewski，K.Subramanyan，G.Lavi，J.Weese，IEEE Transactions on MedicalImaging 2008,27(9),1189-1201)中描述了得出此类替代数据的技术，且替代性地可以使用基于深度学习的分割方法。

因此，替换数据(如网格)和实际3D超声数据之间存在联系，且与传输全部3D图像数据相比，通过连接5传输的数据量大大减少。例如，3D三角形网格80具有有3个坐标的x个顶点和有3个顶点索引y个三角形。表示3D三角形网格80所需的数据量为3(y+x)*32位，而3D体积需要3n*m*k*32位数据，其中n、m和k是3D体积的尺寸。示例性分割网格可包括几百或几千个顶点。

根据要在步骤507中执行的所期望的3D交互，网格或其他3D模型80应是对内部器官或主体的一部分的合理准确的描绘。在切割平面调整的情况下，网格或其他3D模型80不必需要代表内部器官或主体的一部分的当前状态。例如，3D模型80不必要实时或完全复现心脏的跳动。因此，步骤505中的替换数据的传输或传递可以只进行一次，或只是偶尔进行，例如每隔几秒钟进行一次。此外，在用户与显示出的3D模型80交互时，无需将3D模型80的替换数据传输到患者监护仪4。在一些实施例中，步骤505可包括表示3D模型或网格80的替换数据的单次传递，且用于该模型或网格80的替换数据被存储在患者监护仪4处。在其他实施例中，步骤505可包括将表示3D模型或网格80的替换数据与2D图像序列一起连续传递到患者监护仪4。由于表示网格80所需的数据量与表示3D图像体积所需的数据量相比较少，因此这两个实施例都是可行的。

患者监护仪4可以在显示出的2D图像上叠加3D网格(例如心脏网格)80，例如图6(b)所示。在步骤507中，使用患者监护仪4处的合适的输入组件，例如触摸屏、鼠标、键盘、触控笔等，用户可以“抓取”和“拉动”2D视频的网格轮廓，并通过旋转和随后释放它来操纵3D网格80的定向。图7(b)表示代表心脏的3D模型80相对于图7(a)所示的3D模型80的旋转。然后，可以在步骤509中通过连接5将关于网格80的新定向的信息发送到视觉数据传输系统3。网格80的新定向的信息指示通过视觉数据传输系统3在3D图像数据中如何调整2D图像平面。该信息被称为“2D图像平面调整指示”。

3D模型的位置/定向(其在不同的实施例中可被表示为在参考框架中的绝对位置、在图像坐标系中表示的位置以及该模型相对于上次/当前位置/定向的相对位置/定向)可被表示为参数集。在步骤509中通过患者监护仪4发送给视觉数据传输系统3的2D图像平面调整指示可包括该参数集。

在替代性实施例中，用户可以操纵穿过3D模型80的切割平面的图形化表示，而不是旋转和/或平移内部器官或主体部分的3D模型80。图8示出了处于穿过3D模型80的初始位置/定向的2D切割平面的表示82。用户可以“抓取”和“拉动”2D切割平面的表示82，并操纵切割平面相对于3D网格80的定向和/或位置。2D切割平面84显示操纵之后的2D切割平面的位置和定向。与之前一样，在步骤509中，关于切割平面的新位置和/或定向的信息将通过连接5发送到视觉数据传输系统3。同样，被发送到视觉数据传输系统3的信息被称为“2D图像平面调整指示”。这种替代性实施例被称为“多平面调整”。

无论用户以何种方式与患者监护仪4交互以指示2D图像平面中的变化以及2D图像平面调整指示的格式，在步骤511中视觉数据传输系统3都会根据3D图像数据生成新的2D图像序列，并将新的2D视频发送到患者监护仪4以显示给用户。这样导致用户能够间接地与3D图像数据交互，以实现与在3D图像数据本身上执行交互相同的交互结果，即显示具有在3D图像数据中的切割平面的期望位置的2D视频。

在步骤503的替代性实施例中，视觉数据传输系统3可以识别在3D图像数据中表示出的内部器官或主体的一部分，而不是直接根据3D图像数据生成3D表示，并且可以在患者监护仪4处显示该内部器官或主体的一部分的通用3D模型(即非特定于患者)以供用户操纵。在这些实施例中，视觉数据传输系统3可以以用于适当的通用模型的数据形式向患者监护仪4发送替换数据，或者，如果患者监护仪4具有存储在存储器单元内的通用3D模型，则视觉数据传输系统3可以向患者监护仪4发送指示，该指示指示出应使用哪个通用3D模型。该指示可以是文本形式，或者标记/标签形式。在后一种情况下，视觉数据传输系统3可以自动识别3D体积中的内部器官或主体的一部分(例如使用本领域已知的自动实时图像分析或基于AI的方法)，并将识别出的内部器官或主体的一部分的指示发送给患者监护仪4。与传输2D图像序列和表示3D模型的替换数据相比，本实施例的益处是通过连接5传输到患者监护仪4的数据量被进一步减少。

在另一替代性实施例中，患者监护仪4的用户可以手动解释显示出的2D视频以识别内部器官或主体的一部分，并例如从由患者监护仪4显示的下拉列表中选择适当的通用3D模型来显示，而不是直接从3D图像数据生成3D表示，或自动识别在3D图像数据中表示出的内部器官或主体的一部分。因此，如果用户正在扫描患者的心脏，用户可以从在患者监护仪4处可用的模型列表中选择心脏模型，且患者监护仪4可以显示通用3D模型。

在显示特定于患者的或通用的3D模型的任何实施例中，3D模型都可以利用一个或多个用户界面(UI)元件来显示，以使用户能够选择要应用于2D图像平面的操纵的类型。例如，UI可使用户能够选择一个或多个预定的切割平面(即相对于内部器官或主体的一部分具有预定位置和定向的切割平面)、旋转的可视化表示、减小的3D体积子集等。

在一些实施例中，患者监护仪4和/或视觉数据传输系统3可以存储指示以前已使用过的2D图像平面的具体位置的信息，和/或可用于跟踪解剖结构/主体的区段的标准视图(如心脏的四腔视图)。先前使用过的视图或标准视图的可用性，或被跟踪的区段的可用性，可由视觉数据传输系统3来确定，并通过连接5传送给患者监护仪4。然后，患者监护仪4的用户可拥有选择先前使用过的视图、标准视图或被跟踪的区段的选项。在这种情况下，2D图像平面调整指示可以是对先前使用过的视图、标准视图或被跟踪的区段的选择结果。在与心脏有关的更复杂的示例中，视觉数据传输系统3可以跟踪下腔静脉的最大直径的姿势，并将该可视化表示的可用性传送给患者监护仪4的用户。用户可以例如经由按钮下推来选择它，并将用于该可视化表示预设的请求发送给视觉数据传输系统3。在更复杂的示例中，患者监护仪4的用户可以手动选择用于3D图像数据的所期望的2D图像平面的定向/位置，视觉数据传输系统3可以存储关于手动选择的平面的定向/位置的信息，以供用户后续选择和使用。

在一些实施例中，视觉数据传输系统3可以向患者监护仪4提供多个2D图像序列。例如，视觉数据传输系统3可以根据2D图像平面的默认定向和/或位置提供第一2D图像序列，并根据用户选择的2D图像平面的位置和/或定向提供第二2D图像序列。

图9中的流程图例示了由视觉数据传输系统3根据本文所述的技术执行的示例方法。该方法的一个或多个步骤可由视觉数据传输系统3中的处理单元52(与接口电路56和存储器单元14结合，视情况而定)来执行。处理单元52可以响应于运行计算机程序代码来执行一个或多个步骤，计算机程序代码可被存储在计算机可读介质上，例如存储在存储器单元54上。

在步骤901中，视觉数据传输系统3处理主体的3D图像序列，以便生成第一2D图像数据。3D图像可以是3D超声图像。2D图像数据表示主体的第一2D图像序列，其中2D图像是主体的在穿过3D图像的2D图像平面中的图像。表示第一2D图像数据的数据量少于表示3D图像的数据量，第一2D图像数据是根据3D图像生成的。在一些实施例中，2D图像数据是第一2D图像序列，即2D图像数据包括该序列中的每个2D图像的图像数据。在其他实施例中，2D图像数据可以呈使显示系统4能够根据2D图像数据重建2D图像序列的形式。

在步骤903中，视觉数据传输系统3将第一2D图像数据发送到显示系统4，以便显示系统4可显示主体的第一2D图像序列。在步骤905中，视觉数据传输系统3从显示系统4接收2D图像平面调整指示。2D图像平面调整指示指示出所需的在3D图像中的2D图像平面的旋转和/或平移。

在步骤907中，视觉数据传输系统3处理该3D图像序列和/或另一3D图像序列，以生成第二2D图像数据。第二2D图像数据可以表示或是主体的第二2D图像序列。第二2D图像序列中的2D图像是主体的在旋转和/或平移后的2D图像平面中的2D图像。另一3D图像序列可以是新获得的3D图像，例如，图9的方法是在正获得3D图像时实时执行的。

在步骤909中，将第二2D图像数据发送到显示系统4，以便显示主体的第二2D图像序列。

在一些实施例中，在步骤901和/或步骤903处或其前后，视觉数据传输系统3根据3D图像序列生成表示主体或主体的一部分的一个或多个3D模型80。视觉数据传输系统3将一个或多个3D模型发送到显示系统4。表示3D模型80的数据量少于表示3D图像(根据该3D图像生成3D模型)的数据量。

在替代性实施例中，在步骤901和/或903处或其前后，视觉数据传输系统3处理3D图像序列，以便识别3D图像序列中示出的主体的类型或主体的一部分的类型。视觉数据传输系统3识别3D图像序列中示出的内部器官。视觉数据传输系统3可将识别出的主体的类型或主体的一部分的类型的指示发送到显示系统4。替代性地，视觉数据传输系统3可以发送与所识别的主体的类型或主体的一部分的类型相对应的一个或多个预定的3D模型80的指示。

在替代性实施例中，视觉数据传输系统3处理3D图像序列，以便识别3D图像序列中示出的主体的类型或主体的一部分的类型，然后将识别出的主体的类型或识别出的主体的一部分的类型的指示发送到显示系统4。在这些实施例中，识别出的主体的类型或识别出的主体的一部分的类型与在显示系统4中存储的与识别出的主体的类型或识别出的主体的一部分的类型相对应的预定的3D模型80相关联。

在上述实施例中，一个或多个3D模型可包括2D图像平面相对于主体的当前定向和/或当前位置的指示。在上述实施例中，2D图像平面调整指示可以是在一个或多个3D模型中的2D图像平面的指示的旋转和/或平移(如图8所示)，或者是一个或多个3D模型的旋转和/或平移(如图7所示)。3D模型可以是网格模型、分割模型和三角形网格模型中的任一种。3D模型可以表示主体的内部器官。

图10中的流程图例示了由显示系统4根据本文所述的技术执行的示例性方法。该方法的一个或多个步骤可由显示系统4中的处理单元62(与接口电路68和存储器单元(如有)结合，视情况而定)来执行。处理单元62可以响应于运行计算机程序代码来执行一个或多个步骤，计算机程序代码可被存储在计算机可读介质上，例如存储在存储器单元上。

在步骤1001中，显示系统4从视觉数据传输系统3接收第一2D图像数据。第一2D图像数据表示主体的第一2D图像序列。2D图像是主体的在穿过主体的3D图像的2D图像平面中的图像。2D图像可以是2D超声图像。

在步骤1003中，显示系统4显示第一2D图像序列。在一些实施例中，2D图像数据是第一2D图像序列，即2D图像数据包括该序列中的每个2D图像的图像数据。在这些实施例中，显示系统4显示2D图像数据中的2D图像。在其他实施例中，2D图像数据可以呈使显示系统4能够根据2D图像数据重建2D图像序列的形式。在这些实施例中，在步骤1003中，显示系统4根据2D图像数据重建2D图像序列，并显示重建后的2D图像序列。

在步骤1005中，从显示系统4的用户接收用户输入。用户输入表示所需的2D图像平面的旋转和/或平移。

在步骤1007中，向视觉数据传输系统3发送2D图像平面调整指示。2D图像平面调整指示指示出所需的2D图像平面的旋转和/或平移。

在步骤1009中，从视觉数据传输系统3接收第二2D图像数据。第二2D图像数据表示主体的第二2D图像序列。第二2D图像序列是主体的在旋转和/或平移后的2D图像平面中的图像。

在步骤1011中，显示系统4显示第二2D图像序列。

在一些实施例中，在步骤1001和/或1003处或其前后，显示系统4可以从视觉数据传输系统3接收在第一2D图像序列中示出的主体或主体的一部分的一个或多个3D模型。

在替代性实施例中，在步骤1001和/或1003处或其前后，显示系统4可以接收在第一2D图像序列中示出的主体的类型或主体的一部分的类型的指示。该指示是从视觉数据传输系统3接收的。主体的类型或主体的一部分的类型与存储在显示系统4处的主体的类型或主体的一部分的类型的预定3D模型相对应。

在替代性实施例中，在步骤1001和/或1003处或其前后，显示系统4可以接收与在第一2D图像序列中示出的主体的类型或主体的一部分的类型相对应的一个或多个预定的3D模型的指示。该指示可从视觉数据传输系统3接收。一个或多个预定的3D模型被存储在显示系统4处。

在上述实施例中，显示系统4可显示一个或多个3D模型。3D模型可与2D图像序列分开显示，或者3D模型可叠加在显示出的2D图像序列上。

在上述实施例中，显示出的3D模型可包括2D图像平面相对于主体的当前定向和/或当前位置的指示。在上述实施例中，2D图像平面调整指示可以是在一个或多个3D模型中的2D图像平面的指示的旋转和/或平移(如图8所示)，或者是一个或多个3D模型的旋转和/或平移(如图7所示)。3D模型可以是网格模型、分割模型和三角形网格模型中的任一种。3D模型可以表示主体的内部器官。

通过对附图、公开内容和所附权利要求的研究，本领域技术人员在实践本文所述的原理和技术时，可以理解并实现所公开实施例的各种变化。在权利要求中，“包括”一词并不排除其他要素或步骤，不定冠词“一”或“一个”并不排除多个。一个处理器或其他单元可以实现权利要求中所述的多项的功能。在相互不同的从属权利要求中叙述了一些措施，但这一事实并不表明这些措施的组合不能用于发挥优势。计算机程序可以存储或发布在合适的介质上，例如与其他硬件一起或作为其一部分提供的光存储介质或固态介质，但也可以以其他形式发布，例如通过互联网或其他有线或无线电信系统。权利要求中的任何附图标记不应被解释为对范围的限制。

Claims (11)

1.一种操作视觉数据传输系统(3)的计算机实现的方法，所述方法包括：

处理(901)主体的三维3D图像序列，以便生成表示所述主体的第一二维2D图像序列的第一2D图像数据，其中所述2D图像是所述主体的在穿过所述3D图像的2D图像平面中的图像，并且表示所述第一2D图像数据的数据量小于表示所述3D图像的数据量，所述第一2D图像数据是根据所述3D图像生成的；

将所述第一2D图像数据发送(903)至显示系统(4)，以便通过所述显示系统(4)显示所述主体的所述第一2D图像序列；

处理所述3D图像序列，以便

根据所述3D图像序列生成表示所述主体或所述主体的一部分的一个或多个3D模型，并将所述一个或多个3D模型发送至所述显示系统(4)；或

识别所述3D图像序列中示出的所述主体的类型或所述主体的一部分的类型，并向所述显示系统(4)发送识别出的所述主体的类型或所述主体的一部分的类型的指示，或与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型的指示；

接收(905)来自所述显示系统(4)的2D图像平面调整指示，其中所述2D图像平面调整指示指示所需的所述2D图像平面的旋转和/或平移；

处理(907)所述3D图像序列和/或另一3D图像序列，以便生成表示所述主体的第二2D图像序列的第二2D图像数据，其中所述第二2D图像序列中的所述2D图像是所述主体的在旋转和/或平移后的2D图像平面中的图像；以及

将所述第二2D图像数据发送(909)至所述显示系统(4)，以便通过显示系统(4)显示所述主体的所述第二2D图像序列。

2.根据权利要求1所述的方法，其中，识别出的所述主体的类型或识别出的所述主体的一部分的类型与存储在所述显示系统(4)处的与识别出的所述主体的类型或识别出的所述主体的一部分的类型相对应的预定的3D模型相关联。

3.根据权利要求1至2中的任一项所述的方法，其中，所述一个或多个3D模型包括所述2D图像平面相对于所述主体的当前定向和/或当前位置的指示，并且接收到的所述2D图像平面调整指示是在所述一个或多个3D模型中的所述2D图像平面的指示的旋转和/或平移，或者是所述一个或多个3D模型的旋转和/或平移。

4.一种操作显示系统(4)的计算机实现的方法，所述方法包括：

接收(1001)来自视觉数据传输系统(3)的表示主体的第一二维2D图像序列的第一2D图像数据，其中所述2D图像是所述主体的在穿过所述主体的三维3D图像的2D图像平面中的图像；

显示(1003)所述第一2D图像序列；

接收一个或多个3D模型，并显示用于在所述第一2D图像序列中示出的所述主体或所述主体的一部分的所述一个或多个3D模型；或接收识别出的所述主体的类型或所述主体的一部分的类型的指示，或与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型的指示，并显示与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型，或与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型的指示；

接收(1005)来自所述显示系统的用户的用户输入，其中所述用户输入指示所需的所述2D图像平面的旋转和/或平移；

向所述视觉数据传输系统发送(1007)2D图像平面调整指示，其中所述2D图像平面调整指示指示出所需的所述2D图像平面的旋转和/或平移；

从所述视觉数据传输系统(3)接收(1009)表示所述主体的第二2D图像序列的第二2D图像数据，其中所述第二2D图像序列是所述主体的在旋转和/或平移后的所述2D图像平面中的图像；以及

显示(1011)所述第二2D图像序列。

5.根据权利要求4所述的方法，其中，指示所需的所述2D图像平面的旋转和/或平移的所述用户输入被接收为旋转和/或平移所显示的3D模型的用户输入。

6.一种计算机程序产品，包括计算机可读介质，所述计算机可读介质具有包含在其中的计算机可读代码，所述计算机可读代码被配置成在由合适的计算机或处理器执行时致使所述计算机或处理器执行根据权利要求1至5中的任一项所述的方法。

7.一种视觉数据传输系统(3)，所述视觉数据传输系统(3)包括处理单元(52)和接口电路(56)，所述视觉数据传输系统(3)被配置成：

使用所述处理单元(52)处理(901)主体的三维3D图像序列，以便生成表示所述主体的第一2D图像序列的第一2D图像数据，其中所述2D图像是所述主体的在穿过所述3D图像的2D图像平面中的图像，并且表示所述第一2D图像数据的数据量少于表示所述3D图像的数据量，所述第一2D图像数据是根据所述3D图像生成的；

通过所述接口电路(56)将所述第一2D图像数据发送(903)至显示系统(4)，以便通过所述显示系统(4)显示所述主体的所述第一2D图像序列；

处理所述3D图像序列，以便

使用所述处理单元(52)根据所述3D图像序列生成表示所述主体或所述主体的一部分的一个或多个3D模型；以及通过所述接口电路(56)将所述一个或多个3D模型发送至所述显示系统(4)；或

使用所述处理单元(52)识别所述3D图像序列中示出的所述主体的类型或所述主体的一部分的类型；并通过所述接口电路(56)向所述显示系统(4)发送识别出的所述主体的类型或所述主体的一部分的类型的指示，或与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型的指示；

通过所述接口电路(56)接收(905)来自所述显示系统(4)的2D图像平面调整指示，其中所述2D图像平面调整指示指示出所需的所述2D图像平面的旋转和/或平移；

使用所述处理单元(52)处理(907)所述3D图像序列和/或另一3D图像序列，以便生成表示所述主体的第二2D图像序列的第二2D图像数据，其中所述第二2D图像序列中的所述2D图像是所述主体的在旋转和/或平移后的2D图像平面中的图像；以及

通过所述接口电路(56)将所述第二2D图像数据发送(909)至所述显示系统(4)，以便通过所述显示系统(4)显示所述主体的所述第二2D图像序列。

8.根据权利要求7所述的视觉数据传输系统(3)，其中，识别出的所述主体的类型或识别出的所述主体的一部分的类型与存储在所述显示系统(4)处的与识别出的所述主体的类型或识别出的所述主体的一部分的类型相对应的预定的3D模型相关联。

9.根据权利要求7至8中的任一项所述的视觉数据传输系统(3)，其中，

所述一个或多个3D模型包括所述2D图像平面相对于所述主体的当前定向和/或当前位置的指示，以及

接收到的所述2D图像平面调整指示是在所述一个或多个3D模型中的所述2D图像平面的指示的旋转和/或平移，或者是所述一个或多个3D模型的旋转和/或平移。

10.一种显示系统(4)，所述显示系统(4)包括显示屏(64)和接口电路(68)，其中所述显示系统(4)被配置为：

通过所述接口电路(68)从视觉数据传输系统(3)接收(1001)表示主体的第一二维2D图像序列的第一2D图像数据，其中所述2D图像是所述主体的在穿过所述主体的三维3D图像的2D图像平面中的图像；

使用所述显示屏(64)显示(1003)所述第一2D图像序列；

通过所述接口电路(68)将一个或多个3D模型接收到所述显示系统(4)中，并使用所述显示屏(64)显示用于在所述第一2D图像序列中示出的所述主体或所述主体的一部分的所述一个或多个3D模型；或通过所述接口电路(68)将识别出的所述主体的类型或所述主体的一部分的类型的指示，或与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型的指示接收到所述显示系统(4)，以及使用所述显示屏(64)显示与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型，或与识别出的所述主体的类型或所述主体的一部分的类型相对应的一个或多个预定的3D模型的指示；

通过所述接口电路(68)接收(1005)来自所述显示系统(4)的用户的用户输入，其中所述用户输入指示所需的所述2D图像平面的旋转和/或平移；

通过所述接口电路(68)向所述视觉数据传输系统(3)发送(1007)2D图像平面调整指示，其中所述2D图像平面调整指示指示所需的所述2D图像平面的旋转和/或平移；

通过所述接口电路(68)从所述视觉数据传输系统(3)接收(1009)表示所述主体的第二2D图像序列的第二2D图像数据，其中所述第二2D图像序列是所述主体的在旋转和/或平移后的所述2D图像平面中的图像；以及

使用所述显示屏(64)显示(1011)所述第二2D图像序列。

11.根据权利要求10所述的显示系统，其中，指示所需的所述2D图像平面的旋转和/或平移的所述用户输入被接收为旋转和/或平移所显示的3D模型的用户输入。