CN111292248B - 超声融合成像方法及超声融合导航系统 - Google Patents

Abstract

本申请公开了一种超声图像与另一模态图像进行融合成像的方法，该方法在将四维超声探头采集到的四维超声图像数据与另一模态图像数据进行配准与融合时，实时监测探头的运动状态，并根据监测结果启动校正功能，以去除因被检查者的呼吸运动引起的超声图像数据与另一模态图像数据之间的相对位移。此外，本申请还公开了一种超声融合导航系统。

Description

超声融合成像方法及超声融合导航系统

技术领域

本申请涉及超声成像技术，尤其涉及一种超声图像与另一模态图像进行融合成像的方法、以及一种超声融合导航系统。

背景技术

在临床中对目标对象的成像可以使用一种以上的成像系统，以让医务人员可获得多种模态的医学图像，例如CT(Computed Tomography，计算机断层扫描)图像、MR(MagneticResonance，磁共振)图像、超声图像等。超声融合成像导航的原理是通过空间定位装置(通常是绑定在探头上的磁定位传感器)，建立起实时的超声图像和提前获取的其他模态数据(如CT图像或MR图像)的对应关系，达到两种图像完全融合，实现两种图像对诊断和治疗过程的共同引导，充分发挥CT或MR图像高分辨率的优势和超声实时的特点，大大提高临床医生的诊断信心和手术效果。

目前市场上流行的图像融合技术大多是二维实时超声与CT/MR图像的融合，这对临床医生的操作手法和空间想象力有较大依赖，其需要医生对三维空间有非常深刻的理解，才能够在三维下通过手动旋转、平移等操作方式进行处理。随着超声技术的发展，四维超声的应用已经非常成熟，其中，矩阵探头能够获得非常高卷率的组织图像、造影图像、动态血流图像等等。利用矩阵探头医生可以很快获得目标的大量四维电影数据。如何有效地利用这些数据，使之与CT/MRI图像进行融合以提供更加丰富的图像信息，同时减少融合配准中对医生操作经验的依赖性，这一问题亟待解决。

发明内容

根据本申请的第一方面，提供一种超声图像与另一模态图像进行融合的方法，包括：

利用配置有位置传感器的超声探头向被检查者发射超声波，接收自所述被检查者返回的超声回波以获得超声回波信号，根据所述超声回波信号获得被检查者的超声图像数据，所述超声图像数据为四维超声图像数据或具有时间信息的至少一卷三维超声图像数据；

获取被检查者的另一模态图像数据，对所述另一模态图像数据和所述超声图像数据进行初始配准，建立初始配准映射关系；

利用所述位置传感器获取所述超声探头的实时姿态信息，根据所述初始配准映射关系和所述超声探头的实时姿态信息，对所述超声图像数据和所述另一模态图像数据进行图像融合显示；

在进行图像融合显示时，监测超声探头的状态并输出监测结果，所述监测结果包括表示启动校正功能的第一指令；以及

在所述监测结果包括表示启动校正功能的第一指令时，校正另一模态图像数据与当前时刻的超声图像数据的融合结果。

根据本申请的第二方面，提供一种超声融合成像系统，包括：

超声探头，其配置有位置传感器，所述位置传感器用于获取所述超声探头的实时姿态信息；

发射和接收电路，用于激励所述超声探头向被检查者发射超声波，接收超声回波信号；

处理器，用于根据所述超声回波信号获得被检查者的超声图像数据，所述超声图像数据为四维超声图像数据或具有时间信息的至少一卷三维超声图像数据；以及

显示器，用于对超声图像数据进行显示输出；

其中，所述处理器还用于：

对所述超声图像数据和事先获取的被检查者的另一模态图像数据进行初始配准，建立初始配准映射关系；

根据所述初始配准映射关系和所述超声探头的实时姿态信息，对所述超声图像数据和所述另一模态图像数据进行图像融合处理；

其中，在进行图像融合处理时，所述处理器还用于监测超声探头的状态并输出监测结果，所述监测结果包括表示启动校正功能的第一指令；以及在所述监测结果包括表示启动校正功能的第一指令时，校正另一模态图像数据与当前时刻的超声图像数据的融合结果；

所述显示器还用于显示图像融合处理的结果。

本发明的有益效果是：依据本申请的超声融合成像导航系统及其融合方法，在将四维超声探头采集到的四维超声图像数据与另一模态图像数据进行配准与融合时，实时监测探头的运动状态，并根据监测结果启动校正功能，以去除因被检查者的呼吸运动引起的超声图像数据与另一模态图像数据之间的相对位移。

附图说明

图1是本申请一实施例的超声融合成像导航系统的结构框图示意图；

图2是本申请一实施例的超声图像与另一模态图像进行融合的方法的流程示意图；

图3是本申请一实施例的超声融合成像导航系统的空间变换示意图；

图4是本申请一实施例的建立初始配准映射关系这一过程的示意图；

图5是带有血管等标志性组织结构的超声切面和图像切面的示意图；

图6是本申请另一实施例的建立初始配准映射关系这一过程的示意图；

图7是本申请一实施例的超声图像与另一模态图像进行初始配准之前的流程示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好地理解。然而，本领域技术人员可以毫不费力地认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

依据本申请的超声融合成像导航系统不仅适用于肝脏，还适用于肾脏、前列腺等其他腹部器官。图1例示性的超声融合成像导航系统10包括超声探头101、位置传感器102、发射电路和接收电路103、处理器104、(可选的)另一模态导入接口105和显示器106。参见图1，在例示性的超声融合成像导航系统10中，通过发射电路和接收电路103激励超声探头101向人体待检查部位发射超声波，获得超声回波信号；处理器104对获得的超声回波信号进行处理，获得目标组织器官的4D超声图像数据；提前获取的另一模态图像数据，如CT或MR图像数据，在处理器104进行配准前经由另一模态导入接口105导入；并且设置于超声探头101上的位置传感器102，随着超声探头101的移动，不断地提供位置信息，以获得超声探头101的实时姿态信息，例如包括六自由度(即垂直向、横向、纵向、俯仰、滚转和摇摆)的空间方位信息；处理器104利用图像数据和实时姿态信息，对超声图像和另一模态图像进行配准与融合，其中涉及对图像的预处理、配准、建立图像的变换模型、统一坐标变换、以及融合重构等操作，然后把融合结果送到显示器106，由显示器106显示融合结果。

图1示例的超声探头101可以是矩阵探头，也可以是带有机械装置的四维探头，本申请对此不作限制，只要采用的超声探头能够获得被检查者的目标区域的一组四维图像数据(即动态三维超声图像)或者获取一卷三维超声图像数据，所获得的超声图像数据中需要有较清楚的血管等结构信息。

位置传感器102设置于超声探头101，其可以是内置于其中，或者固定在超声探头的壳体等。一种实施例中，位置传感器102采用基于电磁感应的位置传感器，但在其他实施例中，它也可以是基于光学原理的位置传感器，还可以是基于声学原理等的其他类型位置传感器。在超声图像数据获取过程中，位置传感器102根据感应的超声探头101的移动状况，产生超声探头101的实时姿态信息R_probe(t)，这样，每一帧超声图像数据对应着相应的实时姿态信息。位置传感器102连同超声探头101一起通过超声探头缆线电性连接至处理器104，并将超声探头101的实时姿态信息传递给处理器104。处理器104基于探头101实时获取被检查者的目标部位的超声图像，并且可以实时计算探头姿态，获取超声探头101在一段时间内的运动。

可选的另一模态导入接口105用于接收前述被检查者的另一模态的三维图像数据，如CT/MR图像数据，另一模态图像数据的获取方法可以参见现有相关技术，这里不作描述。此外，所导入的另一模态图像数据可以是三维数据，也可以是不同时间的多个三维数据。另一模态导入接口105的实现可以参考现有图像数据导入的方式实现，例如使用光盘导入图像数据，或者使用U盘导入图像数据，又或者通过网络方式从网络中接收图像数据等等，对此本发明不作限制。

处理器104除了根据获得的超声回波信号获得超声图像数据之外，还对导入的另一模态图像数据以及超声图像数据进行初始配准，建立初始配准映射关系，并根据初始配准映射关系和利用位置传感器102获取的超声探头的实时姿态信息，对超声图像数据和另一模态图像数据进行图像融合处理。其中，在进行图像融合时，处理器104还监测超声探头的状态并输出监测结果，该监测结果包括用于表示启动校正功能的第一指令，并且，处理器104还根据包括第一指令的监测结果，校正当前时刻超声图像数据和另一模态图像数据之间的融合结果。处理器104的具体实现体现在下文关于超声图像与另一模态图像进行融合的方法之中，详细请见下文。此外，处理器104视实际硬件设备的需要而可以为一个或多个，其为多个时可以集中或合并执行融合方法中的一个或多个步骤。

显示器106用于显示如下图像数据中的一或多种：来自于处理器104的超声图像数据、来自另一模态导入接口105的另一模态图像数据、以及图像融合处理的结果，包括校正前的结果和/或校正后的结果。其中，显示器106可以是触摸屏显示器。当然，超声成像系统10还可以通过外部输入输出端口连接另一个显示器，实现双屏显示系统。此外，本申请中的显示器可以包括一个显示器，也可以包括多个显示器，不限制显示器的数量。显示的超声图像数据(超声图像)可以是显示在一个显示器上，也可以同时显示在多个显示器上，当然也可以是将超声图像的部分分别同步显示在多个显示器上，在此本申请也不作限制。此外，显示器在显示图像的同时还可以提供给用户进行人机交互的图形界面。

依据本申请一种实施方式的超声融合成像导航系统，其涉及的超声图像与另一模态图像进行融合的方法包括以下步骤S100-S600(其中，步骤S100和步骤S200的执行不分先后次序)，如图2所示。

步骤S100：获取被检查者的另一模态图像数据，例如CT/MRI图像。在其他实施例中，另一模态图像数据也可以事先存储于系统，此时不需要从外部接收。

步骤S200：利用配置有位置传感器的超声探头向被检查者发射超声波，接收超声回波信号，根据超声回波信号获得被检查者的超声图像数据，其中，超声图像数据为四维超声图像数据或具有时间信息的至少一卷三维超声图像数据。

步骤S300：对另一模态图像数据和超声图像数据进行初始配准，建立初始配准映射关系。

步骤S400：利用位置传感器获取超声探头的实时姿态信息，根据初始配准映射关系和超声探头的实时姿态信息，对超声图像数据和另一模态图像数据进行图像融合显示。

步骤S500：在进行图像融合显示时，监测超声探头的状态并输出监测结果，该监测结果包括表示启动校正功能的第一指令。

步骤S600：在监测结果包括表示启动校正功能的第一指令情况下，校正另一模态图像数据与当前时刻的超声图像数据的融合结果。通过对融合结果的校正，可以去除因被检查者的呼吸运动引起的超声图像数据与另一模态图像数据之间的相对位移。其中，校正另一模态图像数据与当前时刻的超声图像数据的融合结果可以包括：获取当前时刻的超声图像数据，所述当前时刻的超声图像数据为一卷三维超声图像数据；计算另一模态图像数据与所述当前时刻超声图像数据之间新的配准映射关系；以及将该新的配准映射关系作为初始配准映射关系，对后续的实时超声图像数据和另一模态图像数据进行图像融合显示。

在进行图像融合时，需要寻找一种空间变换以让超声图像数据与另一模态图像数据得以映射，使得来源不同的两组图像数据中对应于空间同一位置的点能够一一对应起来，从而达到将信息正确融合的目的。

图1示例的超声融合成像导航系统可以通过如图3的空间变换关系，实现超声图像数据与另一模态图像数据的图像融合处理，即先把超声图像数据中的点从超声空间坐标系变换到位置传感器(图示实施例中采用定位传感器)的空间坐标系，再从定位传感器空间坐标系变换到世界坐标系，最后从世界坐标系变换到另一模态图像空间坐标系。以公式的形式，可以表示为如下式(1)所示。

X_sec＝P·R_probe·A·X_US (1)

其中，X_US是像素点在超声空间的坐标，X_sec是该点在另一模态图像空间的坐标，A是超声空间到定位传感器空间的变换矩阵，R_probe是位置传感器空间到世界坐标空间的变换矩阵，P是世界坐标系到另一模态图像空间的变换矩阵。

对于变换矩阵A，当位置传感器102固定在超声探头101上不动、且超声参数(例如成像深度、ROI框位置、三维扫描范围等)不变时，A固定不变，因此可在融合前结合实时姿态信息R_probe(t)，通过标定的方法获取，具体可参见现有超声图像空间变换到定位传感器空间的相关技术，这里不作详述。

对于变换矩阵R_probe，可以由与位置传感器相连的控制器直接读取，随着超声探头的移动，R_probe不断变化，具体亦可参见常用相关技术实现，这里不作详述。

对于变换矩阵P，可以通过下式(2)而获得，其中M是超声图像空间和另一模态图像空间的配准结果。

因此，实现超声融合成像导航系统的一个关键在于计算出M，即计算图像融合的重要映射矩阵P。

然而，由于超声图像和CT(或MR)图像在成像原理上的差别，导致相同位置组织结构的灰阶亮度、对比度等不一致，若采用传统的基于整个图像灰度信息的匹配方法，会无法进行配准。此外，由于CT/MR与三维或四维超声的成像范围、方位差别很大(因超声几乎可以任意方位对目标区域成像)，如果直接进行两组三维数据的配准，其计算量巨大，往往无法搜索到很好的结果，无法达到临床应用对实时性的需求。

基于此，本申请结合一定的外部设备和操作，来达到自动配准的需求。

在本申请一种实施方式中，仍如图2所示，其在步骤S300中的建立初始配准映射关系这一过程可以如图4所示，包括：

步骤S301，在超声图像数据中确定第一初始配准用数据，该第一初始配准用数据包括用于配准的图像目标；

步骤S303，在另一模态图像数据中确定第二初始配准用数据，该第二初始配准用数据包含被操作者认为在第一初始配准用数据中也有的图像目标；以及

步骤S305，根据第一初始配准用数据和第二初始配准用数据，对超声图像数据和另一模态图像数据进行初始配准，建立初始配准映射关系。

一般来说超声成像区域只是CT/MRI数据的一部分，想要采用全自动算法进行超声与CT/MRI数据的配准需要巨大的计算量，无法在实际临床中使用。而在图4所示实施方式中，采用人机交互方式，通过对选择的第一初始配准用数据和第二配准用数据进行配准，给出一个初始映射对应，即在CT/MRI数据中找到超声数据对应的大致区域，这样，相比于直接使用超声图像数据和另一模态图像数据这两组三维数据进行配准而言，不存在因计算量巨大无法搜索到很好的结果、无法达到实时配准的需求等问题。

在图4所示实施方式的一种示例中，确定第一初始配准用数据的方式包括：从超声图像数据中选择某一时相的三维数据，在该选择出的三维数据中，选择出至少一张包含被检查者的组织结构的超声切面。该选择出的超声切面即为第一初始配准用数据。该第一初始配准用数据可由操作者在超声图像数据中选择得到，也可由系统根据被检查者的组织结构的特征，从超声图像数据中自动识别得到。确定第二初始配准用数据的方式包括：操作者在另一模态图像数据中选择包含基本相同的组织结构的图像切面。该选择出的图像切面即为第二初始配准用数据。在该实施例中，在进行初始配准时，是将超声切面和图像切面作为所选择的时相的超声图像数据和另一模态图像数据之间的初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。

在该示例中，首先，超声融合成像导航系统的操作者可以采用超声探头获取被检查者的目标区域的一组四维数据，即动态三维超声图像，然后通过轨迹球、旋钮等空间操作从超声图像数据中选择某一时相的三维数据并从中选择一张包含血管等组织结构信息的超声切面，如图5中标记301所对应的带有血管等标志性组织结构的切面。同时系统中导入包含目标区域的另一模态图像(例如CT/MRI三维图像数据)，操作者通过在系统的控制面板上操控，寻找到包含基本相同组织结构信息的图像切面，即如图5中标记302所对应的带有血管等标志性组织结构的切面。系统基于超声切面和图像切面，将二者分别作为选择时相的三维超声图像数据和CT/MRI三维数据之间的初始对应，采用自动配准算法进行初始三维配准。基于初始配准结果，系统可以按照如上公式(1)和(2)进行图像融合处理。上述切面选择操作中，只需操作者找到两张大致相同切面的图像，系统即可自动进行配准。配准后，操作者如果不满意配准结果，可以进一步进行切面选择，选择根据准确相似的切面，然后进行配准自动计算，直到配准结果满意为止。切面选择为自动配准提供配准的初始映射左右，减小配准计算量，提升配准精度，避免配准算法陷入优化算法的局部极小。

在图4所示实施方式的另一种示例中，确定第一初始配准用数据的方式包括：从超声图像数据中选择包含组织结构的至少一个超声标识点。该选择出的超声标识点即为第一初始配准用数据。确定第二初始配准用数据的方式包括：操作者在另一模态图像数据中选择包含与组织结构相对应的至少一个图像标识点。该选择出的图像标识点即为第二初始配准用数据。在该实施例中，在进行初始配准时，是基于超声标识点和图像标识点，确定超声图像数据和另一模态图像数据之间的初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。

在该另一种示例的一种实现中，根据初始对应进行配准包括：以超声标识点和图像标识点中的一个作为原点，将该原点所在的图像进行旋转映射，另一未被选作原点的标识点所在的图像不进行旋转映射，计算旋转映射后的图像与另一未旋转映射的图像之间的相似性，基于相似性进行初始配准。例如，以超声标识点为原点，将超声图像进行旋转映射，而另一模态图像不进行旋转映射，然后计算旋转映射后的超声图像和未旋转映射的另一模态图像之间的相似性，再基于相似性进行初始配准。

在该另一种示例中，在超声图像数据中选择的至少一个标识点，同时在CT/MRI图像中选择一个对应的标识点，标识点一般为较大血管分叉点。基于选择的对应点，可以确定三维超声图像数据与CT/MRI图像数据在空间位置上的初始对应。以该点为原点，对三维超声或者CT/MRI数据进行旋转映射，基于两组图像的内容间的相似性可以进行配准。此外，为了提升配准效果可以交互式地多选择几个标识点及对应点，然后进行自动配准计算。

在图4所示实施方式的又一种示例中，确定第二初始配准用数据的方式包括：操作者在另一模态图像数据中选择感兴趣对象或该感兴趣对象所在的图像切面。该图像切面即为第二初始配准用数据。针对该感兴趣对象进行超声图像采集，由此，得到超声图像数据。第一初始配准用数据为从感兴趣对象对应的超声图像数据中选择出的与感兴趣对象或其图像切面相对应的感兴趣对象或其超声切面。从而，在进行初始配准时，是将选择的两组感兴趣对象作为初始对应，或者将超声切面和图像切面作为初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。一种实现中，根据初始对应进行初始配准的方式包括：按六自由度的空间位置，基于图像内容的相似性，对超声图像数据和另一模态图像数据进行配准。

在该又一示例中，在三维CT/MRI数据中设定一个感兴趣目标(例如肿瘤目标或者血管)所在切面，同时采集一组感兴趣目标的三维超声图像，并在超声图像中找到同样感兴趣目标所在的切面；根据上述操作，可以获得三维超声图像与CT/MRI图像数据的方向位置的初始对应，以此为初始在方向、位置等六个自由度基于图像内容的相似性进行配准计算，获得三维超声图像数据与CT/MRI图像数据的配准映射关系。此外，也可以是在CT/MRI三维图像数据中选择一个超声体数据中包含的一个感兴趣目标，可以得到超声体数据与CT/MRI三维数据的初始映射对照；根据上述操作，可以获得三维超声与CT/MRI数据的方向位置的初始对应，以此为初始在方向、位置等六个自由度基于图像内容的相似性进行配准计算，获得三维超声与CT/MRI数据的配准映射关系。

在本申请另一种实施方式中，仍如图2所示，其在步骤S300中的建立初始配准映射关系这一过程可以如图6所示，包括：

步骤S301’，确定操作者在另一模态图像数据对应的空间坐标系中设定的方向性标记；

步骤S303’，确定接收到的超声图像数据是按照方向性标记操作超声探头而获得，从而超声图像数据和另一模态图像数据在方向上具有初始对应关系；

步骤S305’，在进行初始配准时，按六自由度的空间位置，基于图像内容的相似性，对超声图像数据和另一模态图像数据进行配准。

在图6所示实施方式中，直接在CT/MRI三维图像数据的坐标下设定超声探头的大致位置，即可以在三维CT/MRI图像数据中设定一个方向例如箭头、直线或者标记点等等；根据上述操作，可以获得三维超声与CT/MRI数据的方向位置的初始对应，以此为初始在方向、位置等六个自由度基于图像内容的相似性进行配准计算，获得三维超声与CT/MRI数据的配准映射关系。

如前述，由于超声图像和CT(或MR)图像在成像原理上的差别，导致相同位置组织结构的灰阶亮度、对比度等不一致，一般的基于整个图像灰度信息的配准方案如互信息、最小灰度差等算法无法进行配准。直接的灰阶信息无法用于配准计算，肝脏中的一般均匀组织区域，对配准计算没有意义；对此，在本申请一实施方式的超声融合成像导航系统的融合方法中，在配准之前先要进行特征区域的提取，即在三维数据中自动提取血管结构、肝包膜、结节等标志性组织结构。其中，血管被认为是最有效的组织结构。一般来说，由于超声的物理成像区域要小于CT/MRI，CT/MRI图像中包含了大量的非目标组织结构信息，不利于目标特征提取，而且计算量很大。对此，在本申请一实施方式的超声融合成像导航系统的融合方法中，设计了算法在三维超声图像数据中自动提取血管等组织结构特征区域。

简单的一种方案是，可以利用超声图像的特点，即目标组织中的血管通常为较黑、较暗的区域，由此，可以直接采用阈值分割获得血管的大致区域。由于是在超声图像这种单一模态中进行特征区域提取识别，图像灰度、灰度梯度等图像信息可以用于特征区域提取，因此可以设计简单血管分类器。值得一提的是，训练一个精确的血管分类器需要很多的训练样本和复杂的模型，而本申请实施方式中的血管分类器，其分类精度要求并不是很高，目的在于大致地提取出图像中的血管。

在本申请一实施方式的超声融合成像导航系统的融合方法中，如图7所示，在步骤S300进行初始配准之前，该方法还包括：在步骤S100和步骤S200之后，分别针对另一模态图像数据和超声图像数据进行特征提取。

其中，对另一模态图像数据进行特征提取的过程包括：

步骤S111，检测出操作者在另一模态图像数据上选择的一部分与被检查者的组织结构相对应的感兴趣数据，

步骤S113，获得感兴趣数据周围预定区域内的另一模态图像信息，利用机器学习算法对另一模态图像信息进行训练，得到图像特征提取分类器，

步骤S115，利用图像特征提取分类器对另一模态图像数据进行特征提取，得到提取的图像特征。

其中，对超声图像数据进行特征提取的过程包括：

步骤S211，获取从超声图像数据上选出的感兴趣超声数据，该感兴趣超声数据对应于被检查者的组织结构，

步骤S213，获得感兴趣超声数据周围预定区域内的超声图像信息，利用机器学习算法对超声图像信息进行训练，得到超声特征提取分类器，

步骤S215，利用超声特征提取分类器对超声图像数据进行特征提取，得到提取的超声特征。

在步骤S300中，在进行初始配准时，是基于提取的超声特征和提取的图像特征进行配准。

在一示例中，实际使用只利用了一个训练分类器，测试结果显示，该分类器能够把图像中多数血管和明亮边界提取出来。以超声图像为例，使用例如支持向量机分类器，首先人为地在若干幅图像中勾画出血管等组织结构，提取勾画目标周围一定区域(例如体素11*11*11的邻域范围)内的灰度、灰度梯度信息，然后用线性SVM(Support Vector Machine，支持向量机)训练一个模型，基于训练模型，可以对三维超声进行特征区域提取。

一般地，两幅图像(I_M(x),I_F(x))的图像配准过程可以描述为，移动图像I_M(x)通过形变变换到固定图像I_F(x)。两幅图像分别定义在各自的维度为d的坐标空间。配准要解决的问题是通过寻找一个位移变换u(x)，使得(I_M(x+u(x))与I_F(x)在空间上有一致性。此问题也可以表述为通过寻找空间变换T(x)＝x+u(x)，使得I_M(T(x))与I_F(x)具有一致性。这个空间变换T定义了从固定图像I_M(x)到移动图像I_F(x)之间的映射关系。基于此，本申请一实施方式的超声融合成像导航系统的融合方法中，在进行图像融合显示之前，该方法还包括：对于初始配准的结果，利用相似性度量算法进行计算，找出最优的配准结果作为最终的初始配准结果。

具体地，两幅图像的配准效果通过相似性度量S来描述，即对另一模态图像数据和配准后的超声图像数据进行相似性度量。比较常用的相似性度量包括平方和(SSD)、相关系数、或者互信息(MI)。通常情况下，配准问题可以通过转换成最优化问题得到解决，如下面公式所示，通过使得成本函数C最小化的方式获得最优的T：

结合上述血管特征提取，可以得到较好的结果，即计算映射矩阵T(t)。同时也可以对特征区域进行边缘检测，基于单位化的梯度信息进行配准计算，详细配准算法在此不做详细描述。

此外，在应用超声融合成像导航系统时，特别是对于一些腹式呼吸的病人进行腹部脏器的融合时，呼吸运动造成的脏器位移、旋转及形变会对融合结果产生很大影响，为了消除或减弱该影响，可以通过某种方法，例如采用下式(4)进行校正。

X_sec＝T(t)·P·R·A·X_US (4)

其中，T(t)为用于校正的某种空间映射方式，T(t)随时间变化。基于此，本申请一种实施方式中，在根据自动配准算法计算出矩阵M，即计算图像融合的重要映射矩阵P之后，还可以根据类似自动配准算法来计算实时映射校正矩阵T(t)，具体自动配准算法可参考前述，在此不再赘述。

超声探头的实时方位可以基于导航系统自动获得，例如通过位置传感器得到。呼吸矫正配准时，基于导航系统和已有的融合映射矩阵P，可以获得当前三维超声和CT/MRI的初始映射P·R(t)·A，基于此初始映射关系采用自动配准算法计算映射矩阵T(t)，其中R(t)表示当前时刻探头方位。呼吸运动一般较缓慢，上述公式(4)描述的自动配准方案可以对导航系统进行实时矫正，而当探头快速移动时不进行自动配准计算，可以设定呼吸实时矫正矩阵T(t)为单位矩阵。

本申请一种实施方式的超声融合成像导航系统的融合方法中，采用人工触发校正功能的方式，即，通过例如人机交互接口，例如触摸屏按键、控制面板按键(如旋钮)等，接收操作者输入的表示启动校正功能的第二指令；以及根据该第二指令，校正另一模态图像数据与当前时刻的超声图像数据的融合结果。即用户使用超声探头打到需要观察的位置，在触摸屏或者控制面板触发自动校正功能。

本申请另一种实施方式的超声融合成像导航系统的融合方法中，采用自动触发校正功能的方式，仍如图2所示，在步骤S500中通过监测超声探头的状态而输出监测结果，在检测结果包括启动校正功能的第一指令时，触发自动校正另一模态图像数据与当前时刻的超声图像数据的融合结果。

在一种实施例中，超声探头的状态的监测方式是：根据相邻两个时相中超声探头的位置的差或其绝对值，或者根据多个时相中超声探头的方位差进行判断，当判断出这些差值在预设范围之内，输出包括表示启动校正功能的第一指令的监测结果。例如，当超声探头在移动时(即操作者如医生在扫查寻找目标位置)，基于导航系统进行实时超声与CT/MRI的融合显示。当超声探头基本不动，或者小范围晃动时(医生在观察目标区域)，基于导航的实时超声与CT/MRI对应关系，采用自动配准算法进行超声与CT/MRI的位置矫正。探头移动状态的实时监测可以根据相邻两个时相探头位置的差或者多个时相时探头的方位差进行判断。

在另一种实施例中，超声探头的状态的监测方式是：根据超声图像数据的图像特征，判断超声探头是否正在进行采集工作，当判断出超声探头正在进行采集工作，输出包括表示启动校正功能的第一指令的监测结果。例如，实时计算扫描的超声数据的平均亮度，监测超声探头是否在人体表面，获取正常组织图像。如果超声探头没有在正常打图，则停止呼吸矫正相关自动配准技术。

在又一种实施例中，超声探头的状态的监测方式是：根据相邻时刻两卷超声图像数据中图像的相关性进行判断，当判断出二者的图像差异在预设范围之内，输出包括表示启动校正功能的第一指令的所述监测结果。例如，计算在其中一组三维超声数据中选择部分区域图像内容，与另外一组图像的灰度差异。或者进行相邻两卷三维超声图像内容的块匹配跟踪计算，来判断超声探头移动状态。除平均亮度外，也可计算亮度方差或者计算亮度的整体分布方式。

依据本申请的超声融合成像导航系统及其融合方法，在将四维超声探头采集到的四维超声图像数据与另一模态图像数据进行配准与融合时，实时监测探头的运动状态，并根据监测结果启动校正功能，以去除因被检查者的呼吸运动引起的超声图像数据与另一模态图像数据之间的相对位移。

本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例作出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。

另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD-ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。

虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。

前述具体说明已参照各种事实例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变的更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。

具有本领域技术的人将认识到，在不脱离本发明的基本原理的情况下，可以对上述实施例的细节进行许多改变。因此，本发明的范围应根据权利要求确定。

Claims (25)

1.一种超声图像与另一模态图像进行融合的方法，其特征在于，包括：

利用配置有位置传感器的超声探头向被检查者发射超声波，接收自所述被检查者返回的超声回波以获得超声回波信号，根据所述超声回波信号获得被检查者的超声图像数据，所述超声图像数据为四维超声图像数据或具有时间信息的至少一卷三维超声图像数据；

获取被检查者的另一模态图像数据，对所述另一模态图像数据和所述超声图像数据进行初始配准，建立初始配准映射关系；

利用所述位置传感器获取所述超声探头的实时姿态信息，根据所述初始配准映射关系和所述超声探头的实时姿态信息，对所述超声图像数据和所述另一模态图像数据进行图像融合显示；

在进行图像融合显示时，监测所述超声探头的状态并输出监测结果，所述监测结果包括表示启动校正功能的第一指令；以及

在所述监测结果包括表示启动校正功能的第一指令时，校正另一模态图像数据与当前时刻的超声图像数据的融合结果。

2.根据权利要求1所述的方法，其特征在于，所述校正另一模态图像数据与当前时刻的超声图像数据的融合结果包括：

获取当前时刻的超声图像数据，所述当前时刻的超声图像数据为一卷三维超声图像数据；

计算所述另一模态图像数据与所述当前时刻的超声图像数据之间新的配准映射关系；以及

将该新的配准映射关系作为所述初始配准映射关系，对后续的实时超声图像数据和所述另一模态图像数据进行图像融合显示。

3.根据权利要求1所述的方法，其特征在于，所述监测超声探头的状态包括：根据相邻两个时相中超声探头的位置的差或其绝对值，或者根据多个时相中超声探头的方位差进行判断，当判断出这些差值在预设范围之内，输出包括表示启动校正功能的第一指令的所述监测结果。

4.根据权利要求1所述的方法，其特征在于，所述监测超声探头的状态包括：根据超声图像数据的图像特征，判断超声探头是否正在进行采集工作，当判断出所述超声探头正在进行采集工作，输出包括表示启动校正功能的第一指令的所述监测结果。

5.根据权利要求4所述的方法，其特征在于，所述超声图像数据的图像特征包括超声图像数据的平均亮度。

6.根据权利要求1所述的方法，其特征在于，所述监测超声探头的状态包括：根据相邻时刻两卷超声图像数据中图像的相关性进行判断，当判断出二者的图像差异在预设范围之内，输出包括表示启动校正功能的第一指令的所述监测结果。

7.根据权利要求1至6任一项所述的方法，其特征在于，还包括：

接收用户输入的表示启动校正功能的第二指令；以及

根据所述第二指令，校正另一模态图像数据与当前时刻的超声图像数据的融合结果。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述建立初始配准映射关系包括：

在所述超声图像数据中确定第一初始配准用数据，所述第一初始配准用数据包括用于配准的图像目标；

在所述另一模态图像数据中确定第二初始配准用数据，所述第二初始配准用数据包含被操作者认为在所述第一初始配准用数据中也有的图像目标；以及

根据所述第一初始配准用数据和所述第二初始配准用数据，对所述超声图像数据和所述另一模态图像数据进行初始配准，建立所述初始配准映射关系。

9.根据权利要求8所述的方法，其特征在于，

所述第一初始配准用数据的确定包括：在从所述超声图像数据中选择的某一时相的三维数据中，选择出至少一张包含被检查者的组织结构的超声切面；

所述第二初始配准用数据的确定包括：操作者在所述另一模态图像数据中选择包含基本相同的所述组织结构的图像切面；

在进行初始配准时，所述超声切面和所述图像切面作为所选择的时相的超声图像数据和另一模态图像数据之间的初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。

10.根据权利要求8所述的方法，其特征在于，

所述第一初始配准用数据的确定包括：从所述超声图像数据中选择包含组织结构的至少一个超声标识点；

所述第二初始配准用数据的确定包括：操作者在所述另一模态图像数据中选择包含与所述组织结构相对应的至少一个图像标识点；

在进行初始配准时，基于所述超声标识点和所述图像标识点，确定超声图像数据和另一模态图像数据之间的初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。

11.根据权利要求10所述的方法，其特征在于，根据初始对应进行配准包括：以所述超声标识点和所述图像标识点中的一个作为原点，将该原点所在的图像进行旋转映射，另一未被选作原点的标识点所在的图像不进行旋转映射，计算旋转映射后的图像与另一未旋转映射的图像之间的相似性，基于相似性进行初始配准。

12.根据权利要求8所述的方法，其特征在于，

所述第二初始配准用数据的确定包括：操作者在所述另一模态图像数据中选择感兴趣对象或该感兴趣对象所在的图像切面；

所述超声图像数据包括针对所述感兴趣对象进行采集而得到的超声图像数据；

所述第一初始配准用数据的确定包括：从感兴趣对象对应的超声图像数据中选择与所述感兴趣对象或其图像切面相对应的感兴趣对象或其超声切面；

在进行初始配准时，将选择的两组感兴趣对象作为初始对应，或者将超声切面和图像切面作为初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。

13.根据权利要求12所述的方法，其特征在于，根据初始对应进行初始配准包括：按六自由度的空间位置，基于图像内容的相似性，对超声图像数据和另一模态图像数据进行配准。

14.根据权利要求1所述的方法，其特征在于，所述建立初始配准映射关系包括：

确定操作者在另一模态图像数据对应的空间坐标系中设定的方向性标记；

确定接收到的超声图像数据是按照所述方向性标记操作超声探头而获得，从而所述超声图像数据和所述另一模态图像数据在方向上具有初始对应关系，

在进行初始配准时，按六自由度的空间位置，基于图像内容的相似性，对超声图像数据和另一模态图像数据进行配准。

15.根据权利要求1-6、14中任一项所述的方法，其特征在于，在进行初始配准之前，所述方法还包括分别对超声图像数据和另一模态图像数据进行特征提取，其中，

对超声图像数据进行特征提取的过程包括：获取从超声图像数据上选出的感兴趣超声数据，该感兴趣超声数据对应于被检查者的组织结构，获得所述感兴趣超声数据周围预定区域内的超声图像信息，利用机器学习算法对所述超声图像信息进行训练，得到超声特征提取分类器，利用所述超声特征提取分类器对超声图像数据进行特征提取，得到提取的超声特征；

对另一模态图像数据进行图像特征的过程包括：检测出操作者在另一模态图像数据上选择的一部分与所述被检查者的组织结构相对应的感兴趣数据，获得所述感兴趣数据周围预定区域内的另一模态图像信息，利用机器学习算法对所述另一模态图像信息进行训练，得到图像特征提取分类器，利用所述图像特征提取分类器对另一模态图像数据进行特征提取，得到提取的图像特征；

在进行初始配准时，基于提取的超声特征和提取的图像特征进行配准。

16.根据权利要求1至6、14中任一项所述的方法，其特征在于，在进行图像融合显示之前，还包括：对于初始配准的结果，利用相似性度量算法进行计算，找出最优的配准结果作为最终的初始配准结果。

17.一种超声融合成像系统，其特征在于，包括：

超声探头，其配置有位置传感器，所述位置传感器用于获取所述超声探头的实时姿态信息；

发射和接收电路，用于激励所述超声探头向被检查者发射超声波，接收超声回波信号；

处理器，用于根据所述超声回波信号获得被检查者的超声图像数据，所述超声图像数据为四维超声图像数据或具有时间信息的至少一卷三维超声图像数据；以及

显示器，用于对超声图像数据进行显示输出；

其中，所述处理器还用于：

对所述超声图像数据和事先获取的被检查者的另一模态图像数据进行初始配准，建立初始配准映射关系；

根据所述初始配准映射关系和所述超声探头的实时姿态信息，对所述超声图像数据和所述另一模态图像数据进行图像融合处理；

其中，在进行图像融合处理时，所述处理器还用于监测超声探头的状态并输出监测结果，所述监测结果包括表示启动校正功能的第一指令；以及在所述监测结果包括表示启动校正功能的第一指令时，校正另一模态图像数据与当前时刻的超声图像数据的融合结果；

所述显示器还用于显示图像融合处理的结果。

18.如权利要求17所述的超声融合成像系统，其特征在于，所述处理器在用于校正另一模态图像数据与当前时刻的超声图像数据的融合结果时的具体操作包括：获取当前时刻的超声图像数据，所述当前时刻的超声图像数据为一卷三维超声图像数据；计算所述另一模态图像数据与所述当前时刻的超声图像数据之间新的配准映射关系；以及将该新的配准映射关系作为所述初始配准映射关系，对后续的实时超声图像数据和所述另一模态图像数据进行图像融合显示。

19.如权利要求17所述的超声融合成像系统，其特征在于，所述处理器用于监测超声探头的状态包括：根据相邻两个时相中超声探头位置的差或其绝对值，或者根据多个时相中超声探头的方位差进行判断，当判断出这些差值在预设范围之内，输出包括表示启动校正功能的第一指令的所述监测结果；

或者，

所述处理器用于监测超声探头的状态包括：根据超声图像数据的图像特征，判断超声探头是否正在进行采集工作，当判断出所述超声探头正在进行采集工作，输出包括表示启动校正功能的第一指令的所述监测结果；

或者，

所述处理器用于监测超声探头的状态包括：根据相邻时刻两卷超声图像数据中图像的相关性进行判断，当判断出二者的图像差异在预设范围之内，输出包括表示启动校正功能的第一指令的所述监测结果。

20.如权利要求19所述的超声融合成像系统，其特征在于，所述超声图像数据的图像特征包括超声图像数据的平均亮度。

21.如权利要求17-20任一项所述的超声融合成像系统，其特征在于，所述处理器在用于建立初始配准映射关系的具体操作包括：

在所述超声图像数据中确定第一初始配准用数据，所述第一初始配准用数据包括用于配准的图像目标；

在所述另一模态图像数据中确定第二初始配准用数据，所述第二初始配准用数据包含被操作者认为在所述第一初始配准用数据中也有的图像目标；以及

根据所述第一初始配准用数据和所述第二初始配准用数据，对所述超声图像数据和所述另一模态图像数据进行初始配准，建立所述初始配准映射关系。

22.如权利要求21所述的超声融合成像系统，其特征在于，

所述第一初始配准用数据为至少一张包含被检查者的组织结构的超声切面，其是从超声图像数据中选择的某一时相的三维数据中选择出的，

所述第二初始配准用数据为操作者在另一模态图像数据中选择的可能包含相同的所述组织结构的图像切面；

所述处理器还用于在进行初始配准时，把所述超声切面和所述图像切面作为所选择的时相的超声图像数据和另一模态图像数据之间的初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行配准。

23.如权利要求21所述的超声融合成像系统，其特征在于，

所述第一初始配准用数据为从超声图像数据中选择的包含易于辨识的组织结构的至少一个超声标识点，

所述第二初始配准用数据为操作者在另一模态图像数据中选择的包含与所述组织结构相对应的至少一个图像标识点；

所述处理器还用于在进行初始配准时，基于所述超声标识点和所述图像标识点，确定超声图像数据和另一模态图像数据之间的初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行配准。

24.如权利要求21所述的超声融合成像系统，其特征在于，

所述第二初始配准用数据为操作者在另一模态图像数据中选择的感兴趣对象或该感兴趣对象所在图像切面，

所述超声图像数据包括针对所述感兴趣对象进行采集而得到的超声图像数据，

所述第一初始配准用数据为从感兴趣对象对应的超声图像数据中选择的与所述感兴趣对象或其图像切面相对应的感兴趣对象或其超声切面；

所述处理器还用于在进行初始配准时，将选择的两组感兴趣对象作为初始对应，或者将超声切面和图像切面作为初始对应，根据该初始对应，对超声图像数据和另一模态图像数据进行初始配准。

25.根据权利要求17所述的超声融合成像系统，其特征在于，所述处理器在用于建立初始配准映射关系的具体操作包括：

确定操作者在另一模态图像数据对应的空间坐标系中设定的方向性标记；

确定接收到的超声图像数据是按照所述方向性标记操作超声探头而获得，从而所述超声图像数据和所述另一模态图像数据在方向上具有初始对应关系，

在进行初始配准时，按六自由度的空间位置，基于图像内容的相似性，对超声图像数据和另一模态图像数据进行配准。