CN101455576A - 超声宽景成像的方法、装置与系统 - Google Patents

Abstract

本发明提供一种超声宽景成像方法，包括：(1)在一系列图像中选取第一图像和第二图像，将每个所选图像分为多个区域；(2)选取第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；(3)在第二图像中搜索步骤(2)中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；(4)当搜索结束时，确定变换参数，并根据变换参数对这两个图像进行拼接；以及(5)重复执行步骤(1)、(2)、(3)和(4)，直到一系列图像拼接为一幅图像。本发明还提供了一种超声宽景成像系统，包括：探头；信号收发设备；波束合成设备；信号处理设备；图像处理设备，其中包括执行本发明的超声宽景成像方法的装置；显示设备。反馈机制的引入提高了搜索的准确度。

Description

超声宽景成像的方法、装置与系统

技术领域

本发明一般涉及超声成像领域，特别是涉及超声宽景成像的方法、装置与系统。

背景技术

宽景成像是一种以辅助医疗诊断为目的的超声成像技术，其优点是便于医生对诊断对象进行观察和测量。

超声宽景成像技术，是通过探头的在同一平面内的移动获取一系列二维切面图像，然后利用计算机重建方法，将这一系列二维图像拼接为一幅连续的切面图像的技术。

超声仪器一般用于医生观察人体的内部组织部位，医生通过操作探头放在人体部位对应的皮肤表面，可以得到该部位的超声图像。超声由于其无创性、方便性以及可靠性，成为医生诊断的主要辅助手段。然而，单帧超声图像的宽度取决于探头，一般探头的长度有限，这也限制了医生在同一时刻可以看到组织部位区域的大小，当组织部位超出单帧图像的显示范围时，医生就不得不来回移动探头以观察组织的不同部位。消除这种局限性正是宽景成像技术所要解决的问题，宽景成像技术通过医生在同一平面扫描的一系列图像，通过图像间的相关性，将图像序列拼接成一幅加长了的超声图像，从而解决了医生同时间的可视区域依赖于探头长度的缺陷。宽景成像的另一个优点是便于测量，在一幅图像上显示整个组织或结构后，就可以通过一般超声都具有的测量功能，直接测出观察区域的长度或面积；如果使用普通的超声，则该过程需要将探头角度反复调整到合适的观察位置，当待测的区域位于一幅图像内后才能进行测量，并且，当观察区域较大时，还不能进行直接测量。

宽景成像属于图像拼接的范畴，早在由M超单条扫描线发展到B超的过程中，就有人将一系列的扫描线拼接起来组成一幅二维图像；此后，又有人提出组合扫查(compound B-Scanner)的概念，它通过将B超的探头固定于一机械臂上，该机械臂的作用是将探头限制在一个平面内移动，并实时记录探头的当前位置信息，通过该信息将探头在移动过程中获取的一系列图像拼接成一幅图像，达到实现宽景成像的目的。该方法因为需要使用机械臂，所以使用较为不便，而且对于现代的手持超声探头来说，基本没什么实际应用的意义。最近十年，提出了各种针对手持超声探头的宽景成像技术。

宽景成像主要包括配准与拼接两个环节。配准是计算两幅图像之间的几何变换参数的过程，而拼接是根据所得的变换参数，将两幅图像合成为一幅图像的过程。对于拼接环节，许多专利都描述得比较少，因为无论从质量还是速度方面来考虑，宽景成像的关键都在于配准环节。所以，本发明也主要针对配准环节展开。

对于超声宽景成像，图像之间的几何变换可以近似地认为属于刚体变换，从而可以表达为图像间的相对偏移量(offx，offy)以及相对旋转角度θ。偏移量和旋转角度可以合并为一个三维变量(offx，offy，θ)，本发明称为“变换参数”。显然，一个变换参数唯一对应于一个刚体变换参数。

SAD(Sum of Absolute Difference，绝对差之和)原指一种相似性测度的计算方法，也指用这种相似性测度计算偏移量的方法。具体是：在一幅图像中取一个模板，在另一幅图像中取一个搜索区域；对搜索区域内的每个位置，取与模板相同大小的邻域，与模板逐点计算灰度之差的绝对值并求和，由此得到SAD值；其中MSAD(最小的SAD)对应的位置就是最匹配的位置，该位置相对模板位置的坐标偏移就是偏移量。

SAD方法也可用于计算旋转角度。将图像在一个角度范围内按照某个设定的间距进行旋转，对每个旋转位置，与另一幅图通过SAD方法计算MSAD值；最终选取对应最小的MSAD值的旋转位置作为所要求的旋转角度，而用该角度计算出的偏移量作为所要求的偏移量。为与下文提出的方法相区别，本发明将这种完全依靠SAD来计算变换参数的方法称为“纯SAD方法”。

为计算偏移量和旋转角度，除了纯SAD方法外，还可以使用SAD结合LSM(最小二乘法)的方法，具体是：将一幅图像分割为多个局域，对每个局域分别使用SAD方法，得到一系列的局域偏移量；再利用LSM方法，将这些偏移量拟合以得到变换参数。为便于描述，本发明将这种使用SAD结合LSM计算变换参数的方法简称为“SAD-LSM方法”。

下面对相关的三个现有技术方案进行评述。现有技术方案一提出了这样的方案：首先将图像分成若干个区域，并在每个区域内取梯度最大的一点，以其邻域作为特征区域，然后利用各个特征区域内的灰度值或梯度值来进行配准，最后根据配准得到的变换参数来进行拼接。其中，配准环节的计算方法就是前面提到的纯SAD方法，具体是：首先，预测变换参数(offx，offy，θ)的取值范围，得到一个三维的搜索空间；然后，对三个维度分别设定一定的步长，遍历此空间计算SAD，其中取得MSAD处的参数即为所求的变换参数。

现有技术方案二与现有技术方案三的配准环节与现有技术方案一不同，它们都使用了前面提到的SAD-LSM方法，具体是：将一幅图像分割为多个局域，对每个局域，预测偏移量(offx，offy)的取值范围，得到二维的搜索空间；然后遍历这些空间来计算SAD，以得到一系列的局域偏移量；最后利用LSM方法，将这些局域偏移量拟合以得到变换参数。二者的不同点的是：现有技术方案三在开始拟合之前，有一个使用模糊逻辑对局域偏移量进行修正的过程，而现有技术方案二无此过程。

另外，现有技术方案二和现有技术方案三还分别给出了搜索的优化方案。现有技术方案二的优化方案是以一定步长跳跃地搜索，代替逐个像素搜索的做法。现有技术方案三的优化方案是将二维搜索退化为两次一维搜索，具体是：先进行X方向的粗略搜索，再进行Y方向的粗略搜索，由这两次搜索结果确定一个较小的搜索区域，再在此区域内进行二维精确搜索。另外，现有技术方案三还介绍了一种利用MPEG(动态影像压缩标准)编码的优化方案，但又指出该方案的错误率较高，因此我们不予考虑。

前面已经指出，宽景成像的关键在于配准环节，因此这里只讨论上述现有技术方案在该环节的实现方法。

现有技术方案一的缺点：三维空间搜索的计算量很大，严重影响了宽景成像的速度；而且旋转间隔很难确定，间隔偏小会使计算量很大，间隔偏大会使精确度降低，因为精确角度往往在两个计算角度之间。

现有技术方案二的缺点：过于信任局域偏移量，未经筛选或修正就直接进行LSM计算；由于超声图像的噪声以及组织运动因素影响，不能保证所有特征区域计算出来的偏移量均正确；若直接使用这些偏移量，可能导致LSM计算出来的变换参数也不准确，从而使结果图出现异常。

现有技术方案三的缺点：使用了模糊逻辑对局域偏移量进行修正，具有其合理性；但是模糊规则的制定过于依靠经验，通用性难以保证。

此外，现有技术方案二和现有技术方案三中使用的是二维空间搜索，虽然其速度已经显著高于现有技术方案一的三维空间搜索，但其计算量仍然是非常巨大的，因此必须加以优化。下面讨论它们给出的优化方案。

现有技术方案二的优化方案的缺点：跳跃搜索实际就是采样率为m×n的采样搜索，其中m和n分别是X方向和Y方向的跳跃步长；采样搜索可以提高速度，但是必然牺牲准确性，即使在搜索结果的附近区域再追加一次逐点搜索，也可能因为起始位置偏差过大而导致搜索失败；若设置较小的跳跃步长，可以减少出现这种错误的机会，但这时对速度的提高又不明显。

现有技术方案三的优化方案的缺点：对于尺寸为M×N的搜索区域，X方向的粗略搜索可以看作采样率为1×N的采样搜索，Y方向的粗略搜索可以看作采样率为M×1的采样搜索，因此，该方案将面临与现有技术方案二的优化方案相同的问题，即很有可能一维粗略搜索的结果就已经偏离了正确位置，在此基础上再进行二维精确搜索，其结果也必然是失败的。

上述两个方案都可以看作采样搜索，因此其本质是相同的。采样搜索方案若能够成立，需要基于这样的假设：在搜索空间内，随着当前搜索点的移动，SAD值是缓慢变化的。显然，这需要模板图像的内容具有较强的相关性；一般来说，当模板尺寸较大时，才可以认为这样的假设是成立的。但是，若设置较大的模板尺寸，不但增加了计算量，而且使SAD对旋转角度的敏感性加强。而现有技术方案二和现有技术方案三又没有现有技术方案一那样的逐一旋转的过程，若对角度敏感，则当实际旋转角度较大时，很可能导致错误匹配。

综上所述，现有技术方案一的缺点是严重的速度问题以及旋转间隔确定不当时的准确度问题；现有技术方案二和现有技术方案三的准确度不佳，而且必须依靠优化方案才能解决速度问题，但优化方案的准确度也值得怀疑。

发明内容

本发明的目的是提供超声宽景成像的方法、装置与系统，用于准确地将图像序列重建为宽景图像。

根据本发明的第一方面，提供了一种超声宽景成像方法，包括以下步骤：

(1)在一系列图像中选取第一图像和第二图像，将每个所选图像分为多个区域；

(2)选取所述第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；

(3)在所述第二图像中搜索步骤(2)中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；

(4)当搜索结束时，确定变换参数，并根据所述变换参数对这两个图像进行拼接；以及

(5)重复执行步骤(1)、(2)、(3)和(4)，直到所述一系列图像拼接为一幅图像。

根据本发明的第二方面，提供了一种超声宽景成像装置，包括：

图像选取单元，用于从一系列图像中选取第一图像和第二图像，并将每个所选图像分为不同的区域；

区域选取单元，用于选取所述第一图像中的全部或部分区域；

特征点选取单元，用于在所选区域的每一个中选取一个特征点；

搜索单元，用于在所述第二图像中搜索所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；

拼接单元，用于当搜索结束时，根据所得的变换参数对这两个图像进行拼接；以及

循环执行控制单元，用于循环地使所述图像选取单元、区域选取单元、特征点选取单元、搜索单元和拼接单元依次执行相关操作，直到所有图像拼接为一幅图像。

根据本发明的第三方面，提供了一种超声宽景成像系统，包括：

探头，用于向受测对象发射超声波并接收从受测对象反射回来的超声波；

信号收发设备，与所述探头相连接，用于收发信号；

波束合成设备，与所述信号收发设备相连接，用于接收回波信号；

信号处理设备，与所述信号收发设备相连接，用于处理从所述波束合成设备输出的信号；

图像处理设备，与所述信号处理设备相连接，用于对图像进行处理；以及

显示设备，与所述图像处理设备相连接，用于显示图像；

其特征在于，所述图像处理设备包括如权利要求17所述的超声宽景成像装置。

根据本发明的第四方面，提供了一种将图像进行结合的方法，其中，将所述图像分为多个区域，所述方法包括以下步骤：

选取第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；

在第二图像中搜索在所述第一图像中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；以及

当搜索结束时，确定变换参数，并根据所述变换参数对这两个图像进行拼接。

本发明的超声宽景成像方法引入了反馈机制，随着搜索的进行来修正变换参数并反馈于搜索过程，这样就可以使变换参数逐渐趋向准确，经修正的变换参数反馈于搜索过程又可以使搜索更加准确，从而形成变换参数修正与搜索过程的良性互动，使搜索结束时得到的变换参数比较准确，根据该变换参数，对图像的拼接效果也会比较理想，因此，最终可形成较准确的宽景图像。

本发明还引入了爬山法等依赖起始点的搜索方法，因为这类搜索方法只需在一条线状的路径上搜索，而且可以在有限的步数之内到达目标，所以效率要明显高于遍历整个搜索区域的方法，这就大大提高了图像配准过程中的搜索速度，从而显著提高了图像配准的速度，进而能快速地将图像序列重建为宽景图像。

附图说明

下面结合附图，对本发明的具体实施方式进行详细的描述，其中：

图1是根据本发明的一个实施例的超声宽景成像系统的框图；

图2是根据本发明的一个实施例的超声宽景成像方法的流程图；

图3a是根据本发明的一个实施例的超声宽景成像方法的初始化环节的流程图；

图3b是根据本发明的一个实施例的超声宽景成像方法的经改进的初始化环节的流程图；

图4是根据本发明的一个实施例的超声宽景成像方法的配准环节中所涉及的搜索区域的示意图；

图5是根据本发明的一个实施例的的超声宽景成像方法的配准环节中所涉及的反馈匹配-拟合方法的流程图；

图6是根据本发明的另一个实施例的超声宽景成像方法的流程图；

图7是根据本发明的另一个实施例的超声宽景成像装置的示意图；

图8是根据本发明一个实施例的将图像进行结合的方法的流程图。

具体实施方式

本发明的超声宽景成像系统包括：探头，用于向受测对象发射超声波并接收从受测对象反射回来的超声波；信号收发设备，与探头相连接，用于收发信号；波束合成设备，与信号收发设备相连接，用于接收回波信号；信号处理设备，与信号收发设备相连接，用于处理从所述波束合成设备输出的信号；图像处理设备，与信号处理设备相连接，用于对图像进行处理；以及显示设备，与图像处理设备相连接，用于显示图像；其中，图像处理设备包括本发明的超声宽景成像装置。图1是根据本发明的一个实施例的超声宽景成像系统的框图。如图所示，一组通过延迟聚焦的脉冲可通过发射电路发送到探头，探头可向受测机体组织发射超声波，经一定延时后接收从受测机体组织反射回来的超声波。回波信号进入波束合成器，完成聚焦延时、加权和通道求和。波束合成器的输出信号经过信号处理，再经图像处理模块处理后，就可以通过显示设备进行显示。

该系统的核心是图像处理模块中的宽景成像子模块，其总流程如图2所示。图中I是图像序列的帧数，可以用1，2，...，I作为图像的序号，它们以扫描的先后顺序排列。每次从序列中取出相邻的两帧图像，依次执行初始化环节、配准环节和拼接环节，重复此过程，直到满足结束条件。由于多幅图像拼接是两幅图像拼接过程的重复，因此以下我们只讨论两幅图像的拼接。

首先执行初始化环节，其流程如图3a所示，包括四个步骤。

第一步，从图像序列中取出第i帧图像和第i-1帧图像(步骤301a)。前者用于提取特征点，后者用于搜索匹配点，本发明分别将这两幅图像称为当前的“特征图”和“搜索图”。

第二步，在特征图中取出R个区域(步骤302a)。例如，在图像四周留出适当宽度的边界之后，将中间部分整齐地划分为w₁×h₁排列的栅格，例如w₁＝h₁＝8，这时R＝64。

第三步，在每个区域内取出一个特征点(步骤303a)。这需要考察区域内每个点的特征丰富程度，本发明称为“点有效度”。例如，可以取点的灰度梯度，或者点邻域内的灰度方差，或者二者的乘积等作为该点的点有效度。然后取出每个区域内最大的点有效度，其对应的点即为该区域的特征点。

第四步，确定每个特征点的搜索区域(步骤304a)。所谓搜索区域，是针对当前特征点在搜索图中划出的一块区域，它出于对匹配点位置范围的估计。搜索区域的形状大多为矩形，其中心通常与特征点位置重合，其尺寸与探头运动速度和运动方向有关，并可以根据前几帧配准过程得到的图像位置关系进行预测。一般来说，搜索区域尺寸越大，则搜索速度越慢，但出现错误匹配的可能性越小。由于本发明的搜索速度对搜索区域的尺寸并不敏感，因此倾向设置尺寸较大的搜索区域，它是以特征点位置为中心的w₂×h₂的矩形，例如w₂＝41，h₂＝21。其中X方向尺寸大于Y方向尺寸是因为探头一般以水平运动为主。

为了在保证效果的前提下减少后续处理的工作量，可以从R个区域中过滤出r个有效区域，还可以对从r个有效区域中取出的r个特征点进行排序，并选取排在前面的所需数量的特征点。根据该思路，可得到如图3b所示的方案。

图3b示出根据本发明的一个实施例的超声宽景成像方法的经改进的初始化环节的流程图，包括六个步骤。

第一步，从图像序列中取出第i帧图像和第i-1帧图像(步骤301b)。

第二步，在特征图中取出R个区域(步骤302b)。

第三步，从R个区域中过滤出r个有效区域(步骤303b)。这需要考察每个区域的特征丰富程度，本发明称为“区域有效度”。例如，可以取区域内的灰度方差作为该区域的区域有效度。然后对R个区域按照有效度从大到小进行排序，取出前r个区域，例如r＝32，作为有效区域。

第四步，在每个有效区域内取出一个特征点(步骤304b)。

第五步，对r个特征点按照“特征点有效度”从大到小进行排序，并选取排在前面的所需数量的特征点(步骤305b)。本文使用的术语“特征点有效度”是指每个特征点的有效程度。例如，可以直接取特征点的点有效度，或者将它与所在子区域的区域有效度相乘，作为该特征点的特征点有效度。

第六步，确定所选取的每个特征点的搜索区域(步骤306b)。

虽然上述操作针对相邻的两个相邻图像帧进行，但是，要理解到，上述操作可以针对不相邻的图像帧进行，优选地，可对在采集时间上具有先后关系且在空间上具有一定面积的重叠区域的两个图像帧进行以上操作。在这种情况下，采集时间在后的一个图像帧对应于上述的第i帧图像，而采集时间在前的一个图像帧对应于上述的第i-1帧图像。

初始化环节完成了配准的准备工作，然后进入配准环节。配准的首要工作是匹配点的搜索，即对每个特征点，在其对应的搜索区域内找到与它匹配程度最高的一点。这样的匹配程度可以用相似性测度表示，本发明称为“匹配度”，匹配度最高的一点即为匹配点。

由于孤立的点与点之间很难进行匹配，所以在计算匹配度时，通常将特征点扩展为以之为中心w₃×h₃的邻域，例如w₃＝h₃＝15，称为模板。模板的尺寸不能过小，否则携带的信息过少而不足以匹配；但模板的尺寸也不能过大，否则不但增大了匹配度的计算量，而且加剧了旋转角度对匹配度计算的影响，当实际旋转角度较大时，很可能导致错误匹配。

在计算匹配度时，需将搜索区域内的每个搜索点扩展为以之为中心的、与模板尺寸相同的邻域，再以某个目标函数对匹配度进行度量。这里可供选择的目标函数除了SAD之外，还有互相关、互信息，以及各种度量向量距离的方法等。若记目标函数值为F，则匹配点就是F的最优值对应的点。对于SAD而言，越小的F值代表越大的匹配度，因此F的最优值就是F的最小值。

本发明称每个特征点及其匹配点构成一个“配对”，多个配对构成的集合为“配对集”，因此最终的配对集将包括r个配对。在理想情况下，二个配对就可以确定一个变换参数。而在实际情况下，由于噪声和异常点的存在，仅仅依赖二个配对的健壮性是很差的，往往需要得到多个配对，再用拟合方法计算出变换参数。可供选择的拟合方法除了LSM之外，还有极大似然拟合、贝叶斯拟合等等。为了进一步提高精度，还可以在拟合之前先对配对数据进行聚类，或者使用Hough变换这样将聚类和拟合联合进行的方法。

无论是否使用聚类，本发明都将计算变换参数的过程称为拟合，并称这种先搜索匹配度最优值得到匹配点、再对多组配对进行拟合的方法为“匹配-拟合方法”。由于SAD只是计算匹配度的一种方法，LSM也只是拟合的一种方法，因此现有技术方案二和现有技术方案三使用的SAD-LSM方法只是匹配-拟合方法的一种特例。

显然，对r组配对进行拟合的计算量是很小的，而搜索r个匹配点的计算量是很大的，因此必须对后者加以优化。搜索r个匹配点的过程实质上就是目标函数的最优值搜索过程，经典的优化方法有遗传算法、鲍威尔算法、模拟退火法、爬山法等等。一般认为，爬山法是其中最轻量的方法，而本发明使用的优化方法正是基于爬山法提出的。

爬山法的定义：“在人工智能领域内，为找到一个最佳值所采用的一种搜索技术。搜索从任意一点开始，在所选点附近取若干测试点，求得在这些点上相应函数的值，然后在试验数据表明的最佳方向上移动一步，重复上述过程，直到所有相邻测试点的数据均表明这些点上相应函数的值都比搜索点低为止。”(引自《英汉双解计算机词典》)

若直接将爬山法应用于匹配点的搜索，则具体步骤是：

以任意一点(例如搜索区域的中心点)作为搜索的起点，本发明称为“起始点”。计算以之为中心的3×3邻域内各点的F值，并取其中最优的(即最小的)F值，记作f。本发明称当前邻域的中心点为“当前点”，f值所在的位置为当前点的“趋向点”。若当前点和趋向点不重合，则将当前点移动一步以接近趋向点。重复上述过程，直到当前点和趋向点重合、或者趋向点逸出搜索区域为止，这时当前点即为算法找到的匹配点。

可以理解，爬山法只需在一条线状的路径上搜索，而且可以在有限的步数之内到达目标，其效率显然比遍历整个搜索区域的方法高得多。但是众所周知，爬山法有一个较大的缺点：

我们需要寻找的最优值应该是全局最优值，而爬山法找到的结果很可能仅仅是局部最优值。一般情况下，搜索区域内的局部最优值点不止一个，虽然全局最优值点一定是局部最优值点，但局部最优值点不一定是全局最优值点。

一个实例如图4所示，其中实心星形表示全局最优值点，空心星形表示其他的局部最优值点，箭头表示非局部最优值点指向其趋向点的方向。可以看到，随着起始点位置的不同，每个局部最优值点都有可能成为爬山法搜索的结果。最终到达某个局部最优值点的起始点位置构成一个集合，本发明称该集合为该局部最优值点的“集水盆”。如图4中的深色背景区域，标示出全局最优值点的集水盆。对于实际数据而言，全局最优值点的集水盆往往是所有集水盆中面积最大的，至少是相对较大的。

因此，为了既能保持爬山法计算量小的优点，又能克服它容易陷入局部最优值的缺点，需要解决的关键问题是初值问题。也就是说，若能保证起始点落在全局最优值点的集水盆内，而不落在其他各个局部最优值点的集水盆内，就一定能够找到全局最优值。

为解决这一问题，本发明提出的方法是：假设已经得到c个配对组成的配对集，由此可拟合出变换参数。根据变换参数和第c+1个特征点位置，可对第c+1匹配点位置进行预测。以这个预测位置作为起始点，进行爬山法搜索，得到第c+1个匹配点的正确位置。于是得到第c+1个配对，将它加入配对集，重新拟合出变换参数。重复此过程，直到r个配对全部加入配对集，这时拟合出的变换参数即为最终确定的变换参数。

该方法的整个过程如图5所示。在以往的配准方法中，配对集和变换参数仅仅是输入和输出的关系；而本发明提出的方法是将变换参数反作用于配对集，这可以看作多次反馈的过程。由于每次反馈直接作用于爬山法搜索，从搜索的角度而言，该方法可看作最优值搜索的优化方法，因此本发明将该方法称为“反馈爬山法”。同时，从配准的角度而言，该方法可看作匹配-拟合方法的一种优化方法，因此本发明又将该方法称为“反馈匹配-拟合方法”。要理解，反馈机制的引入主要是为了解决图像配准的准确度问题，而爬山法的引入主要是为了解决图像配准的速度问题。此外

在反馈匹配-拟合方法中，由于匹配点搜索以爬山法为主，保证了搜索的速度；同时由于反馈机制的应用，保证了搜索的准确性。虽然拟合过程由一次变为多次，但由此增加的时耗可以忽略不计。因此，反馈匹配-拟合方法兼有快速和准确的特点，作为匹配-拟合方法的一种优化方法，其性能优于采样搜索方法。现对该方法的具体过程说明如下：

在第一次反馈之前，需要得到一个初始配对集。本发明采取的做法是：对前s个特征点，例如s＝4，采用普通方法(逐点遍历搜索区域的方法)计算匹配点，由此得到含有s个配对的初始配对集。这一做法的考虑是：初始配对集对最终计算结果的影响较大，需要尽可能保证正确，因此选用最稳健的普通方法。虽然普通方法的搜索速度很慢，但由于s相对r是很小的，这一过程对整体速度的影响并不大。同时可以看到在初始化环节对特征点进行排序的意义：越先产生的配对，对最终计算结果的影响越大；而有效度越高的特征点，其匹配点的可靠性越强，因此越需要优先计算。

下面以数学语言描述预测第c+1匹配点位置的方法。由于从特征点到匹配点的变换在理论上满足刚体变换约束，因此可以表示为下式：

$\left(\begin{array}{c}x\′\\ y\′\\ 1\end{array}\right)=\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& -\mathrm{offx}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& -\mathrm{offy}\\ 0& 0& 1\end{array}\right]\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(1\right)$

可将式1简记作：

V′＝TV                         (2)

其中V是特征点坐标的向量表示，V′是匹配点坐标的向量表示，T是变换参数(offx，offy，θ)的矩阵表示。拟合的过程，就是根据c个V向量V₁，V₂，...，V_c和c个V′向量V₁′，V₂′，...，V_c′构成的配对集{P₁＝{V₁，V₁′}，P₂＝{V₂，V₂′}，...，P_c＝{V_c，V_c′}}，在最小误差原则下计算出T矩阵的过程。若将上述包含c个配对的配对集记为S_c，由此计算出的T矩阵记为T_c，则拟合的过程可以表示为：

T_c＝Function(S_c)                         (3)

即T_c是当前配对集的函数。而预测的过程是将式2应用于第c+1个匹配点，并代入T_c，即

V_c+1′＝T_cV_c+1                      (4)

式中V_c+1′即为第c+1个匹配点的预测位置。按照算法的期望，该位置距离全局最优值点的距离不会太远，加之全局最优值点的集水盆面积总是相对较大的，因此它很可能落在全局最优值点的集水盆内。那么以该位置作为起始点进行爬山法搜索，很可能找到全局最优值点，即第c+1个匹配点的准确位置。当然，不得不考虑一种较坏的情况，即预测位置落在全局最优值点的集水盆外，导致爬山法搜索出错误的结果。事实上，这种情况出现的可能性很小，而且由于拟合方法具有很强的健壮性，即使有个别匹配点出错，一般也不会对最终计算结果造成显著影响。

得到第c+1匹配点之后，加入配对集并重新拟合。重复此过程，直到r个配对全部加入配对集并完成拟合，反馈匹配-拟合方法运行结束，配准环节也同时结束，这时得到的变换参数即为最终确定的变换参数。

配准环节完成了拼接环节的准备工作，现在进入拼接环节。该环节的步骤非常简单：将特征图根据变换参数进行刚体变换，再将变换后的图像叠加在搜索图上，从而将两幅图像合成为一幅图像。若有必要，还可以加以适当的融合和修饰处理。

经过初始化环节、配准环节和拼接环节，即完成了一次图像拼接过程。若图像序列中还有未处理的图像，则重复此过程，直到所有图像都拼接成一幅图像为止。

以上给出了宽景成像的完整实现方法，它的输出结果即为宽景图像。宽景图像经进一步处理后，可送入显示设备进行显示。

对于上面描述的宽景成像方法，要理解以下几点：

1.在初始化环节中：图像的区域和搜索区域的划分方法可以改变，区域有效度、点有效度、特征点有效度的计算公式也可以改变，对区域进行过滤和对特征点进行排序也不是必须的；

2.在配准环节中：当使用匹配-拟合方法时，可以选用任意有效的相似性测度函数和任意有效的拟合方法进行组合，其中拟合方法可以不结合聚类方法，也可以结合任意有效的聚类方法；普通方法搜索的用途在于生成初始配对集，可以改用结果等价的其他方法，例如变换域方法，也可以结合使用其他优化方法，例如SSDA(序贯相似性检测)方法；反馈匹配-拟合方法的关键在于反馈设定搜索起始点，在此基础上，可以使用其他依赖起始点的搜索方法取代爬山法，也可以将爬山法与其他优化方法结合使用，例如SSDA方法、备忘录方法等；在反馈匹配-拟合方法中，用于输出最终结果的拟合必须使用较精确的拟合方法，而在此之前，用于反馈的多次拟合可以使用较粗糙的拟合方法；

3.在拼接环节中：融合和修饰的具体方法可以改变，由两幅图像拼接扩展为多幅图像拼接的具体方式也可以改变；各个经验常数的数值可以根据实际情况进行改变，或者实现为自适应的参数。

图6是根据本发明的另一个实施例的超声宽景成像方法的流程图。如图所示，过程开始后，在步骤601中，在一系列图像中选取第一图像和第二图像，将每个所选图像分为多个区域；然后，在步骤602中，选取第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；选取特征点之后，在步骤603中，在所述第二图像中搜索步骤602中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；之后，在步骤604中，当搜索结束时，确定变换参数，并根据所述变换参数对这两个图像进行拼接；然后在步骤605中判断，一系列图像是否已拼接为一幅图像，若是，则过程结束，若否，则过程返回到步骤601。

图7是根据本发明的另一个实施例的超声宽景成像装置的示意图。如图所示，所述超声宽景成像装置包括：图像选取单元701，从一系列图像中选取第一图像和第二图像，每个所选图像分为不同的区域；区域选取单元702，选取第一图像中的全部或部分区域；特征点选取单元703，在所选区域的每一个中选取一个特征点；搜索单元704，在第二图像中搜索所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；拼接单元705，当搜索结束时，根据所得的变换参数对这两个图像进行拼接；以及循环执行控制单元706，循环地使图像选取单元、区域选取单元、特征点选取单元、搜索单元和拼接单元依次执行相关操作，直到所有图像拼接为一幅图像。从图7还可以看出，一系列图形经过单元701至706处理后，产生所需的宽景图像。

图8是根据本发明一个实施例的将图像进行结合的方法的流程图。如图所示，其中，将所述图像分为多个区域，过程开始后，首先在步骤801中，选取第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；然后，在步骤802中，在第二图像中搜索在第一图像中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；最后，在步骤803中，当搜索结束时，确定变换参数，并根据所述变换参数对这两个图像进行拼接，过程结束。

虽然本说明书描述了本发明的具体实施例，但是，要理解，本发明不限于这些具体实施例的特定形式，在不背离权利要求所确定的精神和范围的前提下，可对本发明进行各种修改和改变。而且，本发明的应用也不限于超声宽景成像领域，它还可应用于其他产品，例如图像后处理工作站等。

Claims (18)

1.一种超声宽景成像方法，其特征在于，包括以下步骤：

(1)在一系列图像中选取第一图像和第二图像，将每个所选图像分为多个区域；

(2)选取所述第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；

(3)在所述第二图像中搜索步骤(2)中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；

(4)当搜索结束时，确定变换参数，并根据所述变换参数对这两个图像进行拼接；以及

(5)重复执行步骤(1)、(2)、(3)和(4)，直到所述一系列图像拼接为一幅图像。

2.如权利要求1所述的方法，其特征在于，所述第一图像和第二图像是在采集时间上具有先后关系且在空间上具有一定面积的重叠区域的两个图像帧。

3.如权利要求1所述的方法，其特征在于，所述在所选区域的每一个中选取一个特征点的步骤包括：

确定区域中各点的点有效度；

选取该区域中最大的点有效度对应的点作为该区域的特征点。

4.如权利要求3所述的方法，其特征在于，所述点有效度是点的灰度梯度或点邻域内的灰度方差，或者二者的乘积。

5.如权利要求1所述的方法，其特征在于，所述选取第一图像中的全部或部分区域的步骤还包括：对所选区域进行过滤以产生若干有效区域。

6.如权利要求5所述的方法，其特征在于，对所选区域进行过滤以产生若干有效区域的步骤包括：

对所选区域按照区域有效度从大到小进行排序，并选取排在前面的所需数量的区域作为有效区域。

7.如权利要求6所述的方法，其特征在于，所述区域有效度是区域内的灰度方差。

8.如权利要求5所述的方法，其特征在于，在从每个有效区域中选取一个特征点之后，对所选的特征点按照点有效度从大到小进行排序，并选取排在前面的所需数量的特征点来作为执行步骤(3)的相关操作的特征点。

9.如权利要求1至8中任一项所述的方法，其特征在于，步骤(3)包括：

a.生成特征点与匹配点的初始配对集；

b.对初始配对集进行拟合；

c.将拟合后的变换参数反馈于搜索过程；

d.搜索下一个特征点的匹配点，生成新的配对；

e.将新的配对加入配对集，生成新的配对集；

f.对新的配对集进行拟合；

g.将拟合后的变换参数反馈于搜索过程；以及

h.重复进行步骤d、e、f和g，直到所有的特征点都找到了匹配点。

10.如权利要求9所述的方法，其特征在于，所述生成特征点与匹配点的初始配对集的步骤利用常规方法或变换域方法来完成。

11.如权利要求10所述的方法，其特征在于，所述普通方法或变换域方法结合序贯相似性检测方法来完成所述生成初始配对集的步骤。

12.如权利要求9所述的方法，其特征在于，对配对集进行拟合结合聚类方法来进行。

13.如权利要求9所述的方法，其特征在于，所述搜索下一个特征点的匹配点的步骤包括：

根据变换参数计算所述下一个特征点的匹配点的搜索起始点；

采用依赖起始点的搜索方法来搜索所述下一个特征点的匹配点。

14.如权利要求13所述的方法，其特征在于，所述依赖起始点的搜索方法是爬山法，所述爬山法的步骤如下：

以所计算的搜索起始点作为搜索的起点，计算以之为中心的邻域内各点的目标函数值，并取其中最优的目标函数值，若当前点和趋向点不重合，则将当前点移动一步以接近趋向点；以及

重复上述过程，直到当前点和趋向点重合或者趋向点逸出搜索区域为止。

15.如权利要求14所述的方法，其特征在于，所述爬山法结合序贯相似性检测方法或备忘录方法来使用。

16.一种将图像进行结合的方法，其中，将所述图像分为多个区域，其特征在于，所述方法包括以下步骤：

选取第一图像中的全部或部分区域，在所选区域的每一个中选取一个特征点；

在第二图像中搜索在所述第一图像中所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；以及

当搜索结束时，确定变换参数，并根据所述变换参数对这两个图像进行拼接。

17.一种超声宽景成像装置，其特征在于，包括：

图像选取单元，用于从一系列图像中选取第一图像和第二图像，并将每个所选图像分为不同的区域；

区域选取单元，用于选取所述第一图像中的全部或部分区域；

特征点选取单元，用于在所选区域的每一个中选取一个特征点；

搜索单元，用于在所述第二图像中搜索所选的各个特征点的匹配点，并且随着搜索的进行来修正变换参数并反馈于搜索过程；

拼接单元，用于当搜索结束时，根据所得的变换参数对这两个图像进行拼接；以及

循环执行控制单元，用于循环地使所述图像选取单元、区域选取单元、特征点选取单元、搜索单元和拼接单元依次执行相关操作，直到所有图像拼接为一幅图像。

18.一种超声宽景成像系统，包括：

探头，用于向受测对象发射超声波并接收从受测对象反射回来的超声波；

信号收发设备，与所述探头相连接，用于收发信号；

波束合成设备，与所述信号收发设备相连接，用于接收回波信号；

信号处理设备，与所述信号收发设备相连接，用于处理从所述波束合成设备输出的信号；

图像处理设备，与所述信号处理设备相连接，用于对图像进行处理；以及

显示设备，与所述图像处理设备相连接，用于显示图像；

其特征在于，所述图像处理设备包括如权利要求17所述的超声宽景成像装置。

Images