CN105982696A - 实时宽景超声成像装置及方法 - Google Patents

Abstract

本发明涉及一种实时宽景超声成像装置及方法，所述实时宽景超声成像方法包括图像采集、图像配准、图像融合及边缘优化等步骤。所述实时宽景超声成像装置包括宽景图像采集模块、宽景图像配准模块、宽景图像融合模块及宽景图像边缘优化模块。本发明直接从图像采集模块获取连续序列的超声图像信息，进行图像配准和图像融合，无需从静态的视频获取超声图像信息，再结合本发明高效地算法，做到了出图的实时性，对于使用者的操作和诊断有很大帮助。

Description

实时宽景超声成像装置及方法

技术领域

本发明涉及超声波回波成像领域，尤其是一种实时宽景超声成像装置及方法。

背景技术

图像宽景成像技术是近来多媒体、医学图像处理和计算机图形学领域中的热点问题，其在医学超声成像领域是利用常规扫查探头生成宽景图像的过程。超声宽景成像是利用探头在同一平面内移动采集的多个二维切面图像拼接形成一幅大视野、高分辨率的宽景图像，以方便医生诊断。

超声图像宽景成像技术主要分为三个主要步骤：图像配准、图像融合及边缘优化。图像配准首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。因此，寻求具有良好不变性和准确性的特征提取方法，对于匹配精度至关重要。图像融合及边缘优化指在完成图像匹配以后，对图像进行拼接、缝合，并对缝合的边界进行平滑处理，让缝合边界区域自然过渡，并消除宽景图像边缘因旋转、位移造成的锯齿。

现有的超声宽景图像技术还存在以下几点问题：1)现有特征点匹配的准确率较低，而且计算量较大，数据处理能力较慢，使用者使用时会感觉有卡顿现象；2)现有宽景成像技术的图像融合及边缘优化不足，存在一些轻微的锯齿状边界，影响使用者进行图像计算和判断。

发明内容

本发明的目的是克服现有技术的不足，提供一种实时宽景超声成像装置及方法，得到优质的宽景超声图像。

所述的实时宽景超声成像装置包括：宽景图像采集模块、宽景图像配准模块、宽景图像融合模块及宽景图像边缘优化模块；

所述宽景图像采集模块获取连续序列的超声图像信息，并选取连续序列中的前后两帧图像信息，设为d帧和d+1帧，传输至宽景图像配准模块；

所述宽景图像配准模块将前一步获得的前后两帧的图像信息首先进行精确角点检测及确定，取两帧图像的多对角点；并使用光流法求得多对角点的各自位移；使用RANSAC算法，取出多对角点中最能代表前后两帧图像之间真实位移和角度变化的3对角点；通过所述3对角点的位移情况，计算出前后两帧图像的仿射变换矩阵；宽景图像配准模块将计算得到的前后两帧图像的变换矩阵信息传输至宽景图像融合模块；

所述仿射变换矩阵 $M_{d-(d+1)}=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\end{array}\right],$ 两幅图像对应的点可借助该仿射变换矩阵转换： $\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{m}_{00}\×x^{\′}+m_{01}\×y^{\′}+m_{02}\\ m_{10}\×x^{\′}+m_{11}\×y^{\′}+m_{12}\end{array}\right],$ 其中x、y分别代表前一帧图像任意一点的横坐标与纵坐标，x'、y'分别代表后一帧图像相对应点的横坐标与纵坐标，m₀₂、m₁₂分别代表后一帧图像的点相对于前一帧图像对应点的横向位移量与纵向位移量，即两帧图像的平移量(Δx,Δy)；

所述宽景图像融合模块通过对宽景图像配准模块获得的变换矩阵M_d-(d+1)进行与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：

m₀₂≥mThreshold_x||m₁₂≥mThreshold_y (1)

则进行一次图像拼接；否则，选取顺序向下的一帧图像，将该帧图像与其前一帧作为一对，发送到宽景图像配准模块，得到d+2帧图像与d+1帧图像的仿射变换矩阵M_(d+1)-(d+2)，令M_d-(d+2)＝M_d-(d+1)×M_(d+1)-(d+2)，取出M_d-(d+2)中的m₀₂、m₁₂，即d+2帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进行一次图像拼接，否则依照图像序列顺序重复以上步骤，依次求出M_d-k＝M_d-(k-1)×M_(k-1)-k，直至满足公式(1)；

所述图像拼接方法为：选取出最先满足公式(1)的M_d-k中的m₀₂、m₁₂，取出k帧图像Pic_k，经过仿射变换处理Pic_k'＝Pic_k×M_d-k，得到与d帧图像Pic₁相同的坐标系；取出与该帧相对于d帧移动方向相反的上下角点P₀、P₁，经过仿射变换得到P'₀、P'₁，这两点的连线即为拼接线；由两点坐标求出拼接线的直线方程x＝c×y+b；在与该拼接线垂直的方向往两边各取设定距离作为拉普拉斯融合区域进行d帧图像与k帧图像的拉普拉斯图像融合，得到图像Pic_new；

所述宽景图像配准模块和宽景图像融合模块循环执行，在找出第一个k帧后，将k帧作为新的d帧，依照图像序列顺序取k帧的后一帧作为新的d+1帧，重新寻找最先满足公式(1)的新k帧，并得到新的仿射变换矩阵；将新的仿射变换矩阵与前一次得到的仿射变换矩阵相乘作为累计的仿射变换矩阵，实现新k帧与初始d帧坐标体系的统一；新k帧进入宽景图像融合模块，与前一次的Pic_new进行拉普拉斯图像融合，得到新的Pic_new；如此循环，直至处理完所有图像，最终得到的Pic_new为初步的宽景图像，发送到宽景图像边缘优化模块；

所述宽景图像边缘优化模块对得到的整幅宽景图像Pic_new进行边缘优化。

所述的实时宽景超声成像方法，包括图像采集、图像配准、图像融合及边缘优化；

步骤1：所述图像采集获取连续序列的超声图像信息，并选取连续序列中的前后两帧图像信息，设为d帧和d+1帧；

所述图像配准包括步骤2～5：

步骤2：所述图像配准将前一步获得的前后两帧的图像信息首先进行精确角点检测及确定，取两帧图像的多对角点；

步骤3：使用光流法求得步骤2中多对角点的各自位移；

步骤4：使用RANSAC算法，取出多对角点中最能代表前后两帧图像之间真实位移和角度变化的3对角点；

步骤5：通过步骤4获得的3对角点的位移情况，计算出前后两帧图像大小为2*3的仿射变换矩阵 $M_{d-(d+1)}=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\end{array}\right],$

两幅图像对应的点可借助该仿射变换矩阵转换： $\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{m}_{00}\×x^{\′}+m_{01}\×y^{\′}+m_{02}\\ m_{10}\×x^{\′}+m_{11}\×y^{\′}+m_{12}\end{array}\right],$

其中x、y分别代表前一帧图像任意一点的横坐标与纵坐标，x'、y'分别代表后一帧图像相对应点的横坐标与纵坐标，m₀₂、m₁₂分别代表后一帧图像的点相对于前一帧图像对应点的横向位移量与纵向位移量，即两帧图像的平移量(Δx,Δy)；

所述图像融合包括步骤6～8：

步骤6：通过对步骤5中获得的变换矩阵M_d-(d+1)进行提取m₀₂、m₁₂，分别与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：

m₀₂≥mThreshold_x||m₁₂≥mThreshold_y (1)

则进入步骤7，即进行一次拼接；否则，选取顺序向下的一帧图像，将该帧图像与其前一帧作为一对，重复步骤2～5，得到d+2帧图像与d+1帧图像的仿射变换矩阵M_(d+1)-(d+2)，令M_d-(d+2)＝M_d-(d+1)×M_(d+1)-(d+2)，取出M_d-(d+2)中的m₀₂、m₁₂，即d+2帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进入步骤7，否则依照图像序列顺序重复以上步骤，依次求出M_d-k＝M_d-(k-1)×M_(k-1)-k，直至满足公式(1)；

步骤7：选取出最先满足公式(1)的M_d-k中的m₀₂、m₁₂，取出k帧图像Pic_k，经过仿射变换处理Pic_k'＝Pic_k×M_d-k，得到与d帧图像Pic₁相同的坐标系；取出与该帧相对于d帧移动方向相反的上下角点P₀、P₁，经过仿射变换得到P'₀、P'₁，这两点的连线即为拼接线；由两点坐标求出拼接线的直线方程x＝c×y+b；在与该拼接线垂直的方向往两边各取设定距离作为拉普拉斯融合区域进行d帧图像与k帧图像的拉普拉斯图像融合，得到图像Pic_new；

步骤8：将k帧作为新的d帧，依照图像序列顺序取k帧的后一帧作为新的d+1帧，迭代进行步骤2～6，取出最先满足公式(1)的新k帧，并得到新的仿射变换矩阵；将新的仿射变换矩阵与前一次获得的仿射变换矩阵相乘作为累计的仿射变换矩阵，实现新k帧与初始d帧坐标体系的统一；新k帧进入步骤7与前一次的Pic_new进行拉普拉斯图像融合，得到新的Pic_new；

迭代进行步骤8直至处理完所有图像，最终得到的Pic_new为初步的宽景图像；

步骤9：对步骤8得到的整幅宽景图像Pic_new进行边缘优化。

具体的，所述步骤2中可使用Shi-Tomasi角点检测算法取两帧图像的多对角点：利用sobel算子计算灰度图像的二阶导数，然后计算特征值，最后返回满足易于跟踪的一系列角点。

步骤2中可使用基于观测向量正交性的FindCornerSubPix算法得到角点的物理位置，将角点位置精确到亚像素级别，且角点数不少于4对。

步骤3中可使用光流法求得步骤2中多对角点的各自位移：

第一步：初始化需要跟踪的点；

第二步：根据两帧之间的光流来计算由初始化的需要跟踪的点的目标点，为此要先计算出两帧的光流金字塔；

第三步：把输入输出点进行坐标转换，上一帧与当前帧进行互换以及上一帧与当前帧的光流金字塔互换；得到多对角点各自的位移。

步骤5中可使用最小二乘法求出前后两帧图像的仿射变换矩阵。

步骤9具体可包括如下步骤：

a)记录下参与图像融合的每帧图像的中心点坐标，并将这些点的坐标计算成以初始d帧图像为参考坐标系的坐标Pos_{1_new}，Pos_{2_new}，…，Pos_{k_new}，…，Pos_{end_new}，计算公式如下：

Pos_{k_new}(x,y)＝Pos_{k_original}(x,y)×M_d-k (2)

其中，Pos_{k_original}(x,y)中的x＝图像宽度/2-1、y＝图像高度/2-1，M_d-k为从k帧变换至初始d帧图像坐标系的累计仿射变换矩阵；

b)对Pos_{1_new}，Pos_{2_new}，…，Pos_{k_new}，…，Pos_{end_new}这些点的坐标进行多项式拟合，拟合后得到多项式如下：

a_nXⁿ+a_n-1X^n-1+…+a₁X+a₀＝Y (3)

其中a_n、a_n-1……a₀均为常量，n为多项式的最高幂，(X,Y)为坐标；

c)在此方程上将X作为增量，X从0开始，每增整数n即取一个点，最终得到一系列点Pos_{Increment_1}，Pos_{Increment_2}，…，Pos_{Increment_k}，…，Pos_{Increment_end}；整数n由用户设定，其大小影响着宽景图像边缘的精细程度；

d)计算与相邻两点Pos_{Increment_k-1}、Pos_{Increment_k}的连线垂直，且经过Pos_{Increment_k-1}点的直线方程k'y+b'＝x，然后在该直线方程上取与相邻两点中的Pos_{Increment_k-1}点距离最接近设定距离的两点Pos_{boundary_k_1}、Pos_{boundary_k_2}；

e)使用上述方法取出所有的Pos_{boundary_1_1}，Pos_{boundary_1_2}，…，Pos_{boundary_end_1}，Pos_{boundary_end_2}，使用步骤b中的方法分别对下标最末为1和2的所有点求得各自的拟合多项式；

f)在步骤e求得的两个多项式上，以X作为增量，从0开始，在宽景图像的宽度范围内，每隔设定的增量m即重采样一点，记录所有的重采样点；m由用户设定，其大小影响着宽景图像边缘的精细程度；

g)计算出Pic_new四个角的点的坐标，将其与步骤f求得的重采样点按顺序连线成一个凸多边形Polygon，将其作为一个掩膜Mask，多边形内部设为1，外部设为0，具体如公式(4)所示：

$\mathrm{Mask}=\left\{\begin{array}{cc}1& \mathrm{in\; Polygon}\\ 0& \mathrm{not\; in\; Polugon}\end{array}\right.---\left(4\right)$

使用掩膜Mask对初步宽景图像Pic_new处理，得到边缘优化的宽景图像Pic_smooth，方法如公式(5)所示：

Pic_smooth＝Pic_new×Mask (5)。

其中，步骤b中可根据位移、角度的变化从小至大，动态地选择使用2、3、4、5次多项式拟合。步骤d中的设定距离优选取原图像高度的40％～48％。

本发明的优点是：

1.图像配准过程中采用了仿射变换矩阵，不仅考虑到了多帧图像之间的平移，还考虑到了角度变化和尺度缩放，图像配准精确度高。

2.图像融合使用了拉普拉斯融合，不同帧图像之间的拼接过渡自然；且后期处理时采取了对拼接缝附近进行高斯平滑和整幅宽景图像的对比度拉伸，图像质量高。

3.边缘优化消除了图像拼接过程中产生的锯齿，使得宽景图像边界光滑，提高了图像质量。

4.本发明直接从图像采集模块获取连续序列的超声图像信息，进行图像配准和图像融合，无需从静态的视频获取超声图像信息，再结合本发明高效地算法，做到了出图的实时性，对于使用者的操作和诊断有很大帮助。

附图说明

图1是本发明的装置结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案做进一步说明。

如图1所示，本发明的实时宽景超声成像装置，包括宽景图像采集模块、宽景图像配准模块、宽景图像融合模块及宽景图像边缘优化模块。

所述宽景图像采集模块获取连续序列的超声图像信息，并选取连续序列中的前后两帧图像信息，设为d帧和d+1帧，传输至宽景图像配准模块。

所述宽景图像配准模块将前一步获得的前后两帧的图像信息首先进行精确角点检测及确定，取两帧图像的多对角点；并使用光流法求得多对角点的各自位移；使用RANSAC算法，取出多对角点中最能代表前后两帧图像之间真实位移和角度变化的3对角点；通过所述3对角点的位移情况，计算出前后两帧图像的仿射变换矩阵；宽景图像配准模块将计算得到的前后两帧图像的变换矩阵信息传输至宽景图像融合模块。

所述仿射变换矩阵 $M_{d-(d+1)}=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\end{array}\right],$ 两幅图像对应的点可借助该仿射变换矩阵转换： $\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{m}_{00}\×x^{\′}+m_{01}\×y^{\′}+m_{02}\\ m_{10}\×x^{\′}+m_{11}\×y^{\′}+m_{12}\end{array}\right],$ 其中x、y分别代表前一帧图像任意一点的横坐标与纵坐标，x'、y'分别代表后一帧图像相对应点的横坐标与纵坐标，m₀₂、m₁₂分别代表后一帧图像的点相对于前一帧图像对应点的横向位移量与纵向位移量，即两帧图像的平移量(Δx,Δy)。

所述宽景图像融合模块通过对宽景图像配准模块获得的变换矩阵M_d-(d+1)进行提取m₀₂、m₁₂，分别与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：

m₀₂≥mThreshold_x||m₁₂≥mThreshold_y (1)

则进行一次图像拼接；否则，选取顺序向下的一帧图像，将该帧图像与其前一帧作为一对，发送到宽景图像配准模块，得到d+2帧图像与d+1帧图像的仿射变换矩阵M_(d+1)-(d+2)，令M_d-(d+2)＝M_d-(d+1)×M_(d+1)-(d+2)，取出M_d-(d+2)中的m₀₂、m₁₂，即d+2帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进行一次图像拼接，否则依照图像序列顺序重复以上步骤，依次求出M_d-k＝M_d-(k-1)×M_(k-1)-k，直至满足公式(1)。

所述图像拼接方法为：选取出最先满足公式(1)的M_d-k中的m₀₂、m₁₂，取出k帧图像Pic_k，经过仿射变换处理Pic_k'＝Pic_k×M_d-k，得到与d帧图像Pic₁相同的坐标系；取出与该帧相对于d帧移动方向相反的上下角点P₀、P₁，经过仿射变换得到P'₀、P'₁，这两点的连线即为拼接线；由两点坐标求出拼接线的直线方程x＝c×y+b；在与该拼接线垂直的方向往两边各取设定距离作为拉普拉斯融合区域进行d帧图像与k帧图像的拉普拉斯图像融合，得到图像Pic_new。

所述宽景图像配准模块和宽景图像融合模块循环执行，在找出第一个k帧后，将k帧作为新的d帧，依照图像序列顺序取k帧的后一帧作为新的d+1帧，重新寻找最先满足公式(1)的新k帧，并得到新的仿射变换矩阵；将新的仿射变换矩阵与前一次得到的仿射变换矩阵相乘作为累计的仿射变换矩阵，实现新k帧与初始d帧坐标体系的统一；新k帧进入宽景图像融合模块，与前一次的Pic_new进行拉普拉斯图像融合，得到新的Pic_new；如此循环，直至处理完所有图像，最终得到的Pic_new为初步的宽景图像，发送到宽景图像边缘优化模块。

所述宽景图像边缘优化模块对得到的整幅宽景图像Pic_new进行边缘优化。

在本发明一实施例中，实时宽景超声成像方法如以下步骤：

步骤1：

宽景图像采集模块，获取连续序列的超声图像信息，并选取连续序列的超声图像信息中的前后两帧图像信息，传输至宽景图像配准模块。

步骤2：

宽景图像配准模块将步骤1获得的前后两帧的图像信息首先进行精确角点检测及确定。宽景图像配准模块使用Shi-Tomasi角点检测算法取两帧图像的多对角点：利用sobel算子计算灰度图像的二阶导数，然后计算特征值，最后返回满足易于跟踪的一系列角点。在一个实施例中，我们需要精度更高的角点坐标，此时利用Shi-Tomasi角点检测算法得到像素点位置精确度不能满足需要，此时需要得到角点的物理位置，即亚像素点(或精确角点)，本发明优先使用基于观测向量正交性的FindCornerSubPix算法将角点位置精确到亚像素级别，且角点数不少于4对。

步骤3：

宽景图像配准模块使用光流法求得步骤2中多对角点的各自位移。

在一个实施例中光流算法一般为三个步骤：

第一步：初始化需要跟踪的点；

第二步：根据两帧之间的光流来计算由初始化的需要跟踪的点的目标点，为此要先计算出两帧的光流金字塔；

第三步：把输入输出点进行坐标转换，还有上一帧与目前帧的互换以及上一帧与当前帧光流金字塔的互换。经过上述三步可以精确得到多对角点各自的位移。

步骤4：

宽景图像配准模块使用RANSAC(Random Sample Consensus)算法，取出多对角点中最能代表前后两帧图像之间真实位移和角度变化的3对角点。

步骤5：

宽景图像配准模块通过步骤4获得的3对角点的位移情况，计算出前后两帧图像的变换矩阵；宽景图像配准模块将计算得到的前后两帧图像的变换矩阵信息传输至宽景图像融合模块。

一个实施例中，宽景图像配准模块通过对步骤4获得的3对角点的位移情况，使用最小二乘法求出前后两帧图像大小为2*3的仿射变换矩阵 $M_{d-(d+1)}=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\end{array}\right].$ 两幅图像对应的点可借助该仿射变换矩阵转换： $\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{m}_{00}\×x^{\′}+m_{01}\×y^{\′}+m_{02}\\ m_{10}\×x^{\′}+m_{11}\×y^{\′}+m_{12}\end{array}\right],$ 其中x、y分别代表了前一帧图像任意一点的横坐标与纵坐标，x'、y'分别代表了后一帧图像相对应点的横坐标与纵坐标，m₀₂、m₁₂分别代表了后一帧图像的点相对于前一帧图像对应点的横向位移量与纵向位移量，即两帧图像的平移量(Δx,Δy)。

通过本发明上述方法进行的配准确定过程，多对角点选择的准确性较高，解决了现有超声宽景成像特征点匹配过程准确率较低的问题。

步骤6：

宽景图像融合模块通过对步骤5中宽景图像配准模块获得的变换矩阵M_d-(d+1)进行提取其中代表平移量(Δx,Δy)的m₀₂、m₁₂，分别与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：

m₀₂≥mThreshold_x||m₁₂≥mThreshold_y (1)

则进入步骤7，即进行一次拼接；否则，选取顺序向下的一帧图像，将该帧图像与其前一帧作为一对，重复步骤2～5，得到d+2帧图像与d+1帧图像的仿射变换矩阵M_(d+1)-(d+2)，令M_d-(d+2)＝M_d-(d+1)×M_(d+1)-(d+2)，取出M_d-(d+2)中的m₀₂、m₁₂，即d+2帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进入步骤7，否则依照图像序列顺序重复以上步骤，依次求出M_d-k＝M_d-(k-1)×M_(k-1)-k，直至满足公式(1)。

步骤7：

宽景图像融合模块选取出最先满足公式(1)的M_d-k中的m₀₂、m₁₂，取出k帧图像Pic_k，经过仿射变换处理Pic_k'＝Pic_k×M_d-k，得到与d帧图像Pic₁相同的坐标系；取出与该帧相对于d帧移动方向相反的上下角点P₀、P₁，经过仿射变换得到P'₀、P'₁，这两点的连线即为拼接线；由两点坐标求出拼接线的直线方程x＝c×y+b；在与该拼接线垂直的方向往两边各取设定距离作为拉普拉斯融合区域进行d帧图像与k帧图像的拉普拉斯图像融合，得到图像Pic_new。该设定距离影响着图像融合的效果，如过小则拼接缝明显，如过大则运算量增大、图像质量下降。

此外，在本发明的另一实施例中，在该直线处做了一次高斯平滑，进一步消除了拼接缝的影响。

步骤8：

将k帧作为新的d帧，依照图像序列顺序取k帧的后一帧作为新的d+1帧，迭代进行步骤2～6，取出最先满足公式(1)的新k帧，并得到新的仿射变换矩阵M_d-k'；将新的仿射变换矩阵M_d-k'与前一次得到的仿射变换矩阵M_d-k相乘作为累计的仿射变换矩阵替换掉前一次的M_d-k，实现新k帧与初始d帧坐标体系的统一；新k帧进入步骤7与前一次的Pic_new进行拉普拉斯图像融合，得到新的Pic_new；迭代进行步骤8直至处理完所有图像，最终得到的Pic_new为初步的宽景图像。

本发明宽景图像融合模块所采用的计算方法较现有宽景图像融合方法计算过程简单，计算量显著降低，提高了宽景成像速度。

步骤9：

宽景图像边缘优化模块使用多项式拟合方法对步骤8得到的整幅宽景图像Pic_new进行边缘优化。当宽景图像融合模块进行若干次图像的融合会在图像的边缘产生锯齿状的边界：当前后两帧参与融合的图像之间的位移、角度变化较大时，在边界产生的锯齿尤为明显。这些锯齿会影响使用者对于整幅宽景图像的感官，甚至可能会造成医生对组织区域的误判，因此需要消除这些边界锯齿，平滑整幅宽景图像的边缘。

具体步骤如下：

a)记录下参与图像融合的每帧图像的中心点坐标，并将这些点的坐标计算成以初始d帧图像为参考坐标系的坐标Pos_{1_new}，Pos_{1_new}，…，Pos_{k_new}，…，Pos_{end_new}，计算公式如下所示：

Pos_{k_new}(x,y)＝Pos_{k_original}(x,y)×M_d-k (2)

其中，Pos_{k_original}(x,y)中的x＝图像宽度/2-1、y＝图像高度/2-1，M_d-k为从k帧变换至初始d帧图像坐标系的累计仿射变换矩阵。

b)对Pos_{1_new}，Pos_{1_new}，…，Pos_{k_new}，…，Pos_{end_new}这些点的坐标进行多项式拟合，本发明根据位移、角度变化的从小至大，动态地选择使用2、3、4、5次多项式拟合。本发明不建议使用更高次多项式进行拟合，因为这样做会导致拟合失真。拟合后得到多项式如下：

a_nXⁿ+a_n-1X^n-1+…+a₁X+a₀＝Y (3)

其中a_n，a_n-1，…，a₀均为常量，n为多项式的最高幂，(X,Y)为坐标。

c)在此方程上将X作为增量，X从0开始，每增整数n即取一个点Pos_Increment，最终得到Pos_{Increment_1}，Pos_{Increment_2}，…，Pos_{Increment_k}，…，Pos_{Increment_end}。整数n由用户设定，其大小影响着宽景图像边缘的精细程度。

d)计算与相邻两点Pos_{Increment_k-1}、Pos_{Increment_k}的连线垂直，且经过Pos_{Increment_k-1}点的直线方程k'y+b'＝x。然后，在该直线方程上取与相邻两点中的Pos_{Increment_k-1}点距离最接近设定距离(本发明建议取原图像高度的40％～48％)的两点Pos_{boundary_k_1}、Pos_{boundary_k_2}。

e)使用上述方法取出所有的Pos_{boundary_1_1}，Pos_{boundary_1_2}，…，Pos_{boundary_end_1}，Pos_{boundary_end_2}，使用步骤b中的方法对下标最末为1和2的所有点分别求得各自的拟合多项式。

f)在步骤e求得的两个多项式上，以X作为增量，从0开始，在宽景图像的宽度范围内，每隔设定的增量m(此增量m越小，最后得到的宽景图像边缘就越平滑，本发明一些实施例中，优取值2～5)即重采样一点，记录所有的重采样点。

g)计算出Pic_new四个角的点的坐标，将其与步骤f求得的重采样点按顺序连线成一个凸多边形Polygon，将其作为一个掩膜Mask，多边形内部设为1，外部设为0，具体如公式(4)所示：

$\mathrm{Mask}=\left\{\begin{array}{cc}1& \mathrm{in\; Polygon}\\ 0& \mathrm{not\; in\; Polugon}\end{array}\right.---\left(4\right)$

使用掩膜Mask对初步宽景图像Pic_new处理，得到边缘优化的宽景图像Pic_smooth，方法如公式(5)所示：

Pic_smooth＝Pic_new×Mask (5)

在实际应用中，多种因素会造成多帧图像之间的亮度不均、精细程度不同，比如：宽景成像很有可能会扫过较大的组织范围，操作者控制超声探头也难免会力道、速度不均等。本发明对整幅宽景图像进行二维高斯平滑，平衡了整幅宽景图像的精细程度；进一步地，对整幅图像做了一次对比度线性拉伸，平衡了整幅图像的亮度。从实际效果来看，这两步操作进一步提升了整幅宽景图像的整体融合效果。

为了方便使用者在宽景图像上进行测量操作，在本发明的另一实施例中，在宽景图像的四周画上标尺。标尺的比例尺为真实距离(毫米、厘米)与像素距离(pixel)的比值。通过这样的操作，在使用者使用宽景图像进行计算时，有更加便捷及准确的操作体验。

为了方便使用者的观察，在本发明的另一实施例中，设计了宽景成像回滚模块，其与宽景图像边缘优化模块相连，当使用者在成像后宽景图像的任意区域选中，并滚动鼠标或进行一定角度的滑动、平移，则宽景成像回滚模块将从参与拼接的并被选中的一帧图像开始回滚，至第一帧图像或者中间选中的任意一段图像，用以观察超声探头在运动过程中的组织变化。

Claims (9)

1.实时宽景超声成像装置，其特征是，包括宽景图像采集模块、宽景图像配准模块、宽景图像融合模块及宽景图像边缘优化模块；

所述宽景图像采集模块获取连续序列的超声图像信息，并选取连续序列中的前后两帧图像信息，设为d帧和d+1帧，传输至宽景图像配准模块；

所述宽景图像配准模块将前一步获得的前后两帧的图像信息首先进行精确角点检测及确定，取两帧图像的多对角点；并使用光流法求得多对角点的各自位移；使用RANSAC算法，取出多对角点中最能代表前后两帧图像之间真实位移和角度变化的3对角点；通过所述3对角点的位移情况，计算出前后两帧图像的仿射变换矩阵；宽景图像配准模块将计算得到的前后两帧图像的变换矩阵信息传输至宽景图像融合模块；

所述仿射变换矩阵 $M_{d-(d+1)}=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\end{array}\right],$ 两幅图像对应的点可借助该仿射变换矩阵转换： $\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{m}_{00}\×x^{\′}+m_{01}\×y^{\′}+m_{02}\\ m_{10}\×x^{\′}+m_{11}\×y^{\′}+m_{12}\end{array}\right],$ 其中x、y分别代表前一帧图像任意一点的横坐标与纵坐标，x'、y'分别代表后一帧图像相对应点的横坐标与纵坐标，m₀₂、m₁₂分别代表后一帧图像的点相对于前一帧图像对应点的横向位移量与纵向位移量，即两帧图像的平移量(Δx,Δy)；

所述宽景图像融合模块通过对宽景图像配准模块获得的变换矩阵M_d-(d+1)进行与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：

m₀₂≥mThreshold_x||m₁₂≥mThreshold_y (1)

则进行一次图像拼接；否则，选取顺序向下的一帧图像，将该帧图像与其前一帧作为一对，发送到宽景图像配准模块，得到d+2帧图像与d+1帧图像的仿射变换矩阵M_(d+1)-(d+2)，令M_d-(d+2)＝M_d-(d+1)×M_(d+1)-(d+2)，取出M_d-(d+2)中的m₀₂、m₁₂，即d+2帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进行一次图像拼接，否则依照图像序列顺序重复以上步骤，依次求出M_d-k＝M_d-(k-1)×M_(k-1)-k，直至满足公式(1)；

所述图像拼接方法为：选取出最先满足公式(1)的M_d-k中的m₀₂、m₁₂，取出k帧图像Pic_k，经过仿射变换处理Pic_k'＝Pic_k×M_d-k，得到与d帧图像Pic₁相同的坐标系；取出与该帧相对于d帧移动方向相反的上下角点P₀、P₁，经过仿射变换得到P'₀、P'₁，这两点的连线即为拼接线；由两点坐标求出拼接线的直线方程x＝c×y+b；在与该拼接线垂直的方向往两边各取设定距离作为拉普拉斯融合区域进行d帧图像与k帧图像的拉普拉斯图像融合，得到图像Pic_new；

所述宽景图像配准模块和宽景图像融合模块循环执行，在找出第一个k帧后，将k帧作为新的d帧，依照图像序列顺序取k帧的后一帧作为新的d+1帧，重新寻找最先满足公式(1)的新k帧，并得到新的仿射变换矩阵；将新的仿射变换矩阵与前一次得到的仿射变换矩阵相乘作为累计的仿射变换矩阵，实现新k帧与初始d帧坐标体系的统一；新k帧进入宽景图像融合模块，与前一次的Pic_new进行拉普拉斯图像融合，得到新的Pic_new；如此循环，直至处理完所有图像，最终得到的Pic_new为初步的宽景图像，发送到宽景图像边缘优化模块；

所述宽景图像边缘优化模块对得到的整幅宽景图像Pic_new进行边缘优化。

2.实时宽景超声成像方法，其特征是，包括图像采集、图像配准、图像融合及边缘优化；

步骤1：所述图像采集获取连续序列的超声图像信息，并选取连续序列中的前后两帧图像信息，设为d帧和d+1帧；

所述图像配准包括步骤2～5：

步骤2：所述图像配准将前一步获得的前后两帧的图像信息首先进行精确角点检测及确定，取两帧图像的多对角点；

步骤3：使用光流法求得步骤2中多对角点的各自位移；

步骤4：使用RANSAC算法，取出多对角点中最能代表前后两帧图像之间真实位移和角度变化的3对角点；

步骤5：通过步骤4获得的3对角点的位移情况，计算出前后两帧图像大小为2*3的仿射变换矩阵 $M_{d-(d+1)}=\left[\begin{array}{ccc}{m}_{00}& m_{01}& m_{02}\\ m_{10}& m_{11}& m_{12}\end{array}\right];$

两幅图像对应的点可借助该仿射变换矩阵转换： $\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}{m}_{00}\×x^{\′}+m_{01}\×y^{\′}+m_{02}\\ m_{10}\×x^{\′}+m_{11}\×y^{\′}+m_{12}\end{array}\right],$

其中x、y分别代表前一帧图像任意一点的横坐标与纵坐标，x'、y'分别代表后一帧图像相对应点的横坐标与纵坐标，m₀₂、m₁₂分别代表后一帧图像的点相对于前一帧图像对应点的横向位移量与纵向位移量，即两帧图像的平移量(Δx,Δy)；

所述图像融合包括步骤6～8：

步骤6：通过对步骤5中获得的变换矩阵M_d-(d+1)进行提取m₀₂、m₁₂，分别与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：

m₀₂≥mThreshold_x||m₁₂≥mThreshold_y (1)

则进入步骤7，即进行一次拼接；否则，选取顺序向下的一帧图像，将该帧图像与其前一帧作为一对，重复步骤2～5，得到d+2帧图像与d+1帧图像的仿射变换矩阵M_(d+1)-(d+2)，令M_d-(d+2)＝M_d-(d+1)×M_(d+1)-(d+2)，取出M_d-(d+2)中的m₀₂、m₁₂，即d+2帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进入步骤7，否则依照图像序列顺序重复以上步骤，依次求出M_d-k＝M_d-(k-1)×M_(k-1)-k，直至满足公式(1)；

步骤7：选取出最先满足公式(1)的M_d-k中的m₀₂、m₁₂，取出k帧图像Pic_k，经过仿射变换处理Pic_k'＝Pic_k×M_d-k，得到与d帧图像Pic₁相同的坐标系；取出与该帧相对于d帧移动方向相反的上下角点P₀、P₁，经过仿射变换得到P'₀、P'₁，这两点的连线即为拼接线；由两点坐标求出拼接线的直线方程x＝c×y+b；在与该拼接线垂直的方向往两边各取设定距离作为拉普拉斯融合区域进行d帧图像与k帧图像的拉普拉斯图像融合，得到图像Pic_new；

步骤8：将k帧作为新的d帧，依照图像序列顺序取k帧的后一帧作为新的d+1帧，迭代进行步骤2～6，取出最先满足公式(1)的新k帧，并得到新的仿射变换矩阵；将新的仿射变换矩阵与前一次获得的仿射变换矩阵相乘作为累计的仿射变换矩阵，实现新k帧与初始d帧坐标体系的统一；新k帧进入步骤7与前一次的Pic_new进行拉普拉斯图像融合，得到新的Pic_new；

迭代进行步骤8直至处理完所有图像，最终得到的Pic_new为初步的宽景图像；

步骤9：对步骤8得到的整幅宽景图像Pic_new进行边缘优化。

3.如权利要求1所述的实时宽景超声成像方法，其特征是，所述步骤2中使用Shi-Tomasi角点检测算法取两帧图像的多对角点：利用sobel算子计算灰度图像的二阶导数，然后计算特征值，最后返回满足易于跟踪的一系列角点。

4.如权利要求1所述的实时宽景超声成像方法，其特征是，所述步骤2中使用基于观测向量正交性的FindCornerSubPix算法得到角点的物理位置，将角点位置精确到亚像素级别，且角点数不少于4对。

5.如权利要求1所述的实时宽景超声成像方法，其特征是，所述步骤3中使用光流法求得步骤2中多对角点的各自位移：

第一步：初始化需要跟踪的点；

第二步：根据两帧之间的光流来计算由初始化的需要跟踪的点的目标点，为此要先计算出两帧的光流金字塔；

第三步：把输入输出点进行坐标转换，上一帧与当前帧进行互换以及上一帧与当前帧的光流金字塔互换；得到多对角点各自的位移。

6.如权利要求1所述的实时宽景超声成像方法，其特征是，所述步骤5中使用最小二乘法求出前后两帧图像的仿射变换矩阵。

7.如权利要求1所述的实时宽景超声成像方法，其特征是，所述步骤9具体步骤如下：

a)记录下参与图像融合的每帧图像的中心点坐标，并将这些点的坐标计算成以初始d帧图像为参考坐标系的坐标Pos_{1_new}，Pos_{2_new}，…，Pos_{k_new}，…，Pos_{end_new}，计算公式如下：

Pos_{k_new}(x,y)＝Pos_{k_original}(x,y)×M_d-k (2)

其中，Pos_{k_original}(x,y)中的x＝图像宽度/2-1、y＝图像高度/2-1，M_d-k为从k帧变换至初始d帧图像坐标系的累计仿射变换矩阵；

b)对Pos_{1_new}，Pos_{2_new}，…，Pos_{k_new}，…，Pos_{end_new}这些点的坐标进行多项式拟合，拟合后得到多项式如下：

a_nXⁿ+a_n-1X^n-1+...+a₁X+a₀＝Y (3)

其中a_n、a_n-1……a₀均为常量，n为多项式的最高幂，(X,Y)为坐标；

c)在此方程上将X作为增量，X从0开始，每增整数n即取一个点，最终得到一系列点Pos_{Increment_1}，Pos_{Increment_2}，…，Pos_{Increment_k}，…，Pos_{Increment_end}；整数n由用户设定，其大小影响着宽景图像边缘的精细程度；

d)计算与相邻两点Pos_{Increment_k-1}、Pos_{Increment_k}的连线垂直，且经过Pos_{Increment_k-1}点的直线方程k'y+b'＝x，然后在该直线方程上取与相邻两点中的Pos_{Increment_k-1}点距离最接近设定距离的两点Pos_{boundary_k_1}、Pos_{boundary_k_2}；

e)使用上述方法取出所有的Pos_{boundary_1_1}，Pos_{boundary_1_2}，…，Pos_{boundary_end_1}，Pos_{boundary_end_2}，使用步骤b中的方法分别对下标最末为1和2的所有点求得各自的拟合多项式；

f)在步骤e求得的两个多项式上，以X作为增量，从0开始，在宽景图像的宽度范围内，每隔设定的增量即重采样一点，记录所有的重采样点；

g)计算出Pic_new四个角的点的坐标，将其与步骤f求得的重采样点按顺序连线成一个凸多边形Polygon，将其作为一个掩膜Mask，多边形内部设为1，外部设为0，具体如公式(4)所示：

$\mathrm{Mask}=\left\{\begin{array}{cc}1& \mathrm{in\; Polygon}\\ 0& \mathrm{not\; in\; Polygon}\end{array}\right.---\left(4\right)$

使用掩膜Mask对初步宽景图像Pic_new处理，得到边缘优化的宽景图像Pic_smooth，方法如公式(5)所示：

Pic_smooth＝Pic_new×Mask (5)。

8.如权利要求7所述的实时宽景超声成像方法，其特征是，步骤b中根据位移、角度的变化从小至大，动态地选择使用2、3、4、5次多项式拟合。

9.如权利要求7所述的实时宽景超声成像方法，其特征是，步骤d中的设定距离取原图像高度的40％～48％。