CN103226822B - 医疗影像拼接方法 - Google Patents

Abstract

本发明公开一种医疗影像拼接方法，包括以下步骤：A.输入多视点视频图像序列，按照时序进行处理，如果当前帧为关键帧，顺次执行步骤B-H，如果当前帧为非关键帧，则跳过步骤B-D，直接利用前面最近的关键帧计算得到的相机参数进行后续步骤E-H；B.对当前帧的多视点的多幅图像进行预处理；C.对相邻视点图像进行特征提取及匹配；D.根据提取到的特征点以及相应的匹配信息，进行相机参数估计；E.根据得到的相机参数，对图像进行几何校正；F.根据校正后的结果，进行投影变换与接缝计算；G.进行进一步图像融合；以及H．对最终得到的图像进行存储并显示。本发明具有拼接图像效果好、效率高的优点。

Description

医疗影像拼接方法

技术领域

本发明涉及计算机图像学，具体涉及一种医疗影像拼接方法。

背景技术

在外科手术中，高分辨率的医疗影像的显微成像让医生能够清晰的观察到手术的位置，大大提高医生在手术中观察、定位和操作的精度，确保手术能够顺利安全的进行。而除了手术之外，医疗影像显微成像还在医疗病理学诊断、免疫组织检测、生物组织的识别、判断和分析等领域，如癌细胞检测、细胞生物学检测等场合发挥极大的作用。而在许多传统外科手术中，尤其是肉眼无法直接观察而需要借助内窥镜等设备来观察的位置，由于成像设备的景深和范围的限制，医生往往只能够看到病人的局部组织影像，而无法获知大范围的影像信息。特别是在显微成像中，由于显微放大倍率很大，视野范围严重受限，使观察者只知局部而不知整体。需要通过对图像或视频进行拼接，使人们观察到大范围、高分辨率的全景影像。

虽然现在已经有一些软件能够实现图像拼接的功能，如Photoshop、Microsoft ICE，但一般都需要手工的干预，操作比较复杂，并且对于拼接的图像有诸多限制。而对于外科手术中的医疗影像，往往需要实时的自动拼接，不能借助这些商业软件。此外，医疗影像也具有一定的特殊性，在考虑其拼接时，需要合理地挖掘使用其特殊性以使拼接效果更加精确，效率更高。

发明内容

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此，本发明的一个目的在于提出一种拼接效果好、效率高的医疗影像拼接方法。

根据本发明实施例的医疗影像拼接方法，包括以下步骤：A.输入多视点视频图像序列，按照时序进行处理，如果当前帧为关键帧，顺次执行步骤B-H，如果当前帧为非关键帧，则跳过步骤B-D，直接利用前面最近的关键帧计算得到的相机参数进行后续步骤E-H；B.对当前帧的多视点的多幅图像进行预处理；C.对相邻视点图像进行特征提取及匹配；D.根据提取到的特征点以及相应的匹配信息，进行相机参数估计；E.根据得到的相机参数，对图像进行几何校正；F.根据校正后的结果，进行投影变换与接缝计算；G.进行进一步图像融合；以及H．对最终得到的图像进行存储并显示。

在本发明的一个实施例中，所述预处理进一步包括：B1.利用高斯滤波去除图像中的噪点；B2.利用光晕调整参考图像进行去光晕处理；B3.调整图像的白平衡；以及B4.去除图像之间的曝光差异。

在本发明的一个实施例中，以红色像素点为参考基准来调整图像的色彩平衡。

在本发明的一个实施例中，采用基于海塞矩阵的加速稳健特征来进行所述特征提取及匹配。

在本发明的一个实施例中，所述进行相机参数估计进一步包括：根据提取到的特征点以及相应的匹配信息，计算出相机间的基本矩阵；以及根据所述基本矩阵，采用捆绑优化算法求解相机参数。

在本发明的一个实施例中，采用结合透视投影和圆柱投影的自适应投影方法进行所述投影变换。

在本发明的一个实施例中，采用图像分割算法结合最小误差匹配的方法计算相邻拼接图像之间的接缝。

在本发明的一个实施例中，所述步骤G进一步包括：G1.通过相邻视点图像之间的增益补偿来消除接缝两侧图像亮度差异；以及G2.通过多频带混合算子的方法进行图像融合，以使图像频谱中的高频部分杂混合时的范围较小。

在本发明的一个实施例中，所述步骤G1中，计算重叠区域的增益误差函数为： $e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{u_i\∈R(i,j),{\tilde{u}}_i=H_{\mathrm{ij}}{\tilde{u}}_j}{\mathrm{\Σ}}{(g_i{I}_i\left(u_i\right)-g_j{I}_j\left(u_j\right))}^2,$ 其中，n是进行拼接的图像数量，I_i,I_j分布表示进行拼接的其中两张图像i和j，g_i,g_j分别是分别作用于图像i和图像j上增益,R(i,j)是图像i和图像j之间的重叠区域，H_ij表示两张图像之间的基本变换矩阵，u_i,u_j分别表示相应图像中的像素点。

在本发明的一个实施例中，所述步骤G2进一步包括：G21.所有n张拼接的图像进行投影变换后的图像表示为Iⁱ(θ,φ)，定义一个权函数W(x,y)=w(x)w(y)，其中w(x)的值在图像中心处设置为1，在图像边缘处为0，沿着图像的x方向上的其他区域的值则相应地线性变化，w(y)则是在图像y方向上类似的权值，每张图像的权函数进过相应的投影变换后的结果表示为Wi(θ,φ)，并且定义如下变量表示每个点最主要的权值的来源图像标号： $W_{\max }^i(\mathrm{\θ},\mathrm{\φ})=\left\{\begin{array}{cc}1& W^i(\mathrm{\θ},\mathrm{\φ})=\underset{j}{\arg \max }{W}^j(\mathrm{\θ},\mathrm{\φ})\\ 0& \mathrm{otherwise}\end{array}\right.;$ G22.利用标准差为σ的高斯核函数g_σ(θ,φ)对图像进行卷积运算，得到图像的高通滤波成分图像的低通成分则表示同时将各图像的权函数也进行卷积：对于k≥1的频带，选择相应的高斯核标准差为 ${\mathrm{\σ}}^{\′}=\sqrt{(2k+1)}\mathrm{\σ},$ 并计算： $B_{(k+1)\mathrm{\σ}}^i=I_{\mathrm{k\σ}}^i-I_{(k+1)\mathrm{\σ}}^i,$ $I_{(k+1)\mathrm{\σ}}^i=I_{\mathrm{k\σ}}^i*g_{{\mathrm{\σ}}^{\′}},$ $W_{(k+1)\mathrm{\σ}}^i=W_{\mathrm{k\σ}}^i*g_{{\mathrm{\σ}}^{\′}};$ G23.图像在各个不同频带上利用混合算子进行融合可以表示为： $I_{\mathrm{k\σ}}^{\mathrm{multi}}(\mathrm{\θ},\mathrm{\φ})=\frac{{\mathrm{\Σ}}_{i=1}^n{B}_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})W_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})}{{\mathrm{\Σ}}_{i=1}^n{W}_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})}.$

在本发明的一个实施例中，采用金字塔模式对最终得到的图像进行存储并显示，其中，金字塔顶层存储有整体图像信息，金字塔下层存储有局部图像信息，逐层精细化直至底层。

综上所述，与传统的图像拼接技术相比，本发明的方法具有以下几个主要优点：首先，在进行图像拼接时充分考虑了外科手术医疗影像的颜色、景深等特征，应用这些图像特征能够在一定程度上提高拼接后的效果，使得结果更加适合在医疗应用中观看。其次，本发明针对的是医疗影像视频，相比图像的拼接，视频的拼接能够利用的信息更多，但同时也存在视频相邻帧之间拼接结果连续性和平滑性的问题，因此考虑利用多路视频的不同时刻的多帧图像来计算摄像机的参数和图像变换关系，既能够减少单帧视频中可能出现的噪声对结果的影响，优化单帧图像的拼接效果，并且能够保持拼接后的视频在时域上的连续性，让人不会在观看时产生不舒适的感觉。此外，对于当前视频帧图像的拼接过程中的重要参数可供其之后的视频帧拼接时使用，尤其是在场景基本没有变化的时间段内，不需要重复计算参数，能够避免每一帧图像都需要进行完整复杂的拼接过程，提高视频的拼接效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的医疗影像拼接方法的流程图；和

图2是9×9的二阶方框滤波模板图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

图像拼接是计算机视觉中的一个研究热点，它将多个相机拍摄的相互具有一定重叠区域的图像或视频拼接成一张大视野范围、高分辨率、高动态范围的无缝的图像或视频，让观察者既能观察到大范围整体信息，又能关注到局部的细节。图像拼接技术在全景照片制作、生物显微、监控安防、三维数字扫描等领域都起着关键的作用。

本发明提出了一种外科手术中医疗影像的全景图像拼接和存储显示的方法，旨在克服医疗显微影像视场范围小，难以观察到大范围影像的局限，获得大视野范围、高分辨率的全景拼接影像。主要包括多视点图像的几何校正、颜色校正和曝光校正；图像特征的提取与匹配；多摄像机参数的估计与优化；图像的变换与融合；超分辨率图像的存储与显示等技术。

图1为本发明实施例的医疗影像拼接方法的流程图，包括如下步骤：

A.输入多视点视频图像序列，按照时序进行处理。如果当前帧为关键帧，顺次执行步骤B-H，如果当前帧为非关键帧，则跳过步骤B-D，直接利用前面最近的关键帧计算得到的相机参数进行后续步骤E-H。

需要解释的是，首先判断是否为关键帧然后采取不同操作，这是出于效率与质量的综合考虑。一般地，对视频进行拼接时，只有当场景发生明显变化时，视频帧中的特征点才会随之产生明显的变化，因此通过检测场景中的关键帧，并对关键帧图像进行特征点的提取和匹配，为了提高关键帧特征匹配的精度，将关键帧之后几帧图像的特征点与关键帧的特征点同时考虑进行匹配；而对于非关键帧，由于场景变化非常小，直接利用关键帧计算得到的相机基本矩阵进行后续的图像变换和融合流程。

B.对当前帧的多视点的多幅图像进行预处理。

视频拍摄的图像在进行拼接之前进行一定的预处理，能够有效的减少视频噪声对于拼接效果的影响，此外也使得多个相机拍摄的图像具有较好的一致性。具体地：

B1.利用高斯滤波去除图像中可能存在的噪点。

B2.然后对图像进行去光晕处理。由于光学镜头在成像过程中会产生光晕，尤其是在外科手术成像，虽然手术灯基本上能够做到均匀照明，但镜头的成像特性使得拍摄图像中出现晕光现象，因此需要通过生成一张特定的光晕调整参考图像来对图像进行光晕处理，参考图像则是使用该镜头拍摄一张完全均匀光场的图像生成。

B3.调整图像的白平衡，以弥补不同相机拍摄图像在色调上的差异对拼接造成的影响。由于外科手术影像中出现的更多的颜色信息一般是红色，因此让图像中的红色显得更加真实则更为有意义.通过手工选择每个相机拍摄的图像帧中具有代表性的相对应的红色像素点，分别对每张图像进行色调变换使得所有参考红色点的像素值能够完全对应，从而使得各个相机拍摄图像的色调能够比较一致。

B4.调整不同相机拍摄图像的曝光程度，使得拼接的图像在不同区域上没有明显的曝光差异。先对每张图像进行颜色空间的变换，由图像的亮度分量计算图像的平均亮度值；然后根据所有图像的亮度值确定一个统一的亮度值，并且对每张图像的亮度进行调整，使其与相邻图像的整体亮度没有明显差异。

C.对相邻视点图像进行特征提取及匹配。

图像拼接过程中首先需要获得的是相邻视点图像之间的对应关系，即计算两张图像之间的匹配关系。图像匹配的方法分为全局匹配和基于特征的匹配两大类，在拼接应用中，相邻图像的重叠区域往往不大，因此匹配的范围也被限制在图像的小部分区域中，因此全局匹配的算法并没有意义。

本实施例中采用一种SURF特征(Speeded Up Robost Features,加速稳健特征)来进行图像的特征匹配。SURF特征点的检测是基于海塞矩阵(Hessian矩阵)。

$H=\left[\begin{array}{cc}{L}_{\mathrm{xx}}(\hat{x},\mathrm{\σ})& L_{\mathrm{xy}}(\hat{x},\mathrm{\σ})\\ L_{\mathrm{xy}}(\hat{x},\mathrm{\σ})& L_{\mathrm{yy}}(\hat{x},\mathrm{\σ})\end{array}\right]$

其中，L_xx是高斯滤波对x方向的二阶偏导与原图像I(x,y)卷积的结果，L_xy、L_yy的定义类似，并且利用二阶方框滤波来近似高斯滤波，9×9的方框滤波模板如图2所示。

考虑到外科手术影像中红色分量最为丰富，首先利用原图像的红色分量构建不同尺度的图像金字塔。分别利用方框滤波模板与原图像卷积后得到高斯二阶偏导在高斯核尺度为σ=1.2时的近似值D_xx,D_xy,D_yy，海塞矩阵的近似表达式为：

Δ(H)=D_xxD_yy-(0.9D_xy)²

利用海塞矩阵求出极值后进行非极大值抑制，得到候选特征点，在尺度空间中图像空间中进行插值运算从而得到特征点的位置，计算每个特征点的小波响应以确定特征点的主方向以及相应的描述向量。

在提取出每张图像的特征点之后，需要对特征点进行匹配以建立相邻图像之间的对应关系，最简单的匹配算法是将一幅图像中的每个特征点分别在相邻图像的所有特征点中搜索最佳匹配点，为了提高匹配的效率，本实施例中在特征空间中使用kd树的结构来搜索特征点最接近的邻节点。

在对所有特征点进行匹配之后，为了消除误匹配和不精确匹配对后续步骤的影响，使用RANSAC（随机采样一致）算法，从可能含有异常匹配的样本集中区分正确的匹配（inliers）和异常的匹配（outliers），从而利用正确匹配的样本子集计算出相机的基本矩阵。

D.根据提取到的特征点以及相应的匹配信息，进行相机参数估计。

利用两张具有一定重叠区域的图像中提取的特征点以及相应的匹配信息，计算出两个相机之间的基本矩阵，并且估计出参数的参数。两个相机之间对同一个场景所成的不同像之间存在一定的平移和旋转关系，由基本矩阵H₁₂来表示，将基本矩阵作用在其中一个相机拍摄图像的任意一个像素坐标x_i上即可得到其在另一个相机拍摄图像中对应的像素坐标而误差则可以表示为 则是对应点在另一图像中的实际像素坐标。

基本矩阵H12是一个具有8个未知参数的3×3矩阵，利用有限对匹配的特征点能解出基本矩阵的解。但由于特征匹配中的误差的存在，这样得到的基本矩阵只在特征点处吻合，对于图像整体的变换误差很大，而特征匹配往往能得到很多组特征点，因此利用相邻图像得到的精确匹配的特征点求解如下优化问题可以得到较精确的基本矩阵：

$H_{12}=\underset{H_{12}}{\arg \min }E=\underset{i}{\mathrm{\Σ}}{\mathrm{\σ}}_i^{-2}{\left|\right|r_i\left|\right|}^2\text{,}{r}_i={\tilde{x}}_i(x_i;H_{12})-{\hat{x}}_i$

上式考虑了不同特征点的匹配精度σ_i，使得精确匹配的特征点对估计结果的影响更大，使优化结果更加鲁棒。

得到相邻相机之间的基本矩阵之后，利用捆绑优化算法求解各个相机的运动参数（外参R）和光学参数（内参K），外参表示了相机在三维空间中的角度，内参表示了相机的焦距以及相机光心对应的成像平面内两个方向上的坐标。该算法将不同相机拍摄的图像位置点和由相机参数计算得到的预测图像位置点进行最小误差的匹配。

E.根据得到的相机参数，对图像进行几何校正。

估计得到各个相机的参数后，可以对原图像进行相应的几何校正，以消除相机在空间中成像时的位置、角度、焦距不同造成的几何畸变，使得不同相机拍摄的场景图像映射到同一个假象的曲面上，实现相互之间的拼接。

F.根据校正后的结果，进行投影变换与接缝计算。

图像投影变换是将各个相机拍摄的图像投影到一个假象的曲面上，形成一张符合人们观察习惯的全景图像。本实施例中使用了一种结合透视投影和圆柱投影的自适应投影的方法，结合了两种投影方法的优点：透视投影在较小的视野范围内能够将图像中的直线映射为直线，但视野范围增大时则会产生明显的畸变；而圆柱投影能够真实地显示较大的视野范围且不造成明显失真，但它会将直线映射成曲线。具体方法是在透视投影和圆柱投影之间进行内插，随着图像的缩放和旋转而调整插值的比例，在视野范围很大时以圆柱投影为主，而视野范围很小时则以透视投影为主。

在图像进行投影变换之后，由于相邻图像之间会有一部分重叠区域，需要确定重叠区域内每个像素点的值，而相邻区域在重叠区域内的图像仍然可能存在曝光、颜色上的差异，因此首先将重叠区域图像分别进行图像分割，对于分割之后的每个小区域，分别计算其变换到另一图像相应位置与其在另外一张图像中对应小区域的误差，选择误差较小的那个作为该区域的标号，从而利用两个标号不同的小区域的接缝确定最终两张图像之间的接缝，接缝两边的区域像素分别从两张图像中确定。

G.进行进一步图像融合。

计算出图像之间的接缝并且去除重复的图像区域之后，需要处理接缝两侧图像的局部曝光差异以及细微的像素偏差，使得拼接之后的图像没有明显的拼接痕迹，观察起来更为真实。具体地，包括：

G1.通过相邻图像之间的增益补偿来消除接缝两侧图像亮度的明显差异。

其中，计算重叠区域的增益误差函数为：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{u_i\∈R(i,j),{\tilde{u}}_i=H_{\mathrm{ij}}{\tilde{u}}_j}{\mathrm{\Σ}}{(g_i{I}_i\left(u_i\right)-g_j{I}_j\left(u_j\right))}^2$

优化该函数以确定增益g_i,g_j使得重叠区域的增益误差最小，并且对两张图像作相应的增益补偿。

G2.通过多频带混合算子的方法进行图像融合。

进行增益补偿后，由于仍然存在径向畸变、校正误差等在前期拍摄和后期处理中都存在的不确定因素，在接缝两侧仍然可能会看到较明显的拼接痕迹，需要对图像进行融合以完全消除明显的接缝，获得高质量的拼接图像。通常使用混合算子来确定相邻图像之间的重叠区域，最简单的混合算子将两张图像的图像重叠部分像素值按照一定的权重加权求和来确定。本实施例中使用多频带混合算子实现图像的融合，其主要特点在于考虑图像的频谱特征，使用混合算子进行融合时图像频谱中的高频部分在混合时使用的图像数据范围较小，从而图像中的高频噪声不会大范围地影响拼接结果，相应的，图像的低频部分则使用较大的图像数据范围进行混合，对图像整体的特征保留较好。具体方法如下：

首先，所有n张拼接的图像进行投影变换后的图像表示为Iⁱ(θ,φ)，定义一个权函数W(x,y)=w(x)w(y)，其中w(x)的值从图像中心的1线性变化到图像边缘的0，每张图像的权函数进过相应的投影变换后的结果表示为Wⁱ(θ,φ)，并且定义如下变量表示每个点最主要的权值的来源图像标号：

$W_{\max }^i(\mathrm{\θ},\mathrm{\φ})=\left\{\begin{array}{cc}1& W^i(\mathrm{\θ},\mathrm{\φ})=\underset{j}{\arg \max }{W}^j(\mathrm{\θ},\mathrm{\φ})\\ 0& \mathrm{otherwise}\end{array}\right.$

计算图像的高频与低频分量：利用标准差为σ的高斯核函数g_σ(θ,φ)对图像进行卷积运算，得到图像的高通滤波成分可表示为图像去除高通成分后得到的低通成分则可以表示同时将各图像的权函数也利用相同的高斯核函数进行卷积： $W_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})=W_{\max }^i(\mathrm{\θ},\mathrm{\φ})*g_{\mathrm{\σ}}(\mathrm{\θ},\mathrm{\φ})$

对于k≥1的频带，选择相应的高斯核标准差为并计算：

$B_{(k+1)\mathrm{\σ}}^i=I_{\mathrm{k\σ}}^i-I_{(k+1)\mathrm{\σ}}^i,$ $I_{(k+1)\mathrm{\σ}}^i=I_{\mathrm{k\σ}}^i*g_{{\mathrm{\σ}}^{\′}},$ $W_{(k+1)\mathrm{\σ}}^i=W_{\mathrm{k\σ}}^i*g_{{\mathrm{\σ}}^{\′}}$

最终，图像在各个不同频带上利用混合算子进行融合可以表示为：

$I_{\mathrm{k\σ}}^{\mathrm{multi}}(\mathrm{\θ},\mathrm{\φ})=\frac{{\mathrm{\Σ}}_{i=1}^n{B}_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})W_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})}{{\mathrm{\Σ}}_{i=1}^n{W}_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})}$

H．对最终得到的图像进行存储并显示。

具体地，采用金字塔模式对最终得到的图像进行存储并显示，其中，金字塔顶层存储有整体图像信息，金字塔下层存储有局部图像信息，逐层精细化直至底层。由于拼接后的图像往往具有很大的空间分辨率，甚至能够达到几亿像素，在存储显示时如果按照常规的方法则效率很低。在本发明中使用一种金字塔式存储和显示方法：利用拼接图像构建多个尺度的金字塔模型，观察者首先看到的是金字塔顶层存储的图像整体的信息，当观察者关注到图像中的某一个区域时，从该区域对应的金字塔下层存储的图像中取出更精细的图像局部，直至到达金字塔的底层，此时观察者可以看到非常精细的图像细节，但能够观看的范围则比较局限。

综上所述，与传统的图像拼接技术相比，本发明的方法具有以下几个主要优点：首先，在进行图像拼接时充分考虑了外科手术医疗影像的颜色、景深等特征，应用这些图像特征能够在一定程度上提高拼接后的效果，使得结果更加适合在医疗应用中观看。其次，本发明针对的是医疗影像视频，相比图像的拼接，视频的拼接能够利用的信息更多，但同时也存在视频相邻帧之间拼接结果连续性和平滑性的问题，因此考虑利用多路视频的不同时刻的多帧图像来计算摄像机的参数和图像变换关系，既能够减少单帧视频中可能出现的噪声对结果的影响，优化单帧图像的拼接效果，并且能够保持拼接后的视频在时域上的连续性，让人不会在观看时产生不舒适的感觉。此外，对于当前视频帧图像的拼接过程中的重要参数可供其之后的视频帧拼接时使用，尤其是在场景基本没有变化的时间段内，不需要重复计算参数，能够避免每一帧图像都需要进行完整复杂的拼接过程，提高视频的拼接效率。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种医疗影像拼接方法，其特征在于，包括以下步骤：

A.输入多视点视频图像序列，按照时序进行处理，如果当前帧为关键帧，顺次执行步骤B-H，如果当前帧为非关键帧，则跳过步骤B-D，直接利用前面最近的关键帧计算得到的相机参数进行后续步骤E-H；

B.对当前帧的多视点的多幅图像进行预处理；

C.对相邻视点图像进行特征提取及匹配；

D.根据提取到的特征点以及相应的匹配信息，进行相机参数估计；

E.根据得到的相机参数，对图像进行几何校正；

F.根据校正后的结果，进行投影变换与接缝计算；

G.进行进一步图像融合；以及

H.对最终得到的图像进行存储并显示，

其中，所述步骤G包括：

G1.通过相邻视点图像之间的增益补偿来消除接缝两侧图像亮度差异，其中，计算重叠区域的增益误差函数为： $e=\frac{1}{2}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\underset{u_i\∈R(i,j),{\tilde{u}}_i=H_{\mathrm{ij}}{\tilde{u}}_j}{\mathrm{\Σ}}{(g_i{I}_i\left(u_i\right)-g_j{I}_j\left(u_j\right))}^2,$ 其中，n是进行拼接的图像数量，I_i,I_j分布表示进行拼接的其中两张图像i和j，g_i,g_j分别是分别作用于图像i和图像j上增益,R(i,j)是图像i和图像j之间的重叠区域，H_ij表示两张图像之间的基本变换矩阵，u_i,u_j分别表示相应图像中的像素点；以及

G2.通过多频带混合算子的方法进行图像融合，以使图像频谱中的高频部分杂混合时的范围较小，其中，所述步骤G2包括：

G21.所有n张拼接的图像进行投影变换后的图像表示为Iⁱ(θ,φ)，定义一个权函数W(x,y)＝w(x)w(y)，其中w(x)的值在图像中心处设置为1，在图像边缘处为0，沿着图像的x方向上的其他区域的值则相应地线性变化，w(y)则是在图像y方向上类似的权值，每张图像的权函数进过相应的投影变换后的结果表示为Wⁱ(θ,φ)，并且定义如下变量表示每个点最主要的权值的来源图像标号：

$W_{\max }^i(\mathrm{\θ},\mathrm{\φ})=\left\{\begin{array}{cc}1& W^i(\mathrm{\θ},\mathrm{\φ})=\underset{j}{\arg \max }{W}^i(\mathrm{\θ},\mathrm{\φ})\\ 0& \mathrm{otherwise}\end{array}\right.,$

G22.利用标准差为σ的高斯核函数g_σ(θ,φ)对图像进行卷积运算，得到图像的高通滤波成分 $I_{\mathrm{\σ}}^i=I^i(\mathrm{\θ},\mathrm{\φ})*g_{\mathrm{\σ}}(\mathrm{\θ},\mathrm{\φ}),$ 图像的低通成分则表示 $B_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ})=I^i(\mathrm{\θ},\mathrm{\φ})-I_{\mathrm{\σ}}^i(\mathrm{\θ},\mathrm{\φ}),$ 同时将各图像的权函数也进行卷积：对于k≥1的频带，选择相应的高斯核标准差为 ${\mathrm{\σ}}^{\′}=\sqrt{(2k+1)}\mathrm{\σ},$ 并计算 $B_{(k+1)\mathrm{\σ}}^i=I_{\mathrm{k\σ}}^i-I_{(k+1)\mathrm{\σ}}^i,I_{(k+1)\mathrm{\σ}}^i=I_{\mathrm{k\σ}}^i*g_{{\mathrm{\σ}}^{\′}},$ $W_{(k+1)\mathrm{\σ}}^i=W_{\mathrm{k\σ}}^i*g_{{\mathrm{\σ}}^{\′}};$

G23.图像在各个不同频带上利用混合算子进行融合可以表示为：

$I_{\mathrm{k\σ}}^{\mathrm{multi}}(\mathrm{\θ},\mathrm{\φ})=\frac{{\mathrm{\Σ}}_{i=1}^n{B}_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})W_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})}{{\mathrm{\Σ}}_{i=1}^n{W}_{\mathrm{k\σ}}^i(\mathrm{\θ},\mathrm{\φ})}.$

2.如权利要求1所述的医疗影像拼接方法，其特征在于，所述预处理进一步包括：

B1.利用高斯滤波去除图像中的噪点；

B2.利用光晕调整参考图像进行去光晕处理；

B3.调整图像的白平衡；以及

B4.去除图像之间的曝光差异。

3.如权利要求1或2所述的医疗影像拼接方法，其特征在于，以红色像素点为参考基准来调整图像的色彩平衡。

4.如权利要求1所述的医疗影像拼接方法，其特征在于，采用基于海塞矩阵的加速稳健特征来进行所述特征提取及匹配。

5.如权利要求1所述的医疗影像拼接方法，其特征在于，所述进行相机参数估计进一步包括：

根据提取到的特征点以及相应的匹配信息，计算出相机间的基本矩阵；以及

根据所述基本矩阵，采用捆绑优化算法求解相机参数。

6.如权利要求1所述的医疗影像拼接方法，其特征在于，采用结合透视投影和圆柱投影的自适应投影方法进行所述投影变换。

7.如权利要求1所述的医疗影像拼接方法，其特征在于，采用图像分割算法结合最小误差匹配的方法计算相邻拼接图像之间的接缝。

8.如权利要求1所述的医疗影像拼接方法，其特征在于，采用金字塔模式对最终得到的图像进行存储并显示，其中，金字塔顶层存储有整体图像信息，金字塔下层存储有局部图像信息，逐层精细化直至底层。