CN113724301B - 一种基于互卷积的生物组织透射图像配准系统 - Google Patents

Abstract

本发明公开了一种基于互卷积的生物组织透射图像配准系统：其主要包括：基于互卷积的回归器、空间转化器、采样器。将生物组织透射图像配准对输入至系统进行配准，系统输出透射图像配准后的结果图。系统可以通过训练实现更新，优化配准效果。本发明可以对关键点稀少、信噪比低的生物组织透射图像实现有效配准，保留浮动图像的细节纹理等信息，减少浮动图像在配准过程中的失真，提升生物组织透射图像配准的效果，减少系统占用存储空间。为乳腺肿瘤早期诊断等涉及低信噪比、低对比度的生物组织透射图像相关技术研究提供了支持。

Description

一种基于互卷积的生物组织透射图像配准系统

技术领域

本发明属于计算机视觉领域，具体地涉及一种基于互卷积的生物组织透射图像配准系统。

背景技术

医学图像配准技术作为医学图像分析中不可或缺的关键步骤，是实现医学图像融合、分割、对比以及重建的前提。很多医学管道依赖于图像配准技术，提升配准技术对临床应用具有重要意义。透射多光谱成像（TMI）使得乳腺肿瘤的早期诊断成为可能。光学成像技术因其无创、实时、灵敏性及特异性强等特点，可在人体病变组织早期筛查领域发挥作用，在生物医学成像具有重要研究价值。但由于生物组织具有强吸收和强散射的光学特性，会造成图像信噪比和对比度较低，对图像

处理与分析影响很大。很少有面向透射图像的研究从配准方向展开。对生物组织透射图像的配准算法进行深入研究，具有亟待开拓的市场前景，例如可能为乳腺肿瘤早期诊断提供支持与方法。

图像配准方法可分为经典传统方法与新兴的神经网络方法。经典传统方法又分为基于灰度信息的配准方法、基于变换域的配准方法、基于特征点的配准方法。其中，基于特征点的配准方法是传统方法中应用最广泛的配准方法。如尺度不变特征变换方法（SIFT）、加速鲁棒特征变换方法（SURF）、二元鲁棒不变可缩放关键点方法（BRISK）和定向快速旋转算法（ORB）等等。但生物组织强散射、强吸收的特性导致生物组织透射图像信噪比与对比度低，使得上述方法检测到的关键点数目稀少，对配准精度带来极大的不利影响。神经网络的发展为图像配准领域提供了一个崭新的方向。如STN、DIRNet等方法的提出实现了无监督的图像配准。但上述方法并不涉及关于乳腺肿瘤早期诊断的强吸收、强散射生物组织透射图像领域，配准方法也模型的存储空间占用情况。

发明内容

本发明要解决的技术问题是提供一种基于互卷积的生物组织透射图像配准系统。

本系统对于生物组织透射图像的配准算法进行深入研究，具有亟待开拓的市场前景，例如可能为乳腺肿瘤早期诊断提供支持与方法。

为解决上述技术问题，本发明基于互卷积的生物组织透射图像配准系统包括基于互卷积的回归器、空间转化器、采样器。浮动透射图像与固定透射图像输入至系统后，经过维度上的链接，先后经过基于互卷积的回归器、空间转化器、采样器，最终获得配准后的透射图像。系统可通过训练进行更新，提升配准效果。

其中，系统详细工作流程包括：

1）将透射图像待配准对输入至系统。

2）被输入的浮动透射图像与固定透射图像沿维度方向链接，进入基于互卷积的回归器，得到形变参数。

3）形变参数继续向下被送至空间转化器进行处理，获得空间形变场。

4）采样器以上一环节中得到的形变场为依据，对浮动透射图像进行重采样，输出配准后的透射图像。

系统更新方法包括：

1）将准备好的透射图像配准数据集输入至系统。

2）被输入的浮动透射图像与固定透射图像分批次沿维度方向链接，进入基于互卷积的回归器，得到形变参数。

3）形变参数继续向下被送至空间转化器进行处理，获得空间形变场。

4）采样器以上一环节得到的形变场为依据，对浮动透射图像进行重采样，输出配准后的透射图像。

5）通过损失函数惩罚外观差异与局部空间变化，自适应地优化系统参数，更新系统。

6）重复2）-5），直到配准误差降至要求范围或迭代次数到达上限停止。此时训练完成，系统被更新。

在一种基于互卷积的生物组织透射图像配准系统的实施方式中，基于互卷积的回归器中的的单元结构包括卷积与互卷积。互卷积是一种新型非对称的卷积结构，所获收益为更充分合理地利用了图像之间的信息，减少了系统模型的占用空间。

在一种基于互卷积的生物组织透射图像配准系统的实施方式中，基于互卷积的回归器中的框架为Inception模块与U-net模块嵌合的网络。所获收益为有效拓展了回归网络的深度与宽度，更利于学习到适合的形变参数，提升配准效果。

在一种基于互卷积的生物组织透射图像配准系统的实施方式中，系统可以通过无标注的生物组织透射图像数据集进行训练，自适应的更新。所获收益为减少了数据集制作中的标注成本，解放了人力，系统能够自我完成更新，训练对生物组织透射图像的配准能力。

在一种基于互卷积的生物组织透射图像配准系统的实施方式中，面向关键点稀疏、信噪比低的生物组织透射类图像，端到端的提升图像配准效果，减少系统的存储空间占用。所获收益为，深入探索生物组织透射图像领域的配准技术，为乳腺肿瘤早期诊断等涉及低信噪比、低对比度的生物组织透射图像相关技术研究提供了支持。

在一种基于互卷积的生物组织透射图像配准系统的实施方式中，其中损失函数包含对所配准透射图像与固定透射图像外观差异的惩罚及形变场局部空间变化的惩罚。所获收益为，在关注配准结果图与固定图像间结构相似度的同时约束了形变场的平滑性，保证了配准效果。

本发明以相关算法为核心，在生物组织透射类图像低信噪比、低对比度、可检测关键点稀少的情况下，依然可以通过基于互卷积的回归器、空间转化器、采样器组成的系统，得到有效地配准结果，并且有效降低减少空间占用。

本发明可面向生物组织透射图像，进行端到端的图像配准，配准后的图像能很好地保留浮动透射图像的细节，减少与固定图像之间的结构差异，具有较好的平滑性，同时降低模型占用的存储空间。

附图说明

图1为本发明生物组织透射图像配准系统结构框图；

图2为浮动乳腺组织仿体透射图像示例；

图3为固定乳腺组织仿体透射图像示例；

图4为本发明方法实验结果图像；

图5为SURF方法实验结果图像；

表1为图像评价指标对比。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明面向低信噪比、低对比度的生物组织透射类图像，探索配准算法，为乳腺肿瘤早期诊断等涉及生物组织透射图像相关技术研究提供了支持。本发明基于互卷积的生物组织透射图像配准系统包括基于互卷积的回归器、空间转化器、采样器。浮动透射图像与固定透射图像输入至系统后，经过维度上的链接，先后经过基于互卷积的回归器、空间转化器、采样器，最终获得配准后的透射图像。系统可通过训练进行更新，提升配准效果。具体如下：

一种基于互卷积的生物组织透射图像配准系统，其特征在于：系统包括基于互卷积的回归器、空间转化器、采样器;浮动透射图像与固定透射图像输入至系统后，经过维度上的链接，先后经过基于互卷积的回归器、空间转化器、采样器，最终获得配准后的透射图像；所述图像配准系统通过训练进行更新，提升配准效果；其详细工作流程包括：

第一步，将透射图像待配准对输入至系统。其中透射图像待配准图像对可以批量输入，经系统处理后配准后图像同样被批量输出。

第二步，被输入的浮动透射图像与固定透射图像沿维度方向链接，进入基于互卷积的回归器，得到形变参数。

基于互卷积的回归器中的单元结构包括卷积与互卷积。与传统卷积不同，互卷积是一种新型非对称的卷积结构，如在个通道上使用/>个尺寸为 /> 的互卷积核进行操作，其参数量为/>个，而传统卷积则需要/>个参数，几乎比互卷积多了一半。互卷积能够更充分合理地利用了图像之间的信息，减少了系统模型的占用空间。

基于互卷积的回归器中的框架为Inception模块与U-net模块嵌合的网络。其有效拓展了回归网络的深度与宽度，更利于学习到适合的形变参数，提升配准效果。

第三步，形变参数继续向下被送至空间转化器进行处理，经空间转化器转化后获得空间形变场，即得到了配准后图像与浮动图像的位移关系场。

第四步，采样器以上一环节中得到的形变场为依据，对浮动透射图像进行重采样，采样浮动图像中的像素点放入配准结果图对应的坐标位置，将重组图像从系统中输出，得到配准结果图。

系统更新方法包括：

第一步，将准备好的透射图像配准数据集输入至系统。本实施例采用的数据集为人工采集的模拟生物乳腺组织仿体图像制成，以适配后续乳腺肿瘤自筛查手持设备的进一步研究。数据集采集平台通过亚克力板、牛奶、土豆切片、猪肉组织切片搭建，通过手持普通手机采集图像。其中，针对生物组织特点，通过牛奶模拟生物乳腺正常组织液，土豆切片、猪肉组织切片模拟不同病变的异质体。将所采集图像按比例缩小至144 x 256分辨率并转化为灰度图，制成包含700张仿体图像的数据集。所搭建平台模拟了乳腺组织的强吸收与强散射特性，设备所采集图像具备较强模糊性，图像间存在小幅度平移、旋转等变换。

第二步，被输入的浮动透射图像与固定透射图像分批次沿维度方向链接，进入基于互卷积的回归器，得到形变参数。基于互卷积的回归器中的单元结构包括卷积与互卷积，框架为Inception模块与U-net模块嵌合的网络。

第三步，形变参数继续向下被送至空间转化器进行处理，获得空间形变场。

第四步，采样器以上一环节得到的形变场为依据，对浮动透射图像进行重采样，输出配准后的透射图像。

第五步，通过损失函数惩罚外观差异与局部空间变化，自适应地优化系统参数，更新系统。

其中，损失函数包含对配准后的透射图像与固定透射图像外观差异的惩罚及形变场局部空间变化的惩罚。损失函数公式如下：

公式中f与m分别代表固定透射图像与浮动透射图像，代表变换场，代表变换后的待配准图像，用于度量固定图像与变换后图像的相似性，是正则化项，约束空间平滑变形。其在在关注固定图像与配准结果图间结构相似度的同时约束了形变场的平滑性，保证了配准效果。

第六步，重复第二步至第五步，直到配准误差降至要求范围或迭代次数到达上限停止。本实施例设定为迭代次数达到1200次时停止训练，训练完成时，网络参数被优化，系统被更新。

当系统训练完成后，采用未参与训练的乳腺组织仿体透射图像作为浮动图像输入系统进行测试，系统输出配准后图像，完成配准。图2和图3分别为测试用浮动透射图像与固定透射图像，系统输出配准结果如图4所示。作为对照，本实施例还采用SURF方法进行配准，并得到配准结果，如图5所示。SURF方法通过有限关键点配准得到了变换后的图像，但图像纵向拉伸较大使得模拟异质体形态与固定图像不符，相较而言，通过本发明得到的结果图像在形态上更为接近固定图像，配准效果更好。

为客观的描述本发明的配准效果，采用多种评价指标对配准效果进行评价，评价结果如表1所示：表1

表中数据显示，本发明方法结果图的峰值信噪比较浮动透射图像提高了近一倍，约是SURF方法结果图的2.5倍，在结构相似性度量方面，本发明方法结果图比SURF方法结果图高出14.6个百分点，在互信息指标中，本发明方法结果图的效果也明显好于初始的浮动透射图像与SURF方法结果图。

结论：本发明面向低信噪比、低对比度的生物组织透射图像领域，深入探索了透射图像配准方法，实现了一种基于互卷积的生物组织透射图像配准系统。本发明系统包含基于互卷积的回归器、空间转化器和采样器，能够对非对称视野信息进行利用，缩小模型空间，克服透射图像可检测关键点稀疏对配准造成的不利影响，保证配准效果。同时为乳腺肿瘤早期诊断等涉及生物组织透射图像相关技术研究提供了支持，未来可适配后续乳腺肿瘤自筛查手持设备的进一步研究。

Claims (7)

1.一种基于互卷积的生物组织透射图像配准系统，其特征在于：系统包括基于互卷积的回归器、空间转化器、采样器;浮动透射图像与固定透射图像输入至系统后，经过维度上的链接，先后经过基于互卷积的回归器、空间转化器、采样器，最终获得配准后的透射图像；所述图像配准系统通过训练进行更新，提升配准效果；其详细工作流程包括：

1）将透射图像待配准对输入至系统；

2）被输入的浮动透射图像与固定透射图像沿维度方向链接，进入基于互卷积的回归器，得到形变参数；

3）形变参数继续向下被送至空间转化器进行处理，获得空间形变场；

4）采样器以上一环节中得到的形变场为依据，对浮动透射图像进行重采样，输出配准后的透射图像；

所述系统更新方法包括：

1）将准备好的透射图像配准数据集输入至系统；

2）被输入的浮动透射图像与固定透射图像分批次沿维度方向链接，进入基于互卷积的回归器（1），得到形变参数；

3）形变参数继续向下被送至空间转化器进行处理，获得空间形变场；

4）采样器以上一环节得到的形变场为依据，对浮动透射图像进行重采样，输出配准后的透射图像；

5）通过损失函数惩罚外观差异与局部空间变化，自适应地优化系统参数，更新系统；

6）重复2）-5），直到配准误差降至要求范围或迭代次数到达上限停止；

此时训练完成，系统被更新。

2.权利要求1所述的一种基于互卷积的生物组织透射图像配准系统，其特征在于：基于互卷积的回归器中的的单元结构包括卷积与互卷积。

3.权利要求1所述的一种基于互卷积的生物组织透射图像配准系统，其特征在于：基于互卷积的回归器中的框架为Inception模块与U-net模块嵌合的网络。

4.权利要求1所述的一种基于互卷积的生物组织透射图像配准系统，其特征在于：系统可以通过无标注的生物组织透射图像数据集进行训练，自适应的更新，提高系统对生物组织透射图像的配准能力。

5.权利要求1所述的一种基于互卷积的生物组织透射图像配准系统，其特征在于：面向关键点稀疏、信噪比低的生物组织透射类图像，端到端的提升图像配准效果，减少系统的存储空间占用。

6.权利要求4所述的一种基于互卷积的生物组织透射图像配准系统，其特征在于：损失函数包含对所配准透射图像与固定透射图像外观差异的惩罚及形变场局部空间变化的惩罚。

7.权利要求1所述的一种基于互卷积的生物组织透射图像配准系统在用于乳腺肿瘤早期诊断方面的应用。