CN105118068B - 一种小样本条件下医学图像自动标注方法 - Google Patents

Abstract

本发明涉及一种小样本条件下医学图像自动标注方法，包括：构建小样本医学图像组织器官的形状标记点的稠密线性回归模型和稀疏线性回归模型，合成其他位置对应的样本图像组织器官的形状标记点；构建小样本医学图像组织器官的形状标记区域的仿射变换模型，合成其他位置对应的样本图像组织器官的纹理；对新合成样本和原有样本图像的组织器官进行主成份分析，生成组织器官的形状和纹理可变模型；在待标注的图像上使用霍夫投票学习方法的初始定位，依据组织器官的形状和纹理可变模型的平移、旋转和缩放比等参数的收敛性自动标注图像内容。

Description

一种小样本条件下医学图像自动标注方法

技术领域

本发明涉及计算机处理医学图像的方法，特别是一种小样本条件下医学图像自动标注方法，适用于计算机医学图像合成，图像检索和图像标注。

背景技术

医学图像是医疗诊断、药物反应监控和疾病管理等最重要的辅助手段，具有速度快、非入侵、副作用小、费用低、效果好等优势。随着医学图像数量呈指数级的增长，普通用户检索需要的图像变得越来越难。过去的几十年,有大量关于医学图像检索的研究，可以归纳为三类：文本标注方法、基于内容的图像检索方法和自动图像标注(Automatic ImageAnnotation，AIA)方法。Giild研究发现在DICOM(Digital Imaging and COmmunication ofMedicine)头文件中大约有15％的标注错误，且DICOM头文件在图像压缩后经常被丢弃，所以基于文本标注方法是不切实际的。基于内容的医学图像检索，由于在底层特征与图像高层语义之间存在巨大的鸿沟，且要求普通用户提供查询样本图像或草图，同样不切实际。而AIA利用了前两种方法的优点，已经成为医学图像检索的必然趋势。

目前，已经有很多学者为图像标注提出了多种方法，可以分为基于支持向量机、人工神经网络、决策支持树、非参数密度估计和有参密度估计等几类。尽管这些方法取得了阶段性结果，但目前医学图像自动标注还面临几个公认的难点和挑战：

(1)很多现有方法需要大量的训练样本，且需要用手工方法为训练图像标注标记点，既费时又容易出错，失去了临床应用价值。

(2)由于噪声数据的增加，类间的训练样本数的不平衡性，容易降低医学图像标注的质量。

发明内容

发明目的：为了解决上述技术问题，本发明公开了一种小样本条件下医学图像自动标注方法，能够只需要小样本训练集。

本发明的小样本条件下医学图像自动标注方法，由以下步骤组成：

步骤1，构建小样本医学图像组织器官的位置A的形状标记点的稠密线性回归模型和稀疏线性回归模型，合成相对于小样本医学图像而言其他位置对应的新样本图像的组织器官形状标记点；

步骤2，构建小样本医学图像组织器官的位置A的形状标记区域的仿射变换模型，合成相对于小样本医学图像而言其他位置对应的新样本图像的组织器官形状标记区域的纹理；

步骤3，对新样本图像和原有样本图像的组织器官的形状标记点进行主成份分析，生成组织器官的形状可变模型；

步骤4，对新样本图像和原有样本图像的组织器官纹理进行主成份分析，生成组织器官的纹理可变模型；

步骤5，在待标注的医学图像上使用霍夫投票学习方法初始定位组织器官，依据组织器官的形状可变模型和纹理可变模型的平移参数、旋转参数和缩放比参数的收敛性自动标注图像内容。

所述步骤1中，构建小样本医学图像组织器官的形状标记点的稠密线性回归模型和稀疏线性回归模型，生成其他位置对应的新样本图像组织器官形状的具体步骤包括：

步骤(11)，将组织器官在人体位置A的二维坐标矩阵拉长为一维向量，在该位置的所有样本的拉长向量构成观测矩阵，在其他位置与该组织器官对应的样本拉长向量构成观测值；

步骤(12)，基于2-范数正则化最小二乘法构建形状标记点的稠密线性回归模型；

步骤(13)，基于1-范数正则化最小二乘法构建形状标记点的稀疏线性回归模型；

步骤(14)，当大于50％的稠密线性回归模型矩阵元素都小于阈值(本发明为0.01)时，使用稀疏线性回归模型，否则使用稠密线性回归模型，生成其他位置对应的组织器官形状样本。

所述步骤3中，对新样本图像和原有样本图像的组织器官的形状标记点进行主成份分析，生成医学图像组织器官的形状可变模型，具体步骤包括：

步骤(31)，使用广义对齐和奇异值分解算法对齐所有组织器官的形状标记点，得到旋转、平移和缩放不变的形状标记点；

步骤(32)，对广义对齐后的组织器官形状标记点进行主成份分析，使用均值形状、形状子空间的正交基向量以及形状子空间的投影系数建立组织器官的形状可变模型。

所述步骤5中，在待标注的图像上使用霍夫投票学习方法的初始定位，依据组织器官的形状和纹理可变模型的平移、旋转和缩放比等参数的收敛性自动标注图像内容，具体步骤包括：

步骤(51)，使用霍夫投票学习方法的初始定位组织器官的形状和纹理模型在待标注图像的位置，获得模型的平移、旋转和缩放等参数的初始值；

步骤(52)，每个标记点沿法向量方向搜索与当前点纹理特征欧式距离最小的像素点进行更新，修正组织器官的形状可变模型和纹理可变模型的平移参数、旋转参数和缩放比参数，依据所述参数的收敛性实现自动标注。

本发明的优点在于提出了一种小样本条件下医学图像自动标注方法，基于2范数正则化最小二乘法构建的稠密线性回归模型和基于1范数正则化最小二乘法构建的稀疏线性回归模型，可以生成其他位置的新样本医学图像组织器官的形状标记点；分段仿射变换可以生成其他位置的新样本医学图像组织器官的纹理；本发明大大减少了医学图像标注样本需求量，有效克服了由于医学图像的专业特性，医学图像标注的数量和传统网络图像相比较少的问题。同时，可以补齐某些类别训练样本不足的问题，具有类间样本平衡的优点，具有较好的临床现实意义。把医学图像标注的任务转换为组织器官模型的建模和匹配问题，在对齐后的样本图像中用主成份方法生成医学图像组织器官的形状和纹理可变模型，组织器官的形状和纹理模型具有旋转不变性、平移不变性和缩放不变性，对噪声不敏感，健壮性强和鲁棒性好等优点。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

具体实施方式

总体而言，本发明涉及一种小样本条件下医学图像自动标注方法，利用稠密线性回归模型,稀疏线性回归模型，仿射变换模型，误差最小理论，参数收敛性等技术等实现了只需要小样本条件下医学图像自动标注方法。首先，构建小样本医学图像组织器官的形状标记点的稠密线性回归模型和稀疏线性回归模型，合成其他位置对应的新样本图像组织器官形状；其次，构建小样本医学图像组织器官的形状标记区域的仿射变换模型，生成其他位置对应的新样本图像组织器官纹理；再次，利用主成份模型构建新合成的样本和原有的小样本图像的，生成医学图像组织器官的形状可变模型和纹理可变模型；最后，使用霍夫投票学习方法的初始定位组织器官的形状和纹理模型在待标注图像的位置，获得模型的平移、旋转和缩放等参数的初始值；在待标注的图像上寻找一组最优的医学图像组织器官形状和纹理模型参数，根据最优参数值是否收敛标注图像内容。

本方法分为组织器官形状标记点和纹理样本图像合成，构建组织器官形状和纹理可变模型，基于最优参数收敛性的标注三个部分，具体的工作流程如图1所示。

步骤1，构建小样本医学图像组织器官的位置A(任意选择一个位置)的形状标记点的稠密线性回归模型和稀疏线性回归模型，合成其他位置对应的新样本图像组织器官形状标记点；

步骤(11)：将组织器官在人体位置A的二维坐标矩阵拉长为一维向量，在该位置A的所有样本的拉长向量构成观测矩阵，在其他位置与该组织器官对应的样本拉长向量构成观测值；

设有人体某一位置的组织器官大小为m的小样本训练集，本例中m＝30；使用自动或手动方法在第i(1≤i≤m)幅图像上提取组织器官的n个形状标记点，本例中n＝30；第i幅图像的形状二维矩阵X_i为：

其中x_i1,x_i2,…,x_in分别表示人体位置A的第i幅图像组织器官的第1,第2和第n个标记点的横坐标，y_i1,y_i2,…,y_in分别表示第1,第2和第n个标记点的纵坐标，T表示转置运算。把X_i拉长为一维向量X_i′：

X_i′＝[x_i1,y_i2,x_i2,y_i2…,x_in,y_in]^T(1≤i≤m) (2)

则人体位置A的m个拉长的一维向量构成了观测矩阵X′：

X′＝[X₁′,X₂′,…,X′_m]。

设与第i幅图像对应的人体其他位置的组织器官拉长向量Y_i′为:

Y_i′＝[x′_i1,y′_i1,x′_i2,y′_i2,…,x′_in,y′_in]^T (3)

其中x′_i1,x′_i2,…,x′_in分别表示对应的人体其他位置的组织器官的第1,第2和第n个标记点的横坐标，y′_i1,y′_i2,…,y′_in分别表示第1,第2和第n个标记点的纵坐标。

则对应的人体其他位置的m个拉长一维向量构成了观测值矩阵Y′：

Y′＝[Y₁′,Y₂′,…,Y_m′]。

假设组织器官的形状标记点的位置和局部变化互相依赖，在稠密描述框架下通过回归模型建模它们之间的关系。然而，当组织器官结构比较复杂时，形状标记点之间的关系描述了不同形状变化特征，学习不同位置肝脏形状标记点之间的变化关系是比较困难的。因此，用稀疏描述框架建模形状标记点位置和局部变化的关系。

步骤(12)：基于2-范数正则化最小二乘法构建形状标记点的稠密线性回归模型。

依据误差最小原则，需要所有形状标记点的观测矩阵X′与回归模型矩阵之积与观测值矩阵Y′的2-范数误差最小。同时，为了避免模型训练的时候误差很小，测试的时候误差很大，引入正则因子λ(λ∈[0,1]，本发明中λ＝0.5)乘以回归模型R的2-范数作为惩罚项。构建稠密线性回归模型为：

使用最小二乘法求解(4)式，可以解得大小为2n×2n的稠密矩阵R：

R＝Y′X′^T(X′X′^T+λI)^-1 (5)

步骤(13)：基于1-范数正则化最小二乘法构建形状标记点的稀疏线性回归模型。

当组织器官结构比较复杂时，为了使回归模型具有更好的形状特征选择性和解释性，把所有形状标记点的回归模型转换为1-范数的稀疏线性回归模型。稀疏框架下的线性回归模型矩阵R的非零元素比较少，部分标记点之间存在关系。

设观测矩阵X′和观测值矩阵Y′的第c列分别为X_c′和Y_c′，依据误差最小原则，需要X_c′与回归模型矩阵R的第c列R_c之积与Y_c′的1-范数误差最小。同时，为了避免过拟合，引入正则因子λ_c(λ_c∈[0,1]，本发明λ_c＝0.5)，乘以R_c的1-范数作为惩罚项。构建稀疏线性回归模型为：

使用基于预定义条件调节梯度算法搜索方向的内点法求解(6)式，解1-范数正则化最小二乘法问题，可得其大小为2n×1的解R_c。计算回归矩阵的所有列[R₁,R₂,…,R_2n]的解，构成大小为2n×2n的稀疏矩阵解R。

步骤(14)：当超过50％的回归模型矩阵元素都小于阈值(本例为0.01)时，使用稀疏线性回归模型，否则使用稠密线性回归模型，生成其他位置对应的组织器官形状样本。

对于任意的一个组织器官形状标记点向量x，乘以稠密或稀疏矩阵R，加上噪声v，生成其他位置对应的组织器官形状样本y。

y＝Rx+v (7)

其中v是实际值和估计值的残差随机变量，假设满足期望值为0，方差等于残差的方差的正态分布。

步骤2，构建小样本医学图像组织器官的形状标记区域的仿射变换模型，合成其他位置新样本图像对应的组织器官形状标记区域的纹理；

使用分段仿射卷积方法从组织器官形状标记点向量x包围的区域中学习纹理，以合成其他位置对应的组织器官y的纹理。根据Delaunay方法把x包围的区域划分成没有重叠的三角形子区域，每个子区域的像素使用相同的仿射变换卷积以合成y的纹理。

步骤3，对新样本图像和原有样本图像的组织器官的形状标记点进行主成份分析，生成医学图像组织器官的形状可变模型；

(31)使用广义对齐和奇异值分解算法对齐所有组织器官的形状标记点，得到旋转、平移和缩放不变的形状标记点；

首先，将所有样本图像中的组织器官的形状标记点的横纵坐标分别减去横纵坐标的均值，得到具有位移不变性的组织器官形状矩阵。

其次，将位移不变性的组织器官的各列向量分别除以列向量的模进行归一化处理，得到具有尺度不变性的组织器官形状矩阵。

最后，取第1个形状矩阵作为初始均值形状；计算每个形状矩阵乘以均值形状矩阵的奇异值分解，设矩阵U和V表示形状特征向量，D表示奇异值，则每个形状矩阵旋转θ角度与初始均值形状的方向一致，这个旋转矩阵为

每个形状矩阵乘以旋转矩阵，可得具有方向不变性的组织器官的新形状矩阵。根据所有的新形状矩阵更新均值形状,如果新的均值形状收敛，则输出组织器官的形状模型；否则，继续迭代。

(32)对广义对齐后的组织器官形状标记点进行主成份分析，使用均值形状和形状子空间的正交基向量和形状子空间的投影系数建立组织器官的形状可变模型；

设位移、缩放和旋转不变性的形状样本均值为每个样本与均值的偏差为偏差的协方差为对Σ进行主成份分析，可得到一组描述了训练集在各个子空间方向上的变化模式的正交基向量P_s。形状子空间的正交基向量与投影系数之积加上形状均值生成组织器官的形状可变模型：

b_s表示形状在子空间中的投影系数。

步骤4，对新样本图像和原有样本图像的组织器官纹理进行主成份分析，生成医学图像组织器官的纹理可变模型；

将新合成样本和原有样本图像的组织器官的纹理减去平均纹理，实现纹理平移。平移后的纹理除以纹理方差实现纹理归一化的处理。对训练样本集进行纹理归一化处理后,利用主分量分析的方法建立线性的纹理统计模型，使用纹理空间的正交基向量和纹理子空间的投影系数建立纹理可变模型。设纹理空间的一组正交基向量为P_t和纹理子空间的投影系数为b_t，则纹理子空间的正交基向量与投影系数之积加上纹理均值生成组织器官的纹理可变模型

t＝t₀+P_tb_t (10)

其中t₀表示均值纹理。

步骤5，在待标注的图像上使用霍夫投票学习方法的初始定位，依据组织器官的形状和纹理可变模型的平移、旋转和缩放比等参数的收敛性自动标注图像内容。

(51)使用霍夫投票学习方法的初始定位组织器官的形状和纹理模型在待标注图像的位置，获得模型的平移、旋转和缩放等参数的初始值。

组织器官的形状标记点执行下面步骤投票：建立霍夫投票查找表，用该点的梯度方向索引在查找表中检索，计算可能的参考点位置；将可能参考点位置对应的霍夫空间点票数加1。整个投票过程结束后，统计所有点的得票数，搜索参数空间累加器的峰值，即全局票数最多的位置、缩放和旋转为肝脏在待检测图像的初始定位。

(52)每个标记点沿法向量方向搜索与当前点纹理特征欧式距离最小的像素点进行更新，修正组织器官的形状和纹理可变模型的平移、旋转和缩放比等参数，依据参数的收敛性实现自动标注。

组织器官形状模型上的每个标记点沿边缘信息最强的法向量方向搜索一定范围内若干个像素点，从中找出与当前点纹理特征欧式距离最小点作为新的位置。在待标注图像中形状模型的所有标记点都找到新位置后形成一个新的形状，通过修正平移、旋转和缩放比等参数进行约束，得到与组织器官形状模型近似的新形状。经过重复迭代，如果新的模型参数收敛，则匹配成功，则待标注的图像可以用模板图像的标签进行标注，否则带标注的图像中不含有模板的标签。

本发明的创新点包括：

(1)不同样本之间对应的组织器官的形状标记点和纹理特征存在一定的关系，本发明针对它们的位置和局部变化互相依赖，在稠密描述框架下提出了基于2-范数正则化最小二乘法的稠密线性回归模型，以合成其他位置的组织器官的形状标记点。本发明针对组织器官结构比较复杂的情况，在稀疏描述框架下提出了基于1-范数正则化最小二乘法构建稀疏线性回归模型，以建模形状标记点位置和局部变化的关系，并合成其他位置的组织器官的形状标记点。通过上述两个回归模型合成其他位置的组织器官的形状标记点，可以生成大量需要的训练样本，可以大大减少手工标注训练图像的形状标记点，减少了大量专业医学图像和专业标注的需要量，实现了一种小样本条件下医学图像自动标注方法，具有较好的临床应用价值。

(2)组织器官模型直接在待标注图像上的通过参数寻优实现模型匹配需要很长的时间，本发明使用霍夫投票学习方法的初始定位组织器官的形状和纹理模型在待标注图像的大概位置，获得模型的平移、旋转和缩放等参数的初始值，可以大大的减少匹配标注的时间，提高速度。

(3)本发明把医学图像标注的任务转换为组织器官模型的建模和匹配问题,通过主成份方法生成医学图像组织器官的形状和纹理可变模型，在待标注的图像上寻找一组最优的医学图像组织器官形状和纹理模型参数，根据最优参数值的收敛性来标注医学图像内容，是解决医学图像自动标注问题的新思路，具有对噪声不敏感、适应性比较强和标注质量高等优点。

本发明提供了一种小样本条件下医学图像自动标注方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (1)

1.一种小样本条件下医学图像自动标注方法，其特征在于，包括如下步骤：

步骤1，构建小样本医学图像组织器官的位置A的形状标记点的稠密线性回归模型和稀疏线性回归模型，合成其他位置对应的新样本图像的组织器官形状标记点；

步骤2，构建小样本医学图像组织器官的位置A的形状标记区域的仿射变换模型，合成其他位置对应的新样本图像的组织器官形状标记区域的纹理；

步骤3，对新样本图像和原有样本图像的组织器官的形状标记点进行主成份分析，生成组织器官的形状可变模型；

步骤4，对新样本图像和原有样本图像的组织器官纹理进行主成份分析，生成组织器官的纹理可变模型；

步骤5，在待标注的医学图像上使用霍夫投票学习方法初始定位组织器官，依据组织器官的形状可变模型和纹理可变模型的平移参数、旋转参数和缩放比参数的收敛性自动标注图像内容；

步骤1包括以下步骤：

步骤(11)，设有一个位置的组织器官大小为m的小样本训练集，将组织器官在人体位置A的二维坐标矩阵拉长为一维向量，在该位置的所有样本拉长向量构成观测矩阵，在其他位置与该组织器官对应的样本拉长向量构成观测值；

步骤(12)，基于2-范数正则化最小二乘法构建形状标记点的稠密线性回归模型；

步骤(13)，基于1-范数正则化最小二乘法构建形状标记点的稀疏线性回归模型；

步骤(14)，当大于50％的稠密线性回归模型矩阵元素都小于阈值时，使用稀疏线性回归模型，否则使用稠密线性回归模型，生成其他位置对应的组织器官形状样本；阈值为0.01；

步骤3包括以下步骤：

步骤(31)，使用广义对齐和奇异值分解算法对齐所有组织器官的形状标记点，得到旋转、平移和缩放不变的形状标记点；

步骤(32)，对广义对齐后的组织器官形状标记点进行主成份分析，使用均值形状、形状子空间的正交基向量以及形状子空间的投影系数建立组织器官的形状可变模型；

步骤4包括，设纹理空间的一组正交基向量为P_t和纹理子空间的投影系数为b_t，则纹理子空间的正交基向量与投影系数之积加上纹理均值生成组织器官的纹理可变模型t为：

t＝t₀+P_tb_t，

其中t₀表示均值纹理；

步骤5包括以下步骤：

步骤(51)，使用霍夫投票学习方法初始定位组织器官的形状和纹理模型在待标注图像中的位置，获得模型的平移、旋转和缩放参数的初始值；

步骤(52)，每个标记点沿法向量方向搜索与当前点纹理特征欧式距离最小的像素点进行更新，修正组织器官的形状可变模型和纹理可变模型的平移参数、旋转参数和缩放比参数，依据所述参数的收敛性实现自动标注。