CN108154517A - 一种基于肝脏超声图像的肝包膜线自动提取方法 - Google Patents

Abstract

本发明提供一种基于肝脏超声图像的肝包膜线自动提取方法，方法包括：步骤S1、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，在窗口对应的图像块中建立多个通道，提取预先选择得到的随机矩形特征，获取检测响应图；步骤S2、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。上述方法可以对肝脏超声图像自动提取肝包膜线，无需人工干预，进一步地，通过本发明的方法生成包膜线的准确率相对于传统方法的准确率有较大的提高。

Description

一种基于肝脏超声图像的肝包膜线自动提取方法

技术领域

本发明涉及图像影像分析技术，具体涉及一种基于肝脏超声图像的肝包膜线自动提取方法。

背景技术

肝脏是身体内以代谢功能为主的一个器官，并在身体里面起着去氧化、储存肝糖、分泌性蛋白质的合成等作用。

肝硬化，是一种临床常见的慢性进行性肝病，由病毒性肝炎、慢性酒精中毒、营养不良、肠道感染等一种或多种致病因素长期或反复作用下，形成的弥漫性肝损害，可并发脾肿大、腹水、浮肿、黄疸、食道静脉曲张、出血、肝性昏迷，可发展为肝癌，具有较高的死亡率。

及时发现并使用药物进行治疗，可延缓肝硬化进程，降低肝癌发病率，提高长期存活率，以及患者的生活质量。

然而在肝硬化初期，患者自身没有明显不适感，同时很多地区医疗资源或是医疗水平有限，导致该疾病很难被及时诊断，许多人直到中晚期才被诊断出来。

目前，医学影像检查，可较全面地观察肝脏器官，分析与评估此类浅表器官组织病变。近年来，很多学者与医生利用X射线、CT、MRI、超声等医学影像技术开展肝硬化检查与诊断的研究。

例如，业内人士提出了一种全自动的超声方法来提取肝脏，其中用一个统计模型方法从其他腹部器官中区分肝脏组织，然后用活动轮廓优化，获得更加平滑、精细的肝脏轮廓，得到精确度比较高的肝脏分割结果。

超声检查的优势在于无创、无痛、无电离辐射影响，一般无需使用对比剂便可获得人体各部位软组织器官和病灶，以及管腔结构的高清晰度断层图像。

与超声检查相比，其他影像学检查手段都或多或少都存在一些缺点：传统的X线成像对于评价肝硬化缺乏足够的对比分辨率，价值有限；

CT技术的空间分辨率不足，不能很好地分辨肝实质结缔组织，且有放射性损害；

MRI具有多平面成像能力和更高的软组织分辨率，适用于评价浅表器官组织病变，但无法进行实时动态检查，操作不便且成本较高。

随着超声仪器分辨率的不断提高及超声探头频率的不断改进，超声图像在像肝硬化此类的浅表器官组织病损的诊疗及随访中显示出了明显的优势。

基于超声影像，临床医生主要是依据肝包膜线和肝实质的视觉特征，对肝硬化及肝硬化病症阶段给出一个定性诊断，而且这还极大地依赖于临床医生本身的临床经验。诊断中主观因素容易造成误诊，或者错失治疗的最佳时机，严重的可能影响病人的病情与生命安全。

发明内容

为解决现有技术中的问题，本发明提供一种基于肝脏超声图像的肝包膜线自动提取方法，该方法可以基于超声图像自动检测并形成包膜线，且生成包膜线的准确率高。

第一方面，本发明提供一种基于肝脏超声图像的肝包膜线自动提取方法，包括：

步骤S1、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，以在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；

所述随机矩形特征为预先通过训练样本确定的；

步骤S2、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。

可选地，所述步骤S1包括：

S11、获取作为训练样本的超声图像，标注得到每一个样本中超声图像中包含的肝包膜线；

S12、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本；

S13、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取N维随机矩形特征；

S14、采用Adaboost从所述N维随机矩形特征中选取N1维具有肝包膜线鉴别能力的特征子集，其中N1小于N的自然数；

S15、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块；

S16、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取N1维经选择得到的特征，计算检测响应；

S17、当滑动窗口处理完所有像素位置后，得到一张与待处理的超声图像同样大小的检测响应图。

可选地，子步骤S13以及子步骤S16中建立的多个通道均包括：

超声图像对应的一通道；

超声图像转换为梯度大小对应的一个通道；

超声图像转换为梯度直方图对应的六个通道；

超声图像转换为高斯差分DOG对应的两个通道。

可选地，根据公式一计算超声图像的梯度大小；

其中，I为超声图像，(x,y)为超声图像中像素的坐标；

和/或，

利用Sobel算子得到超声图像在x、y方向的梯度，并根据公式二计算该超声图像的梯度方向；以及

针对每一张超声图像中的每一个像素，统计6*6邻域内梯度方向的直方图，将0～2π范围划分成6等分，每一个像素得到6维直方图，将直方图的每一维作为一个通道，得到6个梯度直方图；

其中，I为超声图像，(x,y)为超声图像中像素的坐标；

和/或，

基于公式三，选择两个不同的高斯核g(σ₁)、Γ(x,y)＝I*g(σ₁)-I*g(σ₂)对超声图像I做卷积，计算卷积后的差值，得到高斯差；

公式三：Γ(x,y)＝I*g(σ₁)-I*g(σ₂)；

g(σ₁)为预设有两个不同方差的高斯核、Γ(x,y)＝I*g(σ₁)-I*g(σ₂)预设有两个不同方差且不同于g(σ₁)的高斯核。

可选地，子步骤S13中从建立的多个通道中提取N维随机矩形特征中的每一维矩形特征为采用一个五元组(n_ch,x₁,y₁,x₂,y₂)表示的特征；

其中，n_ch是通道编号，(x₁,y₁,x₂,y₂)，(x₁,y₁,x₂,y₂)分别是矩形区域的左上角和右下角坐标；

将所述矩形区域中所有像素的和作为该矩形区域的一维特征。

可选地，子步骤S12包括：

训练样本集合为：(f₁,c₁),(f₂,c₂),...,(f_m,c_m)，其中，m为训练样本的个数，f_i是一个N_f维的特征向量，c_i是对应的用于标记是否为肝包膜线上的点的类标号；

所述训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个P0*Q0的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，P0、Q0分别为自然数。

可选地，子步骤S14，包括：

第一步、根据训练样本和训练样本的权重，训练一个深度为2的决策树h(f_i)，它最小化下列的加权训练误差：

其中t是当前的迭代次数；

每个决策树h(f_i)包含Z个节点，分别对应Z个不同的特征；

第二步、更新训练样本的权重：其中当f_i被正确分类时，e_i等于1，否则e_i等于0；

在训练过程中，Adaboost为每个训练样本分配一个权重w_i，所有训练样本的权重的初始值都设置为重复上述第一步和第二步T次直至遍历完训练样本。

可选地，决策树h(f_i)的训练过程包括：

深度为2的决策树h(f_i)包含一个根节点和两个叶子节点，每一个节点用特征的一维来决策，每个节点由下列三项组成：

特征标号j用来表示该节点用到哪一维特征，

一个阈值θ和一个方向指示变量p；当pf_i(j)＞pθ时，f_i进入左边分支，否则进入右边分支；

决策树的采用贪心策略来训练，首先找到使ε_t最小的根节点，根节点可以将训练数据分为两部分，再对两部分数据分别训练使ε_t最小的左右叶子节点。

第二方面，本发明实施例提供一种基于肝脏超声图像的肝包膜线自动提取方法，包括：

步骤A1、针对所有的训练超声图像，每一训练超声图像中均具有预先通过手动标记的包膜线，在每一训练超声图像的包膜线上均匀采样提取图像块作为正样本，在每一训练超声图像的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机SVM，获得训练后的支持向量机；

步骤A2、针对待处理的包括有肝脏切面/部位的待测超声图像，采用滑动窗口检测器对所述待测超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；

步骤A3、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。

可选地，所述步骤A1包括：

子步骤A11、获取作为训练样本的训练超声图像；

子步骤A12、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；

子步骤A13、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图HOG，局部二值模式LBP以及深度卷积神经网络CNN特征，将每一图像块的三种特征组合成一个N维特征向量；

子步骤A14、对所有训练样本所有N维特征向量进行主成分分析PCA，并在主成分分析之后，选取N1个PCA基用作特征降维，降维后特征维数为N1维；

其中，N、N1均为大于3的自然数；

及/或，所述步骤A2包括：

子步骤A21、对于待测超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；

子步骤A22、对于所述滑动窗口图像块，提取HOG、LBP、CNN的三种特征，将提取的三种特征组合以后利用所述N1个PCA基进行降维，再经过训练好的SVM计算分类响应值；

子步骤A23、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图；

可选地，步骤A13中提取的CNN特征属于卷积神经网络的中间结果，

步骤A22中提取的CNN特征属于卷积神经网络的中间结果，

所述卷积神经网络为预先通过手写字体识别库MNIST进行训练得到的网络。

可选地，步骤A13和A22中的梯度直方图特征分别通过下述方法获取：

根据公式一计算所述超声图像的梯度大小；

其中，I为超声图像，(x,y)为超声图像中像素的坐标；

利用Sobel算子得到超声图像在x、y方向的梯度，并根据公式二计算该超声图像的梯度方向；以及将每一张超声图像均匀划分成6＊6的单元，统计6＊6邻域单元内梯度方向的直方图，将0～2π范围划分成6等分，每一个像素得到6维直方图，将直方图的每一维作为一个通道，得到6个梯度直方图；

将所有单元内的6维直方图组合得到梯度直方图特征。

可选地，所述步骤A3包括：

从检测响应图的左侧边缘到检测响应图上的一点(x,y)的检测响应和通过下述的递归公式来计算：

递归公式：S(x,y)＝max(S(x-1,y-1),S(x-1,y),S(x-1,y+1))+R(x,y)；

从检测响应图中找到一条从图像左侧到右侧的连续曲线，该连续曲线上点的检测响应和最大；

将找到的连续曲线作为部分或全部的肝包膜线。

本发明具有的有益效果如下：

本发明提出一种基于肝脏超声图像的肝包膜线自动提取方法通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征子集，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本。

附图说明

图1为本发明实施例一提供的基于肝脏超声图像的肝包膜线自动提取方法的流程示意图；

图2为利用积分图计算矩形特征的示意图；

图3为本发明实施例一中包膜线生成方法的示意图；

图4为本发明实施例二中肝包膜线自动提取方法的流程示意图；

图5为本发明实施例二中提取特征的示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例一

如图1所示，本实施例的基于肝脏超声图像的肝包膜线自动提取方法可包括下述步骤：

步骤101、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图。

本实施例中，随机矩形特征为预先通过训练样本确定的。

本实施例的超声图像可为预先获取的测试超声图像/测试图像，或者是其他方式获取的灰度图像。

应说明的是，本实施例中提取的是肝脏包膜线，上述的超声图像主要是针对肝脏不同部位的超声图像，例如超声图像是不同部位的左叶肝包膜二维声像图、或者超声图像是不同部位的右叶肝包膜二维声像图等，本实施例不对超声图像进行限定，属于检测肝脏部分的超声图像均可使用。

进一步地，上述步骤101中的通道可理解为图像，在业内处理过程中均使用通道，本发明实施例也使用通道进行描述，该通道为业内技术人员所理解的通道。

另外，上述步骤101中的检测响应图中每一个位置的值表示该位置属于肝包膜线的概率值。且检测响应图的大小和待处理的超声图像的大小是相同的，这里的大小指的是像素尺寸。

步骤102、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。

本实施例中，通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本。

为更好的理解本发明实施例的方法，以下对本发明的方法进行详细描述。

S11、获取作为训练样本的超声图像，标注得到图像中包含的肝脏包膜线/肝包膜线。

本实施例中，训练样本集合可为：(f₁,c₁),(f₂,c₂),...,(f_m,c_m)，其中，m为训练样本的个数，f_i是一个N_f维的特征向量，c_i是对应的用于标记是否为肝包膜线上的点的类标号。

在一中可选的实现方式中，训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个P0*Q0(如40*40)的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，P0、Q0分别为自然数。

S12、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本。

S13、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取N维随机矩形特征。

在本实施例中，可建立十个通道，例如，超声图像对应的一通道；超声图像转换为梯度大小对应的一个通道；超声图像转换为梯度直方图对应的六个通道；超声图像转换为高斯差分DOG对应的两个通道。

举例来说，根据公式(1)计算所述超声图像的梯度大小；

另外，获取6个通道的梯度直方图的过程如下：

第一、利用Sobel算子得到超声图像在x、y方向的梯度；

第二、根据公式(2)计算所述超声图像的梯度方向；

第三、针对每一张超声图像中的每一个像素，统计6*6邻域内梯度方向的直方图，将0～2π范围划分成6等分，每一个像素得到6维直方图，将直方图的每一维作为一个通道，得到6个梯度直方图。

进一步地，获取高斯差的通道的过程如下：

基于公式(3)，选择两个不同方差的高斯核g(σ₁)、Γ(x,y)＝I*g(σ₁)-I*g(σ₂)对超声图像I做卷积，计算卷积后的差值，得到高斯差；

Γ(x,y)＝I*g(σ₁)-I*g(σ₂) (3)

g(σ₁)为预设有两个不同方差(业内公知)的高斯核、Γ(x,y)＝I*g(σ₁)-I*g(σ₂)预设有两个不同方差且不同于g(σ₁)的高斯核。

上述公式中I为超声图像，(x,y)为超声图像中像素的坐标。

可理解的是，步骤S13中还可以为：滑动窗口检测器随机选取1个通道，处理过程中可选择位置、大小随机的矩形区域，计算该区域中所有像素的和作为选取得到一维特征。

本实施例中可有十个通道，且下述需要获取大约5000维特征，故按照随机选取概率，可将每一个通道遍历，且每个通道的矩形区域数量是基本相同的。

举例来说，该步骤S13中的矩形特征可采用一个五元组(n_ch,x₁,y₁,x₂,y₂)表示；将所述矩形区域中所有像素的和作为该矩形区域的一维特征。

其中，n_ch是通道编号，(x₁,y₁,x₂,y₂)，(x₁,y₁,x₂,y₂)分别是矩形区域的左上角和右下角坐标。

本实施例中，为了更方便的计算矩形区域的像素和，可先计算每个通道图像的积分图。

举例来说，对于一幅灰度的图像，积分图像中的任意一点(x,y)的值是指从积分图像的左上角到这个点的所构成的矩形区域内所有点的灰度值之和：A(x,y)＝∑_{0＜i＜x,0＜j＜y}I(i,j) (4)

本实施例中利用积分图的优势在于能够很方便的计算一个矩形区域内的像素和。

如图2所示，采用上述公式(4)计算灰色的矩形区域的像素和可为式(5)。

S＝A(x₂,y₂)+A(x₂,y₁)-A(x₁,y₂)+A(x₁,y₁) (5)

S14、采用Adaboost从所述N维随机矩形特征中选取N1维具有肝包膜线鉴别能力的特征子集。

S15、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块。

本实施例中的N可取5000，在其他实施例中，N换可为大于1000以上数值即可，本实施例的N可根据实际需要选择。

需要说明的是，在实际应用中，N个一维特征组成N维特征向量，本实施例为更清楚的说明，将所有的N维特征向量采用N维特征描述，以下的N维特征均指代的是N维特征向量。

本实施例的Adaboost对应的决策树包含Z个节点，即可理解从N维特征中选择Z个具有肝包膜线鉴别能力的特征。

S16、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取N1维经选择得到的特征，计算检测响应。

S17、当滑动窗口处理完所有像素位置后，得到一张与所述测试图像同样大小的检测响应图。

针对步骤S17：第一、从检测响应图的左侧边缘到检测响应图上的一点(x,y)的检测响应和通过下述的递归公式(6)来计算：

S(x,y)＝max(S(x-1,y-1),S(x-1,y),S(x-1,y+1))+R(x,y) (6)

第二、从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；

第三、将找到的连续曲线作为部分或全部的肝包膜线。

如图3所示，图3(b)为原始超声图像，图3(c)为检测响应图，图3(d)为包膜线提取的结果示意图。

另外，如图3(a)所示，(x,y)处的检测响应和等于左侧最大值与R(x,y)之和。在递归计算过程中，每个像素都保留左侧最大值所在像素位置，因此在右侧边界上找到最大值点后通过回溯可以确定一条完整的曲线。对于检测响应图最左侧一列像素位置，S(x,y)＝R(x,y)，递归算法执行到这些位置时将终结。

具体的递归步骤如下：

对于检测响应图像右侧边界上的每个位置，利用上面递归公式(6)计算S(x，y)，并记录下左侧最大响应和位置，即上、中、下三维位置的响应和S(x-1，y-1)，S(x-1，y)，S(x-1，y+1)哪个一最大。而这三个位置相应和又需要分别计算它们左侧三个位置响应和最大值，如此递归进行。每次计算完S(x，y)，用另外一张标记图L记录下(x,y)左侧响应和最大的位置,L(x,y)等于0,1,2分别表示上中下三个位置。

当图象右侧边界上每个位置的响应和计算完成后，选出其中最大值所在的位置，接下来通过查找标记图L找到左侧最大响应和位置，以此类推，直到到达左侧边界。

本实施例的方法通过建立超声图像的多个通道，进而采用训练的Adaboost提取到超声图像的具有鉴别能力的特征，以生成检测响应图，再进一步采用递归公式从检测响应图中选择检测响应和最大的连续曲线作为肝包膜线。

进一步地，针对上述的步骤S11，可通过下述方法进行训练：

以下使用的训练样本集合为：(f₁,c₁),(f₂,c₂),...,(f_m,c_m)，其中，m为训练样本的个数，f_i是一个N_f维的特征向量，c_i是对应的用于标记是否为肝包膜线上的点的类标号；

所述训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个P0*Q0(如40*40)的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，P0、Q0分别为自然数。

Adaboost为每个训练样本分配一个权重w_i，所有样本的权重的初始值都设置为

第一步、根据训练样本和训练样本的权重，训练一个深度为2的决策树h(f_i)，它最小化下列的加权训练误差：

其中t是当前的迭代次数；

每个决策树h(f_i)包含Z(如3个)个节点，分别对应Z(如3个)个不同的特征。

举例来说，每个决策树可包含3个节点，分别对应3个不同的特征(对应上述通道的一维特征)。因此，决策树的训练过程相当于从5000维特征中选择3维最具鉴别能力的特征，使得上述训练误差最小。

第二步、更新训练样本的权重：其中当f_i被正确分类时，e_i等于1，否则e_i等于0；

在训练过程中，Adaboost为每个训练样本分配一个权重w_i，重复上述第一步和第二步T次，直至训练样本遍历完成。

具体地，决策树h(f_i)的训练过程包括：

深度为2的决策树h(f_i)包含一个根节点和两个叶子节点，每一个节点用特征的一维来决策，每个节点由下列三项组成：

特征标号j用来表示该节点用到哪一维特征，

一个阈值θ和一个方向指示变量p；当pf_i(j)＞pθ时，f_i进入左边分支，否则进入右边分支；

决策树的采用贪心策略来训练，首先找到使ε_t最小的根节点，根节点可以将训练数据分为两部分，再对两部分数据分别训练使ε_t最小的左右叶子节点。

结合上述200至步骤206的步骤：将训练样本集合中N_f设置为5000，表示待选择的特征维数为5000，经过特征选择，构造100个决策树，用到了其中300维特征。最终构造的强分类器为这些决策树的加权和：

该强分类器用于判断在当前位置选取的40*40图像块是否是正样本，即当前位置是否在包膜线上。

上述方法通过对超声图像建立多个通道，采用滑动窗口检测器获取多个具有肝包膜线鉴别能力的特征子集，进而生成检测响应图，以便根据检测响应图提取肝包膜线，实现了自动提取肝包膜线的过程，无需人工干预，同时提高了提取肝包膜线的准确率，相对于传统提取肝包膜线的方法，实用性更强，且适宜推广使用，降低了肝包膜线分析提取中的人工成本。

实施例二

如图4所示，本实施例的肝包膜线自动提取方法包括下述步骤：

步骤401、针对所有的训练超声图像，手动标记包膜线，在包膜线上均匀采样提取图像块作为正样本，在图像其他位置随机采样提取图像块作为负样本。对正负样本提取多种特征，将特征组合后降维，训练支持向量机。

其中，所述多种特征为梯度直方图(HOG)，局部二值模式(LBP)以及深度卷积神经网络(CNN)特征。CNN的结构如图5所示。图5为卷积神经网络的处理过程，图中的数字为卷积神经网络处理中使用的数字，本实施例不对其限定。

步骤402、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对待处理的图像进行处理，在窗口对应的图像块中提取所述多种特征，将特征组合后并降维，利用事先训练好的支持向量机进行分类，得到该位置的分类响应值，当滑动窗口遍历完整张图像后，得到检测响应图。

步骤403、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。

如图3所示，图3(b)为原始超声图像，图3(c)为检测响应图，图3(d)为包膜线提取的结果示意图。

另外，如图3(a)所示，(x,y)处的检测响应和等于左侧最大值与R(x,y)之和。在递归计算过程中，每个像素都保留左侧最大值所在像素位置，因此在右侧边界上找到最大值点后通过回溯可以确定一条完整的曲线。对于检测响应图最左侧一列像素位置，S(x,y)＝R(x,y)，递归算法执行到这些位置时将终结。

具体的递归步骤如下：

对于检测响应图像右侧边界上的每个位置，利用上面递归公式(6)计算S(x，y)，并记录下左侧最大响应和位置，即上、中、下三维位置的响应和S(x-1，y-1)，S(x-1，y)，S(x-1，y+1)哪个一最大。而这三个位置相应和又需要分别计算它们左侧三个位置响应和最大值，如此递归进行。每次计算完S(x，y)，用另外一张标记图L记录下(x,y)左侧响应和最大的位置,L(x,y)等于0,1,2分别表示上中下三个位置。

当图象右侧边界上每个位置的响应和计算完成后，选出其中最大值所在的位置，接下来通过查找标记图L找到左侧最大响应和位置，以此类推，直到到达左侧边界。

本实施例的方法能够实现自动提取肝脏包膜线，同时提高肝脏包膜线的准确率，实用性强，可推广使用。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于肝脏超声图像的肝包膜线自动提取方法，其特征在于，包括：

步骤S1、针对待处理的包括有肝脏切面/部位的超声图像，采用滑动窗口检测器对超声图像进行处理，并在滑动窗口检测器的窗口对应的图像块中建立多个通道，从建立的多个通道中提取预先选择得到的随机矩形特征，获取检测响应图；

所述随机矩形特征为预先通过训练样本确定的；

步骤S2、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

S11、获取作为训练样本的超声图像，标注得到每一个样本中超声图像中包含的肝包膜线；

S12、针对每一个样本，在所述肝包膜线上取一定数量固定大小的图像块作为正样本，在非包膜线区域取一定数量同样大小的图像块作为负样本；

S13、所述每一个正样本、负样本建立多个通道，从建立的多个通道中提取N维随机矩形特征；

S14、采用Adaboost从所述N维随机矩形特征中选取N1维具有肝包膜线鉴别能力的特征子集，其中N1小于N的自然数；

S15、对于待处理的超声图像用滑动窗口对每个像素位置进行处理，滑动窗口所到之处，提取所述固定大小的图像块；

S16、对于所述滑动窗口图像块，建立多个通道，依据特征子集的提取方式，从建立的多个通道中提取N1维经选择得到的特征，计算检测响应；

S17、当滑动窗口处理完所有像素位置后，得到一张与待处理的超声图像同样大小的检测响应图。

3.根据权利要求2所述的方法，其特征在于，子步骤S13以及子步骤S16中建立的多个通道均包括：

超声图像对应的一通道；

超声图像转换为梯度大小对应的一个通道；

超声图像转换为梯度直方图对应的六个通道；

超声图像转换为高斯差分DOG对应的两个通道。

4.根据权利要求3所述的方法，其特征在于，

根据公式一计算超声图像的梯度大小；

公式一：

其中，I为超声图像，(x,y)为超声图像中像素的坐标；

和/或，

利用Sobel算子得到超声图像在x、y方向的梯度，并根据公式二计算该超声图像的梯度方向；以及

针对每一张超声图像中的每一个像素，统计6*6邻域内梯度方向的直方图，将0～2π范围划分成6等分，每一个像素得到6维直方图，将直方图的每一维作为一个通道，得到6个梯度直方图；

公式二：

其中，I为超声图像，(x,y)为超声图像中像素的坐标；

和/或，

基于公式三，选择两个不同的高斯核g(σ₁)、Γ(x,y)＝I*g(σ₁)-I*g(σ₂)对超声图像I做卷积，计算卷积后的差值，得到高斯差；

公式三：Γ(x,y)＝I*g(σ₁)-I*g(σ₂)；

g(σ₁)为预设有两个不同方差的高斯核、Γ(x,y)＝I*g(σ₁)-I*g(σ₂)预设有两个不同方差且不同于g(σ₁)的高斯核。

5.根据权利要求4所述的方法，其特征在于，子步骤S13中从建立的多个通道中提取N维随机矩形特征中的每一维矩形特征为采用一个五元组(n_ch,x₁,y₁,x₂,y₂)表示的特征；

其中，n_ch是通道编号，(x₁,y₁,x₂,y₂)，(x₁,y₁,x₂,y₂)分别是矩形区域的左上角和右下角坐标；

将所述矩形区域中所有像素的和作为该矩形区域的一维特征。

6.根据权利要求2所述的方法，其特征在于，子步骤S12包括：

训练样本集合为：(f₁,c₁),(f₂,c₂),...,(f_m,c_m)，其中，m为训练样本的个数，f_i是一个N_f维的特征向量，c_i是对应的用于标记是否为肝包膜线上的点的类标号；

所述训练样本集合为预先在多个确定肝包膜线的超声图像上随机采样获得，每个样本是一个P0*Q0的图像块；其中，训练样本集合中的正样本在肝包膜线上，训练样本集合中的负样本不在肝包膜线上，P0、Q0分别为自然数。

7.根据权利要求6所述的方法，其特征在于，子步骤S14，包括：

第一步、根据训练样本和训练样本的权重，训练一个深度为2的决策树h(f_i)，它最小化下列的加权训练误差：

其中t是当前的迭代次数；

每个决策树h(f_i)包含Z个节点，分别对应Z个不同的特征；

第二步、更新训练样本的权重：其中当f_i被正确分类时，e_i等于1，否则e_i等于0；

在训练过程中，Adaboost为每个训练样本分配一个权重w_i，所有训练样本的权重的初始值都设置为重复上述第一步和第二步T次直至遍历完训练样本；

其中，决策树h(f_i)的训练过程包括：

深度为2的决策树h(f_i)包含一个根节点和两个叶子节点，每一个节点用特征的一维来决策，每个节点由下列三项组成：

特征标号j用来表示该节点用到哪一维特征，

一个阈值θ和一个方向指示变量p；当pf_i(j)>pθ时，f_i进入左边分支，否则进入右边分支；

决策树的采用贪心策略来训练，首先找到使ε_t最小的根节点，根节点可以将训练数据分为两部分，再对两部分数据分别训练使ε_t最小的左右叶子节点。

8.根据权利要求1至7任一所述的方法，其特征在于，所述步骤S2包括：

从检测响应图的左侧边缘到检测响应图上的一点(x,y)的检测响应和通过下述的递归公式来计算：

递归公式：S(x,y)＝max(S(x-1,y-1),S(x-1,y),S(x-1,y+1))+R(x,y)；

从检测响应图中找到一条从左侧边界到右侧边界检测响应和最大的连续曲线；

将找到的连续曲线作为部分或全部的肝包膜线。

9.一种基于肝脏超声图像的肝包膜线自动提取方法，其特征在于，包括：

步骤A1、针对所有的训练超声图像，每一训练超声图像中均具有预先标记的包膜线，在每一训练超声图像的包膜线上均匀采样提取图像块作为正样本，在每一训练超声图像的非包膜线的图像区域随机采样提取图像块作为负样本，对每一个正样本和负样本提取多种特征，将提取的所有特征组合后降维，训练支持向量机SVM，获得训练后的支持向量机；

步骤A2、针对待处理的包括有肝脏切面/部位的待测超声图像，采用滑动窗口检测器对所述待测超声图像进行处理，针对每一个滑动窗口检测器当前的窗口对应的图像块中提取该图像块的多种特征，将提取的图像块的所有特征组合后并降维，采用训练后的支持向量机对降维的所有特征进行分类，得到该当前窗口对应的图像块的分类响应值，当滑动窗口遍历完整待测超声图像后，得到所述待测超声图像的检测响应图；

步骤A3、从所述检测响应图中提取完整的肝包膜线，所述肝包膜线为所述检测响应图中从左侧边界到右侧边界检测响应和最大的连续曲线。

10.根据权利要求1所述的方法，其特征在于，所述步骤A1包括：

子步骤A11、获取作为训练样本的训练超声图像；

子步骤A12、在每一训练超声图像的包膜线上取一定数量的图像块作为正样本，在图像非包膜线区域取一定数量的图像块作为负样本；正样本的图像块和负样本的图像块的面积和形状均相同；

子步骤A13、从所述每一个正样本、负样本图像块中提取三种特征，所述三种特征包括：梯度直方图HOG，局部二值模式LBP以及深度卷积神经网络CNN特征，将每一图像块的三种特征组合成一个N维特征向量；

子步骤A14、对所有训练样本所有N维特征向量进行主成分分析PCA，并在主成分分析之后，选取N1个PCA基用作特征降维，降维后特征维数为N1维；

其中，N、N1均为大于3的自然数；

及/或，所述步骤A2包括：

子步骤A21、对于待处理的超声图像，用滑动窗口对待测超声图像的每个像素位置进行处理，滑动窗口所到之处，提取图像块；所述图像块的与所述训练样本的图像块的面积、形状均相同；

子步骤A22、对于所述滑动窗口图像块，提取HOG、LBP、CNN的三种特征，将提取的三种特征组合以后利用所述N1个PCA基进行降维，再经过训练好的SVM计算分类响应值；

子步骤A23、当滑动窗口处理完待测超声图像的所有像素位置后，得到一张与所述待测超声图像面积相同的检测响应图。