CN110648333A - 基于中智学理论的乳腺超声视频图像实时分割系统 - Google Patents

Abstract

本发明公开了一种基于中智学理论的乳腺超声视频图像实时分割系统，实现高精度的乳腺超声视频序列图像的实时分割；该系统包括：图像采集装置，用于采集乳腺超声视频图像，并传输给处理器；处理器，用于接收图像采集装置上传的乳腺超声视频图像，提取乳腺超声视频的关键帧图像和非关键帧图像，并分别对关键帧图像和非关键帧图像进行分割；显示装置，用于显示处理器输出的乳腺超声视频图像分割结果。

Description

基于中智学理论的乳腺超声视频图像实时分割系统

技术领域

本发明涉及图像分割技术领域，具体涉及一种基于中智学理论的乳腺超声视频图像实时分割系统。

背景技术

乳腺癌是当今女性发病率最高的恶性肿瘤，有很高的致死率。乳腺癌的成因尚不明确，早期检测和及时治疗是提高乳腺癌生存率的最重要手段。超声成像具有无损伤、可反复进行检查、灵敏度高、价格低廉等优势，是乳腺癌早期检测的常用方式。

随着影像学诊断应用需求的提高，超声数据更多地以海量的、视频序列图像形式存在于临床。目前大部分研究仅对采集的视频序列中的单帧图像进行分析，其诊断结果的可靠性及准确性不是特别理想。病例的视频序列中提供的信息更加丰富，但是仅依赖医生肉眼对视频图像中动态信息的捕捉，会造成大量信息的丢失。

同时超声图像的人工判别困难，严重依赖于医生的临床经验，存在主观性差异，效率低且工作量大，容易造成漏诊和误诊。乳腺癌超声计算机辅助诊断技术能有效帮助医生发现早期乳腺肿块，减轻诊断工作量，降低恶性肿瘤的漏诊率，提高诊断效率和客观性。

图像分割是计算机辅助诊断的关键技术。医学超声图像具有灰度级对比度低、图像中各组织器官间的边界模糊不清、有较多的speckle噪声等缺点，超声图像自动分割是当前图像处理领域的前沿问题和经典难题。超声视频图像实时分割已经成为制约医学图像处理系统临床应用的瓶颈，严重阻碍了医学图像处理中其它相关技术的发展和应用。

超声图像具有高噪声、低对比度、图像结构十分复杂等特点。目前,临床中广泛使用医生手动分割和基于阈值的半自动方法。这些方法由于耗时长及精度低等原因,很难被医生和患者接受。乳腺超声图像的全自动分割是当前研究的难点和前沿问题。

由于超声图像质量较差，为获得更准确的肿瘤边缘，大多数分割方法采用半自动方式，如手工标定ROI(感兴趣区域)或肿块中心点。现有的分割方法有：(1)基于阈值化的方法，由医生手工确定ROI，对图像预处理后，通过直方图确定阈值，使用形态学方法得到肿瘤区域；(2)通过人工交互方法产生种子点，作为分割的初始条件，使用区域增长法确定肿瘤的大致位置；(3)通过人工选取标记点，使用分水岭算法分割肿瘤区域。

完全自动的乳腺超声静态图像的分割仍是待解决的技术问题。随着影像学诊断应用需求的不断提高，超声数据更多地以海量的、视频序列图像的形式存在于临床。由于仅依赖医生肉眼对视频图像中动态信息的捕捉，往往会造成大量信息的丢失。现有的大部分研究仅对采集的视频序列中的单帧图像进行分析，其诊断结果的可靠性及准确性不是特别理想。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于中智学理论的乳腺超声视频图像实时分割系统，实现高精度的乳腺超声视频序列图像的实时分割。

本发明所采用的技术方案是：

一种基于中智学理论的乳腺超声视频图像实时分割系统，该系统包括：

图像采集装置，用于采集乳腺超声视频图像，并传输给处理器；

处理器，用于接收图像采集装置上传的乳腺超声视频图像，提取乳腺超声视频的关键帧图像和非关键帧图像，并分别对关键帧图像和非关键帧图像进行分割；

显示装置，用于显示处理器输出的乳腺超声视频图像分割结果。

进一步的，所述处理器包括：

图像提取模块，用于提取乳腺超声视频的关键帧图像和非关键帧图像；

关键帧图像分割模块，用于利用中智分割算法对乳腺超声视频图像关键帧进行分割，得到乳腺超声视频关键帧图像中肿瘤区域边缘曲线；

非关键帧图像分割模块，用于基于关键帧图像分割结果，利用运动估计方法对非关键帧图像进行分割，得到乳腺超声视频非关键帧图像中肿瘤区域边缘曲线。

进一步的，所述图像提取模块的具体实现方法为：

对每帧乳腺超声视频图像进行线性变换，得到每帧乳腺超声视频图像的灰度数据，根据每帧乳腺超声视频图像的灰度数据确定该帧乳腺超声视频图像为关键帧或者为非关键帧。

进一步的，所述关键帧图像分割模块的具体实现方法为：

将乳腺超声视频的关键帧图像映射为中智图像；

将中智图像转化为二值图；

基于数学形态学方法对二值图进行处理，得到乳腺超声视频关键帧图像中肿瘤区域边缘曲线。

进一步的，所述将乳腺超声视频的关键帧图像映射为中智图像的具体实现过程为：

提取乳腺超声视频关键帧图像的肿瘤区域的各种特征并对其进行分析，建立中智图像模型；

提取肿瘤区域的全局信息、局部信息和空间信息，构建乳腺肿瘤区域、非肿瘤区域、肿瘤边缘三域映射公式；

将待分割的乳腺超声视频关键帧图像输入中智图像模型，使用全局信息确定乳腺超声视频关键帧图像的肿瘤区域、非肿瘤区域，使用局部信息、空间信息确定乳腺超声视频关键帧图像的肿瘤边缘，实现将乳腺超声视频的关键帧图像映射为中智图像。

进一步的，所述将中智图像转化为二值图的具体实现过程为：

利用乳腺超声视频关键帧图像的肿瘤边缘区域，采用中智阈值法剔除中智图像中不确定性较高的边缘像素，将中智图像转化为二值图。

进一步的，所述基于数学形态学方法对二值图进行处理的具体实现过程为：

根据肿瘤位置和肿瘤大小的先验知识，滤除二值图的非病变区域，检测出二值图的病变区域；

基于形态学分水岭算法对二值图的病变区域进行处理，得到乳腺超声视频关键帧图像中连续、平滑的肿瘤区域边缘曲线。

进一步的，所述非关键帧图像分割模块的具体实现方法为：

基于乳腺超声视频关键帧图像的分割结果，采用运动估计方法计算乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量；

对得到的乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量进行修正处理，得到乳腺超声视频非关键帧图像的肿瘤区域边缘曲线。

进一步的，所述乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量的计算方法为：

选取任一像素为中心，搜索设定窗口内的前一帧图像中与之最匹配的子块，计算得到的最匹配字块与像素的位移，得到该像素的运动矢量。

进一步的，所述对得到的乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量进行修正处理的方法为：

以每帧非关键图像之间的差别作为补偿误差，根据数值拟合方法，对乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量做误差修正。

通过上述技术方案，本发明的有益效果是：

(1)本发明针对医学图像的模糊性，选用中智学理论处理图像模糊性，提高图像分割的精度和速度；

(2)本发明以中智学理论为基础，实现单帧图像的全自动高精度分割，视频序列图像的实时分割处理，能够根据医学超声视频序列的连续性和相似性，对关键帧图像和非关键帧图像采用不同的分割策略，基于关键帧分割结果，实现对非关键帧类图像的分割，满足视频序列实时分割的速度要求；

(3)本发明通过运动估计计算边界曲线上点的运动矢量，为防止累计误差和保证弱边缘的分割准确性，进行修正处理，满足序列图像实时分割的精度要求，实现高精度的乳腺超声视频序列图像的实时分割。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本申请，并不构成对本发明的不当限定。

图1是实施例提供的乳腺超声视频图像实时分割系统的结构图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

名词解释：

中智学理论是一个新的不确定性数学理论，包含中智逻辑学、中智集合论，由弗罗仁汀.司马仁达齐(FlorentinSmarandache)创立。

中智学理论引入了T，I和F分别表示事件<A>的真实性，不确定性<Neut-A>，和荒谬性<Anti-A>，是一种崭新的表示方法。中智学理论的基本思想是：任何观点具有T％的真，I％的不确定性，F％的假，T，I，F∈[0,1]。

图1是本实施例涉及的基于中智学理论的乳腺超声视频图像实时分割系统。如图1所述，所述乳腺超声视频图像实时分割系统包括图像采集装置、处理器和显示装置，其中：

所述图像采集装置，用于采集乳腺超声视频图像，并传输给处理器。

所述处理器，用于接收图像采集装置上传的乳腺超声视频图像，提取乳腺超声视频的关键帧图像和非关键帧图像，并分别对关键帧图像和非关键帧图像进行分割。

所述显示装置，用于显示处理器输出的乳腺超声视频图像分割结果。

在本实施例中，所述图像采集装置采用现有的超声视频图像采集装置，在本申请中不再赘述。

具体地，所述处理器包括图像提取模块、关键帧图像分割模块和非关键帧图像分割模块，其中：

所述图像提取模块，用于提取乳腺超声视频的关键帧图像和非关键帧图像。

所述关键帧图像分割模块，用于利用中智分割算法对乳腺超声视频图像关键帧进行快速分割，得到乳腺超声视频关键帧图像中连续、平滑的肿瘤区域边缘曲线。

所述非关键帧图像分割模块，用于基于关键帧图像分割结果，利用运动估计方法对非关键帧图像进行快速分割，得到乳腺超声视频非关键帧图像中肿瘤区域边缘曲线。

在本实施例中，所述图像提取模块的具体实现方法为：

对每帧乳腺超声视频图像进行线性变换，得到每帧乳腺超声视频图像的灰度数据，根据每帧乳腺超声视频图像的灰度数据确定该帧乳腺超声视频图像为关键帧或者为非关键帧。

在本实施例中，所述关键帧图像分割模块的具体实现方法为：

(1)将乳腺超声视频的关键帧图像映射为中智图像。

首先，根据医学先验知识，对乳腺超声视频关键帧图像的肿瘤区域的各种特征进行分析，构建中智图像模型；提取肿瘤区域的全局信息、局部信息和空间信息，然后，构建T、F、I三域映射公式，将乳腺超声视频的关键帧图像映射为中智图像。

所述T、F、I域分别为乳腺肿瘤区域、非肿瘤区域、肿瘤边缘，中智图像中的一个像素A{t,i,f}，其中，t、i、f分别表示像素t％属于肿瘤,i％属于肿瘤边缘，f％属于非肿瘤区域。

使用全局信息确定乳腺超声视频关键帧图像的T、F域，使用局部信息、空间信息确定乳腺超声视频的关键帧图像的I域。通过优化参数可以在图像映射过程中，有效抑制噪声，减少图像信息的丢失。使用中智增强操作，对图像提高对比度，增强肿瘤边缘信息。

(2)将中智图像转化为二值图。

在中智图像表示模型中，像素p是否属于肿瘤区域，需要同时考虑它的t值和i值。图像中感兴趣区域像素和背景区域像素的不确定性远远小于边缘像素的不确定性。利用I域，实现中智阈值法，进一步区分不确定性较高的边缘像素，然后将中智图像转化为二值图，包含病变区域和非病变区域。

(3)基于数学形态学方法对二值图进行处理。

具体地，根据医学先验知识如肿瘤位置、肿瘤大小等信息，滤除非病变区域，检测出来病变区域。最后基于形态学分水岭算法对病变区域进行处理，得到乳腺超声视频关键帧图像中连续、平滑的肿瘤区域边缘曲线。

本实施例提出的关键帧图像分割模块，基于中智分割算法可以对乳腺超声视频关键帧图像全图直接处理，不需人工选取ROI或种子点；同时，无需去噪等预处理，可大大降低图像分割的计算量和复杂度，减少分割的运行时间，提高了分割效率。

在本实施例中，所述非关键帧图像分割模块的具体实现方法为：

(1)基于乳腺超声视频关键帧图像的分割结果，以关键帧图像分割得到的肿瘤边缘曲线为初始输入，采用运动估计方法计算乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量。

乳腺肿瘤区域内的灰度一般比较均匀，对于视频格式的超声图像序列，由于相邻两帧图像具有很强的时间相关性，所以肿瘤的位置和形状在连续两帧图像中变化不大。

依据超声图像序列的连续性和相似性，基于关键帧图像的分割结果，在乳腺超声视频非关键帧图像中采用运动估计方法计算肿瘤区域边缘曲线点的运动矢量，所述运动矢量计算方法为：

选取以像素p为中心的子块，搜索前一帧图像中与之最匹配的子块，该子块中心与像素p位移即为像素p的运动矢量。

由于连续帧之间肿瘤的位移量有限，搜索范围可限制在一个(2W_l+1)×(2W_d+1)大小的窗口内，其中，W_l、W_d分别为水平、垂直方向可搜索最大位移。

(2)对得到的乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量进行修正处理，得到精确的乳腺超声视频非关键帧图像的肿瘤区域边缘曲线。

由于乳腺肿瘤对正常组织的侵润性，肿瘤区域的边缘模糊程度较高，为了防止累计误差和弱边缘处的失匹配现象，进行后续修正处理，得到更精确的分割结果。

具体地，对乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量进行修正处理的具体实现过程为：

以每帧非关键图像之间的差别作为补偿误差，根据数值拟合方法，对非关键帧的分割结果做误差修正。

在本实施例中，所述显示装置采用现有的显示屏装置。

从以上的描述中，可以看出，上述的实施例实现了如下技术效果：

(1)针对超声视频图像的模糊性，选用中智学理论处理图像模糊性，提高图像分割的精度和速度；

(2)以中智学理论为基础，实现单帧图像的全自动高精度分割，视频序列图像的实时分割处理，能够根据医学超声视频序列的连续性和相似性，对关键帧图像和非关键帧图像采用不同的分割策略，基于关键帧分割结果，实现对非关键帧类图像的分割，满足视频序列实时分割的速度要求；

(3)通过运动估计计算边界曲线上点的运动矢量，为防止累计误差和保证弱边缘的分割准确性，进行修正处理，满足序列图像实时分割的精度要求，实现高精度的乳腺超声视频序列图像的实时分割。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，包括：

图像采集装置，用于采集乳腺超声视频图像，并传输给处理器；

处理器，用于接收图像采集装置上传的乳腺超声视频图像，提取乳腺超声视频的关键帧图像和非关键帧图像，并分别对关键帧图像和非关键帧图像进行分割；

显示装置，用于显示处理器输出的乳腺超声视频图像分割结果。

2.根据权利要求1所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述处理器包括：

图像提取模块，用于提取乳腺超声视频的关键帧图像和非关键帧图像；

关键帧图像分割模块，用于利用中智分割算法对乳腺超声视频图像关键帧进行分割，得到乳腺超声视频关键帧图像中肿瘤区域边缘曲线；

非关键帧图像分割模块，用于基于关键帧图像分割结果，利用运动估计方法对非关键帧图像进行分割，得到乳腺超声视频非关键帧图像中肿瘤区域边缘曲线。

3.根据权利要求1所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述图像提取模块的具体实现方法为：

对每帧乳腺超声视频图像进行线性变换，得到每帧乳腺超声视频图像的灰度数据，根据每帧乳腺超声视频图像的灰度数据确定该帧乳腺超声视频图像为关键帧或者为非关键帧。

4.根据权利要求1所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述关键帧图像分割模块的具体实现方法为：

将乳腺超声视频的关键帧图像映射为中智图像；

将中智图像转化为二值图；

基于数学形态学方法对二值图进行处理，得到乳腺超声视频关键帧图像中肿瘤区域边缘曲线。

5.根据权利要求4所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述将乳腺超声视频的关键帧图像映射为中智图像的具体实现过程为：

提取乳腺超声视频关键帧图像的肿瘤区域的各种特征并对其进行分析，建立中智图像模型；

提取肿瘤区域的全局信息、局部信息和空间信息，构建乳腺肿瘤区域、非肿瘤区域、肿瘤边缘三域映射公式；

将待分割的乳腺超声视频关键帧图像输入中智图像模型，使用全局信息确定乳腺超声视频关键帧图像的肿瘤区域、非肿瘤区域，使用局部信息、空间信息确定乳腺超声视频关键帧图像的肿瘤边缘，实现将乳腺超声视频的关键帧图像映射为中智图像。

6.根据权利要求4所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述将中智图像转化为二值图的具体实现过程为：

利用乳腺超声视频关键帧图像的肿瘤边缘区域，采用中智阈值法剔除中智图像中不确定性高的边缘像素，将中智图像转化为二值图。

7.根据权利要求4所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述基于数学形态学方法对二值图进行处理的具体实现过程为：

根据肿瘤位置和肿瘤大小的先验知识，滤除二值图的非病变区域，检测出二值图的病变区域；

基于形态学分水岭算法对二值图的病变区域进行处理，得到乳腺超声视频关键帧图像中连续、平滑的肿瘤区域边缘曲线。

8.根据权利要求1所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述非关键帧图像分割模块的具体实现方法为：

基于乳腺超声视频关键帧图像的分割结果，采用运动估计方法计算乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量；

对得到的乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量进行修正处理，得到乳腺超声视频非关键帧图像的肿瘤区域边缘曲线。

9.根据权利要求8所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量的计算方法为：

选取任一像素为中心，搜索设定窗口内的前一帧图像中与之最匹配的子块，计算得到的最匹配字块与像素的位移，得到该像素的运动矢量。

10.根据权利要求8所述的基于中智学理论的乳腺超声视频图像实时分割系统，其特征是，所述对得到的乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量进行修正处理的方法为：

以每帧非关键图像之间的差别作为补偿误差，根据数值拟合方法，对乳腺超声视频非关键帧图像的肿瘤区域边缘曲线点的运动矢量做误差修正。