CN110946619B - 血管内超声自动影像组学分析系统及分析方法 - Google Patents

Abstract

本发明公开了一种血管内超声自动影像组学分析系统及分析方法，系统设置在计算机内，系统包括分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块；方法包括步骤一：图像质量控制：步骤二：图像分割；步骤三：组学特征计算；步骤四：分类及输出。采用本技术方案后，通过全自动分析技术可以在极短时间内获取大量组学特征信息，解决了现有技术依赖人力费时费力、不同分析者间变异度大的问题，另外可以通过机器学习方法挖掘出哪些特征对分类任务起到了的作用，解决了以往判断准确性低的问题。

Description

血管内超声自动影像组学分析系统及分析方法

技术领域

本发明涉及数字化医学影像分析领域，尤其涉及一种血管内超声自动影像组学分析系统及分析方法。

背景技术

医学影像学Medical Imaging，是研究借助于某种介质(如X射线、电磁场、超声波等)与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医师根据影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学，包括医学成像系统和医学图像处理两方面相对独立的研究方向。

医学影像学作为一种医疗辅助手段用于诊断和治疗，诊断主要包括透视、放射线片、CT、MRI、超声、数字减影、血管造影等。治疗主要应用为介入治疗、放疗等方面。除了医疗上述用途之外，影像学还可以与其他学术领域相结合，譬如认知心理学(cognitivepsychology)、语言学(linguistics)、教育学(education)、社会学(sociology)等，通过与其它领域相互结合可以让研究人员探索人类在进行认知行为时的大脑活动，这样的研究已经逐渐成形，学术界称之为认知神经科学(cognitive neuroscience)。

由于成像技术的迅速发展，医学影像已成为疾病管理中的重要模式，为临床提供了全面的视角和丰富的信息，在疾病筛查、早期诊断、治疗指导和预后评估等方面发挥着举足轻重的作用。现已知病灶形态或功能上的变化是由患者个体的基因、细胞、生理微环境、生活习惯和生存大环境等诸多因素共同决定的。若在常规影像学定性诊断基础上，通过深度挖掘数据，寻找出疾病的内涵特征，从而反映人体组织、细胞和基因水平的变化，将会对临床医学产生重大影响。

基于这一理论，影像组学(radiomics)应运而生，影像组学技术是计算机科学与医学影像结合而产生出的新兴的影像分析方法，它能够从医学影像中提取高通量特征来量化病变特征。即采用自动化算法从影像的感兴趣区(ROI)内提取出大量(数百个乃至数千个)的特征信息作为研究对象，并进一步采用多样化的统计分析和数据挖掘方法从大批量信息中提取出真正起作用的关键信息，最终用于疾病的辅助诊断、分类或分级。影像组学的技术作为跨学科的创新分析技术，主要用于肿瘤影像领域，在心血管领域的研究始于2017年，目前仅有十数篇论文报道，也仅限于CT和磁共振的初步研究，对于图像感兴趣区的分割主要依赖于分析者手动。

另一方面，传统的影像分析目前主要通过人工判断或借助商用软件半自动分析的方法实现。人工判断是指拥有医学影像专业技能的影像科医生或临床医生凭借自身的知识和经验通过目测进行的分析和决策。软件半自动分析是指影像文档导入影像设备自带软件或另外购买的分析软件中，软件给出初步分割结果，人工判断修正后得到病灶的定量结果，比如体积、面积、长度、厚度、角度等等。

传统的影像分析存在如下缺陷：1、耗费大量的人力和时间，判断的准确性极大依赖于观察者的经验和知识水平；2、只能分析体积、面积、长度等低维度的病变表型特征，却丢失了大量的深度信息。这些缺陷造成了影像诊断的准确性低和不可靠。而上述病变的定性定量信息以外的高维度信息无法通过传统的技术获得。

如何通过使用自动组学特征分析对血管内超声中的血管病变进行分类，解决现有技术依赖人力费时费力、不同分析者间变异度大的问题和判断准确性低的问题是申请人致力于研究和想要克服的课题。

发明内容

为了解决现有技术存在的缺陷，本发明提供一种血管内超声自动影像组学分析系统及分析方法。

为了实现上述目的，本发明采用的技术方案为：一种血管内超声自动影像组学分析系统；分析系统设置在计算机内；分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块；数据采集转化模块负责采集数据并将采集到的DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；

图像标注和处理模块在系统训练阶段对IVUS图像进行标注后作为训练数据输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成图像质量控制预测模型；

图像标注和处理模块在系统分析阶段通过图像质量控制预测模型输出的结果区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像，并剔除成像质量低、伪差多的IVUS图像；

图像分割处理模块在系统训练阶段对大量的IVUS图像的管腔和外弹力膜的感兴趣区域进行手动标注后输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成分割模型；

图像分割处理模块在系统分析阶段首先通过分割模型对图像标注和处理模块处理后的IVUS图像的管腔和外弹力膜的感兴趣区域进行自动标注实现病变的分割，得出分割结果；组学特征运算处理模块根据组学特征对分割结果进行运算处理后生成组学特征矩阵；

分类处理输出模块在系统训练阶段根据任务的目的对每个分割结果进行标注赋值一个类别标签；由此获得多维特征向量；

图像学习模块将特征向量结合组学特征矩阵，通过机器学习算法得到预测分类器；

分类处理输出模块在系统分析阶段对新样本使用预测分类器进行分析后生成并输出最终的所有组学的分析结果。

还包括一种血管内超声自动影像组学分析方法，

步骤一：图像质量控制，通过深度学习的方法进行图像质量筛选，去除质量不好无法进行分析的图像；

步骤二：图像分割，通过深度学习的方法对图像的感兴趣区域进行分割处理；

步骤三：组学特征计算，对分割的区域进行组学特征计算；

步骤四：分类及输出，预测分类器根据组学特征进行二分类任务或多分类任务的分类，输出所有组学的分析结果。

进一步的改进，步骤一的图像质量控制包括如下步骤：

a)将DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；

b)区分清晰、质量高的IVUS图像和成像质量低、伪差多的IVUS图像；并剔除成像质量低、伪差多的IVUS图像；

c)训练阶段将清晰、质量高的IVUS图像进行标注后作为训练样本，通过深度全卷积神经网络进行训练；

d)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成图像质量控制预测模型；

e)分析阶段，通过生成的图像质量控制预测模型，对新的IVUS图像进行分类，区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像；

f)图像质量好的图像，将用于图像分割和分析；质量低、伪差多的图像，将被去除。

进一步的改进，步骤二的图像分割包括如下步骤：

a)训练阶段，手动标注大量IVUS图像中的管腔和外弹力膜作为训练数据；

b)随机选取IVUS图像及前后多帧图像输入到深度全卷积神经网络进行训练；

c)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成IVUS管腔和外弹力膜分割模型；

d)分析阶段，利用生成的IVUS管腔和外弹力膜分割模型，对新的IVUS图像进行管腔和外弹力膜进行自动标注实现病变的分割；

e)对分割结果进行光滑处理，得到最终分割结果；对管腔或者外弹力膜的分割结果I1，进行形态学腐蚀得到I2；从而相减得到边缘轮廓I＝I1-I2；在轮廓上按顺序创建若干个相等间隔点，然后通过样条插值算法将各个点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。

进一步的改进，步骤三的组学特征计算包括如下步骤：

a)、根据步骤二的管腔和外弹力膜的分割结果，得到了预测的斑块区域；对连续的n个IVUS图像进行组学特征计算；、n大于等于1；

b)、组学特征包括：斑块面积、最大或最小管腔直径、斑块负荷、斑块厚度、一阶灰度特征、纹理特征、几何形状特征、小波转换特征；

c)、将每一个样本的组学特征成立为一维特征向量；当有M个样本，每个样本有N个特征，则可获得一个M x N维的组学特征矩阵FM x N。

进一步的改进，步骤四的分类处理包括如下步骤：

a)训练阶段，构建分类任务训练样本；当有M个样本，根据任务的目的，对每个样本进行标注赋值一个类别标签；由此可获得1个M维特征向量AM x 1；

b)特征向量AM x 1结合步骤三获得的组学特征矩阵FM x N，通过机器学习算法得到预测分类器；

c)分析阶段，对新样本使用预测分类器进行分类，可以预测得知新样本的类别。

进一步的改进，对IVUS图像的区分标准为有无气泡、噪声过大、伪差过多、严重钙化和信号衰减导致的血管轮廓无法分辨。

进一步的改进，深度全卷积神经网络采用ResNet或U-Net或AlexNet或VGG网络；机器学习算法采用随机森林或SVM或XGBoost算法。进一步的改进，间隔点的数量为16至128个点。。

进一步的改进，机器学习算法采用随机森林或SVM或XGBoost算法。

进一步的改进，类别标签包括：是否罪犯病变、是否易损斑块、是否发生围术期并发症、是否发生斑块进展、是否发生急性冠脉事件。

采用本申请的技术方案后，首先通过计算机对采集的图像进行筛选，用于图像筛选的计算机在进行筛选之前需要预先对历史的图像数据进行深度学习，使其能够具备能够进行自动图像筛选的图像质量控制预测模型，计算机利用图像质量控制预测模型对新采集的图像数据进行区分，筛选出具备高通量特征的图片，同时将不符合条件的质量差的图片剔除。计算机通过深度学习算法在筛选的过程中再次训练进一步完善图像质量控制预测模型。

图像筛选完成之后，通过计算机对图像进行区域分割处理，用于分割处理的计算机在进行分割处理之前需要预先对历史的图像数据进行深度学习，使其能够具备能够进行自动分割处理的分割模型，计算机根据分割模型对筛选之后的图像数据预测病变结构的边界，对病变进行分割，计算机通过深度学习算法对分割结果再次训练进一步完善分割模型。

图像数据进行分割处理之后，通过计算机对分割后的区域进行组学特征计算并输出计算结果给后端的预测分类器。

计算机对计算之后的组学特征进行分类处理，用于分类处理的计算机在进行分类处理之前需要预先对历史的图像数据进行深度学习，使其能够具备能够进行自动分类处理的预测分类器，计算机根据预测分类器对计算之后的组学特征进行分类处理后输出所有组学的分析结果。计算机通过经过新数据的参考标准再次学习进一步完善预测分类器。

采用本技术方案后，将影像组学的技术应用于血管内超声数据，快速地自动化地分析数千帧图像，数分钟内输出所有组学分析结果，获取大量组学特征信息，解决了现有技术依赖人力费时费力、不同分析者间变异度大的问题，组学信息用于机器学习分类器的训练，获得特定任务的分类器，通过机器学习方法挖掘出哪些特征对特定的分类任务起到了多大的作用，解决了以往对病变结局的判断准确性低的问题。

附图说明

图1是血管内超声自动影像组学分析系统及分析方法的流程示意图。

图2是血管内超声自动影像组学分析系统及分析方法的系统框图。

具体实施方式

下面结合说明书附图对本发明优选的方案做进一步的描述。

如图1所示，一种血管内超声自动影像组学分析方法，步骤一：图像质量控制，通过深度学习的方法进行图像质量筛选，去除质量不好无法进行分析的图像；其中、图像质量控制包括如下步骤：a)将DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；b)区分清晰、质量高的IVUS图像和成像质量低、伪差多的IVUS图像；并剔除成像质量低、伪差多的IVUS图像；c)训练阶段将清晰、质量高的IVUS图像进行标注作为训练样本，通过深度全卷积神经网络进行训练；d)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成图像质量控制预测模型；e)分析阶段，通过生成的图像质量控制预测模型，对新的IVUS图像进行分类，区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像；对IVUS图像的区分标准为有无气泡、噪声过大、伪差过多、严重钙化和信号衰减导致的血管轮廓无法分辨。f)图像质量好的图像，将用于图像分割和分析；质量低、伪差多的图像，将被去除。图像质量好的图像，会通过深度全卷积神经网络进一步完善图像质量控制预测模型；在本技术方案中，深度全卷积神经网络优选采用ResNet或U-Net或AlexNet或VGG网络,当然还可以采用其它同类型的网络。

步骤二：图像分割，通过深度学习的方法对图像的感兴趣区域进行分割处理。其中、图像分割包括如下步骤：

a)训练阶段，手动标注大量IVUS图像中的管腔和外弹力膜作为训练数据；

b)随机选取IVUS图像及前后多帧图像输入到深度全卷积神经网络进行训练；

c)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成IVUS管腔和外弹力膜分割模型；

d)分析阶段，利用生成的IVUS管腔和外弹力膜分割模型，对新的IVUS图像进行管腔和外弹力膜进行自动标注实现病变的分割；

e)对分割结果进行光滑处理，得到最终分割结果；对管腔或者外弹力膜的分割结果I1，进行形态学腐蚀得到I2；从而相减得到边缘轮廓I＝I1-I2；在轮廓上按顺序创建若干个相等间隔点，然后通过样条插值算法将各个点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。根据轮廓的大小可以选择数量为16至128之间的间隔点进行打点，如果轮廓较小，一般16个就能够形成一个光滑的轮廓。如果轮廓较大，一般128个也能够形成一个光滑的轮廓。当然上述范围仅仅表述在这个范围为最优，小于16或大于128只要能够形成光滑的轮廓均可。在本技术方案中，通过采用64个相等间隔点进行举例说明，首先在轮廓上按顺序创建64个相等间隔点，然后通过样条插值算法将64点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。当然为了能够获得更加光滑的轮廓，可以增加相等间隔点的数量。

步骤三：组学特征计算，对分割的区域进行组学特征计算；步骤三的组学特征计算包括如下步骤：a)根据步骤二的管腔和外弹力膜的分割结果，得到了预测的斑块区域；对连续的n个IVUS图像进行组学特征计算；n大于等于1；b)组学特征包括：最大或最小管腔直径、管腔横截面积、外弹力膜横截面积、斑块负荷、斑块厚度、一阶灰度特征、纹理特征、几何形状特征、小波转换特征；c)将每一个样本的组学特征成立为一维特征向量；当有M个样本，每个样本有N个特征，则可获得一个M x N维的组学特征矩阵FM x N。步骤四：

步骤四：分类及输出，预测分类器根据组学特征进行二分类任务或多分类任务的分类，输出所有组学的分析结果。步骤四的分类处理包括如下步骤：a)训练阶段，构建分类任务训练样本；当有M个样本，根据任务的目的，对每个样本进行标注赋值一个类别标签；类别标签包括：是否罪犯病变、是否易损斑块、是否发生围术期并发症、是否发生斑块进展、是否发生急性冠脉事件。由此可获得1个M维特征向量AM x 1；b)特征向量AM x 1结合步骤三获得的组学特征矩阵FM x N，通过机器学习算法得到预测分类器；其中、机器学习算法采用随机森林或SVM或XGBoost算法。当然，机器学习算法并不限于上述三种算法，只有能够实现本申请的目的的算法均可。c)分析阶段，对新样本使用预测分类器进行分类，可以预测得知新样本的类别。

为了更好地对本申请的技术方案进行说明，现对本申请的血管内超声自动影像组学分析方法做进一步的说明。

如图2所示，为了实现本申请的分析预测，首先需要一台计算机，该计算机设置有血管内超声自动影像组学分析系统。

分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块。

数据采集转化模块负责采集数据并将采集到的DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；

图像标注和处理模块在系统训练阶段对IVUS图像进行标注后作为训练数据输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成图像质量控制预测模型；

图像标注和处理模块在系统分析阶段通过图像质量控制预测模型输出的结果区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像，并剔除成像质量低、伪差多的IVUS图像；

图像分割处理模块在系统训练阶段对大量的IVUS图像的管腔和外弹力膜的感兴趣区域进行手动标注后输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成分割模型；

图像分割处理模块在系统分析阶段首先通过分割模型对图像标注和处理模块处理后的IVUS图像的管腔和外弹力膜的感兴趣区域进行自动标注实现病变的分割，得出分割结果；

组学特征运算处理模块根据组学特征对分割结果进行运算处理后生成组学特征矩阵；

分类处理输出模块在系统训练阶段根据任务的目的对每个分割结果进行标注赋值一个类别标签；由此获得多维特征向量；图像学习模块将特征向量结合组学特征矩阵，通过机器学习算法得到预测分类器；

分类处理输出模块在系统分析阶段对新样本使用预测分类器进行分析后生成并输出最终的所有组学的分析结果。为了更好地显示分析结果，本申请采用计算机图形界面的方式进行结果显示，计算机图像界面对本领域技术人员而言属于常规设计，在本申请中仅仅是为了方便将分析结果呈现出来，故在本申请中不对计算机用户界面做过多的说明。

用于血管内超声自动影像组学分析系统的计算机可以为单独的本地端，也可以作为服务器与远端的计算机进行交互，进而更快地提升血管内超声自动影像组学分析方法的准确性。

工作原理如下：血管内超声自动影像组学分析系统包括两个阶段，系统训练阶段和系统分析阶段。

系统训练阶段，用户首先通过数据采集转化模块生成大量的IVUS图像，图像标注和处理模块对IVUS图像进行标注处理后输送给图像学习模块，图像学习模块通过对大量的IVUS图像进行深度学习后，生成图像质量控制预测模型，图像分割处理模块对处理之后的高质量图像的感兴趣区进行手动标注分割后将数据输送给图像学习模块。图像学习模块通过对大量的手动标注的图像进行深度学习后，生成分割模型，组学特征运算处理模块对分割后的数据进行运算处理后将结果输送给图像学习模块；分类处理输出模块通过创建相应的标签提供多维特征向量并输送给图像学习模块，图像学习模块通过对跟分割后的数据和多维特征向量的深度学习，生成预测分类器。

系统分析阶段：系统借助于数据采集转化模块采集待分析样本。图像标注和处理模块将新样本通过图像质量控制预测模型将质量差的图片剔除，仅保留质量高的图像。保留的高质量的图片输送给图像分割处理，图像分割通过分割模型对图像进行自动分割。自动分割后的数据输送给分类处理输出模块通过预期分析器后输出预测结果，最终的结果通过计算机图形界面进行显示，方便分析人员对分析结果进行查看。

上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用，对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合与本文所公开的原理和新颖性、创造性特点的产品，均落入本发明的保护范围之内。

Claims (1)

1.一种血管内超声自动影像组学分析系统；分析系统设置在计算机内；其特征在于：

分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块；

数据采集转化模块负责采集数据并将采集到的DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；

图像标注和处理模块在系统训练阶段对IVUS图像进行标注后作为训练数据输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成图像质量控制预测模型；

图像标注和处理模块在系统分析阶段通过图像质量控制预测模型输出的结果区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像，并剔除成像质量低、伪差多的IVUS图像；图像质量好的图像，将用于图像分割和分析；质量低、伪差多的图像，将被去除；

图像分割处理模块在系统训练阶段对大量的IVUS图像的管腔和外弹力膜的感兴趣区域进行手动标注后输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成分割模型，所述深度全卷积神经网络采用ResNet或U-Net或AlexNet或VGG网络；

图像分割处理模块在系统分析阶段通过分割模型对图像标注和处理模块处理后的IVUS图像的管腔和外弹力膜的感兴趣区域进行自动标注实现病变的分割，得出分割结果；

组学特征运算处理模块根据组学特征对分割结果进行运算处理后生成组学特征矩阵；

分类处理输出模块在系统训练阶段根据任务的目的对每个分割结果进行标注赋值一个类别标签；由此获得多维特征向量；图像学习模块将特征向量结合组学特征矩阵，通过机器学习算法得到预测分类器；所述机器学习算法采用随机森林或SVM或XGBoost算法；

分类处理输出模块在系统分析阶段对新样本使用预测分类器进行分析后生成并输出最终的所有组学的分析结果。

Images