CN110946619A - 血管内超声自动影像组学分析系统及分析方法 - Google Patents

血管内超声自动影像组学分析系统及分析方法 Download PDF

Info

Publication number
CN110946619A
CN110946619A CN201911178279.1A CN201911178279A CN110946619A CN 110946619 A CN110946619 A CN 110946619A CN 201911178279 A CN201911178279 A CN 201911178279A CN 110946619 A CN110946619 A CN 110946619A
Authority
CN
China
Prior art keywords
image
ivus
images
omics
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911178279.1A
Other languages
English (en)
Other versions
CN110946619B (zh
Inventor
杨靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911178279.1A priority Critical patent/CN110946619B/zh
Publication of CN110946619A publication Critical patent/CN110946619A/zh
Application granted granted Critical
Publication of CN110946619B publication Critical patent/CN110946619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种血管内超声自动影像组学分析系统及分析方法，系统设置在计算机内，系统包括分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块；方法包括步骤一：图像质量控制：步骤二：图像分割；步骤三：组学特征计算；步骤四：分类及输出。采用本技术方案后，通过全自动分析技术可以在极短时间内获取大量组学特征信息，解决了现有技术依赖人力费时费力、不同分析者间变异度大的问题，另外可以通过机器学习方法挖掘出哪些特征对分类任务起到了的作用，解决了以往判断准确性低的问题。

Description

血管内超声自动影像组学分析系统及分析方法
技术领域
本发明涉及数字化医学影像分析领域，尤其涉及一种血管内超声自动影像组学分析系统及分析方法。
背景技术
医学影像学Medical Imaging，是研究借助于某种介质(如X射线、电磁场、超声波等)与人体相互作用，把人体内部组织器官结构、密度以影像方式表现出来，供诊断医师根据影像提供的信息进行判断，从而对人体健康状况进行评价的一门科学，包括医学成像系统和医学图像处理两方面相对独立的研究方向。
医学影像学作为一种医疗辅助手段用于诊断和治疗，诊断主要包括透视、放射线片、CT、MRI、超声、数字减影、血管造影等。治疗主要应用为介入治疗、放疗等方面。除了医疗上述用途之外，影像学还可以与其他学术领域相结合，譬如认知心理学(cognitivepsychology)、语言学(linguistics)、教育学(education)、社会学(sociology)等，通过与其它领域相互结合可以让研究人员探索人类在进行认知行为时的大脑活动，这样的研究已经逐渐成形，学术界称之为认知神经科学(cognitive neuroscience)。
由于成像技术的迅速发展，医学影像已成为疾病管理中的重要模式，为临床提供了全面的视角和丰富的信息，在疾病筛查、早期诊断、治疗指导和预后评估等方面发挥着举足轻重的作用。现已知病灶形态或功能上的变化是由患者个体的基因、细胞、生理微环境、生活习惯和生存大环境等诸多因素共同决定的。若在常规影像学定性诊断基础上，通过深度挖掘数据，寻找出疾病的内涵特征，从而反映人体组织、细胞和基因水平的变化，将会对临床医学产生重大影响。
基于这一理论，影像组学(radiomics)应运而生，影像组学技术是计算机科学与医学影像结合而产生出的新兴的影像分析方法，它能够从医学影像中提取高通量特征来量化病变特征。即采用自动化算法从影像的感兴趣区(ROI)内提取出大量(数百个乃至数千个)的特征信息作为研究对象，并进一步采用多样化的统计分析和数据挖掘方法从大批量信息中提取出真正起作用的关键信息，最终用于疾病的辅助诊断、分类或分级。影像组学的技术作为跨学科的创新分析技术，主要用于肿瘤影像领域，在心血管领域的研究始于2017年，目前仅有十数篇论文报道，也仅限于CT和磁共振的初步研究，对于图像感兴趣区的分割主要依赖于分析者手动。
另一方面，传统的影像分析目前主要通过人工判断或借助商用软件半自动分析的方法实现。人工判断是指拥有医学影像专业技能的影像科医生或临床医生凭借自身的知识和经验通过目测进行的分析和决策。软件半自动分析是指影像文档导入影像设备自带软件或另外购买的分析软件中，软件给出初步分割结果，人工判断修正后得到病灶的定量结果，比如体积、面积、长度、厚度、角度等等。
传统的影像分析存在如下缺陷：1、耗费大量的人力和时间，判断的准确性极大依赖于观察者的经验和知识水平；2、只能分析体积、面积、长度等低维度的病变表型特征，却丢失了大量的深度信息。这些缺陷造成了影像诊断的准确性低和不可靠。而上述病变的定性定量信息以外的高维度信息无法通过传统的技术获得。
如何通过使用自动组学特征分析对血管内超声中的血管病变进行分类，解决现有技术依赖人力费时费力、不同分析者间变异度大的问题和判断准确性低的问题是申请人致力于研究和想要克服的课题。
发明内容
为了解决现有技术存在的缺陷，本发明提供一种血管内超声自动影像组学分析系统及分析方法。
为了实现上述目的，本发明采用的技术方案为：一种血管内超声自动影像组学分析系统；分析系统设置在计算机内；分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块；数据采集转化模块负责采集数据并将采集到的DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；
图像标注和处理模块在系统训练阶段对IVUS图像进行标注后作为训练数据输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成图像质量控制预测模型；
图像标注和处理模块在系统分析阶段通过图像质量控制预测模型输出的结果区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像，并剔除成像质量低、伪差多的IVUS图像；
图像分割处理模块在系统训练阶段对大量的IVUS图像的管腔和外弹力膜的感兴趣区域进行手动标注后输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成分割模型；
图像分割处理模块在系统分析阶段首先通过分割模型对图像标注和处理模块处理后的IVUS图像的管腔和外弹力膜的感兴趣区域进行自动标注实现病变的分割，得出分割结果；组学特征运算处理模块根据组学特征对分割结果进行运算处理后生成组学特征矩阵；
分类处理输出模块在系统训练阶段根据任务的目的对每个分割结果进行标注赋值一个类别标签；由此获得多维特征向量；
图像学习模块将特征向量结合组学特征矩阵，通过机器学习算法得到预测分类器；
分类处理输出模块在系统分析阶段对新样本使用预测分类器进行分析后生成并输出最终的所有组学的分析结果。
还包括一种血管内超声自动影像组学分析方法，
步骤一：图像质量控制，通过深度学习的方法进行图像质量筛选，去除质量不好无法进行分析的图像；
步骤二：图像分割，通过深度学习的方法对图像的感兴趣区域进行分割处理；
步骤三：组学特征计算，对分割的区域进行组学特征计算；
步骤四：分类及输出，预测分类器根据组学特征进行二分类任务或多分类任务的分类，输出所有组学的分析结果。
进一步的改进，步骤一的图像质量控制包括如下步骤：
a)将DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；
b)区分清晰、质量高的IVUS图像和成像质量低、伪差多的IVUS图像；并剔除成像质量低、伪差多的IVUS图像；
c)训练阶段将清晰、质量高的IVUS图像进行标注后作为训练样本，通过深度全卷积神经网络进行训练；
d)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成图像质量控制预测模型；
e)分析阶段，通过生成的图像质量控制预测模型，对新的IVUS图像进行分类，区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像；
f)图像质量好的图像，将用于图像分割和分析；质量低、伪差多的图像，将被去除。
进一步的改进，步骤二的图像分割包括如下步骤：
a)训练阶段，手动标注大量IVUS图像中的管腔和外弹力膜作为训练数据；
b)随机选取IVUS图像及前后多帧图像输入到深度全卷积神经网络进行训练；
c)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成IVUS管腔和外弹力膜分割模型；
d)分析阶段，利用生成的IVUS管腔和外弹力膜分割模型，对新的IVUS图像进行管腔和外弹力膜进行自动标注实现病变的分割；
e)对分割结果进行光滑处理，得到最终分割结果；对管腔或者外弹力膜的分割结果I1，进行形态学腐蚀得到I2；从而相减得到边缘轮廓I＝I1-I2；在轮廓上按顺序创建若干个相等间隔点，然后通过样条插值算法将各个点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。
进一步的改进，步骤三的组学特征计算包括如下步骤：
a)、根据步骤二的管腔和外弹力膜的分割结果，得到了预测的斑块区域；对连续的n个IVUS图像进行组学特征计算；、n大于等于1；
b)、组学特征包括：斑块面积、最大或最小管腔直径、斑块负荷、斑块厚度、一阶灰度特征、纹理特征、几何形状特征、小波转换特征；
c)、将每一个样本的组学特征成立为一维特征向量；当有M个样本，每个样本有N个特征，则可获得一个M x N维的组学特征矩阵FM x N。
进一步的改进，步骤四的分类处理包括如下步骤：
a)训练阶段，构建分类任务训练样本；当有M个样本，根据任务的目的，对每个样本进行标注赋值一个类别标签；由此可获得1个M维特征向量AM x 1；
b)特征向量AM x 1结合步骤三获得的组学特征矩阵FM x N，通过机器学习算法得到预测分类器；
c)分析阶段，对新样本使用预测分类器进行分类，可以预测得知新样本的类别。
进一步的改进，对IVUS图像的区分标准为有无气泡、噪声过大、伪差过多、严重钙化和信号衰减导致的血管轮廓无法分辨。
进一步的改进，深度全卷积神经网络采用ResNet或U-Net或AlexNet或VGG网络；机器学习算法采用随机森林或SVM或XGBoost算法。进一步的改进，间隔点的数量为16至128个点。。
进一步的改进，机器学习算法采用随机森林或SVM或XGBoost算法。
进一步的改进，类别标签包括：是否罪犯病变、是否易损斑块、是否发生围术期并发症、是否发生斑块进展、是否发生急性冠脉事件。
采用本申请的技术方案后，首先通过计算机对采集的图像进行筛选，用于图像筛选的计算机在进行筛选之前需要预先对历史的图像数据进行深度学习，使其能够具备能够进行自动图像筛选的图像质量控制预测模型，计算机利用图像质量控制预测模型对新采集的图像数据进行区分，筛选出具备高通量特征的图片，同时将不符合条件的质量差的图片剔除。计算机通过深度学习算法在筛选的过程中再次训练进一步完善图像质量控制预测模型。
图像筛选完成之后，通过计算机对图像进行区域分割处理，用于分割处理的计算机在进行分割处理之前需要预先对历史的图像数据进行深度学习，使其能够具备能够进行自动分割处理的分割模型，计算机根据分割模型对筛选之后的图像数据预测病变结构的边界，对病变进行分割，计算机通过深度学习算法对分割结果再次训练进一步完善分割模型。
图像数据进行分割处理之后，通过计算机对分割后的区域进行组学特征计算并输出计算结果给后端的预测分类器。
计算机对计算之后的组学特征进行分类处理，用于分类处理的计算机在进行分类处理之前需要预先对历史的图像数据进行深度学习，使其能够具备能够进行自动分类处理的预测分类器，计算机根据预测分类器对计算之后的组学特征进行分类处理后输出所有组学的分析结果。计算机通过经过新数据的参考标准再次学习进一步完善预测分类器。
采用本技术方案后，将影像组学的技术应用于血管内超声数据，快速地自动化地分析数千帧图像，数分钟内输出所有组学分析结果，获取大量组学特征信息，解决了现有技术依赖人力费时费力、不同分析者间变异度大的问题，组学信息用于机器学习分类器的训练，获得特定任务的分类器，通过机器学习方法挖掘出哪些特征对特定的分类任务起到了多大的作用，解决了以往对病变结局的判断准确性低的问题。
附图说明
图1是血管内超声自动影像组学分析系统及分析方法的流程示意图。
图2是血管内超声自动影像组学分析系统及分析方法的系统框图。
具体实施方式
下面结合说明书附图对本发明优选的方案做进一步的描述。
如图1所示，一种血管内超声自动影像组学分析方法，步骤一：图像质量控制，通过深度学习的方法进行图像质量筛选，去除质量不好无法进行分析的图像；其中、图像质量控制包括如下步骤：a)将DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；b)区分清晰、质量高的IVUS图像和成像质量低、伪差多的IVUS图像；并剔除成像质量低、伪差多的IVUS图像；c)训练阶段将清晰、质量高的IVUS图像进行标注作为训练样本，通过深度全卷积神经网络进行训练；d)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成图像质量控制预测模型；e)分析阶段，通过生成的图像质量控制预测模型，对新的IVUS图像进行分类，区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像；对IVUS图像的区分标准为有无气泡、噪声过大、伪差过多、严重钙化和信号衰减导致的血管轮廓无法分辨。f)图像质量好的图像，将用于图像分割和分析；质量低、伪差多的图像，将被去除。图像质量好的图像，会通过深度全卷积神经网络进一步完善图像质量控制预测模型；在本技术方案中，深度全卷积神经网络优选采用ResNet或U-Net或AlexNet或VGG网络,当然还可以采用其它同类型的网络。
步骤二：图像分割，通过深度学习的方法对图像的感兴趣区域进行分割处理。其中、图像分割包括如下步骤：
a)训练阶段，手动标注大量IVUS图像中的管腔和外弹力膜作为训练数据；
b)随机选取IVUS图像及前后多帧图像输入到深度全卷积神经网络进行训练；
c)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成IVUS管腔和外弹力膜分割模型；
d)分析阶段，利用生成的IVUS管腔和外弹力膜分割模型，对新的IVUS图像进行管腔和外弹力膜进行自动标注实现病变的分割；
e)对分割结果进行光滑处理，得到最终分割结果；对管腔或者外弹力膜的分割结果I1，进行形态学腐蚀得到I2；从而相减得到边缘轮廓I＝I1-I2；在轮廓上按顺序创建若干个相等间隔点，然后通过样条插值算法将各个点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。根据轮廓的大小可以选择数量为16至128之间的间隔点进行打点，如果轮廓较小，一般16个就能够形成一个光滑的轮廓。如果轮廓较大，一般128个也能够形成一个光滑的轮廓。当然上述范围仅仅表述在这个范围为最优，小于16或大于128只要能够形成光滑的轮廓均可。在本技术方案中，通过采用64个相等间隔点进行举例说明，首先在轮廓上按顺序创建64个相等间隔点，然后通过样条插值算法将64点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。当然为了能够获得更加光滑的轮廓，可以增加相等间隔点的数量。
步骤三：组学特征计算，对分割的区域进行组学特征计算；步骤三的组学特征计算包括如下步骤：a)根据步骤二的管腔和外弹力膜的分割结果，得到了预测的斑块区域；对连续的n个IVUS图像进行组学特征计算；n大于等于1；b)组学特征包括：最大或最小管腔直径、管腔横截面积、外弹力膜横截面积、斑块负荷、斑块厚度、一阶灰度特征、纹理特征、几何形状特征、小波转换特征；c)将每一个样本的组学特征成立为一维特征向量；当有M个样本，每个样本有N个特征，则可获得一个M x N维的组学特征矩阵FM x N。步骤四：
步骤四：分类及输出，预测分类器根据组学特征进行二分类任务或多分类任务的分类，输出所有组学的分析结果。步骤四的分类处理包括如下步骤：a)训练阶段，构建分类任务训练样本；当有M个样本，根据任务的目的，对每个样本进行标注赋值一个类别标签；类别标签包括：是否罪犯病变、是否易损斑块、是否发生围术期并发症、是否发生斑块进展、是否发生急性冠脉事件。由此可获得1个M维特征向量AM x 1；b)特征向量AM x 1结合步骤三获得的组学特征矩阵FM x N，通过机器学习算法得到预测分类器；其中、机器学习算法采用随机森林或SVM或XGBoost算法。当然，机器学习算法并不限于上述三种算法，只有能够实现本申请的目的的算法均可。c)分析阶段，对新样本使用预测分类器进行分类，可以预测得知新样本的类别。
为了更好地对本申请的技术方案进行说明，现对本申请的血管内超声自动影像组学分析方法做进一步的说明。
如图2所示，为了实现本申请的分析预测，首先需要一台计算机，该计算机设置有血管内超声自动影像组学分析系统。
分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块。
数据采集转化模块负责采集数据并将采集到的DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；
图像标注和处理模块在系统训练阶段对IVUS图像进行标注后作为训练数据输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成图像质量控制预测模型；
图像标注和处理模块在系统分析阶段通过图像质量控制预测模型输出的结果区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像，并剔除成像质量低、伪差多的IVUS图像；
图像分割处理模块在系统训练阶段对大量的IVUS图像的管腔和外弹力膜的感兴趣区域进行手动标注后输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成分割模型；
图像分割处理模块在系统分析阶段首先通过分割模型对图像标注和处理模块处理后的IVUS图像的管腔和外弹力膜的感兴趣区域进行自动标注实现病变的分割，得出分割结果；
组学特征运算处理模块根据组学特征对分割结果进行运算处理后生成组学特征矩阵；
分类处理输出模块在系统训练阶段根据任务的目的对每个分割结果进行标注赋值一个类别标签；由此获得多维特征向量；图像学习模块将特征向量结合组学特征矩阵，通过机器学习算法得到预测分类器；
分类处理输出模块在系统分析阶段对新样本使用预测分类器进行分析后生成并输出最终的所有组学的分析结果。为了更好地显示分析结果，本申请采用计算机图形界面的方式进行结果显示，计算机图像界面对本领域技术人员而言属于常规设计，在本申请中仅仅是为了方便将分析结果呈现出来，故在本申请中不对计算机用户界面做过多的说明。
用于血管内超声自动影像组学分析系统的计算机可以为单独的本地端，也可以作为服务器与远端的计算机进行交互，进而更快地提升血管内超声自动影像组学分析方法的准确性。
工作原理如下：血管内超声自动影像组学分析系统包括两个阶段，系统训练阶段和系统分析阶段。
系统训练阶段，用户首先通过数据采集转化模块生成大量的IVUS图像，图像标注和处理模块对IVUS图像进行标注处理后输送给图像学习模块，图像学习模块通过对大量的IVUS图像进行深度学习后，生成图像质量控制预测模型，图像分割处理模块对处理之后的高质量图像的感兴趣区进行手动标注分割后将数据输送给图像学习模块。图像学习模块通过对大量的手动标注的图像进行深度学习后，生成分割模型，组学特征运算处理模块对分割后的数据进行运算处理后将结果输送给图像学习模块；分类处理输出模块通过创建相应的标签提供多维特征向量并输送给图像学习模块，图像学习模块通过对跟分割后的数据和多维特征向量的深度学习，生成预测分类器。
系统分析阶段：系统借助于数据采集转化模块采集待分析样本。图像标注和处理模块将新样本通过图像质量控制预测模型将质量差的图片剔除，仅保留质量高的图像。保留的高质量的图片输送给图像分割处理，图像分割通过分割模型对图像进行自动分割。自动分割后的数据输送给分类处理输出模块通过预期分析器后输出预测结果，最终的结果通过计算机图形界面进行显示，方便分析人员对分析结果进行查看。
上述实施方式旨在举例说明本发明可为本领域专业技术人员实现或使用，对上述实施方式进行修改对本领域的专业技术人员来说将是显而易见的，故本发明包括但不限于上述实施方式，任何符合本权利要求书或说明书描述，符合与本文所公开的原理和新颖性、创造性特点的产品，均落入本发明的保护范围之内。

Claims (10)

1.一种血管内超声自动影像组学分析系统；分析系统设置在计算机内；其特征在于：
分析系统包括数据采集转化模块、图像标注和处理模块、图像学习模块、图像分割处理模块、组学特征运算处理模块、分类处理输出模块；
数据采集转化模块负责采集数据并将采集到的DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；
图像标注和处理模块在系统训练阶段对IVUS图像进行标注后作为训练数据输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成图像质量控制预测模型；
图像标注和处理模块在系统分析阶段通过图像质量控制预测模型输出的结果区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像，并剔除成像质量低、伪差多的IVUS图像；
图像分割处理模块在系统训练阶段对大量的IVUS图像的管腔和外弹力膜的感兴趣区域进行手动标注后输送给图像学习模块，图像学习模块通过深度全卷积神经网络进行学习后生成分割模型；
图像分割处理模块在系统分析阶段首先通过分割模型对图像标注和处理模块处理后的IVUS图像的管腔和外弹力膜的感兴趣区域进行自动标注实现病变的分割，得出分割结果；
组学特征运算处理模块根据组学特征对分割结果进行运算处理后生成组学特征矩阵；
分类处理输出模块在系统训练阶段根据任务的目的对每个分割结果进行标注赋值一个类别标签；由此获得多维特征向量；图像学习模块将特征向量结合组学特征矩阵，通过机器学习算法得到预测分类器；
分类处理输出模块在系统分析阶段对新样本使用预测分类器进行分析后生成并输出最终的所有组学的分析结果。
2.一种血管内超声自动影像组学分析方法，其特征在于，
步骤一：图像质量控制，通过深度学习的方法进行图像质量筛选，去除质量不好无法进行分析的图像；
步骤二：图像分割，通过深度学习的方法对图像的感兴趣区域进行分割处理；
步骤三：组学特征计算，对分割的区域进行组学特征计算；
步骤四：分类及输出，预测分类器根据组学特征进行二分类任务或多分类任务的分类，输出所有组学的分析结果。
3.根据权利要求1所述的血管内超声自动影像组学分析方法，其特征在于，步骤一的图像质量控制包括如下步骤：
a)将DICOM格式的IVUS视频转化成数百至数千帧连续的IVUS图像；
b)区分清晰、质量高的IVUS图像和成像质量低、伪差多的IVUS图像；并剔除成像质量低、伪差多的IVUS图像；
c)训练阶段将清晰、质量高的IVUS图像进行标注后作为训练样本，通过深度全卷积神经网络进行训练；
d)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成图像质量控制预测模型；
e)分析阶段，通过生成的图像质量控制预测模型，对新的IVUS图像进行分类，区分IVUS图像属于清晰、质量高的还是成像质量低、伪差多的图像；
f)图像质量好的图像，将用于图像分割和分析；质量低、伪差多的图像，将被去除。
4.根据权利要求3所述的血管内超声自动影像组学分析方法，其特征在于，步骤二的图像分割包括如下步骤：
a)训练阶段，手动标注大量IVUS图像中的管腔和外弹力膜作为训练数据；
b)随机选取IVUS图像及前后多帧图像输入到深度全卷积神经网络进行训练；
c)深度全卷积神经网络经过上万次的迭代学习，预测错误率会越来越低，最终损失函数收敛，生成IVUS管腔和外弹力膜分割模型；
d)分析阶段，利用生成的IVUS管腔和外弹力膜分割模型，对新的IVUS图像进行管腔和外弹力膜进行自动标注实现病变的分割；e)对分割结果进行光滑处理，得到最终分割结果；对管腔或者外弹力膜的分割结果I1，进行形态学腐蚀得到I2；从而相减得到边缘轮廓I＝I1-I2；在轮廓上按顺序创建若干个相等间隔点，然后通过样条插值算法将各个点连成光滑的轮廓，得到最终的管腔或外弹力膜的分割结果。
5.根据权利要求4所述的血管内超声自动影像组学分析方法，其特征在于，步骤三的组学特征计算包括如下步骤：
a)根据步骤二的管腔和外弹力膜的分割结果，得到了预测的斑块区域；对连续的n个IVUS图像进行组学特征计算；n大于等于1；
b)组学特征包括：最大或最小管腔直径、管腔横截面积、外弹力膜横截面积、斑块负荷、斑块厚度、一阶灰度特征、纹理特征、几何形状特征、小波转换特征；
c)将每一个样本的组学特征成立为一维特征向量；当有M个样本，每个样本有N个特征，则可获得一个M x N维的组学特征矩阵FM x N。
6.根据权利要求5所述的血管内超声自动影像组学分析方法，其特征在于，步骤四的分类处理包括如下步骤：
a)训练阶段，构建分类任务训练样本；当有M个样本，根据任务的目的，对每个样本进行标注赋值一个类别标签；由此可获得1个M维特征向量AM x 1；
b)特征向量AM x 1结合步骤三获得的组学特征矩阵FM x N，通过机器学习算法得到预测分类器；
c)分析阶段，对新样本使用预测分类器进行分类，可以预测得知新样本的类别。
7.根据权利要求6所述的血管内超声自动影像组学分析方法，其特征在于，对IVUS图像的区分标准为有无气泡、噪声过大、伪差过多、严重钙化和信号衰减导致的血管轮廓无法分辨。
8.根据权利要求6所述的血管内超声自动影像组学分析方法，其特征在于，深度全卷积神经网络采用ResNet或U-Net或AlexNet或VGG网络；机器学习算法采用随机森林或SVM或XGBoost算法。
9.根据权利要求6所述的血管内超声自动影像组学分析方法，其特征在于，间隔点的数量为16至128个点。
10.根据权利要求6所述的血管内超声自动影像组学分析方法，其特征在于，类别标签包括：是否罪犯病变、是否易损斑块、是否发生围术期并发症、是否发生斑块进展、是否发生急性冠脉事件。
CN201911178279.1A 2019-11-27 2019-11-27 血管内超声自动影像组学分析系统及分析方法 Active CN110946619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911178279.1A CN110946619B (zh) 2019-11-27 2019-11-27 血管内超声自动影像组学分析系统及分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911178279.1A CN110946619B (zh) 2019-11-27 2019-11-27 血管内超声自动影像组学分析系统及分析方法

Publications (2)

Publication Number Publication Date
CN110946619A true CN110946619A (zh) 2020-04-03
CN110946619B CN110946619B (zh) 2023-06-06

Family

ID=69977020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911178279.1A Active CN110946619B (zh) 2019-11-27 2019-11-27 血管内超声自动影像组学分析系统及分析方法

Country Status (1)

Country Link
CN (1) CN110946619B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798408A (zh) * 2020-05-18 2020-10-20 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种内窥镜干扰图像检测与分级系统及方法
CN111833348A (zh) * 2020-08-10 2020-10-27 上海工程技术大学 一种基于图像处理的血管沉积物自动检测方法
CN112132203A (zh) * 2020-09-18 2020-12-25 中山大学 一种基于血管内超声图像的血流储备分数测量方法及系统
CN113723461A (zh) * 2021-08-02 2021-11-30 逸超科技(北京)有限公司 超声设备及超声图像分析方法
CN114469174A (zh) * 2021-12-17 2022-05-13 上海深至信息科技有限公司 一种基于超声扫查视频的动脉斑块识别方法及系统
CN117711581A (zh) * 2024-02-05 2024-03-15 深圳皓影医疗科技有限公司 一种自动添加书签的方法、系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191457A (zh) * 2018-09-21 2019-01-11 中国人民解放军总医院 一种病理图像质量有效性识别方法
US20190159737A1 (en) * 2015-08-14 2019-05-30 Elucid Bioimaging Inc. Methods and systems for utilizing quantitative imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190159737A1 (en) * 2015-08-14 2019-05-30 Elucid Bioimaging Inc. Methods and systems for utilizing quantitative imaging
CN109191457A (zh) * 2018-09-21 2019-01-11 中国人民解放军总医院 一种病理图像质量有效性识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MARTON KOLOSSVARY ET AL: "Identification of invasive and radionuclide imaging markers of coronary plaque vulnerability using radiomic analysis of coronary computed tomography angiography", 《EUROPEAN HEART JOURNAL-CARDIOVASCULAR IMAGING》 *
SHENGRAN SU ET AL: "An artificial neural network method for lumen and media-adventitia border detection in IVUS", 《COMPUTERIZED MEDICAL IMAGING AND GRAPHICS》 *
刘桐桐 等: "基于影像组学方法的原发性肝细胞癌微血管侵犯和肿瘤分化等级预测", 《超声影像学》 *
郭翌 等: "影像组学的前沿研究与未来挑战", 《肿瘤影像学》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798408A (zh) * 2020-05-18 2020-10-20 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 一种内窥镜干扰图像检测与分级系统及方法
CN111833348A (zh) * 2020-08-10 2020-10-27 上海工程技术大学 一种基于图像处理的血管沉积物自动检测方法
CN112132203A (zh) * 2020-09-18 2020-12-25 中山大学 一种基于血管内超声图像的血流储备分数测量方法及系统
CN112132203B (zh) * 2020-09-18 2023-09-29 中山大学 一种基于血管内超声图像的血流储备分数测量方法及系统
CN113723461A (zh) * 2021-08-02 2021-11-30 逸超科技(北京)有限公司 超声设备及超声图像分析方法
CN114469174A (zh) * 2021-12-17 2022-05-13 上海深至信息科技有限公司 一种基于超声扫查视频的动脉斑块识别方法及系统
CN117711581A (zh) * 2024-02-05 2024-03-15 深圳皓影医疗科技有限公司 一种自动添加书签的方法、系统、电子设备及存储介质
CN117711581B (zh) * 2024-02-05 2024-06-11 深圳皓影医疗科技有限公司 一种自动添加书签的方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN110946619B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN110946619B (zh) 血管内超声自动影像组学分析系统及分析方法
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
JP4669268B2 (ja) 画像の経時変化を検出し表示する方法及び装置
Jiang et al. Medical image analysis with artificial neural networks
Giger Computer-aided diagnosis of breast lesions in medical images
CN107133638B (zh) 基于两分类器的多参数mri前列腺癌cad方法及系统
US20050251013A1 (en) Systems and methods providing automated decision support for medical imaging
Hennessey et al. Artificial intelligence in veterinary diagnostic imaging: A literature review
CN106778005A (zh) 基于多参数mri的前列腺癌计算机辅助检测方法及系统
US20120257804A1 (en) Communicative cad system for assisting breast imaging diagnosis
CN113420826B (zh) 一种肝脏病灶图像处理系统及图像处理方法
CN114782307A (zh) 基于深度学习的增强ct影像直肠癌分期辅助诊断系统
EP2201525B1 (en) Visualization of temporal data
Irum et al. Morphological techniques for medical images: A review
Chang et al. Solid breast masses: neural network analysis of vascular features at three-dimensional power Doppler US for benign or malignant classification
Santhiyakumari et al. Medical decision-making system of ultrasound carotid artery intima–media thickness using neural networks
CN113112469B (zh) 一种b超图像选取方法及系统
Kim et al. The role of AI in prostate MRI quality and interpretation: Opportunities and challenges
Abdullah et al. A new procedure for lung region segmentation from computed tomography images
Edmund et al. Artificial intelligence-assisted internet of medical things enabling medical image processing
Saad et al. Lung Area Segmentation on Chest X-Ray Based on Texture Image Feature
Marques Fundamentals of Medical Image Analysis
CN117036302B (zh) 主动脉瓣膜钙化程度的确定方法和系统
Gheysari et al. Lung ct image segmentation using reinforcement learning
Sureka Artificial Intelligence in Medical Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant