CN108280827B - 基于深度学习的冠状动脉病变自动检测方法、系统和设备 - Google Patents

基于深度学习的冠状动脉病变自动检测方法、系统和设备 Download PDF

Info

Publication number
CN108280827B
CN108280827B CN201810070192.1A CN201810070192A CN108280827B CN 108280827 B CN108280827 B CN 108280827B CN 201810070192 A CN201810070192 A CN 201810070192A CN 108280827 B CN108280827 B CN 108280827B
Authority
CN
China
Prior art keywords
layer
lesion
neural network
training
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810070192.1A
Other languages
English (en)
Other versions
CN108280827A (zh
Inventor
徐波
杜天明
周文辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HONGYUN VISION TECHNOLOGY Co.,Ltd.
Fuwai Hospital of CAMS and PUMC
Original Assignee
Beijing Hongyun Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hongyun Vision Technology Co ltd filed Critical Beijing Hongyun Vision Technology Co ltd
Priority to CN201810070192.1A priority Critical patent/CN108280827B/zh
Publication of CN108280827A publication Critical patent/CN108280827A/zh
Application granted granted Critical
Publication of CN108280827B publication Critical patent/CN108280827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明提供了一种基于深度学习的冠状动脉病变自动检测方法、系统和设备，通过训练步骤和测试步骤应用基于深度学习的物体检测技术到冠状动脉的病变检测之中。应用基于机器学习的文本处理技术到冠状动脉的病变检测之中。将文本处理与图像处理技术融合，融合了多个模态的信息用于冠状动脉的病变检测。完全将冠状动脉病变检测的流程自动化，在检测过程中无需人工参与。使用本发明的技术方案解决了医疗图像中的病变无法实时检测，而且像素检测的准确度低的技术问题，可以实时地检测出心脏冠状动脉中的病变，并给医生以参考和帮助。相比其他系统，本发明显著提高了病变检测率，缩短了诊疗流程。

Description

基于深度学习的冠状动脉病变自动检测方法、系统和设备
技术领域
本发明涉及数字图像的目标检测技术领域，尤其涉及一种基于深度学习的冠状动脉病变自动检测方法、系统和设备。
背景技术
冠状动脉疾病是目前世界上死亡率最高的疾病之一。数字剪影血管造影(DSA)和(CT)是目前可以诊断心脏动脉疾病程度的主要方法。一般医生将导管送入心脏的冠状动脉窦，之后通过导管释放造影剂，使得冠状动脉显影，在这之后，医生根据不同的体位观察并最终确认病变所在的位置。由于造影剂的流动延迟和其他的一些原因，有时候很难准确判断一个血管的病变。对医学图像中感兴趣的区域或者病变做检测是对心脏病诊断的关键步骤，但同时会消耗临床医生大量的时间。
近年来，计算机辅助诊疗系统在医学图像检测中有着突出的表现。如专利号为CN201310476548.9，名称为：目标检测方法和装置的发明专利公开了基于方向梯度直方图特征，采用Adaboost算法对标定正负的图像样本进行训练，得到目标检测模型；接收待检测图像；基于BoxFlter算法提取所述待检测图像的有向梯度直方图特征，并通过所述目标检测模型进行目标检测的技术方案，能够提高HOG(Histogram of Oriented Gradient)特征的提取速度，从而提高视频监控中的目标检测速度。
该技术方案虽然使用了数字图像的目标检测技术，但是使用的方法中使用了手工提取的特征和较为浅层的级联分类器针对自然图像进行目标检测，准确率较低速度较慢。
发明人在研究的过程中发现，在医疗领域，大多数已经发表的基于目标检测的医疗系统仍然使用手工提取的特征或者是使用深度网络提取的特征来执行像素(或超像素)的分类，之后应用某种形式的后处理来获得对象的候选框。使用手工特征，耗时耗力，对于不同病变要使用不同的特征。而使用深度网络基于逐个像素执行的分类任务，这种方法的计算量相当大，导致了对于医疗图像中的病变无法实时检测，而且像素检测的准确度低，因为它忽略了图像中的空间信息。
发明内容
为了解决上述技术问题，本发明的主要目的在于提供了一种基于深度学习的冠状动脉病变自动检测方法、系统和设备，该技术方案无需人工参与，可以自动检测心脏冠状动脉上微小病变，检测速度快。检测任务包括了在整张图片上对于小病变的定位与判别。目前为止，对于计算机辅助检测系统已经有很长时间的研究，提高了检测的准确率并减少了医生读图的时间。
为了达到上述目的，本发明一方面提供了一种基于深度学习的冠状动脉病变自动检测方法，该方法包括以下步骤：
步骤一、训练步骤，包括：
S101、文本信息处理模块从医疗综合数据库中存储的冠状动脉病变病历中提取病人的基本特征，基于提取的基本特征使用C4.5决策树算法训练一个分类决策树，分类决策树将病变种类信息输出至Dicom视频处理模块中；
S102、Dicom视频处理模块通过接收到的病变种类信息，使用SSN从医疗综合数据库中存储的与所述病变种类信息对应的心脏造影Dicom视频中筛选出包含病变的关键帧，并将关键帧输出到神经网络控制器中；
S103、神经网络控制器基于caffe深度学习框架使用关键帧数据逐层训练，若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将神经网络中各个层的参数组合成模型存储到模型存储模块中；
步骤二、测试步骤：
S201、神经网络控制器接收特定病人的Dicom视频，基于特定病人的Dicom视频从模型存储模块中提取对应的模型，将特定病人的Dicom视频数据输入至训练好的模型中，输出最终的病变位置和病变种类。
进一步的，步骤S101中，所述基本特征指的是包含敏感特征信息和/或缺失特征信息的病例特征信息。
进一步的，步骤S102中，具体包括：
接收从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影Dicom视频；
基于病变种类信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键动作位置点；
基于关键动作位置点，对整段Dicom视频分段，并迭代此步骤，直到视频分段满足设定值；
选取视频分段中的任意一帧作为关键帧，将关键帧输入到神经网络控制器中。
进一步的，Dicom视频包含若干帧的冠状血管造影，冠状血管造影中标记有病变部位，包括但不限于全部梗阻、狭窄、三叉神经、分叉、主动脉病变，严重迂曲、重度钙化、血栓中的一种或多种。
进一步的，步骤S103中，具体包括：
神经网络控制器将关键帧数据不断输入至神经网络训练模块中，神经网络训练模块将关键帧数据从下至上逐层通过神经网络的各个层，每一层的卷积核对输入做处理，产生的输出作为下一层的输入，直到最后一层，计算出最后预测的病变位置，和真实的病变位置作比较计算出偏差值，将偏差值输出至反馈模块中；
反馈模块通过BP算法反向传播偏差值，从上至下逐层更新每一层卷积核的参数；
若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将每一层卷积核的参数合成模型存储到模型存储模块中。
进一步的，步骤S103之后，还包括步骤S104，具体包括：
神经网络控制器从模型存储模块中读取预训练好的模型，判断该模型的网络迭代次数是否小于阈值，若是，则重复步骤S103，当特征优化速度变慢时，降低优化幅度继续重复步骤S103；若否，则进入测试步骤。
进一步的，所述神经网络控制器中多层神经网络的逐层顺序包括：
对输入的特征图实现卷积操作的卷积层；
最大池化层；
多个具有CReLU(Concatenated Rectified Linear Units，基于连接特征图的修正线性单元激活函数)激活功能的卷积层组成的CReLU模块；
多个Inception多尺度植入层组成的Inception模块；
所有卷积层都与BN(batch normalization，批量正则化层)层，比例位移转化(scaling and shifting)层，以及CReLU模块相结合；
除第一个卷积层以外的所有层都应用了残差学习；
将上述特征连接到一个Faster-rcnn(Faster Region with ConvolutionalNeural Network features，基于区域选择的卷积神经网络的快速目标检测网络)检测网络中，生成病变位置的候选区域，最后预测每个ROI(region of interest，感兴趣区域)的边界框和对应病变的分类结果。
进一步的，所述CReLU模块为使用CReLU结构减少网络的计算提高运算速度；具体计算过程如下：
过滤器产生的结果为
Figure GDA0002725366080000041
其中，x为输入值，
Figure GDA0002725366080000042
为使用一半卷积核进行卷积的结果，
Figure GDA0002725366080000043
为另一半的卷积核卷积产生的结果；
将过滤器产生的结果经过ReLU函数：
Figure GDA0002725366080000044
通过CReLU模块得到的输出结果为：
Figure GDA0002725366080000045
其中，
Conv为卷积层，Concat为拼接操作，Scale/Shift将特征图进一步变化，ReLU为最后的激活函数。
本发明另一方面还提供了一种基于深度学习的冠状动脉病变自动检测系统，包括：训练单元和测试单元；
训练单元，包括：
文本信息处理模块，用于从医疗综合数据库中存储的冠状动脉病变病历中提取病人的基本特征，基于提取的基本特征使用C4.5决策树算法训练一个分类决策树，分类决策树将病变种类信息输出至Dicom视频处理模块中；
Dicom视频处理模块，用于通过接收到的病变种类信息，使用SSN从医疗综合数据库中存储的与所述病变种类信息对应的心脏造影Dicom视频中筛选出包含病变的关键帧，并将关键帧输出到神经网络控制器中；
神经网络控制器，用于基于caffe深度学习框架使用关键帧数据逐层训练，若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将神经网络中各个层的参数组合成模型存储到模型存储模块中；
测试单元，包括：
神经网络控制器，用于接收特定病人的Dicom视频，基于特定病人的Dicom视频从模型存储模块中提取对应的模型，将特定病人的Dicom视频数据输入至训练好的模型中，输出最终的病变位置和病变种类。
本发明另一方面还提供了一种基于深度学习的冠状动脉病变自动检测设备，包括所述的系统。
本发明提供了一种基于深度学习的冠状动脉病变自动检测方法、系统和设备，应用基于深度学习的物体检测技术到冠状动脉的病变检测之中。应用基于机器学习的文本处理技术到冠状动脉的病变检测之中。将文本处理与图像处理技术融合，融合了多个模态的信息用于冠状动脉的病变检测。完全将冠状动脉病变检测的流程自动化，在检测过程中无需人工参与。使用本发明的技术方案可以实时地检测出心脏冠状动脉中的病变，并给医生以参考和帮助。相比其他系统，本发明显著提高了病变检测率，缩短了诊疗流程。
附图说明
图1为根据本发明的一种基于深度学习的冠状动脉病变自动检测系统的实施例二的结构框图；
图2为根据本发明的一种基于深度学习的冠状动脉病变自动检测设备的实施例三的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例一
本发明实施例一提供了一种基于深度学习的冠状动脉病变自动检测方法。该方法包括以下步骤：
步骤一、训练步骤，包括：
S101、文本信息处理模块从医疗综合数据库中存储的冠状动脉病变病历中提取病人的基本特征，基于提取的基本特征使用C4.5决策树算法训练一个分类决策树，分类决策树将病变种类信息输出至Dicom视频处理模块中；
S102、Dicom视频处理模块通过接收到的病变种类信息，使用SSN从医疗综合数据库中存储的与所述病变种类信息对应的心脏造影Dicom视频中筛选出包含病变的关键帧，并将关键帧输出到神经网络控制器中；
S103、神经网络控制器基于caffe深度学习框架使用关键帧数据逐层训练，若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将神经网络中各个层的参数组合成模型存储到模型存储模块中；
步骤二、测试步骤：
S201、神经网络控制器接收特定病人的Dicom视频，基于特定病人的Dicom视频从模型存储模块中提取对应的模型，将特定病人的Dicom视频数据输入至训练好的模型中，输出最终的病变位置和病变种类。
进一步的，步骤S101中，所述基本特征指的是包含敏感特征信息和/或缺失特征信息的病例特征信息。
进一步的，步骤S102中，具体包括：
接收从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影Dicom视频；
基于病变种类信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键动作位置点；
基于关键动作位置点，对整段Dicom视频分段，并迭代此步骤，直到视频分段满足设定值；
选取视频分段中的任意一帧作为关键帧，将关键帧输入到神经网络控制器中。
进一步的，Dicom视频包含若干帧的冠状血管造影，冠状血管造影中标记有病变部位，包括但不限于全部梗阻、狭窄、三叉神经、分叉、主动脉病变，严重迂曲、重度钙化、血栓中的一种或多种。
进一步的，步骤S103中，具体包括：
神经网络控制器将关键帧数据不断输入至神经网络训练模块中，神经网络训练模块将关键帧数据从下至上逐层通过神经网络的各个层，每一层的卷积核对输入做处理，产生的输出作为下一层的输入，直到最后一层，计算出最后预测的病变位置，和真实的病变位置作比较计算出偏差值，将偏差值输出至反馈模块中；
反馈模块通过BP算法反向传播偏差值，从上至下逐层更新每一层卷积核的参数；
若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将每一层卷积核的参数合成模型存储到模型存储模块中。
进一步的，步骤S103之后，还包括步骤S104，具体包括：
神经网络控制器从模型存储模块中读取预训练好的模型，判断该模型的网络迭代次数是否小于阈值，若是，则重复步骤S103，当特征优化速度变慢时，降低优化幅度继续重复步骤S103；若否，则进入测试步骤。
进一步的，所述神经网络控制器中多层神经网络的逐层顺序包括：
对输入的特征图实现卷积操作的卷积层；
最大池化层；
多个具有CReLU(Concatenated Rectified Linear Units，基于连接特征图的修正线性单元激活函数)激活功能的卷积层组成的CReLU模块；
多个Inception多尺度植入层组成的Inception模块；
所有卷积层都与BN(batch normalization，批量正则化层)层，比例位移转化(scaling and shifting)层，以及CReLU模块相结合；
除第一个卷积层以外的所有层都应用了残差学习；
将上述特征连接到一个Faster-rcnn(Faster Region with ConvolutionalNeural Network features，基于区域选择的卷积神经网络的快速目标检测网络)检测网络中，生成病变位置的候选区域，最后预测每个ROI(region of interest，感兴趣区域)的边界框和对应病变的分类结果。
进一步的，所述CReLU模块为使用CReLU结构减少网络的计算提高运算速度；在网络的前几层使用CReLU结构来减少网络的计算。在深度网络的前几层中出现的有趣的现象：这些层的卷积核倾向于形成“一对”，“一对”的两个卷积核大致相反。即对于每个卷积核，存在几乎在相反相位上的另一个卷积核。所以在网络中，我们将输入视为x，前几层的卷积只使用一半的滤波器进行计算，我们定义使用一半卷积核进行卷积的操作为
Figure GDA0002725366080000081
们将结果乘以-1。这个乘法结果
Figure GDA0002725366080000082
可以近似看作我们丢弃的另一半的卷积核卷积产生的结果。我们将两个结果连接在一起，我们定义将特征x，y连接的操作为Concat(x，y)，过滤器产生的结果为
Figure GDA0002725366080000091
其中，x为输入值，
Figure GDA0002725366080000092
为使用一半卷积核进行卷积的结果，
Figure GDA0002725366080000093
为另一半的卷积核卷积产生的结果；
将过滤器产生的结果经过ReLU函数：在这里scale/shift层和Concat操作放在一个函数内表示，scale/shift层的操作是将
Figure GDA0002725366080000094
层进一步处理使它更接近我们省略的卷积核的输出。
Figure GDA0002725366080000095
通过CReLU模块得到的输出结果为：
Figure GDA0002725366080000096
其中，
Conv为卷积层，Concat为拼接操作，Scale/Shift将特征图进一步变化，ReLU为最后的激活函数。
通过恰当的训练流程我们可以让上述的yCReLU逼近不使用CReLU模块的输出y。即
y＝ReLU(fconv(x))≈yCReLU
通过CReLU模块减少了卷积核中一半的参数数量，加快了网络的计算速度，解决了心脏冠状动脉病变不能实时进行检测的问题。
一优选实施例，三个模块的连接方式：第一层是名为conv1_1的7x7卷积层，卷积层对输入的特征图实现卷积操作，下一层是名为pool1_1的3x3最大池化层。之后，共有7个具有CReLU激活功能的3x3卷积层(CReLU模块)，分别命名为conv2_1，conv2_2，conv2_3，conv3_1，conv3_2，conv3_3，conv3_4，之后的八层为inception层(Inception模块)，分别命名为conv4_1，conv4_2，conv4_3，conv4_4，conv5_1，conv5_2，conv5_3，conv5_4。所有卷积层都与BN(batch normalization)层，scaling and shifting层，以及CReLU激活层相结合。对于残差模块，除第一个卷积层以外的所有层都应用了残差学习。将pool1_1投影到conv2_1，conv2_3投影到conv3_1，conv3_4投影到conv4_1，conv4_4投影到conv5_1。与原有的残差学习训练思想不同，我们还在inception层上增加了残差连接，以稳定整个深层网络体系结构。然后，我们缩小了由图层conv3_4生成的特征图，并放大了由conv5_4生成的特征图，并将这两个特征图与由卷积核conv4_4生成的特征图连接起来。然后将上述特征连接到一个Faster-rcnn检测网络中，生成病变位置的候选区域，最后预测每个ROI的边界框和对应病变的分类结果。
通过设计的这种包含了CReLU，残差学习和Inception三种模块的整体检测结构，降低了神经网络的训练的难度(残差学习)，提高了病变的检测率(Inception模块)，加快了神经网络检测病变的速度(CReLU模块)，解决了对于心脏冠状动脉微小病变检测困难的问题。
本发明提供的实施例一，输入为病人一段冠状动脉造影Dicom文件，自动输出包含了具体病理参数。区别于传统的浅层学习，基于卷积神经网络的深度学习有以下有益效果：1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2)明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，这些特征更能够刻画心脏狭窄病变的内在信息，而HOG特征对于病变与心脏健康位置相似度很高的位置的区分位置的区分度并不是很高，我们使用深度神经网络从大量医疗数据中自动提取出的特征能够有效增加对于系统心脏狭窄病变检测的准确率。
实施例二
本发明另一方面还提供了一种基于深度学习的冠状动脉病变自动检测系统200，包括：训练单元和测试单元；
训练单元，包括：
文本信息处理模块，用于从医疗综合数据库中存储的冠状动脉病变病历中提取病人的基本特征，基于提取的基本特征使用C4.5决策树算法训练一个分类决策树，分类决策树将病变种类信息输出至Dicom视频处理模块中；
Dicom视频处理模块，用于通过接收到的病变种类信息，使用SSN从医疗综合数据库中存储的与所述病变种类信息对应的心脏造影Dicom视频中筛选出包含病变的关键帧，并将关键帧输出到神经网络控制器中；
神经网络控制器，用于基于caffe深度学习框架使用关键帧数据逐层训练，若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将神经网络中各个层的参数组合成模型存储到模型存储模块中；
测试单元，包括：
神经网络控制器，用于接收特定病人的Dicom视频，基于特定病人的Dicom视频从模型存储模块中提取对应的模型，将特定病人的Dicom视频数据输入至训练好的模型中，输出最终的病变位置和病变种类。
具体的，参考图1，神经网络控制器是系统的核心部件，控制器的输入端与电源模块，USB接口连接，控制器和Dicom视频处理模块连接，控制器还分别与神经网络训练模块，反馈模块，测试模块，模型存储模块相连接。
电源模块为神经网络控制器供电，USB接口可以作为神经网络控制器的输入数据流，神经网络控制器接受Dicom视频处理模块传来的关键帧数据。在神经网络的训练流程中，控制器使用这些数据，将这些数据传给神经网络训练模块、反馈模块、进行神经网络的综合训练，训练结束后，控制器将神经网络的模型输入到模型存储模块之中。在神经网络的测试流程中，控制器从模型存储模块中取出在训练阶段训练好的模型，之后将测试Dicom的关键帧输入神经网络测试模块，并最终显示测试结果。
Dicom视频处理模块与电源模块相连接，输入端与文本信息处理模块相连接和图像数据库相连接，输出端与神经网络控制器相连接。
电源模块为Dicom视频处理模块供电，Dicom视频处理模块接收图像数据库中的Dicom视频作为原始输入。同时Dicom视频处理模块接收文本信息处理模块传来的病人的病例信息，将文本病例信息作为辅助信息增强Dicom视频处理模块对关键帧的筛选准确率。Dicom视频处理模块筛选关键帧之后，将它们输入到神经网络控制器中。
文本信息处理模块与电源模块相连接，输入端与Dicom视频处理模块相连接和病例数据库相连接。
电源模块为文本信息处理供电，文本信息处理模块接收病例数据库中的病人病历信息作为原始输入。将处理结果输出到Dicom视频处理模块进一步处理。
神经网络控制器使用Intel Xeon CPU E5-2630 v4 CPU和NVIDIA GTX 1080 TiGPU进行协同控制。
本发明实施例二具体实现的功能和处理方式参见方法实施例一描述的具体步骤，方法的实施例和原理实例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
实施例三
如图2所示，本发明另一方面还提供了一种基于深度学习的冠状动脉病变自动检测设备300，包括实施例二所述的系统200。
本发明提供了一种基于深度学习的冠状动脉病变自动检测设备，应用基于深度学习的物体检测技术到冠状动脉的病变检测之中。应用基于机器学习的文本处理技术到冠状动脉的病变检测之中。将文本处理与图像处理技术融合，融合了多个模态的信息用于冠状动脉的病变检测。完全将冠状动脉病变检测的流程自动化，在检测过程中无需人工参与。使用本发明的技术方案可以实时地检测出心脏冠状动脉中的病变，并给医生以参考和帮助。相比其他系统，本发明显著提高了病变检测率，缩短了诊疗流程。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度学习的冠状动脉病变自动检测方法，其特征在于，该方法包括以下步骤：
步骤一、训练步骤，包括：
S101、文本信息处理模块从医疗综合数据库中存储的冠状动脉病变病历中提取病人的基本特征，基于提取的基本特征使用C4.5决策树算法训练一个分类决策树，分类决策树将病变种类信息输出至Dicom视频处理模块中；
S102、Dicom视频处理模块通过接收到的病变种类信息，使用SSN从医疗综合数据库中存储的与所述病变种类信息对应的心脏造影Dicom视频中筛选出包含病变的关键帧，并将关键帧输出到神经网络控制器中；
S103、神经网络控制器基于caffe深度学习框架使用关键帧数据逐层训练，若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将神经网络中各个层的参数组合成模型存储到模型存储模块中；
步骤二、测试步骤：
S201、神经网络控制器接收特定病人的Dicom视频，基于特定病人的Dicom视频从模型存储模块中提取对应的模型，将特定病人的Dicom视频数据输入至训练好的模型中，输出最终的病变位置和病变种类。
2.如权利要求1所述的方法，其特征在于，步骤S101中，所述基本特征指的是包含敏感特征信息和/或缺失特征信息的病例特征信息。
3.如权利要求1-2之一所述的方法，其特征在于，步骤S102中，具体包括：
接收从医疗综合数据库中存储的与所述病变种类信息对应的整段心脏造影Dicom视频；
基于病变种类信息，使用SSN协同分析整段心脏造影Dicom视频中出现的关键动作位置点；
基于关键动作位置点，对整段Dicom视频分段，并迭代此步骤，直到视频分段满足设定值；
选取视频分段中的任意一帧作为关键帧，将关键帧输入到神经网络控制器中。
4.如权利要求1所述的方法，其特征在于，Dicom视频包含若干帧的冠状血管造影，冠状血管造影中标记有病变部位，包括但不限于全部梗阻、狭窄、三叉神经、分叉、主动脉病变，严重迂曲、重度钙化、血栓中的一种或多种。
5.如权利要求1所述的方法，其特征在于，步骤S103中，具体包括：
神经网络控制器将关键帧数据不断输入至神经网络训练模块中，神经网络训练模块将关键帧数据从下至上逐层通过神经网络的各个层，每一层的卷积核对输入做处理，产生的输出作为下一层的输入，直到最后一层，计算出最后预测的病变位置，和真实的病变位置作比较计算出偏差值，将偏差值输出至反馈模块中；
反馈模块通过BP算法反向传播偏差值，从上至下逐层更新每一层卷积核的参数；
若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将每一层卷积核的参数合成模型存储到模型存储模块中。
6.如权利要求1所述的方法，其特征在于，步骤S103之后，还包括步骤S104，具体包括：
神经网络控制器从模型存储模块中读取预训练好的模型，判断该模型的网络迭代次数是否小于阈值，若是，则重复步骤S103，当特征优化速度变慢时，降低优化幅度继续重复步骤S103；若否，则进入测试步骤。
7.如权利要求1所述的方法，其特征在于，所述神经网络控制器中多层神经网络的逐层顺序包括：
对输入的特征图实现卷积操作的卷积层；
最大池化层；
多个具有CReLU(Concatenated Rectified Linear Units，基于连接特征图的修正线性单元激活函数)激活功能的卷积层组成的CReLU模块；
多个Inception多尺度植入层组成的Inception模块；
所有卷积层都与BN(batch normalization，批量正则化层)层，比例位移转化(scalingand shifting)层，以及CReLU模块相结合；
除第一个卷积层以外的所有层都应用了残差学习；
将上述特征连接到一个Faster-rcnn(Faster Region with Convolutional NeuralNetwork features，基于区域选择的卷积神经网络的快速目标检测网络)检测网络中，生成病变位置的候选区域，最后预测每个ROI(region of interest，感兴趣区域)的边界框和对应病变的分类结果。
8.如权利要求7所述的方法，其特征在于，所述CReLU模块为使用CReLU结构减少网络的计算提高运算速度；具体计算过程如下：
过滤器产生的结果为
Figure FDA0002708271650000031
其中，x为输入值，
Figure FDA0002708271650000035
为使用一半卷积核进行卷积的结果，
Figure FDA0002708271650000032
为另一半的卷积核卷积产生的结果；
将过滤器产生的结果经过ReLU函数：
Figure FDA0002708271650000033
通过CReLU模块得到的输出结果为：
Figure FDA0002708271650000034
其中，
Conv为卷积层，Concat为拼接操作，Scale/Shift将特征图进一步变化，ReLU为最后的激活函数。
9.一种基于深度学习的冠状动脉病变自动检测系统，其特征在于，包括：训练单元和测试单元；
训练单元，包括：
文本信息处理模块，用于从医疗综合数据库中存储的冠状动脉病变病历中提取病人的基本特征，基于提取的基本特征使用C4.5决策树算法训练一个分类决策树，分类决策树将病变种类信息输出至Dicom视频处理模块中；
Dicom视频处理模块，用于通过接收到的病变种类信息，使用SSN从医疗综合数据库中存储的与所述病变种类信息对应的心脏造影Dicom视频中筛选出包含病变的关键帧，并将关键帧输出到神经网络控制器中；
神经网络控制器，用于基于caffe深度学习框架使用关键帧数据逐层训练，若网络训练次数小于设定阈值，从Dicom视频处理模块中继续读取关键帧数据逐层训练，直至网络训练次数达到设定阈值，停止训练，将神经网络中各个层的参数组合成模型存储到模型存储模块中；
测试单元，包括：
神经网络控制器，用于接收特定病人的Dicom视频，基于特定病人的Dicom视频从模型存储模块中提取对应的模型，将特定病人的Dicom视频数据输入至训练好的模型中，输出最终的病变位置和病变种类。
10.一种基于深度学习的冠状动脉病变自动检测设备，其特征在于，包括权利要求9所述的系统。
CN201810070192.1A 2018-01-24 2018-01-24 基于深度学习的冠状动脉病变自动检测方法、系统和设备 Active CN108280827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810070192.1A CN108280827B (zh) 2018-01-24 2018-01-24 基于深度学习的冠状动脉病变自动检测方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810070192.1A CN108280827B (zh) 2018-01-24 2018-01-24 基于深度学习的冠状动脉病变自动检测方法、系统和设备

Publications (2)

Publication Number Publication Date
CN108280827A CN108280827A (zh) 2018-07-13
CN108280827B true CN108280827B (zh) 2020-11-24

Family

ID=62805029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810070192.1A Active CN108280827B (zh) 2018-01-24 2018-01-24 基于深度学习的冠状动脉病变自动检测方法、系统和设备

Country Status (1)

Country Link
CN (1) CN108280827B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146872B (zh) * 2018-09-03 2021-12-17 北京邮电大学 基于深度学习和光流法的心脏冠状动脉影像分割识别方法
CN109376589B (zh) * 2018-09-07 2022-01-14 中国海洋大学 基于卷积核筛选ssd网络的rov形变小目标识别方法
CN109192305B (zh) * 2018-09-12 2020-11-20 中国人民解放军陆军军医大学第二附属医院 一种基于深度循环神经网络的心功能自动分析方法
CN109363632A (zh) * 2018-09-26 2019-02-22 北京三医智慧科技有限公司 脉象数据的解读方法和脉象数据的解读装置
CN109303574A (zh) * 2018-11-05 2019-02-05 深圳开立生物医疗科技股份有限公司 一种识别冠脉异常的方法及装置
CN109363662B (zh) * 2018-11-08 2020-11-27 山东大学 一种便携式血栓检测装置
CN109658407A (zh) * 2018-12-27 2019-04-19 上海联影医疗科技有限公司 冠状动脉病变的评分方法、装置、服务器和存储介质
CN110808096B (zh) * 2019-10-30 2022-04-19 北京邮电大学 基于卷积神经网络的心脏病变自动检测系统
CN111568393B (zh) * 2020-05-10 2023-05-12 张东 一种基于人工智能的个体化中医脉诊系统
CN112288819B (zh) * 2020-11-20 2022-06-24 中国地质大学（武汉） 多源数据融合的视觉引导机器人抓取及分类系统及方法
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805463B2 (en) * 2013-08-27 2017-10-31 Heartflow, Inc. Systems and methods for predicting location, onset, and/or change of coronary lesions
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
CN106372390B (zh) * 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106909778B (zh) * 2017-02-09 2019-08-27 北京市计算中心 一种基于深度学习的多模态医学影像识别方法及装置

Also Published As

Publication number Publication date
CN108280827A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280827B (zh) 基于深度学习的冠状动脉病变自动检测方法、系统和设备
US10206646B2 (en) Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN106037710B (zh) 在医学成像中合成数据驱动的血液动力学测定
Selver et al. Patient oriented and robust automatic liver segmentation for pre-evaluation of liver transplantation
EP3482346A1 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN110638438A (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
JP2018139693A (ja) 画像分類装置、方法およびプログラム
Le et al. Liver tumor segmentation from MR images using 3D fast marching algorithm and single hidden layer feedforward neural network
Florin et al. Globally optimal active contours, sequential Monte Carlo and on-line learning for vessel segmentation
Chen et al. A lung dense deep convolution neural network for robust lung parenchyma segmentation
Yang et al. Efficient and robust instrument segmentation in 3D ultrasound using patch-of-interest-FuseNet with hybrid loss
Rodríguez et al. Computer aided detection and diagnosis in medical imaging: a review of clinical and educational applications
Sivanesan et al. Unsupervised medical image segmentation with adversarial networks: From edge diagrams to segmentation maps
Khachnaoui et al. Deep learning for automatic pulmonary embolism identification using cta images
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
US20230394654A1 (en) Method and system for assessing functionally significant vessel obstruction based on machine learning
Roy et al. Vessels segmentation in angiograms using convolutional neural network: A deep learning based approach
Öztürk et al. A novel polyp segmentation approach using U-net with saliency-like feature fusion
Sen et al. A comparison of medical image segmentation methods for cerebral aneurysm computational hemodynamics
Tu An integrated framework for image segmentation and perceptual grouping
CN111598870B (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
Subramanian et al. Design and Evaluation of a Deep Learning Aided Approach for Kidney Stone Detection in CT scan Images
Iwao et al. Integrated lung field segmentation of injured regions and anatomical structures from chest CT images
Bravo et al. An unsupervised clustering framework for automatic segmentation of left ventricle cavity in human heart angiograms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210114

Address after: 100081 818-1, 8th floor, building 1, yard 59, gaoliangqiaoxie street, Haidian District, Beijing

Patentee after: BEIJING HONGYUN VISION TECHNOLOGY Co.,Ltd.

Patentee after: FUWAI HOSPITAL, CHINESE ACADEMY OF MEDICAL SCIENCES

Address before: 100086 room 1105, 11 / F, building 61, 8 a 8 B 8, Zhongguancun South Street, Haidian District, Beijing

Patentee before: BEIJING HONGYUN VISION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right