CN111598870A - 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 - Google Patents

基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 Download PDF

Info

Publication number
CN111598870A
CN111598870A CN202010409863.XA CN202010409863A CN111598870A CN 111598870 A CN111598870 A CN 111598870A CN 202010409863 A CN202010409863 A CN 202010409863A CN 111598870 A CN111598870 A CN 111598870A
Authority
CN
China
Prior art keywords
neural network
image
grid
calcification
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010409863.XA
Other languages
English (en)
Other versions
CN111598870B (zh
Inventor
杜强
李剑楠
郭雨晨
聂方兴
张兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xbentury Network Technology Co ltd
Original Assignee
Beijing Xbentury Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xbentury Network Technology Co ltd filed Critical Beijing Xbentury Network Technology Co ltd
Priority to CN202010409863.XA priority Critical patent/CN111598870B/zh
Publication of CN111598870A publication Critical patent/CN111598870A/zh
Application granted granted Critical
Publication of CN111598870B publication Critical patent/CN111598870B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于卷积神经网络端对端推理计算冠状动脉钙化比的方法。该方法包括：确定要输入的CT图像组；然后将该CT图像组切分成方格3D图像；将该图像的信息输入到神经网络中来提取抽象特征；经过第一全连接层来进行该图像是否是心脏的神经网络训练；经过第二全连接层来进行该图像是否有冠脉的神经网络训练；经过第三全连接层来进行该图像具有的冠脉中是否有钙化的神经网络训练；经过第四全连接层来进行该图像具有的冠脉所在的位置的神经网络训练；经过第五全连接层来进行该图像具有的冠脉的钙化比例的神经网络训练。本发明解决了如何模拟影像科医生在判断病例的钙化过程当中进行多个判定的问题，提供了能够进行层层推理的端对端的神经网络。

Description

基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
技术领域
本发明涉及医疗图像处理技术领域，尤其是涉及一种基于卷积神经网络端对端推理计算冠状动脉钙化比的方法。
背景技术
目前，随着互联网上图像数据的大规模增长，图像分类判别技术受到广泛的关注和应用。尤其是在医学领域的分类和判定上，目前的技术多是基于卷积神经网络的判别模型或者说是分类模型。由于神经网络具有很强大的抽象能力和识别能力，所以有很多科研机构做了很多这方面的研究，并且有了许多突破性的进展。比较流行的主流网络是VGG、ResNet、DenseNet和Google Inception。
现有的医学分割技术基于传统计算机视觉技术，将CT值(～-1000Hu,～1000Hu)投射到灰度空间(0～255)上，影像科医生一般通过对图像的CT值调节窗宽和窗位，待病灶区域比较明显再进行判定，这种方法，只能够对病灶的良恶性进行初步筛查，有极大的误诊率，但是医生能够对该病例的状况进行理性判断，从而决定是否做进一步检查，这一步检查一般花费会比较高，当然也具有较高的准确性。
所以诊断过程中可能会涉及到按照步骤进行的推断过程，拿冠脉举例来说，影像科医生在判断病例的钙化过程当中需要经过如下几个步骤，判断推理过程可以用一个类似马尔可夫过程描述，状态转移示意如下：1.是否是心脏区域；2.是否有冠脉；3.冠脉中是否有钙化；4.什么位置的冠脉；5.钙化比例如何。现在没有类似于这种能够解决这种多状态，层层推理的端对端的神经网络。本发明提出了一个切实可行的技术方案来模拟医生的判定过程。
发明内容
本发明所要解决的技术问题是提供一种基于卷积神经网络端对端推理计算冠状动脉钙化比的方法。本发明解决了如何模拟影像科医生在判断病例的钙化过程当中进行多个判定的问题，提供了能够进行层层推理的端对端的神经网络，针对冠脉CT钙化区域进行预测和评估。更具体地，基于对一些公开数据集上的一些探究，发现目前冠脉标注需要的工作量大，而且这一步前期标注只是对冠脉进行分割，或者是基于对中心线提取的图像识别方法。这些分割结果的目的是在为后边的工作打基础，后边对于钙化非钙化的病变位置的识别与预测才是主要目的。所以本发明的技术方案是针对冠脉CT钙化区域的预测和评估提出的一个方案，但是同样可以推广到涉及到层层推理的医学的其他领域。
通过本发明可以实现的技术目的不限于上文已经特别描述的内容，并且本领域技术人员将从下面的详细描述中更加清楚地理解本文中未描述的其他技术目的。
本发明解决上述技术问题的技术方案如下：
根据本公开的一方面，本发明提供一种基于卷积神经网络端对端推理计算冠状动脉钙化比的方法，其特征在于，所述方法包括：
步骤1：确定要输入的CT图像组，该CT图像组代表病人做完CT检查后的所有图像信息，对该CT图像组进行归一化处理来减少图像之间的差异性；
步骤2：然后将该CT图像组切分成大小为64*64*64的方格3D图像，并且在每个方格3D图像上方都具有标签，每个方格3D图像都具有位置信息，所述标签包括五类标签；
步骤3：将具有第一类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，经过第一全连接层来进行该方格3D图像是否是心脏的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第一输出；
步骤4：将具有第二类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第一输出与抽象特征进行拼接，经过第二全连接层来进行该方格3D图像是否有冠脉的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第二输出；
步骤5：将具有第三类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第二输出与抽象特征进行拼接，经过第三全连接层来进行该方格3D图像具有的冠脉中是否有钙化的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第三输出；
步骤6：将具有第四类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第二输出与抽象特征进行拼接，经过第四全连接层来进行该方格3D图像具有的冠脉所在的位置的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第四输出；
步骤7：将具有第五类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第三输出与抽象特征进行拼接，经过第五全连接层来进行该方格3D图像具有的冠脉的钙化比例的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第五输出。
可选地，所述3D卷积神经网络是ResNet或者VGG用作骨干的神经网络。
可选地，所述CT图像组具有256张图像，该图像的大小是512*512。
可选地，所述CT图像组中的图像的数量根据不同病人的情况而不同，该图像的大小是512*512。
可选地，所述五类标签分别是：是否是心脏、是否有冠脉、冠脉中是否有钙化、冠脉所在的位置、钙化比例。
可选地，所述一定的程度是80％的准确率。
可选地，将该第五输出归类为5个档次，所述5个档次分别是无、轻微、中等、严重、堵塞。
根据本公开的一方面，本发明提供一种基于卷积神经网络端对端推理计算冠状动脉钙化比的设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的基于卷积神经网络端对端推理计算冠状动脉钙化比的方法的步骤。
根据本公开的一方面，本发明提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上任一项所述的基于卷积神经网络端对端推理计算冠状动脉钙化比的方法的步骤。
上述技术方案仅为本发明实施例的一些部分，本领域技术人员从以下本发明的详细描述中可以导出和理解包含了本发明的技术特征的各种实施例。
本领域技术人员将会理解，通过本发明可以实现的效果不限于上文已经具体描述的内容，并且从以下详细说明中将更清楚地理解本发明的其他优点。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的卷积神经网络的结构的示意图。
图2示出了根据本发明实施例提供的方法使用VGG-19的示意图。
图3示出了冠脉CTA的示例图像。
图4示出了根据本发明实施例提供的方法标注过的心脏区域的示例图像。
图5示出了根据本发明实施例提供的方法标注过的冠脉的示例图像。
具体实施方式
现在将详细参考本发明的示例性实施例，其示例在附图中示出。下面将参考附图给出的详细描述旨在解释本发明的示例性实施例，而不是示出可以根据本发明实现的唯一实施例。以下详细描述包括具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。
在一些情况下，已知的结构和设备被省略或以框图形式示出，集中于结构和设备的重要特征，以免模糊本发明的概念。在整个说明书中将使用相同的附图标记来表示相同或相似的部分。
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“中心”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
本发明实施例提供一种基于卷积神经网络端对端推理计算冠状动脉钙化比的方法，其特征在于，所述方法包括：步骤1：确定要输入的CT图像组，该CT图像组代表病人做完CT检查后的所有图像信息，对该CT图像组进行归一化处理来减少图像之间的差异性；步骤2：然后将该CT图像组切分成大小为64*64*64的方格3D图像，并且在每个方格3D图像上方都具有标签，每个方格3D图像都具有位置信息，所述标签包括五类标签；步骤3：将具有第一类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，经过第一全连接层来进行该方格3D图像是否是心脏的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第一输出；步骤4：将具有第二类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第一输出与抽象特征进行拼接，经过第二全连接层来进行该方格3D图像是否有冠脉的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第二输出；步骤5：将具有第三类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第二输出与抽象特征进行拼接，经过第三全连接层来进行该方格3D图像具有的冠脉中是否有钙化的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第三输出；步骤6：将具有第四类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第二输出与抽象特征进行拼接，经过第四全连接层来进行该方格3D图像具有的冠脉所在的位置的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第四输出；步骤7：将具有第五类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第三输出与抽象特征进行拼接，经过第五全连接层来进行该方格3D图像具有的冠脉的钙化比例的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第五输出。可选地，将第五输出作为最终结果，然后对其进行评估。可选地，在将抽象特征进行拼接之前可以加入一些新的卷积块。可选地，所述3D卷积神经网络是ResNet或者VGG用作骨干的神经网络。可选地，所述CT图像组具有256张图像，该图像的大小是512*512。可选地，所述CT图像组中的图像的数量根据不同病人的情况而不同，该图像的大小是512*512。可选地，所述五类标签包括是否是心脏、是否有冠脉、冠脉中是否有钙化、冠脉所在的位置、钙化比例。可选地，所述一定的程度是80％的准确率。可选地，将该第五输出归类为5个档次，所述5个档次分别是无、轻微、中等、严重、堵塞。
根据本发明的具体实施例，图1示出了本发明实施例提供的卷积神经网络的结构的示意图。首先需要明确输入，本发明的输入是CT图像组，其代表着一个病人做完CT检查后的所有图像信息。一般这样的图像大小是512*512*～256大小。其中“～”代表着大约有256张图像，这个数量随着不同病人的情况有所不同。在每个病例中，需要对图像进行归一化来减少图像之间的差异性。
图像处理标准化：由于实际测量的心脏区域的像素值分布在100～500之间，所以对图像首先进行归一化处理，公式如下：
Figure BDA0002492778250000081
由于是3维的图像，需要将位置信息加入到其中。这里将采用位置编码的方法，该方法是借鉴论文transformer(A.Vaswani，et al.，2018)一文中选择的简单位置编码。位置编码(PE)的公式如下：
PE(i，j，k)＝cos(a*ei)+sin(b*ej)+cos(c*ek)，i∈(0，511)，j∈(0，511)，k∈(0，255)
Iprocessed(i，j，k)＝Inormal(i，j，k)+PE(i，j，k)
值得注意的是第三个维度对应的“cos(c*ek)”可以有更好的替代，不过这个不是本发明的重点，重点是能够让神经网络“意识”到位置信息并加以学习。
然后将整个3D图像切分成64*64*64的方格，并且也将标签部分做同样的处理。这样将一个大的3D图像切分成小的规则的3D图像，并且每个小的图像上边都有标签，五类标签分别是：1.是否是心脏，2.是否有冠脉，3.冠脉中是否有钙化，4.冠脉所在的位置，5.钙化比例如何。
本发明的神经网络的结构如下：
在前处理过程中得到的64*64*64的方格3D图像带有位置信息(PE)，将这个3D图像的信息输入到3D卷积神经网络中，这个神经网络可以是ResNet或者是VGG作为骨干的神经网络，用来提取抽象特征(图1中的过程0)，然后经过fully-connected-layer(全连接层)来预测是否该区域包含心脏部分，这样就将一个分割问题转化为分类问题。但是特征提取部分却能够将卷积调整到心脏区域。
首先要先将是否是心脏的神经网络训练到一定的程度(达到约80％的准确率)，也就是上图1中的a。然后将用来判断是否是心脏的全连接层拼接到图1中的过程1的输出，同理再进行是否有冠脉的神经网络训练，也就是上图1中的b，并且达到一定的程度，结果发现在训练冠脉的过程中，是否是心脏的准确率也随着是否有冠脉的提升而提升，接着再将过程2的输出与之前的全连接层进行拼接再输入到全连接(fc3和fc4)，也就是上图1中的c。同理，再以同样的方法输入到fc5里边进行训练，注意这部分的输出是连续值，不需要用激活函数(例如sigmoid)进行分类，全连接层加偏置直接输出连续值即可。分类任务使用BCE(Binary Cross Entropy)损失函数，而回归任务使用MSE损失函数。
图2示出了根据本发明实施例提供的方法使用VGG-19的示意图。3个过程需要从中间层中连接出来，并且加入一些新的卷积块，这样做有具有两个有点，一个是可以让训练不同任务的卷积层不互相影响，另外一点是可以让最终的输出特征具有同样的抽象特征能力，这样在输出训练的时候所有的任务都可以按照统一比例计算损失。过程1的输出连接到全连接层(FC2)，过程2的输出连接到全连接层(FC3)，过程3的输出连接到全连接层(FC5)。
由于每一个3D立方块都有5种标签，而且标签之间有递推关系，这样进行推导就能够把这些标签之间的相互关系模拟医生的思维模式展现出来并且加以训练。
在训练的过程中首先对过程0进行训练，再对过程0(处理第一类标签，将具有第一类标签的图像输入3D卷积神经网络)和过程1(处理第二类标签，将具有第二类标签的图像输入3D卷积神经网络)进行训练，一个一个加入，最后将五类标签全部输入进行训练来完成最终的训练。
最后的钙化比例部分，虽然训练的时候是用的MSE，但是在评估的时候分别将预测出来的连续数值归到5个档次，分别是：无，轻微，中等，严重，堵塞。所以这几个任务最后的评估标准都是分类任务的准确率。图3示出了现有的冠脉CTA的示例图像。图4示出了根据本发明实施例提供的方法标注过的心脏区域的示例图像。图5示出了根据本发明实施例提供的方法标注过的冠脉的示例图像。
实施例2
根据本发明的实施例，本发明提供一种基于卷积神经网络端对端推理计算冠状动脉钙化比的设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上实施例1中所述的基于卷积神经网络端对端推理计算冠状动脉钙化比的方法的步骤。
实施例3
根据本发明的实施例，本发明提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上实施例1中所述的基于卷积神经网络端对端推理计算冠状动脉钙化比的方法的步骤。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
如上所述，已经给出了本发明的优选实施例的详细描述，以使本领域技术人员能够实施和实践本发明。虽然已经参照示例性实施例描述了本发明，但是本领域技术人员将会理解，在不脱离所附权利要求书中描述的本发明的精神或范围的情况下，可以在本发明中进行各种修改和改变。因此，本发明不应限于在此描述的特定实施例，而应被赋予与本文公开的原理和新颖特征一致的最宽范围。

Claims (9)

1.一种基于卷积神经网络端对端推理计算冠状动脉钙化比的方法，其特征在于，所述方法包括：
步骤1：确定要输入的CT图像组，该CT图像组代表病人做完CT检查后的所有图像信息，对该CT图像组进行归一化处理来减少图像之间的差异性；
步骤2：然后将该CT图像组切分成大小为64*64*64的方格3D图像，并且在每个方格3D图像上方都具有标签，每个方格3D图像都具有位置信息，所述标签包括五类标签；
步骤3：将具有第一类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，经过第一全连接层来进行该方格3D图像是否是心脏的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第一输出；
步骤4：将具有第二类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第一输出与抽象特征进行拼接，经过第二全连接层来进行该方格3D图像是否有冠脉的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第二输出；
步骤5：将具有第三类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第二输出与抽象特征进行拼接，经过第三全连接层来进行该方格3D图像具有的冠脉中是否有钙化的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第三输出；
步骤6：将具有第四类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第二输出与抽象特征进行拼接，经过第四全连接层来进行该方格3D图像具有的冠脉所在的位置的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第四输出；
步骤7：将具有第五类标签的方格3D图像的信息输入到3D卷积神经网络中来提取抽象特征，将该第三输出与抽象特征进行拼接，经过第五全连接层来进行该方格3D图像具有的冠脉的钙化比例的神经网络训练，将该神经网络训练进行到一定的程度，并且将所训练的结果作为第五输出。
2.根据权利要求1所述的方法，
其特征在于，所述3D卷积神经网络是ResNet或者VGG用作骨干的神经网络。
3.根据权利要求1所述的方法，
其特征在于，所述CT图像组具有256张图像，该图像的大小是512*512。
4.根据权利要求1所述的方法，
其特征在于，所述CT图像组中的图像的数量根据不同病人的情况而不同，该图像的大小是512*512。
5.根据权利要求1所述的方法，
其特征在于，所述五类标签分别是：是否是心脏、是否有冠脉、冠脉中是否有钙化、冠脉所在的位置、钙化比例。
6.根据权利要求1所述的方法，
其特征在于，所述一定的程度是80％的准确率。
7.根据权利要求1所述的方法，
其特征在于，将该第五输出归类为5个档次，所述5个档次分别是无、轻微、中等、严重、堵塞。
8.一种用于基于卷积神经网络端对端推理计算冠状动脉钙化比的设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于卷积神经网络端对端推理计算冠状动脉钙化比的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述的基于卷积神经网络端对端推理计算冠状动脉钙化比的的方法的步骤。
CN202010409863.XA 2020-05-15 2020-05-15 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法 Active CN111598870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010409863.XA CN111598870B (zh) 2020-05-15 2020-05-15 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409863.XA CN111598870B (zh) 2020-05-15 2020-05-15 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法

Publications (2)

Publication Number Publication Date
CN111598870A true CN111598870A (zh) 2020-08-28
CN111598870B CN111598870B (zh) 2023-09-15

Family

ID=72190987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409863.XA Active CN111598870B (zh) 2020-05-15 2020-05-15 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法

Country Status (1)

Country Link
CN (1) CN111598870B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943699A (zh) * 2022-05-16 2022-08-26 北京医准智能科技有限公司 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372475A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Method and System for Vascular Disease Detection Using Recurrent Neural Networks
CN107871318A (zh) * 2017-11-16 2018-04-03 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108171698A (zh) * 2018-02-12 2018-06-15 数坤（北京）网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
CN108491765A (zh) * 2018-03-05 2018-09-04 中国农业大学 一种蔬菜图像的分类识别方法及系统
CN110222759A (zh) * 2019-06-03 2019-09-10 中国医科大学附属第一医院 一种冠状动脉易损斑块自动识别系统
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN110473186A (zh) * 2019-02-14 2019-11-19 腾讯科技（深圳）有限公司 一种基于医学图像的检测方法、模型训练的方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372475A1 (en) * 2016-06-23 2017-12-28 Siemens Healthcare Gmbh Method and System for Vascular Disease Detection Using Recurrent Neural Networks
CN107871318A (zh) * 2017-11-16 2018-04-03 吉林大学 一种基于模型迁移的冠状动脉钙化斑块检测方法
CN108171698A (zh) * 2018-02-12 2018-06-15 数坤（北京）网络科技有限公司 一种自动检测人体心脏冠脉钙化斑块的方法
CN108491765A (zh) * 2018-03-05 2018-09-04 中国农业大学 一种蔬菜图像的分类识别方法及系统
WO2019200753A1 (zh) * 2018-04-17 2019-10-24 平安科技（深圳）有限公司 病变监测方法、装置、计算机设备和存储介质
CN110473186A (zh) * 2019-02-14 2019-11-19 腾讯科技（深圳）有限公司 一种基于医学图像的检测方法、模型训练的方法及装置
CN110222759A (zh) * 2019-06-03 2019-09-10 中国医科大学附属第一医院 一种冠状动脉易损斑块自动识别系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KYI PYAR WIN; YUTTANA KITJAIDURE: "Biomedical Images Stitching using ORB Feature Based Approach", 2018 INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATICS AND BIOMEDICAL SCIENCES (ICIIBMS) *
张卫卫: "基于深度神经网络的图像分割算法研究及其在心室和冠脉钙化上的应用", 中国优秀硕士学位论文全文数据库信息科技辑 *
张湘敏;吕梁;刘兴利;宋巍;杨净松;杜自宏;龙芳敏;: "人工智能在心脏影像诊断中的研究进展", 国际医学放射学杂志, no. 02 *
范同乐;李艳;王光磊;王洪瑞;韩业晨;: "基于FGCM的冠脉OCT图像纤维斑块分割算法", 激光杂志, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114943699A (zh) * 2022-05-16 2022-08-26 北京医准智能科技有限公司 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置
CN114943699B (zh) * 2022-05-16 2023-01-17 北京医准智能科技有限公司 分割模型训练方法、冠脉钙化斑块的分割方法、相关装置

Also Published As

Publication number Publication date
CN111598870B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
Houssein et al. Deep and machine learning techniques for medical imaging-based breast cancer: A comprehensive review
Biswas et al. State-of-the-art review on deep learning in medical imaging
CN109919928B (zh) 医学影像的检测方法、装置和存储介质
Ren ANN vs. SVM: Which one performs better in classification of MCCs in mammogram imaging
Reddy et al. A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging
Liu et al. A framework of wound segmentation based on deep convolutional networks
Kaur et al. A survey on deep learning approaches to medical images and a systematic look up into real-time object detection
Bhuvaneswari et al. A new fusion model for classification of the lung diseases using genetic algorithm
Cui et al. Supervised machine learning for coronary artery lumen segmentation in intravascular ultrasound images
Alfifi et al. Enhanced artificial intelligence system for diagnosing and predicting breast cancer using deep learning
Yang et al. RADCU-Net: Residual attention and dual-supervision cascaded U-Net for retinal blood vessel segmentation
Raut et al. Gastrointestinal tract disease segmentation and classification in wireless capsule endoscopy using intelligent deep learning model
Nie et al. Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning
Dong et al. Learning from dermoscopic images in association with clinical metadata for skin lesion segmentation and classification
CN112686899B (zh) 医学图像分析方法和装置、计算机设备及存储介质
Chatterjee et al. A survey on techniques used in medical imaging processing
Srivastava et al. Optimizing CNN based model for thyroid nodule classification using data augmentation, segmentation and boundary detection techniques
CN111598870A (zh) 基于卷积神经网络端对端推理计算冠状动脉钙化比的方法
Zhou et al. Two-phase non-invasive multi-disease detection via sublingual region
Huang et al. Semantic segmentation of breast ultrasound image with pyramid fuzzy uncertainty reduction and direction connectedness feature
Sharma et al. Solving image processing critical problems using machine learning
Munira et al. Multi-Classification of Brain MRI Tumor Using ConVGXNet, ConResXNet, and ConIncXNet
Mudduluru Developing and Applying Hybrid Deep Learning Models for Computer-Aided Diagnosis of Medical Image Data
Zeeshan Aslam et al. AML‐Net: Attention‐based multi‐scale lightweight model for brain tumour segmentation in internet of medical things
Ara et al. Novel approach of brain tumor segmentation using convolutional neural network hybridized with water cycle algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant