CN111340794A - 冠状动脉狭窄的量化方法及装置 - Google Patents

冠状动脉狭窄的量化方法及装置 Download PDF

Info

Publication number
CN111340794A
CN111340794A CN202010158502.2A CN202010158502A CN111340794A CN 111340794 A CN111340794 A CN 111340794A CN 202010158502 A CN202010158502 A CN 202010158502A CN 111340794 A CN111340794 A CN 111340794A
Authority
CN
China
Prior art keywords
coronary artery
view image
parameters
stenosis
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010158502.2A
Other languages
English (en)
Other versions
CN111340794B (zh
Inventor
张贺晔
张冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202010158502.2A priority Critical patent/CN111340794B/zh
Publication of CN111340794A publication Critical patent/CN111340794A/zh
Application granted granted Critical
Publication of CN111340794B publication Critical patent/CN111340794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种冠状动脉狭窄的量化方法及装置，包括：利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。基于多视角预测冠状动脉狭窄的形态学参数，缓解狭窄与其他血管重叠给狭窄量化带来的影响。

Description

冠状动脉狭窄的量化方法及装置
技术领域
本申请涉及医学检测领域，特别是冠状动脉狭窄的量化方法及装置。
背景技术
冠状动脉粥样硬化性心脏病(冠心病)是世界范围内最常见的心血管疾病之一。当冠状动脉壁上产生粥样硬化斑块时，会引起冠状动脉疾病。粥样硬化斑块会导致冠状动脉狭窄或闭塞，从而限制血液供应的心肌，并可能导致心肌缺血。当冠脉狭窄到达一定程度时，就需要进行介入治疗。此时，对冠脉狭窄进行量化在临床上变得十分重要，量化的相关参数指标决定了冠脉狭窄程度，并对介入术中决策以及支架选择起到参考作用。
在临床上，X-ray冠脉造影依然是帮助诊断和治疗冠状动脉疾病最常用的成像技术，且一直是观察冠脉狭窄的金标准。然而，目前在临床上医生主要通过目测或者手动测量的方法，在X-ray冠脉造影图像上对冠脉狭窄进行量化，这无疑是非常不准确的，并且不同的医生由于各自临床经验不同，也会造成冠脉狭窄量化结果不一致。并且在术中场景，这样的量化结果十分不可靠，不仅会降低术中工作效率，还会给病人带来一定的健康风险，甚至会导致不合适的介入治疗。因此，依靠计算机技术的自动量化冠脉狭窄的方法在临床上是迫切需要的，这不仅能够准确量化冠脉狭窄，还能一定程度上提高术中效率。
现有的基于计算机技术的方法大多基于低层次的冠脉特征表达，这并不能应对在X-ray冠脉造影图像上复杂的冠脉。在1997年，Andreas K.Klein等人在《IEEE医学影像汇刊》上提出，将一组不同方向的偶数和奇数S-Gabor滤波器对与血管图像进行卷积，以创建外部蛇形能量场。2015年，杨健等人在《IEEE生物医学工程汇刊》上，提出一种新颖的平均合成后外力背投影组合物模型，并集成到用于从多个造影冠状动脉的3-d重建的变形模型框架，这虽然能够得到了较为准确的量化结果，但是通过重建的中间过程，无疑积累了更多误差。2018年，Tao Wang在《生物医学中的计算机方法和程序》中提出一种基于图像的自动计算方法，该方法先通过图像处理，再进行血管轮廓提取，最后进行冠脉狭窄直径的估计。这些方法，虽然实现了相对于临床上医生目测的方法更好的量化结果，但是它们依然无法在适用于术中场景，因为这些方法大多基于多个中间过程，比如需要先对冠状动脉血管进行分割，提取或者重建等，这无疑造成了误差积累，并且耗时。
发明内容
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的冠状动脉狭窄的量化方法及装置，包括：
一种冠状动脉狭窄的量化方法，包括：
利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；
获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
进一步地，
所述多视角图像特征，包括：主视角特征，和/或辅助视角特征，和/或关键帧视角特征，和/或由按设定规律自所述主视角特征，所述辅助视角特征，和所述关键帧视角特征中提取的特征组成的一维或以上的综合性特征；其中，
所述主视角特征，包括：主视角序列图像灰度值；
和/或，
所述辅助视角特征，包括：辅助视角序列图像灰度值；
和/或，
所述关键帧视角特征，包括：关键帧图像灰度值；
和/或，
所述对应关系，包括：函数关系；所述多视角图像特征为所述函数关系的输入参数，所述冠状动脉狭窄的形态学参数为所述函数关系的输出参数；
确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数，还包括：
当所述对应关系包括函数关系时，将所述当前多视角图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前冠状动脉狭窄的形态学参数。
进一步地，所述建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系的步骤，包括：
获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据；
分析所述多视角图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述多视角图像特征与所述冠状动脉狭窄的形态学参数的所述对应关系。
进一步地，所述获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据的步骤，包括：
收集不同心脏状况的患者的所述多视角图像特征和所述冠状动脉狭窄的形态学参数；
对所述多视角图像特征进行分析、并结合预存的专家经验信息，选取与所述冠状动脉狭窄的形态学参数相关的数据作为所述多视角图像特征；
将所述冠状动脉狭窄的形态学参数、以及选取的所述多视角图像特征构成的数据对，作为样本数据。
进一步地，
所述网络结构，包括：CNN神经网络、3DCNN神经网络、HOG+RF模型、Indice-Net网络模型、DMTRL神经网络中的至少之一；
和/或，
所述网络参数，包括：卷积层数，卷积核大小，卷积核数量，归一化层数，池化层数，空洞卷积残差块数量，全连接层数，初始权值，以及，偏置值中的至少之一。
进一步地，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述多视角图像特征输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应冠状动脉狭窄的形态学参数之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述多视角图像特征输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应冠状动脉狭窄的形态学参数之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
进一步地，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；
通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
一种冠状动脉狭窄的量化装置，包括：
建立模块，用于利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；
获取模块，用于获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
确定模块，用于通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
一种设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的冠状动脉狭窄的量化方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的冠状动脉狭窄的量化方法的步骤。
本申请具有以下优点：
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。直接从冠脉造影X-ray图像上对冠脉狭窄进行量化，无需冠脉分割或重建等中间过程，这更加高效省时，并更适用于术中场景；通过学习冠状动脉狭窄在多视角图像下的特征与当前冠状动脉狭窄的形态参数之间的关系，来预测冠状动脉狭窄的形态学参数，基于多视角学习模式预测冠状动脉狭窄的形态学参数，能缓解狭窄与其他血管重叠给狭窄量化带来的影响；通过获取冠脉狭窄的多视角综合特征，以及多尺度特征，能应对不同病人冠脉差异性以及冠脉固有的形态多样特性。
附图说明
为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种冠状动脉狭窄的量化方法的步骤流程图；
图2是本申请一实施例提供的一种冠状动脉狭窄的量化方法的人工神经网络结构示意图；
图3是本申请一实施例提供的一种冠状动脉狭窄的量化方法的自注意力子模块结构示意图；
图4是本申请一实施例提供的一种冠状动脉狭窄的量化方法的上下文注意力子模块结构示意图；
图5是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的量化结果Bland-Altman分析示意图；
图6是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的多视角学习模式性能验证示意图；
图7-a是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的多视角学习对冠脉狭窄重叠的作用对比示意图；
图7-b是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的多视角学习对冠脉狭窄重叠的作用对比示意图；
图8是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的视角内层次注意力模块的性能验证对比示意图；
图9是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的自注意力特征可视化对比示意图；
图10是本申请一具体实现提供的一种冠状动脉狭窄的量化方法的不同特征的互信息对比示意图；
图11是本申请一实施例提供的一种冠状动脉狭窄的量化装置的结构框图；
图12是本发明一实施例的一种计算机设备的结构示意图。
具体实施方式
为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本发明任一实施例中，。
参照图1，示出了本申请一实施例提供的一种冠状动脉狭窄的量化方法，包括：
S110、利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角图像特征通过至少三个不同视角进行获取；
S120、获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
S130、通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
在本申请的实施例中，通过利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。直接从冠脉造影X-ray图像上对冠脉狭窄进行量化，无需冠脉分割或重建等中间过程，这更加高效省时，并更适用于术中场景；通过学习冠状动脉狭窄在多视角图像下的特征与当前冠状动脉狭窄的形态参数之间的关系，来预测冠状动脉狭窄的形态学参数，基于多视角学习模式预测冠状动脉狭窄的形态学参数，能缓解狭窄与其他血管重叠给狭窄量化带来的影响；通过获取冠脉狭窄的多视角综合特征，以及多尺度特征，能应对不同病人冠脉差异性以及冠脉固有的形态多样特性。
下面，将对本示例性实施例中冠状动脉狭窄的量化方法作进一步地说明。
如上述步骤S110所述，利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角图像特征通过至少三个不同视角进行获取。
例如：利用人工神经网络算法来分析冠状动脉狭窄的形态学参数对应的冠状动脉多视角医学图像的显示状态规律，通过人工神经网络的自学习、自适应特性找到患者冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数间的映射规律。
例如：可以利用人工神经网络算法，通过对大量不同志愿者(包括但不限于如下的一种或多种：年龄，体重，性别，病况等)的冠状动脉多视角医学图像的多视角图像特征汇总收集，选取若干志愿者的冠状动脉多视角医学图像的多视角图像特征及冠状动脉狭窄的形态学参数作为样本数据，对神经网络进行学习和训练，通过调整网络结构及网络节点间的权值，使神经网络拟合冠状动脉多视角医学图像的多视角图像特征及冠状动脉狭窄的形态学参数之间的关系，最终使神经网络能准确拟合出不同患者的冠状动脉多视角医学图像的多视角图像特征及冠状动脉狭窄的形态学参数的对应关系。
在一实施例中，所述多视角图像特征，包括：主视角特征，和/或辅助视角特征，和/或关键帧视角特征，和/或由按设定规律自所述主视角特征，所述辅助视角特征，和所述关键帧视角特征中提取的特征组成的一维或以上的综合特征；其中，
所述主视角特征，包括：主视角序列图像灰度值；
和/或，
所述辅助视角特征，包括：辅助视角序列图像灰度值；
和/或，
所述关键帧视角特征，包括：关键帧图像灰度值；
在一实施例中，所述对应关系，包括：函数关系。
优选地，所述多视角图像特征为所述函数关系的输入参数，所述冠状动脉狭窄的形态学参数为所述函数关系的输出参数；
确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数，还包括：
当所述对应关系包括函数关系时，将所述当前多视角图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前冠状动脉狭窄的形态学参数。
由此，通过多种形式的对应关系，可以提升对当前冠状动脉狭窄的形态学参数确定的灵活性和便捷性。
在一实施例中，可以结合下列描述进一步说明步骤S110中“建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系”的具体过程。
如下列步骤所述：获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据；
在一进阶实施例中，可以结合下列描述进一步说明“获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据”的具体过程。
如下列步骤所述：收集不同心脏状况的患者的所述多视角图像特征和所述冠状动脉狭窄的形态学参数；
例如：数据搜集：搜集不同健康状况的患者的多视角图像特征及对应的冠状动脉狭窄的形态学参数；以及，搜集不同年龄的患者的多视角图像特征及对应的冠状动脉狭窄的形态学参数；以及，搜集不同性别的患者的多视角图像特征及对应的冠状动脉狭窄的形态学参数。
由此，通过多种途径收集运行数据，有利于增加运行数据的量，提升人工神经网络的学习能力，进而提升确定的对应关系的精准性和可靠性。
如下列步骤所述：对所述多视角图像特征进行分析、并结合预存的专家经验信息，选取与所述冠状动脉狭窄的形态学参数相关的数据作为所述多视角图像特征(例如：选取对冠状动脉狭窄的形态学参数有影响的多视角图像特征作为输入参数，将指定参数作为输出参数)；
例如：通过将已确诊的志愿者的相关数据中的多视角图像特征作为输入参数，将其相关数据中的冠状动脉狭窄的形态学参数作为输出参数。
如下列步骤所述：将所述冠状动脉狭窄的形态学参数、以及选取的所述多视角图像特征构成的数据对，作为样本数据。
例如：将得到的输入、输出参数对，一部分用作训练本样数据，一部分用作测试样本数据。
由此，通过对收集到的多视角图像特征进行分析及处理，进而得到样本数据，操作过程简单，操作结果可靠性高。
如下列步骤所述：分析所述多视角图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
例如：分析多视角的冠脉造影数据特性及冠脉狭窄的形态学参数特征，可初步确定网络的基本结构、网络的输入、输出节点数、网络隐层数、隐节点数、网络初始权值等。
所述网络结构，包括：CNN神经网络、3DCNN神经网络、HOG+RF模型、Indice-Net网络模型、DMTRL神经网络中的至少之一；
和/或，
所述网络参数，包括：卷积层数，卷积核大小，卷积核数量，归一化层数，池化层数，空洞卷积残差块数量，全连接层数，初始权值，以及，偏置值中的至少之一。
参照图2-4，作为一种示例，本申请公开的方法所采用的人工神经网络包括主视角模块，辅视角模块，关键帧视角模块以及指标回归模块。将视角内层次注意力机制嵌入到主视角与辅视角模块，以获取可辨别的特征表达。通过关键帧视角来提取冠脉狭窄的多尺度特征，来补充特征的表达性，以更好地学习特征与狭窄形态学指标的映射关系。通过多视角的特征，指标回归模块直接量化冠脉狭窄。该方法的设计来源于模仿临床医生在术中的工作场景，医生一般从一个主投照体位和一个辅助投照体位，以及一个来自于主视角的关键帧去全面观察冠脉造影图像中的冠脉狭窄显影。本发明提出的方法，融合了来自多个视角的表达性的冠脉狭窄特征，以及互补性信息，这弥补了现有方法仅使用低层次特征的不足。本方法采用多视角学习模式，利用主视角模块和辅助视角模块学习冠脉狭窄的综合性的特征表达，缓解了冠脉造影中冠脉狭窄与其他血管重叠带来的影响；本方法还提出了视角内层次注意力模块嵌入到主视角和辅助视角模块，学习冠脉狭窄在当前视角下的辨别性特征；本方法还提出了关键帧视角模块，通过学习冠脉狭窄的多尺度信息，融合低层次的细节特征以及高层次的语义特征，对冠脉狭窄特征学习进行增强补充；本方法基于多个视角的冠脉狭窄特征学习，通过回归模块直接预测冠脉狭窄的多个临床相关的形态学指标。
如图2所示，其中，主视角模块，辅视角模块，关键帧视角模块构成多视角学习框架：利用主视角，辅视角，关键帧视角之间的互补性信息的融合，获取冠脉狭窄综合性的特征表达，并缓解冠脉狭窄被其它血管遮挡或重叠所带来特征提取不充分的影响。
为了从冠脉造影中获得冠脉狭窄的综合性的特征表达信息，从多个视角的冠脉造影X-ray图像中提取特征，挖掘多个视角中的互补性信息和一致性信息。在多视角学习框架中，我包含一个主视角模块，一个辅助视角模块，以及一个关键帧视角模块。其中，主视角和辅助视角模块从冠脉造影X-ray图像序列中挖掘冠脉狭窄特征，首先通过6层的3D卷积层获取冠脉的空间时序特征F3D，将F3D送入本发明设计的视角内层次注意力模块，获得冠脉狭窄强表达性的特征；关键帧视角模块从关键帧图像中挖掘狭窄的多尺度特征。
通过多视角的学习，获得多个视角的冠脉狭窄特征信息，Vv∈{Vm，Vs，Vkey}，其中，Vm表示主视角特征，Vs表示辅助视角特征，Vkey表示关键帧视角特征，通过融合多个视角的特征，利用回归模块直接预测冠脉狭窄的临床相关的形态学指标。
如图3-4所示，需要说明的是，通过视角内层次注意力机制：提取冠脉造影X-ray序列图像中，从像素区域到图像帧，再到当前视角中提取冠脉狭窄的特征，注意力机制的引入能更好的提取与狭窄相关的特征信息。
其中，视角内层次注意力机制通过其对应的视角内层次注意力模块实现，其接受来自3D卷积层的特征F3D，进一步获取更具表达性的特征，该模块主要包含如下两个子模块，自注意力子模块和上下文注意力子模块：
1.在自注意力子模块中
如图3所示，首先通过1x1x1的卷积操作将3D卷积特征F3D(TCM)转换为三种矩阵，分别为Q，K，V。对于图像序列中的第t帧特征xt，
Figure BDA0002404932710000111
Figure BDA0002404932710000114
Figure BDA0002404932710000113
上式中，
Figure BDA0002404932710000121
是注意力权重，表示第t帧特征xt中第j个像素区域和第i个像素区域的交互关系。
再者冠脉狭窄相关的注意力特征为
Figure BDA0002404932710000122
由下式计算而得，其中
Figure BDA0002404932710000123
为1x1x1卷积参数。
Figure BDA0002404932710000124
对于一个包括T帧的冠脉造影X-ray图像序列，其注意力特征为FA。最后，引入残差网络层，生成一个加权注意力特征
Figure BDA0002404932710000125
公式如下：
Figure BDA0002404932710000126
2.在上下文注意力子模块中：
如图4所示，需要说明的是，由于不是所有的像素区域都是重要的，因此需要采用像素上下文注意力机制，提取重要的像素区域特征，对于xt中的第r个区域
Figure BDA0002404932710000127
先经过一层感知器，得到特征
Figure BDA0002404932710000128
并引入像素上下文向量ur，经过softmax层，获得每一个区域的重要性权重
Figure BDA0002404932710000129
最后获得加权后的图像帧特征。具体操作如下式所示：
Figure BDA00024049327100001210
然而，在一个视角中，即一个冠脉造影X-ray图像序列中，并不是每一帧图像对冠脉狭窄量化的重要性都是相同的，所以引入图像帧上下文，挖掘每一帧图像的重要性，获得冠脉狭窄在当前视角下的特征，具体实现与像素上下文注意力机制相同，如下式所示：
Figure BDA00024049327100001211
式中，uf表示图像帧上下文向量，Vv表示最终冠脉狭窄在当前视角下的特征。
需要说明的是，通过关键帧视角：通过在不同的网络层，获取冠脉狭窄不同尺度的特征，包括低层次的细致信息，以及高层次的语义信息，将不同尺度特征融合以增强狭窄特征表达。
其中，关键帧视角模块是用来增强冠脉狭窄的特征表达，用于模仿临床场景中心脏专家关注某一帧显影非常好的造影图像来观察狭窄的特征的方式。
在关键帧视觉模块中，使用6个空洞卷积残差块(dilated residual block)来获取冠脉狭窄在冠脉造影图像中的多尺度特征，并通过全局平均池化层(global averagepooling)将不同尺度的特征下采样至相同维度大小的512维特征。
将来自6个空洞卷积残差块的6个512维特征送入一层全连接网络层，获得最终的512维特征，表示冠脉狭窄在关键帧特征，该特征融合了多个尺度特征信息，不仅包含低层次的细节信息，还融合了高层次的语义特征。
对于主视角，辅助视角，关键帧视角中提取的特征Vv∈{Vm，Vs，Vkey}，为了保证每个视角的特异性特征，提取一个视角特异性层，该层的操作如下公式所示，将每个视角的特征都经过该层，得到Sv∈{Sm，Ss，Skey}。
Sv＝Vv⊙sigmoid(log(abs(Vv)))
式中，sigmoid表示非线性激活函数。
在得到每个视角的特异性特征后，进行拼接处理，并接入两层全连接网络层，直接预测出冠脉狭窄的6个形态学指标。本发明神经网络模型的损失函数如下式所示：
Figure BDA0002404932710000131
式中，d表示形态学指标数目，N表示训练样本总数，Yi表示冠脉狭窄的真实标签数据，f(xi)表示回归模块中冠脉狭窄指标的预测值。为了防止模型过拟合，
Figure BDA0002404932710000132
表示L2正则化项，wi表示网络模型的参数。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述多视角图像特征与所述冠状动脉狭窄的形态学参数的所述对应关系”中对所述网络结构和所述网络参数进行训练的具体过程。
如下列步骤所述，选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述多视角图像特征输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
具体地，通过梯度下降算法最小化损失函数，更新网络参数，训练当前多视角神经网络模型，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应冠状动脉狭窄的形态学参数之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
具体地，当所述实际训练误差满足所述预设训练误差时，且在当前训练的模型收敛，确定对所述网络结构和所述网络参数的所述训练完成。
更可选地，对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
例如：若测试误差满足要求，则网络训练测试完成。
由此，通过将测试样本用于训练得到的网络结构和网络参数进行测试，以进一步验证网络结构及网络参数的可靠性。
可选地，可以结合下列描述进一步说明步骤“使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述多视角图像特征与所述冠状动脉狭窄的形态学参数的所述对应关系”中对所述网络结构和所述网络参数进行测试的具体过程。
如下列步骤所述，选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述多视角图像特征输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应冠状动脉狭窄的形态学参数之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
如上述步骤S120所述，获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
如上述步骤S130所述，通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数。
例如：实时识别出患者的冠状动脉多视角医学图像的多视角图像特征。
由此，通过基于对应关系，根据当前多视角图像特征有效地识别出冠状动脉多视角医学图像的当前冠状动脉狭窄的形态学参数，从而为医生的诊断提供准确的判断依据，且判断结果精准性好。
在一个可选例子中，步骤S130中确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，可以包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
在一个可选例子中，步骤S130中确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，还可以包括：当所述对应关系可以包括函数关系时，将所述当前多视角图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前冠状动脉狭窄的形态学参数。
由此，通过基于对应关系或函数关系，根据当前多视角图像特征确定当前冠状动脉狭窄的形态学参数，确定方式简便，确定结果可靠性高。
例如，用训练所得到的人工神经网络模型去检测测试集中每一个样例的冠状动脉狭窄的形态学参数。
在一个可选实施方式中，还可以包括：验证所述当前冠状动脉狭窄的形态学参数与实际冠状动脉狭窄的形态学参数是否相符的过程。
可选地，可以接收到所述当前冠状动脉狭窄的形态学参数与实际冠状动脉狭窄的形态学参数不符的验证结果、和/或确定所述对应关系中没有与所述当前多视角图像特征相同的多视角图像特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：设备本身无法获知到实际冠状动脉狭窄的形态学参数，需要有医生的反馈操作才行，即如果设备智能判断出冠状动脉狭窄的形态学参数，医生通过操作反馈其与实际的状态不符，设备才能获知。
验证所述当前冠状动脉狭窄的形态学参数与实际冠状动脉狭窄的形态学参数是否相符(例如：可以通过AR显示模块对实际冠状动脉狭窄的形态学参数进行显示，以验证确定的所述当前冠状动脉狭窄的形态学参数与实际冠状动脉狭窄的形态学参数是否相符)。
当所述当前冠状动脉狭窄的形态学参数与实际冠状动脉狭窄的形态学参数不符、和/或所述对应关系中没有与所述当前多视角图像特征相同的多视角图像特征时，对所述对应关系进行更新、修正、再学习中的至少一种维护操作。
例如：可以根据维护后的对应关系，根据所述当前多视角图像特征确定当前冠状动脉狭窄的形态学参数。例如：将维护后的所述对应关系中与所述当前多视角图像特征相同的多视角图像特征对应的冠状动脉狭窄的形态学参数，确定为当前冠状动脉狭窄的形态学参数。
由此，通过对确定的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系的维护，有利于提升对冠状动脉狭窄的形态学参数确定的精准性和可靠性。
参照图5～10，在一具体实现中，在Linux(Ubuntu16.04)系统上，使用Python完成了所有代码，在NVIDIA Tesla P40 24GB GPU显卡上训练并测试我们的模型。使用深度学习TensorFlow框架，利用Adam优化器，初始学习率设置为0.0002，正则化系数lambda设置为10-6。来自200个受试者的4000张冠脉造影X-ray图像上进行实验，采用十折交叉验证方法，验证本发明的有效性。
通过以下标准来衡量本申请实施例中提出的人工神经网络模型的性能：
(1)预测值与真实值之间的绝对误差MAE；
(2)预测值与真实值之间的皮尔逊相关性PCC；
(3)Bland-Altman一致性分析。
Figure BDA0002404932710000161
需要说明的是，在真实临床冠脉造影数据集上进行了多组实验，以证明本发明在冠脉狭窄量化上的有效性，具体如下所示：
(1)与多种现有的直接量化的方法进行对比，验证本方法的有效性；
参照图5，将本发明模型同其他现有方法进行对比。其中，现有方法包括CNN，3DCNN，HOG+RF，Indice-Net，以及DMTRL，实验结果如下表1所示：
Method View PRVD DRVD RVD MLD PLL DLL MAE(mm)↓ PCC(％)↑
CNNs<sup>1</sup> Key 0.8964 0.9421 0.9454 0.7387 2.7085 2.7711 1.5004±0.7264 85.36±15.63
HOG+RF<sup>1</sup> Key 0.7077 0.7232 0.6612 0.5683 2.7660 2.8042 1.3719±0.6689 90.45±11.65
Indice-Net<sup>1</sup> Key 0.9188 0.9765 0.8830 0.8869 2.8181 2.7506 1.5390±0.7024 86.89±15.49
3DCNNs<sup>1</sup> Main 0.6968 0.7406 0.6689 0.6453 2.6025 2.6339 1.3313±0.6608 90.48±11.69
3DCNNs<sup>1</sup> Sup 0.7318 0.7845 0.7118 0.6167 2.4864 2.5508 1.3137±0.6306 90.75±11.23
3DCNNs<sup>2</sup> Main,Sup 0.7666 0.7665 0.7621 0.7354 2.5107 2.5066 1.3424±0.6510 90.51±11.36
DMTRL<sup>1</sup> Main 0.7267 0.8054 0.7124 0.5683 2.4946 2.5245 1.3053±0.6627 90.45±11.24
DMTRL<sup>1</sup> Sup 0.7632 0.7764 0.7121 0.6372 2.5115 2.5385 1.3231±0.6301 90.56±10.70
DMTRL<sup>2</sup> Main,Sup 0.7632 0.7763 0.7121 0.6372 2.5115 2.5385 1.3231±0.6301 90.55±10.70
HEAL<sup>3</sup> Main,Sup,Key 0.6719 0.7050 0.6157 0.5936 2.4903 2.4556 1.2554±0.6201 90.89±11.04
表1
从表1中，可以清楚地得出本发明的方法(HEAL)在多个冠脉狭窄形态学指标上(PRVD，DRVD，RVD，DLL)的量化性能最好(即量化误差MAE最低)；从整体量化性能上看，本发明的方法获得最低的量化误差(1.2554mm)以及最高的皮尔逊相关性90.89％。其中表1中，方法(Method)一列中上标脚注表示当前方法所采用的视角数目。
此外，本发明的方法在真实临床数据上的量化结果与真实标签数据之间具有良好的一致性，图5中显示的是对量化结果的Bland-Altman分析，从图中可以看出，具有95.40的样本量化结果处于处于临床95％置信区间中，这表明了该发明方法在冠脉狭窄量化上取得的结果与真实值之间存在较好的临床一致性。
(2)与不同视角的不同组合方法进行对比，验证多视角学习模式的有效性，并在存在狭窄重叠的样本上验证多视角学习对狭窄重叠带来的影响是否有缓解；
具体地，通过与子模块之间的对比来验证多视角学习的有效性，分别与主视角模块(Main)，辅助视角模块(Sup)，关键帧视角模块(Key)，以及不同的两个视角模块的组合(包括Main+Sup；Main+Key；Sup+Key)进行对比。
结合(1)中的图5可以看出，多视角学习模式在冠脉狭窄量化任务中的作用。本发明的方法(HEAL)利用了三个视角，分别为主视角，辅助视角，以及关键帧视角，从实验结果看出，利用多个视角下的信息能够取得更好的量化结果。
此外，通过图6的数据也显示出利用两个视角的量化结果也优于使用一个视角的方法取得的结果。
因此，为了验证本发明中多视角学习模式对冠脉造影中存在冠脉狭窄与其他血管重叠的作用，实验中选出存在狭窄重叠的样本，通过观察在结合多视角学习与无多视角学习的配置下的量化结果，可以发现，多视角学习下的量化结果更好，这表明多视角学习能够获得冠脉狭窄更充分更全面的形态学信息，实验结果如图7-a和7-b所示。
(3)在不同的子模型上验证视角内层次注意力模块的有效性；
为了学习冠脉狭窄的具有辨别性的特征表达，提出了视角内层次注意力模块嵌入在主视角和辅助视角中，实验中，通过对比嵌入该模块与去掉该模块的方法，来验证视角内层次注意力模块对冠脉狭窄量化的作用。实验结果显示于图8中，图中数字1～8表示不同的方法，标有下划线强调的方法表示该方法没有嵌入视角内层次注意力模块。从图8的(a)部分热力图可以看出各个方法的在狭窄量化上的平均误差，嵌入视角内层次注意力模块的方法量化误差相对较小。
此外，在不同程度狭窄的样本上以及不同冠脉上进行了量化性能的对比，从图8的(b)部分中，通过如下四组方法比较中，1 vs 2，3 vs 4,5 vs 6,7 vs 8，可以看出嵌入视角内层次注意力模块的方法在不同狭窄程度，以及不同冠脉上的量化性能一半以上都优于移除该模块的方法。特别在右冠脉(RCA)上以及在Severe严重程度的样本上，该视角内层次注意力模块表现更好。
此外，还可视化了自注意力模块学习到的特征，如图9所示，分别展示了不同冠脉(前降支LAD,左回旋支LCX,右冠脉RCA)以及不同狭窄程度的冠脉(轻度狭窄Mild,适中狭窄Moderate，严重狭窄Severe)。
(4)验证设计的关键帧模块的是否存在狭窄特征表达的增强左右。
对于本发明公开的网络结构(HEAL)，以及移除关键帧视角模块的模型，分别从两个模型的最后一层网络层中提取了维度为512的特征向量，分别为FHEAL和Fnokey。并基于所有样本的特征向量，训练随机森林模型，进行指标回归预测。通过十折交叉验证，获得基于两种不同的特征向量的预测结果。实验结果如下表2所示，基于特征FHEAL训练出的模型具有更好的量化性能。
Method MAE(mm)↓ PCC(％)↑
F<sub>nokey</sub>+RF 1.3702±0.6670 89.60±12.57
F<sub>HEAL</sub>+RF 1.3529±0.6181 90.46±11.68
HEAL 1.2554±0.6201 90.89±11.04
表2
此外，还通过计算特征向量的互信息，发现结合关键帧视角模块生成的特征向量的互信息相对于移除该模块的特征来说，信息量更多，互信息更高。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
参照图11，示出了本申请一实施例提供的一种冠状动脉狭窄的量化装置，其特征在于，包括：
建立模块1110，用于利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；
获取模块1120，用于获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
确定模块1130，用于通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
在一实施例中，所述多视角图像特征，包括：主视角特征，和/或辅助视角特征，和/或关键帧视角特征，和/或由按设定规律自所述主视角特征，所述辅助视角特征，和所述关键帧视角特征中提取的特征组成的一维或以上的综合特征；其中，
所述主视角特征，包括：主视角序列图像灰度值；
和/或，
所述辅助视角特征，包括：辅助视角序列图像灰度值；
和/或，
所述关键帧视角特征，包括：关键帧图像灰度值；
和/或，
所述对应关系，包括：函数关系；所述多视角图像特征为所述函数关系的输入参数，所述冠状动脉狭窄的形态学参数为所述函数关系的输出参数；
确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数，还包括：
当所述对应关系包括函数关系时，将所述当前多视角图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前冠状动脉狭窄的形态学参数。
在一实施例中，所述建立模块1110，包括：
获取子模块，用于获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据；
分析子模块，用于分析所述多视角图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
训练子模块，用于使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述多视角图像特征与所述冠状动脉狭窄的形态学参数的所述对应关系。
在一实施例中，所述获取子模块，包括：
收集子模块，用于收集不同心脏状况的患者的所述多视角图像和所述冠状动脉狭窄的形态学参数；
分析子模块，用于对所述多视角图像特征进行分析、并结合预存的专家经验信息，选取与所述冠状动脉狭窄的形态学参数相关的数据作为所述多视角图像特征；
样本数据生成子模块，用于将所述冠状动脉狭窄的形态学参数、以及选取的所述多视角图像特征构成的数据对，作为样本数据。
在一实施例中，
所述网络结构，包括：CNN神经网络、3DCNN神经网络、HOG+RF模型、Indice-Net网络模型、DMTRL神经网络中的至少之一；
和/或，
所述网络参数，包括：卷积层数，卷积核大小，卷积核数量，归一化层数，池化层数，空洞卷积残差块数量，全连接层数，初始权值，以及，偏置值中的至少之一。
在一实施例中，
所述训练子模块，包括：
训练结果生成子模块，用于选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述多视角图像特征输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
训练结果误差判断子模块，用于确定所述实际训练结果与所述训练样本中的相应冠状动脉狭窄的形态学参数之间的实际训练误差是否满足预设训练误差；
训练完成判定子模块，用于当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
测试子模块，用于对所述网络结构和所述网络参数进行测试，所述测试子模块，包括：
测试结果生成子模块，用于选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述多视角图像特征输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
测试结果误差判断子模块，用于确定所述实际测试结果与所述测试样本中的相应冠状动脉狭窄的形态学参数之间的实际测试误差是否满足设定测试误差；
测试完成判定子模块，用于当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
在一实施例中，
所述训练子模块，还包括：
网络参数更新子模块，用于当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；
第一重训练子模块，用于通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
所述测试子模块，还包括：
第二重训练子模块，用于当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
参照图12，示出了本发明的一种冠状动脉狭窄的量化方法的计算机设备，具体可以包括如下：
上述计算机设备12以通用计算设备的形式表现，计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线18结构中的一种或多种，包括存储器总线18或者存储器控制器，外围总线18，图形加速端口，处理器或者使用多种总线18结构中的任意总线18结构的局域总线18。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线18，微通道体系结构(MAC)总线18，增强型ISA总线18、音视频电子标准协会(VESA)局域总线18以及外围组件互连(PCI)总线18。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他移动/不可移动的、易失性/非易失性计算机体统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(通常称为“硬盘驱动器”)。尽管图12中未示出，可以提供用于对可移动非易失性磁盘(如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质界面与总线18相连。存储器可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块42，这些程序模块42被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其他程序模块42以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24、摄像头等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)界面22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN))，广域网(WAN)和/或公共网络(例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图12中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元16、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统34等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的冠状动脉狭窄的量化方法。
也即，上述处理单元16执行上述程序时实现：利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
在本发明实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有实施例提供的冠状动脉狭窄的量化方法：
也即，给程序被处理器执行时实现：利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机克顿信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPOM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言——诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行或者完全在远程计算机或者服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的冠状动脉狭窄的量化方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种冠状动脉狭窄的量化方法，其特征在于，包括：
利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；
获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
2.根据权利要求1所述的方法，其特征在于，
所述多视角图像特征，包括：主视角特征，和/或辅助视角特征，和/或关键帧视角特征，和/或由按设定规律自所述主视角特征，所述辅助视角特征，和所述关键帧视角特征中提取的特征组成的一维或以上的综合特征；其中，
所述主视角特征，包括：主视角序列图像灰度值；
和/或，
所述辅助视角特征，包括：辅助视角序列图像灰度值；
和/或，
所述关键帧视角特征，包括：关键帧图像灰度值；
和/或，
所述对应关系，包括：函数关系；所述多视角图像特征为所述函数关系的输入参数，所述冠状动脉狭窄的形态学参数为所述函数关系的输出参数；
确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数，还包括：
当所述对应关系包括函数关系时，将所述当前多视角图像特征输入所述函数关系中，确定所述函数关系的输出参数为当前冠状动脉狭窄的形态学参数。
3.根据权利要求1所述的方法，其特征在于，所述建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系的步骤，包括：
获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据；
分析所述多视角图像特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述多视角图像特征与所述冠状动脉狭窄的形态学参数的所述对应关系。
4.根据权利要求3所述的方法，其特征在于，所述获取用于建立所述多视角图像特征与所述冠状动脉狭窄的形态学参数之间的对应关系的样本数据的步骤，包括：
收集不同心脏状况的患者的所述多视角图像特征和所述冠状动脉狭窄的形态学参数；
对所述多视角图像特征进行分析、并结合预存的专家经验信息，选取与所述冠状动脉狭窄的形态学参数相关的数据作为所述多视角图像特征；
将所述冠状动脉狭窄的形态学参数、以及选取的所述多视角图像特征构成的数据对，作为样本数据。
5.根据权利要求4所述的方法，其特征在于，
所述网络结构，包括：CNN神经网络、3DCNN神经网络、HOG+RF模型、Indice-Net网络模型、DMTRL神经网络中的至少之一；
和/或，
所述网络参数，包括：卷积层数，卷积核大小，卷积核数量，归一化层数，池化层数，空洞卷积残差块数量，全连接层数，初始权值，以及，偏置值中的至少之一。
6.根据权利要求3-5任一项所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，包括：
选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述多视角图像特征输入到所述网络结构，通过所述网络结构的损失函数，激活函数和所述网络参数进行训练，得到实际训练结果；
确定所述实际训练结果与所述训练样本中的相应冠状动脉狭窄的形态学参数之间的实际训练误差是否满足预设训练误差；
当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；
和/或，
对所述网络结构和所述网络参数进行测试，包括：
选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述多视角图像特征输入到所述训练完成的所述网络结构中，以所述损失函数，激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；
确定所述实际测试结果与所述测试样本中的相应冠状动脉狭窄的形态学参数之间的实际测试误差是否满足设定测试误差；
当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。
7.根据权利要求6所述的方法，其特征在于，
对所述网络结构和所述网络参数进行训练，还包括：
当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差损失函数更新所述网络参数；
通过所述网络结构的所述损失函数，激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；
和/或，
对所述网络结构和所述网络参数进行测试，还包括：
当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。
8.一种冠状动脉狭窄的量化装置，其特征在于，包括：
建立模块，用于利用人工神经网络的自学习能力，建立冠状动脉多视角医学图像的多视角图像特征与冠状动脉狭窄的形态学参数之间的对应关系；其中，所述多视角至少包括三个位置不同的视角；
获取模块，用于获取患者的当前冠状动脉多视角医学图像的当前多视角图像特征；
确定模块，用于通过所述对应关系，确定与所述当前多视角图像特征对应的当前冠状动脉狭窄的形态学参数；具体地，确定与所述多视角图像特征对应的当前冠状动脉狭窄的形态学参数，包括：将所述对应关系中与所述当前多视角图像特征相同的多视角图像特征所对应的冠状动脉狭窄的形态学参数，确定为所述当前冠状动脉狭窄的形态学参数。
9.一种设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202010158502.2A 2020-03-09 2020-03-09 冠状动脉狭窄的量化方法及装置 Active CN111340794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010158502.2A CN111340794B (zh) 2020-03-09 2020-03-09 冠状动脉狭窄的量化方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010158502.2A CN111340794B (zh) 2020-03-09 2020-03-09 冠状动脉狭窄的量化方法及装置

Publications (2)

Publication Number Publication Date
CN111340794A true CN111340794A (zh) 2020-06-26
CN111340794B CN111340794B (zh) 2023-07-04

Family

ID=71182605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010158502.2A Active CN111340794B (zh) 2020-03-09 2020-03-09 冠状动脉狭窄的量化方法及装置

Country Status (1)

Country Link
CN (1) CN111340794B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085742A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于上下文注意力的nafld超声视频诊断方法
CN112215836A (zh) * 2020-10-22 2021-01-12 深圳市第二人民医院(深圳市转化医学研究院) 基于医学超声图像的颈动脉斑块检测方法及装置
CN114862865A (zh) * 2022-07-11 2022-08-05 天津大学 基于多视角冠状动脉造影序列图像的血管分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN109658407A (zh) * 2018-12-27 2019-04-19 上海联影医疗科技有限公司 冠状动脉病变的评分方法、装置、服务器和存储介质
CN110310256A (zh) * 2019-05-30 2019-10-08 上海联影智能医疗科技有限公司 冠脉狭窄检测方法、装置、计算机设备和存储介质
CN110522439A (zh) * 2018-09-19 2019-12-03 苏州润迈德医疗科技有限公司 测量冠状动脉血管评定参数的简化方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110522439A (zh) * 2018-09-19 2019-12-03 苏州润迈德医疗科技有限公司 测量冠状动脉血管评定参数的简化方法、装置及系统
CN109598722A (zh) * 2018-12-10 2019-04-09 杭州帝视科技有限公司 基于递归神经网络的图像分析方法
CN109658407A (zh) * 2018-12-27 2019-04-19 上海联影医疗科技有限公司 冠状动脉病变的评分方法、装置、服务器和存储介质
CN110310256A (zh) * 2019-05-30 2019-10-08 上海联影智能医疗科技有限公司 冠脉狭窄检测方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085742A (zh) * 2020-09-04 2020-12-15 厦门大学 一种基于上下文注意力的nafld超声视频诊断方法
CN112085742B (zh) * 2020-09-04 2024-04-16 厦门大学 一种基于上下文注意力的nafld超声视频诊断方法
CN112215836A (zh) * 2020-10-22 2021-01-12 深圳市第二人民医院(深圳市转化医学研究院) 基于医学超声图像的颈动脉斑块检测方法及装置
CN114862865A (zh) * 2022-07-11 2022-08-05 天津大学 基于多视角冠状动脉造影序列图像的血管分割方法及系统
CN114862865B (zh) * 2022-07-11 2022-09-06 天津大学 基于多视角冠状动脉造影序列图像的血管分割方法及系统

Also Published As

Publication number Publication date
CN111340794B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Sermesant et al. Applications of artificial intelligence in cardiovascular imaging
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
JP6553675B2 (ja) 脈管構造を数値的に評価するためのシステムおよび方法
US9510756B2 (en) Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images
CN111210401B (zh) 根据医学图像的主动脉自动检测和量化
CN110400298B (zh) 心脏临床指标的检测方法、装置、设备及介质
CN111612756B (zh) 冠状动脉特异性钙化检测方法及装置
JP6885517B1 (ja) 診断支援装置及びモデル生成装置
CN111340794B (zh) 冠状动脉狭窄的量化方法及装置
CN112926537B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111028940A (zh) 肺结节多尺度检测方法、装置、设备及介质
KR20100010973A (ko) 폐질환 자동 분류 방법
CN116452579B (zh) 一种基于胸片图像的肺动脉高压智能评估方法和系统
Zhou et al. Review of vessel segmentation and stenosis classification in X-ray coronary angiography
CN116580819A (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
Chen et al. Spatio-temporal multi-task network cascade for accurate assessment of cardiac CT perfusion
CN112633405A (zh) 模型训练方法、医学影像分析方法及装置、设备、介质
CN112446499A (zh) 改进用于自动量化冠状动脉疾病的机器学习模型的性能
Brown et al. Deep learning for computer-aided diagnosis in ophthalmology: a review
Bernard et al. Measurement and quantification
Bhushan Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN)
CN110786839A (zh) 瞬时无波形比值的生成方法、装置、设备及介质
Ram et al. Lung Lobe Segmentation With Automated Quality Assurance Using Deep Convolutional Neural Networks
CN117059263B (zh) 基于双视图胸片的肺动脉高压发生概率的确定方法及系统
CN114708973B (zh) 一种用于对人体健康进行评估的设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant