CN116523813A - 基于血管造影图像分析血流储备分数的处理方法和装置 - Google Patents

基于血管造影图像分析血流储备分数的处理方法和装置 Download PDF

Info

Publication number
CN116523813A
CN116523813A CN202210067548.2A CN202210067548A CN116523813A CN 116523813 A CN116523813 A CN 116523813A CN 202210067548 A CN202210067548 A CN 202210067548A CN 116523813 A CN116523813 A CN 116523813A
Authority
CN
China
Prior art keywords
branch
blood vessel
diameter
image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210067548.2A
Other languages
English (en)
Inventor
张碧莹
吴泽剑
王思翰
马迪
裴旺
曹君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lepu Medical Technology Beijing Co Ltd
Original Assignee
Lepu Medical Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lepu Medical Technology Beijing Co Ltd filed Critical Lepu Medical Technology Beijing Co Ltd
Priority to CN202210067548.2A priority Critical patent/CN116523813A/zh
Priority to PCT/CN2022/097247 priority patent/WO2023137948A1/zh
Publication of CN116523813A publication Critical patent/CN116523813A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明实施例涉及一种基于血管造影图像分析血流储备分数的处理方法和装置，所述方法包括：获取血管造影图像作为第一图像；对第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理；进行冠脉入口直径分析生成冠脉入口直径；进行狭窄段血管直径与狭窄率分析生成第一狭窄段直径序列和第一狭窄率；将用户标记的血流储备分数分析点作为靶点Pi；确认生成对应的血管分支Ci，并进行血管分支特征提取生成分支特征数据序列、分支特征数据集合；将分支特征数据集合输入人工神经网络模型进行运算输出分支运算结果集；将集合中各个分支运算结果作为靶点的血流储备分数分析结果输出。通过本发明可以降低测量难度，提高测量安全性和测量效率。

Description

基于血管造影图像分析血流储备分数的处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于血管造影图像分析血流储备分数的处理方法和装置。
背景技术
血流储备分数(Fractional Flow Reserve,FFR)指在冠状动脉血管最大充血状态下的狭窄远端冠状动脉内平均压与冠状动脉口部主动脉平均压的比值。常规情况下，都是采用经皮冠状动脉介入治疗(Percutaneous Coronary Intervention,PCI)的测量方式获得FFR数值。但是这种测量方式不但操作复杂且还是一种侵入性测量手段，会对测量对象造成一定的身体损伤，具有一定的危险性。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种基于血管造影图像分析血流储备分数的处理方法、装置、电子设备及计算机可读存储介质，基于图像目标检测与语义分割模型对冠状动脉血管的血管造影图像进行冠脉口血管段与狭窄血管段识别，并对识别出的冠脉口血管段直径、狭窄血管段的直径变化序列和狭窄率进行定量冠状动脉造影(quantitative coronary arteriography，QCA)分析；当用户在图像上标记出FFR测量点时，使用人工神经网络(Artificial Neural Network，ANN)模型基于前述QCA分析结果对FFR进行分析得到对应的FFR数值。通过本发明，不但可以避免侵入式测量带来的个人损伤，还可以大大降低测量难度，提高测量安全性和测量效率。
为实现上述目的，本发明实施例第一方面提供了一种基于血管造影图像分析血流储备分数的处理方法，所述方法包括：
获取血管造影图像作为第一图像；
基于预设的图像目标检测与语义分割模型，对所述第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理，从而在所述第一图像上得到一个目标检测框A以及一个或多个目标检测框B；所述目标检测框A、B内均包括一段血管掩膜图像，所述目标检测框A对应的检测目标类型为冠脉入口血管类型，所述目标检测框B对应的检测目标类型为狭窄段血管类型；
对所述目标检测框A的所述血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；并对各个所述目标检测框B的所述血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率；
将用户在所述第一图像上标记的血流储备分数分析点作为对应的靶点Pi，并将用户对所述靶点Pi处的血管直径测量结果作为对应的靶点直径；其中，1≤i≤n，n为测量点总数；
对各个所述靶点Pi在所述第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个所述血管分支Ci对应的所有所述第一狭窄段直径序列和所述第一狭窄率、以及对应的所述靶点Pi的所述靶点直径、以及所述冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有所述分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)；
将所述分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；并将集合中各个分支运算结果Ui作为对应的所述靶点Pi的血流储备分数分析结果进行输出。
优选的，所述图像目标检测与语义分割模型包括Mask R-CNN模型；
所述图像目标检测与语义分割模型具体为Mask R-CNN模型时，包括特征提取网络层、区域候选网络层、区域对齐网络层和区域头部网络层；
所述特征提取网络层与所述区域候选网络层连接，所述区域候选网络层与所述区域对齐网络层连接，所述区域对齐网络层与所述区域头部网络层连接；
所述特征提取网络层具体由五级残差网络和对应的五级特征金字塔网络构成；所述区域候选网络层包括五级区域候选网络，与所述五级特征金字塔网络对应；在实现所述五级残差网络时，使用残差网络ResNet-50网络结构进行实现并以此作为所述特征提取网络层的骨干网络；
所述区域头部网络层包括两个子网络分别为：目标检测分支网络和目标分割分支网络；所述目标检测分支网络用于输出检测目标类型为冠脉入口血管类型的所述目标检测框A，以及检测目标类型为狭窄段血管类型的所述目标检测框B；所述目标分割分支网络用于在所述目标检测框A中输出对应的冠脉入口血管的血管掩膜图像，以及在所述目标检测框B中输出对应的狭窄段血管的血管掩膜图像。
优选的，所述对所述目标检测框A的所述血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径，具体包括：
将所述目标检测框A的所述血管掩膜图像作为当前血管掩膜图像；
对所述当前血管掩膜图像进行血管边缘和血管中心线识别生成对应的当前血管边缘和当前中心线；
将所述当前中心线包括的多个像素点，按序标记为对应的第一像素点X1,j；其中，1≤j≤m1，m1为所述当前中心线的像素点总数；第一个第一像素点X1,j＝1为所述当前血管掩膜图像对应血管的血流流入点，最后一个第一像素点为所述当前血管掩膜图像对应血管的血流流出点；
经过各个所述第一像素点X1,j做与所述当前血管边缘的相交线段得到多个第一相交线段；并从中选择最短的所述第一相交线段的长度作为与当前第一像素点X1,j对应的第一像素点血管直径L1,j；
对得到的所有所述第一像素点血管直径L1,j进行均值计算生成所述冠脉入口直径。
优选的，所述对各个所述目标检测框B的所述血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率，具体包括：
将当前目标检测框B的所述血管掩膜图像作为当前血管掩膜图像；
对所述当前血管掩膜图像进行血管边缘和血管中心线识别生成对应的当前血管边缘和当前中心线；
将所述当前中心线包括的多个像素点，按序标记为对应的第二像素点X2,h；其中，1≤h≤m2，m2为所述当前中心线的像素点总数；第一个第二像素点X2,h＝1为所述当前血管掩膜图像对应血管的血流流入点，最后一个第二像素点为所述当前血管掩膜图像对应血管的血流流出点；
经过各个所述第二像素点X2,h做与所述当前血管边缘的相交线段得到多个第二相交线段；并从中选择最短的所述第二相交线段的长度作为与当前第二像素点X2,h对应的第二像素点血管直径L2,h；
另，根据第二像素点血管直径L2,h＝1和第二像素点血管直径构建可以反映第一个第二像素点X2,h＝1到最后一个第二像素点/>的血管线性变化关系的线性变化函数f(h)，
f(h)＝L2,h＝1+k*(h-1)，
并根据所述线性变化函数f(h)，对各个所述第二像素点X2,h对应的线性变化直径长度进行计算生成对应的第二像素点线性直径L′2,h，
再根据所述第二像素点血管直径L2,h和所述第二像素点线性直径L′2,h，计算各个所述第二像素点X2,h对应的第二像素点狭窄率R2,h，
将所述第二像素点血管直径L2,h作为对应的第一狭窄段直径，并按第二像素点索引h从小到大的顺序对所有所述第一狭窄段直径进行排序，生成与所述当前血管掩膜图像对应的所述第一狭窄段直径序列；并从得到的所有所述第二像素点狭窄率R2,h中选择最大值，作为与所述当前血管掩膜图像对应的所述第一狭窄率。
优选的，所述对各个所述靶点Pi在所述第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个所述血管分支Ci对应的所有所述第一狭窄段直径序列和所述第一狭窄率、以及对应的所述靶点Pi的所述靶点直径、以及所述冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有所述分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)，具体包括：
在所述第一图像上，将所述目标检测框A的所述血管掩膜图像的血管起始位置作为冠脉入口位置；并按血流方向，将从所述冠脉入口位置到各个所述靶点Pi的血流路径作为与各个所述靶点Pi对应的所述血管分支Ci；
将各个所述血管分支Ci途经的所有所述目标检测框B的所述第一狭窄段直径序列归入对应的第一序列集合；并在各个所述第一序列集合中，按血流方向对所有所述第一狭窄段直径序列的第一狭窄段直径进行全排序，得到对应的第一分支狭窄段直径序列；
从各个所述血管分支Ci途经的所有所述目标检测框B的所述第一狭窄率中，选择最大值作为对应的第一分支最大狭窄率；
将与各个所述血管分支Ci对应的所述靶点Pi的所述靶点直径作为对应的第一分支靶点直径；
对各个所述血管分支Ci，将所述冠脉入口直径以及对应的所述第一分支狭窄段直径序列、所述第一分支靶点直径和所述第一分支最大狭窄率，组成对应的所述分支特征数据序列Si；
按靶点索引i从小到大的顺序对所有所述分支特征数据序列Si进行排序，从而得到所述分支特征数据集合Din(S1…Si…Sn)。
优选的，所述将所述分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)，具体包括：
将所述分支特征数据集合Din(S1…Si…Sn)划分为n个一维的第一数据片段；每个第一数据片段对应一个分支特征数据序列Si；
将各个所述第一数据片段，输入所述人工神经网络ANN模型进行运算得到对应的所述分支运算结果Ui；
按靶点索引i从小到大的顺序对所有所述分支运算结果Ui进行排序，从而得到所述分支运算结果集合Dout(U1…Ui…Un)。
进一步的，所述人工神经网络ANN模型包括输入层、一层或多层隐藏层和输出层；所述输入层包括多个输入层节点；各个所述隐藏层包括多个隐藏层节点；所述输出层包括一个输出层节点；
所述输入层用于将所述第一数据片段的各个片段数据输入对应的所述输入层节点作为对应的节点输出值；
第一层隐藏层的各个所述隐藏层节点分别与所有所述输入层节点全连接形成对应的第一全连接网络；所述第一层隐藏层用于在本层的各个所述隐藏层节点上，将对应的所述第一全连接网络中所有所述输入层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第一结果，并将所述第一结果输入预设的激活函数中进行运算生成对应的第二结果，并将所述第二结果作为当前隐藏层节点的节点输出值；
下一层隐藏层的各个所述隐藏层节点分别与上一层隐藏层的所有所述隐藏层节点全连接形成对应的第二全连接网络；所述下一层隐藏层用于在本层的各个所述隐藏层节点上，将对应的所述第二全连接网络中所述上一层隐藏层的所有所述隐藏层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第三结果，并将所述第三结果输入预设的激活函数中进行运算生成对应的第四结果，并将所述第四结果作为当前隐藏层节点的节点输出值；
所述输出层的所述输出层节点与最后一层隐藏层的所有所述隐藏层节点全连接形成对应的第三全连接网络；所述输出层用于在所述输出层节点上，将对应的所述第三全连接网络中所述最后一层隐藏层的所有所述隐藏层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第五结果，并将所述第五结果输入预设的激活函数中进行运算生成对应的第六结果，并将所述第六结果作为所述分支运算结果Ui；
所述隐藏层和所述输出层使用的所述激活函数默认为ReLU函数。
本发明实施例第二方面提供了一种实现上述第一方面所述的方法的装置，包括：获取模块、图像目标检测与语义分割模块、定量冠状动脉造影分析处理模块、靶点处理模块、血管分支处理模块和血流储备分数处理模块；
所述获取模块用于获取血管造影图像作为第一图像；
所述图像目标检测与语义分割模块用于基于预设的图像目标检测与语义分割模型，对所述第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理，从而在所述第一图像上得到一个目标检测框A以及一个或多个目标检测框B；所述目标检测框A、B内均包括一段血管掩膜图像，所述目标检测框A对应的检测目标类型为冠脉入口血管类型，所述目标检测框B对应的检测目标类型为狭窄段血管类型；
所述定量冠状动脉造影分析处理模块用于对所述目标检测框A的所述血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；并对各个所述目标检测框B的所述血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率；
所述靶点处理模块用于将用户在所述第一图像上标记的血流储备分数分析点作为对应的靶点Pi，并将用户对所述靶点Pi处的血管直径测量结果作为对应的靶点直径；其中，1≤i≤n，n为测量点总数；
所述血管分支处理模块用于对各个所述靶点Pi在所述第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个所述血管分支Ci对应的所有所述第一狭窄段直径序列和所述第一狭窄率、以及对应的所述靶点Pi的所述靶点直径、以及所述冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有所述分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)；
所述血流储备分数处理模块用于将所述分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；并将集合中各个分支运算结果Ui作为对应的所述靶点Pi的血流储备分数分析结果进行输出。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种基于血管造影图像分析血流储备分数的处理方法、装置、电子设备及计算机可读存储介质，基于图像目标检测与语义分割模型对冠状动脉血管的血管造影图像进行冠脉口血管段与狭窄血管段识别，并对识别出的冠脉口血管段直径、狭窄血管段的直径变化序列和狭窄率进行QCA分析；当用户在图像上标记出FFR测量点时，使用ANN模型基于前述QCA分析结果对FFR进行分析得到对应的FFR数值。通过本发明，不但避免了侵入式测量带来的个人损伤，还大大降低了测量难度，提高了测量安全性和测量效率。
附图说明
图1为本发明实施例一提供的一种基于血管造影图像分析血流储备分数的处理方法示意图；
图2为本发明实施例二提供的一种基于血管造影图像分析血流储备分数的处理装置的模块结构图；
图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例一提供的一种基于血管造影图像分析血流储备分数的处理方法，如图1为本发明实施例一提供的一种基于血管造影图像分析血流储备分数的处理方法示意图所示，本方法主要包括如下步骤：
步骤1，获取血管造影图像作为第一图像。
这里，冠状动脉造影技术是将显影剂注入测量对象血管中并对X光下显影剂通过冠状动脉血管的过程进行影像拍摄；由冠状动脉造影技术获得的图像数据即为冠状动脉造影图像；当前步骤的血管造影图像默认为单次冠状动脉造影过程中显影剂充盈效果较为明显的冠状动脉造影图像。
步骤2，基于预设的图像目标检测与语义分割模型，对第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理，从而在第一图像上得到一个目标检测框A以及一个或多个目标检测框B；
其中，目标检测框A、B内均包括一段血管掩膜图像，目标检测框A对应的检测目标类型为冠脉入口血管类型，目标检测框B对应的检测目标类型为狭窄段血管类型；
图像目标检测与语义分割模型的实现方式有多种，其中一种实现方式就是基于Mask R-CNN模型的神经网络架构进行实现；当图像目标检测与语义分割模型具体为MaskR-CNN模型时，其神经网络结构可参考由作者Kaiming He、Georgia Gkioxari、Piotr Doll′ar和Ross Girshick发表的文章《Mask R-CNN》,包括：特征提取网络层、区域候选网络(Region Proposal Network，RPN)层、区域对齐(Region Of Interest Align，ROI Align)网络层和区域头部(ROI HEAD)网络层；特征提取网络层与区域候选网络层连接，区域候选网络层与区域对齐网络层连接，区域对齐网络层与区域头部网络层连接；
本发明实施例的特征提取网络层具体由五级残差网络(Residual Network,ResNet)和对应的五级特征金字塔网络(Feature Pyramid Networks，FPN)构成；区域候选网络层包括五级区域候选网络，与五级特征金字塔网络对应；在实现五级残差网络时，本发明实施例使用残差网络ResNet-50网络结构进行实现并以此作为特征提取网络层的骨干网络；
本发明实施例的区域头部网络层包括两个子网络分别为：目标检测分支网络和目标分割分支网络；其中，目标检测分支网络用于输出检测目标类型为冠脉入口血管类型的目标检测框A，以及检测目标类型为狭窄段血管类型的目标检测框B；目标分割分支网络用于在目标检测框A中输出对应的冠脉入口血管的血管掩膜(mask)图像，以及在目标检测框B中输出对应的狭窄段血管的血管掩膜图像。
步骤3，对目标检测框A的血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；并对各个目标检测框B的血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率；
具体包括：步骤31，对目标检测框A的血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；
具体包括：步骤311，将目标检测框A的血管掩膜图像作为当前血管掩膜图像；
步骤312，对当前血管掩膜图像进行血管边缘和血管中心线识别生成对应的当前血管边缘和当前中心线；
这里，对当前血管掩膜图像进行血管边缘和血管中心线识别时，首先将当前血管掩膜图像所在目标检测框A内的所有图像信息作为第一检测框图像；然后，对第一检测框图像进行二值化处理生成第一二值图；其中，第一二值图上的所有像素点的像素值只有两种：前景像素点的前景像素值，以及背景像素点的背景像素值，前景像素值和背景像素值可在具体实施时自行定义取值；
然后，在第一二值图上对当前血管掩膜图像覆盖的所有像素点进行遍历，遍历时若当前遍历像素点的四邻域像素点范围内存在至少一个背景像素点则将当前遍历像素点作为血管边缘像素点，完成遍历后按顺时间或逆时针方向对所有血管边缘像素点进行连接就可得到当前血管掩膜图像的封闭血管边缘曲线也就是当前血管边缘；
另外，在不改变血管图像拓扑性质(血管的连通性)的前提下，基于拓扑细化方法对第一二值图上的当前血管掩膜图像进行中心线提取生成当前中心线，具体为：预先针对血管的连通性创建包括多个子规则的连通性判断规则，每个子规则对应一个或多个3×3的像素值模板矩阵，每个像素值模板矩阵对应一个保持连通性的像素排列结构；然后在第一二值图上对当前血管掩膜图像覆盖的所有像素点进行遍历；遍历时将当前遍历像素点的八领域像素点的像素值提取出来与当前遍历像素点的像素值构成一个3×3的像素值矩阵记为第一矩阵，再使用连通性判断规则中的每个子规则的一个或多个3×3像素值模板矩阵与第一矩阵进行依次比对；比对时，若第一矩阵与其中任一像素值模板矩阵完全匹配，则说明当前遍历像素点为保持邻域像素点连通性的关键像素点，不能被删除，跳转到下一个像素点进行遍历；比对时，若第一矩阵与连通性判断规则中所有子规则的像素值模板矩阵都不匹配，说明当前遍历像素点不为保持邻域像素点连通性的关键像素点，可以被删除，对应的将其标记为可删除像素点；在对当前血管掩膜图像覆盖的所有像素点完成一次遍历之后，将标记为可删除像素点的像素点全部转换为背景像素点，由此就实现了一次在不破坏血管图像拓扑性质(血管的连通性)的前提下对当前血管掩膜图像进行拓扑细化的处理过程；在将当次所有可删除像素点转换为背景像素点之后，继续按上述步骤，对拓扑细化后的当前血管掩膜图像覆盖的所有像素点继续进行遍历，并在遍历时根据连通性判断规则的各个像素值模板矩阵判断各个遍历像素点是否为关键像素点，是否需要保留或标记为可删除像素点，并在当次遍历结束后将标记为可删除像素点的像素点全部转换为背景像素点；以此类推进行循环迭代，直到当次遍历结束后标记为可删除像素点的数量为0，说明当前血管掩膜图像已经无法进行进一步拓扑细化了，这个时候将当前血管掩膜图像中的剩余像素点按血流方向依次连接，连接得到的曲线就是当前中心线；
步骤313，将当前中心线包括的多个像素点，按序标记为对应的第一像素点X1,j；
其中，1≤j≤m1，m1为当前中心线的像素点总数；第一个第一像素点X1,j＝1为当前血管掩膜图像对应血管的血流流入点，最后一个第一像素点为当前血管掩膜图像对应血管的血流流出点；
步骤314，经过各个第一像素点X1,j做与当前血管边缘的相交线段得到多个第一相交线段；并从中选择最短的第一相交线段的长度作为与当前第一像素点X1,j对应的第一像素点血管直径L1,j；
这里，按各个第一像素点X1,j与其八邻域(左上、上方、右上、右方、右下、下方、左下、左方)像素点的排列结构关系，过各个第一像素点X1,j做四条直线：第一直线(左上-X1,j-左下)、第二直线(上方-X1,j-下方)、第三直线(右上-X1,j-左下)和第四直线(右方-X1,j-左方)；提取第一、第二、第三和第四直线与当前血管边缘的相交线段作为对应的第一相交线段1、2、3、4；从第一相交线段1、2、3、4中，提取最短的作为第一像素点血管直径L1,j；
步骤315，对得到的所有第一像素点血管直径L1,j进行均值计算生成冠脉入口直径；
这里，使用均值计算方式可以降低图像处理过程中的计算误差；
步骤32，对各个目标检测框B的血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率；
具体包括：步骤321，将当前目标检测框B的血管掩膜图像作为当前血管掩膜图像；
步骤322，对当前血管掩膜图像进行血管边缘和血管中心线识别生成对应的当前血管边缘和当前中心线；
步骤323，将当前中心线包括的多个像素点，按序标记为对应的第二像素点X2,h；
其中，1≤h≤m2，m2为当前中心线的像素点总数；第一个第二像素点X2,h＝1为当前血管掩膜图像对应血管的血流流入点，最后一个第二像素点为当前血管掩膜图像对应血管的血流流出点；
步骤324，经过各个第二像素点X2,h做与当前血管边缘的相交线段得到多个第二相交线段；并从中选择最短的第二相交线段的长度作为与当前第二像素点X2,h对应的第二像素点血管直径L2,h；
这里，与步骤314近似，在此不做进一步赘述；
步骤325，根据第二像素点血管直径L2,h＝1和第二像素点血管直径构建可以反映第一个第二像素点X2,h＝1到最后一个第二像素点/>的血管线性变化关系的线性变化函数f(h)，
f(h)＝L2,h＝1+k*(h-1)，
这里，本发明实施例默认冠状动脉血管的直径从冠脉入口到各个分支结束点，在没有因病变导致的中间段血管狭窄的正常情况下应是一个线性减小的过程，上述线性变化函数f(h)即是用于模拟这种线性减小过程的函数；
步骤326，根据线性变化函数f(h)，对各个第二像素点X2,h对应的线性变化直径长度进行计算生成对应的第二像素点线性直径L′2,h，
这里，第二像素点线性直径L′2,h即是基于上述线性变化函数f(h)模拟出的在正常情况下各个第二像素点X2,h应对应的正常血管直径；
步骤327，根据第二像素点血管直径L2,h和第二像素点线性直径L′2,h，计算各个第二像素点X2,h对应的第二像素点狭窄率R2,h，
这里，第二像素点血管直径L2,h为实际情况下的血管直径，第二像素点线性直径L′2,h为模拟正常情况下的理论血管直径，作为实际直径与理论直径的比值可以反映第二像素点X2,h的血流通过程度，自然/>就反映出了第二像素点X2,h的血流阻塞程度也即是第二像素点X2,h对应的第二像素点狭窄率R2,h；
步骤328，将第二像素点血管直径L2,h作为对应的第一狭窄段直径，并按第二像素点索引h从小到大的顺序对所有第一狭窄段直径进行排序，生成与当前血管掩膜图像对应的第一狭窄段直径序列；并从得到的所有第二像素点狭窄率R2,h中选择最大值，作为与当前血管掩膜图像对应的第一狭窄率。
这里，第一狭窄段直径序列反映出了对应狭窄段血管上的各点血管直径，第一狭窄率则是对应狭窄段血管上的最大狭窄率。
需要说明的是，在计算当前血管掩膜图像对应的第一狭窄率时，本发明实施例支持多种处理方式；其中一种由上述步骤327-328可知，先计算完整的狭窄率序列，再从中选取最大值作为第一狭窄率；另一种则是先从所有第二像素点血管直径L2,h中选出最小值作为第二像素点最小血管直径Lmin，并将Lmin对应的像素点索引y代入线性变化函数f(h＝y)计算获得该像素点索引y对应的线性参考直径L′2,h＝y，再将Lmin和L′2,h＝y代入进行计算得到计算结果R，再将R作为第一狭窄率输出。这两种处理方式前者的特点是在得到第一狭窄率的同时还可以得到狭窄段中心线上各个位置的狭窄率，后者的特点因为不用输出各个位置的狭窄率所以其计算方式更简单、更快捷。
上述步骤3即是使用图像处理方法完成的QCA分析处理过程，通过该QCA分析处理过程可以得到第一图像上冠脉入口直径与所有狭窄段直径序列和狭窄率的分析结果。在此基础上，本发明实施例通过后续步骤4-6可进一步测量出第一图像上任意狭窄段血管上标记的测量点的FFR数值。
步骤4，将用户在第一图像上标记的血流储备分数分析点作为对应的靶点Pi，并将用户对靶点Pi处的血管直径测量结果作为对应的靶点直径；
其中，i为靶点索引，1≤i≤n，n为测量点总数。
这里，靶点Pi即是用户在第一图像上标记的狭窄段血管血流储备分数测量点，该测量点为第一图像上某段血管上的位置点，常规情况下用户会在具有狭窄段血管的血流分支上距离该分支最后一个狭窄段血管一定距离的血管上标记靶点Pi；用户完成靶点Pi标记后，可通过第一图像上的图像标尺获得靶点Pi所在位置的血管横截面直径，并将该血管横截面直径作为该靶点Pi处的血管直径测量结果也即对应的靶点直径。
步骤5，对各个靶点Pi在第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个血管分支Ci对应的所有第一狭窄段直径序列和第一狭窄率、以及对应的靶点Pi的靶点直径、以及冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)；
具体包括：步骤51，在第一图像上，将目标检测框A的血管掩膜图像的血管起始位置作为冠脉入口位置；并按血流方向，将从冠脉入口位置到各个靶点Pi的血流路径作为与各个靶点Pi对应的血管分支Ci；
这里，血管分支Ci即是指从冠脉入口位置到各个靶点Pi位置的单一血流路径；
步骤52，将各个血管分支Ci途经的所有目标检测框B的第一狭窄段直径序列归入对应的第一序列集合；并在各个第一序列集合中，按血流方向对所有第一狭窄段直径序列的第一狭窄段直径进行全排序，得到对应的第一分支狭窄段直径序列；
这里，若从冠脉入口位置到当前靶点Pi位置的单一血流路径中只有一处狭窄段血管段，则该血管分支Ci只途经了一个目标检测框B，对应的第一序列集合也就只包括这唯一目标检测框B的第一狭窄段直径序列，第一分支狭窄段直径序列也就是该唯一目标检测框B的第一狭窄段直径序列；若从冠脉入口位置到当前靶点Pi位置的单一血流路径中经过了多个狭窄血管段，则该血管分支Ci途经了多个目标检测框B，对应的第一序列集合也就包括多个目标检测框B的第一狭窄段直径序列，按血流方向对这多个第一狭窄段直径序列进行排序就实现了本步骤中的全排序过程，由此得到的第一分支狭窄段直径序列则包括了当前血管分支Ci上从冠脉入口位置到对应靶点Pi位置的血流路径上所有狭窄段血管的血管直径变化参数；
需要说明的是，在得到第一分支狭窄段直径序列之后，为便于后续模型计算本发明实施例还会对其进行数据整形保证其数据长度与模型所需长度一致；
步骤53，从各个血管分支Ci途经的所有目标检测框B的第一狭窄率中，选择最大值作为对应的第一分支最大狭窄率；
这里，若血管分支Ci途经的目标检测框B数量唯一，则第一分支最大狭窄率即是该唯一目标检测框B的最大狭窄率也就是第一狭窄率；若血管分支Ci途经的目标检测框B数量不唯一，则第一分支最大狭窄率应为多个目标检测框B的第一狭窄率中的最大值，也就是该血管分支Ci对应的单一血流路径上的最大狭窄率；
步骤54，将与各个血管分支Ci对应的靶点Pi的靶点直径作为对应的第一分支靶点直径；
这里，各个血管分支Ci对应的第一分支靶点直径实际就是该分支末端靶点Pi所在位置的血管横截面直径；
步骤55，对各个血管分支Ci，将冠脉入口直径以及对应的第一分支狭窄段直径序列、第一分支靶点直径和第一分支最大狭窄率，组成对应的分支特征数据序列Si；
这里，由冠脉入口直径、第一分支狭窄段直径序列、第一分支靶点直径和第一分支最大狭窄率组成分支特征数据序列Si的数据组合方式有多种，其中一种就是：分支特征数据序列Si＝冠脉入口直径+第一分支狭窄段直径序列+第一分支靶点直径+第一分支最大狭窄率；
步骤56，按靶点索引i从小到大的顺序对所有分支特征数据序列Si进行排序，从而得到分支特征数据集合Din(S1…Si…Sn)。
步骤6，将分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；并将集合中各个分支运算结果Ui作为对应的靶点Pi的血流储备分数分析结果进行输出；
具体包括：步骤61，将分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；
具体包括：步骤611，将分支特征数据集合Din(S1…Si…Sn)划分为n个一维的第一数据片段；每个第一数据片段对应一个分支特征数据序列Si；
步骤612，将各个第一数据片段，输入人工神经网络ANN模型进行运算得到对应的分支运算结果Ui；
其中，人工神经网络ANN模型包括输入层、一层或多层隐藏层和输出层；输入层包括多个输入层节点；各个隐藏层包括多个隐藏层节点；输出层包括一个输出层节点；
在人工神经网络ANN模型对输入的第一数据片段进行运算时：
输入层用于将第一数据片段的各个片段数据输入对应的输入层节点作为对应的节点输出值；
第一层隐藏层的各个隐藏层节点分别与所有输入层节点全连接形成对应的第一全连接网络；第一层隐藏层用于在本层的各个隐藏层节点上，将对应的第一全连接网络中所有输入层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第一结果，并将第一结果输入预设的激活函数中进行运算生成对应的第二结果，并将第二结果作为当前隐藏层节点的节点输出值；
下一层隐藏层的各个隐藏层节点分别与上一层隐藏层的所有隐藏层节点全连接形成对应的第二全连接网络；下一层隐藏层用于在本层的各个隐藏层节点上，将对应的第二全连接网络中上一层隐藏层的所有隐藏层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第三结果，并将第三结果输入预设的激活函数中进行运算生成对应的第四结果，并将第四结果作为当前隐藏层节点的节点输出值；
输出层的输出层节点与最后一层隐藏层的所有隐藏层节点全连接形成对应的第三全连接网络；输出层用于在输出层节点上，将对应的第三全连接网络中最后一层隐藏层的所有隐藏层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第五结果，并将第五结果输入预设的激活函数中进行运算生成对应的第六结果，并将第六结果作为分支运算结果Ui；
上述运算过程中，隐藏层和输出层使用的激活函数默认为线性整流(RectifiedLinear Units，ReLU)函数；
步骤613，按靶点索引i从小到大的顺序对所有分支运算结果Ui进行排序，从而得到分支运算结果集合Dout(U1…Ui…Un)；
步骤62，将集合中各个分支运算结果Ui作为对应的靶点Pi的血流储备分数分析结果进行输出。
图2为本发明实施例二提供的一种基于血管造影图像分析血流储备分数的处理装置的模块结构图，该装置可以为实现本发明实施例方法的终端设备或者服务器，也可以为与上述终端设备或者服务器连接的实现本发明实施例方法的装置，例如该装置可以是上述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、图像目标检测与语义分割模块202、定量冠状动脉造影分析处理模块203、靶点处理模块204、血管分支处理模块205和血流储备分数处理模块206。
获取模块201用于获取血管造影图像作为第一图像。
图像目标检测与语义分割模块202用于基于预设的图像目标检测与语义分割模型，对第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理，从而在第一图像上得到一个目标检测框A以及一个或多个目标检测框B；目标检测框A、B内均包括一段血管掩膜图像，目标检测框A对应的检测目标类型为冠脉入口血管类型，目标检测框B对应的检测目标类型为狭窄段血管类型。
定量冠状动脉造影分析处理模块203用于对目标检测框A的血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；并对各个目标检测框B的血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率。
靶点处理模块204用于将用户在第一图像上标记的血流储备分数分析点作为对应的靶点Pi，并将用户对靶点Pi处的血管直径测量结果作为对应的靶点直径；其中，i为靶点索引，1≤i≤n，n为测量点总数。
血管分支处理模块205用于对各个靶点Pi在第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个血管分支Ci对应的所有第一狭窄段直径序列和第一狭窄率、以及对应的靶点Pi的靶点直径、以及冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)。
血流储备分数处理模块206用于将分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；并将集合中各个分支运算结果Ui作为对应的靶点Pi的血流储备分数分析结果进行输出。
本发明实施例提供的一种基于血管造影图像分析血流储备分数的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本发明实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路(Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现本发明上述实施例中提供的方法和处理过程。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图3中提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中提供的方法和处理过程。
本发明实施例提供了一种基于血管造影图像分析血流储备分数的处理方法、装置、电子设备及计算机可读存储介质，基于图像目标检测与语义分割模型对冠状动脉血管的血管造影图像进行冠脉口血管段与狭窄血管段识别，并对识别出的冠脉口血管段直径、狭窄血管段的直径变化序列和狭窄率进行QCA分析；当用户在图像上标记出FFR测量点时，使用ANN模型基于前述QCA分析结果对FFR进行分析得到对应的FFR数值。通过本发明，不但避免了侵入式测量带来的个人损伤，还大大降低了测量难度，提高了测量安全性和测量效率。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于血管造影图像分析血流储备分数的处理方法，其特征在于，所述方法包括：
获取血管造影图像作为第一图像；
基于预设的图像目标检测与语义分割模型，对所述第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理，从而在所述第一图像上得到一个目标检测框A以及一个或多个目标检测框B；所述目标检测框A、B内均包括一段血管掩膜图像，所述目标检测框A对应的检测目标类型为冠脉入口血管类型，所述目标检测框B对应的检测目标类型为狭窄段血管类型；
对所述目标检测框A的所述血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；并对各个所述目标检测框B的所述血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率；
将用户在所述第一图像上标记的血流储备分数分析点作为对应的靶点Pi，并将用户对所述靶点Pi处的血管直径测量结果作为对应的靶点直径；其中，1≤i≤n，n为测量点总数；
对各个所述靶点Pi在所述第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个所述血管分支Ci对应的所有所述第一狭窄段直径序列和所述第一狭窄率、以及对应的所述靶点Pi的所述靶点直径、以及所述冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有所述分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)；
将所述分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；并将集合中各个分支运算结果Ui作为对应的所述靶点Pi的血流储备分数分析结果进行输出。
2.根据权利要求1所述的基于血管造影图像分析血流储备分数的处理方法，其特征在于，所述图像目标检测与语义分割模型包括Mask R-CNN模型；
所述图像目标检测与语义分割模型具体为Mask R-CNN模型时，包括特征提取网络层、区域候选网络层、区域对齐网络层和区域头部网络层；
所述特征提取网络层与所述区域候选网络层连接，所述区域候选网络层与所述区域对齐网络层连接，所述区域对齐网络层与所述区域头部网络层连接；
所述特征提取网络层具体由五级残差网络和对应的五级特征金字塔网络构成；所述区域候选网络层包括五级区域候选网络，与所述五级特征金字塔网络对应；在实现所述五级残差网络时，使用残差网络ResNet-50网络结构进行实现并以此作为所述特征提取网络层的骨干网络；
所述区域头部网络层包括两个子网络分别为：目标检测分支网络和目标分割分支网络；所述目标检测分支网络用于输出检测目标类型为冠脉入口血管类型的所述目标检测框A，以及检测目标类型为狭窄段血管类型的所述目标检测框B；所述目标分割分支网络用于在所述目标检测框A中输出对应的冠脉入口血管的血管掩膜图像，以及在所述目标检测框B中输出对应的狭窄段血管的血管掩膜图像。
3.根据权利要求1所述的基于血管造影图像分析血流储备分数的处理方法，其特征在于，所述对所述目标检测框A的所述血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径，具体包括：
将所述目标检测框A的所述血管掩膜图像作为当前血管掩膜图像；
对所述当前血管掩膜图像进行血管边缘和血管中心线识别生成对应的当前血管边缘和当前中心线；
将所述当前中心线包括的多个像素点，按序标记为对应的第一像素点X1,j；其中，1≤j≤m1，m1为所述当前中心线的像素点总数；第一个第一像素点X1,j＝1为所述当前血管掩膜图像对应血管的血流流入点，最后一个第一像素点为所述当前血管掩膜图像对应血管的血流流出点；
经过各个所述第一像素点X1,j做与所述当前血管边缘的相交线段得到多个第一相交线段；并从中选择最短的所述第一相交线段的长度作为与当前第一像素点X1,j对应的第一像素点血管直径L1,j；
对得到的所有所述第一像素点血管直径L1,j进行均值计算生成所述冠脉入口直径。
4.根据权利要求1所述的基于血管造影图像分析血流储备分数的处理方法，其特征在于，所述对各个所述目标检测框B的所述血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率，具体包括：
将当前目标检测框B的所述血管掩膜图像作为当前血管掩膜图像；
对所述当前血管掩膜图像进行血管边缘和血管中心线识别生成对应的当前血管边缘和当前中心线；
将所述当前中心线包括的多个像素点，按序标记为对应的第二像素点X2,h；其中，1≤h≤m2，m2为所述当前中心线的像素点总数；第一个第二像素点X2,h＝1为所述当前血管掩膜图像对应血管的血流流入点，最后一个第二像素点为所述当前血管掩膜图像对应血管的血流流出点；
经过各个所述第二像素点X2,h做与所述当前血管边缘的相交线段得到多个第二相交线段；并从中选择最短的所述第二相交线段的长度作为与当前第二像素点X2,h对应的第二像素点血管直径L2,h；
另，根据第二像素点血管直径L2,h＝1和第二像素点血管直径构建可以反映第一个第二像素点X2,h＝1到最后一个第二像素点/>的血管线性变化关系的线性变化函数f(h)，
f(h)＝L2,h＝1+k*(h-1)，
并根据所述线性变化函数f(h)，对各个所述第二像素点X2,h对应的线性变化直径长度进行计算生成对应的第二像素点线性直径L′2,h，
再根据所述第二像素点血管直径L2,h和所述第二像素点线性直径L′2,h，计算各个所述第二像素点X2,h对应的第二像素点狭窄率R2,h，
将所述第二像素点血管直径L2,h作为对应的第一狭窄段直径，并按第二像素点索引h从小到大的顺序对所有所述第一狭窄段直径进行排序，生成与所述当前血管掩膜图像对应的所述第一狭窄段直径序列；并从得到的所有所述第二像素点狭窄率R2,h中选择最大值，作为与所述当前血管掩膜图像对应的所述第一狭窄率。
5.根据权利要求1所述的基于血管造影图像分析血流储备分数的处理方法，其特征在于，所述对各个所述靶点Pi在所述第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个所述血管分支Ci对应的所有所述第一狭窄段直径序列和所述第一狭窄率、以及对应的所述靶点Pi的所述靶点直径、以及所述冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有所述分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)，具体包括：
在所述第一图像上，将所述目标检测框A的所述血管掩膜图像的血管起始位置作为冠脉入口位置；并按血流方向，将从所述冠脉入口位置到各个所述靶点Pi的血流路径作为与各个所述靶点Pi对应的所述血管分支Ci；
将各个所述血管分支Ci途经的所有所述目标检测框B的所述第一狭窄段直径序列归入对应的第一序列集合；并在各个所述第一序列集合中，按血流方向对所有所述第一狭窄段直径序列的第一狭窄段直径进行全排序，得到对应的第一分支狭窄段直径序列；
从各个所述血管分支Ci途经的所有所述目标检测框B的所述第一狭窄率中，选择最大值作为对应的第一分支最大狭窄率；
将与各个所述血管分支Ci对应的所述靶点Pi的所述靶点直径作为对应的第一分支靶点直径；
对各个所述血管分支Ci，将所述冠脉入口直径以及对应的所述第一分支狭窄段直径序列、所述第一分支靶点直径和所述第一分支最大狭窄率，组成对应的所述分支特征数据序列Si；
按靶点索引i从小到大的顺序对所有所述分支特征数据序列Si进行排序，从而得到所述分支特征数据集合Din(S1…Si…Sn)。
6.根据权利要求1所述的基于血管造影图像分析血流储备分数的处理方法，其特征在于，所述将所述分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)，具体包括：
将所述分支特征数据集合Din(S1…Si…Sn)划分为n个一维的第一数据片段；每个第一数据片段对应一个分支特征数据序列Si；
将各个所述第一数据片段，输入所述人工神经网络ANN模型进行运算得到对应的所述分支运算结果Ui；
按靶点索引i从小到大的顺序对所有所述分支运算结果Ui进行排序，从而得到所述分支运算结果集合Dout(U1…Ui…Un)。
7.根据权利要求6所述的基于血管造影图像分析血流储备分数的处理方法，其特征在于，
所述人工神经网络ANN模型包括输入层、一层或多层隐藏层和输出层；所述输入层包括多个输入层节点；各个所述隐藏层包括多个隐藏层节点；所述输出层包括一个输出层节点；
所述输入层用于将所述第一数据片段的各个片段数据输入对应的所述输入层节点作为对应的节点输出值；
第一层隐藏层的各个所述隐藏层节点分别与所有所述输入层节点全连接形成对应的第一全连接网络；所述第一层隐藏层用于在本层的各个所述隐藏层节点上，将对应的所述第一全连接网络中所有所述输入层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第一结果，并将所述第一结果输入预设的激活函数中进行运算生成对应的第二结果，并将所述第二结果作为当前隐藏层节点的节点输出值；
下一层隐藏层的各个所述隐藏层节点分别与上一层隐藏层的所有所述隐藏层节点全连接形成对应的第二全连接网络；所述下一层隐藏层用于在本层的各个所述隐藏层节点上，将对应的所述第二全连接网络中所述上一层隐藏层的所有所述隐藏层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第三结果，并将所述第三结果输入预设的激活函数中进行运算生成对应的第四结果，并将所述第四结果作为当前隐藏层节点的节点输出值；
所述输出层的所述输出层节点与最后一层隐藏层的所有所述隐藏层节点全连接形成对应的第三全连接网络；所述输出层用于在所述输出层节点上，将对应的所述第三全连接网络中所述最后一层隐藏层的所有所述隐藏层节点的节点输出值输入预设的全连接线性运算函数中进行运算生成对应的第五结果，并将所述第五结果输入预设的激活函数中进行运算生成对应的第六结果，并将所述第六结果作为所述分支运算结果Ui；
所述隐藏层和所述输出层使用的所述激活函数默认为ReLU函数。
8.一种用于实现权利要求1-7任一项所述的基于血管造影图像分析血流储备分数的处理方法步骤的装置，其特征在于，所述装置包括：获取模块、图像目标检测与语义分割模块、定量冠状动脉造影分析处理模块、靶点处理模块、血管分支处理模块和血流储备分数处理模块；
所述获取模块用于获取血管造影图像作为第一图像；
所述图像目标检测与语义分割模块用于基于预设的图像目标检测与语义分割模型，对所述第一图像进行冠脉入口血管与狭窄段血管的目标检测和语义分割处理，从而在所述第一图像上得到一个目标检测框A以及一个或多个目标检测框B；所述目标检测框A、B内均包括一段血管掩膜图像，所述目标检测框A对应的检测目标类型为冠脉入口血管类型，所述目标检测框B对应的检测目标类型为狭窄段血管类型；
所述定量冠状动脉造影分析处理模块用于对所述目标检测框A的所述血管掩膜图像进行冠脉入口直径分析生成对应的冠脉入口直径；并对各个所述目标检测框B的所述血管掩膜图像进行狭窄段血管直径与狭窄率分析生成对应的第一狭窄段直径序列和第一狭窄率；
所述靶点处理模块用于将用户在所述第一图像上标记的血流储备分数分析点作为对应的靶点Pi，并将用户对所述靶点Pi处的血管直径测量结果作为对应的靶点直径；其中，1≤i≤n，n为测量点总数；
所述血管分支处理模块用于对各个所述靶点Pi在所述第一图像上所处的血管分支进行确认生成对应的血管分支Ci，并根据各个所述血管分支Ci对应的所有所述第一狭窄段直径序列和所述第一狭窄率、以及对应的所述靶点Pi的所述靶点直径、以及所述冠脉入口直径进行血管分支特征提取处理生成对应的分支特征数据序列Si，并对得到的所有所述分支特征数据序列Si进行排序得到分支特征数据集合Din(S1…Si…Sn)；
所述血流储备分数处理模块用于将所述分支特征数据集合Din(S1…Si…Sn)输入预设的人工神经网络ANN模型进行运算输出分支运算结果集合Dout(U1…Ui…Un)；并将集合中各个分支运算结果Ui作为对应的所述靶点Pi的血流储备分数分析结果进行输出。
9.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-7任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-7任一项所述的方法的指令。
CN202210067548.2A 2022-01-20 2022-01-20 基于血管造影图像分析血流储备分数的处理方法和装置 Pending CN116523813A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210067548.2A CN116523813A (zh) 2022-01-20 2022-01-20 基于血管造影图像分析血流储备分数的处理方法和装置
PCT/CN2022/097247 WO2023137948A1 (zh) 2022-01-20 2022-06-07 基于血管造影图像分析血流储备分数的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210067548.2A CN116523813A (zh) 2022-01-20 2022-01-20 基于血管造影图像分析血流储备分数的处理方法和装置

Publications (1)

Publication Number Publication Date
CN116523813A true CN116523813A (zh) 2023-08-01

Family

ID=87347709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210067548.2A Pending CN116523813A (zh) 2022-01-20 2022-01-20 基于血管造影图像分析血流储备分数的处理方法和装置

Country Status (2)

Country Link
CN (1) CN116523813A (zh)
WO (1) WO2023137948A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197164B (zh) * 2023-11-08 2024-03-08 中国医学科学院北京协和医院 用于计算心肌血管供血区域的管道流域计算方法及系统
CN117274502B (zh) * 2023-11-17 2024-03-01 北京唯迈医疗设备有限公司 一种辅助介入手术的图像处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3087921A1 (en) * 2015-04-27 2016-11-02 Coronary Technologies SARL Computer-implemented method for identifying zones of stasis and stenosis in blood vessels
CN104867147A (zh) * 2015-05-21 2015-08-26 北京工业大学 基于冠状动脉造影图像分割的syntax自动评分方法
CN109493323B (zh) * 2018-10-22 2022-03-15 北京师范大学 基于截面形变几何信息的冠脉狭窄双重判定方法
CN111667456B (zh) * 2020-04-28 2023-11-14 北京理工大学 一种冠状动脉x光序列造影中血管狭窄检测方法及装置
CN111657883B (zh) * 2020-06-03 2021-05-04 北京理工大学 基于序列造影的冠脉syntax分数自动计算方法与系统

Also Published As

Publication number Publication date
WO2023137948A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
US20210272030A1 (en) Systems and methods for using geometry sensitivity information for guiding workflow
CN116523813A (zh) 基于血管造影图像分析血流储备分数的处理方法和装置
CN114418977A (zh) 基于血管造影视频进行冠脉造影定量分析的方法和装置
Balakrishna et al. Automatic detection of lumen and media in the IVUS images using U-Net with VGG16 Encoder
CN110638438A (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
CN107615335A (zh) 医学图象处理方法和系统
CN112070067B (zh) 一种光体积描计信号的散点图分类方法和装置
CN113499090A (zh) 冠状动脉血流储备分数得到方法、装置、计算机设备和存储介质
CN111178420B (zh) 一种二维造影图像上冠脉段标注方法及系统
CN114419500A (zh) 基于心脏超声视频筛选舒张期和收缩期图像的方法和装置
CN113436185A (zh) 肝脏静脉血管三维结构特征定量分析方法、装置、计算机设备和存储介质
US10354349B2 (en) Systems and methods for using geometry sensitivity information for guiding workflow
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN110599444B (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
CN113724203B (zh) 应用于oct图像中目标特征分割的模型训练方法及装置
Khan et al. Three-dimensional morphometric analysis of the renal vasculature
CN112336325B (zh) 一种融合标定光体积描计信号数据的血压预测方法和装置
CN114418976A (zh) 一种血管造影图像的分析方法和装置
CN109919904A (zh) 一种x射线造影图像的血管拓扑结构分析方法及装置
CN110717916B (zh) 一种基于卷积神经网络的肺栓塞检测系统
CN114419499B (zh) 一种基于心脏超声视频的射血分数数据处理方法和装置
CN115775233A (zh) 一种基于心脏超声视频测量特征尺寸的处理方法和装置
CN114519722A (zh) 一种基于卷积神经网络的颈动脉提取方法
CN113744246B (zh) 根据血管断层扫描图像预测血流储备分数的方法和装置
CN113723419B (zh) 一种基于语义分割网络对造影图像进行分割的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination