CN111680447A - 血流特征预测方法、装置、计算机设备和存储介质 - Google Patents

血流特征预测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111680447A
CN111680447A CN202010314776.6A CN202010314776A CN111680447A CN 111680447 A CN111680447 A CN 111680447A CN 202010314776 A CN202010314776 A CN 202010314776A CN 111680447 A CN111680447 A CN 111680447A
Authority
CN
China
Prior art keywords
blood vessel
central point
image
sequence
central
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010314776.6A
Other languages
English (en)
Other versions
CN111680447B (zh
Inventor
李璟
马骏
兰宏志
郑凌霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Raysight Intelligent Medical Technology Co Ltd
Original Assignee
Shenzhen Raysight Intelligent Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Raysight Intelligent Medical Technology Co Ltd filed Critical Shenzhen Raysight Intelligent Medical Technology Co Ltd
Priority to CN202010314776.6A priority Critical patent/CN111680447B/zh
Publication of CN111680447A publication Critical patent/CN111680447A/zh
Priority to PCT/CN2021/082629 priority patent/WO2021213124A1/zh
Application granted granted Critical
Publication of CN111680447B publication Critical patent/CN111680447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本申请涉及一种血流特征预测方法、装置、计算机设备和存储介质。所述方法包括：基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；所述中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型；从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征；其中，所述血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。采用本方法能够提高血流特征预测效率。

Description

血流特征预测方法、装置、计算机设备和存储介质
技术领域
本申请涉及深度学习技术领域，特别是涉及一种血流特征预测方法、装置、计算机设备和存储介质。
背景技术
血管疾病严重威胁着人类健康，血流特征是医生评估血管的健康状况的重要生理指标，血流特征包括血流储备分数(FFR)、压强和剪切力等，对血流特征进行预测能够为血管疾病的诊断和治疗提供帮助。
传统技术中，一般是通过CFD(Computational Fluid Dynamics，计算流体动力学)模拟仿真血液在血管中的流动，计算出沿血管各中心点的血流特征。然而，这种方法通常需要进行大量的计算，对计算机算力要求很高，这降低了血流特征预测的效率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高血流特征预测效率的血流特征预测方法、装置、计算机设备和存储介质。
一种血流特征预测方法，所述方法包括：
基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；所述中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型；
从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征；
其中，所述血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。
在其中一个实施例中，所述中心线提取模型中包括第一网络和第二网络；所述第二网络是基于Transformer结构的深度学习网络；所述基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树包括：
获取所述三维血管影像中血管的入口处的中心点的位置特征参数；所述位置特征参数包括位置坐标、方向向量和点分类标签；所述点分类标签，用于表示中心点为分支点、终点或非分支点非终点；
将所述入口处的中心点作为当前中心点，提取所述当前中心点的邻域图像块，并将所述邻域图像块输入所述第一网络中进行卷积处理，输出低维度抽象特征；
将所述当前中心点的低维度抽象特征与所述位置特征参数输入所述第二网络中，预测下一个中心点的位置特征参数，并将所述下一个中心点作为当前中心点，返回所述提取所述当前中心点的邻域图像块以继续执行，直到所述下一个中心点为终点，得到三维血管影像中血管的全部中心点的位置特征参数；
根据全部所述位置特征参数所表征的全部中心点，生成所述三维血管影像中血管的中心线，得到血管树。
在其中一个实施例中，所述中心线提取模型的训练步骤包括：
获取样本数据；所述样本数据中，包括由连续的样本中心点的样本邻域图像块组成的样本图像块序列、以及所述样本中心点对应的真实位置特征参数；所述连续的样本中心点，是从样本三维血管影像中的血管中心线上选取的连续的中心点；
在每轮训练中，迭代地将样本图像块序列中当前样本中心点的样本邻域图像块，输入本轮的第一网络中提取低维度抽象特征，将提取的低维度抽象特征和当前样本中心点的预测位置特征参数，输入本轮的第二网络中，输出下一个样本中心点的预测位置特征参数，并根据每个样本中心点对应的预测位置参数和所述真实位置特征参数之间的差异，更新本轮的所述第一网络和所述第二网络的模型参数，直至达到训练停止条件，得到中心线提取模型；所述中心线提取模型中包括训练停止时的第一网络和第二网络。
在其中一个实施例中，所述基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树还包括：
从所述血管树中的血管入口开始，按照近端到远端的顺序，依次选取位于所述血管树的中心线上的待修正的中心点；
针对每个所述待修正的中心点，获取以所述待修正的中心点为中心的、且垂直于所述中心线的预设数量的图像，得到第一图像序列；
将所述第一图像序列输入中心线修正模型中，得到所述待修正的中心点所对应的位置偏移量；所述中心线修正模型，是预先基于Transformer网络结构训练的深度学习模型；
按所述位置偏移量对待修正的中心点进行位置修正，得到修正后的中心点；
根据全部所述修正后的中心点生成修正后的中心线，得到最终的血管树。
在其中一个实施例中，所述将所述第一图像序列输入中心线修正模型中，得到所述待修正的中心点所对应的位置偏移量包括：
将所述第一图像序列输入中心线修正模型中，预测所述第一图像序列中处于中心位置的图像所对应的位置偏移量，作为所述待修正的中心点所对应的位置偏移量。
在其中一个实施例中，所述中心线修正模型的训练步骤包括：
获取样本三维血管影像中血管中心线上的各样本中心点对应的第一样本图像序列、以及各所述样本中心点对应的真实位置偏移量；
在每轮迭代训练中，将所述第一样本图像序列输入待训练的中心线修正模型中，得到预测的位置偏移量；待训练的中心线修正模型中包括Transformer网络结构；
根据所述预测的位置偏移量与所述真实位置偏移量的差异，迭代调整所述待训练的中心线修正模型，直到模型收敛，得到最终的中心线修正模型。
在其中一个实施例中，所述从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征包括：
从所述血管树的血管入口开始，按照近端到远端的顺序，依次从所述血管树中选取预设长度的中心线上的点，得到中心点序列；
获取各所述中心点序列对应的特征序列；
将各所述中心点序列对应的特征序列，分别输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点序列中各中心点的血流特征。
在其中一个实施例中，所述血流特征预测模型的训练步骤包括：
获取样本三维血管影像中血管树的中心线上各中心点的样本特征序列和所述各中心点对应的样本血流特征；
将预设长度的中心线上各中心点的所述样本特征序列输入待训练的血流特征预测模型中，得到所述预设长度的中心线上沿血管各中心点的预测血流特征；
根据所述样本血流特征与所述预测血流特征的差异，迭代调整所述待训练的血流特征预测模型，直到模型收敛，得到最终的血流特征预测模型。
在其中一个实施例中，所述特征序列包括所述中心点序列中的中心点对应的原三维图像块、三维分割图像块、血管直径、到血管入口的距离、到上游最近分叉的距离、上游斑块总长度、上游斑块平均长度、上游路径平均面积、上游路径最大面积、上游路径最小面积、下游斑块总长度、下游斑块平均长度、下游路径平均面积、下游路径最大面积和下游路径最小面积，以及心房体积、心肌体积、组学特征和血管面积中的至少一种；所述血流特征包括血流储备分数、流速、压强和剪切力中的至少一种。
在其中一个实施例中，所述三维分割图像块，是所述中心点序列中的中心点在三维血管模型中对应的、且在像素空间下的图像块；
在所述从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列之前，所述方法还包括：
对包含血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，并对所述血管轮廓进行放样插值，生成三维血管模型；所述三维血管模型为三维分割图像。
在其中一个实施例中，所述对包括血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓包括：
将包含血管树的三维血管影像中的血管，沿所述血管树中的中心线进行拉直处理，得到血管拉直图像；
从所述血管拉直图像中，提取中心线上各中心点临近的预设数量的血管横截面图像，得到分别与每个中心点对应的第二图像序列；
将每个中心点对应的第二图像序列输入血管轮廓提取模型中，得到每个所述中心点所对应的轮廓距离；所述轮廓距离，用于表示所述中心点所对应的血管轮廓到所述中心点的距离；
根据每个所述中心点所对应的轮廓距离，生成血管轮廓。
在其中一个实施例中，所述方法还包括：
确定每个所述中心点所对应的血管轮廓，并取所对应的血管轮廓的质心，作为每个所述中心点所对应的新的中心点；
根据每个新的中心点，生成新的血管树；
所述从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列包括：
从所述新的血管树中的血管入口处，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列。
在其中一个实施例中，所述血管轮廓提取模型的训练步骤包括：
对样本三维血管影像进行血管拉直处理，得到样本血管拉直图像；
针对样本血管拉直图像中的中心线上各样本中心点，取与各所述样本中心点临近的多个样本血管横截面图像，得到多个第二样本图像序列；
获取针对各所述样本血管横截面图像标注的真实轮廓距离；所述真实轮廓距离，用于表示所述样本血管横截面图像中的血管轮廓上的各点，到所述样本血管横截面图像所对应的中心点之间的距离；
将所述第二样本图像序列输入待训练的血管轮廓提取模型中，得到所述第二样本图像序列的图像对应的预测轮廓距离；
根据所述预测轮廓距离与所述真实轮廓距离的差异，迭代调整所述待训练的血管轮廓提取模型，直到模型收敛，得到所述血管轮廓提取模型。
一种血流特征预测装置，所述装置包括：
血管树生成模块，用于基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；所述中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型；
血流特征预测模块，用于从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征；
其中，所述血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行本申请各实施例所述的血流特征预测方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行本申请各实施例所述的血流特征预测方法中的步骤。
上述血流特征预测方法、装置、计算机设备和存储介质，首先基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树，中心线提取模型是预先基于Transformer网络结构训练的深度学习模型，然后从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿所述各中心点的血流特征，其中，血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。采用基于transformer网络结构训练的中心线提取模型提取中心线，并采用基于transformer网络结构训练的血流特征预测模型预测血流特征，不需要使用大量算力进行模拟仿真得到血流特征，降低了计算量，从而提高了血流特征预测的效率。而且，基于transformer网络结构训练的血流特征预测模型能够对中心点序列中各中心点对应的特征序列进行并行处理，进一步地提高了血流特征预测的效率。
附图说明
图1为一个实施例中血流特征预测方法的流程示意图；
图2为一个实施例中Transformer网络的结构示意图；
图3为一个实施例中编码器和解码器的结构示意图；
图4为一个实施例中血管树生成的流程示意图；
图5为一个实施例中血管入口处的中心点的示意图；
图6为一个实施例中中心线提取的示意图；
图7为一个实施例中中心线提取模型的训练示意图；
图8为一个实施例中中心线修正的示意图；
图9为一个实施例中中心线修正模型的训练示意图；
图10为一个实施例中中心线提取和血管树生成的流程图；
图11为一个实施例中血流特征预测的示意图；
图12为一个实施例中血流特征预测模型的训练示意图；
图13为一个实施例中血流特征预测的流程图；
图14为一个实施例中血管拉直的示意图；
图15为一个实施例中血管轮廓提取的示意图；
图16为一个实施例中血管轮廓提取模型的训练示意图；
图17为一个实施例中血管轮廓提取的流程图；
图18为一个实施例中血流特征预测方法的整体流程图；
图19为一个实施例中血流特征预测装置的结构框图；
图20为一个实施例中血流特征预测装置的结构框图；
图21为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种血流特征预测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S102，基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型。
其中，中心线提取模型，是用于提取血管的中心线的模型。三维血管影像，是对血管拍摄的三维影像。血管树，是由三维血管影像中血管的中心线组成的树形结构。
Transformer网络，是一种进行序列特征分析的人工神经网络。如图2所示，Transformer网络由多个编码器和解码器相连接而成，从第一个编码器输入序列特征，由最后一个解码器输出预测的结果。编码器和解码器的结构如图3所示，编码器包含一个自注意力(self-attention)模块和一个前向传播(feed-forward)模块，解码器包含两个自注意力模块和一个前向传播模块，编码器和解码器的输入和输出均为序列特征。
在一个实施例中，三维血管影像可以是CT(Computed Tomography，电子计算机断层扫描)影像或MRI(Magnetic Resonance Imaging，磁共振成像)影像。
在一个实施例中，血管三维影像可以是对全身的血管拍摄的三维影像。在一个实施例中，三维血管影像也可以是对心血管、脑血管或外周血管等中的至少一种拍摄的三维影像。
具体地，服务器基于中心线提取模型，对三维血管影像进行中心线提取，得到三维血管影像中血管的中心线，然后根据全部中心线，生成血管树。
在一个实施例中，服务器可以基于中心线提取模型提取三维血管影像中的中心点，然后根据全部中心点，生成三维血管影像中血管的中心线。其中，中心点为中心线上的点。
在一个实施例中，服务器还可以对提取的中心线进行修正，得到更加准确的中心线。
S104，从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，并将中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点的血流特征。
其中，中心点序列，包含中心线上的多个中心点。特征序列，包含预测血流特征所需要的多个特征。血流特征，是医生评估血管的健康状况的重要生理指标。血流特征包括血流储备分数(FFR)、流速、压强和剪切力等中的至少一种。血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。
具体地，从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，然后获取中心点序列中的各中心点所对应的特征序列，并将特征序列输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点的血流特征。
在一个实施例中，可以分别从血管树中预设长度的中心线上，选取中心点序列，然后将各预设长度的中心线上的中心点序列所对应的特征序列分别输入血流特征预测模型中。
上述血流特征预测方法中，首先基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树，中心线提取模型是预先基于Transformer网络结构训练的深度学习模型，然后从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，并将中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点的血流特征，其中，血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。采用基于transformer网络结构训练的中心线提取模型提取中心线，并采用基于transformer网络结构训练的血流特征预测模型预测血流特征，不需要模拟仿真血液在血管中的流动来计算血流特征，降低了计算量，从而提高了血流特征预测的效率。而且，基于transformer网络结构训练的血流特征预测模型能够对中心点序列中各中心点对应的特征序列进行并行处理，相较于一些串行处理(比如，使用循环神经网络计算时，后面的隐含状态取决于前一个隐含状态和输入的数据，就需要串行处理)而言，进一步地提高了血流特征预测的效率，而且不存在梯度消失的问题。
其次，基于transformer网络结构训练的血流特征预测模型采用自注意力机制预测血流特征，能够注意到各中心点的特征序列之间的相关性，相较于对整个序列完全相同的对待而没有侧重点(比如使用循环神经网络进行处理就没有侧重点)而言，考虑到了序列之间的侧重点和关联性，提高了血流特征预测的准确性。
此外，本申请的方案考虑了空间序列关系，相较于将血管路径上的各个点独立开，提取局部特征单独进行计算的处理而言，能够更加准确地预测血流特征。再者，从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，这种选取方式比较接近血流的流动形式，考虑了整个血管树的空间序列关系，相较于仅考虑一段血管路径的空间序列关系的处理而言，能够更加准确地预测血流特征，而且，在参考整个血管树这一更长的空间序列关系的同时，并不会导致计算复杂度的大量增加，从而并不影响血流特征的预测效率。
在一个实施例中，中心线提取模型中包括第一网络和第二网络。第二网络是基于Transformer结构的深度学习网络。步骤S102具体包括如下步骤：
S402，获取三维血管影像中血管的入口处的中心点的位置特征参数；位置特征参数包括位置坐标、方向向量和点分类标签；点分类标签，用于表示中心点为分支点、终点或非分支点非终点。
其中，中心点，是血管的中心线上的点。
在一个实施例中，点分类标签可以为0、1或2。比如，0可以表示中心点为非分支点非终点，1可以表示中心点为分支点，2可以表示中心点为终点。
如图5所示，为血管的入口处的中心点，箭头表示该中心点的方向向量所表征的方向。
在一个实施例中，可以通过机器学习方法自动获取三维血管影像中血管的入口处的中心点的位置特征参数。首先，训练用于提取入口中心点位置特征参数的模型，具体步骤如下：获取样本三维血管影像以及各样本三维血管影像血管的入口处的中心点的位置特征参数标注数据，服务器将样本三维血管影像输入待训练的模型(可以是卷积神经网络，比如：ResNet)中，预测出血管的入口处的中心点的预测位置特征参数，根据预测位置特征参数与位置特征参数标注数据的差异，迭代调整待训练的模型的参数，以使差异减小，直到模型收敛，得到最终的用于提取入口中心点位置特征参数的模型。然后，将三维血管影像输入该模型中，即可预测出入口处的中心点的位置特征参数。
S404，将入口处的中心点作为当前中心点，提取当前中心点的邻域图像块，并将邻域图像块输入第一网络中进行卷积处理，输出低维度抽象特征。
其中，邻域图像块，是在三维血管影像中以当前中心点为中心提取的预设体积的三维图像块，比如，邻域图像块的预设体积可以为25*25*25像素。低维度抽象特征，是第一网络提取的低维度抽象特征。
在一个实施例中，邻域图像块可以是在三维血管影像的原图像中提取的图像块。在一个实施例中，邻域图像块也可以是在经过归一化处理后的图像块。
在一个实施例中，第一网络，可以由多个卷积神经网络(CNN)组成，且各卷积神经网络之间权值共享。服务器将当前中心点的邻域图像块输入当前中心点所对应的卷积神经网络中，输出当前中心点所对应的低维度抽象特征。
S406，将当前中心点的低维度抽象特征与位置特征参数输入第二网络中，预测下一个中心点的位置特征参数，并将下一个中心点作为当前中心点，返回提取当前中心点的邻域图像块以继续执行，直到下一个中心点为终点，得到三维血管影像中血管的全部中心点的位置特征参数。
其中，全部中心点，是三维血管影像中血管上的一系列中心点，各相邻中心点之间的间隔相等。可以理解，服务器通过中心线提取模型迭代地预测当前中心点的下一个中心点的位置特征参数，直到下一个中心点为终点，最终可以得到三维血管影像中血管的全部中心点的位置特征参数。预测得到位置特征参数中的位置坐标和方向向量为回归任务。预测得到位置特征参数中的点分类标签为分类任务。
具体地，服务器将当前中心点所对应的低维度抽象特征和位置特征参数输入第二网络中，预测下一个中心点的位置特征参数，并将下一个中心点作为当前中心点，返回提取当前中心点的邻域图像块以继续执行，直到下一个中心点为终点，得到三维血管影像中血管的全部中心点的位置特征参数。
在一个实施例中，当下一个中心点的位置特征参数中的点分类标签表示该中心点为终点时，则判定下一个中心点为终点。
如图6所示，为基于中心线提取模型提取三维血管影像中血管的中心线的示意图。图中，血管上最左边的点为血管的入口处的中心点，获取该入口处的中心点的位置特征参数p1(位置坐标)、d1(方向向量)和y1(点分类标签)。提取该入口处的中心点的邻域图像块x1，将邻域图像块x1输入第一网络(CNN)中进行卷积处理，输出低维度抽象特征，再将低维度抽象特征与位置特征参数p1,d1,y1输入第二网络(Transformer)中，预测下一个中心点的位置特征参数p2,d2,y2，再提取下一个中心点的邻域图像块x2，将邻域图像块x2输入第一网络(CNN)中进行卷积处理，输出低维度抽象特征，再将低维度抽象特征与位置特征参数p2,d2,y2输入第二网络(Transformer)中，预测下一个中心点的位置特征参数p3,d3,y3，以此类推，直到下一个中心点为终点，得到三维血管影像中血管的全部中心点的位置特征参数。
在一个实施例中，当当前中心点为分支点(点分类标签表示当前中心点为分支点)时，可以对当前中心点所在的区域进行区域生长，得到多个连通区域，取各连通区域的质心作为下一个中心点(即得到了下一个中心点的位置坐标)，下一个中心点的方向向量所表征的方向是由当前中心点指向下一个中心点的方向。可以理解，当前中心点对应几个分支血管，则得到几个连通区域。
在一个实施例中，当当前中心点为分支点(点分类标签表示当前中心点为分支点)时，也可以通过深度学习方法预测下一个中心点的位置坐标和方向向量。首先训练分支点处理模型，具体步骤如下：将多幅血管分支处的图像块作为样本分支图像块，并获取各样本分支图像块中分支处的中心点的多个分支的方向向量标注数据，将血管分支处的图像块输入待训练的分支点处理模型(可以是卷积神经网络，比如：ResNet)中，得到多个分支的预测方向向量，根据预测方向向量与方向向量标注数据的差异，迭代调整待训练的分支点处理模型的参数，以使差异减小，直到模型收敛，得到分支点处理模型。然后，将当前中心点对应的邻域图像块输入分支点处理模型中，得到多个分支的方向向量(下一个中心点的方向向量)，将当前中心点沿着各个分支的方向向量移动一定距离，得到分支后的多个下一个中心点(即得到了下一个中心点的位置坐标)。
S408，根据全部位置特征参数所表征的全部中心点，生成三维血管影像中血管的中心线，得到血管树。
在一个实施例中，服务器可以对全部位置特征参数所表征的全部中心点进行样条插值处理(比如：三次样条插值)，生成三维血管影像中血管的中心线。
本实施例中，获取三维血管影像中血管的入口处的中心点的位置特征参数，将入口处的中心点作为当前中心点，提取当前中心点的邻域图像块，将当前中心点的邻域图像块和位置特征参数输入中心线提取模型中，预测下一个中心点的位置特征参数，将下一个中心点作为当前中心点，迭代地预测出三维血管影像中血管的全部中心点的位置特征参数，根据全部位置特征参数所表征的全部中心点，生成三维血管影像中血管的中心线，得到血管树。采用基于Transformer网络结构训练的中心线提取模型提取中心线，降低了计算量，从而提高了中心线提取的效率。
在一个实施例中，中心线提取模型的训练步骤具体包括如下步骤：获取样本数据；样本数据中，包括由连续的样本中心点的样本邻域图像块组成的样本图像块序列、以及样本中心点对应的真实位置特征参数；连续的样本中心点，是从样本三维血管影像中的血管中心线上选取的连续的中心点；在每轮训练中，迭代地将样本图像块序列中当前样本中心点的样本邻域图像块输入本轮的第一网络中提取低维度抽象特征，将提取的低维度抽象特征和当前样本中心点的预测位置特征参数，输入本轮的第二网络中，输出下一个样本中心点的预测位置特征参数，并根据每个样本中心点对应的预测位置参数和真实位置特征参数之间的差异，更新本轮的第一网络和第二网络的模型参数，直至达到训练停止条件，得到中心线提取模型；中心线提取模型中包括训练停止时的第一网络和第二网络。
其中，样本中心点，是作为训练样本的样本三维血管影像中血管的中心线上的点。连续的样本中心点，是从样本三维血管影像中的血管中心线上选取的连续的、且相邻中心点之间的间隔相等的中心点。样本邻域图像块，是在作为训练样本的样本三维血管影像中以样本中心点为中心提取的预设体积的三维图像块，比如，样本邻域图像块的预设体积可以为25*25*25像素。样本图像块序列，样本图像块序列，是一系列的样本邻域图像块，即包含多个样本邻域图像块。真实位置特征参数，是样本数据中的各样本中心点所对应的位置特征参数，是已知的、且用于在中心线提取模型的训练过程中作为参照。
具体地，在每轮训练中，服务器迭代地将样本图像块序列中当前样本中心点的样本邻域图像块输入本轮的第一网络中提取低维度抽象特征，然后将提取的低维度抽象特征和当前样本中心点的预测位置特征参数输入本轮的第二网络中，输出下一个样本中心点的预测位置特征参数，这样最终可以得到本轮训练中每个样本中心点对应的预测位置特征参数，根据每个样本中心点对应的预测位置参数和真实位置特征参数之间的差异，更新本轮的第一网络和第二网络的模型参数，以使差异减小，直至达到训练停止条件，得到中心线提取模型。
可以理解，当前样本中心点的预测位置特征参数，是在本轮训练中将上一个样本中心点的低维度抽象特征和上一个样本中心点的预测位置特征参数输入本轮训练的第二网络中得到的。当当前样本中心点为血管入口处的样本中心点(即第一个样本中心点)时，则不存在对应的预测位置特征参数，则用血管入口处的样本中心点的真实位置特征参数作为输入。
如图7所示，为中心线提取模型的训练示意图。在每轮训练中，先将第一个样本中心点的邻域图像块x1输入第一网络(卷积神经网络)中，提取低维度抽象特征，然后将提取的低维度抽象特征与第一个样本中心点的真实位置特征参数p1,d1,y1输入本轮的第二网络(Transformer网络)中，输出第二个样本中心点的预测位置特征参数p2,d2,y2，再将第二个样本中心点的邻域图像块输入第一网络所提取的低维度抽象特征，与第二个样本中心点的预测位置特征参数p2,d2,y2输入第二网络中，输出第三个样本中心点的预测位置特征参数p3,d3,y3，以此类推，得到本轮训练中每个样本中心点的预测位置特征参数，根据每个样本中心点对应的预测位置参数和真实位置特征参数之间的差异，更新本轮的第一网络和第二网络的模型参数，以使差异减小，开始下一轮训练，直至达到训练停止条件，得到中心线提取模型。
在一个实施例中，训练停止条件，可以是模型收敛。
本实施例中，通过样本数据迭代地训练，得到中心线提取模型，能够更加准确地提取中心线。
在一个实施例中，步骤S102还包括如下步骤：从血管树中的血管入口开始，按照近端到远端的顺序，依次选取位于血管树的中心线上的待修正的中心点；针对每个待修正的中心点，获取以待修正的中心点为中心的、且垂直于中心线的预设数量的图像，得到第一图像序列；将第一图像序列输入中心线修正模型中，得到待修正的中心点所对应的位置偏移量；中心线修正模型，是预先基于Transformer网络结构训练的深度学习模型；按位置偏移量对待修正的中心点进行位置修正，得到修正后的中心点；根据全部修正后的中心点生成修正后的中心线，得到最终的血管树。
其中，中心线修正模型，用于修正中心线的位置，以使中心线的位置更加准确。位置偏移量，是待修正的中心点在血管横截面上与血管正中心之间的位置偏移量。位置修正，是调整待修正的中心点的位置。
具体地，在包含生成的血管树的三维血管影像中，从血管树中的血管入口开始，按照近端到远端的顺序，依次选取位于血管树的中心线上的中心点，作为待修正的中心点。针对每个待修正的中心点，获取以该待修正的中心点为中心的、且垂直于中心线的预设数量的图像，得到第一图像序列，可以理解，第一图像序列中包含多幅二维图像。服务器将第一图像序列输入中心线修正模型中，得到待修正的中心点所对应的位置偏移量。服务器根据各待修正的中心点的位置偏移量，调整各待修正的中心点的位置，得到修正后的中心点。根据全部修正后的中心点生成修正后的中心线，得到最终的血管树。
在一个实施例中，位置偏移量可以包括两个方向(即x方向和y方向)上的偏移量。
在一个实施例中，中心线修正模型由多个卷积神经网络和一个Transformer网络组成，各卷积神经网络之间权值共享。如图8所示，为通过中心线修正模型进行中心线修正的示意图，图中获取以待修正的中心点为中心的、且垂直于中心线的预设数量的图像，得到第一图像序列x1,x2,…,xt，将第一图像序列中的各图像分别输入各卷积神经网络中，提取低维度抽象特征，再将各低维度抽象特征全部输入Transformer网络中，预测得到待修正的中心点的位置偏移量，位置偏移量包括两个方向上的偏移量dx和dy。
在一个实施例中，服务器可以对全部修正后的中心点进行样条插值处理(比如：三次样条插值)，得到修正后的中心线。
本实施例中，通过预先基于Transformer网络结构训练的中心线修正模型进行中心线修正，得到最终的血管树，能够得到更加准确的血管树。并且，Transformer网络结构的自注意力机制能够对图像序列中的相关性进行学习，从而得到更加准确的位置偏移量，进而得到更加准确的血管树。此外，采用基于Transformer网络结构训练的中心线修正模型，能够对图像序列进行并行处理，提高了处理效率。
在一个实施例中，将第一图像序列输入中心线修正模型中，得到待修正的中心点所对应的位置偏移量的步骤，具体包括如下步骤：将第一图像序列输入中心线修正模型中，预测第一图像序列中处于中心位置的图像所对应的位置偏移量，作为待修正的中心点所对应的位置偏移量。
具体地，服务器将待修正的中心点对应的第一图像序列输入中心线修正模型中，预测第一图像序列中处于中心位置的图像所对应的位置偏移量，将该位置偏移量作为该待修正的中心点所对应的位置偏移量。下面举例说明，假设将以待修正的中心点为中心的、且垂直于中心线的N幅图像，作为第一图像序列，那么，中心线修正模型预测出第N/2幅图像的位置偏移量，并将该位置偏移量作为该待修正的中心点所对应的位置偏移量。其中，N可以为奇数或偶数，当N为奇数时，将N/2的值进行四舍五入。
本实施例中，通过将第一图像序列输入中心线修正模型中，预测第一图像序列中处于中心位置的图像所对应的位置偏移量，作为待修正的中心点所对应的位置偏移量，能够通过基于Transformer网络结构的中心线修正模型对第一图像序列进行并行处理，快速得到中心点的位置偏移量，提高了中心线修正的效率。
在一个实施例中，中心线修正模型的训练步骤具体包括如下步骤：获取样本三维血管影像中血管中心线上的各样本中心点对应的第一样本图像序列、以及各样本中心点对应的真实位置偏移量；在每轮迭代训练中，将第一样本图像序列输入待训练的中心线修正模型中，得到预测的位置偏移量；待训练的中心线修正模型中包括Transformer网络结构；根据预测的位置偏移量与真实位置偏移量的差异，迭代调整待训练的中心线修正模型，直到模型收敛，得到最终的中心线修正模型。
其中，第一样本图像序列，是从样本三维血管影像中提取的，以样本中心点为中心的、且垂直于样本三维血管影像中血管中心线的预设数量的图像，可以理解，第一样本图像序列中包含多幅二维图像。真实位置偏移量，是在中心线修正模型的训练过程中作为参照的位置偏移量。
在一个实施例中，待训练的中心线修正模型由多个卷积神经网络和一个Transformer网络组成，各卷积神经网络之间权值共享。如图9所示，为中心线修正模型的模型训练示意图。服务器将第一样本图像序列中的各图像x1,x2,…,xt分别输入各个卷积神经网络中提取低维度抽象特征，再将各图像对应的低维度抽象特征全部输入Transformer网络中，预测第一样本图像序列中处于中心位置的图像的预测的位置偏移量dx和dy。根据预测的位置偏移量与真实位置偏移量的差异，迭代调整卷积神经网络和Transformer网络的参数，直到模型收敛，得到最终的中心线修正模型。中心线修正模型包括模型收敛时的卷积神经网络和Transformer网络。
如图10所示，是一个实施例中中心线提取和血管树生成的流程图，首先获取三维血管影像(即原始的医学影像)，训练基于Transformer网络结构的中心线提取模型，然后基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树。然后训练基于Transformer网络结构的中心线修正模型，基于中心线修正模型修正三维血管影像中血管的中心线，得到最终的血管树。
本实施例中，通过迭代地训练得到中心线修正模型，从而能够得到更加准确的中心线。
在一个实施例中，步骤S104具体包括如下步骤：从血管树的血管入口开始，按照近端到远端的顺序，依次从血管树中选取预设长度的中心线上的点，得到中心点序列；获取各中心点序列对应的特征序列；将各中心点序列对应的特征序列分别输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点序列中各中心点的血流特征。
可以理解，从血管树的血管入口开始，按照近端到远端的顺序，依次从血管树中选取预设长度的中心线上的点，得到中心点序列，是将血管树分成了预设长度的多段，在每段中选取中心点序列。
在一个实施例中，特征序列包含不少于一个已知的特征，血流特征包含不少于一个血流特征。待预测哪些血流特征，则将相应的需要输入的已知特征组成的特征序列输入血流特征预测模型中。
在一个实施例中，血流特征预测模型由多个卷积神经网络(CNN)或全连接网络(FC)和一个Transformer网络组成，各卷积神经网络或各全连接网络之间权值共享。如图11所示，为血流特征预测的示意图，针对一个中心点序列，服务器将中心点序列中各中心点对应的特征序列x1,x2,…,xt分别输入卷积神经网络(CNN)或全连接网络(FC)中，提取低维度抽象特征，然后将各中心点对应的低维度抽象特征全部输入Transformer网络中，预测出沿该中心点序列中各中心点的血流特征y1,y2,…,yt。
本实施例中，采用基于Transformer网络结构训练的血流特征预测模型预测血流特征，不需要使用使用大量算力进行模拟仿真得到血流特征，降低了计算量，从而提高了血流特征预测的效率。而且，基于Transformer网络结构训练的血流特征预测模型能够对中心点序列中各中心点对应的特征序列进行并行处理，同样也提高了血流特征预测的效率。此外，基于Transformer网络结构训练的血流特征预测模型采用自注意力机制预测血流特征，能够注意到各中心点的特征序列之间的相关性，从而能够更加准确地预测血流特征。从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，这种选取方式能够模拟血流的流动，从而能够更加准确地预测血流特征。
在一个实施例中，血流特征预测模型的训练步骤具体包括如下步骤：获取样本三维血管影像中血管树的中心线上各中心点的样本特征序列和各中心点对应的样本血流特征；将预设长度的中心线上各中心点的样本特征序列输入待训练的血流特征预测模型中，得到预设长度的中心线上沿血管各中心点的预测血流特征；根据样本血流特征与预测血流特征的差异，迭代调整待训练的血流特征预测模型，直到模型收敛，得到最终的血流特征预测模型。
其中，样本血流特征，是已知的、在血流特征预测模型的训练过程中作为参照的血流特征。
在一个实施例中，待训练的血流特征预测模型由多个卷积神经网络(CNN)或全连接网络(FC)和一个Transformer网络组成，卷积神经网络或全连接网络权值共享。如图12所示，为血流特征预测模型的训练示意图，将预设长度的中心线上各中心点的样本特征序列x1,x2,…,xt输入卷积神经网络(CNN)或全连接网络(FC)中，提取低维度抽象特征，然后将各中心点对应的低维度抽象特征全部输入Transformer网络中，预测出预设长度的中心线上沿血管各中心点的预测血流特征y1,y2,…,yt。根据样本血流特征与预测血流特征的差异，迭代调整卷积神经网络或全连接网络和Transformer网络的参数，直到模型收敛，得到最终的血流特征预测模型，最终的血流特征预测模型包括模型收敛时的多个卷积神经网络或全连接网络和一个Transformer网络。
如图13所示，为一个实施例中血流特征预测的流程图。首先获取包含血管树的三维血管影像中沿着中心线上各中心点的特征序列，然后训练基于Transformer网络结构的血流特征预测模型，将各中心点的特征序列输入血流特征预测模型中，预测沿各中心点的血流特征。
本实施例中，通过迭代地训练基于Transformer网络结构的血流特征预测模型，不需要使用大量算力进行模拟仿真得到血流特征，降低了计算量，从而提高了血流特征预测的效率。而且，基于Transformer网络结构训练的血流特征预测模型能够对中心点序列中各中心点对应的特征序列进行并行处理，同样也提高了血流特征预测的效率。此外，基于Transformer网络结构训练的血流特征预测模型采用自注意力机制预测血流特征，能够注意到各中心点的特征序列之间的相关性，从而能够更加准确地预测血流特征。从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，这种选取方式能够模拟血流的流动，从而能够更加准确地预测血流特征。
在一个实施例中，特征序列包括中心点序列中的中心点对应的原三维图像块、三维分割图像块、血管直径、到血管入口的距离、到上游最近分叉的距离、上游斑块总长度、上游斑块平均长度、上游路径平均面积、上游路径最大面积、上游路径最小面积、下游斑块总长度、下游斑块平均长度、下游路径平均面积、下游路径最大面积和下游路径最小面积，以及心房体积、心肌体积、组学特征和血管面积中的至少一种；血流特征包括血流储备分数、流速、压强和剪切力中的至少一种。
其中，原三维图像块，是中心点在三维血管影像中对应的三维图像块。三维分割图像块，是中心点在三维血管影像的三维分割图像中对应的三维图像块。上游，是中心点的上游。下游，是中心点的下游。血流储备分数，是在冠状动脉存在狭窄病变的情况下，该冠状动脉血管所供的心肌区域能获得的最大血流与该心肌区域正常情况下所能获得的最大血流之比，即心肌最大充血状态下的狭窄远端冠状动脉内平均压(Pd)与冠状动脉口部主动脉平均压(Pa)的比值。
可以理解，原三维图像块、三维分割图像块、血管直径、到血管入口的距离、到上游最近分叉的距离、上游斑块总长度、上游斑块平均长度、上游路径平均面积、上游路径最大面积、上游路径最小面积、下游斑块总长度、下游斑块平均长度、下游路径平均面积、下游路径最大面积和下游路径最小面积，均为各中心点分别对应的特征。心房体积、心肌体积、组学特征和血管面积为整体特征，各中心点的心房体积、心肌体积、组学特征和血管面积特征一致。
可以理解，输入的特征序列，根据需要预测哪些血流特征来确定。
在一个实施例中，在血流特征预测模型的训练中，样本血流特征中的血流储备分数可以是通过CFD(Computational Fluid Dynamics，计算流体动力学)模拟仿真得到的，也可以是临床数据。
在一个实施例中，服务器可以通过深度学习模型提取包含血管树的三维血管影像中的三维血管轮廓，可以理解，三维血管轮廓即相当于血管的三维分割图像，从而得到中心点在三维血管轮廓中对应的三维分割图像块。
本实施例中，血流特征预测模型可以预测多种血流特征，能够为血管疾病的诊断和治疗提供帮助。
在一个实施例中，三维分割图像块，是中心点序列中的中心点在三维的血管轮廓中对应的、且在像素空间下的图像块。在从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列的步骤之前，还包括如下步骤：对包含血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，并对血管轮廓进行放样插值，生成三维血管模型；三维血管模型为三维分割图像。
具体地，服务器可以通过深度学习模型对包含血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，并对血管轮廓进行放样插值，生成三维血管模型，三维血管模型为三维分割图像。从三维血管模型中提取各中心点对应的图像块，作为三维分割图像块。
在一个实施例中，三维血管模型是在连续空间下的，需要先将三维血管模型转换至像素空间，再从像素空间下的三维血管模型中提取各中心点对应的图像块，作为三维分割图像块。
本实施例中，三维分割图像块，是中心点序列中的中心点在三维血管模型中对应的图像块。通过对包含血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，进而得到各中心点对应的三维分割图像块，从而能够将三维分割图像块作为特征序列输入血流特征预测模型中预测血流特征。
在一个实施例中，可以使用三维血管模型，模拟仿真血液在血管中的流动，从而计算得到血流储备分数。在血流特征预测模型的训练中，可以将本实施例中得到的血流储备分数作为样本血流特征序列中的部分或全部样本血流特征。
在一个实施例中，可以理解，通过三维血管模型可以知晓血管宽窄、长度以及斑块等信息，所以，可以根据三维血管模型计算得到样本特征序列中的部分或全部样本特征。具体地，可以根据三维血管模型计算上游斑块总长度、上游斑块平均长度、上游路径平均面积、上游路径最大面积、上游路径最小面积、下游斑块总长度、下游斑块平均长度、下游路径平均面积、下游路径最大面积和下游路径最小面积。在血流特征预测模型的训练中，可以将本实施例中得到的数据作为样本特征序列中的样本特征。
在一个实施例中，可以对三维血管模型进行可视化渲染，从而方便医生查看血管的情况，比如：血管的狭窄情况。
在一个实施例中，对包括血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓的步骤，具体包括如下步骤：将包含血管树的三维血管影像中的血管，沿血管树中的中心线进行拉直处理，得到血管拉直图像；从血管拉直图像中，提取中心线上各中心点临近的预设数量的血管横截面图像，得到分别与每个中心点对应的第二图像序列；将每个中心点对应的第二图像序列输入血管轮廓提取模型中，得到每个中心点所对应的轮廓距离；轮廓距离，用于表示中心点所对应的血管轮廓到中心点的距离；根据每个中心点所对应的轮廓距离，生成血管轮廓。
其中，血管横截面图像，是垂直于中心线的二维图像。可以理解，提取中心线上各中心点临近的预设数量的血管横截面图像，是提取以中心线上各中心点为中心的、且垂直于中心线的预设数量的二维图像。每个中心点对应的第二图像序列中包含多幅血管横截面图像。轮廓距离，用于表示中心点所对应的血管轮廓到中心点的距离，可以理解，轮廓距离包含血管轮廓上各点到中心点的距离。
可以理解，血管是弯曲的，将血管沿中心线进行拉直处理，是将弯曲的血管拉直。如图14所示，即为血管拉直的示意图，左图为拉直前的血管，沿着中心线将中心线上各中心点对应的横截面堆叠在一起，得到拉直后的血管(右图)。
在一个实施例中，可以从血管入口处开始，按近端到远端的顺序，依次选取中心线上的中心点，并对以该中心点为中心的一段血管进行拉直处理，得到该中心点对应的血管拉直图像。
在一个实施例中，也可以将包含血管树的三维血管影像中的血管整体进行拉直处理，得到整体的血管拉直图像。
在一个实施例中，血管横截面图像可以是从三维血管影像中提取的原始的横截面图像。在一个实施例中，血管横截面图像也可以是原始的横截面图像的血管轮廓图模型，血管轮廓图模型由节点和边构成。在一个实施例中，血管横截面图像也可以是原始的横截面图像的极坐标变换图像，即，对于原始的横截面图像，从中心点按顺时针方向朝各个角度辐射长度相同的线段，并将全部线段按顺序重新排列，生成二维图像。
在一个实施例中，血管轮廓提取模型包含多个卷积神经网络和一个Transformer网络，多个卷积神经网络之间权值共享。如图15所示，为血管轮廓提取的示意图，针对一个中心点，服务器将该中心点对应的第二图像序列中的各图像x1,x2,…,xt分别输入各卷积神经网络(CNN)中，提取低维度抽象特征，然后将低维度抽象特征全部输入Transformer网络中，预测出该中心点对应的轮廓距离y，再根据每个中心点所对应的轮廓距离，生成血管轮廓。
在一个实施例中，假设中心点对应的第二图像序列中有N幅图像，则通过血管轮廓提取模型预测出第N/2幅(N为整数，当N为奇数时，对N/2进行四舍五入)图像中血管轮廓上各点到中心点的距离，并将其作为该第二图像序列所对应的中心点的轮廓距离。
在一个实施例中，可以根据各中心点所对应的轮廓距离，得到各中心点所对应的血管轮廓。
本实施例中，通过血管轮廓提取模型对包括血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，进而能够得到各中心点对应的三维分割图像块，从而能够将三维分割图像块作为特征序列输入血流特征预测模型中预测血流特征。
在一个实施例中，该方法还包括如下步骤：确定每个中心点所对应的血管轮廓，并取所对应的血管轮廓的质心，作为每个中心点所对应的新的中心点；根据每个新的中心点，生成新的血管树。步骤S104中从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列的步骤，具体包括如下步骤：从新的血管树中的血管入口处，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列。
具体地，服务器可以根据各中心点所对应的轮廓距离，确定每个中心点对应的血管轮廓，并取所对应的血管轮廓的质心，作为每个中心点所对应的新的中心点，对全部新的中心点进行样条插值处理，得到新的中心线，从而生成新的血管树。
本实施例中，将各中心点对应的血管轮廓的质心，作为新的中心点，生成新的血管树，能够对血管树进行修正，得到更加准确的血管树，进而通过更加准确的血管树进行血流特征预测，提高血流特征预测的准确性。
在一个实施例中，血管轮廓提取模型的训练步骤具体包括如下步骤：对样本三维血管影像进行血管拉直处理，得到样本血管拉直图像；针对样本血管拉直图像中的中心线上各样本中心点，取与各样本中心点临近的多个样本血管横截面图像，得到多个第二样本图像序列；获取针对各样本血管横截面图像标注的真实轮廓距离；真实轮廓距离，用于表示样本血管横截面图像中的血管轮廓上的各点，到样本血管横截面图像所对应的中心点之间的距离；将第二样本图像序列输入待训练的血管轮廓提取模型中，得到第二样本图像序列的图像对应的预测轮廓距离；根据预测轮廓距离与真实轮廓距离的差异，迭代调整待训练的血管轮廓提取模型，直到模型收敛，得到血管轮廓提取模型。
其中，真实轮廓距离，是已知的、用于在训练血管轮廓提取模型的过程中作为参照的轮廓距离。
在一个实施例中，待训练的血管轮廓提取模型包含多个卷积神经网络和一个Transformer网络，多个卷积神经网络之间权值共享。如图16所示，为血管轮廓提取模型的训练示意图，将样本三维血管影像中的样本中心点对应的第二样本图像序列x1,x2,…,xt输入各卷积神经网络(CNN)中，提取低维度抽象特征，然后将低维度抽象特征全部输入Transformer网络中，得到第二样本图像序列的图像对应的预测轮廓距离y，根据预测轮廓距离与真实轮廓距离的差异，迭代调整卷积神经网络和Transformer网络的参数，以使差异减小，直到模型收敛，得到血管轮廓提取模型，血管轮廓提取模型包括模型收敛时的多个卷积神经网络和Transformer网络。需要说明的是，轮廓距离并不是一个单值，而是包括多个值的数组。比如，轮廓距离可以是64个值的数组，即将轮廓360°分成64个相等角度间隔，数组中的每一个yi是中心点到轮廓对应角度的距离。
如图17所示，为一个实施例中血管轮廓提取的流程图。首先将包含血管树的三维血管影像中的血管进行拉直处理，然后训练基于Transformer网络结构的血管轮廓提取模型，并基于血管轮廓提取模型生成各中心点对应的血管轮廓，再根据血管轮廓得到新的中心点。
本实施例中，通过迭代地训练基于Transformer网络的血管轮廓提取模型，能够更加准确地提取血管轮廓。
如图18所示，为一个实施例中血流特征预测方法的整体流程图。首先，基于中心线提取模型对三维血管影像进行中心线提取，并生成血管树。然后，基于血管轮廓提取模型，得到各中心点对应的血管轮廓，从而得到中心点对应的三维分割图像块。最后，基于血流特征预测模型，预测沿各中心点的血流特征。其中，基于血管轮廓得到的三维分割图像块可以作为血流特征预测模型的输入特征序列。
应该理解的是，虽然图1和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图19所示，提供了一种血流特征预测装置1900，包括：血管树生成模块1902和血流特征预测模块1904，其中：
血管树生成模块1902，用于基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型。
血流特征预测模块1904，用于从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，并将中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点的血流特征。
其中，血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。
在一个实施例中，中心线提取模型中包括第一网络和第二网络。第二网络是基于Transformer结构的深度学习网络。血管树生成模块1902还用于获取三维血管影像中血管的入口处的中心点的位置特征参数；位置特征参数包括位置坐标、方向向量和点分类标签；点分类标签，用于表示中心点为分支点、终点或非分支点非终点；将入口处的中心点作为当前中心点，提取当前中心点的邻域图像块，并将邻域图像块输入第一网络中进行卷积处理，输出低维度抽象特征；将当前中心点的低维度抽象特征与位置特征参数输入第二网络中，预测下一个中心点的位置特征参数，并将下一个中心点作为当前中心点，返回提取当前中心点的邻域图像块以继续执行，直到下一个中心点为终点，得到三维血管影像中血管的全部中心点的位置特征参数；根据全部位置特征参数所表征的全部中心点，生成三维血管影像中血管的中心线，得到血管树。
在一个实施例中，血流特征预测装置1900还包括：
模型训练模块1906，用于获取样本数据；样本数据中，包括由连续的样本中心点的样本邻域图像块组成的样本图像块序列、以及样本中心点对应的真实位置特征参数；连续的样本中心点，是从样本三维血管影像中的血管中心线上选取的连续的中心点；在每轮训练中，迭代地将样本图像块序列中当前样本中心点的样本邻域图像块输入本轮的第一网络中提取低维度抽象特征，将提取的低维度抽象特征和当前样本中心点的预测位置特征参数，输入本轮的第二网络中，输出下一个样本中心点的预测位置特征参数，并根据每个样本中心点对应的预测位置参数和真实位置特征参数之间的差异，更新本轮的第一网络和第二网络的模型参数，直至达到训练停止条件，得到中心线提取模型；中心线提取模型中包括训练停止时的第一网络和第二网络。
在一个实施例中，血管树生成模块1902还用于从血管树中的血管入口开始，按照近端到远端的顺序，依次选取位于血管树的中心线上的待修正的中心点；针对每个待修正的中心点，获取以待修正的中心点为中心的、且垂直于中心线的预设数量的图像，得到第一图像序列；将第一图像序列输入中心线修正模型中，得到待修正的中心点所对应的位置偏移量；中心线修正模型，是预先基于Transformer网络结构训练的深度学习模型；按位置偏移量对待修正的中心点进行位置修正，得到修正后的中心点；根据全部修正后的中心点生成修正后的中心线，得到最终的血管树。
在一个实施例中，血管树生成模块1902还用于将第一图像序列输入中心线修正模型中，预测第一图像序列中处于中心位置的图像所对应的位置偏移量，作为待修正的中心点所对应的位置偏移量。
在一个实施例中，模型训练模块1906还用于获取样本三维血管影像中血管中心线上的各样本中心点对应的第一样本图像序列、以及各样本中心点对应的真实位置偏移量；在每轮迭代训练中，将第一样本图像序列输入待训练的中心线修正模型中，得到预测的位置偏移量；待训练的中心线修正模型中包括Transformer网络结构；根据预测的位置偏移量与真实位置偏移量的差异，迭代调整待训练的中心线修正模型，直到模型收敛，得到最终的中心线修正模型。
在一个实施例中，血流特征预测模块1904还用于从血管树的血管入口开始，按照近端到远端的顺序，依次从血管树中选取预设长度的中心线上的点，得到中心点序列；获取各中心点序列对应的特征序列；将各中心点序列对应的特征序列分别输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点序列中各中心点的血流特征。
在一个实施例中，模型训练模块1906还用于获取样本三维血管影像中血管树的中心线上各中心点的样本特征序列和各中心点对应的样本血流特征；将预设长度的中心线上各中心点的样本特征序列输入待训练的血流特征预测模型中，得到预设长度的中心线上沿血管各中心点的预测血流特征；根据样本血流特征与预测血流特征的差异，迭代调整待训练的血流特征预测模型，直到模型收敛，得到最终的血流特征预测模型。
在一个实施例中，特征序列包括中心点序列中的中心点对应的原三维图像块、三维分割图像块、血管直径、到血管入口的距离、到上游最近分叉的距离、上游斑块总长度、上游斑块平均长度、上游路径平均面积、上游路径最大面积、上游路径最小面积、下游斑块总长度、下游斑块平均长度、下游路径平均面积、下游路径最大面积和下游路径最小面积，以及心房体积、心肌体积、组学特征和血管面积中的至少一种；血流特征包括血流储备分数、流速、压强和剪切力中的至少一种。
在一个实施例中，三维分割图像块，是中心点序列中的中心点在三维血管模型中对应的、且在像素空间下的图像块。如图20所示，血流特征预测装置1900还包括：
血管轮廓提取模块1908，用于对包含血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，并对血管轮廓进行放样插值，生成三维血管模型；三维血管模型为三维分割图像。
在一个实施例中，血管轮廓提取模块1908还用于将包含血管树的三维血管影像中的血管，沿血管树中的中心线进行拉直处理，得到血管拉直图像；从血管拉直图像中，提取中心线上各中心点临近的预设数量的血管横截面图像，得到分别与每个中心点对应的第二图像序列；将每个中心点对应的第二图像序列输入血管轮廓提取模型中，得到每个中心点所对应的轮廓距离；轮廓距离，用于表示中心点所对应的血管轮廓到中心点的距离；根据每个中心点所对应的轮廓距离，生成血管轮廓。
在一个实施例中，血管轮廓提取模块1908还用于确定每个中心点所对应的血管轮廓，并取所对应的血管轮廓的质心，作为每个中心点所对应的新的中心点；根据每个新的中心点，生成新的血管树。血流特征预测模块1904还用于从新的血管树中的血管入口处，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列。
在一个实施例中，模型训练模块1906还用于对样本三维血管影像进行血管拉直处理，得到样本血管拉直图像；针对样本血管拉直图像中的中心线上各样本中心点，取与各样本中心点临近的多个样本血管横截面图像，得到多个第二样本图像序列；获取针对各样本血管横截面图像标注的真实轮廓距离；真实轮廓距离，用于表示样本血管横截面图像中的血管轮廓上的各点，到样本血管横截面图像所对应的中心点之间的距离；将第二样本图像序列输入待训练的血管轮廓提取模型中，得到第二样本图像序列的图像对应的预测轮廓距离；根据预测轮廓距离与真实轮廓距离的差异，迭代调整待训练的血管轮廓提取模型，直到模型收敛，得到血管轮廓提取模型。
上述血流特征预测装置中，首先基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树，中心线提取模型是预先基于Transformer网络结构训练的深度学习模型，然后从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，并将中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各中心点的血流特征，其中，血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。采用基于Transformer网络结构训练的中心线提取模型提取中心线，并采用基于Transformer网络结构训练的血流特征预测模型预测血流特征，不需要使用大量算力进行模拟仿真得到血流特征，降低了计算量，从而提高了血流特征预测的效率。而且，基于Transformer网络结构训练的血流特征预测模型能够对中心点序列中各中心点对应的特征序列进行并行处理，同样也提高了血流特征预测的效率。
此外，基于Transformer网络结构训练的血流特征预测模型采用自注意力机制预测血流特征，能够注意到各中心点的特征序列之间的相关性，从而能够更加准确地预测血流特征。从血管树中的血管入口开始，按照近端到远端的顺序，从血管树中的中心线上选取中心点序列，这种选取方式能够模拟血流的流动，从而能够更加准确地预测血流特征。
关于血流特征预测装置的具体限定可以参见上文中对于血流特征预测方法的限定，在此不再赘述。上述血流特征预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图21所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储血流特征预测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种血流特征预测方法。
本领域技术人员可以理解，图21中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。可以理解，对于本领域的技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种血流特征预测方法，其特征在于，所述方法包括：
基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；所述中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型；
从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征；
其中，所述血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。
2.根据权利要求1所述的方法，其特征在于，所述中心线提取模型中包括第一网络和第二网络；所述第二网络是基于Transformer结构的深度学习网络；所述基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树包括：
获取所述三维血管影像中血管的入口处的中心点的位置特征参数；所述位置特征参数包括位置坐标、方向向量和点分类标签；所述点分类标签，用于表示中心点为分支点、终点或非分支点非终点；
将所述入口处的中心点作为当前中心点，提取所述当前中心点的邻域图像块，并将所述邻域图像块输入所述第一网络中进行卷积处理，输出低维度抽象特征；
将所述当前中心点的低维度抽象特征与所述位置特征参数输入所述第二网络中，预测下一个中心点的位置特征参数，并将所述下一个中心点作为当前中心点，返回所述提取所述当前中心点的邻域图像块以继续执行，直到所述下一个中心点为终点，得到三维血管影像中血管的全部中心点的位置特征参数；
根据全部所述位置特征参数所表征的全部中心点，生成所述三维血管影像中血管的中心线，得到血管树。
3.根据权利要求2所述的方法，其特征在于，所述中心线提取模型的训练步骤包括：
获取样本数据；所述样本数据中，包括由连续的样本中心点的样本邻域图像块组成的样本图像块序列、以及所述样本中心点对应的真实位置特征参数；所述连续的样本中心点，是从样本三维血管影像中的血管中心线上选取的连续的中心点；
在每轮训练中，迭代地将样本图像块序列中当前样本中心点的样本邻域图像块，输入本轮的第一网络中提取低维度抽象特征，将提取的低维度抽象特征和当前样本中心点的预测位置特征参数，输入本轮的第二网络中，输出下一个样本中心点的预测位置特征参数，并根据每个样本中心点对应的预测位置参数和所述真实位置特征参数之间的差异，更新本轮的所述第一网络和所述第二网络的模型参数，直至达到训练停止条件，得到中心线提取模型；所述中心线提取模型中包括训练停止时的第一网络和第二网络。
4.根据权利要求2所述的方法，其特征在于，所述基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树还包括：
从所述血管树中的血管入口开始，按照近端到远端的顺序，依次选取位于所述血管树的中心线上的待修正的中心点；
针对每个所述待修正的中心点，获取以所述待修正的中心点为中心的、且垂直于所述中心线的预设数量的图像，得到第一图像序列；
将所述第一图像序列输入中心线修正模型中，得到所述待修正的中心点所对应的位置偏移量；所述中心线修正模型，是预先基于Transformer网络结构训练的深度学习模型；
按所述位置偏移量对待修正的中心点进行位置修正，得到修正后的中心点；
根据全部所述修正后的中心点生成修正后的中心线，得到最终的血管树。
5.根据权利要求4所述的方法，其特征在于，所述将所述第一图像序列输入中心线修正模型中，得到所述待修正的中心点所对应的位置偏移量包括：
将所述第一图像序列输入中心线修正模型中，预测所述第一图像序列中处于中心位置的图像所对应的位置偏移量，作为所述待修正的中心点所对应的位置偏移量。
6.根据权利要求4所述的方法，其特征在于，所述中心线修正模型的训练步骤包括：
获取样本三维血管影像中血管中心线上的各样本中心点对应的第一样本图像序列、以及各所述样本中心点对应的真实位置偏移量；
在每轮迭代训练中，将所述第一样本图像序列输入待训练的中心线修正模型中，得到预测的位置偏移量；待训练的中心线修正模型中包括Transformer网络结构；
根据所述预测的位置偏移量与所述真实位置偏移量的差异，迭代调整所述待训练的中心线修正模型，直到模型收敛，得到最终的中心线修正模型。
7.根据权利要求1所述的方法，其特征在于，所述从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征包括：
从所述血管树的血管入口开始，按照近端到远端的顺序，依次从所述血管树中选取预设长度的中心线上的点，得到中心点序列；
获取各所述中心点序列对应的特征序列；
将各所述中心点序列对应的特征序列，分别输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点序列中各中心点的血流特征。
8.根据权利要求7所述的方法，其特征在于，所述血流特征预测模型的训练步骤包括：
获取样本三维血管影像中血管树的中心线上各中心点的样本特征序列和所述各中心点对应的样本血流特征；
将预设长度的中心线上各中心点的所述样本特征序列输入待训练的血流特征预测模型中，得到所述预设长度的中心线上沿血管各中心点的预测血流特征；
根据所述样本血流特征与所述预测血流特征的差异，迭代调整所述待训练的血流特征预测模型，直到模型收敛，得到最终的血流特征预测模型。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述特征序列包括所述中心点序列中的中心点对应的原三维图像块、三维分割图像块、血管直径、到血管入口的距离、到上游最近分叉的距离、上游斑块总长度、上游斑块平均长度、上游路径平均面积、上游路径最大面积、上游路径最小面积、下游斑块总长度、下游斑块平均长度、下游路径平均面积、下游路径最大面积和下游路径最小面积，以及心房体积、心肌体积、组学特征和血管面积中的至少一种；所述血流特征包括血流储备分数、流速、压强和剪切力中的至少一种。
10.根据权利要求9所述的方法，其特征在于，所述三维分割图像块，是所述中心点序列中的中心点在三维血管模型中对应的、且在像素空间下的图像块；
在所述从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列之前，所述方法还包括：
对包含血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓，并对所述血管轮廓进行放样插值，生成三维血管模型；所述三维血管模型为三维分割图像。
11.根据权利要求10所述的方法，其特征在于，所述对包括血管树的三维血管影像进行血管轮廓提取处理，得到血管轮廓包括：
将包含血管树的三维血管影像中的血管，沿所述血管树中的中心线进行拉直处理，得到血管拉直图像；
从所述血管拉直图像中，提取中心线上各中心点临近的预设数量的血管横截面图像，得到分别与每个中心点对应的第二图像序列；
将每个中心点对应的第二图像序列输入血管轮廓提取模型中，得到每个所述中心点所对应的轮廓距离；所述轮廓距离，用于表示所述中心点所对应的血管轮廓到所述中心点的距离；
根据每个所述中心点所对应的轮廓距离，生成血管轮廓。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
确定每个所述中心点所对应的血管轮廓，并取所对应的血管轮廓的质心，作为每个所述中心点所对应的新的中心点；
根据每个新的中心点，生成新的血管树；
所述从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列包括：
从所述新的血管树中的血管入口处，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列。
13.根据权利要求11所述的方法，其特征在于，所述血管轮廓提取模型的训练步骤包括：
对样本三维血管影像进行血管拉直处理，得到样本血管拉直图像；
针对样本血管拉直图像中的中心线上各样本中心点，取与各所述样本中心点临近的多个样本血管横截面图像，得到多个第二样本图像序列；
获取针对各所述样本血管横截面图像标注的真实轮廓距离；所述真实轮廓距离，用于表示所述样本血管横截面图像中的血管轮廓上的各点，到所述样本血管横截面图像所对应的中心点之间的距离；
将所述第二样本图像序列输入待训练的血管轮廓提取模型中，得到所述第二样本图像序列的图像对应的预测轮廓距离；
根据所述预测轮廓距离与所述真实轮廓距离的差异，迭代调整所述待训练的血管轮廓提取模型，直到模型收敛，得到所述血管轮廓提取模型。
14.一种血流特征预测装置，其特征在于，所述装置包括：
血管树生成模块，用于基于中心线提取模型提取三维血管影像中血管的中心线，生成血管树；所述中心线提取模型，是预先基于Transformer网络结构训练的深度学习模型；
血流特征预测模块，用于从所述血管树中的血管入口开始，按照近端到远端的顺序，从所述血管树中的中心线上选取中心点序列，并将所述中心点序列中的各中心点所对应的特征序列，输入基于Transformer网络结构训练的血流特征预测模型中，预测出沿各所述中心点的血流特征；
其中，所述血流特征预测模型，用于对输入的中心点序列中各中心点对应的特征序列进行并行处理、且采用自注意力机制预测血流特征。
15.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
CN202010314776.6A 2020-04-21 2020-04-21 血流特征预测方法、装置、计算机设备和存储介质 Active CN111680447B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010314776.6A CN111680447B (zh) 2020-04-21 2020-04-21 血流特征预测方法、装置、计算机设备和存储介质
PCT/CN2021/082629 WO2021213124A1 (zh) 2020-04-21 2021-03-24 血流特征预测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314776.6A CN111680447B (zh) 2020-04-21 2020-04-21 血流特征预测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111680447A true CN111680447A (zh) 2020-09-18
CN111680447B CN111680447B (zh) 2023-11-17

Family

ID=72451774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314776.6A Active CN111680447B (zh) 2020-04-21 2020-04-21 血流特征预测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN111680447B (zh)
WO (1) WO2021213124A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419462A (zh) * 2020-11-25 2021-02-26 苏州润迈德医疗科技有限公司 三维血管的渲染合成方法、系统及存储介质
CN112446866A (zh) * 2020-11-25 2021-03-05 上海联影医疗科技股份有限公司 血流参数的计算方法、装置、设备及存储介质
CN112614217A (zh) * 2020-12-17 2021-04-06 深圳睿心智能医疗科技有限公司 管状物三维模型的拉直方法、装置及电子设备
CN112785591A (zh) * 2021-03-05 2021-05-11 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置
CN113012146A (zh) * 2021-04-12 2021-06-22 东北大学 血管信息获取方法及装置、电子设备和存储介质
CN113034683A (zh) * 2021-04-30 2021-06-25 北京阅影科技有限公司 确定血管中心线真伪以及截断位置的方法与装置
CN113192031A (zh) * 2021-04-29 2021-07-30 上海联影医疗科技股份有限公司 血管分析方法、装置、计算机设备和存储介质
CN113205488A (zh) * 2021-04-19 2021-08-03 深圳睿心智能医疗科技有限公司 血流特性预测方法、装置、电子设备及存储介质
WO2021213124A1 (zh) * 2020-04-21 2021-10-28 深圳睿心智能医疗科技有限公司 血流特征预测方法、装置、计算机设备和存储介质
CN113838572A (zh) * 2021-09-10 2021-12-24 深圳睿心智能医疗科技有限公司 血管生理参数获取方法、装置、电子设备及存储介质
CN113888690A (zh) * 2021-10-19 2022-01-04 柏意慧心(杭州)网络科技有限公司 用于确定血管中的目标区段的方法、设备和介质
CN114972242A (zh) * 2022-05-23 2022-08-30 北京医准智能科技有限公司 心肌桥检测模型的训练方法、装置及电子设备
EP4131154A1 (en) * 2021-08-05 2023-02-08 Robovision Coronary artery narrowing detection based on patient imaging and 3d deep learning
WO2023050720A1 (zh) * 2021-09-28 2023-04-06 深圳市中兴微电子技术有限公司 图像处理方法、图像处理装置、模型训练方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114366295B (zh) * 2021-12-31 2023-07-25 杭州脉流科技有限公司 微导管路径生成方法、塑形针的塑形方法、计算机设备、可读存储介质和程序产品
CN114972220B (zh) * 2022-05-13 2023-02-21 北京医准智能科技有限公司 一种图像处理方法、装置、电子设备及可读存储介质
CN114757942A (zh) * 2022-05-27 2022-07-15 南通大学 一种基于深度学习的多层螺旋ct对活动性肺结核的检测方法
CN117490908B (zh) * 2023-12-31 2024-04-09 武汉华康世纪医疗股份有限公司 一种用于负压病房的负压检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980899A (zh) * 2017-04-01 2017-07-25 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和系统
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel
US20180177474A1 (en) * 2012-10-24 2018-06-28 Cathworks Ltd. Creating a vascular tree model
CN108305246A (zh) * 2017-11-15 2018-07-20 深圳科亚医疗科技有限公司 基于医学图像预测血流特征的装置及系统
CN108830848A (zh) * 2018-05-25 2018-11-16 深圳科亚医疗科技有限公司 利用计算机确定血管上的血管状况参数的序列的装置和系统
CN109559326A (zh) * 2018-11-05 2019-04-02 深圳睿心智能医疗科技有限公司 一种血流动力学参数计算方法、系统及电子设备
CN110599444A (zh) * 2018-08-23 2019-12-20 深圳科亚医疗科技有限公司 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517279B (zh) * 2019-09-20 2022-04-05 北京深睿博联科技有限责任公司 头颈血管中心线提取方法及装置
CN111680447B (zh) * 2020-04-21 2023-11-17 深圳睿心智能医疗科技有限公司 血流特征预测方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180177474A1 (en) * 2012-10-24 2018-06-28 Cathworks Ltd. Creating a vascular tree model
US20180000441A1 (en) * 2016-06-30 2018-01-04 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for extracting blood vessel
CN106980899A (zh) * 2017-04-01 2017-07-25 北京昆仑医云科技有限公司 预测血管树血管路径上的血流特征的深度学习模型和系统
CN108305246A (zh) * 2017-11-15 2018-07-20 深圳科亚医疗科技有限公司 基于医学图像预测血流特征的装置及系统
CN108830848A (zh) * 2018-05-25 2018-11-16 深圳科亚医疗科技有限公司 利用计算机确定血管上的血管状况参数的序列的装置和系统
CN110599444A (zh) * 2018-08-23 2019-12-20 深圳科亚医疗科技有限公司 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
CN109559326A (zh) * 2018-11-05 2019-04-02 深圳睿心智能医疗科技有限公司 一种血流动力学参数计算方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱夏青: ""视网膜血管图像分割研究现状分析"", 《现代计算机》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213124A1 (zh) * 2020-04-21 2021-10-28 深圳睿心智能医疗科技有限公司 血流特征预测方法、装置、计算机设备和存储介质
CN112446866A (zh) * 2020-11-25 2021-03-05 上海联影医疗科技股份有限公司 血流参数的计算方法、装置、设备及存储介质
CN112419462A (zh) * 2020-11-25 2021-02-26 苏州润迈德医疗科技有限公司 三维血管的渲染合成方法、系统及存储介质
CN112614217A (zh) * 2020-12-17 2021-04-06 深圳睿心智能医疗科技有限公司 管状物三维模型的拉直方法、装置及电子设备
CN112785591A (zh) * 2021-03-05 2021-05-11 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置
CN112785591B (zh) * 2021-03-05 2023-06-13 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置
CN113012146A (zh) * 2021-04-12 2021-06-22 东北大学 血管信息获取方法及装置、电子设备和存储介质
CN113012146B (zh) * 2021-04-12 2023-10-24 东北大学 血管信息获取方法及装置、电子设备和存储介质
CN113205488A (zh) * 2021-04-19 2021-08-03 深圳睿心智能医疗科技有限公司 血流特性预测方法、装置、电子设备及存储介质
CN113205488B (zh) * 2021-04-19 2023-12-29 深圳睿心智能医疗科技有限公司 血流特性预测方法、装置、电子设备及存储介质
CN113192031A (zh) * 2021-04-29 2021-07-30 上海联影医疗科技股份有限公司 血管分析方法、装置、计算机设备和存储介质
CN113192031B (zh) * 2021-04-29 2023-05-30 上海联影医疗科技股份有限公司 血管分析方法、装置、计算机设备和存储介质
CN113034683A (zh) * 2021-04-30 2021-06-25 北京阅影科技有限公司 确定血管中心线真伪以及截断位置的方法与装置
EP4131154A1 (en) * 2021-08-05 2023-02-08 Robovision Coronary artery narrowing detection based on patient imaging and 3d deep learning
WO2023011945A1 (en) * 2021-08-05 2023-02-09 Robovision Coronary artery narrowing detection based on patient imaging and 3d deep learning
CN113838572A (zh) * 2021-09-10 2021-12-24 深圳睿心智能医疗科技有限公司 血管生理参数获取方法、装置、电子设备及存储介质
CN113838572B (zh) * 2021-09-10 2024-03-01 深圳睿心智能医疗科技有限公司 血管生理参数获取方法、装置、电子设备及存储介质
WO2023050720A1 (zh) * 2021-09-28 2023-04-06 深圳市中兴微电子技术有限公司 图像处理方法、图像处理装置、模型训练方法
CN113888690A (zh) * 2021-10-19 2022-01-04 柏意慧心(杭州)网络科技有限公司 用于确定血管中的目标区段的方法、设备和介质
CN114972242B (zh) * 2022-05-23 2023-04-07 北京医准智能科技有限公司 心肌桥检测模型的训练方法、装置及电子设备
CN114972242A (zh) * 2022-05-23 2022-08-30 北京医准智能科技有限公司 心肌桥检测模型的训练方法、装置及电子设备

Also Published As

Publication number Publication date
WO2021213124A1 (zh) 2021-10-28
CN111680447B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN111680447B (zh) 血流特征预测方法、装置、计算机设备和存储介质
US10762637B2 (en) Vascular segmentation using fully convolutional and recurrent neural networks
US20200402239A1 (en) Systems and methods for determining blood vessel conditions
CN110638438B (zh) 用于对血流储备分数的基于机器学习的评估的方法和系统
US7778488B2 (en) Image deformation using multiple image regions
Girum et al. Learning with context feedback loop for robust medical image segmentation
CN109712163B (zh) 冠脉提取方法、装置、图像处理工作站和可读存储介质
CN112308846B (zh) 血管分割方法、装置及电子设备
CN111862046A (zh) 一种心脏冠脉剪影中导管位置判别系统和方法
CN111383259A (zh) 图像分析方法、计算机设备和存储介质
CN113538471B (zh) 斑块的分割方法、装置、计算机设备和存储介质
CN111754534A (zh) 基于深度神经网络的ct左心室短轴图像分割方法、装置、计算机设备和存储介质
EP3555846B1 (en) Stress prediction and stress assessment for device insertion into a deformable object
Gharleghi et al. Deep learning for time averaged wall shear stress prediction in left main coronary bifurcations
CN110751187A (zh) 异常区域图像生成网络的训练方法和相关产品
CN115731232A (zh) 血管图像处理方法、装置、可读存储介质及电子设备
CN111815597A (zh) 基于ct影像的左心室长短轴切面提取方法、装置、计算机设备和存储介质
CN117036530B (zh) 基于跨模态数据的冠状动脉血流储备分数预测方法及装置
CN109949300B (zh) 解剖树结构分析的方法、系统和计算机可读介质
CN113129418B (zh) 基于三维影像的目标表面重建方法、装置、设备和介质
CN110599444A (zh) 预测血管树的血流储备分数的设备、系统以及非暂时性可读存储介质
US20140032180A1 (en) Method and apparatus for computing deformation of an object
CN112150404B (zh) 基于联合显著图的全局到局部非刚性图像配准方法及装置
CN114881930A (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
CN111784732A (zh) 训练心脏运动场估计模型、心脏运动场估计的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant