CN114066888B - 一种血流动力学指标确定方法、装置、设备及存储介质 - Google Patents

一种血流动力学指标确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114066888B
CN114066888B CN202210026595.2A CN202210026595A CN114066888B CN 114066888 B CN114066888 B CN 114066888B CN 202210026595 A CN202210026595 A CN 202210026595A CN 114066888 B CN114066888 B CN 114066888B
Authority
CN
China
Prior art keywords
point cloud
coordinate data
cloud coordinate
hemodynamic
hemodynamic index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210026595.2A
Other languages
English (en)
Other versions
CN114066888A (zh
Inventor
高琪
林洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Shengshi Technology Co ltd
Zhejiang University ZJU
Original Assignee
Hangzhou Shengshi Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Shengshi Technology Co ltd, Zhejiang University ZJU filed Critical Hangzhou Shengshi Technology Co ltd
Priority to CN202210026595.2A priority Critical patent/CN114066888B/zh
Publication of CN114066888A publication Critical patent/CN114066888A/zh
Application granted granted Critical
Publication of CN114066888B publication Critical patent/CN114066888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请实施例公开了一种血流动力学指标确定方法、装置、设备及存储介质,其中,所述方法包括:响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述第一点云坐标数据的初始维度;将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;对所述拼接向量进行降维处理,得到血流动力学指标。

Description

一种血流动力学指标确定方法、装置、设备及存储介质
技术领域
本申请实施例涉及生物医学工程技术领域,涉及但不限于一种血流动力学指标确定方法、装置、设备及存储介质。
背景技术
目前临床上可以很方便的通过电子计算机断层扫描(Computed Tomography,CT)技术或核磁共振成像(Magnetic Resonance Imaging,MRI)技术获得心脏位置处的医学影像数据,并且能够通过三维重构技术获得心耳的三维几何模型,但是血流动力学指标却无法直接获得。
相关技术中在获取血流动力学指标时,是首先从医学影像中提取心耳的几何形态,然后对其进行网格划分后进行流场模拟(Computational Fluid Dynamic,CFD)计算,最后从模拟的流场结果数据中通过公式提取相应的动力学指标。
上述计算过程不但步骤繁琐复杂,成本也非常高昂,尤其是时间成本,获得单个心耳案例的血流动力学指标,仅CFD流场模拟计算一个环节就需要十几个小时的计算时间,难以满足临床上实时诊断的需要。
发明内容
有鉴于此,本申请实施例提供一种血流动力学指标确定方法、装置、设备及计算机存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种血流动力学指标确定方法,所述方法包括:响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述第一点云坐标数据的初始维度;将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;对所述拼接向量进行降维处理,得到血流动力学指标。
第二方面,本申请实施例提供一种血流动力学指标确定装置,所述装置包括:第一确定模块,用于响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;第一变换模块,用于对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;第一映射模块,用于对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述第一点云坐标数据的初始维度;拼接模块,用于将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;降维模块,用于对所述拼接向量进行降维处理,得到血流动力学指标。
第三方面,本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法。
第四方面,本申请实施例提供一种计算机存储介质,存储有可执行指令,用于引起处理器执行时,实现上述方法。
本申请实施例中,首先,响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;然后,对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;最后,对所述拼接向量进行降维处理,得到血流动力学指标。这样,确定血流动力学指标的方法,计算过程简单高效,自动化程度高,将血流动力学指标的计算时间由传统方法的小时级降低到秒级,可实现血流动力学指标的实时计算,更好的满足实际临床需求。
附图说明
图1A为本申请实施例提供的一种辅助神经网络T-Net的架构示意图;
图1B为本申请实施例提供的一种神经网络模型的架构示意图一;
图1C为本申请实施例提供的一种神经网络模型的架构示意图二;
图1D为本申请实施例提供的一种神经网络模型的架构示意图三;
图1E为本申请实施例提供的一种血流动力学指标确定方法的流程示意图一;
图2为本申请实施例提供的一种血流动力学指标确定方法的流程示意图二;
图3A为本申请实施例提供的一种血流动力学指标确定方法的流程示意图三;
图3B为本申请实施例提供的一种神经网络模型的架构示意图四;
图3C为本申请实施例提供的一种边特征提取示意图;
图3D为本申请实施例提供的一种边卷积层的结构示意图;
图4A为本申请实施例提供的一种血流动力学指标确定方法的流程示意图四;
图4B为本申请实施例提供的一种获取用于训练神经网络模型的数据集的流程示意图;
图4C为本申请实施例提供的一种数据预处理的流程示意图;
图5为本申请实施例提供的血流动力学指标确定装置的组成结构示意图;
图6为本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请,但不用来限制本申请的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
血流动力学:是血液在循环系统中运动的物理学,通过对作用力、流量和容积三方面因素的分析,观察并研究血液在循环系统中的运动情况。
主要的血流动力学指标:
(1)时均壁面剪切应力(Time-averaged WSS:TAWSS);
(2)震荡剪切指数(Oscillatory Shear Index,OSI:);
(3)相对停留时间(Relative Residence Time,RTT);
(4)内皮细胞激活指数(Endothelial Cell Activation Potential,ECAP);
(5)血液残留分数(Volume of Fluid,VOF)。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
应当理解,此处所描述的一些实施例仅仅用以解释本申请的技术方案,并不用于限定本申请的技术范围。
图1A为本申请实施例提供的一种辅助神经网络T-Net的架构示意图,如图1A所示,该辅助神经网络包括一维卷积层11、最大池化层12、全连接层13、变形层14和乘积15,其中,一维卷积层11,用于提升特征维度,可以设置一系列一维卷积层11将特征维度逐步提高到预设维度;最大池化层12,用于对特征进行最大值池化;通过全连接层13和变形层14将池化后的特征映射为(𝑚×𝑚)的矩阵,然后将(𝑚×𝑚)的矩阵与输入的特征输入乘积15进行乘积运算得到维度为(𝑛×𝑚)数据特征作为输出。这里,为了增加神经网络的非线性和易训练性,在每个一维卷积层之后可以设置激活层和批归一化层。
辅助神经网络T-Net是用于对点云坐标数据中的空间坐标进行坐标变换的神经网络。
图1B为本申请实施例提供的一种神经网络模型的架构示意图一,如图1B所示,该神经网络模型包括一维卷积层11、T-Net16、最大池化层12、拼接层17、全连接层13、第一输出18和第二输出19,其中,神经网络模型(主网络)具有一个输入,两个输出,第一层为维度为(𝑛×3)的输入层,其中n为点云坐标数据中数据的数量,3为每个点云坐标对应的空间坐标(x,y,z)的个数。
输入层之后是一个用于坐标变换的辅助神经网络T-Net16(其网络参数与主网络参数一同训练得到),T-Net16用于对样本数据中的空间坐标进行坐标变换,得到一个新的维度为(𝑛×3)的特征数据;之后通过一维卷积层11(卷积核数为m)将新的维度为(𝑛×3)的特征数据向高维空间映射,由原来的3维空间映射至m维空间;之后,再通过辅助神经网络T-Net16进行空间坐标变换,得到新的(𝑛×𝑚)特征数据;之后再通过一维卷积层11(卷积核数为𝑓)进一步将维度升至f维,然后设置一层最大池化层12对f维的特征进行最大值池化,经过维度扩充后得到新的维度(𝑛×𝑓)特征数据,然后将新的维度(𝑛×𝑓)特征数据与前面两个经过T-Net变换后的特征向量(𝑛×3)和(𝑛×𝑚)在特征方向进行拼接。之后通过一个一维卷积层11(卷积核数为g)将拼接后的特征维度由(𝑓+𝑚+3)压缩至g维,再通过一个一维卷积层11(卷积核数为k)将维度进一步压缩至k维并作为第一输出18,其中k的大小等于第一类血流动力学指标的数目(如TAWSS,OSI,RRT,ECAP四个指标作为第一输出,则k=4)。由于VOF指标并不像TAWSS,OSI,RRT,ECAP等指标一样,在每个离散空间点处都有对应的指标标签值,VOF统计的是一个或多个个周期时刻的血液残留分数,数据形式是一个包含一个或多个元素的向量,因此需要设置第二输出19,可以是在拼接后的特征之后设置一个一维卷积层11(卷积核数为1)将维度压缩为(𝑛×1),然后再通过一个全连接层13,将维度变换值(ℎ×1)作为第二输出19。这里,为了增加神经网络的非线性拟合能力和方便训练,在每一个一维卷积层11之后可以均设置激活层和批归一化层。
图1C为本申请实施例提供的一种神经网络模型的架构示意图二,如图1C所示,该神经网络模型包括一维卷积层11、最大池化层12、拼接层17、全连接层13、第一子输出181、第二子输出182和第二输出19,其中,该神经网络模型有一个输入三个输出(第一子输出181、第二子输出182和第二输出19),从输入到拼接层17之间的网络结构与图1B所示的网络结构相同,与图1B所示的神经网络模型不同的是输出的数目。由于TAWSS,OSI,RRT,ECAP四个指标中TAWSS和OSI的数量级比较接近,RRT和ECAP的数量级比较接近,因此为了方便训练,将上述四个指标进一步分为两组,即将图1B所示的神经网络中的第一输出18进一步分裂为两个输出(第一子输出181、第二子输出182),实施方法可以是:在拼接层之后通过一个一维卷积层(卷积核数据为g)将拼接后的特征维度由(𝑓+𝑚+3)压缩至g维,再通过一个一维卷积层(卷积核数据为k)将维度进一步压缩至k维并作为第一子输出181,其中k的大小等于第一类血流动力学指标的数目(如TAWSS,OSI两个指标作为第一输出,则k=2),同样,在拼接层之后通过另一个一维卷积层(卷积核数据为d)将拼接后的特征维度由(𝑓+𝑚+3)压缩至d维,再通过一个一维卷积层(卷积核数为l)将维度进一步压缩至l维并作为第二子输出182,其中l的大小等于第二类血流动力学指标的数目(如OSI和ECAP两个指标作为第二子输出182,则l=2)。第二输出19结构与图1B所示的神经网络的第二输出19结构相同,同样在每层一维卷积层11之后设置激活层和批归一化层,增加神经网络的非线性拟合能力和易训练性。
图1D为本申请实施例提供的一种神经网络模型的架构示意图三,如图1D所示,该神经网络模型包括一维卷积层11、T-Net16、最大池化层12和拼接层17,其中,该神经网络模型有一个输入一个输出,由于实际中的某些案例如动脉瘤的血流动力学指标只需要预测TAWSS和OSI两个指标,没有诸如VOF的第二类指标,因此仅保留如图1B所示的第一输出18,网络结构的其余部分与图1B所示的神经网络模型的结构相同。
本申请实施例提供的一种血流动力学指标确定方法,如图1E所示,该方法包括:
步骤S110、响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
这里,医学影像是指为了医疗或医学研究,对人体或人体某部分,以非侵入方式取得内部组织影像的技术与处理过程。举例来说,临床上可以很方便的通过电子计算机断层扫描(Computed Tomography,CT)技术或核磁共振成像(Magnetic Resonance Imaging,MRI)技术获得心脏位置处的医学影像。
点云是指目标表面特性的海量点集合,包括三维坐标(x,y,z)。
在实施过程中,可以从医学影像中提取出人体组织的几何形态,然后将几何形态映射为包括一定数据量的点云坐标数据集。
步骤S120、对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
在实施过程中,可以利用如图1A所示的辅助神经网络T-Net,对点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换。经过学习之后T-Net能够根据点云坐标之间在高维度空间中的关系对原始坐标点云进行仿射变换,使得变换之后的点云序列能够反应点与点之间的关联性。
步骤S130、对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述点云坐标数据的初始维度;
这里,第一预设维度可以根据实际情况设置,由于进行的是高维空间的映射,第一预设维度大于初始维度。
在实施过程中,如图1B所示,可以利用一维卷积层(卷积核数为m)将新的维度为(𝑛×3)的特征数据向高维空间映射,由原来的3维空间映射至m维空间。
对所述第一点云坐标数据进行第一高维空间映射处理之后,还可以采用对称算子进行特征提取,得到第二点云数据。其中,对称算子是指结果与输入元素的排列顺序无关的算子。这样,采用对称算子进行特征提取能够消除点云坐标数据排列顺序对计算结果的影响,即同一套点云坐标数据无论其排布顺序如何变化,由于进行了空间坐标变换,得到计算结果均保持不变。
步骤S140、将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;
在实施过程中,可以将第二点云坐标数据与所述第一点云坐标数据在特征方向进行拼接,以形成拼接向量。举例来说,一个(𝑛×3)和(𝑛×𝑚)在特征方向进行拼接,可以得到特征维度为(𝑚+3)的拼接向量。
步骤S150、对所述拼接向量进行降维处理,得到血流动力学指标。
在实施过程中,可以在拼接后的特征之后设置一个卷积层将维度压缩,得到学流动力学指标。
本申请实施例中,首先,响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;然后,对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;最后,对所述拼接向量进行降维处理,得到血流动力学指标。这样,确定血流动力学指标的方法,无需传统方法中的网格划分、边界条件设定等高度依赖人工干预的计算环节,计算过程简单高效,自动化程度高,且避免了计算过程中人工干预带来的误差。将血流动力学指标的计算时间由传统方法的小时级降低到秒级,可实现血流动力学指标的实时计算,更好的满足实际临床需求。
本申请实施例提供的一种血流动力学指标确定方法,如图2所示,该方法包括:
步骤S210、响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
步骤S220、对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
步骤S230、对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述点云坐标数据的初始维度;
步骤S240、对所述第二点云坐标数据进行第二空间坐标变换,得到空间坐标变换后的第三点云坐标数据;
在实施过程中,如图1B所示,将通过一维卷积层(卷积核数为m)将新的维度为(𝑛×3)的特征数据向高维空间映射,由原来的3维空间映射至m维空间,得到第二点云坐标数据;之后,再通过辅助神经网络T-Net对第二点云坐标数据进行空间坐标变换,得到新的(𝑛×𝑚)特征数据(第三点云坐标数据)。
步骤S250、对所述第三点云坐标数据进行第二高维空间映射处理,得到具有第二预设维度的第四点云坐标数据;其中,所述第二预设维度大于所述第一预设维度;
在实施过程中,如图1B所示,在进行第二空间坐标变换之后再通过一维卷积层(卷积核数为𝑓)进一步将第三点云坐标数据的维度升至f维,然后设置一层最大池化层对f维的特征采用最大值池化或平均池化等对称算子进行池化,经过维度扩充后得到新的维度(𝑛×𝑓)特征数据(第四点云坐标数据)。
步骤S260、将所述第四点云坐标数据、所述第三点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;
在实施过程中,如图1B所示,将第四点云坐标数据与前面两个经过T-Net变换后的第三点云坐标数据和第三点云坐标数据在特征方向进行拼接,形成拼接向量。
步骤S270、对所述拼接向量进行降维处理,得到血流动力学指标。
本申请实施例中,首先,对所述第二点云坐标数据进行第二空间坐标变换,得到空间坐标变换后的第三点云坐标数据;然后,对所述第三点云坐标数据进行第二高维空间映射处理,得到具有第二预设维度的第四点云坐标数据;最后,将所述第四点云坐标数据、所述第三点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量。这样,对云坐标数据集中的每一点云坐标数据进行两次空间坐标变换和两次高维空间映射,得到的拼接向量能够进一步降维,以得到满足用户需求的血流动力学指标。
上述步骤S240“将所述第四点云坐标数据、第三点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量”可以通过以下步骤实现:
步骤241、将所述第四点云坐标数据进行最大值池化,得到第五点云坐标数据;
在实施过程中,如图1B所示,通过一维卷积层(卷积核数为𝑓)进一步将维度升至f维,得到第四点云坐标数据后,设置一层最大池化层对第四点云坐标数据的特征进行最大值池化,得到第五点云坐标数据。
步骤242、将所述第五点云坐标数据进行维度扩充,得到与所述第四点云坐标数据具有相同维度的第六点云坐标数据作为提取的特征数据;
在实施过程中,如图1B所示,将所述第五点云坐标数据进行维度扩充,得到与所述第四点云坐标数据具有相同维度的第六点云坐标数据,可以是(𝑛×𝑓)特征数据。
步骤243、将所述第六点云坐标数据、第三点云坐标数据与所述第一点云坐标数据进行拼接,形成所述拼接向量。
本申请实施例中,首先将所述第四点云坐标数据进行最大值池化,得到第五点云坐标数据;然后将所述第五点云坐标数据进行维度扩充,得到与所述第四点云坐标数据具有相同维度的第六点云坐标数据;最后将所述第六点云坐标数据、第三点云坐标数据与所述第一点云坐标数据进行拼接,形成所述拼接向量。这样,得到的拼接向量,可以再降维得到满足用户需求的血流动力学指标。
在一些实施例中,所述血流动力学指标包括:与所述每一点云坐标数据对应的第一类血流动力学指标、和与所述点云坐标数据坐标集对应的第二类血流动力学指标;
上述步骤S150“对所述拼接向量进行降维处理,得到血流动力学指标”可以通过以下步骤实现:
步骤151、对所述拼接向量进行第一降维处理,得到所述第一类血流动力学指标;
这里,第一类血流动指标与每一点云坐标数据是一一对应的,举例来说,TAWSS,OSI,RRT,ECAP即第一类血流动指标。
在实施过程中,如图1B所示,可以设置两个输出(第一输出18和第二输出19),其中第一输出18用于识别第一类血流动指标:通过一个一维卷积层(卷积核数为g)将拼接后的特征维度(拼接向量)由(𝑓+𝑚+3)压缩至g维,再通过一个卷积层(卷积核数为k)将维度进一步压缩至k维并作为第一输出18,其中k的大小等于第一类血流动力学指标的数目(如TAWSS,OSI,RRT,ECAP四个指标作为第一输出,则k=4)。
步骤152、对所述拼接向量进行第二降维处理,得到第二类血流动指标对应的拼接向量,其中,所述第二类血流动指标对应的拼接向量的维度与所述第二类血流动力学指标的个数相同,所述第一降维处理的卷积核数与所述第二降维处理的卷积核数不同;
第二类血流动指标是与点云坐标数据坐标集对应的指标,举例来说,由于VOF指标并不像TAWSS,OSI,RRT,ECAP等指标一样,在每个离散空间点处都有对应的指标标签值,VOF统计的是一个或多个个周期时刻的血液残留分数,数据形式是一个包含一个或多个元素的向量,即,VOF是与该医学影像整体(点云坐标数据坐标集)对应的指标。
步骤153、将所述第二类血流动指标对应的拼接向量进行分类处理,得到所述第二类血流动力学指标。
在实施过程中,如图1B所示,设置第二输出,可以是在拼接后的特征(拼接向量)之后设置一个卷积层(卷积核数为1)将维度压缩为(𝑛×1),然后再通过一个全连接层,将维度变换值(ℎ×1)作为第二输出19。
本申请实施例中,由于血流动力学指标的类型不同,设置不同的输出用于识别不同的血流动力学指标,满足多种类型的血流动力学指标的同时计算,以提升识别效率和识别准确率。
在一些实施例中,所述第一类血流动力学指标包括至少两组血流动力学子指标,其中,每一组血流动力学子指标与其他组的血流动力学子指标的数量级不同;
在一些实施方式中,步骤151“对所述拼接向量进行第一降维处理,得到所述第一类血流动力学指标”可以通过以下过程实现:
基于每一所述血流动力学子指标的数量级,对所述拼接向量进行与所述数量级对应的降维处理,对应得到所述血流动力学子指标。
这里,由于第一类血流动力学指标包括至少两组指标的数量级不同的血流动力学子指标,可以按照数量级设置输出的层数,即,每一输出对应一组数量级相同的血流动力学指标。
举例来说,如图1C所示,TAWSS,OSI,RRT,ECAP为第一类血流动力学指标,由于TAWSS,OSI,RRT,ECAP四个指标中TAWSS和OSI的数量级比较接近,RRT和ECAP的数量级比较接近,因此为了方便训练,将上述四个指标进一步分为两组血流动力学子指标。即将图1B所示的神经网络中的第一输出进一步分裂为两个输出,实施方法可以是:在拼接层之后通过一个一维卷积层(卷积核数据为g)将拼接后的特征维度由(𝑓+𝑚+3)压缩至g维,再通过一个一维卷积层(卷积核数据为k)将维度进一步压缩至k维并作为第一子输出181,其中k的大小等于第一类血流动力学指标的数目(如TAWSS,OSI两个指标作为第一输出,则k=2),同样,在拼接层之后通过另一个一维卷积层(卷积核数据为d)将拼接后的特征维度由(𝑓+𝑚+3)压缩至d维,再通过一个一维卷积层(卷积核数为l)将维度进一步压缩至l维并作为第二子输出182,其中l的大小等于第二类血流动力学指标的数目(如OSI和ECAP两个指标作为第二子输出182,则l=2)。第二输出19结构与图1B所示的神经网络的第二输出19结构相同。
本申请实施例中,由于血流动力学指标的数量级不同,设置不同的输出用于识别不同数量级的血流动力学指标,满足多种数量级的血流动力学指标的同时计算,以提升识别效率和识别准确率。
在一些实施例中,上述步骤S110“响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集”可以通过以下步骤实现:
步骤111、响应于所述血流动力学指标预测请求,重建所述医学影像的几何模型;
步骤112、基于所述几何模型,得到所述几何模型对应的点云坐标数据集;
步骤113、对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到所述医学影像对应的点云坐标数据集,其中,所述预处理包括以下至少之一:几何中心平移、尺度缩放和插值运算。
在实施过程中,可以分别沿点云坐标数据的x,y,z方向减去各自的平均值,将几何中心点平移至坐标原点,然后通过统一的缩放因子将心耳的几何形态缩放至空间单位立方体内。
本申请实施例中,首先响应于所述血流动力学指标预测请求,重建所述医学影像的几何模型;然后基于所述几何模型,得到所述几何模型对应的点云坐标数据集;最后对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到所述医学影像对应的点云坐标数据集。这样,经过几何中心平移、尺度缩放和插值运算的预处理,可以得到用于识别血流动力学指标的点云坐标数据集。
在一些实施例中,上述步骤113“对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到所述医学影像对应的点云坐标数据集”可以通过以下步骤实现:
步骤S1131、对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到预处理后的点云坐标数据集;
步骤S1132、对所述预处理后的点云坐标数据集进行随机抽样,得到所述点云坐标数据集,其中,所述点云坐标数据集中包括预设数量的点云坐标数据。
本申请实施例中,对所述预处理后的点云坐标数据集进行随机抽样,得到所述点云坐标数据集,其中,所述点云坐标数据集中包括预设数量的点云坐标数据。这样,得到的点云坐标数据可以满足用于识别血流动指标的要求。
本申请实施例提供的一种血流动力学指标确定方法,如图3A所示,该方法包括:
步骤S310、响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
步骤S320、对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
步骤S330、对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述预设维度大于所述点云坐标数据的初始维度;
步骤S340、将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;
步骤S350、对所述拼接向量进行降维处理,得到血流动力学指标;
步骤S360、获取所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,其中,所述血流动力学指标对应的标签值是基于计算流体动力学得到的;
步骤S370、基于述血流动力学指标、所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,确定所述血流动力学指标的损失值;
步骤S380、采用所述损失值评估所述血流动力学指标的准确度。
本申请实施例中,首先获取所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,其中,所述血流动力学指标对应的标签值是基于计算流体动力学得到的;然后,基于述血流动力学指标、所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,确定所述血流动力学指标的损失值;最后采用所述损失值评估所述血流动力学指标的准确度。这样,可以基于血流动力学指标、血流动力学指标对应的标签值和血流动力学指标中的负值,评估识别得到的血流动力学指标的准确度。
本申请实施例提供的一种血流动力学指标确定方法,该方法包括:
步骤310、响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
步骤311、对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
步骤312、确定至少一个与所述第一点云坐标数据相邻的相邻点云坐标;
步骤313、抽取所述第一点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述初始维度的第七点云坐标数据;
图3B为本申请实施例提供的一种用于确定拼接向量的神经网络模型的架构示意图四,如图3B所示,得到第一点云坐标数据之后经边卷积层31抽取各第一点云坐标和周围相邻点的局部特征,得到维度r大于所述初始维度3的第七点云坐标数据。举例来说,边卷积中的参数k取30即每次寻找各点周围30个点进行局部特征提取。
图3C为本申请实施例提供的一种边特征提取示意图,如图3C所示,包括点
Figure 499966DEST_PATH_IMAGE001
,和与
Figure 620369DEST_PATH_IMAGE001
相邻的点
Figure 665685DEST_PATH_IMAGE002
Figure 513424DEST_PATH_IMAGE003
Figure 796638DEST_PATH_IMAGE004
Figure 884680DEST_PATH_IMAGE005
Figure 354975DEST_PATH_IMAGE006
为了增强网络对局部特征捕捉的能力,通过构建点
Figure 819455DEST_PATH_IMAGE001
和相邻点(
Figure 691596DEST_PATH_IMAGE002
Figure 950539DEST_PATH_IMAGE003
Figure 157398DEST_PATH_IMAGE004
Figure 159989DEST_PATH_IMAGE005
Figure 886637DEST_PATH_IMAGE006
)动态的构建局部图来捕捉局部特征。以点
Figure 785323DEST_PATH_IMAGE001
的局部特征为例,首先通过K-NN算法在点云中搜索出与
Figure 292527DEST_PATH_IMAGE001
最近的k个相邻点,如图3C中左图所示,图中以k等于5进行展示。然后以公式(1)构建点与周围相邻点之间的边,以生成的边、点
Figure 770913DEST_PATH_IMAGE001
及其相邻点生成图3C中间所示的局部有向图。
Figure 679963DEST_PATH_IMAGE007
(1);
其中,
Figure 467660DEST_PATH_IMAGE008
是图的边特征,
Figure 665423DEST_PATH_IMAGE009
是中心点,
Figure 9816DEST_PATH_IMAGE010
是中心点的相邻点。然后采用卷积核大小(kernel size)为(1,1)的二维卷积层(2D convolutional layer )从局部图中进行特征提取,假设二维卷积层卷积核数目为m,卷积核的索引坐标用c表示,其特征提取过程如下公式(2)所示:
Figure 711056DEST_PATH_IMAGE011
(2);
其中,
Figure 748282DEST_PATH_IMAGE012
Figure 902183DEST_PATH_IMAGE013
是第c个卷积核中包含的训练参数,
Figure 50268DEST_PATH_IMAGE014
是激活函数。首先以中心点
Figure 855282DEST_PATH_IMAGE015
与边
Figure 63409DEST_PATH_IMAGE016
组合成为一个输入向量,令其与
Figure 970185DEST_PATH_IMAGE012
进行矩阵乘法后再加上偏置
Figure 594064DEST_PATH_IMAGE013
,最后经过激活函数
Figure 332213DEST_PATH_IMAGE014
作用后,得到该卷积核c从点
Figure 914504DEST_PATH_IMAGE015
和边
Figure 292265DEST_PATH_IMAGE016
提取的特征信息,由于
Figure 985415DEST_PATH_IMAGE015
点周围共有k条边,因此卷积核对所有边遍历之后会提取得到k个特征信息。为了保证排序不变特性,取k个特征中的最大值作为卷积核c从整个局部图中提取的特征,卷积层中共有m个卷积核,因此边卷积层会从局部图中提取得到m个与排序无关的特征。
将上述局部特征提取的算子全部封装进一个边卷积层(edge convolutionallayer),其结构如图3D所示。点数为n维度m'的特征输入边卷积层之后,首先经过邻近算法(K-NearestNeighbor,KNN)寻找相邻点,然后通过Graph函数建立局部有向图,经过卷积层提取特征后经过最大池化层进行输出,输出的点数保持不变,维度由m'变为m,经过边卷积层后各点会收集到相邻点的局部特征信息。
在实施过程中可以基于图3D提供的边卷积层抽取所述第一点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述初始维度的第七点云坐标数据。
步骤314、将所述第七点云坐标数据确定为所述第一点云坐标数据。
步骤315、对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;
如图3B所示,将第一点云坐标数据输入一维卷积层,即对第一点云坐标进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据,将r维的数据映射为m维的数据。
步骤315、对所述点云坐标数据集中的第一点云坐标数据进行下采样,得到的所述中间点云坐标数据集,其中,所述中间点云坐标数据集中的数据数量小于所述点云坐标数据集中的数据数量;
如图3B所示,对点云坐标数据集中的第一点云坐标数据进行下采样32,得到的中间点云坐标数据集中的数据数量是点云坐标数据集中的一半。
在实施过程中,下采样的策略是丢掉一般的点,由于数据经过随机抽样得到,因此可以丢掉索引奇数的点特征,保留索引为偶数的点特征。
步骤316、对所述第二点云坐标数据进行第二空间坐标变换,得到空间坐标变换后的第三点云坐标数据;
如图3B所示,将第二点云坐标数据输入辅助神经网络T-Net16进行空间坐标变换,得到空间坐标变换后的第三点云坐标数据,即(𝑛/2×𝑚)特征数据。
步骤317、确定至少一个与所述第三点云坐标数据相邻的相邻点云坐标;
步骤318、抽取所述第三点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述第三点云坐标对应维度的第八点云坐标数据;
如图3B所示,利用边卷积层31对第三点云坐标数据进行特征提取得到(𝑛/2×q)特征。
步骤319、将所述第八点云坐标数据确定为所述第三点云坐标数据。
步骤319、对所述第八点云坐标数据进行第三高维空间映射处理,得到具有第三预设维度的第九点云坐标数据;其中,所述第三预设维度大于所述第一预设维度,小于所述第二预设维度;
如图3B所示,通过一维卷积层11(卷积核数为𝑓)进一步将第八点云坐标数据的维度升至f维,得到第九点云坐标数据。
步骤320、将所述第九点云坐标数据进行最大值池化,得到第十点云坐标数据;
如图3B所示,设置一层最大池化层12对f维的特征进行最大值池化,得到第十点云坐标数据。
步骤321、将所述第十点云坐标数据进行维度扩充,得到与所述第九点云坐标数据具有相同维度的第十一点云坐标数据;
如图3B所示,对第十点云坐标数据维度扩充后得到新的维度(𝑛/2×𝑓)特征数据,即第十一点云坐标数据。
步骤322、将所述第三点云坐标数据与所述第十一点云坐标数据进行拼接,形成中间拼接向量;
如图3B所示,将第十一点云坐标数据与前面经过T-Net16变换后的特第三点云坐标数据在特征进行拼接,形成中间拼接向量。
步骤323、对所述中间拼接向量进行第二高维空间映射处理,得到具有第二预设维度的第十二点云坐标数据;
如图3B所示,通过一个一维卷积层11(卷积核数为q)将拼接后的特征维度由(𝑓+𝑚)变为q维度,得到第十二点云坐标数据。
步骤324、将所述第十二点云坐标数据进行最大值池化,得到第十三点云坐标数据;
步骤325、将所述中间点云坐标数据集中的第十三点云坐标数据进行维度扩充,得到与所述点云坐标数据集有相同数量的第十四点云坐标数据;
如图3B所示,设置一层最大池化层12对q维的特征进行最大值池化,经过维度扩充后得到新的维度(𝑛×q)特征数据,即,将中间点云坐标数据集中的第十三点云坐标数据进行维度扩充,得到与所述点云坐标数据集有相同数量的第十四点云坐标数据。
步骤326、将所述第十四点云坐标数据、第七点云坐标数据与所述第一点云坐标数据进行拼接,形成所述拼接向量;
如图3B所示,将第十四点云坐标数据与经过T-Net16变换后的特征(𝑛×3)即,第一点云坐标数据,和经过边卷积提取的(𝑛×r)特征进行拼接,即第七点云坐标数据,形成所述拼接向量。
步骤327、对所述拼接向量进行降维处理,得到血流动力学指标。
本申请实施例中,利用边卷积层可以有效抽取各点和周围相邻点的局部特征,使得采样更多样,得到的指标准确度更高。
本申请实施例中,设置下采样一方面可以降低网络的参数规模,增加计算速度,另一方面可以使得局部特征的提取范围得到不断扩大,能够使得边卷积层提取到从小到大的层次化的局部特征。
随着医疗技术的不断进步和发展,血流动力学指标的监测已成为抢救心脏病及危重病人不可缺少的监测指标,通过分析血流动力学指标,可以对病人的病情、疗效及愈后做出迅速准确的判断,用于指导治疗过程达到满意效果。以心耳血栓引起的心血管疾病为例,心血管疾病中心律不齐的最常见方式就是房颤。据估计,90%以上的左心房血栓与左心耳(left atrial appendage,LAA)的房颤血栓栓塞事件有关,而且在房颤情况下,左心耳是最常见的形成血栓的器官。心耳血栓形成的风险评估除了流速之外,还包括以下几个主要的血流动力学指标:TAWSS、OSI、RTT、ECAP。此外,心耳内的VOF对相关的临床研究也具有重要的参考意义。
相关技术中,临床上可以很方便的通过CT技术或MRI技术获得心脏位置处的医学影像数据,并且能够通过三维重构技术获得心耳的三维几何模型。但是上述血流动力学指标却无法直接获得。现有的方法是首先从医学影像中提取心耳的几何形态,然后对其进行网格划分后进行CFD(Computational Fluid Dynamic)流场模拟计算,最后从模拟的流场结果数据中通过以下公式(3)至(6)提取相应的动力学指标:
Figure 312491DEST_PATH_IMAGE017
(3);
Figure 800104DEST_PATH_IMAGE018
(4);
Figure 681472DEST_PATH_IMAGE019
(5);
Figure 975050DEST_PATH_IMAGE020
(6);
其中,WSS是壁面剪切应力,s是网格的单位面积,t是时间,T是总时间,WSS是壁面剪切应力。
上述过程不但计算步骤繁琐复杂,计算成本也非常高昂,尤其是计算的时间成本,获得单个心耳案例的血流动力学指标,仅CFD流场模拟计算一个环节就需要十几个小时的计算时间,难以满足临床上实时诊断的需要。
本申请实施例提供一种用于人体血流动力学指标预测的神经网络模型的训练和使用方法,该方法可应用多种实际医学计算场景,如动脉瘤、血管狭窄、心耳等血流动力学指标的计算,本申请实施例以心耳和动脉瘤血流动力学指标计算为例,如图4A所示,包括以下步骤:
步骤S410、获取用于训练神经网络模型的数据集;
该步骤S410的具体过程如图4B所示,包括以下步骤:
步骤S411、提取组织表面的点云坐标和该点云坐标对应的血流动力学指标;
这里,可以基于心耳血流动力学公式,对医学影像进行模拟计算得到心耳血流动力学指标,过程如下:
首先,从患者的医学影像中重建心耳几何模型;然后,对心耳几何模型进行网格划分;最后,将心耳网格文件输入至CFD软件,设定边界条件,对心耳内部的流场进行模拟计算,得到心耳血流动力学指标。
举例来说,上述心耳血流动力学指标包括以下至少之一:TAWSS、OSI、RRT和ECAP,可以利用上述计算公式(3)、(4)、(5)、(6)分别提取对应的心耳表面的血流动力学指标,还可以统计多个心跳周期时刻(如T1,T2,T3,T4,T5)的心耳内的血液残留分数,作为该心耳的VOF指标。
举例来说,在识别动脉瘤表面的血流动力学指标的情况下,首先从患者的医学影像中重建动脉瘤几何模型;然后对动脉瘤几何模型进行网格划分;最后将网格文件输入至CFD软件,设定边界条件,对内部的流场进行模拟计算,得到脉瘤表面的血流动力学指标。
动脉瘤表面的血流动力学指标包括以下至少之一:TAWSS和OSI,可以利用上述计算公式(3)、(4)分别提取对应的动脉瘤表面的血流动力学指标。
步骤S412、数据预处理;
具体构造过程如图4C所示,包括以下步骤:
步骤S4122、确定点云坐标数据的数目N,其中,N为大于等于1的整数;
举例来说,可以从心耳的离散网格数据中提取心耳表面的点云坐标数据和对应的血流动力学指标,然后计算点云中点的数目N。
举例来说,可以从动脉瘤的离散网格数据中提取表面的点云坐标数据和对应的血流动力学指标,然后计算点云中点的数目N。
步骤S4123、判断N是否大于预设的n;
这里,n为神经网络网络需要输入的点云坐标的数目。
在确定N小于n的情况下,执行步骤S4124;在确定N大于n的情况下,执行步骤S4125。
步骤S4124、对点云坐标数据进行插值运算;
对点云坐标数据进行插值运算,直到点云坐标的数目大于神经网络输入的点云坐标的数目n。
步骤S4125、对点云坐标数据和血流动力学指标做归一化处理。
这里,对点云坐标数据的几何坐标点云归一化,即,可以分别沿x,y,z方向减去各自的平均值,将几何中心点平移至坐标原点,然后通过统一的缩放因子将心耳的几何形态缩放至空间单位立方体内。
对血流动力学指标归一化,即,由于根据先验知识,血流动力学指标均大于0,因此,为了方便训练,可以通过指数函数
Figure 609163DEST_PATH_IMAGE021
(其中0<a<1)将血流动力学的指标的值域变换到0-1范围内。举例来说,在识别心耳血流动指标的情况下,a可以取值0.7。
步骤S413、随机抽样,得到每一样本点云坐标对应的血流动力学指标;
在实施过程中,由于心耳的大小不同、形态各异、不同心耳表面离散的网格点的数目各不相同,为了解决不同心耳之间数据大小不同的问题,可以采用无重复抽样的方式从预处理后的点云坐标数据中进行随机抽样,随机抽样的点数与神经网络输入的点数保持相同。具体过程是首先在点云坐标数据中随机抽取固定数目(与神经网络输入的点数保持相同)的点云坐标数据,并采用相同的随机索引从预处理后的血流动力学指标数据中抽取出相应的TAWSS、OSI、RRT和ECAP血流动力学指标数据。由于每个心耳的VOF指标在每个心动周期只有一个数据,并且统计的周期数目保持不变,因此VOF指标不进行抽样并全部保留。
举例来说,可以采用无重复抽样的方式首先在心耳表面点云坐标数据中随机抽4096个的心耳表面点云坐标数据,并采用相同的随机索引从预处理后的血流动力学指标数据中抽取出相应的TAWSS、OSI、RRT和ECAP血流动力学指标数据。由于每个心耳案例的VOF指标都只包含5个数据点,因此VOF指标不进行抽样并全部保留。
在完成随机抽样后,可以对抽样后的点云坐标数据进行重新组织,即,如图4B所示,以抽取的点云坐标数据作为网络的输入,以血流动力学指标数据作为标签,构造训练用的样本数据414。为了丰富训练数据集,同一个心耳案例,进行不同的随机抽样可以构造多个不同的样本,对临床上收集到的各个心耳案例进行模拟计算,并对每个心耳案例进行随机抽样,因此可以构建样本丰富的数据集。
举例来说,为了丰富训练数据集,同一个心耳案例进行10次随机抽样,对临床上收集到的500套心耳案例进行模拟计算,并对每个心耳案例进行随机抽样,可以构建样本数为5000的数据集。
举例来说,对抽样后的数据进行重新组织,即以抽取的动脉瘤表面点云坐标数据作为网络的输入,以动脉瘤血流动力学指标数据作为标签,构造训练用的样本数据。为了丰富训练数据集,同一个动脉瘤案例进行10次随机抽样,对临床上收集到的500套心耳案例进行模拟计算,并对每个动脉瘤案例进行随机抽样,构建了样本数为5000的数据集。
步骤S420、构造神经网络模型并训练;
这里,由于心耳的几何形态影响心耳内部的流场,进而影响基于流场计算得到的血流动力学指标,因此可以构建一个神经网络模型将心耳几何形态直接映射至所需的心耳血流动力学指标。
采用CFD方法模拟心耳内部的流场时,模拟结果由心耳的几何形态和模拟时设定的边界条件决定,由于医学技术的限制,目前难以准确的获取每一位患者心耳模拟时所需的准确的边界条件。在实际模拟时采用的是目前统一公认的边界条件设定方法,没有体现患者差异性,因此忽略边界条件设定对不同患者心耳模拟计算的影响,心耳内部的流场由心耳的几何形态唯一决定,基于模拟的流场计算得到的血流动力学指标也由心耳的几何形态决定,因此可以构建一个神经网络将心耳几何形态直接映射至所需的心耳血流动力学指标。
在一些实施例中,神经网络模型可以是如图1B、1C或1D所示的神经网络模型,神经网络模型中的辅助神经网络可以是图1A所示的辅助神经网络T-Net。
举例来说,可以采用如图1B和如图3B所示的神经网络模型的结构识别心耳血流动力学指标。
以下为图3B所示的用于得到拼接向量的神经网络模型:
第一层为维度为(4096×3)的输入层,输入层之后是一个用于坐标变换的辅助神经网络T-Net(其网络参数和主网络参数一同训练得到),对样本数据中的空间坐标进行坐标变换,得到一个新的维度为(4096×3)的特征数据,之后经边卷积层抽取各点和周围邻居点的局部特征,边卷积中的参数k取30即每次寻找各点周围30各点进行局部特征提取。之后通过三层一维卷积层(卷积核数分别64,128,和256)将其向高维空间映射,由原来的3维空间逐步映射至256维空间,之后对其进行下采样处理,下采样的策略是丢掉一般的点,由于的数据经过随机抽样得到,因此丢掉索引奇数的点特征,保留索引为偶数的点特征,下采样一方面可以降低网络的参数规模,增加计算速度,另一方面可以使得局部特征的提取范围得到不断扩大,能够使得边卷积层提取到从小到大的层次化的局部特征。下采样之后的数据变为(2048×256),再通过辅助神经网络T-Net进行空间坐标变换,得到新的(2048×256)特征数据;然后经过边卷积特征提取,得到(2048×512)特征,之后再通过两层1维卷积层(卷积核数分别为1024、4096)进一步将维度升至4096维,然后设置一层最大池化层对4096维的特征进行最大值池化,经过维度扩充后得到新的维度(2048×4096)特征数据,然后将新的维度(2048×4096)特征数据与前面经过T-Net变换后的特征(2048×256)在特征方向进行拼接,之后通过一层1维卷积层(卷积核数为2048)将拼接后的特征维度由(4096+256)变为2048维度,然后设置一层最大池化层对2048维的特征进行最大值池化,经过维度扩充后得到新的维度(4096×2048)特征数据,然后将新的维度(4096×2048)特征数据与前面个经过T-Net变换后的特征(4096×3)和经过边卷积提取的(4096×32)特征进行拼接。
以下为图1B所示的完成拼接向量后的识别心耳血流动力学指标部分:
通过一个1维卷积层(卷积核数为512)将拼接后的特征维度由(2048+32+3)压缩至512维,再通过一个一维卷积层(卷积核数为4)将维度进一步压缩至4维并作为第一输出18,其中4对应的是TAWSS,OSI,RRT和ECAP四个第一类血流动力学指标。由于VOF指标并不像TAWSS,OSI,RRT,ECAP等指标一样,在每个离散空间点处都有对应的指标标签值,VOF统计的是5个周期时刻的血液残留分数,数据形式是一个包含5个元素的向量,因此需要设置第二输出19,具体方法是在拼接后的特征之后设置一个一维卷积层(卷积核数为1)将维度压缩为(4096×1),然后再通过一个全连接层,将维度变换值(5×1)作为第二输出19。
为例增加神经网络的非线性拟合能力和方便训练,在每一个一维卷积层之后均设置激活层和批归一化层,其中拼接层之前的激活函数采用tanh双曲正切激活函数,拼接层之后采用LeakyReLU激活函数,tanh是“饱和激活函数”,ReLU是“非饱和激活函数”。
辅助神经网络T-Net的结构图1A所示,输入层之后设置三层一维卷积层将特征维度逐步提高到256维度,然后设置最大值池化层进行最大值池化,在通过全连接层和变形层将池化后的特征映射为(𝑚×𝑚)的矩阵,然后将其与输入层进行乘积运算得到维度为(4096×𝑚)数据特征作为输出。同样为了增加神经网络的非线性和易训练性在每层卷积层之后设置激活层和批归一化层。其中m为参数变量,主网络中的第一个T-Net中m=3,第二个T-Net中的m=256。
举例来说,如图1C所示,该神经网络有一个输入三个输出,从输入层到拼接层之间的网络结构与图1B所示的网络结构相同,与如图1B所示的神经网络不同的是输出的数目,由于TAWSS,OSI,RRT,ECAP四个指标中TAWSS和OSI的数量级比较接近,RRT和ECAP的数量级比较接近,因此为例方便训练,将上述四个指标进一步分为两组,即将网络结构1中的第一输出进一步分裂为两个输出,具体方法是:在拼接层之后通过一个一维卷积层(卷积核数据为512)将拼接后的特征维度由(4096+256+3)压缩至512维,再通过一个一维卷积层(卷积核数据为2)将维度进一步压缩至2维并作为第一子输出181,对应TAWSS,OSI两个指标作为第一输出;同样,在拼接层之后通过另一个一维卷积层(卷积核数据为512)将拼接后的特征维度由(4096+256+3)压缩至512维,再通过一个卷积层(卷积核数为2)将维度进一步压缩至2维并作为第二子输出182,对应RRT和ECAP两个指标;第二输出19结构与如图1B所示的神经网络的第二输出19结构相同。
举例来说,可以采用如图1D和如图3B所示的神经网络模型的结构识别动脉瘤表面的血流动力学指标。
以下为图3B所示的用于得到拼接向量的神经网络模型:
第一层为维度为(4096×3)的输入层,输入层之后是一个用于坐标变换的辅助神经网络T-Net(其网络参数和主网络参数一同训练得到),对样本数据中的空间坐标进行坐标变换,得到一个新的维度为(4096×3)的特征数据,之后经边卷积层抽取各点和周围邻居点的局部特征,边卷积中的参数k取30即每次寻找各点周围30各点进行局部特征提取。之后通过三层一维卷积层(卷积核数分别64,128,和256)将其向高维空间映射,由原来的3维空间逐步映射至256维空间,之后对其进行下采样处理,下采样的策略是丢掉一般的点,由于数据经过随机抽样得到,因此丢掉索引奇数的点特征,保留索引为偶数的点特征,下采样一方面可以降低网络的参数规模,增加计算速度,另一方面可以使得局部特征的提取范围得到不断扩大,能够使得边卷积层提取到从小到大的层次化的局部特征。下采样之后的数据变为(2048×256),再通过辅助神经网络T-Net进行空间坐标变换,得到新的(2048×256)特征数据;然后经过边卷积特征提取,得到(2048×512)特征,之后再通过两层1维卷积层(卷积核数分别为1024、4096)进一步将维度升至4096维,然后设置一层最大池化层对4096维的特征进行最大值池化,经过维度扩充后得到新的维度(2048×4096)特征数据,然后将其与前面经过T-Net变换后的特征(2048×256)在特征方向进行拼接,之后通过一层1维卷积层(卷积核数为2048)将拼接后的特征维度由(4096+256)变为2048维度,然后设置一层最大池化层对2048维的特征进行最大值池化,经过维度扩充后得到新的维度(4096×2048)特征数据,然后将其与前面个经过T-Net变换后的特征(4096×3)和经过边卷积提取的(4096×32)特征进行拼接,
以下为图1D所示的完成拼接向量后的识别动脉瘤表面的血流动力学指标部分:
通过一个1维卷积层(卷积核数为512)将拼接后的特征维度由(2048+32+3)压缩至512维,再通过一个一维卷积层(卷积核数为2)将维度进一步压缩至2维并作为输出,其中2对应的是TAWSS和OSI。
为例增加神经网络的非线性拟合能力和方便训练,在每一个一维卷积层之后均设置激活层和批归一化层,其中拼接层之前的激活函数采用tanh双曲正切激活函数,拼接层之后采用LeakyReLU激活函数。
根据先验知识,内心血流动力学指标均大于0,因此除了采用常见的均方误差作为损失函数外,还在其后添加了一项附件项用于对预测值中的负数进行惩罚,如下公式(7):
Figure 267677DEST_PATH_IMAGE022
(7);
其中,yp为预测值,ylabel为标签值,ynegtive为预测值中的负数,n为预测值中负数的个数,N为所有预测值的个数。
在实施过程中,可以利用步骤S410生成的数据集,选用自适应矩估计(Adaptivemoment estimation,Adam)优化器对上述神经网络模型进行训练,得到基于心耳表面的点云坐标数据,预测血流动力学指标的神经网络模型,其中,Adam优化器是一种可以替代传统随机梯度下降过程的一阶优化算法,能基于训练数据迭代地更新神经网络权重。
步骤S430、从医学图像中重建组织几何形态,并将点云坐标数据进行预处理和抽样;
在实施过程中,以心耳数据为例,首先从CT医学图像中重建心耳几何模型,然后读取心耳表面的点云坐标数据并对其进行几何中心平移和尺度缩放等预处理,最后从预处理后的点云坐标数据中进行随机抽样得到与神经网络输入层维度相同的抽样点云坐标数据。
步骤S440、输入抽样的几何点云坐标数据到神经网络模型得到预测结果。
在实施过程中,将抽样得到的点云坐标数据输入至神经网络模型,得到神经网络模型输出的预测值。
在一些实施例中,在训练神经网络模型是利用指数函数ax(其中0<a<1)将血流动力学的指标的值域变换到0至1范围内的情况下,可以将预测值按如下公式(8)进行变换得到相应的血流动力学指标:
Figure 433079DEST_PATH_IMAGE023
(8);
其中,a为数据预处理中所使用的指数的基底。
在a取值为0.7的情况下,利用以下公式(9)变换得到相应的血流动力学指标:
Figure 202452DEST_PATH_IMAGE024
(9);
本申请实施例提出的计算方法将心耳血流动力学指标的计算时间由传统方法的小时级降低到秒级,可实现血流动力学指标的实时计算,更好的满足实际临床需求;
本申请实施例提出的计算方法无需传统方法中的网格划分、边界条件设定等高度依赖人工干预的计算环节,计算过程简单高效,自动化程度高,且避免了计算过程中人工干预带来的误差;
本申请实施例提出的中提出的神经网络结构能够消除点云坐标数据排列顺序对计算结果的影响,即同一套点云坐标数据无论其排布顺序如何变化,计算结果均保持不变,减少了前期获取点云坐标数据的限制条件,算法灵活性更高,能够更广泛的满足实际计算需求;
本申请实施例提出的神经网络模型具有一个输入多个输出,可以满足多种类型的血流动力学指标的同时计算,提高计算效率;
本申请实施例提出的数据集构造方法中的随机抽样和预处理方法,解决了不同心耳间数据量大小不统一,以及各指标间数量级不一致的问题,降低了神经网络的训练难度,并且通过随机抽样极大的丰富了训练集,提高了训练后神经网络的计算质量。
基于前述的实施例,本申请实施例提供一种血流动力学指标确定装置,该装置包括所包括的各模块,各模块包括各子模块,各子模块包括单元,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图5为本申请实施例提供的血流动力学指标确定装置的组成结构示意图,如图5所示,所述装置500包括:
第一确定模块510,用于响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
第一变换模块520,用于对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
第一映射模块530,用于对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述第一点云坐标数据的初始维度;
拼接模块540,用于将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;
降维模块550,用于对所述拼接向量进行降维处理,得到血流动力学指标。
在一些实施例中,所在装置还包括第二变换模块和第二映射模块,其中,所述第二变换模块,用于对所述第二点云坐标数据进行第二空间坐标变换,得到空间坐标变换后的第三点云坐标数据;所述第二映射模块,还用于对所述第三点云坐标数据进行第二高维空间映射处理,得到具有第二预设维度的第四点云坐标数据;其中,所述第二预设维度大于所述第一预设维度;对应地,所述拼接模块540,还用于将所述第四点云坐标数据、所述第三点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量。
在一些实施例中,所述拼接模块540包括池化子模块、维度扩充子模块和拼接子模块,其中,所述池化子模块,用于将所述第四点云坐标数据进行最大值池化,得到第五点云坐标数据;所述维度扩充子模块,用于将所述第五点云坐标数据进行维度扩充,得到与所述第四点云坐标数据具有相同维度的第六点云坐标数据;所述拼接子模块,用于将所述第六点云坐标数据、第三点云坐标数据与所述第一点云坐标数据进行拼接,形成所述拼接向量。
在一些实施例中,所述装置还包括第三确定模块、第一抽取模块和第四确定模块,其中,所述第三确定模块,用于确定至少一个与所述第一点云坐标数据相邻的相邻点云坐标;所述第一抽取模块,用于抽取所述第一点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述初始维度的第七点云坐标数据;所述第四确定模块,用于将所述第七点云坐标数据确定为所述第一点云坐标数据。
在一些实施例中,所述装置还包括第五确定模块、第二抽取模块和第六确定模块,其中,所述第五确定模块,用于确定至少一个与所述第三点云坐标数据相邻的相邻点云坐标;所述第二抽取模块,用于抽取所述第三点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述第三点云坐标对应维度的第八点云坐标数据;所述第六抽取模块,用于将所述第八点云坐标数据确定为所述第三点云坐标数据。
在一些实施例中,所述装置还包括下采样模块,用于对所述点云坐标数据集中的第一点云坐标数据进行下采样,得到的所述中间点云坐标数据集,其中,所述中间点云坐标数据集中的数据数量小于所述点云坐标数据集中的数据数量。
在一些实施例中,所述血流动力学指标包括:与所述每一点云坐标数据对应的第一类血流动力学指标、和与所述点云坐标数据坐标集对应的第二类血流动力学指标,所述降维模块550包括第一降维子模块、第二降维子模块和分子模块,其中,所述第一降维子模块,用于对所述拼接向量进行第一降维处理,得到所述第一类血流动力学指标;所述第二降维子模块,用于对所述拼接向量进行第二降维处理,得到第二类血流动指标对应的拼接向量,其中,所述第二类血流动指标对应的拼接向量的维度与所述第二类血流动力学指标的个数相同,所述第一降维处理的卷积核数与所述第二降维处理的卷积核数不同;所述分类子模块,用于将所述第二类血流动指标对应的拼接向量进行分类处理,得到所述第二类血流动力学指标。
在一些实施例中,所述第一类血流动力学指标包括至少两组血流动力学子指标,其中,每一组血流动力学子指标与其他组的血流动力学子指标的数量级不同;所述第一降维子模块还用于基于每一所述血流动力学子指标的数量级,对所述拼接向量进行与所述数量级对应的降维处理,对应得到所述血流动力学子指标。
在一些实施例中,所述第一确定模块510包括重建子模块、获得子模块和预处理子模块,其中,所述重建子模块,用于响应于所述血流动力学指标预测请求,重建所述医学影像的几何模型;所述获得子模块,用于基于所述几何模型,得到所述几何模型对应的点云坐标数据集;所述预处理子模块,用于对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到所述医学影像对应的点云坐标数据集,其中,所述预处理包括以下至少之一:几何中心平移、尺度缩放和插值运算。
在一些实施例中,所述预处理子模块包括预处理子模块和随机抽样子模块,其中,所述预处理子模块,用于对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到预处理后的点云坐标数据集;所述随机抽样子模块,用于对所述预处理后的点云坐标数据集进行随机抽样,得到所述点云坐标数据集,其中,所述点云坐标数据集中包括预设数量的点云坐标数据。
在一些实施例中,所述装置还包括获取模块、第二确定模块和评估模块,其中,所述获取模块,用于获取所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,其中,所述血流动力学指标对应的标签值是基于计算流体动力学得到的;所述第二确定模块,用于基于述血流动力学指标、所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,确定所述血流动力学指标的损失值;所述评估模块,用于采用所述损失值评估所述血流动力学指标的准确度。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中提供的血流动力学指标确定方法中的步骤。
对应地,本申请实施例提供一种电子设备,图6为本申请实施例提供的电子设备的一种硬件实体示意图,如图6所示,该设备600的硬件实体包括:包括存储器601和处理器602,所述存储器601存储有可在处理器602上运行的计算机程序,所述处理器602执行所述程序时实现上述实施例中提供的血流动力学指标确定方法中的步骤。
存储器601配置为存储由处理器602可执行的指令和应用,还可以缓存待处理器602以及电子设备600中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory,RAM)实现。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种血流动力学指标确定方法,其特征在于,所述方法包括:
响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述第一点云坐标数据的初始维度;
将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;
对所述拼接向量进行降维处理,得到血流动力学指标。
2.如权利要求1所述的方法,其特征在于,在对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据之后,所述方法还包括:
对所述第二点云坐标数据进行第二空间坐标变换,得到空间坐标变换后的第三点云坐标数据;
对所述第三点云坐标数据进行第二高维空间映射处理,得到具有第二预设维度的第四点云坐标数据;其中,所述第二预设维度大于所述第一预设维度;
对应地,所述将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量,包括:
将所述第四点云坐标数据所述第三点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量。
3.如权利要求2所述的方法,其特征在于,所述将所述第四点云坐标数据、第三点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量,包括:
将所述第四点云坐标数据进行最大值池化,得到第五点云坐标数据;
将所述第五点云坐标数据进行维度扩充,得到与所述第四点云坐标数据具有相同维度的第六点云坐标数据;
将所述第六点云坐标数据、第三点云坐标数据与所述第一点云坐标数据进行拼接,形成所述拼接向量。
4.如权利要求1所述的方法,其特征在于,在所述对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据之后,所述方法还包括:
确定至少一个与所述第一点云坐标数据相邻的相邻点云坐标;
抽取所述第一点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述初始维度的第七点云坐标数据;
将所述第七点云坐标数据确定为所述第一点云坐标数据。
5.如权利要求2所述的方法,其特征在于,在所述对所述第二点云坐标数据进行第二空间坐标变换,得到空间坐标变换后的第三点云坐标数据之后,所述方法还包括:
确定至少一个与所述第三点云坐标数据相邻的相邻点云坐标;
抽取所述第三点云坐标数据和所述相邻点云坐标的局部特征,得到维度大于所述第三点云坐标对应维度的第八点云坐标数据;
将所述第八点云坐标数据确定为所述第三点云坐标数据。
6.如权利要求4所述的方法,其特征在于,在对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据之后,所述方法还包括;
对所述点云坐标数据集中的第一点云坐标数据进行下采样,得到中间点云坐标数据集,其中,所述中间点云坐标数据集中的数据数量小于所述点云坐标数据集中的数据数量。
7.如权利要求1所述的方法,其特征在于,所述血流动力学指标包括:与所述每一点云坐标数据对应的第一类血流动力学指标、和与所述点云坐标数据坐标集对应的第二类血流动力学指标;
所述对所述拼接向量进行降维处理,得到血流动力学指标,包括:
对所述拼接向量进行第一降维处理,得到所述第一类血流动力学指标;
对所述拼接向量进行第二降维处理,得到第二类血流动指标对应的拼接向量,其中,所述第二类血流动指标对应的拼接向量的维度与所述第二类血流动力学指标的个数相同,所述第一降维处理的卷积核数与所述第二降维处理的卷积核数不同;
将所述第二类血流动指标对应的拼接向量进行分类处理,得到所述第二类血流动力学指标。
8.如权利要求7所述的方法,其特征在于,所述第一类血流动力学指标包括至少两组血流动力学子指标,其中,每一组血流动力学子指标与其他组的血流动力学子指标的数量级不同;
所述对所述拼接向量进行第一降维处理,得到所述第一类血流动力学指标,包括:
基于每一所述血流动力学子指标的数量级,对所述拼接向量进行与所述数量级对应的降维处理,对应得到所述血流动力学子指标。
9.如权利要求1所述的方法,其特征在于,所述响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集,包括:
响应于所述血流动力学指标预测请求,重建所述医学影像的几何模型;
基于所述几何模型,得到所述几何模型对应的点云坐标数据集;
对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到所述医学影像对应的点云坐标数据集,其中,所述预处理包括以下至少之一:几何中心平移、尺度缩放和插值运算。
10.如权利要求9所述的方法,其特征在于,所述对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到所述医学影像对应的点云坐标数据集,包括:
对所述几何模型对应的点云坐标数据集中的点云坐标数据进行预处理,得到预处理后的点云坐标数据集;
对所述预处理后的点云坐标数据集进行随机抽样,得到所述点云坐标数据集,其中,所述点云坐标数据集中包括预设数量的点云坐标数据。
11.如权利要求1至10任一项所述的方法,其特征在于,所述方法还包括:
获取所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,其中,所述血流动力学指标对应的标签值是基于计算流体动力学得到的;
基于述血流动力学指标、所述血流动力学指标对应的标签值和所述血流动力学指标中的负值,确定所述血流动力学指标的损失值;
采用所述损失值评估所述血流动力学指标的准确度。
12.一种血流动力学指标确定装置,其特征在于,所述装置包括:
第一确定模块,用于响应于血流动力学指标预测请求,确定所述血流动力学指标预测请求中的医学影像对应的点云坐标数据集;
第一变换模块,用于对所述点云坐标数据集中的每一点云坐标数据进行第一空间坐标变换,得到空间坐标变换后的第一点云坐标数据;
第一映射模块,用于对所述第一点云坐标数据进行第一高维空间映射处理,得到具有第一预设维度的第二点云坐标数据;其中,所述第一预设维度大于所述第一点云坐标数据的初始维度;
拼接模块,用于将所述第二点云坐标数据与所述第一点云坐标数据进行拼接,形成拼接向量;
降维模块,用于对所述拼接向量进行降维处理,得到血流动力学指标。
13.一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至11任一项所述方法中的步骤。
14.一种计算机存储介质,其特征在于,存储有可执行指令,用于引起处理器执行时,实现权利要求1至11任一项所述的方法中的步骤。
CN202210026595.2A 2022-01-11 2022-01-11 一种血流动力学指标确定方法、装置、设备及存储介质 Active CN114066888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210026595.2A CN114066888B (zh) 2022-01-11 2022-01-11 一种血流动力学指标确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210026595.2A CN114066888B (zh) 2022-01-11 2022-01-11 一种血流动力学指标确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114066888A CN114066888A (zh) 2022-02-18
CN114066888B true CN114066888B (zh) 2022-04-19

Family

ID=80230797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210026595.2A Active CN114066888B (zh) 2022-01-11 2022-01-11 一种血流动力学指标确定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114066888B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972165B (zh) * 2022-03-24 2024-03-15 中山大学孙逸仙纪念医院 一种时间平均剪切力的测量方法和装置
CN114790982B (zh) * 2022-03-25 2024-03-05 浙江迪远医疗器械有限公司 血泵运行状态的监测方法、装置、电子设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685848B (zh) * 2018-12-14 2023-06-09 上海交通大学 一种三维点云与三维传感器的神经网络坐标变换方法
EP3751580B1 (en) * 2019-06-11 2024-04-03 Siemens Healthineers AG Hemodynamic analysis of vessels using recurrent neural network
CN111243668B (zh) * 2020-04-09 2020-08-07 腾讯科技(深圳)有限公司 分子结合位点检测方法、装置、电子设备及存储介质
US20210398338A1 (en) * 2020-06-22 2021-12-23 Nvidia Corporation Image generation using one or more neural networks
CN112184556B (zh) * 2020-10-28 2021-10-29 万申(北京)科技有限公司 一种基于口腔cbct重建点云的超分辨成像方法
CN112749521A (zh) * 2021-02-08 2021-05-04 北京泰杰伟业科技有限公司 血流动力学指标数据的处理方法和系统
CN113192201B (zh) * 2021-05-08 2023-08-01 上海皓桦科技股份有限公司 点云数据的数据拟合方法、装置及介质

Also Published As

Publication number Publication date
CN114066888A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US20220059229A1 (en) Method and apparatus for analyzing medical treatment data based on deep learning
CN114066888B (zh) 一种血流动力学指标确定方法、装置、设备及存储介质
WO2020133636A1 (zh) 前列腺手术中外包膜智能检测和预警方法及系统
TWI742408B (zh) 一種圖像處理方法、電子設備及儲存介質
Prasetyo et al. Multi-level residual network VGGNet for fish species classification
CN106408550A (zh) 一种改进的自适应多字典学习的图像超分辨率重建方法
CN109886135A (zh) 一种低分辨率人脸识别方法、装置及存储介质
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
Cao et al. Deep learning methods for cardiovascular image
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN114863225B (zh) 图像处理模型训练方法、生成方法、装置、设备及介质
Lazo et al. Comparison of different CNNs for breast tumor classification from ultrasound images
Sharma et al. Weedgan: a novel generative adversarial network for cotton weed identification
CN113158970B (zh) 一种基于快慢双流图卷积神经网络的动作识别方法与系统
CN110827283A (zh) 基于卷积神经网络的头颈血管分割方法及装置
CN114224354B (zh) 心律失常分类方法、装置及可读存储介质
CN116188435A (zh) 一种基于模糊逻辑的医学图像深度分割方法
CN110232695A (zh) 基于混合模态图像的左心室图像分割方法及系统
de Melo et al. Classification of images and enhancement of performance using parallel algorithm to detection of pneumonia
Zeng et al. Domestic activities classification from audio recordings using multi-scale dilated depthwise separable convolutional network
CN113723519A (zh) 基于对比学习的心电数据处理方法、装置及存储介质
CN113516670A (zh) 一种反馈注意力增强的非模式图像分割方法及装置
CN114119446A (zh) 图像处理方法及装置、医学图像处理方法及装置
CN110853012A (zh) 获得心脏参数的方法、装置及计算机存储介质
CN117598711B (zh) 一种心电信号的qrs波群检测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant