CN114678105B

CN114678105B - 一种结合人工智能技术自动计算球囊参数的方法

Info

Publication number: CN114678105B
Application number: CN202210283967.XA
Authority: CN
Inventors: 请求不公布姓名; 马琛明; 方桧铭; 虞发新
Original assignee: Nanjing Shengde Medical Technology Co ltd
Current assignee: Nanjing Shengde Medical Technology Co ltd
Priority date: 2022-03-21
Filing date: 2022-03-21
Publication date: 2023-10-17
Anticipated expiration: 2042-03-21
Also published as: CN114678105A

Abstract

本发明公开了一种结合人工智能技术自动计算球囊参数的方法，首先，采集、分析并统计球囊的参数、病人的术中及术后情况，将球囊的参数和病人的术后恢复评分作为真实世界的决策和临床结局；然后，进行神经网络模型训练，使用深度强化学习得到优选的球囊参数的决策，将深度强化学习的决策和真实世界的决策进行对比，使其结果趋近于临床结局获益的真实世界决策而远离不良结局发生的真实世界决策；最后，将训练好的网络模型部署至推理服务器，所述推理服务器接受深度强化学习网络所需的影像数据及测量诊断参数并输出最终的建议球囊参数。本发明利用人工智能技术实现了球囊最佳充水量和压力的自动计算，避免球囊扩张不充分或扩张过度引起的不良后果。

Description

一种结合人工智能技术自动计算球囊参数的方法

技术领域

本发明属于数字化医疗技术领域，特别涉及一种通过人工智能技术在心脏瓣膜植入术中自动化输出优选的球囊型号、充水体积和球囊压力的方法。

背景技术

传统的心脏瓣膜置换手术通过胸部中的纵向切口进入患者的心脏。植入式的微创手术相比于传统开胸手术有以下几个优势：手术时间短、恢复期时间短、减少了手术后的创伤和术后恢复期的疼痛。在过去几十年中，本领域致力于促进和改进微创手术的装置和方法。但在进行微创手术的治疗位置的术前评估方面仍存在改进的空间。例如，在手术时，外科医生评估治疗位置的形状、大小、位置、顺应性和其他物理特性，并使用该信息来控制在体腔内或位于患者体内的器官的中空部分内执行手术过程的器械是十分有益的。目前该领域利用检查设备对患者进行术前评估的主观性太强，效率不高，尚无法做到术中导航。

目前，在瓣膜植入术前评估方面已有解剖结构测量平台工具软件，如FluoroCT、3mensio、cvi42等。但是，需要医生凭借自身经验和对主动脉根部解剖结构的理解，通过纯手动或半自动的方式对主动脉根部相关结构进行打点、描绘和测量。对影像中特征范围的选择和提取，完全通过医生手工操作完成。在经导管主动脉瓣植入术(TAVI)期间，仅依靠施加的压力或体积手动对任何类型的瓣膜扩张球囊充气仍然是一种“粗略”的方法。可能导致充气到指定压力时不能保证瓣膜完全膨胀到公称直径，或者充气到指定体积时不能确保达到所需压力，甚至更危险的是已经超过主动脉根部承受压力的极限，导致瓣环破裂。

发明内容

为了解决上述问题，本发明提出了一种结合人工智能技术自动计算球囊参数的方法，包括：

S1：数据采集和分析，采集多中心不同条件下病人的术前术后的影像资料和手术记录，分析和统计的信息包括球囊的参数、病人的术中及术后情况，将球囊的参数和病人的术后恢复评分作为真实世界的决策和临床结局；

S2：进行神经网络模型训练，使用深度强化学习得到优选的球囊参数的决策，将深度强化学习的决策和真实世界的决策进行对比，使其结果趋近于临床结局获益的真实世界决策而远离不良结局发生的真实世界决策；

S3：将训练好的网络模型部署至推理服务器，所述推理服务器接受深度强化学习网络所需的影像数据及测量诊断参数并输出最终的建议球囊参数。

进一步地，所述球囊的参数包括球囊的型号、尺寸S_balloon、充水量V_balloon和球囊内部压力P_balloon。

其中，所述步骤S2中的神经网络模型训练的具体方法为：

综合三维影像数据I_Ct及若干多模态数据，采用多模态数据融合架构将不同模态的数据融合，所述多模态数据融合架构首先使用两个独立的神经网络，即图像处理网络net_image和参数处理网络net_parameter，将不同模态的数据转换为相似的数据结构，然后，将相似的数据结构合并，并使用集成神经网络net_integration综合上述合并后的结果得到最终的结果Result，将最终结果与真实世界的结果的获益结局Benign和不良结局Malignant进行对比，对比结果使用交叉熵损失函数BCE，利用神经网络的反向传播机制自动学习上述三个神经网络，使其预测结果更加接近真实世界的临床获益结局Benign或更加远离真实世界的不良结局Malignant。

进一步地，所述步骤S2中的所述三维影像数据及多模态数据包括：所述数据包括基于CT影像的主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度L、面积A和周长P，还包括原始CT影像及基于该影像得到的图像分割结果I_Seg，以及基于超声图像得到的血液流速v_blood、瓣膜两侧血流压强Δp_va1ve和心脏射血分数Ejection Fraction(EF)。

进一步地，步骤S2中的数据处理方法表达为：

图像处理网络：

V_image＝net_image(I_CT，I_seg)；

参数处理网络：

V_parameter＝net_parameter(L，A，P，v_blood，Δp_valve，EF)；

将网络输出合并：

V_integration＝Concatenate(V_image，V_image)；

集成神经网络：

Result＝net_integration(V_integration)；

损失函数：

GroundTruth＝{Benigh，Malignant}

Loss＝BCE(Result，GroundTruth)

整个系统的学习过程可以被概括为：

f：＝argmin_f(BCE(f(I_CT，I_Seg，L，A，P，v_blood，Δp_valve，EF)，GroundTruth))；

其中，

f＝{net_image，net_parameter，net_parameter}。

进一步地，所述步骤S3中的所述影像数据包括主动脉分割图像和原始CT影像数据，所述测量诊断参数包括通过超声获得的左心室射血分数、血液流速、瓣膜两侧血流压强和主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度L、面积A和周长P。

发明的有益效果：本发明利用人工智能技术通过学习临床真实手术案例，实现对介入手术术中球囊最佳充水量和最佳压力的预测。该预测能避免球囊扩张不充分导致手术效果不佳，也能够避免球囊扩张过度导致术中循环崩溃风险。

附图说明

图1为本发明实施方式的示意性流程图；

图2为本发明的实施方式的步骤S2中数据处理方法的示意图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，实施例仅用于说明本发明而不用于限制本发明的保护范围。此外，应理解，在阅读了本发明所公开的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本发明所限定的保护范围之内。

本发明实施方式的步骤参见图1。具体如下：

S1：数据采集和分析，采集多中心不同条件下病人的术前术后的影像资料，对相应的手术记录进行分析和统计，分析和统计的信息包括：球囊的型号尺寸、操作过程、内部所施加的压力和充水体积，记录病人的术中及术后情况，重点记录和分析因球囊充气而导致终点事件的病例，将球囊的尺寸S_balloon、充水量V_balloon、球囊内部压力P_balloon和病人的术后恢复评分Score作为真实世界的决策和临床结局；

S2：进行神经网络模型训练，使用深度强化学习自主做出球囊选型、球囊最佳充水量和工作压力的决策，将深度强化学习的决策和真实世界的决策进行对比，要求深度强化学习的决策结果趋近于临床结局获益的真实世界决策，同时远离不良结局发生的真实世界决策，具体方法如下(参见图2)：

深度学习网络能够综合三维影像数据I_Ct及若干多模态数据，所述数据包括基于CT影像的主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度L、面积A和周长P，还包括原始CT影像及基于该影像得到的图像分割结果I_Seg，以及基于超声图像得到的血液流速v_blood、瓣膜两侧血流压强Δp_valve和心脏射血分数Ejection Fraction(EF)；

采用多模态数据融合架构将不同模态的数据融合，综合多模态结果得到最终的建议决策，所述多模态数据融合架构首先使用两个独立的神经网络，即图像处理网络net_image和参数处理网络net_parametero两个网络将不同模态的数据转换为相似的数据结构，之后将相似的数据结构合并，并使用集成神经网络net_integration综合上述合并后的结果得到最终的结果Resu1t，将最终结果与真实世界的结果的获益结局Benign和不良结局Malignant进行对比。对比结果使用交叉熵损失函数BCE，利用神经网络的反向传播机制自动学习上述三个神经网络，使其预测结果更加接近真实世界的临床获益结局Benign或更加远离真实世界的不良结局Malignant；

其中，图像处理网络：

V_image＝net_image(I_CT，I_seg)；

参数处理网络：

V_parameter＝net_parameter(L，A，P，v_blood，Δp_valve，EF)；

将网络输出合并：

V_integration＝Concatenate(V_image，V_image)；

集成神经网络：

Result＝net_integration(V_integration)；

损失函数：

GroundTruth＝{Benigh，Malignant}

Loss＝BCE(Result，GroundTruth)

整个系统的学习过程可以被概括为：

f：＝argmin_t(BCE(f(I_CT，I_Seg，L，A，P，v_blood，Δp_valve，EF)，GroundTruth))；

其中

f＝{net_image，net_parameter，net_parameter}；

S3：将训练好的网络模型部署至推理服务器，当所述推理服务器进行推理时，所述推理服务器接受深度强化学习网络所需的影像数据及测量诊断参数并输出最终的建议球囊型号、充水体积和球囊压力，所述影像数据包括主动脉分割图像和原始CT影像数据，所述测量诊断参数包括通过超声获得的左心室射血分数、血液流速、瓣膜两侧血流压强和主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度L、面积A和周长P。

Claims

1.一种结合人工智能技术自动计算球囊参数的方法，其特征在于，包括以下步骤：

S2：进行神经网络模型训练，使用深度强化学习得到最佳的球囊参数的决策，将深度强化学习的决策和真实世界的决策进行对比，使其结果趋近于临床结局获益的真实世界决策而远离不良结局发生的真实世界决策；

S3：将训练好的网络模型部署至推理服务器，所述推理服务器接受深度强化学习网络所需的影像数据及测量诊断参数并输出最终的建议球囊参数；

其中，所述球囊的参数包括球囊的型号、尺寸S_balloon、充水量V_balloon和球囊内部压力P_balloon；

此外，所述步骤S2中的神经网络模型训练的具体方法为：

2.根据权利要求1所述的计算球囊参数的方法，其特征在于，所述步骤S2中的所述三维影像数据及多模态数据包括：所述数据包括基于CT影像的主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度L、面积A和周长P，还包括原始CT影像及基于该影像得到的图像分割结果I_Seg，以及基于超声图像得到的血液流速v_blood、瓣膜两侧血流压强Δp_valve和心脏射血分数EF。

3.根据权利要求2所述的计算球囊参数的方法，其特征在于，步骤S2中的数据处理方法表达为：

图像处理网络：

V_image＝net_image(I_CT,I_Seg)；

参数处理网络：

V_parameter＝net_parameter(L,A,P,v_blood,Δp_valve,EF)；

将网络输出合并：

V_integration＝Concatenate(V_image，V_parameter)；

集成神经网络：

Result＝net_integration(V_integration)；

损失函数：

GroundTruth＝{Benign,Malignant}

Loss＝BCE(Result,GroundTruth)

将整个系统的学习过程概括为：

f∶＝argmin_f(BCE(f(I_CT,I_Seg,L,A,P,v_blood,Δp_valve,EF),GroundTruth))；

其中，

f＝{net_image,net_parameter,net_integration}。

4.根据权利要求3所述的计算球囊参数的方法，其特征在于，所述步骤S3中的所述影像数据包括主动脉分割图像和原始CT影像数据。

5.根据权利要求1-4中任一项所述的计算球囊参数的方法，其特征在于，所述测量诊断参数包括通过超声获得的左心室射血分数、血液流速、瓣膜两侧血流压强和主动脉层面，窦管交界平面，瓦式窦平面和瓣环平面的长度L、面积A和周长P。