CN110974305A - 基于深度学习的远程心脏超声三维成像系统及方法 - Google Patents

Abstract

本公开公开了基于深度学习的远程心脏超声三维成像系统及方法，用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；云服务器，对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；医生客户端，接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，指导用户客户端发送选通信号指令。

Description

基于深度学习的远程心脏超声三维成像系统及方法

技术领域

本公开涉及超声三维成像领域，尤其涉及基于深度学习的远程心脏超声三维成像系统及方法。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

现有的超声诊断设备为了得到具有诊断信息的超声回波，换能器所发射和接收超声的方向和位置必须进行控制，按照超声收发的方向和位置是否改变以及改变的方式，可以把超声扫描分为一维、二维和三维扫描。换能器每次发射和接收声波时，由一组阵元进行波束合成，产生一束扫描声束，并接收信号，然后由下一组产生下一次发射声束，并接收信号。把每次接收到的回波信号经放大和后处理后，就可以合成一幅超声图像。提高扫查线密度，可以提高图像的空间分辨力，但也产生了很大的数据量。

为了在有限的硬件条件下进行成像相关处理，目前的移动式心脏超声设备采用减少成像阵元、降低分辨率等减少数据量的方法，成像模态也多局限于一维、二维和彩色多普勒，无法进行三维重建和三维信息计算；另一方面，为达到实时高帧频成像，对硬件系统提出了更高的要求，现有移动式成像设备的帧频率和时间分辨率都受到了限制。对硬件架构的高要求，与移动式(包含但不限于手推车式、手提式、掌上型等)或穿戴式超声设备小型化、集成化、轻量化的要求相悖，而且某些掌上型超声设备和穿戴式设备，为进一步缩小设备的重量、功耗和体积，将部分波束合成和成像处理通过云计算等交互式方式进行远程处理和成像，这对于设备的数据传输速率也有很高的要求，且移动式超声有较多边远地区和网络覆盖差的应用场合。显然，传统的超声设备架构和成像方法已经不能，用于硬件、数据传输资源和算力有限的移动式或可穿戴超声成像设备。

发明内容

为了解决现有技术的不足，本公开提供了涉及基于深度学习的远程心脏超声三维成像系统及方法；

第一方面，本公开提供了基于深度学习的远程心脏超声三维成像系统；

基于深度学习的远程心脏超声三维成像系统，包括：

用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；

云服务器，用于对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；

医生客户端，用于接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，用于指导用户客户端发送选通信号指令。

第二方面，本公开还提供了基于深度学习的远程心脏超声三维成像方法；

基于深度学习的远程心脏超声三维成像方法，包括：

预调成像过程：用户客户端获取使用时受试者佩戴柔性穿戴式多阵元成像换能器后，受试者的实时心脏超声二维图像，用户客户端将获取的受试者的实时心脏超声二维图像发送给云服务器，云服务器将受试者的实时心脏超声二维图像发送给医生客户端；

医生客户端从受试者的实时心脏超声二维图像中选取受试者心脏轮廓关键点；医生客户端将选取的受试者心脏轮廓关键点发送给云服务器；

云服务器将受试者的实时心脏超声二维图像作为自适应心脏神经网络模型的输入值；云服务器将人工选取的受试者心脏轮廓关键点作为自适应心脏神经网络模型的输出值，对自适应心脏神经网络模型进行训练，得到受试者的个体三维心脏模型；云服务器将受试者心脏轮廓关键点和受试者的个体三维心脏模型均发送给用户客户端；

实时成像过程：用户客户端接收受试者心脏轮廓关键点和受试者的个体三维心脏模型；

用户客户端根据受试者心脏轮廓关键点，向超声发射器发出选通指令，即选通指令控制超声发射器只向轮廓关键点对应的阵元发射超声信号，对于非轮廓关键点对应的阵元不发射超声信号；

用户客户端获取由选通指令对应的阵元所采集的受试者新的实时心脏超声二维图像，用户客户端将受试者新的实时心脏超声二维图像输入到受试者的个体三维心脏模型中，用户客户端输出受试者实时的心脏轮廓关键点的坐标位置；

基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像。

与现有技术相比，本公开的有益效果是：

1、本发明将超声信号的复杂处理上传至云服务器，而信号采集的移动端或穿戴端仅需进行数据采集和传输，极大降低了移动端或穿戴端图像采集与处理的硬件和软件运算负担，降低了移动端或穿戴端的功耗、发热、体积；

2、本发明利用人工智能技术的移动端或穿戴端，可在预成像阶段人机交互式由医生客户端确定少量若干个心脏关键结构点，并利用人工智能技术实时追踪若干个关键结构点信号，极大降低了数据传输量，利用稀疏的、降维的信号实现全分辨率的成像，提高了成像速度、时间与空间分辨率。

3、本发明利用深度学习技术，实现了心脏心腔、室壁和瓣膜结构的自动识别，从系列心室短轴和长轴的二维图像，完成三维重建和三维信息的获取；

4、本发明利用深度学习技术，不仅可以计算上述的心腔径线、室壁厚度等二维参数，还可提供心腔容积等三维参数，且可以自动计算射血分数、每搏量等功能参数，可实现自动报告，并对出现异常的参数自动警报；

5、本发明利用云服务器的交互式访问架构，实现了心脏超声图像的交互式实时访问，有利于家庭、社区和专科医疗机构对受检测人群的信息共享，实时调整受检测者的运动状态或治疗方案；

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为一个或多个实施方式的硬件连接示意图；

图2为一个或多个实施方式的柔性穿戴式多阵元成像换能器佩戴示意图；

图3为一个或多个实施方式的柔性穿戴式多阵元成像换能器阵元放大示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

第一方面，本公开提供了基于深度学习的远程心脏超声三维成像系统；

如图1所示，基于深度学习的远程心脏超声三维成像系统，包括：

用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令(如图2所示)；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；

云服务器，用于对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；

医生客户端，用于接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，用于指导用户客户端发送选通信号指令。

如图3所示，作为一个或多个实施例，所述柔性穿戴式多阵元成像换能器，包括：

柔性基底，所述柔性基底上均匀分布若干个阵元，每个阵元内部均设有对应的阵元发射器和阵元接收器；

所述阵元接收器，用于将接收到的超声发射器发射的电信号，将电信号转换为超声信号，并将超声信号发射到患者心脏位置；

所述阵元发射器，用于将反馈的超声信号，转换为电信号，并将电信号发射给超声接收器。

作为一个或多个实施例，所述柔性穿戴式多阵元成像换能器设置在患者心脏正对的体表胸壁位置；是指，柔性基底贴敷在体表胸壁位置，所述柔性基底与体表之间设有超声耦合介质。

所述柔性基底的材质为生物相容性柔性材料，如PDMS(聚二甲基硅氧烷)、等。

作为一个或多个实施例，所述用户客户端，包括：

超声控制器、超声发射器和超声接收器；

所述超声发射器，用于向柔性穿戴式多阵元成像换能器的每个阵元发射超声信号；

所述超声接收器，用于接收柔性穿戴式多阵元成像换能器的每个阵元反馈回来的电信号；

所述超声控制器，用于控制超声发射器和超声接收器的工作；还用于对接收的反馈电信号通过无线收发模块发送给云服务器；

所述显示模块，用于对云服务器下发的由医生客户端选取的受试者心脏轮廓关键点，进行显示。

第二方面，本公开提供了基于深度学习的远程心脏超声三维成像方法；

基于深度学习的远程心脏超声三维成像方法，包括：

S1：预调成像过程：用户客户端获取使用时受试者佩戴柔性穿戴式多阵元成像换能器后，受试者的实时心脏超声二维图像，用户客户端将获取的受试者的实时心脏超声二维图像发送给云服务器，云服务器将受试者的实时心脏超声二维图像发送给医生客户端；

医生客户端从受试者的实时心脏超声二维图像中选取受试者心脏轮廓关键点；医生客户端将选取的受试者心脏轮廓关键点发送给云服务器；

云服务器将受试者的实时心脏超声二维图像作为自适应心脏神经网络模型的输入值；云服务器将人工选取的受试者心脏轮廓关键点作为自适应心脏神经网络模型的输出值，对自适应心脏神经网络模型进行训练，得到受试者的个体三维心脏模型；云服务器将受试者心脏轮廓关键点和受试者的个体三维心脏模型均发送给用户客户端；

S2：实时成像过程：用户客户端接收受试者心脏轮廓关键点和受试者的个体三维心脏模型；

用户客户端根据受试者心脏轮廓关键点，向超声发射器发出选通指令，即选通指令控制超声发射器只向轮廓关键点对应的阵元发射超声信号，对于非轮廓关键点对应的阵元不发射超声信号；

用户客户端获取由选通指令对应的阵元所采集的受试者新的实时心脏超声二维图像，用户客户端将受试者新的实时心脏超声二维图像输入到受试者的个体三维心脏模型中，用户客户端输出受试者实时的心脏轮廓关键点的坐标位置；

基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像。

作为一个或多个实施例，所述自适应心脏神经网络模型的获取步骤包括：

获取正常人的心脏超声二维图像；对正常人的心脏超声二维图像进行预处理，预处理后图像作为神经网络的输入值，将心脏三维图像作为神经网络的输出值，对神经网络进行训练，得到自适应心脏神经网络模型。

作为一个或多个实施例，所述对正常人的超声二维图像进行预处理，包括：

对正常人的超声二维图像进行格式转化；

对格式转化的图像进行归一化处理；

对归一化处理后的图像进行图像滤波，滤除图像传输过程中的随机扰动、噪声和失真；

对图像滤波后的图像进行图像增强处理，增强组织边界；

对图像增强后的图像进行图像配准处理，将不同二维扫查切面下获得的图像，基于心脏解剖信息、图像灰阶和图像纹理特征进行图像配准；

并将各二维切面图像进行图像融合；

对融合后的图像进行断层图像的插值处理：在二维图像的不同层间加入虚拟切面层，得到心脏外轮廓三维图像。

保证重建的三维图像不畸变、不失真。

应理解的，所述不同二维扫查切面下获得的图像，包括：多个角度心脏长轴和自心底部至心尖部的系列短轴的图像。

应理解的，所述心脏解剖信息是指：乳头肌、瓣膜、心内膜、心尖等解剖信息。

作为一个或多个实施例，所述对正常人的超声二维图像进行预处理，还包括：

对插值处理后的若干幅超声二维图像进行分割，分割出心脏切面的腔室区域；所述心脏切面的腔室区域包括：左心室、左心房、右心室和右心房；

从心尖四腔心和心尖两腔心切面获取心腔轮廓，再以短轴切面为约束将二维超声图像配准到各心脏腔室区域；

所述短轴切面指心脏超声扫查的标准切面，是超声探头在胸骨旁使声束切面垂直于左心室的长轴而获取的横切面图像，从左心室基底部到心尖，可获得至少三个标准短轴切面。

将处理后的图像输入到预训练的心腔内轮廓分割神经网络中，输出分割后的心脏内轮廓图像。

将心脏外轮廓三维图像和心脏内轮廓图像整合，得到预处理后的心脏三维图像

所述预训练的心腔内轮廓分割神经网络，训练阶段的训练集为有医生标注的心腔内轮廓图像；训练过程中，神经网络的输入值为心腔内轮廓图像，神经网络的输出值为医生标注的坐标位置，训练结束后得到训练好的心腔内轮廓分割神经网络。

作为一个或多个实施例，所述基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像；具体步骤包括：

将实时心脏轮廓关键点坐标位置，输入到预训练的三维成像神经网络模型中，输出受试者实时的心脏超声三维成像。

进一步地，所述预训练的三维成像神经网络模型，训练步骤包括：

构建神经网络模型，构建训练集；所述训练集为已知关键点坐标位置的心脏超声三维图像；

训练阶段，将训练集的已知关键点坐标作为神经网络的输入值，将训练集的心脏超声三维图像作为神经网络的输出值；对神经网络进行训练，得到训练好的三维成像神经网络模型。

作为一个或多个实施例，所述方法还包括：

获取到受试者实时的心脏轮廓关键点的坐标位置后，对受试者实时的心脏轮廓关键点的坐标位置与设定的坐标范围进行比较，如果在设定的坐标范围内，则表示当前获取的受试者实时的心脏轮廓关键点的坐标位置是正确的，基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像；

如果超出设定的坐标范围，则表示当前获取的受试者实时的心脏轮廓关键点的坐标位置是无效的坐标范围，返回预调成像过程，重新进行关键点坐标位置的选取。

作为一个或多个实施例，所述个体三维心脏模型；具体步骤包括：

其中，S表示受试者的个体三维心脏模型，

表示自适应心脏神经网络模型，S_i表示用户心脏形状的特征向量，B_i表示用户心脏运动维度的特征向量，i表示所选择的特征向量个数，与心脏关键结构点个数相同，a_i和w_i组成心脏的参数化表示，通过自适应心脏神经网络模型计算得到。

将各心脏腔室实时超声图像汇总合成，输出合成的整体心脏的实时三维立体动态图像。该实施过程中，对心脏各腔室的确定和划分，利于根据实时超声图像调整自适应心脏神经网络模型，以便形成针对用户心脏的实时三维立体动态图像。

作为一个或多个实施例，所述预调成像过程，包括：用户客户端的柔性穿戴式多阵元成像换能器获得初始超声信号后，通过模数转换后，经无线传输模块发送至云服务器，云服务器对接收的数据进行回波信号处理形成初始二维图像，在初始二维图像上接收医生客户端上传的对心腔、室壁和瓣膜区域的心脏关键结构点(瓣膜结构、心尖位置、心室壁)标识结果，将标识的心脏关键结构点图像输入自适应心脏神经网络模型，建立个体三维心脏模型；

根据个体三维心脏模型的网络坐标点，发送选通指令至用户客户端，对关键结构进行超声信号发射与采集，实现波束合成。

可选的实现方式包括但不局限于以下方式(以左心室成像为例)：

对比个体三维心脏模型与初始左心室长轴和心尖四腔心切面二维图像，在两个正交切面或多个相交切面上获得关键结构点距离超声阵元的初始距离，并转换为数字延迟；在给柔性穿戴式多阵元成像换能器的阵元施加脉冲信号的时候给每个阵元增加的一个数字延迟可以让柔性穿戴式多阵元成像换能器发射的声波在焦点处汇聚，同样的，在超声接收器增加一个延迟线可以将阵元接收到的回波信号同时回到信号处理单元，实现距离选通。

所述预调成像过程亦可采取另一种实施例：用户客户端柔性穿戴式多阵元成像换能器获得初始超声信号，通过模数转换后，再通过时间增益补偿调节、波束合成、滤波与解调后经无线传输模块发送至云服务器；云服务器对接收的数据进行回波信号处理形成初始二维图像，在初始二维图像上接收医生客户端上传的对心腔、室壁和瓣膜区域的心脏关键结构点标识结果，将标识的心脏关键结构点图像输入受试者的个体三维心脏模型，建立个体化精准心脏模型；

将个体三维心脏模型的网络坐标点，传输至用户客户端的超声控制器，实现对关键结构点进行超声信号发射与采集。

在预调成像过程中，对图像采取自动增益调节，具体步骤包括：

(1)线性地将初始图像强度范围转换为0-255；

(2)计算灰度直方图；

对图像进行γ变换，其中γ为常数，对于不同的γ值，有不同的曲线。c为正常数，一般取值不大于1，，r为输入灰度级、s为输出灰度级；

如果灰度直方图中出现频率最高的值大于128，则γ取1-25之间的随机值，否则取0-1之间的随机值。

所述实时成像过程，包括：用户客户端柔性穿戴式多阵元成像换能器根据受试者的个体三维心脏模型的关键坐标点，进行选通指令发放和采集超声信号，通过模数转换后，经无线收发模块发送至云服务器，云服务器对接收的数据进行回波信号处理形成实时二维图像，进行自动增益调节。

在所述心脏轮廓关键点初始位置为圆心的球体(优选半径为2厘米，根据平静呼吸时膈肌上下移动范围及躯体侧位时纵隔移动范围确定)空间范围内，按照预调成像过程所述方法获取回波信号，并传送至个体三维心脏模型，实时比对所述空间范围内回波信号与心脏关键结构点初始信号，利用但不限定于互相关算法以确定关键结构点实时坐标。

将受试者在佩戴本系统过程中，所述心脏轮廓关键点位置实际变化范围与变化轨迹输入受试者的个体三维心脏模型，实现个体三维心脏模型深度学习网络的增量学习和自适应学习，获得心脏轮廓关键点位置变化的预判，并根据该预判位置，利用在两个正交切面或多个相交切面上获得心脏轮廓关键点距离超声阵元的初始距离并转换为数字延迟的优选技术方案，预判性调整距离选通以实现动态波束合成。

该实施方式中，为了降低传输的数据量，只需传输心脏超声图像中的关键点信号。该关键点包括但不局限于室间隔、心尖、心腔、瓣叶、瓣环等心脏模型解剖结构关键点。

关键点的自动定位需要深度学习不同的心脏解剖结构特征，利用深度卷积网络模型在个体化心脏模型上提取心脏关键点。所有深度学习方法都适用于本实现方法，其中优选的实施方案为采用数据扩增方法(水平、垂直翻转，随机旋转，随机缩放)增加数据集，用基于注意力的CNN强化学习模型自动学习心脏关键点位置。将学习到的关键点坐标返回到移动端或实现距离选通，只选择关键点回波信号采集与传输。

心脏超声图像中关键点信号的获取需定位关键点位置，其与心脏的解剖形态有关，可利用超声数据重构的心脏三维模型进行定位计算。这包含两个关键技术，一是个体化心脏模型建立，二是关键点的自动定位。通过用户客户端获得的初始超声回波信号，经处理后得到包含有整体心脏的B-mode初始图像，对原始图像进行去噪、增强等一系列图像预处理技术，选择感兴趣区域完成心腔图像分割，参考正常人通用三维心脏模型可受试者的个体三维心脏模型。

为保证数据的传输处理速度，利用深度网络的特征提取技术和优选地人工智能芯片，计算心脏模型中的关键点特征，并对超声振元信号接收器进行开关调制，达到超声数据降采样传输要求，不仅满足人工智能芯片的处理速度，且由于去掉了原始数据中的大量的冗余数据，使得系统的数据传输量大大减少，从而降低了功耗，并可进行实时成像。

所述用户客户端为移动端，可为便携式、穿戴式等各种形式，所述便携式可为平板、掌上型等各种形式。换能器可为便携式、穿戴式换能器，换能器类型可为线阵、凸阵、面阵、相控阵等各种形式。所述的用户客户端中，根据换能器的类型，高压脉冲芯片为可选项。在所述的移动端中，根据移动端的体积和类型，其中波束合成器和时间增益补偿亦为可选模块，其功能由云服务器完成。

所述云服务器可为边缘式、分散式等架构，根据用户客户端与云服务器数据运算量的分布，可为云计算、雾计算、海计算等各种类型。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.基于深度学习的远程心脏超声三维成像系统，其特征是，包括：

用户客户端，用于控制超声发射器，向使用时穿戴在人体体表胸壁位置的柔性穿戴式多阵元成像换能器发射选通信号指令；同时，控制超声接收器接收选通信号指令对应的阵元反馈回来的超声信号；将反馈回来的超声信号上传给云服务器；

云服务器，用于对用户客户端上传的超声信号进行处理，利用预训练的个体三维心脏模型，对受试者的心脏超声二维图像进行处理，得到受试者实时的心脏轮廓关键点，基于实时的心脏轮廓关键点，得到受试者实时的心脏超声三维成像；

医生客户端，用于接收医生选取的受试者心脏轮廓关键点，将受试者心脏轮廓关键点通过云服务器发送给用户客户端，用于指导用户客户端发送选通信号指令。

2.如权利要求1所述的系统，其特征是，所述柔性穿戴式多阵元成像换能器，包括：

柔性基底，所述柔性基底上均匀分布若干个阵元，每个阵元内部均设有对应的阵元发射器和阵元接收器；

所述阵元接收器，用于将接收到的超声发射器发射的电信号，将电信号转换为超声信号，并将超市信号发射到患者心脏位置；

所述阵元发射器，用于将反馈的超声信号，转换为电信号，并将电信号发射给超声接收器。

3.基于深度学习的远程心脏超声三维成像方法，其特征是，包括：

预调成像过程：用户客户端获取使用时受试者佩戴柔性穿戴式多阵元成像换能器后，受试者的实时心脏超声二维图像，用户客户端将获取的受试者的实时心脏超声二维图像发送给云服务器，云服务器将受试者的实时心脏超声二维图像发送给医生客户端；

医生客户端从受试者的实时心脏超声二维图像中选取受试者心脏轮廓关键点；医生客户端将选取的受试者心脏轮廓关键点发送给云服务器；

云服务器将受试者的实时心脏超声二维图像作为自适应心脏神经网络模型的输入值；云服务器将人工选取的受试者心脏轮廓关键点作为自适应心脏神经网络模型的输出值，对自适应心脏神经网络模型进行训练，得到受试者的个体三维心脏模型；云服务器将受试者心脏轮廓关键点和受试者的个体三维心脏模型均发送给用户客户端；

实时成像过程：用户客户端接收受试者心脏轮廓关键点和受试者的个体三维心脏模型；

用户客户端根据受试者心脏轮廓关键点，向超声发射器发出选通指令，即选通指令控制超声发射器只向轮廓关键点对应的阵元发射超声信号，对于非轮廓关键点对应的阵元不发射超声信号；

用户客户端获取由选通指令对应的阵元所采集的受试者新的实时心脏超声二维图像，用户客户端将受试者新的实时心脏超声二维图像输入到受试者的个体三维心脏模型中，用户客户端输出受试者实时的心脏轮廓关键点的坐标位置；

基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像。

4.如权利要求3所述的方法，其特征是，所述自适应心脏神经网络模型的获取步骤包括：

获取正常人的心脏超声二维图像；对正常人的心脏超声二维图像进行预处理，预处理后得到心脏三维图像；将正常人的心脏超声二维图像作为神经网络的输入值，将心脏三维图像作为神经网络的输出值，对神经网络进行训练，得到自适应心脏神经网络模型。

5.如权利要求3所述的方法，其特征是，所述对正常人的超声二维图像进行预处理，包括：

对正常人的超声二维图像进行格式转化；

对格式转化的图像进行归一化处理；

对归一化处理后的图像进行图像滤波，滤除图像传输过程中的随机扰动、噪声和失真；

对图像滤波后的图像进行图像增强处理，增强组织边界；

对图像增强后的图像进行图像配准处理，将不同二维扫查切面下获得的图像，基于心脏解剖信息、图像灰阶和图像纹理特征进行图像配准；

并将各二维切面图像进行图像融合；

对融合后的图像进行断层图像的插值处理：在二维图像的不同层间加入虚拟切面层，得到心脏外轮廓三维图像。

6.如权利要求5所述的方法，其特征是，所述对正常人的超声二维图像进行预处理，还包括：

对插值处理后的若干幅超声二维图像进行分割，分割出心脏切面的腔室区域；所述心脏切面的腔室区域包括：左心室、左心房、右心室和右心房；

从心尖四腔心和心尖两腔心切面获取心腔轮廓，再以短轴切面为约束将二维超声图像配准到各心脏腔室区域；

将处理后的图像输入到预训练的心腔内轮廓分割神经网络中，输出分割后的心脏内轮廓图像；

将心脏外轮廓三维图像和心脏内轮廓图像整合，得到预处理后的心脏三维图像。

7.如权利要求6所述的方法，其特征是，所述预训练的心腔内轮廓分割神经网络，训练阶段的训练集为有医生标注的心腔内轮廓图像；训练过程中，神经网络的输入值为心腔内轮廓图像，神经网络的输出值为医生标注的坐标位置，训练结束后得到训练好的心腔内轮廓分割神经网络。

8.如权利要求1所述的方法，其特征是，所述基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像；具体步骤包括：

将实时心脏轮廓关键点坐标位置，输入到预训练的三维成像神经网络模型中，输出受试者实时的心脏超声三维成像。

9.如权利要求8所述的方法，其特征是，所述预训练的三维成像神经网络模型，训练步骤包括：

构建神经网络模型，构建训练集；所述训练集为已知关键点坐标位置的心脏超声三维图像；

训练阶段，将训练集的已知关键点坐标作为神经网络的输入值，将训练集的心脏超声三维图像作为神经网络的输出值；对神经网络进行训练，得到训练好的三维成像神经网络模型。

10.如权利要求1所述的方法，其特征是，所述方法还包括：

获取到受试者实时的心脏轮廓关键点的坐标位置后，对受试者实时的心脏轮廓关键点的坐标位置与设定的坐标范围进行比较，如果在设定的坐标范围内，则表示当前获取的受试者实时的心脏轮廓关键点的坐标位置是正确的，基于实时的心脏轮廓关键点坐标位置，得到受试者实时的心脏超声三维成像；

如果超出设定的坐标范围，则表示当前获取的受试者实时的心脏轮廓关键点的坐标位置是无效的坐标范围，返回预调成像过程，重新进行关键点坐标位置的选取。

Images