CN112233084B - 超声图像处理方法、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开一种超声图像处理方法、设备及计算机可读存储介质，其中，所述超声图像处理方法包括步骤：获取新生儿髋关节冠状位的待处理超声图像；将待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值；对目标关键点位置信息和目标测量值进行可视化处理，得到髋关节的目标图像。代替了目前基于预测的辅助线获得测量值的方法，对目标测量值的直接获取，减少了中间测量依赖项，不存在从超声图像中的特征信息到辅助线再到测量过程中的损失值传递和累积，使测量结果更加的准确，目标关键点位置信息与目标测量值的融合，可获得Graf法所需的辅助线，实现测量结果的可视化。

Description

超声图像处理方法、设备及计算机可读存储介质

技术领域

本发明涉及超声技术领域，尤其涉及一种超声图像处理方法、设备及计算机可读存储介质。

背景技术

超声因其无创、无射线损伤、可靠性高、便于动态观察等优点，可以减少或避免新生儿在诊治过程中接收到的射线暴露及损伤，同时新生儿脂肪较少，组织遮挡效果较轻，因而超声检查相对容易且成像清晰，因此超声检查快速广泛应用于新生儿各种疾病的诊断和鉴别。发育性髋关节脱位(DDH)是一种会导致儿童肢体残疾的重要疾病，国内外最常用的超声DDH评测方法为Graf法，由奥地利医学家Graf率先提出，在全世界得到了广泛采用。采集时，新生儿应处于侧卧体位，将探头平行躯体纵轴，沿股骨大粗隆进行前后平行移动，观察股骨头与髋臼的发育和匹配情况。冠状位切面的标准定义为：包含髂骨平直外缘、滑膜皱折、软骨性髋臼顶、髂骨下支、关节囊、股骨头、股骨头大转子、盂唇及软骨与骨的交接处，清晰显示平直的髂骨强回声、髂骨下支及其终末点，三角形强回声盂唇，低回声股骨头位于关节窝内，滑膜皱襞、关节囊、盂唇及软骨性髋臼包围着股骨头。Graf法需要测量两个角度：alpha角与beta角，alpha角位基线与骨顶线的夹角，beta角为基线与软骨顶线的夹角。其中，基线为平直的髂骨声影，骨顶线为髂骨下支终末点与骨性髋臼外侧缘的切线，软骨顶线为盂唇与骨性髋臼外侧缘的连线。股骨头覆盖率(FHC)表现了髋关节的发育情况：FHC＝D/d，其中，D为股骨头内外切线的间距，d为股骨头内侧缘切线和基线的间距。目前对于DDH超声图像的自动测量，主要是基于深度学习获得图像的组织结构信息，以此得到相应的辅助线来完成测量任务。但该方法依赖辅助线的获得，增加了测量步骤，因此基于辅助线获得角度的测量过程会累积大量损失值，不利于算法的稳定性与可靠性。

发明内容

本发明的主要目的在于提出一种超声图像处理方法、设备及计算机可读存储介质，旨在减少测量超声图像的步骤，提高测量结果的准确度。超声图像处理方法包括以下步骤：

获取新生儿髋关节冠状位的待处理超声图像；

将所述待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值；

对所述目标关键点位置信息和所述目标测量值进行可视化处理，得到髋关节的目标图像。

所述获取新生儿髋关节冠状位的待处理超声图像的步骤包括：

获取新生儿髋关节冠状位的超声切面图像；

对所述超声切面图像进行预处理，得到待处理超声图像，其中，所述预处理的方法包括归一化或频域滤波。

所述目标数学模型的训练步骤包括：

将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数；

将所述目标参数配置于所述预设数学模型中，得到目标数学模型。

所述获取样本训练集的步骤包括：

获取初始样本集，对所述初始样本集进行数据增强处理，得到样本训练集。

所述预设数学模型包括多任务数学模型，所述样本训练集包括第一样本训练集，所述将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数的步骤包括：

将所述第一样本训练集输入多任务数学模型中，通过所述多任务数学模型测量所述第一样本训练集中的第一样本超声图像，得到所述第一样本超声图像对应的第一样本点位置信息与第一样本测量值；

所述多任务数学模型根据所述第一样本点位置信息与所述第一样本训练集中的第一关键点位置信息之间损失值，以及所述第一样本测量值与所述第一样本训练集中的第一标注值之间的损失值，调整所述多任务模型中的预设参数，得到目标参数。

所述目标数学模型包括目标点定位模型和目标测量值预测模型，所述将所述待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值的步骤包括：

通过所述目标点定位模型生成与所述待处理超声图像对应的目标关键点位置信息；

通过所述目标测量值预测模型生成与所述待处理超声图像对应的目标测量值。

所述预设数学模型包括单任务点定位模型和单任务测量值预测模型，所述样本训练集包括第二样本训练集，所述目标参数包括第一子目标参数和第二子目标参数，

所述将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数的步骤包括：

将第二样本训练集中的第二样本超声图像分别输入所述单任务点定位模型和所述单任务测量值预测模型；

所述单任务点定位模型生成与所述第二样本超声图像对应的第二样本点位置信息，所述单任务测量值预测模型生成与所述第二样本超声图像对应的第二样本测量值；

所述单任务点定位模型根据所述第二样本点位置信息与所述第二样本训练集中的第二关键点位置信息之间的损失值，调整所述单任务点定位模型中的预设参数，得到所述第一子目标参数；

所述单任务测量值预测模型根据所述第二样本测量值与所述第二样本训练集中的第二标注值之间的损失值，调整所述单任务测量值预测模型中的预测参数，得到所述第二子目标参数。

所述对所述目标关键点位置信息和所述目标测量值进行可视化处理，得到髋关节的目标图像的步骤包括：

于所述待处理超声图像中标记与所述目标关键点位置信息对应的关键点；

基于所述关键点构建与所述目标测量值对应的几何辅助线，生成髋关节的目标图像。

此外，为实现上述目的，本发明还提供一种超声图像处理设备，所述超声图像处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声图像处理程序，所述超声图像处理程序被所述处理器执行时实现如上所述的超声图像处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有所述超声图像处理程序，所述超声图像处理程序被处理器执行时实现如上所述的超声图像处理方法的步骤。

附图说明

图1为实现本发明各个实施例一种设备的硬件结构示意图；

图2为本发明超声图像处理方法第一实施例的流程示意图；

图3为本发明髋关节超声图像的关键点示意图；

图4为本发明髋关节的目标图像。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种超声图像处理设备，参照图1，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。

需要说明的是，图1即可为超声图像处理设备的硬件运行环境的结构示意图。本发明实施例超声图像处理设备可以是PC(Personal Computer，个人电脑)，便携计算机，服务器等设备。

如图1所示，该超声图像处理设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，超声图像处理设备还可以包括RF(Radio Frequency，射频)电路，传感器、WiFi模块等等。

本领域技术人员可以理解，图1中示出的超声图像处理设备结构并不构成超声图像处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及超声图像处理程序。其中，操作系统是管理和控制超声图像处理设备硬件和软件资源的程序，支持超声图像处理程序以及其它软件或程序的运行。

图1所示的超声图像处理设备，可用于减少测量超声图像的步骤，提高测量结果的准确度，用户接口1003主要用于侦测或者输出各种信息，如输入检测指令和输出检测结果等；网络接口1004主要用于与后台服务器交互，进行通信；处理器1001可以用于调用存储器1005中存储的超声图像处理程序，并执行以下操作：

获取新生儿髋关节冠状位的待处理超声图像；

将所述待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值；

对所述目标关键点位置信息和所述目标测量值进行可视化处理，得到髋关节的目标图像。

本发明通过获取新生儿髋关节冠状位的待处理超声图像，将待处理超声图像输入目标数学模型中，得到目标关键点位置信息及目标测量值，并对目标关键点位置信息与目标测量值进行可视化处理，得到髋关节的目标图像，代替了目前基于预测的辅助线获得测量值的方法，对目标测量值的直接获取，减少了中间测量依赖项，不存在从超声图像中的特征信息到辅助线再到测量过程中的损失值传递和累积，使测量结果更加的准确，目标关键点位置信息与目标测量值的融合，可获得Graf法所需的辅助线，实现测量结果的可视化。

本发明移动终端具体实施方式与下述超声图像处理方法各实施例基本相同，在此不再赘述。

基于上述结构，提出本发明超声图像处理方法的各个实施例。

本发明提供一种超声图像处理方法。

参照图2，图2为本发明超声图像处理方法第一实施例的流程示意图。

在本实施例中，提供了超声图像处理方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中，超声图像处理方法包括：

步骤S10，获取新生儿髋关节冠状位的待处理超声图像；

本实施例提供的是自动检测获得新生儿髋关节发育不良的检测方法，重在获取与新生儿髋关节发育不良的相关参数值。首先获取新生儿髋关节冠状位的超声图像，即待处理超声图像，待处理超声图像为新生儿髋关节的冠状切面，应包含的具体数据有髂骨平直外缘、软骨性髋臼顶、髂骨下支、关节囊、股骨头、股骨头大转子、盂唇及软骨与骨的交接处，清晰显示呈水平状态的平直的髂骨强回声、髂骨下支及其终末点，三角形强回声盂唇，低回声股骨头位于关节窝内，滑膜皱襞、关节囊、盂唇及软骨性髋臼包围着股骨头，但不限于上述数据。

在一种实施方式中，步骤S10包括：

步骤a，获取新生儿髋关节冠状位的超声切面图像；

步骤b，对所述超声切面图像进行预处理，得到待处理超声图像，其中，所述预处理的方法包括归一化或频域滤波。

通过超声成像设备采集新生儿髋关节冠状位的超声切面图像，也可以获取存储在其他设备上的超声切面图像。由于超声成像设备的型号、探头等方面的差异，获取到的超声切面图像在质量上也会存在差异，为了提高超声切面图像的通用性，对获取到的超声切面图像进行预处理，使得任何超声成像设备获取到的超声切面图像均适用于本实施例提供的超声图像处理方法，精确检测新生儿髋关节是否发育不良，提高超声图像处理方法的鲁棒性和准确性。预处理的方法有归一化、频域滤波、零均值化、标准化、直方图均衡化等，在本实施例中预处理的方法包括但不限于上述方法。

步骤S20，将所述待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值；

目标数学模型是经过样本训练获得的，在样本数足够多的情况下，可以训练出适用于检测新生儿髋关节是否发育不良的模型。本实施例提供的目标数学模型用于计算髋关节冠状位的超声图像的关键点位置和相关测量值，即目标关键点位置信息和目标测量值。将待处理超声图像输入目标数学模型中，目标关键点包括髂骨翼外缘切线点、髂骨下支终末点、关节盂唇中心点及股骨头下端点,图3为髋关节的超声图像中目标关键点的位置示意图，图中1为髂骨翼外缘切线点、2为髂骨下支终末点、3为关节盂唇中心点、4为股骨头下端点。目标关键点位置信息为目标关键点在待处理超声图像中的坐标，髋关节目标测量值包括alpha角、beta角及股骨头覆盖率的测量值，alpha角为基线与骨顶线的夹角，beta角为基线与软骨顶线的夹角，股骨头覆盖率(FHC)表现了髋关节的发育情况：FHC＝D/d,其中，D为股骨头内外切线的间距，d为股骨头内侧缘切线和基线的间距。

步骤S30，对所述目标关键点位置信息和所述目标测量值进行可视化处理，得到髋关节的目标图像。

由于目标数学模型输出的是一串数值，为了让输出的结果可视化呈现，本实施例还提供一种对目标关键点位置信息与目标测量值进行可视化处理，需要说明的是，对目标关键点位置信息与目标测量值的可视化处理可以由目标数学模型完成。

在一种实施方式中，步骤S30包括：

步骤c，于所述待处理超声图像中标记与所述目标关键点位置信息对应的关键点；

步骤d，基于所述关键点构建与所述目标测量值对应的几何辅助线，生成髋关节的目标图像。

可视化处理的过程为在待处理超声图像中标记出目标关键点位置信息对应的目标关键点，参照图3，过目标关键点做目标测量值对应的几何辅助线，几何辅助线包括基线、骨顶线和软骨顶线，具体的，过目标关键点髂骨翼外缘切线点做一条水平直线，作为基线，过目标关键点髂骨下支终末点以alpha角度做一条直线，作为骨顶线，过目标关键点关节盂唇中心点以beta角度做一条直线，作为软骨顶线，骨顶线与软骨顶线分别于基线相交，获得alpha角与beta角的可视化。根据alpha角与beta角结合Graf法判断髋关节是否脱位，当髋关节为脱位状态时，股骨头覆盖率不予显示，当髋关节为非脱位状态时，过股骨头下端点做一条水平线为股骨头内侧缘切线，该切线与基线的距离为d，根据股骨头覆盖率和d计算得到D，在股骨头内侧缘切线上方距离为D的位置处做一条水平线，为股骨头外侧缘切线，最终得到髋关节的目标图像，参照图4。

本实施例通过获取新生儿髋关节冠状位的待处理超声图像，将待处理超声图像输入目标数学模型中，得到目标关键点位置信息及目标测量值，并对目标关键点位置信息与目标测量值进行可视化处理，得到髋关节的目标图像，代替了目前基于预测的辅助线获得测量值的方法，对目标测量值的直接获取，减少了中间测量依赖项，不存在从超声图像中的特征信息到辅助线再到测量过程中的损失值传递和累积，使测量结果更加的准确，目标关键点位置信息与目标测量值的融合，可获得Graf法所需的辅助线，实现测量结果的可视化。

本发明超声图像处理方法的第二实施例。超声图像处理方法的第二实施例与超声图像处理的第一实施例的区别在于，所述目标数学模型的训练步骤包括：

步骤e，将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数；

步骤f，将所述目标参数配置于所述预设数学模型中，得到目标数学模型。

本实施例提供一种目标数学模型的训练方法。首先组建样本训练集，样本训练集需含有较多的样本数，例如500、600等，将样本训练集输入预设数学模型中，预设数学模型通过计算样本训练集中的样本，逐步的调整预设数学模型中的预设参数，当计算结果接近样本训练集中的标准结果时，将最后调整得到的参数确定为目标参数，并将目标参数配置于预设数学模型中，得到目标数学模型。

关于样本训练集，在一种实施方式中，样本训练集通过对初始样本集进行数据增强处理获得，数据增强处理的方法包括旋转、镜像、缩放和添加噪声等。采用随机大小方向的旋转、平移和缩放，能够达到较好的模型训练效果，若同时在预设模型中加入相应的改进措施，避免待处理超声图像的对称结构对测量结果噪声的干扰。需要说明的是，所有与深度学习相关的数据增强方法皆可应用于此。

在一些实施方式中，所述预设数学模型包括多任务数学模型，本实例完成两项数据的计算，分别是目标关键点位置信息与目标测量值，多任务数学模型经过训练获得的目标数学模型可以完成两项数据的计算。用于训练多任务数学模型的样本训练集为第一样本训练集，步骤e包括：

步骤e11，将所述第一样本训练集输入多任务数学模型中，通过所述多任务数学模型测量所述第一样本训练集中的第一样本超声图像，得到所述第一样本超声图像对应的第一样本点位置信息与第一样本测量值；

步骤e12，所述多任务数学模型根据所述第一样本点位置信息与所述第一样本训练集中的第一关键点位置信息之间损失值，以及所述第一样本测量值与所述第一样本训练集中的第一标注值之间的损失值，调整所述多任务模型中的预设参数，得到目标参数。

第一样本训练集包括多组样本，每组样本包括第一样本超声图像、第一关键点位置信息和第一标注值，第一关键点位置信息为第一样本超声图像真实的关键点的位置坐标，第一标注值为第一样本超声图像真实的alpha角、beta角及股骨头覆盖率的测量值。多任务数学模型指的是同时执行不同任务的数学模型，神经网络回归模型为多任务数学模型，将第一样本训练集中的样本同时输入神经网络回归模型中，使得神经网络回归模型同时具备提取第一样本超声图像中的关键点特征和计算所需测量值两项任务的能力，即得到第一样本点位置信息和第一样本测量值。神经网络回归模型使用残差网络模块增加网络的深度，同时使用跳跃链接来防止过深的网络造成的梯度消失问题，在神经网络回归模型中加入多层次的损失函数，用不同的损失函数计算所述第一样本点位置信息与所述第一样本训练集中的第一关键点位置信息之间损失值与所述第一样本测量值与所述第一样本训练集中的第一标注值之间的损失值，防止不同任务之间的相互干扰。损失值表示的神经网络计算结果与真实结果(第一样本训练集中的第一关键点位置信息与第一标注值)的误差，当损失值较大时，继续训练神经网络回归模型，直至损失值减小到一定程度，并趋于收敛的状态，此时神经网络回归模型中的参数为最优的参数。将其视为目标参数。

本实施例还提供一种多任务数学模型，基于深度学习分割的多任务数学模型(以下简称分割模型)。该分割模型和单独计算测量值的测量值预测模型的算法结合，再加入若干卷积层或全连接层。对该多任务数学模型进行训练时，除了需要输入第一样本超声图像、第一关键点位置信息和第一标注值外，还需要输入第一样本超声图像种n个关键点的n幅与第一样本超声图像尺寸一致的二维点分布图，采用不同的损失函数，将两种损失函数获得梯度融合并进行反向传播，此时使用残差网络模块增加网络的深度，以及使用跳跃链接防止过深的网络造成的梯度消失问题。具体的训练过程与神经网络回归模型相同，在此不作赘述。

需要说明的是，上述的多任务数学模型仅是举例说明，本实施例的保护范围包括但不限于上述的多任务数学模型。

本发明超声图像处理方法的第三实施例。超声图像处理方法的第三实施例与超声图像处理方法的第一实施例、第二实施例的区别在于，所述目标数学模型包括目标点定位模型和目标测量值预测模型，所述步骤S20包括：

步骤g，通过所述目标点定位模型生成与所述待处理超声图像对应的目标关键点位置信息；

步骤h，通过所述目标测量值预测模型生成与所述待处理超声图像对应的目标测量值。

将待处理超声图像分别输入目标点定位模型和目标测量值预测模型，目标点定位模型生成待处理超声图像的目标关键点位置信息，目标测量值预测模型生成待处理超声图像的目标测量值。

本实施例提供的目标点定位模型和目标测量值预测模型，均由单任务数学模型训练得到，即预设数学模型为单任务数学模型，所以需要获取单任务数学模型的目标参数，步骤e还包括：

步骤e21，将第二样本训练集中的第二样本超声图像分别输入所述单任务点定位模型和所述单任务测量值预测模型；

步骤e22，所述单任务点定位模型生成与所述第二样本超声图像对应的第二样本点位置信息，所述单任务测量值预测模型生成与所述第二样本超声图像对应的第二样本测量值；

步骤e23，所述单任务点定位模型根据所述第二样本点位置信息与所述第二样本训练集中的第二关键点位置信息之间的损失值，调整所述单任务点定位模型中的预设参数，得到所述第一子目标参数；

步骤e24，所述单任务测量值预测模型根据所述第二样本测量值与所述第二样本训练集中的第二标注值之间的损失值，调整所述单任务测量值预测模型中的预测参数，得到所述第二子目标参数。

目标参数的获取步骤基本与实施例二相同。为了便于区分，将目标点定位模型中的目标参数称为第一子目标参数，将目标测量值预测模型中的目标参数称为第二子目标参数。

预设数学模型包括单任务点定位模型和单任务测量值预测模型，样本训练集包括第二样本训练集。单任务点定位模型可以是神经网络回归模型，同样的在神经网络回归模型使用残差网络模块增加网络的深度，使用跳跃链接防止过深的网络造成的梯度问题，同时加入多层次的损失函数，避免第二样本超声图像中对称结构对回归结果造成干扰。将第二样本训练集中第二样本超声图像和与第二样本超声图像对应的第二关键点位置信息输入神经网络回归模型，神经网络回归模型计算得到第二样本超声图像的第二样本点位置信息，通过损失函数计算所述第二样本点位置信息与所述第二样本训练集中的第二关键点位置信息之间损失值，当损失值较大时，继续训练神经网络回归模型，直至损失值减小到一定程度，并趋于收敛的状态，此时神经网络回归模型中的参数为最优的参数，将其视为第一子目标参数。第二样本训练集包括多组样本，每组样本包括第二样本超声图像、第二关键点位置信息，第二关键点位置信息为第二样本超声图像真实的关键点的位置坐标。

单任务点定位模型也可以是神经网络分割模型，神经网格分割模型包括但不限于UNet神经网络分割模型，与神经网络回归模型不同的是，向神经网络分割模型输入第二样本超声图像和第二关键点位置信息外，还要输入n个关键点的n副与第二样本超声图像尺寸一致的二维点分布图，基于二维点分布图作为分割模板来进行分割学习，学习分割第二样本超声图像，得到n幅样本关键点分布图，从n幅样本关键点分布图得到n个样本关键点的位置信息，与神经网络回归模型类似，在分割方法中同样可以添加多层次的损失函数，来避免超声数据中的对称结构对回归结果造成的干扰。

本实施例还提供一种基于强化学习的二维标准切面关键点定位算法，使用神经网络结合强化学习，获得强大的探索和学习能例，能够更好的适应二维的超声图像，在本实施例中，首先对超声图像进行区域提取，从一张完整的超声区域中获得一个更小的有效区域，小的输入图像可以使得神经网络回归模型学习到更密集的有效信息，将该有效区域输入到强化学习网络即可得到一个动作输出，该动作为一个数值，数值指示着下一个有效区域的选择，可以使有效区域上移、下移、左移或右移，使用该动作来操作获得整体超声图像的下一个有效区域，然后根据获得的有效区域得到下一个动作并对之前的动作返回一个奖励值，直到奖励最大化，使得有效区域的中心位于关键点上，从而使得强化学习网络获得自主探索超声图像并检测关键点的能力。其中，奖励代表着动作的合理性，可正可负。当奖励为负值时，代表着惩罚，表示该动作没有使得有效区域移向关键点，反之当奖励为正值时，表示该动作驱使有效区域移向关键点所在位置。上述强化学习探索方式不代表本专利全部强化学习方法，所有与强化学习有关的模型与训练方法皆可用于训练该分类器。

单任务测量值预测模型可以是二维神经网络回归模型，关于二维神经网络回归模型的设置与上述的属于单任务点定位模型的神经网络回归模型的设置相同，在此不再赘述。将第二样本训练集中第二样本超声图像和与第二样本超声图像对应的第二标注值输入神经网络回归模型，第二标注值为第二样本超声图像真实的alpha角、beta角及股骨头覆盖率的测量值，神经网络回归模型计算得到第二样本超声图像的第二样本测量值，通过损失函数计算第二样本测量值与第二标注值之间损失值，当损失值较大时，继续训练神经网络回归模型，直至损失值减小到一定程度，并趋于收敛的状态，此时神经网络回归模型中的参数为最优的参数，将其视为第二子目标参数。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有超声图像处理程序，所述超声图像处理程序被处理器执行时实现如上所述的超声图像处理方法的各个步骤。

需要说明的是，计算机可读存储介质可设置在超声图像处理设备中。

本发明计算机可读存储介质具体实施方式与上述超声图像处理方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种超声图像处理方法，其特征在于，所述超声图像处理方法包括以下步骤：

获取新生儿髋关节冠状位的待处理超声图像；

将所述待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值，所述目标测量值包括基线与骨顶线的夹角，基线与软骨顶线的夹角以及股骨头覆盖率；

融合所述目标关键点信息和所述目标测量值，以对所述目标关键点位置信息和所述目标测量值进行可视化处理，得到髋关节的目标图像;

所述目标数学模型的训练步骤包括：

将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数；

将所述目标参数配置于所述预设数学模型中，得到目标数学模型；

所述预设数学模型包括单任务点定位模型和单任务测量值预测模型，所述样本训练集包括第二样本训练集，所述目标参数包括第一子目标参数和第二子目标参数，

所述将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数的步骤包括：

将第二样本训练集中的第二样本超声图像分别输入所述单任务点定位模型和所述单任务测量值预测模型；

所述单任务点定位模型生成与所述第二样本超声图像对应的第二样本点位置信息，所述单任务测量值预测模型生成与所述第二样本超声图像对应的第二样本测量值。

2.如权利要求1所述的超声图像处理方法，其特征在于，所述获取新生儿髋关节冠状位的待处理超声图像的步骤包括：

获取新生儿髋关节冠状位的超声切面图像；

对所述超声切面图像进行预处理，得到待处理超声图像，其中，所述预处理的方法包括归一化或频域滤波。

3.如权利要求1所述的超声图像处理方法，其特征在于，获取样本训练集的步骤包括：

获取初始样本集，对所述初始样本集进行数据增强处理，得到样本训练集。

4.如权利要求3所述超声图像处理方法，其特征在于，所述预设数学模型包括多任务数学模型，所述样本训练集包括第一样本训练集，所述将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数的步骤包括：

将所述第一样本训练集输入多任务数学模型中，通过所述多任务数学模型测量所述第一样本训练集中的第一样本超声图像，得到所述第一样本超声图像对应的第一样本点位置信息与第一样本测量值；

所述多任务数学模型根据所述第一样本点位置信息与所述第一样本训练集中的第一关键点位置信息之间损失值，以及所述第一样本测量值与所述第一样本训练集中的第一标注值之间的损失值，调整所述多任务模型中的预设参数，得到目标参数。

5.如权利要求3所述的超声图像处理方法，其特征在于，所述目标数学模型包括目标点定位模型和目标测量值预测模型，所述将所述待处理超声图像输入目标数学模型，得到目标关键点位置信息及目标测量值的步骤包括：

通过所述目标点定位模型生成与所述待处理超声图像对应的目标关键点位置信息；

通过所述目标测量值预测模型生成与所述待处理超声图像对应的目标测量值。

6.如权利要求5所述的超声图像处理方法，其特征在于，所述将样本训练集输入预设数学模型中，所述预设数学模型根据样本训练集调整所述预设数学模型中的预设参数，得到目标参数的步骤包括：

所述单任务点定位模型根据所述第二样本点位置信息与所述第二样本训练集中的第二关键点位置信息之间的损失值，调整所述单任务点定位模型中的预设参数，得到所述第一子目标参数；

所述单任务测量值预测模型根据所述第二样本测量值与所述第二样本训练集中的第二标注值之间的损失值，调整所述单任务测量值预测模型中的预测参数，得到所述第二子目标参数。

7.如权利要求1-6任一项所述的超声图像处理方法，其特征在于，所述对所述目标关键点位置信息和所述目标测量值进行可视化处理，得到髋关节的目标图像的步骤包括：

于所述待处理超声图像中标记与所述目标关键点位置信息对应的关键点；

基于所述关键点构建与所述目标测量值对应的几何辅助线，生成髋关节的目标图像。

8.一种超声图像处理设备，其特征在于，所述超声图像处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的超声图像处理程序，所述超声图像处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的超声图像处理的步骤。

9.一种可读存储介质，其特征在于，所述可读存储介质为计算机可读存储介质，所述可读存储介质上存储有超声图像处理程序，所述超声图像处理程序被处理器执行时实现如权利要求1至7中任一项所述的超声图像处理方法的步骤。

Images