CN110652317B - 一种产前胎儿超声容积图像中标准切面的自动定位方法 - Google Patents

Abstract

本发明公开了一种产前胎儿超声容积图像中标准切面的自动定位方法，所述方法包括获取待处理的超声容积图像；将所述待处理的超声容积图像输入已训练的标准切面定位模型；通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集。本发明通过标准切面定位模型可以定位超声容积图像标准切面集，可以充分利用三维胎儿超声容积图像的特征信息，快速准确的确定超声容积图像的标准切面集，从而实现了超声容积图像的标准切面的自动定位。

Description

一种产前胎儿超声容积图像中标准切面的自动定位方法

技术领域

本发明涉及超声技术领域，特别涉及一种产前胎儿超声容积图像中标准切面的自动定位方法。

背景技术

超声技术因其安全快速等特性，广泛适用于各种无创检查中，尤其是无辐射的特点使其在产前检查中占据着举足轻重的地位。随着医疗卫生水平和人们卫生意识的提高，进行详细的产前检查已成为孕妇的一项必要工作。借助于先进的超声设备，医生们可以实时、准确的对胎儿进行相关生物学测量，在降低婴儿畸形率及死亡率等方面做出了极大的贡献。

在传统超声诊断中，医生根据二维超声图像和自己的知识和经验的结合来进行各种产前测量，如测量头围、腹围、股骨长以及进行体重预估等。但实际操作中，定位该二维标准切面需要依赖医生的扫描手法和胎儿的胎位，因而对医生的素质要求较高。

三维超声相比二维超声具有更大视野，容积范围内可容纳多个标准切面，为标准切面的快速、准确定位提供了新的机遇。然而，由于三维超声的尺寸庞大，切面搜索空间大，以往的手动和自动化标准切面定位均面临巨大挑战。目前超声容积图像内自动化定位标准切面的方法存在如下问题：

一、方法不具备普适性。以往方法依赖容积图像中的先验知识，因此一种方法往往只适用于胎儿特定的部位。由于胎儿的不同部位具备不同特征和特性，导致该类方法而无法泛化到其他部位的标准切面定位。

二、方法的稳定性和精度不足。以往方法依赖传统的手工设计的图像特征，无法有效应对复杂的临床图像，容易产生算法失效的情况。另外，以往的算法在切面定位精度上存在较大瓶颈，严重制约了其临床推广。

发明内容

鉴于现有技术的不足，本发明旨在提供一种产前胎儿超声容积图像中标准切面的自动定位方法。

为了实现上述目的，本发明所采用的技术方案如下：

一种产前胎儿超声容积图像中标准切面的自动定位方法，其包括：

获取待处理的超声容积图像；

将所述待处理的超声容积图像输入已训练的标准切面定位模型；

通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集，其中，所述标准切面集至少包括一个标准切面。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述标准切面定位模型包括切面定位模型，所述切面定位模型的训练过程具体包括：

预设第一网络模型根据第一训练样本集中第一超声容积图像，生成所述第一超声容积图像对应的生成标准切面集，其中，所述第一训练样本集包括多组训练样本，每组训练样本包括第一超声容积图像以及第一超声容积图像对应的标准切面集；

所述第一网络模型根据所述生成标准切面集和所述第一超声容积图像集对应的标准切面集，对所述第一网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述标准切面定位模型。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述预设第一网络模型根据第一训练样本集中第一超声容积图像，生成所述超声容积图像对应的生成标准切面集之前还包括：

对所述第一训练样本集进行数据增强处理，并将数据增强处理后的第一训练样本集作为第一序列样本集。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述标准切面定位模型包括点定位模型和切面定位模型；所述通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集具体包括：

将所述超声容积图像输入点定位模块，通过所述点定位模型确定所述超声容积图像对应的若干关键点；

根据所述若干关键点确定所述超声容积图像对应的图像区域，并在所述图像区域内选取若干切面图像；

将所述若干切面图像依次输入至所述切面定位模型，通过所述切面定位模型输出所述待处理的超声容积图像对应的标准切面集。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述切面定位模型的训练过程具体包括：

预设第二网络模型根据第二训练样本集中切面图像以及标准切面，生成所述切面图像为标准切面的概率；其中，所述第二训练样本集包括多张切面图像以及第二超声容积图像对应的标准切面；

所述第二网络模型根据所述概率，对所述第二网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述点定位模型。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述切面定位模型的训练过程具体包括：

获取第三超声容积图像的一个切面图像，并将所述切面图像输入至预设第三网络模型；

通过所述第三网络模型输出所述切面图像对应的输出动作，并根据所述输出动作确定所述第三超声容积图像对应的下一个切面图像；

根据所述下一个切面图像与标准图像确定所述输出动作的得分，并根据所述得分对所述第三网络模型的模型参数进行修正，继续执行将下一个切面图像输入第三网络模型的步骤，直至所述模型参数满足预设要求，以得到所述切面定位模型。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述获取待处理的超声容积图像之后还包括：

对所述待处理的超声容积图像进行预处理，并将预处理得到的超声容积图像作为待处理的超声容积图像。

所述产前胎儿超声容积图像中标准切面的自动定位方法，其中，所述通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集之后还包括：

对所述标准切面集中各标准切面进行后处理，并将后处理得到的标准切面集作为所述超声容积图像对应的标准切面集。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的产前胎儿超声容积图像中标准切面的自动定位方法中的步骤。

一种超声设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的产前胎儿超声容积图像中标准切面的自动定位方法中的步骤。

有益效果：与现有技术相比，本发明提供了一种一种产前胎儿超声容积图像中标准切面的自动定位方法，所述方法包括获取待处理的超声容积图像；将所述待处理的超声容积图像输入已训练的标准切面定位模型；通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集。本发明通过标准切面定位模型可以定位超声容积图像标准切面集，可以充分利用三维胎儿超声容积图像的特征信息，快速准确的确定超声容积图像的标准切面集，从而实现了超声容积图像的标准切面的自动定位。

附图说明

图1为本发明提供的产前胎儿超声容积图像中标准切面的自动定位方法的流程图。

图2为胎儿脑部关键点及超声容积图像示意图。

图3为胎儿股骨关键点及超声容积图像示意图。

图4为胎儿腹部关键点及超声容积图像示意图。

图5为胎儿颜面部关键点及超声容积图像示意图。

图6为丘脑水平横切面、侧脑室水平横切面和经小脑横切面在空间中关系示意图。

图7为丘脑水平横切面、侧脑室水平横切面和经小脑横切面在脑部正中矢状面中投影的位置关系示意图。

图8为腹围切面、胆囊切面和脐带入口切面在空间中关系示意图。

图9为腹围切面、胆囊切面和脐带入口切面在腹部正中矢状面中投影的位置关系示意图。

图10为本发明提供的超声设备的结构原理图。

具体实施方式

本发明提供一种一种产前胎儿超声容积图像中标准切面的自动定位方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

本实施提供了一种产前胎儿超声容积图像中标准切面的自动定位方法，如图1所示，所述方法包括：

S10、获取待处理的超声容积图像。

具体地，所述超声容积图像可以为胎儿产前超声容积图像，其中，所述超声容积图像可以通过三维超声探头获取到的胎儿产前超声容积图像，也可以是通过外部设备发送的胎儿产前超声容积图像等。所述超声容积图像可以为胎儿脑部超声容积图像、胎儿颜面部超声容积图像、胎儿腿部超声容积图像、胎儿手臂部超声容积图像、胎儿心脏超声容积图像以及胎儿全身超声容积图像等。在本实施例的一个实现方式中，所述超声容积图像为胎儿脑部超声容积图像。

进一步，在本实施例的一个实施例中，在获取到待处理的超声容积图像后，可以对所述超声容积图像进行预处理，以初步提取超声容积图像携带图像信息的特征。相应的，所述获取待处理的超声容积图像之后还包括：

S01、对所述待处理的超声容积图像进行预处理，并将预处理得到的超声容积图像作为待处理的超声容积图像。

具体地，所述预处理为对所述待处理的超声容积图像进行处理，以初步提取超声容积图像的图像信息的特征，其中，所述预处理可以包括零均值化、直方图均衡化、归一化以及频域滤波中的一种或者多种。本实施例通过对待处理的超声容积图像进行预处理，这样可以降低获取到的不同超声设备采集的超声容积图像的差异性，使得所述定位方法可以适配不同超声设备采集的超声容积图像，从而提高了所述超声定位方法的适用范围。

S20、将所述待处理的超声容积图像输入已训练的标准切面定位模型。

具体地，所述标准切面模型为预先训练的，用于根据超声容积图像定位所述超声容积图像对应的标准切面集，并且所述标准切面定位模型为预先通过训练得到。所述切面定位模型的输入项为超声容积图像，所述切面定位模型的输出项为标准切面集。所述标准切面定位模型用于根据输入的超声容积图像来生成该超声容积图像对应的标准切面集，即将待处理的超声容积图像输入至该标准切面定位模型，该标准切面定位模型可以输出该待处理的超声容积图像对应的标准切面。其中，所述标准切面为超声容积图像中包含关键信息的二维切面，二维切面为通过超声设备可以获得的特定平面，通过该二维切面可以观察到具有临床价值的生理解剖结构，例如，丘脑水平横切面、侧脑室水平横切面和经小脑横切面在空间位置可以如图6 所示。

进一步，在本实施例的一个实现方式中，所述标准切面定位模型包括面定位模块，所述将所述待处理的超声容积图像输入已训练的标准切面定位模型可以为将待处理的超声容积图像输入至已训练的切面定位模型。所述切面定位模型的训练过程可以包括：

A10、预设第一网络模型根据第一训练样本集中第一超声容积图像，生成所述第一超声容积图像对应的生成标准切面集。

A20、所述第一网络模型根据所述生成标准切面集和所述第一超声容积图像集对应的标准切面集，对所述第一网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述标准切面定位模型。

具体地，所述第一训练样本集包括多组训练样本，每组训练样本包括第一超声容积图像以及第一超声容积图像对应的标准切面集，其中，所述第一超声容积图像为超声容积图像，所述标准切面集为所述超声容积图像对应的所有标准切面形成的集合。所述标准切面集可以包括一张标准切面，也可以包括多张标准切面，所述标准切面集中标准切面的数量根据其对应的第一超声容积图像确定。例如，所述第一超声容积图像为胎儿股骨超声容积图像，所述标准切面集包括一张标准切面。当然，值得说明的，所述第一训练样本集中各组训练样本的第一超声容积图像为胎儿同一部位的超声容积图像，例如，每组训练样本中的第一超声容积图像均为胎儿脑部超声容积图像。

进一步，在本实施例的一个实现方式中，所述第一网络模型可以为神经网络回归模型，所述神经网络回归模型具有若干隐藏层，通过若干隐藏层可以提取超声容积图像中各标准切面的切面信息。其中，神经网络回归模型设置有残差网络模块，通过残差网络模型增加网络的深度，提高了切面定位模型的定位精度。此外，所述神经网络回归模型的内部使用跳跃链接，通过跳跃链接防止过深的网络造成的梯度消失问题。在本实施例的一个可能实现方式中，所述神经网络回归模型的输出项为标准切面的切面方程，即当将超声容积图像输入至神经网络回归模型后，神经网络回归模型输出超声容积图像对应的切面方程。由此，所述训练样本集中每组训练样本包括第一超声容积图像以及第一超声容积图像对应的标准切面的切面方程。

进一步，在采用第一训练样本集对第一网络模型进行训练之前，可以对第一训练样本集进行数据增强处理。相应的，所述预设第一网络模型根据第一训练样本集中第一超声容积图像，生成所述超声容积图像对应的生成标准切面集之前还包括：

对所述第一训练样本集进行数据增强处理，并将数据增强处理后的第一训练样本集作为第一序列样本集。

具体地，所述数据增强处理可以包括旋转、镜像、缩放和添加噪声中的一种或多种，通过对第一训练样本集进行数据增强处理，可以第一训练样本集进行扩充，提高模型的稳定性、降低模型的过拟合。在本实施例的一个可能实现方式中，所述数据增强处理包括采用了随机大小方向的旋转、平移和缩放，从而达到较好的模型训练效果。同时，对神经网络回归模型进行训练之前，采用随机大小方向的旋转、平移和缩放的方式对第一训练样本进行增强，可以避免超声容积图像中对称结构对结果噪声的干扰。当然，值得说明的是，上述数据增强的方法包括但不仅限于上述几种，所有与深度学习相关的数据增强方法皆可应用与此。

此外在实施例中，由于胎儿身体包括不同身体部位，并且各身体部位的标准切面不同。从而所述训练样本集可以包括多个训练子样本集，每个训练子样本集中的第一超声容积图像对应的胎儿身体部位相同，任意两个训练子样本集中的第一超声容积图像对应的胎儿身体部位不同。在基于训练样本集对第一网络模型进行训练时，可以分别采用各训练子样本集对所述第一网络模型进行训练，并将各训练子样本集训练得到的模型参数与该训练子样本集对应的胎儿身体部位相关联，这样在获取到超声容积图像时，可以识别超声容积图像携带的胎儿身体部位，之后根据识别到的胎儿身体部位确定模型参数，将确定的模型参数配置于第一网络模型，以得到用于识别该超声容积图像的切面定位模型，这样可以使得所述切面定位模型可以定位各胎儿身体部位的标准切面集，提高了切面定位模型的适用性。当然，值得说明的，所述各训练子样本集包含的训练样本组的数量可以相同，也可以不同。例如，各训练子样本集均包括5000组训练图像组。

进一步，每个训练子样本集对所述第一网络模型的训练过程为相互独立，即分别采用每个训练子样本集对所述第一网络模型进行训练。同时，分别采用各训练子样本集对所述第一网络模型进行训练可以得到若干模型参数，每个模型参数均为根据一个训练子样本集训练得到，并且任意两个模型参数各自对应的训练子样本集互不相同。由此可知，切面定位模型对应若干模型参数，若干模型参数与若干训练子样本集一一对应。

进一步，当训练图像集包括若干训练子样本集时，第一网络模型根据每个训练子样本集进行训练。这里以训练图像集包括5个训练子样本集为例加以说明。采用第一训练子样本集、第二训练子样本集、第三训练子样本集、第四训练子样本集以及第五训练子样本集分别对第一网络模型进行训练的过程可以为：首先采用第一训练子样本集对第一网络模型进行训练，得到第一训练子样本集对应的第一模型参数，之后再采用第二训练子样本集对第一网络模型进行训练，得到第二训练子样本集对应的第二模型参数，依次类推得到第五训练子样本集对应的第五模型参数。

进一步，在本实施例的一个实现方式中，所述标准切面定位模型可以包括点定位模型和切面定位模型，通过所述点定位模型对所述超声容积图像的坐标系进行配置，以为切面定位模型提供空间坐标。在本实施例中，所述点定位模型的训练过程可以为：

P10、预设第四网络模型根据第四训练样本集中第四超声容积图像，生成所述第四超声容积图像对应的若干生成热力图；

P20、所述第四网络模型根据所述生成热力图和所述第四超声容积图像集对应的若干热力图，对所述第四网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述点定位模型。

具体地，所述第四训练样本集包括多组训练样本，每组训练样本包括第四超声容积图像以及第四超声容积图像对应的若干热力图，每张热力图对应胎儿姿态的一个关键点，并且任意两张热力图对应的胎儿姿态的关键点不相同，其中，关键点为医学上众所周知的具有特殊结构的点。例如，胎儿姿态信息包括n个关键点，那么超声容积图像携带有n个标注，该超声容积图像对应n张热力图，每一张热力图对应一个关键点。其中，每个关键点对应的热力图的图像尺寸与超声容积图像的尺寸相同，是由以关键点位置为中心的多变量高斯分布生成。当然，值得说明的是：训练样本组中每组训练样本对应的关键点数量可以根据超声容积图像对应的胎儿部位有关。例如，如图2所示，以超声容积图像为胎儿脑部超声容积图像为例，胎儿脑部超声容积图像对应的关键点可以包含胼胝体压部、胼胝体膝部、小脑蚓部、枕外隆突、左右小脑半球和头骨左右端等。再者，所述训练样本对应的超声容积数据以及关键点可以如图3、图4或者图5所示。

同时在本实施例的中，所述第四网络模型包括但不仅限于UNet神经网络模型，可以学习通过分割原始超声容积图像，得到与之对应的n个三维关键点分布热力图，进而可以从这些n个分布热力图中得到对应的n个关键点坐标。这样在预测关键点分布热力图方法中同样可以添加多层次的损失函数，来避免超声数据中的对称结构对预测结果造成的干扰。此外，在采用第四训练样本集对第四网络模型进行深度学习之前，可以对第四训练样本集进行数据增强处理，其中，所述数据增强处理的过程与上述切面定位模型训练过程中的数据增强处理相同，这里就不再赘述。

进一步，在本实施例的一个实现方式中，所述点定位模型的训练过程可以为：

Q10、预设第五网络模型根据第五训练样本集中第五超声容积图像，生成所述第五超声容积图像对应的若干生成关键点的坐标信息；

Q20、所述第五网络模型根据所述若干生成关键点的坐标信息和所述第五超声容积图像集对应的若干关键点的坐标信息，对所述第五网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述点定位模型。

具体地，所述第五训练样本集包括多组训练样本，每组训练样本包括第五超声容积图像以及第五超声容积图像对应的关键点的坐标信息，例如，超声容积图像携带胎儿部位包括n个关键点，那么超声容积图像携带有n 个标注。例如，以超声容积图像为胎儿头部超声容积图像为例，每组训练样本中若干热力图可以包含胼胝体压部的坐标信息、胼胝体膝部的坐标信息、小脑蚓部的坐标信息、枕外隆突的坐标信息、左右小脑半球的坐标信息和头骨左右端的坐标信息等。

同时在本实施例的中，所述第五网络模型可以为神经网络回归模型，基于神经网络回归模型构建具有若干隐藏层的三维深度学习模型，再基于一定数量的训练样本对三维深度学习模型训练，即将超声容积图像和多个关键点的坐标输入到神经网络模型中，使得模型可以提取超声容积图像中的关键点特征，从而获得图像中的多个关键点坐标。在本实施例的一个可能实现方式中，第五网络模型使用了残差网络模块来增加网络的深度，内部使用跳跃链接来防止过深的网络造成的梯度消失问题。同时在回归网络中加入多层次的损失函数，来避免超声数据中的对称结构对回归结果造成的干扰。此外，在采用第四训练样本集对第四网络模型进行深度学习之前，可以对第四训练样本集进行数据增强处理，其中，所述数据增强处理的过程与上述切面定位模型训练过程中的数据增强处理相同，这里就不再赘述。

此外，在本实施例的一个可能实现方式中，由于胎儿身体包括不同身体部位，并且各身体部位的关键点不同。从而所述训练样本集可以包括多个训练子样本集，每个训练子样本集中的第一超声容积图像对应的胎儿身体部位相同，任意两个训练子样本集中的第一超声容积图像对应的胎儿身体部位不同。在基于训练样本集对第一网络模型进行训练时，可以分别采用各训练子样本集对所述第一网络模型进行训练，并将各训练子样本集训练得到的模型参数与该训练子样本集对应的胎儿身体部位相关联，这样在获取到超声容积图像时，可以识别超声容积图像携带的胎儿身体部位，之后根据识别到的胎儿身体部位确定模型参数，将确定的模型参数配置于第四网络模型/第五网络模型，以得到用于识别该超声容积图像的点定位模型，这样可以使得所述面点定位模型可以定位各胎儿身体部位的关键点信息，提高了切面定位模型的适用性。当然，指的说明的是，各训练子图像集对第四网络模型/第五网络模型的训练过程与对第一网络模型的训练过程相似，可以参照第一网络模型训练过程中的说明，这里就不一一赘述。

进一步，在本实施例的一个实现方式中，当所述标准切面定位模型包括点定位模型，并通过点定位模型确定超声容积图像的坐标系后，所述切面定位模型可以采用根据点定位模型基于的多张切面图像进行训练。相应的，所述切面定位模型的训练过程具体包括：

B10、预设第二网络模型根据第二训练样本集中切面图像以及标准切面，生成所述切面图像的概率为标准切面的概率；其中，所述第二训练样本集包括多张切面图像以及第二超声容积图像对应的标准切面；

B20、所述第二网络模型根据所述概率，对所述第二网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述点定位模型。

具体地，所述第二网络模型可以为分类神经网络，所述分类神经网络使用了残差网络模块来增加网络的深度，内部使用跳跃链接来防止过深的网络造成的梯度消失问题。所述多张切面图像可以通过将超声容积图像输入点定位模型，通过点定位模型确定超声容积图像对应的若干关键点的坐标信息，在根据若干关键点的坐标信息以及胎儿生理解剖结构，确定标准切面的预定范围，之后对预定范围内对超声容积图像进行切割提取，以得到一定数量的二维切面图像。这样是由于标准面在胎儿头部的相对位置基本相同，从而可以确定标准切面的在超声容积图像中假定位置，又由于胎儿个体存在差异，从而基于假定位置确定预定范围，提高标准切面定位的精度。例如，超声容积图像为胎儿脑部超声容积图像，首先根据点定位模型得到的头部对应的各关键点的坐标信息，根据所有关键点的坐标信息确定胎儿头部在超声容积图像中的姿态，根据胎儿头部在超声容积图像中的姿态确定标准切面的预定范围(例如，预定范围包括厚度范围和角度范围)。

当然，值得说明的，由于胎儿身体包括不同身体部位，从而第二训练样本集也可以包括多个训练子样本集，第二训练样本集中多个训练子样本集之间的关系以及基于多个训练子样本集对第二网络模型的训练过程，与上述第一训练样本集中的多个训练子样本集以及基于多个训练子样本集对第一网络模型的训练过程相似，可以参照第一网络模型训练过程中的说明，这里就不在赘述。

进一步，在本实施例的一个实现方式中，可以通过强化学习方式对所述切面定位模型的训练，这样使用深度神经网络结合强化学习，来获得强大的探索和学习能力，可以更好的适应未知的超声容积图像。相应的，所述切面定位模型的训练过程具体包括：

C10、获取第三超声容积图像的一个切面图像，并将所述切面图像输入至预设第三网络模型；

C20、通过所述第三网络模型输出所述切面图像对应的输出动作，并根据所述输出动作确定所述第三超声容积图像对应的下一个切面图像；

C30、根据所述下一个切面图像与标准图像确定所述输出动作的得分，并根据所述得分对所述第三网络模型的模型参数进行修正，继续执行将下一个切面图像输入第三网络模型的步骤，直至所述模型参数满足预设要求，以得到所述切面定位模型。

具体地，所述切面图像可以通过对第三超声容积图像进行切片得到的二维超声容积图像，其中，所述第三超声容积图像可以为通过三维超声探头采集的图像，也可以是经过点定位模型配准得到的超声容积图像区域。也就是说，所述切面定位模型可以单独使用，也可以与点定位模型结合使用。所述输出动作用于在第三超声容积图像中确定该切面图像的下一个切面图像，其中，所述输出动作可以包括第三超声容积图像中的沿三个轴的平移和/或绕三个轴的旋转，其中，三个轴的平移和/或绕三个轴的旋转中的正负表示方向。大小表示步进幅度。

进一步，在获取到输出动作后，可以根据该切面图像的切面信息以及所述输出动作确定下一个切面图像的位置信息，再根据该位置信息选取下一个切面图像，并将下一个切面图像与标准切面图像进行比较，以输出所述输出动作的得分，再根据所述输出动作的得分对第三网络模型进行修改，在将下一个切面作为修改后的第三网络模型的输入项，继续输出所述切面图像对应的输出动作，直至所述模型参数满足预设要求。当然，值得说明的是，上述强化学习探索方式不代表本专利全部强化学习方法，所有与强化学习有关的模型与训练方法皆可用于训练该切面定位模型。

进一步，在本实施例的一个实现方式中，为了确定强化学习的迭代次数，防止过多动作对结果产生的干扰，在强化学习的迭代次数执行完毕后，可以获取强化学习输出的各输出动作与其对应的切面图像相关联，并根据各输出动作生成动作序列，其中，所述动作序列中各输出动作按照输出动作输出的时间顺序排列；将所述动作序列输出至预设循环神经网络(RNN) 中，通过所述循环神经网络(RNN)确定所述动作序列对应的最优输出动作，其中，所述最优输出动作对应的切面图像与第三超声容积图像的标准切面的角度距离小于或等于动作序列中任一输出动作对应的切面图像与第三超声容积图像的标准切面的角度距离，这样可以大幅度提高强化学习在标准切面上定位的准确度。当然，值得说明的，所述预设循环神经网络(RNN) 为预先训练的用于确定所述动作序列对应的最优输出动作的循环神经网络，其中，所述预设训练神经网络可以是基于强化学习形成的动作训练以及设置最优输出动作训练得到的，其训练过程可以采用现有的训练过程，这里就不在赘述。

进一步，由于一个超声容积图像可以存在多个标准切面，从而当一个超声容积图像可以存在多个标准切面时，所述第三网络模型采用多网络共享参数的方式(例如，使用共享卷积层的方法来实现多个切面之间的参数共享)来获得多个平面的相关性，即将多个切面图像输入至第三网络模型，通过第三网络模型输出各切面图像对应的输出动作，再根据各切面图对应的输出动作确定各切面图像对应的下一个切面图像，之后根据各切面图像的下一个切面图像与其对应的标准切面确定其对应的输出动作的得分，再根据各输出动作的得分对第三网络模型的模型参数进行修正，从而实现多个标准切面较高精度定位。

S30、通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集，其中，所述标准切面集至少包括一个标准切面。

具体地，所述标准切面集可以包括一个标准切面，也可以包括多个标准切面，所述标准切面集包含的标准切面的数量根据待处理的超声容积图像确定。例如，待处理的超声容积图像为胎儿颅脑超声容积图像，所述标准切面集包括可以包括3个标准切面，如图6和7所示，分别为丘脑水平横切面1、侧脑室水平横切面2和经小脑横切面3。再如，待处理的超声容积图像为胎儿腹部超声容积图像，述标准切面集包括可以包括3个标准切面，如图8和9所示，分别为腹围切面4、胆囊切面5和脐带入口切面6。

进一步，在本实施例的一个实现方式中，当所述标准切面定位模型包括点定位模型和切面定位模型时，所述通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集具体包括：

S31、将所述超声容积图像输入点定位模块，通过所述点定位模型确定所述超声容积图像对应的若干关键点；

S32、根据所述若干关键点确定所述超声容积图像对应的图像区域，并在所述图像区域内选取若干切面图像；

S33、将所述若干切面图像依次输入至所述切面定位模型，通过所述切面定位模型输出所述待处理的超声容积图像对应的标准切面集。

具体地，所述点定位模块用于定位超声容积图像对应的关键点的坐标信息，所述图像区域为超声容积图像的子图像，并且该子图像携带标准切面。所述若干切面图像为二维图像，若干二维图像是通过对三维图像区域进行切割提取得到。在本实施例的中，根据所述若干关键点确定所述超声容积图像对应的图像区域可以为：在通过点定位模型确定若干关键点的坐标信息后，根据获取到各关键点的坐标信息可以确定超声容积图像对应的坐标系根据坐标系可以确定标准切面所处的解剖位置，之后以该解剖位置周围选取预先厚度和角度的图像区域，这样一方面是由于各胎儿身体部位的标准切面在其对应的胎儿身体部位的超声容积图像中的位置基本相同，从而可以确定标准切面所处的解剖位置，另一方有可以因胎儿个体差异造成的标准切面所处的解剖位置差异的问题。

进一步，在本实施例的一个实现方式中，为了提高标准切面集中各标准切面的精度，在获取到标准切面集后，还可以包括一个后处理过程。相应的，所述通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集之后还包括：

对所述标准切面集中各标准切面进行后处理，并将后处理得到的标准切面集作为所述超声容积图像对应的标准切面集。

具体地，所述后处理可以包括角度和位置的调整，所述角度和位置的调整可以基于超声容积图像对应的生理解剖信息来确定调整角度和调整位置，以便于根据所述调整角度和调整位置对标准切面集中的标准切面进行调整。这样减少标准平切面定位模型识别标准切面的噪声和干扰信息，提高标准切面的精度。例如，所述标准切面集包括丘脑水平横切面、侧脑室水平横切面和经小脑横切面，所述丘脑水平横切面、侧脑室水平横切面和经小脑横切面的空间结构可以如图6和7所示，其中，1为丘脑水平横切面， 2为侧脑室水平横切面，3为经小脑横切面。

基于上述产前胎儿超声容积图像中标准切面的自动定位方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的产前胎儿超声容积图像中标准切面的自动定位方法中的步骤。

基于上述产前胎儿超声容积图像中标准切面的自动定位方法，本发明还提供了一种超声设备，如图8所示，其包括至少一个处理器(processor) 20；显示屏21；以及存储器(memory)22，还可以包括通信接口 (Communications Interface)23和总线24。其中，处理器20、显示屏 21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏 21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据超声设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及超声设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，其包括：

获取待处理的超声容积图像；

将所述待处理的超声容积图像输入已训练的标准切面定位模型；

通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集，其中，所述标准切面集至少包括一个标准切面；

所述标准切面定位模型包括点定位模型和切面定位模型；所述通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集具体包括：

将所述超声容积图像输入点定位模型，通过所述点定位模型确定所述超声容积图像对应的若干关键点；

根据所述若干关键点确定所述超声容积图像对应的图像区域，并在所述图像区域内选取若干切面图像；

将所述若干切面图像依次输入至所述切面定位模型，通过所述切面定位模型输出所述待处理的超声容积图像对应的标准切面集。

2.根据权利要求1所述产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，所述标准切面定位模型包括切面定位模型，所述切面定位模型的训练过程具体包括：

预设第一网络模型根据第一训练样本集中第一超声容积图像，生成所述第一超声容积图像对应的生成标准切面集，其中，所述第一训练样本集包括多组训练样本，每组训练样本包括第一超声容积图像以及第一超声容积图像对应的标准切面集；

所述第一网络模型根据所述生成标准切面集和所述第一超声容积图像集对应的标准切面集，对所述第一网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述标准切面定位模型。

3.根据权利要求2所述产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，所述预设第一网络模型根据第一训练样本集中第一超声容积图像，生成所述超声容积图像对应的生成标准切面集之前还包括：

对所述第一训练样本集进行数据增强处理，并将数据增强处理后的第一训练样本集作为第一序列样本集。

4.根据权利要求1所述产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，所述切面定位模型的训练过程具体包括：

预设第二网络模型根据第二训练样本集中切面图像以及标准切面，生成所述切面图像的概率为标准切面的概率；其中，所述第二训练样本集包括多张切面图像以及第二超声容积图像对应的标准切面；

所述第二网络模型根据所述概率，对所述第二网络模型的模型参数进行修正，直至所述模型参数满足预设要求，以得到所述切面定位模型。

5.根据权利要求2所述产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，所述切面定位模型的训练过程具体包括：

获取第三超声容积图像的一个切面图像，并将所述切面图像输入至预设第三网络模型；

通过所述第三网络模型输出所述切面图像对应的输出动作，并根据所述输出动作确定所述第三超声容积图像对应的下一个切面图像；

根据所述下一个切面图像与标准图像确定所述输出动作的得分，并根据所述得分对所述第三网络模型的模型参数进行修正，继续执行将下一个切面图像输入第三网络模型的步骤，直至所述模型参数满足预设要求，以得到所述切面定位模型。

6.根据权利要求1所述产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，所述获取待处理的超声容积图像之后还包括：

对所述待处理的超声容积图像进行预处理，并将预处理得到的超声容积图像作为待处理的超声容积图像。

7.根据权利要求1所述产前胎儿超声容积图像中标准切面的自动定位方法，其特征在于，所述通过所述标准切面定位模型输出所述待处理的超声容积图像对应的标准切面集之后还包括：

对所述标准切面集中各标准切面进行后处理，并将后处理得到的标准切面集作为所述超声容积图像对应的标准切面集。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～7任意一项所述的产前胎儿超声容积图像中标准切面的自动定位方法中的步骤。

9.一种超声设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项所述的产前胎儿超声容积图像中标准切面的自动定位方法中的步骤。

Images