CN111612713B - 一种三维超声图像的去遮挡方法 - Google Patents

Abstract

本发明公开了一种三维超声图像的去遮挡方法，所述方法在获取到三维超声图像后，获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域；基于所述关键特征集或所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域，利用此方法可以大大降低医生采集数据时对胎儿姿态的要求，进一步提高了目标部位图像信息的获取速度，减少医生获取目标部位的图像信息的工作量，同时可以提高基于三维超声图像得到的三维渲染图像的图像效果。

Description

一种三维超声图像的去遮挡方法

技术领域

本发明涉及超声技术领域，特别涉及一种三维超声图像的去遮挡方法。

背景技术

随着超声技术的不断发展，通过超声图像可以确定胎儿的姿态以及样貌。然而，胎儿在孕妇肚中时会存在各种各样的姿态，并且胎儿姿态和样貌也会被各种各样的物体(例如，胎儿自身的手臂，胎盘或者脐带等)遮挡，这使得医生不能直接获取有关胎儿特定部位(例如，颜面部等)的清晰图像信息。这时医生为了获取有关胎儿的特定部位的清晰图像信息，需要重复对孕妇进行超声采集，以在该特定部位处于未被遮挡状态时获取超声图像，这样一方面增加了医生的工作量，另一方面也需要孕妇长时间进行超声检查，对孕妇产生影响。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种三维超声图像的去遮挡方法。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种三维超声图像的去遮挡方法，所述方法包括：

获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域；

基于所述关键特征集或所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域。

所述三维超声图像的去遮挡方法，其中，所述获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域具体包括：

获取待处理三维超声图像中目标部位对应的关键特征集；

根据所述关键特征集确定所述目标部位对应的目标部位区域。

所述三维超声图像的去遮挡方法，其中，所述获取待处理三维超声图像中目标部位对应的关键特征集具体包括：

将待处理三维超声图像输入经过训练的深度学习网络模型，通过所述深度学习网络模型输出所述目标部位对应的候选关键特征集；

基于所述候选关键特征集确定所述目标部位对应的关键特征集。

所述三维超声图像的去遮挡方法，其中，所述候选关键特征集包括若干关键特征组，若干关键特征组中的每组关键特征组均对应所述目标部位的一个关键特征，且各关键特征组对应的关键特征互不相同；每组关键特征组均包括至少一个关键特征位置以及各关键特征位置对应的位置评分。

所述三维超声图像的去遮挡方法，其中，所述基于所述候选关键特征集确定所述目标部位对应的关键特征集具体包括：

对于所述候选关键特征集中的每组关键特征组，选取该关键特征组中各位置评分最高的关键特征作为目标关键特征；

将选取到所有目标关键特征构成的关键特征集作为该目标部位对应的关键特征集。

所述三维超声图像的去遮挡方法，其中，所述基于所述候选关键特征集确定所述目标部位对应的关键特征集具体包括：

对于所述候选关键特征集中的每组关键特征组，任意选取该关键特征组中的一个候选关键特征；

将各组关键特征组选取得到的候选关键特征进行组合，以得到若干参考关键特征集；

确定各参考关键特征集与预设正态分布图谱的匹配程度，其中，预设正态分布图谱为所述关键特征集中的若干关键特征根据目标部位解剖结构形成的；

根据匹配程度在各参考关键特征集中选取目标关键特征集，并将选取到目标关键特征集作为所述目标部位对应的关键特征集。

所述三维超声图像的去遮挡方法，其中，所述基于所述关键特征集确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

根据所述关键特征集确定所述目标部位的姿态信息，并获取用户的视角信息；

基于所述视角信息以及所述姿态信息，在待处理三维超声图像中确定遮挡区域，并去除所述遮挡区域，其中，所述遮挡区域为沿所述位姿信息中的方向信息位于所述空间位置前的图像区域或处于视角信息与目标部位之间的图像区域。

所述三维超声图像的去遮挡方法，其中，所述根据所述关键特征集确定所述目标部位的姿态信息，并获取用户的视角信息之后，所述方法包括：

接收输入的调整操作，基于所述调整操作对所述待处理三维超声图像进行调整，以得到调整后的待处理三维超声图像，其中，所述调整操作至少包括旋转所述三维超声图像；

将调整后的待处理三维超声图像作为待处理超声图像。

所述三维超声图像的去遮挡方法，其中，所述基于所述关键特征集，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

获取所述目标部位对应的候选掩膜模型，并根据关键特征集对所述候选掩膜模型进行调整；

将调整后的候选掩膜模型嵌入所述待处理三维超声图像中，其中，调整后的候选掩膜模型位于所述目标部位的外围，所述姿态信息为根据关键特征集确定的；

将位于调整后的候选掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。

所述三维超声图像的去遮挡方法，其中，所述基于所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

根据所述目标部位区域确定所述目标部位对应的目标掩膜模型；

将调整后的候选掩膜模型嵌入所述待处理三维超声图像中，其中，各关键特征按姿态信息位于对照关键特征外侧，所述对照关键特征为目标掩膜模型中各关键特征各自对应的关键特征，所述姿态信息为根据关键特征集确定的；

将位于目标掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。

一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的三维超声图像的去遮挡方法中的步骤。

一种超声设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述通信总线实现处理器和存储器之间的连接通信；

所述处理器执行所述计算机可读程序时实现如上任一所述的三维超声图像的去遮挡方法中的步骤。

有益效果：与现有技术相比，本发明提供了一种三维超声图像的去遮挡方法，所述方法在获取到三维超声图像后，获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域；基于所述关键特征集或所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域，利用此方法可以大大降低医生采集数据时对胎儿姿态的要求，进一步提高了目标部位图像信息的获取速度，减少医生获取目标部位的图像信息的工作量，同时可以提高基于三维超声图像得到的三维渲染图像的图像效果。

附图说明

图1为本发明提供的三维超声图像的去遮挡方法的流程图。

图2为本发明提供的三维超声图像的去遮挡方法中深度网络模型的结构示意图。

图3为本发明提供的三维超声图像的去遮挡方法中目标部位为颜面部时去遮挡后三维超声图像对应的二维投影图像的一个示意图。

图4为本发明提供的三维超声图像的去遮挡方法中目标部位为颜面部时去遮挡后三维超声图像对应的二维投影图像的另一个示意图。

图5为本发明提供的超声设备的结构原理图。

具体实施方式

本发明提供一种三维超声图像的去遮挡方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本实施例提供了一种三维超声图像的去遮挡方法，该方法可以应用于电子设备，所述电子设备可以以各种形式来实现。例如，PC机、超声设备、平板电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)等。另外，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。

本实施提供了一种三维超声图像的去遮挡方法，如图1所示，所述方法可以包括以下步骤：

S10、获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域。

具体地，所述三维超声图像可以是超声图像采集设备采集的三维超声图像；也可以是外部设备发送的三维超声图像。在本实施例的一个实现方式中，所述三维超声图像可以为通过使用3D/4D超声探头采集的胎儿三维超声图像。所述三维超声图像可以包括一个胎儿的身体部位，也可以包括多个胎儿的身体部分，其中，所述身体部位可以为颜面部、腿部或者手臂等。此外，当三维超声图像包括一个胎儿身体部位时，将该胎儿身体部位作为目标部位；当三维超声图像包括多个胎儿身体部位时，可以根据接收到的选择指令在多个胎儿身体部位中确定目标部位；也可以根据各胎儿身体部位的完整性来确定目标部位(例如，目标部位为完整性最高的身体部位)，并且当完整性相同时，可以随机选取一个作为目标身体部位。当然，在实际应用中，也可以将多个胎儿身体部位均作为目标部位，并按照本实施例的方法依次基于各目标部位进行去遮挡处理，以得到各目标部位对应的去遮挡后的超声图像。在本实施例中，以对三维超声图像中的一个目标部位进行去遮挡为例进行说明。

进一步，所述目标部位区域为将目标部位完全包裹的三维超声图像区域。所述目标部位区域可以利用深度学习中分割网络确定得到的(获取目标部位区域的分割结果，利用分割结果先产生目标部位的包围盒或者包围球，再确定目标部位区域)；也可以是基于图像分割方法对待处理三维超声图像进行图像分割，以得到目标部位对应的目标部位区域；还可以是基于所述目标部位对应的关键特征集确定得到的。

在本实施例的一个实现方式中，所述目标部位区域基于所述关键特征集确定得到的，相应的，所述获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域具体包括：

S21、获取待处理三维超声图像中目标部位对应的关键特征集；

S22、根据所述关键特征集确定所述目标部位对应的目标部位区域。

具体地，在所述步骤S11中，所述关键特征集包括若干关键特征，所述若干关键特征为目标部位对应的关键特征，例如，目标部位为颜面部，若干关键特征可以分别为左右眼、眉心、鼻尖以及下巴等；目标部位为腿部时，若干关键特征可以为大腿骨，脚踝以及膝关节等。其中，所述关键特征可以是基于传统机器学习模型(例如，随机森林、adaboost等)获取到，也可以是基于深度学习网络模型获取得到。

在本实施例的一个实现实例，所述关键特征集基于深度网络学习模块获取得到，相应的，所述获取待处理三维超声图像中目标部位对应的关键特征集具体包括：

S11、将待处理三维超声图像输入经过训练的深度学习网络模型，通过所述深度学习网络模型输出所述目标部位对应的候选关键特征集；

S12、基于所述候选关键特征集确定所述目标部位对应的关键特征集。

具体地，所述深度网络模型用于定位三维超声图像中目标部位对应得关键特征，以得到目标部位对应的关键特征集。所述深度网络模型为基于预先的训练样本集训练得到的，所预先的训练样本集包括若干训练样本组，每组训练样本集包括训练三维超声图像以及其对应的真实关键特征集，其中，真实关键特征集包括若干真实关键特征以及各关键特征各自对应的位置和类别。所述深度网络模型的输入为三维超声图像，输出项为候选关键特征集，其中，候选关键特征集包括若干关键特征组，若干关键特征组中的每组关键特征组均对应所述目标部位的一个关键特征，且各关键特征组对应的关键特征互不相同，也就是说，每组关键特征组均包括关键特征的位置信息以及类别信息；并且若干关键特征组中的每组关键特征组对应的类别信息不同。例如，目标部位为颜面部，颜面部对应的关键特征包括左眼、右眼、眉心、鼻尖以及下巴等，那么候选关键特征集包括五个关键特征组，五个关键特征组分别与左眼、右眼、眉心、鼻尖以及下巴一一对应。

进一步，每组关键特征组均包括至少一个关键特征位置以及关键特征位置对应的位置评分。可以理解的是，每组关键特征组中至少包括一个数据对，该数据对内存储有关键特征位置以及该关键特征位置对应的位置评分。例如，关键特征组对应眉心特征，关键特征组内包括关键特征A的关键特征位置Ap，及关键特征位置Ap对应的位置评分As，关键特征B的关键特征位置Bp，及关键特征位置Bp对应的位置评分Bs，那么关键特征位置Ap和位置评分As为一个数据对A，关键特征位置Bp和位置评分Bs为一个数据对B，其中，数据对A和数据对B均为眉心特征的特征信息，即数据对A和数据对B均表示眉心特征在三维超声图像中的可能存在位置，以及在可能存在位置的可能分数。

在本实施例的一个实现方式中，所述深度学习网络可以为用于目标检测的卷积神经网络。例如，如图2所示的，基于VGG-16的3D-RPN网络结构，借鉴Resnet的思想，在网络中加入残差模块，有利于解决深层次网络的梯度问题。根据数据本身的特性，我们预设多个合理的基准锚点尺寸(根据采集到图像尺寸大小，设置的基准锚点需要能够完全覆盖到关键特征区域)，由于这些锚点框和待检测的目标尺寸相差不大，因此可以获得更好的检测结果。当然，在实际应用中，所述检测网络模型还可以是其他目标检测网络，如RCNN、Faster-RCNN、SSD、YOLO等；其还可以采用分割网络或者热图回归关键点方案进行关键特征的检测。

进一步，由于对于目标部位的每个关键特征，所述网络模型均可以输出多组位置信息，从而在获取到候选关键特征集后，需要根据候选关键特征集确定一组关键特征，将该组关键特征作为目标部位对应的关键特征集。基于此，在本实施的一个实现方式中，所述基于所述候选关键特征集确定所述目标部位对应的关键特征集具体包括：

A10、对于所述候选关键特征集中的每组关键特征组，选取该关键特征组中各位置评分最高的关键特征作为目标关键特征；

A20、将选取到所有目标关键特征构成的关键特征集作为该目标部位对应的关键特征集。

具体地，在获取到候选关键特征集后，对于候选关键特征集中的每组关键特征组，读取该组关键特征组中各关键特征位置对应的位置评分，并将读取到的各位置评分进行比较，以得到最大位置评分。将最大位置评分对应的关键特征位置作为目标关键特征，以及得到目标部位对应的关键特征集。当然，在实际应用中，对于每组关键特征组，当该关键特征组内最大评分对应的关键特征位置为多个时，可以在多个关键特征位置随机选取一个作为目标关键特征。

进一步，由于胎儿的各身体部位的关键特征之间具有相对位置关系，在获取到关键特征集之后，关键特征集中的每个关键特征可能为该关键特征对应的最优位置信息，但是该最优位置信息与其他关键特征之间的相对位置关系可能发生偏差。从而，在得到关键特征集之后，可以判断各关键特征集与该目标部位对应的正态分布之间的匹配程度，其中，正态分布由目标部位区域中的解剖结构知识得到，该解剖结构知识为若干关键特征之间的距离所构成；若该匹配程度未满足预设要求，则需要使用正态分布对所述关键特征集进行调整，例如，对于关键特征组A中的关键特征A1,关键特征A1所对应的位置信息A1p为关键特征组A中位置评分最高的关键特征位置；而该得分最高所对应的关键特征位置关系与其他关键特征所构成的正态分布关系与临床先验知识得到的预设正态分布偏差较大，那么可以在关键特征组A中选取得分次高的关键特征A2作为目标特征，再次计算与其他关键特征所构成的正态分布关系，理论上，对于任意关键特征都可以遍历所有候选关键特征，实际使用中，可以选取关键特征对应得分最高的2-3个作为候选关键特征，以此计算每个关键特征组中所有候选关键特征与其他关键特征所构成的正态分布关系，选取其中与根据临床先验得到的预设正态分布偏差最小的作为最终关键特征集。

进一步，在本实施例的一个实现方式中，在获取到候选关键特征集后，可以直接根据目标部位对应的正态分布关系确定目标部位对应的关键特征集。相应的，所述基于所述候选关键特征集确定所述目标部位对应的关键特征集具体包括：

对于所述候选关键特征集中的每组关键特征组，任意选取该关键特征组中的一个候选关键特征；

将各组关键特征组选取得到的候选关键特征进行组合，以得到若干参考关键特征集；

确定各参考关键特征集与预设正态分布图谱的匹配程度，其中，预设正态分布图谱为所述关键特征集中的若干关键特征根据目标部位解剖结构形成的；

根据匹配程度在各参考关键特征集中选取目标关键特征集，并将选取到目标关键特征集作为所述目标部位对应的关键特征集。

具体地，所述正态规则可以是根据经验或者实验确定目标部位对应的各关键特征之间的对应关系。例如，对于颜面部，颜面部中的左眼、鼻尖以及右眼之间的正态规则可以为：左眼到鼻尖的距离d1与左眼到下巴的距离d2之比应处于区间[0.9,1.2]之内；左眼到鼻尖的距离d1，右眼到鼻尖的距离d3所构成的(d1-d3)/(d1+d3)也满足于正态分布关系等。当然值得说明的，目标部位对应的正态分布关系为根据临床先验知识预先设定，本实施例仅需要在训练数据库获取目标部位对应的正态分布关系即可。

进一步，在确定候选关键特征集后，对于每个候选关键特征集中的每组关键特征组，在每组关键特征组选取一个关键特征进行组合，以得到若干参考关键特征集，其中，所述参考关键特征集包括各关键特征组之间可以形成的所有关键特征组合。例如，目标特征包括关键特征A和关键特征B，关键特征A对应关键特征组A包括关键特征位置A1和关键特征位置A2；关键特征B对应关键特征组B包括关键特征位置B1和关键特征位置B2；那么目标特征对应的各参考关键特征集分别为{关键特征位置A1，关键特征位置B1}，{关键特征位置A1，关键特征位置B2}，{关键特征位置A2，关键特征位置B1}以及{关键特征位置A2，关键特征位置B2}。

进一步，在获取到若干参考关键特征集后，分别将各参考关键特征集于预设的正态分布进行匹配，得到各参考关键特征集对应的匹配程度；并将匹配程度最高的参考关键特征集中选取目标关键特征集，并将选取到目标关键特征集作为所述目标部位对应的关键特征集。当然，在实际应用中，还可以采用其他方式，例如，在匹配程度满足预设条件的各参考关键特征集中按各关键特征对应的位置评分确定目标关键特征集(如，各关特征对应的位置评分平均分最高等)。进一步，在所述步骤S12中，所述目标部位区域可以指将目标部位完全包裹的三维超声图像区域，并且所述目标部位区域可以基于所述关键特征集确定，例如，当我们获得目标部位多个关键特征的位置信息后，可以利用这些位置信息简单构成一个包围盒或者包围球将这些关键特征完全包裹在包围盒或者包围球内部，则这个包围住所以关键特征的包围盒或者包围球就是我们的目标部位所对应的目标部位区域，可以根据不同目标部位适当调整包围盒和包围球的形状，例如对于胎儿颜面部，在获取关键特征的位姿信息后，在颜面部的前方利用多边形(该多边形由多个关键特征所对应位置连线所构成)包围盒而对于头部区域利用立方体包围盒；而对于腿部可以利用多个关键点构成圆柱包围盒将腿部区域确定，这样就可以简单确定目标部位所在的目标部位区域。

S20、基于所述关键特征集或所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域。

具体地，所述遮挡区域为遮挡所述目标部位的图像区域，所述遮挡区域与所述目标部位区域不相交，即对于遮挡区域中的任意像素点，该像素点不包含于目标部位区域。例如，所述遮挡区域为位于所述目标部位区域外围的三维超声图像区域等。

在本实施例的一个实现方式中，所述基于所述关键特征集或所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

S31a、根据所述关键特征集确定所述目标部位的姿态信息，并获取用户的视角信息；

S32a、基于所述视角信息以及所述姿态信息，在待处理三维超声图像中确定遮挡区域，并去除所述遮挡区域，其中，所述图像遮挡区域为沿所述位姿信息中的方向信息位于所述空间位置前的图像区域或处于视角信息与目标部位之间的图像区域。

具体地，所述姿态信息用于放置所述目标部位基于三维超声图像的空间位置以及朝向，所述姿态信息包括空间位置信息以及方向信息，其中，所述方向信息可以基于所述三维超声图像对应的坐标系而确定的，所述三维超声图像对应的坐标系为三维超声图像中的坐标系，例如，三维超声图像对应的坐标系为：坐标原点在三维超声图像的左后上方，x轴的正方向为水平向右，y轴的正方向为竖直向下，z轴的正方向为朝向显示界面外侧。所述空间位置信息指的是用于区分遮挡区域与目标部位的分割面，分割面为空间立体面，并且对于不同部位可以不同。例如，对于颜面部，分割面可以包括两个扇形面，鼻尖位于两个扇形面的相接线上；对于腿部，分割面可以为封闭圆柱面或者圆台面，该分割面内包括腿部区域。此外，在确定分割面之后，可以根据方向信息确定遮挡区域，其中，所述遮挡区域为沿目标部位区域的朝向位于分割区域前的图像区域。

此外，所述方向信息基于所述目标部位对应的关键特征确定，所述方向信息的确定过程可以为：获取关键特征集中各关键特征的位置关系，并根据所述位置关系以及目标部位对应的位置关系规则确定目标部位的方向信息。例如，对于颜面部，关键特征鼻子在左右眼球的前方，那么在获取到鼻子对应位置信息以及左右眼球的位置信息，根据鼻子的位置信息相对于左右眼球所在平面的位置关系，可以确定颜面部相对于三维超声图像坐标系的方向信息，即目标部位的位姿信息。例如，鼻尖的坐标为(10,10,2),左眼坐标为(5,5,5),右眼坐标为(15,5,5)，那么就可以确定该颜面部朝向显示界面内侧；再如，左眼坐标为(5,5,5),右眼坐标为(15,5,5)，鼻尖的坐标为(10,10,8)，那么该颜面部朝向显示界面外侧。

进一步，在确定目标部位的方向信息时，可以在所述关键特征点中选取三个不共线的关键特征，三个关键特征构成一个闭合向量环，利用该闭合向量环可以形成一个平面Q，利用与该平面Q垂直的法向量与三维超声图像的坐标系的基准轴x,y,z的关系可以确定目标部位的朝向。例如对于颜面部，我们由鼻尖至右眼构成向量a1，右眼至左眼构成向量a2，左眼至鼻尖构成向量a3，那么我们沿着a1->a2->a3顺时针旋转得到一个平面F，且根据右手定则，可以得到一个垂直于平面F的法向量V，例如V与Z轴正方向夹角小于30°且与X,Y轴垂直，则可确定颜面部朝向屏幕内侧，若V与Z轴正方向夹角大于150°且与X,Y轴垂直，则可确定颜面部朝向屏幕外侧。具体方向可以根据向量V与X,Y,Z轴的夹角唯一确定。。

进一步，所述视角信息为用户视线与用于显示待处理三维超声图像的显示界面之间的位置关系。例如，用户视线垂直与显示界面上，所述视角信息为0等。其中，所述视角信息是用户输入的，也可以是基于显示设备配置的图像采集设备拍摄的用户图像所确定的等。当然，还可以采用其他方式确定，这里不做具体限定。

进一步，在获取到目标部位的姿态信息以及用户的视角信息，可以基于所述视角信息以及所述姿态信息，在待处理三维超声图像中确定视角与目标部位之间图像区域，其中，所述遮挡区域为沿所述位姿信息中的方向信息位于所述空间位置前的图像区域或处于视角信息与目标部位之间的图像区域。例如，当方向信息与三维超声图像对应的坐标系的某一坐标轴相同，并且视角信息对应的用户视线与该坐标轴相同时，按照该坐标轴的正方向位于目标部位区域之前的图像区域为遮挡区域，当方向信息与三维超声图像对应的坐标系相反，视角信息对应的用户视线与该坐标轴相反时，按照该坐标轴的负方向位于目标部位区域之前的图像区域为遮挡区域；所述遮挡区域也可以为处于所述目标部位与视角之间的区域，即遮挡视野观察所述目标部位的区域，所述遮挡区域与视角信息相关，例如，视野想要得到的清晰区域为胎儿的侧脸，则遮挡区域仅仅为挡住胎儿该部位侧脸的区域。

进一步，在本实施例的一个实现方式中，所述根据所述关键特征集确定所述目标部位的姿态信息，并获取用户的视角信息之后，所述方法包括：

接收输入的调整操作，基于所述调整操作对所述待处理三维超声图像进行调整，以得到调整后的待处理三维超声图像，其中，所述调整操作至少包括旋转所述三维超声图像；

将调整后的待处理三维超声图像作为待处理超声图像。

具体地，所述调整操作用于旋转所述三维超声图像，以调整所述三维超声图像的方向信息。其中，调整后的方向信息可以基于调整前的方向信息以及旋转操作对应的旋转矩阵确定，这里就不做具体说明。此外，在将对所述待处理三维超声图像进行调整后，将调整后的待处理三维超声图像作为待处理超声图像，这样可以获取目标部位任意角度的图像，给用户的使用带来方便。

进一步，在本实施例的另一个实现方式中，所述基于所述关键特征集确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

获取所述目标部位对应的候选掩膜模型，并根据关键特征集对所述候选掩膜模型进行调整；

将调整后的候选掩膜模型嵌入所述待处理三维超声图像中，其中，调整后的候选掩膜模型位于所述目标部位的外围，所述姿态信息为根据关键特征集确定的；

将位于调整后的候选掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。

具体地，所述目标部位掩膜模型为预先设置的，目标部位对应的标准掩膜模型。在获取到目标部位的关键特征后，确定关键特征的位置分布，并根据位置分布对目标部位掩膜模型进行调整，其中，所述调整包括缩放以及旋转等。在目标部位掩膜模型调整完成后，调整后的目标部位模型嵌入所述三维超声图像，并且与目标部位模型中的各自对应的关键特征相对应，此外目标部位的各关键特征可以位于目标部位模型上，或者目标部位掩膜模型的外侧。此外，在将目标部位掩膜模型嵌入三维超声图像后，将按照方向信息将位于所述目标部位掩膜模型前的图像区域作为遮挡区域。

进一步，在本实施例的一个实现方式中，所述基于所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

根据所述目标部位区域确定所述目标部位对应的目标掩膜模型；

将调整后的候选掩膜模型嵌入所述待处理三维超声图像中，其中，各关键特征按姿态信息位于对照关键特征外侧，所述对照关键特征为目标掩膜模型中各关键特征各自对应的关键特征，所述姿态信息为根据关键特征集确定的；

将位于目标掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。

具体地，所述根据所述目标部位区域确定所述目标部位对应的目标掩膜模型可以为利用深度学习中分割网络将目标部位区域进行分割出来得到目标部位对应的掩膜模型，再根据关键特征集信息将掩膜模型套在目标部位上，然后将位于目标掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。

进一步，在本实施例的一个实现方式中，所述去除所述遮挡区域之后，所述方法包括：

对去除遮挡区域的三维超声图像进行调整，以得到目标三维超声图像，其中，所述目标三维超声图像中目标部位位于所述显示界面中心，且将所述去除遮挡之后的目标部位完全处于视野范围之内即将去出遮挡的目标部位朝向显示界面的外侧。

具体地，在去除遮挡区域后，根据关键特征相对于三维超声图像的坐标原点的相对位置，可以得到关键特征相对于显示界面的世界坐标的位置关系，根据该位置关系将去除遮挡后三维超声图像中目标部位的图像转动至显示界面的中央，并且去除遮挡后的目标部位的方向信息为朝向显示界面外侧，这样可以省去医生调整胎儿朝向所耗费的时间。此外，在将目标部位转换至显示界面中央并朝向显示界面外侧后，可以将调整后的三维超声图像显示于显示界面，并将调整后的三维超声图像进行投影得到目标部位对应的二维图像，如图3和图4所示。其中，所述调整后的三维超声图像可以是通过对去除遮挡区域的三维超声图像进行渲染得到的。

目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域目标部位区域基于上述三维超声图像的去遮挡方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的三维超声图像的去遮挡方法中的步骤。

基于上述三维超声图像的去遮挡方法，本发明还提供了一种超声设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据超声设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及超声设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种三维超声图像的去遮挡方法，其特征在于，所述方法包括：

获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域；

基于所述关键特征集或所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域；

所述获取待处理三维超声图像中目标部位对应的关键特征集和目标部位区域具体包括：

获取待处理三维超声图像中目标部位对应的关键特征集；

根据所述关键特征集确定所述目标部位对应的目标部位区域；

所述获取待处理三维超声图像中目标部位对应的关键特征集具体包括：

将待处理三维超声图像输入经过训练的深度学习网络模型，通过所述深度学习网络模型输出所述目标部位对应的候选关键特征集；其中，所述深度学习网络模型基于VGG-16的3D-RPN网络结构，根据Resnet的思想，在网络中加入残差模块；

基于所述候选关键特征集确定所述目标部位对应的关键特征集；

所述候选关键特征集包括若干关键特征组，若干关键特征组中的每组关键特征组均对应所述目标部位的一个关键特征，且各关键特征组对应的关键特征互不相同；每组关键特征组均包括至少一个关键特征位置以及各关键特征位置对应的位置评分；

所述基于所述候选关键特征集确定所述目标部位对应的关键特征集具体包括：

对于所述候选关键特征集中的每组关键特征组，选取该关键特征组中各位置评分最高的关键特征作为目标关键特征，当所述关键特征组中各位置评分最高的关键特征为多个时，随机选取一个作为目标关键特征；

将选取到所有目标关键特征构成的关键特征集作为该目标部位对应的关键特征集；

或所述基于所述候选关键特征集确定所述目标部位对应的关键特征集具体包括：

对于所述候选关键特征集中的每组关键特征组，任意选取该关键特征组中的一个候选关键特征；

将各组关键特征组选取得到的候选关键特征进行组合，以得到若干参考关键特征集；

确定各参考关键特征集与预设正态分布图谱的匹配程度，其中，预设正态分布图谱为所述关键特征集中的若干关键特征根据目标部位解剖结构形成的；

根据匹配程度在各参考关键特征集中选取目标关键特征集，并将选取到目标关键特征集作为所述目标部位对应的关键特征集。

2.根据权利要求1所述三维超声图像的去遮挡方法，其特征在于，所述基于所述关键特征集确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

根据所述关键特征集确定所述目标部位的姿态信息，并获取用户的视角信息；

基于所述视角信息以及所述姿态信息，在待处理三维超声图像中确定遮挡区域，并去除所述遮挡区域，其中，所述遮挡区域为沿所述姿态信息中的方向信息位于空间位置前的图像区域或处于视角信息与目标部位之间的图像区域。

3.根据权利要求2所述三维超声图像的去遮挡方法，其特征在于，所述根据所述关键特征集确定所述目标部位的姿态信息，并获取用户的视角信息之后，所述方法包括：

接收输入的调整操作，基于所述调整操作对所述待处理三维超声图像进行调整，以得到调整后的待处理三维超声图像，其中，所述调整操作至少包括旋转所述三维超声图像；

将调整后的待处理三维超声图像作为待处理超声图像。

4.根据权利要求1所述三维超声图像的去遮挡方法，其特征在于，所述基于所述关键特征集，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

获取所述目标部位对应的候选掩膜模型，并根据关键特征集对所述候选掩膜模型进行调整；

将调整后的候选掩膜模型嵌入所述待处理三维超声图像中，其中，调整后的候选掩膜模型位于所述目标部位的外围；

将位于调整后的候选掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。

5.根据权利要求1所述三维超声图像的去遮挡方法，其特征在于，所述基于所述关键特征集和目标部位区域，确定所述目标部位对应的遮挡区域，并去除所述遮挡区域具体包括：

根据所述目标部位区域确定所述目标部位对应的目标掩膜模型；

将调整后的候选掩膜模型嵌入所述待处理三维超声图像中，其中，各关键特征按姿态信息位于对照关键特征外侧，所述对照关键特征为目标掩膜模型中各关键特征各自对应的关键特征，所述姿态信息为根据关键特征集确定的；

将位于目标掩膜模型外围的图像区域作为遮挡区域，并去除遮挡区域。