CN113628183B - 一种超声检测对象的容积确定方法及超声设备 - Google Patents

一种超声检测对象的容积确定方法及超声设备 Download PDF

Info

Publication number
CN113628183B
CN113628183B CN202110902605.XA CN202110902605A CN113628183B CN 113628183 B CN113628183 B CN 113628183B CN 202110902605 A CN202110902605 A CN 202110902605A CN 113628183 B CN113628183 B CN 113628183B
Authority
CN
China
Prior art keywords
feature map
feature
target object
ultrasonic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110902605.XA
Other languages
English (en)
Other versions
CN113628183A (zh
Inventor
王文凯
时俊楠
陈哲
王�琦
郭颂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Hisense Medical Equipment Co Ltd
Original Assignee
Qingdao Hisense Medical Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Hisense Medical Equipment Co Ltd filed Critical Qingdao Hisense Medical Equipment Co Ltd
Priority to CN202110902605.XA priority Critical patent/CN113628183B/zh
Publication of CN113628183A publication Critical patent/CN113628183A/zh
Application granted granted Critical
Publication of CN113628183B publication Critical patent/CN113628183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请公开一种超声检测对象的容积确定方法及超声设备，属于超声图像处理技术领域，该方法包括：获取目标对象的第一超声图像和第二超声图像，其中，第一超声图像对应目标对象的主视图，第二超声图像对应目标对象的侧视图，分别在第一超声图像和第二超声图像中对目标对象进行关键点检测，基于在第一超声图像中检测到的关键点信息和在第二超声图像中检测到的关键点信息，确定目标对象的容积。这样，基于目标对象在不同视角下的超声图像中的关键点信息，确定目标对象的容积，不必再对超声图像进行语义分割，需确定的关键点信息的数据量要少于轮廓的数据量，所以可提升目标对象的容积确定速度。

Description

一种超声检测对象的容积确定方法及超声设备
技术领域
本申请涉及超声图像处理技术领域，尤其涉及一种超声检测对象的容积确定方法及超声设备。
背景技术
超声检查在医学上的应用非常广泛，而随着图像处理技术的快速发展，超声图像的应用也越来越多，比如利用某个超声检测对象的超声图像分析超声检测对象的容积。
相关技术中，在利用超声图像分析超声检测对象的容积时，先对超声图像进行语义分割，确定出超声检测对象的轮廓，再基于轮廓中包含的像素数量，确定超声检测对象的容积。然而，由于超声图像具有噪声大、边界不清晰等难以分割的特点，所以语义分割的速度比较慢，再加上超声设备的运算能力并不是很高，所以超声检测对象的容积确定速度并不高。
发明内容
本申请实施例提供一种超声检测对象的容积确定方法及超声设备，用以解决相关技术中超声检测对象的容积确定速度比较慢的问题。
第一方面，本申请实施例提供一种超声检测对象的容积确定方法，包括：
获取目标对象的第一超声图像和第二超声图像，所述第一超声图像对应所述目标对象的主视图，所述第二超声图像对应所述目标对象的侧视图；
分别在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测；
基于在所述第一超声图像中检测到的关键点信息和在所述第二超声图像中检测到的关键点信息，确定所述目标对象的容积。
在一些可能的实施方式中，根据以下步骤在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测：
对超声图像进行第一特征提取处理，得到局部特征；
对所述局部特征和所述超声图像进行通道拼接处理，得到参考特征图；
对所述参考特征图进行第二特征提取处理，得到全局特征；
对所述局部特征和所述全局特征进行融合处理，得到融合特征；
基于所述融合特征，识别所述超声图像中所述目标对象的关键点信息。
在一些可能的实施方式中，对超声图像进行第一特征提取处理，得到局部特征，包括：
通过常规卷积层对所述超声图像进行卷积运算，得到第一特征图，对所述第一特征图进行尺寸压缩；
通过常规卷积层对尺寸压缩后的第一特征图进行卷积运算，得到第二特征图，对所述第二特征图进行尺寸压缩；
通过常规卷积层对尺寸压缩后的第二特征图进行卷积运算，得到第三特征图，对所述第三特征图进行尺寸压缩；
通过常规卷积层对尺寸压缩后的第三特征图进行卷积运算，得到第四特征图；
对所述第四特征图进行尺寸扩充，对尺寸扩充后的第四特征图和所述第三特征图进行融合处理，得到第五特征图；
对所述第五特征图进行尺寸扩充，对尺寸扩充后的第五特征图和所述第二特征图进行融合处理，得到第六特征图；
对所述第六特征图进行尺寸扩充，对尺寸扩充后的第六特征图和所述第一特征图进行融合处理，得到第七特征图；
通过常规卷积层对所述第七特征图进行卷积运算，得到所述局部特征。
在一些可能的实施方式中，对两个特征图进行特征融合处理是指对所述两个特征图中相同位置上的特征数据进行相加处理。
在一些可能的实施方式中，对所述参考特征图进行第二特征提取处理，得到全局特征，包括：
通过至少一组空洞卷积层对所述参考特征图进行卷积运算，得到各组空洞卷积层对应的特征图，不同组空洞卷积层的卷积参数不同；
基于各组空洞卷积层对应的特征图，确定所述局部特征。
在一些可能的实施方式中，基于各组空洞卷积层对应的特征图，确定所述局部特征，包括：
若有一组空洞卷积层，则将所述空洞卷积层对应的特征图，确定为所述局部特征；
若有至少两组空洞卷积层，则对各组空洞卷积层对应的特征图中相同位置上的特征数据进行相加处理，得到所述局部特征。
在一些可能的实施方式中，对所述局部特征和所述全局特征进行融合处理，得到融合特征，包括：
对所述局部特征和所述全局特征中相同位置上的特征数据进行相乘处理，得到所述融合特征。
在一些可能的实施方式中，分别在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测，包括：
利用关键点检测模型分别在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测，所述关键点检测模型是对超声图像样本和所述超声图像样本中所述目标对象的关键点位置信息进行学习得到的；
所述超声图像样本是根据以下步骤生成的；
获取所述目标对象的原始超声图像；
对所述原始超声图像的至少一种图像特征进行变换处理，得到变换超声图像；
将所述初始超声图像和所述变换超声图像，确定为所述图像样本。
在一些可能的实施方式中，基于在所述第一超声图像中检测到的关键点信息和在所述第二超声图像中检测到的关键点信息，确定所述目标对象的容积，包括：
基于在所述第一超声图像中检测到的关键点信息，确定所述目标对象的横截面尺寸信息；
基于在所述第二超声图像中检测到的关键点信息，确定所述目标对象的纵截面尺寸信息；
基于所述横截面尺寸信息和所述纵截面尺寸信息，确定所述目标对象的容积。
第二方面，本申请实施例提供一种超声设备，包括探头、显示器、存储器和处理器，其中：
所述探头，用于发射超声波束；
所述存储器，用于存储超声图像和目标对象的容积；
所述显示器，用于显示超声图像和目标对象的容积；
所述处理器，分别连接所述探头、所述存储器和所述显示器，用于执行上述任一超声检测对象的容积确定方法。
第三方面，本申请实施例提供一种存储介质，当所述存储介质中的指令由超声设备的处理器执行时，所述超声设备能够执行上述任一超声检测对象的容积确定方法。
本申请实施例中，获取目标对象的第一超声图像和第二超声图像，其中，第一超声图像对应目标对象的主视图，第二超声图像对应目标对象的侧视图，分别在第一超声图像和第二超声图像中对目标对象进行关键点检测，基于在第一超声图像中检测到的关键点信息和在第二超声图像中检测到的关键点信息，确定目标对象的容积。这样，基于目标对象在不同视角下的超声图像中的关键点信息，确定目标对象的容积，不必再对超声图像进行语义分割，需确定的关键点信息的数据量要少于轮廓的数据量，所以可提升目标对象的容积确定速度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种超声设备的结构示意图；
图2为本申请实施例提供的一种超声设备的成像原理示意图；
图3为本申请实施例提供的一种超声检测对象的容积确定方法的流程图；
图4为本申请实施例提供的一种在超声图像中对目标对象进行关键点检测的方法流程图；
图5为本申请实施例提供的一种超声图像中膀胱的关键点的示意图；
图6是本申请实施例提供的一种网络模型的结构示意图。
具体实施方式
为了解决相关技术中超声检测对象的容积确定速度比较慢的问题，本申请实施例提供了一种超声检测对象的容积确定方法及超声设备。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1示出了本申请一个实施例提供的超声设备100的结构示意图。下面以超声设备100为例对实施例进行具体说明。应该理解的是，图1所示超声设备100仅是一个范例，并且超声设备100可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图1为本申请实施例提供的一种超声设备100的结构示意图，包括探头、显示器、存储器和处理器；其中，
探头，用于发射超声波束；
存储器，用于存储超声图像和目标对象的容积；
显示器，用于显示超声图像和目标对象的容积；
处理器，分别与探头、存储器和显示器，用于执行：
获取目标对象的第一超声图像和第二超声图像，所述第一超声图像对应所述目标对象的主视图，所述第二超声图像对应所述目标对象的侧视图；
分别在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测；
基于在所述第一超声图像中检测到的关键点信息和在所述第二超声图像中检测到的关键点信息，确定所述目标对象的容积。
在一些可能的实施方式中，处理器具体用于根据以下步骤在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测：
对超声图像进行第一特征提取处理，得到局部特征；
对所述局部特征和所述超声图像进行通道拼接处理，得到参考特征图；
对所述参考特征图进行第二特征提取处理，得到全局特征；
对所述局部特征和所述全局特征进行融合处理，得到融合特征；
基于所述融合特征，识别所述超声图像中所述目标对象的关键点信息。
在一些可能的实施方式中，处理器在对超声图像进行第一特征提取处理，得到局部特征时，具体用于：
通过常规卷积层对所述超声图像进行卷积运算，得到第一特征图，对所述第一特征图进行尺寸压缩；
通过常规卷积层对尺寸压缩后的第一特征图进行卷积运算，得到第二特征图，对所述第二特征图进行尺寸压缩；
通过常规卷积层对尺寸压缩后的第二特征图进行卷积运算，得到第三特征图，对所述第三特征图进行尺寸压缩；
通过常规卷积层对尺寸压缩后的第三特征图进行卷积运算，得到第四特征图；
对所述第四特征图进行尺寸扩充，对尺寸扩充后的第四特征图和所述第三特征图进行融合处理，得到第五特征图；
对所述第五特征图进行尺寸扩充，对尺寸扩充后的第五特征图和所述第二特征图进行融合处理，得到第六特征图；
对所述第六特征图进行尺寸扩充，对尺寸扩充后的第六特征图和所述第一特征图进行融合处理，得到第七特征图；
通过常规卷积层对所述第七特征图进行卷积运算，得到所述局部特征。
在一些可能的实施方式中，处理器在对超声图像进行第一特征提取处理，得到局部特征时，对两个特征图进行特征融合处理是指对所述两个特征图中相同位置上的特征数据进行相加处理。
在一些可能的实施方式中，处理器在对所述参考特征图进行第二特征提取处理，得到全局特征时，具体用于：
通过至少一组空洞卷积层对所述参考特征图进行卷积运算，得到各组空洞卷积层对应的特征图，不同组空洞卷积层的卷积参数不同；
基于各组空洞卷积层对应的特征图，确定所述局部特征。
在一些可能的实施方式中，处理器在对所述参考特征图进行第二特征提取处理，得到全局特征时，具体用于：
若有一组空洞卷积层，则将所述空洞卷积层对应的特征图，确定为所述局部特征；
若有至少两组空洞卷积层，则对各组空洞卷积层对应的特征图中相同位置上的特征数据进行相加处理，得到所述局部特征。
在一些可能的实施方式中，处理器在对所述参考特征图进行第二特征提取处理，得到全局特征时，具体用于：
对所述局部特征和所述全局特征中相同位置上的特征数据进行相乘处理，得到所述融合特征。
在一些可能的实施方式中，处理器在分别在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测时，具体用于：
利用关键点检测模型分别在所述第一超声图像和所述第二超声图像中对所述目标对象进行关键点检测，所述关键点检测模型是对超声图像样本和所述超声图像样本中所述目标对象的关键点位置信息进行学习得到的；
所述超声图像样本是根据以下步骤生成的；
获取所述目标对象的原始超声图像；
对所述原始超声图像的至少一种图像特征进行变换处理，得到变换超声图像；
将所述初始超声图像和所述变换超声图像，确定为所述图像样本。
在一些可能的实施方式中，处理器在基于在所述第一超声图像中检测到的关键点信息和在所述第二超声图像中检测到的关键点信息，确定所述目标对象的容积时，具体用于：
基于在所述第一超声图像中检测到的关键点信息，确定所述目标对象的横截面尺寸信息；
基于在所述第二超声图像中检测到的关键点信息，确定所述目标对象的纵截面尺寸信息；
基于所述横截面尺寸信息和所述纵截面尺寸信息，确定所述目标对象的容积。
应该理解的是，图1所示超声设备仅是一个范例，并且超声设备可以具有比图1中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
图2是本申请实施例提供的一种超声设备的成像应用原理示意图，该部分可由图1所示超声设备的部分模块或功能组件实现，下面将仅针对主要的部件进行说明，而其它部件如存储器、控制器、控制电路等将不再进行赘述。
如图2所示，应用环境中可以包括用户界面210、用于显示用户界面的显示单元220以及处理器230。
显示单元220可以包括显示面板221、背光组件222，其中，显示面板221被配置为对超声图像进行显示，背光组件222位于显示面板221背面，背光组件222可以包括多个背光分区(图中未示出)，各背光分区可以发光，以点亮显示面板221。
处理器230可以被配置为控制背光组件222中各背光分区的背光源亮度，以及控制探头发射宽波束和接收回波信号。
并且，处理器230可以包括聚焦处理单元231、波束合成单元232、频谱生成单元233，其中，聚焦处理单元231被配置为对当前帧超声图像执行聚焦处理，聚焦处理包括：以当前帧超声图像中的超声穿刺针为宽波束的聚焦位置，根据超声穿刺针的发射系数向目标检测区域发射宽波束；并接收超声穿刺针针体反馈的回波信号。波束合成单元232被配置为当对目标检测区域的超声穿刺针完成聚焦处理之后，对同一超声穿刺针反馈的回波信号进行波束合成，得到扫描信息。频谱生成单元233被配置为基于各超声穿刺针的扫描信息进行多普勒成像。
图3为本申请实施例提供的一种超声检测对象的容积确定方法的流程图，包括以下步骤。
在步骤S301中，获取目标对象的第一超声图像和第二超声图像，其中，第一超声图像对应目标对象的主视图，第二超声图像对应目标对象的侧视图。
其中，目标对象如膀胱、卵泡等。
具体实施时，当第一超声图像是目标对象的主视图、第二超声图像是目标对象的侧视图时，确定出的目标对象的容积最为准确。但要求不同操作技能的超声设备操作人员在进行超声检测时均做到第一超声图像是目标对象的主视图、第二超声图像是目标对象的侧视图是比较难的，为了降低对超声设备操作人员的操作技能要求，第一超声图像大概是从目标对象的主视方位进行超声检测得到的，比如第一超声图像对应的超声检测方位与主视方位之间的夹角小于预设角度，第二超声图像大概是从目标对象的左视方位/右视方位进行超声检测得到的，比如第二超声图像对应的超声检测方位与左视方位/右视方位之间的夹角小于预设角度。
在步骤S302中，分别在第一超声图像和第二超声图像中对目标对象进行关键点检测。
具体实施时，针对第一超声图像和第二超声图像中的每张超声图像，可以按照图4所示的流程在该张超声图像中对目标对象进行关键点检测，该流程包括以下步骤：
在步骤S401a中，对超声图像进行第一特征提取处理，得到局部特征。
具体实施时，可以通过常规卷积层对超声图像进行卷积运算，得到第一特征图，对第一特征图进行尺寸压缩，通过常规卷积层对尺寸压缩后的第一特征图进行卷积运算，得到第二特征图，对第二特征图进行尺寸压缩，通过常规卷积层对尺寸压缩后的第二特征图进行卷积运算，得到第三特征图，对第三特征图进行尺寸压缩，通过常规卷积层对尺寸压缩后的第三特征图进行卷积运算，得到第四特征图，对第四特征图进行尺寸扩充，对尺寸扩充后的第四特征图和第三特征图进行融合处理，得到第五特征图，对第五特征图进行尺寸扩充，对尺寸扩充后的第五特征图和第二特征图进行融合处理，得到第六特征图，对第六特征图进行尺寸扩充，对尺寸扩充后的第六特征图和第一特征图进行融合处理，得到第七特征图，通过常规卷积层对第七特征图进行卷积运算，得到局部特征。其中，常规卷积层是相对于空洞卷积层而言，除空洞卷积层之外的即为常规卷积层，尺寸压缩如下采样处理，尺寸扩充如上采样处理。
另外，需要说明的是，进行融合处理的各特征图的尺寸是相同的，对任意两个特征图进行特征融合处理是指对这两个特征图中的相同位置上的特征数据进行相加处理。这是由于相加操作比较简单，对运算性能要求不高，利于进一步提升容积确定速度。
上述过程中，在提取局部特征时使用的卷积操作次数和融合操作次数是比较少的，这是发明人基于超声图像的特点和超声检测对象的特点设置的，这样，利于降低本方案对运算性能的要求，进一步提升容积确定的速度。
在步骤S402a中，对局部特征和超声图像进行通道拼接处理，得到参考特征图。
其中，通道拼接是指在通道方向上对局部特征和超声图像进行concat操作，局部特征和超声图像的宽高是一样的，进行通道拼接处理后所得到的参考特征图的通道数会变多。
在步骤S403a中，对参考特征图进行第二特征提取处理，得到全局特征。
具体实施时，可以通过至少一组空洞卷积层对参考特征图进行卷积运算，得到各组空洞卷积层对应的特征图，不同组空洞卷积层的卷积参数不同，然后，基于各组空洞卷积层对应的特征图，确定局部特征。
其中，若有一组空洞卷积层，则可将空洞卷积层对应的特征图，确定为局部特征；若有至少两组空洞卷积层，则可对各组空洞卷积层对应的特征图中相同位置上的特征数据进行相加处理，从而得到局部特征。由于相加操作比较简单，对运算性能要求不高，所以利于进一步提升容积确定速度。
在步骤S404a中，对局部特征和全局特征进行融合处理，得到融合特征。
为了在融合时最大限度地保留特征，具体实施时，可以对局部特征和全局特征中相同位置上的特征数据进行相乘处理，以得到融合特征。
在步骤S405a中，基于融合特征，识别目标对象超声图像中目标对象的关键点信息。
另外，具体实施时，可以利用关键点检测模型分别在第一超声图像和第二超声图像中对目标对象进行关键点检测，其中，关键点检测模型是对超声图像样本和超声图像样本中的关键点位置信息进行学习得到的。
鉴于需要借助于超声设备获取超声图像样本、且需要征得超声图像样本对应的患者同意，并且，不同超声设备操作人员的个人习惯也不同，想要在短时间内获取到丰富的超声图像样本是不容易的。为了降低超声图像样本的获取难度，也为了提升关键点检测模型的检测准确度，可根据以下方式生成超声图像样本：
获取目标对象的原始超声图像，对原始超声图像的至少一种图像特征进行变换处理，得到变换超声图像，然后，将初始超声图像和变换超声图像，确定为图像样本，其中，变换处理可以是指对原始超声图像进行旋转、拉伸、剪切、平移、翻转等操作，也可以是指增减原始超声图像的亮度、对比度、锐度或噪声等。
这样，对比较少的原始超声图像进行图像变换处理，即可在短时间内得到比较丰富的超声图像样本，既利于降低超声图像样本的获取难度、节省人力成本，也利于提升关键点检测模型的检测准确度。
在步骤S303中，基于在第一超声图像中检测到的关键点信息和在第二超声图像中检测到的关键点信息，确定目标对象的容积。
具体实施时，可以基于在第一超声图像中检测到的关键点信息，确定目标对象的横截面尺寸信息，基于在第二超声图像中检测到的关键点信息，确定目标对象的纵截面尺寸信息，进而基于横截面尺寸信息和纵截面尺寸信息，确定目标对象的容积。
比如，基于在第一超声图像中检测到的关键点信息，确定目标对象在横截面上的最大尺寸D1，基于在第二超声图像中检测到的关键点信息，确定目标对象在纵截面上的最大尺寸D2，并确定目标对象在与D2垂直方向上的最大尺寸D3，然后，将0.5*D1*D2*D3确定为目标对象的容积。
下面以目标对象为膀胱为例对本申请实施例的方案进行说明。
图5是本申请实施例提供的一种膀胱的关键点的位置示意图，其中，左侧超声图像对应膀胱的主视图，右侧超声图像对应膀胱的左视图，在主视图中主要关注2个关键点，基于这2个关键点可确定出膀胱在横截面上的最大尺寸D1，在左视图中主要关注4个关键点，基于这4个关键点可确定出膀胱在纵截面上的最大尺寸D2，以及与在与D2垂直方向上的最大尺寸D3。
具体实施时，对于每张超声图像而言，均可在超声图像中对这6个关键点进行检测，后续在计算容积时，可基于在主视图对应的超声图像中检测到的关键点确定D1，基于在左视图对应的超声图像中检测到的关键点确定D2和D3，然后，将0.5*D1*D2*D3确定为膀胱的容积。
假设使用关键点检测模型对超声图像进行关键点检测，下面对建立关键点检测模型的过程进行介绍。
具体实施时，可以获取膀胱的原始超声图像，对原始超声图像中膀胱的关键点的位置进行标注，然后，对原始超声图像的至少一种图像特征进行变换处理，得到变换超声图像，将初始超声图像和变换超声图像确定为超声图像样本，其中，变换处理可以是指对原始超声图像进行旋转、拉伸、剪切、平移、翻转等操作，也可以是指增减原始超声图像的亮度、对比度、锐度或噪声等。
进一步地，可将图像样本分为训练样本和测试样本，以训练样本为输入、训练样本中的标注信息为输出，对预先构建的网络模型进行训练，并基于测试样本对训练后的网络模型的关键点的检测准确度进行测试，直至准确度达到要求时，将训练后的网络模型作为膀胱的关键点检测模型。
下面对关键点检测模型的网络模型进行介绍。
图6是本申请实施例提供的一种网络模型的结构示意图，主要包括局部网络和全局网络，其中：
局部网络，用于通过3个常规卷积层对超声图像进行卷积运算，得到16通道的第一特征图，对16通道的第一特征图进行下采样处理如maxpool操作，得到16通道的第一特征图，再通过3个常规卷积层对16通道的第一特征图进行卷积运算，得到32通道的第二特征图，对32通道的第二特征图进行下采样，得到32通道的第二特征图，通过3个常规卷积层对32通道的第二特征图进行卷积运算，得到64通道的第三特征图，对64通道的第三特征图进行下采样处理，得到64通道的第三特征图，通过3个常规卷积层对64通道的第三特征图进行卷积运算，得到128通道的第四特征图，对128通道的第四特征图进行上采样处理，得到64通道的第四特征图，对64通道的第四特征图和64通道的第三特征图进行逐元素相加处理，得到64通道的第五特征图，对64通道的第五特征图进行上采样处理，得到32通道的第五特征图，对32通道的第五特征图和32通道的第二特征图进行逐元素相加处理，得到32通道的第六特征图，对32通道的第六特征图进行上采样处理，得到16通道的第六特征图，对16通道的第六特征图和16通道的第一特征图进行逐元素相加处理，得到16通道的第七特征图，通过3个常规卷积层对16通道的第七特征图进行卷积运算，得到局部特征，其中，局部特征实际也是一个特征图，且这个特征图是6通道的。
之后，可对超声图像和局部特征进行通道拼接处理，得到32通道的参考特征图。
全局网络，用于依次通过膨胀率(dilation rate)为2、3、5、3、2的空洞卷积层对32通道的参考特征图进行卷积运算，得到全局特征，其中，全局特征实际也是一个特征图，且这个特征图是6通道的。
进一步地，对局部特征和全局特征进行逐元素相乘，得到融合特征，基于融合特征，识别超声图像中膀胱的关键点。
本申请实施例中，基于膀胱在不同视角下的超声图像中的关键点信息，确定膀胱的容积，不必再对超声图像进行语义分割，需确定的关键点信息的数据量要少于轮廓的数据量，所以可提升膀胱的容积确定速度。
本申请实施例还提供了一种存储介质，当所述存储介质中的指令由超声设备的处理器执行时，所述超声设备能够执行前述实施例中涉及的超声检测对象的容积确定方法。
在一些可能的实施方式中，本申请实施例提供的超声检测对象的容积确定方法的各个方面还可以实现为一种程序产品的形式，所述程序产品中包括有程序代码，当所述程序产品在超声设备上运行时，所述程序代码用于使所述超声设备执行前述实施例中涉及的超声检测对象的容积确定方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例中用于超声检测对象的容积确定的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (4)

1.一种超声检测对象的容积确定方法，其特征在于，包括：
获取目标对象的第一超声图像和第二超声图像，所述第一超声图像对应所述目标对象的主视图，所述第二超声图像对应所述目标对象的侧视图，所述目标对象为膀胱；
针对所述第一超声图像和所述第二超声图像中的任一超声图像，利用预先训练的关键点检测模型根据以下步骤进行关键点检测：对所述超声图像进行第一特征提取处理，得到局部特征；对所述局部特征和所述超声图像进行通道拼接处理，得到参考特征图；对所述参考特征图进行第二特征提取处理，得到全局特征；对所述局部特征和所述全局特征进行融合处理，得到融合特征；基于所述融合特征，识别所述超声图像中所述目标对象的关键点信息，
其中，对超声图像进行第一特征提取处理，得到局部特征，包括：通过3个常规卷积层对所述超声图像进行卷积运算，得到16通道的第一特征图，对所述第一特征图进行下采样处理，通过3个常规卷积层对下采样处理后的16通道的所述第一特征图进行卷积运算，得到32通道的第二特征图，对所述第二特征图进行下采样处理，通过3个常规卷积层对下采样处理后的32通道的所述第二特征图进行卷积运算，得到64通道的第三特征图，对所述第三特征图进行下采样处理，通过3个常规卷积层对下采样处理后的64通道的所述第三特征图进行卷积运算，得到128通道的第四特征图，对所述第四特征图进行上采样处理，得到64通道的第四特征图，对64通道的所述第四特征图和64通道的所述第三特征图进行逐元素相加处理，得到64通道的第五特征图，对所述第五特征图进行上采样处理，对上采样处理后的32通道的所述第五特征图和32通道的所述第二特征图进行逐元素相加处理，得到32通道的第六特征图，对所述第六特征图进行上采样处理，对上采样处理得到的16通道的所述第六特征图和16通道的所述第一特征图进行逐元素相加处理，得到16通道的第七特征图，通过3个常规卷积层对所述第七特征图进行卷积运算，得到所述局部特征；对所述参考特征图进行第二特征提取处理，得到全局特征，包括：依次通过膨胀率为2、3、5、3、2的空洞卷积层对32通道的所述参考特征图进行卷积运算，得到所述全局特征；用于训练所述关键点检测模型的图像样本是根据以下步骤生成的：获取所述目标对象的原始超声图像；对所述原始超声图像的至少一种图像特征进行变换处理，得到变换超声图像；将所述原始超声图像和所述变换超声图像，确定为所述图像样本；
基于在所述第一超声图像中检测到的关键点信息和在所述第二超声图像中检测到的关键点信息，确定所述目标对象的容积。
2.如权利要求1所述的方法，其特征在于，对所述局部特征和所述全局特征进行融合处理，得到融合特征，包括：
对所述局部特征和所述全局特征中相同位置上的特征数据进行相乘处理，得到所述融合特征。
3.如权利要求1所述的方法，其特征在于，基于在所述第一超声图像中检测到的关键点信息和在所述第二超声图像中检测到的关键点信息，确定所述目标对象的容积，包括：
基于在所述第一超声图像中检测到的关键点信息，确定所述目标对象的横截面尺寸信息；
基于在所述第二超声图像中检测到的关键点信息，确定所述目标对象的纵截面尺寸信息；
基于所述横截面尺寸信息和所述纵截面尺寸信息，确定所述目标对象的容积。
4.一种超声设备，其特征在于，包括探头、显示器、存储器和处理器，其中：
所述探头，用于发射超声波束；
所述存储器，用于存储超声图像和目标对象的容积；
所述显示器，用于显示超声图像和目标对象的容积；
所述处理器，分别连接所述探头、所述存储器和所述显示器，用于执行如权利要求1-3中任一所述的方法。
CN202110902605.XA 2021-08-06 2021-08-06 一种超声检测对象的容积确定方法及超声设备 Active CN113628183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110902605.XA CN113628183B (zh) 2021-08-06 2021-08-06 一种超声检测对象的容积确定方法及超声设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110902605.XA CN113628183B (zh) 2021-08-06 2021-08-06 一种超声检测对象的容积确定方法及超声设备

Publications (2)

Publication Number Publication Date
CN113628183A CN113628183A (zh) 2021-11-09
CN113628183B true CN113628183B (zh) 2024-07-23

Family

ID=78383185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110902605.XA Active CN113628183B (zh) 2021-08-06 2021-08-06 一种超声检测对象的容积确定方法及超声设备

Country Status (1)

Country Link
CN (1) CN113628183B (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072337B (zh) * 2015-07-31 2019-03-26 小米科技有限责任公司 图片处理方法及装置
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置
CN109740672B (zh) * 2019-01-04 2020-08-04 重庆大学 多流特征距离融合系统与融合方法
CN110069994B (zh) * 2019-03-18 2021-03-23 中国科学院自动化研究所 基于人脸多区域的人脸属性识别系统、方法
CN111723612A (zh) * 2019-03-20 2020-09-29 北京市商汤科技开发有限公司 人脸识别和人脸识别网络的训练方法和装置、存储介质
CN110084250B (zh) * 2019-04-26 2024-03-12 北京金山数字娱乐科技有限公司 一种图像描述的方法及系统
CN111126379B (zh) * 2019-11-22 2022-05-17 苏州浪潮智能科技有限公司 一种目标检测方法与装置
US11138441B2 (en) * 2019-12-06 2021-10-05 Baidu Usa Llc Video action segmentation by mixed temporal domain adaption
CN111161273B (zh) * 2019-12-31 2023-03-21 电子科技大学 一种基于深度学习的医学超声图像分割方法
US11430150B2 (en) * 2020-01-03 2022-08-30 Samsung Electronics Co., Ltd. Method and apparatus for processing sparse points
CN111914841B (zh) * 2020-08-07 2023-10-13 温州医科大学 一种ct图像处理方法和装置
CN112233084B (zh) * 2020-10-13 2022-02-08 深圳度影医疗科技有限公司 超声图像处理方法、设备及计算机可读存储介质
CN112674799B (zh) * 2021-01-05 2022-11-25 青岛海信医疗设备股份有限公司 超声弹性成像方法、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Development and evaluation of automated ultrasonographic detection of bladder diameter for estimation of bladder urine volume;Masaru Matsumoto et.al;PLOS ONE;摘要、第2页最后一段以及图1-2 *
Masaru Matsumoto et.al.Development and evaluation of automated ultrasonographic detection of bladder diameter for estimation of bladder urine volume.PLOS ONE.2019,摘要、第2页最后一段以及图1-2. *
Robust Facial Landmark Detection via a Fully-Convolutional Local-Global Context Network;Daniel Merget et.al;2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition;摘要、第3节以及图1、3 *

Also Published As

Publication number Publication date
CN113628183A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
US10810735B2 (en) Method and apparatus for analyzing medical image
US20210158533A1 (en) Image processing method and apparatus, and storage medium
US20200082553A1 (en) Method and apparatus for generating three-dimensional data, device, and storage medium
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US9230058B2 (en) Image processing device, image processing method and program
US20230133218A1 (en) Image segmentation method, device and medium
US11284855B2 (en) Ultrasound needle positioning system and ultrasound needle positioning method utilizing convolutional neural networks
CN109191442B (zh) 超声图像评估及筛选方法和装置
CN113040878B (zh) 超声穿刺针的位置信息处理方法、超声设备及存储介质
CN111346842A (zh) 煤矸石分拣方法、装置、设备及存储介质
CN110728673A (zh) 一种目标部位分析方法、装置、计算机设备及存储介质
CN111369588B (zh) 感兴趣区域处理方法、装置、设备和存储介质
CN110246135A (zh) 卵泡监测方法、装置、系统及存储介质
US9020221B2 (en) Method and apparatus for automatic cancer diagnosis scoring of tissue samples
CN113628183B (zh) 一种超声检测对象的容积确定方法及超声设备
CN112801940A (zh) 模型评测方法、装置、设备及介质
CN111803128A (zh) 一种乳腺组织弹性成像方法、装置、设备和介质
CN112488982A (zh) 一种超声图像检测方法及装置
CN111914863A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
US9881371B2 (en) System for visualization of a cancer diagnosis
CN111833847A (zh) 语音处理模型训练方法和装置
Liu et al. An end to end thyroid nodule segmentation model based on optimized U-net convolutional neural network
CN105232087B (zh) 超声弹性成像实时处理系统
CN113705432B (zh) 一种模型训练、三维目标检测方法、装置、设备及介质
CN117974635B (zh) 电缆通道检测方法、装置、电子设备与计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant