CN113537408A - 一种超声图像处理方法、装置、设备及存储介质 - Google Patents

一种超声图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113537408A
CN113537408A CN202111051104.1A CN202111051104A CN113537408A CN 113537408 A CN113537408 A CN 113537408A CN 202111051104 A CN202111051104 A CN 202111051104A CN 113537408 A CN113537408 A CN 113537408A
Authority
CN
China
Prior art keywords
ultrasonic image
section
spinal
sacral
evaluation result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111051104.1A
Other languages
English (en)
Inventor
彭易苗
李胜利
于亚威
曹锡华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonoscape Medical Corp
Original Assignee
Sonoscape Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonoscape Medical Corp filed Critical Sonoscape Medical Corp
Priority to CN202111051104.1A priority Critical patent/CN113537408A/zh
Publication of CN113537408A publication Critical patent/CN113537408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请公开了一种超声图像处理方法、装置、设备及存储介质，在该方案中，利用预先训练完成的深度学习神经网络模型自动对该超声图像进行评估，以得到该超声图像的切面评估结果；若切面评估结果符合预设要求，则表明该超声图像中的胎儿骶尾段脊柱矢状切面足够清晰，大概率能够清晰看见脊髓圆锥，因此基于深度学习神经网络模型识别到的超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注出脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像，可以帮助医生辅助判断脊髓圆锥末端的位置，提高了检查的准确性和效率。相应地，本申请提供的一种超声图像处理装置、设备及存储介质，也同样具有上述技术效果。

Description

一种超声图像处理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种超声图像处理方法、装置、设备及存储介质。
背景技术
在胎儿超声检测过程中，医生可以在超声影像中手动截取骶尾段脊柱矢状切面，并在该切面上目测脊髓圆锥的位置。但由于该切面上的椎体较多(一般约有十几个椎体)且较密集，导致目测方式耗时较长且容易出错。
发明内容
有鉴于此，本申请的目的在于提供一种超声图像处理方法、装置、设备及存储介质，以自动在超声图像中识别并标注脊髓圆锥末端、骶椎和腰椎，提高检查的准确性和效率。其具体方案如下：
为实现上述目的，一方面，本申请提供了一种超声图像处理方法，包括：
获取胎儿骶尾段脊柱矢状切面的超声图像；
将超声图像输入预先训练完成的深度学习神经网络模型，得到超声图像的切面评估结果；
若切面评估结果符合预设要求，则基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像。
优选地，还包括：
确定超声图像中的骶尾段脊柱末端与脊髓圆锥末端之间的椎体个数；
若椎体个数少于预设阈值，则生成告警提示信息。
优选地，获取胎儿骶尾段脊柱矢状切面的超声图像，包括：
获取胎儿超声检测过程中的超声影像，从超声影像中截取超声图像。
优选地，基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像之前，还包括：
对比切面评估结果与前一切面评估结果；
若切面评估结果优于前一切面评估结果，则执行基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像的步骤。
优选地，得到带标注的超声图像之后，还包括：
若接收到修改指令，则根据修改指令修改带标注的超声图像中的脊髓圆锥末端、骶椎和腰椎的标注位置。
优选地，深度学习神经网络模型的训练过程，包括：
获取训练集，并从所述训练集中获取目标样本；其中，所述目标样本标注有切面类别和切面得分，且标注的切面类别为标准切面的所述目标样本还标注出脊髓圆锥末端、骶椎、腰椎的轮廓；
将所述目标样本输入初始模型进行训练，得到所述预先训练完成的深度学习神经网络模型。
又一方面，本申请还提供了一种超声图像处理装置，包括：
获取模块，用于获取胎儿骶尾段脊柱矢状切面的超声图像；
评估模块，用于将超声图像输入预先训练完成的深度学习神经网络模型，得到超声图像的切面评估结果；
识别标注模块，用于若切面评估结果符合预设要求，则基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像。
优选地，还包括：
椎体个数统计模块，用于确定超声图像中的骶尾段脊柱末端与脊髓圆锥末端之间的椎体个数；若椎体个数少于预设阈值，则生成告警提示信息。
优选地，获取模块具体用于：
获取胎儿超声检测过程中的超声影像，从超声影像中截取超声图像。
优选地，还包括：
对比模块，用于对比切面评估结果与前一切面评估结果；若切面评估结果优于前一切面评估结果，则执行识别标注模块中的基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像的步骤。
优选地，还包括：
修正模块，用于若接收到修改指令，则根据修改指令修改带标注的超声图像中的脊髓圆锥末端、骶椎和腰椎的标注位置。
优选地，还包括：
用于训练深度学习神经网络模型的模型训练模块，模型训练模块包括：
获取单元，用于获取训练集，并从所述训练集中获取目标样本；其中，所述目标样本标注有切面类别和切面得分，且标注的切面类别为标准切面的所述目标样本还标注出脊髓圆锥末端、骶椎、腰椎的轮廓；
训练单元，用于将所述目标样本输入初始模型进行训练，得到所述预先训练完成的深度学习神经网络模型。
又一方面，本申请还提供了一种电子设备，电子设备包括处理器和存储器；其中，存储器用于存储计算机程序，计算机程序由处理器加载并执行以实现前述超声图像处理方法。
具体的，上述电子设备可以是超声诊断设备或超声工作站。
又一方面，本申请还提供了一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现前述超声图像处理方法。
本申请在获取到胎儿骶尾段脊柱矢状切面的超声图像后，能够利用预先训练完成的深度学习神经网络模型自动对该超声图像进行评估，以得到该超声图像的切面评估结果；若切面评估结果符合预设要求，则表明该超声图像中的胎儿骶尾段脊柱矢状切面足够清晰，大概率能够清晰看见脊髓圆锥，因此基于深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注出脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像。可见，该方案能够自动在超声图像中识别并标注脊髓圆锥末端、骶椎和腰椎，因此所得到的带标注的超声图像可以帮助医生辅助判断脊髓圆锥末端的位置，提高了检查的准确性和效率。
相应地，本申请提供的一种超声图像处理装置、设备及存储介质，也同样具有上述技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种超声图像处理方法流程图；
图2为本申请提供的一种带标注的超声图像的示意图；
图3为本申请提供的另一种超声图像处理方法流程图；
图4为本申请提供的一种深度学习神经网络模型训练方法流程图；
图5为本申请提供的一种非标注切面示意图；
图6为本申请提供的一种超声图像处理装置示意图；
图7为本申请提供的一种服务器结构图；
图8为本申请提供的一种终端结构图；
图9为本申请提供的一种深度学习神经网络模型处理超声图像的流程示意图。
具体实施方式
针对脊髓圆锥末端，传统的定位和识别方法是：医生在超声影像中手动截取骶尾段脊柱矢状切面，并在该切面上目测脊髓圆锥的位置。但由于该切面上的椎体较多(一般约有十几块椎体)且较密集，导致目测方式耗时较长且容易出错。
鉴于目前所存在的上述问题，本申请提出了超声图像处理方案，该方案能够自动在超声图像中识别并标注脊髓圆锥末端、骶椎和腰椎，因此所得到的带标注的超声图像可以帮助医生辅助判断脊髓圆锥末端的位置，提高了检查的准确性和效率。
请参见图1，图1为本申请实施例提供的一种超声图像处理方法流程图。如图1所示，该超声图像处理方法可以包括以下步骤：
S101、获取胎儿骶尾段脊柱矢状切面的超声图像。
本实施例中的超声图像可以从超声影像中逐帧截取获得。因此在一种具体实施方式中，获取胎儿骶尾段脊柱矢状切面的超声图像，包括：获取胎儿超声检测过程中的超声影像，从超声影像中截取超声图像。
S102、将超声图像输入预先训练完成的深度学习神经网络模型，得到超声图像的切面评估结果。
在本实施例中，深度学习神经网络模型可以为：Mask R-CNN、Mask Scoring R-CNN、PA Net等，这些模型都是基于实例分割的深度学习神经网络模型。具体的模型结构本实施例并不做限定，也即：模型中的卷积层、池化层等结构可根据实际情况增减。
其中，切面评估结果用于评价超声图像中的胎儿骶尾段脊柱矢状切面是否足够清晰以及解剖结构是否完整，只有胎儿骶尾段脊柱矢状切面足够清晰、解剖结构足够完整，才可以看出其中的椎管、脊髓圆锥、骶椎和腰椎等脊柱组成部分。切面评估结果可以用数值表示，数值越大，则切面越清晰、越标准。深度学习神经网络模型对于超声图像的切面评估，可以借助二分类思想实现。也即：深度学习神经网络模型可以将输入的超声图像分类为标准切面和非标准切面，并给出相应的评估值。
在一种具体实施方式中，深度学习神经网络模型评估超声图像的切面评估结果的具体过程包括：深度学习神经网络模型提取超声图像中的图像特征，基于图像特征确定感兴趣区域(如图2所示的区域)，基于感兴趣区即可确定切面是否标准。
S103、判断切面评估结果是否符合预设要求；若是，则执行S104；若否，则丢弃该超声图像。
其中，若切面评估结果用数值表示，那么预设要求可以是某一具体阈值，若表示切面评估结果的数值大于该阈值，则认为切面评估结果符合预设要求；否则，认为切面评估结果不符合预设要求。如果切面评估结果的取值区间为1～100，那么预设要求可以为90。如果切面评估结果的取值区间为1～10，那么预设要求可以为9。可见，切面评估结果可以用切面得分等形式来表示。
S104、基于深度学习神经网络模型识别到的超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注出脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像。
带标注的超声图像可参见图2。基于图2所示，脊髓圆锥末端与骶椎、腰椎的相对位置可以清晰看到，图2所示的脊髓圆锥末端位于L3和L2之间，医生可据此判断脊髓圆锥是否正常。
需要说明的是，L1-L5表示五个腰椎，即：五个位于腰部的椎体；S1-S5表示五个骶椎，即：五个位于骶部的椎体。人的脊柱由多块脊椎骨构成，一个脊椎骨由两个椎弓和一个椎体组成，因此一个椎体即对应一块脊椎骨。
在一种具体实施方式中，深度学习神经网络模型识别超声图像的具体过程包括：深度学习神经网络模型提取目标样本中的图像特征，基于图像特征确定感兴趣区域；在感兴趣区域中确定椎管轮廓、脊髓圆锥轮廓、各个椎体的轮廓；生成包括椎管轮廓的第一图像掩码、包括脊髓圆锥轮廓的第二图像掩码和包括各个椎体的轮廓的第三图像掩码；对比第一图像掩码、第二图像掩码和第三图像掩码，以识别目标样本中的脊髓圆锥末端、骶椎和腰椎。其中，图像掩码即：记录有轮廓坐标位置的二值图像。
可见，本实施例在获取到胎儿骶尾段脊柱矢状切面的超声图像后，能够利用预先训练完成的深度学习神经网络模型自动对该超声图像进行评估，以得到该超声图像的切面评估结果；若切面评估结果符合预设要求，则表明该超声图像中的胎儿骶尾段脊柱矢状切面足够清晰、解剖结构足够完整，大概率能够清晰看见脊髓圆锥，因此基于深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注出脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像。可见，该方案能够自动在超声图像中识别并标注脊髓圆锥末端、骶椎和腰椎，因此所得到的带标注的超声图像可以帮助医生辅助判断脊髓圆锥末端的位置，提高了检查的准确性和效率。
请参见图3，图3为本申请实施例提供的另一种超声图像处理方法流程图。如图3所示，该超声图像处理方法用于胎儿超声检测过程中，具体可以包括以下步骤：
S301、获取胎儿骶尾段脊柱矢状切面的超声图像。
S302、将超声图像输入预先训练完成的深度学习神经网络模型，得到超声图像的切面评估结果。
S303、判断该切面评估结果是否符合预设要求；若是，则执行S304；若否，则丢弃该超声图像。
S304、判断该切面评估结果是否优于前一切面评估结果；若是，则执行S305；若否，则丢弃该超声图像。
其中，“前一切面评估结果”指：前一个符合预设要求的切面评估结果，也即：经过S303和S304步骤处理后，没有被丢弃的超声图像对应的切面评估结果。
S305、基于深度学习神经网络模型识别到的超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像。
本实施例提供的方法用于胎儿超声检测过程中，通过不断获取胎儿骶尾段脊柱矢状切面的超声图像，来得到相对清晰且准确的带标注的超声图像，以帮助医生辅助判断脊髓圆锥末端的位置。也即：超声设备最终扫查得到的带标注的超声图像是整个检测过程中最清晰且准确的。
可见，为了得到标注效果最佳的超声图像，可以基于切面评估结果从一段超声影像的多个超声图像中选择切面评估结果最好的一个超声图像。例如：从超声影像中截取得到10个超声图像，首先利用深度学习神经网络模型对这10个超声图像逐帧进行评估，若评估的当前超声图像的切面评估结果达到预设要求，表明为标准切面图像(即相应的切面得分大于阈值)，则将当前超声图像的切面评估结果与前一符合预设要求的切面评估结果进行比较，若当前超声图像的切面评估结果优于前一符合预设要求的切面评估结果，则执行S305，以对当前超声图像进行标注；否则，丢弃当前超声图像。如此循环，直至从这10个超声图像选择出最佳超声图像。此时，可以减少对不符合要求的超声图像进行标注，因此可以节约计算资源。
此外，还可以针对前后两次扫查获得的同一部位的超声影像(即超声视频)进行切面评估结果的比较。例如：模型从第一段超声影像中筛选获得最佳的标准切面图像(记为标准切面图像1)，从第二段超声影像中也筛选获得最佳的标准切面图像(记为标准切面图像2)，此时可以比较标准切面图像1和标准切面图像2的切面评估结果(即切面得分)，如果标准切面图像2的切面得分大于标准切面图像1的切面得分，则用标准切面图像2替换标准切面图像1；若小于，则保留标准切面图像1为当前扫查部位的最佳标准切面图像。据此，可以从两段或多段超声影像中筛选出最佳的标准切面进行标注。
可见，本实施例能够在超声检测过程中，在超声图像中自动识别并标注脊髓圆锥末端、骶椎和腰椎，且能够选择最清晰且准确的带标注超声图像输出，用以帮助医生辅助判断脊髓圆锥末端的位置，提高了检查的准确性和效率。
基于上述实施例，需要说明的是，胎儿发育晚期，骶尾段脊柱末端(即脊柱尾部)与脊髓圆锥末端之间的椎体个数不会少于6个，因此基于带标注的超声图像，可以确定超声图像中的骶尾段脊柱末端与脊髓圆锥末端之间的椎体个数；若椎体个数少于预设阈值(如：6)，则生成告警提示信息。
其中，为精准识别超声图像中的各个椎体和脊髓圆锥末端，可以使深度学习神经网络模型借助其他手段进行标注位置的修正。例如：可以计算相邻两个椎体之间的距离，若该距离超过正常值，则可以认为这两个椎体之间可能漏掉了一个或几个椎体。或者，借助超声图像中椎管里的暗区识别并修正脊髓圆锥的轮廓。脊髓圆锥在椎管中，且脊髓圆锥在超声图像中属于暗区。
基于上述实施例，需要说明的是，若深度学习神经网络模型对于超声图像的标注存在明显错误，那么还可以由超声医生手动进行标注或修改，因此在得到带标注的超声图像之后，还包括：若接收到修改指令，则根据修改指令修改带标注的超声图像中的脊髓圆锥末端、骶椎和腰椎的标注位置。
其中，对于脊髓圆锥末端、骶椎和腰椎等的标注，可以如图2所示，也可以是文字、声音等。
请参见图4，图4为本申请实施例提供的一种深度学习神经网络模型训练方法流程图。如图4所示，该方法具体可以包括以下步骤：
S401、获取训练集。
其中，训练集中包括多个胎儿骶尾段脊柱矢状切面的超声图像，有的是标准切面训练样本，其中标注有：脊髓圆锥末端、骶椎及腰椎的轮廓、切面类别和切面得分等信息；有的是非标准切面训练样本，比如只呈现出脊柱模糊结构的图像样本(如图5)，其中可标注有：切面类别、覆盖脊柱结构的矩形框以及切面得分。这两种样本供模型学习对超声图像的切面评估能力，即分类超声图像以及定位目标组织的能力。
其中，切面类别可以分为标准切面和非标准切面。比如：图2示意了“胎儿脊柱矢状切面标准切面”，图5示意了“胎儿脊柱矢状切面非标准切面”。
S402、从训练集中获取目标样本；目标样本包括上述的标准切面训练样本和非标准切面训练样本。
在一种具体实施方式中，从训练集中获取目标样本之前，还包括：对训练集中的每个目标样本进行规范化处理。其中，规范化处理包括：中心化、标准化、归一化处理等，以规范样本图像的风格，去除其中不必要的干扰信息，比如噪声信息，同时减少图像风格差异的影响，从而有利于规范化模型输入，提高模型精度。
在一种具体实施方式中，对训练集中的每个目标样本进行规范化处理之后，还包括：对规范化处理后的任意目标样本进行平移、旋转或缩放，以扩增样本数量，增加样本数量。
S403、将目标样本输入初始模型进行训练，得到预先训练完成的神经网络模型。
在一种具体实施方式中，将目标样本输入初始模型，可得到目标样本的切面分类结果和感兴趣区域分割结果，具体过程包括：利用初始模型提取目标样本中的图像特征，基于图像特征确定感兴趣区域，基于感兴趣区域输出切面分类结果和感兴趣区域分割结果。其中，上述切面分类结果包括标准切面和非标准切面的分类类别，上述目标感兴趣区域分割结果是在切面分类结果为标准切面时，对于感兴趣区域的分割结果。
训练过程中，统计与上述切面分类结果对应的切面识别损失，以及与上述分割结果对应的定位损失；其中，切面识别损失包括计算边界框损失和分类损失，定位损失包括分割损失和关键点距离损失。将有关损失进行联合加权，得到综合损失，并基于综合损失进行梯度反向传播。若综合损失不符合模型收敛条件，则基于综合损失更新初始模型的模型参数，并从训练集中获取新的目标样本，以对更新后的初始模型进行迭代训练，直至综合损失符合模型收敛条件。
随着模型训练的进行，初始模型的综合损失逐渐减少，直到收敛，模型停止训练，此时保留最优模型参数，对应的模型即为上述预先训练完成的深度学习神经网络模型。
可见，按照本实施例提供的方案，可以训练得到用于识别并标注超声图像的深度学习神经网络模型，训练完成的深度学习神经网络模型可以部署于超声设备中，以便进行胎儿超声检测时使用。当然，该模型也可以对超声设备存储的历史图像进行识别和标注。
请参见图6，图6为本申请实施例提供的一种超声图像处理装置示意图，包括：
获取模块601，用于获取胎儿骶尾段脊柱矢状切面的超声图像；
评估模块602，用于将超声图像输入预先训练完成的深度学习神经网络模型，得到超声图像的切面评估结果；
识别标注模块603，用于若切面评估结果符合预设要求，则基于深度学习神经网络模型识别到的超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像。
在一种具体实施方式中，还包括：
椎体个数统计模块，用于确定超声图像中的骶尾段脊柱末端与脊髓圆锥末端之间的椎体个数；若椎体个数少于预设阈值，则生成告警提示信息。
在一种具体实施方式中，获取模块具体用于：
获取胎儿超声检测过程中的超声影像，从超声影像中截取超声图像。
在一种具体实施方式中，还包括：
对比模块，用于对比切面评估结果与前一切面评估结果；若切面评估结果优于前一切面评估结果，则执行基于深度学习神经网络模型识别到的超声图像中的脊髓圆锥末端、骶椎和腰椎，在超声图像中标注脊髓圆锥末端、骶椎和腰椎，得到带标注的超声图像的步骤。
在一种具体实施方式中，还包括：
修正模块，用于若接收到修改指令，则根据修改指令修改带标注的超声图像中的脊髓圆锥末端、骶椎和腰椎的标注位置。
在一种具体实施方式中，还包括模型训练模块，用于训练得到深度学习神经网络模型，该模型训练模块包括：
获取单元，用于获取训练集，并从所述训练集中获取目标样本；其中，所述目标样本标注有切面类别和切面得分，且标注的切面类别为标准切面的所述目标样本还标注出脊髓圆锥末端、骶椎、腰椎的轮廓；
训练单元，用于将所述目标样本输入初始模型进行训练，得到所述预先训练完成的深度学习神经网络模型。
其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本实施例提供了一种超声图像处理装置，该装置能够自动在超声图像中识别并标注脊髓圆锥末端、骶椎和腰椎，因此所得到的带标注的超声图像可以帮助医生辅助判断脊髓圆锥末端的位置，提高了检查的准确性和效率。
进一步的，本申请实施例还提供了一种电子设备。其中，上述电子设备既可以是如图7所示的服务器50，也可以是如图8所示的终端60，比如超声诊断设备。图7和图8均是根据一示例性实施例示出的电子设备结构图，图中的内容不能被认为是对本申请的使用范围的任何限制。
图7为本申请实施例提供的一种服务器的结构示意图。该服务器50，具体可以包括：至少一个处理器51、至少一个存储器52、电源53、通信接口54、输入输出接口55和通信总线56。其中，所述存储器52用于存储计算机程序，所述计算机程序由所述处理器51加载并执行，以实现前述任一实施例公开的超声图像处理中的相关步骤。
本实施例中，电源53用于为服务器50上的各硬件设备提供工作电压；通信接口54能够为服务器50创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口55，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器52作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统521、计算机程序522及数据523等，存储方式可以是短暂存储或者永久存储。
其中，操作系统521用于管理与控制服务器50上的各硬件设备以及计算机程序522，以实现处理器51对存储器52中数据523的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序522除了包括能够用于完成前述任一实施例公开的超声图像处理方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据523除了可以包括超声图像等数据外，还可以包括模型的参数等数据。
图8为本申请实施例提供的一种终端的结构示意图，该终端60具体可以包括但不限于超声诊断设备、超声工作站、智能手机、平板电脑、笔记本电脑或台式电脑等。
通常，本实施例中的终端60包括有：处理器61和存储器62。
其中，处理器61可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器61可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器61也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器61可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器61还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器62可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器62还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器62至少用于存储以下计算机程序621，其中，该计算机程序被处理器61加载并执行之后，能够实现前述任一实施例公开的由终端侧执行的超声图像处理方法中的相关步骤。另外，存储器62所存储的资源还可以包括操作系统622和数据623等，存储方式可以是短暂存储或者永久存储。其中，操作系统622可以包括Windows、Unix、Linux等。数据623可以包括但不限于超声图像。
在一些实施例中，终端60还可包括有显示屏63、输入输出接口64、通信接口65、传感器66、电源67以及通信总线68。
本领域技术人员可以理解，图8中示出的结构并不构成对终端60的限定，可以包括比图示更多或更少的组件。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的超声图像处理方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
下面对本申请提供的深度学习神经网络模型的训练方法以及该模型的使用方法进行详细介绍。
1、深度学习神经网络模型的训练过程。
(1)样本的生成。
为了得到准确率较高的模型，需要依靠大量的样本。针对大量胎儿骶尾段脊柱矢状切面的超声图像，由专业医生按照图2或图5在超声图像上进行标注。若超声图像中的切面标准，则按照图2进行标注；否则，按照图5进行标注(即：仅用矩形框画出脊柱所在区域)。专业医生标注完成后，可以由权威主任医师对标注结果进行审核。由此可得到大量样本。
(2)样本的预处理。
对(1)中所得的各个样本进行裁剪，以去除不必要的干扰信息。缩小样本至规定大小，以规范化模型输入数据的尺寸。对样本进行归一化，以将样本的像素值归一化至0～1区间，提升收敛速度。
需要说明的是，如果输入模型的数据很大，在进行反向传播的时候传递到输入层的梯度就会变得很大，导致模型容易越过参数最优点。
将经过预处理的各个样本按8:1:1的比例随机划分训练集、验证集和测试集。此外可以对训练集、验证集做数据增广(以平移、旋转、缩放等操作即可实现)，以提高样本数量，解决小样本问题。
(3)确定模型结构，并利用模型处理样本，以训练模型。
建立基于实例分割的深度学习神经网络模型，可使用Mask R-CNN、Mask ScoringR-CNN、PA Net等模型。
请参见图9，图9示例了一种深度学习神经网络模型处理超声图像的流程。将样本输入给模型，首先由模型中的特征提取层从超声图像提取特征(包括深层次特征和边缘轮廓特征)，进而将深层次特征和边缘轮廓特征进行特征融合，之后基于融合后的特征确定感兴趣区域。基于该感兴趣区域，可分类当前超声图像，确定其中的脊髓圆锥轮廓、椎管轮廓、各个椎体的轮廓等，同时分别输出每个轮廓对应的图像掩码。其中，一次性可以给模型输入多个样本(例如：20个)。
在上述训练过程中，模型首先对样本进行分类，以确定该样本中的切面得分。根据阈值判断该切面是否标准，切面得分大于阈值，则切面是标准切面，切面得分低于阈值，则切面是非标准切面。如果确定样本中的切面是标准切面，则继续后续识别和标注步骤，并计算切面分类结果对应的切面识别损失和分割结果对应的定位损失来更新模型。如果确定样本中的切面是非标准切面，则无需执行标注步骤，只需计算切面分类结果对应的切面识别损失来更新模型参数。标注步骤能够对骶椎、腰椎及脊髓圆锥下缘进行标注，并给出脊髓圆锥末端相对于各个椎体的位置提示，提示不限于文字、符号或语音。
若本次处理了多个样本，则计算这些样本的切面分类结果对应的切面识别损失的平均损失，和/或分割结果对应的定位损失的平均损失，对所求得的平均损失联合加权，确定出一个综合损失，然后进行梯度反向传播，以更新模型的参数。
随着模型训练的进行，综合损失逐渐降低，直到收敛，模型停止训练，此时保留模型当前的参数，即可得到训练完成的模型。
2、深度学习神经网络模型的使用过程。
将训练完成的模型部署至超声设备。若对胎儿进行超声检测，则可以从超声影响中获取胎儿骶尾段脊柱矢状切面的超声图像，并将该超声图像输入给训练完成的模型。首先模型给出该超声图像的切面得分，若切面得分高于阈值，则对该超声图像进行标注；否则，丢弃该超声图像，重新选择一个超声图像。其中，还可以设置标注开关，若医生启动了该标注开关，再进行标注，从而实现一键标注。此外，还可以支持用户手动修改标注位置。
如果检测过程中得到了多个待标注的超声图像，那么选择切面得分最高的一个在超声设备上显示。
可见，在对胎儿进行超声检测的过程中，部署有训练完成的模型的超声设备能够自动获取胎儿骶尾段脊柱矢状标准切面，并自动对其中的骶椎、腰椎及脊髓圆锥下缘进行标注，据此标注可准确、快速地确定脊髓圆锥下缘与脊柱的位置，辅助医生的判断，提高医生的检查效率，提高检查的准确性。
需要指出的是，上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种超声图像处理方法，其特征在于，包括：
获取胎儿骶尾段脊柱矢状切面的超声图像；
将所述超声图像输入预先训练完成的深度学习神经网络模型，得到所述超声图像的切面评估结果；
若所述切面评估结果符合预设要求，则基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定所述超声图像中的骶尾段脊柱末端与所述脊髓圆锥末端之间的椎体个数；
若所述椎体个数少于预设阈值，则生成告警提示信息。
3.根据权利要求1所述的方法，其特征在于，所述获取胎儿骶尾段脊柱矢状切面的超声图像，包括：
获取胎儿超声检测过程中的超声影像，从所述超声影像中截取所述超声图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像之前，还包括：
对比所述切面评估结果与前一切面评估结果；
若所述切面评估结果优于所述前一切面评估结果，则执行所述基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像的步骤。
5.根据权利要求1所述的方法，其特征在于，所述得到带标注的超声图像之后，还包括：
若接收到修改指令，则根据所述修改指令修改所述带标注的超声图像中的脊髓圆锥末端、骶椎和腰椎的标注位置。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述深度学习神经网络模型的训练过程，包括：
获取训练集，并从所述训练集中获取目标样本；其中，所述目标样本标注有切面类别和切面得分，且标注的切面类别为标准切面的所述目标样本还标注出脊髓圆锥末端、骶椎、腰椎的轮廓；
将所述目标样本输入初始模型进行训练，得到所述预先训练完成的深度学习神经网络模型。
7.一种超声图像处理装置，其特征在于，包括：
获取模块，用于获取胎儿骶尾段脊柱矢状切面的超声图像；
评估模块，用于将所述超声图像输入预先训练完成的深度学习神经网络模型，得到所述超声图像的切面评估结果；
识别标注模块，用于若所述切面评估结果符合预设要求，则基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像。
8.根据权利要求7所述的装置，其特征在于，还包括：
椎体个数统计模块，用于确定所述超声图像中的骶尾段脊柱末端与所述脊髓圆锥末端之间的椎体个数；若所述椎体个数少于预设阈值，则生成告警提示信息。
9.根据权利要求7所述的装置，其特征在于，所述获取模块具体用于：
获取胎儿超声检测过程中的超声影像，从所述超声影像中截取所述超声图像。
10.根据权利要求7所述的装置，其特征在于，还包括：
对比模块，用于对比所述切面评估结果与前一切面评估结果；若所述切面评估结果优于所述前一切面评估结果，则执行所述识别标注模块中所述的基于所述深度学习神经网络模型识别到的所述超声图像中的脊髓圆锥末端、骶椎和腰椎，在所述超声图像中标注出所述脊髓圆锥末端、所述骶椎和所述腰椎，得到带标注的超声图像的步骤。
11.根据权利要求7所述的装置，其特征在于，还包括：
修正模块，用于若接收到修改指令，则根据所述修改指令修改所述带标注的超声图像中的脊髓圆锥末端、骶椎和腰椎的标注位置。
12.根据权利要求7至11任一项所述的装置，其特征在于，还包括：
用于训练深度学习神经网络模型的模型训练模块，所述模型训练模块包括：
获取单元，用于获取训练集，并从所述训练集中获取目标样本；其中，所述目标样本标注有切面类别和切面得分，且标注的切面类别为标准切面的所述目标样本还标注出脊髓圆锥末端、骶椎、腰椎的轮廓；
训练单元，用于将所述目标样本输入初始模型进行训练，得到所述预先训练完成的深度学习神经网络模型。
13.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的方法。
14.根据权利要求13所述的电子设备，其特征在于，所述电子设备为超声诊断设备或超声工作站。
15.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至6任一项所述的方法。
CN202111051104.1A 2021-09-08 2021-09-08 一种超声图像处理方法、装置、设备及存储介质 Pending CN113537408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111051104.1A CN113537408A (zh) 2021-09-08 2021-09-08 一种超声图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111051104.1A CN113537408A (zh) 2021-09-08 2021-09-08 一种超声图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113537408A true CN113537408A (zh) 2021-10-22

Family

ID=78093089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111051104.1A Pending CN113537408A (zh) 2021-09-08 2021-09-08 一种超声图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113537408A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115399874A (zh) * 2022-08-08 2022-11-29 中欧智薇(上海)机器人有限公司 椎弓根螺钉的最优植入路径规划方法、装置及电子设备
CN116385756A (zh) * 2022-12-19 2023-07-04 中国医学科学院北京协和医院 基于增强标注和深度学习的医学图像识别方法及相关装置
WO2023197924A1 (zh) * 2022-04-14 2023-10-19 深圳市第二人民医院(深圳市转化医学研究院) 一种基于三维超声的智能化脊柱侧弯Cobb角测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105433988A (zh) * 2015-12-28 2016-03-30 深圳开立生物医疗科技股份有限公司 一种目标图像识别方法、装置及其超声设备
CN110033020A (zh) * 2019-03-07 2019-07-19 李胜利 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别系统
WO2020133236A1 (zh) * 2018-12-28 2020-07-02 深圳迈瑞生物医疗电子股份有限公司 一种脊柱的成像方法以及超声成像系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105433988A (zh) * 2015-12-28 2016-03-30 深圳开立生物医疗科技股份有限公司 一种目标图像识别方法、装置及其超声设备
WO2020133236A1 (zh) * 2018-12-28 2020-07-02 深圳迈瑞生物医疗电子股份有限公司 一种脊柱的成像方法以及超声成像系统
CN110033020A (zh) * 2019-03-07 2019-07-19 李胜利 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023197924A1 (zh) * 2022-04-14 2023-10-19 深圳市第二人民医院(深圳市转化医学研究院) 一种基于三维超声的智能化脊柱侧弯Cobb角测量方法
CN115399874A (zh) * 2022-08-08 2022-11-29 中欧智薇(上海)机器人有限公司 椎弓根螺钉的最优植入路径规划方法、装置及电子设备
CN116385756A (zh) * 2022-12-19 2023-07-04 中国医学科学院北京协和医院 基于增强标注和深度学习的医学图像识别方法及相关装置
CN116385756B (zh) * 2022-12-19 2023-10-17 中国医学科学院北京协和医院 基于增强标注和深度学习的医学图像识别方法及相关装置

Similar Documents

Publication Publication Date Title
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN108665456B (zh) 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN110458883B (zh) 一种医疗影像的处理系统、方法、装置和设备
CN113537408A (zh) 一种超声图像处理方法、装置、设备及存储介质
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
CN112489005B (zh) 骨分割方法及装置、骨折检出方法及装置
CN110929728B (zh) 一种图像感兴趣区域划分方法、图像分割方法及装置
CN112184657A (zh) 一种肺结节自动检测方法、装置及计算机系统
EP1501048B1 (en) Method of segmenting a radiographic image into diagnostically relevant and diagnostically irrelevant regions
EP4198819A1 (en) Method for detecting and classifying lesion area in clinical image
US20090252429A1 (en) System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing
CN110136153B (zh) 一种图像处理方法、设备及存储介质
CN110110723B (zh) 一种图像中目标区域自动提取的方法及装置
CN112884775B (zh) 一种分割方法、装置、设备及介质
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
CN112132854B (zh) 图像分割的方法及装置，以及电子设备
CN110880177A (zh) 一种图像识别方法及装置
CN107169975B (zh) 超声图像的分析方法及装置
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN112508941A (zh) 三维超声扫描完整性检测方法及装置
CN111062953A (zh) 一种超声图像中甲状旁腺增生的识别方法
CN112907581A (zh) 一种基于深度学习的mri多类脊髓肿瘤分割方法
CN114037665A (zh) 下颌神经管的分割方法、装置、电子设备及存储介质
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN111445456B (zh) 分类模型、网络模型的训练方法及装置、识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination