CN112288733A - 一种肌肉超声图像检测方法、系统、终端以及存储介质 - Google Patents

一种肌肉超声图像检测方法、系统、终端以及存储介质 Download PDF

Info

Publication number
CN112288733A
CN112288733A CN202011230395.6A CN202011230395A CN112288733A CN 112288733 A CN112288733 A CN 112288733A CN 202011230395 A CN202011230395 A CN 202011230395A CN 112288733 A CN112288733 A CN 112288733A
Authority
CN
China
Prior art keywords
image
muscle
detected
swe
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011230395.6A
Other languages
English (en)
Inventor
肖杨
张湘楠
张世全
王丛知
马腾
郑海荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011230395.6A priority Critical patent/CN112288733A/zh
Priority to PCT/CN2020/139413 priority patent/WO2022095254A1/zh
Publication of CN112288733A publication Critical patent/CN112288733A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0858—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving measuring tissue layers, e.g. skin, interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4411—Device being modular
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请实施例涉及一种肌肉超声图像检测方法、系统、终端以及存储介质。包括：动态采集被检测者待测部位的肌肉超声图像；分别获取B‑mode图像序列和SWE图像序列中的ROI区域，将SWE图像序列和B‑mode图像序列的ROI区域的像素值一对一相减，得到原始弹性图像；将原始弹性图像输入训练好的3D‑ResNet网络，通过3D‑ResNet网络输出被检测者待测部位的肌肉检测结果。本申请使用3D神经网络对弹性图像序列进行识别分类，保留了时间维度信息的同时，可以自动分析随时间变化的图像特征以及图像本身的特征信息，使检测结果更加客观准确。

Description

一种肌肉超声图像检测方法、系统、终端以及存储介质
技术领域
本申请属于肌肉超声图像检测技术领域，特别涉及一种肌肉超声图像检测方法、系统、终端以及存储介质。
背景技术
医学超声检测是一种基于超声波(超声)的医学影像学诊断技术，使肌肉和内脏器官(包括其大小、结构和病理学病灶)可视化，在临床上具有重要意义。以肌肉超声检测为例，多种研究表明，医学影像学诊断技术在肌萎缩等疾病的评估中起着重要作用，但它的局限性在于不能评估肌肉体内的生物力学特性。传统的超声弹性成像技术虽然也可以评估肌肉组织力学特性，但它的缺陷在于：一维弹性成像技术只能测量出组织的平均弹性模量值，无法对组织弹性进行定量测量，缺乏客观性和可重复性；准静态弹性成像技术只能给出一个相对的二维伪彩位移/应变图，无法给出组织局部硬度的具体数值。
超声剪切波弹性成像技术是近年来评估生物力学特性的新兴技术，其基本原理是：超声探头发射的声脉冲在组织不同深度聚焦产生横向剪切波，通过定量分析系统可以计算反应组织内剪切波传播速度的物理量—杨氏模量值。杨氏模量值与剪切波传播速度间的关系为：E＝3ρc2(E:杨氏模量；c:剪切波传播速度；ρ：组织密度)。组织越硬，密度越大，剪切波传播速度越大，杨氏模量值就越大。该项技术突破了传统超声弹性成像技术的局限性，实现了对组织弹性真正的定量测量。但由于肌肉组织的结构与乳腺、甲状腺等组织不同，其硬度会随着肌力变化而改变，根据剪切波弹性成像骨骼肌的研究表明，在松弛位的状态下，健康的肌肉和萎缩的肌肉硬度变化不明显。而当肌肉从松弛状态被动拉伸到张力状态时，两组之间的硬度差异会显著增加，无法检测出肌肉的健康状态。
发明内容
本申请提供了一种肌肉超声图像检测方法、系统、终端以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种肌肉超声图像检测方法，包括：
动态采集被检测者待测部位的肌肉超声图像，其中，所述肌肉超声图像包括被检测者待测部位在被动拉伸过程中的B-mode图像序列和SWE图像序列；
分别获取所述B-mode图像序列和SWE图像序列中的ROI区域，将所述SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到所述被检测者待测部位的原始弹性图像；
将所述原始弹性图像输入训练好的3D-ResNet网络，通过所述3D-ResNet网络输出被检测者待测部位的肌肉检测结果。
本申请实施例采取的技术方案还包括：所述动态采集被检测者待测部位的肌肉超声图像包括：
使所述被检测者待测部位做被动拉伸；
使用超声成像系统的B-mode模式连续采集所述被测部位在被动拉伸过程中的B-mode图像序列，同时，利用超声成像系统的剪切波弹性成像模式采集所述被测部位在被动拉伸过程中的SWE图像序列。
本申请实施例采取的技术方案还包括：所述得到所述被检测者待测部位的原始弹性图像包括：
将所述B-mode图像序列和SWE图像序列分别进行分帧操作，从所述分帧后的图片中等间距各抽取预设数量的B-mode图像帧和SWE图像帧；
分别从每张B-mode图像帧和SWE图像帧中剪裁出ROI区域；
将所述SWE图像帧的ROI区域与所述B-mode图像帧的ROI区域的像素值一对一相减，得到所述被检测者被测部位的原始弹性图像。
本申请实施例采取的技术方案还包括：所述得到所述被检测者待测部位的原始弹性图像还包括：
将所述原始弹性图像进行尺寸归一化。
本申请实施例采取的技术方案还包括：所述将所述原始弹性图像输入训练好的3D-ResNet网络还包括：
获取预设数量的受试者的原始弹性图像，根据所述受试者的原始弹性图像制作模型训练的样本集，通过所述样本集对所述3D-ResNet网络进行训练。
本申请实施例采取的技术方案还包括：所述对所述3D-ResNet网络进行训练包括：
所述3D-ResNet网络包括卷积层、最大池化层、残差块和连接层，所述卷积层采用7*7*7的卷积核对输入图像进行卷积操作，提取所述输入图像的特征图；所述最大池化层采用3*3*3的卷积核对所述特征图进行下采样操作后，输入至残差块进行学习；所述特征图经过残差块之后到达所述全连接层进行特征结合，并输出预测结果。
本申请实施例采取的技术方案还包括：对所述3D-ResNet网络进行训练还包括：
将所述预测结果与实际检测结果进行对比，将预测结果分为真正类TP、假正类FP、真负类TN和假负类FN，并计算准确率Accuracy、精准率Precision、召回率Recall、负例的覆盖率Specificity和f1-score分数指标，对所述模型预测结果进行评估；其中，精准率代表正确预测为正占全部预测为正的比例，召回率指正确预测为正占全部正样本的比例，各指标计算公式为：
Figure BDA0002764999970000041
Figure BDA0002764999970000042
Figure BDA0002764999970000043
Figure BDA0002764999970000044
Figure BDA0002764999970000045
本申请实施例采取的另一技术方案为：一种肌肉超声图像检测系统，包括：
图像获取模块：用于动态采集被检测者待测部位的肌肉超声图像，其中，所述肌肉超声图像包括被检测者待测部位在被动拉伸过程中的B-mode图像序列和SWE图像序列；
图像预处理模块：用于分别获取所述B-mode图像序列和SWE图像序列中的ROI区域，将所述SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到所述被检测者待测部位的原始弹性图像；
图像检测模块：用于将所述原始弹性图像输入训练好的3D-ResNet网络，通过所述3D-ResNet网络输出被检测者待测部位的肌肉检测结果。
本申请实施例采取的又一技术方案为：一种终端，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现所述肌肉超声图像检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制肌肉超声图像检测。
本申请实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述肌肉超声图像检测方法。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的肌肉超声图像检测方法、系统、终端及存储介质使用超声剪切波弹性成像技术动态地采集受试者的肌肉弹性图像，并使用3D-ResNet对动态肌肉弹性图像进行识别分类，保留了时间维度信息的同时，可以自动分析随时间变化的图像特征以及图像本身的特征信息，使图像检测结果更加客观准确。本申请实施例扩展了剪切波超声弹性成像技术新的应用领域，为肌萎缩疾病的评估提供了新的视角。
附图说明
图1是本申请第一实施例的肌肉超声图像检测方法的流程图；
图2是本申请第二实施例的肌肉超声图像检测方法的流程图；
图3是本申请实施例采集的B-mode图像序列和弹性图像序列示意图；
图4是本申请实施例原始弹性图像获取方式示意图；
图5是本申请实施例对B-mode图像序列和弹性图像序列进行分帧操作后的图片示意图；
图6是本申请实施例截取的ROI区域示意图；
图7是本申请实施例获取到的原始弹性图像示意图；
图8是本申请实施例二维与三维卷积核的对比示意图；
图9为本申请实施例的3D-ResNet网络结构示意图；
图10为本申请实施例的肌肉超声图像检测系统结构示意图；
图11为本申请实施例的终端结构示意图；
图12为本申请实施例的存储介质的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的肌肉超声图像检测方法的流程图。本申请实施例的肌肉超声图像检测方法包括以下步骤：
S1：动态采集被检测者待测部位的肌肉超声图像，其中，所述肌肉超声图像包括被检测者待测部位在被动拉伸过程中的B-mode(实时黑白)图像序列和SWE(ShearWaveElastography,剪切波弹性成像模式)图像序列；
本步骤中，肌肉超声图像的采集方式具体为：被检测者采取仰卧位，通过等速肌力训练系统对被检测者的被测部位进行固定，在被检测者完全放松且无任何主力或阻力的状态下，等速肌力训练系统带动被测部位匀速被动运动，使被检测者的被测部位做被动拉伸；在被动拉伸过程中，使用超声成像系统的B-mode模式连续采集被测部位的B-mode图像序列，获得该被测部位的肌肉组织在被动拉伸过程中的结构形态变化，同时，利用超声成像系统的剪切波弹性成像模式采集该被测部位的SWE图像序列，获得该部位的肌肉组织在被动拉伸过程中的不同弹性图像序列。
S2：分别获取B-mode图像序列和SWE图像序列中的ROI(region of interest，感兴趣区域)区域，并将SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到消除背景像素的原始弹性图像；
本步骤中，原始弹性图像的获取方式具体为：首先，使用opencv将B-mode图像序列和SWE图像序列分别进行分帧操作，从分帧后的图片中等间距各抽取预设数量的B-mode图像帧和SWE图像帧；然后，分别从每张B-mode图像帧和SWE图像帧中剪裁出ROI区域；最后，通过用SWE图像帧的ROI区域与B-mode图像帧的ROI区域的像素值一对一相减，即可得到被检测者被测部位的原始弹性图像，并对原始弹性图像进行尺寸归一化。
S3：将原始弹性图像输入训练好的3D-ResNet网络，通过3D-ResNet网络输出被检测者待测部位的肌肉检测结果。
进一步地，请参阅图2，是本申请实施例的3D-ResNet网络训练过程示意图。以腓肠肌的肌肉超声图像作为训练样本为例，本申请实施例的3D-ResNet网络训练过程包括以下步骤：
S10：采用等速肌力训练系统带动多个受试者的踝关节进行匀速被动拉伸，并采用超声成像系统同步获取踝关节在被动拉伸过程中的B-mode图像序列和SWE图像序列；
本步骤中，受试者数量一共为203例，其中，正常受试者为123例，肌萎缩患者为80例。踝关节的B-mode图像序列和SWE图像序列获取方式具体为：受试者采取仰卧位，将受试者的右脚(或左脚)固定在等速肌力训练系统的踏板上，在受试者完全放松小腿肌肉无任何主力或阻力的状态下，等速肌力训练系统带动踝关节从跖屈40°到背屈40°匀速被动运动，牵引受试者的腓肠肌做被动拉伸；在被动拉伸过程中，使用超声成像系统的B-mode模式连续采集腓肠肌结构的B-mode图像序列，获得肌肉组织在被动拉伸过程中的结构形态变化，同时，利用超声成像系统的剪切波弹性成像模式同步采集该腓肠肌的SWE图像序列，获得肌肉组织在被动拉伸过程中的不同弹性图像序列。采集的B-mode图像序列和SWE图像序列如图3所示，其中，左侧为B-mode图像序列，右侧为SWE图像序列，SWE图像序列即为在B-mode图像序列基础上叠加了彩色图。本申请实施例中，B-mode图像序列和SWE图像序列的成像区域分别为13mm*7mm，序列时长为28s～32s，具体可根据实际场景进行设置。
基于上述，本申请实施例采用超声剪切波弹性成像技术获取骨骼肌的弹性图像序列，相较于肌电图、CT或MRI，更加方便快速，具有实时性，且能定量评估肌肉的硬度。可以理解，动态采集受试者的弹性图像序列时，受试者的关节运动方式及其变化范围可以根据实际情况进行调整。对头颈肌、躯干肌等其他骨骼肌进行检测时，可以采用其他方式动态采集受试者的弹性图像序列。
S20：分别获取每个受试者的B-mode图像序列和SWE图像序列中的ROI(region ofinterest，感兴趣区域)区域，并将每个受试者的SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到每个受试者的消除背景像素的原始弹性图像，将多个受试者的原始弹性图像作为训练模型的样本集；
本步骤中，原始弹性图像的获取方式如图4所示。具体获取方式为：首先，使用opencv将每个受试者的B-mode图像序列和SWE图像序列分别进行分帧操作，分帧后的图片如图5所示；由于每个受试者的B-mode图像序列和SWE图像序列的视频长度不同，因此分帧后的图片总数也不相同，为了能准确反映肌肉弹性变化并简化计算量，从每个受试者分帧后的图片中等间距各抽取预设数量(本申请优选设定为35帧，具体可根据应用场景进行调节)的B-mode图像帧和SWE图像帧，然后，分别从每张B-mode图像帧和SWE图像帧中剪裁出ROI区域(剪裁的ROI区域如图6所示，其中，左侧图片中的方框为B-mode图像帧的ROI区域，右侧图片中的方框为SWE图像帧的ROI区域)，由于SWE图像帧的ROI区域为彩色图与背景灰度的叠加，需要减去背景灰色像素，因此，本申请实施例通过用SWE图像帧的ROI区域与B-mode图像帧的ROI区域的像素值一对一相减，减去左侧的灰色内容，即可得到每个受试者的35张消除背景像素的原始弹性图像；最后，将所有原始弹性图像尺寸归一化为64*64。获取到的原始弹性图像如图7所示。
通过上述方式获取203例受试者的原始弹性图像，将203例受试者的原始弹性图像作为训练模型的样本集，每个样本数据中分别包括每个受试者的35张原始弹性图像。
S30：按照预设比例将获取到的原始弹性图像划分为训练集和测试集，并打好标签后，将训练集输入3D-ResNet网络进行训练；
本步骤中，ResNet的基本思想是提出一个残差学习结构，将需要学习的函数H(x)变为F(x)+x，以简化拟合函数的求解。根据图像中的残差向量编码，通过一个重制，将一个问题分解成多尺度的残差问题，以解决深度网络训练优化难的问题。
由于视频数据是由一帧一帧的图像组成，如果使用二维神经网络对视频数据进行训练，会丢失掉时间维度的信息，因此，本申请实施例在ResNet网络基础上使用3D卷积核代替二维卷积核，构建3D-ResNet网络，能够在对输入的弹性图像直接进行卷积特征提取的同时，也对时间维度信息进行提取，从而更好地还原视频数据。二维与三维卷积核的对比如图8所示。
请参阅图9，为本申请实施例的3D-ResNet网络结构示意图。首先，将203例受试者的原始弹性图像样本集按照7：3的比例(具体比例可根据实际操作进行设定)划分为训练集和测试集并将数据打上标签后，输入3D-ResNet网络中进行训练；3D-ResNet网络包括卷积层、最大池化层、多个残差块和连接层，卷积层采用7*7*7的卷积核对输入图像进行卷积操作，提取到输入图像的特征图，最大池化层采用3*3*3的卷积核对特征图进行下采样操作后，输入至残差块进行学习，特征图经过各个残差块之后到达全连接层进行特征结合，并输出预测结果。可以理解，3D-ResNet网络的层数或卷积核大小可根据应用场景进行更改。
基于上述，本申请实施例通过在卷积神经网络的基础上引入残差连接，并采用3D卷积核代替二维卷积核，构建3D-ResNet网络，采用3D-ResNet网络自动分析随时间变化的图像特征以及图像本身的特征信息，无需人为提取和筛选特征，能够在深层次的卷积神经网络训练时解决其性能退化的问题，使检测结果更加客观准确。且残差连接可以加深深度网络的收敛，并通过大幅度提高网络深度来保持准确率的提高。
S40：对3D-ResNet网络进行参数优化及模型评估；
本申请实施例中，在二分类的问题上，准确率(Accuracy)指标并不能做到综合评估模型的性能，还可能存在着漏检和错误识别的情况，因此评估指标还需要考虑精准率和召回率等指标。本申请实施例在模型评估时，将模型预测结果与医生给出的诊断结果进行对比，将测试结果分为真正类(TruePositive，TP)、假正类(False Positive,FP)、真负类(True Negative,TN)和假负类(False Negative,FN)，由这四类情况计算准确率、精准率(Precision)、召回率(Recall)、负例的覆盖率(Specificity)和f1-score(分数)等指标对模型的预测结果进行评估，其中精准率代表正确预测为正占全部预测为正的比例；召回率指正确预测为正占全部正样本的比例，各指标计算公式如下：
Figure BDA0002764999970000111
Figure BDA0002764999970000112
Figure BDA0002764999970000121
Figure BDA0002764999970000122
Figure BDA0002764999970000123
通过测试集对训练好的模型性能进行评估，评估结果如下表1所示：
表1模型评估结果
指标 Accuracy Precision Recall Specificity F1-Score
值 86.89％ 96.97％ 82.05％ 95.45％ 88.89％
评估结果表明，本申请实施例的3D-ResNet网络准确率可达到86.89％，检测结果更加客观准确。
基于上述，本申请实施例的肌肉超声图像检测方法使用超声剪切波弹性成像技术动态地采集受试者的肌肉弹性图像序列，获取肌肉组织硬度的变化序列图，并使用3D-ResNet对弹性图像序列进行识别分类，保留了时间维度信息的同时，可以自动分析随时间变化的图像特征以及图像本身的特征信息，无需人为提取和筛选特征，能够实时且能定量评估肌肉的硬度，使检测结果更加客观准确。本申请实施例扩展了剪切波超声弹性成像技术新的应用领域，为肌肉超声图像检测提供了新的视角。
请参阅图10，是本申请实施例的肌肉超声图像检测系统的结构图。本申请实施例的肌肉超声图像检测系统40包括：
图像获取模块41：用于获取被检测者待测部位的肌肉超声图像，其中，所述肌肉超声图像包括被检测者待测部位在被动拉伸过程中的B-mode图像序列和SWE图像序列；
图像预处理模块42：用于分别获取B-mode图像序列和SWE图像序列中的ROI区域，并将SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到消除背景像素的原始弹性图像；
图像检测模块43：用于将原始弹性图像输入训练好的3D-ResNet网络，通过3D-ResNet网络输出被检测者待测部位的肌肉检测结果。
请参阅图11，为本申请实施例的终端结构示意图。该终端50包括处理器51、与处理器51耦接的存储器52。
存储器52存储有用于实现上述肌肉超声图像检测方法的程序指令。
处理器51用于执行存储器52存储的程序指令以控制肌肉超声图像检测。
其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参阅图12，为本申请实施例的存储介质的结构示意图。本申请实施例的存储介质存储有能够实现上述所有方法的程序文件61，其中，该程序文件61可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种肌肉超声图像检测方法，其特征在于，包括：
动态采集被检测者待测部位的肌肉超声图像，其中，所述肌肉超声图像包括被检测者待测部位在被动拉伸过程中的B-mode图像序列和SWE图像序列；
分别获取所述B-mode图像序列和SWE图像序列中的ROI区域，将所述SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到所述被检测者待测部位的原始弹性图像；
将所述原始弹性图像输入训练好的3D-ResNet网络，通过所述3D-ResNet网络输出被检测者待测部位的肌肉检测结果。
2.根据权利要求1所述的肌肉超声图像检测方法，其特征在于，所述动态采集被检测者待测部位的肌肉超声图像包括：
使所述被检测者待测部位做被动拉伸；
使用超声成像系统的B-mode模式连续采集所述被测部位在被动拉伸过程中的B-mode图像序列，同时，利用超声成像系统的剪切波弹性成像模式采集所述被测部位在被动拉伸过程中的SWE图像序列。
3.根据权利要求2所述的肌肉超声图像检测方法，其特征在于，所述得到所述被检测者待测部位的原始弹性图像包括：
将所述B-mode图像序列和SWE图像序列分别进行分帧操作，从所述分帧后的图片中等间距各抽取预设数量的B-mode图像帧和SWE图像帧；
分别从每张B-mode图像帧和SWE图像帧中剪裁出ROI区域；
将所述SWE图像帧的ROI区域与所述B-mode图像帧的ROI区域的像素值一对一相减，得到所述被检测者被测部位的原始弹性图像。
4.根据权利要求3所述的肌肉超声图像检测方法，其特征在于，所述得到所述被检测者待测部位的原始弹性图像还包括：
将所述原始弹性图像进行尺寸归一化。
5.根据权利要求1至4任一项所述的肌肉超声图像检测方法，其特征在于，所述将所述原始弹性图像输入训练好的3D-ResNet网络还包括：
获取预设数量的受试者的原始弹性图像，根据所述受试者的原始弹性图像制作模型训练的样本集，通过所述样本集对所述3D-ResNet网络进行训练。
6.根据权利要求5所述的肌肉超声图像检测方法，其特征在于，所述对所述3D-ResNet网络进行训练包括：
所述3D-ResNet网络包括卷积层、最大池化层、残差块和连接层，所述卷积层采用7*7*7的卷积核对输入图像进行卷积操作，提取所述输入图像的特征图；所述最大池化层采用3*3*3的卷积核对所述特征图进行下采样操作后，输入至残差块进行学习；所述特征图经过残差块之后到达所述全连接层进行特征结合，并输出预测结果。
7.根据权利要求6所述的肌肉超声图像检测方法，其特征在于，对所述3D-ResNet网络进行训练还包括：
将所述预测结果与实际检测结果进行对比，将预测结果分为真正类TP、假正类FP、真负类TN和假负类FN，并计算准确率Accuracy、精准率Precision、召回率Recall、负例的覆盖率Specificity和f1-score分数指标，对所述模型预测结果进行评估；其中，精准率代表正确预测为正占全部预测为正的比例，召回率指正确预测为正占全部正样本的比例，各指标计算公式为：
Figure FDA0002764999960000031
Figure FDA0002764999960000032
Figure FDA0002764999960000033
Figure FDA0002764999960000034
Figure FDA0002764999960000035
8.一种肌肉超声图像检测系统，其特征在于，包括：
图像获取模块：用于动态采集被检测者待测部位的肌肉超声图像，其中，所述肌肉超声图像包括被检测者待测部位在被动拉伸过程中的B-mode图像序列和SWE图像序列；
图像预处理模块：用于分别获取所述B-mode图像序列和SWE图像序列中的ROI区域，将所述SWE图像序列和B-mode图像序列的ROI区域的像素值一对一相减，得到所述被检测者待测部位的原始弹性图像；
图像检测模块：用于将所述原始弹性图像输入训练好的3D-ResNet网络，通过所述3D-ResNet网络输出被检测者待测部位的肌肉检测结果。
9.一种终端，其特征在于，所述终端包括处理器、与所述处理器耦接的存储器，其中，
所述存储器存储有用于实现权利要求1-7任一项所述的肌肉超声图像检测方法的程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以控制肌肉超声图像检测。
10.一种存储介质，其特征在于，存储有处理器可运行的程序指令，所述程序指令用于执行权利要求1至7任一项所述肌肉超声图像检测方法。
CN202011230395.6A 2020-11-06 2020-11-06 一种肌肉超声图像检测方法、系统、终端以及存储介质 Pending CN112288733A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011230395.6A CN112288733A (zh) 2020-11-06 2020-11-06 一种肌肉超声图像检测方法、系统、终端以及存储介质
PCT/CN2020/139413 WO2022095254A1 (zh) 2020-11-06 2020-12-25 一种肌肉超声图像检测方法、系统、终端以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011230395.6A CN112288733A (zh) 2020-11-06 2020-11-06 一种肌肉超声图像检测方法、系统、终端以及存储介质

Publications (1)

Publication Number Publication Date
CN112288733A true CN112288733A (zh) 2021-01-29

Family

ID=74351042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011230395.6A Pending CN112288733A (zh) 2020-11-06 2020-11-06 一种肌肉超声图像检测方法、系统、终端以及存储介质

Country Status (2)

Country Link
CN (1) CN112288733A (zh)
WO (1) WO2022095254A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024051016A1 (zh) * 2022-09-08 2024-03-14 深圳大学 一种用于模型小动物的肌肉超声图像分析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115177291B (zh) * 2022-08-01 2023-11-10 首都医科大学附属北京朝阳医院 用于识别重症监护病房获得性肌无力的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764340A (zh) * 2018-05-29 2018-11-06 上海大学 一种b型超声和超声弹性双模态图像的定量分析方法
CN109820482A (zh) * 2019-03-05 2019-05-31 浙江强脑科技有限公司 肌肉状态检测方法、装置及计算机可读存储介质
CN110693526A (zh) * 2019-11-11 2020-01-17 深圳先进技术研究院 一种肌肉疾病评估方法、系统及电子设备
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN111584074A (zh) * 2019-02-18 2020-08-25 清华大学 肌肉损伤的评价方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764340A (zh) * 2018-05-29 2018-11-06 上海大学 一种b型超声和超声弹性双模态图像的定量分析方法
CN111584074A (zh) * 2019-02-18 2020-08-25 清华大学 肌肉损伤的评价方法及装置
CN109820482A (zh) * 2019-03-05 2019-05-31 浙江强脑科技有限公司 肌肉状态检测方法、装置及计算机可读存储介质
CN110930367A (zh) * 2019-10-31 2020-03-27 上海交通大学 多模态超声影像分类方法以及乳腺癌诊断装置
CN110693526A (zh) * 2019-11-11 2020-01-17 深圳先进技术研究院 一种肌肉疾病评估方法、系统及电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KENSHO HARA 等: "Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW)》 *
QI ZHANG 等: "Deep learning based classification of breast tumors with shear-wave elastography", 《ULTRASONICS》 *
RYAN J. CUNNINGHAM 等: "Estimation of absolute states of human skeletal muscle via standard B-mode ultrasound imaging and deep convolutional neural networks", 《JOURNAL OF THE ROYAL SOCIETY INTERFACE》 *
YANG XIAO 等: "Quantitative Estimation of Passive Elastic Properties of Individual Skeletal Muscle In Vivo Using Normalized Elastic Modulus-Length Curve", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024051016A1 (zh) * 2022-09-08 2024-03-14 深圳大学 一种用于模型小动物的肌肉超声图像分析方法

Also Published As

Publication number Publication date
WO2022095254A1 (zh) 2022-05-12

Similar Documents

Publication Publication Date Title
Zhou et al. Image quality improvement of hand-held ultrasound devices with a two-stage generative adversarial network
Cerrolaza et al. Deep learning with ultrasound physics for fetal skull segmentation
CN103578099B (zh) 基于超声弹性成像的肿瘤弹性特征的提取方法
JP2016531709A (ja) 疾患を診断するための画像解析技術
JP2013542046A (ja) 超音波画像処理のシステムおよび方法
JP2016503706A (ja) 超音波プローブ及び超音波撮像システム
CN104414685A (zh) 超声波诊断装置、超声波图像处理方法
DE102012108121A1 (de) Verfahren und System für ultraschallgestützte automatische Erkennung, Quantifizierung und Nachverfolgung von Pathologien
US20220383500A1 (en) System and method for analyzing medical images based on spatio-temporal data
WO2022095254A1 (zh) 一种肌肉超声图像检测方法、系统、终端以及存储介质
Soleimani et al. Carotid artery wall motion estimation from consecutive ultrasonic images: Comparison between block-matching and maximum-gradient algorithms
CN114241187A (zh) 基于超声双模态影像的肌肉疾病诊断系统、设备及介质
Wei et al. Unsupervised convolutional neural network for motion estimation in ultrasound elastography
Neidhardt et al. Ultrasound shear wave elasticity imaging with spatio-temporal deep learning
Zhou et al. Sonomyography
CN112674791A (zh) 肌肉超声弹性成像的优化方法及系统
Carvalho et al. 3D tendon strain estimation on high-frequency 3D ultrasound images a simulation and phantom study
CN115274094A (zh) 肝癌影像学联合afp诊断模型构建方法、系统及装置
Nesovic et al. Ultrasound image quality evaluation using a structural similarity based autoencoder
Hernandez et al. Image analysis tool with laws' masks to bone texture
Vaish et al. Smartphone based automatic organ validation in ultrasound video
CN115439701B (zh) 多模态超声图像的ra活动度深度学习方法及装置
CN116433560A (zh) 基于超声双模态影像的肌肉疾病识别方法、装置及设备
Banerjee Automatic Assessment of Scoliosis Using 3D Ultrasound Imaging and Convolutional Neural Network
Punia A Computerized Diagnostic System For Kidney Region Segmentation Aimed At Identifying Abnormalities In Ultrasound Pictures of The Kidney

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210129