CN110399915A - 一种基于深度学习的超声图像识别方法及其系统 - Google Patents

一种基于深度学习的超声图像识别方法及其系统 Download PDF

Info

Publication number
CN110399915A
CN110399915A CN201910665903.4A CN201910665903A CN110399915A CN 110399915 A CN110399915 A CN 110399915A CN 201910665903 A CN201910665903 A CN 201910665903A CN 110399915 A CN110399915 A CN 110399915A
Authority
CN
China
Prior art keywords
convolution
image
input
time
nerve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910665903.4A
Other languages
English (en)
Inventor
王英伟
杨笑宇
徐道杰
陈平
王海莲
汪乐天
沈雅芳
李东丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910665903.4A priority Critical patent/CN110399915A/zh
Publication of CN110399915A publication Critical patent/CN110399915A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及超声图像识别技术领域，公开了基于深度学习的超声图像识别方法及其系统，方法包括预处理原始医学图像，构成训练卷积神经网络模型所需的训练图像；对训练集中的医学图像组进行扩充和特征增强,构建卷积神经网络，在卷积神经网络模型中载入训练集，确定卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的卷积神经网络模型并保存；部署训练好的卷积神经网络模型；既能增加识别的准确率，又能增加后续相似图像的识别速度，识别更加准确、高效。

Description

一种基于深度学习的超声图像识别方法及其系统
技术领域
本发明涉及超声图像识别技术领域，更具体地说，它涉及一种基于深度学习的超声图像识别。
背景技术
随着计算机科学技术的飞速发展，人们开始使用计算机强大的计算能力实现人类的识别技能，尤其是在医学图像处理和分析以及自动识别，在医疗诊断中发挥了极其重要的作用。
超声成像可实时、无创地显示人体内部组织结构的影像，非常适用于引导各项麻醉穿刺置管和靶向注药技术，已广泛应用于临床麻醉。在对医学图像进行分析时，临床医生人工分析与瞄准超声图像中的目标结构，将局部麻醉药注入目标神经分支周围,使其所支配的区域产生麻醉的方法称为神经阻滞,是临床上常用的麻醉方法之一。适用于手、上臂、下肢等各种手术及疼痛治疗。由于超声分辨率有限、伪像较多、神经变异常见、神经回声与周围结缔组织和筋膜的回声近似等原因，在超声图像中辨别神经比较困难，操作者需要具备丰富的经验才能正确辨识，且需要耗费大量时间和精力接受相关培训，是高年资医生才能完成的工作。同时，在传统的图像处理方法中，根据一些算子来对图像进行处理的方法受到了很多条件的限制，导致无法对超声图像进行准确、高效的分析。
发明内容
针对现有的技术问题，本发明的目的一在于提供一种基于深度学习的超声图像识别方法，其具有识别超声图像更加准确、高效的优点。本发明的目的二在于提供一种基于深度学习的超声图像识别系统，其具有识别超声图像更加准确、高效的优点。
为实现上述目的一，本发明提供了如下技术方案：
一种基于深度学习的超声图像识别方法，包括如下步骤：
步骤S1：获取成组分类的原始医学图像组，其中，原始医学图像组为超声图像；
步骤S2：预处理原始医学图像组，裁剪原始医学图像组，对原始医学图像组依次进行定位并标注从而构成训练卷积神经网络模型所需的带有标注的训练图像，将标注好的图像分为训练集、测试集和调优集；
步骤S3：对训练集中的医学图像组进行扩充和特征增强，通过调整图像的大小、偏移、亮度、对比度和/或灰度色阶参数，增强图像的特征信息，计算生成新的图像并添加进训练集当中；
步骤S4：构建卷积神经网络，在卷积神经网络模型中载入训练集，确定卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的卷积神经网络模型并保存；
步骤S5：部署训练好的U-Net卷积神经网络模型，对输入的医学图像数据进行预测，识别并标记医学图像。
进一步的，所述超声图像为神经的超声图像，所述超声图像中的神经为外周神经/神经丛，其中，包括臂丛神经及其分支、股神经及其分支、坐骨神经及其分支和/或闭孔神经，臂丛神经包括肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；
或，所述超声图像为软组织的超声图像，所述超声图像中的软组织结构为肌肉、筋膜、韧带和/或胸膜；
或，所述超声图像为骨性标志的超声图像，所述超声图像中的骨性标志为脊柱棘突、横突、椎体和椎板、锁骨、肱骨、股骨和/或坐骨结节。
进一步的，卷积神经网络算法为U-Net算法；
所述步骤S4中包括：
获取输入的图像，构建输出卷积图像，对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂；
将卷积图像作为输入构建输入卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果一；
将卷积结果一作为输入构建第一次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果二；
将卷积结果二作为输入构建第二次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果三；
将卷积结果三作为输入构建第三次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果四；
将卷积结果四作为输入构建第四次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，卷积使用预设算法调整，向上卷积后输出卷积结果五；
将卷积结果五和第三次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第五次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果六；
将卷积结果六和第二次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第六次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果七；
将卷积结果七和第一次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第七次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果八；
将卷积结果八和输入卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第九次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输出卷积结果九；
将卷积结果九作为输入构建输出层，进行一次二维卷积，获得神经在图像中的位置范围标记结果，输出标记遮罩数据形成输出图像。进一步的，将输出图像融合在原始医学图像组上。
进一步的，使用sigmoid方法获得标记结果；
所述预设算法为正则化、归一化和/或增强运算。
为实现上述目的二，本发明提供了如下技术方案：
一种基于深度学习的超声图像识别系统，包括如下模块：
获取模块，用于获取成组分类的原始医学图像组，其中，原始医学图像组为超声图像；
预处理模块，与所述获取模块数据连接，用于预处理原始医学图像组，裁剪原始医学图像组，对原始医学图像组依次进行定位并标注从而构成训练卷积神经网络模型所需的带有标注的训练图像，将标注好的图像分为训练集、测试集和调优集；
修正模块，与所述预处理模块数据连接，用于对训练集中的医学图像组进行扩充和特征增强，通过调整图像的大小、偏移、亮度、对比度、灰度色阶等参数，增强图像的特征信息，计算生成新的图像并添加进训练集当中；
构建模块，与所述修正模块数据连接，用于构建卷积神经网络，在卷积神经网络模型中载入训练集，确定U卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的卷积神经网络模型并保存；
部署模块，与所述构建模块数据连接，用于部署训练好的卷积神经网络模型，对输入的医学图像数据进行预测，识别并标记医学图像中的神经。
进一步的，所述超声图像为神经的超声图像，所述超声图像中的神经为外周神经/神经丛，其中，包括臂丛神经及其分支、股神经及其分支、坐骨神经及其分支和/或闭孔神经，臂丛神经包括肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；
或，所述超声图像为软组织的超声图像，所述超声图像中的软组织结构为肌肉、筋膜、韧带和/或胸膜；
或，所述超声图像为骨性标志的超声图像，所述超声图像中的骨性标志为脊柱棘突、横突、椎体和椎板、锁骨、肱骨、股骨和/或坐骨结节。
进一步的，卷积神经网络算法为U-Net算法；
所述构建模块中包括：
输入组件，获取输入的图像，构建输出卷积图像，对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂；
输入卷积组件，用于将卷积图像作为输入构建输入卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果一；
第一次卷积组件，用于将卷积结果一作为输入构建第一次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果二；
第二次卷积组件，用于将卷积结果二作为输入构建第二次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果三；
第三次卷积组件，用于将卷积结果三作为输入构建第三次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果四；
第四次卷积组件，用于将卷积结果四作为输入构建第四次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，卷积使用预设算法调整，向上卷积后输出卷积结果五；
第五次卷积组件，用于将卷积结果五和第三次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第五次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果六；
第六次卷积组件，用于将卷积结果六和第二次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第六次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果七；
第七次卷积组件，用于将卷积结果七和第一次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第七次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果八；
输出卷积组件，用于将卷积结果八和输入卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建输出卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输出卷积结果九；
输出组件，用于将卷积结果九作为输入构建输出层，进行一次二维卷积，获得神经在图像中的位置范围标记结果，输出标记遮罩数据形成输出图像。进一步的，还包括：融合模块，用于将输出图像融合在原始医学图像组上。
进一步的，使用sigmoid方法获得标记结果；
所述预设算法为正则化、归一化和/或增强运算。
与现有技术相比，本发明的有益效果是：使用U-Net卷积神经网络模型能够进行深度学习神经的图像形状，经过多次最大池化与上卷积，再将且将最大池化后的数据参与上卷积，实现了模型参数的训练以及神经图像的识别，且每次结果都能根据输入的原始医学图像组进行学习与跟踪，既能增加识别的准确率，又能增加后续相似图像的识别速度，具有识别神经图像更加准确、高效的优点。
附图说明
图1为本发明实施例一的方法流程图；
图2为本发明实施例二的系统框图；
图3为本发明实施例二构建模块的框图。
附图标记：1、获取模块；2、预处理模块；3、修正模块；31、输入组件；32、输入卷积组件；4、第一次卷积组件；5、第二次卷积组件；6、第三次卷积组件；7、第四次卷积组件；8、第五次卷积组件；9、第六次卷积组件；10、第七次卷积组件；101、输出卷积组件；13、输出组件；14、构建模块；15、部署模块；16、融合模块。
具体实施方式
下面结合附图和实施例，对本发明进行详细描述。
实施例一
一种基于深度学习的超声图像识别方法，如图1所示，包括如下步骤：
步骤S1：获取成组分类的神经的原始医学图像组。其中，原始医学图像组为超声图像，超声图像为神经的超声图像，超声图像中的神经为外周神经/神经丛，其中，包括臂丛神经及其分支、股神经及其分支、坐骨神经及其分支和/或闭孔神经，臂丛神经包括肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；或，超声图像为软组织的超声图像，超声图像中的软组织结构为肌肉、筋膜、韧带和/或胸膜；或，超声图像为骨性标志的超声图像，超声图像中的骨性标志为脊柱棘突、横突、椎体和椎板、锁骨、肱骨、股骨和/或坐骨结节。
步骤S2：预处理原始医学图像组，裁剪原始医学图像组，对原始医学图像组中的神经依次进行定位并标注从而构成训练卷积神经网络模型所需的带有标注的训练图像，将标注好的图像分为训练集、测试集和调优集。卷积神经网络算法可为U-Net。
步骤S3：对训练集中的医学图像组进行扩充和特征增强，通过调整图像的大小、偏移、亮度、对比度和/或灰度色阶等参数，增强图像的特征信息，计算生成新的图像并添加进训练集当中。
步骤S4：构建卷积神经网络，使用U-Net算法构建卷积神经网络,在U-Net卷积神经网络模型中载入训练集，确定U-Net卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的U-Net卷积神经网络模型并保存。步骤S4中包括：
获取输入的图像，构建输出卷积图像，输出图像大小为580x420，可对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂，比如8，16，32等。
将卷积图像作为输入构建输入卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为580x420，向内裁减后大小分别为578x418和576x416，向下最大池化后输出卷积结果大小为288x208，向下最大池化后输出卷积结果一。本实施例中的二维卷积如无特殊说明均为3×3二维卷积（Conv2D），本实施例中的修正线性单元激活层均为修正线性单元（Re-LU）激活层。
将卷积结果一作为输入构建第一次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为288x208，向内裁减后大小分别为286x206和284x204，向下最大池化后输出卷积结果大小为142x102，向下最大池化后输出卷积结果二；
将卷积结果二作为输入构建第二次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为142x102，向内裁减后大小分别为140x100和138x98，向下最大池化后输出卷积结果大小为69x49，向下最大池化后输出卷积结果三；
将卷积结果三作为输入构建第三次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为69x49，向内裁减后大小分别为67x47和65x45，向下最大池化后输出卷积结果大小为32x22，向下最大池化后输出卷积结果四；
将卷积结果四作为输入构建第四次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，卷积使用预设算法调整，预设算法为正则化、归一化和/或增强运算，输入大小为32x22，图像向内裁减后大小分别为30x20和28x18，向上卷积后输出卷积结果大小为56x36，向上卷积后输出卷积结果五；
将卷积结果五和第三次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第五次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为56x36，向内裁减后大小分别为54x34和52x32，向上卷积后输出卷积结果大小为104x64，向上卷积后输出卷积结果六；
将卷积结果六和第二次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第六次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为104x64，向内裁减后大小分别为102x62和100x60，向上卷积后输出卷积结果大小为200x120，向上卷积后输出卷积结果七；
将卷积结果七和第一次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第七次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为200x120，向内裁减后大小分别为198x118和196x116，向上卷积后输出卷积结果大小为392x232，向上卷积后输出卷积结果八；
将卷积结果八和输入卷积的中间输出经过复制和向内裁减进行连接，作为输入构建输出卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输入大小为392x232，向内裁减后大小分别为390x230和388x228，输出卷积结果大小为388x228，输出卷积结果九；
将卷积结果九作为输入构建输出层，进行一次1x1卷积，使用sigmoid方法获得神经在图像中的位置范围标记结果，输出388x228大小的标记遮罩数据形成输出图像。
步骤S5：部署训练好的U-Net卷积神经网络模型，对输入的医学图像数据进行预测，识别并标记医学图像中的神经。
将输出图像融合在原始医学图像组上。
使用U-Net卷积神经网络模型能够进行深度学习神经的图像形状，经过多次最大池化与上卷积，再将且将最大池化后的数据参与上卷积，实现了模型参数的训练以及神经图像的识别，且每次结果都能根据输入的原始医学图像组进行学习与跟踪，既能增加识别的准确率，又能增加后续相似图像的识别速度，具有识别神经图像更加准确、高效的优点。
实施例二
一种基于深度学习的超声图像识别系统，如图2所示，包括如下模块：
获取模块1，用于获取神经的原始医学图像组。其中，原始医学图像组为超声图像，超声图像为神经的超声图像，超声图像中的神经为外周神经/神经丛，其中，包括臂丛神经及其分支、股神经及其分支、坐骨神经及其分支和/或闭孔神经，臂丛神经包括肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；或，超声图像为软组织的超声图像，超声图像中的软组织结构为肌肉、筋膜、韧带和/或胸膜；或，超声图像为骨性标志的超声图像，超声图像中的骨性标志为脊柱棘突、横突、椎体和椎板、锁骨、肱骨、股骨和/或坐骨结节。
预处理模块2，与获取模块1数据连接，用于预处理原始医学图像组，裁剪原始医学图像组，对原始医学图像组中的神经依次进行定位并标注从而构成训练卷积神经网络模型所需的带有标注的训练图像，将标注好的图像分为训练集、测试集和调优集。卷积神经网络算法可为U-Net。
修正模块3，与预处理模块2数据连接，用于对训练集中的医学图像组进行扩充和特征增强，通过调整图像的大小、偏移、亮度、对比度和/或灰度色阶等参数，增强图像的特征信息，计算生成新的图像并添加进训练集当中。
构建模块14，与修正模块3数据连接，用于构建卷积神经网络，使用U-Net算法构建卷积神经网络,在U-Net卷积神经网络模型中载入训练集，确定U-Net卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的U-Net卷积神经网络模型并保存。
如图3所示，构建模块14中包括：
输入组件31，获取输入的图像，构建输出卷积图像，对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂；
输入卷积组件32，用于将卷积图像作为输入构建输入卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果一；
第一次卷积组件4，用于将卷积结果一作为输入构建第一次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果二；
第二次卷积组件5，用于将卷积结果二作为输入构建第二次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果三；
第三次卷积组件6，用于将卷积结果三作为输入构建第三次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果四；
第四次卷积组件7，用于将卷积结果四作为输入构建第四次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，卷积使用预设算法调整，向上卷积后输出卷积结果五；预设算法为正则化、归一化和/或增强运算。
第五次卷积组件8，用于将卷积结果五和第三次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第五次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果六；
第六次卷积组件9，用于将卷积结果六和第二次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第六次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果七；
第七次卷积组件10，用于将卷积结果七和第一次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第七次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果八；
输出卷积组件101，用于将卷积结果八和输入卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建输出卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输出卷积结果九；
输出组件13，用于将卷积结果九作为输入构建输出层，进行一次二维卷积，使用sigmoid方法获得神经在图像中的位置范围标记结果，输出标记遮罩数据形成输出图像。
部署模块15，与构建模块14数据连接，用于部署训练好的U-Net卷积神经网络模型，对输入的医学图像数据进行预测，识别并标记医学图像中的神经。
融合模块16，用于将输出图像融合在原始医学图像组上。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的超声图像识别方法，其特征在于，包括如下步骤：
步骤S1：获取成组分类的原始医学图像组，其中，原始医学图像组为超声图像；
步骤S2：预处理原始医学图像组，裁剪原始医学图像组，对原始医学图像组依次进行定位并标注从而构成训练卷积神经网络模型所需的带有标注的训练图像，将标注好的图像分为训练集、测试集和调优集；
步骤S3：对训练集中的医学图像组进行扩充和特征增强，通过调整图像的大小、偏移、亮度、对比度和/或灰度色阶参数，增强图像的特征信息，计算生成新的图像并添加进训练集当中；
步骤S4：构建卷积神经网络，在卷积神经网络模型中载入训练集，确定卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的卷积神经网络模型并保存；
步骤S5：部署训练好的卷积神经网络模型，对输入的医学图像数据进行预测，识别并标记医学图像。
2.根据权利要求1所述的方法，其特征在于：所述超声图像为神经的超声图像，所述超声图像中的神经为外周神经/神经丛，其中，包括臂丛神经及其分支、股神经及其分支、坐骨神经及其分支和/或闭孔神经，臂丛神经包括肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；
或，所述超声图像为软组织的超声图像，所述超声图像中的软组织结构为肌肉、筋膜、韧带和/或胸膜；
或，所述超声图像为骨性标志的超声图像，所述超声图像中的骨性标志为脊柱棘突、横突、椎体和椎板、锁骨、肱骨、股骨和/或坐骨结节。
3.根据权利要求1所述的方法，其特征在于，
卷积神经网络算法为U-Net算法；
所述步骤S4中包括：
获取输入的图像，构建输出卷积图像，对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂；
将卷积图像作为输入构建输入卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果一；
将卷积结果一作为输入构建第一次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果二；
将卷积结果二作为输入构建第二次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果三；
将卷积结果三作为输入构建第三次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果四；
将卷积结果四作为输入构建第四次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，卷积使用预设算法调整，向上卷积后输出卷积结果五；
将卷积结果五和第三次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第五次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果六；
将卷积结果六和第二次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第六次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果七；
将卷积结果七和第一次卷积的中间输出经过复制和向内裁减进行连接，作为输入构建第七次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果八；
将卷积结果八和输入卷积的中间输出经过复制和向内裁减进行连接，作为输入构建输出卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输出卷积结果九；
将卷积结果九作为输入构建输出层，进行一次二维卷积，获得神经在图像中的位置范围标记结果，输出标记遮罩数据形成输出图像。
4.根据权利要求3所述的方法，其特征在于，将输出图像融合在原始医学图像组上。
5.根据权利要求3所述的方法，其特征在于，使用sigmoid方法获得标记结果；
所述预设算法为正则化、归一化和/或增强运算。
6.一种基于深度学习的超声图像识别系统，其特征在于，包括如下模块：
获取模块（1），用于获取成组分类的原始医学图像组，其中，原始医学图像组为超声图像；
预处理模块（2），与所述获取模块（1）数据连接，用于预处理原始医学图像组，裁剪原始医学图像组，对原始医学图像组依次进行定位并标注从而构成训练卷积神经网络模型所需的带有标注的训练图像，将标注好的图像分为训练集、测试集和调优集；
修正模块（3），与所述预处理模块（2）数据连接，用于对训练集中的医学图像组进行扩充和特征增强，通过调整图像的大小、偏移、亮度、对比度和/或灰度色阶参数，增强图像的特征信息，计算生成新的图像并添加进训练集当中；
构建模块（14），与所述修正模块（3）数据连接，用于构建卷积神经网络，在卷积神经网络模型中载入训练集，确定卷积神经网络的模型参数，通过深度学习方法对医学图像进行特征学习，得到训练好的卷积神经网络模型并保存；
部署模块（15），与所述构建模块（14）数据连接，用于部署训练好的卷积神经网络模型，对输入的医学图像数据进行预测，识别并标记医学图像。
7.根据权利要求6所述的方法，其特征在于：所述超声图像为神经的超声图像，所述超声图像中的神经为外周神经/神经丛，其中，包括臂丛神经及其分支、股神经及其分支、坐骨神经及其分支和/或闭孔神经，臂丛神经包括肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；
或，所述超声图像为软组织的超声图像，所述超声图像中的软组织结构为肌肉、筋膜、韧带和/或胸膜；
或，所述超声图像为骨性标志的超声图像，所述超声图像中的骨性标志为脊柱棘突、横突、椎体和椎板、锁骨、肱骨、股骨和/或坐骨结节。
8.根据权利要求6所述的系统，其特征在于，
卷积神经网络算法为U-Net算法；
所述构建模块（14）中包括：
输入组件（31），获取输入的图像，构建输出卷积图像，对卷积图像进行缩放处理，输出相同长宽的图像，输入层批尺寸参数为2的整数次幂；
输入卷积组件（32），用于将卷积图像作为输入构建输入卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果一；
第一次卷积组件（4），用于将卷积结果一作为输入构建第一次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果二；
第二次卷积组件（5），用于将卷积结果二作为输入构建第二次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果三；
第三次卷积组件（6），用于将卷积结果三作为输入构建第三次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向下最大池化后输出卷积结果四；
第四次卷积组件（7），用于将卷积结果四作为输入构建第四次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，卷积使用预设算法调整，向上卷积后输出卷积结果五；
第五次卷积组件（8），用于将卷积结果五和第三次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第五次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果六；
第六次卷积组件（9），用于将卷积结果六和卷第二次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第六次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果七；
第七次卷积组件（10），用于将卷积结果七和第一次卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建第七次卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，向上卷积后输出卷积结果八；
输出卷积组件（101），用于将卷积结果八和输入卷积组件的中间输出经过复制和向内裁减进行连接，作为输入构建输出卷积层，进行两次二维卷积，每次卷积后使用修正线性单元激活层，每次激活后向内裁减图片一个或两个像素，输出卷积结果九；
输出组件（13），用于将卷积结果九作为输入构建输出层，进行一次二维卷积，获得神经在图像中的位置范围标记结果，输出标记遮罩数据形成输出图像。
9.根据权利要求8所述的系统，其特征在于，还包括：融合模块（16），用于将输出图像融合在原始医学图像组上。
10.根据权利要求8所述的系统，其特征在于，使用sigmoid方法获得标记结果；
所述预设算法为正则化、归一化和/或增强运算。
CN201910665903.4A 2019-07-23 2019-07-23 一种基于深度学习的超声图像识别方法及其系统 Pending CN110399915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910665903.4A CN110399915A (zh) 2019-07-23 2019-07-23 一种基于深度学习的超声图像识别方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910665903.4A CN110399915A (zh) 2019-07-23 2019-07-23 一种基于深度学习的超声图像识别方法及其系统

Publications (1)

Publication Number Publication Date
CN110399915A true CN110399915A (zh) 2019-11-01

Family

ID=68325829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910665903.4A Pending CN110399915A (zh) 2019-07-23 2019-07-23 一种基于深度学习的超声图像识别方法及其系统

Country Status (1)

Country Link
CN (1) CN110399915A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292324A (zh) * 2020-03-20 2020-06-16 电子科技大学 一种针对臂丛神经超声图像的多目标识别方法及系统
CN111582215A (zh) * 2020-05-17 2020-08-25 华中科技大学同济医学院附属协和医院 一种胆胰系统正常解剖结构的扫查识别系统和方法
CN111583183A (zh) * 2020-04-13 2020-08-25 成都数之联科技有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN112184817A (zh) * 2020-09-30 2021-01-05 四川大学华西医院 一种臂丛神经图像识别暨麻醉穿刺引导方法及系统
CN112767305A (zh) * 2020-12-15 2021-05-07 首都医科大学附属北京儿童医院 先天性心脏病的超声心动图识别方法及装置
CN113436155A (zh) * 2021-06-16 2021-09-24 复旦大学附属华山医院 基于深度学习的超声臂丛神经图像识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965905A (zh) * 2019-04-11 2019-07-05 复旦大学 一种基于深度学习的造影区域检测成像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109965905A (zh) * 2019-04-11 2019-07-05 复旦大学 一种基于深度学习的造影区域检测成像方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLAF RONNEBERGER 等: ""U-Net: Convolutional Networks for Biomedical Image Segmentation"", 《MICCAI》 *
李刚森: ""基于深度学习的细胞核图像分割方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
龙法宁等: ""基于卷积神经网络的臂丛神经超声图像分割方法"", 《合肥工业大学学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292324A (zh) * 2020-03-20 2020-06-16 电子科技大学 一种针对臂丛神经超声图像的多目标识别方法及系统
CN111292324B (zh) * 2020-03-20 2022-03-01 电子科技大学 一种针对臂丛神经超声图像的多目标识别方法及系统
CN111583183A (zh) * 2020-04-13 2020-08-25 成都数之联科技有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111583183B (zh) * 2020-04-13 2022-12-06 成都数之联科技股份有限公司 一种用于pcb板图像缺陷检测的数据增强方法和系统
CN111582215A (zh) * 2020-05-17 2020-08-25 华中科技大学同济医学院附属协和医院 一种胆胰系统正常解剖结构的扫查识别系统和方法
CN112184817A (zh) * 2020-09-30 2021-01-05 四川大学华西医院 一种臂丛神经图像识别暨麻醉穿刺引导方法及系统
CN112184817B (zh) * 2020-09-30 2022-12-02 四川大学华西医院 一种臂丛神经图像识别方法及系统
CN112767305A (zh) * 2020-12-15 2021-05-07 首都医科大学附属北京儿童医院 先天性心脏病的超声心动图识别方法及装置
CN112767305B (zh) * 2020-12-15 2024-03-08 首都医科大学附属北京儿童医院 先天性心脏病的超声心动图识别方法及装置
CN113436155A (zh) * 2021-06-16 2021-09-24 复旦大学附属华山医院 基于深度学习的超声臂丛神经图像识别方法
CN113436155B (zh) * 2021-06-16 2023-12-19 复旦大学附属华山医院 基于深度学习的超声臂丛神经图像识别方法

Similar Documents

Publication Publication Date Title
CN110399915A (zh) 一种基于深度学习的超声图像识别方法及其系统
CN103985105B (zh) 基于统计建模的Contourlet域多模态医学图像融合方法
Guo et al. Classification of thyroid ultrasound standard plane images using ResNet-18 networks
CN110074813A (zh) 一种超声图像重建方法及系统
Hou et al. Classification of tongue color based on CNN
Teng et al. Neuro-fuzzy logic based fusion algorithm of medical images
CN111111111A (zh) 一种健身实时监测系统及方法
CN108829639A (zh) 一种磁共振成像方法和设备
Antczak et al. Stenosis detection with deep convolutional neural networks
US20210059758A1 (en) System and Method for Identification, Labeling, and Tracking of a Medical Instrument
CN110363760A (zh) 用于识别医学图像的计算机系统
CN111311703A (zh) 一种基于深度学习的电阻抗断层图像重构方法
Jabbar et al. Using convolutional neural network for edge detection in musculoskeletal ultrasound images
CN109410157A (zh) 基于低秩稀疏分解和pcnn的图像融合方法
CN110033438A (zh) 髋关节标记系统及其标记方法
CN109215040A (zh) 一种基于多尺度加权学习的乳腺肿瘤分割方法
CN109646112A (zh) 超音波探针定位系统及超音波探针定位方法
CN108985366A (zh) 基于卷积深度网络的b超图像识别算法及系统
CN108324244A (zh) 用于ai+mri影像辅助诊断的自动增广训练样本的构建方法及系统
CN110246145A (zh) 一种腹部ct图像的分割方法
CN107977949A (zh) 一种基于投影字典对学习的医学图像融合质量改善的方法
CN110148108A (zh) 基于功能磁共振的带状疱疹性神经痛疗效预测方法及系统
Li et al. A new image fusion algorithm based on wavelet packet analysis and PCNN
CN110414405A (zh) 基于深度学习的肌间沟臂丛神经的识别方法及其系统
Li et al. A new algorithm of multi-modality medical image fusion based on pulse-coupled neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191101

RJ01 Rejection of invention patent application after publication