CN113436155B - 基于深度学习的超声臂丛神经图像识别方法 - Google Patents
基于深度学习的超声臂丛神经图像识别方法 Download PDFInfo
- Publication number
- CN113436155B CN113436155B CN202110668377.4A CN202110668377A CN113436155B CN 113436155 B CN113436155 B CN 113436155B CN 202110668377 A CN202110668377 A CN 202110668377A CN 113436155 B CN113436155 B CN 113436155B
- Authority
- CN
- China
- Prior art keywords
- image
- ultrasonic
- multiplied
- brachial plexus
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 210000003461 brachial plexus Anatomy 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 210000005036 nerve Anatomy 0.000 claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 230000005284 excitation Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000001125 extrusion Methods 0.000 claims abstract description 11
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000002604 ultrasonography Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000011282 treatment Methods 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000000586 desensitisation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002980 postoperative effect Effects 0.000 abstract description 5
- 238000011084 recovery Methods 0.000 abstract description 4
- 206010002091 Anaesthesia Diseases 0.000 description 8
- 230000037005 anaesthesia Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 229940079593 drug Drugs 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000003195 fascia Anatomy 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 210000003141 lower extremity Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010018852 Haematoma Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000036592 analgesia Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001773 cervical plexus Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002695 general anesthesia Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000003589 local anesthetic agent Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的超声臂丛神经图像识别方法，涉及超声图像智能识别技术领域，该方法包括：获取多例超声神经图像数据并进行预处理，构建训练神经网络模型所需的带有标签的超声图像数据集；将超声图像数据集按照8:2的比例分为训练集和测试集，将训练集中的超声图像进行扩充和特征增强；构建挤压‑注意力机制模块SA加到传统卷积中；在V‑net网络中引入挤压激励模块和注意力机制模块从而构建SA V‑net网络模型并进行训练；载入训练好的SA V‑net网络模型，输入测试集进行预测得到识别结果，并根据标签计算Dice系数。本发明能够帮助临床医生快速准确的定位需要进行神经阻滞的区域，帮助使得患者在术中更加平稳，术后恢复更快，具有更好的临床实用性。
Description
技术领域
本发明涉及超声图像智能识别技术领域，具体地，涉及一种基于深度学习的超声臂丛神经图像识别方法。
背景技术
神经阻滞技术是一种将局部麻醉药注入目标神经分支周围,使其所支配的区域产生麻醉的技术，适用于手、上臂、下肢等各种手术及疼痛治疗。是临床上最常用的麻醉方法之一。临床医生经常使用超声图像对神经结构进行分析寻找目标神经分支。但由于超声图像分辨率有限、伪像较多、神经变异常见、神经回声与周围结缔组织和筋膜的回声近似等原因，在超声图像中辨别神经比较困难，操作者需要具备丰富的经验才能正确辨识，且需要耗费大量时间和精力接受相关培训。因此寻找一种自动的基于深度学习的超声神经图像识别方法对神经分支的识别和定位具有重要意义。
超声成像可实时、无创地显示人体内部组织结构的影像，非常适用于引导各项麻醉穿刺置管和靶向注药技术，已广泛应用于临床麻醉。虽然超声成像技术有待完善，操作者需要具备丰富的经验，但其可实时显示神经、血管、肌肉、筋膜、其他组织和穿刺针动态位置，实现精确定位，提高了神经阻滞操作的成功率。超声成像技术还可以避免神经和血管损伤、药物误入血管，气胸以及血肿等并发症的发生。超声引导下的神经阻滞主要包括颈丛神经及颈神经阻滞、臂丛神经及其分支组织阻滞，坐骨神经及其分支阻滞等。这些阻滞可以实现上下肢、胸腹部手术的辅助麻醉和术后镇痛，还可以降低全身麻醉药物的联合用量，使得患者在术中更加平稳，术后恢复更快。
随着计算机科学技术的飞速发展，以深度学习为代表的机器学习在图像识别及分类领域中发挥着重要的作用。现有文献：Ronneberger,Olaf,et al.U-Net:ConvolutionalNetworks for Biomedical Image Segmentation.ArXiv Preprint ArXiv:1505.04597,2015.中在2015年提出U-net网络使人们开始利用计算机强大的计算能力对医学图像进行处理和分析，大大促进了机器学习在医疗辅助诊断中的发展。
公开号为CN112184817A的中国发明专利，公开了一种臂丛神经图像识别暨麻醉穿刺引导方法及系统，协助医生在臂丛神经麻醉穿刺引导过程中，通过构建具有针对性的模型对超声扫描到的图像进行臂丛神经识别标注，同时通过对臂丛神经前后的前斜角肌和中斜角肌也进行识别标注，便于麻醉医生在实际麻醉注射过程中医生能够基于具有上述解剖学结构标注的超声图像，准确地进行神经阻滞，快速上手，同时提高工作效率。
当前对于超声神经臂丛识别的研究较少。现有的网络模型大都针对于某一特定任务，泛化性较差，迁移到超声臂丛神经图像识别任务中准确率不高。而为了得到高精度的训练数据，必须对超声图像进行标注。数据标注通常需要较高水平的医学领域知识，并且耗费大量的时间。此外，由于目标神经分支区域占整个超声图像比例较小，目标神经区域和图像整体体素数量失衡会导致无法对超声图像进行准确、高效的分析。因此，急需发明一种基于深度学习的高效、准确的超声臂丛神经图像分割识别网络辅助医生进行临床麻醉工作。
发明内容
针对现有技术中的缺陷，本发明提供一种基于深度学习的超声臂丛神经图像识别方法。
根据本发明提供的一种基于深度学习的超声臂丛神经图像识别方法，所述方案如下：
步骤S1：获取多例超声神经图像数据并进行预处理，构建训练神经网络模型所需的带有标签的超声图像数据集；
步骤S2：将超声图像数据集分为训练集和测试集，将训练集中的超声图像进行扩充和特征增强；
步骤S3：构建挤压-注意力机制模块SA加到传统卷积中；
步骤S4：在V-net网络中引入挤压激励模块和注意力机制模块从而构建SA V-net网络模型并进行训练；
步骤S5：载入训练好的SA V-net网络模型，输入测试集进行预测得到识别结果，并根据标签计算Dice系数，并基于Dice系数对目标神经区域的效果进行判断。
优选的，所述步骤S1包括：
步骤S1.1：获取超声臂丛神经图像，所述超声臂丛神经图像中的目标神经区域为肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；
步骤S1.2：对获取的超声臂丛神经图像进行数据脱敏，并剔除不规范的超声臂丛神经图像，将每幅超声臂丛神经图像重采样为580×448ⅹ64大小来提高数据的一致性；
步骤S1.3：通过临床医生对超声图像的手动标注得到目标神经分支的分割标签Lmask构建带有原始超声图像和分割标签的数据集Dall。
优选的，所述步骤S2包括：
步骤S2.1：将所有原始图像中随机选取多张进行裁剪操作扩展数据集Dall，原始图像大小为580×448ⅹ64裁剪为480ⅹ448ⅹ64输入到网络中；分割标签Lmask也进行相同的裁剪操作；
步骤S2.2：对数据集Dall的所有图像进行标准化处理，公式如下：
式中，μ为图像的均值，x表示图像矩阵，σ和N分别表示图像的标准差和图像体素数量。
优选的，所述步骤S3中挤压-注意力机制模块SA由挤压激励模块和注意力机制模块构成：
步骤S3.1：首先，将原始图像通过卷积变换提取特征得到特征图U，其中U＝[u1,u2,…uc]；特征图大小为W×H×C，其中W和H分别表示特征图的宽和高，C表示通道数；
其次，通过激活函数ReLU降低超参数数量，降低为原来的得到向量X2，大小为
最后，将向量s2输入到权重参数矩阵w2,通过激活函数sigmoid得到向量X3；
步骤S3.2：扩展挤压激励模块的重加权通道，考虑图像局部和全局两个维度重新设计加权通道，输出xout表示为：
xout＝xatten*X3+xatten
式中，Up(.)为上采样函数，目标将xatten与X3维度统一；/>计算公式如下：
式中，表示注意力卷积通道Fatten(.)的输出，Fatten(.)由ωatten和注意卷积层θatten参数化表示，平均池化层avgpool(.)用于压缩操作；xout即为整个挤压-注意力机制模块SA模块的输出。
优选的，所述步骤S3.1中挤压激励模块包含压缩操作和激励操作；压缩操作将特征图U经过Fs(.)函数压缩为1×1×C的向量A，将每个通道内的所有特征值相加再平均，向量A计算公式如下：
式中W和H分别表示特征图uc的宽和高，向量A包含了特征图的全局信息，i表示特征图uc第i行；j表示特征图uc第j列；激励操作将向量A通过权重参数矩阵w1得到向量X1，大小为1×1×c。
优选的，所述步骤S3.1中向量X3为
X3＝Fe(A，W)＝σ(g(A,W))＝σ(W2δ(W1A))
式中δ和σ分别表示ReLU和sigmoid激活函数，Fe(.)表示对向量A进行两次加权激活操作；g(.)表示对向量A进行第一次加权激活操作；W1和W2表示为权重参数矩阵，它们通过模型训练学习得到。
优选的，所述步骤S4中构建SA V-net网络，由4次下采样和4次上采样构成，具体包括：
步骤S4.1：4次下采样不断提取目标神经区域特征并压缩特征图大小降低数据的分辨率；
步骤S4.2：4次上采样不断扩展特征图大小。
优选的，所述步骤S4.1包括：
步骤S4.1.1：第一下采样接受矩阵U表示的原始图像，矩阵大小为480×448×64，通过卷积操作获得16个大小为480×448×64特征图，卷积核为5×5×5，步长为1；
步骤S4.1.2：接着将16个特征图输入到挤压-注意力机制模块SA获取16个输出xout，合并输入矩阵U并将结果输入到第二下采样中；
步骤S4.1.3：第二下采样～第四下采样中所有操作步骤不变，每经过一次下采样特征图数量翻一倍，大小变为原来的一半，在减少图像尺寸的同时扩大特征的感受野范围。
优选的，所述步骤S4.2包括：
步骤S4.2.1：第一上采样在第四下采样的输出结果后进行反卷积操作输入到第二上采样，卷积核为2×2，步长为2；
步骤S4.2.2：第二上采样获取第三下采样的输出经过3次卷积操作得到256个大小为30×28×4的特征图，卷积核为5×5×5，步长为1；
步骤S4.2.3：第二上采样与第一上采样的输出进行矩阵相加操作获取新的特征图，通过反卷积将结果输入到第三上采样3中；
步骤S4.2.4：第三上采样～第四上采样中所有操作不变，每经过一次上采样特征图数量减半，大小为原来的2倍，在第四上采样中得到64个大小为240×224×32的特征图经过反卷积操作恢复到输入图像的大小，利用soft-max函数生成前景和背景的概率，前景表示目标神经区域，背景表示非目标神经区域；
步骤S4.2.5：对应于每个体素都有两种概率P(P＝{p前景，p后景}，若p前景＞p后景则表示该体素属于目标神经区域，否则为非目标神经区域；模型loss损失函数定义为：
式中，ypred和ytrue分别表示预测标签和专家标注的目标神经区域；通过最小化Loss函数使得SA V-net模型识别性能达到最高并且保存模型参数。
优选的，所述步骤S5包括：将测试集载入训练好的SA V-net网络模型进行预测得到识别结果Rmask并根据目标神经区域ytrue计算Dice系数。
与现有技术相比，本发明具有如下的有益效果：
1、本发明将卷积神经网络应用于超声图像的目标神经区域识别从而实现基于超声图像的自动识别，克服临床上人工阅片带来的诸多局限；
2、本发明提供的SA V-net模型具有较高的灵敏度和准确性，可以帮助临床医生快速准确的定位需要进行神经阻滞的区域，帮助使得患者在术中更加平稳，术后恢复更快，具有更好的临床实用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明整体流程示意图；
图2为挤压激励模块示意图；
图3为挤压-注意力机制模块SA示意图；
图4为本发明中的SA V-net网络示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明实施例提供了一种基于深度学习的超声臂丛神经图像识别方法，参照图1和图2所示，该方法具体步骤如下：
步骤S1：获取1000例超声神经图像数据并进行预处理，通过对图像裁剪，目标神经分支定位并标注得到带有位置信息的分割标签Lmask；从而构建训练神经网络模型所需的带有分割标签Lmask的超声图像数据集Dall；
步骤S2：将训练集中的超声图像进行扩充和特征增强，首先对原始图像进行裁剪操作生成新的图像并添加进训练集当中，其次通过对图像进行标准化预处理增强图像目标神经区域的特征信息；将数据集Dall按照8∶2的比例分为训练集Dtrain和测试集Dtest；对超声数据进行脱敏、清洗、重采样等处理，获得分辨率统一、灰度分布相同的超声数据。
步骤S3：参照图3和图4所示，构建挤压-注意力机制模块SA(squeeze-and-attention block，SA)加到传统卷积中，增加空间通道的相互依赖性，提取更多的特征信息并提高网络的识别准确率；
步骤S4：在V-net网络引入挤压激励模块和注意力机制模块从而构建SA V-net网络模型，在每一次采样中加入残差模块增加网络层数使得SA V-net可以更好的学习目标神经区域特征。在SA V-net网络中载入训练集，确定卷积神经网络的模型参数，得到训练好的SA V-net网络模型并保存。
步骤S5：载入训练好的SA V-net网络模型，输入测试集进行预测得到识别结果Rmask并根据分割标签Lmask计算Dice系数，Dice系数为预测标签ymask与预测结果ypred的相似程度，范围为[0，1]，相似程度越高说明本方法识别的目标神经区域效果越好。
在步骤S1当中，具体包括：
获取超声臂丛神经图像，超声臂丛神经图像中的目标神经区域为肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经。
对获取的超声臂丛神经图像进行数据脱敏，并剔除不规范的超声臂丛神经图像，将每幅超声臂丛神经图像重采样为580×448x64大小来提高数据的一致性。
通过临床医生对超声图像的手动标注得到目标神经分支的分割标签Lmask构建带有原始超声图像和分割标签的数据集Dall。
在步骤S2中，具体如下：
将所有原始图像中随机选取20张进行裁剪操作扩展数据集Dall，原始图像大小为580×448ⅹ64裁剪为480ⅹ448ⅹ64输入到网络中；一张图像通过随机裁剪可以生成100张图片，选取其中10张图片新生成200张图像加入数据集Dall，Dall共计有800张图像。分割标签Lmask也进行相同的裁剪操作。
对数据集Dall的所有图像进行标准化处理，公式如下：
式中，μ为图像的均值，x表示图像矩阵，σ和N分别表示图像的标准差和图像体素数量。将数据通过去均值实现中心化的处理，更加符合数据分布规律取得更好的模型泛化能力。
在步骤S3中，该步骤中的挤压-注意力机制模块SA由挤压激励模块(Squeeze andExcitation，SE)和注意力机制模块(attention)构成：
首先，将原始图像通过卷积变换提取特征得到特征图U，其中U＝[u1,u2,…uc]；特征图大小为W×H×c，其中W和H分别表示特征图的宽和高，C表示通道数。挤压激励模块包含压缩操作和激励操作；压缩操作将特征图U经过Fs(.)函数压缩为1×1×c的向量A，将每个通道内的所有特征值相加再平均，向量A计算公式如下：
式中W和H分别表示特征图uc的宽和高，向量A包含了特征图的全局信息，i表示特征图uc第i行；j表示特征图uc第j列；激励操作将向量A通过权重参数矩阵w1得到向量X1，大小为1×1×c。
其次，再通过激活函数ReLU降低超参数数量，降低为原来的得到向量X2，大小为
最后，将向量s2输入到权重参数矩阵w2,通过激活函数sigmoid得到向量X3；向量X3为
X3＝Fe(A,w)＝σ(g(A,W))＝σ(W2δ(W1A))
式中δ和σ分别表示ReLU和sigmoid激活函数，Fe(.)表示对向量A进行两次加权激活操作；g(.)表示对向量A进行第一次加权激活操作；W1和W2表示为权重参数矩阵，它们通过模型训练学习得到。此向量代表各通道的权重大小可以增强特征的可分辨性，增强整体模型的泛化能力。
参照图3所示，扩展挤压激励模块的重加权通道，考虑图像局部和全局两个维度重新设计加权通道，输出xout表示为：
xout＝xatten*x3+xatten
式中，Up(.)为上采样函数，目标将xatten与X3维度统一；/>计算公式如下：
式中，表示注意力卷积通道Fatten(.)的输出，Fatten(.)由ωatten和注意卷积层θatten参数化表示，平均池化层avgpool(.)用于压缩操作；xout即为整个挤压-注意力机制模块SA模块的输出，此模块可以学习更多与目标神经区域相关的特征，忽略与目标无关的特征。
在步骤S4中，构建SA V-net网络，由4次下采样和4次上采样构成，具体包括：
4次下采样不断提取目标神经区域特征并压缩特征图大小降低数据的分辨率；具体操作为：第一下采样接受矩阵U表示的原始图像，矩阵大小为480×448×64，通过卷积操作获得16个大小为480×448×64特征图，卷积核为5×5×5，步长为1；接着将16个特征图输入到挤压-注意力机制模块SA获取16个输出xout，合并输入矩阵U并将结果输入到第二下采样中；第二下采样～第四下采样中所有操作步骤不变，每经过一次下采样特征图数量翻一倍，大小变为原来的一半，在减少图像尺寸的同时扩大特征的感受野范围。
4次上采样不断扩展特征图大小。具体操作为：第一上采样在第四下采样的输出结果后进行反卷积操作输入到第二上采样，卷积核为2×2，步长为2；第二上采样获取第三下采样的输出(128个大小为60×56×8的特征图)经过3次卷积操作得到256个大小为30×28×4的特征图，卷积核为5×5×5，步长为1；
第二上采样与第一上采样的输出进行矩阵相加操作获取新的特征图，通过反卷积将结果输入到第三上采样3中；
第三上采样～第四上采样中所有操作不变，每经过一次上采样特征图数量减半，大小为原来的2倍，在第四上采样中得到64个大小为240×224×32的特征图经过反卷积操作恢复到输入图像的大小，利用soft-max函数生成前景和背景的概率，前景表示目标神经区域，背景表示非目标神经区域。
对应于每个体素都有两种概率P(P＝{p前景，p后景}，若p前景＞p后景则表示该体素属于目标神经区域，否则为非目标神经区域；模型loss损失函数定义为：
式中，ypred和ytrue分别表示预测标签和专家标注的目标神经区域；通过最小化Loss函数使得SA V-net模型识别性能达到最高并且保存模型参数。
将测试集载入训练好的SA V-net网络模型进行预测得到识别结果Rmask并根据标注的目标神经区域ytrue计算Dice系数。根据Dice系数表明本发明中所提出的基于深度学习的超声神经识别方法准确率不劣于专业医生的判断结果。
本发明实施例提供了一种基于深度学习的超声臂丛神经图像识别方法，将卷积神经网络应用于超声图像的目标神经区域识别从而实现基于超声图像的自动识别，克服临床上人工阅片带来的诸多局限；本发明中所提供的SA V-net模型具有较高的灵敏度和准确性，可以帮助临床医生快速准确的定位需要进行神经阻滞的区域，帮助使得患者在术中更加平稳，术后恢复更快，具有更好的临床实用性。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (7)
1.一种基于深度学习的超声臂丛神经图像识别方法，其特征在于，包括：
步骤S1：获取多例超声神经图像数据并进行预处理，构建训练神经网络模型所需的带有标签的超声图像数据集；
步骤S2：将超声图像数据集分为训练集和测试集，将训练集中的超声图像进行扩充和特征增强；
步骤S3：构建挤压-注意力机制模块SA加到传统卷积中；
步骤S4：在V-net网络中引入挤压激励模块和注意力机制模块从而构建SA V-net网络模型并进行训练；
步骤S5：载入训练好的SA V-net网络模型，输入测试集进行预测得到识别结果，根据标签计算Dice系数，并基于Dice系数对目标神经区域的效果进行判断；
所述步骤S1包括：
步骤S1.1：获取超声臂丛神经图像，所述超声臂丛神经图像中的目标神经区域为肌间沟臂丛神经、腋路臂丛神经和/或锁骨上臂丛神经；
步骤S1.2：对获取的超声臂丛神经图像进行数据脱敏，并剔除不规范的超声臂丛神经图像，将每幅超声臂丛神经图像重采样为580×448ⅹ64大小来提高数据的一致性；
步骤S1.3：通过临床医生对超声图像的手动标注得到目标神经分支的分割标签Lmask构建带有原始超声图像和分割标签的数据集Dall；
所述步骤S2包括：
步骤S2.1：将所有原始图像中随机选取多张进行裁剪操作扩展数据集Dall，原始图像大小为580×448ⅹ64裁剪为480ⅹ448ⅹ64输入到网络中；分割标签Lmask也进行相同的裁剪操作；
步骤S2.2：对数据集Dall的所有图像进行标准化处理，公式如下：
式中，μ为图像的均值，x表示图像矩阵，σ和N分别表示图像的标准差和图像体素数量；
所述步骤S3中挤压-注意力机制模块SA由挤压激励模块和注意力机制模块构成：
步骤S3.1：首先，将原始图像通过卷积变换提取特征得到特征图U，其中U＝[u1,u2,…uc]；特征图大小为W×H×C，其中W和H分别表示特征图的宽和高，C表示通道数；
其次，通过激活函数ReLU降低超参数数量，降低为原来的得到向量X2，大小为/>
最后，将向量s2输入到权重参数矩阵w2,通过激活函数sigmoid得到向量X3；
步骤S3.2：扩展挤压激励模块的重加权通道，考虑图像局部和全局两个维度重新设计加权通道，输出xout表示为：
xout＝xatten*x3+xatten
式中，Up(.)为上采样函数，目标将xatten与X3维度统一；/>计算公式如下：
式中，表示注意力卷积通道Fatten(.)的输出，Fatten(.)由ωatten和注意卷积层θatten参数化表示，平均池化层avgpool(.)用于压缩操作；xout即为整个挤压-注意力机制模块SA模块的输出。
2.根据权利要求1所述的基于深度学习的超声臂丛神经图像识别方法，其特征在于，所述步骤S3.1中挤压激励模块包含压缩操作和激励操作；压缩操作将特征图U经过Fs(.)函数压缩为1×1×C的向量A，将每个通道内的所有特征值相加再平均，向量A计算公式如下：
式中W和H分别表示特征图uc的宽和高，向量A包含了特征图的全局信息，i表示特征图uc第i行；j表示特征图uc第j列；激励操作将向量A通过权重参数矩阵w1得到向量X1，大小为1×1×c。
3.根据权利要求2所述的基于深度学习的超声臂丛神经图像识别方法，其特征在于，所述步骤S3.1中向量X3为
X3＝Fe(A，W)＝σ(g(A,W))＝σ(W2δ(W1A))
式中δ和σ分别表示ReLU和sigmoid激活函数，Fe(.)表示对向量A进行两次加权激活操作；g(.)表示对向量A进行第一次加权激活操作；W1和W2表示为权重参数矩阵，它们通过模型训练学习得到。
4.根据权利要求1所述的基于深度学习的超声臂丛神经图像识别方法，其特征在于，所述步骤S4中构建SA V-net网络，由4次下采样和4次上采样构成，具体包括：
步骤S4.1：4次下采样不断提取目标神经区域特征并压缩特征图大小降低数据的分辨率；
步骤S4.2：4次上采样不断扩展特征图大小。
5.根据权利要求4所述的基于深度学习的超声臂丛神经图像识别方法，其特征在于，所述步骤S4.1包括：
步骤S4.1.1：第一下采样接受矩阵U表示的原始图像，矩阵大小为480×448×64，通过卷积操作获得16个大小为480×448×64特征图，卷积核为5×5×5，步长为1；
步骤S4.1.2：接着将16个特征图输入到挤压-注意力机制模块SA获取16个输出xout，合并输入矩阵U并将结果输入到第二下采样中；
步骤S4.1.3：第二下采样～第四下采样中所有操作步骤不变，每经过一次下采样特征图数量翻一倍，大小变为原来的一半，在减少图像尺寸的同时扩大特征的感受野范围。
6.根据权利要求4所述的基于深度学习的超声臂丛神经图像识别方法，其特征在于，所述步骤S4.2包括：
步骤S4.2.1：第一上采样在第四下采样的输出结果后进行反卷积操作输入到第二上采样，卷积核为2×2，步长为2；
步骤S4.2.2：第二上采样获取第三下采样的输出经过3次卷积操作得到256个大小为30×28×4的特征图，卷积核为5×5×5，步长为1；
步骤S4.2.3：第二上采样与第一上采样的输出进行矩阵相加操作获取新的特征图，通过反卷积将结果输入到第三上采样3中；
步骤S4.2.4：第三上采样～第四上采样中所有操作不变，每经过一次上采样特征图数量减半，大小为原来的2倍，在第四上采样中得到64个大小为240×224×32的特征图经过反卷积操作恢复到输入图像的大小，利用soft-max函数生成前景和背景的概率，前景表示目标神经区域，背景表示非目标神经区域；
步骤S4.2.5：对应于每个体素都有两种概率P(P＝{p前景，p后景}，若p前景>p后景则表示该体素属于目标神经区域，否则为非目标神经区域；模型loss损失函数定义为：
式中，ypred和ytrue分别表示预测标签和专家标注的目标神经区域；通过最小化Loss函数使得SA V-net模型识别性能达到最高并且保存模型参数。
7.根据权利要求6所述的基于深度学习的超声臂丛神经图像识别方法，其特征在于，所述步骤S5包括：将测试集载入训练好的SA V-net网络模型进行预测得到识别结果Rmask并根据目标神经区域ytrue计算Dice系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110668377.4A CN113436155B (zh) | 2021-06-16 | 2021-06-16 | 基于深度学习的超声臂丛神经图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110668377.4A CN113436155B (zh) | 2021-06-16 | 2021-06-16 | 基于深度学习的超声臂丛神经图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436155A CN113436155A (zh) | 2021-09-24 |
| CN113436155B true CN113436155B (zh) | 2023-12-19 |
Family
ID=77756247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110668377.4A Active CN113436155B (zh) | 2021-06-16 | 2021-06-16 | 基于深度学习的超声臂丛神经图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436155B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114533128B (zh) * | 2022-02-24 | 2023-07-28 | 中国人民解放军海军军医大学 | 一种气胸辅助诊断装置、介质及电子设备 |
| CN114936395B (zh) * | 2022-04-27 | 2024-08-16 | 土巴兔集团股份有限公司 | 一种户型图识别方法、装置、计算机设备及存储介质 |
| CN118037751A (zh) * | 2024-02-27 | 2024-05-14 | 中国医学科学院肿瘤医院 | 基于超声影像的神经阻滞自动分割及可视化方法及系统 |
| CN118177870A (zh) * | 2024-04-07 | 2024-06-14 | 中国医学科学院肿瘤医院 | 一种基于超声影像神经阻滞的行针可视化及预警方法 |
| CN118570303B (zh) * | 2024-08-01 | 2024-10-11 | 南昌大学第一附属医院 | 一种基于深度学习的臂丛神经麻醉穿刺引导方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276417A (zh) * | 2019-07-23 | 2019-09-24 | 王英伟 | 基于深度学习的锁骨上臂丛神经的识别方法及其系统 |
| CN110399915A (zh) * | 2019-07-23 | 2019-11-01 | 王英伟 | 一种基于深度学习的超声图像识别方法及其系统 |
| CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
| CN111145186A (zh) * | 2019-12-17 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 神经网络结构、图像分割方法、装置及存储介质 |
| WO2021067498A1 (en) * | 2019-10-01 | 2021-04-08 | Epineuron Technologies Inc. | Systems and methods for delivering neuroregenerative therapy and reducing post-operative and chronic pain |
| CN112862792A (zh) * | 2021-02-21 | 2021-05-28 | 北京工业大学 | 一种用于小样本图像数据集的小麦白粉病孢子分割方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190111255A1 (en) * | 2009-03-20 | 2019-04-18 | Electrocore, Inc. | Systems and methods for initial provisioning and refilling of medical devices |
-
2021
- 2021-06-16 CN CN202110668377.4A patent/CN113436155B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276417A (zh) * | 2019-07-23 | 2019-09-24 | 王英伟 | 基于深度学习的锁骨上臂丛神经的识别方法及其系统 |
| CN110399915A (zh) * | 2019-07-23 | 2019-11-01 | 王英伟 | 一种基于深度学习的超声图像识别方法及其系统 |
| WO2021067498A1 (en) * | 2019-10-01 | 2021-04-08 | Epineuron Technologies Inc. | Systems and methods for delivering neuroregenerative therapy and reducing post-operative and chronic pain |
| CN111145186A (zh) * | 2019-12-17 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 神经网络结构、图像分割方法、装置及存储介质 |
| CN110992270A (zh) * | 2019-12-19 | 2020-04-10 | 西南石油大学 | 基于注意力的多尺度残差注意网络图像超分辨率重建方法 |
| CN112862792A (zh) * | 2021-02-21 | 2021-05-28 | 北京工业大学 | 一种用于小样本图像数据集的小麦白粉病孢子分割方法 |
Non-Patent Citations (6)
| Title |
|---|
| NAS-Unet: Neural Architecture Search for Medical Image Segmentation;Yu Weng;《IEEE》;全文 * |
| Squeeze-and-Attention Networks for Semantic Segmentation;Zilong Zhong;《IEEE》;原文第1-10页 * |
| Squeeze-and-Excitation Networks;Jie Hu;《IEEE》;正文第1-13页 * |
| V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation;Fausto Milletari;《IEEE》;第1-7页 * |
| 基于卷积神经网络的臂丛神经超声图像分割方法;龙法宁;《合肥工业大学学报(自然科学版)》;全文 * |
| 臂丛神经损伤康复治疗研究进展;徐晓君;周俊明;张沈煜;赵新;;中国康复医学杂志(11);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436155A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113436155B (zh) | 基于深度学习的超声臂丛神经图像识别方法 | |
| CN112992308B (zh) | 医学图像报告生成模型的训练方法及图像报告生成方法 | |
| JP7143008B2 (ja) | 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム | |
| CN110934606B (zh) | 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质 | |
| CN111260705B (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| CN112365980A (zh) | 脑肿瘤多靶点辅助诊断与前瞻性治疗演化可视化方法及系统 | |
| Tursynova et al. | 3D U-Net for brain stroke lesion segmentation on ISLES 2018 dataset | |
| CN113506308A (zh) | 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法 | |
| Selvathi et al. | Fetal biometric based abnormality detection during prenatal development using deep learning techniques | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| Qi et al. | Automatic lacunae localization in placental ultrasound images via layer aggregation | |
| Aslam et al. | Liver-tumor detection using CNN ResUNet | |
| Bhandary et al. | Investigation and benchmarking of U-Nets on prostate segmentation tasks | |
| CN116433586A (zh) | 一种乳腺超声断层图像分割模型建立方法及分割方法 | |
| CN116309615A (zh) | 一种多模态mri脑肿瘤图像分割方法 | |
| Du et al. | Segmentation and visualization of left atrium through a unified deep learning framework | |
| WO2023029348A1 (zh) | 基于人工智能的图像实例标注方法及相关设备 | |
| CN114663445A (zh) | 一种基于多尺度边缘感知的三维心脏图像分割方法 | |
| CN118037791A (zh) | 多模态三维医学图像分割配准模型的构建方法及其应用 | |
| Yang et al. | A new approach to automatic measure fetal head circumference in ultrasound images using convolutional neural networks | |
| CN112508943A (zh) | 基于超声影像的乳腺肿瘤识别方法 | |
| Wan et al. | Ceus-net: Lesion segmentation in dynamic contrast-enhanced ultrasound with feature-reweighted attention mechanism | |
| CN113744234A (zh) | 一种基于gan的多模态脑部图像配准方法 | |
| CN114937044A (zh) | 一种轻量化图像分割方法、装置及存储介质 | |
| Wang et al. | MEDIA-Net: Multi-scale Feature Extraction and DepthwIse Attention Network for Accurate Carotid Artery Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |