CN111292324A - 一种针对臂丛神经超声图像的多目标识别方法及系统 - Google Patents

一种针对臂丛神经超声图像的多目标识别方法及系统 Download PDF

Info

Publication number
CN111292324A
CN111292324A CN202010202046.7A CN202010202046A CN111292324A CN 111292324 A CN111292324 A CN 111292324A CN 202010202046 A CN202010202046 A CN 202010202046A CN 111292324 A CN111292324 A CN 111292324A
Authority
CN
China
Prior art keywords
feature map
size
convolution
brachial plexus
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010202046.7A
Other languages
English (en)
Other versions
CN111292324B (zh
Inventor
丁熠
杨祺琪
秦志光
秦臻
张健
郑伟
张超
朱桂钦
谭富元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Guangdong Electronic Information Engineering Research Institute of UESTC
Original Assignee
University of Electronic Science and Technology of China
Guangdong Electronic Information Engineering Research Institute of UESTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China, Guangdong Electronic Information Engineering Research Institute of UESTC filed Critical University of Electronic Science and Technology of China
Priority to CN202010202046.7A priority Critical patent/CN111292324B/zh
Publication of CN111292324A publication Critical patent/CN111292324A/zh
Application granted granted Critical
Publication of CN111292324B publication Critical patent/CN111292324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明公开了一种针对臂丛神经超声图像的多目标识别方法及系统，方法包括：获取特征图；获取多尺度特征图；生成具有不同接受域的特征图；获取具有不同尺度对比特征的特征图矩阵；获取得到赋予权重后的特征图矩阵；对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域，并对感兴趣区域进行二值分类和检测包围框回归后，将选取的区域对齐为固定尺寸的特征图；将对齐为固定尺寸的特征图中的感兴趣区域进行分类、分割掩模和边界框检测后输出，完成臂丛神经超声图像的多目标识别。本方法可以帮助麻醉医师快速、准确地从臂丛超声图像中识别所需的多目标组织。

Description

一种针对臂丛神经超声图像的多目标识别方法及系统
技术领域
本发明涉及图像识别领域，具体涉及一种针对臂丛神经超声图像的多目标识别方法及系统。
背景技术
臂丛神经阻滞(PNB)是一种在外科手术中常用的局部麻醉方式。在PNB手术中，麻醉医师会先使用超声设备在超声成像中检测和定位臂丛神经，再通过神经的局部麻醉为病人进行麻醉手术。臂丛神经和周围神经分支目标较小，并且在超声可视化时动态变化，识别的难度高，需要麻醉医师对神经的结构和它周围的解剖组织(肌肉组织、动脉血管、静脉血管)有充分的了解，并具有丰富的临床经验和医学知识。由于识别神经存在一定难度，麻醉医师会在识别过程在耗费很多时间和精力。
通过在臂丛神经超声图像中识别出麻醉医师所关注的神经及其周围解剖组织(肌肉组织、动脉血管、静脉血管)，可以有效地帮助提升PNB手术的效率。在医学图像分割任务中的主流方法是FCN及其衍生网络，利用全是卷积层的网络来训练，通过填充保持图片的大小不变，最后得到语义分割后的图像。除此之外，目前的医学图像分割任务局限于单目标分割，仅分割出图像中的某一类目标。这样的方法存在几个缺陷：
(1)单目标的分割任务会使得网络过多的关注图像的低级纹理特征，而忽视了医学图像中存在的丰富的语义信息(位置、相关性)。然而医学图像，尤其是超声图像中的纹理信息极易受噪声干扰。因此，在臂丛神经超声图像中，仅考虑纹理信息而忽略语义信息会影响网络识别神经的效果和效率。
(2)网络得到的分割的结果不够精细，分割结果比较模糊，对图像中的细节不敏感。
(3)对各个像素进行分类，没有充分考虑像素与像素之间的关系，且没有考虑图像的全局上下文信息，缺乏空间一致性。
(4)由于语义分割是为图像中的每个像素分配语义类别标签，但不是实例级别的分割，不会对实例对象进行分类。当需要在图像中分割多个目标时，不能直观地展示出分割物体的类别。
发明内容
针对现有技术中的上述不足，本发明提供的一种针对臂丛神经超声图像的多目标识别方法及系统解决了臂丛神经超声图像自动识别效果差的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种针对臂丛神经超声图像的多目标识别方法，其包括以下步骤：
S1、统一待识别臂丛神经超声图像的大小，作为待识别数据；
S2、将待识别数据依次进行若干次卷积-下采样操作，并使每次操作得到的图像均比当前操作前的尺寸缩小2倍，得到特征图；
S3、通过反卷积和跳层连接对特征图进行上采样，将采样得到的特征与上一次卷积-下采样操作得到的特征图相连接，得到若干个多尺度特征图；
S4、对于尺寸最大的多尺度特征图，基于不同扩张率卷积操作生成具有不同接受域的特征图；
S5、将具有不同接受域的特征图与通过卷积生成的图相减后进行串联合并，得到具有不同尺度对比特征的特征图矩阵；
S6、通过自注意力计算对具有不同尺度对比特征的特征图矩阵的每个通道进行权重赋值，得到赋予权重后的特征图矩阵；
S7、对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域，并对感兴趣区域进行二值分类和检测包围框回归后，将选取的区域对齐为固定尺寸的特征图；
S8、将对齐为固定尺寸的特征图中的感兴趣区域进行分类、分割掩模和边界框检测后输出，完成臂丛神经超声图像的多目标识别。
进一步地，步骤S1的具体方法为：
将待识别臂丛神经超声图像的尺寸同一缩放为A×A。
进一步地，步骤S2的具体方法为：
采用五次卷积-下采样操作，分别得到大小为
Figure BDA0002419713800000036
和
Figure BDA0002419713800000037
2的特征图；其中第一次卷积-下采样操作包括2层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为32，卷积核大小为3×3；第二次卷积-下采样操作包括2层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为64，卷积核大小为3×3；第三次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为128，卷积核大小为3×3；第四次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为256，卷积核大小为3×3；第五次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为256，卷积核大小为3×3。
进一步地，步骤S3的具体方法包括以下子步骤：
S3-1、将大小为
Figure BDA0002419713800000031
的特征图进行通道数为256的1×1卷积，得到尺寸为
Figure BDA0002419713800000032
的特征图P5；
S3-2、将大小为
Figure BDA0002419713800000033
的特征图进行通道数为256的1×1卷积，将卷积结果与2倍上采样的特征图P5进行相加，得到尺寸为
Figure BDA0002419713800000034
的特征图P4；
S3-3、将大小为
Figure BDA0002419713800000035
的特征图进行通道数为256的1×1卷积，将卷积结果分别与2倍上采样的特征图P4和4倍上采样的特征图P5相加，得到尺寸为
Figure BDA0002419713800000041
的特征图P3；
S3-4、将大小为
Figure BDA0002419713800000042
的特征图进行通道数为256的1×1卷积，将卷积结果与2倍上采样的特征图P3相加，得到尺寸为
Figure BDA0002419713800000043
的特征图P2；特征图P2、特征图P3、特征图P4和特征图P5均为多尺度特征图。
进一步地，步骤S4的具体方法为：
对于尺寸最大的多尺度特征图，分别进行扩张率为1、2、4、8和16，且通道数为256的3×3卷积操作，生成5种具有不同接受域的特征图。
进一步地，步骤S5的具体方法为：
将扩张率为2、4、8和16对应的4种特征图分别与扩张率为1对应的特征图相减，得到4张相减后的特征图，将4张相减后的特征图进行串联合并，得到具有不同尺度对比特征的特征图矩阵。
进一步地，步骤S6的具体方法包括以下步骤：
S6-1、对于具有不同尺度对比特征的特征图矩阵的第i个通道，分别进行全局平均池操作和全局最大池化操作，对应得到该通道的全局信息和均值信息；
S6-2、将第i个通道的全局信息
Figure BDA0002419713800000044
和均值信息
Figure BDA0002419713800000045
送到一个具有两层全连接层的共享网络进行空间维数压缩、逐元素求和激活函数激活，并根据公式：
Figure BDA0002419713800000046
获取第i个通道的权重Wi；其中
Figure BDA0002419713800000047
和
Figure BDA0002419713800000048
分别为第i个通道对应的全局信息和均值信息；Θ(·)为全连接层参数；σ(·)为sigmoid激活函数；
S6-3、将第i个通道的权重Wi与第i个通道的特征图进行点积，完成对第i个通道的权重赋值，得到每个通道赋予权重后的特征图矩阵。
进一步地，步骤S7的具体方法包括以下子步骤：
S7-1、通过区域生成网络对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域；
S7-2、将感兴趣区域进行二值分类并获取具有目标的感兴趣区域；
S7-3、对于具有目标的感兴趣区域，通过非极大抑制检测包围框与目标的覆盖度，获取覆盖度大于阈值的具有目标的感兴趣区域；
S7-4、通过ROI Align操作将覆盖度大于阈值的具有目标的感兴趣区域对齐为固定尺寸的特征图。
进一步地，针对臂丛神经超声图像的多目标识别方法，其特征在于，参数A的值为640。
提供一种针对臂丛神经超声图像的多目标识别系统，其包括权利要求1-9任一所述的针对臂丛神经超声图像的多目标识别方法的系统。
本发明的有益效果为：
1、本方法可以帮助麻醉医师快速、准确地从臂丛超声图像中识别所需的多目标组织。
2、本方法针对臂丛超声图像具有噪声、且对比度低的问题，通过在臂丛神经识别网络中提出的多尺度特征对比结合了局部对比信息和空间对比信息，增强边缘轮廓并且保持局部信息和空间全局信息的一致性，解决了超声图像在做分割任务时的分割边缘模糊问题。
3、本方法通过自注意力机制学习不同特征图通道之间的关联信息，从而进行权重分配。网络可以得到更好的特征表示，进一步提高网络性能，减少网络计算开销。
4、本方法采用的上采样方法通过反卷积来实现上采样，增加了更多的非线性，把更抽象、语义更强的高层特征图进行上采样，然后把该特征与前阶段的特征相连接，让每一阶段所用的特征图都融合了不同分辨率和不同语义强度的特征，来完成对不同分辨率大小的物体进行检测，不仅能够利用高层特征来增强空间信息，还可以防止信息在两次线性上采样过程中被丢失。
附图说明
图1为本发明的流程示意图；
图2为五次卷积-下采样操作的网络结构示意图；
图3为反卷积和跳层连接的网络结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该针对臂丛神经超声图像的多目标识别方法包括以下步骤：
S1、统一待识别臂丛神经超声图像的大小，作为待识别数据；
S2、将待识别数据依次进行若干次卷积-下采样操作，并使每次操作得到的图像均比当前操作前的尺寸缩小2倍，得到特征图；
S3、通过反卷积和跳层连接对特征图进行上采样，将采样得到的特征与上一次卷积-下采样操作得到的特征图相连接，得到若干个多尺度特征图；
S4、对于尺寸最大的多尺度特征图，基于不同扩张率卷积操作生成具有不同接受域的特征图；
S5、将具有不同接受域的特征图与通过卷积生成的图相减后进行串联合并，得到具有不同尺度对比特征的特征图矩阵；
S6、通过自注意力计算对具有不同尺度对比特征的特征图矩阵的每个通道进行权重赋值，得到赋予权重后的特征图矩阵；
S7、对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域，并对感兴趣区域进行二值分类和检测包围框回归后，将选取的区域对齐为固定尺寸的特征图；
S8、将对齐为固定尺寸的特征图中的感兴趣区域进行分类、分割掩模和边界框检测后输出，完成臂丛神经超声图像的多目标识别。
步骤S1的具体方法为：将待识别臂丛神经超声图像的尺寸同一缩放为640×640。
如图2所示，步骤S2的具体方法为：采用五次卷积-下采样操作，分别得到大小为320×320、160×160、80×80、40×40和20×20的特征图；其中第一次卷积-下采样操作包括2层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为32，卷积核大小为3×3；第二次卷积-下采样操作包括2层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为64，卷积核大小为3×3；第三次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为128，卷积核大小为3×3；第四次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为256，卷积核大小为3×3；第五次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为256，卷积核大小为3×3。
如图3所示，步骤S3的具体方法包括以下子步骤：
S3-1、将大小为20×20的特征图进行通道数为256的1×1卷积，得到尺寸为20×20的特征图P5；
S3-2、将大小为40×40的特征图进行通道数为256的1×1卷积，将卷积结果与2倍上采样的特征图P5进行相加，得到尺寸为40×40的特征图P4；
S3-3、将大小为80×80的特征图进行通道数为256的1×1卷积，将卷积结果分别与2倍上采样的特征图P4和4倍上采样的特征图P5相加，得到尺寸为80×80的特征图P3；
S3-4、将大小为160×160的特征图进行通道数为256的1×1卷积，将卷积结果与2倍上采样的特征图P3相加，得到尺寸为160×160的特征图P2；特征图P2、特征图P3、特征图P4和特征图P5均为多尺度特征图。
步骤S4的具体方法为：对于尺寸最大的多尺度特征图，分别进行扩张率为1、2、4、8和16，且通道数为256的3×3卷积操作，生成5种具有不同接受域的特征图。
步骤S5的具体方法为：将扩张率为2、4、8和16对应的4种特征图分别与扩张率为1对应的特征图相减，得到4张相减后的特征图，将4张相减后的特征图进行串联合并，得到具有不同尺度对比特征的特征图矩阵。
步骤S6的具体方法包括以下步骤：
S6-1、对于具有不同尺度对比特征的特征图矩阵的第i个通道，分别进行全局平均池操作和全局最大池化操作，对应得到该通道的全局信息和均值信息；
S6-2、将第i个通道的全局信息
Figure BDA0002419713800000081
和均值信息
Figure BDA0002419713800000082
送到一个具有两层全连接层的共享网络进行空间维数压缩、逐元素求和激活函数激活，并根据公式：
Figure BDA0002419713800000083
获取第i个通道的权重Wi；其中
Figure BDA0002419713800000084
和
Figure BDA0002419713800000085
分别为第i个通道对应的全局信息和均值信息；Θ(·)为全连接层参数；σ(·)为sigmoid激活函数；
S6-3、将第i个通道的权重Wi与第i个通道的特征图进行点积，完成对第i个通道的权重赋值，得到每个通道赋予权重后的特征图矩阵。
步骤S7的具体方法包括以下子步骤：
S7-1、通过区域生成网络对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域；
S7-2、将感兴趣区域进行二值分类并获取具有目标的感兴趣区域；
S7-3、对于具有目标的感兴趣区域，通过非极大抑制检测包围框与目标的覆盖度，获取覆盖度大于阈值的具有目标的感兴趣区域；
S7-4、通过ROI Align操作将覆盖度大于阈值的具有目标的感兴趣区域对齐为固定尺寸的特征图。
该针对臂丛神经超声图像的多目标识别系统包括权利要求1-9任一所述的针对臂丛神经超声图像的多目标识别方法的系统。
在本发明的一个实施例中，本方法通过可以通过如下方法建立臂丛神经超声图像数据集：
1、视频收集：麻醉医生收集患者在臂丛神经阻滞手术中使用超声设备扫描所产生的超声视频。所有患者的扫描方法与临床实际操作，相同并由同一个麻醉医生实施，每一个病人对应一个10秒左右的视频文件。
2、取视频帧：收集到病人的超声影像视频后，提取视频中的所有帧，从每个视频中选取10-15帧。选取帧的原则主是不同的帧之间尽可能地存在差异性不能是相邻连续帧，且其中至少存在一种目标组织。
3、图像标注：因为这些目标的识别需要专业的知识，所以图像的人工标注由专业的麻醉医师来完成。目标组织的识别过程与麻醉师的临床识别方式保持一致。我们将医生标注好的图像标签通过软件标注工具进行数字化转化，使得每一张超声图像都具有像素级别的标记和图像级别的类别(class)信息，及其对应掩模(mask)。
4、数据整合：所有的图像数据整合后，将数据集分为训练数据集和测试数据集。训练数据集包含91例患者的955张图像，测试数据集包含10例患者的97张图像。训练集用于识别网络的训练，测试集用于测试网络模型的识别效果，进而对本方法提出的识别流程进行网络参数训练，使本方法的识别效果符合预期。
综上所述，本方法可以帮助麻醉医师快速、准确地从臂丛超声图像中识别所需的多目标组织。

Claims (10)

1.一种针对臂丛神经超声图像的多目标识别方法，其特征在于，包括以下步骤：
S1、统一待识别臂丛神经超声图像的大小，作为待识别数据；
S2、将待识别数据依次进行若干次卷积-下采样操作，并使每次操作得到的图像均比当前操作前的尺寸缩小2倍，得到特征图；
S3、通过反卷积和跳层连接对特征图进行上采样，将采样得到的特征与上一次卷积-下采样操作得到的特征图相连接，得到若干个多尺度特征图；
S4、对于尺寸最大的多尺度特征图，基于不同扩张率卷积操作生成具有不同接受域的特征图；
S5、将具有不同接受域的特征图与通过卷积生成的图相减后进行串联合并，得到具有不同尺度对比特征的特征图矩阵；
S6、通过自注意力计算对具有不同尺度对比特征的特征图矩阵的每个通道进行权重赋值，得到赋予权重后的特征图矩阵；
S7、对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域，并对感兴趣区域进行二值分类和检测包围框回归后，将选取的区域对齐为固定尺寸的特征图；
S8、将对齐为固定尺寸的特征图中的感兴趣区域进行分类、分割掩模和边界框检测后输出，完成臂丛神经超声图像的多目标识别。
2.根据权利要求1所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S1的具体方法为：
将待识别臂丛神经超声图像的尺寸同一缩放为A×A。
3.根据权利要求2所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S2的具体方法为：
采用五次卷积-下采样操作，分别得到大小为
Figure FDA0002419713790000021
和
Figure FDA0002419713790000022
的特征图；其中第一次卷积-下采样操作包括2层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为32，卷积核大小为3×3；第二次卷积-下采样操作包括2层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为64，卷积核大小为3×3；第三次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为128，卷积核大小为3×3；第四次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为256，卷积核大小为3×3；第五次卷积-下采样操作包括4层卷积层和一个步长为2的最大池化层，当前卷积层的通道数为256，卷积核大小为3×3。
4.根据权利要求3所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S3的具体方法包括以下子步骤：
S3-1、将大小为
Figure FDA0002419713790000023
的特征图进行通道数为256的1×1卷积，得到尺寸为
Figure FDA0002419713790000024
的特征图P5；
S3-2、将大小为
Figure FDA0002419713790000025
的特征图进行通道数为256的1×1卷积，将卷积结果与2倍上采样的特征图P5进行相加，得到尺寸为
Figure FDA0002419713790000026
的特征图P4；
S3-3、将大小为
Figure FDA0002419713790000027
的特征图进行通道数为256的1×1卷积，将卷积结果分别与2倍上采样的特征图P4和4倍上采样的特征图P5相加，得到尺寸为
Figure FDA0002419713790000028
的特征图P3；
S3-4、将大小为
Figure FDA0002419713790000029
的特征图进行通道数为256的1×1卷积，将卷积结果与2倍上采样的特征图P3相加，得到尺寸为
Figure FDA00024197137900000210
的特征图P2；特征图P2、特征图P3、特征图P4和特征图P5均为多尺度特征图。
5.根据权利要求1所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S4的具体方法为：
对于尺寸最大的多尺度特征图，分别进行扩张率为1、2、4、8和16，且通道数为256的3×3卷积操作，生成5种具有不同接受域的特征图。
6.根据权利要求5所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S5的具体方法为：
将扩张率为2、4、8和16对应的4种特征图分别与扩张率为1对应的特征图相减，得到4张相减后的特征图，将4张相减后的特征图进行串联合并，得到具有不同尺度对比特征的特征图矩阵。
7.根据权利要求1所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S6的具体方法包括以下步骤：
S6-1、对于具有不同尺度对比特征的特征图矩阵的第i个通道，分别进行全局平均池操作和全局最大池化操作，对应得到该通道的全局信息和均值信息；
S6-2、将第i个通道的全局信息
Figure FDA0002419713790000031
和均值信息
Figure FDA0002419713790000032
送到一个具有两层全连接层的共享网络进行空间维数压缩、逐元素求和激活函数激活，并根据公式：
Figure FDA0002419713790000033
获取第i个通道的权重Wi；其中
Figure FDA0002419713790000034
和
Figure FDA0002419713790000035
分别为第i个通道对应的全局信息和均值信息；Θ(·)为全连接层参数；σ(·)为sigmoid激活函数；
S6-3、将第i个通道的权重Wi与第i个通道的特征图进行点积，完成对第i个通道的权重赋值，得到每个通道赋予权重后的特征图矩阵。
8.根据权利要求1所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，所述步骤S7的具体方法包括以下子步骤：
S7-1、通过区域生成网络对赋予权重后的特征图矩阵中的每个像素点作为中心点生成感兴趣区域；
S7-2、将感兴趣区域进行二值分类并获取具有目标的感兴趣区域；
S7-3、对于具有目标的感兴趣区域，通过非极大抑制检测包围框与目标的覆盖度，获取覆盖度大于阈值的具有目标的感兴趣区域；
S7-4、通过ROIAlign操作将覆盖度大于阈值的具有目标的感兴趣区域对齐为固定尺寸的特征图。
9.根据权利要求2所述的针对臂丛神经超声图像的多目标识别方法，其特征在于，参数A的值为640。
10.一种针对臂丛神经超声图像的多目标识别系统，其特征在于，包括权利要求1-9任一所述的针对臂丛神经超声图像的多目标识别方法的系统。
CN202010202046.7A 2020-03-20 2020-03-20 一种针对臂丛神经超声图像的多目标识别方法及系统 Active CN111292324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010202046.7A CN111292324B (zh) 2020-03-20 2020-03-20 一种针对臂丛神经超声图像的多目标识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010202046.7A CN111292324B (zh) 2020-03-20 2020-03-20 一种针对臂丛神经超声图像的多目标识别方法及系统

Publications (2)

Publication Number Publication Date
CN111292324A true CN111292324A (zh) 2020-06-16
CN111292324B CN111292324B (zh) 2022-03-01

Family

ID=71022607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010202046.7A Active CN111292324B (zh) 2020-03-20 2020-03-20 一种针对臂丛神经超声图像的多目标识别方法及系统

Country Status (1)

Country Link
CN (1) CN111292324B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184817A (zh) * 2020-09-30 2021-01-05 四川大学华西医院 一种臂丛神经图像识别暨麻醉穿刺引导方法及系统
CN113744250A (zh) * 2021-09-07 2021-12-03 金陵科技学院 基于U-Net的臂丛神经超声图像分割方法、系统、介质和装置
CN114782676A (zh) * 2022-04-02 2022-07-22 北京广播电视台 一种视频感兴趣区域的提取方法和系统
CN115578360A (zh) * 2022-10-24 2023-01-06 电子科技大学 一种针对超声心动图像的多目标语义分割方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155660A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
US20180137338A1 (en) * 2016-11-16 2018-05-17 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN108665461A (zh) * 2018-05-09 2018-10-16 电子科技大学 一种基于fcn和迭代声影校正的乳腺超声图像分割方法
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110047088A (zh) * 2019-04-01 2019-07-23 南京邮电大学 一种基于改进教与学优化算法的ht-29图像分割方法
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110399915A (zh) * 2019-07-23 2019-11-01 王英伟 一种基于深度学习的超声图像识别方法及其系统
CN110414589A (zh) * 2019-07-23 2019-11-05 王英伟 基于深度学习的腋路臂丛神经的识别方法及其系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017155660A1 (en) * 2016-03-11 2017-09-14 Qualcomm Incorporated Action localization in sequential data with attention proposals from a recurrent network
US20180137338A1 (en) * 2016-11-16 2018-05-17 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN108665461A (zh) * 2018-05-09 2018-10-16 电子科技大学 一种基于fcn和迭代声影校正的乳腺超声图像分割方法
CN109087327A (zh) * 2018-07-13 2018-12-25 天津大学 一种级联全卷积神经网络的甲状腺结节超声图像分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109325942A (zh) * 2018-09-07 2019-02-12 电子科技大学 基于全卷积神经网络的眼底图像结构分割方法
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110047088A (zh) * 2019-04-01 2019-07-23 南京邮电大学 一种基于改进教与学优化算法的ht-29图像分割方法
CN110163878A (zh) * 2019-05-28 2019-08-23 四川智盈科技有限公司 一种基于双重多尺度注意力机制的图像语义分割方法
CN110399915A (zh) * 2019-07-23 2019-11-01 王英伟 一种基于深度学习的超声图像识别方法及其系统
CN110414589A (zh) * 2019-07-23 2019-11-05 王英伟 基于深度学习的腋路臂丛神经的识别方法及其系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184817A (zh) * 2020-09-30 2021-01-05 四川大学华西医院 一种臂丛神经图像识别暨麻醉穿刺引导方法及系统
CN112184817B (zh) * 2020-09-30 2022-12-02 四川大学华西医院 一种臂丛神经图像识别方法及系统
CN113744250A (zh) * 2021-09-07 2021-12-03 金陵科技学院 基于U-Net的臂丛神经超声图像分割方法、系统、介质和装置
CN114782676A (zh) * 2022-04-02 2022-07-22 北京广播电视台 一种视频感兴趣区域的提取方法和系统
CN114782676B (zh) * 2022-04-02 2023-01-06 北京广播电视台 一种视频感兴趣区域的提取方法和系统
CN115578360A (zh) * 2022-10-24 2023-01-06 电子科技大学 一种针对超声心动图像的多目标语义分割方法
CN115578360B (zh) * 2022-10-24 2023-12-26 电子科技大学 一种针对超声心动图像的多目标语义分割方法

Also Published As

Publication number Publication date
CN111292324B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN111292324B (zh) 一种针对臂丛神经超声图像的多目标识别方法及系统
JP4669268B2 (ja) 画像の経時変化を検出し表示する方法及び装置
Saad et al. Image segmentation for lung region in chest X-ray images using edge detection and morphology
CN111931811B (zh) 一种基于超像素图像相似度的计算方法
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
US8285013B2 (en) Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns
JPH09508814A (ja) 医用画像を分割するための自動的方法およびシステム
CN101103924A (zh) 基于乳腺x线摄片的乳腺癌计算机辅助诊断方法及其系统
Tan et al. Automated vessel segmentation in lung CT and CTA images via deep neural networks
CN114092439A (zh) 一种多器官实例分割方法及系统
Guan et al. Automatic detection and localization of thighbone fractures in X-ray based on improved deep learning method
Kaliyugarasan et al. Pulmonary nodule classification in lung cancer from 3D thoracic CT scans using fastai and MONAI
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
Ervural et al. A Comparison of Various Fusion Methods for CT and MR Liver Images
Gordon et al. Evaluation of uterine cervix segmentations using ground truth from multiple experts
Qian et al. Multi-scale context UNet-like network with redesigned skip connections for medical image segmentation
CN116934683A (zh) 人工智能辅助超声诊断脾创伤的方法
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统
CN114612484A (zh) 基于无监督学习的视网膜oct图像分割方法
CN114004854A (zh) 一种显微镜下的切片图像实时处理显示系统和方法
CN113223014A (zh) 基于数据增强的脑部图像分析系统、方法及设备
CN113870194A (zh) 深层特征和浅层lbp特征融合的乳腺肿瘤超声图像处理装置
Ding et al. A novel wavelet-transform-based convolution classification network for cervical lymph node metastasis of papillary thyroid carcinoma in ultrasound images
CN113052799A (zh) 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant