CN114782318A - 一种基于目标检测的超声图像类型识别方法 - Google Patents
一种基于目标检测的超声图像类型识别方法 Download PDFInfo
- Publication number
- CN114782318A CN114782318A CN202210293087.0A CN202210293087A CN114782318A CN 114782318 A CN114782318 A CN 114782318A CN 202210293087 A CN202210293087 A CN 202210293087A CN 114782318 A CN114782318 A CN 114782318A
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- feature
- ultrasonic image
- additive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 20
- 210000000056 organ Anatomy 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 17
- 238000005728 strengthening Methods 0.000 claims abstract description 4
- 238000010606 normalization Methods 0.000 claims description 37
- 239000000654 additive Substances 0.000 claims description 23
- 230000000996 additive effect Effects 0.000 claims description 23
- 238000002604 ultrasonography Methods 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 238000007634 remodeling Methods 0.000 claims description 4
- 210000001835 viscera Anatomy 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 12
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 5
- 210000000481 breast Anatomy 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 210000001685 thyroid gland Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000010224 classification analysis Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000001165 lymph node Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000611 regression analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000003932 urinary bladder Anatomy 0.000 description 2
- YCKRFDGAMUMZLT-UHFFFAOYSA-N Fluorine atom Chemical compound [F] YCKRFDGAMUMZLT-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 229910052731 fluorine Inorganic materials 0.000 description 1
- 239000011737 fluorine Substances 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于目标检测的超声图像类型识别方法，包括：获取带有脏器标记的超声图像；通过目标检测网络识别所述超声图像的脏器标记来确定脏器类型，所述目标检测网络包括依次连接的卷积神经网络XDNetV2‑D‑UT、特征金字塔网络以及两个并行的分类网络和回归网络；所述卷积神经网络XDNetV2‑D‑UT用于提取超声图像的特征，所述特征金字塔网络用于对提取出的特征进行强化与融合，所述分类网络用于根据强化与融合后的特征识别出超声图像的脏器标记类型，所述回归网络用于对超声图像的脏器标记区域进行标识。本发明通过目标检测网络能够有效检测超声图像的脏器类型。
Description
技术领域
本发明涉及医学图像处理技术领域，特别是涉及一种基于目标检测的超声图像类型识别方法。
背景技术
在临床上，超声检测被应用于多种脏器的检查，比如甲状腺、乳腺、肝脏、肾脏、膀胱等等，由于不同部位的组织结构都不同，即使同一种特征(回声、钙化、或形态等)，不同脏器的图像都不同。因此，在超声影像分析软件中，对用不同脏器，最好使用不同的分析算法。
而大部分的超声图像上，都标有表示部位或脏器的图标，因此，可以通过识别图标，判断用户导入的图像是属于哪一个脏器的超声影像，据此使用对应的分析算法，减少用户不必要的手动操作，提升软件的便捷性和易用性。
发明内容
本发明所要解决的技术问题是提供一种目标检测的超声图像类型识别方法，通过目标检测网络能够有效检测超声图像的脏器类型。
本发明解决其技术问题所采用的技术方案是：提供一种目标检测的超声图像类型识别方法，包括：
获取带有脏器标记的超声图像；
通过目标检测网络识别所述超声图像的脏器标记来确定脏器类型，所述目标检测网络包括依次连接的卷积神经网络XDNetV2-D-UT、特征金字塔网络以及两个并行的分类网络和回归网络；所述卷积神经网络XDNetV2-D-UT用于提取超声图像的特征，所述特征金字塔网络用于对提取出的特征进行强化与融合，所述分类网络用于根据强化与融合后的特征识别出超声图像的脏器标记类型，所述回归网络用于对超声图像的脏器标记区域进行标识。
所述卷积神经网络XDNetV2-D-UT包括依次连接的第一特征单元、2个第二特征单元、第三特征单元、第四特征单元、第五特征单元和第六特征单元，其中，所述第一特征单元包括依次连接的第七特征单元和第八特征单元；所述第二特征单元包括依次连接的第四特征单元、第九特征单元和第八特征单元；所述第三特征单元包括依次连接的第四特征单元和第九特征单元。
所述第七特征单元包括依次连接的深度可分离卷积层、批归一化层、激活层、卷积层、激活层、层归一化层、注意力模块、相加层、层归一化层、注意力模块和相加层，并且第2个激活层的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
所述第四特征单元包括依次连接的卷积层、激活层、层归一化层、注意力模块、相加层、层归一化层、注意力模块和相加层，并且激活层的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
所述第九特征单元包括依次连接的激活层、批归一化层、深度可分离卷积层、激活层、批归一化层、深度可分离卷积层、相加层、层归一化层、注意力模块和相加层，并且第四特征单元的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
所述第五特征单元包括依次连接的卷积层、激活层、层归一化层、注意力模块和相加层，并且激活层的输出和相加层连接。
所述注意力模块包括相对位置编码层和3个深度可分离卷积层，其中，第2个深度可分离层与第3个深度可分离层进行点乘得到第一点乘结果，第3个深度可分离层和相对位置编码层进行点乘得到第二点乘结果，所述第一点乘结果和第二点乘结果相加后与注意力激活层连接，激活层的输出和第1个深度可分离层进行点乘后与重塑层连接。
所述第八特征单元包括依次连接的激活层、批归一化层、深度可分离卷积层、激活层、批归一化层、深度可分离卷积层和相加层，并且第七特征单元的输出和相加层连接。
所述第六特征单元包括依次连接的卷积层、批归一化层和激活层。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明构建的卷积神经网络XDNetV2-D-UT网络的开发属于小样本训练，轻量化的网络能够有效避免小样本训练的过拟合问题，提升泛化能力；由于类型图标(即脏器标记)相对于整张超声图像属于中小型的目标，且以线条为主，因此本发明的XDNetV2-D-UT网络在低等和中等维度特征图阶段，使用的了较多的注意力模块和卷积层，以强化对中小型的目标和线条细节特征的提取；本发明的目标检测网络检测脏器的类型图标，同时免去用户手动切换分析模式的操作，节省大量时间；本发明对于不同厂商、不同型号的超声机影像都适用，也无论医生使用哪种探头的情况都适用，泛用性更强，且能应用于实时的检测分析中。
附图说明
图1是本发明实施方式的目标检测网络处理流程图；
图2是本发明实施方式的卷积神经网络结构示意图；
图3是本发明实施方式的注意力模块结构示意图；
图4是本发明实施方式的乳腺超声图像检测结果图；
图5是本发明实施方式的甲状腺超声图像检测结果图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于目标检测的超声图像类型识别方法，包括：
获取带有脏器标记的超声图像；
通过目标检测网络识别所述超声图像的脏器标记来确定脏器类型，所述目标检测网络包括依次连接的卷积神经网络XDNetV2-D-UT、特征金字塔网络以及两个并行的分类网络和回归网络；所述卷积神经网络XDNetV2-D-UT用于提取超声图像的特征，所述特征金字塔网络用于对提取出的特征进行强化与融合，所述分类网络用于根据强化与融合后的特征识别出超声图像的脏器标记类型，所述回归网络用于对超声图像的脏器标记区域进行标识。
以下对本实施方式进行详细介绍：
1、训练数据构成
上万张超声图像，前期由人工手动标记部位或脏器的图标区域及类型，即矩形区域顶点坐标，和对应分类，本实施方式中共有10类，分别为：甲状腺、乳腺、颈部淋巴结、腋下淋巴结、膀胱、心脏、肝脏、肾脏、子宫、前列腺。
2、数据预处理(Data Preprocessing)
所有图像在输入卷积神经网络时都会被调整大小到(512，512，3)，此处的3表示通道数，即数据是以彩色图像输入；随后对数据归一化。
3、训练数据增强(DataAugmentation)
对数据进行增强处理，提升算法鲁棒性。
使用的数据增强包括：随机横向平移(random width shift)、随机纵向平移(random height shift)、随机亮度偏移(random brightness shift)、随机通道平移(random channel shift)、随机横向翻转(random width flip)、随机纵向翻转(randomheight flip)。
4、主干网络结构(NetworkArchitecture)
本实施方式中的目标检测网络采用的主干网络是卷积神经网络XDNetV2-D-UT，该网络是一种半自注意力卷积神经网络(semi-self-attention CNN)，针对任务目标，即超声图像类型识别，详见图2。
进一步地，卷积神经网络XDNetV2-D-UT使用的局部结构包括：
A)卷积层(convolution layer)；
B)深度可分离卷积层(depth-wise separable convolution layer)；
C)批归一化层(batch normalization layer)：是一批训练数据之间对单个神经元的归一化；
D)层归一化层(layer normalization layer)：是单个训练数据对某一层所有神经元之间的归一化；
E)激活层(activation layer，swish和softmax)；
swish函数公式：
softmax函数公式：
其中，e为自然常数；xi表示输入的第i个元素。
F)相对位置编码(Relative Position Embedding)：普通的卷积层提取的是像素强度(即颜色)和边缘轮廓的图像特征；注意力模块中使用相对位置编码，得到像素与像素间的相对位置关系，从而提取形状结构等特征；
G)相加(add)；
H)点乘(dotproduct)；
I)重塑层(reshape layer)。
进一步地，对上述各局部结构进行拼接，可以得到第一特征单元、2个第二特征单元、第三特征单元、第四特征单元、第五特征单元和第六特征单元，其中，所述第一特征单元包括依次连接的第七特征单元和第八特征单元；所述第二特征单元包括依次连接的第四特征单元、第九特征单元和第八特征单元；所述第三特征单元包括依次连接的第四特征单元和第九特征单元。根据各局部结构，第四、五、六、七特征单元的主要功能为下采样，且第四、五、七特征单元自身具有一定的图像特征提取能力；第一、二、三特征单元实际由第四、七、八、九特征单元组成，其中第四、七特征单元作用如上述，即下采样并具备一定的图像特征提取能力；第八、九特征单元的主要功能是图像特征提取；第二特征单元中的第八、九特征单元串联是为了进一步强化对低等和中等维度特征的提取。
所述第七特征单元包括依次连接的深度可分离卷积层、批归一化层、激活层(swish)、卷积层、激活层(swish)、层归一化层、注意力模块、相加层、层归一化层、注意力模块和相加层，并且第2个激活层(swish)的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
所述第八特征单元包括依次连接的激活层、批归一化层、深度可分离卷积层、激活层(swish)、批归一化层、深度可分离卷积层和相加层，并且第七特征单元的输出和相加层连接。
所述第四特征单元包括依次连接的卷积层、激活层(swish)、层归一化层、注意力模块、相加层、层归一化层、注意力模块和相加层，并且激活层(swish)的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
所述第九特征单元包括依次连接的激活层(swish)、批归一化层、深度可分离卷积层、激活层(swish)、批归一化层、深度可分离卷积层、相加层、层归一化层、注意力模块和相加层，并且第四特征单元的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
所述第五特征单元包括依次连接的卷积层、激活层(swish)、层归一化层、注意力模块和相加层，并且激活层的输出和相加层连接。
所述第六特征单元包括依次连接的卷积层、批归一化层和激活层(swish)。
请参阅图3，所述注意力模块包括相对位置编码层和3个深度可分离卷积层，其中，第2个深度可分离层与第3个深度可分离层进行点乘得到第一点乘结果，第3个深度可分离层和相对位置编码层进行点乘得到第二点乘结果，所述第一点乘结果和第二点乘结果相加后与注意力激活层(softmax)连接，激活层的输出和第1个深度可分离层进行点乘后与重塑层连接。
本实施方式通过变换器(transformer)中的自注意力(self-attention)机制，构建适合应用于超声图像的注意力模块，见图3；结合ResNet中的完全预激活跳接(full pre-activation skip connection)，实现特征强化(feature enhancement)和赋予网络随机深度；并应用深度可分离卷积，大幅减少参数量，降低计算复杂度。
5、目标检测模型结构
本发明的目标检测模型为一段式(one stage)类型，见图1：输入经过主干网络(XDNetV2-D-UT)的处理，再输入特征金字塔网络(Feature PyramidNetwork，以下简称FPN)，FPN的作用是特征强化与融合(feature enhancement and fusion)，再分别经过分类分析(classification analysis)和回归分析(regression analysis)，得到分类输出和对应的边框输出。
6、损失函数
对应回归分析和分类分析，损失函数分别为Smooth-L1和Focal Loss。
Smooth-L1公式：
其中，L1Smooth表示预测损失，r表示实际值，
表示预测值。
Focal Loss公式：
FL(pt)＝-(1-pt)γlog(pt)
其中：
其中，FL是预测损失，pt表示模型预测为类的概率，yt表示实际值(即实际是否为t类，1表示“是”，0表示“否”)，
表示预测值，γ为一个常数，此处取值为2。
7、开发与应用流程
标注好的数据(含框选坐标和分类)，经过预处理和增强后，输入并训练目标检测模型；应用时，软件会将用户导入的图像预处理后，通过模型运算，得到预测的分类和对应的边框结果，经过非极大值抑制(Non Maximum Suppression，简称NMS)，得到最终结果。
若将结果可视化，则如图4所示，图4中右边部分右下角白色矩形框框出来的区域即为本实施方式目标检测网络所识别的脏器标记所在区域，根据脏器标记的类型可以确定该超声图像的脏器为乳腺；需要注意的是，图4中脏器对应的矩形框并非本实施方式得出的，其是在超声机使用时候自带功能。
如图5所示，图5中右下角白色矩形框框出来的区域即为本实施方式目标检测网络所识别的脏器标记所在区域，根据脏器标记的类型可以确定该超声图像的脏器为甲状腺。
不难发现，本发明的网络(XDNetV2-D-UT)以使用注意力模块和跳接为主，用于自适应的网络深度，并大量使用深度可分离卷积，减少计算参数量，属于十分轻量化的网络结构。轻量化的网络在本发明中有两大优势：1：因为计算量小，所以网络运行速度快；2：颈部淋巴结的超声图像属于医疗数据，不仅采集困难，加之伦理和隐私等问题。因此，XDNetV2-D-UT网络的开发属于小样本训练，轻量化的网络能够有效避免小样本训练的过拟合问题，提升泛化能力。由于类型图标相对于整张超声图像属于中小型的目标，且以线条为主，因此XDNetV2-D-UT网络在低等和中等维度特征图阶段，使用的了较多的注意力模块和卷积层，以强化对中小型的目标和线条细节特征的提取。因此相比其他网络结构，具有速度快、准确率高的优势。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (9)
1.一种基于目标检测的超声图像类型识别方法，其特征在于，包括：
获取带有脏器标记的超声图像；
通过目标检测网络识别所述超声图像的脏器标记来确定脏器类型，所述目标检测网络包括依次连接的卷积神经网络XDNetV2-D-UT、特征金字塔网络以及两个并行的分类网络和回归网络；所述卷积神经网络XDNetV2-D-UT用于提取超声图像的特征，所述特征金字塔网络用于对提取出的特征进行强化与融合，所述分类网络用于根据强化与融合后的特征识别出超声图像的脏器标记类型，所述回归网络用于对超声图像的脏器标记区域进行标识。
2.根据权利要求1所述的基于目标检测的超声图像类型识别方法，其特征在于，所述卷积神经网络XDNetV2-D-UT包括依次连接的第一特征单元、2个第二特征单元、第三特征单元、第四特征单元、第五特征单元和第六特征单元，其中，所述第一特征单元包括依次连接的第七特征单元和第八特征单元；所述第二特征单元包括依次连接的第四特征单元、第九特征单元和第八特征单元；所述第三特征单元包括依次连接的第四特征单元和第九特征单元。
3.根据权利要求2所述的基于目标检测的超声图像类型识别方法，其特征在于，所述第七特征单元包括依次连接的深度可分离卷积层、批归一化层、激活层、卷积层、激活层、层归一化层、注意力模块、相加层、层归一化层、注意力模块和相加层，并且第2个激活层的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
4.根据权利要求2所述的基于目标检测的超声图像类型识别方法，其特征在于，所述第四特征单元包括依次连接的卷积层、激活层、层归一化层、注意力模块、相加层、层归一化层、注意力模块和相加层，并且激活层的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
5.根据权利要求2所述的基于目标检测的超声图像类型识别方法，其特征在于，所述第九特征单元包括依次连接的激活层、批归一化层、深度可分离卷积层、激活层、批归一化层、深度可分离卷积层、相加层、层归一化层、注意力模块和相加层，并且第四特征单元的输出和第1个相加层连接，第1个相加层的输出和第2个相加层连接。
6.根据权利要求2所述的基于目标检测的超声图像类型识别方法，其特征在于，所述第五特征单元包括依次连接的卷积层、激活层、层归一化层、注意力模块和相加层，并且激活层的输出和相加层连接。
7.根据权利要求3-6所述的基于目标检测的超声图像类型识别方法，其特征在于，所述注意力模块包括相对位置编码层和3个深度可分离卷积层，其中，第2个深度可分离层与第3个深度可分离层进行点乘得到第一点乘结果，第3个深度可分离层和相对位置编码层进行点乘得到第二点乘结果，所述第一点乘结果和第二点乘结果相加后与注意力激活层连接，激活层的输出和第1个深度可分离层进行点乘后与重塑层连接。
8.根据权利要求2所述的基于目标检测的超声图像类型识别方法，其特征在于，所述第八特征单元包括依次连接的激活层、批归一化层、深度可分离卷积层、激活层、批归一化层、深度可分离卷积层和相加层，并且第七特征单元的输出和相加层连接。
9.根据权利要求1所述的基于目标检测的超声图像类型识别方法，其特征在于，所述第六特征单元包括依次连接的卷积层、批归一化层和激活层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210293087.0A CN114782318A (zh) | 2022-03-24 | 2022-03-24 | 一种基于目标检测的超声图像类型识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210293087.0A CN114782318A (zh) | 2022-03-24 | 2022-03-24 | 一种基于目标检测的超声图像类型识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114782318A true CN114782318A (zh) | 2022-07-22 |
Family
ID=82425244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210293087.0A Pending CN114782318A (zh) | 2022-03-24 | 2022-03-24 | 一种基于目标检测的超声图像类型识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114782318A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
| KR102192211B1 (ko) * | 2020-06-23 | 2020-12-16 | 인하대학교 산학협력단 | 이미지 변환을 위한 깊이별 분리가능한 컨볼루션과 채널 어텐션을 이용한 효율적인 적대적 생성 신경망 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
-
2022
- 2022-03-24 CN CN202210293087.0A patent/CN114782318A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929603A (zh) * | 2019-11-09 | 2020-03-27 | 北京工业大学 | 一种基于轻量级卷积神经网络的天气图像识别方法 |
| KR102192211B1 (ko) * | 2020-06-23 | 2020-12-16 | 인하대학교 산학협력단 | 이미지 변환을 위한 깊이별 분리가능한 컨볼루션과 채널 어텐션을 이용한 효율적인 적대적 생성 신경망 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114202672A (zh) * | 2021-12-09 | 2022-03-18 | 南京理工大学 | 一种基于注意力机制的小目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张盼盼;李其申;杨词慧;: "基于轻量级分组注意力模块的图像分类算法", 计算机应用, no. 03, 31 December 2020 (2020-12-31), pages 31 - 36 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612763B (zh) | 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质 | |
| CN109741346B (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| US20210118144A1 (en) | Image processing method, electronic device, and storage medium | |
| CN104103033B (zh) | 图像实时处理方法 | |
| WO2023060777A1 (zh) | 一种基于深度学习的猪只体尺体重估测方法 | |
| CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
| CN104363815B (zh) | 图像处理装置以及图像处理方法 | |
| CN114241031B (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
| CN108830149B (zh) | 一种目标细菌的检测方法及终端设备 | |
| CN110163798B (zh) | 渔场围网破损检测方法及系统 | |
| CN104143102B (zh) | 在线图像数据处理方法 | |
| CN111178121B (zh) | 基于空间特征和深度特征强化技术的害虫图像定位识别方法 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| CN110974179A (zh) | 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统 | |
| CN111563439B (zh) | 一种水产生物病害检测方法、装置及设备 | |
| JP2008198078A (ja) | 画像検出装置 | |
| CN112001895A (zh) | 一种甲状腺钙化检测装置 | |
| CN112001894B (zh) | 一种甲状腺边界平滑度检测装置 | |
| CN109087310A (zh) | 睑板腺纹理区域的分割方法、系统、存储介质及智能终端 | |
| CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
| CN106600615A (zh) | 一种图像边缘检测算法评价系统及方法 | |
| CN113989236A (zh) | 一种胃镜图像智能目标检测系统及方法 | |
| CN114782318A (zh) | 一种基于目标检测的超声图像类型识别方法 | |
| CN116168328A (zh) | 一种甲状腺结节超声检查系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |