CN113763386B - 基于多尺度特征融合的手术器械图像智能分割方法和系统 - Google Patents
基于多尺度特征融合的手术器械图像智能分割方法和系统 Download PDFInfo
- Publication number
- CN113763386B CN113763386B CN202110791891.7A CN202110791891A CN113763386B CN 113763386 B CN113763386 B CN 113763386B CN 202110791891 A CN202110791891 A CN 202110791891A CN 113763386 B CN113763386 B CN 113763386B
- Authority
- CN
- China
- Prior art keywords
- characteristic information
- layer
- convolution
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000004927 fusion Effects 0.000 title claims abstract description 62
- 230000001537 neural effect Effects 0.000 claims abstract description 68
- 238000003709 image segmentation Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000011176 pooling Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000002324 minimally invasive surgery Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 208000035965 Postoperative Complications Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提供一种基于多尺度特征融合的手术器械图像智能分割方法和系统，涉及手术器械图像分割领域。本发明首先构建多尺度特征融合的轻量级网络架构，包括预先训练的编码器和解码器。将预处理得到高分辨率图像输入编码器的第一卷积神经子网络，低分辨图像输入编码器的第二卷积神经子网络，分别获取大尺度图像特征信息和小尺度图像特征信息；采用级联方式对维度大小相同的大尺度图像特征信息和小尺度图像特征信息进行融合；将最终图像特征信息输入解码器，以及将各个融合特征信息跳层连接至各个解码单元执行上采样操作，获取手术器械图像智能分割结果。相较于传统的深度学习方法，获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间。
Description
技术领域
本发明涉及手术器械图像分割技术领域，具体涉及一种基于多尺度特征融合的手术器械图像智能分割方法、系统、存储介质和电子设备。
背景技术
随着科技水平的不断发展，微创手术在各级医院的占比不断提升。相对于传统的外科手术而言，微创手术的视野受限，腔体空间狭窄，增加了微创手术的手术难度，外科医生的学习曲线也随之变长。同时，与三甲医院医生相比，基层医院医生微创诊疗能力有限，微创手术技能水平不高，增加了患者术后并发症与二次入院治疗的风险。
目前，微创手术视频智能分析技术的出现，可以有效利用微创手术视频中的视觉信息，智能化识别与追踪手术器械，为外科手术医生提供手术术中导航以及术后的质量评估等手术智能辅助功能。但现有的微创手术器械识别方法的研究中，存在着以下不足：(1)传统的手术器械识别方法通常需要包括射频识别标签(RFID)、传感器等人工标注工具，会导致手术器械尺寸变化，手术器械消毒难度增加、手术器械识别精度低等问题。(2)在微创手术过程中，内窥镜运动产生的手术器械镜面反射、运动模糊和手术中产生的烟雾遮挡、术中的病灶出血等常见现象，会造成手术器械的形态发生改变，基于手工特征或者浅层CNN网络方法的微创手术视频分析技术的效果并不理想。
因此，基于微创手术视频数据，人们亟需一种能够对手术器械进行自动化、精准化的识别与追踪的技术方案。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于多尺度特征融合的手术器械图像智能分割方法、系统、存储介质和电子设备，解决了现有技术无法对手术器械进行自动化、精准化的识别与追踪的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，提供一种基于多尺度特征融合的手术器械图像智能分割方法，该方法首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；所述方法包括：
S1、预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；
S2、将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；
S3、采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；
S4、将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。
优选的，所述S1中采用双线性二插法将所述高分辨率图像裁剪得到所述低分辨率图像。
优选的，所述S2中第一卷积神经子网络的结构包括：
第一输入层，卷积层Conv1、Conv2、最大池化层pool1，卷积层Conv3、Conv4、最大池化层pool2，卷积层Conv5、Conv6、Conv7、最大池化层pool3，卷积层Conv8、Conv9、Conv10、最大池化层pool4；
第二卷积神经子网络的结构包括：
第二输入层，与所述第一卷积神经子网络参数相同但不共享权重的卷积层Conv5、Conv6、Conv7、最大池化层pool3、卷积层Conv8、Conv9、Conv10、最大池化层pool4，卷积层Conv11、Conv12、Conv13、最大池化层pool5，全连接层。
优选的，所述S3具体包括：
S31、采用卷积核大小为3*3的卷积操作对各个所述大尺度图像特征信息进行降维操作，获取与对应的所述小尺度图像特征信息维度相同的转化图像特征信息；
其中，表示第一卷积神经子网络对应的第i个隐藏层中最后一卷积层对应的转化图像特征信息；ReLU表示激活函数；w表示3*3的卷积操作的权重；b表示3*3的卷积操作的偏置；/>表示第一卷积神经子网络第i个隐藏层中最后一卷积层输出的大尺度图像特征信息；
S32、采用级联方式将维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息
其中，表示不同维度大小的融合特征信息；/>表示第二卷积神经子网络对应的第i-1个隐藏层中最后一卷积层输出的小尺度图像特征信息。
优选的，所述S4中上采样操作采用转置卷积实现。
优选的，所述S4中获取手术器械图像智能分割结果具体包括：
将所述解码器的最后一个解码单元输出的图像特征信息，输入所述解码器的softmax函数层进行归一化处理，获取手术背景、手术器械关节以及手术器械种类对应类别的概率值，将概率值最大的类别作为最终的手术器械图像智能分割结果。
第二方面，提供一种基于多尺度特征融合的手术器械图像智能分割系统，该系统首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；包括：
预处理模块，用于预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；
获取模块，用于将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；
融合模块，用于采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；
上采样模块，用于将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。
第三方面，提供一种存储介质，其存储有用于基于多尺度特征融合的手术器械图像智能分割的计算机程序，其中，所述计算机程序使得计算机执行如上所述的手术器械图像智能分割方法。
第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的手术器械图像智能分割方法。
(三)有益效果
本发明提供了一种基于多尺度特征融合的手术器械图像智能分割方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
本发明首先构建多尺度特征融合的轻量级网络架构，包括预先训练的编码器和解码器。将预处理得到高分辨率图像输入编码器的第一卷积神经子网络，低分辨图像输入编码器的第二卷积神经子网络，分别获取大尺度图像特征信息和小尺度图像特征信息；然后采用级联方式对维度大小相同的大尺度图像特征信息和小尺度图像特征信息进行融合；最后将最终图像特征信息输入解码器，以及将各个融合特征信息跳层连接至解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。相较于传统的深度学习方法，获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间；能够更好的辅助医生对手术器械进行感知，明确微创手术器械的运动轨迹，有助于提高基层外科医生的诊疗水平，具有重要的临床研究意义与应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于多尺度特征融合的手术器械图像智能分割方法的方法流程示意图；
图2为本发明实施例提供的一种多尺度特征融合的轻量级网络架构的示意图；
图3为本发明实施例提供的手术器械图像智能分割结果示意图；
图4为本发明实施例提供的二进制语义分割任务可视化展示图；
图5为本发明实施例提供的一种基于多尺度特征融合的手术器械图像智能分割系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种基于多尺度特征融合的手术器械图像智能分割方法、系统、存储介质和电子设备，解决了现有技术无法对手术器械进行自动化、精准化的识别与追踪的技术问题，能够更好的辅助医生对手术器械进行感知，明确微创手术器械的运动轨迹，有助于提高基层外科医生的诊疗水平，具有重要的临床研究意义与应用价值。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明实施例首先构建多尺度特征融合的轻量级网络架构，包括预先训练的编码器和解码器。将预处理得到高分辨率图像输入编码器的第一卷积神经子网络，低分辨图像输入编码器的第二卷积神经子网络，分别获取大尺度图像特征信息和小尺度图像特征信息；然后采用级联方式对维度大小相同的大尺度图像特征信息和小尺度图像特征信息进行融合；最后将最终图像特征信息输入解码器，以及将各个融合特征信息跳层连接至解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。相较于传统的深度学习方法，获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间；能够更好的辅助医生对手术器械进行感知，明确微创手术器械的运动轨迹，有助于提高基层外科医生的诊疗水平，具有重要的临床研究意义与应用价值。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例：
第一方面，如图1所示，本发明实施例提供了一种基于多尺度特征融合的手术器械图像智能分割方法。如图2所示，该方法首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；该方法包括：
S1、预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；
S2、将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；
S3、采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；
S4、将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。
相较于传统的深度学习方法，本发明实施例获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间；能够更好的辅助医生对手术器械进行感知，明确微创手术器械的运动轨迹，有助于提高基层外科医生的诊疗水平，具有重要的临床研究意义与应用价值。
下面将结合具体内容详细介绍上述方案的各个步骤：
S1、预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍。
本发明实施例提供的手术器械图像智能分割方法主要应用于微创外科手术智能分析中，基于深度学习的微创手术智能分析方法可以通过图像分析方法，在手术过程中对手术器械进行检测，手术流程识别与手术剩余时间预测，提醒医生注意手术中可能存在的并发症，并对手术医生提供实时准确的术中导航。
获取原始手术视频数据，并提取其中的关键帧作为原始的手术器械图像。通过对所述手术器械图像进行不同分辨率的采样获取两种不同的尺寸大小的图像输入，增强图像下采样特征提取过程中对数据特征的关注度，避免信息丢失。具体来说，获取大小为1280*1024高分辨率图像和640*512低分辨图像；采用双线性二插法将所述高分辨率图像裁剪得到所述低分辨率图像，不难看出，所述高分辨率图像的分辨率为所述低分辨率图像的两倍。
本步骤获取两种不同的尺寸大小的图像输入，结合后续步骤中不同特征提取网络之间同一分辨率特征的融合，使得多尺度特征融合的手术器械分割方法在图像交并比(IoU)、dice系数、每秒传输帧数(fps)都取得了比较优异的结果，具体参见后文的验证过程。
该方法的具体框架图如图2所示，所述多尺度特征融合的轻量级网络架构可以分为三个部分：特征编码、特征融合和特征解码。
S2、将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息。
随着深度学习方法的不断发展，卷积神经网络已经成为了图像识别、图像分割等问题的重要分析模型。在本发明实施例中，为了更好的提取不同分辨率尺度的微创手术图像信息，所述编码器采用多尺度并联的卷积神经网络架构，如图2所示。
所述编码器的第一卷积神经子网络或者第二卷积神经子网络的特征提取层可以采用基于ImageN预训练之后的Vgg16网络模型，随着网络深度的增加，网络的特征图数量将随之增加，特征图的大小会随之减少。
如图2所示，所述S2中第一卷积神经子网络的结构包括：
第一输入层：将步骤S1中的大小为1280*1024高分辨率图像输入所述第一输入层中；
卷积层Conv1、Conv2：两个卷积层的卷积核的数目均为64，卷积核大小为3*3，同时步长设置为1；
最大池化层pool1：对Conv2的输出进行降维处理，特征图大小缩放为Conv2特征图大小的1/2，其中卷积核大小为3*3，步长为2；
卷积层Conv3、Conv4：两个卷积层的卷积核的数目均为128，卷积核大小为3*3，同时步长设置为1；
最大池化层pool2：对Conv4的输出进行降维处理，特征图大小缩放为Conv4特征图大小的1/2，其中卷积核大小为3*3，同时步长设置为2；
卷积层Conv5、Conv6、Conv7：三个卷积层的卷积核的数目均为256，Conv5和Conv6卷积核大小为3*3，步长为1，Conv7卷积核为1*1，步长为1；
最大池化层pool3：对Conv7的输出进行降维处理，特征图大小缩放为Conv7特征图大小的1/2，其中卷积核大小为3*3，同时步长设置为2；
卷积层Conv8、Conv9、Conv10：三个卷积层的卷积核的数目均为512，Conv8和Conv9卷积核大小为3*3，步长为1，Conv10卷积核为1*1，步长为1；
最大池化层pool4：对Conv10的输出进行降维处理，特征图大小缩放为Conv10特征图大小的1/2，其中卷积核大小为3*3，同时步长设置为2。
如图2所示，第二卷积神经子网络的结构包括：
第二输入层：将步骤S1中的大小为640*512低分辨图像输入所述第二输入层中；
与所述第一卷积神经子网络参数相同但不共享权重的卷积层Conv5、Conv6、Conv7、最大池化层pool3、卷积层Conv8、Conv9、Conv10、最大池化层pool4，卷积层Conv11、Conv12、Conv13、最大池化层pool5；
全连接层，用于输出所述第二卷积神经子网络输出的最终图像特征信息。
S3、采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息。
为了更好的学习手术器械图像的语义信息，降低推理时间，减少烟雾遮挡等因素造成的视像模糊，本步骤对图像不同粒度的信息进行了采样融合。
所述多尺度特征融合的轻量级网络架构第二部分的主体部分为多尺度并联卷积神经网络的特征融合部分，由于步骤S2中两张输入图片的大小差一倍，因此经过3*3的卷积后，可以是将左侧多尺度并联的网络卷积层提取的相同尺度大小的特征信息进行融合。
需要注意的是，由于大尺度卷积所获得的特征图是小尺度卷积所获得特征图的两倍，特征图的大小是相同的，但是特征图的通道信息不同，因此需要采用卷积核大小为3*3的卷积操作对通道数目较大的特征图进行降维操作，使得需要融合的大尺度图像特征信息和小尺度图像特征信息大小相同。因为两个采样路径不共享权重，所以卷积可以获得更为全面的视觉信息。
具体包括：
S31、采用卷积核大小为3*3的卷积操作对各个所述大尺度图像特征信息进行降维操作，获取与对应的所述小尺度图像特征信息维度相同的转化图像特征信息；
其中，表示第一卷积神经子网络对应的第i个隐藏层中最后一卷积层对应的转化图像特征信息；ReLU表示激活函数；w表示3*3的卷积操作的权重；b表示3*3的卷积操作的偏置；/>表示第一卷积神经子网络第i个隐藏层中最后一卷积层输出的大尺度图像特征信息，/> 其中h*w表示特征图的大小，m则代表通道的数目。
S32、采用级联方式将维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息
其中，表示不同维度大小的融合特征信息；/>表示第二卷积神经子网络对应的第i-1个隐藏层中最后一卷积层输出的小尺度图像特征信息。
S4、将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元采用转置卷积执行上采样操作，获取手术器械图像智能分割结果。
所述S4中获取手术器械图像智能分割结果具体包括：
将所述解码器的最后一个解码单元输出的图像特征信息，输入所述解码器的softmax函数层进行归一化处理，获取手术背景、手术器械关节以及手术器械种类对应类别的概率值，将概率值最大的类别作为最终的手术器械图像智能分割结果。
此外，为了进一步证明本发明实施例提供的手术器械图像智能分割方法以及构建的多尺度特征融合的轻量级网络架构(MSNet)，相较于传统的深度学习方法，获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间；能够更好的辅助医生对手术器械进行感知，明确微创手术器械的运动轨迹，有助于提高基层外科医生的诊疗水平，具有重要的临床研究意义与应用价值。
本发明实施例选择现有比较常用的图像语义网络模型作为基准模型，与将所述多尺度特征融合的轻量级网络架构(MSNet)开展分割性能对比实验，如图3所示，主要的对于微创手术图像的语义分割以下这三个任务之间性能进行比较：器械二进制分割任务(Binary task)，分为手术背景与手术器械；器械关节分割任务(Parts task)，将手术器械的背景部分、尖端部分、关节部分以及轴部分分别标记为0，1，2，3的四个标记；手术器械类别的分割任务(Instruments task)，将手术背景标记为0，手术器械的类别则以1为起始的增量数值进行标记。具体的，将手术背景标记为0，手术器械的类别则以1为起始的增量数值进行标记，分别为生物组织、双极钳、前突钳、大号持针器、牵开器等8类。
主要对比的语义分割网络分别为：
(1)UNet16网络：UNet16网络是指包含16个卷积层和全连接层的深度网络结构，是最早提出的U型网络架构和跳层连接架构，主要用于二维医疗图像数据的图像分割任务，并且在2015年IEEE生物医学成像国际会议(ISBI)的细胞追踪挑战赛中取得了冠军。
(2)LinkNet-34：LinkNet-34是UNet网络的改进版，在网络的编码层中采用了基于Resnet为编码层的网络架构，同时在解码层使用了残差块的架构，与UNet相比，LinkNet在网络的推理速率以及精度方面，均有一定的提升。
(3)TernausNet：TernausNet也是UNet网络的改进版，与UNet不同的是，TernausNet的编码层，使用了网络预训练之后的VggNet的网络架构，VggNet证明了通过利用小而深的神经网络架构对模型的分类效果具有较大的提升作用，通过使用3*3的小型卷积核和多个2*2的最大池化层，实现网络性能的提升。
(4)ICNet：ICNet由zhao等人于2018年的欧洲计算机视觉会议(ECCV)提出，综合考虑了精度和速率两个因素的影响，设计了一种新颖的图像级联网络，利用低分辨率图像与高分辨率图像的语义信息，在保证高质量图像分割结果的同时，实现对高分辨率图像的实时推理。
数据方面使用了来源于2017年的医学图像计算和计算机辅助干预年会内窥镜视觉分会(MICCAI 2017Endoscopic Vision Challenge)所提供的公开数据集，数据集由德国海德堡大学的微创外科手术专家利用达芬奇手术机器人系统采集而来，数据集由8个不同手术环境下的225个视频帧数据组成，每个视频帧序列的图像数据都包含左右两个视野的图像数据，同时每个视野所对应的图像数据都拥有外科手术专家所标注的图像分割掩膜标签。
为了开展对比实验，在训练过程中使用k则交叉训练的方法。将手术器械数据集随机分为3:1的训练数据与测试数据,其中训练数据集包含6个手术器械训练集，共包含1350张图像数据，测试数据集包括2个手术器械训练集，共包含450张图像数据。原始的手术器械图像分辨率大小为1920*1080。
对比实验采用了Pytorch实现，实验平台为Intel Xeon@2.16-GHz CPU,和8块NVIDIA GeForce Titan X GPU加速训练。需要注意的是，在测量不同模型的推理速率时，本发明实施例均采用单个GPU对模型的推理速率进行评估。同时在训练过程中的全局参数设置如下所示：模型总迭代次数(epoch)设置为20，学习率设置为η＝0.00001，批处理值(batch_size)设置为12。在实验过程中，选择使用Adam作为优化函数对网络参数进行参数寻优操作。
为了对各个算法模型进行客观的评价与分析，本发明实施例选择了5个常用的指标作为实验的评价标准，分别为图像交并比(IoU)、Dice相似指数(Dice)、敏感性(Sen)、特异性(Spe)、执行时间(execution Time)。其中Dice指标、IoU指标、Sen指标、Spe指标是用来评价手术器械分割模型的好坏，而Time指标则是用来评价模型的推理速率。其中，敏感性和特异性指标是统计学领域比较常用的两个指标，敏感性是用来衡量实际为分割掩膜标签而被正确预测出来的概率，特异性则表示实际为背景标签而预测出来也为背景标签的概率。需要注意的是，本发明实施例所求的IoU，实际是对每一类的IoU进行累加，再进行平均的，上述指标的计算公式如下所示：
其中TP表示模型预测出来的手术器械掩膜；实际的标签也是真实的手术器械掩膜，TN表示模型预测出来为背景，实际的标签也为背景。FP表示预测出来结果为手术器械掩膜标签，但是实际标签是背景，FN表示预测出来的结果为背景，但是真实值却不是真实掩膜标签。
具体的，在器械二进制分割任务(Binary task)、器械关节分割任务(Partstask)、手术器械类别的分割任务(Instruments task)等三个任务之间的指标进行了对比分析，得到的相关指标结果如表1～5所示。
表1微创手术图像Dice指标
表2微创手术图像IoU指标
在表1～2中，可以从Dice指标以及IoU指标分析了模型预测的精度。本发明实施例所提出的MSNet网络模型在两个性能指标的衡量当中均表现了十分优异的结果，在二进制语义分割任务，基于关节的语义分割任务两个任务之中，与所对比的网络模型相比，都取得了最优异的结果。例如，在二进制语义分割任务中，MSNet的Dice指标比最好的模型UNet16高1.5％，在基于关节的语义分割任务中，MSNet的IoU指标要比最好的LinkNet-34高2％。
但是需要注意的是，在基于器械的语义分割任务中，MSNet网络模型以及所使用的对比模型均没有取得十分优异的效果，这可能是由于手术器械种类过多以及训练数据集匮乏所导致的，后续研究可以尝试从实例分割的角度进一步的对该问题进行分析。
表3微创手术图像Sen指标
表4微创手术图像Spe指标
为了对模型的推理结果进行有效的分析，表3～4从特异性以及敏感性两个方面对模型的真阳性与真阴性结果进行展示。从敏感性来看，在二进制语义分割以及基于关节的语义分割任务中，MSNet均表现出了最优的结果，而在基于手术器械种类的分割任务中，LinkNet-34的效果则表现为最优。
表5微创手术图像Time指标
在表5中展示了模型在二进制语义分割任务中所耗费的时间(单位ms)，以及每秒传输帧数(FPS)，在模型推理过程中统一使用了单块NVIDIA GeForce Titan X GPU进行运行，batch_size的值设置为1。在模型的推理速率方面，LinkNet-34的推理速率最快，为62.22ms,虽然本发明实施例提出的MSNet的推理速率相比较而言较慢，但总体差距不大，在可以满足模型实时推理的需求，在网络分割的性能方面优于其他对比网络。
最后，本发明实施例对微创手术视像的语义分割结果进行了可视化分析，如图4所示，主要对二进制语义分割任务进行了可视化展示，以更好的展示各个模型之间预测的实际效果。
通过可视化结果显示可以观察到本发明实施例所提出的方法在二进制语义分割任务中对于细节部分的效果优于其他对于网络，在手术器械末端的分割效果更加精细化。基于微创手术器械的图像分割方法可以有效辅助微创外科手术医生对手术器械进行有效的感知，及时发现手术过程中存在的异常现象，以实现术中可能存在的并发症实时预警。
第二方面，如图5所示，本发明实施例提供一种基于多尺度特征融合的手术器械图像智能分割系统，其特征在于，该系统首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；包括：
预处理模块，用于预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；
获取模块，用于将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；
融合模块，用于采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；
上采样模块，用于将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。
第三方面，本发明实施例提供一种存储介质，其存储有用于基于多尺度特征融合的手术器械图像智能分割的计算机程序，其中，所述计算机程序使得计算机执行如上所述的手术器械图像智能分割方法。
第四方面，本发明实施例提供一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的手术器械图像智能分割方法。
可理解的是，本发明提供的基于多尺度特征融合的手术器械图像智能分割系统、存储介质和电子设备与本发明提供的基于多尺度特征融合的手术器械图像智能分割方法相对应，其有关内容的解释、举例和有益效果等部分可以参考回复多样性多轮对话生成方法中的相应部分，此处不再赘述。
综上所述，与现有技术相比，具备以下有益效果：
本发明实施例首先构建多尺度特征融合的轻量级网络架构，包括预先训练的编码器和解码器。将预处理得到高分辨率图像输入编码器的第一卷积神经子网络，低分辨图像输入编码器的第二卷积神经子网络，分别获取大尺度图像特征信息和小尺度图像特征信息；然后采用级联方式对维度大小相同的大尺度图像特征信息和小尺度图像特征信息进行融合；最后将最终图像特征信息输入解码器，以及将各个融合特征信息跳层连接至解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。相较于传统的深度学习方法，获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间；能够更好的辅助医生对手术器械进行感知，明确微创手术器械的运动轨迹，有助于提高基层外科医生的诊疗水平，具有重要的临床研究意义与应用价值。
需要说明的是，在本发明实施例中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种基于多尺度特征融合的手术器械图像智能分割方法，其特征在于，该方法首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；所述方法包括：
S1、预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；
S2、将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；
S3、采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；
S4、将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果；
所述S2中第一卷积神经子网络的结构包括：
第一输入层，卷积层Conv1、Conv2、最大池化层pool1，卷积层Conv3、Conv4、最大池化层pool2，卷积层Conv5、Conv6、Conv7、最大池化层pool3，卷积层Conv8、Conv9、Conv10、最大池化层pool4；
第二卷积神经子网络的结构包括：
第二输入层，与所述第一卷积神经子网络参数相同但不共享权重的卷积层Conv5、Conv6、Conv7、最大池化层pool3、卷积层Conv8、Conv9、Conv10、最大池化层pool4，卷积层Conv11、Conv12、Conv13、最大池化层pool5，全连接层；
所述S3具体包括：
S31、采用卷积核大小为3*3的卷积操作对各个所述大尺度图像特征信息进行降维操作，获取与对应的所述小尺度图像特征信息维度相同的转化图像特征信息；
其中，表示第一卷积神经子网络对应的第i个隐藏层中最后一卷积层对应的转化图像特征信息；ReLU表示激活函数；w表示3*3的卷积操作的权重；b表示3*3的卷积操作的偏置；/>表示第一卷积神经子网络第i个隐藏层中最后一卷积层输出的大尺度图像特征信息；
S32、采用级联方式将维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息
其中，表示不同维度大小的融合特征信息；/>表示第二卷积神经子网络对应的第i-1个隐藏层中最后一卷积层输出的小尺度图像特征信息。
2.如权利要求1所述的基于多尺度特征融合的手术器械图像智能分割方法，其特征在于，所述S1中采用双线性二插法将所述高分辨率图像裁剪得到所述低分辨率图像。
3.如权利要求1所述的基于多尺度特征融合的手术器械图像智能分割方法，其特征在于，所述S4中上采样操作采用转置卷积实现。
4.如权利要求1所述的基于多尺度特征融合的手术器械图像智能分割方法，其特征在于，所述S4中获取手术器械图像智能分割结果具体包括：
将所述解码器的最后一个解码单元输出的图像特征信息，输入所述解码器的softmax函数层进行归一化处理，获取手术背景、手术器械关节以及手术器械种类对应类别的概率值，将概率值最大的类别作为最终的手术器械图像智能分割结果。
5.一种基于多尺度特征融合的手术器械图像智能分割系统，其特征在于，该系统首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；包括：
预处理模块，用于预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；
获取模块，用于将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；
融合模块，用于采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；
上采样模块，用于将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果；
所述获取模块中第一卷积神经子网络的结构包括：
第一输入层，卷积层Conv1、Conv2、最大池化层pool1，卷积层Conv3、Conv4、最大池化层pool2，卷积层Conv5、Conv6、Conv7、最大池化层pool3，卷积层Conv8、Conv9、Conv10、最大池化层pool4；
第二卷积神经子网络的结构包括：
第二输入层，与所述第一卷积神经子网络参数相同但不共享权重的卷积层Conv5、Conv6、Conv7、最大池化层pool3、卷积层Conv8、Conv9、Conv10、最大池化层pool4，卷积层Conv11、Conv12、Conv13、最大池化层pool5，全连接层；
所述融合模块具体用于：
S31、采用卷积核大小为3*3的卷积操作对各个所述大尺度图像特征信息进行降维操作，获取与对应的所述小尺度图像特征信息维度相同的转化图像特征信息；
其中，表示第一卷积神经子网络对应的第i个隐藏层中最后一卷积层对应的转化图像特征信息；ReLU表示激活函数；w表示3*3的卷积操作的权重；b表示3*3的卷积操作的偏置；/>表示第一卷积神经子网络第i个隐藏层中最后一卷积层输出的大尺度图像特征信息；
S32、采用级联方式将维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息
其中，表示不同维度大小的融合特征信息；/>表示第二卷积神经子网络对应的第i-1个隐藏层中最后一卷积层输出的小尺度图像特征信息。
6.一种存储介质，其特征在于，其存储有用于基于多尺度特征融合的手术器械图像智能分割的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1～4任一项所述的手术器械图像智能分割方法。
7.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1～4任一项所述的手术器械图像智能分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110791891.7A CN113763386B (zh) | 2021-07-13 | 2021-07-13 | 基于多尺度特征融合的手术器械图像智能分割方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110791891.7A CN113763386B (zh) | 2021-07-13 | 2021-07-13 | 基于多尺度特征融合的手术器械图像智能分割方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763386A CN113763386A (zh) | 2021-12-07 |
| CN113763386B true CN113763386B (zh) | 2024-04-19 |
Family
ID=78787696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110791891.7A Active CN113763386B (zh) | 2021-07-13 | 2021-07-13 | 基于多尺度特征融合的手术器械图像智能分割方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763386B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114782440B (zh) * | 2022-06-21 | 2022-10-14 | 杭州三坛医疗科技有限公司 | 医学图像分割方法及电子设备 |
| CN115861604B (zh) * | 2023-02-16 | 2023-06-02 | 赛维森(广州)医疗科技服务有限公司 | 宫颈组织图像处理方法、装置、计算机设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109345449B (zh) * | 2018-07-17 | 2020-11-10 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
-
2021
- 2021-07-13 CN CN202110791891.7A patent/CN113763386B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| WO2020047738A1 (zh) * | 2018-09-04 | 2020-03-12 | 安徽中科智能感知大数据产业技术研究院有限责任公司 | 多尺度特征融合网络结合定位模型的害虫自动计数方法 |
| CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN112183360A (zh) * | 2020-09-29 | 2021-01-05 | 上海交通大学 | 高分辨率遥感影像的轻量化语义分割方法 |
| CN112287940A (zh) * | 2020-10-30 | 2021-01-29 | 西安工程大学 | 一种基于深度学习的注意力机制的语义分割的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张小娟 ; 汪西莉 ; .完全残差连接与多尺度特征融合遥感图像分割.遥感学报.2020,(09),全文. * |
| 徐胜军 ; 欧阳朴衍 ; 郭学源 ; Khan Taha Muthar ; .基于多尺度特征融合模型的遥感图像建筑物分割.计算机测量与控制.2020,(07),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763386A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Pinaya et al. | Fast unsupervised brain anomaly detection and segmentation with diffusion models | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| Hardalaç et al. | Fracture detection in wrist X-ray images using deep learning-based object detection models | |
| CN113763386B (zh) | 基于多尺度特征融合的手术器械图像智能分割方法和系统 | |
| CN111755118B (zh) | 医疗信息处理方法、装置、电子设备及存储介质 | |
| CN108491770B (zh) | 一种基于骨折影像的数据处理方法 | |
| CN112613517B (zh) | 内窥镜仪器分割方法、装置、计算机设备及存储介质 | |
| Xu et al. | Learning domain adaptation with model calibration for surgical report generation in robotic surgery | |
| CN112614571B (zh) | 神经网络模型的训练方法、装置、图像分类方法和介质 | |
| Zaman et al. | Driver emotions recognition based on improved faster R-CNN and neural architectural search network | |
| CN114841320A (zh) | 一种基于喉镜医学影像的器官自动分割方法 | |
| Jaafari et al. | Towards more efficient CNN-based surgical tools classification using transfer learning | |
| Kurian et al. | Deep learning based surgical workflow recognition from laparoscopic videos | |
| CN116993699A (zh) | 一种眼动辅助训练下的医学图像分割方法及系统 | |
| Tao et al. | LAST: LAtent space-constrained transformers for automatic surgical phase recognition and tool presence detection | |
| CN114601560B (zh) | 微创手术辅助方法、装置、设备及存储介质 | |
| Ali et al. | Efficient video indexing for monitoring disease activity and progression in the upper gastrointestinal tract | |
| CN115359066A (zh) | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 | |
| CN114972266A (zh) | 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法 | |
| CN113796850A (zh) | 甲状旁腺mibi图像分析系统、计算机设备及存储介质 | |
| US20220059239A1 (en) | Image or waveform analysis method, system and non-transitory computer-readable storage medium | |
| CN116863469B (zh) | 一种基于深度学习的手术解剖部位识别标注方法 | |
| Fatema et al. | Development of an automated optimal distance feature-based decision system for diagnosing knee osteoarthritis using segmented X-ray images | |
| Zhu et al. | An Unsupervised Deep-Learning Method for Bone Age Assessment | |
| Freitas et al. | Assessing the Quality of Photoplethysmograms via Gramian Angular Fields and Vision Transformer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |