CN114372962B - 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 - Google Patents

基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 Download PDF

Info

Publication number
CN114372962B
CN114372962B CN202111609392.8A CN202111609392A CN114372962B CN 114372962 B CN114372962 B CN 114372962B CN 202111609392 A CN202111609392 A CN 202111609392A CN 114372962 B CN114372962 B CN 114372962B
Authority
CN
China
Prior art keywords
convolution
granularity
expansion
layer
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111609392.8A
Other languages
English (en)
Other versions
CN114372962A (zh
Inventor
吴秋遐
韦喆艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202111609392.8A priority Critical patent/CN114372962B/zh
Publication of CN114372962A publication Critical patent/CN114372962A/zh
Application granted granted Critical
Publication of CN114372962B publication Critical patent/CN114372962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统，包括：1)构建腹腔镜手术数据集；2)利用双粒度时间卷积网络的双粒度时间卷积模块对图片序列进行初步特征提取，输出对每一帧图像的初始预测结果；3)使用双粒度时间卷积网络的单粒度时间卷积模块对双粒度时间卷积模块输出的初始预测结果进行校正；4)将预测结果映射到(0,1)区间内，得到最终手术阶段识别结果。本发明使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测，利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。

Description

基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
技术领域
本发明涉及腹腔镜微创外科手术图像处理与神经网络的技术领域，尤其是指一种基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统。
背景技术
腹腔镜微创手术是一种常见的微创外科手术，它不仅能为患者提供实质性的医疗效益，而且由于手术过程中需要配备摄像头，因此它还为医生提供了记录手术视频的机会。通过手术视频对对手术流程进行复盘和分析，可以改善外科医生的技术质量，提高患者的安全性。然而人工检索手术视频是一项非常繁琐且耗时的事情，随着计算机辅助技术的日益成熟，自动化手术阶段识别方法能够更好地帮助医生监视和优化手术过程，提高医生的手眼协调并为潜在的偏差和异常生成预警提示。
然而，在复杂的手术场景下对手术阶段进行准确而快速的识别仍然是一项艰巨的任务。首先，由于安装在手术器械上的摄像头会随着医生的手部动作不停运动，拍摄出来的手术视频会不可避免地存在快速的场景切换片段和一些模糊帧。其次，手术工具的快速移动不可避免会造成画面模糊。第三，灼烧和切割组织产生的烟雾和血污会导致画面被不同程度地遮挡，加大了手术阶段的识别难度。
早期的计算机自动辅助手术阶段识别方法依靠手工制作的视觉特征来进行识别，例如颜色、纹理和形状等，但这些方法的通病是成本高且耗费人工，提取出来的特征通用性不强。随后深度学习的方法涌现，效率高于传统的手工特征制作方法，且准确率也很有竞争力。但仅依靠视觉特征对于高精度的手术阶段识别任务仍有局限性。因为手术视频天然地存在着时序特征，所以手术视频的时间上下文信息是实现准确预测手术阶段的关键。多阶段时间卷积已被证明有利于并行处理视频帧，能够成功应用于视频动作分割任务中。但普通的多阶段时间卷积只有一个随着层数增加而增大的膨胀因子。在网络深层，大的膨胀因子能够使卷积核作用在大的时间跨度上，有利于快速捕获全局信息，但也限制了其提取局部信息的能力。基于普通多阶段时间卷积的限制，本发明提出一种双粒度的时间卷积网络，能够同时利用两种大小的膨胀因子从中提取完整的全局信息和局部信息，大大提升了手术阶段的识别效果和过渡帧的识别准确率。
综合以上论述，发明一种具备实时性和高精度的腹腔镜手术阶段识别方法具有较高的实用价值。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于双粒度时间卷积的腹腔镜手术阶段识别方法，使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测。利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。
本发明的第二目的在于提供一种基于双粒度时间卷积的腹腔镜手术阶段识别系统。
本发明的第一目的通过下述技术方案实现：基于双粒度时间卷积的腹腔镜手术阶段识别方法，包括以下步骤：
1)收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
2)将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；
3)将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
4)使用SoftMax函数将步骤3)得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
进一步，在步骤1)中，首先，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
进一步，在步骤2)中，所述双粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调整输入特征图的尺寸和通道数；
第二部分为一个双粒度残差膨胀层，用字母d标识，共Ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成；用ld∈[0,Ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以/>形式减小；
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
式中，是第ld层膨胀因子为/>的膨胀卷积的输出，下标d1用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，是递增的膨胀卷积的偏差向量；
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
式中，是第一层扩张因子为/>的膨胀卷积的输出，下标d2用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，/>是递减的膨胀卷积的偏差向量；
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层ReLU激活，其过程如下公式(3)：
式中，cat(·)表示串联操作，目的是将和/>输出的特征图逐通道相加，/>是/>和/>输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
式中，是对/>进行1×1卷积运算的结果，/>是双粒度残差膨胀层包含的1×1卷积的权重，/>是双粒度残差膨胀层包含的1×1卷积的偏差向量，/>是双粒度残差膨胀层在第ld层的最终输出结果；
第三部分为一个1×1卷积，在结束Ld层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在步骤3)中，所述单粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
第二部分为一个单粒度残差膨胀层，用字母n标识，共Ln层，用l∈[0,Ln]表示当前层数，该部分每层由一个膨胀因子随l增加而呈2l形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
Dn,l＝Dn,l-1+Qn,l
式中，Dn,l-1是单粒度残差膨胀层中第l-1层的输出，Wn,l是单粒度膨胀卷积的权重，*代表卷积操作，bn,l是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层ReLU的操作过后得到的特征图，Qn,l是对/>进行1×1卷积运算的结果，Wl是单粒度残差膨胀层中所包含的1×1卷积的权重，bl是单粒度残差膨胀层中所包含的1×1卷积的偏差向量，Dn,l是单粒度残差膨胀层在第l层的最终输出结果；
第三部分为一个1×1卷积，Dn,l在结束L层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在步骤2)和步骤3)中，所述交叉熵损失函数的表达如下：
式中，Lphase是交叉熵损失函数的值，T代表当前视频的总帧数，t∈[0,T]表示当前视频的当前帧数，yt是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
本发明的第二目的通过下述技术方案实现：基于双粒度时间卷积的腹腔镜手术阶段识别系统，包括：
数据采集模块，用于收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
数据处理模块，用于将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
映射模块，使用SoftMax函数将数据处理模块得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
进一步，在数据采集模块中，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
进一步，在数据处理模块中，所述双粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调整输入特征图的尺寸和通道数；
第二部分为一个双粒度残差膨胀层，用字母d标识，共Ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成；用ld∈[0，Ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以/>形式减小；
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
式中，是第ld层膨胀因子为/>的膨胀卷积的输出，下标d1用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，是递增的膨胀卷积的偏差向量；
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
式中，是第一层扩张因子为/>的膨胀卷积的输出，下标d2用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，/>是递减的膨胀卷积的偏差向量；
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层ReLU激活，其过程如下公式(3)：
式中，cat(·)表示串联操作，目的是将和/>输出的特征图逐通道相加，/>是/>和/>输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
式中，是对/>进行1×1卷积运算的结果，/>是双粒度残差膨胀层包含的1×1卷积的权重，/>是双粒度残差膨胀层包含的1×1卷积的偏差向量，/>是双粒度残差膨胀层在第ld层的最终输出结果；
第三部分为一个1×1卷积，在结束Ld层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在数据处理模块中，所述单粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
第二部分为一个单粒度残差膨胀层，用字母n标识，共Ln层，用l∈[0,Ln]表示当前层数，该部分每层由一个膨胀因子随l增加而呈2l形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
Dn，l＝Dn，l-1+Qn，l
式中，Dn,l-1是单粒度残差膨胀层中第l-1层的输出，Wn,l是单粒度膨胀卷积的权重，*代表卷积操作，bn,l是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层ReLU的操作过后得到的特征图，Qn,l是对/>进行1×1卷积运算的结果，Wl是单粒度残差膨胀层中所包含的1×1卷积的权重，bl是单粒度残差膨胀层中所包含的1×1卷积的偏差向量，Dn,l是单粒度残差膨胀层在第l层的最终输出结果；
第三部分为一个1×1卷积，Dn,l在结束L层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在数据处理模块中，使用的交叉熵损失函数的表达如下：
式中，Lphase是交叉熵损失函数的值，T代表当前视频的总帧数，t∈[0,T]表示当前视频的当前帧数，yt是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明通过双粒度时间卷积模块完成有效的长距离时间上下文建模，通过同时提取时序特征的全局信息和局部信息，得到表达能力优秀的特征，随后为进一步提升手术阶段的识别精度，使用单粒度时间卷积模块来对双粒度时间卷积模块捕获的特征进行微调，校正少量分类错误的图像帧，实现手术阶段识别效果的进一步提升。总之，本发明使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测，利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。
2、本发明在腹腔镜外科手术视频的图像处理领域中具有广泛的应用空间，无需手工制作特征，高效准确，泛化性强，对于不同类型的微创外科手术视频都能有良好的识别效果。
附图说明
图1为本发明方法的逻辑流程示意图。
图2为双粒度时间卷积网络的整体框架图。
图3为双粒度时间卷积模块的整体框架图。
图4为单粒度时间卷积模块的整体框架图。
图5为本发明系统的架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
如图1至图4所示，本实施例公开的一种基于双粒度时间卷积的腹腔镜手术阶段识别方法，其具体情况如下：
1)首先，通过安装于手术器械尖端的微型摄像机对腹腔镜微创手术过程进行全程录制，每一场完整的手术过程存为一个视频。然后使用ffpmeg对每一个视频进行切片，每隔5帧存下一张图片，按帧号顺序排列。然后将异常的图片剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全等问题的图片，制成腹腔镜手术阶段的数据集，并按40:8:32的比例拆分为训练集、验证集和测试集。最后使用OpenCV对腹腔镜手术图片进行中心翻转、随机剪裁、洗乱顺序等图像增强操作。
2)将处理好的数据集按每批次一个视频序列，送入双粒度时间卷积网络的第一个部分--双粒度时间卷积模块进行初步预测，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；其中，双粒度时间卷积模块的具体情况如下：
输入图像被展平为1×1×C，C是一个批次输入的图片数量，其取值由每个视频具体的图片数量决定。
第一部分为一个1×1卷积层，该层的卷积核大小为(1，1)，步长为1，填充为零，卷积核数量为C。这一层用来调整输入特征图的尺寸和通道数。
第二部分为一个双粒度残差膨胀层，该部分用字母d标识，共Ld层，每层有两个分支，一个分支由一个膨胀因子随层数增加而增大的膨胀卷积组成，负责通过生成大的感受野快速捕获全局信息；另一个分支由膨胀因子随层数增加而减小的膨胀卷积组成，负责通过生成较小的感受野捕获局部信息；其中，递增的膨胀卷积的膨胀因子呈形式增大；递减的膨胀卷积的膨胀因子以/>形式减小。经过两个分支后，得到全局和局部这两种粒度的一维特征图，将它们按通道数相加，整合成一个复合特征，将局部信息补充到全局信息中，增强特征的表达能力。然后将整合后的特征送入一个非线性激活层ReLU中，将每一个像素值归一化为正数，便于最后能以正数形式计算预测值。经由ReLU激活过后的特征再次通过一个1×1卷积进行通道数调整，以便和进入双粒度残差膨胀层之前的原始特征的通道数保持一致。最后将经过ReLU层和1×1卷积的特征与原始特征逐通道相加，得到双粒度残差膨胀层的输出。
双粒度残差膨胀层的特征提取过程用公式表示如下：
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积的卷积过程如下公式：
式中，是第ld层膨胀因子为/>的膨胀卷积的输出，下标d1用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3×K×K表示尺寸为3×3的卷积核，数字3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，/>是递增的膨胀卷积的偏差向量。
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积的卷积过程如下公式：
式中，是第一层扩张因子为/>的膨胀卷积的输出，下标d2用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，/>是递减的膨胀卷积的偏差向量。
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种特征图逐通道相加，并经过非线性函数ReLU激活，其过程如下公式：
式中，cat(·)表示串联操作，目的是将和/>输出的特征图逐通道相加，/>是/>和/>输出的特征图相加后进行非线性激活的结果。
得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增膨胀卷积和递减膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度膨胀卷积层的输出，其过程如下公式：
式中，是对/>进行1×1卷积运算的结果，/>是双粒度残差膨胀层包含的1×1卷积的权重，/>是双粒度残差膨胀层包含的1×1卷积的偏差向量，/>是双粒度残差膨胀层在第ld层的最终输出结果。
第三部分为一个1×1卷积。在结束Ld层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
3)双粒度时间卷积模块的输出被送进双粒度时间卷积网络的第二个部分--单粒度时间卷积模块，对特征进行进一步的细化提取，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；其中，单粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积层，该层的卷积核大小为(1，1)，步长为1，填充为零，卷积核数量为C。这一层用来调整输入特征的通道数。
第二部分为一个单粒度残差膨胀层，此部分用字母n标识，共Ln层，用l∈[0,Ln]表示本模块的当前层数，每层由一个膨胀因子随l增加而呈2l形式增大的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成。单粒度残差膨胀层的特征提取过程如下所示：
Dn，l＝Dn，l-1+Qn，l
其中，Dn,l-1是单粒度残差膨胀层中第l-1层的输出，Wn,l是单粒度膨胀卷积的权重，*代表卷积操作，bn,l是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层ReLU的操作过后得到的特征图，Qn,l是对/>进行1×1卷积运算的结果，Wl是单粒度残差膨胀层中所包含的1×1卷积的权重，bl是单粒度残差膨胀层中所包含的1×1卷积的偏差向量，Dn,l是单粒度残差膨胀层在第l层的最终输出结果。
第三部分为一个1×1卷积。Dn,l在结束L层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在步骤2)和步骤3)中，交叉熵损失函数的表达如下：
式中，Lphase是交叉熵损失函数的值，T代表当前视频的总帧数，t∈[0,T]表示当前视频的当前帧数，yt是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
4)使用SoftMax函数将步骤3)得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
实施例2
参见图5所示，本实施例公开了一种基于双粒度时间卷积的腹腔镜手术阶段识别系统，包括以下功能模块：
数据采集模块，用于收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
数据处理模块，用于将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
映射模块，使用SoftMax函数将数据处理模块得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
进一步，在数据采集模块中，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
进一步，在数据处理模块中，所述双粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调整输入特征图的尺寸和通道数；
第二部分为一个双粒度残差膨胀层，用字母d标识，共Ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成；用ld∈[0,Ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以/>形式减小；
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
式中，是第ld层膨胀因子为/>的膨胀卷积的输出，下标d1用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，是递增的膨胀卷积的偏差向量；
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
式中，是第一层扩张因子为/>的膨胀卷积的输出，下标d2用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，/>是递减的膨胀卷积的偏差向量；
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层ReLU激活，其过程如下公式(3)：
式中，cat(·)表示串联操作，目的是将和/>输出的特征图逐通道相加，/>是/>和/>输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
式中，是对/>进行1×1卷积运算的结果，/>是双粒度残差膨胀层包含的1×1卷积的权重，/>是双粒度残差膨胀层包含的1×1卷积的偏差向量，/>是双粒度残差膨胀层在第ld层的最终输出结果；
第三部分为一个1×1卷积，在结束Ld层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在数据处理模块中，所述单粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
第二部分为一个单粒度残差膨胀层，用字母n标识，共Ln层，用l∈[0,Ln]表示当前层数，该部分每层由一个膨胀因子随l增加而呈2l形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
Dn，l＝Dn，l-1+Qn，l
式中，Dn，l-1是单粒度残差膨胀层中第l-1层的输出，Wn，l是单粒度膨胀卷积的权重，*代表卷积操作，bn，l是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层ReLU的操作过后得到的特征图，Qn，l是对/>进行1×1卷积运算的结果，Wl是单粒度残差膨胀层中所包含的1×1卷积的权重，bl是单粒度残差膨胀层中所包含的1×1卷积的偏差向量，Dn，l是单粒度残差膨胀层在第l层的最终输出结果；
第三部分为一个1×1卷积，Dn,l在结束L层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
进一步，在数据处理模块中，使用的交叉熵损失函数的表达如下：
式中，Lphase是交叉熵损失函数的值，T代表当前视频的总帧数，t∈[0,T]表示当前视频的当前帧数，yt是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
综上所述，在采用以上方案后，本发明为腹腔镜手术阶段的识别提供了新的方法与系统，将双粒度时间卷积网络作为阶段分类的有效工具，能够有效解决计算机难以自动且准确识别阶段类别的问题，有效推动计算机辅助手术阶段识别技术的发展，具有实际推广价值，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.基于双粒度时间卷积的腹腔镜手术阶段识别方法，其特征在于，包括以下步骤：
1)收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
2)将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；
所述双粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调整输入特征图的尺寸和通道数；
第二部分为一个双粒度残差膨胀层，用字母d标识，共Ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成；用ld∈[0,Ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以/>形式减小；
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
式中，是第ld层膨胀因子为/>的膨胀卷积的输出，下标d1用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3 ×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，/>是递增的膨胀卷积的偏差向量；
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
式中，是第一层扩张因子为/>的膨胀卷积的输出，下标d2用于标识膨胀因子为的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，/>是递减的膨胀卷积的偏差向量；
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层ReLU激活，其过程如下公式(3)：
式中，cat(·)表示串联操作，目的是将和/>输出的特征图逐通道相加，/>是和/>输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
式中，是对/>进行1×1卷积运算的结果，/>是双粒度残差膨胀层包含的1×1卷积的权重，/>是双粒度残差膨胀层包含的1×1卷积的偏差向量，/>是双粒度残差膨胀层在第ld层的最终输出结果；
第三部分为一个1×1卷积，在结束Ld层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数；
3)将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
所述单粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
第二部分为一个单粒度残差膨胀层，用字母n标识，共Ln层，用l∈[0,Ln]表示当前层数，该第二部分每层由一个膨胀因子随l增加而呈2l形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
式中，Dn,l-1是单粒度残差膨胀层中第l-1层的输出，Wn,l是单粒度膨胀卷积的权重，*代表卷积操作，bn,l是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层ReLU的操作过后得到的特征图，Qn,l是对/>进行1×1卷积运算的结果，Wl是单粒度残差膨胀层中所包含的1×1卷积的权重，bl是单粒度残差膨胀层中所包含的1×1卷积的偏差向量，Dn,l是单粒度残差膨胀层在第l层的最终输出结果；
第三部分为一个1×1卷积，Dn,l在结束L层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数；
4)使用SoftMax函数将步骤3)得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果。
2.根据权利要求1所述的基于双粒度时间卷积的腹腔镜手术阶段识别方法，其特征在于，在步骤1)中，首先，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
3.根据权利要求1所述的基于双粒度时间卷积的腹腔镜手术阶段识别方法，其特征在于，在步骤2)和步骤3)中，所述交叉熵损失函数的表达如下：
式中，Lphase是交叉熵损失函数的值，T代表当前视频的总帧数，t∈[0,T]表示当前视频的当前帧数，yt是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
4.基于双粒度时间卷积的腹腔镜手术阶段识别系统，其特征在于，包括：
数据采集模块，用于收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；
数据处理模块，用于将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；
映射模块，使用SoftMax函数将数据处理模块得到的预测结果映射到(0,1)区间内，得到最终的手术阶段识别结果；
在数据处理模块中，所述双粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调整输入特征图的尺寸和通道数；
第二部分为一个双粒度残差膨胀层，用字母d标识，共Ld层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成；用ld∈[0,Ld]表示当前层数，其中，随ld增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随ld增大而减小的膨胀卷积，它的膨胀因子以/>形式减小；
随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：
式中，是第ld层膨胀因子为/>的膨胀卷积的输出，下标d1用于标识膨胀因子为/>的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，R3 ×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，/>是递增的膨胀卷积的偏差向量；
随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：
式中，是第一层扩张因子为/>的膨胀卷积的输出，下标d2用于标识膨胀因子为的膨胀卷积，/>是上一层的输出，/>是膨胀因子为/>的膨胀卷积核的权重，/>是递减的膨胀卷积的偏差向量；
原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层ReLU激活，其过程如下公式(3)：
式中，cat(·)表示串联操作，目的是将和/>输出的特征图逐通道相加，/>是和/>输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；
得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：
式中，是对/>进行1×1卷积运算的结果，/>是双粒度残差膨胀层包含的1×1卷积的权重，/>是双粒度残差膨胀层包含的1×1卷积的偏差向量，/>是双粒度残差膨胀层在第ld层的最终输出结果；
第三部分为一个1×1卷积，在结束Ld层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数；
在数据处理模块中，所述单粒度时间卷积模块的具体情况如下：
第一部分为一个1×1卷积，用于调节从双粒度时间卷积模块输出的特征图尺寸和通道数；
第二部分为一个单粒度残差膨胀层，用字母n标识，共Ln层，用l∈[0,Ln]表示当前层数，该第二部分每层由一个膨胀因子随l增加而呈2l形式增大的膨胀卷积实质为单粒度膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成，单粒度残差膨胀层的特征提取过程如公式(6)所示：
式中，Dn,l-1是单粒度残差膨胀层中第l-1层的输出，Wn,l是单粒度膨胀卷积的权重，*代表卷积操作，bn,l是单粒度膨胀卷积的偏差向量，表示经由第l层的单粒度膨胀卷积和非线性激活层ReLU的操作过后得到的特征图，Qn,l是对/>进行1×1卷积运算的结果，Wl是单粒度残差膨胀层中所包含的1×1卷积的权重，bl是单粒度残差膨胀层中所包含的1×1卷积的偏差向量，Dn,l是单粒度残差膨胀层在第l层的最终输出结果；
第三部分为一个1×1卷积，Dn,l在结束L层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。
5.根据权利要求4所述的基于双粒度时间卷积的腹腔镜手术阶段识别系统，其特征在于，在数据采集模块中，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。
6.根据权利要求4所述的基于双粒度时间卷积的腹腔镜手术阶段识别系统，其特征在于，在数据处理模块中，使用的交叉熵损失函数的表达如下：
式中，Lphase是交叉熵损失函数的值，T代表当前视频的总帧数，t∈[0,T]表示当前视频的当前帧数，yt是当前帧t的真实阶段标签，是当前帧t的预测值，ω是手术阶段类别的权重，用于减轻阶段类别之间的样本量不平衡。
CN202111609392.8A 2021-12-27 2021-12-27 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统 Active CN114372962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111609392.8A CN114372962B (zh) 2021-12-27 2021-12-27 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111609392.8A CN114372962B (zh) 2021-12-27 2021-12-27 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统

Publications (2)

Publication Number Publication Date
CN114372962A CN114372962A (zh) 2022-04-19
CN114372962B true CN114372962B (zh) 2024-06-18

Family

ID=81141634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111609392.8A Active CN114372962B (zh) 2021-12-27 2021-12-27 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统

Country Status (1)

Country Link
CN (1) CN114372962B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187596B (zh) * 2022-09-09 2023-02-10 中国医学科学院北京协和医院 用于腹腔镜结直肠癌手术的神经智能辅助识别系统
CN115359873B (zh) * 2022-10-17 2023-03-24 成都与睿创新科技有限公司 用于手术质量的控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783520A (zh) * 2020-05-18 2020-10-16 北京理工大学 基于双流网络的腹腔镜手术阶段自动识别方法及装置
CN112085717A (zh) * 2020-09-04 2020-12-15 厦门大学 一种用于腹腔镜手术的视频预测方法及其系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783520A (zh) * 2020-05-18 2020-10-16 北京理工大学 基于双流网络的腹腔镜手术阶段自动识别方法及装置
CN112085717A (zh) * 2020-09-04 2020-12-15 厦门大学 一种用于腹腔镜手术的视频预测方法及其系统

Also Published As

Publication number Publication date
CN114372962A (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
Lai et al. Multi-scale visual attention deep convolutional neural network for multi-focus image fusion
CN110188239B (zh) 一种基于跨模态注意力机制的双流视频分类方法和装置
CN114372962B (zh) 基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统
CN109345449A (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN110263215B (zh) 一种视频情感定位方法及系统
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN111400536B (zh) 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法
CN111783520A (zh) 基于双流网络的腹腔镜手术阶段自动识别方法及装置
CN107644411A (zh) 超声宽景成像方法及装置
CN111062329A (zh) 基于增广网络的无监督行人重识别方法
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
Luo et al. Learning what and where from attributes to improve person re-identification
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN114187181A (zh) 基于残差信息精炼的双路径肺部ct图像超分辨率方法
CN111079585B (zh) 图像增强结合伪孪生卷积神经网络的行人再识别方法
CN108985320A (zh) 基于判别字典学习和形态成分分解的多源图像融合方法
CN111105874A (zh) 一种舌象特征标注方法、装置、计算机设备及存储介质
Dudhane et al. Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration
Zhang et al. Face deblurring based on separable normalization and adaptive denormalization
CN112259199B (zh) 医疗图像分类模型的训练方法、系统、存储介质及医疗图像处理装置
CN115375628A (zh) 一种基于as-octa的图像噪声去除方法及系统
CN111382685B (zh) 一种基于深度学习的场景识别方法和系统
Peng et al. Classification of non-tumorous facial pigmentation disorders using improved SMOTE and transfer learning
CN110853040A (zh) 一种基于超分辨率重建的图像协同分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant