CN113662664B - 一种基于仪器追踪的外科手术质量客观自动化评估方法 - Google Patents

Abstract

一种基于仪器追踪的外科手术质量客观自动化评估方法，涉及一种外科手术质量的自动化评估方法。为了解决现有的外科手术质量人工评估方式存在效率低的问题，以及现有的外科手术质量客观自动评估方式存在可靠性较差、准确性较低的问题。本发明首先收集数据，然后使用深度学习方法对手术过程中的仪器位置、出血区域位置进行追踪并对手术所处阶段、进行的手术动作进行识别；之后基于得到的上述数据分析手术的熟练性、灵活性、安全性、效率、流程规划等指标，并基于手术指标对手术的整体质量进行评估。主要用于外科手术质量的评估。

Description

一种基于仪器追踪的外科手术质量客观自动化评估方法

技术领域

本发明涉及一种外科手术质量的自动化评估方法，属于计算机技术与医学评价技术领域。

背景技术

目前，临床医学已进入了标准化的时代，常见疾病的诊断和治疗逐渐标准化，手术质量评估方法也逐渐成为外科医师培训的一个重要环节。客观公正、全面准确、专业有效的手术质量评估有助于外科医生进行技能自测并在依据反馈的不足进行有针对性的训练，缩短的外科医师的训练周期。但由于外科手术过程复杂，专业要求高，手术流程的标准化存在一定的难度，难以对手术质量量化。目前，已有研究基于手术视频数据，采用人工评估方法对手术质量进行评估，但基于手术视频的人工评估较为耗时且不同医师间的评估结果之间存在主观差异，同时这种方式效率非常低。因此，手术质量的客观自动化评估对降低外科医师的训练成本、提高外科医师的手术质量具有重要意义。

目前，客观自动化的外科手术质量评估技术仍处于起步阶段。由于手术质量的评估缺乏统一的标准，导致手术质量评估发展滞后。已有的自动化手术质量评估方法所用的手术技能评估指标不全面，而且虽然评估结果具有了客观性，但是其评估准确性较低，不能有针对性地对手术技能的改进提出意见，且现有的评估方式大多未与临床手术质量的真实评估过程结合，因此其评估的客观性并不能与真实过程统一，导致可靠性较差。

发明内容

本发明是为了解决现有的外科手术质量人工评估方式存在效率低的问题，以及现有的外科手术质量客观自动评估方式存在可靠性较差、准确性较低的问题。

一种基于仪器追踪的外科手术质量客观自动化评估方法，包括以下步骤：

S1、获取手术过程中的手术视频数据；

S2、利用视频实例分割网络对视频中每帧的出血区域、仪器实例进行实例分割，得到出血区域序列和仪器位置序列；

在视频实例分割网络分割完成后，利用手术仪器的形状特征，基于仪器尖端位置得到仪器尖端的位置序列数据；

S3、利用对手术阶段、手术动作进行判断的多标签分类网络对手术视频进行逐帧分类，得到手术动作序列及手术阶段序列；

所述的对手术阶段、手术动作进行判断的多标签分类网络包括第一CNN特征提取器和采用sigmoid激活函数的输出层；

S4、将手术阶段序列、手术动作序列、仪器位置序列、出血区域序列、仪器尖端位置序列数据进行整合，并将整合的数据输入分类模型或者回归模型，得到指标的评估结果；

所述的分类模型为对指标进行预测的多标签分类网络，包括第二CNN特征提取器和采用sigmoid激活函数的输出层；对指标进行预测的多标签分类网络输出灵活性、熟练性、安全性、效率、流程规划指标的评估结果；

所述的回归模型为对指标进行预测的回归网络，包括第二CNN特征提取器和一个具有5个节点的全连接层，该全连接层将每个节点的高维特征映射至1维，对指标进行预测的回归网络输出灵活性、熟练性、安全性、效率、流程规划指标的评估结果；

S5、基于灵活性、熟练性、安全性、效率、流程规划对应的指标得到手术质量客观评价结果。

进一步地，S2所述的视频实例分割网络为基于Transformer的视频实例分割网络模型或者基于RNN的实例分割网络模型。

进一步地，S2所述的视频实例分割网络为基于Transformer的视频实例分割网络模型时，其分割过程包括以下步骤：

对于图像序列(I₁，……，I_t)，使用CNN层提取其特征，并将提取的图像特征沿时间维度拼接，同时，对图像序列计算其位置编码，并将位置编码与图像拼接特征融合，作为基于Transformer的视频实例分割网络模型的输入，根据基于Transformer的视频实例分割网络模型得到分割结果。

进一步地，当手术仪器上安装有深度传感器时，在S1中获取手术过程中的手术视频数据的同时，还获取深度数据，在步骤S2利用视频实例分割网络进行实例分割的过程中，首先对深度图序列和图像帧序列进行特征提取，并将提取的2种特征按顺序进行拼接，然后将拼接的特征与位置编码信息融合，然后基于视频实例分割网络进行实例分割。

进一步地，将提取的2种特征按顺序进行拼接的过程包括以下步骤：

假设有n帧，提取每帧的特征H*W*C₁和该帧的深度图的特征H*W*C₂，该帧两种特征拼接H*W*(C₁+C₂)，得到n个H*W*(C₁+C₂)的特征，再将所有帧的2种特征按时间顺序拼接，得到n*H*W*(C1+C₂)维的特征。

进一步地，当手术仪器上安装运动传感器时，在S1中获取手术过程中的手术视频数据的同时，还获取运动学数据；在步骤S2利用视频实例分割网络进行实例分割的过程中，首先对运动学数据、深度图序列和图像帧序列进行特征提取，将提取的多种特征按顺序进行拼接，然后将拼接的特征与位置编码信息融合，然后基于视频实例分割网络进行实例分割。

进一步地，所述的预处理过程包括对视频数据的逐帧去噪操作；

如果采集的数据包括深度数据，预处理过程还包括对深度图序列进行的逐帧去噪操作；

如果采集的数据包括运动学数据，预处理过程还包括对运动学数据进行的去抖动处理。

进一步地，所述的对手术阶段、手术动作进行判断的多标签分类网络是预先训练好的，训练过程包括以下步骤：

1)、在自然场景图像分类数据集上进行CNN分类模型的预训练，获得预训练的特征提取器参数；

2)、用预训练特征提取器初始化第一CNN分类网络的特征提取器每层的参数，特征提取器后的输出层参数进行随机初始化；

3)、采用带有手术动作类别标注和手术阶段类别标注的训练数据对手术动作分类任务和手术阶段分类任务同时进行训练，通过反向传播算法进行模型的求解，得到对于手术动作和手术阶段的类别概率预测模型；

所述的带有手术动作类别标注和手术阶段类别标注的训练数据的获取过程包括以下步骤：

步骤A、采集手术过程中的可获取的视频数据，一个手术过程对应一套手术视频数据，对获取的视频数据进行脱敏处理，然后对收集的视频数据进行预处理；

步骤B、对每套手术视频数据，分别从熟练性、灵活性、安全性、效率、流程规划5项指标进行评估并对手术的整体质量等级评估，将每个手术标注为低质量、中质量、高质量三个类别之一；

步骤C、对数据集的每套手术视频数据进行逐帧标注，对每帧图像的出血区域、手术仪器实例进行实例分割遮掩标注，并对该帧所处的手术阶段、所进行的手术动作进行类别标注，获得带有手术动作类别标注和手术阶段类别标注的训练数据。

进一步地，对指标进行预测的多标签分类网络是预先训练好的，训练过程包括以下步骤：

101)、在自然场景图像分类数据集上进行CNN特征提取器的预训练，获得预训练特征提取器参数；

102)、用预训练特征提取器初始化第二CNN分类网络的特征提取器每层的参数，输出层的参数进行随机初始化；

103)、采用带有手术5项指标的标注的训练数据对指标进行预测的多标签分类网络进行联合训练，通过反向传播算法进行模型的求解，同时得到对于手术熟练性、灵活性、安全性、效率、流程规划5项指标的类别概率预测模型；

所述带有手术5项指标的标注的训练图像为采用经过步骤C且带有熟练性、灵活性、安全性、效率、流程规划5项指标的标注的图像。

有益效果：

本发明提出的基于仪器追踪的外科手术质量客观自动化评估方法，实现了在不进行人工干预的情况下依据可获取的手术数据进行手术质量自动客观评估的机制，不仅解决了手术质量人工评估方式效率低的问题，而且该方法所用指标与医师进行人工手术质量评估的指标高度一致。因此，本发明可以客观、全面、快速地对受训者的手术质量进行判断，也解决了现有的外科手术质量客观自动评估方式存在的可靠性较差、准确性较低的问题，进而可以有效帮助医生有针对性地进行训练，缩短外科医师的受训周期。

附图说明

图1为一种基于仪器追踪的外科手术质量客观自动化评估方法的流程图；

图2为视频实例分割网络示意图；

图3为手术阶段、手术动作分类网络示意图；

图4为用于评估5项手术指标的多标签分类网络示意图；

图5为5项指标的雷达图。

具体实施方式

具体实施方式一：结合如图1说明本实施方式，

本实施方式为一种基于仪器追踪的外科手术质量客观自动化评估方法，包括以下步骤：

步骤一、采集手术过程中的可获取的视频数据，一个手术过程对应一套手术视频数据，对获取的视频数据进行脱敏处理，并筛选出成像质量较高的有效视频构建手术视频数据集；然后对收集的视频数据进行预处理；

将去噪后的视频数据集分为训练集和测试集；

步骤二、对步骤一获取的数据集中的每套手术视频数据，分别从熟练性、灵活性、安全性、效率、流程规划等5项指标进行评估并对手术的整体质量等级评估，将每个手术标注为低质量、中质量、高质量三个类别之一。

步骤三、对数据集的每套手术视频数据进行逐帧标注，对每帧图像的出血区域、手术仪器实例进行实例分割遮掩标注，并对该帧所处的手术阶段、所进行的手术动作进行类别标注；

步骤四、构建视频实例分割网络，用于对视频中每帧的出血区域、仪器实例进行实例分割，并使用步骤三的分割掩码标注对所述的视频实例分割网络进行训练；该过程采用一个分割模型同时进行仪器和出血区域的实例分割训练；分割得到的所有出血区域实例二值化后得到出血区域的语义分割结果。进行出血区域和仪器的实例分割采用的为基于Transformer的实例分割模型；所用的视频实例分割网络优选设计如图2所示，但不局限于如图2所示的网络结构，基于Transformer的视频实例分割网络结构，如VisTR、DETR均可以应用在视频的实例分割中。

对于图像序列(I₁，……，I_t)，使用CNN层提取其特征，并将提取的图像特征沿时间维度拼接，同时，对该图像序列计算其位置编码(Transformer有各种不同的位置编码方式，如三角函数式位置编码、递归形式的位置编码等)，并将位置编码与图像拼接特征融合，作为Transformer Encoder-Decoder的输入。特征融合的过程中，图像拼接特征与位置编码信息的维度一致，可进行逐像素相加操作融合，也可以采用其他融合方式。

在视频实例分割网络分割完成后，利用手术仪器的形状特征，使用传统方法对仪器尖端位置进行计算，得到仪器尖端的位置序列数据(没有深度数据时为2D运动轨迹)。

在一些实施例中，所述对图像序列中每帧的出血区域及仪器实例进行分割所采用的视频实例分割网络模型还可以为基于RNN的实例分割模型，即不基于Transformer的实例分割网络模型；

视频实例分割网络最终按时间顺序输出每一个实例的分割遮罩，序列中的实例具有一一对应关系。

步骤五、构建一个可同时对手术阶段、手术动作进行判断的多标签分类网络，并对该网络进行训练。

对手术阶段、手术动作进行判断的多标签分类网络包括第一CNN特征提取器和采用sigmoid激活函数的输出层。第一CNN特征提取器包括输入层、卷积层、Batch-Normalization层、池化层、dropout层。卷积层可选卷积方式有深度可分离卷积、空洞卷积、可形变卷积、常规卷积，池化层可选池化方式有平均池化、最大池化。手术阶段可分为C₁类，手术动作可分为C₂类，则输出层为(C₁+C₂)个节点，对应一个(C₁+C₂)维的向量。CNN分类网络优选设计如图3所示，但不局限于如图3所示的网络结构，VGG、AlexNet、ResNet、GoogLeNet等图像分类模型的特征提取器结构均可以应用在特征提取器的构造中。

该网络的训练方法可分为以下3个步骤：

1)、在大规模自然场景图像分类数据集上进行CNN分类模型的预训练，获得预训练的特征提取器参数；

2)、用预训练特征提取器初始化第一CNN分类网络的特征提取器每层的参数，特征提取器后的输出层参数进行随机初始化；

3)、采用步骤三的手术动作类别标注和手术阶段类别标注对手术动作分类任务和手术阶段分类任务同时进行训练，通过反向传播算法进行模型的求解，得到对于手术动作和手术阶段的类别概率预测模型；

4)、通过对每套视频进行逐帧分类，得到手术动作序列及手术阶段序列。

步骤六、将手术阶段序列、手术动作序列、仪器位置序列、出血区域序列、仪器尖端位置序列数据进行整合，用于训练对指标进行预测的多标签分类网络；这里不同的序列数据的整合是通过将每个序列经过单独的编码映射至同一维度的高维特征空间，不同序列映射得到的特征进行融合。

融合过程采用的融合方式可为拼接、加法、乘法、加权平均法、最大值融合、平均值融合、基于贝叶斯理论的融合等。

构建对指标进行预测的多标签分类网络，对指标进行预测的多标签分类网络包括第二CNN特征提取器和采用sigmoid激活函数的输出层；多标签分类网络对熟练性、灵活性、安全性、效率、流程规划等5项指标同时进行预测，每一指标分为6个等级。

第二CNN分类网络的特征提取器为常规CNN特征提取层。CNN分类网络优选设计如图4所示，但不局限于如图4所示的网络结构，VGG、AlexNet、ResNet、GoogLeNet等图像分类模型的特征提取器结构均可以应用在分类模型的构造中。

基于sigmoid激活函数的输出层有30个节点，分别对应5项指标的6个等级。

该网络的训练方法可分为以下3个步骤：

1)、在大规模自然场景图像分类数据集上进行CNN特征提取器的预训练，获得预训练特征提取器参数；

2)、用预训练特征提取器初始化第二CNN分类网络的特征提取器每层的参数，输出层的参数进行随机初始化。

3)、采用经过步骤三带有手术5项指标标注的序列数据对进行指标预测的多标签分类网络进行联合训练，通过反向传播算法进行模型的求解，得到对于手术熟练度、灵活度、安全性、效率、流程规划5项指标的类别概率预测模型，这里所用的函数为交叉熵损失函数；

4)、通过对每套视频进行逐帧分类，得到对于每台手术的5项评估指标。

在一些实施例中，对灵活性、熟练性、安全性、效率、流程规划5项指标进行评估的模型为回归模型，而非分类模型。即第二CNN特征提取器后连接一个具有5个节点的全连接层，该全连接层将每个节点的高维特征映射至1维，构建可对5项指标预测的回归模型；对该回归模型进行训练，这里回归模型训练所用的损失函数为MSE函数。

若采用多标签分类网络模型，每项指标属于{0，1，2，3，4，5，6}中的一项，为整数；若采用回归模型，则直接预测每项指标的分数，分数不一定为整数，如预测安全性分数为3.7。

在另一些实施例中，还可以使用序列数据训练多个不同参数的多标签分类器，对不同的分类器结果进行融合。比如使用多标签分类器A得到5项指标的评分分别为1、3、4、2、2；使用多标签分类器B得到5项指标的评分分别为3、3、2、4、4；类似的，基于其他多标签分类器也可得到不同的多标签分类结果。对同一手术的不同分类结果使用最大值融合或平均值融合，使得多个预测模型间取长补短，提高结果的鲁棒性。

步骤七：基于灵活性、熟练性、安全性、效率、流程规划对应的指标得到手术质量客观评价结果；

在一些实施例中，使用步骤六的5项指标对手术技能进行评估，依据5项评估指标绘制雷达图进行可视化，并采用等级评分方法，依据所有指标的得分总和将手术技能分为初级、中级、高级三个等级：若得分总和在0至10间，则将术者的手术质量分为初级；若得分总和在20至30间，则将术者的手术质量分为高级；其余得分总和的手术质量均被分为中级；

在一些实施例中，使用步骤六的5项指标对手术技能进行评估时采用比较评估法：每次对多个被评估者的5项技能分别进行比较，每个指标最好的被评估者积1分，积分最多的术者的手术技能最佳，积分最少的术者的技能最差。

在其他实施例中，使用步骤六的5项指标对手术技能进行评估时也可以采用分数评估法：每个被评估者的5项技能指标的分数进行连加、连乘或加权，得到对术者的整体手术技能的评估分数。

具体实施方式二：

本实施方式为一种基于仪器追踪的外科手术质量客观自动化评估方法，本实施方式中，

若手术仪器上安装有深度传感器，步骤一还采集深度数据，并将其也分为对应的训练集和测试集数据，并对收集深度数据也进行预处理；

并在其他处理过程中将深度数据与其他数据一起进行处理，例如：

步骤四采用视频实例分割网络对图像序列进行分割的输入为深度图序列与视频帧序列两种数据，同时对深度图序列和图像帧序列进行特征提取，提取的2种特征按顺序进行拼接，拼接的特征与位置编码信息融合，这样可以有效提升分割性能。

拼接过程：假设有n帧，提取每帧的特征H*W*C₁和该帧的深度图的特征H*W*C₂，该帧两种特征拼接H*W*(C₁+C₂)，得到n个H*W*(C₁+C₂)的特征，再将所有帧的2种特征按时间顺序拼接，得到n*H*W*(C₁+C₂)维的特征；

与编码信息的融合的过程可采用逐位相加或其他融合方式。

在步骤四中，若视频实例分割网络中同时输入了深度图序列与视频帧序列，则对每帧的分割结果中仪器的深度进行提取。在分割完成后，利用手术仪器的形状特征，使用传统方法对仪器尖端位置进行计算，并结合仪器尖端的深度数据，得到仪器尖端的位置序列数据(此时为3D运动轨迹)。该轨迹将与其他数据同时输入后续的5项指标的评估网络中。

步骤六进行数据融合时也将深度数据进行融合。

其他步骤和参数与具体实施方式一相同。

具体实施方式三：

本实施方式为一种基于仪器追踪的外科手术质量客观自动化评估方法，本实施方式中，

若手术仪器上安装有运动传感器，步骤一还采集运动学数据，并将其也分为对应的训练集和测试集数据，并对收集的运动学数据也进行预处理；

并在其他处理过程中将运动学数据与其他数据一起进行处理。例如：在步骤四中，先对每帧的不同类型特征拼接得到该帧的表示，再按时间顺序对所有帧的特征拼接，拼接的特征与位置编码信息融合，过程与深度数据的信息融合处理过程一致。

其他步骤和参数与具体实施方式一或二相同。

具体实施方式四：

本实施方式为一种基于仪器追踪的外科手术质量客观自动化评估方法，本实施方式中，步骤一所述筛选出成像质量较高的有效视频构建手术视频数据集的过程中，对数据提供机构的中心或平台进行匿名化处理，减少获取机构对数据标注者的干扰；对部分无效数据进行排除；若视频分辨率过高，则对原始视频进行降采样。

其他步骤和参数与具体实施方式一至三之一相同。

具体实施方式五：

本实施方式为一种基于仪器追踪的外科手术质量客观自动化评估方法，本实施方式中，所述的预处理过程包括去噪操作，可以采用中值滤波、均值滤波等方式进行去噪；

如果采集的数据包括运动学数据，预处理过程还包括对运动学数据进行的“消抖”(去抖动)处理。

其他步骤和参数与具体实施方式一至四之一相同。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，包括以下步骤：

S1、获取手术过程中的手术视频数据；

S2、利用视频实例分割网络对视频中每帧的出血区域、仪器实例进行实例分割，得到出血区域序列和仪器位置序列；

在视频实例分割网络分割完成后，利用手术仪器的形状特征，基于仪器尖端位置得到仪器尖端的位置序列数据；

S3、利用对手术阶段、手术动作进行判断的多标签分类网络对手术视频进行逐帧分类，得到手术动作序列及手术阶段序列；

所述的对手术阶段、手术动作进行判断的多标签分类网络包括第一CNN特征提取器和采用sigmoid激活函数的输出层；

S4、将手术阶段序列、手术动作序列、仪器位置序列、出血区域序列、仪器尖端位置序列数据进行整合，并将整合的数据输入分类模型或者回归模型，得到指标的评估结果；

所述的分类模型为对指标进行预测的多标签分类网络，包括第二CNN特征提取器和采用sigmoid激活函数的输出层；对指标进行预测的多标签分类网络输出灵活性、熟练性、安全性、效率、流程规划指标的评估结果；

所述的回归模型为对指标进行预测的回归网络，包括第二CNN特征提取器和一个具有5个节点的全连接层，该全连接层将每个节点的高维特征映射至1维，对指标进行预测的回归网络输出灵活性、熟练性、安全性、效率、流程规划指标的评估结果；

S5、基于灵活性、熟练性、安全性、效率、流程规划对应的指标得到手术质量客观评价结果。

2.根据权利要求1所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，S2所述的视频实例分割网络为基于Transformer的视频实例分割网络模型或者基于RNN的实例分割网络模型。

3.根据权利要求2所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，S2所述的视频实例分割网络为基于Transformer的视频实例分割网络模型时，其分割过程包括以下步骤：

对于图像序列（I₁，……，I_t），使用CNN层提取其特征，并将提取的图像特征沿时间维度拼接，同时，对图像序列计算其位置编码，并将位置编码与图像拼接特征融合，作为基于Transformer的视频实例分割网络模型的输入，根据基于Transformer的视频实例网络模型得到分割结果。

4.根据权利要求3所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，当手术仪器上安装有深度传感器时，在S1中获取手术过程中的手术视频数据的同时，还获取深度数据，在步骤S2利用视频实例分割网络进行实例分割的过程中，首先对深度图序列和图像帧序列进行特征提取，并将提取的2种特征按顺序进行拼接，然后将拼接的特征与位置编码信息融合，然后基于视频实例分割网络进行实例分割。

5.根据权利要求4所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，将提取的2种特征按顺序进行拼接的过程包括以下步骤：

假设有n帧，提取每帧的特征H*W*C₁和该帧的深度图的特征H*W*C₂，该帧两种特征拼接H*W*（C₁+C₂），得到n个H*W*（C₁+C₂）的特征，再将所有帧的2种特征按时间顺序拼接，得到n*H*W*（C₁+C₂）维的特征。

6.根据权利要求5所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，当手术仪器上安装运动传感器时，在S1中获取手术过程中的手术视频数据的同时，还获取运动学数据；在步骤S2利用视频实例分割网络进行实例分割的过程中，首先对运动学数据、深度图序列和图像帧序列进行特征提取，将提取的多种特征按顺序进行拼接，然后将拼接的特征与位置编码信息融合，然后基于视频实例分割网络进行实例分割。

7.根据权利要求1至6之一所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，所述的对手术阶段、手术动作进行判断的多标签分类网络是预先训练好的，训练过程包括以下步骤：

1）、在自然场景图像分类数据集上进行CNN分类模型的预训练，获得预训练的特征提取器参数；

2）、用预训练特征提取器初始化第一CNN分类网络的特征提取器每层的参数，特征提取器后的输出层参数进行随机初始化；

3）、采用带有手术动作类别标注和手术阶段类别标注的训练数据对手术动作分类任务和手术阶段分类任务同时进行训练，通过反向传播算法进行模型的求解，得到对于手术动作和手术阶段的类别概率预测模型；

所述的带有手术动作类别标注和手术阶段类别标注的训练数据的获取过程包括以下步骤：

步骤A、采集手术过程中的可获取的视频数据，一个手术过程对应一套手术视频数据，对获取的视频数据进行脱敏处理，然后对收集的视频数据进行预处理；

步骤B、对每套手术视频数据，分别从熟练性、灵活性、安全性、效率、流程规划5项指标进行评估并对手术的整体质量等级评估，将每个手术标注为低质量、中质量、高质量三个类别之一；

步骤C、对数据集的每套手术视频数据进行逐帧标注，对每帧图像的出血区域、手术仪器实例进行实例分割遮掩标注，并对该帧所处的手术阶段、所进行的手术动作进行类别标注，获得带有手术动作类别标注和手术阶段类别标注的训练数据。

8.根据权利要求7所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，步骤A所述的预处理过程包括对手术视频的去噪操作；

如果采集的数据包括深度数据，预处理过程还包括对深度图序列进行的去噪处理；

如果采集的数据包括运动学数据，预处理过程还包括对运动学数据进行的去抖动处理。

9.根据权利要求8所述的一种基于仪器追踪的外科手术质量客观自动化评估方法，其特征在于，对指标进行预测的多标签分类网络是预先训练好的，训练过程包括以下步骤：

101）、在自然场景图像分类数据集上进行CNN特征提取器的预训练，获得预训练特征提取器参数；

102）、用预训练特征提取器初始化第二CNN分类网络的特征提取器每层的参数，输出层的参数进行随机初始化；

103）、采用带有手术5项指标的标注的训练数据对指标进行预测的多标签分类网络进行联合训练，通过反向传播算法进行模型的求解，同时得到对于手术熟练性、灵活性、安全性、效率、流程规划5项指标的类别概率预测模型；

所述带有手术5项指标的标注的训练图像为采用经过步骤C且带有熟练性、灵活性、安全性、效率、流程规划5项指标的标注的图像。

Images