CN115359873B - 用于手术质量的控制方法 - Google Patents

Abstract

本发明公开了用于手术质量的控制方法，涉及人工智能技术领域，包括S1构建手术要素量化模型；S2手术数据库导入手术要素量化模型获取量化数据；S3分析量化数据输出不同手术要素、对应变量的统计学信息；S4构建手术管理知识库；S5构建手术管理系统，手术数据库导入手术管理系统进行分析，获得手术质量的控制建议；采用人工智能计算机模型识别手术器材、解剖结构、手术阶段、器械轨迹、术中异常事件、解剖处理质量、疾病严重程度等多重手术要素，结合统计分析功能建立手术视频自动分析和质量控制系统，通过实时或者术后对手术视频的手术要素进行提取整理，并进行成组分析，实现手术信息的准确高效提取及质量分析。

Description

用于手术质量的控制方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种用于手术质量的控制方法。

背景技术

外科手术视频包含大量的术中信息，当前对手术信息的获取和分析仍停留在人为查阅视频及其文字报告的阶段，这不仅主观性强、准确度低，而且会消耗大量的人力、物力和时间，这样的方式存在较高的手术信息提取、科研和临床手术质量控制的成本。近年出现的人工智能技术对信息的提取可有效解决以上方式带来的低效、低信度、和高成本等问题。

发明内容

本发明的目的就在于为了解决上述问题设计了一种用于手术质量的控制方法。

本发明通过以下技术方案来实现上述目的：

用于手术质量的控制方法，包括：

S1、构建手术要素量化模型；

S2、手术数据库导入手术要素量化模型获取手术要素的量化数据；

S3、将手术要素的量化数据输入到统计分析模型进行分析，输出不同手术要素、对应变量的统计学信息；

S4、利用知识图谱算法根据统计学信息与手术质量和管理建议之间的对应关系构建手术管理知识库；

S5、手术要素量化模型、统计分析模型和手术管理知识库组合形成手术管理系统，医院的手术数据库导入手术管理系统进行分析，并根据分析结果获得手术质量的控制建议。

本发明的有益效果在于：本申请采用人工智能计算机模型识别手术器材、解剖结构、手术阶段、器械轨迹、术中异常事件、解剖处理质量、疾病严重程度等多重手术要素，同时结合统计分析功能建立手术视频自动分析和质量控制系统；前者采用深度神经网络建立，后者则结合医学理论利用现有的统计学程序。通过实时或者术后对手术视频的手术要素进行提取整理，并对其进行成组分析，从而实现对手术信息的准确高效提取及其质量分析，从而辅助了临床管理者和临床研究者对手术的完成情况进行宏观浏览和调控，以及进一步挖掘临床科研内容。

附图说明

图1是本发明用于手术质量的控制方法的流程示意图；

图2是本发明用于手术质量的控制方法的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的具体实施方式进行详细说明。

如图1所示，用于手术质量的控制方法，包括：

S1、构建手术要素量化模型。

S2、手术数据库导入手术要素量化模型获取手术要素的量化数据。

S3、将手术要素的量化数据输入到统计分析模型进行分析，输出不同手术要素、对应变量的统计学信息。

S4、利用知识图谱算法根据统计学信息与手术质量和管理建议之间的对应关系构建手术管理知识库。

S5、手术要素量化模型、统计分析模型和手术管理知识库组合形成手术管理系统，医院的手术数据库导入手术管理系统进行分析，并根据分析结果获得手术质量控制及手术管理的建议。

手术要素量化模型包括器械运动轨迹识别模型、解剖结构识别模型、解剖结构处理状态分类模型、手术阶段及异常事件识别模型和器官病变情况分类模型，手术要素的量化数据包括器械运动轨迹识别模型的识别结果、解剖结构识别模型的识别结果、解剖结构处理状态分类模型的分类结果、手术阶段及异常事件识别模型的识别结果和器官病变情况分类模型的分类结果。

构建器械运动轨迹识别模型：标记手术视频中不同器械及其对应的运动轨迹，并储存标记得到器械运动轨迹数据库；通过器械运动轨迹数据库利用基于KCF跟踪算法训练得到用于识别视频图片序列中不同器械及其视野下运动轨迹的器械运动轨迹识别模型；具体为：

KCF算法根据当前帧的信息和之前帧的信息训练出一个相关滤波器，然后与新输入的帧进行相关性计算，得到的置信图就是预测的跟踪结果，得分最高的那个点就是最可能的跟踪结果；

KCF算法的核心思想就是扩充负样本的数量以增强跟踪器的性能，扩充负样本的方法就是采用了循环矩阵的构造方法。循环矩阵是一种特殊的矩阵，它的一维形式就是由一个n维向量每次向右循环移动一个元素，直到生成一个n×n的矩阵；对于任意的基样本x所生成的循环矩阵都能够在傅氏空间内使用离散傅里叶矩阵进行对角化处理，如下式：

其中，

是x的离散傅里叶变换，即：/>

，C(x)为由基样本x生成的循环矩阵， F^H为F的厄米特转置，Fdiag是离散傅里叶常量矩阵的对角矩阵；

在KCF的算法中，训练样本的生成都是基于循环矩阵形式来构建的，其中基样本为正样本，其他都是虚构出的负样本，这样的样本集具有很好的特性，可以很方便的利用快速傅里叶变换和傅里叶对角化的性质来进行计算，而不需要得知负样本的具体形式，算法将有关负样本的计算都转换到了频域进行求解；这样，采用了循环矩阵的性质对输入图像的搜索区域进行密集采样之后，使得进行跟踪器训练时缺少样本的问题迎刃而解；

KCF算法采用如下式的岭回归的方法来根据之前帧的跟踪结果图片训练出跟踪器：

其中，L(y_i,f(x_i))为损失函数，定义为(y_i-f(x_i))²，λ为正则化参数，正则项引入的目的是为了排除一些因循环矩阵变换后而变形过度的虚拟样本，给定样本x_i和对应的标签y_i，目标是优化最大平方和误差来求出参数ω；

在训练过程中，利用循环矩阵的性质，使得训练过程进一步简化；

在检测过程中，算法使用已经训练好的跟踪器对padding窗口区域进行滤波计算，得到输出的分布图，将其中最大响应位置作为预测目标的中心位置；

在更新跟踪器的过程中只需要对线性回归系数和训练样本集进行更新，在算法执行完检测部分之后，得到了新的目标预测位置，并得到了新的基样本，以此生成循环矩阵得到新的样本集，然后训练得到新的系数，最后利用上一帧的模型参数，使用线性插值的方法设定好更新步长后对跟踪器进行更新；

KCF算法使用不需要提前进行训练，在使用的时候，首先需要用检测帧的图像和检测到的目标对应的框对算法进行初始化，然后将后续的跟踪帧送入算法中就可以得到目标在跟踪帧中的检测框；在得到每一帧的跟踪结果后，取每帧检测框的中心坐标，连接中心坐标便得到了器械的跟踪轨迹。

构建解剖结构识别模型：使用含有解剖结构的手术视频图片和完整手术视频，对图片中出现的解剖结构进行标记，并储存标记得到解剖结构识别数据库；通过解剖结构识别数据库利用神经网络训练得到解剖结构识别模型；

构建手术阶段及异常事件识别模型：使用含有解剖结构的手术视频图片和完整手术视频，对视频片段中对应的手术阶段和异常事件进行标记进行标记，并储存标记得到手术阶段及异常事件识别数据库；通过手术阶段及异常事件识别数据库利用神经网络训练得到手术阶段及异常事件识别模型，神经网络为FCN-8s和MCNN神经网络等图片分割和图片内容分类的人工智能模型。

此处采用FCN-8s网络进行说明，经典的CNN卷积神经网络在卷积层之后使用全连接层将卷积层产生的特征图（feature map）映射成为一个固定长度的特征向量，从而进行分类。FCN全卷积网络将传统卷积网络后面的全连接层换成了卷积层，这样网络输出不再是类别而是热力图；同时为了解决因为卷积和池化对图像尺寸的影响，提出使用上采样的方式恢复。FCN全卷积网络可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的特征图进行上采样, 使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生了一个预测，同时保留原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。FCN全卷积网络对图像进行像素级的分类，从而解决了语义级别的图像分割问题。

FCN-8s全卷积网络的结构主要分为两个部分：全卷积部分和反卷积部分。其中全卷积部分为一些经典的CNN卷积神经网络（如VGG，ResNet等），用于提取特征，全卷积部分包括7组卷积池化层，一组卷积池化层包括一个卷积层和池化层；反卷积部分则是通过上采样得到原尺寸的语义分割图像。FCN-8s全卷积网络的输入可以为任意尺寸的彩色图像，输出与输入尺寸相同，通道数为n（目标类别数）+1（背景）。

在FCN-8s全卷积网络中，输入图片在经过全卷积部分之后，对第七组的卷积层进行上采样2倍再和第四组的池化层相加，相加之后再上采样2倍，再和第三组的池化层相加，最后再上采样8倍到原来的尺寸。

构建解剖结构处理状态分类模型和器官病变情况分类模型：根据图片中解剖结构的处理状态、器官的病变情况，标记含有解剖结构的手术图片，获得解剖处理状态分类数据库和器官病变情况分类数据库；分别使用解剖处理状态分类数据库和器官病变情况分类数据库，利用图像分类算法模型，训练得到解剖结构处理状态分类模型和器官病变情况分类模型。

图像分类算法模型为KNN分类算法模型，KNN分类算法模型的思路是，如果一个样本在特征空间中的K个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。也就是说，该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别，KNN分类算法模型具体包括：

1）计算待分类点与已知类别的点之间的距离；

2）按照距离递增次序排序；

3）选取与待分类点距离最小的K个点；

4）确定前K个点所在类别的出现次数；

5）返回前K个点出现次数最高的类别作为待分类点的预测分类。

手术管理知识库以知识图谱作为其结构基础，知识图谱的构建过程是从原始数据出发, 采用一系列自动或半自动的技术手段, 从原始数据中提取出知识要素 (即事实) ,并将其存入知识库的数据层和模式层的过程。这是一个迭代更新的过程，根据知识获取的逻辑，每一轮迭代包含3个阶段：信息抽取、知识融合以及知识加工。

知识图谱主要有自顶向下(top-down)与自底向上(bottom-up)两种构建方式。自顶向下指的是先为知识图谱定义好本体与数据模式，再将实体加入到知识库。该构建方式需要利用一些现有的结构化知识库作为其基础知识库。自底向上指的是从一些开放链接数据中提取出实体，选择其中置信度较高的加入到知识库，再构建顶层的本体模式。

采用自底向上的方式构建知识图谱的过程是一个迭代更新的过程，每一轮更新包括３个步骤：１）信息抽取，即从各种类型的数据源中提取出实体（概念）、属性以及实体间的相互关系，在此基础上形成本体化的知识表达；２）知识融合，在获得新知识之后，需要对其进行整合，以消除矛盾和歧义，比如某些实体可能有多种表达，某个特定称谓也许对应于多个不同的实体等；３）知识加工，对于经过融合的新知识，需要经过质量评估之后（部分需要人工参与甄别），才能将合格的部分加入到知识库中，以确保知识库的质量。新增数据之后，可以进行知识推理、拓展现有知识、得到新知识。具体的讲，在一些实施例中，知识图谱的构建包含如下环节：

S41、根据通用数据标准建立所需手术管理知识库的基础架构；

S42、将基础架构中的各个实体之间的关系进行统一规范，得到具有标准规范的标准字典表；

S43、获取与手术管理知识库中的内容相关的半结构化数据；

S44、从半结构化数据中抽取关键实体的实体信息；

S45、根据标准字典表将实体信息进行数据融合，形成结构化数据；

S46、将结构化数据生成对应的数据结构对，并述数据结构对存储形成手术管理知识库。

手术管理知识库根据GRS标准、GOALS标准、VAS标准、OSTAS标准、GEARS、O-SCORE等手术操作技术评估标准，整合器械运动轨迹识别模型、解剖结构识别模型、解剖结构处理状态分类模型、手术阶段及异常事件识别模型、器官病变情况分类模型的分析结果，以及以上手术要素的统计学分析结果，整合得到得到器械的使用效率、器械轨迹的运动线速度、角速度及其视野下的运动范围及区间、器械处理解剖结构的熟练度、手术进行的流畅程度、异常事件处理的恰当性等，如器官能否一次性准确定位和抓取切割、外科医师双手的配合程度、动作的平顺性与合理性等。同时知识图谱可实时根据特定术式下不同阶段的任务清单选择相应不同的评分量表，如结肠切除术过程中的SACCo安全操作标准、2018年东京指南中规定的腹腔镜胆囊切除术操作动作规范等。

手术管理知识库的构建，应基于专家共识、专著内容、专科临床实践需求，通过外科专业人员对知识节点的构建和联结进行，并实时根据的情况变化进行更新与迭代。该手术管理知识库通过分析手术数据库中符合特定条件视频的器械运动轨迹识别模型、解剖结构识别模型、解剖结构处理状态分类模型、手术阶段及异常事件识别模型、器官病变情况分类模型的分析结果，以及以上手术要素的统计学分析结果，按照手术方式及管理人员需求的不同，输出手术数据库中手术视频的完成质量报告结果及提升手术质量的建议，并以包括但不限于系统储存、储存卡储存、硬盘储存、网盘共享等方式批量保存知识库对从不同的技术评估角度得出的手术质控结论，形成手术管理日志。

如图2所示，将手术数据库中的视频图像输入到手术要素量化模型中进行处理，获取手术要素的量化数据，以及将手术要素输入到统计分析模型进行分析，输出不同手术要素、对应变量的统计学信息，具体包括：

器械运动轨迹识别模型、解剖结构识别模型、解剖结构处理状态分类模型、手术阶段及异常事件识别模型、器官病变情况分类模型均访问手术数据库中的图片，分别分析手术视频并得到器械运动轨迹识别结果、解剖结构识别结果、解剖结构处理状态分类结果、手术阶段及异常事件识别结果、器官病变情况分类结果；

将以上量化数据按照对应的视频储存在数据库中，储存的格式包括但不限于.json等数据格式；

储存的数据可用于手术视频中各手术要素识别结果的可视化，以及使用统计学模型进行批量数据分析，其中统计分析模型为应用于数据存取、数据管理、数据分析和数据展现的系列功能的程序的统称。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (4)

1.用于手术质量的控制方法，其特征在于，包括：

S1、构建手术要素量化模型，手术要素量化模型包括器械运动轨迹识别模型、解剖结构识别模型、解剖结构处理状态分类模型、手术阶段及异常事件识别模型和器官病变情况分类模型，手术要素的量化数据包括器械运动轨迹识别模型的识别结果、解剖结构识别模型的识别结果、解剖结构处理状态分类模型的分类结果、手术阶段及异常事件识别模型的识别结果和器官病变情况分类模型的分类结果；

构建器械运动轨迹识别模型：标记手术视频中不同器械及其对应的运动轨迹，并储存标记得到器械运动轨迹数据库；通过器械运动轨迹数据库利用基于KCF跟踪算法训练得到用于识别视频图片序列中不同器械及其视野下运动轨迹的器械运动轨迹识别模型；

构建解剖结构识别模型：使用含有解剖结构的手术视频图片和完整手术视频，对图片中出现的解剖结构进行标记，并储存标记得到解剖结构识别数据库；通过解剖结构识别数据库利用神经网络训练得到解剖结构识别模型；

构建手术阶段及异常事件识别模型：使用含有解剖结构的手术视频图片和完整手术视频，对视频片段中对应的手术阶段和异常事件进行标记进行标记，并储存标记得到手术阶段及异常事件识别数据库；通过手术阶段及异常事件识别数据库利用神经网络训练得到手术阶段及异常事件识别模型；

构建解剖结构处理状态分类模型和器官病变情况分类模型：根据图片中解剖结构的处理状态、器官的病变情况，标记含有解剖结构的手术图片，获得解剖处理状态分类数据库和器官病变情况分类数据库；分别使用解剖处理状态分类数据库和器官病变情况分类数据库，利用图像分类算法模型，训练得到解剖结构处理状态分类模型和器官病变情况分类模型；

S2、手术数据库导入手术要素量化模型获取手术要素的量化数据；

S3、将手术要素的量化数据输入到统计分析模型进行分析，输出不同手术要素、对应变量的统计学信息；

S4、利用知识图谱算法根据统计学信息与手术质量和管理建议之间的对应关系构建手术管理知识库；

S5、手术要素量化模型、统计分析模型和手术管理知识库组合形成手术管理系统，医院的手术数据库导入手术管理系统进行分析，并根据分析结果获得手术质量的控制建议。

2.根据权利要求1所述的用于手术质量的控制方法，其特征在于，图像分类算法模型为KNN分类算法模型，KNN分类算法模型具体包括：

1）计算待分类点与已知类别的点之间的距离；

2）按照距离递增次序排序；

3）选取与待分类点距离最小的K个点；

4）确定前K个点所在类别的出现次数；

5）返回前K个点出现次数最高的类别作为待分类点的预测分类。

3.根据权利要求1所述的用于手术质量的控制方法，其特征在于，神经网络为FCN-8s全卷积网络，FCN-8s全卷积网络依次包括全卷积部分和反卷积部分，全卷积部分用于提取特征，全卷积部分包括7组卷积池化层，一组卷积池化层包括一个卷积层和池化层，反卷积部分用于通过上采样得到原尺寸的语义分割图像，在FCN-8s全卷积网络中，输入图片在经过全卷积部分之后，对第七组的卷积层进行上采样2倍再和第四组的池化层相加，相加之后再上采样2倍，再和第三组的池化层相加，最后再上采样8倍到原来的尺寸。

4.根据权利要求1所述的用于手术质量的控制方法，其特征在于，在S4中，构建手术管理知识库包括：

S41、根据通用数据标准建立所需手术管理知识库的基础架构；

S42、将基础架构中的各个实体之间的关系进行统一规范，得到具有标准规范的标准字典表；

S43、获取与手术管理知识库中的内容相关的半结构化数据；

S44、从半结构化数据中抽取关键实体的实体信息；

S45、根据标准字典表将实体信息进行数据融合，形成结构化数据；

S46、将结构化数据生成对应的数据结构对，并述数据结构对存储形成手术管理知识库。

Images