CN118038314A - 用于腔镜手术视频管控的系统及方法 - Google Patents

Abstract

本发明公开了用于腔镜手术视频管控的系统及方法。该用于腔镜手术视频管控的方法，包括以下步骤：获取腔镜手术视频中的每个视频帧、关键帧，提取每个视频帧和关键帧对应像素个数以及像素值；得出腔镜手术关键帧特性评估值；得到每个视频帧卷积后特征矩阵，进行腔镜手术视频帧图像识别，得出视频帧相似评定值；通过每一次腔镜手术时的操作时间、出血量、患者生理参数值得出腔镜手术异常系数和腔镜手术检测参数矩阵。本发明通过得出腔镜手术关键帧特性评估值、卷积后特征矩阵、视频帧相似评定值，达到了更精确地通过视频对腔镜手术过程监测，解决了现有技术中存在通过视频对腔镜手术过程监测不准确的问题。

Description

用于腔镜手术视频管控的系统及方法

技术领域

本发明涉及视频处理技术领域，尤其涉及用于腔镜手术视频管控的系统及方法。

背景技术

随着数字化技术和医学的发展，逐步开始在手术过程中，对于手术操作视频进行多次存储，便于后续学习和使用。其中，对腔镜手术视频进行记录，便于日后对腔镜手术过程进行实时监测和回看，同时可以通过腔镜手术视频准确监测出腔镜手术过程，因此需要对腔镜手术视频进行管控，实现实时监测腔镜手术的手术过程，是一个值得研究的问题。

现有的用于腔镜手术视频管控的方法通过对每个视频片段对应的峰度和偏态进行判断，确定腔镜手术视频中的多个场景节点。

例如公开号为：CN116030397B的发明专利公开的一种基于时序信息交互的腔镜手术视频分割方法，包括：通过视频帧特征交互的方式，可以通过辅助帧的特征对分割帧进行特征修复或者抑制不正确的特征表达，可以有效提高腔镜手术视频全场景分割的精度。该方法得到的分割结果可以进一步用于手术导航和手术技能评估，并且可以作为参考进行手术路径的规划，作为腔镜机器人手术的辅助技术，实现智能化的机器人手术。

例如公开号为：CN114882415A的发明专利公开的一种腔镜手术视频的处理方法及电子设备，包括：确定腔镜手术视频中每个视频帧对应的直方图差值，基于每个视频帧对应的直方图差值，从该腔镜手术视频中确定出多个视频片段，每个视频片段对应一个潜在视频帧，基于该多个视频片段包括的视频帧对应的直方图差值，确定每个视频片段对应的峰度和偏态，基于该多个视频片段对应的峰度和偏态，确定所述腔镜手术视频中的多个场景节点。

但本申请在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术中，用于腔镜手术视频管控的方法在对腔镜手术的视频处理判断手术过程方面，是通过腔镜手术每个视频片段对应的峰度和偏态确定腔镜手术视频中的场景节点，但是人为的随意设置阈值来判断手术视频中的场景节点，并不能准确地分割各个场景节点，综上所述，现有技术中存在通过视频对腔镜手术过程监测不准确的问题。

发明内容

本申请实施例通过提供用于腔镜手术视频管控的系统及方法，解决了现有技术中，存在通过视频对腔镜手术过程监测不准确的问题，实现了更精确地通过视频对腔镜手术过程监测。

本申请实施例提供了用于腔镜手术视频管控的系统，所述用于腔镜手术视频管控的系统包括：视频获取模块、关键帧模块、视频帧模块和腔镜手术异常检测模块；其中，所述视频获取模块用于获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值；所述关键帧模块用于根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性；所述视频帧模块用于根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧得出视频帧相似评定值，评价出两个相邻视频帧相似度；所述腔镜手术异常检测模块用于通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常。

本申请实施例提供了用于腔镜手术视频管控的方法，包括以下步骤：获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值；根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性；根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧中像素的值得出视频帧相似评定值，评价出两个相邻视频帧相似度；通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常系数发出异常预警，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常。

进一步的，所述腔镜手术关键帧特性评估值的方法为：对于每个关键帧，从RGB颜色空间中提取出红色、白色、绿色、肉色四种颜色对应的像素的数量，其中红色代表的是血液颜色，绿色代表的是腔镜手术中为了增强对组织的可视性使用的染料颜色，白色代表的是医疗用品颜色，肉色代表的是内脏器官和组织颜色，构建腔镜手术关键帧特性评估值分析公式，据其分析得出腔镜手术关键帧特性评估值，所述腔镜手术关键帧特性评估值分析公式为：式中，ηm表示第m个腔镜手术关键帧特性评估值，m表示关键帧编号，m＝1,2,3...n，n表示关键帧总数，/>表示第m个关键帧的红色对应像素个数，/>表示第m个关键帧的白色对应像素个数，/>表示第m个关键帧的绿色对应像素个数，/>表示第m个关键帧的肉色对应像素个数，b₁、b₂、b₃和b₄分别表示红色、白色、绿色、肉色四种颜色对应的像素各在红色、白色、绿色、肉色四种颜色对应的像素的数量之和中所占的权重，γ表示腔镜手术关键帧特性评估值对应的修正系数。

进一步的，所述卷积后特征矩阵分析方法为：将每个腔镜手术视频帧的红、绿、蓝三种颜色通道对应的参数矩阵分别与卷积核进行卷积，得到红色通道卷积后特征矩阵、绿色通道卷积后特征矩阵和蓝色通道卷积后特征矩阵，所述参数矩阵中的各个元素表示视频帧所对应的不同位置像素分布值，所述卷积核中的各个元素表示视频帧所对应的不同位置像素所对应的权重，卷积后特征矩阵为：式中，/>表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的卷积后特征矩阵，f为卷积核的行数和列数，a₁₁,a₁₂,...a_f,f,a_f,f+1,...,a_f+1,f,...表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的参数矩阵中元素值，b₁₁,...,b_ff表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的卷积核中元素值，u表示视频帧编号，u＝1,2,3...,l，l表示视频帧总数，g＝1,2,3，分别表示红、绿、蓝三种颜色通道。

进一步的，所述腔镜手术视频帧图像识别的分析方法为：将红色通道、绿色通道和蓝色通道三种卷积后特征矩阵中每个取值对应位置加在一起得到一个综合特征矩阵，通过综合特征矩阵的信息对腔镜手术视频帧图像进行识别。

进一步的，所述视频帧相似评定值的分析方法为：根据每两个相邻视频帧中像素的值得出的视频帧亮度评估系数和视频帧对比度评估系数得出视频帧相似评定值，视频帧相似评定值越大说明两个相邻视频帧相似度越高，当视频帧相似评定值为1时，说明两个相邻视频帧完全相同，构建视频帧亮度评估系数，据其分析得出视频帧亮度评估系数，所述视频帧亮度评估系数分析公式为：式中，/>表示第u个视频帧的视频帧亮度评估系数，x_u,p表示第u个视频帧的第p个像素的灰度值，x_u+1,p表示第u+1个视频帧的第p个像素的灰度值，p表示像素的编号，p＝1,2,3,...q，q表示像素的总数，C₁是一个常数，所述视频帧对比度评估系数分析公式为：式中，/>表示第u个视频帧的视频帧对比度评估系数，C₂是一个常数，构建视频帧相似评定值，据其分析得出视频帧相似评定值，所述视频帧相似评定值分析公式为：/>式中，/>表示视频帧相似评定值对应的修正因子。

进一步的，所述腔镜手术异常系数的分析方法为:将每一次腔镜手术进行编号，获取每一次历史腔镜手术时的操作时间、出血量、患者生理参数值，获取当前患者的腔镜手术视频数据，并从中提取出当前患者腔镜手术的操作时间、出血量、患者生理参数值，构建腔镜手术异常系数分析公式，据其分析得出腔镜手术异常系数，腔镜手术异常系数分析公式为：式中，ε表示当前患者腔镜手术的的腔镜手术异常系数，i表示腔镜手术的编号，i＝1,2,3,...g，g表示腔镜手术的总次数，t_i、v_i、RP_i分别表示第i次腔镜手术对应的操作时间、出血量和患者生理参数值，分别表示当前患者腔镜手术的操作时间、出血量、患者生理参数值，φ₁、φ₂、φ₃分别表示操作时间、出血量、患者生理参数值在腔镜手术异常系数所占的权重因子。

进一步的，所述腔镜手术检测参数矩阵的分析方法为：根据腔镜手术检测因素矩阵和腔镜手术异常系数向量，得出腔镜手术检测参数矩阵，所述腔镜手术异常系数向量是由每次腔镜手术所对应的腔镜手术异常系数组成的列向量，构建腔镜手术检测参数矩阵分析公式，据其分析得出腔镜手术检测参数矩阵，所述腔镜手术检测参数矩阵分析公式为：H_i＝X^j*W_i＝[d_i1 d_i2 d_i3]，式中，H_i为第i次腔镜手术的腔镜手术检测参数矩阵，X^j表示腔镜手术检测参数矩阵，W_i为到第i次腔镜手术的腔镜手术异常系数向量，d_i1、d_i2和d_i3分别表示第i次腔镜手术的腔镜手术检测参数矩阵中元素对应的值。

进一步的，所述腔镜手术检测因素矩阵第一行的各个值对应的是每次腔镜手术所对应的操作时间，第二行的各个值对应的是每次腔镜手术所对应的出血量，第三行的各个值对应的是每次腔镜手术所对应的患者生理参数值。

进一步的，所述腔镜手术异常检测方法为：如果某次腔镜手术的操作时间、出血量、患者生理参数值中任何一个值大于该次所对应的腔镜手术检测参数矩阵中对应的值，说明腔镜手术出现异常，如果某次腔镜手术的操作时间、出血量、患者生理参数值均未大于该次所对应的腔镜手术检测参数矩阵中对应的值，说明腔镜手术正常。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1、通过得出腔镜手术关键帧特性评估值、卷积后特征矩阵、视频帧相似评定值，从而实现根据视频帧和关键帧对腔镜手术过程进行全面和准确的数据分析，进而实现了更精确地通过视频对腔镜手术过程监测，有效解决了现有技术中，存在通过视频对腔镜手术过程监测不准确的问题。

2、通过腔镜手术异常系数向量和腔镜手术检测因素矩阵得出腔镜手术检测参数矩阵，从而判断腔镜手术是正常进行或者异常进行，进而对于发生异常情况的腔镜手术及时处理。

3、通过将当前患者腔镜手术的操作时间、出血量、患者生理参数值与所有进行过腔镜手术患者对应的操作时间、出血量、患者生理参数值进行比较，找到与当前患者腔镜手术的患者生理参数值偏差最小的腔镜手术对应的患者生理参数值，接着针对找到的腔镜手术中的操作时间和出血量，分析出当前患者腔镜手术对应的腔镜手术异常系数，从而增加当前患者的腔镜手术找到对比腔镜手术的成功概率，进而改善目前过于依赖医生的历史经验来判断当前患者腔镜手术是否有异常的情况。

附图说明

图1为本申请实施例提供的用于腔镜手术视频管控的系统的结构示意图；

图2为本申请实施例提供的用于腔镜手术视频管控的方法流程图。

具体实施方式

本申请实施例通过提供用于腔镜手术视频管控的系统及方法，解决了现有技术中，通过视频对腔镜手术过程监测不准确的问题，通过得出腔镜手术关键帧特性评估值、卷积后特征矩阵、视频帧相似评定值，实现了更精确地设置通过视频对腔镜手术过程监测的方法。

本申请实施例中的技术方案为解决上述，通过视频对腔镜手术过程监测不准确的问题，总体思路如下：

通过获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值；根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性；根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧中像素的值得出视频帧相似评定值，评价出两个相邻视频帧相似度；通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常，达到了更精确地通过视频对腔镜手术过程监测。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

如图1所示，为本申请实施例提供的用于腔镜手术视频管控的系统的结构示意图，本申请实施例提供的用于腔镜手术视频管控的系统包括：视频获取模块、关键帧模块、视频帧模块和腔镜手术异常检测模块，其中，视频获取模块用于获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值，关键帧模块用于根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性，视频帧模块用于根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧得出视频帧相似评定值，评价出两个相邻视频帧相似度，腔镜手术异常检测模块用于通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常。

如图2所示，为本申请实施例提供的用于腔镜手术视频管控的方法流程图，该方法包括以下步骤：获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值，根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性，根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧中像素的值得出视频帧相似评定值，评价出两个相邻视频帧相似度，通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常系数发出异常预警，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常。

在本实施例中，获取腔镜手术视频中的每个视频帧、关键帧，提取每个视频帧和关键帧对应像素个数以及像素值；得出腔镜手术关键帧特性评估值；得到每个视频帧卷积后特征矩阵，进行腔镜手术视频帧图像识别，得出视频帧相似评定值；通过每一次腔镜手术时的操作时间、出血量、患者生理参数值得出腔镜手术异常系数和腔镜手术检测参数矩阵。通过专业的腔镜手术医务人员在腔镜手术中的所有视频帧中选出关键帧，关键帧展示的是腔镜手术过程中的重要步骤，包括手术准备、腔镜设备的定位、插入和进入手术区域、手术进行中的每一步骤节点、手术的结束。

进一步的，腔镜手术关键帧特性评估值的方法为：对于每个关键帧，从RGB颜色空间中提取出红色、白色、绿色、肉色四种颜色对应的像素的数量，其中红色代表的是血液颜色，绿色代表的是腔镜手术中为了增强对组织的可视性使用的染料颜色，白色代表的是医疗用品颜色，肉色代表的是内脏器官和组织颜色，构建腔镜手术关键帧特性评估值分析公式，据其分析得出腔镜手术关键帧特性评估值，腔镜手术关键帧特性评估值分析公式为：式中，η_m表示第m个腔镜手术关键帧特性评估值，m表示关键帧编号，m＝1,2,3...n，n表示关键帧总数，/>表示第m个关键帧的红色对应像素个数，/>表示第m个关键帧的白色对应像素个数，/>表示第m个关键帧的绿色对应像素个数，/>表示第m个关键帧的肉色对应像素个数，b₁、b₂、b₃和b₄分别表示红色、白色、绿色、肉色四种颜色对应的像素各在红色、白色、绿色、肉色四种颜色对应的像素的数量之和中所占的权重，γ表示腔镜手术关键帧特性评估值对应的修正系数。

在本实施例中，腔镜手术一般用到的染色剂为荧光染色剂，其为绿色，用来标记组织、血管或其它结果，增强对组织的可视性，如果腔镜手术的医务人员使用的染色剂颜色不同，可以将绿色更换成其所规定的实验中的颜色，在关键帧中分别获取所有肉色、红色、白色和绿色对应的像素个数，其中，肉色的RGB值是255,125,64，肉色的色值代码是#FF7D40,红色的RGB值是255,0,0，红色的色值代码是#FF0000，白色的RGB值是255,255,255，白色的色值代码是#FFFFFF,绿色的RGB值是0,255,0，绿色的色值代码是#00FF00。

进一步的，卷积后特征矩阵分析方法为：将每个腔镜手术视频帧的红、绿、蓝三种颜色通道对应的参数矩阵分别与卷积核进行卷积，得到红色通道卷积后特征矩阵、绿色通道卷积后特征矩阵和蓝色通道卷积后特征矩阵，参数矩阵中的各个元素表示视频帧所对应的不同位置像素分布值，卷积核中的各个元素表示视频帧所对应的不同位置像素所对应的权重，卷积后特征矩阵为：式中，/>表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的卷积后特征矩阵，f为卷积核的行数和列数，a₁₁,a₁₂,...a_f,f,a_f,f+1,...,a_f+1,f,...表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的参数矩阵中元素值，b₁₁,...,b_ff表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的卷积核中元素值，u表示视频帧编号，u＝1,2,3...,l，l表示视频帧总数，g＝1,2,3，分别表示红、绿、蓝三种颜色通道。

在本实施例中，中的c表示卷积后特征矩阵的特殊标识，将视频帧进行按照一定比例划分为训练集和测试集，对训练集和测试集中的红、绿、蓝三种颜色通道分别进行卷积，每个腔镜手术视频帧的各种颜色通道对应的参数矩阵为：/>式中，/>表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的参数矩阵，u表示视频帧编号，u＝1,2,3...l，l表示视频帧总数，g＝1,2,3，分别表示红、绿、蓝三种颜色通道，中的值为0或1，其中0表示无像素，1表示有像素；卷积核是任何大小的矩阵，同时根据要学习的不同种类的特征确定卷积核数量，卷积核是一个f*f的矩阵，卷积核所对应的矩阵参数为：/>式中，F表示的是卷积核所对应的矩阵，带入具体的数字：红色通道卷积后特征矩阵为：/>同理可得绿色通道卷积后特征矩阵和蓝色通道卷积后特征矩阵。

进一步的，腔镜手术视频帧图像识别的分析方法为：将红色通道、绿色通道和蓝色通道三种卷积后特征矩阵中每个取值对应位置加在一起得到一个综合特征矩阵，通过综合特征矩阵的信息对腔镜手术视频帧图像进行识别。

在本实施例中，得到了综合特征矩阵之后，通过激活函数ReLU,使得中的数值在大于0时，输出对应的数值，在数值小于0时，输出0，通过池化层操作减少综合特征矩阵的尺寸，降低计算复杂度，池化操作包括一般池化和平均池化等，在全连接层通过损失函数对识别红、绿、蓝三种颜色通道结果进行优化，损失函数包括平均绝对误差(MAE)损失函数、均方误差(MSE)损失函数等，对全连接层的输出使用softmax函数。

进一步的，视频帧相似评定值的分析方法为：根据每两个相邻视频帧中像素的值得出的视频帧亮度评估系数和视频帧对比度评估系数得出视频帧相似评定值，视频帧相似评定值越大说明两个相邻视频帧相似度越高，当视频帧相似评定值为1时，说明两个相邻视频帧完全相同，构建视频帧亮度评估系数，据其分析得出视频帧亮度评估系数，视频帧亮度评估系数分析公式为：式中，/>表示第u个视频帧的视频帧亮度评估系数，x_u,p表示第u个视频帧的第p个像素的灰度值，x_u+1,p表示第u+1个视频帧的第p个像素的灰度值，p表示像素的编号，p＝1,2,3,...q，q表示像素的总数，C₁是一个常数，视频帧对比度评估系数分析公式为：式中，表示第u个视频帧的视频帧对比度评估系数，C₂是一个常数，构建视频帧相似评定值，据其分析得出视频帧相似评定值，视频帧相似评定值分析公式为：/>式中，/>表示视频帧相似评定值对应的修正因子。

在本实施例中，C₁、C₂是一个常数，C₁＝(K₁*L)²，C₂＝(K₂*L)²，K₁的经验取值为0.01，K₂的经验取值为0.03，L表示像素的动态取值范围。

进一步的，腔镜手术异常系数的分析方法为:将每一次腔镜手术进行编号，获取每一次历史腔镜手术时的操作时间、出血量、患者生理参数值，获取当前患者的腔镜手术视频数据，并从中提取出当前患者腔镜手术的操作时间、出血量、患者生理参数值，构建腔镜手术异常系数分析公式，据其分析得出腔镜手术异常系数，腔镜手术异常系数分析公式为：式中，ε表示当前患者腔镜手术的的腔镜手术异常系数，i表示腔镜手术的编号，i＝1,2,3,...g，g表示腔镜手术的总次数，t_i、v_i、RP_i分别表示第i次腔镜手术对应的操作时间、出血量和患者生理参数值，/>分别表示当前患者腔镜手术的操作时间、出血量、患者生理参数值，φ₁、φ₂、φ₃分别表示操作时间、出血量、患者生理参数值在腔镜手术异常系数所占的权重因子。

在本实施例中，每一次腔镜手术指的是历史记录中完整的不同患者的每一次腔镜手术，即当前患者的腔镜手术未结束记作不完整的，不被编号。当腔镜手术异常系数越接近于1，表示二者相似度越高，当腔镜手术异常系数越接近于0，表示二者相似度越低；其中，当腔镜手术异常系数越接近于0.7时，表示二者相似度偏高，即当前患者的腔镜手术存在一定的异常风险，同时可以发出预警，以及时通知医生及时做出相应准备。如果第i次腔镜手术异常，且当前患者腔镜手术的腔镜手术异常系数大于0.8，则判断当前患者的腔镜手术数据也为异常，反之，若不大于，则当前患者的腔镜手术数据为不异常。如果第i次腔镜手术不异常，且当前患者腔镜手术的腔镜手术异常系数大于0.8，则判断当前患者的腔镜手术数据也为不异常，反之，若不大于，则当前患者的腔镜手术数据为异常。将当前患者腔镜手术的操作时间、出血量、患者生理参数值与所有进行过腔镜手术患者对应的操作时间、出血量、患者生理参数值进行比较，从g′次腔镜手术中找到与当前患者腔镜手术的患者生理参数值偏差最小的第i次腔镜手术对应的患者生理参数值，接着针对找到的第i次腔镜手术中的操作时间和出血量，分析出当前患者腔镜手术对应的腔镜手术异常系数。由于大部分情况下腔镜手术每个患者只需要进行一次，故这里仅针对腔镜手术进行编号，此外，当前患者在仅有一次腔镜手术的基础上难以在第二次腔镜手术时找到对比，故此处选择在历史记录的腔镜手术中找到与当前患者身体状况最相似的腔镜手术数据作为对比，以此改善目前过于依赖医生的历史经验来判断当前患者腔镜手术是否有异常的情况，同时还能够综合不同医生完成的腔镜手术数据，扩大腔镜手术历史经验数据，实现提升腔镜手术异常值判断的准确性。每一次腔镜手术时的患者生理参数值是先对患者的血压、心率值、呼吸频率、体温等生理监测数据进行加权求和，得出患者生理参数值。

进一步的，腔镜手术检测参数矩阵的分析方法为：根据腔镜手术检测因素矩阵和腔镜手术异常系数向量，得出腔镜手术检测参数矩阵，腔镜手术异常系数向量是由每次腔镜手术所对应的腔镜手术异常系数组成的列向量，构建腔镜手术检测参数矩阵分析公式，据其分析得出腔镜手术检测参数矩阵，腔镜手术检测参数矩阵分析公式为：H_i＝X^j*W_i＝[d_i1d_i2 d_i3]，式中，H_i为第i次腔镜手术的腔镜手术检测参数矩阵，X^j表示腔镜手术检测参数矩阵，W_i为到第i次腔镜手术的腔镜手术异常系数向量，d_i1、d_i2和d_i3分别表示第i次腔镜手术的腔镜手术检测参数矩阵中元素对应的值。

在本实施例中，Xj表示腔镜手术检测参数矩阵，j表示检测参数矩阵的特殊标识，x1i、x_2i和x_3i分别表示为第i次腔镜手术所对应的操作时间、出血量、患者生理参数值，腔镜手术异常系数向量为：/>将两者进行矩阵的乘法运算。

进一步的，腔镜手术检测因素矩阵第一行的各个值对应的是每次腔镜手术所对应的操作时间，第二行的各个值对应的是每次腔镜手术所对应的出血量，第三行的各个值对应的是每次腔镜手术所对应的患者生理参数值。

进一步的，腔镜手术异常检测方法为：如果某次腔镜手术的操作时间、出血量、患者生理参数值中任何一个值大于该次所对应的腔镜手术检测参数矩阵中对应的值，说明腔镜手术出现异常，如果某次腔镜手术的操作时间、出血量、患者生理参数值均未大于该次所对应的腔镜手术检测参数矩阵中对应的值，说明腔镜手术正常。

在本实施例中，如果腔镜手术出现异常，可以通知医务人员对腔镜手术异常情况进行处理，同时根据腔镜手术的操作时间、出血量、患者生理参数值中的哪一个具体值出现异常，对异常问题的解决提供参考凭据。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：相对于公开号为：CN116030397B公开的一种基于时序信息交互的腔镜手术视频分割方法，本申请实施例通过得出腔镜手术关键帧特性评估值、卷积后特征矩阵、视频帧相似评定值，从而实现根据视频帧和关键帧对腔镜手术过程进行全面和准确的数据分析，进而实现了更精确地通过视频对腔镜手术过程监测；相对于公开号为：CN114882415A公开的一种腔镜手术视频的处理方法及电子设备，本申请实施例通过腔镜手术异常系数向量和腔镜手术检测因素矩阵得出腔镜手术检测参数矩阵，从而判断腔镜手术是正常进行或者异常进行，进而对于发生异常情况的腔镜手术及时处理。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.用于腔镜手术视频管控的系统，其特征在于，所述用于腔镜手术视频管控的系统包括：视频获取模块、关键帧模块、视频帧模块和腔镜手术异常检测模块；

其中，所述视频获取模块用于获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值；

所述关键帧模块用于根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性；

所述视频帧模块用于根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧得出视频帧相似评定值，评价出两个相邻视频帧相似度；

所述腔镜手术异常检测模块用于通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常。

2.用于腔镜手术视频管控的方法，其特征在于，包括以下步骤：

获取腔镜手术视频，获取腔镜手术视频中的每个视频帧、标注出关键帧，并提取每个视频帧和关键帧对应像素个数以及像素值；

根据每次腔镜手术每个关键帧对应的红色、白色、绿色、肉色四种颜色对应的像素的数量，得出腔镜手术关键帧特性评估值，根据每一个关键帧的腔镜手术关键帧特性评估值评价对应的关键帧特性；

根据每个视频帧红、绿、蓝三种颜色通道,得到卷积后特征矩阵，进行腔镜手术视频帧图像识别，根据每两个相邻视频帧中像素的值得出视频帧相似评定值，评价出两个相邻视频帧相似度；

通过每一次腔镜手术时的操作时间、出血量、患者生理参数值，得出腔镜手术异常系数和腔镜手术检测参数矩阵，根据腔镜手术异常系数发出异常预警，根据腔镜手术异常检测方法判断腔镜手术正常或者腔镜手术异常。

3.如权利要求2所述用于腔镜手术视频管控的方法，其特征在于，所述腔镜手术关键帧特性评估值的方法为：

对于每个关键帧，从RGB颜色空间中提取出红色、白色、绿色、肉色四种颜色对应的像素的数量，其中红色代表的是血液颜色，绿色代表的是腔镜手术中为了增强对组织的可视性使用的染料颜色，白色代表的是医疗用品颜色，肉色代表的是内脏器官和组织颜色；

构建腔镜手术关键帧特性评估值分析公式，据其分析得出腔镜手术关键帧特性评估值；

所述腔镜手术关键帧特性评估值分析公式为：

式中，η_m表示第m个腔镜手术关键帧特性评估值，m表示关键帧编号，m＝1,2,3...n，n表示关键帧总数，表示第m个关键帧的红色对应像素个数，/>表示第m个关键帧的白色对应像素个数，/>表示第m个关键帧的绿色对应像素个数，/>表示第m个关键帧的肉色对应像素个数，b₁、b₂、b₃和b₄分别表示红色、白色、绿色、肉色四种颜色对应的像素各在红色、白色、绿色、肉色四种颜色对应的像素的数量之和中所占的权重，γ表示腔镜手术关键帧特性评估值对应的修正系数。

4.如权利要求2所述用于腔镜手术视频管控的方法，其特征在于，所述卷积后特征矩阵分析方法为：

将每个腔镜手术视频帧的红、绿、蓝三种颜色通道对应的参数矩阵分别与卷积核进行卷积，得到红色通道卷积后特征矩阵、绿色通道卷积后特征矩阵和蓝色通道卷积后特征矩阵，所述参数矩阵中的各个元素表示视频帧所对应的不同位置像素分布值，所述卷积核中的各个元素表示视频帧所对应的不同位置像素所对应的权重；

卷积后特征矩阵为：

式中，表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的卷积后特征矩阵，f为卷积核的行数和列数，a₁₁,a₁₂,...a_f,f,a_f,f+1,...,a_f+1,f,...表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的参数矩阵中元素值，b₁₁,...,b_ff表示第u个腔镜手术视频帧的第g个编号对应颜色通道对应的卷积核中元素值，u表示视频帧编号，u＝1,2,3...,l，l表示视频帧总数，g＝1,2,3，分别表示红、绿、蓝三种颜色通道。

5.如权利要求2所述用于腔镜手术视频管控的方法，其特征在于，所述腔镜手术视频帧图像识别的分析方法为：

将红色通道、绿色通道和蓝色通道三种卷积后特征矩阵中每个取值对应位置加在一起得到一个综合特征矩阵，通过综合特征矩阵的信息对腔镜手术视频帧图像进行识别。

6.如权利要求4所述用于腔镜手术视频管控的方法，其特征在于，所述视频帧相似评定值的分析方法为：

根据每两个相邻视频帧中像素的值得出的视频帧亮度评估系数和视频帧对比度评估系数得出视频帧相似评定值，视频帧相似评定值越大说明两个相邻视频帧相似度越高，当视频帧相似评定值为1时，说明两个相邻视频帧完全相同；

构建视频帧亮度评估系数，据其分析得出视频帧亮度评估系数；

所述视频帧亮度评估系数分析公式为：

式中，表示第u个视频帧的视频帧亮度评估系数，x_u,p表示第u个视频帧的第p个像素的灰度值，x_u+1,p表示第u+1个视频帧的第p个像素的灰度值，p表示像素的编号，p＝1,2,3,...q，q表示像素的总数，C₁是一个常数；

所述视频帧对比度评估系数分析公式为：

式中，表示第u个视频帧的视频帧对比度评估系数，C₂是一个常数；

构建视频帧相似评定值，据其分析得出视频帧相似评定值；

所述视频帧相似评定值分析公式为：

式中，表示视频帧相似评定值对应的修正因子。

7.如权利要求2所述用于腔镜手术视频管控的方法，其特征在于，所述腔镜手术异常系数的分析方法为:

将每一次历史腔镜手术进行编号，获取每一次历史腔镜手术时的操作时间、出血量、患者生理参数值，获取当前患者的腔镜手术视频数据，并从中提取出当前患者腔镜手术的操作时间、出血量、患者生理参数值；

构建腔镜手术异常系数分析公式，据其分析得出腔镜手术异常系数；

所述腔镜手术异常系数分析公式为：

式中，ε表示当前患者腔镜手术的的腔镜手术异常系数，i表示腔镜手术的编号，i＝1,2,3,...g'，g'表示腔镜手术的总次数，t_i、v_i、RP_i分别表示第i次腔镜手术对应的操作时间、出血量和患者生理参数值，分别表示当前患者腔镜手术的操作时间、出血量、患者生理参数值，φ₁、φ₂、φ₃分别表示操作时间、出血量、患者生理参数值在腔镜手术异常系数所占的权重因子。

8.如权利要求7所述用于腔镜手术视频管控的方法，其特征在于，所述腔镜手术检测参数矩阵的分析方法为：

根据腔镜手术检测因素矩阵和腔镜手术异常系数向量，得出腔镜手术检测参数矩阵，所述腔镜手术异常系数向量是由每次腔镜手术所对应的腔镜手术异常系数组成的列向量；

构建腔镜手术检测参数矩阵分析公式，据其分析得出腔镜手术检测参数矩阵；

所述腔镜手术检测参数矩阵分析公式为：

H_i＝X^j*W_i＝[d_i1 d_i2 d_i3]，

式中，H_i为第i次腔镜手术的腔镜手术检测参数矩阵，X^j表示腔镜手术检测参数矩阵，W_i为到第i次腔镜手术的腔镜手术异常系数向量，d_i1、d_i2和d_i3分别表示第i次腔镜手术的腔镜手术检测参数矩阵中元素对应的值。

9.如权利要求8所述用于腔镜手术视频管控的方法，其特征在于，所述腔镜手术检测因素矩阵第一行的各个值对应的是每次腔镜手术所对应的操作时间，第二行的各个值对应的是每次腔镜手术所对应的出血量，第三行的各个值对应的是每次腔镜手术所对应的患者生理参数值。

10.如权利要求2所述用于腔镜手术视频管控的方法，其特征在于，所述腔镜手术异常检测方法为：如果某次腔镜手术的操作时间、出血量、患者生理参数值中任何一个值大于该次所对应的腔镜手术检测参数矩阵中对应的值，说明腔镜手术出现异常，如果某次腔镜手术的操作时间、出血量、患者生理参数值均未大于该次所对应的腔镜手术检测参数矩阵中对应的值，说明腔镜手术正常。