CN116193257B - 一种消除手术视频图像画面抖动的方法 - Google Patents

Abstract

一种消除手术视频图像画面抖动的方法，涉及数据处理技术领域，实现所述方法的具体步骤如下：步骤一，在手术布上设置若干定位点，作为手术视频图像采集的辅助定位点手段，采集手术视频图像并保存成一系列的视频帧；步骤二，对每一帧图像进行预处理；步骤三，寻找视频中的关键帧，并根据关键帧确定视频中的追踪目标，计算追踪目标的运动方向和速度；步骤四，参照追踪目标，对于视频中每一帧图像，采用光流估计算法分析每个像素的运动矢量；步骤五，根据相邻两帧的光流矢量、运动方向和速度，计算并分析出视频画面的运动范围和矢量变换；步骤六，根据视频画面的运动范围和矢量变换的结果，对每一帧图像进行矢量变换，消除画面抖动。

Description

一种消除手术视频图像画面抖动的方法

技术领域

本发明涉及数据处理技术领域，具体为一种消除手术视频图像画面抖动的方法。

背景技术

在手术的视频拍摄过程中，拍摄的设备是移动的，且是临时安装的，为了提高拍摄的清晰度，同时，为了追求拍摄的角度，支撑拍摄装置的支架，是连接到手术台上的或者是医务人员容易触碰的位置，由于医生的手的颤抖或者操作台的晃动等因素，会导致手术视频图像画面抖动，因此，不管是拍摄装置受到外力产生抖动，还是拍摄对象受到外力而产生的晃动，或者两种因素的叠加，都会让视频图像画面产生抖动，在医学教学视频中，特别是在手术中的关键时刻，不能清晰且完美展现手术的细节，是不能满足高品质视频要求的。

发明内容

针对以上问题，至少解决其中一个问题，本发明的目的在于寻找视频中的关键帧，参照追踪目标，对于视频中每一帧图像，采用光流估计算法分析每个像素的运动矢量，计算并分析出视频画面的运动范围和矢量变换，消除视频图像画面的抖动，提供一种消除手术视频图像画面抖动的方法。

实现本发明目的的技术解决方案为：

一种消除手术视频图像画面抖动的方法，实现所述方法的具体步骤如下：

步骤一，在手术布上设置若干定位点，作为手术视频图像采集的辅助定位点手段，采集手术视频图像并保存成一系列的视频帧；需要说明的是，医生或者护士在手术环节中，让手术布的位置移动，或者让手术布产生褶皱，在图像中，采用像素位移的方式，定位点产生移动，在定位点的基础上，采用平移的方式，确定虚拟的标记点定位点，作为辅助定位的功能；采集手术视频图像，使用普通的高清摄像机或者是专业的手术录像机进行采集，在采集手术视频过程中，在手术布上的若干定位点在手术视频图像中出现，对于比较长时间的手术过程，采用分段的方式采集视频；

步骤二，对每一帧图像进行预处理，包括去噪、锐化和色彩平衡；

进一步地，其中，在步骤二中，采用神经网络对每一帧图像进行去噪、锐化和色彩平衡的具体步骤如下：

步骤A1，获取需要处理的每一帧图像；

步骤A2，将每一帧图像进行预处理，包括将每一帧图像进行缩放和旋转，消除图像的畸变；

步骤A3，将预处理后的每一帧图像输入到神经网络模型中；

步骤A4，神经网络模型对每一帧图像进行处理，包括去噪、锐化和色彩平衡；

步骤A5，输出处理后的每一帧图像；

其中，神经网络模型的训练采用了卷积神经网络（CNN）和循环神经网络（RNN）的结合，用帧图像对神经网络模型进行训练，训练出一个具有良好去噪、锐化和色彩平衡能力的神经网络模型；在去噪方面，神经网络模型不仅消除高斯噪声和椒盐噪声等常见噪声，还消除运动模糊等复杂噪声；在锐化方面，神经网络模型增强图像的边缘和纹理特征，使得图像更加清晰；在色彩平衡方面，神经网络模型通过对图像的亮度、对比度和饱和度进行调整，使得图像的色彩更加真实自然；解决帧图像中的噪声、模糊和色彩失衡等问题，且处理效果更加自然和真实，提高帧图像的质量和清晰度；

步骤三，寻找视频中的关键帧，并根据关键帧确定视频中的追踪目标，计算追踪目标的运动方向和速度；需要说明的是，视频中的追踪目标包括手术工具、医生的手、护士的手和病人的手术部位，视频中的关键帧是包含了追踪目标，例如，追踪手术刀的运行轨迹，或者病人的手术部位被切开的过程轨迹，或者病人的手术部位被缝合的过程轨迹；在时间轴上，确定关键帧在时间轴的位置，将视频的帧进行网格剖分，进一步确定每个网格的运动方向和速度，确定视频中追踪目标在网格之间的运动方向和速度，为后续光流估计提供依据；

步骤四，参照追踪目标，对于视频中每一帧图像，采用光流估计算法分析每个像素的运动矢量；需要说明的是，光流场（Optical Flow），指的是用于描述连续图像序列中每个像素在时间上的运动情况,视频中每一帧图像中会有背景色，比如手术布的颜色，追踪目标有图形的颜色和形状特征，因此要参照追踪目标；采用光流估计算法分析一帧图像每个像素的运动矢量的具体步骤如下：

步骤D1，将两个相邻的图像分别划分为大小相等的若干个小块；需要说明的是，将一帧图像分为若干个小块，每个小块大小为n×n像素，n≥3，n为自然数，假设选取的小块大小为5×5像素；

步骤D2，选取一个参考块，并在相邻两帧图像中寻找它的对应块，计算出参考块的运动矢量；需要说明的是，假设参考块像素在第一帧图像中的坐标为(x₁,y₁)，在第二帧图像中的坐标为(x₂,y₂)，根据以下公式计算出参考块的运动矢量：

v = (x₂- x₁, y₂- y₁)

v表示运动矢量，-表示减法，

步骤D3，对于每个小块内的像素，重复步骤D2的计算过程，得到整个图像的光流场；需要说明的是，步骤D2是对任意一个小块内的像素进行运动矢量的计算，步骤D3是重复步骤D2的计算过程，得到整个图像的光流场；

步骤五，根据相邻两帧的光流矢量、运动方向和速度，计算并分析出视频画面的运动范围和矢量变换；需要说明的是，计算并分析出视频画面的运动范围和矢量变换的具体步骤如下：

步骤E1，对于相邻两帧图像，先利用光流矢量计算出两帧之间的相对位移和旋转角度，需要说明的是，根据每一帧图像之间的位移量，根据位移量建立位移场，并对每一帧图像进行局部的坐标转换，使得每一帧图像都能够对齐在同一坐标系下；

步骤E2，将相邻两帧的相对位移和旋转角度累加，得到整个视频画面的运动范围和矢量变换；

步骤六，根据视频画面的运动范围和矢量变换的结果，对每一帧图像进行矢量变换，消除画面抖动；需要说明的是，在进行图像矫正之前，需要先将视频画面扩展出一定的边界区域，以免出现黑边或白边等失真问题，然后，对于每一帧图像，将图像根据视频画面的运动范围和矢量变换，得到的矢量变换进行逆变换操作，的具体步骤如下：

步骤F1，读取矢量变换后的图像；需要说明的是，以任意一个参考块为例，坐标系采用X轴和Y轴表示，第一帧图像中的坐标为(x₁,y₁)，在第n帧图像中的坐标为(x_n,y_n)，第n帧图像中的坐标，为任意一个参考块矢量变换后的图像的参考块，并记录任意一个参考块在帧图像之间的运动矢量变化，具体包括参考块的平移量和旋转角度，n表示自然数；

步骤F2，计算矢量变换的系数；需要说明的是，对参考块的平移量和旋转角度采用统计的方式，确定矢量变换的系数，比如，第一个参考块在第一帧图像中的坐标为（2，3），第一个参考块在第二帧图像中的坐标为（2，4），第一个参考块在Y轴的平移量为1，旋转角度为0，以此类推，在第一帧图与第二帧图中，采用统计求平均值的方式，统计图像中所有参考块的平移量和旋转角度的平均值，平移量和旋转角度的平均值就是矢量变换的系数；

步骤F3，将计算矢量变换的系数转换为逆变换系数；例如，在步骤F2中，第一个参考块在第一帧图像中的坐标为（2，3），第一个参考块在第二帧图像中的坐标为（2，4），逆变换系数为-0.5，第一个参考块逆变换的坐标为（2，3.5），如果第一个参考块从第一帧图像到第二帧图像整体的旋转角度为60°，旋转角度的逆变换系数为-0.5，那么第一个参考块从第一帧图像到第二帧图像整体的旋转角度逆变换为30°；

步骤F4：根据逆变换系数表和原图像中的像素点，计算出逆变换后的像素点，并输出逆变换后的图像；需要说明的是，原图像中的像素点是连续的，逆变换后的像素点也是连续的，从而得到校正后的图像，生成新的视频图像序列，输出消除抖动后的手术视频图像；对矢量变换的系数进行分析，并结合变换算法实现了高效、精确的逆变换。

与现有技术相比，本发明的有益效果包括：

（1）、在去噪方面，神经网络模型不仅消除高斯噪声和椒盐噪声等常见噪声，还消除运动模糊等复杂噪声；在锐化方面，神经网络模型增强图像的边缘和纹理特征，使得图像更加清晰；在色彩平衡方面，神经网络模型通过对图像的亮度、对比度和饱和度进行调整，使得图像的色彩更加真实自然；解决帧图像中的噪声、模糊和色彩失衡等问题，且处理效果更加自然和真实，提高帧图像的质量和清晰度；

（2）、通过计算位移矢量进行矢量变换，减少由于运动误差导致的抖动，消除画面抖动效果显著；

（3）、将视频图像的移动特征进行了有效的分析和处理，采用了简单易行的算法和流程，能够有效消除手术过程中因运动造成的图像抖动，实现了对视频图像的抖动矫正，提高手术视频质量和观看效果，对提高手术质量、提高医学教育质量具有重要意义；消除手术视频图像画面抖动，而且不需要专业的防抖器，实现成本较低。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种消除手术视频图像画面抖动的方法的流程示意图；

图2是一种消除手术视频图像画面抖动的方法的手术布上设置定位点的示意图。

附图中标记及对应的零部件名称：

101—第一个定位点，102—第二个定位点，103—第三个定位点，104—第四个定位点，105—手术布。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合实施例对本发明作进一步详细描述。

实施例：

如图1至图2所示，本发明提供了一种消除手术视频图像画面抖动的方法，实现所述方法的具体步骤如下：

步骤一，在手术布上设置若干定位点，作为手术视频图像采集的辅助定位点手段，采集手术视频图像并保存成一系列的视频帧；

步骤二，对每一帧图像进行预处理，包括去噪、锐化和色彩平衡；

步骤三，寻找视频中的关键帧，并根据关键帧确定视频中的追踪目标，计算追踪目标的运动方向和速度；

步骤四，参照追踪目标，对于视频中每一帧图像，采用光流估计算法分析每个像素的运动矢量；

步骤五，根据相邻两帧的光流矢量、运动方向和速度，计算并分析出视频画面的运动范围和矢量变换；

步骤六，根据视频画面的运动范围和矢量变换的结果，对每一帧图像进行矢量变换，消除画面抖动。

其中，步骤一,在手术布上设置若干定位点，作为手术视频图像采集的辅助定位点手段，采集手术视频图像并保存成一系列的视频帧；需要说明的是，医生或者护士在手术环节中，让手术布的位置移动，或者让手术布产生褶皱，在图像中，采用像素位移的方式，定位点产生移动，在定位点的基础上，采用平移的方式，确定虚拟的标记点定位点，作为辅助定位的功能；采集手术视频图像，使用普通的高清摄像机或者是专业的手术录像机进行采集，在采集手术视频过程中，在手术布上的若干定位点在手术视频图像中出现，在手术布105上设置四个定位点为例，点位点采用十字，定位点包括第一个定位点101、第二个定位点102、第三个定位点103和第四个定位点104，第一个定位点101、第二个定位点102、第三个定位点103和第四个定位点104构成正方形或者长方形，当第四个定位点104产生了移动，不在正方形或者长方形的顶点上，采用平移的方式，确定虚拟的第四个定位点104在正方形或者长方形的顶点上。

为了更好的实现本发明的目的，步骤二，对每一帧图像进行预处理，包括去噪、锐化和色彩平衡；

进一步地，其中，在步骤二中，采用神经网络对每一帧图像进行去噪、锐化和色彩平衡的具体步骤如下：

步骤A1，获取需要处理的每一帧图像；

步骤A2，将每一帧图像进行预处理，包括将每一帧图像进行缩放和旋转，消除图像的畸变；

步骤A3，将预处理后的每一帧图像输入到神经网络模型中；

步骤A4，神经网络模型对每一帧图像进行处理，包括去噪、锐化和色彩平衡；

步骤A5，输出处理后的每一帧图像；

其中，神经网络模型的训练采用了卷积神经网络（CNN）和循环神经网络（RNN）的结合，用帧图像对神经网络模型进行训练，训练出一个具有良好去噪、锐化和色彩平衡能力的神经网络模型；在去噪方面，神经网络模型不仅消除高斯噪声和椒盐噪声等常见噪声，还消除运动模糊等复杂噪声；在锐化方面，神经网络模型增强图像的边缘和纹理特征，使得图像更加清晰；在色彩平衡方面，神经网络模型通过对图像的亮度、对比度和饱和度进行调整，使得图像的色彩更加真实自然；解决帧图像中的噪声、模糊和色彩失衡等问题，且处理效果更加自然和真实，提高帧图像的质量和清晰度；

为了更好的实现本发明的目的，步骤三，寻找视频中的关键帧，并根据关键帧确定视频中的追踪目标，计算追踪目标的运动方向和速度；需要说明的是，视频中的追踪目标包括手术工具、医生的手、护士的手和病人的手术部位，视频中的关键帧是包含了追踪目标，例如，追踪手术刀的运行轨迹，或者病人的手术部位被切开的过程轨迹，或者病人的手术部位被缝合的过程轨迹；在时间轴上，确定关键帧在时间轴的位置，将视频的帧进行网格剖分，进一步确定每个网格的运动方向和速度，确定视频中追踪目标在网格之间的运动方向和速度，为后续光流估计提供依据；

进一步地，其中，在步骤三中，采用神经网络寻找视频中的关键帧确定追踪目标的具体步骤如下：

步骤B1，对视频进行分帧处理，得到每一帧的图像；

步骤B2，使用预训练的卷积神经网络对每一帧的图像进行特征提取，得到每一帧的特征向量；

步骤B3，计算每一帧的特征向量与前后帧的特征向量的相似度，得到相似度序列；

步骤B4，对相似度序列进行阈值处理，筛选出关键帧确定追踪目标；

步骤B5，对筛选出的关键帧进行追踪目标分类；例如，对具体的手术工具进行分类，对每一位医生的手进行分类，对每一位护士的手进行分类，对病人的手术部位进行过程分类，比如，手术部位处于被切开的阶段，或者手术部位处于被缝合的阶段；结合了卷积神经网络和相似度计算，能够实现快速准确地寻找视频中的关键帧确定追踪目标；

进一步地，其中，在步骤三中，计算追踪目标的运动方向和速度的具体步骤如下：

步骤C1，利用目标追踪算法得到追踪目标的在图像网格中的运动轨迹；需要说明的是，将视频的帧进行网格剖分，采集追踪目标的特征,基于追踪目标的特征的目标追踪算法包括卡尔曼滤波、粒子滤波和均值漂移；

步骤C2，在时间轴上，确定关键帧在时间轴的位置，确定关键帧中追踪目标在图像网格的位置的距离和速度向量；

步骤C3，分析速度向量，得出追踪目标的运动方向和速度；

为了更好的实现本发明的目的，步骤四，参照追踪目标，对于视频中每一帧图像，采用光流估计算法分析每个像素的运动矢量；需要说明的是，视频中每一帧图像中会有背景色，比如手术布的颜色，追踪目标有图形的颜色和形状特征，因此要参照追踪目标；采用光流估计算法分析一帧图像每个像素的运动矢量的具体步骤如下：

步骤D1，将两个相邻的图像分别划分为大小相等的若干个小块；需要说明的是，将一帧图像分为若干个小块，每个小块大小为n×n像素，n≥3，n为自然数，假设选取的小块大小为5×5像素；

步骤D2，选取一个参考块，并在相邻两帧图像中寻找它的对应块，计算出参考块的运动矢量；需要说明的是，假设参考块像素在第一帧图像中的坐标为(x₁,y₁)，在第二帧图像中的坐标为(x₂,y₂)，根据以下公式计算出参考块的运动矢量：

v = (x₂- x₁, y₂- y₁)

v表示运动矢量，-表示减法，

步骤D3，对于每个小块内的像素，重复步骤D2的计算过程，得到整个图像的光流场；

为了更好的实现本发明的目的，步骤五，根据相邻两帧的光流矢量、运动方向和速度，计算并分析出视频画面的运动范围和矢量变换；需要说明的是，计算并分析出视频画面的运动范围和矢量变换的具体步骤如下：

步骤E1，对于相邻两帧图像，先利用光流矢量计算出两帧之间的相对位移和旋转角度，需要说明的是，根据每一帧图像之间的位移量，根据位移量建立位移场，并对每一帧图像进行局部的坐标转换，使得每一帧图像都能够对齐在同一坐标系下；

步骤E2，将相邻两帧的相对位移和旋转角度累加，得到整个视频画面的运动范围和矢量变换；

为了更好的实现本发明的目的，步骤六，根据视频画面的运动范围和矢量变换的结果，对每一帧图像进行矢量变换，消除画面抖动；需要说明的是，在进行图像矫正之前，需要先将视频画面扩展出一定的边界区域，以免出现黑边或白边等失真问题，然后，对于每一帧图像，将图像根据视频画面的运动范围和矢量变换，得到的矢量变换进行逆变换操作，从而得到校正后的图像，生成新的视频图像序列，输出消除抖动后的手术视频图像。

以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种消除手术视频图像画面抖动的方法，其特征在于，实现所述方法的具体步骤如下：

步骤一，在手术布上设置若干定位点，作为手术视频图像采集的辅助定位点手段，采集手术视频图像并保存成一系列的视频帧；

步骤二，对每一帧图像进行预处理，包括去噪、锐化和色彩平衡；

步骤三， 寻找视频中的关键帧，并根据关键帧确定视频中的追踪目标，计算追踪目标的运动方向和速度；采用神经网络寻找视频中的关键帧，确定追踪目标的具体步骤如下：

步骤B1，对视频进行分帧处理，得到每一帧的图像；

步骤B2，使用预训练的卷积神经网络对每一帧的图像进行特征提取，得到每一帧的特征向量；

步骤B3，计算每一帧的特征向量与前后帧的特征向量的相似度，得到相似度序列；

步骤B4，对相似度序列进行阈值处理，筛选出关键帧确定追踪目标；

步骤B5，对筛选出的关键帧进行追踪目标分类；

计算追踪目标的运动方向和速度的具体步骤如下：

步骤C1，利用目标追踪算法得到追踪目标的在图像网格中的运动轨迹；

步骤C2，在时间轴上，确定关键帧在时间轴的位置，确定关键帧中追踪目标在图像网格的位置的距离和速度向量；

步骤C3，分析速度向量，得出追踪目标的运动方向和速度；

步骤四，参照追踪目标，对于视频中每一帧图像，采用光流估计算法分析每个像素的运动矢量；

步骤五，根据相邻两帧的光流矢量、运动方向和速度，计算并分析出视频画面的运动范围和矢量变换；计算并分析出视频画面的运动范围和矢量变换的具体步骤如下：

步骤E1，对于相邻两帧图像，先利用光流矢量计算出两帧之间的相对位移和旋转角度，根据每一帧图像之间的位移量，根据位移量建立位移场，并对每一帧图像进行局部的坐标转换，使得每一帧图像都能够对齐在同一坐标系下；

步骤E2，将相邻两帧的相对位移和旋转角度累加，得到整个视频画面的运动范围和矢量变换；

步骤六，根据视频画面的运动范围和矢量变换的结果，对每一帧图像进行矢量变换，消除画面抖动；在进行图像矫正之前，需要先将视频画面扩展出一定的边界区域，以免出现黑边或白边等失真问题，然后，对于每一帧图像，将图像根据视频画面的运动范围和矢量变换，得到的矢量变换进行逆变换操作，具体步骤如下：

步骤F1，读取矢量变换后的图像；

步骤F2，计算矢量变换的系数；

步骤F3，将计算矢量变换的系数转换为逆变换系数；

步骤F4：根据逆变换系数表和原图像中的像素点，计算出逆变换后的像素点，并输出逆变换后的图像。

2.根据权利要求1所述的一种消除手术视频图像画面抖动的方法，其特征在于：在步骤二中，采用神经网络对每一帧图像进行去噪、锐化和色彩平衡的具体步骤如下：

步骤A1，获取需要处理的每一帧图像；

步骤A2，将每一帧图像进行预处理，包括将每一帧图像进行缩放和旋转，消除图像的畸变；

步骤A3，将预处理后的每一帧图像输入到神经网络模型中；

步骤A4，神经网络模型对每一帧图像进行处理，包括去噪、锐化和色彩平衡；

步骤A5，输出处理后的每一帧图像。

3.根据权利要求1所述的一种消除手术视频图像画面抖动的方法，其特征在于：在步骤四中，采用光流估计算法分析一帧图像每个像素的运动矢量的具体步骤如下：

步骤D1，将两个相邻的图像分别划分为大小相等的若干个小块；

步骤D2，选取一个参考块，并在相邻两帧图像中寻找它的对应块，计算出参考块的运动矢量；

步骤D3，对于每个小块内的像素，重复步骤D2的计算过程，得到整个图像的光流场。

4.根据权利要求3所述的一种消除手术视频图像画面抖动的方法，其特征在于：在步骤四的步骤D2中，参考块像素在第一帧图像中的坐标为(x₁,y₁)，在第二帧图像中的坐标为(x₂,y₂)，根据以下公式计算出参考块的运动矢量：

v = (x₂ - x₁, y₂ - y₁)

v表示运动矢量，-表示减法。