CN114679524B - 一种快速检测和修复内窥镜下高能量可见光的快速方法 - Google Patents

Abstract

本发明提供了一种快速检测和修复内窥镜下高能量可见光的方法，属于数字图像处理技术领域，该方法包括以下步骤：1：获取内窥镜摄像头采集到的视频流，并且利用帧间差法对采集到的视频流进行异常帧（曝光帧、暗帧）检测；2：利用光流法对检测出的曝光帧进行修复；3：采用均值提亮法对暗帧进行提亮；4：将修复的曝光帧、提亮的暗帧和正常帧合成视频流输出得到清晰正常的手术视频影像。通过本发明提供的检测和修复内窥镜下高能量可见光的方法可快速检测曝光帧并修复，修复率高达98.88%，通过均值提亮算法有效增强图像亮度，且处理速度控制在30ms以内，使得医生能够在手术中观看到清晰稳定（无闪烁、无突变）的视频流。

Description

一种快速检测和修复内窥镜下高能量可见光的快速方法

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种快速检测和修复内窥镜下高能量可见光的方法。

背景技术

在医疗领域的内窥镜场景中，内窥镜系统的发展使得医生在病情诊断、手术治疗等环节取得了极大的效率提升。但在手术中使用内窥镜时仍然存在以下问题：在激光手术中，由于可见光激光刀在工作时会对电子内窥镜的摄像头造成严重的过曝现象，且软性电子内窥镜摄像头无法像硬式电子内窥镜摄像头一样安装滤光器。那么，医生在对病人病灶进行激光手术时，视频成像必然会出现曝光现象。此外，当亮度值到达门限值附近时内窥镜会过度调整自身参数，使得视频画面显示出不稳定的亮暗变换。此时，医生相当于在不可视或视野不稳定的情况下进行激光手术，这将有可能导致患者受伤、出血或穿孔，手术风险大幅度提高。

现有的技术中也有对异常图像进行检测和修复的方法，主要分为两种：基于物理的方法和基于算法的方法。基于物理的方法通常根据图像中视野区域的亮度信息自动调整内窥镜曝光参数，该方法通过一个反馈机制来调节内窥镜前端镜头的物距和/或焦距，以使前端镜头获得的视野区域稳定，该方法看起来合情合理，但在实践中这一反馈机制往往会产生较大的延迟，以至于其实时性较差，且镜头自身不间断地调节也会给激光手术带来很多不稳定的因素；基于算法的方法通常根据整张图的亮度信息来判断该图的曝光情况，但由于激光手术中出现的曝光情况可能是局部的，因此根据整张图的亮度信息来检测曝光帧会出现大量漏检的情况，依然无法有效解决激光手术中，全局和/或局部曝光对医生视线产生消极影响的问题。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种快速检测和修复内窥镜下高能量可见光的方法使得医生能够在手术中观看到清晰稳定的视频流。

为达到上述目的，本发明采用以下技术方案予以实现：一种快速检测和修复内窥镜下高能量可见光的方法，包括以下步骤：

步骤一：获取内窥镜摄像头采集到的视频流，并且利用帧间差法对采集到的视频流进行异常帧的检测,所述异常帧是曝光帧和暗帧；

对曝光帧进行检测：采集到的视频流中，先出现一段正常的视频流，将视频流中的所有相邻帧做差，得到一系列帧间差图，若帧间差图的特征不超过预设的特征阈值时，当前帧为正常帧，若帧间差图的特征超过预设的特征阈值时，当前帧为曝光帧；

对暗帧进行检测：(1)找到第一个曝光序列曝光开始的前一帧，并计算整张图的RGB均值得到Fmean_R、Fmean_G、Fmean_B；(2)对所有后续帧(修复的曝光帧和正常帧)计算其各自的Smean_R、Smean_G、Smean_B，且计算Rrate＝Fmean_R/Smean_R,Grate＝Fmean_G/Smean_G,Brate＝Fmean_B/Smean_B；(3)若Max[Rrate,Grate,Brate]>1，则该帧被定义为暗帧；

步骤二：利用光流法对检测出的曝光帧进行修复，同时采用均值提亮法对暗帧进行提亮：

利用光流法对检测出的曝光帧进行修复的具体步骤为：(1)将连续两个正常帧作为模型的输入；(2)利用光流法构建像素运动轨迹预测模型，预测得到曝光开始的第一帧图像；(3)将最后一个正常帧和预测得到的曝光开始的第一帧图像再次作为预测模型的输入，预测得到曝光中的第二帧图像；(4)反复循环上述步骤(1)、(2)，可预测得到所有曝光帧的图像，即可得到所有修复的曝光帧。

采用均值提亮法对暗帧进行提亮的具体方式为：暗帧R通道的每个像素乘Rrate、G通道的每个像素乘Grate、B通道的每个像素乘Brate得到拉亮后的帧。步骤3：将修复的曝光帧、提亮的暗帧和正常帧合成视频流输出得到清晰正常的手术视频影像。

上述步骤1中，检测到曝光帧后，将曝光开始帧及其之后的曝光帧均与曝光开始帧的前一帧作差得到帧间差图，利用帧间差法确定曝光开始帧和结束帧的位置，具体方法如下：

(1)若当前帧间差图的特征超过预设的特征阈值，且预设的特征阈值为正数，则当前帧间差图中的前一帧被判定为曝光帧开始前最后一个正常帧，当前帧间差图中的后一帧为曝光开始的第一帧；

(2)若当前帧间差图的特征超过预设的特征阈值，且预设的特征阈值为负数，则当前帧间差图中的前一帧被判定为曝光帧结束的最后一帧，当前帧间差图中的后一帧为正常帧开始的第一帧。

上述帧间差图的特征为亮度特征值，其计算方式为：取帧间差图中两个特定部位的三通道均值R1、G1、B1和R2、G2、B2，帧间差图的亮度特征为其六个值中的最大值，即max(R1、G1、B1、R2、G2、B2)。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种快速检测和修复内窥镜下高能量可见光的快速方法，可以获取到内窥镜视频流后，利用基于时序信息的帧间差法对其异常帧进行检测。其中，异常帧包括曝光帧和暗帧。本发明所提出检测方法可以将两者同时检出，且检出率高到99.8％，总速度保持在30ms以下。此外，由于激光手术视频流的特殊性，本发明不是直接将这些异常帧进行随意丢弃，而是对其进行修复工作，以保证医生可以看到清晰流畅的实时手术视频流。本发明在修复曝光帧时采用了光流法，在修复暗帧时采用了均值提亮法。光流法可以根据图像的运动趋势对过曝区域的像素进行有效预测和填补，该方法快速简单，避免了视频流出现卡顿或不可视的状况；由于物理因素，曝光后视频中通常会出现短暂的暗亮变化，均值提亮法可以帮助缓解甚至消除这种变化，以便于医生观看到稳定的手术视频流。

附图说明

图1为本发明的快速检测和修复内窥镜下高能量可见光的方法的流程示意图；

图2是利用光流法对检测出的曝光帧进行修复的示意图；

图3是采用均值提亮法对暗帧进行提亮的示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述：

如图1所示，本发明实施例提供了一种快速检测和修复内窥镜下高能量可见光的方法，包括以下步骤：

步骤一：获取内窥镜摄像头采集到的视频流，并且利用帧间差法对采集到的视频流进行异常检测，得到曝光帧和暗帧。

(一)检测曝光帧，其检测方法是：

首先对曝光帧进行检测：采集到的视频流中，总会先出现一段正常的视频流，将视频流中的所有相邻帧做差，得到一系列帧间差图。

利用帧间差法确定曝光开始帧和结束帧的位置的方法为：

(1)若当前帧间差图的特征超过预设的特征阈值，且预设的特征阈值为正数，则当前帧间差图中的前一帧被判定为曝光帧开始前最后一个正常帧，当前帧间差图中的后一帧为曝光开始的第一帧，当前帧间差图以后的若干帧都需要修复；

(2)若当前帧间差图的特征超过预设的特征阈值，且预设的特征阈值为负数，则当前帧间差图中的前一帧被判定为曝光帧结束的最后一帧，当前帧间差图中的后一帧为正常帧开始的第一帧，当前帧间差图以后的若干帧都是正常帧，不需要被修复。

通过帧间差图的亮度特征值与预设的特征阈值的大小关系可以判断视频帧是否属于曝光帧。正的特征阈值用于判定曝光开始的帧，负的特征阈值用于判定曝光结束的帧，由此便可以得到一个曝光帧序列。

具体地，本实施例中所述帧间差图的特征为亮度特征值，其计算方式为：

根据对内窥镜曝光规律的观察，发现最能体现图像曝光的区域在图像上下各十分之一的部分，因此本实施例仅取帧差图上下各十分之一的部分作为有效计算区域，假设其为A1,A2。

针对这两块区域(A1,A2)进行亮度特征的提取。首先，分RGB计算每块区域的亮度均值，得到A1的三通道均值R1、G1、B1以及A2的三通道均值R2、G2、B2；其次，规定该帧间差图的亮度特征为其六个值中的最大值，即max(R1、G1、B1、R2、G2、B2)。

经大量实验证明，特征阈值为30和-30较为合理。若部分设备采用此方法出现检测曝光的情况，如误判或漏判等，则应考虑调节该阈值的大小以适应其具体情况。

(二)检测暗帧，其检测方式为：

(1)根据曝光帧的检测结果，能够得到第一个曝光序列曝光开始的前一帧，计算其整张图的RGB均值得到Fmean_R、Fmean_G、Fmean_B；

(2)对所有后续帧(修复的曝光帧和正常帧)计算其各自的Smean_R、Smean_G、Smean_B。且计算Rrate＝Fmean_R/Smean_R,Grate＝Fmean_G/Smean_G,Brate＝Fmean_B/Smean_B；

(3)若Max[Rrate,Grate,Brate]>1，则该帧被定义为暗帧，需要调用均值提亮法对该帧进行提亮，反之，则不是暗帧，不需要调用均值提亮法进行提亮。

步骤二：利用光流法对检测出的曝光帧进行修复，同时采用均值提亮法对暗帧进行提亮。

(一)利用光流法对检测出的曝光帧进行修复的具体步骤为：(1)连续两个正常帧作为预测程序的输入；(2)利用光流法构建像素运动轨迹预测模型，预测得到曝光开始的第一帧图像；(3)将最后一个正常帧和预测得到的曝光开始的第一帧图像再次作为预测模型的输入，预测得到曝光中的第二帧图像；(4)反复循环上述步骤(1)、(2)，可预测得到所有曝光帧的预测图像，即可得到所有修复的曝光帧。参见图2，可以看到：a和b即为曝光前的连续两个正常帧，c为第一个曝光帧，d为用光流法修复c帧的结果。

(二)参见图3，采用均值提亮法对暗帧进行提亮具体方式为：暗帧R通道的每个像素乘Rrate、G通道的每个像素乘Grate、B通道的每个像素乘Brate得到拉亮后的帧。参见图3，可以看到：a为帧间差法检测到的暗帧，b为均值提亮法提亮后的帧。

步骤三：将修复的曝光帧、提亮的暗帧和正常帧合成视频流输出得到清晰正常的手术视频影像。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种快速检测和修复内窥镜下高能量可见光的方法，其特征在于，包括以下步骤：

步骤一：获取内窥镜摄像头采集到的视频流，并且利用帧间差法对采集到的视频流进行异常帧的检测,所述异常帧是曝光帧和暗帧；

对曝光帧进行检测：采集到的视频流中，先出现一段正常的视频流，将视频流中的所有相邻帧做差，得到一系列帧间差图，若帧间差图的特征不超过预设的特征阈值时，当前帧为正常帧，若帧间差图的特征超过预设的特征阈值时，当前帧为曝光帧；

对暗帧进行检测：(1)找到第一个曝光序列曝光开始的前一帧，并计算整张图的RGB均值得到Fmean_R、Fmean_G、Fmean_B；(2)对所有后续帧(修复的曝光帧和正常帧)计算其各自的Smean_R、Smean_G、Smean_B，且计算Rrate＝Fmean_R/Smean_R,Grate＝Fmean_G/Smean_G,Brate＝Fmean_B/Smean_B；(3)若Max[Rrate,Grate,Brate]>1，则该帧被定义为暗帧；

步骤二：利用光流法对检测出的曝光帧进行修复，同时采用均值提亮法对暗帧进行提亮：

利用光流法对检测出的曝光帧进行修复的具体步骤为：(1)将连续两个正常帧作为模型的输入；(2)利用光流法构建像素运动轨迹预测模型，预测得到曝光开始的第一帧图像；(3)将最后一个正常帧和预测得到的曝光开始的第一帧图像再次作为预测模型的输入，预测得到曝光中的第二帧图像；(4)反复循环上述步骤(1)、(2)，可预测得到所有曝光帧的图像，即可得到所有修复的曝光帧；

采用均值提亮法对暗帧进行提亮的具体方式为：暗帧R通道的每个像素乘Rrate、G通道的每个像素乘Grate、B通道的每个像素乘Brate得到拉亮后的帧；步骤3：将修复的曝光帧、提亮的暗帧和正常帧合成视频流输出得到清晰正常的手术视频影像。

2.根据权利要求1所述的一种快速检测和修复内窥镜下高能量可见光的方法，其特征在于，所述步骤1中，检测到曝光帧后，将曝光开始帧及其之后的曝光帧均与曝光开始帧的前一帧作差得到帧间差图，利用帧间差法确定曝光开始帧和结束帧的位置，具体方法如下：

(1)若当前帧间差图的特征超过预设的特征阈值，且预设的特征阈值为正数，则当前帧间差图中的前一帧被判定为曝光帧开始前最后一个正常帧，当前帧间差图中的后一帧为曝光开始的第一帧；

(2)若当前帧间差图的特征超过预设的特征阈值，且预设的特征阈值为负数，则当前帧间差图中的前一帧被判定为曝光帧结束的最后一帧，当前帧间差图中的后一帧为正常帧开始的第一帧。

3.根据权利要求2所述的一种快速检测和修复内窥镜下高能量可见光的方法，其特征在于，所述帧间差图的特征为亮度特征值，其计算方式为：取帧间差图中两个特定部位的三通道均值R1、G1、B1和R2、G2、B2，帧间差图的亮度特征为其六个值中的最大值，即max(R1、G1、B1、R2、G2、B2)。

Images