CN109919988A - 一种适用于三维内窥镜的立体图像处理方法 - Google Patents

Abstract

本发明公开了一种适用于三维内窥镜的立体图像处理方法。本发明步骤如下：步骤1：首先对所采集到的图像进行自动校准处理；步骤2：对图像进行自动测光处理；步骤3：对图像进行自动白平衡；步骤4：在同一个线程中依次采集显示两幅图像；步骤5：对采集到的两幅图像实现立体匹配。本发明用于将医用内窥镜采集到的图像处理后进行三维显示，并具有双路图像一致性好、高清、提供真实立体效果图像等特点。本发明的图像处理算法实用性强，对光照条件、光照颜色、光线投射方式有很好的适应性，可以更好的服务各种场景下的内窥镜检测需求。

Description

一种适用于三维内窥镜的立体图像处理方法

技术领域

本发明属于数字图像处理领域，具体涉及一种适用于三维内窥镜的图像处理方法。本发明用于将医用内窥镜采集到的图像处理后进行三维显示。

背景技术

电子内窥镜是医疗检查及治疗中必不可少的仪器之一，尤其在微创外科手术中，是起到关键作用的设备之一。这几年以来，伴同微创外科手术的不断飞速发展，对内窥镜的技术要求也愈来愈高。而目前广泛使用的电子内窥镜，其所获取到的二维平面图像和视屏，存在一个弱点，就是缺少了深度信息的表示，这样导致医生通过内窥镜进行诊疗的时候。很难判定不同的内脏器官、各组织之间的深度位置关系，从而在使用内窥镜及观察治疗时不得不凭经验主观判断，造成一定的偏差。一种立体可视化图像处理技术对提高内窥镜成像质量十分重要的意义。

鉴于此，上世纪90年代开始，基于不同原理的三维内窥镜陆续出现。当中具象征性的有头盔显示器方案，摄像机拍摄获得的左右图像对相应进入左边和右边的镜片，左右图像对不需要轮流显示，但是该方案具有佩戴不方便、价格成本昂贵的缺点，而且佩戴者的观察视差有限，对于屏幕之外观察不到。ASTC公司产品采用无源偏振眼镜立体显示方案，它通过软件系统在Dos环境下实现左右图像对的交替，其硬件部分为四块图像采集卡和多块主板，但是其内窥镜镜体口径大，而且图像处理系统复杂，反应迟缓，容易出现死机等现象，工作不够稳定。因此，开发一种双路图像一致性好、稳定性好、高清、提供真实立体效果图像的图像处理方法有很大的实用价值。

发明内容

本发明的目的是针对电子内窥镜在医疗检查及治疗中应用需求，提供一种双路图像一致性好、稳定性好、高清、提供真实立体效果图像的图像处理方法。

为达到上述目的，本发明采用如下技术方案予以解决：

一种适用于三维内窥镜的立体图像处理方法，包括以下步骤：

步骤1：首先对所采集到的图像进行自动校准处理；

步骤2：对图像进行自动测光处理；

步骤3：对图像进行自动白平衡；

步骤4：在同一个线程中依次采集显示两幅图像；

步骤5：对采集到的两幅图像实现立体匹配；

进一步的，所述步骤1的对所采集到的图像进行自动校准处理，具体流程为：

1-1.建立被测点在摄像机图像坐标系中坐标与其在测量参考世界坐标系坐标之间的对应关系；

1-2.假定作为标定使用的平面靶标世界坐标系中Z为0；

1-3.通过线性模型计算，得摄像机参数的优化解，接着基于最大似然法进行非线性求精，标定得出考虑镜头畸变的目标函数，线性模型为：为任意的非零因子，为图像点向量，为空间点向量，A是3*3矩阵，R为旋转矩阵，t为平移向量；

1-4.求得相机所需内外部参数，完成标定，最终得到极线矫正好的图像对。

进一步的，所述步骤2对图像进行自动测光处理，具体步骤为：

2-1.先将图像分为平均的若干块，然后分别去计算这所有小区域内的平均亮度值；

2-2.接着统计出这所有区域的平均亮度值的最大值，把这个最大值做为整幅图像的峰值亮度值Lpeek；

2-3.设定该模式中的的最小阈值LMINpeek和最大阈值LMAXpeek；如果平均亮度值Lpeek比最小阈值LMINpeek小，那么就说明此时的图像是过暗的，则增加曝光量；如果平均亮度值Lpeek比最大阈值LMAXpeek大，那么就说明此时的图像是过曝的，则降低曝光量。

进一步的，步骤3所述的对图像进行自动白平衡具体流程为：

3-1.计算RGB三通道之和；

3-2.通过RGB三通道之和计算无色差像素检测的阈值，以获得无色差像素集W，定义为：W＝{f(x_i)|S_i＞T}，其中，i为像素的下标，f(x_i)为图像函数，S_i为上文提出的RGB三通道之和，即S_i＝R_i+G_i+B_i，T为无色差像素检测的阈值；

3-3.通过上式计算出的阈值来提取无色差像素点；

3-4.光照色度估计值e可通过下式计算：

式中分别为R、G、B通道均值；

3-5经过步骤3-4估算出成像环境下的光照色度估计值e后，根据对角模型将偏色图像的颜色矫正到标准白光，实现自动白平衡；公式为：

f_R(x)、f_G(x)、f_B(x)、f_R0(x)、f_G0(x)、f_B0(x)分别为校正前后R、G、B三通道值，p_R、p_G、p_B为三通道值的增益系数；

进一步的，步骤4所述的双通道图像采集时选择在同一个线程中依次采集显示两幅图像。

进一步的，所述的步骤5中的立体匹配算法具体流程为：

5-1.初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对I_left、I_right；

5-2.初步立体匹配：对左右图像对I_left、I_right进行简单的SSD算法和平滑滤波后，得到初始的左、右视差图Disp_left0、Disp_right0；

5-3.以左视差图Disp_left0为参考，校正右视差图Disp_right0：对于右视差图Disp_right0，给出一个像素点P_r和它的视差值d_r，可以得到它在左图的匹配点P_l，P₁＝P_r+d_r；，通过左视图可知其视差值为d_l。如果△d＝|d_l-d_r|超过设定的阈值，则将点P_r标记为误匹配点，再进行误匹配点校正。

5-4.对找到的误匹配点用四插值法进行计算，得出正确的视差值，完成误匹配点校正；

5-5.以校正好的右视差图Disp_right0为参考，校正左视差图Disp_left0，方法同步骤5-3、5-4。

本发明有益效果如下：

本发明用于将医用内窥镜采集到的图像处理后进行三维显示，并具有双路图像一致性好、高清、提供真实立体效果图像等特点。本发明的图像处理算法实用性强，对光照条件、光照颜色、光线投射方式有很好的适应性，可以更好的服务各种场景下的内窥镜检测需求。

附图说明

图1是本发明流程图。

图2是立体匹配算法的流程图。

具体实施方式

下面结合附图和实施例对本发明做具体说明。

本发明的实施例涉及一种适用于三维内窥镜的立体图像处理方法，可用于对电子内窥镜提供一种双路图像一致性好、稳定性好、高清、提供真实立体效果图像的图像处理方法。

如图1所示，一种适用于三维内窥镜的立体图像处理方法，在采集到图像后将进行如下操作：

步骤1：对所采集到的图像进行自动校准处理，具体流程为：

1-1.建立被测点在摄像机图像坐标系中坐标与其在测量参考世界坐标系坐标之间的对应关系；

1-2.假定作为标定使用的平面靶标世界坐标系中Z为0；

1-3.通过线性模型计算，得摄像机参数的优化解，接着基于最大似然法进行非线性求精，标定得出考虑镜头畸变的目标函数，线性模型为：为任意的非零因子，为图像点向量，为空间点向量，A是3*3矩阵，R为旋转矩阵，t为平移向量；

1-4.求得相机所需内外部参数，完成标定，最终得到极线矫正好的图像对。

步骤2：对图像进行自动测光处理，具体步骤为：

2-1.先将图像分为平均的若干块，然后分别去计算这所有小区域内的平均亮度值；

2-2.接着统计出这所有区域的平均亮度值的最大值，把这个最大值做为整幅图像的峰值亮度值Lpeek；

2-3.设定该模式中的的最小阈值LMINpeek和最大阈值LMAXpeek；如果平均亮度值Lpeek比最小阈值LMINpeek小，那么就说明此时的图像是过暗的，则增加曝光量；如果平均亮度值Lpeek比最大阈值LMAXpeek大，那么就说明此时的图像是过曝的，则降低曝光量。

步骤3：对图像进行自动白平衡，具体流程为：

3-1.计算RGB三通道之和；

3-2.通过RGB三通道之和计算无色差像素检测的阈值，以获得无色差像素集W，定义为：W＝{f(x_i)|S_i＞T}，其中，i为像素的下标，f(x_i)为图像函数，S_i为上文提出的RGB三通道之和，即S_i＝R_i+G_i+B_i，T为无色差像素检测的阈值；

3-3.通过步骤3-2计算出的阈值T来提取无色差像素点；

3-4.光照色度估计值e可通过下式计算：

式中分别为R、G、B通道均值；

3-5经过步骤3-4估算出成像环境下的光照色度估计值e后，根据对角模型将偏色图像的颜色矫正到标准白光，实现自动白平衡；公式为：

其中，f_R(x)、f_G(x)、f_B(x)、f_R0(x)、f_G0(x)、f_B0(x)分别为校正前后R、G、B三通道值，p_R、p_G、p_B为三通道值的增益系数；

步骤4：双通道图像采集时选择在同一个线程中依次采集显示两幅图像。

步骤5：如图2所示，立体匹配算法具体流程为：

5-1.初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对I_left、I_right；

5-2.初步立体匹配：对左右图像对I_left、I_right进行简单的SSD算法和平滑滤波后，得到初始的左、右视差图Disp_left0、Disp_right0；

5-3.以左视差图Disp_left0为参考，校正右视差图Disp_right0：对于右视差图Disp_right0，给出一个像素点P_r和它的视差值d_r，可以得到它在左图的匹配点P_l，P₁＝P_r+d_r；，通过左视图可知其视差值为d_l。如果△d＝|d_l-d_r|超过设定的阈值，则将点P_r标记为误匹配点，再进行误匹配点校正。

5-4.对找到的误匹配点用四插值法进行计算，得出正确的视差值，完成误匹配点校正；

5-5.以校正好的右视差图Disp_right0为参考，校正左视差图Disp_left0，方法同步骤5-3、5-4。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (5)

1.一种适用于三维内窥镜的立体图像处理方法，其特征在于包括以下步骤：

步骤1：首先对所采集到的图像进行自动校准处理；

步骤2：对图像进行自动测光处理；

步骤3：对图像进行自动白平衡；

步骤4：在同一个线程中依次采集显示两幅图像；

步骤5：对采集到的两幅图像实现立体匹配；

所述步骤1的对所采集到的图像进行自动校准处理，具体流程为：

1-1.建立被测点在摄像机图像坐标系中坐标与其在测量参考世界坐标系坐标之间的对应关系；

1-2.假定作为标定使用的平面靶标世界坐标系中Z为0；

1-3.通过线性模型计算，得摄像机参数的优化解，接着基于最大似然法进行非线性求精，标定得出考虑镜头畸变的目标函数，线性模型为：s为任意的非零因子，为图像点向量，为空间点向量，A是3*3矩阵，R为旋转矩阵，t为平移向量；

1-4.求得相机所需内外部参数，完成标定，最终得到极线矫正好的图像对。

2.根据权利要求1所述的一种适用于三维内窥镜的立体图像处理方法，其特征在于步骤2对图像进行自动测光处理，具体步骤为：

2-1.先将图像分为平均的若干块，然后分别去计算这所有小区域内的平均亮度值；

2-2.接着统计出这所有区域的平均亮度值的最大值，把这个最大值做为整幅图像的峰值亮度值Lpeek；

2-3.设定该模式中的的最小阈值LMINpeek和最大阈值LMAXpeek；如果平均亮度值Lpeek比最小阈值LMINpeek小，那么就说明此时的图像是过暗的，则增加曝光量；如果平均亮度值Lpeek比最大阈值LMAXpeek大，那么就说明此时的图像是过曝的，则降低曝光量。

3.根据权利要求2所述的一种适用于三维内窥镜的立体图像处理方法，其特征在于步骤3所述的对图像进行自动白平衡具体流程为：

3-1.计算RGB三通道之和；

3-2.通过RGB三通道之和计算无色差像素检测的阈值，以获得无色差像素集W，定义为：W＝{f(x_i)|S_i＞T}，其中，i为像素的下标，f(x_i)为图像函数，S_i为上文提出的RGB三通道之和，即S_i＝R_i+G_i+B_i，T为无色差像素检测的阈值；

3-3.通过上式计算出的阈值来提取无色差像素点；

3-4.光照色度估计值e可通过下式计算：

式中分别为R、G、B通道均值；

3-5经过步骤3-4估算出成像环境下的光照色度估计值e后，根据对角模型将偏色图像的颜色矫正到标准白光，实现自动白平衡；公式为：

f_R(x)、f_G(x)、f_B(x)、f_R0(x)、f_G0(x)、f_B0(x)分别为校正前后R、G、B三通道值，p_R、p_G、p_B为三通道值的增益系数。

4.根据权利要求3所述的一种适用于三维内窥镜的立体图像处理方法，其特征在于步骤4所述的双通道图像采集时选择在同一个线程中依次采集显示两幅图像。

5.根据权利要求3或4所述的一种适用于三维内窥镜的立体图像处理方法，其特征在于所述的步骤5中的立体匹配算法具体流程为：

5-1.初始化：采集到的双通道图像经过自动校准后得到极线对齐的左右图像对I_left、I_right；

5-2.初步立体匹配：对左右图像对I_left、I_right进行简单的SSD算法和平滑滤波后，得到初始的左、右视差图Disp_left0、Disp_right0；

5-3.以左视差图Disp_left0为参考，校正右视差图Disp_right0：对于右视差图Disp_right0，给出一个像素点P_r和它的视差值d_r，可以得到它在左图的匹配点P_l，P₁＝P_r+d_r；，通过左视图可知其视差值为d_l；如果△d＝|d_l-d_r|超过设定的阈值，则将点P_r标记为误匹配点，再进行误匹配点校正；

5-4.对找到的误匹配点用四插值法进行计算，得出正确的视差值，完成误匹配点校正；

5-5.以校正好的右视差图Disp_right0为参考，校正左视差图Disp_left0，方法同步骤5-3、5-4。