CN103871061A

CN103871061A - 一种基于双目视觉的眼底图像处理方法

Info

Publication number: CN103871061A
Application number: CN201410097911.0A
Authority: CN
Inventors: 李科; 鲁翠欣; 张俊
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2014-03-17
Filing date: 2014-03-17
Publication date: 2014-06-18

Abstract

本发明公开了一种基于双目视觉的眼底图像处理方法，属于眼底图像处理领域，具体涉及一种眼底图像立体匹配方法。该方法首先将眼底划分为若干区域，用眼底相机拍摄眼底各区域不同角度的两张图像，再将拍摄同一区域不同角度的两张图像进行立体匹配得到该区域的立体图像，最后拼接各区域的立体图像得到全部眼底立体图像，从而具有对拍摄深度弧形的像机标定具有很好的鲁棒性，获得连续、完整、清晰的视网膜立体图像的效果。

Description

一种基于双目视觉的眼底图像处理方法

技术领域

本发明属于眼底图像处理领域，具体涉及一种眼底图像立体匹配方法。

背景技术

随着眼底照相机在医学诊断视网膜脱落中的广泛应用，对眼底图像的立体成像要求也越来越高。目前，我们对眼底图像的立体成像采用的主要技术是：首先拍摄二位眼底图像，再对原始图像进行预处理，然后建立各拍摄图像二维到三维的映射关系，最后在VTK（visualization toolkit：视觉化工具函式库，主要用于三维计算机图形学、图像处理和可视化）环境下实现视网膜图像的三维立体呈现。在文献：《基于可控旋转的像机高精度标定技术》，ACTA OPTICA SINICA，2010.5，姜广文等，提出了一种可控旋转的星级自标定方法，该方法首先分别以标定横坐标轴和纵坐标轴为等效焦距在针孔模型中实现对像机的标定，其世界坐标和图像坐标的关系与旋转角度差，云台旋转量有关，再通过控制像机围绕光心或光心附近按照定步长旋转两圈，拍摄不同区域的眼底图像，将等效焦距与其他参数分离出来，求解精确的等效焦距。该种方法有一些局限性，主要体现在以下几方面：1.在对图像进行预处理时，因为拍摄角度不精确导致一些角度的偏移，致使眼底某些区域的信息缺失；2.数据采集时间太长，摄影放大率允差（±7%）较大以及视场角的不稳定性，导致效率低下；3.二维到三维建立映射关系固定，可能对某些点的伸缩比例不一致，导致三维图像失真；4.在VTK显示中，采用点显示，当放大时导致信息不连续，拍摄图像精度低。

发明内容

本发明的目的是针对背景技术的不足改进设计一种基于双目视觉的眼底图像处理方法，达到对拍摄深度弧形的像机标定具有很好的鲁棒性，获的连续、完整、清晰的视网膜立体图像的目的。

本发明一种基于双目视觉的眼底图像处理方法的技术方案为通过将眼底划分为若干区域，用眼底相机拍摄眼底各区域不同角度的两张图像，再将拍摄同一区域不同角度的两张图像进行立体匹配得到该区域的立体图像，最后拼接各区域的立体图像得到全部眼底立体图像，由此实现发明目的。因此本发明方法包括如下步骤：

步骤1.结合眼底照相机的成像原理对眼底相机进行标定；

步骤2.将眼底划分为若干区域，按照标定眼底相机的方法获取眼底各区域两张不同角度包含相同区域的图像；

步骤3.将步骤2得到两张相同区域不同角度的眼底图像进行彩色相似立体匹配，得到该区域的立体图像；

步骤4：采用以上相同方法得到包含深度信息三维眼底各区域立体图像，将得到的眼底各区域的立体图像进行拼接配准，得到完整的眼底立体图像。

步骤一具体过程如下：

步骤1-1：选择带有弧形网格曲线的平板作为眼底照相机标定板；

步骤1-2：对标定板拍摄一张照片，将眼底相机沿其所在平行于标定板的平面旋转一定角度拍摄另一张照片；

步骤1-3：选取两幅图像中位于标定板上同一位置的网格交叉点，将其作为图像特征点，然后由计算机建立图像坐标系、世界坐标系及两坐标系关于旋转量、平移量、视网膜深度弧度量的关系；

步骤1-4：建立两幅图像中表示标定板相同区域相对世界坐标的平移量、旋转量、视网膜深度弧度量的一一对应关系。

标定眼底相机时沿其所在平行于标定板的平面旋转15度拍摄另一张图像。

步骤2具体步骤如下：

步骤2-1：将眼底平均划分为若干个扇形区域；

步骤2-2：拍摄一张包含相邻两个区域的图像；

步骤2-3：旋转一个区域的角度，拍摄另外一张包含相邻两个区域的图像；

步骤2-4：剪切出两张图像中拍摄到眼底相同区域的部分，得到两张眼底相同区域不同角度的图像。

将眼底平均划分为24个扇形区域，拍摄完一张图像后，相机旋转15度拍摄另一张图像。

步骤3具体过程如下：

步骤3-1：选取步骤2拍摄到图像中大小适当的区域作为获取邻近灰度值相似点的标准窗；

步骤3-2：两幅图像中各取一个标准窗，以到标准窗中心点距离作为变量计算标准窗内各像素点对中心点灰度贡献权值，计算出中心点灰度值表示该标准窗灰度值k，再计算两标准窗的灰度差△k；

步骤3-3：计算出步骤3-2选出的两标准窗的色差因子σ；

步骤3-4：最后计算匹配约束P=σ·△k，采用以上方式依次计算两幅图像中任意两个标准窗的匹配约束，选出两幅图像中各自最匹配的标准窗，进行立体匹配，然后利用全局最优计算平滑不连续区域，最后合成致密的视差图,得到各区域立体图像。

选取步骤2拍得到图像中大小为3×3像素阵列为标准窗。

步骤4具体过程如下：

步骤4-1：把两相邻区域立体图像的拼接边划分为若干标准窗,采用步骤3的方式计算出这两幅图像中拼接边上任意两个标准窗的匹配约束P=σ·△k，将两幅图像中最匹配的两个标准窗进行一一对应；

步骤4-2：忽略未对应的标准窗，按照拼接边标准窗一一对应的关系将两幅立体图像拼接；

步骤4-3：采用VTK（用于三维计算机图形学、图像处理和可视化的软件）对拼接好的眼底立体图像进行显示。

本发明将眼底划分为若干区域，用眼底相机拍摄眼底进行拍摄，得到各区域不同角度的两张照片，再将得到的同一区域不同角度的两张照片进行立体匹配得到该区域的立体图像，最后拼接各区域的立体图像得到全部眼底立体图像，从而具有对拍摄深度弧形的像机标定具有很好的鲁棒性，获的连续、完整、清晰的视网膜立体图像的效果。

附图说明

图1为本发明一种眼底照相机针对深度弧度系数示意图；

图2为本发明相机拍摄眼底区域示意图；

图3为本发明的RGB彩色空间示意图。

图1中：α为弧度，h为深度；

图2中：实线区域为第一次拍摄的眼底区域，虚线区域为相机旋转15度后拍摄的眼底区域，阴影区域为两次照相重合区域。

具体实施方式

本发明的基本思想是设计一种基于双目视觉的眼底图像处理方法，采用基于可控旋转的相机自标定针孔模型的弧形标定完善眼底照相机自标定，然后采用彩色相似性的深度约束找到最佳匹配点实现对眼底图像的立体匹配。将双目视觉立体匹配应用在眼底照相机的图像处理方向，以便获的连续、完整、清晰的视网膜立体图像。

眼底照相机自标定的具体实施方法：

步骤1.结合眼底照相机的成像原理对眼底相机进行标定；

步骤1-2：对标定板拍摄一张照片，将眼底相机沿其所在平行于标定板的平面旋转15度拍摄另一张照片；

步骤1-3：选取两幅图像中位于标定板上同一位置的网格交叉点，将其作为图像特征点，然后由计算机建立图像坐标系（x,y,z）、世界坐标系(X,Y,Z)及两坐标系关于旋转量、平移量、视网膜深度弧度量的关系；

步骤2.将眼底划分为若干区域，按照标定眼底相机的方法获取眼底各区域两张相不同角度的图像；

步骤2-1：将眼底平均划分为24个扇形区域；

步骤2-2：拍摄一张包含相邻两个区域的图像；

步骤2-3：旋转一个区域的角度（15度），拍摄另外一张包含相邻两个区域的图像；

步骤3.将步骤2得到两张相同区域不同角度的眼底图像进行彩色相似立体匹配，最后合成致密的视差图；

步骤3-1：选取步骤2拍摄到图像中像素大小为3×3的区域作为获取邻近灰度值相似点的标准窗；

步骤3-2：两幅图像中各取一个标准窗，以到标准窗中心点距离作为变量计算标准窗内各像素点对中心点灰度贡献权值，计算出中心点灰度值表示该标准窗灰度值k，再计算两标准窗的灰度差△k，

Δk = Σ_{x = 1}^{x = 2 * k + 1} Σ_{y = 1}^{y = 2 * k + 1} {[M (x, y) \times a (x, y) - N (x, y) * a (x, y)]}^{2}

其中M(x,y)和N(x,y)分别代表两幅图像中对应窗口的灰度值。a(x,y)代表距离贡献；

步骤3-3：计算出步骤3-2选出的两标准窗的色差因子σ，

σ (C 1, C 2) = \sqrt{{(r 1 - r 2)}^{2} + {(g 1 + g 2)}^{2} + {(b 1 - b 2)}^{2}},

其中C1为一幅图像中选取标准窗的中心点色彩矢量，表示为C1(r1,g1,b1)，C2为另一幅图像中选取标准窗的中心点色彩矢量，表示为C2(r2,g2,b2)，如果C1和C2所代表的两种色彩之间的相似性越大，则两个色彩矢量C1和C2的差别就越小，色差因子的值就越小，即色彩相似性与σ（C₁,C₂）的大小成反比。如果色彩相似性最大，则色差因子为0，表示两种颜色之间没有任何差异；

Claims

1.一种基于双目视觉的眼底图像处理方法，该方法包括：

步骤1.结合眼底照相机的成像原理对眼底相机进行标定；

2.如权利要求1所述的一种基于双目视觉的眼底图像处理方法，其特征在于步骤1的具体步骤为：

3.如权利要求1所述的一种基于双目视觉的眼底图像处理方法，其特征在于步骤2的具体步骤为：

步骤2-1：将眼底平均划分为若干个扇形区域；

步骤2-2：拍摄一张包含相邻两个区域的图像；

4.如权利要求1所述的一种基于双目视觉的眼底图像处理方法，其特征在于步骤3的具体过程为：

步骤3-3：计算出步骤3-2选出的两标准窗的色差因子σ；

5.如权利要求1所述的一种基于双目视觉的眼底图像处理方法，其特征在于步骤4的具体过程为：

步骤4-2：忽略未对应的标准窗，按照拼接边标准窗一一对应的关系将两幅立体图像拼接；步骤4-3：采用VTK（用于三维计算机图形学、图像处理和可视化的软件）对拼接好的眼底立体图像进行显示。

6.如权利要求2所述的一种基于双目视觉的眼底图像处理方法，其特征在于标定眼底相机时沿其所在平行于标定板的平面旋转15度拍摄另一张图像。

7.如权利要求3所述的一种基于双目视觉的眼底图像处理方法，其特征在于将眼底平均划分为24个扇形区域，拍摄完一张图像后，相机旋转15度拍摄另一张图像。

8.如权利要求4所述的一种基于双目视觉的眼底图像处理方法，其特征在于选取步骤2拍得到图像中大小为3×3像素阵列为标准窗。