CN109684915A - 瞳孔跟踪图像处理方法 - Google Patents

Abstract

本发明公开了一种瞳孔跟踪图像处理方法，其包括以下步骤：1)多次采集眼睛图像；2)对每次采集的眼睛图像进行处理，并确定采集的图像是否可定位瞳孔；3)连续n张眼睛图像均可定位瞳孔，确定瞳孔跟踪完成，本发明通过寻找潜在亮斑区域并进行blob形状分析大幅度提高了图像处理时间，而且能排除因瞳孔移动所造成的拖尾图像，然后采用在求瞳孔边缘时采用拉线法配合svm支持向量机精确定位瞳孔边缘，最后采用带权重的最小二乘法拟合圆/椭圆(瞳孔)，从而实现了在复杂背景下对瞳孔的实时跟踪、分析，为后续求得眼睛屈光参数提供了可靠的基础数据。

Description

瞳孔跟踪图像处理方法

技术领域

本发明涉及眼科医学图像处理方法，尤其涉及一种瞳孔跟踪图像处理方法。

背景技术

检影验光是屈光不正检查的金标准，精确度可达0.25D。但对儿童来说，检影验光有其应用的局限性。手持式视力筛查仪是近些年来专门针对婴幼儿视力蹄查而设计生产的仪器。其特点是：可在与被检者保持一定距离的情况下进行检测，不需要被检者具有很高的配合性。这使其不但同以往检查方法一样适用于配合力强的人群，也同样适用于婴幼儿及配合度差的人群的视力筛查。

它利用红外光源投射到视网膜，通过视网膜反射回来的光在不同的屈光状态下呈现不同的图案，摄像机记录图案并通过计算得出球镜、柱镜和轴位等数据。它一次测量可以获得双眼的屈光状态、瞳孔直径、瞳距以及眼位等信息，方便医生快速筛查并全面了解患者的视力发育状况。

偏心摄影验光原理，采用近红外发光二极管组成光源阵列，光线以特定角度射向一定距离外的被检瞳孔进入视网膜，被视网膜反射，期间光线经由眼球屈光系统两次折射(入眼和出眼均被折射)后，从瞳孔区域发出而被相机摄取。因此被检眼的屈光状态和调节状态决定了被检眼瞳孔区光影的形态和亮度。通过对瞳孔光影图像的处理和分析，得到对应的视力检测结果。

发明内容

针对以上内容，本发明提出一种瞳孔跟踪图像处理方法。

为实现上述目的，本发明提供一种瞳孔跟踪图像处理方法，其包括以下步骤：

1)多次采集眼睛图像；

2)对每次采集的眼睛图像进行处理，并确定采集的图像是否可定位瞳孔；

3)连续n张眼睛图像均可定位瞳孔，确定瞳孔跟踪完成，

步骤2)中，对每次采集的眼睛图像的处理方法步骤如下：

步骤一、寻找照明光在瞳孔上投影所形成的亮斑；

步骤二、对亮斑进行blob形状分析，确定潜在的瞳孔区域；

步骤三、对潜在的瞳孔区域进行灰度归一化，并进行多尺度二值化；

步骤四、通过blob形状分析找到潜在的圆形区域，求得该圆形区域的重心和粗略半径；

步骤五，以步骤四中获取的重心为圆心，采用360度向外拉线法求得灰度跳变，获得瞳孔左、右、下部的灰度最大跳变，即该最大跳变为瞳孔左、右、下部的边界；

步骤六，采用svm支持向量机根据拉线法获得的灰度值求边界并确定该边界的可靠性，所述边界为瞳孔上部边缘区域；

步骤七，根据步骤五、步骤六中获得的瞳孔的左、右、下以及上部的边界，利用最小二乘法拟合圆求得瞳孔。

步骤五中，获取每一根拉线上的灰度与距离的关系。

步骤二中，检测偏心摄影验光获得的瞳孔图像，并通过判断光斑的形状确定瞳孔是否移动。

步骤三中，根据瞳孔图像的灰度均值、灰度标准差，灰度最小值，灰度最大值来确定多尺度二值化阈值，二值化阈值＝灰度均值-α*灰度标准差，其中系数α为经验值。

步骤六中，通过步骤五中利用360度向外拉线法获得的灰度值序列，利用支持向量机SVM获得边界。

步骤五中，通过差分法获取灰度最大跳变。

步骤七中，建立圆的参数方程：

其中(z₁,z₂)为圆心坐标，r为圆的半径，为参数，并且圆上的每点为对需要进行圆拟合的图像像素坐标P_i＝(x_i1，x_i2)，利用最小二乘法拟合所有点P_i到T_i的距离和最小化，

进一步为了获取不同像素坐标对圆拟合的贡献，可以使得最小化为w_i为权重系数。

本发明的有益效果：本发明通过寻找潜在亮斑区域并进行blob形状分析大幅度提高了图像处理时间，而且能排除因瞳孔移动所造成的拖尾图像，然后采用在求瞳孔边缘时采用拉线法配合svm支持向量机精确定位瞳孔边缘，最后采用带权重的最小二乘法拟合圆/椭圆(瞳孔)，从而实现了在复杂背景下对瞳孔的实时跟踪、分析，为后续求得眼睛屈光参数提供了可靠的基础数据。

附图说明

图1是本发明的流程示意图。

图2是本发明的单帧图像处理算法流程图。

图3是本发明中拉线法的示意图。

图4是拉线上的灰度图。

图5a、b普通分类器和svm方法对比示意图

具体实施方式

下面针对附图对本发明的实施例作进一步说明：

如图1所示，本发明为基于机器视觉的偏心摄影验光图像处理的方法，包括以下步骤：用相机连续采集眼睛图像，对每一张图像分别进行图像处理，如果连续6张图像均可成功定位瞳孔，即可完成跟踪测量。其包括以下流程：

首先将系统初始化，计数器清零，即设为i＝0。用相机采集一张图像，保存为压缩率较低的文件格式，例如bmp或者jpeg格式，保证图像具有更多的局部细节；

接下来的步骤中，对相机采集的图像作处理，在单帧图像处理过程中，有两类常见情形会造成瞳孔跟踪的不准确，一类是睫毛的遮挡，另一类是瞳孔的移动会造成图像拖影，从而不能准确跟踪出瞳孔的边缘，造成在随后的求瞳孔内部灰度变化的不准确，最终导致眼屈光度计算不准，因此准确的跟踪出瞳孔的边缘是偏心摄影验光设备精度的保证。

因此采用如下方式去对图像进行处理：

步骤一、寻找照明光在瞳孔上投影所形成的亮斑，并试图获取潜在的通孔区域；

步骤二、对亮斑进行blob形状分析，确定潜在的瞳孔区域，步骤二中，检测偏心摄影验光获得的瞳孔图像，并通过判断光斑的形状确定瞳孔是否移动；

拖尾现象是由于成像系统和目标瞳孔在曝光时间内，存在相对运动所造成的，也称运动模糊。对于模糊图像，比较直观的是模糊区域灰度变化比较缓慢，边缘平滑因而锐度比清晰区域的要小。常用的判断图像模糊的方法有使用图像边缘梯度分布的拟合标准差与梯度幅度作为模糊度来判断边缘的模糊程度，还有通过计算像素的频域对数相关性系数来判断像素是否处于模糊区域，还有使用图像局部标准差来判断图像模糊与否等各种方法。但以上方法对于偏心摄影验光产生的模糊图像经常发生过度检测或漏检现象，因为该类图像主要目的是提取瞳孔边缘，而由于偏心摄影的因素，造成某些方向的瞳孔边缘灰度值较低，和虹膜的灰度差较小，本身提取瞳孔边缘就很困难，再加上判断是否模糊就更加不准了。偏心摄影验光获得的瞳孔图像中最亮的就是照明光源投射在瞳孔上形成的亮斑，当瞳孔没有移动时，光斑为一个小亮圆点，当瞳孔快速移动时，该光斑就产生拖尾现象，圆点变成一条直线，甚至弧线，因此通过检测亮斑的形状特征，可以确定瞳孔是否移动。

步骤三、对潜在的瞳孔区域进行灰度归一化，并进行多尺度二值化；根据瞳孔图像的灰度均值、灰度标准差，灰度最小值，灰度最大值来确定多尺度二值化阈值，二值化阈值＝灰度均值-α*灰度标准差，其中系数α为经验值。

由于每次拍摄的环境光，拍摄距离，角度，位置等都不一样，因此产生图像灰度的变化，而摄影验光是根据瞳孔内的灰度变化确定屈光度值，因此需要进行灰度归一化，从而尽可能排除外界条件引起的灰度误差。随后进行的多尺度二值化阈值是根据瞳孔图像的灰度均值、灰度标准差，灰度最小值，灰度最大值来确定。例如：二值化阈值＝灰度均值-α*灰度标准差，其中系数α为经验值，通过改变α值，来确定二值化阈值，还可以根据灰度标准差、灰度最大、最小值来增加一些边界条件，来保证二值化阈值没有越界，或者限定(α*灰度标准差)的大小。

步骤四、通过blob形状分析找到潜在的圆形区域，求得该圆形区域的重心和粗略半径；

步骤五，以步骤四中获取的重心为圆心，采用360度向外拉线法求得灰度跳变，获得瞳孔左、右、下部的灰度最大跳变，即该最大跳变为瞳孔左、右、下部的边界；

以圆心为起点，向外拉线如图3所示，该线所对应的图像上灰度值如图4所示，横轴表示距离起点的像素距离，纵轴表示对应像素值的灰度值。以每隔20°为例，向外拉18条线，度数间隔越小表示采样精度越高，同时也代表着处理时间的增加。而拉线上的灰度跳变可以通过差分法获得。

步骤六，采用svm支持向量机根据拉线法获得的灰度值求边界并确定该边界的可靠性，所述边界为瞳孔上部边缘区域；

支持向量机，英文为Support Vector Machine，是一种监督式学习的方法，它广泛的应用于统计分类以及回归分析中。支持向量机属于一般化线性分类器。这种分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区。因此支持向量机也被称为最大边缘区分类器。

SVM的主要思想可以概括为两点：(1)它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能；(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界。

支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。有很多个分类器(超平面)可以把数据分开，但是只有一个能够达到最大分割。图5a所示，有圆形和方形两类物体，线L1，L2，L3均可将该两类物体分开，这个是普通的分类方法；图5b运用svm分类器，对圆形和x形两类物体，运用平行的两条线进行分割，从而保证该两条平行线的间隔最大化，从而保证分类误差最小化。

步骤七，根据步骤五、步骤六中获得的瞳孔的左、右、下以及上部的边界，利用最小二乘法拟合圆求得瞳孔。

步骤七中，建立圆的参数方程：

其中(z₁,z₂)为圆心坐标，r为圆的半径，为参数，并且圆上的每点为对需要进行圆拟合的图像像素坐标P_i＝(x_i1，x_i2)，利用最小二乘法拟合所有点P_i到T_i的距离和最小化，

进一步为了获取不同像素坐标对圆拟合的贡献，可以使得最小化为w_i为权重系数。

参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。实施例不应视为对本发明的限制，但任何基于本发明的精神所作的改进，都应在本发明的保护范围之内。

Claims (7)

1.一种瞳孔跟踪图像处理方法，其特征在于：其包括以下步骤：

1)多次采集眼睛图像；

2)对每次采集的眼睛图像进行处理，并确定采集的图像是否可定位瞳孔；

3)连续n张眼睛图像均可定位瞳孔，确定瞳孔跟踪完成，

步骤2)中，对每次采集的眼睛图像的处理方法步骤如下：

步骤一、寻找照明光在瞳孔上投影所形成的亮斑；

步骤二、对亮斑进行blob形状分析，确定潜在的瞳孔区域；

步骤三、对潜在的瞳孔区域进行灰度归一化，并进行多尺度二值化；

步骤四、通过blob形状分析找到潜在的圆形区域，求得该圆形区域的重心和粗略半径；

步骤五，以步骤四中获取的重心为圆心，采用360度向外拉线法求得灰度跳变，获得瞳孔左、右、下部的灰度最大跳变，即该最大跳变为瞳孔左、右、下部的边界；

步骤六，采用svm支持向量机根据拉线法获得的灰度值求边界并确定该边界的可靠性，所述边界为瞳孔上部边缘区域；

步骤七，根据步骤五、步骤六中获得的瞳孔的左、右、下以及上部的边界，利用最小二乘法拟合圆求得瞳孔。

2.根据权利要求1所述的瞳孔跟踪图像处理方法，其特征在于：步骤五中，获取每一根拉线上的灰度与距离的关系。

3.根据权利要求1所述的瞳孔跟踪图像处理方法，其特征在于：步骤二中，检测偏心摄影验光获得的瞳孔图像，并通过判断光斑的形状确定瞳孔是否移动。

4.根据权利要求1所述的瞳孔跟踪图像处理方法，其特征在于：步骤三中，根据瞳孔图像的灰度均值、灰度标准差，灰度最小值，灰度最大值来确定多尺度二值化阈值，二值化阈值＝灰度均值-α*灰度标准差，其中系数α为经验值。

5.根据权利要求1所述的瞳孔跟踪图像处理方法，其特征在于：步骤六中，通过步骤五中利用360度向外拉线法获得的灰度值序列，利用支持向量机SVM获得边界。

6.根据权利要求1所述的瞳孔跟踪图像处理方法，其特征在于：步骤五中，通过差分法获取灰度最大跳变。

7.根据权利要求1所述的瞳孔跟踪图像处理方法，其特征在于：步骤七中，建立圆的参数方程：

其中(z₁,z₂)为圆心坐标，r为圆的半径，为参数，并且圆上的每点为 对需要进行圆拟合的图像像素坐标P_i＝(x_i1，x_i2)，利用最小二乘法拟合所有点P_i到T_i的距离和最小化，

进一步为了获取不同像素坐标对圆拟合的贡献，可以使得最小化为w_i为权重系数。