CN116999017B - 基于数据分析的辅助眼部护理智能控制系统 - Google Patents

Abstract

本发明涉及智能控制技术领域，具体涉及一种基于数据分析的辅助眼部护理智能控制系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：实时获取待测视力人员的眼睛信息，确定瞳孔与虹膜对应的初始边界以及初始边界中每个像素点的不可信程度，筛选出初始边界中的各不可信像素点；确定所有不可信像素点的灰度偏向性指标，确定最终灰度阈值，根据最终灰度阈值，确定巩膜与虹膜对应的新边界、瞳孔与虹膜对应的新边界；基于待测视力人员的视线偏差值，调整辅助眼部护理设备。本发明应用于辅助眼部护理智能控制领域，其有助于得到准确的视线偏差值，提高辅助眼部护理设备的控制精确度。

Description

基于数据分析的辅助眼部护理智能控制系统

技术领域

本发明涉及智能控制技术领域，具体涉及一种基于数据分析的辅助眼部护理智能控制系统。

背景技术

现有的智能眼部治疗仪，可用于辅助眼部视力测量，在智能眼部治疗仪的使用中，为了使智能眼部治疗仪能够采集到人员的准确视力数据，需要对眼睛虹膜进行精准定位，以得到当前人员的视线预测结果，根据视线预测结果控制智能眼部治疗仪，完成视力测量。

但是现有智能眼部治疗仪在进行眼睛虹膜精准定位，以控制智能眼部治疗仪时，由于虹膜本身并非颜色均匀的结构物体，导致虹膜信息采集不完整，而采用常规的大津阈值分割方法并不能得到准确的虹膜定位结果，导致无法得到准确的控制参数，影响最终的视力检测结果。

发明内容

为了解决上述现有技术无法得到准确的虹膜定位结果，导致辅助眼部护理设备的控制精度较低的技术问题，本发明的目的在于提供一种基于数据分析的辅助眼部护理智能控制系统，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于数据分析的辅助眼部护理智能控制系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程度，以实现如下步骤：

实时获取待测视力人员的眼睛信息；根据眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息，进而确定瞳孔连通域、虹膜连通域以及瞳孔与虹膜对应的初始边界；

根据瞳孔连通域的各边缘像素点的位置和灰度值以及瞳孔与虹膜对应的初始边界，确定初始边界中每个像素点的不可信程度，根据所述每个像素点的不可信程度，确定初始边界中的各不可信像素点；

获取瞳孔连通域和虹膜连通域内的每个像素点和各不可信像素点的灰度值，确定瞳孔连通域和虹膜连通域对应的高斯拟合模型，根据各不可信像素点的灰度值、瞳孔连通域和虹膜连通域对应的高斯拟合模型，确定各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率；

根据各不可信像素点的不可信程度、各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，确定所有不可信像素点的灰度偏向性指标；

计算所有不可信像素点的灰度均值，根据初始灰度阈值、所有不可信像素点的灰度偏向性指标和灰度均值，确定最终灰度阈值；

根据所述最终灰度阈值和所述眼睛信息，得到巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界；

根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，确定待测视力人员的视线偏差值，进而根据视线偏差值判断是否需要控制辅助眼部护理设备。

进一步地，根据瞳孔连通域的各边缘像素点的位置和灰度值以及瞳孔与虹膜对应的初始边界，确定初始边界中每个像素点的不可信程度，包括：

根据瞳孔与虹膜对应的初始边界，确定初始边界对应的圆函数，根据瞳孔连通域的各边缘像素点的位置和初始边界对应的圆函数，计算各边缘像素点的位置与所述初始边界对应的圆函数之间的距离值；

根据各边缘像素点的位置与所述初始边界对应的圆函数之间的距离值，得到初始边界中每个像素点的距离指标；

获取瞳孔与虹膜对应的膨胀后的初始边界，根据瞳孔连通域的各像素点的灰度值以及所述膨胀后的初始边界，确定膨胀后的初始边界中的每个像素点的灰度值；

根据膨胀后的初始边界中的每个像素点的灰度值，确定初始边界中每个像素点的梯度值，根据初始边界中每个像素点的梯度值，确定初始边界中每个像素点的梯度变化指标；

根据初始边界中每个像素点的距离指标和梯度变化指标，确定每个像素点的不可信程度。

进一步地，根据各边缘像素点的位置与所述初始边界对应的圆函数之间的距离值，得到初始边界中每个像素点的距离指标，包括：

根据瞳孔连通域的各边缘像素点和瞳孔与虹膜对应的初始边界中的每个像素点，确定初始边界中的每个像素点对应的目标边缘像素点；

将目标边缘像素点的位置与所述初始边界对应的圆函数之间的距离值作为对应像素点的距离指标，得到初始边界中每个像素点的距离指标。

进一步地，所述目标边缘像素点为在瞳孔连通域中距离初始边界中的像素点最近的边缘像素点。

进一步地，根据膨胀后的初始边界中的每个像素点的灰度值，确定初始边界中每个像素点的梯度值，包括：

膨胀后的初始边界为初始边界连通域，根据初始边界连通域中的每个像素点的灰度值，确定初始边界连通域中每个像素点的梯度值；

获得形态学腐蚀处理和二值反转处理后的初始边界连通域，根据形态学腐蚀处理和二值反转处理后的初始边界连通域中每个像素点的梯度值，确定初始边界中每个像素点的梯度值。

进一步地，根据各不可信像素点的不可信程度、各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，确定所有不可信像素点的灰度偏向性指标，包括：

根据各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，使各不可信像素点的灰度值为瞳孔灰度类别的概率减去为虹膜灰度类别的概率，得到各不可信像素点对应的灰度类别差值；

根据各不可信像素点的不可信程度和灰度类别差值，计算各不可信像素点对应的归一化处理后的不可信程度与所述灰度类别差值的乘积，根据各不可信像素点对应的乘积，计算所有不可像素点对应乘积的累加和，将该累加值作为所有不可信像素点的灰度偏向性指标。

进一步地，根据初始灰度阈值、所有不可信像素点的灰度偏向性指标和灰度均值，确定最终灰度阈值，包括：

计算初始灰度阈值与所有不可信像素点的灰度均值的差值绝对值，进而计算该差值绝对值与所有不可信像素点的灰度偏向性的乘积，使该乘积与初始灰度阈值相加，将该相加后的值作为最终灰度阈值。

进一步地，根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，确定待测视力人员的视线偏差值，包括：

根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，得到瞳孔连通域的质心位置和虹膜连通域的质心位置；

根据瞳孔连通域的质心位置和虹膜连通域的质心位置，确定待测视力人员的瞳孔中心位置；

获取待测视力人员的眼睑中心位置，根据待测视力人员的瞳孔中心位置和眼睑中心位置，确定待测视力人员的视线偏差值。

进一步地，根据眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息，包括：

根据待测视力人员的眼睛信息，确定待测视力人员眼睛的灰度图像，利用初始灰度阈值，对所述灰度图像进行图像处理，得到待测视力人员眼睛的二值图像；

对待测视力人员眼睛的二值图像进行二值反转处理，得到待测视力人员眼睛的反转二值图像，对所述反转二值图像进行边缘检测处理，得到巩膜与虹膜之间的边缘图像；

对巩膜与虹膜之间的边缘图像进行霍夫圆检测，将最高投票值对应的圆作为巩膜与虹膜对应的初始边界，进而对巩膜与虹膜对应的初始边界进行填充处理，得到巩膜与虹膜对应的初始边界以内的掩膜图像；

将所述掩膜图像和待测视力人员眼睛的灰度图像相乘，得到巩膜与虹膜对应的初始边界以内的图像，将初始边界以内的图像作为初始边界信息。

进一步地，根据视线偏差值判断是否需要控制辅助眼部护理设备，包括：

若视线偏差值大于视线偏差阈值，则判定待测视力人员的视线偏差大，需要控制辅助眼部护理设备中的语音模块，否则，判定待测视力人员的视线偏差小，不需要控制辅助眼部护理设备中的语音模块。

本发明具有如下有益效果：

本发明提供了一种基于数据分析的辅助眼部护理智能控制系统，该系统利用智能控制技术，对实时获取的待测视力人员的眼睛信息进行数据分析，根据数据分析得到瞳孔准确定位，进而得到准确的控制参数，以精准控制辅助眼部护理设备的相关数据；为了便于后续对待测视力人员的视线状态进行分析，基于眼睛信息，确定巩膜与虹膜对应的初始边界信息，实现初步对眼睛信息中虹膜的初步定位，根据初步定位的信息，可以确定瞳孔连通域、虹膜连通域以及瞳孔与虹膜对应的初始边界，相比现有技术，所确定的瞳孔与虹膜对应的初始边界更具有参考性；为了评估虹膜的初始边界的分割效果，基于瞳孔连通域的各边缘像素点的位置和灰度值、瞳孔与虹膜对应的初始边界的相关信息，确定初始边界中每个像素点的不可信程度，也就是对初始边界中的每个像素点进行分析，筛选出初始边界中的分割效果差的像素点，分割效果差的像素点也就是不可信像素点，确定不可信像素点便于后续得到更准确的灰度阈值；为了判定初始边界中的各个像素点的灰度偏向程度，基于瞳孔连通域和虹膜连通域内的每个像素点以及各不可信像素点的灰度值，确定各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，进而得到所有不可信像素点的灰度偏向性指标，灰度偏向性指标是后续确定最终灰度阈值的重要指标之一；基于影响灰度阈值大小的三个因素，初始灰度阈值、所有不可信像素点的灰度均值和灰度偏向性指标，从这三个角度分析最终灰度阈值的大小，有助于提高最终灰度阈值的准确度，获得准确的最终灰度阈值，有助于提高后续虹膜边界定位的准确性，获得准确的虹膜定位信息，有助于更好的控制智能眼部治疗仪的控制参数，提高辅助眼部护理设备的控制精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于数据分析的辅助眼部护理智能控制系统的执行流程图；

图2为本发明的实施例中的待测视力人员眼睛对应的反转后的二值图像；

图3为本发明的实施例中的待测视力人员眼睛对应的边缘图像；

图4为本发明的实施例中的巩膜与虹膜对应的初始边界以内的图像。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外，一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

一种基于数据分析的辅助眼部护理智能控制系统，如图1所示，本实施例的一种基于数据分析的辅助眼部护理智能控制系统，包括存储器和处理器，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：

S1，实时获取待测视力人员的眼睛信息；根据眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息，进而确定瞳孔连通域、虹膜连通域以及瞳孔与虹膜对应的初始边界，其步骤包括：

第一步，实时获取待测视力人员的眼睛信息。

为了便于后续检测待测视力人员的视线，需要实时获取当前待测视力人员的眼睛信息。眼睛信息的获取的过程为：智能眼部治疗仪中带有相机模组，所以由智能眼部治疗仪来采集待测视力人员的人脸信息，得到待测视力人员的人脸图像。为了得到待测视力人员的眼睛信息，将待测视力人员的人脸图像输入到预测构建并训练好的语义分割网络中，语义分割网络输出待测视力人员的眼睛信息，得到待测视力人员的眼睛图像。

其中，语义分割网络采用VGG16(Visual Geometry Group Network，视觉几何群网络)网络，数据集与人体关键点检测网络所用的数据图像保持一致，即多张摄像头正向拍摄的人脸图像，其中标签分为两类，分别为眼睛和背景，将人脸图像中属于眼睛的像素点标注为1，将人脸图像中属于背景的像素点标注为0。语义分割网络的构建和训练过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

需要说明的是，智能眼部治疗仪属于辅助眼部护理领域，智能眼部治疗仪在测试视力时，待测视力人员不必离眼部治疗仪太远，调整视力表格的字母就可以实现视力测试，若待测视力人员离眼部治疗仪过远，需要在眼部治疗仪中添加长焦相机，长焦相机可能会影响本实施例获取待测视力人员的人脸图像，导致人脸图像的图像特征信息不准确。

第二步，根据眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息。

需要说明的是，在确定瞳孔与虹膜对应的边界时，由于瞳孔的颜色是由虹膜的颜色决定的，而瞳孔的颜色通常情况下是无色的，其导致瞳孔与虹膜对应的边界的分割效果不佳。两次分割过程，虹膜区域与巩膜区域的分割以及虹膜区域与瞳孔区域的分割，仅通过一次大津阈值分割实现，并不能得到虹膜的准确的定位结果。基于上述对人体眼睛结构以及现有阈值分割结果的分析可知，仅通过大津阈值进行图像处理，其分割效果不佳，容易造成虹膜定位结果不准确，影响后续智能眼部治疗仪的控制效果。为了在一定程度上提高虹膜定位的准确度，基于眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息，其步骤包括：

第一子步骤，根据待测视力人员的眼睛信息，确定待测视力人员眼睛的灰度图像，利用初始灰度阈值，对灰度图像进行图像处理，得到待测视力人员眼睛的二值图像。

在得到待测视力人员的眼睛图像后，为了完成对虹膜的精准定位，对待测视力人员的眼睛图像进行灰度化处理，得到待测视力人员眼睛的灰度图像，利用大津阈值算法对待测视力人员眼睛的灰度图像进行分割处理，得到待测视力人员眼睛的二值图像。灰度化过程和大津阈值分割过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第二子步骤，对待测视力人员眼睛的二值图像进行二值反转处理，得到待测视力人员眼睛的反转二值图像，对反转二值图像进行边缘检测处理，得到巩膜与虹膜之间的边缘图像。

在本实施例中，眼睛图像中巩膜区域为白色，所以二值图像中的有值区域为白色，有值区域也就是巩膜区域，为了得到眼睛图像中的虹膜区域，需要对二值图像进行反转处理，将有值区域的像素点标记为0，将无值区域标记为1，完成二值图反转，得到待测视力人员眼睛对应的反转后的二值图像，待测视力人员眼睛对应的反转后的二值图像如图2所示。然后，利用canny边缘检测算子，对待测视力人员眼睛对应的反转后的二值图像进行边缘检测，得到待测视力人员眼睛对应的边缘图像，待测视力人员眼睛对应的边缘图像如图3所示。二值反转过程和canny边缘检测算子的实现过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第三子步骤，对巩膜与虹膜之间的边缘图像进行霍夫圆检测，将最高投票值对应的圆作为巩膜与虹膜对应的初始边界，进而对巩膜与虹膜对应的初始边界进行填充处理，得到巩膜与虹膜对应的初始边界以内的掩膜图像。

在本实施例中，对边缘图像进行霍夫圆检测，选取霍夫空间中具有最高投票值对应的圆，将该圆作为眼睛图像中巩膜与虹膜对应的近似边界，初始边界可以为近似边界。通过现有的形态学填充算法，对巩膜与虹膜对应的近似边界以内的图像信息进行填充处理，将巩膜与虹膜对应的近似边界以内的图像中的每个像素点的像素值标记为1，得到巩膜与虹膜对应的近似边界以内的掩膜图像。霍夫圆检测和形态学填充算法的实现过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

需要说明的是，眼睛中的巩膜本身为白色，巩膜与虹膜的颜色差异较大，通过大津阈值技术对待测视力人员的眼睛图像进行阈值分割处理，一定程度上可以得到较好的边缘分割结果。但是受虹膜面积大小的影响，基本不能得到完整的虹膜与巩膜对应的边界，只能通过圆形来近似表示虹膜与巩膜对应的边界，但仍会存在一定误差，故后续需要对初始灰度阈值进行调整，以便于后续可以得到更准确的虹膜定位信息。

第四子步骤，将掩膜图像和待测视力人员眼睛的灰度图像相乘，得到巩膜与虹膜对应的初始边界以内的图像，将初始边界以内的图像作为初始边界信息。

在本实施例中，为了便于后续得到更准确的瞳孔与虹膜对应的初始边界，将巩膜与虹膜对应的初始边界以内的掩膜图像与待测视力人员眼睛的灰度图像进行点乘运算，得到巩膜与虹膜对应的初始边界以内的图像，本实施例将初始边界以内的图像作为初始边界信息，巩膜与虹膜对应的初始边界以内的图像如图4所示。

第三步，根据巩膜与虹膜对应的初始边界信息，确定瞳孔连通域、虹膜连通域以及瞳孔与虹膜对应的初始边界。

为了在巩膜与虹膜对应的初始边界信息中分割出瞳孔和虹膜对应的准确边界，利用初始灰度阈值，对巩膜与虹膜对应的初始边界信息进行阈值分割，在本实施例中，由于瞳孔成像颜色受虹膜颜色的影响较大，瞳孔的灰度值较低，虹膜颜色比瞳孔颜色更亮，故利用初始灰度阈值，对巩膜与虹膜对应的初始边界以内的图像进行阈值分割时，将灰度值大于初始灰度阈值的像素点标记为1，将灰度值小于初始灰度阈值的像素点标记为0，为了便于后续提取瞳孔与虹膜对应的初始边界，对阈值分割处理后的图像进行二值反转处理，使灰度值大于灰度值阈值的像素点标记为0，将灰度值小于灰度阈值的像素点标记为1，得到巩膜与虹膜对应的初始边界以内的二值图像。

获取步骤S1的第二步的第三子步骤中巩膜与虹膜对应的近似边界的圆心，将该圆心作为虹膜的质心，由于瞳孔基本不会偏离虹膜的质心，基于虹膜的质心可以在二值图像中得到瞳孔连通域和虹膜连通域，获取连通域的过程为现有技术，此处不再进行详细阐述。值得说明的是，瞳孔成像后的颜色较为统一，其不会被分割成多个连通域，因此本实施例不考虑大津阈值分割时将瞳孔分割离散的情况。由于瞳孔连通域中可能会存在空洞，为了提高后续虹膜定位的准确性，利用形态学填充对瞳孔连通域进行填充处理，得到填充后的瞳孔连通域，进而利用canny边缘检测算子对填充后的瞳孔连通域进行边缘检测，得到形态学填充后的瞳孔连通域边缘图像，进而得到边缘图像中的各边缘像素点。形态学填充的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

利用5*5窗口结构体对填充后的瞳孔连通域边缘图像进行形态学膨胀处理，将膨胀后的瞳孔连通域边缘图像与待测视力人员眼睛的灰度图像相乘，得到膨胀后的瞳孔连通域边缘图像，由于瞳孔与虹膜对应的边界的形状近似圆形，所以根据霍夫空间中膨胀后的瞳孔连通域边缘图像，可以得到具有最高投票值的霍夫圆，将该霍夫圆作为瞳孔与虹膜对应的初始边界，窗口结构体的大小可由实施者根据具体实际情况自行设定调整。

S2，根据瞳孔连通域的各边缘像素点的位置和灰度值以及瞳孔与虹膜对应的初始边界，确定初始边界中每个像素点的不可信程度，根据每个像素点的不可信程度，确定初始边界中的各不可信像素点，其步骤包括：

第一步，根据瞳孔连通域的各边缘像素点的位置和灰度值以及瞳孔与虹膜对应的初始边界，确定初始边界中每个像素点的不可信程度，其步骤包括：

第一子步骤，根据瞳孔与虹膜对应的初始边界，确定初始边界对应的圆函数，根据瞳孔连通域的各边缘像素点的位置和初始边界对应的圆函数，计算各边缘像素点的位置与初始边界对应的圆函数之间的距离值。

在本实施例中，瞳孔与虹膜之间的边界通常是平滑的，膨胀后的瞳孔连通域边缘也应是平滑的，通过计算瞳孔连通域的各边缘像素点对应的距离值，可以确定瞳孔与虹膜对应的初始边界的平滑程度。先基于瞳孔与虹膜对应的初始边界对应的圆心坐标和初始边界中各像素点的位置，获取初始边界对应的圆函数，计算圆函数的过程为现有技术，此处不再详细阐述。再计算瞳孔连通域边缘图像中的各边缘像素点的坐标与初始边界对应的圆函数之间的距离，可以将该距离值作为各边缘像素点对应的距离值，并将距离值记为J。

需要说明的是，瞳孔连通域边缘图像中的某个边缘像素点到初始边界的距离值越大，说明该边缘像素点的边缘平滑程度与整体平滑程度的差异越大，差异越大越不符合瞳孔到虹膜之间边界平滑的特征，同时也表明该边缘像素点的阈值分割效果不好，该边缘像素点越有可能作为初始灰度阈值调整的参考信息，计算距离值有助于后续得到待测视力人员准确的视线偏差值，进而完成智能眼部治疗仪的控制。

第二子步骤，根据各边缘像素点的位置与初始边界对应的圆函数之间的距离值，得到初始边界中每个像素点的距离指标，其步骤包括：

首先，根据瞳孔连通域的各边缘像素点和瞳孔与虹膜对应的初始边界中的每个像素点，确定初始边界中的每个像素点对应的目标边缘像素点，目标边缘像素点为在瞳孔连通域中距离初始边界中的像素点最近的边缘像素点。

在本实施例中，基于瞳孔连通域的各边缘像素点和瞳孔与虹膜对应的初始边界中的每个像素点，获取瞳孔连通域中距离初始边界中的各像素点距离最近的边缘像素点，初始边界中的每个像素点均有其对应的最近的边缘像素点，最近的边缘像素点也就是目标边缘像素点。

其次，将目标边缘像素点的位置与所述初始边界对应的圆函数之间的距离值作为对应像素点的距离指标，得到初始边界中每个像素点的距离指标。

需要说明的是，这里的像素点是指目标边缘像素点对应的初始边界中的像素点，初始边界中的每个像素点均有其对应的目标边缘像素点，确定初始边界中每个像素点的距离指标有助于后续确定初始边界中每个像素点的不可信程度。另外，距离指标并不表征初始边界中的像素点与初始边界对应的圆函数之间的距离，其主要表征目标边缘像素点的位置与初始边界对应的圆函数之间的距离，该距离越大表征初始灰度阈值的分割效果越不好。

第三子步骤，获取瞳孔与虹膜对应的膨胀后的初始边界，根据瞳孔连通域的各像素点的灰度值以及膨胀后的初始边界，确定膨胀后的初始边界中的每个像素点的灰度值。

需要说明的是，瞳孔与虹膜之间的边界虽然是平滑的，但该边界的形状并非绝对的圆形，为了从初始边界中各像素点对应的距离指标中，筛选出距离指标较大但分割效果好的像素点，需要计算瞳孔与虹膜对应的初始边界中各像素点与其邻域像素点之间的梯度值，对分割效果不好的像素点再次进行数据分析。首先，确定膨胀后的初始边界中的每个像素点的灰度值，其步骤包括：

在本实施例中，为了更准确的分析初始边界中各像素点的梯度变化状态，对瞳孔与虹膜对应的初始边界进行形态学膨胀处理，得到膨胀后的初始边界，在瞳孔连通域中确定膨胀后的初始边界中各像素点的位置，根据瞳孔连通域的各像素点的灰度值以及初始边界中各像素点在瞳孔连通域中的位置，可以确定膨胀后的初始边界中的每个像素点的灰度值。

第四子步骤，根据膨胀后的初始边界中的每个像素点的灰度值，确定初始边界中每个像素点的梯度值，根据初始边界中每个像素点的梯度值，确定初始边界中每个像素点的梯度变化指标，其步骤包括：

首先，膨胀后的初始边界为初始边界连通域，根据初始边界连通域中的每个像素点的灰度值，确定初始边界连通域中每个像素点的梯度值。

在本实施例中，将膨胀后的初始边界称为初始边界连通域，基于初始边界连通域中的每个像素点的灰度值，利用sobel索贝尔算子，选用x、y方向，计算初始边界连通域中的每个像素点的梯度值。sobel索贝尔算子计算梯度的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

其次，获得形态学腐蚀处理和二值反转处理后的初始边界连通域，根据形态学腐蚀处理和二值反转处理后的初始边界连通域中每个像素点的梯度值，确定初始边界中每个像素点的梯度值。

在本实施例中，为了避免膨胀后的初始边界连通域中的各像素点的梯度值与实际梯度值不符，将初始边界连通域中不属于初始边界的像素点标记为1，不为初始边界的像素点可以是边缘像素点，将属于初始边界的像素点标记为0，利用3*3窗口对标记后的初始边界连通域进行形态学腐蚀处理，为了得到腐蚀处理后的掩膜图像，对腐蚀处理后的初始边界进行二值反转。基于形态学腐蚀处理和二值反转处理后的初始边界连通域中每个像素点的梯度值，在形态学腐蚀处理和二值反转处理后的初始边界连通域中确定初始边界中的各像素点的位置，得到初始边界中每个像素点的梯度值，若初始边界中存在不属于初始边界连通域的像素点，则该像素点的梯度值为0。

需要说明的是，形态学腐蚀窗口的大小，由sobel索贝尔算子所选窗口大小决定，由于常规的sobel索贝尔算子所选窗口大小为3*3，所以本实施例中的形态学腐蚀窗口的大小选用3*3。形态学膨胀和形态学腐蚀的实现过程均为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

最后，根据初始边界中每个像素点的梯度值，确定初始边界中每个像素点的梯度变化指标。

在本实施例中，得到初始边界中每个像素点的梯度值之后，计算初始边界中所有像素点的梯度均值，进而计算初始边界中每个像素点的梯度值与梯度均值之间的差值绝对值，将该差值绝对值作为初始边界中每个像素点的梯度变化指标。

第五子步骤，根据初始边界中每个像素点的距离指标和梯度变化指标，确定每个像素点的不可信程度。

在本实施例中，基于初始边界中每个像素点的距离指标和梯度变化指标，计算每个像素点的不可信程度，其计算公式为：

bx_i＝J_i*T_i ^′

其中，bx_i为初始边界中第i个像素点的不可信程度，J_i为初始边界中第i个像素点的距离指标，T_i ^′为初始边界中第i个像素点的梯度变化指标。

瞳孔连通域边缘图像中距离初始边界中第i个像素点距离最近的边缘像素点为瞳孔连通域边缘图像中第j个边缘像素点，也就是第j个边缘像素点为初始边界中第i个像素点对应的目标边缘像素点，第i个像素点的距离指标为第j个边缘像素点的坐标与初始边界对应的圆函数之间的距离值。不可信程度计算公式中的距离指标J_i越大，表示初始边界中第i个像素点处对应的初始边界形状越不规则，该像素点的不可信程度越大。梯度变化指标T_i ^′越大，说明初始边界中第i个像素点的梯度变化与整体梯度变化的差异越大，越不符合瞳孔到虹膜之间的灰度变化趋势，该像素点的不可信程度越大，也表明该像素点的阈值分割结果更加不可信。

需要说明的是，初始边界中第i个像素点的不可信程度bx_i越大，该像素点在瞳孔连通域边缘图像中的边缘平滑性越不好，第i个像素点的阈值分割效果越差，该像素点越能作为调整初始阈值的参考信息，其有助于得到待视力检测人员的准确视线，完成智能眼部治疗仪控制，提高控制精度。

第二步，根据每个像素点的不可信程度，确定初始边界中的各不可信像素点。

在本实施例中，对初始边界中的所有像素点的不可信程度进行二分类处理，迭代次数为100次，若分类过程中出现不收敛的像素点，将不收敛的像素点作为最终的分割结果，进而将阈值分割结果中不收敛的像素点作为不可信像素点。二分类处理的实现过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

S3，获取瞳孔连通域和虹膜连通域内的每个像素点和各不可信像素点的灰度值，确定瞳孔连通域和虹膜连通域对应的高斯拟合模型，根据各不可信像素点的灰度值、瞳孔连通域和虹膜连通域对应的高斯拟合模型，确定各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，其步骤包括：

第一步，获取瞳孔连通域和虹膜连通域内的每个像素点的灰度值，确定瞳孔连通域和虹膜连通域对应的高斯拟合模型。

在本实施例中，基于待测视力人员眼睛的灰度图像和瞳孔连通域和虹膜连通域内的每个像素点的位置，可以得到灰度图像中的瞳孔连通域和虹膜连通域内的每个像素点的灰度值，对每个像素点的灰度值进行单高斯模型拟合，得到瞳孔连通域和虹膜连通域对应的高斯拟合模型，单高斯模型拟合的过程为现有技术，此处不再进行详细阐述。

需要说明的是，瞳孔连通域的灰度值比较集中，受人体眼睛结构特征的影响，虹膜连通域具有较大的灰度差异，瞳孔连通域和虹膜连通域之间本身的灰度值的离散程度状态不一致，所以，选用高斯模型拟合的方式，有助于后续得到更准确的灰度偏向性指标。

第二步，根据各不可信像素点的灰度值、瞳孔连通域和虹膜连通域对应的高斯拟合模型，确定各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率。

在本实施例中，基于各不可信像素点的灰度值、瞳孔连通域和虹膜连通域对应的高斯拟合模型，将各不可信像素点的灰度值代入到瞳孔连通域和虹膜连通域对应的高斯拟合模型中，可以获得各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率。

需要说明的是，本实施例利用单高斯模型拟合的方式，更能贴合眼睛图像的结构特征，得到的各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率会更加准确，其有助于提高眼部治疗仪的控制精准度。

S4，根据各不可信像素点的不可信程度、各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，确定所有不可信像素点的灰度偏向性指标。

需要说明的是，为了使后续确定的最终灰度阈值在新的阈值分割结果中，能够减少瞳孔与虹膜对应的边界中不可信像素点的个数，需要获取不可信像素点的灰度偏向性，灰度偏向性是指不可信像素点的灰度整体更偏向于虹膜连通域还是更偏向于瞳孔连通域的程度指标。例如，不可信像素点的灰度整体偏向瞳孔连通域的灰度，则表示在获取瞳孔与虹膜对应的初始边界时，初始边界向瞳孔连通域的方向凸出，若不可信像素点的灰度整体偏向虹膜灰度，则说明在获取瞳孔于虹膜对应的初始边界时，初始边界向虹膜连通域的方向凸出。其中，确定所有不可信像素点的灰度偏向性指标的步骤包括：

第一步，根据各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，使各不可信像素点的灰度值为瞳孔灰度类别的概率减去为虹膜灰度类别的概率，得到各不可信像素点对应的灰度类别差值。

在本实施例中，计算为瞳孔灰度类别的概率和为虹膜灰度类别的概率的差值，该差值是通过各不可信像素点的灰度值为瞳孔灰度类别的概率减去对应不可信像素点的灰度值为虹膜灰度类别的概率得到的，将该差值作为灰度类别差值，每个不可信像素点均有其对应的灰度类别差值。

需要说明的是，本实施例的灰度类别差值越小，说明不可信像素点越偏向瞳孔连通域，灰度类别差值越小，说明不可信像素点越偏向虹膜连通域。

第二步，根据各不可信像素点的不可信程度和灰度类别差值，计算各不可信像素点对应的归一化处理后的不可信程度与所述灰度类别差值的乘积，根据各不可信像素点对应的乘积，计算所有不可像素点对应乘积的累加和，将该累加值作为所有不可信像素点的灰度偏向性指标。

在本实施例中，为了便于后续计算所有不可信像素点的灰度偏向性指标，基于各不可信像素点的不可信程度，对各不可信像素点的不可信程度进行最大值最小值的归一化处理，得到各不可信像素点对应的归一化处理后的不可信程度，使不可信程度的值域范围在0到1之间。计算各不可信像素点对应的归一化处理后的不可信程度与灰度类别差值的乘积，基于各不可信像素点对应的乘积，计算所有不可像素点对应乘积的累加和，将该累加值作为所有不可信像素点的灰度偏向性指标。

需要说明的是，所有不可信像素点的灰度偏向性指标是一个具有正负属性的百分比，该灰度偏向性指标越大(偏正)，表示所有不可行像素点的灰度值应越偏向虹膜连通域，也就是应当使后续所确定的最终灰度阈值增大，该灰度偏向性指标越小(偏负)，表示所有不可信像素点应越偏向瞳孔连通域，应当使后续所确定的最终灰度阈值减小。

S5，计算所有不可信像素点的灰度均值，根据初始灰度阈值、所有不可信像素点的灰度偏向性指标和灰度均值，确定最终灰度阈值。

需要说明的是，基于虹膜与瞳孔之间的初始边界的特征信息，即初始边界中所有不可信像素点的灰度均值和灰度偏向性指标，对初始灰度阈值进行调整，可以得到拥有更好分割效果的最终灰度阈值，其步骤包括：

计算初始灰度阈值与所有不可信像素点的灰度均值的差值绝对值，进而计算该差值绝对值与所有不可信像素点的灰度偏向性的乘积，使该乘积与初始灰度阈值相加，将该相加后的值作为最终灰度阈值。

首先，根据各不可信像素点在待测视力人员的灰度图像中的灰度值，计算所有不可信像素点的灰度均值。然后，基于初始灰度分割阈值和所有不可信像素点的灰度均值，计算灰度均值与初始灰度分割阈值的差值绝对值。接着，基于灰度均值与初始灰度分割阈值的差值绝对值、所有不可信像素点的灰度偏向性指标以及初始灰度分割阈值，将差值绝对值与灰度偏向性指标相乘，并将相乘后的乘积与初始灰度分割阈值相加，将最终相加后的值作为最终灰度阈值。

S6，根据最终灰度阈值和眼睛信息，得到巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界。

本实施例基于眼睛信息，可以得到待测视力人员眼睛的灰度图像，利用最终灰度阈值对待测视力人员眼睛的灰度图像进行分割处理，得到虹膜与巩膜的分割结果以及瞳孔与虹膜的分割结果，根据虹膜与巩膜的分割结果，可以得到虹膜与巩膜的阈值分割边界，根据瞳孔与虹膜的分割结果，可以得到瞳孔与虹膜的阈值分割边界，将阈值分割边界作为新边界，得到巩膜与虹膜对应的新边界和瞳孔与虹膜对应的新边界。灰度阈值分割处理的过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

S7，根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，确定待测视力人员的视线偏差值，进而根据视线偏差值判断是否需要控制辅助眼部护理设备，其步骤包括：

第一步，根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，确定待测视力人员的视线偏差值，其步骤包括：

第一子步骤，根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，得到瞳孔连通域的质心位置和虹膜连通域的质心位置。

在本实施例中，基于瞳孔与虹膜对应的新边界，确定完整的瞳孔连通域，进而得到瞳孔连通域的质心。由于虹膜连通域较大，基于巩膜与虹膜对应的新边界，不能得到整个虹膜连通域，对巩膜与虹膜对应的新边界进行霍夫圆检测，将巩膜与虹膜对应的霍夫圆的圆心作为虹膜连通域的质心，确定质心的过程为现有技术，此处不再进行详细阐述。为了便于后续计算待测视力人员的瞳孔中心的位置，需要获取瞳孔连通域和虹膜连通域的质心位置。

第二子步骤，根据瞳孔连通域的质心位置和虹膜连通域的质心位置，确定待测视力人员的瞳孔中心位置。

在本实施例中，计算两个质心坐标的平均值，将两个质心的平均值坐标作为待测视力人员的瞳孔中心的坐标位置，基于瞳孔中心的坐标位置，也就是瞳孔中心在眼睛图像中的位置，可以对待测视力人员的视线进行预估。

第三子步骤，获取待测视力人员的眼睑中心位置，根据待测视力人员的瞳孔中心位置和眼睑中心位置，确定待测视力人员的视线偏差值。

本实施例通过神经网络进行眼睑估计，获取待测视力人员的眼睑中心位置，具体为：将待测视力人员的人脸图像输入到预先构建并训练好的眼睑检测神经网络，得到待测视力人员的眼睑中心位置。基于待测视力人员的瞳孔中心位置和眼睑中心位置，计算瞳孔中心位置与眼睑中心位置的差值，将该差值作为待测视力人员的视线偏差值。

需要说明的是，眼睑检测神经网络为深度卷积关键点检测神经网络，其网络结构为Encoder-Decoder(编码-解码)，输入训练集为多张正视人脸图像，标签为多个眼睑关键点，每个眼睑关键点对应一个单通道，在单通道中标记眼睑的关键点位置，并通过高斯模糊，对眼睑的关键点位置处生成对应的热斑图像。本实施例将在眼睑中选择8个关键点，眼睑中关键点的个数可由实施例根据具体实施例自行设置调整，眼睑检测神经网络的loss损失函数为均方差损失函数。眼睑检测神经网络的构建和训练过程为现有技术，不在本发明保护范围内，此处不再进行详细阐述。

第二步，根据视线偏差值判断是否需要控制辅助眼部护理设备。

若视线偏差值大于视线偏差阈值，则判定待测视力人员的视线偏差大，需要控制辅助眼部护理设备中的语音模块，否则，判定待测视力人员的视线偏差小，不需要控制辅助眼部护理设备中的语音模块。

需要说明的是，待测视力人员正对着智能视力检测设备，基于待测视力人员的视力偏差值，可以通过控制智能测视力设备中的语音模块提醒待测视力人员，使待测视力人员的视线偏差值减少，提高视力检测的效率，判断是否需要控制辅助眼部护理设备的步骤包括：

在本实施例中，设置视线偏差阈值为yz，视线偏差阈值yz的大小为0.2，实施者可根据具体实施场景进行调整视线偏差阈值的大小。使待测视力人员的视力偏差值和视线偏差阈值进行比较，当待测视力人员的视力偏差值大于视线偏差阈值时，则判定待测视力人员的视线偏差过大，待测视力人员并未专心进行视力检测，需要控制辅助眼部护理设备中的语音模块以提醒待测视力人员，否则，判定待测视力人员的视线偏差较小，不需要控制辅助眼部护理设备中的语音模块。在保证待测视力人员的视线停留在智能视力检测设备时，控制智能视力检测设备中字母“E”显示出不同的大小和朝向，并根据语音接收模块，对待测视力人员的视力检测结果进行正确率的统计，完成最终的视力检测。

至此，本实施例实现了对辅助眼部护理设备的智能控制。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于数据分析的辅助眼部护理智能控制系统，包括存储器和处理器，其特征在于，所述处理器执行所述存储器存储的计算机程序，以实现如下步骤：

实时获取待测视力人员的眼睛信息；根据眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息，进而确定瞳孔连通域、虹膜连通域以及瞳孔与虹膜对应的初始边界；

根据瞳孔连通域的各边缘像素点的位置和灰度值以及瞳孔与虹膜对应的初始边界，确定初始边界中每个像素点的不可信程度，根据所述每个像素点的不可信程度，确定初始边界中的各不可信像素点；

获取瞳孔连通域和虹膜连通域内的每个像素点和各不可信像素点的灰度值，确定瞳孔连通域和虹膜连通域对应的高斯拟合模型，根据各不可信像素点的灰度值、瞳孔连通域和虹膜连通域对应的高斯拟合模型，确定各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率；

根据各不可信像素点的不可信程度、各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，确定所有不可信像素点的灰度偏向性指标；

计算所有不可信像素点的灰度均值，根据初始灰度阈值、所有不可信像素点的灰度偏向性指标和灰度均值，确定最终灰度阈值；

根据所述最终灰度阈值和所述眼睛信息，得到巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界；

根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，确定待测视力人员的视线偏差值，进而根据视线偏差值判断是否需要控制辅助眼部护理设备。

2.根据权利要求1所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据瞳孔连通域的各边缘像素点的位置和灰度值以及瞳孔与虹膜对应的初始边界，确定初始边界中每个像素点的不可信程度，包括：

根据瞳孔与虹膜对应的初始边界，确定初始边界对应的圆函数，根据瞳孔连通域的各边缘像素点的位置和初始边界对应的圆函数，计算各边缘像素点的位置与所述初始边界对应的圆函数之间的距离值；

根据各边缘像素点的位置与所述初始边界对应的圆函数之间的距离值，得到初始边界中每个像素点的距离指标；

获取瞳孔与虹膜对应的膨胀后的初始边界，根据瞳孔连通域的各像素点的灰度值以及所述膨胀后的初始边界，确定膨胀后的初始边界中的每个像素点的灰度值；

根据膨胀后的初始边界中的每个像素点的灰度值，确定初始边界中每个像素点的梯度值，根据初始边界中每个像素点的梯度值，确定初始边界中每个像素点的梯度变化指标；

根据初始边界中每个像素点的距离指标和梯度变化指标，确定每个像素点的不可信程度。

3.根据权利要求2所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据各边缘像素点的位置与所述初始边界对应的圆函数之间的距离值，得到初始边界中每个像素点的距离指标，包括：

根据瞳孔连通域的各边缘像素点和瞳孔与虹膜对应的初始边界中的每个像素点，确定初始边界中的每个像素点对应的目标边缘像素点；

将目标边缘像素点的位置与所述初始边界对应的圆函数之间的距离值作为对应像素点的距离指标，得到初始边界中每个像素点的距离指标。

4.根据权利要求3所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，所述目标边缘像素点为在瞳孔连通域中距离初始边界中的像素点最近的边缘像素点。

5.根据权利要求2所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据膨胀后的初始边界中的每个像素点的灰度值，确定初始边界中每个像素点的梯度值，包括：

膨胀后的初始边界为初始边界连通域，根据初始边界连通域中的每个像素点的灰度值，确定初始边界连通域中每个像素点的梯度值；

获得形态学腐蚀处理和二值反转处理后的初始边界连通域，根据形态学腐蚀处理和二值反转处理后的初始边界连通域中每个像素点的梯度值，确定初始边界中每个像素点的梯度值。

6.根据权利要求1所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据各不可信像素点的不可信程度、各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，确定所有不可信像素点的灰度偏向性指标，包括：

根据各不可信像素点的灰度值为瞳孔灰度类别的概率和为虹膜灰度类别的概率，使各不可信像素点的灰度值为瞳孔灰度类别的概率减去为虹膜灰度类别的概率，得到各不可信像素点对应的灰度类别差值；

根据各不可信像素点的不可信程度和灰度类别差值，计算各不可信像素点对应的归一化处理后的不可信程度与所述灰度类别差值的乘积，根据各不可信像素点对应的乘积，计算所有不可像素点对应乘积的累加和，将该累加和作为所有不可信像素点的灰度偏向性指标。

7.根据权利要求1所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据初始灰度阈值、所有不可信像素点的灰度偏向性指标和灰度均值，确定最终灰度阈值，包括：

计算初始灰度阈值与所有不可信像素点的灰度均值的差值绝对值，进而计算该差值绝对值与所有不可信像素点的灰度偏向性的乘积，使该乘积与初始灰度阈值相加，将相加后的值作为最终灰度阈值。

8.根据权利要求1所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，确定待测视力人员的视线偏差值，包括：

根据巩膜与虹膜对应的新边界以及瞳孔与虹膜对应的新边界，得到瞳孔连通域的质心位置和虹膜连通域的质心位置；

根据瞳孔连通域的质心位置和虹膜连通域的质心位置，确定待测视力人员的瞳孔中心位置；

获取待测视力人员的眼睑中心位置，根据待测视力人员的瞳孔中心位置和眼睑中心位置，确定待测视力人员的视线偏差值。

9.根据权利要求1所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据眼睛信息，利用初始灰度阈值，确定巩膜与虹膜对应的初始边界信息，包括：

根据待测视力人员的眼睛信息，确定待测视力人员眼睛的灰度图像，利用初始灰度阈值，对所述灰度图像进行图像处理，得到待测视力人员眼睛的二值图像；

对待测视力人员眼睛的二值图像进行二值反转处理，得到待测视力人员眼睛的反转二值图像，对所述反转二值图像进行边缘检测处理，得到巩膜与虹膜之间的边缘图像；

对巩膜与虹膜之间的边缘图像进行霍夫圆检测，将最高投票值对应的圆作为巩膜与虹膜对应的初始边界，进而对巩膜与虹膜对应的初始边界进行填充处理，得到巩膜与虹膜对应的初始边界以内的掩膜图像；

将所述掩膜图像和待测视力人员眼睛的灰度图像相乘，得到巩膜与虹膜对应的初始边界以内的图像，将初始边界以内的图像作为初始边界信息。

10.根据权利要求1所述的一种基于数据分析的辅助眼部护理智能控制系统，其特征在于，根据视线偏差值判断是否需要控制辅助眼部护理设备，包括：

若视线偏差值大于视线偏差阈值，则判定待测视力人员的视线偏差大，需要控制辅助眼部护理设备中的语音模块，否则，判定待测视力人员的视线偏差小，不需要控制辅助眼部护理设备中的语音模块。