CN114299600A - 一种视功能检查、训练中的智能反馈方法 - Google Patents

Abstract

本发明提供了一种视功能检查、训练中基于用户眼部图像数据的智能反馈方法、计算机设备，通过在视功能设备上增加用户的眼部数据图采集和视觉分析系统，获得眼部与视功能相关联的客观图像数据及参数，包含瞳孔、虹膜中心和边缘位置等眼部参数以及分析得到的瞳孔直径变化和视线方向估计等数据，对得到瞳孔直径变化和视线同步跟随性进行判断，依据判断结果进行检查和训练设备智能反馈。上述利用计算机视觉分析结果作为判断和反馈，降低对使用者主观反馈的依赖，提升视功能检查和训练过程反馈的客观性和精确度，并极大提升了检查和训练效率。

Description

一种视功能检查、训练中的智能反馈方法

技术领域

本发明属于视功能检查和训练人机交互领域，具体涉及一种视功能检查、训练中基于用户眼部图像数据的智能反馈方法。

背景技术

目前的视功能检查和训练设备，主要通过用户的主观感受，对于视功能检查和训练过程进行人为的反馈。比较原始的方法为用户将主观感受报告给专业人员，再由专业人员调整设备进行检查或者训练；目前比较先进的方法是用户通过设备上的按钮或者手柄等结构，将自己的主观感受类型反馈给设备后，设备根据用户的选择情况自动调整检查或者训练过程。前者包含了用户和专业人员双重的主观参与，后者包括用户的主观参与，两种方式反馈机制均依赖用户主观性，用户体验度差，反馈的精确度和效率都较低。

发明内容

本发明的目的在于解决上述现有技术中存在的难题，提供一种基于用户眼部图像数据的智能反馈方法。

本发明是通过以下技术方案实现的：

为了解决上述检查训练中主观参与度较高的问题，在设备上增加眼部图像信息采集系统，通过图像的收集和分析，获得眼部与视功能相关联的客观图像数据及参数，依据图像分析结果对调节、聚散中注视点进行定性判断及定量分析，依据判断结果得到相应能否完成的反馈结果。通过基于计算机视觉的智能反馈的方式，提高检查训练中数据的客观性和准确度，降低对使用者主观反馈的依赖，提升用户使用体验和反馈效率以及反馈的客观性。

采集用户双眼图像数据，基于采集得到的图像数据分析获得到瞳孔变化或视线方向变化；

利用瞳孔变化参数进行调节任务阶段的判断，或者通过双眼视线方向变化进行聚散跟随变化的判断；

根据上述判断结果得出用户是否能按照检查和训练要求完成的反馈结果。根据上述判断结果得出用户是否能按照检查和训练要求完成的反馈结果后，检查和训练设备根据反馈信号进行下一步处理和操作，具体技术方案包含如下内容：

采集用户双眼图像数据，眼部图像的数据采集可以采用多种类型的图像采集传感器，包括但不限于微波相机、红外相机、可见光相机等图像传感器的其中之一或其组合，通过上述传感器完成用户双眼部位的图像数据采集；

进一步，通过图像数据获取眼部参数可通过基于图像的人工智能算法实现，首先通过目标检测算法获取眼部区域在图像中的位置，并在此目标位置上进一步检测得到眼部瞳孔中心和边缘位置 、虹膜的中心和边缘位置，并基于上述结果分析得到瞳孔直径、瞳距参数值、视线方向估计；上述目标检测和定位方法可以基于现有技术中图像识别和检测算法，包括传统和基于深度学习、监督以及非监督训练识别和检测算法，本发明在此不做限定。

利用瞳孔直径变化进行完成调节稳定阶段或调节放弃阶段的区分，或者进行视线方向变化与双眼聚散理想的视线方向是否同步跟随变化的判断。

具体为：用户在检查和训开始前，采集和记录待检查和训练用户在注意力集中、眼部一定调节状态下的瞳孔直径R 、注视目标的视线方向估计F、虹膜位置V、瞳距L 作为初始参照数值。

在检查和训练中，随着调节的变化，瞳孔参数也会发生变化，调节紧张时，瞳孔缩小；调节放松时，瞳孔变大，因此可以根据瞳孔直径的变化以估计调节是否发生以及发生的方向和程度。当检测到当前用户在当前检查和训练中的瞳孔直径R_当前≥R_参照，说明用户调节放松，当检测到当前用户当前检查和训练中的瞳孔直径R_当前＜R_参照，说明用户调节紧张。

具体根据瞳孔直径的变化情况，判断调节是否达到调节完成的稳定阶段或者是放弃调节，稳定阶段指调节紧张刺激下瞳孔缩小到一定程度后基本稳定，调节放松刺激下中瞳孔放大到一定程度后基本稳定。如果放弃调节，在调节紧张刺激下瞳孔缩小到一定程度后变大，在调节放松刺激下瞳孔放大到一定程度后缩小。

同时，本发明可选的还可以采用其他类型的瞳孔变化参数进行判断，如瞳孔的面积，瞳孔半径等与瞳孔直径变化判断相似的原理。也可以采用上述多种方式的组合来判断瞳孔变化，均属于本发明保护的范围。

依据当前的判断结果，用户无需主动通过按钮等与检查和训练设备进行交互方式，检查和训练设备即可依据判断结果得到用户是否能稳定完成调节任务的反馈信号，并在此基础上设备进行下一步处理和操作。当判断结果为可以完成调节任务，检查和训练设备依据该反馈信号，在下一步调节相关检查和训练中调整透镜的屈光度、视标大小等参数以进一步提高调节检查或者训练的难度；当判断当前为调节放弃阶段，检查和训练设备依据该反馈信号，在下一步调节相关检查和训练中改变透镜的屈光度、视标大小等参数以维持或者进一步降低调节检查或者训练的难度。

随着聚散程度的变化，两只眼睛的视线角度会发生变化，当两只眼睛集合时，两只眼睛的视线夹角变大；当两只眼睛散开时，两只眼睛的视线夹角变小。因此可以通过虹膜、瞳孔位置参数的变化估计视线方向变化并估算双眼聚散的方向和程度的变化。根据三维空间到二维空间的映射原理，三维空间内一个旋转的圆形映射到二维空 间表现为一个椭圆轮廓。当人眼注视空间某一物体以致眼球转动时，其三维视线方向、瞳孔三维中心以及瞳孔二维中心三者之间存在着相互表示的关系，因此，可以通过瞳孔二维中心坐标获取视线偏离x-y平面的角度值，由于人眼在观察位于前方空间区域内的物体时，其眼球转动的角度变化在一定的范围内，当偏离z轴的角度相同而偏离x-y平面的角度相差180度时，其瞳孔二维映射椭圆的大小和形状相同，此时，需要利用第二个眼动特征(虹膜二维中心坐标)来构建瞳孔－虹膜补偿向量以剔除其中与真实视线方向相反的干扰角度，选取与视线补偿角度最为接近的角度作为最终获取的视线估计角度信息值即视线方向角度信息。上述计算视线方向也可以采用数据拟合的方式得到，也可以采用其他深度学习的方式得到。本领域技术人员还可以其他方式计算视线方法，本发明在此不做限定。

根据瞳孔、虹膜位置参数获得的视线方向的变化的参数后，当检查和训练中的视标移动时，通过判断用户的当前视线方向F_当前与检查和训练中双眼聚散理想的视线方向F_理想是否同步跟随变化，依据判断得到判断结果为同步变化或未同步变化，同步变化时说明用户可以完成该次聚散任务。

同时，本发明还可以根据检查和训练中视线方向变化其他方式来判断用户是否可以完成聚散任务，如采用视线方向角度的变化与理想聚散下视线变化参数同步变化的一种或多种组合方式均属于本发明的保护的范围。

检查和训练设备依据上述判断结果得到当前用户的是否能够同步跟随，用户可以完成该次聚散任务，用户无需主动与检查和训练设备进行交互，设备即可自动得到相应结果反馈信号，在此基础上设备进行下一步处理和操作。可选择地，当二者的视线判断结果为同步跟随变化，可以通过调整镜片或者视标等参数进一步增加检查或者训练的难度；当二者的视线判断结果为未同步跟随变化，可以维持检查和训练难度或通过调整镜片或者视标等参数进一步降低检查或者训练的难度。

通过上述技术方案得智能反馈方式，在检查和训练过程中，系统采集用户的眼部信息，只需要使用者眼部根据检查或者训练提示进行相应的调整、注视动作，根据判断结果得出的反馈信息检查和训练设备可以自动切换镜片和视标图像，无需额外通过按键、语音等进行人为反馈，设备即可自动调整完成检查和训练的过程，极大提升了检查和训练的效率和准确性。

除此之外，在本发明的方法中，还提供了智能反馈方式与用户主观反馈结合工作的情形，一种主客观结合的反馈机制为：根据客观计算的结果和主观反馈的结果进行对比，如果差异性超过一定范围，设备对使用者进行相应的提醒机制，提醒用户集中注意力认真按照要求进行检查或者训练反馈。

在差异性计算中，可采用如下方式：对智能反馈结果与主观反馈结果做一致性比较，计算其一致性得分，得分计算公式如下：

，s1和s2为检查和训练中每一轮的智能反馈结果和主观反馈结果记录值，n为检查和训练可标记动作次数，s1中当调节判断结果为完成调节稳定阶段或聚散视线同步跟随则记录值为1，否则为0，s2为用户主动反馈（按键或声音确认完成）记录值为1，否则为0。

同时还可以采用判断连续k次反馈不一致时，优选的k设为3次则判断智能反馈和用户主观反馈二者的差异性较大，设备对使用者进行相应的提醒机制，提醒用户集中注意力认真按照要求进行检查或者训练反馈。

上述自动反馈与用户主观反馈的结合方式仅是示例的实施方式，任何在其基础上的简单改进和替换均属于本发明的保护范围，本发明在此不做特别限定。

除此之外，本申请还提供了一种基于用户眼部图像数据的智能反馈方法的计算设备以及计算机可读存储介质，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述智能反馈方法。所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述视功能检查、训练中基于用户眼部图像数据的智能反馈的方法。

与现有技术相比，本发明的有益效果是：通过在视功能设备上增加用户的眼部数据图像采集和视觉分析系统，获得眼部与视功能相关联的客观图像数据及参数，包含瞳孔、虹膜中心和边缘位置等眼部参数以及分析得到的瞳孔直径变化和视线方向估计等数据，对得到瞳孔直径变化和视线同步跟随性进行判断，依据判断结果作为检查和训练设备智能反馈。上述利用计算机视觉分析结果作为判断和反馈，降低对使用者主观反馈的依赖，提升视功能检查和训练过程反馈信息的精确度，并极大提升了检查和训练效率。

附图说明

图1 本申请视功能检查、训练中基于用户眼部图像数据的智能反馈的方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

结合附图1，进一步说明本发明的实现过程：采集用户双眼图像数据，眼部图像的数据采集可以采用多种类型的图像采集传感器，包括但不限于微波相机、红外相机、可见光相机等图像传感器的其中之一或其组合，通过上述传感器完成用户双眼部位的图像数据采集；

进一步，通过图像数据获取眼部参数可通过基于图像的人工智能算法实现，首先通过目标检测算法获取眼部区域在图像中的位置，并在此目标位置上进一步检测得到眼部瞳孔中心和边缘位置 、虹膜的中心和边缘位置，并基于上述结果分析得到瞳孔直径、瞳距参数值、视线方向估计；上述目标检测和定位方法可以基于现有技术中图像识别和检测算法，包括传统和基于深度学习、监督以及非监督训练识别和检测算法，本发明在此不做限定。

利用瞳孔直径变化进行完成调节稳定阶段或调节放弃阶段的区分，或者进行视线方向变化与双眼聚散理想的视线方向是否同步跟随变化的判断。

具体为：用户在检查和训开始前，采集和记录待检查和训练用户在注意力集中、眼部一定调节状态下的瞳孔直径R 、注视目标的视线方向估计F、虹膜位置V、瞳距L 作为初始参照数值。

在检查和训练中，随着调节的变化，瞳孔参数也会发生变化，调节紧张时，瞳孔缩小；调节放松时，瞳孔变大，因此可以根据瞳孔直径的变化以估计调节是否发生以及发生的方向和程度。当检测到当前用户在当前检查和训练中的瞳孔直径R_当前≥R_参照，说明用户调节放松，当检测到当前用户当前检查和训练中的瞳孔直径R_当前＜R_参照，说明用户调节紧张。

具体根据瞳孔直径的变化情况，判断调节是否达到调节完成的稳定阶段或者是放弃调节，稳定阶段指调节紧张刺激下瞳孔缩小到一定程度后基本稳定，调节放松刺激下中瞳孔放大到一定程度后基本稳定。如果放弃调节，在调节紧张刺激下瞳孔缩小到一定程度后变大，在调节放松刺激下瞳孔放大到一定程度后缩小。

同时，本发明可选的还可以采用其他类型的瞳孔变化参数进行判断，如瞳孔的面积，瞳孔半径等与瞳孔直径变化判断相似的原理。也可以采用上述多种方式的组合来判断瞳孔变化，均属于本发明保护的范围。

依据当前的判断结果，用户无需主动通过按钮等与检查和训练设备进行交互方式，检查和训练设备即可依据判断结果得到用户是否能稳定完成调节任务的反馈信号，并在此基础上设备进行下一步处理和操作。当判断结果为可以完成调节任务，检查和训练设备依据该反馈信号，在下一步调节相关检查和训练中调整透镜的屈光度、视标大小等参数以进一步提高调节检查或者训练的难度；当判断当前为调节放弃阶段，检查和训练设备依据该反馈信号，在下一步调节相关检查和训练中改变透镜的屈光度、视标大小等参数以维持或者进一步降低调节检查或者训练的难度。

随着聚散程度的变化，两只眼睛的视线角度会发生变化，当两只眼睛集合时，两只眼睛的视线夹角变大；当两只眼睛散开时，两只眼睛的视线夹角变小。因此可以通过虹膜、瞳孔位置参数的变化估计视线方向变化并估算双眼聚散的方向和程度的变化。根据三维空间到二维空间的映射原理，三维空间内一个旋转的圆形映射到二维空 间表现为一个椭圆轮廓。当人眼注视空间某一物体以致眼球转动时，其三维视线方向、瞳孔三维中心以及瞳孔二维中心三者之间存在着相互表示的关系，因此，可以通过瞳孔二维中心坐标获取视线偏离x-y平面的角度值，由于人眼在观察位于前方空间区域内的物体时，其眼球转动的角度变化在一定的范围内，当偏离z轴的角度相同而偏离x-y平面的角度相差180度时，其瞳孔二维映射椭圆的大小和形状相同，此时，需要利用第二个眼动特征(虹膜二维中心坐标)来构建瞳孔－虹膜补偿向量以剔除其中与真实视线方向相反的干扰角度，选取与视线补偿角度最为接近的角度作为最终获取的视线估计角度信息值即视线方向角度信息。上述计算视线方向也可以采用数据拟合的方式得到，也可以采用其他深度学习的方式得到。本领域技术人员还可以其他方式计算视线方向，本发明在此不做限定。

根据瞳孔、虹膜位置参数获得的视线方向的变化的参数后，当检查和训练中的视标移动时，通过判断用户的当前视线方向F_当前与检查和训练中双眼聚散理想的视线方向F_理想是否同步跟随变化，依据判断得到判断结果为同步变化或未同步变化，同步变化时说明用户可以完成该次聚散任务。

同时，本发明还可以根据检查和训练中视线方向变化其他方式来判断用户是否可以完成聚散任务，如采用视线方向角度的变化与理想聚散下视线变化参数同步变化的一种或多种组合方式均属于本发明的保护的范围。

检查和训练设备依据上述判断结果得到当前用户的是否能够同步跟随，用户可以完成该次聚散任务，用户无需主动与检查和训练设备进行交互，设备即可自动得到相应结果反馈信号，在此基础上设备进行下一步处理和操作。可选择地，当二者的视线判断结果为同步跟随变化，可以通过调整镜片或者视标等参数进一步增加检查或者训练的难度；当二者的视线判断结果为未同步跟随变化，可以维持检查和训练难度或通过调整镜片或者视标等参数进一步降低检查或者训练的难度。

通过上述技术方案得智能反馈方式，在检查和训练过程中，系统采集用户的眼部信息，只需要使用者眼部根据检查或者训练提示进行相应的调整、注视动作，根据判断结果得出的反馈信息检查和训练设备可以自动切换镜片和视标图像，无需额外通过按键、语音等进行人为反馈，设备即可自动调整完成检查和训练的过程，极大提升了检查和训练的效率和准确性。

除此之外，在本发明的方法中，还提供了智能反馈方式与用户主观反馈结合工作的情形：

一种主客观结合的反馈机制为：根据客观计算的结果和主观反馈的结果进行对比，如果差异性超过一定范围，设备对使用者进行相应的提醒机制，提醒用户集中注意力认真按照要求进行检查或者训练反馈。

在差异性计算中，可采用如下方式：对智能反馈结果与主观反馈结果做一致性比较，计算其一致性得分，得分计算公式如下：

，s1和s2为检查和训练中每一轮的智能反馈结果和主观反馈结果记录值，n为检查和训练可标记动作次数，s1中当调节判断结果为完成调节稳定阶段或聚散视线同步跟随则记录值为1，否则为0，s2为用户主动反馈（按键或声音确认完成）记录值为1，否则为0。

同时还可以采用判断连续k次反馈不一致时，优选的k设为3次则判断智能反馈和用户主观反馈二者的差异性较大，设备对使用者进行相应的提醒机制，提醒用户集中注意力认真按照要求进行检查或者训练反馈。

上述自动反馈与用户主观反馈的结合方式仅是示例的实施方式，任何在其基础上的简单改进和替换均属于本发明的保护范围，本发明在此不做特别限定。

除此之外，本申请还提供了一种基于用户眼部图像数据的智能反馈方法的计算设备以及计算机可读存储介质，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现上述智能反馈方法。所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述视功能检查、训练中基于用户眼部图像数据的智能反馈的方法。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，除非另有说明，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

最后应说明的是，上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

Claims (10)

1.一种视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于包含：

采集用户双眼图像数据，基于采集得到的图像数据分析获得到瞳孔变化或视线方向变化；

利用瞳孔变化参数进行调节任务阶段的判断，或者通过双眼视线方向变化进行聚散跟随变化的判断；

根据判断结果得出用户是否能按照检查和训练要求完成的反馈结果。

2.根据权利要求1所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于：瞳孔变化包含根据瞳孔直径的大小变化过程，基于瞳孔直径的大小变化判断调节是否达到调节完成的稳定阶段或者是放弃调节；判断视线方向F_当前与检查和训练中双眼聚散理想的视线方向F_理想是否同步跟随变化，判断结果为同步变化或未同步变化。

3.根据权利要求1所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于：根据所述判断结果得出用户是否能按照检查和训练要求完成的反馈结果后，检查和训练设备根据反馈信号进行下一步处理和操作。

4.根据权利要求3所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于：根据所述判断结果得出用户是否能按照检查和训练要求完成，判断结果为能够完成的反馈结果，检查和训练设备通过调整镜片或者视标参数进一步增加检查或者训练的难度。

5.根据权利要求3所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于：根据所述判断结果得出用户是否能按照检查和训练要求完成的反馈结果中，当判断结果为不能完成，可以维持检查和训练难度或降低检查或者训练的难度。

6.根据权利要求1所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于：眼部图像的数据采集采用微波相机、红外相机、可见光相机的其中之一或之间组合。

7.根据权利要求2所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，其特征在于：获得瞳孔直径变化或双眼视线方向变化具体通过目标检测算法获取眼部区域在图像中的位置，并在此目标位置上进一步检测得到眼部瞳孔中心和边缘位置、虹膜的中心和边缘位置，并基于所述检查结果得到瞳孔直径变化以及双眼视线方向变化情况。

8.根据权利要求1所述的视功能检查、训练中基于用户眼部图像数据的智能反馈方法，还包括：根据智能反馈的结果和主观反馈的结果进行对比，如果差异性超过一定范围，设备对使用者进行相应的提醒机制，提醒用户集中注意力认真按照要求进行检查或者训练进行反馈。

9.一种基于用户眼部图像数据的智能反馈方法的计算设备，其特征在于包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现如权利要求1-8所述的智能反馈方法。

10.一种计算机可读存储介质，其特征在于：所述可读存储介质中存储有计算机可执行指令，处理器执行所述计算机可执行指令以实现如权利要求1-8所述的智能反馈方法。

Images