CN114758404A - 人眼感兴趣区域定位系统 - Google Patents

Abstract

一种人眼感兴趣区域定位系统，包括摄像装置以及处理装置，所述摄像装置固定于显示设备上，且面朝所述显示设备的显示屏幕的前方，所述处理装置与所述摄像装置通讯连接，该处理装置用于执行定位步骤，定位步骤基于对眼珠中心点的图像识别，与传统遥测设备依靠眼球识别的方式相比，更能表征视线的方向，通过检测眼珠中心点相对于眼眶中心点的位置关系、人体距离屏幕的距离远近以及预设可视范围来确定屏幕上的感兴趣区域，提高了定位准确率，用户体验好，同时，也克服了传统眼镜式、头盔式设备的缺点。

Description

人眼感兴趣区域定位系统

技术领域

本发明属于人眼注意力追踪技术领域，尤其涉及一种人眼感兴趣区域定位系统。

背景技术

随着国内企业数字化转型，以企业管理驾驶舱为代表的各类运营数据可视化系统正在大面积地推广，传统通过鼠标与键盘来指定可视化系统显示屏幕上的感兴趣区域已经很难满足用户的需求，而以人眼视线追踪的方式来感知感兴趣区域能够大幅度提高观看者的用户体验。

现有的人眼视线追踪设备通常分为眼镜式、头盔式与遥测式三种产品形态。眼镜式视线追踪设备一般需要用户佩戴集成图像传感器与图像识别系统的特制眼镜，佩戴这种设备通常会影响人体的行走视线，用户接受度较低，并且这种佩戴设备通常采用体积与质量较轻材料制成，受限的计算资源使得图像识别的准确率大大降低，用户体验感差。头盔式视线追踪设备一般需要被测者头戴特制头盔，该头盔集成了眼动与头部运动识别设备，二者互相补偿，能够较为准确地实时识别人体眼球的运动方向，据此可视化导航系统可以作实时响应，提高产品使用者的智能体验，然而，这种特制的头盔重量较大，使用较为不便，一般仅用于AR/VR等虚拟现实等场景。遥测式视线追踪设备通常包括桌面高精度眼动仪、便携遥测眼动仪，该设备通常与屏幕结合一体，能够远距离感知被测者的眼球实时运动方向，设备采取非接触设计，不需要额外的穿戴设备，然而，这些设备仅仅基于对眼球的图像识别，准确率较低，用户体验依然较差。

发明内容

基于此，针对上述技术问题，提供一种人眼感兴趣区域定位系统。

为解决上述技术问题，本发明采用如下技术方案：

一种人眼感兴趣区域定位系统，包括摄像装置以及处理装置，所述摄像装置固定于显示设备上，且面朝所述显示设备的显示屏幕的前方，所述处理装置与所述摄像装置通讯连接，该处理装置用于执行以下定位步骤：

S101、通过所述摄像装置采集所述显示屏幕前方的图像；

S102、从所述图像中识别人体目标；

S103、从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，确定对应的实际眼珠中心点与实际眼眶中心点的位置关系；

S104、通过所述摄像装置确定所述显示屏幕与实际人体在z轴方向的距离，将该距离作为实际眼眶中心点到所述显示屏幕的距离H，所述z轴为以视网膜中心为原点的前后方向的轴线，该z轴经过实际眼眶中心点和所述显示屏幕的中心点；

S105、根据所述实际眼珠中心点与实际眼眶中心点的位置关系，确定所述实际眼珠中心点与所述z轴的角度；

S106、根据所述角度以及距离H，确定所述实际眼珠中心点在所述显示屏幕上的映射点的位置；

S107、根据预设可视范围，在所述显示屏幕上映射确定以所述映射点为中心的感兴趣区域。

本发明基于对眼珠中心点的图像识别，与传统遥测设备依靠眼球识别的方式相比，更能表征视线的方向，通过检测眼珠中心点相对于眼眶中心点的位置关系、人体距离屏幕的距离远近以及预设可视范围来确定屏幕上的感兴趣区域，提高了定位准确率，用户体验好，同时，也克服了传统眼镜式、头盔式设备的缺点。

附图说明

下面结合附图和具体实施方式本发明进行详细说明：

图1为本发明的结构示意图；

图2为本发明的摄像装置固定于显示设备上的示意图；

图3为本发明的定位步骤的流程图；

图4为本发明的眼眶目标以及眼珠目标的识别示意图；

图5为本发明的确定实际眼珠中心点在显示屏幕上的映射点的位置的原理图；

图6为本发明的根据预设水平可视角映射确定感兴趣区域的左右边界距离的原理图；

图7为本发明的根据预设垂直可视角映射确定感兴趣区域的上下边界距离的原理图；

图8为本发明在显示屏幕上所定位的感兴趣区域的示意图。

具体实施方式

如图1所示，本说明书实施例提供一种人眼感兴趣区域定位系统，包括摄像装置11以及处理装置12。

如图2所示，摄像装置11固定于可视化系统的显示设备20上，且面朝显示设备20的显示屏幕21的前方，处理装置12与摄像装置11通讯连接。

在本实施例中，摄像装置11包括用于感知显示屏幕与人体的水平距离的深度相机以及用于采集显示屏幕前方的图像的RGB相机，作为一种示例，摄像装置11可以采用intelrealsense相机，该相机具有由左右红外相机和红外点阵投射器构成的深度相机和双目RGB相机。

如图3所示，处理装置12用于执行以下定位步骤：

S101、通过摄像装置11采集显示屏幕前方的图像。

S102、从图像中识别人体目标:通过预训练的第一目标检测模型，从图像中识别人体目标，作为一种示例，第一目标检测模型采用SSD网络模型。

第一目标检测模型可以通过大量的表示人体目标正面的图片进行训练，从而能够从输入模型的图片中识别出人体目标，该手段属于常规技术手段，此处不做详细限定。

S103、从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，确定对应的实际眼珠中心点与实际眼眶中心点的位置关系：

a、通过预训练的第二目标检测模型，从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，作为一种示例，第二目标检测模型采用YOLOv5网络模型。

第二目标检测模型可以通过大量的具有眼眶和眼珠的图片进行训练，从而能够从输入模型的图片中识别出眼眶和眼珠目标，该手段属于常规技术手段，在识别到眼眶目标和眼珠目标时，第二目标检测模型会在图片中标记出相应的检测框，如图4所示，在图片坐标系中，眼眶目标的检测框的两个对角坐标为(x1，y1)和(x2，y2)，眼珠目标的检测框的两个对角坐标为(x3，y3)和(x4，y4)，该手段属于常规技术手段，此处不做详细限定。

b、根据眼眶目标的检测框的两个对角坐标，确定眼眶目标的中心点m的坐标，在图4中，中心点m为原点，根据眼珠目标的检测框的两个对角坐标，确定眼珠目标的中心点n的坐标。

c、根据眼眶目标的中心点坐标以及眼珠目标的中心点坐标，确定眼珠目标的中心点与眼眶目标的中心点的位置关系。

d、根据眼珠目标的中心点与眼眶目标的中心点的位置关系，确定实际眼珠中心点与实际眼眶中心点的位置关系。

需要指出的是，上述眼珠是指眼球前面的中间部分，这个部位由角膜、虹膜和瞳孔组成，与眼球相比，眼珠更能表征视线的方向，同时，眼珠的颜色区别于白色，通常表现为黑色、蓝色等等，因此，更容易通过图像识别的方式进行识别，提高了识别的准确率。

中心点m的坐标和中心点n的坐标确定之后，就知道了中心点m与中心点n分别在x轴方向和y轴方向的距离，即中心点m与中心点n的位置关系，由于x轴方向实际上相当于人体的左右方向，y轴方向实际上相当于人体的上下方向，确定了中心点m与中心点n的位置关系，就相当于确定了实际眼珠中心点与实际眼眶中心点的位置关系。

S104、通过摄像装置11确定显示屏幕与实际人体在z轴方向的距离(即前后方向的水平距离)，将该距离作为实际眼眶中心点到显示屏幕的距离H，如图5所示，z轴为以视网膜中心Q1为原点的前后方向的轴线，本发明基于用户正对显示屏幕，并只考虑单眼，单眼的实际眼眶中心点Q2与显示屏幕的中心点Q3位于同一条水平直线上，故z轴经过实际眼眶中心点Q2和显示屏幕的中心点Q3。

S105、根据实际眼珠中心点N与实际眼眶中心点Q2的位置关系，确定实际眼珠中心点与z轴的角度α，参见图5。

如图5所示，根据实际眼珠中心点N与实际眼眶中心点Q2的位置关系，可以确定N与Q2的距离，由于Q1与Q2的距离我们视为已知的数值，故可以计算出角度α。

S106、根据角度α以及距离H，确定实际眼珠中心点N在显示屏幕上的映射点M的位置，参见图5。

由于N与Q2的距离已经确定，并且Q2和Q3位于同一条水平直线上，故通过角度α以及距离H，可以计算出M与Q3的距离，进而通过Q3的坐标就可以计算出M的坐标。

S107、根据预设可视范围，在显示屏幕21上映射确定以映射点M为中心的感兴趣区域G，参见图8。

预设可视范围为预先设定的人眼眼珠的可视范围，基于该可视范围，可以根据距离H进行相应的映射，从而在显示屏幕上确定以映射点M为中心的感兴趣区域，同时，通过预设可视范围可以约束感兴趣区域的大小。

在本实施例中，预设可视范围由预设水平可视角β以及预设垂直可视角γ构成，相应地，步骤S107进一步包括：

如图6所示，根据预设水平可视角β，映射确定感兴趣区域的左右边界距离L1。

如图7所示，根据预设垂直可视角γ，映射确定感兴趣区域的上下边界距离L2。

根据映射点M的位置、左右边界距离L1以及上下边界距离L2，确定矩形感兴趣区域G的位置。

通常人眼的眼珠可以在水平36度角以及垂直20度角的范围内清晰地观察到事物，因此，在一种优选地实施方式中，预设水平可视角β设置为36度，预设垂直可视角γ设置为20度，这样，使定位到的感兴趣区域的大小更加合理。

但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种人眼感兴趣区域定位系统，其特征在于，包括摄像装置以及处理装置，所述摄像装置固定于显示设备上，且面朝所述显示设备的显示屏幕的前方，所述处理装置与所述摄像装置通讯连接，该处理装置用于执行以下定位步骤：

S101、通过所述摄像装置采集所述显示屏幕前方的图像；

S102、从所述图像中识别人体目标；

S103、从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标，确定对应的实际眼珠中心点与实际眼眶中心点的位置关系；

S104、通过所述摄像装置确定所述显示屏幕与实际人体在z轴方向的距离，将该距离作为实际眼眶中心点到所述显示屏幕的距离H，所述z轴为以视网膜中心为原点的前后方向的轴线，该z轴经过实际眼眶中心点和所述显示屏幕的中心点；

S105、根据所述实际眼珠中心点与实际眼眶中心点的位置关系，确定所述实际眼珠中心点与所述z轴的角度；

S106、根据所述角度以及距离H，确定所述实际眼珠中心点在所述显示屏幕上的映射点的位置；

S107、根据预设可视范围，在所述显示屏幕上映射确定以所述映射点为中心的感兴趣区域。

2.根据权利要求1所述的一种人眼感兴趣区域定位系统，其特征在于，所述摄像装置包括用于感知所述显示屏幕与实际人体在z轴方向的距离的深度相机以及用于采集所述显示屏幕前方的图像的RGB相机。

3.根据权利要求2所述的一种人眼感兴趣区域定位系统，其特征在于，所述摄像装置采用intel realsense相机。

4.根据权利要求1所述的一种人眼感兴趣区域定位系统，其特征在于，所述步骤S102进一步包括：

通过预训练的第一目标检测模型，从所述图像中识别人体目标。

5.根据权利要求4所述的一种人眼感兴趣区域定位系统，其特征在于，所述第一目标检测模型采用SSD网络模型。

6.根据权利要求1所述的一种人眼感兴趣区域定位系统，其特征在于，所述步骤S103进一步包括：

通过预训练的第二目标检测模型，从识别到的人体目标中进一步识别眼眶目标以及该眼眶目标中的眼珠目标；

根据眼眶目标的检测框的两个对角坐标，确定眼眶目标的中心点坐标，根据眼珠目标的检测框的两个对角坐标，确定眼珠目标的中心点坐标；

根据所述眼眶目标的中心点坐标以及眼珠目标的中心点坐标，确定所述眼珠目标的中心点与眼眶目标的中心点的位置关系；

根据所述眼珠目标的中心点与眼眶目标的中心点的位置关系，确定实际眼珠中心点与实际眼眶中心点的位置关系。

7.根据权利要求6所述的一种人眼感兴趣区域定位系统，其特征在于，所述第二目标检测模型采用YOLOv5网络模型。

8.根据权利要求1所述的一种人眼感兴趣区域定位系统，其特征在于，所述预设可视范围由预设水平可视角以及预设垂直可视角构成。

9.根据权利要求8所述的一种人眼感兴趣区域定位系统，其特征在于，所述步骤S107进一步包括：

根据所述预设水平可视角，映射确定所述感兴趣区域的左右边界距离；

根据所述预设垂直可视角，映射确定所述感兴趣区域的上下边界距离；

根据所述映射点的位置、左右边界距离以及上下边界距离，确定矩形感兴趣区域的位置。

10.根据权利要求9所述的一种人眼感兴趣区域定位系统，其特征在于，所述预设水平可视角为36度，所述预设垂直可视角为20度。

Images