CN111443804A - 基于视频分析的注视点轨迹描述方法及其系统 - Google Patents

基于视频分析的注视点轨迹描述方法及其系统 Download PDF

Info

Publication number
CN111443804A
CN111443804A CN202010224123.9A CN202010224123A CN111443804A CN 111443804 A CN111443804 A CN 111443804A CN 202010224123 A CN202010224123 A CN 202010224123A CN 111443804 A CN111443804 A CN 111443804A
Authority
CN
China
Prior art keywords
pupil
center
eye
user
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010224123.9A
Other languages
English (en)
Other versions
CN111443804B (zh
Inventor
吕钊
梁梦颖
吴小培
张超
郭晓静
张磊
周蚌艳
高湘萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Publication of CN111443804A publication Critical patent/CN111443804A/zh
Application granted granted Critical
Publication of CN111443804B publication Critical patent/CN111443804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频分析的注视点轨迹描述系统,包括数据采集及预处理模块、瞳孔定位模块、注视点标定模块、注视点轨迹描述模块。还公开了一种基于视频分析的注视点轨迹描述方法,通过采集视频眼动图像,并进行预处理操作,通过瞳孔粗定位与瞳孔精定位方法,求出瞳孔中心与角膜反射光斑中心在眼图中的坐标,结合动态头部补偿模型,求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系,通过该映射函数进行注视点轨迹描述。本发明在建立注视点三维空间映射关系的基础上,获取用户的注视点轨迹,提高人们对用户感兴趣区域的预判能力,能有效地支持广告类网页布局的优化,具有使用简单、方法精度高及应用潜力大等优点。

Description

基于视频分析的注视点轨迹描述方法及其系统
技术领域
本发明涉及眼动跟踪技术领域,特别是涉及一种基于视频分析的注视点轨迹描述方法及其系统。
背景技术
近年来,得益于虚拟现实、人机界面技术、计算机视觉等领域的发展,虹膜识别、手势识别、人眼检测、眼动跟踪等技术获得了迅猛的提升,这些技术逐渐在人们的日常生活中普及。注视点轨迹描述方法是人机交互技术的分支,也是眼动跟踪技术的关键,注视点轨迹描述方法的精度直接影响着眼动跟踪的效果。
传统的注视点轨迹描述方法主要分为侵入式与非侵入式两种。侵入式方法例如电磁线圈法,主要通过将硬件设备埋入人眼的方式,这就导致了设备与人眼的直接接触,会对人眼的健康造成直接或者潜在的危害。非侵入式的检测方法主要是基于视频图像处理的注视点描述方法,该方法基于眼睛的轮廓进行瞳孔检测与定位,在舒适感与精度两个方面相较以往的侵入式方法有了很大的改善,但需要的检测工具体积较大,携带不方便,价格昂贵,且头部移动时精度将会大幅度降低。
因此亟需提供一种新型的注视点轨迹描述方法及其系统来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种使用简单、携带便捷、精度高、应用潜力大的基于视频分析的注视点轨迹描述方法及其系统。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种基于视频分析的注视点轨迹描述方法,包括以下步骤:
S1:采集用户观看已知标定网点的视频眼动图像,并对其进行预处理操作;
S2:通过瞳孔粗定位与瞳孔精定位方法,求出预处理后眼图中瞳孔中心与角膜反射光斑中心的坐标;
S3:将步骤S2中获得的由瞳孔中心与角膜反射光斑中心组成的矢量以及标定网点坐标作为已知条件,通过瞳孔角膜反射技术结合动态头部补偿模型,建立特定的注视点映射关系函数;
S4:采集用户观看视频或/和图片的视频眼动图像,并对其进行预处理操作;
S5:重复步骤S2,将获得的由瞳孔中心与角膜反射光斑中心组成的矢量代入步骤S3建立的映射关系函数,求出用户在观看屏幕上的注视点坐标;
S6:通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析,获取用户真正感兴趣区域,并对网页类布局规划进行反馈。
在本发明一个较佳实施例中,在步骤S1中,已知标定网点为若干个标定点组成的矩形网格状网点,坐标已知,且各点依次均匀分布在观看屏幕上。
在本发明一个较佳实施例中,在步骤S1及S4中,对眼图的预处理操作包括对瞳孔区域的滤波去噪以及对角膜反射光斑的大致轮廓筛查。
在本发明一个较佳实施例中,在步骤S2中,瞳孔粗定位方法的过程为:
采用二维矩阵来表示瞳孔的二值图像,矩阵由M行,N列组成,采用行列定位求出矩阵的中心,即瞳孔粗定位中心,其坐标记为(Xei,Yei),以该矩阵中心作为该区域外接圆的圆心,将外接圆的半径r作为瞳孔粗定位时的半径。
在本发明一个较佳实施例中,在步骤S2中,瞳孔精定位方法采用质心法,具体过程为:
假设W是采样窗口区域,即瞳孔粗定位区域,x和y是W中像素的坐标,I(x,y)是(x,y)处的二值图像:
Figure BDA0002427077010000021
Figure BDA0002427077010000022
离散化后,可以写成:
Figure BDA0002427077010000023
Figure BDA0002427077010000024
其中
Figure BDA0002427077010000025
Figure BDA0002427077010000026
是离散化后图像平面中实际的质心位置,上一公式中的W代替离散的n个像素以构成采样窗口,xi和yi是第i个图像的几何中心坐标,并且是第i个图像的像素值积分。
在本发明一个较佳实施例中,步骤S3的具体步骤包括:
假设瞳孔-光斑向量e被表示为(xe,ye),并且屏幕注视点S由(xs,ys)表示,特定的凝视映射函数S=F(e)通过以下非线性方程建模:
Figure BDA0002427077010000031
其中,系数u0,u1,u2,u3和v0,v1,v2,v3是从一组成对的瞳孔中心-光斑中心矢量和相应的屏幕注视点推算出来;
假设原始眼睛位置在点O1处,此时在三维坐标中实际瞳孔中心P1(Px1,Py1,Pz1)与光斑中心G1(Gx1,Gy1,-f)构成的矢量记为
Figure BDA0002427077010000032
(Ex1,Ey1),其中f是相机的焦距;在眼图中,瞳孔中心p1(px1,py1,pz1)与角膜中心g1(gx1,gy1,-f)构成的矢量e1记为
Figure BDA0002427077010000033
(ex1,ey1),可看成
Figure BDA0002427077010000034
在眼图中的投影,瞳孔中心到角膜中心的距离记为r1;眼睛所观看的电脑屏幕位置记为S(Sx,Sy,Sz),求出此时的注视点映射函数为fo1,则函数fo1可以表示为:
S=fo1(e1)
当眼睛随着头部移动而移动到新位置O2时,当用户注视相同的屏幕点S(Sx,Sy,Sz)时,此时在三维坐标中实际瞳孔中心P2(Px2,Py2,Pz2)与光斑中心G2(Gx2,Gy2,-f)与光斑中心构成的矢量记为
Figure BDA0002427077010000035
(Ex2,Ey2);在眼图中,瞳孔中心p2(px2,py2,pz2)与角膜中心g2(gx2,gy2,-f)构成的矢量
Figure BDA0002427077010000036
记为(ex2,ey2),可看成
Figure BDA0002427077010000037
在眼图中的投影,瞳孔中心到角膜中心的距离记为r2;则r1、r2、Ex2、Ey2、ex1、ey1分别可以表示为:
Figure BDA0002427077010000038
Figure BDA0002427077010000039
Figure BDA00024270770100000310
Figure BDA00024270770100000311
Figure BDA00024270770100000312
Figure BDA0002427077010000041
其中d设置如下:
Figure BDA0002427077010000042
综合上述公式,在不同位置,眼图中瞳孔中心与角膜中心构成的矢量坐标之间的映射关系(即为头部动态补偿模型)表示为:
Figure BDA0002427077010000043
Figure BDA0002427077010000044
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种基于视频分析的注视点轨迹描述系统,主要包括:
所述数据采集及预处理模块,用于采集视频眼动图像,并对其进行预处理操作,处理后的数据信息作为瞳孔定位算法的输入数据;
所述瞳孔定位模块,通过瞳孔粗定位与瞳孔精定位方法,求出瞳孔中心与角膜反射光斑中心在眼图中的坐标;
所述注视点标定模块,通过构建动态头部补偿模型,求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系;
所述注视点轨迹描述模块,通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析,获取用户真正感兴趣区域。
本发明的有益效果是:本发明所述基于视频分析的注视点轨迹描述方法和系统,具有操作简单、描述精度高及应用前景广阔等优点。具体如下:
1、本发明操作简单:
本发明简单易懂,使用方便,只需一个红外摄像头和系统连接便可进行操作。采集视频之后就是注视点标定,只需要按顺序凝视屏幕上提前标定的九个点即可,每次实验只需标定一次,无需重复标定和修正,可以简便快捷地完成实验过程;
2、本发明注视点轨迹描述精度高:
为了保证瞳孔定位的准确性,本发明使用行列定位法与改进的质心算法分别进行瞳孔粗定位与精定位,求出瞳孔中心坐标与角膜反射光斑(即普尔钦斑)中心坐标。在进行注视点标定时,当用户将头部从执行特定凝视校准的位置移开时,由于头部运动引起的瞳孔中心-光斑中心矢量变化,特定凝视映射功能将无法准确估计凝视点,因此需要结合动态头部补偿模型求出注视映射函数,再将由角膜反射光斑的中心与瞳孔中心构成的矢量输入到特定的注视映射函数中,这样无论用户是否移动了头部,都可以准确地估计出屏幕上的注视点。以上两个过程的实现,大大地提高了映射的精度。
3、本发明应用前景广阔:
该系统可以实时采集眼动数据,了解注视点的移动轨迹,可以有效的获知用户的兴趣点位置。在心理认知领域,从人们的眼动轨迹来解读人的思维状态已成为应用心理学的研究热点,比如通过了解犯罪分子的心理状态,帮助公安部门侦破案件;在医疗领域,以渐冻人为例,后期他们只有眼睛可以动,他们与外界沟通只能通过眼睛,而该发明技术可以帮助他们交流;在个性化广告推荐领域,通过获取用户注视点,为用户推荐相同类型的广告,如果计算机知道用户注视的位置,软件就能通过调整屏幕,针对用户最感兴趣的内容呈现更多的信息。在基于视频分析的注视点轨迹描述系统中,映射关系的准确建立尤为重要,只有获取高精度的注视点区域,才能对用户的注视点轨迹进行分析,而本发明的主要目的就是结合头部动态补偿模型建立高精度的注视点轨迹描述系统,因此本发明具有巨大的应用潜力。
附图说明
图1是本发明基于视频分析的注视点轨迹描述方法的流程图;
图2是本发明实施例的数据采集过程图;
图3是瞳孔图像预处理操作的图像示意图;
图4是瞳孔粗定位与精定位的检测结果图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1,本发明实施例包括:
一种基于视频分析的注视点轨迹描述方法,包括以下步骤:
S1:采集用户观看已知标定网点的视频眼动图像,并对其进行预处理操作;已知标定网点为若干个标定点组成的矩形网格状网点,坐标已知,且各点依次均匀分布在观看屏幕上。优选的,通过使用帧率为30帧/秒的红外摄像头采集用户视频眼动图像。
结合图2,(a)图示出了标定视频采集实验范式,在标定的电脑屏幕上人工标定9个点,设定这9个点的坐标,使之呈3*3网格状分布,其中点与点之间的列间距是行间距的1.5倍。这九个点顺序呈现,每个点呈现时间为6s,注视九个点的时间为54s,加上前期的准备工作,一个标定流程共60s。受试者在实验过程中可以移动头部,但不能超出红外摄像头的拍摄范围,并与电脑屏幕相距60cm左右,要求受试者认真注视呈现的网点,红外摄像头连续记录眼动视频,通过点击系统的标定视频按钮进行录制并保存。
在采集视频的过程中会不可避免的引入噪声,这些噪声信号都会对图像产生干扰,滤波能够去除图像数据中的干扰信号,是图像预处理的关键步骤。结合图3,为了求出瞳孔的大致轮廓,首先将原始瞳孔图像转换为二值图像,黑色部分即为瞳孔。为了使瞳孔的二值图像更加结构化,使瞳孔的边缘曲线更加平滑,以便得到连通域的规则形状图形,本发明采用的形态学滤波对图像进行腐蚀和膨胀处理,选择strel函数中的disk参数来构造元素。对眼图的预处理操作还包括对角膜反射光斑的大致轮廓筛查,以提高定位的准确率。
本发明所述方法简单易懂,使用方便,只需一个红外摄像头和系统连接便可进行操作。采集视频之后就是注视点标定,只需要按顺序凝视屏幕上提前标定的九个点即可,每次实验只需标定一次,无需重复标定和修正,可以简便快捷地完成实验过程。
S2:通过瞳孔粗定位与瞳孔精定位方法,求出预处理后眼图中瞳孔中心与角膜反射光斑(即普尔钦斑)中心的坐标;
结合图4(d),瞳孔粗定位方法的过程为:采用行列定位法对瞳孔进行粗定位,数字图像数据可以用矩阵来表示,所以用二维矩阵来表示瞳孔的二值图像,矩阵由M行,N列组成,二值图像矩阵的值只有0和1,根据行列法求出矩阵的中心,即瞳孔粗定位中心。把矩阵中心作为该区域外接圆的圆心,也是瞳孔粗定位中心,其坐标记为(Xei,Yei),与此同时,把外接圆的半径r作为瞳孔粗定位时的半径。
结合图4(e),瞳孔精定位方法采用质心法,具体过程为:
假设W是采样窗口区域,即瞳孔粗定位区域,x和y是W中像素的坐标,I(x,y)是(x,y)处的二值图像:
Figure BDA0002427077010000061
Figure BDA0002427077010000071
离散化后,可以写成:
Figure BDA0002427077010000072
Figure BDA0002427077010000073
其中
Figure BDA0002427077010000074
Figure BDA0002427077010000075
是离散化后图像平面中实际的质心位置,上一公式中的W代替离散的n个像素以构成采样窗口,xi和yi是第i个图像的几何中心坐标,并且是第i个图像的像素值积分。
角膜反射光斑中心的获取与瞳孔中心类似。
参见图4,进行图像预处理时,将图像转化为二值图像,此时可求得瞳孔的大致轮廓,在此基础上可对瞳孔进行粗定位。通过瞳孔粗定位可求出一个近似圆形瞳孔区域,在此区域的基础上采用瞳孔精定位方法求得瞳孔中心位置。本发明选用误差最小、精度最高的质心法来对瞳孔进行精定位。
S3:将步骤S2中获得的由瞳孔中心与角膜反射光斑中心组成的矢量以及标定网点坐标作为已知条件,通过瞳孔角膜反射技术结合动态头部补偿模型,建立特定的注视点映射关系函数;
获得注视点映射关系函数的过程如下:
所提取的瞳孔-光斑向量e被表示为(xe,ye),并且屏幕注视点S由(xs,ys)表示。特定的凝视映射函数S=F(e)可以通过以下非线性方程建模:
Figure BDA0002427077010000076
系数u0,u1,u2,u3和v0,v1,v2,v3是从一组成对的瞳孔中心-光斑中心矢量和相应的屏幕注视点推算出来的。如果用户在凝视校准后没有显着地移动其头部,则可以使用特定的凝视映射功能基于提取的瞳孔闪烁矢量在屏幕上准确估计用户的凝视点。但是,当用户将头部从执行特定凝视校准的位置移开时,由于头部运动引起的瞳孔中心-光斑中心矢量变化,特定凝视映射功能将无法准确估计凝视点。因此,必须消除对这些瞳孔中心-光斑中心矢量的头部移动影响,以便利用特定的凝视映射功能来准确地估计屏幕凝视点。本发明采用的是动态头部补偿模型方法,它动态地为新的眼睛位置提供凝视映射功能。
假设原始眼睛位置在点O1处,此时在三维坐标中实际瞳孔中心P1(Px1,Py1,Pz1)与光斑中心G1(Gx1,Gy1,-f)构成的矢量记为
Figure BDA0002427077010000081
(Ex1,Ey1),其中f是相机的焦距。在眼图中,瞳孔中心p1(px1,py1,pz1)与角膜中心g1(gx1,gy1,-f)构成的矢量e1记为
Figure BDA0002427077010000082
(ex1,ey1),可看成
Figure BDA0002427077010000083
在眼图中的投影,瞳孔中心到角膜中心的距离记为r1。眼睛所观看的电脑屏幕位置记为S(Sx,Sy,Sz),可以求出此时的注视点映射函数为fo1,则函数fo1可以表示为:
S=fo1(e1)
当眼睛随着头部移动而移动到新位置O2时,当用户注视相同的屏幕点S(Sx,Sy,Sz)时,此时在三维坐标中实际瞳孔中心P2(Px2,Py2,Pz2)与光斑中心G2(Gx2,Gy2,-f)与光斑中心构成的矢量记为
Figure BDA0002427077010000084
(Ex2,Ey2)。在眼图中,瞳孔中心p2(px1,py1,pz1)与角膜中心g2(gx2,gy2,-f)构成的矢量
Figure BDA0002427077010000085
记为(ex2,ey2),可看成
Figure BDA0002427077010000086
在眼图中的投影,瞳孔中心到角膜中心的距离记为r2。r表示瞳孔中心到角膜中心的距离,不会随着眼球的旋转而改变。则r1、r2、Ex2、Ey2、ex1、ey1分别可以表示为:
Figure BDA0002427077010000087
Figure BDA0002427077010000088
Figure BDA0002427077010000089
Figure BDA00024270770100000810
Figure BDA00024270770100000811
Figure BDA00024270770100000812
其中d设置如下:
Figure BDA0002427077010000091
综合上述公式,在不同位置,眼图中瞳孔中心与角膜中心构成的矢量坐标之间的映射关系(即为头部动态补偿模型)可以表示为:
Figure BDA0002427077010000092
Figure BDA0002427077010000093
S4:采集用户观看视频或/和图片的视频眼动图像,并对其进行预处理操作;
结合图2,(b)图示出了映射视频采集实验范式。本实施例中,在受试者看完标定点后,紧接着给出一张广告类图片让受试者自由观察,注视符合个人偏好的广告内容,同时记录受试者的眼动观测视频,通过点击系统的映射视频按钮进行录制并保存。标定视频按钮与映射视频按钮均是系统界面上的控件。
S5:重复步骤S2,将获得的由瞳孔中心与角膜反射光斑中心组成的矢量代入步骤S3建立的映射关系函数,求出用户在观看屏幕上的注视点坐标;
S6:通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析,获取用户真正感兴趣区域,并对网页类布局规划进行反馈。
为了保证瞳孔定位的准确性,本发明所述方法使用行列定位法与改进的质心算法分别进行瞳孔粗定位与精定位,求出瞳孔中心坐标与角膜反射光斑(即普尔钦斑)中心坐标。在进行注视点标定时,当用户将头部从执行特定凝视校准的位置移开时,由于头部运动引起的瞳孔中心-光斑中心矢量变化,特定凝视映射功能将无法准确估计凝视点,因此需要结合动态头部补偿模型求出注视映射函数,再将由角膜反射光斑的中心与瞳孔中心构成的矢量输入到特定的注视映射函数中,这样无论用户是否移动了头部,都可以准确地估计出屏幕上的注视点。以上两个过程的实现,大大地提高了映射的精度。
本发明还提供了一种基于视频分析的注视点轨迹描述系统,主要包括:
所述数据采集及预处理模块,用于采集视频眼动图像,并对其进行预处理操作,处理后的数据信息作为瞳孔定位算法的输入数据;
所述瞳孔定位模块,通过瞳孔粗定位与瞳孔精定位方法,求出瞳孔中心与角膜反射光斑中心在眼图中的坐标;
所述注视点标定模块,通过构建动态头部补偿模型,求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系;
所述注视点轨迹描述模块,通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析,获取用户真正感兴趣区域。
该系统可以实时采集眼动数据,了解注视点的移动轨迹,可以有效的获知用户的兴趣点位置。在心理认知领域,从人们的眼动轨迹来解读人的思维状态已成为应用心理学的研究热点,比如通过了解犯罪分子的心理状态,帮助公安部门侦破案件;在医疗领域,以渐冻人为例,后期他们只有眼睛可以动,他们与外界沟通只能通过眼睛,而该发明技术可以帮助他们交流;在个性化广告推荐领域,通过获取用户注视点,为用户推荐相同类型的广告,如果计算机知道用户注视的位置,软件就能通过调整屏幕,针对用户最感兴趣的内容呈现更多的信息。在基于视频分析的注视点轨迹描述系统中,映射关系的准确建立尤为重要,只有获取高精度的注视点区域,才能对用户的注视点轨迹进行分析,而本发明的主要目的就是结合头部动态补偿模型建立高精度的注视点轨迹描述系统,因此本发明具有巨大的应用潜力。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种基于视频分析的注视点轨迹描述方法,包括以下步骤:
S1:采集用户观看已知标定网点的视频眼动图像,并对其进行预处理操作;
S2:通过瞳孔粗定位与瞳孔精定位方法,求出预处理后眼图中瞳孔中心与角膜反射光斑中心的坐标;
S3:将步骤S2中获得的由瞳孔中心与角膜反射光斑中心组成的矢量以及标定网点坐标作为已知条件,通过瞳孔角膜反射技术结合动态头部补偿模型,建立特定的注视点映射关系函数;
S4:采集用户观看视频或/和图片的视频眼动图像,并对其进行预处理操作;
S5:重复步骤S2,将获得的由瞳孔中心与角膜反射光斑中心组成的矢量代入步骤S3建立的映射关系函数,求出用户在观看屏幕上的注视点坐标;
S6:通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析,获取用户真正感兴趣区域,并对网页类布局规划进行反馈。
2.根据权利要求1所述的基于视频分析的注视点轨迹描述方法,其特征在于,在步骤S1中,已知标定网点为若干个标定点组成的矩形网格状网点,坐标已知,且各点依次均匀分布在观看屏幕上。
3.根据权利要求1所述的基于视频分析的注视点轨迹描述方法,其特征在于,在步骤S1及S4中,对眼图的预处理操作包括对瞳孔区域的滤波去噪以及对角膜反射光斑的大致轮廓筛查。
4.根据权利要求1所述的基于视频分析的注视点轨迹描述方法,其特征在于,在步骤S2中,瞳孔粗定位方法的过程为:
采用二维矩阵来表示瞳孔的二值图像,矩阵由M行,N列组成,采用行列定位求出矩阵的中心,即瞳孔粗定位中心,其坐标记为(Xei,Yei),以该矩阵中心作为该区域外接圆的圆心,将外接圆的半径r作为瞳孔粗定位时的半径。
5.根据权利要求1所述的基于视频分析的注视点轨迹描述方法,其特征在于,在步骤S2中,瞳孔精定位方法采用质心法,具体过程为:
假设W是采样窗口区域,即瞳孔粗定位区域,x和y是W中像素的坐标,I(x,y)是(x,y)处的二值图像:
Figure FDA0002427076000000011
Figure FDA0002427076000000021
离散化后,可以写成:
Figure FDA0002427076000000022
Figure FDA0002427076000000023
其中
Figure FDA0002427076000000024
Figure FDA0002427076000000025
是离散化后图像平面中实际的质心位置,上一公式中的W代替离散的n个像素以构成采样窗口,xi和yi是第i个图像的几何中心坐标,并且是第i个图像的像素值积分。
6.根据权利要求1所述的基于视频分析的注视点轨迹描述方法,其特征在于,步骤S3的具体步骤包括:
假设瞳孔-光斑向量e被表示为(xe,ye),并且屏幕注视点S由(xs,ys)表示,特定的凝视映射函数S=F(e)通过以下非线性方程建模:
Figure FDA0002427076000000026
其中,系数u0,u1,u2,u3和v0,v1,v2,v3是从一组成对的瞳孔中心-光斑中心矢量和相应的屏幕注视点推算出来;
假设原始眼睛位置在点O1处,此时在三维坐标中实际瞳孔中心P1(Px1,Py1,Pz1)与光斑中心G1(Gx1,Gy1,-f)构成的矢量记为
Figure FDA0002427076000000027
其中f是相机的焦距;在眼图中,瞳孔中心p1(px1,py1,pz1)与角膜中心g1(gx1,gy1,-f)构成的矢量e1记为
Figure FDA0002427076000000028
可看成
Figure FDA0002427076000000029
在眼图中的投影,瞳孔中心到角膜中心的距离记为r1;眼睛所观看的电脑屏幕位置记为S(Sx,Sy,Sz),求出此时的注视点映射函数为fo1,则函数fo1可以表示为:
S=fo1(e1)
当眼睛随着头部移动而移动到新位置O2时,当用户注视相同的屏幕点S(Sx,Sy,Sz)时,此时在三维坐标中实际瞳孔中心P2(Px2,Py2,Pz2)与光斑中心G2(Gx2,Gy2,-f)与光斑中心构成的矢量记为
Figure FDA00024270760000000210
在眼图中,瞳孔中心p2(px2,py2,pz2)与角膜中心g2(gx2,gy2,-f)构成的矢量
Figure FDA0002427076000000031
记为(ex2,ey2),可看成
Figure FDA0002427076000000032
在眼图中的投影,瞳孔中心到角膜中心的距离记为r2;则r1、r2、Ex2、Ey2、ex1、ey1分别可以表示为:
Figure FDA0002427076000000033
Figure FDA0002427076000000034
Figure FDA0002427076000000035
Figure FDA0002427076000000036
Figure FDA0002427076000000037
Figure FDA0002427076000000038
其中d设置如下:
Figure FDA0002427076000000039
综合上述公式,在不同位置,眼图中瞳孔中心与角膜中心构成的矢量坐标之间的映射关系(即为头部动态补偿模型)表示为:
Figure FDA00024270760000000310
Figure FDA00024270760000000311
7.一种基于视频分析的注视点轨迹描述系统,其特征在于,主要包括:
所述数据采集及预处理模块,用于采集视频眼动图像,并对其进行预处理操作,处理后的数据信息作为瞳孔定位算法的输入数据;
所述瞳孔定位模块,通过瞳孔粗定位与瞳孔精定位方法,求出瞳孔中心与角膜反射光斑中心在眼图中的坐标;
所述注视点标定模块,通过构建动态头部补偿模型,求出瞳孔中心与角膜反射光斑中心所构成的矢量与注视点之间的三维空间映射关系;
所述注视点轨迹描述模块,通过生成的注视点区域热点图与注视点区域散点图对用户观看结果进行分析,获取用户真正感兴趣区域。
CN202010224123.9A 2019-12-27 2020-03-26 基于视频分析的注视点轨迹描述方法及其系统 Active CN111443804B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2019113814439 2019-12-27
CN201911381443 2019-12-27

Publications (2)

Publication Number Publication Date
CN111443804A true CN111443804A (zh) 2020-07-24
CN111443804B CN111443804B (zh) 2022-08-19

Family

ID=71648028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010224123.9A Active CN111443804B (zh) 2019-12-27 2020-03-26 基于视频分析的注视点轨迹描述方法及其系统

Country Status (1)

Country Link
CN (1) CN111443804B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158879A (zh) * 2021-04-19 2021-07-23 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113159844A (zh) * 2021-04-20 2021-07-23 上海外国语大学 一种基于眼球轨迹追踪的广告智能评估方法及系统
CN113391699A (zh) * 2021-06-10 2021-09-14 昆明理工大学 一种基于动态眼动指标的眼势交互模型方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US20040174496A1 (en) * 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
WO2010003410A1 (en) * 2008-07-08 2010-01-14 It-University Of Copenhagen Eye gaze tracking
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107729871A (zh) * 2017-11-02 2018-02-23 北方工业大学 基于红外光的人眼活动轨迹追踪方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123027A1 (en) * 2001-12-28 2003-07-03 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
US20040174496A1 (en) * 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
WO2010003410A1 (en) * 2008-07-08 2010-01-14 It-University Of Copenhagen Eye gaze tracking
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
CN102125422A (zh) * 2010-01-12 2011-07-20 北京科技大学 视线追踪系统中基于瞳孔-角膜反射的视线估计方法
CN106056092A (zh) * 2016-06-08 2016-10-26 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
WO2017211066A1 (zh) * 2016-06-08 2017-12-14 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107729871A (zh) * 2017-11-02 2018-02-23 北方工业大学 基于红外光的人眼活动轨迹追踪方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CARLOS H 等: "Eye gaze tracking techniques for interactive applications", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 *
张太宁等: "基于暗瞳图像的人眼视线估计", 《物理学报》 *
梁梦颖 等: "基于眼动视频的注视点轨迹描述方法及应用研究", 《安徽大学学报(自然科学版)》 *
金纯等: "视线追踪系统中注视点估计算法研究", 《科学技术与工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158879A (zh) * 2021-04-19 2021-07-23 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113158879B (zh) * 2021-04-19 2022-06-10 天津大学 基于匹配特征的三维注视点估计及三维眼动模型建立方法
CN113159844A (zh) * 2021-04-20 2021-07-23 上海外国语大学 一种基于眼球轨迹追踪的广告智能评估方法及系统
CN113159844B (zh) * 2021-04-20 2022-12-23 上海外国语大学 一种基于眼球轨迹追踪的广告智能评估方法及系统
CN113391699A (zh) * 2021-06-10 2021-09-14 昆明理工大学 一种基于动态眼动指标的眼势交互模型方法
CN113391699B (zh) * 2021-06-10 2022-06-21 昆明理工大学 一种基于动态眼动指标的眼势交互模型方法

Also Published As

Publication number Publication date
CN111443804B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
Tonsen et al. Invisibleeye: Mobile eye tracking using multiple low-resolution cameras and learning-based gaze estimation
CN111443804B (zh) 基于视频分析的注视点轨迹描述方法及其系统
Chen et al. Probabilistic gaze estimation without active personal calibration
CN112970056A (zh) 使用高速和精确的用户交互跟踪的人类-计算机接口
Chen et al. A probabilistic approach to online eye gaze tracking without explicit personal calibration
Kocejko et al. Eye mouse for disabled
WO2020042542A1 (zh) 眼动控制校准数据获取方法和装置
US20020039111A1 (en) Automated visual tracking for computer access
de San Roman et al. Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
KR20210122271A (ko) 눈 추적 장치 및 방법
Mulligan Recovery of motion parameters from distortions in scanned images
Shi et al. SalientGaze: Saliency-based gaze correction in virtual reality
Chaudhary et al. Motion tracking of iris features to detect small eye movements
Al-Rahayfeh et al. Enhanced frame rate for real-time eye tracking using circular hough transform
KR20160117716A (ko) 안구전도 시선 트래킹 기술 기반 눈글 인식 방법 및 시스템
CN112232128A (zh) 基于视线追踪的老年残障人士照护需求识别方法
Berger et al. Computer-vision-enabled augmented reality fundus biomicroscopy
Modi et al. Real-time camera-based eye gaze tracking using convolutional neural network: a case study on social media website
Li et al. A model-based approach to video-based eye tracking
Madhusanka et al. Biofeedback method for human–computer interaction to improve elder caring: Eye-gaze tracking
Attivissimo et al. Performance evaluation of image processing algorithms for eye blinking detection
Khan et al. A new 3D eyeball tracking system to enhance the usability of page scrolling
Lin An eye behavior measuring device for VR system
Sadri et al. Particle filtering in the design of an accurate pupil tracking system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant