CN107133584A - 基于眼动跟踪的隐式意图识别分类方法 - Google Patents

基于眼动跟踪的隐式意图识别分类方法 Download PDF

Info

Publication number
CN107133584A
CN107133584A CN201710288660.8A CN201710288660A CN107133584A CN 107133584 A CN107133584 A CN 107133584A CN 201710288660 A CN201710288660 A CN 201710288660A CN 107133584 A CN107133584 A CN 107133584A
Authority
CN
China
Prior art keywords
intended
image
implicit
pupil size
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710288660.8A
Other languages
English (en)
Inventor
吕健
潘伟杰
黄海松
袁庆霓
马丽莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN201710288660.8A priority Critical patent/CN107133584A/zh
Publication of CN107133584A publication Critical patent/CN107133584A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于眼动跟踪的隐式意图识别分类方法，包括下述步骤：选取产品图片集作为视觉刺激的来源；设定图像区域（AOI），该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小；建立测量瞳孔大小变化的基线模型，采用基于图片强度的基线模型，分离强度变化对瞳孔刺激的影响，并且以此建立基于用户瞳孔大小信息的基准模型，确定基线阈值区分两种隐式意图：非目的性意图和目的性意图；基于注视时间、注视次数和瞳孔大小变化这三个参数，采用分类器把用户的隐式意图分为非目的性意图和目的性意图。本发明具有能在不同的意图条件下识别用户隐式意图，且识别精度高的特点。

Description

基于眼动跟踪的隐式意图识别分类方法
技术领域
本发明属于人机交互技术领域，具体地说是涉及一种基于眼动跟踪的隐式意图识别分类方法。
背景技术
在心理学与认知科学中意图建模与识别被认为是创造人机界面(HCI)和人-机器人交互的新模式，解释用户的隐式意图识别一直是人机交互研究的热点。眼动是由人类认知系统控制的必不可少的运动。换而言之，眼球运动以及瞳孔的大小变化不是随机的，而是与用户接受的视觉刺激具有直接的相关性。作为一个“心灵的窗口”，眼动与人类的认知过程是紧密耦合的。当人们浏览一个视觉场景，不同隐式意图导致不同的眼动模式。根据“eye-mind”假说，认为所看即所想。因此，人类的视觉包含了关于一个人的兴趣，爱好，和意图等更丰富，更复杂的信息。
现有技术中，程时伟等人提出了一种基于眼动跟踪的移动设备阅读辅助系统，根据瞳孔位置的变化定位当前阅读文本行，帮助阅读者在阅读中断后迅速找到中断前的阅读地点；李姗等人建立了一个面向残疾人式的眼动交互绘画系统，运用注视时间的长短判断眼动行为；Park等人使用支持向量机(SVM)分类的方法研究人的认知与情感；Hoeks等人提出了瞳孔的大小可以用来衡量人的注意力。在此类研究中，都将眼动跟踪作为研究途径来获取人的隐式意图，从而为产品或系统研发提供支持，但不能在不同意图条件下识别隐式意图，且识别精度低。
发明内容
本发明的目的在于克服上述缺点而提供一种能在不同的意图条件下识别用户隐式意图，且识别精度高的基于眼动跟踪的隐式意图识别分类方法。
本发明的一种基于眼动跟踪的隐式意图识别分类方法，包括下述步骤：
(1)选取产品图片集作为视觉刺激的来源；
(2)设定图像区域(AOI)，该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小，其中有目标的图像区域和有明确目标的图像区域分别对应用户的非目的性意图和目的性意图；
(3)建立测量瞳孔大小变化的基线模型，采用基于图片强度的基线模型，分离强度变化对瞳孔刺激的影响，并且以此建立基于用户瞳孔大小信息的基准模型，确定基线阈值区分两种隐式意图：非目的性意图和目的性意图；
(4)基于注视时间、注视次数和瞳孔大小变化这三个参数，采用分类器把用户的隐式意图分为非目的性意图和目的性意图。
(4)基于注视时间、注视次数和瞳孔大小变化这三个参数，采用分类器把用户的隐式意图分为非目的性意图和目的性意图。
上述的基于眼动跟踪的隐式意图识别分类方法，其中：在步骤(3)中，所述基于图片强度的基线模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级，利用n阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线。
上述的基于眼动跟踪的隐式意图识别分类方法，其中：所述设定感兴趣区域(AOI)采用搜索或定位方式。
上述的基于眼动跟踪的隐式意图识别分类方法，其中：所述分类器为构造最近邻分类器(NN)或者支持向量机分类器(SVM)。
本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，设定图像区域(AOI)，该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小，其中有目标的图像区域和有明确目标的图像区域分别对应用户的非目的性意图和目的性意图。该方法把人即用户的隐式意图分为：非目的性意图和目的性意图。非目的性意图是指找到一些有趣的对象作为视觉输入，其中不包含特定的目标；目的性意图是指人渴望找到含有特定目标的感兴趣区域。该方法基于注视时间，注视次数，和瞳孔大小变化的人类隐式意图识别模型，并且定义了人类隐式意图的分类，使用最近邻(NN)和支持向量机(SVM)分类器有效地对人类隐式意图分类。总之，本发明能定性和定量地对人的意图信息进行分类，准确、快速地感知用户的隐性意图能为产品的研发起到指引性的作用。
以下通过具体实施方式，进一步说明本发明的有益效果。
附图说明
图1为本发明的流程示意图；
图2(a)为实施例中的榨汁机-1图；
图2(b)为实施例中的榨汁机-2图；
图2(c)为实施例中的榨汁机-3图；
图2(d)为实施例中的榨汁机-4图；
图2(e)为实施例中的榨汁机-5图；
图3(a)为实施例中的瞳孔中心数据Ⅰ图；
图3(b)为实施例中的瞳孔中心数据Ⅱ图；
图3(c)为实施例中的瞳孔深度信息中心的点图；
图3(d)为实施例中的校准的测试图像；
图3(e)为实施例中的监测到的眼球位置图；
图4(a)为实施例中的榨汁机-1非目的性热图；
图4(b)为实施例中的榨汁机-2非目的性热图；
图4(c)为实施例中的榨汁机-3非目的性热图；
图4(d)为实施例中的榨汁机-4非目的性热图；
图4(e)为实施例中的榨汁机-5非目的性热图；
图5(a)为实施例中的“控制按钮”目的性意图的热图；
图5(b)为实施例中的“控制按钮”目的性意图的瞳孔大小变化图；
图5(c)为实施例中的“控制按钮”目的性意图的注视时间图；
图5(d)为实施例中的“控制按钮”目的性意图的注视次数图；
图6(a)为实施例中的“出汁嘴”目的性意图的热图；
图6(b)为实施例中的“出汁嘴”目的性意图的瞳孔大小变化图；
图6(c)为实施例中的“出汁嘴”目的性意图的注视时间图；
图6(d)为实施例中的“出汁嘴”目的性意图的注视次数图；
图7(a)为实施例中的瞳孔大小变化的平均值；
图7(b)为实施例中的注视时间的平均值；
图7(c)为实施例中的注视次数的平均值。
具体实施方式
以下结合附图及较佳实施例，对依据本发明提出的基于眼动跟踪的隐式意图识别分类方法结构具体实施方式、特征及其功效，详细说明如后。
如图1所示，本发明的一种基于眼动跟踪的隐式意图识别分类方法，包括下述步骤：
(1)选取产品图片集作为视觉刺激的来源；
(2)采用搜索或定位方式设定图像区域(AOI)，该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小；
(3)建立测量瞳孔大小变化的基线模型，采用基于图片强度的基线模型，分离强度变化对瞳孔刺激的影响，并且以此建立基于用户瞳孔大小信息的基准模型，确定基线阈值区分两种隐式意图：非目的性意图和目的性意图；其中，用基于图片强度的基线模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级，利用n阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线；
(4)基于注视时间、注视次数和瞳孔大小变化这三个参数，采用构造最近邻分类器(NN)或者支持向量机分类器(SVM)把用户的隐式意图分为非目的性意图和目的性意图。
(5)采用单因素方差分析数据，包括均值、标准偏差、显著性水平；采用配对t–检测来比较注视时间、注视次数和瞳孔大小变化之间的非目的性意图和目的性意图；
为了精确地测量瞳孔大小的变化，提出了一个关于图片强度的基线模型。要生成模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级。利用n阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线。将强度设为x，瞳孔大小变化设为y，n＜M，输入到{(xi,yi),i＝1,2,.....,M}中。
在(式1)中，可以通过最小二乘近似法得到：
把(式1)带入(式2)中：
第(n+1)项多项式的pn(x)的系数可以使用下面的等式来获得：
可以推出左眼瞳孔随强度大小变化的表达式，如(式6)。右眼瞳孔随强度大小变化的表达式，如(式7)。
左眼：
右眼：
在进行视觉刺激时，不论刺激强度，瞳孔的大小都可以得到一个作为基准值的百分比，也就是说，明确地分离了强度变化对瞳孔刺激的影响,并且以此建立基于受试者瞳孔大小信息的基准模型，以确定一个基线阈值来区分两种隐式意图。
实施例如下：
据榨汁机行业调查，消费者在购买榨汁机时，有70％的企业用户认为产品系统的稳定性，可靠性，效率，安全性，舒适性，品牌文化，风格，使用习惯，人机交互等隐式意图是其选择的关键影响因素。从认知论角度分析，人类认知事物是从视觉识别开始的，通过视觉神经传导进入大脑处理中枢，经过大脑中人类自身的文化、社会、技术及审美领域的知识综合加工，从而形成模糊的感性意象，成为我们对事物的最直接、最深刻的语义认知。因此，对人类认知的隐式意图进行深入的研究，对工业产品的设计研究具有引导性作用。
1实验设备
①EyeSo眼动仪
②一台安装眼动仪软件EyeSo的电脑。
③显示器遮光罩。
2实验受试者即用户
本实验的受试者即用户一共40人，其中20名男生,20名女生作为实验的对象。所有的受试者眼睛矫正后视力良好，没有色盲色弱等情况。
表1受试者构成情况
3实验样本的设定
榨汁机造型中，通常以正工作面造型作为榨汁机的视觉认知面。正工作面造型包括了榨汁机的主要功能操作与人机交互，也传达了榨汁机产品的主要意象。在本次实验中，选取了五幅不同造型的榨汁机图像。并且在每幅图像中预设四个感兴趣的领域(AOI)，图2所示。
4实验任务设计
本实验的目的是测试人类隐式意图，分别设计以下两组对照实验进行实验及分析验证。
实验1：非目的性意图视觉跟踪实验。
实验任务：受试者观看榨汁机的图像，在没有任何目标的情况下，在视觉刺激图像中搜索或定位一个感兴趣的对象。
实验时间：每名受试者观看每幅图像的时间为1000ms。
实验2：目的性意图视觉跟踪实验。
实验任务：受试者观看榨汁机的图像，搜索或定位一个含有特定目标的对象或区域，从中获取一些特别的信息。
实验时间：每名受试者观看每幅图像的时间为1000ms。
5人类隐式意图眼动实验
5.1EyeSo眼动仪系统的校验
确保实验能准确无误地进行，实验开始前对眼动仪的校准是非常有必要的。视觉刺激能准确地在监视器上显示，使用眼动跟踪系统监测瞳孔，并用红外相机测量人眼的运动。监测人眼球运动的整个过程如图3所示。在使用红外摄像机监测到瞳孔之后，我们得到了瞳孔中心数据如图3(a)和3(b)。图3(c)显示了两名学生的瞳孔深度信息中心的点。图3(d)是校准的测试图像。图3(e)表示监测到的眼球位置，颜色圈和绿点是眼睛的注视点。如果校准结果不满意，建议重新校准跟踪系统。
5.2实验过程
实验1：非目的性意图视觉跟踪实验
40名受试者在没有任何目标的情况下，依次查看5幅榨汁机视觉刺激图像，并在其中搜索或定位一个感兴趣的对象，形成的非目的性热图分布情况如图4所示。
实验2：目的性意图视觉跟踪实验
受试者将对每一幅图像的每一个兴趣区域(AOI)进行目的性意图测试。主要获得受试者个体在视觉刺激过程中注视时间，注视点数目，和平均瞳孔大小(％，相对于上文所述的图像刺激的平均强度基线值)的数据以及热图分布。例如：在“榨汁机-1”图像中，随机抽取一名受试者搜索感兴趣区域(AOI)：“控制按钮”。其结果如图5所示：图5(a)是某一名受试者观察目的性意图AOI的热图分布；图5(b)是受试者观察“榨汁机-1”图像，在不同意图条件下的瞳孔大小变化；图5(c)是指受试者在目的性意图与非目的性意图条件下观察各个AOI区域的注视时间；5(d)是指受试者在两种意图条件下观察各个AOI区域的注视次数。
为了排除图像或者受试者个体因素对实验数据的影响，又随机抽取另一名受试者对“榨汁机-3”这幅图像的感兴趣区域(AOI)：“出汁嘴”的实验结果，如图6所示。
40名受试者在不同意图条件下对每幅图像每个感兴趣区域进行实验的参数变化的平均值如图7所示。图7为参数变化的平均值(a)瞳孔大小变化(b)注视时间(c)注视次数
可以很直观的观察到，非目的性意图与目的性意图在不同感兴趣区域(AOI)中的分布情况。目的性意图在感兴趣区域(AOI)测试时，其注视时间和注视次数的数值比其他非感兴趣区域(AOI)测试区域的数值显著偏高。其次还可以观察到，目的性意图测试时的瞳孔尺寸要比非目的性意图测试时大。由这些参数值的显著差异，很容易训练一个分类器用于区分不同意图的条件。因此，三个参数的组合(注视时间，注视次数，瞳孔大小变化)可以认为是不同视觉任务的隐式意图分类条件。
6实验验证
6.1分类器评估意图分类的准确性
基于注视时间，注视次数和瞳孔大小变化这三个参数，我们使用两种不同的分类器：最近邻(NN)分类器和支持向量机(SVM)分类器对人类的隐式意图分类。训练和测试分类所需要的数据来源于40名健康的受试者，该数据集的详细信息如下：
①在40名受试者中，其中20名受试者的数据用于训练和验证分类器。样本总数为300，其中150个样本对应非目的性意图，150个样本对应目的性意图。
②其他20名受试者的数据用于测试分类器。样本总数为300，其中150个样本对应非目的性意图，150个样本对应目的性意图。
在目前的工作中，测试数据不同于训练和验证的数据。换句话说，分类训练时使用训练数据，并使用验证数据进行验证，但测试期间不考虑训练数据。使用分类器对20名受试者的测试数据进行分类，该分类结果如表2，表3所示，显示了该方法使用最近邻和支持向量机分类器的平均识别精度。
表2最近邻算法分类非目的性意图和目的性意图
表3支持向量机算法分类非目的性意图和目的性意图
从上述两个表中可以观察到,该系统能够有效区分人类的意图，支持向量机比最近邻分类器的识别精度高，平均识别精度高于85％。也可以推断出，与目的性意图相比该系统能更好的识别非目的性意图,这可能是由于①受试者对实验任务理解不充分②用于分类器的训练数据不足等原因造成的。
6.2眼动数据的方差分析
对本实验中三个重要参数：注视时间，注视次数，瞳孔大小，我们进行了单因素方差分析以及配对t-检验对数据进行分析。单因素方差分析的结果，如表4所示。
表4单因素方差分析结果
其中，M–平均值,Sd–标准偏差,显著性水平α＝0.05，***p＜0.000。
配对t–检测是用来比较注视时间，注视次数和瞳孔大小变化之间的非目的性意图和目的性意图的任务组。表3中结果表明不同参数存在显著差异。平均注视时间(t(667)＝12.432,p＜0.000),固定数(t(667)＝26.341,p＜0.000)和瞳孔大小(t(667)＝6.809,p＜0.000)。这些结果证实,眼球运动模式可以区分非目的性意图和目的性意图。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种基于眼动跟踪的隐式意图识别分类方法，包括下述步骤：
（1）选取产品图片集作为视觉刺激的来源；
（2）设定图像区域（AOI），该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小；
（3）建立测量瞳孔大小变化的基线模型，采用基于图片强度的基线模型，分离强度变化对瞳孔刺激的影响，并且以此建立基于用户瞳孔大小信息的基准模型，确定基线阈值区分两种隐式意图：非目的性意图和目的性意图；
（4）基于注视时间、注视次数和瞳孔大小变化这三个参数，采用分类器把用户的隐式意图分为非目的性意图和目的性意图。
2.如权利要求1所述的基于眼动跟踪的隐式意图识别分类方法，其特征在于：在步骤（3）中，所述基于图片强度的基线模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级，利用阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线。
3.如权利要求1或2所述的基于眼动跟踪的隐式意图识别分类方法，其特征在于：所述设定感兴趣区域（AOI）采用搜索或定位方式。
4.如权利要求1或2所述的基于眼动跟踪的隐式意图识别分类方法，其特征在于：在步骤（4）中，所述分类器为构造最近邻分类器（NN）或者支持向量机分类器（SVM）。
CN201710288660.8A 2017-04-27 2017-04-27 基于眼动跟踪的隐式意图识别分类方法 Pending CN107133584A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710288660.8A CN107133584A (zh) 2017-04-27 2017-04-27 基于眼动跟踪的隐式意图识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710288660.8A CN107133584A (zh) 2017-04-27 2017-04-27 基于眼动跟踪的隐式意图识别分类方法

Publications (1)

Publication Number Publication Date
CN107133584A true CN107133584A (zh) 2017-09-05

Family

ID=59715681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710288660.8A Pending CN107133584A (zh) 2017-04-27 2017-04-27 基于眼动跟踪的隐式意图识别分类方法

Country Status (1)

Country Link
CN (1) CN107133584A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977401A (zh) * 2017-10-18 2018-05-01 依睿迪亚（南京）智能科技有限公司 一种基于矩阵结构的眼动追踪模式识别对比的可视化方法
CN108256910A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 内容推荐方法、装置及电子设备
CN108735291A (zh) * 2018-05-21 2018-11-02 上海青研科技有限公司 基于内隐测试的毒品成瘾人员毒品渴求度测评方法及装置
CN109165646A (zh) * 2018-08-16 2019-01-08 北京七鑫易维信息技术有限公司 一种确定图像中用户的感兴趣区域的方法及装置
CN109189222A (zh) * 2018-08-28 2019-01-11 广东工业大学 一种基于检测瞳孔直径变化的人机交互方法及装置
CN109199412A (zh) * 2018-09-28 2019-01-15 南京工程学院 基于眼动数据分析的异常情绪识别方法
CN109222888A (zh) * 2018-11-05 2019-01-18 温州职业技术学院 一种基于眼动技术判断心理测试可靠性的方法
CN109259775A (zh) * 2018-08-30 2019-01-25 清华大学 一种人脸刺激范式生成方法及自闭症分析系统
CN109726713A (zh) * 2018-12-03 2019-05-07 东南大学 基于消费级视线追踪仪的用户感兴趣区域检测系统和方法
CN109960892A (zh) * 2019-04-04 2019-07-02 北京理工大学 一种基于眼动信号的cad指令生成方法及系统
CN112861828A (zh) * 2021-04-12 2021-05-28 山东大学 一种基于历史视觉行为的注视意图识别方法及系统
CN112890815A (zh) * 2019-12-04 2021-06-04 中国科学院深圳先进技术研究院 一种基于深度学习的孤独症辅助评估系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441513A (zh) * 2008-11-26 2009-05-27 北京科技大学 一种利用视觉进行非接触式人机交互的系统
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN104463216A (zh) * 2014-12-15 2015-03-25 北京大学 基于计算机视觉的眼动模式数据自动获取方法
CN104966423A (zh) * 2015-04-08 2015-10-07 闽南师范大学 一种基于生物反馈的远程学习者分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101441513A (zh) * 2008-11-26 2009-05-27 北京科技大学 一种利用视觉进行非接触式人机交互的系统
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN104463216A (zh) * 2014-12-15 2015-03-25 北京大学 基于计算机视觉的眼动模式数据自动获取方法
CN104966423A (zh) * 2015-04-08 2015-10-07 闽南师范大学 一种基于生物反馈的远程学习者分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNG-MIN JANG等: ""Human intention recognition based on eyeball movement pattern and pupil size variation"", 《NEUROCOMPUTING》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977401A (zh) * 2017-10-18 2018-05-01 依睿迪亚（南京）智能科技有限公司 一种基于矩阵结构的眼动追踪模式识别对比的可视化方法
CN107977401B (zh) * 2017-10-18 2022-04-26 依睿迪亚（南京）智能科技有限公司 一种基于矩阵结构的眼动追踪模式识别对比的可视化方法
CN108256910A (zh) * 2018-01-10 2018-07-06 京东方科技集团股份有限公司 内容推荐方法、装置及电子设备
CN108735291A (zh) * 2018-05-21 2018-11-02 上海青研科技有限公司 基于内隐测试的毒品成瘾人员毒品渴求度测评方法及装置
CN109165646A (zh) * 2018-08-16 2019-01-08 北京七鑫易维信息技术有限公司 一种确定图像中用户的感兴趣区域的方法及装置
CN109189222A (zh) * 2018-08-28 2019-01-11 广东工业大学 一种基于检测瞳孔直径变化的人机交互方法及装置
CN109259775A (zh) * 2018-08-30 2019-01-25 清华大学 一种人脸刺激范式生成方法及自闭症分析系统
CN109199412A (zh) * 2018-09-28 2019-01-15 南京工程学院 基于眼动数据分析的异常情绪识别方法
CN109199412B (zh) * 2018-09-28 2021-11-09 南京工程学院 基于眼动数据分析的异常情绪识别方法
CN109222888B (zh) * 2018-11-05 2021-03-23 温州职业技术学院 一种基于眼动技术判断心理测试可靠性的方法
CN109222888A (zh) * 2018-11-05 2019-01-18 温州职业技术学院 一种基于眼动技术判断心理测试可靠性的方法
CN109726713A (zh) * 2018-12-03 2019-05-07 东南大学 基于消费级视线追踪仪的用户感兴趣区域检测系统和方法
CN109960892B (zh) * 2019-04-04 2020-09-01 北京理工大学 一种基于眼动信号的cad指令生成方法及系统
CN109960892A (zh) * 2019-04-04 2019-07-02 北京理工大学 一种基于眼动信号的cad指令生成方法及系统
CN112890815A (zh) * 2019-12-04 2021-06-04 中国科学院深圳先进技术研究院 一种基于深度学习的孤独症辅助评估系统和方法
CN112861828A (zh) * 2021-04-12 2021-05-28 山东大学 一种基于历史视觉行为的注视意图识别方法及系统

Similar Documents

Publication Publication Date Title
CN107133584A (zh) 基于眼动跟踪的隐式意图识别分类方法
Kosch et al. Your eyes tell: Leveraging smooth pursuit for assessing cognitive workload
Dewi et al. Adjusting eye aspect ratio for strong eye blink detection based on facial landmarks
Whitehill et al. The faces of engagement: Automatic recognition of student engagementfrom facial expressions
US8814357B2 (en) System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
Calvo et al. Facial expressions of emotion (KDEF): Identification under different display-duration conditions
Jang et al. Human intention recognition based on eyeball movement pattern and pupil size variation
Raudonis et al. Evaluation of human emotion from eye motions
CN108078574B (zh) 一种区别人与智能机器的方法
Wang et al. Indexing cognitive workload based on pupillary response under luminance and emotional changes
CN110598608B (zh) 非接触式与接触式协同的心理生理状态智能监测系统
CN113693552A (zh) 视觉疲劳监测方法、装置、电子设备及可读存储介质
Darwish et al. Biometric identification using the dynamic features of the eyes
Hossain et al. Pupillary responses of Asian observers in discriminating real from fake smiles: A preliminary study
Picot et al. Using retina modelling to characterize blinking: comparison between EOG and video analysis
Huda et al. Mobile-based driver sleepiness detection using facial landmarks and analysis of EAR values
CN112614583A (zh) 抑郁等级测试系统
Sheng et al. Eyes don’t lie: understanding users’ first impressions on websites using eye tracking
Masui et al. Measurement of advertisement effect based on multimodal emotional responses considering personality
Giagkos et al. Perception of localized features during robotic sensorimotor development
Calandra et al. EYECU: an Emotional eYe trackEr for Cultural heritage sUpport
Czajka Iris liveness detection by modeling dynamic pupil features
Lee et al. Concentration monitoring for intelligent tutoring system based on pupil and eye-blink
Yusri et al. Detection of driver drowsiness by calculating the speed of eye blinking
CN112464774A (zh) 一种基于眼动测量的视频学习中的情感识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170905