CN104504390B - 一种基于眼动数据的网上用户状态识别方法和装置 - Google Patents
一种基于眼动数据的网上用户状态识别方法和装置 Download PDFInfo
- Publication number
- CN104504390B CN104504390B CN201510019518.4A CN201510019518A CN104504390B CN 104504390 B CN104504390 B CN 104504390B CN 201510019518 A CN201510019518 A CN 201510019518A CN 104504390 B CN104504390 B CN 104504390B
- Authority
- CN
- China
- Prior art keywords
- mtd
- mrow
- mtr
- msub
- eye movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于眼动数据的网上用户状态识别方法和装置，所述方法包括如下步骤：采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。
Description
技术领域
本发明涉及模式识别人机交互技术领域，特别涉及一种基于眼动数据的网上用户状态识别方法和装置。
背景技术
当前，计算机网络已经成为人们工作、学习、生活等各个方面不可或缺的平台，计算机网络智能的研究成为了焦点。作为计算机网络智能的Web智能是研究Web环境中实现智能的方法和应用，是人工智能与计算机网络两个领域的结合。Web智能包括两个方面：一个是基于网页的人机交互智能，一个是信息服务智能。网页作为人与网络交互的重要人机界面，但是目前只能通过键盘、鼠标和触摸屏等被动的接受用户的信息请求，从而做出响应和提供信息服务。这种被动的感知技术已经越来越不能满足人们对于机器智能化程度的需求。
发明内容
本发明的一个目的是提供一种基于眼动数据的网上用户状态识别方法，该方法针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了诸如基于支持向量机SVM的分类方法，解决了高效准确的机器识别用户状态的技术问题,其学习速度快，分类正确率高，具有较高的识别效率。
为实现上述目的，本发明提供一种基于眼动数据的网上用户状态识别方法，包括如下步骤：
步骤S1，采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；
步骤S2，对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；
步骤S3，将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。
根据本发明的一个方面，采用红外线摄像机采集所述网上用户在观看网页的过程中的眼动数据。
根据本发明的一个方面，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。
根据本发明的一个方面，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数，所述步骤S2还包括：
步骤S21，根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，
其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，uij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；
在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D0，除以所述瞳孔直径的基线值D0，得到下述瞳孔直径变化率矩阵U，
其中，D0为瞳孔直径的基线值，
步骤S22，根据每个所述注视点位置计算注视点中心距CDfk，其中，
其中，注视点的坐标为(Xfk,Yfk)，网页中心坐标为(X0,Y0)；
设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，
其中，Median()为求中位数的函数；
步骤S23，组合所述瞳孔直径变化率和注视点中心距的中位数。
根据本发明的又一个方面，所述步骤S3还包括：
步骤S31，对所述步骤S1之前采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：
其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；
步骤S32，将所述步骤S31中的组合特征数据集输入到支持向量机中，训练得到状态分类器；
步骤S33，将所述步骤S2中得到的多个眼动特征参数输入到所述步骤S32中得到的所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。
本发明提供的基于眼动数据的网上用户状态识别方法，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。
本发明的另一个目的是提供一种基于眼动数据的网上用户状态识别装置，该装置针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了诸如基于支持向量机SVM的分类方法，解决了高效准确的机器识别用户状态的技术问题,其学习速度快，分类正确率高，具有较高的识别效率。
为实现上述目的，本发明提供一种基于眼动数据的网上用户状态识别装置，包括：数据采集和预处理单元，用于采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；特征提取单元，用于对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；状态判断单元，用于将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。
根据本发明的一个方面，所述数据采集和预处理单元包括红外线摄像机，所述红外线摄像机用于采集所述网上用户在观看网页的过程中的眼动数据。
根据本发明的一个方面，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。
根据本发明的一个方面，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数，所述特征提取单元还包括：瞳孔直径变化率计算子单元和注视点中心距的中位数计算子单元，其中，
所述瞳孔直径变化率计算子单元用于根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，
其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，uij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；
所述瞳孔直径变化率计算子单元在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D0，除以所述瞳孔直径的基线值D0，得到下述瞳孔直径变化率矩阵U，
其中，D0为瞳孔直径的基线值；
所述注视点中心距的中位数计算子单元用于根据每个所述注视点位置计算注视点中心距CDfk，其中，
其中，注视点的坐标为(Xfk,Yfk)，网页中心坐标为(X0,Y0))；
所述注视点中心距的中位数计算子单元设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，
其中，Median()为求中位数的函数。
根据本发明的又一个方面，所述状态判断单元还包括：对前一次采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：
其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；
所述状态判断单元将所述数据采集和预处理单元采集到的组合特征数据集输入到支持向量机中，训练得到状态分类器，然后将所述数据采集和预处理单元得到的多个眼动特征参数输入到所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。
本发明提供的基于眼动数据的网上用户状态识别装置，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。
附图说明
图1是根据本发明的基于眼动数据的网上用户状态识别方法的一实施方式的流程图；
图2是根据本发明的对眼动数据进行特征提取的一实施方式的流程图；
图3是根据本发明的方法中识别所述网上用户的当前工作状态的一实施方式的流程图；
图4是根据本发明的方法中基于眼动数据的网上用户状态识别装置的一实施方式的结构示意图；
图5是根据本发明的装置中特征提取单元的一实施方式的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
下面首先对本发明实施例的基于眼动数据的网上用户状态识别方法和装置的技术背景内容进行说明。
鉴于被动感知技术不能满足人们对于机器智能化的需要，本采用自动感知技术实现人机交互智能的需要，其特点是机器能够主动感知用户需求并为用户提供信息服务。
具体地，作为网页的人机界面，如果能够获取用户网上的行为和用户的心理状态，则能给用户提供更好的服务。其中，视觉搜索和浏览是用户上网的两种主要的视觉行为方式。
视觉搜索是用户带有明确的搜索目标，有目的地在网页上查找需求信息。视觉浏览是用户没有明确目标，自由浏览和查看网页上的信息。网页上的信息搜索过程会受信息呈现形式、信息布局、以及浮动广告等多种因素的影响。由于，越来越多的网页设计采用了浮动广告的设计理念，而在网上用户搜索网页内容的过程中浮动广告等内容会对用户产生负面影响，分散用户的注意力，使人产生厌恶情绪从而降低用户的搜索效率。如果能够区分网上用户的工作状态，适时的增加或者减少浮动广告会有利于用户关注浮动广告内容并且提高搜索效率。
网上用户观看网页过程中的眼动信息在不同状态下会分别表现出不同的特征，可以识别眼动信息的特征，判断用户在观看网页过程中的思维状态，进行交互。
由此，本发明实施例的基于眼动数据的网上用户状态识别方法和装置，可以根据网上用户的眼动数据特征定义及其相应的特征数据组合生成人机交互信息并利用支持向量机SVM进行状态识别，判断该网上用户是在搜索网页还是浏览网页。
如图1所示，本发明提供一种基于眼动数据的网上用户状态识别方法的一具体实施例，包括如下步骤：
步骤S1，采集网上用户在搜索网页中特定目标和随机浏览网页两种状态下的眼动数据，并对眼动数据进行预处理，得到预处理后的眼动数据。
在一个实施方式中,具体地，利用眼动追踪装置，获取网上用户在搜索和浏览网页两种状态下的眼动数据。其中，眼动追踪装置可以为型号为Tobii T120眼动仪，利用眼动仪中的红外线摄像机以120Hz的采样频率采集网上用户在两种状态下的眼动数据。其中，眼动数据,是指与眼球运动相关的数据，包括但不限于与注视、眼跳和追随等眼球运动(或说眼球运动模式)等相关的数据。这里，眼动数据包括：网上用户的注视点(即用户查看网页时眼球不动时位于网页的点)位置、注视时间和瞳孔直径。
进一步，每个注视点的注视信息数据集F包含所有的注视信息fk，即与“注视”被观察对象的这类眼球运动信息相关的数据。该fk是一个五元数组(tfk，dlk，drk，xfk,yfk),tfk为注视点的注视时间，dlk为左眼瞳孔直径，drk为右眼瞳孔直径，xfk为注视点的横坐标，yfk为注视点的纵坐标。一种方式，可以按照处理瞳孔直径的通用方法，采用左右眼瞳孔直径的平均值代表该注视点的瞳孔直径值，即算得dfk＝(dlk+drk)/2，将fk简化为四元组(tfk，dfk,xfk,yfk)。
进一步，眼动跟踪技术能够实时记录用户在网页上的眼球运动情况。通过分析眼动轨迹(眼球的运动轨迹)、瞳孔直径等根据视觉感官反应的眼球的行为指标，能更加客观的反映用户的行为，从而揭示人们在网页上的心理状态。
对上述眼动数据进行预处理，包括剔除采集到的眼动数据中的极端数据和三倍标准差以外的异常数据，得到预处理后的眼动数据。
步骤S2，对预处理后的眼动数据进行特征提取，获取多个眼动特征参数。
一个实施方式中，可以分别选定每一个注视点，该注视点对应的注视信息中包含注视时间信息。针对眼动数据，计算每个注视点在注视时间内的瞳孔直径变化率和注视点中心距。其中，多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数。
在一个实施例中，可以根据用户的注视点位置数据计算用户的注视点中心距，比如，注视点坐标(xfk，yfk)和网页中心坐标间的欧式距离为注视点中心距；可以根据用户的瞳孔直径dfk大小计算用户在观看网页过程中的瞳孔直径大小随时间的变化曲线；进而，计算出网页中所有注视点的中位数和每个注视点的瞳孔直径变化率作为特征参数。
如图2所示，所述步骤S2还可以包括如下步骤：
步骤S21，计算瞳孔直径变化率，得到瞳孔直径变化率特征数据集。
在一个实施方式中，注视点在注视时间内的采样次数为注视时间除以采样周期，其中可以预设采样周期例如为：8毫秒。
根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，
其中，m为眼动数据中的注视点的个数，n为在第m个注视点中选取的n个采样点，而uij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；
在瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D0，除以瞳孔直径的基线值D0，得到下述m行一列瞳孔直径变化率矩阵U，
其中，D0为瞳孔直径的基线值。
步骤S22，计算注视点中心距的中位数，得到注视点中心距特征数据集。根据每个注视点位置计算注视点中心距CDfk，其中，
其中，注视点的坐标为(Xfk,Yfk)，网页中心坐标为(X0,Y0)。注视点信息数据集可以简化为三元组(tfk，dfk,cdfk)。
设网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算注视点中心距矩阵中每行数据的中位数，构成下述p行一列注视点中心距的中位数矩阵W，其中，
其中，Median()为求中位数的函数；
步骤S23，组合瞳孔直径变化率和注视点中心距的中位数。
步骤S3，将网上用户的多个眼动特征参数输入到预设的状态分类器中进行比对，以识别网上用户的当前工作状态为搜索状态或浏览状态。
在一个实施方式中，将网上用户在观看网页的过程中的工作状态分为两个状态类型，一个为搜索状态，一个为浏览状态。获取用户在观看网页过程中的眼动数据会在这两个状态中分别表现出不同的特征，当网上用户处于搜索状态时，相较于浏览状态，在眼动数据上会表现出瞳孔直径变化率减小，注视点中心距呈现周边特性的特征。因此获取到这两个状态的眼动数据的不同特征，即可以判断用户在观看网页过程中所处的状态。
如图3所示，所述步骤S3还可以包括如下步骤：
步骤S31，对步骤S1之前采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取。一种方式为：对搜索任务的眼动数据进行特征提取，得到搜索状态下的眼动特征参数；对浏览任务的眼动数据进行特征提取，得到浏览状态下的眼动特征参数。进而，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：
其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2。
步骤S32，将步骤S31中的组合特征数据集进行机器学习，以训练得到状态分类器。一种方式为：将组合特征数据集输入到支持向量机SVM中，训练得到状态分类器。例如，可以对搜索状态和浏览状态的眼动特征参数输入到支持向量机SVM中进行训练，得到训练过的状态分类器，从而实现后续对网络用户进行搜索或浏览的视觉行为的识别。其中，利用支持向量机对所得的眼动特征参数进行训练，训练得到状态分类器，一个具体实施例可以是：利用带有类别标签的特征参数数据集作为训练样本集，选择径向基函数作为核函数，训练时使用五折交叉验证，即训练样本数为总样本的4/5，测试样本为总样本的1/5，用网格搜索法选择最佳的参数C和gamma。进一步，状态分类器可以采用多种形式，除了上述例子中采用的支持向量机(SVM分类器)进行训练得到外、神经网络、遗传算法等其他机器学习算法也可以实现分类器训练。优选地，状态分类器还可以为libsvm支持向量机工具包等。
步骤S33，将步骤S2中得到的多个眼动特征参数(包括实时的或已经采集的)输入到步骤S32中得到的状态分类器中，识别网上用户的当前工作状态为搜索状态或浏览状态。
在一个实施方式中，将步骤S1中提取的眼动特征数据按步骤S2中数据集格式整理，输入到训练好的状态分类器中，从而判断网上用户的工作状态为搜索还是浏览，即识别出网上用户的工作状态类型。例如：支持向量机的输出为1时，则对应为搜索状态；输出为2时，则对应为浏览状态。
综上，本实施例采用基于眼动数据的网上用户状态识别方法，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。
本发明还提出一种基于眼动数据的网上用户状态识别装置，参见图4所示的装置的一个实施例结构示意图，包括：数据采集和预处理单元100、特征提取单元200和状态判断单元300。
具体地，数据采集和预处理单元100用于采集网上用户在观看网页的过程中的眼动数据，并对眼动数据进行预处理，得到预处理后的眼动数据。
在本发明的实施例中，数据采集和预处理单元100包括红外线摄像机，红外线摄像机用于采集网上用户在观看网页的过程中的眼动数据。其中，眼动数据包括：网上用户的注视点位置、注视时间和瞳孔直径。
在一个实施方式中,具体地，利用眼动追踪装置，获取网上用户观看网页时的眼动数据。其中，眼动追踪装置可以为型号为Tobii T120眼动仪，利用眼动仪中的红外线摄像机以120Hz的采样频率采集网上用户在观看网页的过程中的眼动数据。其中，眼动数据,是指与眼球运动相关的数据，包括但不限于与注视、眼跳和追随等眼球运动(或说眼球运动模式)等相关的数据。这里，眼动数据包括：网上用户的注视点(即用户查看网页时眼球不动时位于网页的点)位置、注视时间和瞳孔直径。
进一步，每个注视点的注视信息数据集F包含所有的注视信息fk，即与“注视”被观察的对象的这类眼球运动信息相关的数据。该fk是一个五元数组(tfk，dlk，drk，xfk，yfk),tfk为注视点的注视时间，dlk为左眼瞳孔直径，drk为右眼瞳孔直径，xfk为注视点的横坐标，yfk为注视点的纵坐标。一种方式，可以按照处理瞳孔直径的通用方法，采用左右眼瞳孔直径的平均值代表该注视点的瞳孔直径值，即算得dfk＝(dlk+drk)/2，将fk简化为四元组(tfk，dfk,xfk,yfk)。
进一步，眼动跟踪技术能够实时记录用户在网页上的眼球运动情况。通过分析眼动轨迹(眼球的运动轨迹)、瞳孔直径等根据视觉感官反应的眼球的行为指标，能更加客观的反映用户的行为，从而揭示人们在网页上的心理状态。
数据采集和预处理单元100对上述眼动数据进行预处理，包括剔除采集到的眼动数据中的极端数据和三倍标准差以外的异常数据，得到预处理后的眼动数据。
数据采集和预处理单元100的具体实施和处理如步骤S1的描述。
特征提取单元200连接至数据采集和预处理单元100，用于对预处理后的眼动数据进行特征提取，获取多个眼动特征参数。一个实施方式中，可以分别选定每一个注视点，该注视点对应的注视信息中包含注视时间信息。针对眼动数据，计算每个注视点在注视时间内的瞳孔直径变化率、注视频率和注视点中心距。其中，多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数。
如图5所示，特征提取单元200包括：瞳孔直径变化率计算子单元210和注视点中心距的中位数计算子单元220。
瞳孔直径变化率计算子单元210计算瞳孔直径变化率，得到瞳孔直径变化率特征数据集。在一个实施方式中，注视点在注视时间内的采样次数为注视时间除以采样周期，其中可以预设采样周期例如为：8毫秒。具体地，瞳孔直径变化率计算子单元210用于根据每个眼动数据中的瞳孔直径构成瞳孔
直径数据集矩阵u，其中，
其中，m为眼动数据中的注视点的个数，n为在第m个注视点中选取的n个采样点，而uij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；
瞳孔直径变化率计算子单元210在瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D0，除以瞳孔直径的基线值D0，得到下述瞳孔直径变化率矩阵U，
其中，D0为瞳孔直径的基线值。
注视点中心距的中位数计算子单元220用于根据每个注视点位置计算注视点中心距CDfk，其中，
其中，注视点的坐标为(Xfk,Yfk)，网页中心坐标为(X0,Y0)，注视点信息数据集可以简化为三元组(tfk，dfk,cdfk)。
注视点中心距的中位数计算子单元220设网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，
其中，Median()为求中位数的函数。
特征提取单元200进一步组合上述瞳孔直径变化率和注视点中心距的中位数。
特征提取单元200的具体实施和处理如步骤S2的描述。
状态判断单元300连接至特征提取单元200，用于将网上用户的多个眼动特征参数输入到预设的状态分类器中进行比对，以识别网上用户的当前工作状态为搜索状态或浏览状态。
状态判断单元300对前一次采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取。一种方式为：对搜索任务的眼动数据进行特征提取，得到搜索状态下的眼动特征参数；对浏览任务的眼动数据进行特征提取，得到浏览状态下的眼动特征参数。进而，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：
其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2。
状态判断单元300将数据采集和预处理单元采集到的组合特征数据集进行机器学习，以训练得到状态分类器。一种方式为：将组合特征数据集输入到支持向量机SVM中，训练得到状态分类器，然后将数据采集和预处理单元得到的多个眼动特征参数输入到状态分类器中，识别网上用户的当前工作状态为搜索状态或浏览状态。
具体地，状态判断单元300对搜索状态和浏览状态的眼动特征参数输入到支持向量机SVM中进行训练，得到训练过的状态分类器，从而实现后续对网络用户进行搜索或浏览的视觉行为的识别。其中，利用支持向量机对所得的眼动特征参数进行训练，训练得到状态分类器，一个具体实施例可以是：利利用带有类别标签的特征参数数据集作为训练样本集，选择径向基函数作为核函数，训练时使用五折交叉验证，即训练样本数为总样本的4/5，测试样本为总样本的1/5，用网格搜索法选择最佳的参数C和gamma。
进一步，状态分类器可以采用多种形式，除了上述例子中采用的支持向量机(SVM分类器)进行训练得到外、神经网络、遗传算法等其他机器学习算法也可以实现分类器训练。优选地，状态分类器还可以为libsvm支持向量机工具包等。
状态判断单元300将多个眼动特征参数(包括实时的或已经采集的)输入到状态分类器中，识别网上用户的当前工作状态为搜索状态或浏览状态。在一个实施方式中，将提取的眼动特征数据按特征提取单元200中的方式进行数据集格式整理，输入到训练好的状态分类器中，从而判断网上用户的工作状态为搜索还是浏览，即识别出网上用户的工作状态类型。例如：支持向量机的输出为1时，则对应为搜索状态；输出为2时，则对应为浏览状态。
状态判断单元300的具体实施和处理如步骤S3的描述。
本实施例采用基于眼动数据的网上用户状态识别装置，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。
由于本实施例的系统所实现的处理及功能基本相应于前述图1～图3所示的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于眼动数据的网上用户状态识别方法，包括如下步骤：
步骤S1，采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；
步骤S2，对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数；
步骤S3，将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。
2.根据权利要求1所述的基于眼动数据的网上用户状态识别方法，其中，采用红外线摄像机采集所述网上用户在观看网页的过程中的眼动数据。
3.根据权利要求1或2所述的基于眼动数据的网上用户状态识别方法，其中，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。
4.根据权利要求3所述的基于眼动数据的网上用户状态识别方法，其中，所述步骤S2还包括：
步骤S21，根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，
其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，uij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；
在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D0，除以所述瞳孔直径的基线值D0，得到下述瞳孔直径变化率矩阵U，
<mrow>
<mi>U</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>u</mi>
<mrow>
<mn>1</mn>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>u</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，D0为瞳孔直径的基线值，
步骤S22，根据每个所述注视点位置计算注视点中心距CDfk，其中，
<mrow>
<msub>
<mi>CD</mi>
<mrow>
<mi>f</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>f</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>f</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
其中，注视点的坐标为(Xfk,Yfk)，网页中心坐标为(X0,Y0)；
设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，
<mrow>
<mi>W</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mi>e</mi>
<mi>d</mi>
<mi>i</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>u</mi>
<mn>11</mn>
</msub>
<mo>...</mo>
<msub>
<mi>u</mi>
<mrow>
<mn>1</mn>
<mi>q</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>M</mi>
<mi>e</mi>
<mi>d</mi>
<mi>i</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>u</mi>
<mrow>
<mi>p</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>...</mo>
<msub>
<mi>u</mi>
<mrow>
<mi>p</mi>
<mi>q</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，Median()为求中位数的函数；
步骤S23，组合所述瞳孔直径变化率和注视点中心距的中位数。
5.根据权利要求4所述的基于眼动数据的网上用户状态识别方法，所述步骤S3还包括：
步骤S31，对所述步骤S1之前采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mo><</mo>
<mi>l</mi>
<mi>a</mi>
<mi>b</mi>
<mi>e</mi>
<mn>1</mn>
<mo>></mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mn>1</mn>
<mo>:</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mn>1</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mn>2</mn>
<mo>:</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mn>2</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mrow>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mi>n</mi>
<mo>:</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mi>n</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；
步骤S32，将所述步骤S31中的组合特征数据集输入到支持向量机中，训练得到状态分类器；
步骤S33，将所述步骤S2中得到的多个眼动特征参数输入到所述步骤S32中得到的所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。
6.一种基于眼动数据的网上用户状态识别装置，包括：
数据采集和预处理单元，用于采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；
特征提取单元，用于对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数；
状态判断单元，用于将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。
7.根据权利要求6所述的基于眼动数据的网上用户状态识别装置，其中，所述数据采集和预处理单元包括红外线摄像机，所述红外线摄像机用于采集所述网上用户在观看网页的过程中的眼动数据。
8.根据权利要求6或7所述的基于眼动数据的网上用户状态识别装置，其中，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。
9.根据权利要求8所述的基于眼动数据的网上用户状态识别装置，其中，所述特征提取单元还包括：瞳孔直径变化率计算子单元和注视点中心距的中位数计算子单元，其中，
所述瞳孔直径变化率计算子单元用于根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，
其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，uij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；
所述瞳孔直径变化率计算子单元在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D0，除以所述瞳孔直径的基线值D0，得到下述瞳孔直径变化率矩阵U，
<mrow>
<mi>U</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>u</mi>
<mrow>
<mn>1</mn>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>n</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<msub>
<mi>u</mi>
<mrow>
<mi>m</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<msub>
<mi>D</mi>
<mn>0</mn>
</msub>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，D0为瞳孔直径的基线值；
所述注视点中心距的中位数计算子单元用于根据每个所述注视点位置计算注视点中心距CDfk，其中，
<mrow>
<msub>
<mi>CD</mi>
<mrow>
<mi>f</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>f</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>Y</mi>
<mrow>
<mi>f</mi>
<mi>k</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>,</mo>
</mrow>
其中，注视点的坐标为(Xfk,Yfk)，网页中心坐标为(X0,Y0)；
所述注视点中心距的中位数计算子单元设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，
其中，Median()为求中位数的函数。
10.根据权利要求9所述的基于眼动数据的网上用户状态识别装置，其中，所述状态判断单元还包括:
对前一次采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：
<mrow>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mo><</mo>
<mi>l</mi>
<mi>a</mi>
<mi>b</mi>
<mi>e</mi>
<mn>1</mn>
<mo>></mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mn>1</mn>
<mo>:</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mn>1</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mn>2</mn>
<mo>:</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mn>2</mn>
<mo>&rsqb;</mo>
</mrow>
</mtd>
<mtd>
<mn>...</mn>
</mtd>
<mtd>
<mrow>
<mo>&lsqb;</mo>
<mi>i</mi>
<mi>n</mi>
<mi>d</mi>
<mi>e</mi>
<mi>x</mi>
<mi>n</mi>
<mo>:</mo>
<mi>v</mi>
<mi>a</mi>
<mi>l</mi>
<mi>u</mi>
<mi>e</mi>
<mi>n</mi>
<mo>&rsqb;</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
<mtd>
<mo>.</mo>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；
所述状态判断单元将所述数据采集和预处理单元采集到的组合特征数据集输入到支持向量机中，训练得到状态分类器，然后将所述数据采集和预处理单元得到的多个眼动特征参数输入到所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510019518.4A CN104504390B (zh) | 2015-01-14 | 2015-01-14 | 一种基于眼动数据的网上用户状态识别方法和装置 |
| PCT/CN2015/087641 WO2016112690A1 (zh) | 2015-01-14 | 2015-08-20 | 一种基于眼动数据的网上用户状态识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510019518.4A CN104504390B (zh) | 2015-01-14 | 2015-01-14 | 一种基于眼动数据的网上用户状态识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104504390A CN104504390A (zh) | 2015-04-08 |
| CN104504390B true CN104504390B (zh) | 2017-09-19 |
Family
ID=52945786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510019518.4A Active CN104504390B (zh) | 2015-01-14 | 2015-01-14 | 一种基于眼动数据的网上用户状态识别方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN104504390B (zh) |
| WO (1) | WO2016112690A1 (zh) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104504390B (zh) * | 2015-01-14 | 2017-09-19 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
| CN106073805B (zh) * | 2016-05-30 | 2018-10-19 | 南京大学 | 一种基于眼动数据的疲劳检测方法和装置 |
| CN107544660B (zh) * | 2016-06-24 | 2020-12-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN106200905B (zh) | 2016-06-27 | 2019-03-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN108338798B (zh) * | 2017-01-25 | 2020-11-06 | 北京数字新思科技有限公司 | 一种注意力测量方法和系统 |
| CN106920129B (zh) * | 2017-03-09 | 2020-05-05 | 山东师范大学 | 一种基于眼动追踪的网络广告效果测评系统及其方法 |
| CN107341468B (zh) * | 2017-06-30 | 2021-05-04 | 北京七鑫易维信息技术有限公司 | 驾驶员状态识别方法、装置、存储介质及处理器 |
| CN108921199A (zh) * | 2018-06-11 | 2018-11-30 | 厦门大学 | 基于物体表征状态的眼部关注偏好预测方法 |
| CN108985164A (zh) * | 2018-06-11 | 2018-12-11 | 厦门大学 | 基于物体运动状态的眼部关注预测方法 |
| CN109117711B (zh) * | 2018-06-26 | 2021-02-19 | 西安交通大学 | 基于眼动数据的分层特征融合的专注度检测装置及方法 |
| CN109189222B (zh) * | 2018-08-28 | 2022-01-11 | 广东工业大学 | 一种基于检测瞳孔直径变化的人机交互方法及装置 |
| CN109144262B (zh) * | 2018-08-28 | 2021-11-26 | 广东工业大学 | 一种基于眼动的人机交互方法、装置、设备及存储介质 |
| CN109259775A (zh) * | 2018-08-30 | 2019-01-25 | 清华大学 | 一种人脸刺激范式生成方法及自闭症分析系统 |
| CN109199412B (zh) * | 2018-09-28 | 2021-11-09 | 南京工程学院 | 基于眼动数据分析的异常情绪识别方法 |
| CN109960892B (zh) * | 2019-04-04 | 2020-09-01 | 北京理工大学 | 一种基于眼动信号的cad指令生成方法及系统 |
| CN113349776A (zh) * | 2020-03-03 | 2021-09-07 | 朴光宇 | 一种提高眼动注视坐标精度技术 |
| CN111475391B (zh) * | 2020-04-03 | 2024-04-16 | 中国工商银行股份有限公司 | 眼动数据处理方法、装置及系统 |
| CN111568367B (zh) * | 2020-05-14 | 2023-07-21 | 中国民航大学 | 一种识别和量化眼跳入侵的方法 |
| CN111708434B (zh) * | 2020-06-03 | 2023-09-29 | 东南大学 | 一种结合眼动识别的网上答题反馈系统 |
| CN111966223B (zh) * | 2020-08-17 | 2022-06-28 | 陈涛 | 非感知的mr眼镜人机识别方法、系统、设备及存储介质 |
| CN113180667B (zh) * | 2021-04-29 | 2022-09-23 | 南昌虚拟现实研究院股份有限公司 | 认知负荷评估方法、装置、存储介质及计算机设备 |
| CN115607159B (zh) * | 2022-12-14 | 2023-04-07 | 北京科技大学 | 基于眼动序列时空特征分析的抑郁状态鉴别方法及装置 |
| CN117460126A (zh) * | 2023-10-27 | 2024-01-26 | 石家庄铁道大学 | 基于乘客舒适度的地铁站台光环境设计方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101686815A (zh) * | 2007-06-27 | 2010-03-31 | 松下电器产业株式会社 | 人的状态推定装置以及方法 |
| CN103324287A (zh) * | 2013-06-09 | 2013-09-25 | 浙江大学 | 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPR872301A0 (en) * | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
| US9304584B2 (en) * | 2012-05-31 | 2016-04-05 | Ca, Inc. | System, apparatus, and method for identifying related content based on eye movements |
| CN103336576B (zh) * | 2013-06-28 | 2016-12-28 | 广州爱九游信息技术有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
| CN104504390B (zh) * | 2015-01-14 | 2017-09-19 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
-
2015
- 2015-01-14 CN CN201510019518.4A patent/CN104504390B/zh active Active
- 2015-08-20 WO PCT/CN2015/087641 patent/WO2016112690A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101686815A (zh) * | 2007-06-27 | 2010-03-31 | 松下电器产业株式会社 | 人的状态推定装置以及方法 |
| CN103324287A (zh) * | 2013-06-09 | 2013-09-25 | 浙江大学 | 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| Web页面视觉搜索与浏览策略的眼动研究;栗觅等;《北京工业大学学报》;20110531;第37卷(第5期);第773-779页 * |
| 基于SVM的眼动轨迹解读思维状态研究;严会霞;《万方数据企业知识服务平台》;20110228;论文第15-17页，第37-40页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104504390A (zh) | 2015-04-08 |
| WO2016112690A1 (zh) | 2016-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104504390B (zh) | 一种基于眼动数据的网上用户状态识别方法和装置 | |
| CN104504404B (zh) | 一种基于视觉行为的网上用户类型识别方法及系统 | |
| Cheng et al. | Appearance-based gaze estimation via evaluation-guided asymmetric regression | |
| Liao et al. | Deep facial spatiotemporal network for engagement prediction in online learning | |
| CN107097227B (zh) | 一种人机协作机器人系统 | |
| CN103838378B (zh) | 一种基于瞳孔识别定位的头戴式眼睛操控系统 | |
| CN102547123B (zh) | 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法 | |
| CN101344816B (zh) | 基于视线跟踪和手势识别的人机交互方法及装置 | |
| CN107168527A (zh) | 基于区域卷积神经网络的第一视角手势识别与交互方法 | |
| CN102402289B (zh) | 一种基于机器视觉的手势鼠标识别方法 | |
| CN105787478A (zh) | 基于神经网络和灵敏度参数的人脸转向识别方法 | |
| CN114265498B (zh) | 一种多模态手势识别和视觉反馈机制结合的方法 | |
| CN104484644B (zh) | 一种手势识别方法和装置 | |
| CN105739702A (zh) | 用于自然人机交互的多姿态指尖跟踪方法 | |
| CN109800676A (zh) | 基于深度信息的手势识别方法及系统 | |
| CN104517100B (zh) | 手势预判方法和系统 | |
| CN111290575A (zh) | 一种防空反导武器的多通道交互控制系统 | |
| CN108229401A (zh) | 一种基于afsa-svm的多模态信号分类方法 | |
| CN108073851A (zh) | 一种抓取手势识别的方法、装置及电子设备 | |
| CN113901891A (zh) | 帕金森病握拳任务的评估方法及系统、存储介质及终端 | |
| Lu et al. | Pose-guided model for driving behavior recognition using keypoint action learning | |
| CN110231864A (zh) | 变电站虚拟环境中的精准手势识别方法 | |
| CN104850225B (zh) | 一种基于多层次融合的活动识别方法 | |
| CN109634407A (zh) | 一种基于多模人机传感信息同步采集与融合的控制方法 | |
| Masdiyasa et al. | A new method to improve movement tracking of human sperms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Li Mi Inventor after: Lv Shengfu Inventor after: Zhang Mengjie Inventor after: Zhong Ning Inventor before: Lv Shengfu Inventor before: Li Mi Inventor before: Zhang Mengjie Inventor before: Zhong Ning |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |