CN104504390A - 一种基于眼动数据的网上用户状态识别方法和装置 - Google Patents

Abstract

一种基于眼动数据的网上用户状态识别方法和装置，所述方法包括如下步骤：采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。

Description

一种基于眼动数据的网上用户状态识别方法和装置

技术领域

本发明涉及模式识别人机交互技术领域，特别涉及一种基于眼动数据的网上用户状态识别方法和装置。

背景技术

当前，计算机网络已经成为人们工作、学习、生活等各个方面不可或缺的平台，计算机网络智能的研究成为了焦点。作为计算机网络智能的Web智能是研究Web环境中实现智能的方法和应用，是人工智能与计算机网络两个领域的结合。Web智能包括两个方面：一个是基于网页的人机交互智能，一个是信息服务智能。网页作为人与网络交互的重要人机界面，但是目前只能通过键盘、鼠标和触摸屏等被动的接受用户的信息请求，从而做出响应和提供信息服务。这种被动的感知技术已经越来越不能满足人们对于机器智能化程度的需求。

发明内容

本发明的一个目的是提供一种基于眼动数据的网上用户状态识别方法，该方法针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了诸如基于支持向量机SVM的分类方法，解决了高效准确的机器识别用户状态的技术问题,其学习速度快，分类正确率高，具有较高的识别效率。

为实现上述目的，本发明提供一种基于眼动数据的网上用户状态识别方法，包括如下步骤：

步骤S1，采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；

步骤S2，对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；

步骤S3，将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。

根据本发明的一个方面，采用红外线摄像机采集所述网上用户在观看网页的过程中的眼动数据。

根据本发明的一个方面，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。

根据本发明的一个方面，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数，所述步骤S2还包括：

步骤S21，根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，

其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，u_ij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；

在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D₀，除以所述瞳孔直径的基线值D₀，得到下述瞳孔直径变化率矩阵U，

$U=\left[\begin{array}{c}|(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{u}_{1i}-D_0)/D_0|\\ .\\ .\\ .\\ .\\ .\\ .\\ |(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{u}_{\mathrm{mi}}-D_0)/D_0|\end{array}\right].$

其中，D₀为瞳孔直径的基线值，

步骤S22，根据每个所述注视点位置计算注视点中心距CD_fk，其中，

${\mathrm{CD}}_{\mathrm{fk}}=\sqrt{{(X_{\mathrm{fk}}-X_0)}^2+{(Y_{\mathrm{fk}}-Y_0)}^2},$

其中，注视点的坐标为(X_fk,Y_fk)，网页中心坐标为(X₀,Y₀)；

设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，

$W=\left[\begin{array}{c}\mathrm{Median}(u_{11}...u_{1q})\\ .\\ .\\ .\\ .\\ .\\ .\\ \mathrm{Median}(u_{p1}...u_{\mathrm{pq}})\end{array}\right],$

其中，Median()为求中位数的函数；

步骤S23，组合所述瞳孔直径变化率和注视点中心距的中位数。

根据本发明的又一个方面，所述步骤S3还包括：

步骤S31，对所述步骤S1之前采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：

$\left(\begin{array}{ccccc}<\mathrm{label}>& [\mathrm{indexl}:\mathrm{valuel}]& [\mathrm{index}2:\mathrm{value}2]& ...& [\mathrm{indexn}:\mathrm{valuen}]\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\end{array}\right),$

其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；

步骤S32，将所述步骤S31中的组合特征数据集输入到支持向量机中，训练得到状态分类器；

步骤S33，将所述步骤S2中得到的多个眼动特征参数输入到所述步骤S32中得到的所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。

本发明提供的基于眼动数据的网上用户状态识别方法，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。

本发明的另一个目的是提供一种基于眼动数据的网上用户状态识别装置，该装置针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了诸如基于支持向量机SVM的分类方法，解决了高效准确的机器识别用户状态的技术问题,其学习速度快，分类正确率高，具有较高的识别效率。

为实现上述目的，本发明提供一种基于眼动数据的网上用户状态识别装置，包括：数据采集和预处理单元，用于采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；特征提取单元，用于对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；状态判断单元，用于将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。

根据本发明的一个方面，所述数据采集和预处理单元包括红外线摄像机，所述红外线摄像机用于采集所述网上用户在观看网页的过程中的眼动数据。

根据本发明的一个方面，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。

根据本发明的一个方面，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数，所述特征提取单元还包括：瞳孔直径变化率计算子单元和注视点中心距的中位数计算子单元，其中，

所述瞳孔直径变化率计算子单元用于根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，

其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，u_ij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；

所述瞳孔直径变化率计算子单元在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D₀，除以所述瞳孔直径的基线值D₀，得到下述瞳孔直径变化率矩阵U，

$U=\left[\begin{array}{c}|(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{1i}-D_0)/D_0|\\ .\\ .\\ .\\ .\\ .\\ .\\ |(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{mi}}-D_0)/D_0|\end{array}\right].$

其中，D₀为瞳孔直径的基线值；

所述注视点中心距的中位数计算子单元用于根据每个所述注视点位置计算注视点中心距CD_fk，其中，

${\mathrm{CD}}_{\mathrm{fk}}=\sqrt{{(X_{\mathrm{fk}}-X_0)}^2+{(Y_{\mathrm{fk}}-Y_0)}^2},$

其中，注视点的坐标为(X_fk,Y_fk)，网页中心坐标为(X₀,Y₀))；

所述注视点中心距的中位数计算子单元设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，

$W=\left[\begin{array}{c}\mathrm{Median}(u_{11}...u_{1q})\\ .\\ .\\ .\\ .\\ .\\ .\\ \mathrm{Median}(u_{p1}...u_{\mathrm{pq}})\end{array}\right],$

其中，Median()为求中位数的函数。

根据本发明的又一个方面，所述状态判断单元还包括：对前一次采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：

$\left(\begin{array}{ccccc}<\mathrm{label}>& [\mathrm{indexl}:\mathrm{valuel}]& [\mathrm{index}2:\mathrm{value}2]& ...& [\mathrm{indexn}:\mathrm{valuen}]\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\end{array}\right),$

其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；

所述状态判断单元将所述数据采集和预处理单元采集到的组合特征数据集输入到支持向量机中，训练得到状态分类器，然后将所述数据采集和预处理单元得到的多个眼动特征参数输入到所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。

本发明提供的基于眼动数据的网上用户状态识别装置，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。

附图说明

图1是根据本发明的基于眼动数据的网上用户状态识别方法的一实施方式的流程图；

图2是根据本发明的对眼动数据进行特征提取的一实施方式的流程图；

图3是根据本发明的方法中识别所述网上用户的当前工作状态的一实施方式的流程图；

图4是根据本发明的方法中基于眼动数据的网上用户状态识别装置的一实施方式的结构示意图；

图5是根据本发明的装置中特征提取单元的一实施方式的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

下面首先对本发明实施例的基于眼动数据的网上用户状态识别方法和装置的技术背景内容进行说明。

鉴于被动感知技术不能满足人们对于机器智能化的需要，本采用自动感知技术实现人机交互智能的需要，其特点是机器能够主动感知用户需求并为用户提供信息服务。

具体地，作为网页的人机界面，如果能够获取用户网上的行为和用户的心理状态，则能给用户提供更好的服务。其中，视觉搜索和浏览是用户上网的两种主要的视觉行为方式。

视觉搜索是用户带有明确的搜索目标，有目的地在网页上查找需求信息。视觉浏览是用户没有明确目标，自由浏览和查看网页上的信息。网页上的信息搜索过程会受信息呈现形式、信息布局、以及浮动广告等多种因素的影响。由于，越来越多的网页设计采用了浮动广告的设计理念，而在网上用户搜索网页内容的过程中浮动广告等内容会对用户产生负面影响，分散用户的注意力，使人产生厌恶情绪从而降低用户的搜索效率。如果能够区分网上用户的工作状态，适时的增加或者减少浮动广告会有利于用户关注浮动广告内容并且提高搜索效率。

网上用户观看网页过程中的眼动信息在不同状态下会分别表现出不同的特征，可以识别眼动信息的特征，判断用户在观看网页过程中的思维状态，进行交互。

由此，本发明实施例的基于眼动数据的网上用户状态识别方法和装置，可以根据网上用户的眼动数据特征定义及其相应的特征数据组合生成人机交互信息并利用支持向量机SVM进行状态识别，判断该网上用户是在搜索网页还是浏览网页。

如图1所示，本发明提供一种基于眼动数据的网上用户状态识别方法的一具体实施例，包括如下步骤：

步骤S1，采集网上用户在搜索网页中特定目标和随机浏览网页两种状态下的眼动数据，并对眼动数据进行预处理，得到预处理后的眼动数据。

在一个实施方式中,具体地，利用眼动追踪装置，获取网上用户在搜索和浏览网页两种状态下的眼动数据。其中，眼动追踪装置可以为型号为TobiiT120眼动仪，利用眼动仪中的红外线摄像机以120Hz的采样频率采集网上用户在两种状态下的眼动数据。其中，眼动数据,是指与眼球运动相关的数据，包括但不限于与注视、眼跳和追随等眼球运动(或说眼球运动模式)等相关的数据。这里，眼动数据包括：网上用户的注视点(即用户查看网页时眼球不动时位于网页的点)位置、注视时间和瞳孔直径。

进一步，每个注视点的注视信息数据集F包含所有的注视信息f_k，即与“注视”被观察对象的这类眼球运动信息相关的数据。该f_k是一个五元数组(t_fk，d_lk，d_rk，x_fk,y_fk),t_fk为注视点的注视时间，d_lk为左眼瞳孔直径，d_rk为右眼瞳孔直径，x_fk为注视点的横坐标，y_fk为注视点的纵坐标。一种方式，可以按照处理瞳孔直径的通用方法，采用左右眼瞳孔直径的平均值代表该注视点的瞳孔直径值，即算得d_fk＝(d_lk+d_rk)/2，将f_k简化为四元组(t_fk，d_fk,x_fk,y_fk)。

进一步，眼动跟踪技术能够实时记录用户在网页上的眼球运动情况。通过分析眼动轨迹(眼球的运动轨迹)、瞳孔直径等根据视觉感官反应的眼球的行为指标，能更加客观的反映用户的行为，从而揭示人们在网页上的心理状态。

对上述眼动数据进行预处理，包括剔除采集到的眼动数据中的极端数据和三倍标准差以外的异常数据，得到预处理后的眼动数据。

步骤S2，对预处理后的眼动数据进行特征提取，获取多个眼动特征参数。

一个实施方式中，可以分别选定每一个注视点，该注视点对应的注视信息中包含注视时间信息。针对眼动数据，计算每个注视点在注视时间内的瞳孔直径变化率和注视点中心距。其中，多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数。

在一个实施例中，可以根据用户的注视点位置数据计算用户的注视点中心距，比如，注视点坐标(x_fk，y_fk)和网页中心坐标间的欧式距离为注视点中心距；可以根据用户的瞳孔直径d_fk大小计算用户在观看网页过程中的瞳孔直径大小随时间的变化曲线；进而，计算出网页中所有注视点的中位数和每个注视点的瞳孔直径变化率作为特征参数。

如图2所示，所述步骤S2还可以包括如下步骤：

步骤S21，计算瞳孔直径变化率，得到瞳孔直径变化率特征数据集。

在一个实施方式中，注视点在注视时间内的采样次数为注视时间除以采样周期，其中可以预设采样周期例如为：8毫秒。

根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，

其中，m为眼动数据中的注视点的个数，n为在第m个注视点中选取的n个采样点，而u_ij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；

在瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D₀，除以瞳孔直径的基线值D₀，得到下述m行一列瞳孔直径变化率矩阵U，

$U=\left[\begin{array}{c}|(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{1i}-D_0)/D_0|\\ .\\ .\\ .\\ .\\ .\\ .\\ |(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{mi}}-D_0)/D_0|\end{array}\right].---\left(2\right)$

其中，D₀为瞳孔直径的基线值。

步骤S22，计算注视点中心距的中位数，得到注视点中心距特征数据集。根据每个注视点位置计算注视点中心距CD_fk，其中，

${\mathrm{CD}}_{\mathrm{fk}}=\sqrt{{(X_{\mathrm{fk}}-X_0)}^2+{(Y_{\mathrm{fk}}-Y_0)}^2},---\left(3\right)$

其中，注视点的坐标为(X_fk,Y_fk)，网页中心坐标为(X₀,Y₀)。注视点信息数据集可以简化为三元组(t_fk，d_fk,cd_fk)。

设网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算注视点中心距矩阵中每行数据的中位数，构成下述p行一列注视点中心距的中位数矩阵W，其中，

$W=\left[\begin{array}{c}\mathrm{Median}(u_{11}...u_{1q})\\ .\\ .\\ .\\ .\\ .\\ .\\ \mathrm{Median}(u_{p1}...u_{\mathrm{pq}})\end{array}\right],---\left(4\right)$

其中，Median()为求中位数的函数；

步骤S23，组合瞳孔直径变化率和注视点中心距的中位数。

步骤S3，将网上用户的多个眼动特征参数输入到预设的状态分类器中进行比对，以识别网上用户的当前工作状态为搜索状态或浏览状态。

在一个实施方式中，将网上用户在观看网页的过程中的工作状态分为两个状态类型，一个为搜索状态，一个为浏览状态。获取用户在观看网页过程中的眼动数据会在这两个状态中分别表现出不同的特征，当网上用户处于搜索状态时，相较于浏览状态，在眼动数据上会表现出瞳孔直径变化率减小，注视点中心距呈现周边特性的特征。因此获取到这两个状态的眼动数据的不同特征，即可以判断用户在观看网页过程中所处的状态。

如图3所示，所述步骤S3还可以包括如下步骤：

步骤S31，对步骤S1之前采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取。一种方式为：对搜索任务的眼动数据进行特征提取，得到搜索状态下的眼动特征参数；对浏览任务的眼动数据进行特征提取，得到浏览状态下的眼动特征参数。进而，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：

$\left(\begin{array}{ccccc}<\mathrm{label}>& [\mathrm{indexl}:\mathrm{valuel}]& [\mathrm{index}2:\mathrm{value}2]& ...& [\mathrm{indexn}:\mathrm{valuen}]\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\end{array}\right),---\left(5\right)$

其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2。

步骤S32，将步骤S31中的组合特征数据集进行机器学习，以训练得到状态分类器。一种方式为：将组合特征数据集输入到支持向量机SVM中，训练得到状态分类器。例如，可以对搜索状态和浏览状态的眼动特征参数输入到支持向量机SVM中进行训练，得到训练过的状态分类器，从而实现后续对网络用户进行搜索或浏览的视觉行为的识别。其中，利用支持向量机对所得的眼动特征参数进行训练，训练得到状态分类器，一个具体实施例可以是：利用带有类别标签的特征参数数据集作为训练样本集，选择径向基函数作为核函数，训练时使用五折交叉验证，即训练样本数为总样本的4/5，测试样本为总样本的1/5，用网格搜索法选择最佳的参数C和gamma。进一步，状态分类器可以采用多种形式，除了上述例子中采用的支持向量机(SVM分类器)进行训练得到外、神经网络、遗传算法等其他机器学习算法也可以实现分类器训练。优选地，状态分类器还可以为libsvm支持向量机工具包等。

步骤S33，将步骤S2中得到的多个眼动特征参数(包括实时的或已经采集的)输入到步骤S32中得到的状态分类器中，识别网上用户的当前工作状态为搜索状态或浏览状态。

在一个实施方式中，将步骤S1中提取的眼动特征数据按步骤S2中数据集格式整理，输入到训练好的状态分类器中，从而判断网上用户的工作状态为搜索还是浏览，即识别出网上用户的工作状态类型。例如：支持向量机的输出为1时，则对应为搜索状态；输出为2时，则对应为浏览状态。

综上，本实施例采用基于眼动数据的网上用户状态识别方法，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。

本发明还提出一种基于眼动数据的网上用户状态识别装置，参见图4所示的装置的一个实施例结构示意图，包括：数据采集和预处理单元100、特征提取单元200和状态判断单元300。

具体地，数据采集和预处理单元100用于采集网上用户在观看网页的过程中的眼动数据，并对眼动数据进行预处理，得到预处理后的眼动数据。

在本发明的实施例中，数据采集和预处理单元100包括红外线摄像机，红外线摄像机用于采集网上用户在观看网页的过程中的眼动数据。其中，眼动数据包括：网上用户的注视点位置、注视时间和瞳孔直径。

在一个实施方式中,具体地，利用眼动追踪装置，获取网上用户观看网页时的眼动数据。其中，眼动追踪装置可以为型号为Tobii T120眼动仪，利用眼动仪中的红外线摄像机以120Hz的采样频率采集网上用户在观看网页的过程中的眼动数据。其中，眼动数据,是指与眼球运动相关的数据，包括但不限于与注视、眼跳和追随等眼球运动(或说眼球运动模式)等相关的数据。这里，眼动数据包括：网上用户的注视点(即用户查看网页时眼球不动时位于网页的点)位置、注视时间和瞳孔直径。

进一步，每个注视点的注视信息数据集F包含所有的注视信息f_k，即与“注视”被观察的对象的这类眼球运动信息相关的数据。该f_k是一个五元数组(t_fk，d_lk，d_rk，x_fk，y_fk),t_fk为注视点的注视时间，d_lk为左眼瞳孔直径，d_rk为右眼瞳孔直径，x_fk为注视点的横坐标，y_fk为注视点的纵坐标。一种方式，可以按照处理瞳孔直径的通用方法，采用左右眼瞳孔直径的平均值代表该注视点的瞳孔直径值，即算得d_fk＝(d_lk+d_rk)/2，将f_k简化为四元组(t_fk，d_fk,x_fk,y_fk)。

进一步，眼动跟踪技术能够实时记录用户在网页上的眼球运动情况。通过分析眼动轨迹(眼球的运动轨迹)、瞳孔直径等根据视觉感官反应的眼球的行为指标，能更加客观的反映用户的行为，从而揭示人们在网页上的心理状态。

数据采集和预处理单元100对上述眼动数据进行预处理，包括剔除采集到的眼动数据中的极端数据和三倍标准差以外的异常数据，得到预处理后的眼动数据。

数据采集和预处理单元100的具体实施和处理如步骤S1的描述。

特征提取单元200连接至数据采集和预处理单元100，用于对预处理后的眼动数据进行特征提取，获取多个眼动特征参数。一个实施方式中，可以分别选定每一个注视点，该注视点对应的注视信息中包含注视时间信息。针对眼动数据，计算每个注视点在注视时间内的瞳孔直径变化率、注视频率和注视点中心距。其中，多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数。

如图5所示，特征提取单元200包括：瞳孔直径变化率计算子单元210和注视点中心距的中位数计算子单元220。

瞳孔直径变化率计算子单元210计算瞳孔直径变化率，得到瞳孔直径变化率特征数据集。在一个实施方式中，注视点在注视时间内的采样次数为注视时间除以采样周期，其中可以预设采样周期例如为：8毫秒。具体地，瞳孔直径变化率计算子单元210用于根据每个眼动数据中的瞳孔直径构成瞳孔

直径数据集矩阵u，其中，

其中，m为眼动数据中的注视点的个数，n为在第m个注视点中选取的n个采样点，而u_ij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；

瞳孔直径变化率计算子单元210在瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D₀，除以瞳孔直径的基线值D₀，得到下述瞳孔直径变化率矩阵U，

$U=\left[\begin{array}{c}|(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{1i}-D_0)/D_0|\\ .\\ .\\ .\\ .\\ .\\ .\\ |(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{mi}}-D_0)/D_0|\end{array}\right].---\left(2\right)$

其中，D₀为瞳孔直径的基线值。

注视点中心距的中位数计算子单元220用于根据每个注视点位置计算注视点中心距CD_fk，其中，

${\mathrm{CD}}_{\mathrm{fk}}=\sqrt{{(X_{\mathrm{fk}}-X_0)}^2+{(Y_{\mathrm{fk}}-Y_0)}^2},---\left(3\right)$

其中，注视点的坐标为(X_fk,Y_fk)，网页中心坐标为(X₀,Y₀)，注视点信息数据集可以简化为三元组(t_fk，d_fk,cd_fk)。

注视点中心距的中位数计算子单元220设网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，

$W=\left[\begin{array}{c}\mathrm{Median}(u_{11}...u_{1q})\\ .\\ .\\ .\\ .\\ .\\ .\\ \mathrm{Median}(u_{p1}...u_{\mathrm{pq}})\end{array}\right],---\left(4\right)$

其中，Median()为求中位数的函数。

特征提取单元200进一步组合上述瞳孔直径变化率和注视点中心距的中位数。

特征提取单元200的具体实施和处理如步骤S2的描述。

状态判断单元300连接至特征提取单元200，用于将网上用户的多个眼动特征参数输入到预设的状态分类器中进行比对，以识别网上用户的当前工作状态为搜索状态或浏览状态。

状态判断单元300对前一次采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取。一种方式为：对搜索任务的眼动数据进行特征提取，得到搜索状态下的眼动特征参数；对浏览任务的眼动数据进行特征提取，得到浏览状态下的眼动特征参数。进而，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：

$\left(\begin{array}{ccccc}<\mathrm{label}>& [\mathrm{indexl}:\mathrm{valuel}]& [\mathrm{index}2:\mathrm{value}2]& ...& [\mathrm{indexn}:\mathrm{valuen}]\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\end{array}\right),---\left(5\right)$

其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2。

状态判断单元300将数据采集和预处理单元采集到的组合特征数据集进行机器学习，以训练得到状态分类器。一种方式为：将组合特征数据集输入到支持向量机SVM中，训练得到状态分类器，然后将数据采集和预处理单元得到的多个眼动特征参数输入到状态分类器中，识别网上用户的当前工作状态为搜索状态或浏览状态。

具体地，状态判断单元300对搜索状态和浏览状态的眼动特征参数输入到支持向量机SVM中进行训练，得到训练过的状态分类器，从而实现后续对网络用户进行搜索或浏览的视觉行为的识别。其中，利用支持向量机对所得的眼动特征参数进行训练，训练得到状态分类器，一个具体实施例可以是：利利用带有类别标签的特征参数数据集作为训练样本集，选择径向基函数作为核函数，训练时使用五折交叉验证，即训练样本数为总样本的4/5，测试样本为总样本的1/5，用网格搜索法选择最佳的参数C和gamma。

进一步，状态分类器可以采用多种形式，除了上述例子中采用的支持向量机(SVM分类器)进行训练得到外、神经网络、遗传算法等其他机器学习算法也可以实现分类器训练。优选地，状态分类器还可以为libsvm支持向量机工具包等。

状态判断单元300将多个眼动特征参数(包括实时的或已经采集的)输入到状态分类器中，识别网上用户的当前工作状态为搜索状态或浏览状态。在一个实施方式中，将提取的眼动特征数据按特征提取单元200中的方式进行数据集格式整理，输入到训练好的状态分类器中，从而判断网上用户的工作状态为搜索还是浏览，即识别出网上用户的工作状态类型。例如：支持向量机的输出为1时，则对应为搜索状态；输出为2时，则对应为浏览状态。

状态判断单元300的具体实施和处理如步骤S3的描述。

本实施例采用基于眼动数据的网上用户状态识别装置，解决了在基于视觉行为人机接口领域，仍然存在无法识别网上用户工作状态的问题。本发明针对网上用户搜索和浏览两种工作状态进行识别，采用主动感知技术提取两种眼动特征，同时采用了基于支持向量机的分类方法，学习速度快，分类正确率高，具有较高的识别效率。本发明可以根据网上用户观看网页时的眼动信息，识别出用户的工作状态是有目的的搜索状态还是无目的的浏览状态。本发明基于眼动数据的网上用户工作状态识别的方法和系统实现了一种以眼动为方式的人机交互，通过用户的眼动数据来识别用户的工作状态。

由于本实施例的系统所实现的处理及功能基本相应于前述图1～图3所示的方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此不做赘述。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于眼动数据的网上用户状态识别方法，包括如下步骤：

步骤S1，采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；

步骤S2，对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；

步骤S3，将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。

2.根据权利要求1所述的基于眼动数据的网上用户状态识别方法，其中，采用红外线摄像机采集所述网上用户在观看网页的过程中的眼动数据。

3.根据权利要求1或2所述的基于眼动数据的网上用户状态识别方法，其中，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。

4.根据权利要求3所述的基于眼动数据的网上用户状态识别方法，其中，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数，所述步骤S2还包括：

步骤S21，根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，

其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，u_ij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；

在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D₀，除以所述瞳孔直径的基线值D₀，得到下述瞳孔直径变化率矩阵U，

$U=\left[\begin{array}{c}|(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{1i}-D_0)/D_0|\\ .\\ .\\ .\\ .\\ .\\ .\\ |(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{mi}}-D_0)/D_0|\end{array}\right],$

其中，D₀为瞳孔直径的基线值，

步骤S22，根据每个所述注视点位置计算注视点中心距CD_fk，其中，

${\mathrm{CD}}_{\mathrm{fk}}=\sqrt{{(X_{\mathrm{fk}}-X_0)}^2+{(Y_{\mathrm{fk}}-Y_0)}^2},$

其中，注视点的坐标为(X_fk,Y_fk)，网页中心坐标为(X₀,Y₀)；

设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中，

$W=\left[\begin{array}{c}\mathrm{Median}(u_{11}...u_{1q})\\ .\\ .\\ .\\ .\\ .\\ .\\ \mathrm{Median}(u_{p1}...u_{\mathrm{pq}})\end{array}\right]$

其中，Median()为求中位数的函数；

步骤S23，组合所述瞳孔直径变化率和注视点中心距的中位数。

5.根据权利要求4所述的基于眼动数据的网上用户状态识别方法，所述步骤S3还包括：

步骤S31，对所述步骤S1之前采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：

$\left(\begin{array}{ccccc}\&lang;\mathrm{label}\&rang;& [\mathrm{index}1:\mathrm{value}1]& [\mathrm{index}2:\mathrm{value}2]& ...& [\mathrm{indexn}:\mathrm{valuen}]\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\end{array}\right),$

其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；

步骤S32，将所述步骤S31中的组合特征数据集输入到支持向量机中，训练得到状态分类器；

步骤S33，将所述步骤S2中得到的多个眼动特征参数输入到所述步骤S32中得到的所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。

6.一种基于眼动数据的网上用户状态识别装置，包括：

数据采集和预处理单元，用于采集网上用户在观看网页的过程中的眼动数据，并对所述眼动数据进行预处理，得到预处理后的眼动数据；

特征提取单元，用于对所述预处理后的眼动数据进行特征提取，获取多个眼动特征参数；

状态判断单元，用于将所述网上用户的所述多个眼动特征参数输入到预设的状态分类器中进行比对，以识别所述网上用户的当前工作状态为搜索状态或浏览状态。

7.根据权利要求6所述的基于眼动数据的网上用户状态识别装置，其中，所述数据采集和预处理单元包括红外线摄像机，所述红外线摄像机用于采集所述网上用户在观看网页的过程中的眼动数据。

8.根据权利要求6或7所述的基于眼动数据的网上用户状态识别装置，其中，所述眼动数据包括：所述网上用户的注视点位置、注视时间和瞳孔直径。

9.根据权利要求8所述的基于眼动数据的网上用户状态识别装置，其中，所述多个眼动特征参数包括瞳孔直径变化率和注视点中心距的中位数，所述特征提取单元还包括：瞳孔直径变化率计算子单元和注视点中心距的中位数计算子单元，其中，

所述瞳孔直径变化率计算子单元用于根据每个眼动数据中的瞳孔直径构成瞳孔直径数据集矩阵u，其中，

其中，m为所述眼动数据中的注视点的个数，n为在m个注视点中选取的n个采样点，u_ij为第i个注视点第j次采样的瞳孔直径值，其中，1≤i≤m，1≤j≤n；

所述瞳孔直径变化率计算子单元在所述瞳孔直径数据集矩阵u按行求均值，减去瞳孔直径的基线值D₀，除以所述瞳孔直径的基线值D₀，得到下述瞳孔直径变化率矩阵U，

$U=\left[\begin{array}{c}|(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{1i}-D_0)/D_0|\\ .\\ .\\ .\\ .\\ .\\ .\\ |(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{u}_{\mathrm{mi}}-D_0)/D_0|\end{array}\right],$

其中，D₀为瞳孔直径的基线值；

所述注视点中心距的中位数计算子单元用于根据每个所述注视点位置计算注视点中心距CD_fk，其中，

${\mathrm{CD}}_{\mathrm{fk}}=\sqrt{{(X_{\mathrm{fk}}-X_0)}^2+{(Y_{\mathrm{fk}}-Y_0)}^2},$

其中，注视点的坐标为(X_fk,Y_fk)，网页中心坐标为(X₀,Y₀)；

所述注视点中心距的中位数计算子单元设所述网上用户观看网页数量为p，每个网页选取q个注视点，则构成注视点中心距矩阵，计算所述注视点中心距矩阵中每行数据的中位数，构成下述注视点中心距的中位数矩阵W，其中， $W=\left[\begin{array}{c}\mathrm{Median}(u_{11}...u_{1q})\\ .\\ .\\ .\\ .\\ .\\ .\\ \mathrm{Median}(u_{p1}...u_{\mathrm{pq}})\end{array}\right]$

其中，Median()为求中位数的函数。

10.根据权利要求9所述的基于眼动数据的网上用户状态识别装置，其中，所述状态判断单元还包括:

对前一次采集到的网上用户进行搜索状态或浏览状态过程中的眼动数据和特征提取，按第一列为训练或者预测样本的标签值，其他列为对应特征的特征值构成如下组合特征数据集：

$\left(\begin{array}{ccccc}\&lang;\mathrm{label}\&rang;& [\mathrm{index}1:\mathrm{value}1]& [\mathrm{index}2:\mathrm{value}2]& ...& [\mathrm{indexn}:\mathrm{valuen}]\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\\ .& .& .& .& .\end{array}\right),$

其中，label为训练数据集的目标值；index为从1开始的整数，表示特征的序号；value为用于训练或预测的数据，即特征值，其中搜索状态标记为1，浏览状态标记为2；

所述状态判断单元将所述数据采集和预处理单元采集到的组合特征数据集输入到支持向量机中，训练得到状态分类器，然后将所述数据采集和预处理单元得到的多个眼动特征参数输入到所述状态分类器中，识别所述网上用户的当前工作状态为搜索状态或浏览状态。