CN111475391B - 眼动数据处理方法、装置及系统 - Google Patents
眼动数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN111475391B CN111475391B CN202010257881.0A CN202010257881A CN111475391B CN 111475391 B CN111475391 B CN 111475391B CN 202010257881 A CN202010257881 A CN 202010257881A CN 111475391 B CN111475391 B CN 111475391B
- Authority
- CN
- China
- Prior art keywords
- prediction
- eye movement
- data
- track
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 107
- 238000003672 processing method Methods 0.000 title abstract description 10
- 238000010586 diagram Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000013461 design Methods 0.000 claims abstract description 18
- 230000006399 behavior Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种眼动数据处理方法、装置及系统，其中，该方法包括：通过眼动仪获取用户浏览网页的眼动数据，眼动数据用二维坐标数据表示；根据眼动数据生成网页的热力图，热力图用于表示用户浏览网页区域的热衷度；根据热力图分析用户行为，以对网页进行设计。通过本发明，可以使得网页设计更人性化，提高用户体验感。
Description
技术领域
本发明涉及数据处理领域，具体涉及一种眼动数据处理方法、装置及系统。
背景技术
目前，互联网金融已经发展成熟，各大银行使用的网页日渐趋于实用和外观并重，设计师从用户角度出发设计网页，如某些组件的大小或位置，功能模块的变化，例如，功能模块的优先度会随着不同客户的年龄层段而有所变化。
设计师优秀的设计可以满足用户的某些需求，然而设计师很少分析或者预测用户的行为，在网页设计上的失误或者不合理也是在所难免。
目前，主要通过用户行为模型来分析或者预测用户的行为，但是，建立用户行为模型需要大量的样本参考，收集样本和分析样本的过程会消耗大量的时间和精力。
发明内容
有鉴于此，本发明提供一种眼动数据处理方法、装置及系统，以解决上述提及的至少一个问题。
根据本发明的第一方面，提供一种眼动数据处理方法，所述方法包括：通过眼动仪获取用户浏览网页的眼动数据，所述眼动数据用二维坐标数据表示；根据所述眼动数据生成所述网页的热力图，所述热力图用于表示用户浏览网页区域的热衷度；根据所述热力图分析用户行为，以对网页进行设计。
根据本发明的第二方面，提供一种眼动数据处理装置，所述装置包括：眼动数据获取单元，用于通过眼动仪获取用户浏览网页的眼动数据，所述眼动数据用二维坐标数据表示；热力图生成单元，用于根据所述眼动数据生成所述网页的热力图，所述热力图用于表示用户浏览网页区域的热衷度；分析单元，用于根据所述热力图分析用户行为，以对网页进行设计。
根据本发明的第三方面，提供一种眼动数据处理系统，所述系统包括：上述的眼动数据处理装置、眼动仪、存储器，其中，所述存储器用于存储通过所述眼动仪获取的用户眼动数据，并存储所述眼动数据处理装置生成的热力图和浏览预测信息。
根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
根据本发明的第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
由上述技术方案可知，通过根据眼动仪获取的用户浏览网页的眼动数据生成热力图，并基于热力图来分析用户行为，以此来设计网页，可以使得网页设计更人性化，提高用户体验感，并且，相比于构建用户行为模型来分析用户行为，通过眼动仪获取的眼动数据来分析用户行为，更方便、更快捷，可以提高用户行为分析的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的眼动数据处理方法的流程图；
图2是根据本发明实施例的卡尔曼滤波预测过程的流程图；
图3是根据本发明实施例的眼动数据处理系统的结构框图；
图4是根据本发明实施例的眼动数据处理装置1的结构框图；
图5是根据本发明实施例的眼动数据处理装置1的详细结构框图；
图6是根据本发明实施例的基于眼动仪的用户行为分析系统示例结构图；
图7是根据本发明实施例的带有眼动仪的电脑设备61的结构框图；
图8是根据本发明实施例的数据库62存储的信息示意图；
图9是根据本发明实施例的工作站63的结构框图；
图10是基于图6所示系统的客户行为分析方法流程图；
图11是根据本发明实施例的电子设备的示意图；
图12是根据本发明实施例的屏幕二维坐标转换示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的网页设计较少分析或者预测用户行为，使得网页设计不够人性化，用户体验感较低；如果使用用户行为模型来分析或者预测用户的行为，则需要大量的样本参考，且收集样本和分析样本的过程会消耗大量的时间和精力。基于此，本发明实施例提供一种眼动数据处理方案，可以方便、快速地分析用户行为，以此来设计网页，可以使得网页更人性化，提高用户体验感。
图1是根据本发明实施例的眼动数据处理方法的流程图，如图1所示，该方法包括：
步骤101，通过眼动仪获取用户浏览网页的眼动数据，所述眼动数据用二维坐标数据表示。
在实际操作中，上述眼动数据还可以包括：与所述二维坐标数据相应的时间数据。
具体而言，眼动仪可以捕捉用户视线，并且将用户所看的电脑屏幕上网页的位置按照屏幕分辨率转换为对应的二维坐标，目前的眼动仪一般会有配套软件开发的SDK(Software Development Kit，软件开发工具包)，如Tobii眼动仪，该设备连接电脑后可以识别出当前屏幕分辨率，若分辨率为普通的1920×1080，则用户视线望上左上角处则会被转化为坐标(0，0)，右下角则为(1920，1080)；在转换为二维坐标时，可以额外添加一个时间戳，最后生成的眼动数据格式为坐标+时间，例如，{[x,y]，yyyyMMdd:hh:ss}，时间精度可以依据眼动仪设置而定。
在实际操作中，眼动仪获取的是屏幕二维坐标，此时需要根据完整网页实际大小进行坐标转换，因为网页大部分不可能在一个屏幕内全部完成显示，如屏幕分辨率为1920×1080的情况下，需要计算完整网页的大小，同时配合滚动条来即时计算目前屏幕停留的地方。例如，如图12所示，网页完整大小为3840×1080(其中，3840为横向长度，1080为纵向长度)，横向滚动条停留在正中间，此时可以按照比例得出对应坐标，此时左上角坐标应该为(960，0)而不是(0，0)，之后按照{[x,y]，time}的格式将数据缓存在本地。
在本发明实施例中，所使用的二维坐标数据是指根据完整网页转换后的二维坐标数据。
步骤102，根据所述眼动数据生成所述网页的热力图，所述热力图用于表示用户浏览网页区域的热衷度。
在实际操作中，可以基于现有的热力图生成算法来生成热力图，生成的热力图可以为带轨迹顺序的热力图。
步骤103，根据所述热力图分析用户行为，以对网页进行设计。
通过根据眼动仪获取的用户浏览网页的眼动数据生成热力图，并基于热力图来分析用户行为，以此来设计网页，可以使得网页设计更人性化，提高用户体验感，并且，相比于构建用户行为模型来分析用户行为，通过眼动仪获取的眼动数据来分析用户行为，更方便、更快捷，可以提高用户行为分析的效率。
优选地，根据眼动数据中的二维坐标数据及其相应的时间数据，可以基于动态轨迹预测算法生成用户在所述网页的浏览预测数据。
在步骤103中，可以结合热力图和浏览预测信息一起来分析用户行为，提高分析的准确度。
并且，在实际操作中，还可以根据热力图和浏览预测信息来构建并修正用户行为模型，而无需耗费较多的时间和精力来收集和分析大量的样本。
优选地，上述的动态轨迹预测算法可以为基于卡尔曼滤波的轨迹预测算法。
在实际操作中，需要预先对基于卡尔曼滤波的轨迹预测算法进行参数设置；并更新所述参数，以使所述浏览预测数据与实际浏览数据之间的均方根误差小于预定阈值。如此，可以提高预测精度。
为了更好地理解本发明实施例，以下详细描述基于卡尔曼滤波的轨迹预测过程。
首先，对二维坐标数据进行修正和筛选，筛选出明显不符合需求的点，如网页主要内容是均衡分布在屏幕中间的，则可以将分布于屏幕边缘的坐标点剔除，提高预测准确性。将处理后的二维坐标点集称为T，根据与二维坐标数据对应的时间信息可以有序形成轨迹合集，这里称为Trj，假设共有n条轨迹，则称为形成的轨迹数据集为T＝{Trj1，Trj2...Trjn}，利用轨迹数据集可以得出每条轨迹在x轴或y轴的投影矢量集Pi x＝(xi1,xi2...xid)T和Pi y＝(yi1,yi2...yid)T(i为轨迹次序，i为大于等于1的正整数)，如(0，0)到(1，1)的xi1和yi1分别为(1，0)和(0，1)，(Pi x，Pi y)称为轨迹Trji的矢量集，多组(Pi x，Pi y)集合起来可以得出一个基于欧式空间二维平面xy坐标的矢量轨迹集。
之后，根据系统的状态方程和观测方程确定运动模型参数，这里的状态方程指X(k+1)＝A(k)X(k)+T(k)W(k)，观测方程指Z(k)＝H(k)X(k)+V(k)，这里的运动模型均是以最小均方差J＝E[(xk+1-x’k+1)(xk+1-x’k+1)T]为准则得出来的运动模型。
以下分别详细描述状态方程和观测方程。
(一)状态方程
X(k)为系统状态向量，用于描述k时刻下运动对象的状态矢量，此处指视线的运动状态矢量。
A(k)为状态转移矩阵，用于描述由前一时刻到当前时刻的运动状态转移方式，在此可以理解为坐标点x，y的状态变化。例如，坐标点仅在三个点(0，0)，(1，1)，(2，2)中变化，可以得出矩阵如下表1所示：
| 下一时刻/此时刻 | (0，0) | (1，1) | (2，2) |
| (0，0) | 3/4 | 1/8 | 1/8 |
| (1，1) | 1/2 | 1/4 | 1/4 |
| (2，2) | 1/4 | 1/2 | 1/4 |
表1
其中，3/4表示此时刻处在(0，0)点时，下一时刻处在(0，0)的概率为3/4。
T(k)为干扰转移矩阵，与状态转移矩阵类似，表示为受到干扰的概率状态变化。
W(k)表示运动模型的系统状态噪声，这里的噪声统计特性与白噪声和高斯噪声相似，即，坐标点的概率密度函数服从高斯分布的一类噪声。
(二)观测方程
Z(k)表示观测向量，此处指k时刻下的观测值，也就是预测结果，在本发明实施例中，是预测用户视线将落到网页的哪一个位置；
H(k)为观测矩阵，在单测量系统中，观测矩阵为1×1的单位矩阵。若为非直接观测模型，该矩阵用于把状态量投射到观测量空间中，例如，圆形方程中x2+y2＝-ax-by-c，状态量为[a,b,c]，则可以得出对应的x2+y2＝[-x,-y,-1][a,b,c]-1，此时[-x,-y,-1]就为观测矩阵。
V(k)为观测噪声，本系统中指预测二维坐标点过程中产生的观测噪声，可理解为干扰和误差。该模型可以根据需求复用现有的模型，也可以根据实际情况重新建立。
卡尔曼滤波算法运用递归来达到最优状态的估计模型，预测n步则迭代n次，在随机线性离散卡尔曼滤波周期过程中存在着时间更新过程和观测更新过程。时间更新过程为根据前一时刻的最优状态预测出当前时刻下的状态，同时更新当前预测状态的协方差P。然后利用观测值进行线性拟合出最优估计轨迹点位置，即根据观测值和预测值通过观测更新方程来推测出最优估计点。
预测结束后，需要对预测轨迹点与实际轨迹点(根据二维坐标取得)的位置采用RMSE(Root Mean Square Error)均方根误差进行评估，如预测得出的结果为(1，1)，(1，0)，而前一个实际坐标点为(0，0)，则可以用RMSE均方根误差计算误差大小，令预测结果为(xi，yi)，实际结果为(xi'，yi')，k为预测结果数量(这里k＝2)，可计算出误差为/>最后，根据该误差和预定阈值大小进行比较，若均方根误差小于预定阈值(该阈值可以根据实际需求设置)，则视为预测成功，反之不成功。
在预测不成功时，可以调整模型参数，即，调整卡尔曼滤波轨迹预测模型参数，从而可以提高预测的准确率。
图2是根据本发明实施例的卡尔曼滤波预测过程的流程图，如图2所示，该流程包括：
步骤201，分析二维坐标数据集，对其进行修正筛选，生成轨迹数据集；
步骤202，初始化卡尔曼滤波轨迹预测模型参数；
步骤203，从初始时刻(i＝0)开始，根据最优状态估计X(0,0)和估计误差方差阵P(0,0)预测出下一时刻(i＝1)的移动对象预测值X(1,0)和协方差阵P(1,0)；之后根据i＝1时刻下的观测值Z(1)得到i＝1时刻下的X(1,1)和协方差阵P(1,1)，为一步滤波，依次迭代到前一时刻的最优状态估计X(n-1,n-1)；
步骤204，i＝0时刻；
步骤205，判断i<k，k为预测第k步，当i<k时，执行步骤206，否则执行步骤209；
步骤206，根据前一时刻最优状态估计X(n-1,n-1)，以及当前时刻观测值预测出n+1时刻下的轨迹点位置p'；
步骤207，p'和实际轨迹点p进行比较，计算出预测误差；
步骤208，执行i＝i+1，并返回至步骤205；
步骤209，计算并输出RMSE预测误差均值和预测点。
本发明实施例通过预测结果，并结合生成的热力图，可以方便设计师根据热力图和预测结果分析客户行为，例如，用户在某页面停留时间久，注视某一位置时间长，则是否可以猜测该处内容对用户来说难于理解或造成迷惑；或者用户在点击进入某页面后，根据注视轨迹预测，可以在适当的地方放入相应广告，如用户进入页面后第一眼注视到理财产品栏目，算法预测得出用户有可能去寻找登陆组件，则可以考虑在登陆组件附近投放广告。如此，可以设计出更人性化的网页，提高用户的体验感。
基于相似的发明构思，本发明实施例还提供一种眼动数据处理系统，图3是该系统的结构框图，如图3所示，该系统包括：眼动数据处理装置1、眼动仪2、存储器3，其中，存储器3用于存储通过眼动仪2获取的用户眼动数据，并存储眼动数据处理装置生成的热力图和浏览预测信息。其中，眼动数据处理装置1优选地用于实现上述方法实施例中的流程。
图4是眼动数据处理装置1的结构框图，如图4所示，该眼动数据处理装置1包括：眼动数据获取单元11、热力图生成单元12和分析单元13，其中：
眼动数据获取单元11，用于通过眼动仪获取用户浏览网页的眼动数据，所述眼动数据用二维坐标数据表示。
优选地，眼动数据还包括：与所述二维坐标数据相应的时间数据。
热力图生成单元12，用于根据所述眼动数据生成所述网页的热力图，所述热力图用于表示用户浏览网页区域的热衷度。
分析单元13，用于根据所述热力图分析用户行为，以对网页进行设计。
通过热力图生成单元12根据眼动数据获取单元11基于眼动仪获取的用户浏览网页的眼动数据生成热力图，分析单元13基于热力图来分析用户行为，以此来设计网页，可以使得网页更人性化，提高用户体验感，并且，相比于构建用户行为模型来分析用户行为，通过眼动仪获取的眼动数据来分析用户行为，更方便、更快捷，可以提高用户行为分析的效率。
在实际操作中，如图5所示，眼动数据处理装置1还包括：预测数据生成单元14，用于基于动态轨迹预测算法，根据所述眼动数据中的二维坐标数据及其相应的时间数据生成用户在所述网页的浏览预测数据。
上述分析单元13具体用于根据所述热力图和所述浏览预测信息分析用户行为，其中，所述热力图为带轨迹顺序的热力图。
优选地，上述的动态轨迹预测算法可以是基于卡尔曼滤波的轨迹预测算法。
继续参见图5，眼动数据处理装置1还可以包括：参数设置单元15和参数更新单元16，其中：
参数设置单元15，用于预先对所述基于卡尔曼滤波的轨迹预测算法进行参数设置；
参数更新单元16，用于更新所述参数，以使所述浏览预测数据与实际浏览数据之间的均方根误差小于预定阈值。
在实际操作中，眼动数据处理装置1还可以包括：模型建立单元17和模型修正单元18，其中：
模型建立单元17，用于根据所述热力图和所述浏览预测信息建立用户行为模型；
模型修正单元18，用于根据所述热力图和所述浏览预测信息修正所述用户行为模型。
上述各单元的具体执行过程，可以参见上述方法实施例中的描述，此处不再赘述。
在实际操作中，上述各单元可以组合设置、也可以单一设置，本发明不限于此。
为了更好地理解本发明实施例，以下结合图6所示的示例系统架构来描述本发明实施例。
图6是基于眼动仪的用户行为分析系统示例结构图，如图6所示，该系统包括：用户端带有眼动仪的电脑设备61、数据库62、多个工作站63和设计师端电脑64，以下分别描述各部分。
带有眼动仪的电脑设备61，安装眼动仪硬件以及驱动程序，用户在该电脑上浏览网页。该电脑连接数据库，将二维坐标数据按浏览网页分类，按时间顺序存储到数据库中，该动作对用户是透明的。
数据库62，用于存储二维坐标数据和热力图，预测结果。
多个工作站63，读取数据库中的二维坐标数据，按网页页面生成热力图并将热力图存储回数据库；读取数据库中的二维坐标数据，使用基于卡尔曼滤波的轨迹预测算法进行用户的注视点预测，并将结果存储到数据库中，或者直接发送到设计师端电脑64。该多个工作站63具有上述眼动数据处理装置1的功能。
设计师端电脑64，用于接收由工作站直接发送的热力图或预测结果，或是从数据库中读取热力图或预测结果，以便于分析用户行为。
图7是带有眼动仪的电脑设备61的结构框图，如图7所示，该带有眼动仪的电脑设备61包括：眼动仪硬件611、数据库连接模块612、二维坐标数据记录模块613，其中：
眼动仪硬件611，用于捕捉用户视线，并且将用户视线对应的屏幕位置根据屏幕分辨率转换为对应的二维坐标，目前市面上可以买到的眼动仪一般会有配套软件开发的SDK，如Tobii眼动仪，该设备连接电脑后可以识别出当前屏幕分辨率，若分辨率为普通的1920×1080，则用户视线望上左上角处则会被转化为坐标(0，0)，右下角则为(1920，1080)；在转换为二维坐标时，会额外添加一个时间戳，最后生成的眼动数据格式为坐标+时间，例如，{[x,y],yyyyMMdd:hh:ss}，时间精度可以依据眼动仪设置而定。
数据库连接模块612，用于创建跟数据库之间的连接和存储数据到不同的表中，该数据库连接模块612可以由二维坐标数据记录模块613调控，用于创建连接和存储数据。
二维坐标数据记录模块613，按照所浏览的网页页面将二维坐标归组，需要根据完整网页实际大小进行坐标的转换，因为网页大部分不可能在一个屏幕内全部显示完成，如屏幕分辨率为1920×1080的情况下，需要计算完整网页的大小，同时配合滚动条来即时计算目前屏幕停留的地方。例如，网页完整大小为3840×1080，滚动条停留在正中间，此时可以按照比例得出对应坐标，此时左上角坐标应该为(960，0)而不是(0，0)，按照{[x,y],time}的格式将数据缓存在本地。最后将完整网页的图片数据也缓存在本地，即3840×1080的图片，后存入数据库中。
图8是数据库62存储的信息示意图，如图8所示，数据库62存储了二维坐标表、热力图表、预测结果表、网页图像表，其中：
二维坐标表，字段主要包括：主键sid(用于唯一表示该条数据)、二维坐标position、时间time、网页url。完整的一组数据可以表示为，例如{000001，(0，0)，2020-02-28 11:11:11，http://www.xxxxx.com}。该表的数据由带有眼动仪的电脑设备获取并存入，用于工作站生成热力图和预测结果。
热力图表，字段主要包括：主键sid、热力图hotpoint_pic、时间time、网页url。完整的一组数据可以表示为，例如，{000002，byte[]，2020-02-28 11:11:11，http://www.xxxxx.com}。热力图使用字节数组存入数据库。该表的数据由工作站在读取二维坐标表数据后，如坐标为(0，0)，则在网页图像的(0，0)坐标处画出一个半径为r的圆(r可以根据实际情况设定)，当处于半径r圆中的坐标越多，圆的颜色越趋向暖色系，一般由蓝到青到红，最后生成的图像像红外线测温形成的图像类似，故称为热力图。最后将热力图存入数据库。
预测结果表，字段主要包括：主键sid、预测结果predict_pic、时间time、网页url。完整的一组数据可以表示为，例如，{000003，byte[]，2020-02-28 11:11:11，http://www.xxxxx.com}。预测结果可以为图像，与热力图相似，使用字节数组存入数据库。该表的数据由工作站在读取二维坐标表数据后生成预测结果后存入。
网页图像表，字段主要包含：主键sid、网页url、网页图像url_pic。完整的一组数据可以表示为，例如，{000004,http://www.xxxxx.com，byte[]}。网页图像为图像，与热力图相似，使用字节数组存入数据库。该表的数据由带有眼动仪的电脑设备存入，为热力图和预测结果的生成提供底图。
图9为工作站63的结构框图，如图9所示，该工作站63包括：热力图生成模块631、预测结果生成模块632、数据库连接模块633、即时传输模块634，其中：
热力图生成模块631，从二维坐标表中读取出数据，根据url在网页图像表中找到对应的底图。热力图算法可以采用目前已经比较成熟的算法，生成出普通的热力图或者是带轨迹顺序的热力图，供设计师按需取用。
预测结果生成模块632，从二维坐标表中读取出数据，根据url在网页图像表中找到对应的底图。预测结果生成模块632采用基于卡尔曼滤波的动态轨迹预测算法，来预测用户浏览网点的下一个点。具体地预测流程可以参见上述图2所示的流程描述，此处不再赘述。之后，将预测点通过热力图的方式体现到底图上，用于即时传输监控和存储到数据库中。
数据库连接模块633，用于创建跟数据库之间的连接和存储数据到不同的表中，由热力图生成模块和预测结果生成模块调控，用于创建连接和存储数据。
即时传输模块634，用于将生成的热力图或者预测结果按时间顺序通过网络连接即时发送到设计师端电脑64。
图10是基于图6所示系统的客户行为分析方法流程图，如图10所示，该流程包括：
步骤1001，设置卡尔曼滤波预测模型参数，设置观测噪声和系统噪声的协方差矩阵，如可以简单的设置为设置预测轨迹步数，然后通过观测方程和状态方程建立预测模型。
步骤1002，用户在带有眼动仪的电脑设备上浏览网页，眼动仪获取用户观看网页的二维坐标数据，为分析提供数据。
步骤1003，对眼动仪获取的二维坐标数据进行预处理，网页的图像化以及缓存，在给定的时间间隔将数据存入到数据库中。
步骤1004，工作站根据热力图算法和卡尔曼滤波预测算法生成对应的热力图和预测结果，其中预测会采用步骤1001中选用的模型参数、预测步数跟预定阈值可以根据实际情况而定。
步骤1005，工作站将生成的热力图和预测结果图存入数据库，并且可按时间顺序通过网络连接发送到设计师端电脑64用于即时监控。
步骤1006，设计师通过热力图和预测结果分析客户浏览网页的行为，根据分析结果修改设计，例如，用户在某页面停留时间久，注视某一位置时间长，则是否可以猜测该处内容对用户来说难于理解或造成迷惑；或者用户在点击进入某页面后，根据注视轨迹预测，可以在适当的地方放入相应广告，如用户进入页面后第一眼注视到理财产品栏目，算法预测得出用户有可能去寻找登陆组件，则可以考虑在登陆组件附近投放广告。如此，可以设计出更人性化的网页，提高用户的体验感。
图11是根据本发明实施例的电子设备的示意图。图11所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器1101和存储器1102。处理器1101和存储器1102通过总线1103连接。存储器1102适于存储处理器1101可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器1101执行以实现上述眼动数据处理方法中的步骤。
上述处理器1101可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器1101通过执行存储器1102所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线1103将上述多个组件连接在一起，同时将上述组件连接到显示控制器1104和显示装置以及输入/输出(I/O)装置1105。输入/输出(I/O)装置1105可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(I/O)装置1105通过输入/输出(I/O)控制器1106与系统相连。
其中，存储器1102可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述眼动数据处理方法的步骤。
综上所述，本发明实施例提供了一种基于眼动仪的眼动数据处理方案，通过眼动仪来收集用户在浏览网页时产生的眼动数据，生成包含时间要素的热力图，同时根据采集到的二维坐标数据，使用基于卡尔曼滤波的动态轨迹预测算法预测用户的下一个注视点，在设计理念的基础上辅以数学算法预测，能够更好的分析用户行为，以此来设计网页，可以提高用户浏览网页的体验感。通过本发明实施例，解决了设计师在建立用户行为模型时，收集样本和分析样本时花费成本过高的问题，该方案可以一次性收集多人的眼动数据进行分析，使用计算机进行分析成本低廉而且速度较快。
以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种眼动数据处理方法，其特征在于，所述方法包括：
通过眼动仪获取用户浏览网页的眼动数据，所述眼动数据用二维坐标数据表示；所述眼动数据还包括：与所述二维坐标数据相应的时间数据；
根据所述眼动数据生成所述网页的热力图，所述热力图用于表示用户浏览网页区域的热衷度；
基于卡尔曼滤波的动态轨迹预测算法，根据所述眼动数据生成用户在所述网页的浏览预测数据；
根据所述热力图和所述浏览预测数据分析用户行为，以对网页进行设计；
根据所述热力图和所述浏览预测数据建立并修正用户行为模型；
基于卡尔曼滤波的动态轨迹预测算法，根据所述眼动数据生成用户在所述网页的浏览预测数据，具体包括：
对二维坐标数据进行修正和筛选，筛选出不符合需求的点，然后根据与二维坐标数据对应的时间信息有序形成轨迹数据集T＝{Trj1，Trj2...Trjn}，n为轨迹的数量，利用轨迹数据集得出每条轨迹在x轴或y轴的投影矢量集Pi x＝(xi1,xi2...xid)T和Pi y＝(yi1,yi2...yid)T，i为轨迹次序，i为大于等于1的正整数，(Pi x，Pi y)为轨迹Trji的矢量集，多组(Pi x，Pi y)集合起来得出一个基于欧式空间二维平面xy坐标的矢量轨迹集；根据系统的状态方程和观测方程确定运动模型参数，状态方程为X(k+1)＝A(k)X(k)+T(k)W(k)，观测方程为Z(k)＝H(k)X(k)+V(k)，运动模型均是以最小均方差J＝E[(xk+1-x’k+1)(xk+1-x’k+1)T]为准则得出来的运动模型；X(k)为系统状态向量，用于描述k时刻下运动对象的状态矢量，指视线的运动状态矢量；A(k)为状态转移矩阵，用于描述由前一时刻到当前时刻的运动状态转移方式，为坐标点x，y的状态变化；T(k)为干扰转移矩阵，表示为受到干扰的概率状态变化；W(k)表示运动模型的系统状态噪声；Z(k)表示观测向量，指k时刻下的观测值，也就是预测结果，即预测用户视线将落到网页的哪一个位置；H(k)为观测矩阵；V(k)为观测噪声，指预测二维坐标点过程中产生的观测噪声；卡尔曼滤波算法运用递归来达到最优状态的估计模型，在随机线性离散卡尔曼滤波周期过程中存在着时间更新过程和观测更新过程，时间更新过程为根据前一时刻的最优状态预测出当前时刻下的状态，同时更新当前预测状态的协方差P，然后利用观测值进行线性拟合出最优估计轨迹点位置，即根据观测值和预测值通过观测更新方程来推测出最优估计点；预测结束后，对预测轨迹点与根据二维坐标数据得到的实际轨迹点的位置采用均方根误差进行评估，根据均方根误差和预定阈值大小进行比较，若均方根误差小于预定阈值，则视为预测成功，反之不成功，在预测不成功时，调整卡尔曼滤波轨迹预测模型参数，以提高预测的准确率。
2.根据权利要求1所述的方法，其特征在于，所述热力图为带轨迹顺序的热力图。
3.一种眼动数据处理装置，其特征在于，所述装置包括：
眼动数据获取单元，用于通过眼动仪获取用户浏览网页的眼动数据，所述眼动数据用二维坐标数据表示；所述眼动数据还包括：与所述二维坐标数据相应的时间数据；
热力图生成单元，用于根据所述眼动数据生成所述网页的热力图，所述热力图用于表示用户浏览网页区域的热衷度；
预测数据生成单元，用于基于卡尔曼滤波的动态轨迹预测算法，根据所述眼动数据生成用户在所述网页的浏览预测数据；
分析单元，用于根据所述热力图分析用户行为，以对网页进行设计；
模型建立单元，用于根据所述热力图和所述浏览预测数据建立用户行为模型；
模型修正单元，用于根据所述热力图和所述浏览预测数据修正所述用户行为模型；
所述预测数据生成单元，具体用于：
对二维坐标数据进行修正和筛选，筛选出不符合需求的点，然后根据与二维坐标数据对应的时间信息有序形成轨迹数据集T＝{Trj1，Trj2...Trjn}，n为轨迹的数量，利用轨迹数据集得出每条轨迹在x轴或y轴的投影矢量集Pi x＝(xi1,xi2...xid)T和Pi y＝(yi1,yi2...yid)T，i为轨迹次序，i为大于等于1的正整数，(Pi x，Pi y)为轨迹Trji的矢量集，多组(Pi x，Pi y)集合起来得出一个基于欧式空间二维平面xy坐标的矢量轨迹集；根据系统的状态方程和观测方程确定运动模型参数，状态方程为X(k+1)＝A(k)X(k)+T(k)W(k)，观测方程为Z(k)＝H(k)X(k)+V(k)，运动模型均是以最小均方差J＝E[(xk+1-x’k+1)(xk+1-x’k+1)T]为准则得出来的运动模型；X(k)为系统状态向量，用于描述k时刻下运动对象的状态矢量，指视线的运动状态矢量；A(k)为状态转移矩阵，用于描述由前一时刻到当前时刻的运动状态转移方式，为坐标点x，y的状态变化；T(k)为干扰转移矩阵，表示为受到干扰的概率状态变化；W(k)表示运动模型的系统状态噪声；Z(k)表示观测向量，指k时刻下的观测值，也就是预测结果，即预测用户视线将落到网页的哪一个位置；H(k)为观测矩阵；V(k)为观测噪声，指预测二维坐标点过程中产生的观测噪声；卡尔曼滤波算法运用递归来达到最优状态的估计模型，在随机线性离散卡尔曼滤波周期过程中存在着时间更新过程和观测更新过程，时间更新过程为根据前一时刻的最优状态预测出当前时刻下的状态，同时更新当前预测状态的协方差P，然后利用观测值进行线性拟合出最优估计轨迹点位置，即根据观测值和预测值通过观测更新方程来推测出最优估计点；预测结束后，对预测轨迹点与根据二维坐标数据得到的实际轨迹点的位置采用均方根误差进行评估，根据均方根误差和预定阈值大小进行比较，若均方根误差小于预定阈值，则视为预测成功，反之不成功，在预测不成功时，调整卡尔曼滤波轨迹预测模型参数，以提高预测的准确率。
4.根据权利要求3所述的装置，其特征在于，所述热力图为带轨迹顺序的热力图。
5.一种眼动数据处理系统，其特征在于，所述系统包括：权利要求3至4中任一项所述的眼动数据处理装置、眼动仪、存储器，其中，所述存储器用于存储通过所述眼动仪获取的用户眼动数据，并存储所述眼动数据处理装置生成的热力图和浏览预测信息。
6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至2中任一项所述方法的步骤。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至2中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010257881.0A CN111475391B (zh) | 2020-04-03 | 2020-04-03 | 眼动数据处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010257881.0A CN111475391B (zh) | 2020-04-03 | 2020-04-03 | 眼动数据处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111475391A CN111475391A (zh) | 2020-07-31 |
| CN111475391B true CN111475391B (zh) | 2024-04-16 |
Family
ID=71749719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010257881.0A Active CN111475391B (zh) | 2020-04-03 | 2020-04-03 | 眼动数据处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111475391B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270382A (zh) * | 2020-11-16 | 2021-01-26 | 三星电子（中国）研发中心 | 生成信息的方法及装置 |
| CN116050282B (zh) * | 2023-02-23 | 2024-06-11 | 华中科技大学 | 用户对情报的需求度计算方法和隐式反馈需求度预测方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101382939A (zh) * | 2008-10-23 | 2009-03-11 | 浙江大学 | 基于眼球跟踪的网页文本个性化搜索方法 |
| CN103177170A (zh) * | 2011-12-21 | 2013-06-26 | 中国移动通信集团四川有限公司 | 一种采集用户眼动的热点分析方法和系统 |
| CN104504390A (zh) * | 2015-01-14 | 2015-04-08 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
| CN104504404A (zh) * | 2015-01-23 | 2015-04-08 | 北京工业大学 | 一种基于视觉行为的网上用户类型识别方法及系统 |
| CN104951084A (zh) * | 2015-07-30 | 2015-09-30 | 京东方科技集团股份有限公司 | 视线追踪方法及装置 |
| CN105359062A (zh) * | 2013-04-16 | 2016-02-24 | 眼球控制技术有限公司 | 眼动追踪数据分析系统及方法 |
| CN107885857A (zh) * | 2017-11-17 | 2018-04-06 | 山东师范大学 | 一种搜索结果页用户行为模式挖掘方法、装置及系统 |
| CN109800434A (zh) * | 2019-01-25 | 2019-05-24 | 陕西师范大学 | 基于眼动注意力的抽象文本标题生成方法 |
| CN110245660A (zh) * | 2019-06-03 | 2019-09-17 | 西北工业大学 | 基于显著性特征融合的网页扫视路径预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8988350B2 (en) * | 2011-08-20 | 2015-03-24 | Buckyball Mobile, Inc | Method and system of user authentication with bioresponse data |
| US11275596B2 (en) * | 2016-01-15 | 2022-03-15 | City University Of Hong Kong | System and method for optimizing a user interface and a system and method for manipulating a user's interaction with an interface |
-
2020
- 2020-04-03 CN CN202010257881.0A patent/CN111475391B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101382939A (zh) * | 2008-10-23 | 2009-03-11 | 浙江大学 | 基于眼球跟踪的网页文本个性化搜索方法 |
| CN103177170A (zh) * | 2011-12-21 | 2013-06-26 | 中国移动通信集团四川有限公司 | 一种采集用户眼动的热点分析方法和系统 |
| CN105359062A (zh) * | 2013-04-16 | 2016-02-24 | 眼球控制技术有限公司 | 眼动追踪数据分析系统及方法 |
| CN104504390A (zh) * | 2015-01-14 | 2015-04-08 | 北京工业大学 | 一种基于眼动数据的网上用户状态识别方法和装置 |
| CN104504404A (zh) * | 2015-01-23 | 2015-04-08 | 北京工业大学 | 一种基于视觉行为的网上用户类型识别方法及系统 |
| CN104951084A (zh) * | 2015-07-30 | 2015-09-30 | 京东方科技集团股份有限公司 | 视线追踪方法及装置 |
| CN107885857A (zh) * | 2017-11-17 | 2018-04-06 | 山东师范大学 | 一种搜索结果页用户行为模式挖掘方法、装置及系统 |
| CN109800434A (zh) * | 2019-01-25 | 2019-05-24 | 陕西师范大学 | 基于眼动注意力的抽象文本标题生成方法 |
| CN110245660A (zh) * | 2019-06-03 | 2019-09-17 | 西北工业大学 | 基于显著性特征融合的网页扫视路径预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Oleg V. Komogortsev等.Kalman Filtering in the Design of Eye-Gaze-Guided Computer Interfaces.《HCI Intelligent Multimodal Interaction Environments》.2007,正文第1-9部分. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111475391A (zh) | 2020-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902708B (zh) | 一种推荐模型训练方法及相关装置 | |
| Sun et al. | Scale and object aware image thumbnailing | |
| CN108229280A (zh) | 时域动作检测方法和系统、电子设备、计算机存储介质 | |
| CN111475391B (zh) | 眼动数据处理方法、装置及系统 | |
| RU2540829C2 (ru) | Интерактивный итеративный алгоритм ближайших точек для сегментации органов | |
| US10108316B2 (en) | Cognitive load assessment for digital documents | |
| CN105426929B (zh) | 对象形状对准装置、对象处理装置及其方法 | |
| CN102999595B (zh) | 一种用于提供与页面信息相对应的访问页面的方法和设备 | |
| CN112492297B (zh) | 一种对视频的处理方法以及相关设备 | |
| CN112329752B (zh) | 人眼图像处理模型的训练方法、图像处理方法及装置 | |
| Huang et al. | Transfer learning-based discriminative correlation filter for visual tracking | |
| CN113655889A (zh) | 一种虚拟角色控制方法、装置以及计算机存储介质 | |
| CN103390067B (zh) | 用于互联网实体分析的数据处理方法和装置 | |
| CN111191555B (zh) | 一种结合高低空间频率特征的目标跟踪方法、介质及系统 | |
| CN101601070B (zh) | 用于生成画面显著度图的设备和方法 | |
| CN117475518B (zh) | 一种同步人体运动识别与预测方法及系统 | |
| CN111552430A (zh) | 滑动控件的控制方法及装置、存储介质、电子设备 | |
| CN114821140A (zh) | 基于曼哈顿距离的图像聚类方法、终端设备及存储介质 | |
| CN113592714A (zh) | 图像放大方法、模块、系统 | |
| CN111797686B (zh) | 基于时间序列相似性分析的泡沫浮选生产过程运行状态稳定度评估方法 | |
| CN113763440A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN116186395A (zh) | 一种资源推荐、模型训练方法及装置、设备及存储介质 | |
| CN112116673B (zh) | 一种姿态引导下的基于结构相似性的虚拟人体图像生成方法、系统及电子设备 | |
| CN114550282A (zh) | 多人三维姿态估计方法、装置及电子设备 | |
| CN105651284B (zh) | 提高经验导航中节点选择效率的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |