CN115904911A - 基于云端服务器的web人因智能在线测评方法、系统及装置 - Google Patents

Abstract

本发明公开了一种基于云端服务器的web人因智能在线测评方法，包括：获取测试对象在web界面上的区块分布；基于区块分布，获取用户对web界面测评的多模态数据，所述多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表和web端响应数据；基于多模态数据中任意一种或几种数据生成分析测评报告。本方案能够根据测评的目的进行多模态数据采集与分析，实现web产品的可用性测试和用户体验测试。

Description

基于云端服务器的web人因智能在线测评方法、系统及装置

技术领域

本发明涉及互联网前端界面开发技术领域，具体涉及一种基于云端服务器的web人因智能在线测评方法、系统、计算装置及存储介质。

背景技术

目前，对于web界面的评估方法主要有问卷调查：通过结构化问卷收集用户评价，这种方式对于还未使用过该web界面的用户，无法了解对web界面的评估意见；在线测试：通过网站日志获取用户真实使用情况，这种方式无法收集到用户对web界面的主观评估意见。

现有技术中公开了一种web界面在线评估方法，测试服务器记录在需要评估的Web界面元素处设置的评估点的位置；在完成评估点具体内容的设置之后，测试服务器保存评估点的具体内容。该方法使用户在使用web界面的同时对该web界面进行评估，但是其并未说明具体的评估方法，依赖于用户对web界面的感知，无法对web测试对象进行实时反馈。

因此，需要一种web在线测评方法，能够在测评过程中借助量化的统计数据，分析得出web产品功能设计的有效性和可用性，以解决现有技术中存在的问题。

发明内容

鉴于上述问题，本方案提出了一种基于云端服务器的web人因智能在线测评方法，能够根据测评的目的，如web界面的布局、元素、内容等，进行多模态数据采集与分析，通过分析用户在浏览和使用过程中的视觉注意模式、视觉搜索效率、有效信息获取能力、情绪体验、操作行为、任务完成效率、主观感知等多维度测评报告，能够实现web产品界面设计的可用性测试和用户体验测试。

根据本发明的第一方面，提供一种基于云端服务器的web人因智能在线测评方法，首先，获取测试对象在web界面上的区块分布；然后，基于测试对象在web界面上的区块分布，获取用户对web界面测评的多模态数据，多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表以及web端响应数据；最后，基于多模态数据中任意一种或几种数据生成分析测评报告。

根据上述技术方案，通过自动识别云端服务器提供的web界面的原型信息，并获取用户对web界面测试对象的多模态数据，能够从多个角度更加全面地获取测评数据；能够对不同时空定位下的多维度数据进行同步采集与混合验证，进行实时可视化数据获取与分析统计。

可选地，在上述方法中，可以读取云端服务器提供的web界面元素的原型代码，识别出测试对象的属性；基于测试对象的属性将web界面划分为若干个区块，并对每个区块命名；并且，根据不同的终端界面尺寸，可以得到不同终端形式对应的区块分布。

通过对web界面进行分区，可以分别获取用户对各个区块的测评数据，以便于对web界面存在问题进行定位，能够为解决测试对象存在的问题提供数据支撑。

可选地，在上述方法中，在基于区块分布，获取用户对web界面测试对象测评的多模态数据的步骤之前，对用户的眼动信号和表情信号校准。

可选地，在上述方法中，对摄像头、屏幕、眼睛之间的几何位置关系进行校准，并通过摄像头获取人脸图像和眼睛在屏幕上的眼动数据；基于眼动数据和屏幕像素坐标中校准目标的位置进行眼动校准，得到眼动校准结果；在测试对象所在的区块设置预定数量的验证区域，点亮验证区域，基于眼睛对验证区域有效注视的反馈，对眼动校准结果进行验证；识别人脸图像中的面部特征点，基于训练好的表情识别模型对面部特征点进行表情识别，得到对应的表情识别结果；基于预设的表情标准对表情识别结果进行校准。

可选地，在上述方法中，可以通过校准后的摄像头获取用户在web界面不同区块的眼动数据和表情数据；通过用户在web界面的鼠标移动行为、点击行为和悬浮行为得到用户行为数据；基于用户在web界面的http请求，接收云端服务器返回的响应数据；以及获取用户作答后的主观测评表。

可选地，在上述方法中，可以获取用户在web界面的可视化眼动热点图或轨迹图，确定用户在web界面各个区块上的视觉注意分布表；基于用户每种表情出现的次数和持续时间确定用户的情绪变化情况；对用户作答后的主观测评表进行打分，得到主观问卷量化得分结果；基于视觉注意分布表、用户的情绪变化情况和主观问卷量化得分结果生成在线反馈报告。

可选地，在上述方法中，可以根据群体用户在各个区块的视觉注意叠加分布、视觉搜索效率和有效信息获取能力，生成视觉行为分析结果；

根据正性情绪持续时间和整个web界面呈现过程中情绪效价的平均值，生成情绪体验分析结果；

根据群体用户的鼠标在web界面上点击或停留的热图叠加分布情况、用户鼠标在界面上的移动轨迹长度和测试任务完成时间，得到用户行为分析结果；

根据系统对用户请求做出反应的时间，生成系统响应分析结果；

根据用户作答后的主观测评表中各个维度的指标数据，生成主观量表分析结果；

最后，根据视觉行为分析结果、情绪体验分析结果、用户行为分析结果、系统响应分析结果、主观量表分析结果的权重和评价值，计算得到可用性总分分析结果，基于上述各个分析结果形成测评报告。

可选地，在上述方法中，还可以根据用户情绪效价变化和持续时间进行情绪状态反馈；根据界面内容提示用户需要关注的区块，当用户关注到该区块且情绪效价变化为正值时停止提示。

根据本发明的另一个方面，提高一种基于云端服务器的web人因智能在线测评系统，包括：分区模块、多模态数据获取模块和统计分析模块。

其中，分区模块，用于获取测试对象在web界面上的区块分布；多模态数据获取模块，用于基于区块分布，获取用户对web界面测评的多模态数据，多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表以及web端响应数据；统计分析模块，用于基于人因智能时空行为分析系统对多模态数据中任意一种或几种数据分析生成测评报告。

本方案提供的基于云端服务器的web人因智能在线测评系统，能够根据测评的目的，如web界面的布局、元素、内容等，进行多模态数据采集与分析，通过分析用户在浏览和使用过程中的视觉注意模式、视觉搜索效率、有效信息获取能力、情绪体验、用户的操作行为、任务完成效率、主观感知等多维度数据生成测评报告，分析得出web产品功能设计的有效性和可用性。

根据本发明的另一个方面，提供一种计算装置，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行上述基于云端服务器的web人因智能在线测评方法的指令。

根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算装置读取并执行时，使得计算装置执行上述的基于云端服务器的web人因智能在线测评方法。

根据本发明的方案，通过获取用户在web界面执行测评任务的多模态数据，并将用户眼动数据、表情数据、操作行为数据、主观测评表和系统响应数据等多模态数据进行融合分析，得到综合测评分析结果，能够提高web产品在线测评的全面性和准确性；通过分析用户在浏览和使用过程中的视觉注意模式、视觉搜索效率、有效信息获取能力、整个过程的情绪体验，用户的操作行为、任务完成效率、主观感知等多维度数据，能够实现跨平台多类型数字化信息产品的web界面交互行为分析、可用性测试和用户体验测试。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的计算装置100的结构示意图；

图2示出了根据本发明一个实施例的基于云端服务器的web人因智能在线测评方法200的流程示意图；

图3示出了根据本发明一个实施例的web界面区块划分示意图；

图4示出了根据本发明一个实施例的用户鼠标移动轨迹计算示意图；

图5示出了根据本发明一个实施例的基于云端服务器的web人因智能在线测评系统500的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

web界面常见的布局有搜索类、博客类、电商类、图片类、新闻资讯类、产品类等，为了完善web界面需要对其进行测试。例如，对页面元素的外形、位置、基本功能、容错性、内容布局等进行测试。

目前对于web界面的测评主要有问卷调查法，通过收集用户对待评估界面的认知和评价；或者通过记录用户对web界面的使用体验，通过网站日志获取对web界面的评估意见和使用情况。但是这些评估方法和适用场景较单一，无法对web界面设计的可用性进行实时反馈。

本方案提出一种基于云端服务器的web人因智能在线测评方法，能够通过云端服务器获取多模态数据，并将多模态数据与web产品原型信息结合对web界面进行测评，并结合大数据和机器学习算法进行状态识别和反馈，能够提高web界面测评的准确性；通过分析用户在浏览和使用web界面的过程中的视觉注意模式、视觉搜索效率、有效信息获取能力、情绪体验、用户的操作行为、任务完成效率、主观感知等多维度数据，完成人机交互、web产品可用性和用户体验测试。

图1示出了根据本发明一个实施例的计算装置100的结构示意图。如图1所示，在基本配置102中，计算装置100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

取决于期望的配置，处理器104可以是任何类型的处理器，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算装置中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器104读取。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上由一个或多个处理器104利用程序数据124执行指令。操作系统120例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用122包括用于实现各种用户期望的功能的程序指令，应用122例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等，但不限于此。当应用122被安装到计算装置100中时，可以向操作系统120添加驱动模块。

在计算装置100启动运行时，处理器104会从存储器106中读取操作系统120的程序指令并执行。应用122运行在操作系统120之上，利用操作系统120以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用122时，应用122会加载至存储器106中，处理器104从存储器106中读取并执行应用122的程序指令。

计算装置100还包括储存设备132，储存设备132包括可移除储存器136和不可移除储存器138，可移除储存器136和不可移除储存器138均与储存接口总线134连接。

计算装置100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算装置162通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在根据本发明的计算装置100中，应用122包括用于执行本发明的基于云端服务器的web人因智能在线测评方法200的指令。

图2示出了根据本发明一个实施例的基于云端服务器的web人因智能在线测评方法200的流程示意图。如图2所示，该方法始于步骤S210，获取测试对象在web界面上的区块分布。

web产品包括在计算装置上使用的各种信息化交互产品，包括互联网产品(如WEB网页)、移动互联网产品(如APP手机应用)、数字化产品(如VR虚拟现实程序、装备CAD数字样机虚拟现实、BIM数字建筑虚拟现实)、智能化产品(如HMI智能车载信息系统等)多。Web产品的界面元素包括文本、图片、超链接、列表、表格、多媒体等，根据本发明的一个实施例，可以通过云端服务器跨平台读取不同web产品中网页元素的原型代码，识别出测试对象的属性。例如id、class、title、style等。然后，根据测试对象的属性将web界面划分为多个区块，并对各个区块进行命名。

图3示出了根据本发明一个实施例的web界面区块划分示意图。如图3所示，web界面根据测试对象的属性划分为6个区域，例如，区域1和区域2为头部区域，可以是标题或者网页logo，区域3和区域5为内容区域，区域4为菜单导航栏区域，可以引导用户浏览其他页面，区域6为底部区域。也可以根据测试要求对web界面的分区进行绘制。

系统还可以自动计算并识别所有原型组件信息，用户通过点选设置即可将其自动识别为兴趣区域；同时，也支持用户自定义绘制任何形状和位置的兴趣区。

测评终端不同，网页大小和布局不同，测试对象区域大小会随着不同测评终端的界面大小进行等比例缩放，确保最终得到的测试数据是基于该终端形式的结果。可以根据不同的终端界面尺寸，得到不同终端形式对应的区块分布。后台服务器可以对不同终端形式进行分类存储，以便进行区分和形成反馈报告。

也就是说，本方案并不拘泥于某一种特定形式的web界面，而是可以对多种终端形式的web界面进行综合测试，并且可以基于云端服务器获取多种终端形式的测试数据。对于同一产品应用于不同尺寸的显示载体时，用户只需绘制一次兴趣区，系统可以自动调节用于所有尺寸的显示载体进行交互数据的计算与分析。

随后执行步骤S220，基于区块分布，获取用户对web界面测评的多模态数据，多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表以及web端响应数据。

其中，多模态数据是指对同一个测试对象的不同存在形式或信息来源的测试数据。通过对多模态数据进行综合分析处理可以提高web界面在线测评的全面性和准确性。需要说明的是，多模态数据可以根据实际测试需求进行增加或减少，并不限于本发明实施例所列举的数据。例如，可以同步采集用户眼动数据(注视次数、注视时间、扫视、眼跳等)、交互数据、行为数据(鼠标点击、悬停)、生理数据(心率变化、皮肤电反应、血氧变化、脑电变化等)、动作捕捉数据等，所采集的数据可以整体或按兴趣区划分进行呈现和分析。

根据本发明的一个实施例，在获取用户对web界面测评的多模态数据之前，需要对眼动信号和表情信号校准。

通过测试用户的眼球运动、注视和面部表情，基于眼动追踪技术和面部表情分析技术，可以了解用户情绪变化、用户偏好等有效信息。可以通过计算装置自带的摄像头或者外接摄像头实时获取用户人脸图像，对人脸图像进行特征点检测，得到面部特征点。根据面部特征点中的眼部特征点可以确定眼睛的位置。

根据本发明的一个实施例，可以根据屏幕大小将屏幕自动划分为n*m个区域，基于眼动识别算法识别用户视线在屏幕上的移动轨迹以及眼睛到屏幕之间的有效距离。首先，需要确保摄像头在屏幕中间位置，并对摄像头、屏幕、眼睛之间的几何关系进行校准。

然后，通过校准后的摄像头获取人脸图像和眼睛在屏幕上的眼动数据。基于眼动数据和屏幕像素坐标中校准目标的位置进行眼动校准，通常只校准有限数量的屏幕位置(3点、5点、9点、13点)，得到眼动校准结果根据设置的区域精细程度判断校准是否通过，设置的区域精细化程度越高，对校准的精确到和准确度要求越高。

得到眼动校准结果之后需要针对web界面对眼动校准结果进行验证。根据本发明的一个实施例，可以在测试对象所在的区块设置预定数量的验证区域，例如，随机设置3-5个验证区域，验证过程中点亮验证区域，基于眼睛对验证区域有效注视的反馈，对眼动校准结果进行验证。验证区域被有效注视则给出正向反馈，注视无效则不给出反馈，以此来验证眼动校准结果。

随后对表情信号进行校准，首先，基于人脸检测算法识别人脸图像中面部各部位的特征点。基于训练好的表情识别模型对面部特征点进行表情识别，得到对应的表情识别结果。最后，基于系统预设的表情标准对表情识别结果进行校准。

在完成眼动信号和表情信号的校准之后，就可以通过校准后的摄像头获取用户在web界面不同区块的眼动数据和表情数据。通过用户在web界面的鼠标移动行为、点击行为和停留行为等得到用户行为数据。基于用户在web界面的http请求，接收服务器返回的响应数据；以及获取用户作答后的主观测评表。

最后执行步骤S230，基于多模态数据中任意一种或几种数据生成分析测评报告。

可以根据实际测试需求从获取的多模态数据中选择几种数据生成相应的测试报告。在本发明的一个实施例中，反馈测评报告包括两种形式，即，在线反馈报告和测评结果报告。其中，在线反馈报告是给被测试人员看的，测评结果报告是给的发起测评任务的人员的结果分析报告。根据不同的测评目的其反馈的报告形式不尽相同，后台可以通过多种形式的报告模板，也可根据需要进行自定义，不同的测评目的各维度的结果权重和指标以及计算算法各不相同。

例如，在线测评结束后可以及时获得可视化图文结合的在线反馈报告，在线反馈报告中不体现测评目的，仅体现用户的主观测评结果，例如包括视觉注意分配、情绪体验和主观问卷量化得分结果。

根据本发明的一个实施例，可以基于眼动数据获取可视化眼动热点图或轨迹图，确定用户在各个区块上的视觉注意分配。其中，眼动轨迹图可以体现用户在web界面上的注视位置、注视时间和注视顺序，眼动热点图可以体现用户在web界面上的注意力分布情况，例如关注点较多区域和关注点较少的区域。可以根据预先设置的区块命名解释说明用户的视觉关注情况。

对于情绪体验，可以基于用户每种表情出现的次数和持续时间确定用户的情绪变化情况。完成在线测评后对用户作答后的主观测评表进行打分，得到主管问卷量化得分结果。

测评结果报告是针对测评目的的报告，在达到有效样本量的基础上进行测评分析可以得到测评结果报告，包括可用性总分分析结果、视觉行为分析结果、情绪体验分析结果、操作行为分析结果、系统响应分析结果、主观量表分析结果。

具体地，可以根据群体用户在web界面各个区块的视觉注意叠加分布、视觉搜索效率和有效信息获取能力，生成视觉行为分析结果。

其中，视觉注意分布可以是整个界面的视觉注意分布也可以是每个区块的视觉注意分布。

设区块Q＝[Q1、Q2、Q3、Q4......Qm]，各区块重要性Z＝[Z1、Z2、Z3、Z4......Zm]＝1，用户群体S＝[S1、S2、S3、S4......Sn]。其中，m为web界面中的区块数量，n为用户数量。

设TFF为各区块的首次注视时间，TF为各个区块的总注视时间，通过对原始数据进行归一化处理得到处理后的结果：TF’＝TF/T总，TFF’＝1-TFF/T总，其中T总为界面呈现总时长。TF’为归一化处理后的各个区块的总注视时间，TFF’为归一化处理后的各区块首次注视时间，

根据上述方法计算得到每个被试用户对各个区块的视觉注意分布，对每个用户的视觉注意分布进行叠加平均，得到群体用户的视觉注意叠加分布：

其中，其中，TFF_总、TF_总分别表示群体用户对各个区块的首次注视时间和群体用户对各个区块的总注视时间。

可以根据群体用户对各个区块的首次注视时间TFF_总及各个区块的重要性Z来计算视觉搜索效率E：

以及根据群体用户对各个区块的总注视时间TF_总及各个区块的重要性Z来计算用户有效信息获取能力F：

根据视觉搜索效率E、有效信息获取能力F得到视觉行为分析结果。可以通过可视化的形式给出一个视觉评价结果，例如，非常低(0,0.2]，低(0.2,0.4]，一般(0.4,0.6]，高(0.6,0.8]，非常高(0.8,1]。

对于用户情绪体验分析，可以根据正性情绪持续时间和整个web界面呈现过程中情绪效价的平均值，生成情绪体验分析结果。其中，按照情绪分类，出于高兴、兴奋产生的笑的表情为正性情绪，其余为负性情绪。可以将正性情绪指标值归一化表示，即，将正性情绪持续时间与界面呈现时间的比值作为正性情绪指标。情绪效价为用户对web界面的感兴趣程度，整个界面呈现过程中情绪效价变化的平均值可以作为情绪体验分析结果。

对于用户操作行为分析，可以根据群体用户的鼠标在web界面上点击或停留的热图叠加分布情况和用户鼠标在界面上的移动轨迹长度，得到用户行为分析结果。其中，用户行为分析结果可以是整个界面的操作行为分析也可以是每个区块的操作行为分析。

其中，用户鼠标在界面上的移动轨迹可以通过积分计算，图4示出了根据本发明一个实施例的用户鼠标移动轨迹计算示意图。如图4所示：

其中，b是鼠标轨迹开始的位置，c是鼠标轨迹结束的位置，dl为单位轨迹长度，dx为单位轨迹长度的横坐标，dm为单位轨迹长度的纵坐标。

对于系统响应分析结果，可以根据系统对用户请求做出反应的时间，即，界面呈现时间内平均系统响应时间，生成系统响应分析结果。根据用户作答后的主观测评表中各个维度的指标数据，生成主观量表分析结果。

最后，根据上述得到的视觉行为分析结果、情绪体验分析结果、用户行为分析结果、系统响应分析结果、主观量表分析结果的权重和评价值，计算得到可用性总分分析结果：

其中X为用户对web界面的综合评价值，w_i为被评价指标的权重，可自定义设置，w_i和为1，也可根据其他算法如熵值法、CRITIC权重、独立权重、信息量权重等权重计算算法进行权重的计算，x_i为单个指标的评价值，a为评价指标个数。

根据本发明的一个实施例，可以根据被试属性进行数据选择和交叉分析，包括性别、年龄、职业以及用户在实验记录模块自定义添加的全部属性，均可作为数据筛选条件。还可以根据主观测试交叉分析，例如基于被试作答的问卷、量表、范式的测试结果(如疲劳程度、焦虑水平、情绪效价等)进行被试筛选与数据选择，进行多维度数据的对比分析与统计。还可以根据客观测试交叉分析，例如根据眼动数据、生理数据、行为数据等，进行交叉统计与可视化分析。还可一键对所有实验记录数据进行处理，并生成相应的可视化报告，如热点图、3D图、轨迹图等。

根据本发明的一个实施例，可以根据测评发布者需求，设置是否进行实时的状态识别和反馈以及给与反馈的形式。例如，对于情绪状态识别与反馈，可以根据面部表情识别结果对用户的情绪状态进行识别，并做可视化的反馈。以情绪效价指标值V和持续时间t作为反馈的标准，当1≥V＞0，不给予反馈；-1≤V≤0，且持续时间t≥1min，给予反馈。

还可以结合测评任务内容和界面信息内容，提示用户关注哪个区块，例如用绿色边框以3Hz的形式闪亮提示，当用户关注到该区块且情绪效价值变化为正值时停止提示，具体的提示时间和形式测评发布者可后台设置。

图5示出了根据本发明一个实施例的基于云端服务器的web人因智能在线测评系统500的结构示意图。如图5所示，基于云端服务器的web人因智能在线测评系统500包括分区模块510、多模态数据获取模块520和统计分析模块530。人因智能在线测评系统与云端服务器通过网络连接。

其中，分区模块510可以获取测试对象在web界面上的区块分布。多模态数据获取模块520可以基于测试对象在web界面上的区块分布，获取用户对web界面测评的多模态数据，多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表以及web端响应数据。统计分析模块530可以基于多模态数据中任意一种或几种数据生成分析测评报告。系统各模块的具体功能可参照上述对基于云端服务器的web人因智能在线测评方法的描述，在此不再赘述。

系统500可以分发至任意或多个测试终端，进行多被试群体测试。所有采集的数据上传至云端数据库。并且，系统能够被用于基于任意类型信息交互界面，如大屏幕、移动终端、虚拟仿真等多类型信息化终端设备载体，以及桌面端PC应用程序和WEB网页程序与原型，移动终端APP应用程序与原型，虚拟现实VR应用程序与原型的可用性测试。

通过上述方案，获取用户在web界面执行测评任务的多模态数据，并将用户眼动数据、表情数据、操作行为数据、主观测评表和系统响应数据等多模态数据进行融合分析，得到综合测评分析结果，能够提高web产品在线测评的全面性和准确性；通过分析用户在浏览和使用过程中的视觉注意模式、视觉搜索效率、有效信息获取能力、整个过程的情绪体验，用户的操作行为、任务完成效率、主观感知等多维度数据，能够实现跨平台多类型数字化信息产品的web界面交互行为分析、可用性测试和用户体验测试。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种基于云端服务器的web人因智能在线测评方法，适于在计算装置中执行，其特征在于，包括：

获取测试对象在web界面上的区块分布；

基于所述区块分布，获取用户对web界面测评的多模态数据，所述多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表和web端响应数据；以及

基于多模态数据中任意一种或几种数据生成分析测评报告。

2.根据权利要求1所述的基于云端服务器的web人因智能在线测评方法，其特征在于，所述获取测试对象在web界面上的区块分布的步骤包括：

读取云端服务器提供的web界面元素的原型代码，识别出测试对象的属性；

基于测试对象的属性将web界面划分为若干个区块，并对每个区块命名；

根据不同的终端界面尺寸，得到不同终端形式对应的区块分布。

3.根据权利要求1所述的基于云端服务器的web人因智能在线测评方法，其特征在于，在所述基于所述区块分布，获取用户对web界面测评的多模态数据的步骤之前，所述方法包括：

对用户的眼动信号和表情信号校准，所述对用户的眼动信号和表情信号校准的步骤包括：

对摄像头、屏幕、眼睛之间的几何位置关系进行校准，并通过所述摄像头获取人脸图像和眼睛在屏幕上的眼动数据；

基于眼动数据和屏幕像素坐标中校准目标的位置进行眼动校准，得到眼动校准结果；

在测试对象所在的区块设置预定数量的验证区域，点亮所述验证区域，基于眼睛对所述验证区域有效注视的反馈，对所述眼动校准结果进行验证；

识别人脸图像中的面部特征点，基于训练好的表情识别模型对面部特征点进行表情识别，得到对应的表情识别结果；

基于预设的表情标准对所述表情识别结果进行校准。

4.根据权利要求1所述的基于云端服务器的web人因智能在线测评方法，其特征在于，所述基于所述区块分布，获取用户对web界面测评的多模态数据的步骤包括：

通过校准后的摄像头获取用户在web界面不同区块的眼动数据和表情数据；

通过用户在web界面的鼠标移动行为、点击行为和悬浮行为得到用户的操作行为数据；

基于用户在web界面的http请求，接收云端服务器返回的响应数据；以及

获取用户作答后的主观测评表。

5.根据权利要求4所述的基于云端服务器的web人因智能在线测评方法，其特征在于，所述基于人因智能时空行为分析系统对多模态数据中任意一种或几种数据生成测评报告的步骤包括：

获取用户对web界面的可视化眼动热点图或轨迹图，确定用户在web界面各个区块上的视觉注意分布表；

基于用户每种表情出现的次数和持续时间确定用户的情绪变化情况；

对用户作答后的主观测评表进行打分，得到主观问卷量化得分结果；

基于所述视觉注意分布表、用户的情绪变化情况和主观问卷量化得分结果生成在线反馈报告。

6.根据权利要求5所述的基于云端服务器的web人因智能在线测评方法，其特征在于，所述基于人因智能时空行为分析系统对多模态数据中任意一种或几种数据生成测评报告的步骤还包括：

根据群体用户在各个区块的视觉注意叠加分布、视觉搜索效率和有效信息获取能力，生成视觉行为分析结果；

根据正性情绪持续时间和整个web界面呈现过程中情绪效价的平均值，生成情绪体验分析结果；

根据群体用户的鼠标在web界面上点击或停留的热图叠加分布情况、用户鼠标在界面上的移动轨迹长度和测试任务完成时间，得到用户行为分析结果；

根据系统对用户请求做出反应的时间，生成系统响应分析结果；

根据用户作答后的主观测评表中各个维度的指标数据，生成主观量表分析结果；

根据所述视觉行为分析结果、情绪体验分析结果、用户行为分析结果、系统响应分析结果、主观量表分析结果的权重和评价值，计算得到可用性总分分析结果，形成测评报告。

7.根据权利要求6所述的基于云端服务器的web人因智能在线测评方法，其特征在于，所述方法还包括：

根据用户情绪效价变化和持续时间进行情绪状态反馈；

根据界面内容提示用户需要关注的区块，当用户关注到该区块且情绪效价变化为正值时停止提示。

8.一种基于云端服务器的web人因智能在线测评系统，其特征在于，包括：

分区模块，用于获取测试对象在web界面上的区块分布；

多模态数据获取模块，用于基于所述区块分布，获取用户对web界面测评的多模态数据，所述多模态数据至少包括用户眼动数据、表情数据、操作行为数据、主观测评表以及web端响应数据；

统计分析模块，用于基于多模态数据中任意一种或几种数据生成分析测评报告。

9.一种计算装置，包括：

至少一个处理器；和

存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-7中任一项所述基于云端服务器的web人因智能在线测评方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算装置读取并执行时，使得所述计算装置执行如权利要求1-7中任一项所述的基于云端服务器的web人因智能在线测评方法。

Images