CN111966724B - 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 - Google Patents
基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 Download PDFInfo
- Publication number
- CN111966724B CN111966724B CN202010603784.2A CN202010603784A CN111966724B CN 111966724 B CN111966724 B CN 111966724B CN 202010603784 A CN202010603784 A CN 202010603784A CN 111966724 B CN111966724 B CN 111966724B
- Authority
- CN
- China
- Prior art keywords
- interaction
- interest
- data
- interactive
- static
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 181
- 238000004458 analytical method Methods 0.000 title claims abstract description 110
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 108
- 238000005516 engineering process Methods 0.000 title claims abstract description 26
- 239000000463 material Substances 0.000 claims abstract description 152
- 230000000638 stimulation Effects 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 112
- 230000003068 static effect Effects 0.000 claims abstract description 103
- 230000008569 process Effects 0.000 claims abstract description 69
- 230000006399 behavior Effects 0.000 claims description 120
- 230000004424 eye movement Effects 0.000 claims description 35
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 230000009901 attention process Effects 0.000 claims description 5
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 38
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000011160 research Methods 0.000 description 14
- 230000004936 stimulating effect Effects 0.000 description 11
- 239000012634 fragment Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 238000007619 statistical method Methods 0.000 description 7
- 238000012300 Sequence Analysis Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 206010027940 Mood altered Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003930 cognitive ability Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006397 emotional response Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007510 mood change Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，所述采集方法通过在多种类型的刺激材料中添加静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的刺激材料中绘制一个或多个内容的静态兴趣区；将动态的刺激材料延时间轴分割多个关键帧，采用一个或多个选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的帧兴趣区进行关联，得到一个或多个动态兴趣区；同时，将静态兴趣区和/或动态兴趣区按照设定顺序建立分析序列，以通过该分析序列在交互过程中的发生时段和/或频次分析操作者/参与者的行为模式。
Description
技术领域
本发明涉及人机交互产品的源代码读取和识别，以及数据采集、处理及分析技术领域，包括生理数据、眼动数据、行为数据和环境等数据的采集、处理与分析，尤其涉及一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置。
背景技术
人机界面信息显示主要围绕界面的显示布局、显示格式及显示要素等，研究如何确保人机界面呈现的图形、表页、字符等信息是操作人员在执行任务中需要关注的，并保证其易于感知和理解。人机界面交互主要围绕界面的交互反馈、提示、响应时间等，研究如何确保人机界面各种类型控件及操作单元的交互满足操作人员高效、便捷、舒适的获取信息、执行操作控制的需求。人机交互产品研究过程中不仅仅关注传统上针对交互界面的设计或从系统的物理层面进行人因工效特点分析，而进一步的也将人、信息与物理系统的交互影响综合进行考虑，考虑整个系统的全生命周期人因研究。在实际的人机交互产品研究中，可将人机交互界面包含的电子交互平台、客户端应用程序、网页、图片和视频等，称为刺激材料。为了解操作者/参与者关于刺激材料的反应，并对刺激材料的功能性进行评价，就需要研究分析操作者/参与者与特定产品的交互行为，进一步判断刺激材料各部分内容、元素、构件是否符合操作者/参与者的使用习惯，是否与其能够实现最佳匹配，并达到了预期的结果。
现有针对电子平台如网页或产品原型的研究多采用拍摄实验过程视频、屏幕截图、屏幕录制等技术记录操作者/参与者与刺激材料的交互行为，同时采用事后绘制兴趣区的方式对于记录的实验过程视频分析操作者/参与者与刺激材料内特定区域内容的交互情况。这种方式准确性较小、效率较低，且需要为实验采集的所有记录逐个绘制兴趣区，无法对操作者/参与者与刺激材料的交互行为进行准确高效的标记和分析。
发明内容
鉴于此，本发明实施例提供了一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，以在操作者/参与者与刺激材料的交互过程中，建立更精确有效的兴趣区并记录交互数据，并进行更深层次的行为分析。
本发明的技术方案如下：
一方面，本发明提供一种基于人机交互界面区域自动识别技术的交互行为数据采集方法包括：
获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；
在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；
根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。
在一些实施例中，所述基于人机交互界面区域自动识别技术的交互行为数据采集方法还包括：
将所述静态兴趣区和/或所述动态兴趣区根据内容进行关联和分组，并对各组添加相应的标签。
在一些实施例中，所述选框为矩形选框，通过确定所述选框左上角顶点与所述刺激材料左上角顶点的相对位置，并结合所述相对位置以及所述选框的长和宽标记所述选框。
另一方面，本发明还提供一种基于人机交互界面区域自动识别技术的交互行为数据分析方法，包括：
根据上述基于人机交互界面区域自动识别技术的交互行为数据采集方法，获取操作者/参与者与刺激材料交互过程中，各静态兴趣区和/或动态兴趣区对应的交互数据；
回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据；
按照设定顺序添加多个静态兴趣区和/或动态兴趣区形成分析序列，若所述交互数据显示交互过程中包含按照所述分析序列进行的交互行为，标记并展示相应的交互时段和/或交互频次，以根据所述交互时段和/或所述交互频次反映所述操作者/参与者的行为模式。
在一些实施例中，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括单一分析形式和成组分析形式；
所述单一分析形式为针对单个所述静态兴趣区和/或所述动态兴趣区产生的交互数据进行展示和分析；
所述成组分析形式包括将多个所述静态兴趣区和/或所述动态兴趣区按照内容进行分组或添加标签，针对指定分组或指定标签的多个所述兴趣区进行批量展示和分析。
在一些实施例中，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括：
根据所述交互数据中的所述眼动数据，结合所述刺激材料形成注视热点图和/或注视轨迹图；
将所述交互数据中的所述生理指标数据和所述行为数据按照对应的时间点标记在所述注视热点图和/或所述注视轨迹图中。
在一些实施例中，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括绝对分析形式和相对分析形式；
所述绝对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程按照实际时长进行回放和分析；
所述相对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程延展或收缩至同一时长进行回放和分析。
在一些实施例中，标记相应的交互时段和/或交互频次，包括：
建立与所述交互过程时长相同的进度条，利用设定颜色或图案将一个或多个所述交互时段沿时间轴标记在所述进度条中，并记录所述交互频次。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
本发明的有益效果是，所述基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，通过建立所述静态兴趣区和所述动态兴趣区，能够适应不同形态所述刺激材料，准确标记出需要评估和研究的部分或构件。同时，所述兴趣区交互行为数据的分析方法中，将所述静态兴趣区和所述动态兴趣区按照特定顺序确定所述分析序列，通过分析所述操作者/参与者是否按照所述分析序列进行交互以及按照所述分析序列进行交互的频次，用于评估所述刺激材料的结构和布局对于操作者/参与者一系列连贯行为的引导作用，反映所述刺激材料与所述受试者行为习惯的契合程度。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本发明一实施例所述基于人机交互界面区域自动识别技术的交互行为数据采集方法的流程示意图；
图2为本发明一实施例所述基于人机交互界面区域自动识别技术的交互行为数据分析方法的流程示意图。
图3为本发明一实施例所述基于人机交互界面区域自动识别技术的交互行为数据采集方法中静态兴趣区标注示例图；
图4为本发明一实施例所述基于人机交互界面区域自动识别技术的交互行为数据采集方法中动态兴趣区标注示例图；
图5为本发明一实施例所述基于人机交互界面区域自动识别技术的交互行为数据分析方法中序列分析可视化示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
现阶段，对于电子交互界面、网页、图像或视频等电子产品，以及传统工业产品的设计与生产越来越重视与使用者的交互体验。产品合理的设计和布局不仅可以向使用者更高效精确地传达信息，更能够提升使用感受，在迎合使用者行为习惯的同时，完成对使用者行为的引导。例如，在购物平台中，通过合理配置产品介绍页面、订单页面和交易支付页面的位置，转换顺序，可以向消费者快速传达产品信息并指引其完成购物动作。同理，对于传统产品原型的合理设计，可以引导使用者关注到产品功能区，引导使用。例如，饮料瓶的标签贴在不同的位置，可以产生不一样的关注效果。
为了实现优化布局设计，就需要检测分析使用者在于产品使用过程中与产品各部分结构、区块之间的交互情况。现有技术中，对于产品中需要评价和分析的部分只能进行固定的标注，相应产生的交互数据表征效果不好，同时分析方法较为简单，无法结合各部分之间的内容和关系对交互行为进行更深层地分析。
需要预先说明的是，本申请中所述的“刺激材料”为用于交互的产品，如电子交互界面、网页、图像和视频，以及产品原型的图片、视频或三维模型等。本申请中所述的“操作者/参与者”为实验过程中，与“刺激材料”进行交互的人。本申请中所述的“兴趣区”(AOI，Area of Interest)是包含了特定结构、设计或内容，用于向操作者/参与者传达信息、引导操作者/参与者行为或达到特定功能的区块。本申请中所述的“交互数据”为受试者在与“刺激材料”交互过程中产生的眼动数据、生理指标数据以及行为数据等。
本申请提供一种基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置，以建立多种形式的兴趣区，以适应多种形态刺激材料，获取更具有表征作用的交互数据。同时通过可视化呈现交互数据并基于兴趣区的内容对交互数据进行分析，表现操作者/参与者交互行为中的逻辑内涵，并分析刺激材料对于受试者交互行为的影响。
本申请提供一种基于人机交互界面区域自动识别技术的交互行为数据采集方法，包括步骤S101～S104。
需要强调的是，步骤S101～S104并不是对所述采集方法中步骤顺序的限定，应当理解为，在特定情形下，可以并行或调换执行顺序。
步骤S101：获取刺激材料，刺激材料包括：人机交互界面中的网页、文本、图片、视频或产品原型。
步骤S102：在刺激材料中拾取或绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的刺激材料中拾取或绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别拾取或绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区。步骤S103：在不显示静态兴趣区和/或动态兴趣区的情况下，获取操作者/参与者与刺激材料交互过程中产生的交互数据；其中，交互过程包括操作者/参与者对刺激材料的视觉关注过程以及行为触发过程；交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据。
步骤S104：根据交互数据中眼动数据和/或行为数据的产生的位置筛选出每个静态兴趣区和/或动态兴趣区对应的交互数据。
在步骤S101中，作为刺激材料的产品或数据内容包括多种样式形态，例如网页、文本、图片、视频或产品原型，作为被试的对象，用于研究和评价其对操作者/参与者行为的影响。通过能够显示或运行数据程序的设备获取和展示刺激材料，具体的，根据刺激材料的内容可以采用台式机、平板电脑、智能手机或其特具有显示器的电子设备，例如针对智能手机设计并用于智能手机端运行的网页，可以通过智能手机获取和展示。网页、文本、图片以及视频可以直接由电子设备进行展示或播放，产品原型/网页等交互产品可以通过生成网页链接，以网页类刺激材料的形式在电子设备中展示并用于交互操作，或通过转化为图片、视频的形式在电子设备中展示并用于操作。
在步骤S102中，由于刺激材料中不同区块所包含的内容和功能存在差异，操作者/参与者对刺激材料中不同区块的关注度不同，操作者/参与者的情绪和行为受不同区块的影响也不同。因此，通过划分拾取或绘制兴趣区，将刺激材料中包含特定内容和功能的区块标记为重点研究区域，通过研究兴趣区中所产生的交互数据，分析操作者/参与者对兴趣区的关注度以及行为受兴趣区的影响程度。为了提高所采集的交互数据的表征能力，则要求标记更精确的兴趣区，尤其对于动态的刺激素材，兴趣区与特定内容的范围契合度越高，所产生的交互数据表征能力越好。
因此，本实施例中，结合刺激材料的样式，建立相应形态的兴趣区。具体的，对于静态的刺激材料，如文本或图片，如图3所示图片，可以设置一个或多个静态兴趣区，以对包含特定内容的兴趣区分别获取交互数据。具体的，可以通过绘制特定的规则和/或不规则形状的选框在刺激材料中自定义的标记静态兴趣区。动态的刺激材料，可以是视频或动态图一类的沿时间轴自动播放数据，也可以是网页或产品原型一类刺激材料在交互过程中呈现的数据。将动态的刺激材料，如图4所示的视频，沿时间轴分割为多个关键帧，逐帧进行处理。由于每个关键帧的内容存在差异，相应内容区块或功能区块的形状、大小或角度均存在不同，本实施例中，通过对每个关键帧单独绘制帧兴趣区，并将各关键帧其中用于标记相同内容的帧兴趣区进行关联，得到一个或多个动态兴趣区。进一步地，各静态兴趣区或动态兴趣区之间可以采用不同的颜色进行区分标记。
采用自动识别技术，自动读取网页/产品原型等任意交互产品类刺激材料源代码，识别网页/产品原型刺激材料源代码中的内容区块，采用一个或多个选框在网页类刺激材料中拾取和/或绘制静态兴趣区和/或动态兴趣区。
在步骤S103中，采集获取操作者/参与者与刺激素材交互过程中产生的交互数据。其中，操作者/参与者与刺激材料的交互过程可以包括仅用于接收信息的视觉关注过程以及用于操控和调节刺激材料的行为触发过程，进一步地，由于刺激材料的影响导致的操作者/参与者情绪变化也可以被定义为交互过程。因此，交互过程中所产生的交互数据可以包括用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据。其中，眼动数据可以通过眼动仪采集，眼动数据可以包括注视点坐标以及注视时长等数据，用于反映对静态兴趣区或动态兴趣区的关注程度；生理指标数据可以包括但不限于心率数据、血氧饱和度数据、脑电数据、肌电数据、皮温数据、呼吸数据和皮电数据，可以用于反映受试者的情绪变化。行为数据包括由鼠标、键盘或操作杆等控制设备产生的数据，例如，鼠标悬浮的位置坐标和时间坐标，鼠标产生单击的位置坐标和时间坐标等。眼动数据、生理指标数据和行为数据可以通过其产生的时间进行关联，即将同一时间点产生的交互数据认定为是基于刺激材料中同一位置区域中产生的，用于同步分析。
在步骤S104中，由于受试者在于刺激材料进行体验交互的过程中，关注和互动位置绝不仅限于所划定或选取的静态兴趣区和/或动态兴趣区，需要筛选出在各静态兴趣区和/或动态兴趣区内产生的交互数据，用于单独分析或比对分析。具体的，在本实施例中，根据眼动数据中注视点坐标或行为数据对应坐标确定相应时间点所有交互数据的产生位置，当注视点坐标或行为数据对应坐标位于某个静态兴趣区和/或动态兴趣区中时，将相应时间点所有交互数据关联至静态兴趣区和/或动态兴趣区，可以通过分组或添加标签的方式进行记录。需要强调的是，操作者/参与者在与刺激材料交互的过程中，静态兴趣区和/或动态兴趣区是不显示的，以免影响数据的表征效果。
进一步地，步骤S102与步骤S103的顺序可以交换，可以先拾取或绘制静态兴趣区和/或动态兴趣区再采集交互数据，也可以先采集交互数据再拾取或绘制静态兴趣区和/或动态兴趣区。
在一些实施例中，兴趣区中交互数据的采集方法还包括：
将静态兴趣区和/或动态兴趣区根据内容进行关联和分组，并对各组添加相应的标签。
为了进行综合分析，实现对于操作者/参与者行为的更复杂的研究，本实施例中，将静态兴趣区和/或动态兴趣区进行关联和分组，例如图片样式的刺激材料中，将内容为人脸的静态兴趣区和/或动态兴趣区关联为一组，并用标签标记为人脸；将内容为动物的静态兴趣区和/或动态兴趣区关联为一组，并用标签标记为动物；将人脸组和动物组的静态兴趣区和/或动态兴趣区进行对比，以用于研究对图片中人脸或动物关注度的差异。
在一些实施例中，选框为矩形选框，通过确定选框左上角顶点与刺激材料左上角顶点的相对位置，并结合相对位置以及选框的长和宽标记所述选框。
拾取或绘制的选框可以采用各种形状，但是为了方便记录，本实施例中采用矩形选框，具体的，通过定位选框左上角顶点的位置并记录选框的长和宽，可以精确标记该选框的位置和形状。在另一些实施例中，也可以通过绘制和定位圆形、三角形等形状的选框。
另一方面，本发明还提供一种兴趣区交互行为数据的分析方法，包括步骤S201～步骤S203：
需要强调的是，步骤S201～S203并不是对所述分析方法中步骤顺序的限定，应当理解为，在特定情形下，可以并行或调换执行顺序。
步骤S201：根据上述兴趣区中交互数据的采集方法，获取操作者/参与者与刺激材料交互过程中各静态兴趣区和/或动态兴趣区对应的交互数据。
步骤S202：回放操作者/参与者与刺激材料的交互过程，在刺激材料中沿时间轴同步可视化呈现交互数据。
步骤S203：按照设定顺序添加多个静态兴趣区和/或动态兴趣区形成分析序列，若交互数据显示交互过程中包含按照分析序列进行的交互行为，标记并展示相应的交互时段和/或交互频次，以根据交互时段和/或交互频次反映操作者/参与者的行为模式。
在步骤S201中，对于交互数据的采集过程，可以参照步骤S101～S104。
在步骤S202中，对于与刺激材料交互过程中操作者/参与者行为的研究和分析，可以通过可视化呈现的方式直观表现受试者对各静态兴趣区和/或动态兴趣区的关注程度，展示在关注过程中进行的行为动作以及情绪变化。
具体的，对于动态的刺激材料，可以直接按照原展示方式进行播放。对于网页、图片或文字等刺激材料，可以将整个交互过程中刺激材料在各个时间点的状态进行回放。
在一些实施例中，在步骤S202中，在刺激材料中沿时间轴同步可视化呈现所述交互数据，包括S2021～S2022：
S2021：根据交互数据中的眼动数据，结合刺激材料形成注视热点图和/或注视轨迹图。
S2022：将交互数据中的生理指标数据和行为数据按照对应的时间点标记在注视热点图和/或注视轨迹图中。
S2021中，在回放过程中根据眼动数据形成主视热点图和/或主视轨迹图，用于直观呈现受试者对刺激素材中各静态兴趣区和/或动态兴趣区关注程度，关注越多的位置注视点越密集图像颜色越深，注视轨迹越密集轨迹重叠越多。
S2022中，同一时间产生的眼动数据、生理指标数据以及行为数据可以认为是基于同一区块产生的。因此，将生理指标数据和行为数据按照对应的时间点标记在注视热点图和/或注视轨迹图中，可以直观呈现在与各静态兴趣区和/或动态兴趣区交互过程中，受试者情绪变化以及所进行的交互行为。生理指标数据可以直接标注在注视热点图和/或注视轨迹图中，也可以将生理指标数据关联相应的情绪状态，并通过图案或颜色进行标注。行为数据可以直接标注在注视热点图和/或注视轨迹图中，也可以通过相应的编码或图案进行标注。
在一些实施例中，步骤S202中，回放操作者/参与者与刺激材料的交互过程，在刺激材料中沿时间轴同步可视化呈现所述交互数据，包括单一分析形式和成组分析形式；
单一分析形式为针对单个静态兴趣区和/或动态兴趣区产生的交互数据进行展示和分析。
成组分析形式包括将多个静态兴趣区和/或动态兴趣区按照内容进行分组或添加标签，针对指定分组或指定标签的多个兴趣区进行批量展示和分析。
在本实施例中，除了对单个静态兴趣区和/或动态兴趣区进行分析外，还按照内容进行分组或添加标签。将同一组或相同标签的静态兴趣区和/或动态兴趣区内产生的交互数据进行批量展示和分析，用于可视化展示操作者/参与者对于刺激材料中某一类内容的关注度，以及对相应内容的情绪反应和行为反应。在另一些实施例中，也可以反应刺激材料中，不同内容区块被关注程度的差异，所引发受试者情绪反应和行为反应的差异。本实施例中，所述“内容”应当包括区块所对应的语义特征和形式特征。
在一些实施例中，步骤S202中，回放操作者/参与者与刺激材料的交互过程，在刺激材料中沿时间轴同步可视化呈现交互数据，包括绝对分析形式和相对分析形式；
绝对分析形式中，将刺激材料针对不同试次或不同操作者/参与者的交互过程按照实际时长进行回放和分析。
相对分析形式中，将刺激材料针对不同试次或不同操作者/参与者的交互过程延展或收缩至同一时长进行回放和分析。
在本实施例中，对于同一刺激材料，不同试次的交互时长并不一定相同。例如，操作者/参与者在不同试次浏览网页时，交互时长可能存在较大差异。绝对分析形式可以直观表现单一操作者/参与者在单一试次中最真实的交互状态；而相对分析形式，则可以通过多试次多操作者/参与者的对比，反映交互过程中，某一静态兴趣区或动态兴趣区相对于其他部分交互程度的差异。
在步骤S203中，由于各静态兴趣区和/或动态兴趣区包含特定的内容，其存在一定的逻辑对应关系。例如，按照先产品展示页，再添加订单页，最后支付页面的交互顺序，包含了完整的购买和支付流程。因此，本实施例中，根据特定的逻辑关系按照设定顺序添加多个静态兴趣区和/或动态兴趣区排列形成分析序列，以标记一种具有特定含义的行为。当交互数据中包含按照分析序列进行的交互行为时，标记相应的交互时段和/或交互频次。根据该分析序列发生的交互时段和/或交互频次，评价刺激材料中进行相应含义行为的流畅性。例如，交互时段的持续时间越短，交互频次越高，表示进行该含义行为的流畅度越高，刺激材料对相应行为的引导效果越好。
在一些实施例中，标记相应的交互时段和/或交互频次，包括：
建立与交互过程时长相同的进度条，利用设定颜色或图案将一个或多个交互时段沿时间轴标记在进度条中，并记录交互频次。
本实施例为了直观呈现分析序列发生的时间段、频次，设置进度条并在进度条上进行标注，实现了可视化分析。
下面就一些实施例对实验细节进行说明，操作者/参与者会对图片、视频或网页等刺激材料进行观看，并进行一些鼠标点击或其他的交互行为，由于被试对于刺激材料上的内容并不是给予同等的关注，而是有选择性的观看和操作，因此，如果要分析被试对刺激材料的某些内容是否予以观看，或者观看的时间、时长、观看的顺序等眼动信息，以及分析被试对刺激材料的某些内容是否有点击或其他交互行为，则需要对刺激材料设定兴趣区，并对兴趣区进行多种功能设置，以便于采集被试的交互行为数据。
兴趣区Area of Interest(AOI)可以针对被试在实验中的重点研究区域或对象进行眼动数据或者其他交互行为数据的统计分析。主试可以根据需求在视频或图像刺激材料上绘制各种形状的兴趣区，并对其进行位移、缩放、编辑形状等操作，进一步统计AOI内的所有眼动、生理特征数据或其他交互行为数据信息。创建兴趣区是指在刺激材料上添加一个圈定的范围，兴趣区圈定范围内的内容仍然是刺激材料原本的内容。
在一些实施例中，兴趣区交互行为数据的采集方法包括：
1.刺激材料一键导入：可通过输入url(Uniform Resource Locator，统一资源定位符)或打开本地文件夹的方式导入产品原型、网页以及文本、图片、视频等刺激材料，导入后可实时预览，并设置页面大小、播放速度等相关参数。
2.刺激材料分类管理：将刺激材料分为图片、视频、网页、匹配图等类型，通过在片段类型列表勾选不同类型，可对所选类型的刺激材料进行浏览和编辑。
其中，片段是由时间线上具有起始点和结束点的时间跨度划分成的。实验中将某一个视频、图片刺激的持续时间自动划分成片段，也可以通过自定义添加起止时间来划分时间片段。根据片段中的内容划分片段类型，片段类型包含：
自定义片段类型，该片段类型下显示的是通过自定义划分形成的的片段。
图片类型片段，该片段类型下显示的是图片刺激持续时间形成的片段。
视频片段类型，该片段类型下显示的是视频刺激持续时间形成的片段。
网页片段类型，该片段类型下显示的是网页/原型持续时间形成的片段。
为了采集研究操作者/参与者在实验中关于重点研究区域或对象产生的眼动数据、生理特征数据或其他交互行为数据，需要在刺激材料上将这些区域或对象创建为兴趣区。
兴趣区可以通过实验记录前的预编辑，或者，实验记录后的后期编辑，以实现对兴趣区的添加。
兴趣区预编辑可以在实验记录前对时间轴(时间轴概述了整个实验中刺激的呈现内容与顺序性)上的原型网页、图片和视频等刺激材料添加兴趣区，可以根据研究需求在网页、图像或视频刺激材料上绘制各种形状的兴趣区，并对其进行位移、缩放、编辑形状等操作，以便在实验开始前对刺激材料的特殊区域进行标记，从而在实验过程中直接记录被试在预编辑兴趣区内的眼动、行为数据。
兴趣区后期编辑：在实验记录完成后，回放过程中对原型、网页、图像和视频等刺激材料进行兴趣区的添加和编辑，以便针对实验过程中被试的具体行为进行分析。
3.兴趣区的第一种创建方式：原型、网页材料兴趣区自定义拾取已划分区块的刺激材料：通过鼠标点击即可自动识别所点击的目标的材料源代码中的内容区块，通过鼠标点击将目标内容拾取为兴趣区，并对兴趣区进行标志色、是否跨页显示等属性设置。例如，网页上有“下一步”此图标，用鼠标点击“下一步”图标，即可自动识别并将“下一步”图标所在区域拾取为兴趣区。从而能采集被试在“下一步”图标上的眼动数据、生理特征数据或者其他交互行为数据。可对设置的兴趣区标为蓝色，即在“下一步”图标所在区域叠加一个蓝色作为兴趣区标志色，但此标志色的设定并不改变“下一步”图标的颜色，并且此兴趣区在实验过程中可以隐藏，从而不干扰实验。
4.兴趣区的第二种创建方式：兴趣区自定义绘制：可在原型、网页、图片和视频等刺激材料界面任意位置绘制任意形状的兴趣区，兴趣区可自适应不同尺寸显示屏，并可进行标志色、缩放轴、滚动显示、跨页显示等属性设置。
5.由于在一个实验过程中，刺激材料中创建的兴趣区较多，为方便数据统计分析，因此，需要对兴趣区要进行管理。
兴趣区分组管理：设置不同的组别和标签，同一兴趣区可赋予不同组的标签，统一管理当前项目所有的兴趣区。
6.为了能对时间轴全流程或片段在正式实验中的样式进行实验过程外的预览，提供此实时预览功能。
实时预览：对刺激材料的编辑过程中可对时间轴全流程或片段在正式实验中的样式随时进行预览，预览过程保留了材料内容和交互的完整性。
7.实验过程完整交互：实验过程中兴趣区自动隐藏，避免对被试的干扰，刺激材料内容呈现、交互触发完整。
8.多通道数据采集：连接眼动仪、生理传感器等所需要采集数据的相关硬件设备，被试进行实验，在实验过程中实时采集被试眼动、交互、动作、行为、生理等数据及物理环境数据。由于被试会注视刺激材料的兴趣区，或者在兴趣区内进行交互行为如鼠标点击或者鼠标的滑动、停留、手指的点击、手指的滑动等动作，因此，被试在实验过程中包括在这些兴趣区内的交互行为数据会被采集，又由于前述对兴趣区的组别分类、标签设定，使得采集到的数据在统计分析时，数据信息能够在时间轴上以不同的色块来呈现，可视化程度更高，使得对于兴趣区的交互数据分析能够更便捷。
进一步地，对于兴趣区AOI的创建，又分为静态兴趣区和动态兴趣区两种：
一、关于静态兴趣区
对于图像和映射的刺激材料，可通过创建静态兴趣区(静态AOI)进行分析。具体操作步骤如下：
1、绘制静态兴趣区。首先在图像展示区上方选择不同的形状在目标区域上绘制静态兴趣区，系统预设三种不同形状绘制工具来进行静态兴趣区绘制。包括多边形、长方形、椭圆形。选择不同的形状在刺激材料上绘制目标物的静态兴趣区。绘制后，鼠标点击选择绘制的图形，可拖动顶点来转化静态AOI形状，或移动静态AOI。
2、如需对绘制的静态兴趣区移动或编辑，可点击选择绘制的某一静态兴趣区，进而对其进行编辑或移动。在移动时，可用鼠标直接拖动绘制的静态兴趣区来移动。
3、静态兴趣区位置调整。该设置显示静态兴趣区的位置坐标以及区域大小。X、Y表示静态兴趣区左上角相对于刺激材料左上角的位置，即以刺激材料的左上角为(0，0)点；W和H分别表示静态兴趣区的长和宽的大小。选中某一静态兴趣区时会显示该静态兴趣区的位置坐标及区域，用户也可根据需要输入参数，调整静态兴趣区的位置和区域大小。
4、静态兴趣区分组。首先，创建静态兴趣区组别与组别下的标签。然后选中某一兴趣区，点击标签，即可将该兴趣区归入该标签所在的组别内。
5、编辑静态兴趣区。用于对兴趣区图片的显示内容进行设置，具体如下：
显示热点图：显示按钮开启，热点图将在静态兴趣区中显示；显示按钮关闭，热点图将不在静态兴趣区中显示。该按钮可作用于静态兴趣区绘制及分析的状态下。
静态兴趣区名称及组别、标签显示功能：在静态兴趣区绘制状态下，
可以选择显示静态兴趣区所对应的名称或者隐藏静态兴趣区所对应的名称。
可以选择显示静态兴趣区所在组别与标签名称，或者隐藏。
透明度选项功能：拖动滑动条，可控制静态兴趣区的透明度。
静态兴趣区显示或隐藏功能：点击开关选项，可以控制显示或隐藏该静态兴趣区。
二、关于动态兴趣区
对于视频等内容变化的刺激材料，可通过创建动态兴趣区(动态AOI)进行分析。
动态AOI与静态AOI的区别在于，前者可以通过移动AOI的位置和形状来匹配视频刺激中的目标对象。动态AOI是由关键帧决定，每一个关键帧对应时间轴上一点的AOI的位置与形状信息。在这些关键帧之间，系统将自动从一个关键帧移置下一个关键帧。进一步分析在视频记录中，被试对动态目标物体的注视时间、注视次数等数据信息。
动态AOI的创建和编辑，具体操作如下：
绘制动态兴趣区的形状：系统预设三种不同形状绘制工具来进行动态兴趣区绘制，包括多边形、长方形、椭圆形。选择不同的形状绘制目标物的动态兴趣区。绘制后，鼠标点击选择绘制的不同的图形后，可拖动顶点来转化动态AOI形状，或移动动态AOI。可以调整动态AOI的形状、位置或者大小。
添加关键帧，在各关键帧中激活或取消激活动态AOI。通过选择需要激活的AOI并激活，选择添加关键帧，时间轴上会出现关键帧标记点，逐帧进行添加。
当动态AOI处于激活状态时，它会在回放期间收集眼动数据或其他交互行为数据，并进入统计分析。用户可以在时间轴上的任何时间段禁用动态AOI。
移动动态AOI：鼠标点击动态兴趣区后，会出现白色的矩形框，此时可以移动动态AOI的位置。用户每次移动动态AOI时，系统将自动在时间轴上添加一个关键帧。时间轴上，动态AOI激活且计算眼动数据或其他交互行为数据的时间段为实线显示，未被激活的时间段为虚线显示。
编辑动态AOI设置：参考上面静态AOI的内容。
创建动态AOI组与标签：参考静态AOI内容。
在一些实施例中，兴趣区交互行为数据的分析方法包括：
兴趣区简称AOI，选择刺激材料中的一个或多个具体区域作为研究对象，如网页中的logo区域、搜索区域，分别统计个体注视每个区域的时间、次数等视觉加工信息。
例如，如果您展示某人的照片，则可以在人的身体和脸部周围绘制单独的AOI。然后，分别采集每个区域的指标并统计分析，例如从刺激开始到参与者查看该区域的时间，被试在该区域观看了多少时间，有多少人注意了这些区域，有多少人将视线移开然后回来。可以用来评估同一视频，图片，网站或程序界面中两个或多个区域的性能时，进行AOI的数据统计与可视化分析。
对于采集到的操作者/参与者与刺激材料交互过程中产生的交互行为数据、眼动数据和生理特征数据，进行回放分析。
1.交互数据回放与分析：结合刺激材料原始状态，将交互过程以视频的方式回放，将鼠标行为、手指行为进行可视化展示，并可根据被试属性、刺激材料类型及实验记录自行选择需要回放的数据。2.交互数据可视化呈现与分析：将鼠标点击、鼠标悬浮、手指点击、手指滑动(手指数据是对于触屏设备采集的数据)等行为以热点图或轨迹图的形式呈现在界面兴趣区中，从而能直观地看到被试交互数据信息，并提供触控点半径、透明度、密度和轨迹线等属性调节。3.交互行为序列分析：将兴趣区(包括静态兴趣区和/或动态兴趣区)自定义添加至分析序列，即用户将兴趣区自定义地按序排列以进行分析被试是否按此序列进行交互行为，如果被试的交互行为顺序中包含此排序，则在记录条中显示此被试的交互行为信息中包含该序列的时间段，否则不显示。由于兴趣区对应预设为不同色块，因此在记录条中对应地以色块形式呈现被试实验过程中包含该序列的时间段，从而能更加直观地进行分析，并可进行绝对分析或相对分析、单一分析或成组分析的选择。
4.眼动数据回放与分析：结合刺激材料原始状态，将操作者/参与者实验状态以视频的方式回放，将实验过程中的眼动数据进行可视化展示，并可根据被试属性、刺激材料类型及实验记录自行选择需要回放的数据。
5.眼动数据可视化呈现与分析：将眼动数据以热点图、3D图或者轨迹图的形式呈现在界面兴趣区中，从而能直观地看到操作者/参与者眼动数据信息，并提供触控点半径、透明度、密度和轨迹线等属性调节。
6.眼动行为序列分析：将兴趣区(包括静态兴趣区和/或动态兴趣区)自定义添加至分析序列，即用户将兴趣区自定义地按序排列以进行分析操作者/参与者是否按此序列进行眼动观察，如果操作者/参与者的观察顺序中包含此排序，则在记录条中显示此操作者/参与者的观察信息中包含该序列的时间段，否则不显示。由于兴趣区对应预设为不同色块，因此在记录条中对应地以色块形式呈现操作者/参与者实验过程中包含该序列的时间段，从而能更加直观地进行分析，并可进行绝对分析或相对分析、单一分析或成组分析的选择。
7.生理数据回放与分析：对实验过程中采集的肌电、皮电、心率、呼吸及脑电等数据进行回放、量化处理与分析。
8.多操作者/参与者数据自定义筛选处理：可根据操作者/参与者属性、刺激材料类型、实验记录条目对数据进行筛选，并自行选择数据类型进行导出操作。
上述实施例中所采用的AOI序列分析，主要是研究操作者/参与者在与刺激(网页、人机交互界面等)交互时，眼睛关注AOI的顺序性问题：如研究消费者在浏览购物网页页面时的注视习惯，将页面划分商品展示区、价格区、加入购物车按钮、购买按钮4个AOI，如顺序发生注视商品展示区AOI、注视价格区AOI、点击加入购物车按钮AOI以及点击购买按钮AOI，则表示交易行为完成。那么对应的AOI序列分析可以用于可视化呈现并数据分析操作者/参与者的关注模式或行为模式。
AOI序列一般与操作者/参与者的认知能力和被分配的任务难度有关，因此可以通过分析操作者/参与者注视过程的AOI序列，探究操作者/参与者的认知能力以及所分配任务的合理性。例如，AOI序列分析在人机交互领域(HCI，human-computer interaction)中，通过分析AOI序列，可以得知人机交互界面是否能够为用户提供顺畅的交互。
进一步的，分析过程的形式可以包括绝对分析和相对分析：
绝对分析：在同一个实验中，所有实验记录以实际时间长度呈现。操作者/参与者的完整实验过程均呈现。
相对分析：在同一个实验中，多个操作者/参与者或多次实验记录时间呈现的长度不同，但为了分析方便，将多个记录条拉长与最长的记录条长度一致，以进行相对分析。
由于各操作者/参与者或各次实验在实验过程中所用的时长不一，因此，记录实验过程的时间记录条长度不一，而在记录条上会储存特定兴趣区的交互行为时长信息，进而无法直观地比较相同兴趣区的交互行为时长在不同记录条上的比例，也即无法直观比较某特定兴趣区的交互行为占不同次实验总时长的比例。因此，将记录条拉成一样长，通过比较各记录条上的相同颜色的色块长度，便于直观观察不同次实验中，相同特定兴趣区的交互行为时间所占本次实验时长的比例。例如，在第一次实验中的记录条上的红色色块长度比第二次实验中的记录条上的红色色块长度长，则说明操作者/参与者在第一次实验中，在红色色块所对应的兴趣区内的交互行为的时长占总实验时长的比例大于第二次实验。
更进一步的，分析过程的形式还可以包括单一分析和成组分析：
单一分析：针对单个兴趣区进行分析。
成组分析：针对兴趣区划分的组进行分析。同一组内的兴趣区内容或性质不一样，根据自己的研究需要设置不同的组别和标签，可以进行兴趣区之间的批量分析。
在实验过程中，由于操作者/参与者并未在全部的兴趣区内进行注视或者实施其他交互行为，因此在统计分析时，如果要统计操作者/参与者在特定兴趣区的被试的注视或其他交互行为数据时，需要列出操作者/参与者所有的注视或其他交互行为数据，再从中寻找特定兴趣区的操作者/参与者的注视或其他交互行为数据，尤其是在统计分析多个特定兴趣区时，相对更加繁琐，导致效率低下。而在本发明中，由于设置了兴趣区，且能对兴趣区分组、设定标签，因此，可以直接选取特定的兴趣区，或者特定的兴趣区组，便捷地从操作者/参与者所有的交互数据中提取特定兴趣区的操作者/参与者的交互数据，便于统计分析。
在实验过程中，实验设计者想要分析网页内容设置是否能让操作者/参与者以特定的顺序来浏览网页内容或进行其他交互操作，因此在网页上设置多个兴趣区(如A兴趣区、B兴趣区、C兴趣区)，但不同操作者/参与者或同一操作者/参与者不同试次中，对特定的多个兴趣区进行注视或者实施其他交互行为可能存在不同的顺序。例如，第一操作者/参与者所实施的交互行为的顺序依次为A兴趣区、B兴趣区、C兴趣区，第二操作者/参与者所实施的交互行为的顺序依次为A兴趣区、B兴趣区、C兴趣区，第三操作者/参与者所实施的交互行为的顺序依次为B兴趣区、A兴趣区、C兴趣区。在统计时，把所有的被试实验数据列出，从中选择符合特定顺序的被试实验数据，较为繁琐，并且容易出错。本发明中，统计分析时，可视化呈现测试结果，如图5所示，将各操作者/参与者关注各兴趣区的时间在时间轴上进行标记。用户将兴趣区自定义添加至分析序列，即用户将兴趣区自定义地按序排列，以进行分析操作者/参与者是否按此序列进行交互行为，如果被试的交互行为顺序中包含此排序，则在分析区域的统计记录条中显示此操作者/参与者的交互行为信息中包含该序列的时间段，否则不显示。以上面的A、B、C兴趣区排序统计多个操作者/参与者交互行为为例，由于第一操作者/参与者、第二操作者/参与者符合统计所要求的特定顺序，则不仅显示符合此顺序的第一操作者/参与者和第二操作者/参与者的交互数据，并且还显示第一操作者/参与者和第二操作者/参与者按照A、B、C顺序进行交互的时间和时长，而第三操作者/参与者的交互数据不显示。由于兴趣区对应预设为不同色块，因此在记录条中对应地以色块形式呈现被试实验过程中包含该序列的时间段，从而能更加直观地进行分析。
另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
综上所述，所述兴趣区中交互数据的采集方法，通过建立所述静态兴趣区和所述动态兴趣区，能够适应不同形态所述刺激材料，准确标记出需要评估和研究的部分或构件。同时，所述兴趣区交互行为数据的分析方法中，将所述静态兴趣区和所述动态兴趣区按照特定顺序确定所述分析序列，通过分析所述操作者/参与者是否按照所述分析序列进行交互以及按照所述分析序列进行交互的频次，用于评估所述刺激材料的结构和布局对于操作者/参与者一系列连贯行为的引导作用，反映所述刺激材料与所述受试者行为习惯的契合程度。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，包括：
获取刺激材料，所述刺激材料包括：网页、文本、图片、视频或产品原型；
在所述刺激材料中绘制静态兴趣区和/或动态兴趣区，包括：采用一个或多个选框在静态的所述刺激材料中绘制一个或多个内容的静态兴趣区；将动态的所述刺激材料延时间轴分割多个关键帧，采用一个或多个所述选框在连续的多个关键帧中分别绘制一个或多个内容的帧兴趣区，将各关键帧中内容相同的所述帧兴趣区进行关联，得到一个或多个所述动态兴趣区；在不显示所述静态兴趣区和/或所述动态兴趣区的情况下，获取操作者/参与者与所述刺激材料交互过程中产生的交互数据；其中，所述交互过程包括所述操作者/参与者对所述刺激材料的视觉关注过程以及行为触发过程；所述交互数据包括：用于记录注视点坐标和注视时长的眼动数据、用于表现情绪变化的生理指标数据和/或用于记录交互动作的行为数据；其中，将所述静态兴趣区和/或所述动态兴趣区根据内容进行关联和分组，并对各组添加相应的标签；所述行为数据为控制设备产生的数据；
根据所述交互数据中所述眼动数据和/或所述行为数据的产生的位置筛选出每个所述静态兴趣区和/或所述动态兴趣区对应的所述交互数据。
2.根据权利要求1所述的基于人机交互界面区域自动识别技术的交互行为数据采集方法，其特征在于，所述选框为矩形选框，通过确定所述选框左上角顶点与所述刺激材料左上角顶点的相对位置，并结合所述相对位置以及所述选框的长和宽标记所述选框。
3.一种基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，包括：
根据权利要求1～2任意一项所述基于人机交互界面区域自动识别技术的交互行为数据采集方法，获取操作者/参与者与刺激材料交互过程中，各静态兴趣区和/或动态兴趣区对应的交互数据；
回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据；
按照设定顺序添加多个静态兴趣区和/或动态兴趣区形成分析序列，若所述交互数据显示交互过程中包含按照所述分析序列进行的交互行为，标记并展示相应的交互时段和/或交互频次，以根据所述交互时段和/或所述交互频次反映所述操作者/参与者的行为模式。
4.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括单一分析形式和成组分析形式；
所述单一分析形式为针对单个所述静态兴趣区和/或所述动态兴趣区产生的交互数据进行展示和分析；
所述成组分析形式包括将多个所述静态兴趣区和/或所述动态兴趣区按照内容进行分组或添加标签，针对指定分组或指定标签的多个所述兴趣区进行批量展示和分析。
5.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括：
根据所述交互数据中的所述眼动数据，结合所述刺激材料形成注视热点图和/或注视轨迹图；
将所述交互数据中的所述生理指标数据和所述行为数据按照对应的时间点标记在所述注视热点图和/或所述注视轨迹图中。
6.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，回放所述操作者/参与者与所述刺激材料的交互过程，在所述刺激材料中沿时间轴同步可视化呈现所述交互数据，包括绝对分析形式和相对分析形式；
所述绝对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程按照实际时长进行回放和分析；
所述相对分析形式中，将所述刺激材料针对不同试次或不同操作者/参与者的交互过程延展或收缩至同一时长进行回放和分析。
7.根据权利要求3所述的基于人机交互界面区域自动识别技术的交互行为数据分析方法，其特征在于，标记相应的交互时段和/或交互频次，包括：
建立与所述交互过程时长相同的进度条，利用设定颜色或图案将一个或多个所述交互时段沿时间轴标记在所述进度条中，并记录所述交互频次。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010603784.2A CN111966724B (zh) | 2020-06-29 | 2020-06-29 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010603784.2A CN111966724B (zh) | 2020-06-29 | 2020-06-29 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111966724A CN111966724A (zh) | 2020-11-20 |
| CN111966724B true CN111966724B (zh) | 2022-04-12 |
Family
ID=73361099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010603784.2A Active CN111966724B (zh) | 2020-06-29 | 2020-06-29 | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111966724B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112447296B (zh) * | 2020-12-15 | 2023-01-06 | 北京津发科技股份有限公司 | 人因效能评估与心理行为实验创建方法、实验方法及系统 |
| CN112861633B (zh) * | 2021-01-08 | 2022-05-31 | 广州朗国电子科技股份有限公司 | 一种基于机器学习的图像识别方法、设备及存储介质 |
| CN112764638B (zh) * | 2021-01-22 | 2022-06-07 | 维沃移动通信有限公司 | 显示控制方法、电子设备和可读存储介质 |
| CN113704843B (zh) * | 2021-08-31 | 2024-03-01 | 沈阳工业大学 | 一种基于可达域的激光增材制造装备人机界面布局优化方法 |
| CN114489327B (zh) * | 2021-12-30 | 2024-03-19 | 北京津发科技股份有限公司 | 基于人机交互的反应行为的序列分析方法及系统 |
| CN114648810B (zh) * | 2022-03-11 | 2022-10-14 | 北京中科睿医信息科技有限公司 | 一种交互式步态识别方法、装置及电子设备 |
| CN115454850A (zh) * | 2022-09-14 | 2022-12-09 | 北京津发科技股份有限公司 | 人机交互hmi设计原型智能绘制方法和系统 |
| CN116227894B (zh) * | 2023-05-06 | 2023-07-21 | 苏州市世为科技有限公司 | 一种人机交互运行质量监管系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3336656A1 (en) * | 2016-12-19 | 2018-06-20 | OFFIS e.V. | Model based detection of user reaction times and further effects as well as systems therefore |
| CN108052973B (zh) * | 2017-12-11 | 2020-05-05 | 中国人民解放军战略支援部队信息工程大学 | 基于多项眼动数据的地图符号用户兴趣分析方法 |
| CN109712710B (zh) * | 2018-04-26 | 2023-06-20 | 南京大学 | 一种基于三维眼动特征的婴幼儿发育障碍智能评估方法 |
| CN108762503A (zh) * | 2018-05-24 | 2018-11-06 | 深圳万智联合科技有限公司 | 一种基于多模态数据采集的人机交互系统 |
| CN109471532B (zh) * | 2018-10-31 | 2022-04-12 | 北京津发科技股份有限公司 | 多通道人机环境测试数据同步平台实验设计系统和方法 |
| CN109976525B (zh) * | 2019-03-27 | 2022-07-26 | 上海大学 | 一种用户界面交互方法、装置及计算机设备 |
-
2020
- 2020-06-29 CN CN202010603784.2A patent/CN111966724B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111966724A (zh) | 2020-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111966724B (zh) | 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置 | |
| Dong et al. | A cross-cultural comparative study of users' perceptions of a webpage: With a focus on the cognitive styles of Chinese, Koreans and Americans | |
| Tsang et al. | eSeeTrack—visualizing sequential fixation patterns | |
| Raschke et al. | Visual analysis of eye tracking data | |
| Jo et al. | LiveGantt: Interactively visualizing a large manufacturing schedule | |
| US8327395B2 (en) | System providing actionable insights based on physiological responses from viewers of media | |
| Walker et al. | Timenotes: a study on effective chart visualization and interaction techniques for time-series data | |
| CN115087984A (zh) | 用于创建、组织、查看和连接注释的方法、计算机可读介质和系统 | |
| CN110045953A (zh) | 生成业务规则表达式的方法及计算装置 | |
| Burch et al. | The power of linked eye movement data visualizations | |
| CN103154953A (zh) | 测量具有上网功能的应用程序的情感数据 | |
| CN101645111A (zh) | 报告制成支援装置、报告制成支援系统、医用图像参照装置 | |
| Chen et al. | History assisted view authoring for 3d models | |
| Keiriz et al. | NeuroCave: A web-based immersive visualization platform for exploring connectome datasets | |
| CN105989045A (zh) | 一种劝导内容推荐的方法、装置及系统 | |
| Cernea et al. | Emotion-prints: Interaction-driven emotion visualization on multi-touch interfaces | |
| Romat et al. | Expressive authoring of node-link diagrams with graphies | |
| Jianu et al. | A data model and task space for data of interest (DOI) eye-tracking analyses | |
| Wu et al. | SEQIT: visualizing sequences of interest in eye tracking data | |
| CN116610241A (zh) | 交互界面兴趣区可视化方法和系统 | |
| Giannopoulos et al. | Attention as an input modality for Post-WIMP interfaces using the viGaze eye tracking framework | |
| CN109471532A (zh) | 多通道人机环境测试数据同步平台实验设计系统和方法 | |
| Zoran et al. | The Choreography of the Creative Process: Drawing in Time and Space | |
| CN109805945B (zh) | 记录回放装置及方法 | |
| Breitinger et al. | Visualizing feature-based similarity for research paper recommendation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |