CN112230774A

CN112230774A - 基于人机交互的反应行为的分析方法及系统

Info

Publication number: CN112230774A
Application number: CN202011102108.3A
Authority: CN
Inventors: 赵起超; 杨苒
Original assignee: Kingfar International Inc
Current assignee: Kingfar International Inc
Priority date: 2020-10-15
Filing date: 2020-10-15
Publication date: 2021-01-15
Anticipated expiration: 2040-10-15
Also published as: CN112230774B

Abstract

本发明提供一种基于人机交互的反应行为的分析方法及系统。该方法包括：接收被试观看刺激材料过程中对感兴趣内容做出的选择反应，得到反应数据并记录；接收各兴趣区标记信息；接收在显示参数选项内选择的参数；回放刺激材料，由兴趣区选项控制以选定兴趣区显示方式在材料中显示选择的兴趣区，并由参数控制显示选择的数据并在选择多个被试数据情况下以不同方式显示数据，由参数控制在回放材料中数据统计显示方式；在方式为热点图且显示所有数据情况下，统计显示同一兴趣区内总反应次数；在方式为轨迹图情况下，统计兴趣区流转序列；根据各兴趣区的总反应次数和流转序列进行分析。通过上述方案，能解决无眼动设备的情况下，对兴趣区的分析问题。

Description

基于人机交互的反应行为的分析方法及系统

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于人机交互的反应行为的分析方法及系统。

背景技术

现有技术中，通过使用眼动仪采集被试眼动数据，并基于眼动设备采集的眼动数据分析材料中的兴趣区。但是，仅仅对眼动设备采集的数据进行分析，无法对兴趣区进行准确地了解。除此之外，在不存在眼动设备的情况下，则无法对兴趣区的内容进行了解，同时无法对材料中设定的兴趣区域对被试的吸引程度进行判断与分析，从而无法准确获知想要了解的数据信息等。因此，对材料的分析结果提高准确性是有待解决的问题。

发明内容

鉴于此，本发明实施例提供了一种基于人机交互的反应行为的分析方法及系统，以提高材料的分析结果准确性。

本发明的技术方案如下：

根据本发明实施例的一个方面，提供了一种基于人机交互的反应行为的分析方法，包括：

接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据；

接收所述刺激材料中各兴趣区的标记信息；

接收在显示参数选项内选择的参数，其中，所述显示参数选项包括兴趣区选项、被试数据选项、及反应数据显示选项；

回放所述刺激材料，根据所述兴趣区选项的参数控制以选定的兴趣区显示方式在回放的刺激材料中显示依据所述标记信息选择的兴趣区，并根据所述被试数据选项的参数控制在回放的刺激材料中显示选择的被试的反应数据并在选择多个被试的反应数据的情况下以不同显示方式显示不同被试的反应数据，根据所述反应数据显示选项的参数控制在回放的刺激材料中被试的反应数据的统计显示方式；

在所述统计显示方式为热点图且显示所有被试的反应数据的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数；在所述统计显示方式为轨迹图的情况下，统计选择的各被试的反应数据对应的兴趣区流转序列；

根据各兴趣区对应的总反应次数和各被试的兴趣区流转序列对所述刺激材料的兴趣区进行分析。

在一些实施例中，接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据，包括：

接收被试在观看初始刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试做出的每个选择对应的反应类型，以及在刺激材料中做出所述选择的坐标位置、在所述刺激材料中对应的帧数据以及对应的时间数据，并对数据进行记录。

在一些实施例中，做出选择的反应方式包括鼠标点击的反应、或者鼠标滑动的反应，以及手指点击的反应、或者手指滑动的反应。

在一些实施例中，接收所述刺激材料中各兴趣区的标记信息，包括：

接收在初始刺激材料中的每一帧数据标记兴趣区，兴趣区随着回放的初始刺激材料的变化进行改变。

在一些实施例中，所述显示参数选项还包括：

兴趣区显示参数选项包括兴趣区的形状选项、颜色选项、透明度选项、兴趣区内的触控点半径选项；被试数据选项包括被试的数量选项、不同被试的区分方式选项，所述被试做出反应的持续时间选项；反应数据显示选项包括统计显示方式选项；其中，兴趣区的触控点半径的选项范围为刺激材料的尺寸的0.1％-10％。

在一些实施例中，在接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据后，包括：

在记录的连续多个数据之间的位置距离不大于设定距离阈值且多个数据之间的时间间隔不大于第一设定时间的情况下，对多个数据中的任一数据进行采样。

在记录的数据中对应的停留时间不大于第二设定时间的情况下，对所述数据进行采样。

在一些实施例中，在所述统计显示方式为热点图且显示所有被试的反应数据的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数，包括：

对所有被试的各反应数据是否在所属兴趣区进行判断，在所述反应数据属于所述兴趣区的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数。

根据本发明实施例的另一方面，提供了一种基于人机交互的反应行为的分析系统，该系统包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如上述实施例中任意一项所述方法的步骤。

根据本发明实施例的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中任意一项所述方法的步骤。

本发明实施例的一种基于人机交互的反应行为的分析方法及系统，通过以刺激材料原始状态和视频的方式回放交互数据，将鼠标行为、手指行为进行可视化展示，并可根据被试属性、刺激材料类型及实验记录自行选择需要回放的数据。将鼠标点击、鼠标悬浮、手指点击、手指滑动等行为以热点图和轨迹图的形式呈现在界面兴趣区中，并提供触控点半径、透明度、密度和轨迹线等属性调节。进而，提高材料的分析结果准确性。

本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。

本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。附图中的部件不是成比例绘制的，而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分，附图中对应部分可能被放大，即，相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中：

图1是本发明一实施例的基于人机交互的反应行为的分析方法的流程示意图；

图2为本发明一实施例中参数判断的流程示意图；

图3为本发明另一实施例中的基于人机交互的反应行为的分析方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

图1是本发明一实施例的基于人机交互的反应行为的分析方法的流程示意图，如图1所示，该实施例的基于人机交互的反应行为的分析方法可包括以下步骤S110至步骤S160。

S110：接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据。

其中，刺激材料可以为视频、网页或者图片等其他材料。对刺激材料中感兴趣的内容作出选择可以包括在电脑上通过鼠标做出反应或者在手机上通过手指做出反应。在电脑上观看刺激材料的过程中，看到感兴趣的内容可以使用鼠标对该内容进行点击、或者使用鼠标在感兴趣的内容部分进行滑动；在手机上观看刺激材料的过程中，可以通过手指对感兴趣的内容进行点击或者在感兴趣的内容部分进行滑动，以使在分析的过程中可以对内容了解的更加全面。

示例性地，在刺激材料为视频的情况下，并且在电脑上进行观看，则可以在观看到感兴趣的内容的情况下，使用鼠标对感兴趣的内容进行点击以及对在感兴趣的内容部分滑动鼠标，以示被试对该部分内容的感兴趣程度。而通过手机进行观看的过程中，同样可以在观看到吸引被试的内容的情况下，通过手指在其感兴趣的部分进行点击以及做出滑动的动作，以示被试对该部分内容的感兴趣程度。通过点击或滑动的方式模仿眼睛注视刺激材料中的相对位置。并且，在被试做出相应的反应的情况下，对该反应的数据进行记录。

在一些实施例中，接收被试在观看初始刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试做出的每个选择对应的反应类型，以及在刺激材料中做出所述选择的坐标位置、在所述刺激材料中对应的帧数据以及对应的时间数据，并对数据进行记录。

示例性地，在接收到被试做出的反应的情况下，对该反应的反应类型进行判断。通过将该反应对应的数据自动编码为行为；例如，可以将鼠标点击设置为01，鼠标滑动点击设置为10，在被试做出鼠标点击的行为的过程中，则会自动记录为01，以使可以清楚的判断被试做出的反应。并且，被试在做出反应的情况下，可以获取该反应在刺激材料中的相对位置，例如，通过将刺激材料的左上角的位置设定为(0，0)点，右下角的位置设定为(1，1)，中心点设定为(0.5，0.5)，将反应对应的任一坐标位置进行记录。与此同时，帧数据以及对应的时间数据为刺激材料播放的过程中，被试在刺激材料中做出的反应对应的播放时间以及播放的位置的帧数据。其中，反应类型可以包括点击或者滑动等。

此外，在刺激材料为网页的情况下，可以通过对网页中感兴趣的内容的链接进行点击，跳转至新的页面，若点击返回按钮，则可以返回上一网页的页面，可以通过点击的内容或者滑动的情况来获取被试的注视信息。在获得各个数据后，需要对数据进行采样。

在一些实施例中，在记录的连续多个数据之间的位置距离不大于设定距离阈值且多个数据之间的时间间隔不大于第一设定时间的情况下，对多个数据中的任一数据进行采样。

其中，数据为滑动过程中记录的数据。设定距离阈值为多个数据之间的最大位置距离，设定距离阈值可以根据数据采集情况进行设置，或者根据实际情况进行设置。例如，设定距离阈值可以设定为40mm、50mm、或者60mm等。第一设定时间为多个数据之间的最大时间间隔，其可以根据数据采集情况进行设置，或者根据实际情况进行设置。例如，第一设定时间可以设定为80ms、100ms、或者120ms等时间。例如，在记录的连续多个数据之间的位置距离不大于50mm且多个数据之间的时间间隔不大于100ms的情况下，选择多个数据中的任一数据，以将该数据展示在刺激材料中。

在一些实施例中，在记录的数据中对应的停留时间不大于第二设定时间的情况下，对所述数据进行采样。

其中，数据为滑动过程中记录的数据。第二设定时间为数据中对应的最小停留时间，其可以根据数据采集情况进行设置，或者根据实际情况进行设置。例如，第二设定时间可以设定为120ms、150ms、或者180ms等时间。例如，在记录的数据中对应的停留时间不大于150ms的情况下，将该数据进行删除。

S120：接收所述刺激材料中各兴趣区的标记信息。

其中，回放的初始刺激的材料可以为初始刺激材料中的任一时间段的内容，根据选择的任一时间段内的刺激材料，选择相应的记录的被试的反应数据。并且对每个兴趣区在所述初始刺激材料对应的坐标位置进行记录。

在一些实施例中，接收在初始刺激材料中的每一帧数据标记兴趣区，兴趣区随着回放的初始刺激材料的变化进行改变。

其中，由于对刺激材料进行回放，因此将刺激材料中的每一处兴趣区进行标记，并且对应每一帧数据，以使在播放的过程中，兴趣区的出现仍然可以处于连续的状态，并且可以进行清晰的展示，不会出现不同兴趣区的相互叠加。

S130：接收在显示参数选项内选择的参数，其中，所述显示参数选项包括兴趣区选项、被试数据选项、及反应数据显示选项。

其中，显示参数选项中的兴趣区参数选项可以包括，是否显示兴趣区的名称、是否显示兴趣区的组别、以及兴趣区的不透明度等参数选项。被试数据选项可以包括，被试的个数，各被试的数据显示方式、以及最大值等数据选项，其中，最大值为对于接收的被试做出选择行为的点击值，若不设定最大值，则可以将最大值默认设定为自动，即行为的实际点击值，并且可以对最大值进行修改，例如，恢复默认参数，由于初始设定了默认参数。反应数据显示选项可以包括，行为显示图形选择，其中，行为显示图形选择可以包括热点图或者轨迹图等；基于选择的显示图形进而选择相应的其他反应数据显示选项，例如，显示图形选择热点图，则进一步可以选择热点的大小、个数、持续时间、热点半径、不透明度以及热点图样式等；而当选择的显示图形为轨迹图的情况下，则进一步可以选择轨迹点类型、持续时间、轨迹点半径以及轨迹点样式等。

S140：回放所述刺激材料，根据所述兴趣区选项的参数控制以选定的兴趣区显示方式在回放的刺激材料中显示依据所述标记信息选择的兴趣区，并根据所述被试数据选项的参数控制在回放的刺激材料中显示选择的被试的反应数据并在选择多个被试的反应数据的情况下以不同显示方式显示不同被试的反应数据，根据所述反应数据显示选项的参数控制在回放的刺激材料中被试的反应数据的统计显示方式。

其中，回放的刺激材料可以根据需要进行分析的内容选择相应的时间范围内的刺激材料，根据采集的反应数据中的帧数据与时间数据可以与选择的相应的时间范围内的刺激材料对应。兴趣区可以选择任一形状进行显示，标记信息可以为预先设定好的刺激材料中想要进行分析的内容。选择的被试的反应数据可以包括，被试的个数以及选择的任一被试对应的反应数据；以不同显示方式显示不同被试的反应数据可以为使用不同的颜色对被试进行区分，或者通过使用不同的形状对不同被试进行区分，或者还可以通过使用不同的线性进行区分等多种区分方式。

在一些实施例中，所述显示参数选项还包括：兴趣区显示参数选项包括兴趣区的形状选项、颜色选项、透明度选项、兴趣区内的触控点半径选项；被试数据选项包括被试的数量选项、不同被试的区分方式选项，所述被试做出反应的持续时间选项；反应数据显示选项包括统计显示方式选项；其中，兴趣区的触控点半径的选项范围为刺激材料的尺寸的0.1％-10％。

其中，兴趣区的形状可以包括圆形、三角形或者正方形等其他形状；兴趣区使用不同的颜色可以用来区分同一个刺激材料中的多个兴趣区，透明度可以用来调节兴趣区的展示状态，是否需要将兴趣区覆盖的刺激材料进行展示，如果需要将内容进行展示可以将透明的程度调节到较高程度，若不需要将兴趣区对应的刺激材料的内容进行展示，可以将明的程度调节到较低程度。兴趣区内的触控点半径的范围可以为刺激材料的0.1％-10％，被试的数量单位范围为大于1，所述被试做出反应的持续时间大于150ms；例如，触控点半径可以设定为0.5％、2％、或者3％等。被试的数量单位范围可以为2个、5个、或者8个等。显示图还可以设定为热点图或者轨迹图等，以通过选择不同的显示图进行直观的展示。

S150：在所述统计显示方式为热点图且显示所有被试的反应数据的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数；在所述统计显示方式为轨迹图的情况下，统计选择的各被试的反应数据对应的兴趣区流转序列。

其中，根据刺激材料中兴趣区内的数据变化对不同兴趣区域下的点击次数、首次点击时间、点击计数百分比以及平均点击次数进行统计。

在一些实施例中，在所述反应数据属于所述兴趣区的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数。

其中，兴趣区的的各个坐标位置可以根据刺激材料中的各个坐标位置进行设置。例如，通过将刺激材料的左上角的位置设定为(0，0)点，右下角的位置设定为(1，1)，中心点设定为(0.5，0.5)，将兴趣区的轮廓对应的任一坐标位置进行记录，得到兴趣区的各个坐标位置，还可以根据刺激材料的比例变化，刺激材料的兴趣区随相同比例变化进行变化。

示例性地，对做出反应的数据的坐标位置所属兴趣区进行判断，设定一个变量，变量初始值为0，将兴趣区轮廓的每两个相邻的坐标位置组成一条直线，将被试做出反应的数据的坐标位置与每条直线进行比较，若组成直线的两个坐标位置中第一坐标的纵轴坐标位置不大于做出反应的数据的纵轴坐标位置，且组成直线的两个坐标位置中第二坐标的纵轴位置大于做出反应的数据的纵轴坐标位置，且第一坐标到做出反应的数据的坐标位置的距离大于第二坐标到做出反应的数据的坐标位置的距离的情况下，变量加1，并且做出反应的数据的坐标位置在该直线的顺时针方向；若组成直线的两个坐标位置中第一坐标的纵轴坐标位置大于做出反应的数据的纵轴坐标位置，且组成直线的两个坐标位置中第二坐标的纵轴位置不大于做出反应的数据的纵轴坐标位置，且第一坐标到做出反应的数据的坐标位置的距离不大于第二坐标到做出反应的数据的坐标位置的距离的情况下，变量减1，并且做出反应的数据的坐标位置在该直线的逆时针方向。在与每条直线均进行判断后，若变量处于大于零的情况下，或者变量处于小于零的情况下，则做出反应的数据的坐标位置处于该兴趣区内；若变量处于等于零的情况下，则做出反应的数据的坐标位置未处于该兴趣区内。

图2为本发明一实施例中参数判断的流程示意图；如图2所示，具体地，将被试做出的反应对应的坐标位置可以设为Pointa(Xa,Ya)，将兴趣区的各个坐标位置的集合设为Points[(Xb，Yb)，(Xc，Yc)，(Xd，Yd)，(Xe，Ye)，(Xf，Yf)，(Xg，Yg)，(Xh，Yh)]。

循环兴趣区的轮廓的所有坐标位置，每两个坐标位置组成一条线，例如，第一个坐标位置和第二个坐标位置，第二个坐标位置和第三个坐标位置，……最后一个坐标位置和第一个坐标位置分别组成一条线。并且定义一个变量counter以标记被试做出反应的位置对应的坐标在各直线条线的顺时针延长范围内的个数。将被试做出反应的位置的坐标位置作为行为点。在循环方法中判断组成直线的第一个坐标位置的纵轴坐标Yb不大于行为点的纵轴坐标Ya，并且第二个坐标位置的纵轴坐标Yc大于行为点的纵轴坐标Ya的情况下，且第一个坐标位置到行为点的距离大于第二个坐标位置到行为点的距离，由此可以判断出行为点在当前直线的顺时针方向，并且counter+1；当第一个坐标位置的纵轴坐标大于行为点的纵轴坐标Ya时且第二个坐标位置的纵轴坐标Yc不大于行为点纵轴坐标Ya且第一个坐标位置到行为点的距离小于第二个坐标位置到行为点的距离，由此可以判断出行为点在当前直线的逆时针方向，并且将counter-1；在循环完所有轮廓坐标后，根据counter值是否等于0对行为点是否在兴趣区的内部进行判断，若counter等于0的情况下，行为点不在兴趣区的内部；若counter不等于0的情况下，行为点在兴趣区的内部。其中，对行为点所处的方向进行判断，通过使用如下方法：

Double result＝(p1.X-p0.X)*(p2.Y-p0.Y)-(p2.X-p0.X)*(p1.Y-p0.Y)；

其中，Double result表示做出的反应对应的坐标位置与兴趣区的相邻的两个坐标位置之间的关系；p1.X表示为位置为p1的横坐标，p0.X表示为位置为p0的横坐标，p2.X表示为位置为p2的横坐标，p1.Y表示为位置为p1的纵坐标，p0.Y表示为位置为p0的纵坐标，p2.Y表示为位置为p2的纵坐标。

若result大于0的情况，则向量(p1-p0)在向量(p2-p0)的顺时针方向上；若result小于<0的情况下，则向量(p1-p0)在向量(p2-p0)的逆时针方向上；若result等于0的情况，则p0、p1、p2三点共线。

S160：根据各兴趣区对应的总反应次数和各被试的兴趣区流转序列对所述刺激材料的兴趣区进行分析。

其中，可以结合可视化图表对兴趣区进行分析。通过选择对应的刺激材料片段，以及在刺激材料片段上展示相应的反应数据，以显示被试与刺激材料的交互行为。对于被试的选择的反应行为为点击的情况下，根据刺激材料中兴趣区内的数据变化对不同兴趣区域下的点击次数、首次点击时间、点击计数百分比以及平均点击次数进行统计；而对于被试的选择的反应行为为滑动的情况下，根据刺激材料中兴趣区内的数据变化对不同兴趣区域下的统计的悬浮次数、悬浮次数百分比、悬浮持续时间以及悬浮持续时间百分比进行统计。并且通过图表的形式进行展示，以通过不同的图表将交互结果与数据统计结果进行展示。

此外，选择的所有刺激材料的片段时间内兴趣区呈现的时间段结果对照，可以包括相对时间对比时间轴、绝对时间对比时间轴、或者兴趣组对比。对比时间轴可以对比记录的所有兴趣区的发生时间。并且相对时间对比时间轴可以表示为从0时间至总时间，若使用的是相对时间比的情况下，则相对时间中每个记录的对应的时间段的范围设置为0-100％；或者绝对时间对比时间轴可以将对应的时间段的范围设置为从0-选择的刺激材料中的时间片段对应的最长时间；或者在被试未选择刺激材料时间或者选择所有刺激材料片段的情况下，可以默认显示刺激材料中的所有兴趣区的对比结果，则可以修改为各个兴趣组的对比；其中，兴趣组可以表示为相邻的兴趣区划分为同一组别内，或者根据想要了解特定事物的情况对各个兴趣区进行分组。

此外，还可以结合眼动设备以及鼠标或者手指点击和滑动的行为对采集的材料结果进行分析。通过眼动设备采集被试在观看刺激材料过程中注视的位置以及被试的注视时长和瞳孔数据的变化，以及被试通过鼠标点击和滑动或者手指点击或滑动得到的数据，对刺激材料中的兴趣区进行分析，通过综合分析结果可以对刺激材料进行准确的了解。进而，可以对刺激材料中的内容进行改进。

为使本领域技术人员更好地了解发明，下面将以具体实施例说明本发明的实施方式。

图3为本发明另一实施例中的基于人机交互的反应行为的分析方法的流程示意图。如图3所示，交互分析整个页面分为左右布局，左侧显示刺激的回放和分析结果；右侧显示对左侧回放的刺激材料中的参数的选择。

右侧可视化参数设置和数据选择。对参数进行设置：Data Selection：行为数据类别选择：Click(鼠标点击)、Hove(鼠标移动悬浮)；选择Hover时，显示鼠标移动参数窗口；内容包括：降采样(HZ)默认30，降采样可以根据实际情况进行设置。并且降采样可以控制参数的显示情况；速度(px/s)默认50，速度可以根据实际播放情况进行设置，通过对速度进行设置，以调节刺激材料的播放速度。

在对参数进行处理的过程中，对相邻的悬停参数是否合并进行判断。在采样点之间的距离不大于50mm，且采样点间的时间间隔不大于100ms的情况下，对悬停参数进行合并。同时，在对参数进行处理的过程中，对悬停参数是否丢弃进行判断。在悬停点的持续时间不大于150ms的情况下，将该悬停点进行丢弃。其中，采样点之间的距离可以根据参数情况进行设置；采样点间的时间间隔可以根据参数的采集情况进行设置；悬停点的持续时间可以根据参数的采集情况进行设置。

其中，两种行为共有参数可以为Show AOI names：是否显示AOI(Area OfInterest，兴趣区)名称；Show AOI groups：是否显示AOI组；AOI Opacity：AOI区块不透明度；行为显示图形选择：HeatMap(热点图)、TrackMap(轨迹图)；HeatMap参数设置；Type：热点大小类型；Count(个数)、Duration(持续时间)；Radius：热点半径(0.1％-10％)；Style：热点图样式(常规，透明度、轮廓线)；Opacity：热点不透明度；Maximum Value：最大值，默认为自动即行为的实际点击值；其中，最大值可以根据实际情况进行调整。此外，还可以设置恢复默认参数，在初始状态下，可以存在一套默认参数。

显示图进行设置可以包括TrackMap轨迹图参数设置。其中，TrackMap轨迹图参数设置可以为Type：轨迹点类型；Duration(持续时间)、SameSize(同一尺寸)；Radius：轨迹点半径(0.1％-10％)，将轨迹点半径的默认值设置为3％；Style轨迹点样式：Track-轨迹、BeeSwarm蜂群图；其中，样式选择轨迹图时轨迹参数有：是否显示边框、是否顺序显示、是否显示足迹、是否填充颜色；以及Opacity：轨迹不透明度。

在对数据源进行筛选的过程，回放刺激类型筛选：对其中一个刺激片段类型进行选择，并对其中的被试属性信息进行选择，以及选择满足片段类型的和被试属性的记录片段。其中，由于交互的过程，对被试进行行为分析的前提是一个完整的实验记录。实验记录开始前需要添加至少一个实际测试，其中，该测试数据中包括被试属性信息，以用于后期分析筛选数据。在准备完成后，开始录制一个记录，在实验过程中被试可以使用鼠标点击或者移动到自己感兴趣的位置，所有刺激显示完毕结束记录，一个完整的记录就生成了。

再如图3所示，页面左上部为刺激回放区域，根据右侧刺激片段类型选择，加载左侧上部回放刺激源，同时显示当前刺激包含的AOI列表，并在刺激上层直接显示AOI区域，AOI列表中可以控制AOI是否显示。

回放刺激类型为图片和视频时：回放窗口上部浮动显示可以调节整个刺激大小比例值窗口，改变刺激显示比例值AOI大小会随之改变；回放刺激类型为视频时：回放窗口下部浮动显示时间轴，可以回放任意时间点刺激状态和AOI相对于刺激当前时间的位置。

回放刺激类型为网页时:回放窗口显示网页刺激，可以点击网页链接点跳转新的页面，返回按钮返回上一网页，网页上同时会显示分析前绘制好的AOI；根据选择的Map类型不同，将Click数据或者Hover数据叠加刺激回放区域。改变AOI参数设置对应回放区域自动更新AOI状态。改变Map参数时回放区域自动更新Map数据。

此外，页面左下部显示行为分析结果。其中，Click行为：统计所有记录中包含当前刺激的时间段的Click数据，统计Click发生在每个AOI范围内的指标。统计指标有：Name--AOI名称，AOI序列名称，Click Count(N)--点击次数(N)，First Click Time(s)--首次点击时间，Click Count(％)--点击计数，Average Click Count(N)--平均点击次数(N)。

Hover行为：统计所有记录中包含当前刺激的时间段的Hover数据，统计Hover发生在每个AOI范围内的指标。统计指标可以包括Name--AOI或序列名称，Hover Count(N)--悬浮次数(N)，Hover Count(％)--悬浮次数(％)，Hover Duration(s)--悬浮持续时间(s)，Hover Duration(％)--悬浮持续时间(％)。

同时可视化统计所有记录刺激发生时间段内，AOI出现时间段使用AOI颜色显示，可以对比所有记录所有AOI的发生时间，可以放大缩小对比图，最大最小时间为0-所有记录中时间最长的时间；相对时间对比表示的是每个记录都是0-100％显示。

再如图3所示，所有勾选记录的片段时间内AOI呈现的时间段结果对照表(AOI时间段显示AOI颜色矩形，无AOI时默认灰色斜线条)，或者未勾选的情况下，默认显示刺激中所有AOI的对比(修改为Group对比)中可以包括相对时间对比时间轴、绝对时间对比时间轴、或者兴趣组对比的情况。对比时间轴可以对比记录的所有兴趣区的发生时间。并且绝对时间对比时间轴可以表示为从0时间至总时间，若使用的是相对时间比的情况下，则相对时间中每个记录的对应的时间段的范围设置为0-100％；或者绝对时间对比时间轴可以将对应的时间段的范围设置为从0-选择的刺激材料中的时间片段对应的最长时间；或者在被试未选择刺激材料时间或者选择所有刺激材料片段的情况下，可以默认显示刺激材料中的所有兴趣区的对比结果，则可以修改为各个兴趣组的对比；其中，兴趣组可以表示为相邻的兴趣区划分为同一组别内，或者根据想要了解特定事物的情况对各个兴趣区进行分组。

还可以控制对比图对比的类型：AOI或Group，AOI对比时显示当前刺激中所有AOI发生时间段，Group对比时，只能选择一个Group进行对比，其中，在Group进行对比的情况下，只对比属于当前选择Group中的AOI。另外，AOI为一个单独兴趣区，Group是兴趣区的分组，新建Group时不与任何兴趣区有关系，添加完AOI之后可以为AOI标记所属分组Group，一个Group中可以关联多个AOI,一个AOI可以标记多个Group。

并且，通过新建项目，定义采集数据类型与被试信息。同步记录，同步记录鼠标或者手指数据，以及将鼠标或者手指数据自动编码为行为。兴趣区AOI绘制与选择，系统添加刺激之后，自定义绘制刺激上的感兴趣的区域，可以自由变换绘制方式、显示方式。在同步时间轴上，自由选择想要分析的片段，二者结合形成交互分析对象。交互分析可视化，以可视化热图的方式，直观的看出在整个刺激状态下，个体的交互行为。数据统计，系统自动统计出不同刺激下，个体在每个兴趣区发生的行为的次数，持续时间等数据。

其中，每条记录在实验录制的过程中每次发生Click或Hover行为时软件会保存行为类型、发生时间点、发生位置坐标点。其中，发生位置坐标点为相对整个刺激的位置比例值。

具体地，AOI在刺激材料中的呈现，鼠标手指数据在刺激材料中的呈现。

回放刺激材料：在窗口中按照一定比例呈现刺激(图片，视频，网页)，AOI形状不定，有矩形，圆形，多边形，绘制AOI时保存图形每个点坐标(坐标实际值为刺激的X，Y轴的比例值如：[0.5,0.5]刺激中心点)，所有点依次连接组成闭合形状，多边形内部为兴趣区范围。

兴趣区的边框的各个点坐标为相对于刺激材料的坐标值，将刺激材料的左上角设定为(0，0)点，右下角设定为(1，1)，AOI的点为刺激坐标范围内。在录制记录中鼠标或手指的行为标记点坐标也是按照相同的原理方式，实时记录每个鼠标点坐标。

对当前行为发生坐标点是否在指定AOI范围内进行判别。其中，将行为点设为Pointa(Xa，Ya)，组成AOI兴趣区的各个点的集合为Points，Points[(Xb，Yb)，(Xc，Yc)，(Xd，Yd)，(Xe，Ye)，(Xf，Yf)，(Xg，Yg)，(Xh，Yh)]。

循环AOI所有点坐标，每两个组成一条线，第一个点和第二个点，第二个点和第三个点，依次将相邻的两个点组成一条线至最后一个点和第一个点组成一条线。定义一个变量counter标记目标行为点在条线顺时针延长范围内的个数，在循环方法中判断组成线的第一个点的Yb坐标小于等于行为点Y坐标Ya,且第二个点的Y坐标Yc大于Ya，以及第一个点到行为点距离大于第二个点到行为点距离的情况下，由此判断出行为点在当前线顺时针方向counter+1；当第一个点的Yb坐标大于行为点Ya时并且第二个点的Yc坐标小于等于Ya坐标并且第一个点到行为点距离小于第二个点到行为点距离，由此判断出行为点在当前线逆时针方向counter-1；循环完所有点后，根据counter值是否等于0推出行为点是否在AOI内部。在counter等于0的情况下，行为点不在AOI内部；counter不等于0时，行为点在AOI范围内部。其中，判断行为点0在点1，点2两个点的方向，可以通过如下公式进行计算：

Double result＝(p1.X-p0.X)*(p2.Y-p0.Y)-(p2.X-p0.X)*(p1.Y-p0.Y)；

结果情况一：在result大于0情况下，则向量(p1-p0)在向量(p2-p0)的顺时针方向上；结果情况二：在result小于0的情况下，则向量(p1-p0)在向量(p2-p0)的逆时针方向上；结果情况三：在result等于0的情况下，则p0、p1、p2三者共线。

通过可以在不同类型的刺激回放窗口，自由缩放、选择、绘制不同形状的AOI兴趣区，可以自由调整兴趣区的颜色、透明度等显示风格，以及进行该刺激下的可视化数据呈现与统计分析。并且根据研究的刺激类型不同层级可以将AOI兴趣区创建不同的Group组别，或者将已创建好的兴趣区进行归类，系统将自动对该组别兴趣区的数据进行统计与交互分析。以及支持该系统中同步采集的所有编码数据源均可进入到交互行为分析系统进行可视化鼠标热图分析、数据统计以及AOI序列性分析。并利用可视化刺激原始状态与鼠标或手指轨迹图实时观察不同被试的鼠标行为与刺激及AOI的交互信息；不同的被试以不同颜色的鼠标移动轨迹图形进行可视化呈现。可以直观分析不同被试的鼠标运动轨迹与交互区域。以及可视化鼠标行为编码热力图。多被试数据叠加，可以直观的分析不同被试群体在不同刺激下的鼠标行为热力图。对多指标交互行为数据统计。包括在不同AOI兴趣区域下的CC(Click Count(N))点击次数、FCT(First Click Time)首次点击时间、CC(Click Count(％))点击计数百分比以及ACC(Average Click Count(N)平均点击次数，并以可视化图表方式呈现。对不同鼠标行为的序列性分析。可以根据研究需求，自定义分析访问不同AOI的序列性关系，计算依次进入不同AOI连续发生的时间、次数、概率等数据统计与可视化序列图。最终将所有数据源的可视化与统计分析，均支持单个被试或者多被试的叠加分析与数据统计，所有统计图表、可视化热力图均可以一键导出进行进一步应用。

综上所述，本发明实施例的基于人机交互的反应行为分析方法及系统，通过接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据；接收所述刺激材料中各兴趣区的标记信息；接收在显示参数选项内选择的参数，其中，所述显示参数选项包括兴趣区选项、被试数据选项、及反应数据显示选项；回放所述刺激材料，根据所述兴趣区选项的参数控制以选定的兴趣区显示方式在回放的刺激材料中显示依据所述标记信息选择的兴趣区，并根据所述被试数据选项的参数控制在回放的刺激材料中显示选择的被试的反应数据并在选择多个被试的反应数据的情况下以不同显示方式显示不同被试的反应数据，根据所述反应数据显示选项的参数控制在回放的刺激材料中被试的反应数据的统计显示方式；在所述统计显示方式为热点图且显示所有被试的反应数据的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数；在所述统计显示方式为轨迹图的情况下，统计选择的各被试的反应数据对应的兴趣区流转序列；根据各兴趣区对应的总反应次数和各被试的兴趣区流转序列对所述刺激材料的兴趣区进行分析。综上，通过以刺激材料原始状态和视频的方式回放交互数据，将鼠标行为、手指行为进行可视化展示，并可根据被试属性、刺激材料类型及记录自行选择需要回放的数据。将鼠标点击、鼠标悬浮、手指点击、手指滑动等行为以热点图和轨迹图的形式呈现在界面的兴趣区中，并提供触控点半径、透明度、密度和轨迹线等属性调节，以使在无眼动仪采集被试眼动数据情况下，通过提供记录鼠标或者手指行为的方式，可以分析统计出被试与刺激材料中的兴趣区的交互行为，并对兴趣区的吸引程度进行分析，以提高材料的分析结果准确性

本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于人机交互的反应行为的分析方法，其特征在于，包括：

接收所述刺激材料中各兴趣区的标记信息；

2.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据，包括：

3.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，做出选择的反应方式包括鼠标点击的反应、或者鼠标滑动的反应，以及手指点击的反应、或者手指滑动的反应。

4.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，接收所述刺激材料中各兴趣区的标记信息，包括：

5.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，所述显示参数选项还包括：

6.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，在接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据后，包括：

7.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，在接收被试在观看刺激材料的过程中对其中的感兴趣的内容做出选择的反应，得到被试的反应数据，并记录被试的反应数据之后，包括：

8.如权利要求1所述的基于人机交互的反应行为的分析方法，其特征在于，在所述统计显示方式为热点图且显示所有被试的反应数据的情况下，统计显示的同一个兴趣区内所有被试的反应数据对应的总反应次数，包括：

9.一种基于人机交互的反应行为的分析系统，该系统包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该系统实现如权利要求1至8中任意一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8中任意一项所述方法的步骤。