CN114489327A - 基于人机交互的反应行为的序列分析方法及系统 - Google Patents

基于人机交互的反应行为的序列分析方法及系统 Download PDF

Info

Publication number
CN114489327A
CN114489327A CN202111653642.8A CN202111653642A CN114489327A CN 114489327 A CN114489327 A CN 114489327A CN 202111653642 A CN202111653642 A CN 202111653642A CN 114489327 A CN114489327 A CN 114489327A
Authority
CN
China
Prior art keywords
reaction
human
computer interaction
sequence
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111653642.8A
Other languages
English (en)
Other versions
CN114489327B (zh
Inventor
赵起超
杨苒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to CN202111653642.8A priority Critical patent/CN114489327B/zh
Publication of CN114489327A publication Critical patent/CN114489327A/zh
Application granted granted Critical
Publication of CN114489327B publication Critical patent/CN114489327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于人机交互的反应行为的序列分析方法及系统,所述方法包括:接收操作用户在人机交互过程中针对人机交互界面多个兴趣区内的感兴趣内容做出的反应,获取各所述兴趣区对应的反应数据并存储;其中,所述反应数据包括操作用户做出的各反应所对应的感兴趣内容的坐标位置以及各反应对应的时间信息;接收用户输入的第一兴趣区对应的反应与第二兴趣区对应的反应之间需满足的间隔约束条件;基于所述反应数据获取满足所述间隔约束条件的行为序列;对获取到的所述行为序列进行统计,并基于统计结果进行显示。该方法能对具有间隔或时间限制的行为序列进行分析。

Description

基于人机交互的反应行为的序列分析方法及系统
技术领域
本发明涉及人机交互技术领域,尤其涉及一种基于人机交互的反应行为的序列分析方法及系统。
背景技术
目前,在针对材料中设定的兴趣区域对操作用户的吸引程度进行判断及分析时,一般是通过以人机交互界面元素原始状态和视频的方式回放交互数据,并将操作用户针对感兴趣内容做出的鼠标点击、鼠标悬浮、手指点击、手指滑动等行为以热点图和轨迹图的形式呈现在界面兴趣区中,进而分析操作用户的反应行为。该方法仅能针对操作用户做出的单个反应进行分析及判断,而若要进一步分析记录中某个时间段内操作用户在不同兴趣区内做出的具有间隔或时间限制的行为序列,采用上述方法无法进行分析,因而无法准确获知想要了解的数据信息等。因此,如何对具有间隔或时间限制的行为序列进行分析以及确保分析结果的准确性是亟待解决的技术问题。
发明内容
有鉴于此,本发明提供了一种基于人机交互的反应行为的序列分析方法及系统,以解决现有技术中存在的一个或多个问题。
本发明的技术方案如下:
根据本发明的一个方面,公开了一种基于人机交互的反应行为的序列分析方法,该方法包括:
接收操作用户在人机交互过程中针对人机交互界面多个兴趣区内的感兴趣内容做出的反应,获取各所述兴趣区对应的反应数据并存储;其中,所述反应数据包括操作用户做出的各反应所对应的感兴趣内容的坐标位置以及各反应对应的时间信息;
接收用户输入的第一兴趣区对应的反应与第二兴趣区对应的反应之间需满足的间隔约束条件;
基于所述反应数据获取满足所述间隔约束条件的行为序列;
对获取到的所述行为序列进行统计,并基于统计结果进行显示。
在本发明的一些实施例中,所述间隔约束条件包括所述第一兴趣区对应的反应与第二兴趣区对应的反应之间的间隔距离阈值条件和/或间隔时间阈值条件。
在本发明的一些实施例中,对获取到的所述行为序列进行统计,并基于统计结果进行显示,包括以下中至少一个:
统计操作用户观看人机交互界面的总持续时间;
统计所述行为序列的总数量;
统计所述行为序列的总持续时间;
统计所述行为序列的平均持续时间;
计算所述行为序列的总持续时间占操作用户观看人机交互界面的总持续时间的百分比值。
在本发明的一些实施例中,所述方法还包括:
基于所述行为序列的统计结果生成针对人机交互界面的优化策略。
在本发明的一些实施例中,所述操作用户做出的反应的反应类型包括鼠标点击反应、鼠标滑动反应、手指点击反应、手指滑动反应或眼动反应。
在本发明的一些实施例中,所述方法还包括:
确定操作用户在人机交互过程中针对人机交互界面多个兴趣区内的感兴趣内容分别做出的反应的反应类型并标记。
在本发明的一些实施例中,所述方法还包括:显示标记有反应类型的人机交互界面、做出的反应的坐标位置及反应对应的时间信息。
在本发明的一些实施例中,所述人机交互界面为视频、网页、或图片。
根据本发明的另一方面,提供了一种基于人机交互的反应行为的序列分析系统,该系统包括处理器和存储器,所述存储器中存储有计算机指令,所述处理器用于执行所述存储器中存储的计算机指令,当所述计算机指令被处理器执行时该系统实现如上实施例中任意一项所述方法的步骤。
根据本发明的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如上实施例中任意一项所述方法的步骤。
本发明实施例所公开的基于人机交互的反应行为的序列分析方法,将操作用户做出的反应对应的反应数据进行存储,并基于用户输入的间隔约束条件以及反应数据中获取满足条件的行为序列,并进一步的将获取到的行为序列进行统计及分析;通过上述步骤,完成了对具有间隔或时间限制的行为序列统计及分析的过程,且其分析结果较准确,因而通过上述方法可准确获知想要了解的数据信息。并进一步的基于行为序列分析结果可以对被测人机交互界面如原型页面设计进行优化或对被测人机交互界面的页面功能进行优化。
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在书面说明及其权利要求书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。附图中的部件不是成比例绘制的,而只是为了示出本发明的原理。为了便于示出和描述本发明的一些部分,附图中对应部分可能被放大,即,相对于依据本发明实际制造的示例性装置中的其它部件可能变得更大。在附图中:
图1为本发明一实施例的基于人机交互的反应行为的序列分析方法的流程示意图。
图2为本发明另一实施例的基于人机交互的反应行为的序列分析方法的流程示意图。
图3为本发明再一实施例的基于人机交互的反应行为的序列分析方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
在此,需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
应该强调,术语“包括/包含/具有”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
图1为本发明一实施例的基于人机交互的反应行为的序列分析方法的流程示意图,如图1所示,该实施例的基于人机交互的反应行为的序列分析方法包括以下步骤S10~S40。
步骤S10:接收操作用户在人机交互过程中针对人机交互界面多个兴趣区内的感兴趣内容做出的反应,获取各所述兴趣区对应的反应数据并存储;其中,所述反应数据包括操作用户做出的各反应所对应的感兴趣内容的坐标位置以及各反应对应的时间信息。
在该步骤中,人机交互界面具体的可为图片、视频或网页等,且图片、视频或网页可作为任何电子计算机PC、移动终端APP、虚拟现实VR、增强现实AR等载体的人机交互界面;示例性的,当人机交互界面为网页时,基于该实验元素的分析结果可进一步的评价网页布局的合理性。另外,人机交互界面还可为手机或电脑的屏幕桌面。对于上述的人机交互界面,操作用户针对感兴趣内容做出的反应可为操作用户通过鼠标做出的反应或通过手指做出的反应。示例性的,当采用电脑进行测试时,操作用户在针对图片、视频、网页或屏幕桌面等人机交互界面完成交互任务时,其对于感兴趣的内容会通过鼠标进行点击或滑动;而当采用手机或平板电脑进行测试时,操作用户在针对图片、视频、网页或屏幕桌面等人机交互界面完成交互任务时,其对于感兴趣的内容会通过手指进行点击或滑动。因而对于操作用户做出的反应对应的反应方式或反应类型不做特别限制,可根据实际应用场景进行改变,但具体的操作用户做出的反应的反应类型包括鼠标点击的反应、鼠标滑动的反应、手指点击的反应或手指滑动的反应。其中,当人机交互界面为手机或电脑的屏幕桌面时,可通过录屏等方式记录操作用户针对桌面上的各应用软件所做出的反应。
另外,操作用户做出的反应的反应类型还可为眼动反应,此时可借助于眼动仪等设备实时采集操作用户在观看人机交互界面过程中的眼动数据。不难理解的是,无论选用何种人机交互界面及反应方式,均是为了进一步的获得操作用户在人机交互过程中针对人机交互界面各个感兴趣内容做出的反应所对应的反应数据。其中,反应数据具体的可包括各反应所对应的感兴趣内容的坐标位置以及各反应对应的时间信息。坐标位置示例性的如反应对应的感兴趣内容的点坐标,而时间信息可为操作用户做出该反应的起始时间、终止时间、持续时长等参数。
其中,兴趣区可以是由3个或3个以上的点组成的闭合形状,各个点的坐标可为相对于人机交互界面在横向方向上及竖直方向上的尺寸数值,示例性的如(0,0)、(1,1);相应的,用户做出的反应的位置坐标也为相对于人机交互界面在横向方向上及竖直方向上的尺寸数值,如(0.2,0.7)。在判断操作用户做出的反应是否在兴趣A内,则可先判断反应所对应的位置坐标与兴趣区A的各点的位置坐标之间的关系,进而得出反应所属的兴趣区或操作用户是否在兴趣区A中做出了反应。
进一步的,在对人机交互界面的兴趣区内容进行分析时,若接收到操作用户针对其感兴趣的内容做出的反应之后,除了会存储反应对应的反应数据,还会确定该反应对应的反应类型并进行标记。示例性的,若获取到鼠标点击的反应后,不仅会存储操作用户点击鼠标时的时间信息及位置信息,还会获取该反应的反应类型为“鼠标点击”,进一步可将获取的“鼠标点击”反应类型进行标记。在标记过程中,可先预设各个反应类型所对应的符号,进而在判断出反应的反应类型之后将预设的与该反应类型相对应的符号标记在相应位置。
在实验过程中,具体的可通过分析软件对人机交互界面的各个兴趣区进行分析。示例性的,在分析软件中新建项目,添加某一测试产品作为人机交互界面研究对象,进一步录制实验,在实验过程中记录操作用户做出的反应。实验结束后,统计操作用户做出的反应所对应的反应数据以及反应类型进行存储,以便于在后续步骤中进行分析及研究。
进一步的,在该分析软件中,还可显示标记有反应类型的人机交互界面研究对象、做出的反应的坐标位置及反应对应的时间信息。其中,为了便于观察操作用户针对整个人机交互界面所做出的完整反映,反应类型还可在人机交互界面研究对象上被可视化标记。在分析软件中,其软件界面的第一区域可用来回放带有反应类型标记的人机交互界面元素,而人机交互界面研究对象的下方左侧区域可用来显示各个兴趣区的统计结果,人机交互界面研究对象的下方右侧区域可用来显示测试记录。
步骤S20:接收用户输入的第一兴趣区对应的反应与第二兴趣区对应的反应之间需满足的间隔约束条件。
其中,第一兴趣区对应的反应与第二兴趣区对应的反应之间需满足的间隔约束条件是根据序列要求进行设定的。如,若想分析操作用户在观看人机交互界面时其做出的反应自兴趣区A转移至兴趣区B对应的行为序列时,此时第一兴趣区对应的为兴趣区A,而第二兴趣区对应的为兴趣区B,则第一兴趣区对应的反应与第二兴趣区对应的反应之间的间隔约束条件为两个反应之间的数量间隔或两个反应之间的时间之差。更具体的,间隔约束条件包括所述第一兴趣区对应的反应与第二兴趣区对应的反应之间的间隔距离阈值条件和/或间隔时间阈值条件。间隔距离阈值条件即指两个兴趣区的反应之间间隔的反应的最大数量,而间隔时间阈值条件指两个兴趣区的反应之间的时间差值的最大范围。
示例性的,若人机交互界面中具有多个兴趣区,在记录中某个时间段操作用户依次发生行为A、行为B、行为C,且行为A的发生时间与行为C的发生时间间隔1min;另,行为A属于兴趣区A,行为B属于兴趣区B,行为C属于兴趣区C;则若想要在该记录中分析发生行为A之后间隔一个行为即发生行为C的序列,直接将间隔约束条件中的间隔距离阈值条件设为2或将间隔时间阈值条件设为1min即可。通过上述内容可知,在对有行为数量间隔或时间间隔的行为序列发生时对应的指标进行统计时,直接基于行为序列的要求设置与其对应的参数即可完成分析。
步骤S30:基于所述反应数据获取满足所述间隔约束条件的行为序列。
在该步骤中,反应数据是通过步骤S10获取并存储的数据,其是操作用户在观看完人机交互界面后用于反映操作用户的感兴趣内容的数据。基于操作用户的记录数据获取满足间隔约束条件的行为序列时,其通过循环判断的方式来完成。例如,首先获取第一反应对应的反应数据,再获取第二反应对应的反应数据,判断第二反应与第一反应之间是否满足间隔约束条件,若满足,则行为序列数量+1,若不满足,则行为序列数量+0;获取第三反应对应的反应数据,判断第三反应与第一反应之间是否满足间隔约束条件,若满足,则行为序列数量+1,若不满足,则行为序列数量+0;依次循环,直至判断完第N-1反应与第N反应之间是否满足间隔约束条件,并得到该记录中具有的行为序列的总数量。应当理解的是,上述的循环判断方法仅是一种具体示例,其可可以采用其他的方法进行判断及提取。
步骤S40:对获取到的所述行为序列进行统计,并基于统计结果进行显示。
其中,行为序列的统计结果可包括:行为序列的总数量、总持续时间、平均持续时间等,显示的内容包括统计的上述结果等;另外,显示的内容也可包括获取到的行为序列所对应的记录数据。示例性的,在分析软件的序列分析页面中以可视化方式显示每条记录中包含的满足上述间隔约束条件的行为序列,且不同兴趣区对应的反应可使用不同的颜色块区分,在不具有行为序列的时间段内可用灰色填充以便于区分。且对于该分析软件,用户可手动添加需要分析的操作用户记录或人机交互界面,在分析过程中也可更改行为序列所对应的间隔约束条件。
在本发明一实施例中,对获取到的所述行为序列进行统计时,统计以下中的至少一个:统计操作用户观看人机交互界面的总持续时间,统计所述行为序列的总数量,统计所述行为序列的总持续时间,统计所述行为序列的平均持续时间,计算所述行为序列的总持续时间占操作用户观看人机交互界面的总持续时间的百分比值。
其中,根据统计得到的行为序列的总序列数量可以得出操作用户在观看整个人机交互界面过程中的某种连续性行为发生的次数,根据该参数进一步的可反映出用户针对该人机交互界面所做出的反应是否符合预期要求;而行为序列的总持续时间能反映出该行为序列对操作用户的反应的影响程度;而行为序列的总持续时间占操作用户观看人机交互界面的总持续时间的百分比值,对于产品的合理性判断具有较高的参考价值。通过上述统计结果,可反应出操作用户人机交互界面对操作用户的某种连续性行为或反应的影响程度,从而可进一步的准确判断产品设计的合理性,以及便于优化操作用户人机交互界面。示例性的,当人机交互界面为网页时,基于行为序列的统计结果可优化网页的布局等。
进一步的,该方法还基于所述行为序列的统计结果生成针对人机交互界面的优化策略。其中优化策略可预先存储在存储单元中,且不同的优化策略对应于不同的行为数列数量;在该步骤中,可基于统计得到的总序列数量确定该人机交互界面所适用的优化策略,并将该优化策略发送给相关操作用户或进一步的生成测评报告。
对于上述实施例中的基于人机交互的反应行为的序列分析方法,其在分析时通过设置序列中每个行为之间的可间隔行为个数或者时间条件参数,进而统计行为序列发生时对应的指标;其具体的可在研究某个设计原型或者一款新产品时用于测试用户使用该产品时的操作行为的连贯性及一致性,也可用于分析用户眼动数据反映的运动轨迹对应的兴趣区顺序,还可用于分析车辆运行轨迹经过指定地点或区域的连续性发生的情况。
具体的,采用该方法进行行为序列分析时,其在参数的影响下可以实现跨无关行为只分析满足条件的行为序列发生的统计指标(两个行为之间间隔其他无关行为为条件);可以分析在前一个行为发生后的一段指定时间段内下一个行为的发生所对应的序列的统计指标。
示例性的,当采用分析软件分析行为序列时,在实验过程中可记录操作用户的行为动作,行为动作可为操作用户的头部动作,如点头、摇头、左转头及右转头等。实验结束后,可基于该方法分析在某一个时间段内操作用户连续点头+摇头行为发生的次数、连续点头+左转头发生次数以及多种连续行为的平均发生次数等。另外,当采用分析软件分析针对兴趣区的行为序列时,可预先在人机交互界面上绘制需要分析的操作用户关注的区域作为兴趣区,进而进行录制实验,在实验过程中采集操作用户的眼动数据、鼠标数据或手指数据,实验结束保存采集到的上述数据。进而通过序列分析模块,分析统计发生指定顺序的反应的兴趣区的数量、序列个数、序列总持续时间等指标。另外,该方法还可用于对车辆的行驶轨迹进行指定区域序列分析;具体的,先录制实车数据,在实验过程中采集操作用户车辆的实时位置信息;实验结束保存采集的数据;实验之前或实验之后需要在地图窗口中编辑地理位置兴趣区;之后到序列分析功能模块,分析统计指定发生顺序的地理位置兴趣区范围内操作用户轨迹经过的次数、序列发生总次数、序列总持续时间等指标。
其中,车辆地理位置兴趣区是由3个或3个以上经纬度坐标点组成的闭合图形形状,车辆在行驶过程中实时记录车辆的当前GPS地址坐标,坐标点X在兴趣区L范围内部则表示当前兴趣区状态为L,坐标点不在任何兴趣区范围内,则为空。
进一步的,在对行为序列进行统计时,还统计序列内操作用户做出的反应的总数量、序列内反应的平均次数,以及序列内反应的总持续时间。当操作用户做出的反应为鼠标点击行为或手指点击行为时,序列内操作用户做出的反应的总数量即指鼠标点击或手指点击的总次数,序列内反应的平均数量指鼠标点击或手指点击的平均次数,序列内反应的总持续时间指鼠标点击或手指点击的总持续时间。当操作用户做出的反应为眼动点注视时,序列内操作用户做出的反应的总数量即指眼动点注视的总次数,序列内反应的平均数量指眼动点注视的平均次数,序列内反应的总持续时间指眼动点注视的总持续时间。类似的,当对车辆数据兴趣区区域序列进行分析时,进一步的还统计序列期间车辆数据坐标点的总个数、车辆数据坐标点的平均个数以及车辆数据坐标点位于兴趣区内的总持续时间等指标。
根据本发明实施例的另一方面,提供了一种基于人机交互的反应行为的序列分析系统,该系统包括处理器和存储器,所述存储器中存储有计算机指令,所述处理器用于执行所述存储器中存储的计算机指令,当所述计算机指令被处理器执行时该系统实现如上述实施例中任意一项所述方法的步骤。
根据本发明实施例的另一方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例中任意一项所述方法的步骤。
为使本领域技术人员更好地了解本发明,下面将以具体实施例说明本发明的实施方式。
图2为本发明另一实施例的基于人机交互的反应行为的序列分析方法的流程示意图,在该实施例中以两个行为之间的行为个数间隔作为序列参数进行分析。也即设置序列分析时每个行为发生之后允许下一个行为与当前行为之间间隔的最大无关行为个数;示例性的,在实际记录中,操作用户发生行为的顺序依次为行为A->行为B->行为C,若要想分析序列A->C,则在分析时将两个行为之间的行为个数间隔的最大值设为2即可。如图2所示,在设置序列分析参数之前,先将待分析的序列集合(行为/兴趣区)添加至软件的相应位置;然后再根据序列要求设置序列参数,该序列参数若为1时,则默认指两个连续行为,也即两个行为之间无其他无关行为,该序列参数的最大设置值可限定为99;获取记录中的数据(待分析的行为数据/兴趣区数据);进而依次循环判断记录中的数据是否满足序列设定的参数要求,也即遍历序列集合中的行为或兴趣区是否满足设定的间隔参数。在判断过程中,可先判断当前行为是否属于行为序列中的其中一个行为,当属于时,进而依次遍历当前行为后方的行为,具体的是首先将当前行为的索引+最小间隔设定值,进而索引再依次+1,直至索引的增加总个数与设定的最大序列间隔参数相等。示例性的,在设定序列参数时,可具体的设置一个最小间隔行为个数以及一个最大间隔行为个数,在具体遍历过程中,首先遍历到的为当前行为索引+最小间隔行为个数的索引所对应的行为。并且应当理解的是,当设置的最小间隔行为个数为1时,具体的可按照当前行为的索引依次+1进行遍历。
进一步的,在遍历过程中,判断是否具有满足序列间隔参数要求的行为序列,若满足,则行为序列+1。对于该行为序列,其开始时间是第一个行为发生的初始时间,而序列结束时间则为最终行为的结束时间。通过上述方法对序列集合进行循环分析及判断,最终得出行为序列出现的总次数、总持续时间、平均持续时间、平均次数等指标。
应当理解的是,在该方法中,间隔约束条件是用户根据需要进行设定的,其在具体分析时,也可以自定义修改间隔约束条件的具体数值。
图3为本发明再一实施例的基于人机交互的反应行为的序列分析方法的流程示意图,在该实施例中以两个行为的发生时间间隔作为序列参数进行分析。也即设置序列分析时每个行为发生之后允许下一个行为发生的最短时间或最长时间,时间计算起点可以是第一个行为的发生开始时间点,也可以是第一个行为发生的结束时间点;示例性的,同是行为A->行为B->行为C依次发生,但是要分析序列A->C,则在分析时将序列参数(最大间隔时间阈值)设为行为A的开始发生与行为C的开始发生之间的时间差值即可。如图3所示,在设置序列的分析参数步骤中,可以以当前行为的开始时间或结束时间进行计算,将序列中的下一行为与当前行为发生时间的差值范围作为序列参数;但应当注意的是,以时间间隔阈值作为序列参数时,设定的间隔时间仅可为大于零的数值。该实施例与上述的以行为数量间隔作为序列参数的实施例类似,其在获取到实验记录的数据后,也进一步的循环序列列表里的每个行为,具体的即以行为索引+1的方式依次循环,依次判断当前循环到的行为与初始行为发生的时间之差是否符合预设序列条件,直至将序列列表中的各个行为循环及判断完毕,即可得到该序列列表对应的记录中所具有的行为序列出现的总次数总持续时间、平均持续时间、平均次数等指标等。
通过上述实施例可以发现,该基于人机交互的反应行为的序列分析方法及系统可对具有间隔或时间限制的行为进行行为序列分析,且分析结果较准确,因而可直接的获知想要了解的数据信息。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
本发明中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于人机交互的反应行为的序列分析方法,其特征在于,所述方法包括:
接收操作用户在人机交互过程中针对人机交互界面多个兴趣区内的感兴趣内容做出的反应,获取各所述兴趣区对应的反应数据并存储;其中,所述反应数据包括操作用户做出的各反应所对应的感兴趣内容的坐标位置以及各反应对应的时间信息;
接收用户输入的第一兴趣区对应的反应与第二兴趣区对应的反应之间需满足的间隔约束条件;
基于所述反应数据获取满足所述间隔约束条件的行为序列;
对获取到的所述行为序列进行统计,并基于统计结果进行显示。
2.根据权利要求1所述的基于人机交互的反应行为的序列分析方法,其特征在于,所述间隔约束条件包括所述第一兴趣区对应的反应与第二兴趣区对应的反应之间的间隔距离阈值条件和/或间隔时间阈值条件。
3.根据权利要求1所述的基于人机交互的反应行为的序列分析方法,其特征在于,对获取到的所述行为序列进行统计,并基于统计结果进行显示,包括以下步骤中的至少一个:
统计操作用户观看人机交互界面的总持续时间;
统计所述行为序列的总数量;
统计所述行为序列的总持续时间;
统计所述行为序列的平均持续时间;
计算所述行为序列的总持续时间占操作用户观看人机交互界面的总持续时间的百分比值。
4.根据权利要求1所述的基于人机交互的反应行为的序列分析方法,其特征在于,所述方法还包括:
基于所述行为序列的统计结果生成针对人机交互界面的优化策略。
5.根据权利要求1至4中任意一项所述的基于人机交互的反应行为的序列分析方法,其特征在于,所述操作用户做出的反应的反应类型包括鼠标点击反应、鼠标滑动反应、手指点击反应、手指滑动反应或眼动反应。
6.根据权利要求1所述的基于人机交互的反应行为的序列分析方法,其特征在于,所述方法还包括:
确定操作用户在人机交互过程中针对人机交互界面多个兴趣区内的感兴趣内容分别做出的反应的反应类型并标记。
7.根据权利要求6所述的基于人机交互的反应行为的序列分析方法,其特征在于,所述方法还包括:显示标记有反应类型的人机交互界面、做出的反应的坐标位置及反应对应的时间信息。
8.根据权利要求1所述的基于人机交互的反应行为的序列分析方法,其特征在于,所述人机交互界面为视频、网页、或图片。
9.一种基于人机交互的反应行为的序列分析系统,该系统包括处理器和存储器,其特征在于,所述存储器中存储有计算机指令,所述处理器用于执行所述存储器中存储的计算机指令,当所述计算机指令被处理器执行时该系统实现如权利要求1至8中任意一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任意一项所述方法的步骤。
CN202111653642.8A 2021-12-30 2021-12-30 基于人机交互的反应行为的序列分析方法及系统 Active CN114489327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111653642.8A CN114489327B (zh) 2021-12-30 2021-12-30 基于人机交互的反应行为的序列分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111653642.8A CN114489327B (zh) 2021-12-30 2021-12-30 基于人机交互的反应行为的序列分析方法及系统

Publications (2)

Publication Number Publication Date
CN114489327A true CN114489327A (zh) 2022-05-13
CN114489327B CN114489327B (zh) 2024-03-19

Family

ID=81508419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111653642.8A Active CN114489327B (zh) 2021-12-30 2021-12-30 基于人机交互的反应行为的序列分析方法及系统

Country Status (1)

Country Link
CN (1) CN114489327B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116185243A (zh) * 2023-04-28 2023-05-30 苏州市世为科技有限公司 一种人机交互数据处理评估预警系统
CN116860153A (zh) * 2022-12-30 2023-10-10 北京津发科技股份有限公司 一种手指交互轨迹分析方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968657A (zh) * 2018-09-30 2020-04-07 百度在线网络技术(北京)有限公司 感兴趣区域查询方法、装置、设备及计算机可读介质
CN111966724A (zh) * 2020-06-29 2020-11-20 北京津发科技股份有限公司 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置
CN112230774A (zh) * 2020-10-15 2021-01-15 北京津发科技股份有限公司 基于人机交互的反应行为的分析方法及系统
CN112346945A (zh) * 2020-10-23 2021-02-09 北京津发科技股份有限公司 人机交互数据分析方法及装置
KR102244821B1 (ko) * 2021-03-03 2021-04-27 (주)플랜아이 머신러닝을 활용한 다중 사용자의 행태 데이터 시각화 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968657A (zh) * 2018-09-30 2020-04-07 百度在线网络技术(北京)有限公司 感兴趣区域查询方法、装置、设备及计算机可读介质
CN111966724A (zh) * 2020-06-29 2020-11-20 北京津发科技股份有限公司 基于人机交互界面区域自动识别技术的交互行为数据采集、分析方法及装置
CN112230774A (zh) * 2020-10-15 2021-01-15 北京津发科技股份有限公司 基于人机交互的反应行为的分析方法及系统
CN112346945A (zh) * 2020-10-23 2021-02-09 北京津发科技股份有限公司 人机交互数据分析方法及装置
KR102244821B1 (ko) * 2021-03-03 2021-04-27 (주)플랜아이 머신러닝을 활용한 다중 사용자의 행태 데이터 시각화 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
人机环境同步平台ERGOLAB: "ErgoLAB v3.15新功能发布", pages 1 - 8, Retrieved from the Internet <URL:https://mp.weixin.qq.com/s?__biz=Mzg3NzU1MTIyNA==&mid=2247485213&idx=1&sn=192781ed17079f911d379dd524ee3e5f&chksm=cf200c0af857851ce7244db8f9c4ef3b52593a8b54caab0302fb81c4cc216d9db2baf4118345&scene=21#wechat_redirect> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116860153A (zh) * 2022-12-30 2023-10-10 北京津发科技股份有限公司 一种手指交互轨迹分析方法、系统及存储介质
CN116185243A (zh) * 2023-04-28 2023-05-30 苏州市世为科技有限公司 一种人机交互数据处理评估预警系统

Also Published As

Publication number Publication date
CN114489327B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN114489327B (zh) 基于人机交互的反应行为的序列分析方法及系统
Blascheck et al. State-of-the-art of visualization for eye tracking data.
CN109508681A (zh) 生成人体关键点检测模型的方法和装置
EP3214585A1 (en) Estimated result display system, estimated result display method and estimated result display program
US11403842B2 (en) Simulator to simulate target detection and recognition
CN112948226B (zh) 一种用户画像绘制方法和装置
CN111401228A (zh) 视频目标标注方法、装置及电子设备
CN109739768A (zh) 搜索引擎评测方法、装置、设备以及可读存储介质
CN107908604A (zh) 报表图形生成方法、装置、计算机设备和存储介质
CN108984070B (zh) 用于热力图成像的方法、装置、电子设备及可读介质
CN111736951A (zh) 自动驾驶的仿真方法、计算机设备、及存储介质
Gonçalves et al. Visualizing human trajectories: Comparing space-time cubes and static maps
Aoidh et al. Understanding geospatial interests by visualizing map interaction behavior
CN116523738B (zh) 一种任务触发方法、装置、存储介质以及电子设备
CN112633341A (zh) 一种界面测试方法、装置、计算机设备和存储介质
CN109871465B (zh) 一种时间轴计算方法、装置、电子设备及存储介质
US11423195B2 (en) User interface to simulate target detection and recognition
CN116665170A (zh) 目标检测模型的训练及目标检测方法、装置、设备和介质
US7941759B2 (en) Interactive analysis of network adjustment results
Yildirim et al. Evaluating salient object detection in natural images with multiple objects having multi‐level saliency
CN113360399A (zh) 一种用于自动驾驶系统的实车调试系统、装置及存储介质
CN113568735A (zh) 数据处理方法及系统
CN106407222B (zh) 一种图片处理方法和设备
CN109343852B (zh) 一种操作界面帧图片的显示方法及装置
CN112364765A (zh) 一种人眼运动注视点检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant