CN112578905B - 一种针对移动终端的人机交互测试方法及系统 - Google Patents

一种针对移动终端的人机交互测试方法及系统 Download PDF

Info

Publication number
CN112578905B
CN112578905B CN202011282191.7A CN202011282191A CN112578905B CN 112578905 B CN112578905 B CN 112578905B CN 202011282191 A CN202011282191 A CN 202011282191A CN 112578905 B CN112578905 B CN 112578905B
Authority
CN
China
Prior art keywords
eye
mobile terminal
screen
information
video information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011282191.7A
Other languages
English (en)
Other versions
CN112578905A (zh
Inventor
赵起超
杨苒
李召
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kingfar International Inc
Original Assignee
Kingfar International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kingfar International Inc filed Critical Kingfar International Inc
Priority to CN202011282191.7A priority Critical patent/CN112578905B/zh
Publication of CN112578905A publication Critical patent/CN112578905A/zh
Application granted granted Critical
Publication of CN112578905B publication Critical patent/CN112578905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Abstract

本发明公开了一种针对移动终端的人机交互测试方法及系统,包括眼动追踪子系统、移动终端屏幕采集子系统、控制中心,眼动追踪子系统、移动终端屏幕采集子系统分别与控制中心连接,眼动追踪子系统用于通过自动调节眼动仪位置获得满足要求的眼动轨迹信息,移动终端屏幕采集子系统用于通过导出移动屏幕实时画面信息获得移动终端的屏幕视频信息;控制中心用于将眼动轨迹信息转换为眼轨视频信息,并根据眼轨图像调整眼动仪位置,对眼轨视频信息、移动终端屏幕画面进行数据汇集和坐标转换,将屏幕视频信息与眼轨视频信息叠加,得到人机交互测试结果,本申请自动调节、精确捕捉眼视力汇聚点;导出移动终端的屏幕画面,数据更准确,提高了测试效果。

Description

一种针对移动终端的人机交互测试方法及系统
技术领域
本发明涉及人机交互测试技术领域,尤其是涉及一种针对移动终端的人机交互测试方法及系统。
背景技术
人机界面是软件与用户最直接的交互层,界面的好坏决定用户对软件的第一印象,良好的界面设计越来越受到系统分析、设计人员的重视,但是如何对人机界面进行测试并给出客观、公正的评价,却没有一个统一的标准。
目前,对于人机交互的测试,采用摄像头对屏幕画面进行拍摄,同时检测眼睛的焦点,将拍摄画面与眼动轨迹进行投屏,追踪眼视力在屏幕画面上的运行轨迹,从而实现以人机交互的测试,但这种测试方法,屏幕画面拍摄后是以图片格式保存的,图片格式会影响画面的清晰度,从而影响测试结果。
同时,因为眼动仪的位置固定,而人眼会随着人的身高、头部的运动发生变化,就会影响眼动仪采集的眼轨信息清晰度,进而影响眼动轨迹信息,降低测试精度。
因此,设计一种能够提高测试精度的测试方法及系统,是目前亟待解决的问题。
发明内容
本发明的目的是提供一种针对移动终端的人机交互测试方法及系统,通过自动调节眼动仪、移动终端与眼睛的距离及角度,实现对眼视力点在移动终端屏幕画面上的追踪,精确地捕捉眼视力点的运动轨迹,通过导出移动屏幕画面,将移动屏幕画面与眼视力点在移动屏幕画面上的运动轨迹进行叠加,精确实现使用者与移动终端的人机交互过程中的量化研究,实现对人机交互设计效果的分析、评估。
第一方面,本发明的上述发明目的通过以下技术方案得以实现:
一种针对移动终端的人机交互测试方法,包括导出移动终端的屏幕信息,并转换为屏幕视频信息;获取人眼的眼动轨迹信息,并转换为眼轨视频信息;经过坐标变换,在同一画面中叠加同一时刻的屏幕视频信息与眼轨视频信息,得到人眼视力汇聚点在移动终端屏幕画面上的运行轨迹,获得人机交互测试结果。
本发明进一步设置为:屏幕信息包括屏幕画面信息、触屏信息,触屏信息包括触屏方位信息、触屏时间信息,将屏幕画面信息、触屏信息同时转换为屏幕视频信息。
本发明进一步设置为:通过导出屏幕实时播放图像获得屏幕画面信息;获得通过录屏方式获得触屏信息;通过眼动仪获得眼动轨迹信息。
本发明进一步设置为:还包括屏幕画面时刻与眼动轨迹时刻之间的校准,使屏幕视频信息与眼轨视频信息在时间轴上一一对应,根据眼轨视频信息的清晰度,调节眼动仪位置。
第二方面,本发明的上述发明目的通过以下技术方案得以实现:一种针对移动终端的人机交互测试系统,包括眼动追踪子系统、移动终端屏幕采集子系统、控制中心,眼动追踪子系统、移动终端屏幕采集子系统分别与控制中心连接,眼动追踪子系统用于通过自动调节眼动仪位置获得满足要求的眼动轨迹信息,移动终端屏幕采集子系统用于通过导出移动屏幕实时画面信息获得移动终端的屏幕视频信息;控制中心用于将眼动轨迹信息转换为眼轨视频信息,并根据眼轨图像调整眼动仪位置,对眼轨视频信息、移动终端屏幕画面进行数据汇集和坐标转换,将同一时刻的屏幕视频信息与眼轨视频信息进行叠加,得到人机交互测试结果并进行显示。
本发明进一步设置为:控制中心获取眼动仪的眼轨视频信息,判断眼轨视频信息的清晰度,在眼轨视频信息的清晰度低于设定值时,调整眼动仪位置,直至清晰度满足要求。
本发明进一步设置为:调整眼动仪位置,包括根据眼轨视频信息清晰度,调整眼动仪的高度、各方向的角度。
本发明进一步设置为:移动终端屏幕采集子系统将移动终端屏幕画面信息进行投射,传输给控制中心。
第三方面,本发明的上述发明目的通过以下技术方案得以实现:一种针对移动终端的人机交互测试终端,包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现实现测试方法,或控制中心的测试程序、眼动仪的控制程序、各部件之间的调整程序。
第四方面,本发明的上述发明目的通过以下技术方案得以实现:一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被所述处理器执行时实现实现测试方法,或控制中心的测试程序、眼动仪的控制程序、各部件之间的调整程序。
与现有技术相比,本申请的有益技术效果为:
1.本申请通过自动调节眼动仪与眼睛之间的位置,精确捕捉眼视力汇聚点,保证眼轨视频信息的精度,提高测试效果;
2.进一步地,本申请采用视频采集子装置采集移动终端的屏幕画面,对移动终端屏幕画面进行精确采集,增加了屏幕画面的清晰度,为精确分析提供高品质画面;
3.进一步地,本申请通过在各调节点设置电机,自动实现各部件位置的调整,提高了使用舒适度;
4.进一步地,本申请将高品质画面与眼动仪的检测结果合并分析,提高了分析精确度。
附图说明
图1是本申请的一个具体实施例的测试装置的侧视结构示意图;
图2是本申请的一个具体实施例的测试装置角度1的结构示意图;
图3是本申请的一个具体实施例的测试装置角度2的部分结构示意图;
图4是本申请的一个具体实施例的测试装置角度3的部分结构示意图;
图5是本申请的一个具体实施例的测试装置的俯视结构示意图;
图6是本申请的一个具体实施例的视频采集子装置的结构示意图;
图7是本申请的一个具体实施例的控制流程示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
具体实施例一
本申请的一种针对移动终端的人机交互测试系统,如图1、2所示,包括移动终端子装置1、支撑座2、眼动追踪子装置3、加持装置、手臂支撑子装置;手臂支撑子装置包括支撑板4、手臂支撑架5;加持装置包括加持夹紧装置6、加持架7。
移动终端支架子装置1固定在支撑座2的一端,眼动追踪子装置 3固定在支撑座2的另一端,眼动追踪子装置3与移动终端子装置1 分别设置在支撑座2的两侧,与支撑座2固定连接。
眼动追踪子装置3用于采集眼视力在移动终端上的汇聚点,移动终端子装置1用于支撑移动终端。
具体地,移动终端子装置1设置在支撑座2的顶端,与支撑座2 之间具有第一夹角,第一夹角的角度在0到180度之间。
眼动追踪子装置3设置在支撑座2的底端,并分别位于支撑座2 相对的两侧。眼动追踪子装置3与支撑座2之间具有第二夹角,第二夹角的角度在0到180度之间。
加持架7与支撑座2绞接,与移动终端子装置1位于支撑座2的同一侧。
移动终端子装置1、加持装置位于支撑座2的同一侧,眼动追踪子装置3位于支撑座2的另一侧,与移动终端子装置1相对设置在支撑座2两侧。
手臂支撑架5固定设置在加持架7上,与加持架7之间具有第三夹角,第三夹角的角度在0到180度之间。
支撑板4与手臂支撑架5可调节固定连接,支撑板4与支撑架之间具有第四夹角,第四夹角的角度在0到180度之间。
如图3所示,结合图1、2,移动终端子装置包括第一支架12,在本实施例中,第一支架12为平板状结构,外形为方形,第一支架12 的一边与支撑座2固定连接,第一支架12平面与支撑座2平面之间具有60-120度之间的夹角。
在第一支架12与支撑座2固定处,设置第一限位档11,第一限位档11凸起于第一支持架12的上表面,用于限定移动终端的位置。在本实施例中,第一限位档11包括相同的二部分凸起,设置在第一支架12的同一侧,第一限位档11背向第一支架12的一表面与支撑架21的一侧表面处于同一平面。
支撑座2包括第一支撑架21、第二支撑架22,第一支撑架21、为第一方形框架结构,包括4个边框,其中边框211、212为相对的二个边框;第二支撑架22为具有开口的第二方形框架结构,第二方形框架结构的开口处无边框,第二方形框架的正视图为“U”型,包括三个边框,其中边框221、222为相对的二个边框。每个边框朝向方框内的表面为内侧面,背向方框内的表面为外侧面。
第一支撑架21从第二支撑架22的开口处与第二支撑架22套接,第一支撑架21的第一边框211与第二支撑架22的第一边框221卡合,并能够沿边框221移动;第一支撑架21的第二边框212与第二支撑架22的第二边框222卡合,并能够沿边框222移动;在边框211沿边框221移动时,边框212同时也沿边框222移动,从而实现第一支撑架21沿第二支撑架22的移动,从而改变支撑座2的长度,实现移动终端子装置与眼动追踪子装置的相对位置的改变。第一限位档11 设置在第一支架21的第三边框上,第三边框上位于边框211的第一端、边框212的第一端。与第一支架21的第三边框相对的,为第一支架21的第四边框。
在靠近边框211的第二端位置,固定设置有定位栓213,位于边框211的外侧面上,靠近第一支架21的第四边框,边框221上设置有长条状定位通孔223,沿定位通孔223长边边沿设置有多个限位卡槽,定位栓213穿过定位通孔223固定在边框211的外侧面上。
在本实施例中,定位栓为螺栓。
在边框221的外侧面上还固定设置抵接块224,位于与加持架7 的绞接处,用于加持架7的限位。抵接块224与定位栓213位于边框 221的同一侧,考虑到稳定性,抵接块224与定位栓213大约位于边框221的中段。
相应地,边框212与边框211结构相同,边框222与边框221结构相同。
边框221、222远离第一支架21的一端设置有眼动追踪子装置3,眼动追踪子装置3包括第三支架31,与第二支架22可转动固定连接,第三支架31也为方形框架结构,包括四个边框,其中边框314、315 为相对的二个边框;边框311远离第二支架22;在边框314、315靠近边框311的一端,设置有眼动仪框32,用于放置眼动仪,眼动仪能够用于追踪眼视力的汇聚点。
边框314靠近边框311的一端设置有第一凹槽,在第一凹槽的槽框沿上,设置有第一通孔,可抽拉底板313穿过第一通孔设置,可抽拉底板313的外侧设置有档沿,用于限位底板313。
同样地,边框315靠近边框311的一端设置有第二凹槽,在第二凹槽的槽框沿上,设置有第二通孔,可抽拉底板312穿过第二通孔设置,可抽拉底板312的外侧设置有档沿,用于限位底板312。
第一凹槽、第二凹槽、边框311形成眼动仪框32,可抽拉底板312、 313位于眼动仪框32的底部,可抽拉底板312、313的抽拉位置决定了眼动仪框32的大小。
磁吸片固定安装在眼动仪框32内,用于吸附眼动仪。
如图4所示,结合图1、2,加持装置包括加持夹紧装置6、加持架7。
加持架7包括加持连接杆71、第一上加持杆73、第一下加持杆72,加持连接杆71固定连接在第一上加持杆73、第一下加持杆72 的同一端,加持连接杆71、第一上加持杆73、第一下加持杆72为一体结构,第一上加持杆73、第一下加持杆72平行设置,第一上加持杆73用于夹持在使用平台的上表面,第一下加持杆72用于夹持在使用平台的下表面。
在加持连接杆71上设置有第三通孔,在第三通孔处加持连接杆 71的外边沿与抵接块224抵接,抵接块224用于限定加持连接杆71 的位置。
在第二支撑架22的第一边框221上,沿垂直于第二支撑架22所处平面的方向,设置有绞接凸起226,绞接凸起226上设置有第四通孔,与第三通孔同轴,穿过第三通也与第四通孔设置有绞接轴77,加持架7能够绕绞接轴77转动。
加持架7还包括加持连接杆78、第二上加持杆75、第二下加持杆 74,其结构与加持连接杆71、第一上加持杆73、第一下加持杆72的结构相同,不再赘述。
在第一上加持杆73、第二上加持杆75之间设置有第二加强杆76,在第一下加持杆72、第二下加持杆74之间设置有第一加强杆67。
加持夹紧装置6包括依次固定连接的第一夹紧把手61、第一夹紧杆62、第一夹紧托63。第一夹紧托63位于第一上加持杆73的下方。
在加强杆67上靠近第一下加持杆72的位置设置有第五通孔,第五通孔内设有螺纹,第一夹紧杆62上设置有与第五通孔螺纹配合的螺纹,第一夹紧杆62穿过第五通孔并能够旋转,旋转第一夹紧把手 61能够调节第一夹紧托63与第一上加持杆73之间的距离。
加持夹紧装置6还包括依次固定连接的第二夹紧把手64、第二夹紧杆65、第二夹紧托66。第二夹紧托66位于第二上加持杆75的下方。
在加强杆67上靠近第二下加持杆74的位置设置有第六通孔,第六通孔内设有螺纹,第二夹紧杆65上设置有与第六通孔螺纹配合的螺纹,第二夹紧杆65穿过第六通孔并能够旋转,旋转第二夹紧把手 64能够调节第二夹紧托66与第二上加持杆75之间的距离。
同时旋转第一夹紧把手61、第二夹紧把手64,能够将人机交互测试装置夹持在使用平台上。
如图4、5所示,手臂支撑子装置包括手臂支撑架5、手臂支撑固定平台54;支撑板4包括左臂支撑板41、右臂支撑板42。
手臂支撑架5包括第一手臂支撑杆51、第二手臂支撑杆52、手臂支撑加强杆53,第一手臂支撑杆51固定连接在第一上加持杆73上,并与第一上加持杆73的夹角为锐角。第二手臂支撑杆52固定连接在第二上加持杆75上,并与第二上加持杆75的夹角为锐角。手臂支撑加强杆53连接在第一手臂支撑杆51、第二手臂支撑杆52之间,用于使第一手臂支撑杆51、第二手臂支撑杆52成为一个整体。
第一手臂支撑杆51上设置有长条形通孔56,定位栓55穿过通孔 56固定安装在手臂支撑加强杆53的一端。同样的,在第二手臂支撑杆52上也设置有长条形通孔(未标注),定位栓穿过第二手臂支撑杆 52上的长条形通孔固定安装在手臂支撑加强杆53的另一端。调节手臂支撑加强杆53的定位栓就能够实现手臂支撑加强杆53位置的调节。
手臂支撑固定平台54固定在手臂支撑加强杆53上,手臂支撑固定平台54为平板结构,其外形为方形。
左臂支撑板41为平板结构,其外形为“Z”字型,包括第一折边 411、第二折边412、第三折边413。第一折边411的一端固定在手臂支撑固定平台54的左半边,另一端沿手臂支撑加强杆53的长度方向向外延伸,在与手臂长度相近的位置转折,形成第二折边412,第二折边412伸向使用者,在第二折边412的终端再次向外延伸,形成第三折边413,左臂支撑板41用于使用者放置左手臂。这里的向外是相对于移动终端子装置而言,远离移动终端子装置的方向即是向外的方向。
右臂支撑板42与左臂支撑板41对称设置,固定在手臂支撑固定平台54的右半边,结构与左臂支撑板41对称,用于使用者放置右手臂。
如图6所示,视频采集子装置包括视频接口转换器、视频转换器 81,视频接口转换器包括第一转换接口82、第二转换接口83,分别与视频转换器81连接,第一转换接口82一端用于连接移动终端,另一端连接视频转换器第一接口,视频转换器81第二个接口通过第二转换接口83连接上位机,视频转换器81用于对移动终端屏幕实时画面进行格式转换,将移动终端屏幕上的信息投射到视频接口,将视频信号转接到USB信号的设备上,由USB设备传输给上位机。
具体地,采用移动终端的录屏软件跟踪触屏方位及停留时间,视频转换器81将移动终端的屏幕画面转换成视频HDMI信号,再将HDMI 信号转换成USB信号传输到电脑。
具体实施例二
本申请的一种针对移动终端的人机交互测试系统,与具体实施例一的不同之处在于:还包括电动调节子装置,在各调节处设置电机,包括在移动终端支架子装置1与支撑座2的连接处、眼动追踪子装置 3与支撑座2的连接处、手臂支撑架5与加持架7的连接处、手臂支撑架5与手臂支撑固定平台54的连接处分别设置步进电机,通过控制各电机的步进状态,控制各部件之间的相对位置、角度。
电动调节子装置根据眼动追踪系统的位置信息调节眼动追踪系统,根据移动终端的位置信息调节移动终端,实现眼动追踪系统位置、移动终端位置的自动调节;根据使用者身高,调节手臂支撑架的高度、角度,从而调节手臂支撑板。
电动调节子装置的控制根据需要进行点动控制或连续控制,如通过点对控制,对眼动追踪系统的角度、高度进行调节;对手臂支撑板的角度、高度进行调节。
具体实施例三
本申请的一种针对移动终端的人机交互测试方法,基于一种针对移动终端的人机交互测试装置进行,包括导出移动终端的屏幕信息,并转换为屏幕视频信息;获取人眼的眼睛视力汇聚点轨迹信息,并转换为眼轨视频信息;将屏幕视频信息、眼轨视频信息进行汇集,再经过坐标变换,将同一时刻的屏幕视频信息与眼轨视频信息叠加在同一画面中,得到人眼视力汇聚点在移动终端屏幕画面上的运行轨迹,获得人机交互测试结果。
移动终端的屏幕信息包括屏幕画面信息、触屏信息,触屏信息包括触屏方位信息、触屏时间信息,将屏幕画面信息、触屏信息同时转换为屏幕视频信息。
具体实施例四
一种针对移动终端的人机交互测试系统,包括眼动追踪子系统、移动终端屏幕采集子系统、控制中心,眼动追踪子系统、移动终端屏幕采集子系统分别与控制中心连接,眼动追踪子系统用于通过自动调节眼动仪位置获得满足要求的眼动轨迹信息,移动终端屏幕采集子系统用于通过导出移动屏幕实时画面信息获得移动终端的屏幕视频信息;控制中心用于将眼动轨迹信息转换为眼轨视频信息,并根据眼轨图像调整眼动仪位置,对眼轨视频信息、移动终端屏幕画面进行数据汇集和坐标转换,将同一时刻的屏幕视频信息与眼轨视频信息进行叠加,得到人机交互测试结果并进行显示。
控制中心获取眼动仪的眼轨视频信息,判断眼轨视频信息的清晰度,在眼轨视频信息的清晰度低于设定值时,调整眼动仪位置,直至清晰度满足要求。
调整眼动仪位置,包括根据眼轨视频信息清晰度,调整眼动仪的高度、各方向的角度。
移动终端屏幕采集子系统将移动终端屏幕画面信息进行投射,传输给控制中心。
控制中心控制移动终端导出屏幕实时播放图像,获得屏幕画面信息;采用录屏方式获得触屏信息;控制中心控制眼动仪获得眼动轨迹信息。
控制中心在开启时发出同步信号,对屏幕画面时刻与眼动轨迹时刻进行校准,使屏幕视频信息与眼轨视频信息在时间轴上一一对应,根据眼轨视频信息的清晰度,控制电动机调节眼动仪角度、高度,使眼动仪实时精确捕捉眼视力汇聚点位置。
具体地,控制中心的控制,如图7所示,包括以下步骤:
S1、开始;
S2、同时给移动终端与眼动仪发出同步信号;
S3、收集移动终端数据、眼动仪数据;
S4、将移动终端数据、眼动仪数据进行汇集;
S5、对数据进行坐标转换,将不同坐标的数据转换到同一坐标中;
S6、对转换到同一坐标中的移动终端数据、眼动仪数据进行叠加处理;
S7、结束。
在收集眼动仪数据时,控制中心还需要对眼动仪数据进行判断,判断眼轨视频信息的清晰度是否低于设定值,如满足要求,说明眼动仪数据良好;如果不能满足要求,则根据眼动仪数据,发出调整眼动仪位置信号,控制电机动作,包括根据眼动仪数据,调整眼动仪向上或向下移动,或调整眼动仪向左或向右移动,或进行角度调整,边调整边进行接收判断,直至眼动仪数据满足要求。
在实际接收的过程中,实时调整,能够精确地搜寻到眼视力汇聚点,保证眼动仪数据的准确。
同样地,控制中心也可以通过调整移动终端的角度、高度,使移动终端更利于人眼观察。
具体实施例五
本申请的一种针对移动终端的人机交互测试终端,包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现测试方法,或控制中心的测试程序、眼动仪的控制程序、各部件之间的调整程序,如具体实施例四中的控制步骤。
本申请的终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备,包括但不仅限于,处理器、存储器,还可以包括输入输出设备、网络接入设备、总线等。
所述处理器可以是中央处理单元(Central Processing Unit, CPU),还可以是其他通用处理器、数据信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述终端的各种功能。
具体实施例六
所述一种针对移动终端的人机交互测试终端,设备集成的模块/ 单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被所述处理器执行时实现测试方法,或控制中心的测试程序、眼动仪的控制程序、各部件之间的调整程序。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
本具体实施方式的实施例均为本发明的较佳实施例,并非依此限制本发明的保护范围,故:凡依本发明的结构、形状、原理所做的等效变化,均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种针对移动终端的人机交互测试方法,其特征在于:包括导出移动终端的屏幕实时画面信息,并转换为屏幕视频信息;获取人眼的眼睛视力汇聚点,得到眼动轨迹信息,并转换为眼轨视频信息;经过坐标变换,将不同坐标的数据转换到同一坐标中,在同一画面中叠加同一时刻的屏幕视频信息与眼轨视频信息,得到人眼视力汇聚点在移动终端屏幕画面上的运行轨迹,获得人机交互测试结果。
2.根据权利要求1所述针对移动终端的人机交互测试方法,其特征在于:屏幕信息包括屏幕画面信息、触屏信息,触屏信息包括触屏方位信息、触屏时间信息,将屏幕画面信息、触屏信息同时转换为屏幕视频信息。
3.根据权利要求2所述针对移动终端的人机交互测试方法,其特征在于:通过导出屏幕实时播放图像获得屏幕画面信息;获得通过录屏方式获得触屏信息;通过眼动仪获得眼动轨迹信息。
4.根据权利要求1所述针对移动终端的人机交互测试方法,其特征在于:还包括屏幕画面时刻与眼动轨迹时刻之间的校准,使屏幕视频信息与眼轨视频信息在时间轴上一一对应,根据眼轨视频信息的清晰度,调节眼动仪位置。
5.一种针对移动终端的人机交互测试系统,其特征在于:包括眼动追踪子系统、移动终端屏幕采集子系统、控制中心,眼动追踪子系统、移动终端屏幕采集子系统分别与控制中心连接,眼动追踪子系统用于通过自动调节眼动仪位置,获取眼睛视力汇聚点,获得满足要求的眼动轨迹信息,移动终端屏幕采集子系统用于通过导出移动屏幕实时画面信息,获得移动终端的屏幕视频信息;控制中心用于将眼动轨迹信息转换为眼轨视频信息,并根据眼轨图像调整眼动仪位置,对眼轨视频信息、移动终端屏幕画面进行数据汇集和坐标转换,将同一时刻的屏幕视频信息与眼轨视频信息进行叠加,得到人机交互测试结果并进行显示。
6.根据权利要求5所述针对移动终端的人机交互测试系统,其特征在于:控制中心获取眼动仪的眼轨视频信息,判断眼轨视频信息的清晰度,在眼轨视频信息的清晰度低于设定值时,调整眼动仪位置,直至清晰度满足要求。
7.根据权利要求6所述针对移动终端的人机交互测试系统,其特征在于:调整眼动仪位置,包括根据眼轨视频信息清晰度,调整眼动仪的高度、各方向的角度。
8.根据权利要求5所述针对移动终端的人机交互测试系统,其特征在于:移动终端屏幕采集子系统将移动终端屏幕画面信息进行投射,传输给控制中心。
9.一种针对移动终端的人机交互测试终端,包括存储器、处理器、以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现如权利要求1-4任一所述方法,或如权利要求5-8任一所述测试程序。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4任一所述方法,或如权利要求5-8任一所述测试程序。
CN202011282191.7A 2020-11-17 2020-11-17 一种针对移动终端的人机交互测试方法及系统 Active CN112578905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011282191.7A CN112578905B (zh) 2020-11-17 2020-11-17 一种针对移动终端的人机交互测试方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011282191.7A CN112578905B (zh) 2020-11-17 2020-11-17 一种针对移动终端的人机交互测试方法及系统

Publications (2)

Publication Number Publication Date
CN112578905A CN112578905A (zh) 2021-03-30
CN112578905B true CN112578905B (zh) 2021-12-14

Family

ID=75122679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011282191.7A Active CN112578905B (zh) 2020-11-17 2020-11-17 一种针对移动终端的人机交互测试方法及系统

Country Status (1)

Country Link
CN (1) CN112578905B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079411B (zh) * 2021-04-20 2023-02-28 西北工业大学 一种多模态数据同步可视化系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101431566A (zh) * 2008-12-16 2009-05-13 中兴通讯股份有限公司 一种提供用户快捷操作的移动终端及方法
CN101803396A (zh) * 2008-09-17 2010-08-11 松下电器产业株式会社 记录媒体、再现装置和集成电路
CN110502100A (zh) * 2019-05-29 2019-11-26 中国人民解放军军事科学院军事医学研究院 基于眼动跟踪的虚拟现实交互方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101499129B (zh) * 2008-01-30 2010-12-22 中国科学院自动化研究所 远距离虹膜识别系统及方法
US20100086277A1 (en) * 2008-10-03 2010-04-08 Guideworks, Llc Systems and methods for deleting viewed portions of recorded programs
CN101576771B (zh) * 2009-03-24 2010-12-01 山东大学 基于非均匀样本插值的眼动仪定标方法
US8684529B2 (en) * 2011-04-28 2014-04-01 Carl Zeiss Meditec, Inc. Systems and methods for improved visual field testing
US9230221B2 (en) * 2012-02-23 2016-01-05 Worcester Polytechnic Institute Instruction system with eyetracking-based adaptive scaffolding
CN108491781B (zh) * 2018-03-16 2020-10-23 福州外语外贸学院 一种课堂专注度评估方法及终端
CN110764613B (zh) * 2019-10-15 2023-07-18 北京航空航天大学青岛研究院 基于头戴式眼动模组的眼动追踪校准方法
CN111193938B (zh) * 2020-01-14 2021-07-13 腾讯科技(深圳)有限公司 视频数据处理方法、装置和计算机可读存储介质
CN111225265B (zh) * 2020-01-22 2021-09-10 北京理工大学 弹幕播放方法及装置
CN111580674B (zh) * 2020-05-20 2023-07-21 北京师范大学珠海分校 一种眼控鼠标实现方法及识别眼动轨迹实现键盘输入方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101803396A (zh) * 2008-09-17 2010-08-11 松下电器产业株式会社 记录媒体、再现装置和集成电路
CN101431566A (zh) * 2008-12-16 2009-05-13 中兴通讯股份有限公司 一种提供用户快捷操作的移动终端及方法
CN110502100A (zh) * 2019-05-29 2019-11-26 中国人民解放军军事科学院军事医学研究院 基于眼动跟踪的虚拟现实交互方法及装置

Also Published As

Publication number Publication date
CN112578905A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US7686451B2 (en) Explicit raytracing for gimbal-based gazepoint trackers
CN107609516B (zh) 自适应眼动追踪方法
CN108881724B (zh) 一种图像获取方法、装置、设备及存储介质
KR101394719B1 (ko) 주시점을 검출하는 방법, 장치 및 다중 스크린 컴퓨터
CN101807110B (zh) 瞳孔定位方法及系统
US20080130950A1 (en) Eye gaze tracker system and method
CN101099673A (zh) 采用红外反光球为标志点的手术器械定位方法
CN112578905B (zh) 一种针对移动终端的人机交互测试方法及系统
US20190073041A1 (en) Gesture Control Method for Wearable System and Wearable System
CN205426801U (zh) 触屏终端测试设备
CN111427451A (zh) 采用扫描仪与眼动仪确定注视点在三维场景中位置的方法
US9990739B1 (en) Method and device for fisheye camera automatic calibration
CN107554050A (zh) 一种光伏电池印刷设备的视觉标定装置及其定位方法
CN211827005U (zh) 一种基于多目视觉的五轴数控机床多功能检测装置
CN114157802B (zh) 摄像机承托装置及其运动目标跟踪方法
CN114071008A (zh) 一种图像采集装置和图像采集方法
CN112578904B (zh) 一种针对移动终端的人机交互测试装置
CN207207384U (zh) 一种光伏电池印刷设备的视觉标定装置
CN211375621U (zh) 一种虹膜3d信息采集设备及虹膜识别设备
Blignaut Idiosyncratic feature-based gaze mapping
US10613308B2 (en) Method and microscope for measuring and calculating heights on curved surface of microscope slide
CN207007104U (zh) 一种3d投影扫描测试设备
Eibenberger et al. A novel and inexpensive digital system for eye movement recordings using magnetic scleral search coils
CN110200582A (zh) 一种基于眼底成像技术的激光束控制系统及其方法
CN110338750B (zh) 一种眼球追踪设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant