CN102395945B - 用于触摸屏终端的用户行为跟踪方法、装置和系统 - Google Patents

用于触摸屏终端的用户行为跟踪方法、装置和系统 Download PDF

Info

Publication number
CN102395945B
CN102395945B CN201180000574.3A CN201180000574A CN102395945B CN 102395945 B CN102395945 B CN 102395945B CN 201180000574 A CN201180000574 A CN 201180000574A CN 102395945 B CN102395945 B CN 102395945B
Authority
CN
China
Prior art keywords
user
displaying contents
information
operation behavior
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180000574.3A
Other languages
English (en)
Other versions
CN102395945A (zh
Inventor
王守玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN102395945A publication Critical patent/CN102395945A/zh
Application granted granted Critical
Publication of CN102395945B publication Critical patent/CN102395945B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明实施例提供了一种用于触摸屏终端的用户行为跟踪方法、装置和系统，涉及通信技术领域，为有效降低用户行为的跟踪难度，同时保证用户行为的跟踪效果而发明。所述用于触摸屏终端的用户行为跟踪方法，包括：通过快照方式捕获所述触摸屏终端的触摸屏的显示内容并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标；发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。本发明实施例可用于触摸屏终端的可用性测试。

Description

用于触摸屏终端的用户行为跟踪方法、装置和系统
技术领域
本发明涉及通信技术领域，尤其涉及一种用于触摸屏终端的用户行为跟踪方法、装置和系统。
背景技术
随着电子产品越来也广泛的融入人的生活，其易用性作为产品的一个重要属性，也越来越受到重视。电子产品易用性的好坏将直接影响产品的用户体验。为保障一个产品的易用性，可用性测试是必不可少的活动。所谓可用性测试是指，让一群有代表性的用户尝试对产品进行典型操作，同时观察员和开发人员在一旁观察，聆听，做记录通过可用性测试，将验证设计方案与用户的心理模型之间的差异，发现可用性方面的问题。
为了使可用性测试中的用户对产品所进行的操作行为活动尽量不受外界因素的打扰，一般使用摄像等方式将用户对产品的操作行为跟踪记录下来，以便观察员和开发人员进行详细研究。通常，摄像设备可以安装在测试环境中，安装在测试产品上或固定在测试用户身上。
在实现上述用户对产品的操作行为跟踪的过程中，发明人发现现有技术中至少存在如下问题：
摄像设备的安装和调试比较复杂，增加了用户行为的跟踪难度，且摄像设备的具体安装位置难以兼顾对各类用户行为的跟踪效果。例如安装在测试环境中的摄像设备不能有效跟踪用户对产品的细致操作行为和用户的面部表情等，安装在测试产品及安装到测试用户身上虽然能够容易跟踪用户对产品的细致操作行为和用户的面部表情等，但可能会干扰用户对产品的操作行为，无法保证用户在最自然的操作状态和操作环境下对产品进行操作。另外，安装在测试用户身上，还会降低用户使用产品的舒适度，这样，用户所进行的操作行为无法体现该产品的真实操作状态，用户行为的跟踪效果较差。
发明内容
本发明的实施例提供一种用于触摸屏终端的用户行为跟踪方法、装置和系统，能够有效降低用户行为的跟踪难度，同时保证用户行为的跟踪效果。
为达到上述目的，本发明的实施例采用如下技术方案：
一种用于触摸屏终端的用户行为跟踪方法，包括：
通过快照方式捕获所述触摸屏终端的触摸屏的显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标；
发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。
一种用于触摸屏终端的用户行为跟踪方法，包括：
接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息；
根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为。
一种用于触摸屏终端的用户行为跟踪装置，包括：
屏幕捕获单元，用于通过快照方式捕获所述触摸屏终端的触摸屏的显示内容；
操作捕获单元，用于通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标；
发送单元，用于发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。
一种用于触摸屏终端的用户行为跟踪装置，包括：
接收单元，用于接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息；
模拟单元，用于根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为。
一种用于触摸屏终端的用户行为跟踪系统，包括：
第一用户行为跟踪装置和第二用户行为跟踪装置；
其中，所述第一用户行为跟踪装置用于通过快照方式捕获所述触摸屏终端的触摸屏的显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标，将所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息发送给所述第二用户行为跟踪装置；
所述第二用户行为跟踪装置用于接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为。
本发明实施例提供的触摸屏终端的用户行为跟踪方法、装置和系统，通过快照方式捕获所述触摸屏终端的触摸屏显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标，充分利用了触摸屏终端中已有的装置，未另行在触摸屏终端或用户身上安装用于用户行为跟踪的其它装置，不但省去了其它装置的安装和调试，而且，还在不干扰用户操作行为、保证用户处于自然的操作状态和操作环境的条件下，准确记录并模拟出用户对触摸屏终端的操作行为，从而有效降低了用户行为跟踪的难度，同时保证了用户行为的跟踪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的用于触摸屏终端的用户行为跟踪方法的一种流程图；
图2为本发明实施例提供的用于触摸屏终端的用户行为跟踪方法的另一种流程图；
图3为本发明实施例提供的用于触摸屏终端的用户行为跟踪方法的用户的操作行为的一种模拟示意图；
图4为本发明实施例提供的用于触摸屏终端的用户行为跟踪方法的用户的操作行为的另一种模拟示意图；
图5为本发明实施例提供的用于触摸屏终端的用户行为跟踪方法的用户针对显示内容进行的操作行为的一种模拟示意图；
图6为本发明实施例提供的用于触摸屏终端的用户行为跟踪装置的一种结构示意图；
图7为本发明实施例提供的用于触摸屏终端的用户行为跟踪装置的另一种结构示意图；
图8为本发明实施例提供的用于触摸屏终端的用户行为跟踪装置的另一种结构示意图；
图9为本发明实施例提供的用于触摸屏终端的用户行为跟踪系统的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种用于触摸屏终端的用户行为跟踪方法，基于安装于所述触摸屏终端的用户行为跟踪装置，包括：
S11，通过快照方式捕获所述触摸屏终端的触摸屏的显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标。
其中，通过快照方式可以清晰准确地捕获触摸屏显示内容，有利于后续的数据处理和可用性分析。
其中，所述用户针对所述显示内容进行的操作行为包括用户对触摸屏显示内容的点击和/或在所述显示内容上的滑动。其中，通常情况下，用户对触摸屏显示内容进行点击操作时，用户手指触碰触摸屏一下便抬起，这时，用户对触摸屏显示内容的点击所对应的坐标为用户手指触碰到的位置所对应的坐标，例如(x，y)。而用户在触摸屏显示内容上进行滑动操作时，用户手指与触摸屏接触并做相对滑动，这时，户在触摸屏显示内容的滑动所对应的坐标为用户手指的滑动轨迹上的所有点的坐标集合，或者能够体现滑动轨迹的特定点的坐标集合。例如滑动轨迹上的点坐标依次为(x1，y1)、(x2，y2)、(x3，y3)......
S12，发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。
本步骤中，将S11步骤捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息发送给远程用户行为跟踪装置，以使其能根据所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出用户针对所述显示内容进行的操作行为，以用于进行触摸屏终端的可用性分析。
本步骤中，将S11步骤捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息发送给远程用户行为跟踪装置，其中，远程用户行为跟踪装置是设置于所述触摸屏终端之外的装置，由远程用户行为跟踪装置对信息进行处理，这样，用户行为的跟踪过程不会占用触摸屏终端的资源，减少了对触摸屏终端性能的不良影响，因此，在用户对触摸屏终端进行操作时，能够保证触摸屏终端的正常工作状态，从而使用户的操作行为能够真实准确体现触摸屏终端的使用体验。
其中，远程用户行为跟踪装置可设置在触摸屏终端的测试环境的任意位置，也可设置于测试环境之外。优选的，将其设置在测试环境之外，避免对用户的操作行为形成干扰。设置于触摸屏终端的用户行为跟踪装置记录用户的操作行为，而远程用户行为跟踪装置进行操作行为信息的处理，这两个用户行为跟踪装置之间在物理上的分离和在信息上的联系，既能使用户避免外界的干扰而接近对产品的自然使用状态，又能更全面地跟踪用户行为，从而降低了触摸屏终端的用户行为跟踪难度，同时保证了用户行为的跟踪效果。
优选的，本步骤中，可以通过无线信道向远程用户行为跟踪装置发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。通过无线信道的发送方式，使得用户在使用触摸屏终端时可以自由移动，不受到有线连接的限制，使用户更贴近于自然的使用状态，有效保证了所捕获信息的准确性和价值，亦即有效保证了用户行为跟踪的效果。这种通过无线信道的发送方式更适用于手持类型的触摸屏移动终端的用户行为跟踪。当然，本步骤中，也可采用有线信道向远程用户行为跟踪装置发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。
例如，对于触摸屏终端，在t1-t2时段屏幕显示内容为P1，用户手指对触摸屏的点击和在触摸屏上的滑动，针对的都是P1；在t2时刻，用户手指点击P1的某一点后，屏幕弹出新窗口，从而改变当前屏幕的显示内容，此时屏幕显示内容为P2，用户手指在t2时刻以后对触摸屏的操作，针对的都是P2。在步骤S11，通过快照方式捕获P1和P2，并分别通过触摸屏传感元件捕获用户针对P1的操作行为所对应的坐标和用户针对P2的操作行为所对应的坐标，在步骤S12中，将P1和P2，以及针对P1的操作行为所对应的坐标和用户针对P2的操作行为所对应的坐标发送出去。
本发明实施例提供的触摸屏终端的用户行为跟踪方法，通过快照方式捕获所述触摸屏终端的触摸屏显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标。以对触摸屏手机的用户行为跟踪为例，本实施例提供的用户行为跟踪方法，能够将用户使用触摸屏手机时的常用操作，如菜单弹出、文字输入及娱乐活动等操作，通过触摸屏感应的方式进行最直观的记录，再通过快照方法捕获每个用户操作行为对应的准确清晰的屏幕显示内容。这样，本实施例提供的用户行为跟踪方法充分利用了触摸屏终端中已有的装置，未另行在触摸屏终端或用户身上安装用于用户行为跟踪的其它装置，不但省去了其它装置的安装和调试，而且，还在不干扰用户操作行为、保证用户处于自然的操作状态和操作环境的条件下，准确记录并模拟出用户对触摸屏终端的操作行为，从而有效降低了用户行为跟踪的难度，同时保证了用户行为的跟踪效果。
进一步的，本实施例提供的用户行为跟踪方法还包括：
通过设置在所述触摸屏终端上的视频摄录装置采集用户操作行为的视频信息和/或通过设置在所述触摸屏终端上的音频录取装置采集用户操作行为的音频信息；
发送所述采集到的视频信息和/或音频信息。
其中，用户操作行为的视频信息主要是指用户的表情等肢体语言，用户操作行为的音频信息主要是指用户的语言表述。
这样，本发明实施例提供的用户行为的跟踪方法，还能够跟踪用户使用设备或终端过程中的表情、动作、语言和情绪等，能够更全面跟踪用户行为，保证用户行为的跟踪效果，从而能够更客观和全面地反映出触摸屏终端所存在的可用性问题。
具体的，可通过设置在触摸屏终端上的摄像头采集用户的视频信息，和/或通过设置在触摸屏终端上的麦克风采集用户的音频信息。这样，由于触摸屏终端在用户触手可及的范围内，摄像头距离用户远近适中，很适合做视频采集，采集到的用户表情和动作等视频信息能够直观反映用户对触摸屏终端的操作的满意程度；另一方面，由于摄像头和麦克风都是触摸屏终端自身的附属设备，通过它们来跟踪记录用户的动作和语言不会妨碍用户对触摸屏终端的正常操作，因此进一步降低了用户行为跟踪的难度。相应的，触摸屏终端也要将视频信息和/或音频信息发送给远程用户行为跟踪装置，以供远程用户行为跟踪装置对记录的各种信息加以分析和处理。
具体的，所采集到的视频和/或音频信息同样可通过无线信道或无线信道发送给远程用户行为跟踪装置，优选的，通过无线信道发送。
与图1所示的方法相对应，如图2所示，本发明实施例还提供了一种用于触摸屏终端的用户行为跟踪方法，基于上述的远程用户行为跟踪装置，包括：
S21，接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息；
具体的，可以通过有线信道或无线信道接收所述触摸屏终端的触摸屏显示内容信息和用户针对显示内容进行的操作行为所对应的坐标信息。
S22，根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为。
可选的，本步骤中，将所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来。
其中，可首先根据用户针对所述显示内容进行的操作行为所对应的坐标信息，将用户针对显示内容进行的操作行为用具有时间顺序的点和/或线呈现出来，然后与其对应的显示内容相合成，也可直接在显示内容上，根据用户针对所述显示内容进行的操作行为所对应的坐标信息，将用户针对显示内容进行的操作行为用具有时间顺序的点和/或线呈现出来。
举例说明，如图3所示，用点来表示用户对于触摸屏中显示内容的点击，用线来表示用户在触摸屏上滑动的轨迹，其中线上的箭头指示了用户滑动操作的方向。为了明确地反映用户操作的时间先后顺序，本实施例中，在所述点或线上都标上了数字标号。图3所示的用户的操作行为表示：用户首先点击了位置1处，然后由位置2处滑动至位置3处，然后又由位置3处滑动至位置4处。当然，为了清楚地显示用户的操作路径，可以采用不同颜色的点或线。这样就将用户针对显示内容进行的操作行为模拟了出来，再结合这些操作行为的承受对象，即与该操作行为对应的屏幕显示内容，即可完全模拟出用户对触摸屏终端的显示内容对应的操作行为。
可选的，如图4所示，在将用户针对显示内容进行的操作行为用具有时间顺序的点和/或线呈现出来的过程中，也可以忽略用户手指在触摸屏上的滑动轨迹而直接将用户手指在触摸屏上滑动的初始位置和结束位置用带有方向的线段表示出来，其中初始位置是指用户手指在触摸屏上按下的位置，结束位置是指用户手指从触摸屏上抬起的位置。图4中虚线为用户手指的实际滑动轨迹，在本步骤的处理中并不显示；而带有箭头的实线指示了用户的操作过程，在本步骤的处理中被显示出来。优选的，可以用数字标号为用户的各个滑动动作所对应的位置的变化标出时间先后顺序。图4所示的用户行为为：先进行滑动操作1-1，再进行滑动操作2-2，滑动的方向分别如图4中箭头所示，最后进行点击操作3。
需要说明的是，本发明对用户针对显示内容进行的操作行为的呈现方式不限于此，本发明还可以用其它呈现方式。
同样以图1所示的实施例中的P1和P2为例，在步骤S21，接收P1和P2，以及针对P1上的操作行为所对应的坐标和用户针对P2上的操作行为所对应的坐标。在步骤S22中，在显示内容P1上将用户针对P1进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来，在显示内容P2上将用户针对P2进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来。假设图3表示用户针对P1的用户操作行为，那么进行模拟后，用户针对P1的用户操作行为可如图5所示。
需要说明的是，本步骤的核心任务是将接收到的信息进行用户行为模拟，从而使用户对触摸屏终端的操作行为得以再现。至于其中各类信息处理的先后顺序及模拟手法，本发明不作限定。
本发明实施例提供的触摸屏终端的用户行为跟踪方法，根据接收到的触摸屏终端的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，将用户在触摸屏上的操作行为准确地模拟出，并呈现给观察者，使在接近自然状态下使用触摸屏终端的用户的操作行为逼真再现，从而有效降低了用户行为跟踪的难度，同时保证了用户行为跟踪的效果。
进一步的，本实施例提供的用户行为跟踪方法还包括：
接收用户操作行为的视频信息和/或音频信息；具体的，可通过有线或无线信道接收用户操作行为的视频信息和/或音频信息；
将触摸屏终端的触摸屏的显示内容信息、用户针对所述显示内容进行的操作行为所对应的坐标信息、用户操作行为的视频信息和/或音频信息相合成，在显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来，并嵌入与所述用户的操作行为同步的视频和/或音频信息。
这样，本发明实施例提供的用户行为的跟踪方法，能够更直观和全面地将用户的操作行为模拟出来，使用户操作、表情、声音、情绪等得以同步再现，从而更准确、全面地跟踪了用户行为，有效降低了用户行为跟踪的难度，保证用户行为的跟踪效果，能够更客观和全面地反映出触摸屏终端所存在的可用性问题，为触摸屏终端的可用性分析提供有力且准确的数据支持。
与前述方法相对应，如图6所示，本发明实施例还提供了一种用于触摸屏终端的用户行为跟踪装置1，包括：
屏幕捕获单元101，用于通过快照方式捕获所述触摸屏终端的触摸屏的显示内容；
操作捕获单元102，用于通过触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标；
发送单元103，用于发送所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。
本发明实施例提供的触摸屏终端的用户行为跟踪装置，通过快照方式捕获所述触摸屏终端的触摸屏显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标，充分利用了触摸屏终端中已有的装置，未另行在触摸屏终端或用户身上安装用于用户行为跟踪的其它装置，不但省去了其它装置的安装和调试，而且，还在不干扰用户操作行为、保证用户处于自然的操作状态和操作环境的条件下，准确记录并模拟出用户对触摸屏终端的操作行为，从而有效降低了用户行为跟踪的难度，同时保证了用户行为的跟踪效果。
进一步的，如图7所示，触摸屏终端的用户行为跟踪装置，还包括：
视频采集单元104，用于通过设置在所述触摸屏终端上的视频录取装置采集用户的视频信息；
和/或
音频采集单元105，用于通过设置在所述触摸屏终端上的音频录取装置采集用户的音频信息；
此时，发送单元103，还用于发送所述视频信息和/或所述音频信息。准确的用户操作行为信息配合上用户的表情和声音信息，进一步降低了触摸屏终端的用户行为跟踪难度。
具体的，本实施例提供的用户行为跟踪装置1的发送单元103能够通过无线信道、或有线信道发送触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。不仅如此，用户可以根据实际情况灵活选择信息发送方式，进一步降低了触摸屏终端的用户行为跟踪的难度。
相应的，如图8所示，本发明实施例还提供了一种用于触摸屏终端的用户行为跟踪装置2，包括：
接收单元201，用于接收触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息；
模拟单元202，用于根据触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出用户针对所述显示内容进行的操作行为。
本发明实施例提供的触摸屏终端的用户行为跟踪装置，根据接收到的触摸屏终端的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，将用户在触摸屏上的操作行为准确地模拟出，并呈现给观察者，使在接近自然状态下使用触摸屏终端的用户的操作行为逼真再现，从而有效降低了用户行为跟踪的难度，同时保证了用户行为跟踪的效果。
具体的，接收单元201，能够通过所述通过无线信道、或有线信道接收触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息。
具体的，模拟单元202，具体用于将触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来。
进一步的，接收单元201，还用于接收用户行为的视频信息和/或音频信息，具体的，通过无线信道、或有线信道接收用户行为的视频信息和/或音频信息。
进一步的，模拟单元202，还具体用于将所述触摸屏终端的触摸屏的显示内容信息、用户针对所述显示内容进行的操作行为所对应的坐标信息、用户操作行为的视频信息和/或音频信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来，并嵌入与所述用户的操作行为同步的视频和/或音频信息。
相应的，如图9所示，本发明实施例还提供了一种用于触摸屏终端的用户行为跟踪系统，包括：第一用户行为跟踪装置3和第二用户行为跟踪装置4；
其中，第一用户行为跟踪装置3用于通过快照方式捕获所述触摸屏终端的触摸屏的显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标，将所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息发送给第二用户行为跟踪装置4；
第二用户行为跟踪装置4用于接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出用户针对所述显示内容进行的操作行为。
本发明实施例提供的触摸屏终端的用户行为跟踪系统，第一用户行为跟踪装置3通过快照方式捕获所述触摸屏终端的触摸屏显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标，第二用户行为跟踪装置4对第一用户行为跟踪装置3所捕获的信息进行处理，模拟出用户的操作行为，这样，充分利用了触摸屏终端中已有的装置，未另行在触摸屏终端或用户身上安装用于用户行为跟踪的其它装置，不但省去了其它装置的安装和调试，而且，还在不干扰用户操作行为、保证用户处于自然的操作状态和操作环境的条件下，准确记录并模拟出用户对触摸屏终端的操作行为，从而有效降低了用户行为跟踪的难度，同时保证了用户行为的跟踪效果。
其中，第一用户行为跟踪装置3可采用本发明实施例提供的用户行为跟踪装置1，第二用户行为跟踪装置4可采用本发明实施例提供的用户行为跟踪装置2，前面已经进行了详细说明，这里不再赘述。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分流程可以通过计算机程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (7)

1.一种用于触摸屏终端的用户行为跟踪方法，其特征在于，包括：
接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息；
根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为；
接收用户操作行为的视频信息和/或音频信息；
将所述触摸屏终端的触摸屏的显示内容信息、用户针对所述显示内容进行的操作行为所对应的坐标信息、用户操作行为的视频信息和/或音频信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来，并嵌入与所述用户的操作行为同步的视频和/或音频信息。
2.根据权利要求1所述的用户行为跟踪方法，其特征在于，所述根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为包括：
将所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来。
3.根据权利要求1所述的用户行为跟踪方法，其特征在于，所述接收信息的方式包括：通过无线信道或有线信道接收信息。
4.一种用于触摸屏终端的用户行为跟踪装置，其特征在于，包括：
接收单元，用于接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息；
模拟单元，用于根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为；
所述接收单元，还用于接收用户行为的视频信息和/或音频信息；
所述模拟单元，还具体用于将所述触摸屏终端的触摸屏的显示内容信息、用户针对所述显示内容进行的操作行为所对应的坐标信息、用户操作行为的视频信息和/或音频信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来，并嵌入与所述用户的操作行为同步的视频和/或音频信息。
5.根据权利要求4所述的用户行为跟踪装置，其特征在于，所述模拟单元，具体用于将所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来。
6.根据权利要求4所述的用户行为跟踪装置，其特征在于，所述接收单元，具体用于通过无线信道或有线信道接收信息。
7.一种用于触摸屏终端的用户行为跟踪系统，其特征在于，包括：第一用户行为跟踪装置和第二用户行为跟踪装置；
其中，所述第一用户行为跟踪装置用于通过快照方式捕获所述触摸屏终端的触摸屏的显示内容，并通过所述触摸屏的传感元件捕获用户针对所述显示内容进行的操作行为所对应的坐标，将所述捕获到的触摸屏显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息发送给所述第二用户行为跟踪装置；
所述第二用户行为跟踪装置用于接收所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，根据所述触摸屏终端的触摸屏的显示内容信息和用户针对所述显示内容进行的操作行为所对应的坐标信息，模拟出所述用户针对所述显示内容进行的操作行为，接收用户操作行为的视频信息和/或音频信息；将所述触摸屏终端的触摸屏的显示内容信息、用户针对所述显示内容进行的操作行为所对应的坐标信息、用户操作行为的视频信息和/或音频信息相合成，在所述显示内容上将用户针对所述显示内容进行的操作行为所对应的坐标，用具有时间顺序的点和/或线呈现出来，并嵌入与所述用户的操作行为同步的视频和/或音频信息。
CN201180000574.3A 2011-05-05 2011-05-05 用于触摸屏终端的用户行为跟踪方法、装置和系统 Expired - Fee Related CN102395945B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/073692 WO2011137746A2 (zh) 2011-05-05 2011-05-05 用于触摸屏终端的用户行为跟踪方法、装置和系统

Publications (2)

Publication Number Publication Date
CN102395945A CN102395945A (zh) 2012-03-28
CN102395945B true CN102395945B (zh) 2014-11-05

Family

ID=44904138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180000574.3A Expired - Fee Related CN102395945B (zh) 2011-05-05 2011-05-05 用于触摸屏终端的用户行为跟踪方法、装置和系统

Country Status (3)

Country Link
US (1) US20120281080A1 (zh)
CN (1) CN102395945B (zh)
WO (1) WO2011137746A2 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103365555A (zh) * 2012-03-31 2013-10-23 国际商业机器公司 数据处理方法和系统、数据收集方法和系统
CN103870141B (zh) * 2012-12-13 2017-12-26 联想(北京)有限公司 一种信息处理方法及电子设备
US11265444B2 (en) 2013-08-23 2022-03-01 Preemadonna Inc. Apparatus for applying coating to nails
US9687059B2 (en) * 2013-08-23 2017-06-27 Preemadonna Inc. Nail decorating apparatus
US10084869B2 (en) 2013-10-04 2018-09-25 Verto Analytics Oy Metering user behaviour and engagement with user interface in terminal devices
TWI511045B (zh) 2013-11-20 2015-12-01 Inst Information Industry 可於行動裝置應用程式中自動嵌入操作收集元件之系統、方法及電腦可讀取記錄媒體
US9630097B2 (en) 2014-01-22 2017-04-25 Skillz Inc. Online software video capture and replay system
CN103929607A (zh) * 2014-03-27 2014-07-16 山西协康云享科技有限公司 基于屏幕录制的通信方法及应用客户端
US9349246B1 (en) 2014-09-15 2016-05-24 Skillz Inc. Integrations portal for a peer-to-peer game platform
CN104503692A (zh) * 2014-11-27 2015-04-08 惠州Tcl移动通信有限公司 终端控制方法及智能耳机
US9479602B1 (en) 2015-05-20 2016-10-25 Skillz Inc. Event platform for peer-to-peer digital gaming competition
KR20170023648A (ko) * 2015-08-24 2017-03-06 엘지전자 주식회사 이동 단말기 및 이의 제어방법
JP7074680B2 (ja) 2016-03-15 2022-05-24 スキルズ プラットフォーム インコーポレイテッド 仮想トーナメントのための同期モデル
CA3017745A1 (en) 2016-03-15 2017-09-21 Skillz Inc. Across-match analytics in peer-to-peer gaming tournaments
KR102430130B1 (ko) 2016-03-16 2022-08-05 스킬즈 플랫폼 인크. 스트리밍 비디오 데이터의 관리
EP3482297B1 (en) 2016-07-07 2021-05-19 Universität Zürich Method and computer program for monitoring touchscreen events of a handheld device
CN107483729B (zh) * 2017-08-08 2021-01-26 陕西银河景天电子有限责任公司 一种多画面显示选择截取画面的方法及系统
WO2019070886A1 (en) 2017-10-04 2019-04-11 Preemadonna Inc. SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING
US11381786B2 (en) * 2018-11-23 2022-07-05 Curtis Ray Robinson, JR. Systems and methods for capturing images and video
CN113183157A (zh) * 2021-07-01 2021-07-30 德鲁动力科技(成都)有限公司 控制机器人的方法及柔性屏交互四足机器人

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101437078A (zh) * 2008-12-19 2009-05-20 深圳华为通信技术有限公司 一种终端运行过程记录方法及记录运行过程的终端
CN101464741A (zh) * 2007-12-19 2009-06-24 联想(北京)有限公司 触摸板、触摸板使用方法以及具有触摸板的笔记本电脑
CN101968714A (zh) * 2010-09-30 2011-02-09 中兴通讯股份有限公司 识别在移动终端界面上输入的操作轨迹的方法和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020138590A1 (en) * 2000-05-05 2002-09-26 Beams Brian R. System method and article of manufacture for creating a virtual university experience
US7299281B1 (en) * 2000-01-27 2007-11-20 Inbit, Inc. Method and system for activating and capturing screen displays associated with predetermined user interface events
JP4627152B2 (ja) * 2004-06-01 2011-02-09 三星電子株式会社 危機監視システム
JP2009104268A (ja) * 2007-10-22 2009-05-14 Hitachi Displays Ltd 座標検出装置、及びタッチパネルを用いた操作方法
CN101511071A (zh) * 2008-02-15 2009-08-19 三星电子株式会社 录制终端的按键操作的方法及采用该方法的终端
US8081930B2 (en) * 2008-03-04 2011-12-20 Apple Inc. Trace functionality in a mobile device
US20100123665A1 (en) * 2008-11-14 2010-05-20 Jorgen Birkler Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
US20110199386A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. Overlay feature to provide user assistance in a multi-touch interactive display environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464741A (zh) * 2007-12-19 2009-06-24 联想(北京)有限公司 触摸板、触摸板使用方法以及具有触摸板的笔记本电脑
CN101437078A (zh) * 2008-12-19 2009-05-20 深圳华为通信技术有限公司 一种终端运行过程记录方法及记录运行过程的终端
CN101968714A (zh) * 2010-09-30 2011-02-09 中兴通讯股份有限公司 识别在移动终端界面上输入的操作轨迹的方法和系统

Also Published As

Publication number Publication date
WO2011137746A3 (zh) 2012-04-05
US20120281080A1 (en) 2012-11-08
CN102395945A (zh) 2012-03-28
WO2011137746A2 (zh) 2011-11-10

Similar Documents

Publication Publication Date Title
CN102395945B (zh) 用于触摸屏终端的用户行为跟踪方法、装置和系统
US9161238B2 (en) Mobile device monitoring and testing
CN104811812B (zh) 音视频播放进度的控制方法、装置、和系统
CN102143235B (zh) 对触摸屏终端提供远程服务的方法及系统
CN103336663B (zh) 一种数据同步方法、装置和终端
CN102904996B (zh) 一种手机触摸屏性能测试的方法及装置、系统
CN110090444B (zh) 游戏中行为记录创建方法、装置、存储介质及电子设备
CN107102795A (zh) 一种日志记录方法、移动终端以及计算机可读存储介质
CN102387234A (zh) 一种手机自动化测试装置及方法
CN102057400A (zh) 图像处理装置、图像处理方法和计算机程序
CN110166842B (zh) 一种视频文件操作方法、装置和存储介质
CN103873811A (zh) 信息处理设备、信息处理方法和信息处理系统
US20160321029A1 (en) Electronic device and method for processing audio data
CN101763218A (zh) 一种手持设备输入方法
KR20150079371A (ko) 단말기에서 근전도 검사 장치로 데이터를 전송하기 위한 장치, 시스템 및 방법
CN102664008B (zh) 一种用以传输数据的方法、终端及系统
CN109814787B (zh) 关键信息确定方法、装置、设备及存储介质
CN102681886A (zh) 一种移动设备上用户行为追踪的方法和系统
CN112148579A (zh) 一种用户界面的测试方法和装置
CN111158487A (zh) 使用无线耳机与智能终端进行交互的人机交互方法
CN111736918B (zh) 埋点配置方法、装置及电子设备
KR102186815B1 (ko) 컨텐츠 스크랩 방법, 장치 및 기록매체
CN112817790A (zh) 模拟用户行为的方法
CN102141957B (zh) 一种远程真机的辅助测试方法、装置与系统
CN102929688B (zh) 一种模拟触摸屏的模拟器实现方法及该模拟器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141105

Termination date: 20190505