CN105892672A - 基于键盘记录和眼动仪的分析中文写作过程的方法及系统 - Google Patents

基于键盘记录和眼动仪的分析中文写作过程的方法及系统 Download PDF

Info

Publication number
CN105892672A
CN105892672A CN201610260966.8A CN201610260966A CN105892672A CN 105892672 A CN105892672 A CN 105892672A CN 201610260966 A CN201610260966 A CN 201610260966A CN 105892672 A CN105892672 A CN 105892672A
Authority
CN
China
Prior art keywords
data
keyboard
record
writing process
eye tracker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610260966.8A
Other languages
English (en)
Inventor
王兰忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201610260966.8A priority Critical patent/CN105892672A/zh
Publication of CN105892672A publication Critical patent/CN105892672A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

本发明公开了一种基于键盘记录和眼动仪的分析中文写作过程的方法及系统，包括：指定键盘记录、计算机屏幕操作以及眼动仪数据的存储以及工作存储区，接收键盘敲击以及鼠标点击动作的输入记录数据；对计算机屏幕操作数据以及眼动仪数据进行高效编码；生成键盘及鼠标输入过程和计算机操作过程的视频数据；调取任一个记录文件，生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件。本发明有益效果：突破了现有写作过程研究领域仅以英文等多数西方字母语言的写作过程研究模式，为以中文的写作过程的研究提供了工具及新的思路和方法。

Description

基于键盘记录和眼动仪的分析中文写作过程的方法及系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于键盘记录和眼动仪的分析中文写作过程的方法及系统。
背景技术
随着传统的纸笔写作转变为计算机写作，利用计算机技术对写作过程进行实时记录和分析已成为可能。键盘记录(Inputlog)是用来监测书面语言产生的击键记录工具，键盘记录可以处理大多数西方字母语言，包括像希腊语及萨米语，除选择合适的地区设置和键盘布局外无需任何其他调试。键盘记录可以记录所有的敲击键盘和鼠标移动动作，因此，利用键盘记录能够精准的记录写作者的写作情况。
然而，目前的键盘记录研究写作过程均是针对西方字母语言，对于中文输入则不能够通过分析记录来研究写作过程。更不能够进行中/英文输入的切换，使得汉语写作过程研究和以中文为二语的写作过程的研究工具在世界范围内缺失。
另外，在进行写作过程记录的时候，既能够通过键盘记录获取到停顿的位置以及停顿时长，对于停顿时间段内写作者的行为以及思维过程不能进行有效记录，因此，在进行写作过程分析时，分析数据形式单一，分析参量不够全面，不能够从多个维度、多个角度进行数据分析。
发明内容
本发明为了解决上述问题，提出了一种基于键盘记录和眼动仪的中文写作过程研究方法及系统，将键盘记录和眼动仪功能进行结合，同时增加中文输入记录模块，弥补了键盘记录仅能够对英文输入进行研究的不足，并通过对眼动数据进行分析，为解读写作过程中人的思维状态提供数据依据。
为实现上述目的，本发明采用下述技术方案：
一种基于键盘记录和眼动仪的分析中文写作过程的方法，包括：
(1)分别指定键盘记录、计算机屏幕操作以及眼动仪的数据存储路径，同时录入键盘的实体布局；
(2)通过眼动仪将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上；
(3)记录键盘敲击过程，鼠标点击位置、点击动作的起止时间以及时间差数据；如果需要记录的是西方字母语言，则直接记录键盘敲击过程；如果需要记录的是中文，则通过输入法间接录入，记录最终的中文字符；
将上述记录的数据转换为统一码字符，并以xml文件的形式存储在指定的存储路径下；
(4)对计算机屏幕的应用软件窗口、鼠标操作、键盘录入、录入的修改、停顿的对象区域标志位和对象语义标志位以及眼动数据进行高效编码，并以xml文件的形式存储在指定的存储路径下；
(5)根据数据采集时间形成带有时间戳的关键帧数据，生成键盘及鼠标输入过程和计算机屏幕操作过程与眼动数据混合的视频数据；并以xml文件记录所述视频数据存储路径；
(6)调取存储路径下的任一记录文件数据，生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件。
进一步地，所述步骤(3)中，记录最终的中文字符的方法为：
利用钩子机制获取windows窗口的WM_IME_COMPOSITION消息复制给指定的存储路径，则写入xml文件的记录呈现的是中文字符。
进一步地，所述步骤(4)中，设置停顿时间和修改次数阈值，在达到停顿时间或者修改次数阀值时，自动记录下这一时刻的关键帧，并自动建立此关键帧的记录数据索引。
进一步地，所述步骤(5)中，在生成的视频数据中，
对图像数据进行关键词标注处理，根据图像的底层特征，利用时间戳自动找出能够有效描述其语义内容的文本标签；
对文本数据进行图像化的描述，根据文本的内容，利用时间戳自动找出能够有效描述其内容的图像。
进一步地，所述步骤(6)中，生成的数据分析文件包括：停顿分析文档、修改分析文档及写作过程思维状态分析文档；
停顿分析文档能够汇报停顿发生的频次、时长、方差，根据停顿发生的实际位置进一步考察写作者的写作障碍问题；
同时借助眼动仪数据确定写作过程停滞时间内写作者的眼睛注视点和视线移动路径，以确定其关注点以及注意力；
修改分析文档能够汇报写作过程中所有修改行为的基本数据，包括：采用的中文输入法，修改的内容及实际或可能删除的内容；
写作过程思维状态分析文档能够汇报写作过程中人的思维状态数据。
一种基于键盘记录和眼动仪的分析中文写作过程的系统，包括：
用于存储并处理键盘记录、计算机屏幕操作以及眼动仪数据的存储区；
用于将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上的眼动仪；
用于进行写作操作的键盘以及鼠标；
用于接收键盘敲击以及鼠标点击动作的输入记录数据的装置；
用于将上述数据转换为统一码字符，并以xml文件的形式存储在指定的存储区内的装置；
用于生成并存储键盘及鼠标输入过程和计算机屏幕操作过程与眼动数据混合的视频数据的装置；
用于调取视频数据文件的装置以及用于将调取的文件生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件的装置。
进一步地，还包括：汉语记录模块：用于记录中文输入过程；
以及利用钩子机制获取windows窗口的WM_IME_COMPOSITION消息复制给指定的存储区，获取中文字符的装置。
进一步地，还包括：
用于设置停顿时间和修改次数阈值的装置；
用于在达到停顿时间或者修改次数阀值时，自动记录下这一时刻的关键帧，并自动建立此关键帧的索引的装置。
进一步地，还包括：
用于在生成的视频数据中，对图像数据进行关键词标注处理的装置；
用于根据图像的底层特征，自动找出能够有效描述其语义内容的文本标签的装置；
用于对文本数据进行图像化的描述，根据文本的内容，自动找出能够有效描述其内容的图像的装置。
进一步地，还包括：
用于生成停顿分析文档的装置；
用于生成修改分析文档的装置；
用于生成写作过程思维状态分析文档的装置。
本发明的有益效果是：
1、本发明在键盘记录中增加汉语记录模块，使以中文为二语的写作过程研究成为可能；确保键盘记录在特定的区域内工作，避免了用户隐私的泄露和计算机安全的威胁。
2、通过眼动仪跟踪技术获得相关的技术参数，如眼动时间的长短、眼跳的频率、瞳孔的大小、眼动的轨迹等，从而探索信息搜集、加工、生成等信息集成的整个过程，通过上述技术参数的记录，为解读写作过程中人的思维状态提供了理论依据。
3、本发明将眼动跟踪数据、计算机所有操作数据录制到同一个高清视频中，再通过数据挖掘技术对相关数据进行精准地分析，根据具体研究问题的需要，研究者可以选择写作过程进行不同视角的分析。
附图说明
图1为本发明系统结构示意图；
图2为本发明方法流程图；
图3为本发明眼动仪效果图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
实现本发明方法的硬件结构如图1所示，包括：与计算机建立数据连接的键盘、鼠标和眼动仪；写作者通过计算机进行写作过程，键盘、鼠标的移动过程数据、电脑屏幕的操作过程数据以及眼动仪生成的数据以XML文件的形式进行存储和处理。
一种基于键盘记录和眼动仪的分析中文写作过程的方法，如图2所示，包括：
(1)指定键盘记录、计算机屏幕操作以及眼动仪数据的存储以及工作存储区，确保上述过程在特定的区域内进行，避免了用户隐私的泄露和计算机安全的威胁。同时录入键盘(包括虚拟键盘)的实体布局，用以匹配键盘操作数据。
(2)通过眼动仪将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上；
(3)系统后台接收虚拟键码、键盘敲击的键值以及鼠标点位置，点击动作的起止时间，以及时间差等数据进行记录，将上述数据转换为统一码字符，并以xml文件的形式存储在指定的存储路径下；此处虚拟键盘为触摸屏形式的键盘。
以西方字母语言为键盘记录方式的通过键盘钩子程序直接记录键盘敲击过程，而中文的录入需要通过中文输入法软件进行间接录入，本发明通过windows的窗口消息机制，利用钩子函数来记录中文的录入过程。
(4)对计算机屏幕的应用软件窗口、鼠标操作、键盘录入、录入的修改、停顿的对象区域标志位和对象语义标志位以及眼动数据进行高效编码，并以xml文件的形式存储在指定的存储路径下；
(5)根据数据采集时间形成带有时间戳的关键帧数据，生成键盘及鼠标输入过程和计算机屏幕操作过程与眼动数据混合的视频数据；并以xml文件记录所述视频数据存储路径；
(6)调取存储路径下的任一记录文件数据，生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件。
现对具体实现方法介绍如下：
系统软件工具通过使用Microsoft Visual Studio 2010 Tools for the 2010Microsoft Office System(VSTO 2010SE)来开发创建，用来记录写作者在写作过程中的所有微机操作过程，包括鼠标、键盘等详细的操作记录，然后把详细的记录的写入XML文件中。Visual Studio Tools for Office(简称VSTO)使得开发Office应用程序更加简单，VSTO能为本软件的开发提供比其他工具软件更加优越的开发环境。提供了增强的Office对象，可以用来编程。
输入记录在后台将虚拟键码及键盘状态(按键的敲击和鼠标的动作)转换为相应的统一码(Unicode)字符。在程序开始时输入区域辨识机制指定一个区域，同时指定键盘的实体布局。将此统一码字符复制给指定的存储区。此键盘记录开发机制可以处理大部分西方字母语言，包括希腊语、土耳其语、冰岛语或萨米语。
以西方字母语言为键盘记录方式的可以通过键盘钩子程序直接记录键盘敲击过程，而中文的录入需要通过输入法软件进行间接录入，通过windows的窗口消息机制，在利用钩子机制获取windows窗口消息的过程中，利用函数获取WM_IME_COMPOSITION消息复制给指定的存储区，写入XML的记录呈现的是中文字符。
下面对钩子机制做进一步介绍：
钩子(Hook)：是Windows消息处理机制的一个平台，应用程序可以在上面设置子程以监视指定窗口的某种消息，而且所监视的窗口可以是其他进程所创建的。当消息到达后，在目标窗口处理函数之前处理它。钩子机制允许应用程序截获处理window消息或特定事件。
钩子实际上是一个处理消息的程序段，通过系统调用，把它挂入系统。每当特定的消息发出，在没有到达目的窗口前，钩子程序就先捕获该消息，亦即钩子函数先得到控制权。这时钩子函数即可以加工处理(改变)该消息，也可以不作处理而继续传递该消息，还可以强制结束消息的传递。
因此，本发明可以通过钩子获取中文字符，也可以直接获取英文字符，以实现中英文输入的自由切换。
当用文字来书写中文文本时，在与使用罗马字母的记录书写时是有一定程度上的不同的。最常用的方法就是汉语拼音输入法，官方系统将汉字转化为中华人民共和国，台湾和新加坡的拉丁字母。汉语拼音是一种拼音系统，录制声音的普通话使用西方字母表(罗马)，是中国大陆最常用的拼音。它常被用来教标准中文和中文名称，并在外国出版物中使用作为输入法，输入到计算机中的汉字。
比如外匯買賣(外汇交易)可以输入的拼音码为：wai hui mai mai。不同的接口和系统并存，他们有自己的长处和短处。例如，搜狗拼音法(搜狗拼音输入法；拼音：Sōugǒu PīnyīnShūrùfǎ)是很受欢迎的中文拼音输入法。截至2011年七月，搜狗拼音的市场占有率为83.6％，拥有超过3亿用户。
通过对西方语言和中文写作过程的比较分析，采用了一个调整的停顿框架处理动态的文字，以此生成特殊文本。一个标准的XML结构的汉字输入记录一体化肯定会促进语言的研究和合作。
举例如下：
1.写入拼音：“yifenzhong”。
2.Word提供了不同汉字用以选择使用。
3.按下“1”键，选择第一个选项。
4.Word使用简体中文“一分钟”代替“yifenzhong”。
我们现在将演示如何根据这个标准，正确记录这样的行为。我们举出的例子是，假设两种可能，不同地实现上述行为，这些由Word提供：
·第一种可能是，所有的汉字都是用拼音缓冲的，并没有出现在文档中。当简体中文出现在Word提供的弹出窗口后，汉字再插入到文档中。
·另一种可能是，由于汉字是以拼音输入的，它们将同时添加到文字文档。当你输入拼音，单词由弹出式窗口提供的选择连续显示，从您刚输入的拼音字符中提供不同的汉字字符。然后，当你从弹出的对话框中选择了正确的汉字后，拼音文字是由汉字取代。
当点击而不是用数字来选择序列的汉字在弹出窗口的顺序时，上面的输出会用鼠标指令输出代替。
眼动仪采用从被试者的脸部反射回一束不可见的红外线的方式。由于眼球内的视网膜吸收可见光，反射红外线，因此视网膜和眼睛的其他部分相比能较好地反射波长更长的红外线。这就使眼动仪无须进行特别的图像识别就能确定幢孔的位置。通过眼动仪将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上。
通过眼动仪获取的数据包括：眼动时间的长短、眼跳的频率、瞳孔的大小、眼睛注视点以及视线移动路径数据等数据；用于验证和收集写作者在写作过程中停滞时间段内的行为和关注点，以及关注力。另外，通过上述眼动数据，结合键盘记录数据以及屏幕录像数据，结合目前的认知心理学技术，能够分析写作过程中人的思维状态。
利用H.264/AVC框架的帧内、帧间预测编码技术开发的计算机屏幕录像模块，对计算机屏幕的诸如应用软件窗口、鼠标操作、键盘录入、录入的修改和停顿等各种对象标志位进行高效编码。对象标志位包括对象区域标志位、对象语义标志位，分别描述对象区域信息与语义信息。对象区域标志位编码一方面减少了对象区域信息的存储代价，另一方面准确地描述运动对象位置信息。在达到停顿时间和修改次数等软件系统设置阀值时，软件会自动记录下这一时刻的关键帧，自动建立数据索引，为后续的数据分析和视频查找定位提供有效的依据。
输入过程以标准XML格式呈现；采用通用的XML结构能够实现简化研究数据的可交换性，书写记录数据的描述，以及以一种研究方法的形式记录进一步的建立程序。
键盘记录工具包含键盘与鼠标操作记录、电脑屏幕录像的功能，在计算机的后台运行，根据数据采集时间形成带有时间戳的关键帧数据，生成输入过程和计算机操作等细节的xml文件和计算机屏幕操作与眼动数据混合的视频数据，并以xml文件记录所述视频数据存储路径。使用者可以利用先进的数据挖掘技术对软件记录的视频数据进行有效地分析利用，根据具体研究问题的需要，研究者可以选择对写作过程进行不同视角的分析。
对图像进行关键词标注处理，根据图像的底层特征，自动找出能够有效描述其语义内容的文本标签。而对文本则进行图像化的描述，根据文本的内容，自动找出能够有效描述其内容的图像。这种方法的宗旨在于尽可能等价地将图像与文本互相转化，便于统一索引、存储、管理和检索，可以有效提高数据挖掘结果的可信度、可理解性和可用性。例如在某时刻t，录入字符“我们”，其时间戳为“1972506”，在视频关键帧中记录时间戳，在研究修改和停顿工程时，可以及时的调取时间戳为“1972506”的此段视频数据以及文字信息。
本发明方法可以把先前记录的任何一个数据记录的源文件打开，并生成数据分析文件。所有的数据分析结果都可以直接转换成Excel文件或者导入Spss进行分析。
本发明提供几种数据分析，主要有停顿分析、修改分析及写作过程分析等主要功能。
其中，停顿分析文档能够汇报停顿发生的频次、时长、方差等。研究者可结合研究问题的需要，借助停顿发生的实际位置进一步考察写作者的写作障碍等问题；同时借助眼动仪数据确定写作过程停滞时间内写作者的眼睛注视点和视线移动路径，以确定其关注点以及注意力；
修改分析文档以XML格式汇报写作过程中所有修改行为的基本数据，包括：采用的中文输入法，修改的内容及实际或可能删除的内容；由于将中文输入作为研究对象，因此，本发明在写作过程分析中将输入法因素考虑在内，能够分析不同的输入法是否会对写作者的在写作过程产生影响。
写作过程分析是通过键盘记录工具、电脑屏幕录像工具和眼动仪工具所提供的具体研究数据，利用先进的数据挖掘技术以及认知心理学技术对具体所需的数据进行分析，从而研究写作过程中人的思维状态。
一种基于键盘记录和眼动仪的分析中文写作过程的系统，包括：
用于存储并处理键盘记录、计算机屏幕操作以及眼动仪数据的存储区；
用于将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上的眼动仪；
用于进行写作操作的键盘以及鼠标；
用于接收键盘敲击以及鼠标点击动作的输入记录数据的装置；
用于将上述数据转换为统一码字符，并以xml文件的形式存储在指定的存储区内的装置；
用于生成并存储键盘及鼠标输入过程和计算机屏幕操作过程与眼动数据混合的视频数据的装置；
用于调取视频数据文件的装置以及用于将调取的文件生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件的装置。
还包括：汉语记录模块：用于记录中文输入过程；
以及利用钩子机制获取windows窗口的WM_IME_COMPOSITION消息复制给指定的存储区，获取中文字符的装置。
还包括：
用于设置停顿时间和修改次数阈值的装置；
用于在达到停顿时间或者修改次数阀值时，自动记录下这一时刻的关键帧，并自动建立此关键帧的索引的装置。
还包括：
用于在生成的视频数据中，对图像数据进行关键词标注处理的装置；
用于根据图像的底层特征，自动找出能够有效描述其语义内容的文本标签的装置；
用于对文本数据进行图像化的描述，根据文本的内容，自动找出能够有效描述其内容的图像的装置。
还包括：
用于生成停顿分析文档的装置；
用于生成修改分析文档的装置；
用于生成写作过程思维状态分析文档的装置。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于键盘记录和眼动仪的分析中文写作过程的方法，其特征是，包括：
(1)分别指定键盘记录、计算机屏幕操作以及眼动仪的数据存储路径，同时录入键盘的实体布局；
(2)通过眼动仪将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上；
(3)记录键盘敲击过程，鼠标点击位置、点击动作的起止时间以及时间差数据；如果需要记录的是西方字母语言，则直接记录键盘敲击过程；如果需要记录的是中文，则通过输入法间接录入，记录最终的中文字符；
将上述记录的数据转换为统一码字符，并以xml文件的形式存储在指定的存储路径下；
(4)对计算机屏幕的应用软件窗口、鼠标操作、键盘录入、录入的修改、停顿的对象区域标志位和对象语义标志位以及眼动数据进行高效编码，并以xml文件的形式存储在指定的存储路径下；
(5)根据数据采集时间形成带有时间戳的关键帧数据，生成键盘及鼠标输入过程和计算机屏幕操作过程与眼动数据混合的视频数据；并以xml文件记录所述视频数据存储路径；
(6)调取存储路径下的任一记录文件数据，生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件。
2.如权利要求1所述的一种基于键盘记录和眼动仪的分析中文写作过程的方法，其特征是，所述步骤(3)中，记录最终的中文字符的方法为：
利用钩子机制获取windows窗口的WM_IME_COMPOSITION消息复制给指定的存储路径，则写入xml文件的记录呈现的是中文字符。
3.如权利要求1所述的一种基于键盘记录和眼动仪的分析中文写作过程的方法，其特征是，所述步骤(4)中，设置停顿时间和修改次数阈值，在达到停顿时间或者修改次数阀值时，自动记录下这一时刻的关键帧，并自动建立此关键帧的记录数据索引。
4.如权利要求1所述的一种基于键盘记录和眼动仪的分析中文写作过程的方法，其特征是，所述步骤(5)中，在生成的视频数据中，
对图像数据进行关键词标注处理，根据图像的底层特征，利用时间戳自动找出能够有效描述其语义内容的文本标签；
对文本数据进行图像化的描述，根据文本的内容，利用时间戳自动找出能够有效描述其内容的图像。
5.如权利要求1所述的一种基于键盘记录和眼动仪的分析中文写作过程的方法，其特征是，所述步骤(6)中，生成的数据分析文件包括：停顿分析文档、修改分析文档及写作过程思维状态分析文档；
停顿分析文档能够汇报停顿发生的频次、时长、方差，根据停顿发生的实际位置进一步考察写作者的写作障碍问题；
同时借助眼动仪数据确定写作过程停滞时间内写作者的眼睛注视点和视线移动路径，以确定其关注点以及注意力；
修改分析文档能够汇报写作过程中所有修改行为的基本数据，包括：采用的中文输入法，修改的内容及实际或可能删除的内容；
写作过程思维状态分析文档能够汇报写作过程中人的思维状态数据。
6.一种基于键盘记录和眼动仪的分析中文写作过程的系统，其特征是，包括：
用于存储并处理键盘记录、计算机屏幕操作以及眼动仪数据的存储区；
用于将眼睛注视点和视线移动路径的眼动数据叠加到计算机屏幕上的眼动仪；
用于进行写作操作的键盘以及鼠标；
用于接收键盘敲击以及鼠标点击动作的输入记录数据的装置；
用于将上述数据转换为统一码字符，并以xml文件的形式存储在指定的存储区内的装置；
用于生成并存储键盘及鼠标输入过程和计算机屏幕操作过程与眼动数据混合的视频数据的装置；
用于调取视频数据文件的装置以及用于将调取的文件生成包含写作过程信息以及时间信息的描述整体写作过程的数据分析文件的装置。
7.如权利要求6所述的一种基于键盘记录和眼动仪的分析中文写作过程的系统，其特征是，还包括：汉语记录模块：用于记录中文输入过程；
以及利用钩子机制获取windows窗口的WM_IME_COMPOSITION消息复制给指定的存储区，获取中文字符的装置。
8.如权利要求6所述的一种基于键盘记录和眼动仪的分析中文写作过程的系统，其特征是，还包括：
用于设置停顿时间和修改次数阈值的装置；
用于在达到停顿时间或者修改次数阀值时，自动记录下这一时刻的关键帧，并自动建立此关键帧的索引的装置。
9.如权利要求6所述的一种基于键盘记录和眼动仪的分析中文写作过程的系统，其特征是，还包括：
用于在生成的视频数据中，对图像数据进行关键词标注处理的装置；
用于根据图像的底层特征，自动找出能够有效描述其语义内容的文本标签的装置；
用于对文本数据进行图像化的描述，根据文本的内容，自动找出能够有效描述其内容的图像的装置。
10.如权利要求6所述的一种基于键盘记录和眼动仪的分析中文写作过程的系统，其特征是，还包括：
用于生成停顿分析文档的装置；
用于生成修改分析文档的装置；
用于生成写作过程思维状态分析文档的装置。
CN201610260966.8A 2016-04-25 2016-04-25 基于键盘记录和眼动仪的分析中文写作过程的方法及系统 Pending CN105892672A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610260966.8A CN105892672A (zh) 2016-04-25 2016-04-25 基于键盘记录和眼动仪的分析中文写作过程的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610260966.8A CN105892672A (zh) 2016-04-25 2016-04-25 基于键盘记录和眼动仪的分析中文写作过程的方法及系统

Publications (1)

Publication Number Publication Date
CN105892672A true CN105892672A (zh) 2016-08-24

Family

ID=56705281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610260966.8A Pending CN105892672A (zh) 2016-04-25 2016-04-25 基于键盘记录和眼动仪的分析中文写作过程的方法及系统

Country Status (1)

Country Link
CN (1) CN105892672A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357507A (zh) * 2017-06-29 2017-11-17 北京小米移动软件有限公司 分享信息的方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799428A (zh) * 2012-06-28 2012-11-28 北京大学 交互式软件中的操作记录与回放方法
CN103970533A (zh) * 2014-04-14 2014-08-06 深圳市深信服电子科技有限公司 屏幕录制的信息记录方法及装置
CN104239606A (zh) * 2014-08-06 2014-12-24 北京大学 Web环境下支持触屏的UML建模方法与装置
CN104346174A (zh) * 2014-11-19 2015-02-11 北京大学 一种在线矢量图建模过程的描述与重现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799428A (zh) * 2012-06-28 2012-11-28 北京大学 交互式软件中的操作记录与回放方法
CN103970533A (zh) * 2014-04-14 2014-08-06 深圳市深信服电子科技有限公司 屏幕录制的信息记录方法及装置
CN104239606A (zh) * 2014-08-06 2014-12-24 北京大学 Web环境下支持触屏的UML建模方法与装置
CN104346174A (zh) * 2014-11-19 2015-02-11 北京大学 一种在线矢量图建模过程的描述与重现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王兰忠: "基于键盘记录和眼动仪的中文二语写作过程研究", 《外语电化教学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357507A (zh) * 2017-06-29 2017-11-17 北京小米移动软件有限公司 分享信息的方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Palin et al. How do people type on mobile devices? Observations from a study with 37,000 volunteers
US8600731B2 (en) Universal translator
US5812126A (en) Method and apparatus for masquerading online
Sandel et al. Unpacking and describing interaction on Chinese WeChat: A methodological approach
Corradini et al. Multimodal input fusion in human-computer interaction
CN110931042B (zh) 同声传译方法、装置、电子设备以及存储介质
WO2013189290A1 (zh) 一种触摸屏键盘及其输入方法
CN112541957A (zh) 动画生成方法、装置、电子设备以及计算机可读介质
CN113793398A (zh) 基于语音交互的绘画方法与装置、存储介质和电子设备
CN109388383B (zh) 用于智能生成包容性系统设计的系统和方法
CN105893993A (zh) 智能眼镜
Antunes et al. A framework to support development of sign language human-computer interaction: Building tools for effective information access and inclusion of the deaf
US20190012313A1 (en) Speech converter
Smith et al. Multimodal input for computer access and augmentative communication
CN105892672A (zh) 基于键盘记录和眼动仪的分析中文写作过程的方法及系统
KR20200046665A (ko) 동작인식장치와 아바타를 이용한 수어 통역/번역 서비스 시스템
Martin et al. An Indian Sign Language (ISL) corpus of the domain disaster message using Avatar
Xia et al. CrossTalk: Intelligent Substrates for Language-Oriented Interaction in Video-Based Communication and Collaboration
KR102206486B1 (ko) 입력 어플리케이션을 이용한 번역 서비스 제공 방법 및 이를 이용하는 단말장치
Qu et al. Context-based word acquisition for situated dialogue in a virtual world
CN109871195A (zh) 可语音输入及识别的控制方法及装置
Aasofwala et al. A novel speech to sign communication model for Gujarati language
Pavlik Data, Algorithms, and Code: Implications for journalism practice in the digital age 1
Grif et al. Recognition of signs and movement epentheses in Russian Sign Language
CN110456919A (zh) 数据处理方法、装置和用于数据处理的装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160824