CN104360733A - 基于眼控操作的翻译辅助方法 - Google Patents

基于眼控操作的翻译辅助方法 Download PDF

Info

Publication number
CN104360733A
CN104360733A CN201410583019.3A CN201410583019A CN104360733A CN 104360733 A CN104360733 A CN 104360733A CN 201410583019 A CN201410583019 A CN 201410583019A CN 104360733 A CN104360733 A CN 104360733A
Authority
CN
China
Prior art keywords
user
word
lexical
textual analysis
letter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410583019.3A
Other languages
English (en)
Inventor
马钟
程晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201410583019.3A priority Critical patent/CN104360733A/zh
Publication of CN104360733A publication Critical patent/CN104360733A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Abstract

本发明公开了一种基于眼控操作的翻译辅助方法，用于解决现有即指即译翻译辅助方法使用不便的技术问题。技术方案是利用显示设备配置的视线跟踪装置，以软件的形式运行于电脑、平板或手机等带有显示设备的智能终端上。利用人在阅读时视线会自然地落在需要阅读的文字上这一特性，通过对人们在阅读外文资料时注视点位置的判断，自动感知用户是否遇到不认识的单词，如用户遇到不认识的单词，则自动显示该单词释义，并在用户阅读完毕单词释义后自动关闭单词释义显示，避免了用户手工查阅外文词典，减小了对用户阅读流程的干扰，增加了用户在使用显示设备阅读外文资料时的便利性。

Description

基于眼控操作的翻译辅助方法
技术领域
本发明涉及一种翻译辅助方法，特别是涉及一种基于眼控操作的翻译辅助方法。
背景技术
随着信息技术的发展，人们大量的阅读都以显示器为载体进行(电脑，平板，手机等)。而人们在阅读外文资料时，可能在阅读过程中遇到部分不认识的单词，传统方式是在手工翻阅外文词典或在电脑上手工输入对应的单词或语句获取翻译结果，对阅读流程产生了干扰。文献“即指即译翻译器的设计与实现，数字化用户，2013,(17)”公开了一种在电脑上使用鼠标即指即译的翻译辅助方法，但该方法依然需要用户的视线进行短暂的转移，影响阅读的流畅性，而且该方法在电脑以外的设备(如平板，手机)上的可行性也不高。
而目前基于眼控操作的人机交互手段已成为人机交互领域的研究热点。基本原理为根据眼睛的特征和位置以及其他一些脸部线索来决定用户注视的方向，把它作为一种可选的或互补的计算机输入通道，为人机交互提供一种新的方式。随着视线追踪技术日臻成熟，目前多个厂家，都试图在不同的设备上配备视线跟踪装置以增加人机交互的手段和效率。如三星在其Galaxy S4手机上就提供了该类设备。
尽管视线跟踪技术已经相对成熟，但受限于视线输入方式的特性，其目前在商业的人机交互领域应用并不广泛。仍以三星Galaxy S4为例，其配备了眼动跟踪设备后仅提供了智能屏幕(感应到眼睛的時侯不会自动关屏)以及智能滚动(检测眼睛注视的位置以自动滚动屏幕)等几种有限的人机交互应用。
发明内容
为了克服现有即指即译翻译辅助方法使用不便的不足，本发明提供一种基于眼控操作的翻译辅助方法。该方法利用显示设备配置的视线跟踪装置，以软件的形式运行于电脑、平板或手机等带有显示设备的智能终端上。利用人在阅读时视线会自然地落在需要阅读的文字上这一特性，通过对人们在阅读外文资料时注视点位置的判断，自动感知用户是否遇到不认识的单词，如用户遇到不认识的单词，则自动显示该单词释义，并在用户阅读完毕单词释义后自动关闭单词释义显示，避免了用户手工查阅外文词典，减小了对用户阅读流程的干扰，增加了用户在使用显示设备阅读外文资料时的便利性。
本发明解决其技术问题所采用的技术方案是：一种基于眼控操作的翻译辅助方法，其特点是采用以下步骤：
步骤一、在用户开始阅读外文资料时启动，开始实时检测用户注视点在显示设备上的位置。
步骤二、用户自行设定需要翻译的语言种类。若用户不进行设定，则针对中国用户的使用环境，需要翻译的语言种类默认设定为英文。
步骤三、当检测到用户的注视点在同一位置停留设定时间后，即认为用户可能遇到不认识的单词。于是检测用户所注视位置是否存在用户指定种类语言的文字，若有，并且当前并无已经显示的文字释义窗口，则在用户注视点旁边弹出窗口，显示该文字的释义。
步骤四、判断用户不认识的单词的时间段长度根据用户使用熟练程度，设定在1～3秒之间。
步骤五、当用户注视离开释义窗口后，释义窗口消失。
本发明的有益效果是：该方法利用显示设备配置的视线跟踪装置，以软件的形式运行于电脑、平板或手机等带有显示设备的智能终端上。利用人在阅读时视线会自然地落在需要阅读的文字上这一特性，通过对人们在阅读外文资料时注视点位置的判断，自动感知用户是否遇到不认识的单词，如用户遇到不认识的单词，则自动显示该单词释义，并在用户阅读完毕单词释义后自动关闭单词释义显示，避免了用户手工查阅外文词典，减小了对用户阅读流程的干扰，增加了用户在使用显示设备阅读外文资料时的便利性。
下面结合附图和具体实施方式对本发明作详细说明。
附图说明
图1是本发明基于眼控操作的翻译辅助方法的流程图。
图2是本发明方法的应用背景图示。是显示设备上显示的用户正在阅读外文资料的窗口。
图3是本发明检测到的用户注视点在阅读窗口上的位置。图上的圆圈表示用户的注视点。
图4是本发明方法根据用户视线的选择，弹出单词释义窗口。
具体实施方式
参照图1-4。本发明基于眼控操作的翻译辅助方法具体步骤如下：
(1)在用户阅读外文资料时，启动本软件。则软件开始实时检测用户注视点在屏幕上的位置。
(2)若当前屏幕上没有释义窗口，则若用户的注视点在某一位置停留超过特定时间段(该时间段长度可调，见前文所述)，则判断用户所注视区域是否存在字符。若存在，则判断该字符是否为用户设定的目标语言。比如若用户设定的目标语言为英文，则只有检测到该字符为英文才会弹出释义，以减少对用户的干扰。当检测到用户注视的字符为用户设定的语言种类，则在该字符旁显示其释义。
(3)若当前屏幕上已有释义窗口，则判断用户的注视点是否位于释义窗口内，若是，则认为用户正在阅读释义，于是返回本软件的主循环，不对释义窗口进行任何操作，以便用户阅读释义。若用户注视点不位于释义窗口内，则认为用户已经阅读完释义，于是关闭释义窗口，以便用户继续阅读文本资料。
本发明不针对特定硬件，可以在任何配有视线跟踪装置的显示设备上使用。本示例采用瑞典的Tobii公司生产的Tobii TX300桌面式眼动仪以获取用户的注视点在电脑屏幕上的位置，以及一台普通的计算机作为实验平台。
以下结合附图，对本发明的实施示例进行描述：
1)启动电脑，打开需要阅读的电子文档(也可以是网页等一切可以阅读的文字类资料)，启动本软件。此时，计算机屏幕上显示的内容同图2所示类似。
2)用户可设置需要翻译的文字的种类。本步骤可忽略，若不设定，则默认指定需要翻译的文字为英文。
3)若用户不认识本文档第一行最后一个单词“Montana”，则可盯住该单词看一小段时间(1-3秒，可调)。注意图3中圆圈示意了用户注视点的所在，在实际应用中，本发明并不会将用户的注视点用圆圈明确的显示出来，以防干扰用户的阅读。
4)当用户注视点位于同一位置超过特定时间段后，即开始检测用户注视点处的是否有指定语言种类的文字，若检测到该种类的文字，则将该单词旁边弹出窗口，显示该单词释义。
当用户视线离开释义窗口，则认为用户已阅读完该释义，于是关闭释义窗口，以便用户继续阅读剩余文档。此时，计算机屏幕上显示的内容恢复图2所示。

Claims (1)

1.一种基于眼控操作的翻译辅助方法，其特征在于包括以下步骤：
步骤一、在用户开始阅读外文资料时启动，开始实时检测用户注视点在显示设备上的位置；
步骤二、用户自行设定需要翻译的语言种类；若用户不进行设定，则针对中国用户的使用环境，需要翻译的语言种类默认设定为英文；
步骤三、当检测到用户的注视点在同一位置停留设定时间后，即认为用户可能遇到不认识的单词；于是检测用户所注视位置是否存在用户指定种类语言的文字，若有，并且当前并无已经显示的文字释义窗口，则在用户注视点旁边弹出窗口，显示该文字的释义；
步骤四、判断用户不认识的单词的时间段长度根据用户使用熟练程度，设定在1～3秒之间；
步骤五、当用户注视离开释义窗口后，释义窗口消失。
CN201410583019.3A 2014-10-27 2014-10-27 基于眼控操作的翻译辅助方法 Pending CN104360733A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410583019.3A CN104360733A (zh) 2014-10-27 2014-10-27 基于眼控操作的翻译辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410583019.3A CN104360733A (zh) 2014-10-27 2014-10-27 基于眼控操作的翻译辅助方法

Publications (1)

Publication Number Publication Date
CN104360733A true CN104360733A (zh) 2015-02-18

Family

ID=52528001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410583019.3A Pending CN104360733A (zh) 2014-10-27 2014-10-27 基于眼控操作的翻译辅助方法

Country Status (1)

Country Link
CN (1) CN104360733A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866785A (zh) * 2015-05-18 2015-08-26 上海交通大学 结合眼动跟踪的基于非拥塞窗口信息安全系统及方法
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
CN109977866A (zh) * 2019-03-25 2019-07-05 联想(北京)有限公司 内容翻译方法及装置、计算机系统及计算机可读存储介质
CN113657126A (zh) * 2021-07-30 2021-11-16 北京百度网讯科技有限公司 翻译的方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球跟踪器的上下文动作
CN203164540U (zh) * 2013-03-25 2013-08-28 纵瑞昆 语言翻译眼镜
CN103294194A (zh) * 2013-04-28 2013-09-11 北京小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822771A (zh) * 2010-01-21 2012-12-12 托比技术股份公司 基于眼球跟踪器的上下文动作
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
CN203164540U (zh) * 2013-03-25 2013-08-28 纵瑞昆 语言翻译眼镜
CN103294194A (zh) * 2013-04-28 2013-09-11 北京小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866785A (zh) * 2015-05-18 2015-08-26 上海交通大学 结合眼动跟踪的基于非拥塞窗口信息安全系统及方法
CN104866785B (zh) * 2015-05-18 2018-12-18 上海交通大学 结合眼动跟踪的基于非拥塞窗口信息安全系统及方法
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
CN109977866A (zh) * 2019-03-25 2019-07-05 联想(北京)有限公司 内容翻译方法及装置、计算机系统及计算机可读存储介质
CN109977866B (zh) * 2019-03-25 2021-04-13 联想(北京)有限公司 内容翻译方法及装置、计算机系统及计算机可读存储介质
CN113657126A (zh) * 2021-07-30 2021-11-16 北京百度网讯科技有限公司 翻译的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US9323456B2 (en) Multi-character continuous handwriting input method
CN103294363B (zh) 一种搜索方法和终端
US20170351371A1 (en) Touch interaction based search method and apparatus
WO2004031933B1 (en) Method of combining data entry of handwritten symbols with displayed character data
CN103713848A (zh) 移动终端及其操作方法
CN104360733A (zh) 基于眼控操作的翻译辅助方法
CN104077273A (zh) 一种对网页内容抽取的方法及装置
CN104281396B (zh) 一种信息操作方法，信息选择方法及电子设备
US20120299835A1 (en) Touchscreen japanese character selection through sliding input
CN103324674A (zh) 网页内容选取方法及装置
CN103455279A (zh) 一种移动互联网终端展示广告信息的方法
CN104937523A (zh) 基于从键盘接收的后续输入而忽略触觉输入
CN103488488A (zh) 文本输入检查方法、装置及移动终端
CN105335383A (zh) 输入信息的处理方法及装置
CN111858905A (zh) 模型训练方法、信息识别方法、装置、电子设备及存储介质
CN106293462B (zh) 一种文字显示方法及装置
CN111858880A (zh) 获取查询结果的方法、装置、电子设备和可读存储介质
CN105808514A (zh) 一种信息处理方法及电子设备
CN103513852A (zh) 电子装置的文本编辑系统及方法
US10275528B2 (en) Information processing for distributed display of search result
CN103809912A (zh) 基于多点触控触摸屏的平板电脑
CN102722245A (zh) 一种基于智能手持设备的文字拷贝方法
CN103870097A (zh) 信息处理的方法及电子设备
CN104462101B (zh) 一种信息处理的方法及电子设备
EP3776161B1 (en) Method and electronic device for configuring touch screen keyboard

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150218