CN103294194B - 一种基于眼球跟踪的翻译方法及系统 - Google Patents

一种基于眼球跟踪的翻译方法及系统 Download PDF

Info

Publication number
CN103294194B
CN103294194B CN201310156925.0A CN201310156925A CN103294194B CN 103294194 B CN103294194 B CN 103294194B CN 201310156925 A CN201310156925 A CN 201310156925A CN 103294194 B CN103294194 B CN 103294194B
Authority
CN
China
Prior art keywords
linguistic information
translation
information
user
translated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310156925.0A
Other languages
English (en)
Other versions
CN103294194A (zh
Inventor
刘道宽
翁海斌
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Inc
Original Assignee
Xiaomi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Inc filed Critical Xiaomi Inc
Priority to CN201310156925.0A priority Critical patent/CN103294194B/zh
Publication of CN103294194A publication Critical patent/CN103294194A/zh
Application granted granted Critical
Publication of CN103294194B publication Critical patent/CN103294194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于眼球跟踪的翻译方法及系统,包括:通过眼球跟踪装置跟踪采集用户的眼球运动获得眼球状态信息;根据所采集的眼球状态信息判断是否触发翻译处理过程;根据所述凝视坐标从所阅读的内容中提取待翻译语言信息;对所提取待翻译语言信息进行翻译,获得翻译后语言信息;将所获得的翻译后语言信息进行显示。该翻译方法及系统用户无需进行任何操作,即可获得阅读翻译支持,简化了用户的操作,为用户阅读的连贯性提供了保证,具有较好的用户使用体验。

Description

一种基于眼球跟踪的翻译方法及系统
技术领域
本发明涉及计算机技术领域,特别是一种基于眼球跟踪的翻译方法及系统。
背景技术
人们在通过手机、平板电脑等电子设备阅读外文资料时,经常会遇到不认识的单词或者词组需要进行翻译。这时,用户需要将这个单词复制到剪贴板,退出阅读器,找到词典应用,将剪贴板中的内容复制到词典输入框,返回阅读器。可见,这个操作过程是非常繁琐的,严重的干扰了用户阅读的连贯性。因此,我们需要一种更便捷的阅读翻译方法,来简化用户查询生词的操作。
发明内容
本发明实施例的主要目的在于提供一种基于眼球跟踪的翻译方法及系统。
本发明实施例的目的是通过下述技术方案予以实现的:
一种基于眼球跟踪的翻译方法,其特征在于,包括:
通过眼球跟踪装置跟踪采集用户的眼球运动获得眼球状态信息;所述眼球状态信息至少包括有眼球凝视屏幕的凝视坐标;
根据所述眼球状态信息中的凝视坐标,判断用户在设定时间范围内所凝视的范围是否超过设定范围值;如果用户在设定时间范围内所凝视的范围未超过设定范围值,则触发翻译处理过程,所述所凝视的范围是所述凝视坐标周围一定范围;
如果触发翻译处理过程,则根据所述凝视坐标从所阅读的内容中提取待翻译语言信息,所述待翻译语言信息是词组或语句;
对所提取待翻译语言信息进行翻译,获得翻译后语言信息,所述所提取待翻译语言信息是复杂度最高的语言信息或难度水平值高于用户阅读水平值的语言信息;
将所获得的翻译后语言信息进行显示。
所述眼球状态信息中还包括有用户的眼睛动作信息;
所述根据所采集的眼球状态信息判断是否触发翻译处理过程,包括:
判断所述眼睛动作信息是否为翻译触发动作;如果该眼睛动作信息为翻译触发动作,则触发翻译处理过程。
所述根据凝视坐标从所阅读的内容中提取待翻译语言信息,包括:
从所述凝视坐标周围的提取范围内提取至少一个语言信息;
比较所提取语言信息的复杂度;
提取复杂度最高的语言信息为所述待翻译语言信息。
所述根据凝视坐标从所阅读的内容中提取待翻译语言信息,包括:
从所述凝视坐标周围的提取范围内提取至少一个语言信息;
通过语言信息难度数据库查找所提取各个语言信息的难度水平值;所述语言信息难度数据库存储有可供翻译单元翻译的语言信息的难度水平值;
比较所提取各个语言信息的难度水平值与用户阅读水平值;
提取难度水平值高于用户阅读水平值的语言信息为所述待翻译语言信息。
将所获得的翻译后语言信息显示于用户已阅读区域。
一种基于眼球跟踪的翻译系统,其特征在于,包括:眼球跟踪装置、翻译触发判断单元、语言信息提取单元、翻译单元和显示单元;
所述眼球跟踪装置,用于跟踪采集用户的眼球运动获得眼球状态信息;所述眼球状态信息至少包括有眼球凝视屏幕的凝视坐标;
所述翻译触发判断单元,用于根据所述眼球状态信息中的凝视坐标,判断用户在设定时间范围内所凝视的范围是否超过设定范围值;如果用户在设定时间范围内所凝视的范围未超过设定范围值,则触发翻译处理过程,所述所凝视的范围是所述凝视坐标周围一定范围;
所述语言信息提取单元,用于在触发翻译处理过程时,根据所述凝视坐标从所阅读的内容中提取待翻译语言信息;所述翻译单元,用于对所述提取的待翻译语言信息进行翻译,获得翻译后语言信息,所述待翻译语言信息是词组或语句,所述所提取待翻译语言信息是复杂度最高的语言信息或难度水平值高于用户阅读水平值的语言信息;
所述显示单元,用于将所获得的翻译后语言信息进行显示。
所述眼球状态信息中还包括有用户的眼睛动作信息;
所述翻译触发判断单元,用于判断所述眼睛动作信息是否为翻译触发动作;如果该眼睛动作信息为翻译触发动作,则触发翻译处理过程。
所述语言信息提取单元,包括:语言信息收集模块、复杂度比较模块和待翻译语言信息确定模块;
所述语言信息收集模块,用于从所述凝视坐标周围的提取范围内提取至少一个语言信息;
所述复杂度比较模块,用于比较所提取语言信息的复杂度;
所述待翻译语言信息确定模块,用于提取复杂度最高的语言信息为所述待翻译语言信息。
所述语言信息提取单元,包括:语言信息收集模块、语言信息难度数据库、难度水平比较模块、待翻译语言信息确定模块;
所述语言信息收集模块,用于从所述凝视坐标周围的提取范围内提取至少一个语言信息;
所述语言信息难度数据库,用于存储有可供所述翻译单元翻译的语言信息的难度水平值;通过所述语言信息难度数据库查找所提取各个语言信息的难度水平值;
所述难度水平比较模块,用于比较所提取各个语言信息的难度水平值与用户阅读水平值;
所述待翻译语言信息确定模块,用于提取难度水平值高于用户阅读水平值的语言信息为所述待翻译语言信息。
所述显示单元将所获得的翻译后语言信息显示于用户已阅读区域。
通过本发明实施例,提供了基于眼球跟踪的翻译方法及系统。该方法及系统采用眼球跟踪装置实时跟踪采集用户的眼球状态信息,通过该眼球状态信息获知用户阅读时的翻译需求,并及时的提供翻译信息显示。通过该翻译方法及系统用户无需进行任何操作,即可获得阅读翻译支持,简化了用户的操作,为用户阅读的连贯性提供了保证,具有较好的用户使用体验。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为基于眼球跟踪的翻译方法流程图;
图2为基于复杂度提取待翻译语言信息的方法流程图;
图3为基于难度水平提取待翻译语言信息的方法流程图;
图4为基于眼球跟踪的翻译系统结构示意图;
图5为基于复杂度提取待翻译语言信息的语言信息提取单元结构示意图;
图6为基于难度水平提取待翻译语言信息的语言信息提取单元结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
眼球跟踪技术是近年来新兴的一项体感技术。该技术通过电子设备上的摄像头捕捉并跟踪用户眼球的状态及变化(如眼球的“闪烁”以及眼网膜的反射等),进而解析用户当前所凝视的屏幕位置,最终通过追踪用户眼球的活动来实现对电子设备进行控制的目的。该技术由于其新颖而方便的体感效果而备受用户青睐。本发明实施例正是利用这一新兴技术来为用户提供方便、流畅的翻译阅读体验的。
实施例一
图1为基于眼球跟踪的翻译方法流程图。如图所示,所述基于眼球跟踪的翻译方法,包括:
S1,通过眼球跟踪装置跟踪采集用户的眼球运动获得眼球状态信息;所述眼球状态信息至少包括有眼球凝视屏幕的凝视坐标;
如前所述,眼球跟踪技术是近年来新兴的一项体感技术,其技术已经在多种电子产品上得到了应用。该眼球跟踪技术通过捕捉并跟踪用户眼球的状态及变化,进而解析用户当前所凝视的屏幕位置。本发明实施例正是利用这一技术来捕捉用户的阅读位置。因此,不论采用何种实现方式和工作原理的眼球跟踪装置来捕捉用户的阅读位置,只要该装置能够通过采集用户的眼球运动获悉用户的凝视坐标,均可视为适用于本发明实施例所提供的方案,在本发明的保护范围之内。
S2,根据所采集的眼球状态信息判断是否触发翻译处理过程;
如前所述,现有的眼球跟踪技术可以捕捉用户眼球的动作及状态,如眨眼动作,凝视坐标等。我们可以以所采集到的眼球状态信息为依据,决定是否触发翻译处理过程。具体方式详见后续。
S3,如果触发翻译处理过程,则根据所述凝视坐标从用户所阅读的内容中提取待翻译语言信息;
根据用户的凝视坐标可以从用户所阅读的内容中提取出需要翻译的待翻译语言信息。这里,所述语言信息可以是单词、词组或是语句。
S4,调用翻译单元,对所提取待翻译语言信息进行翻译,获得翻译后语言信息;
这里,所调用的翻译单元可以是第三方提供的翻译工具应用,也可以是内嵌的语言翻译程序。由于,这种翻译程序非常多,在此不再熬述。
S5,将所获得的翻译后语言信息进行显示。
根据上述方法,我们通过眼球跟踪装置实时跟踪采集用户的眼球状态信息,进而通过眼球状态信息判断用户是否需要进行翻译,以及用户需要翻译哪个语言信息(通过凝视坐标获知),最终调用相关翻译单元对所提取的待翻译语言信息进行翻译并显示。可见,本发明实施例由于采用了眼球跟踪装置这一新兴的体感技术,可以根据用户阅读时眼球的运动状况获知用户的翻译需求,并及时的提供翻译信息显示。在这一过程中,用户无需进行任何操作,简化了用户的操作,为用户阅读的连贯性提供了保证,具有较好的用户使用体验。
如上所述,本发明实施例所提供的翻译方法所要解决的一个问题,即是如何根据眼球状态信息判断用户是否需要进行翻译。下面我们就具体给出两个实施方案作为示例。
实施例二
本实施例给出了一种根据所采集的眼球状态信息判断是否触发翻译处理过程的具体实施方案。所述根据所采集的眼球状态信息判断是否触发翻译处理过程,包括:
根据所述眼球状态信息中的凝视坐标,判断用户在设定时间范围内所凝视的范围是否超过设定范围值;如果用户在设定时间范围内所凝视的范围未超过设定范围值,则触发翻译处理过程;如果用户在设定时间范围内所凝视的范围超过设定范围值,则不触发翻译处理过程。
由前可知,眼球跟踪装置所获得的眼球状态信息中包括有眼球凝视屏幕的凝视坐标。根据该凝视坐标可以判断用户在设定时间范围内所凝视的范围是否超过设定范围。如果用户在设定时间范围内所凝视的范围未超过设定范围值,则说明用户长时间凝视在屏幕的同一区域范围内,这往往意味着用户有不熟悉的语言信息需要翻译。因此,我们根据眼球跟踪装置所采集的眼球状态信息,以上述机制来进行判断用户是否需要进行翻译。
这里,所述的设定时间和设定范围值可以由人为设定。用户可以根据自身阅读速度和习惯设定何时的设定时间和设定范围值,以提高触发翻译处理过程的准确性。
通过本实施例所提供的方法,我们可以依据人们的阅读习惯自动的获知用户是否需要进行翻译。
实施例三
本实施例给出了另一种根据所采集的眼球状态信息判断是否触发翻译处理过程的具体实施方案。
所述眼球状态信息中还包括有用户的眼睛动作信息;
所述根据所采集的眼球状态信息判断是否触发翻译处理过程,包括:
判断所述眼睛动作信息是否为翻译触发动作;如果该眼睛动作信息为翻译触发动作,则触发翻译处理过程;如果该眼睛动作信息不为翻译触发动作,则不触发翻译处理过程。
由前可知,眼球跟踪装置除了可以获取凝视坐标,还可以获取眼睛动作信息(如眨眼动作信息等)。通过本实施例所提供的方法,用户可以通过特定的眼睛动作来主动触发翻译处理过程。如我们可以定义连续眨眼动作为翻译触发动作,则在眼球跟踪装置捕捉到用户连续眨眼动作时触发翻译处理过程。
应当指出,随着眼球跟踪技术的逐渐发展,该技术可能捕捉到更多更细微的眼睛动作信息,其均可定义为本实施例所述翻译触发动作,用于触发翻译处理过程。
上面通过实施例二、三我们给出了两个根据眼球状态信息判断用户是否需要进行翻译的实施方案。上述两个实施例仅用于作为示例说明,并不用于限制本发明的保护范围。并且,随着眼球跟踪技术的逐渐发展和实际需要,我们可以定义更多种根据眼球跟踪装置采集的眼球状态信息来判断用户是否需要进行翻译的方案,均应在本发明的保护范围之内。
本发明实施例所提供的翻译方法所要解决的另一个问题,是如何确定用户需要翻译哪个语言信息。由于,目前眼球跟踪技术所能获取用户凝视屏幕的坐标精度还并不理想,难以精确定位到具体语言信息上。因此,我们在实际应用中需要抽取用户凝视坐标周围一定范围内的语言信息,并从中选择可能是用户所需要翻译的语言信息。下面我们就具体给出两个实施方案作为示例。
实施例四
如图2所示,本实施例中,所述根据所述凝视坐标从用户所阅读的内容中提取待翻译语言信息,包括:
S41,从所述凝视坐标周围的提取范围内提取至少一个语言信息;
这里,所述的提取范围为以凝视坐标为中心的一定区域范围。我们从这一范围内提取可能需要翻译的语言信息。该提取范围大小可以由人为设定。
S42,比较所提取语言信息的复杂度;
现已有很多比较语言信息复杂度的算法。在这里,我们就不再对其具体算法实现进行介绍。
S43,提取复杂度最高的语言信息为所述待翻译语言信息。
本发明实施例,通过从所述凝视坐标周围的提取范围内提取若干备选的语言信息,并对所提取的语言信息进行复杂度比较计算,最终以复杂度最高的语言信息为待翻译语言信息进行翻译。由于,复杂度越高的语言信息往往意味着难度越大,因此本实施例选择在提取范围内复杂度最高的语言信息为待翻译语言信息。
实施例五
如图3所示,本实施例中,所述根据所述凝视坐标从用户所阅读的内容中提取待翻译语言信息,包括:
S51,从所述凝视坐标周围的提取范围内提取至少一个语言信息;
这里,所述的提取范围为以凝视坐标为中心的一定区域范围。我们从这一范围内提取可能需要翻译的语言信息。该提取范围大小可以由人为设定。
S52,通过语言信息难度数据库查找所提取各个语言信息的难度水平值;所述语言信息难度数据库存储有可供所述翻译单元翻译的语言信息的难度水平值;
这里,该语言信息难度数据库一般由翻译单元提供,为该翻译单元所提供翻译的语言信息的阅读难度水平值。本步骤通过该数据库查找所述提取到的各个语言信息的难度水平值。
S53,比较所提取各个语言信息的难度水平值与用户阅读水平值;
所述用户阅读水平值可以为用户自主设定的阅读水平值,也可以是根据用户历史上查阅翻译的情况计算而得的阅读水平衡量值。
S54,提取难度水平值高于用户阅读水平值的语言信息为所述待翻译语言信息。
不同于前述实施例四,本实施例中所提取的待翻译语言信息不一定为一个,而可以是高于用户阅读水平值的一组待翻译语言信息。相应的,所述S5所显示的也是一组翻译后语言信息。
本发明实施例,通过语言信息难度数据库为翻译单元所提供翻译的每个语言信息赋予了对应的难度水平值。并且,为用户设定了一个阅读水平值。通过将所提取的各个语言信息的难度水平值与用户个人的阅读水平值进行比较,获得了其中高于用户阅读水平值的语言信息作为待翻译语言信息,从而将所有在提取范围内的高于用户阅读水平值的语言信息一次性翻译并显示给用户。这种方法更有助于帮助用户迅速解决阅读障碍。
实施例六
本实施例为了所述步骤S5所显示的翻译后语言信息不妨碍用户阅读,进一步限定了所述将所获得的翻译后语言信息进行显示,包括:
将所获得的翻译后语言信息显示于用户已阅读区域。
所述用户已阅读区域可以根据眼球跟踪装置所跟踪采集的用户眼球凝视坐标轨迹分析获得。已凝视过的坐标位置应该为用户已阅读的区域。
通过本实施例方法,翻译后语言信息被显示于用户已阅读区域,这样可以不干扰用户的继续阅读,使用户具有较好的阅读连贯性。
实施例七
图4为基于眼球跟踪的翻译系统结构示意图。如图所示,所述基于眼球跟踪的翻译系统,包括:眼球跟踪装置1、翻译触发判断单元2、语言信息提取单元3、翻译单元4和显示单元5。
所述眼球跟踪装置1,用于跟踪采集用户的眼球运动获得眼球状态信息;所述眼球状态信息至少包括有眼球凝视屏幕的凝视坐标;
如前所述,眼球跟踪技术是近年来新兴的一项体感技术,其技术已经在多种电子产品上得到了应用。该眼球跟踪技术通过捕捉并跟踪用户眼球的状态及变化,进而解析用户当前所凝视的屏幕位置。本发明实施例正是利用这一技术来捕捉用户的阅读位置。因此,不论采用何种实现方式和工作原理的眼球跟踪装置来捕捉用户的阅读位置,只要该装置能够通过采集用户的眼球运动获悉用户的凝视坐标,均可视为适用于本发明实施例所提供的方案,在本发明的保护范围之内。
所述翻译触发判断单元2,用于根据所采集的眼球状态信息判断是否触发翻译处理过程;
如前所述,现有的眼球跟踪技术可以捕捉用户眼球的动作及状态,如眨眼动作,凝视坐标等。我们可以以所采集到的眼球状态信息为依据,决定是否触发翻译处理过程。具体方式详见后续。
所述语言信息提取单元3,用于在触发翻译处理过程时,根据所述凝视坐标从用户所阅读的内容中提取待翻译语言信息;
根据用户的凝视坐标可以从用户所阅读的内容中提取出需要翻译的待翻译语言信息。这里,所述语言信息可以是单词、词组或是语句。
所述翻译单元4,用于对所述提取的待翻译语言信息进行翻译,获得翻译后语言信息;
这里,所述翻译单元4可以是第三方提供的翻译工具应用,也可以是内嵌的语言翻译程序。由于,这种翻译程序非常多,在此不再熬述。
所述显示单元5,用于将所获得的翻译后语言信息进行显示。
根据上述翻译系统,我们通过眼球跟踪装置1实时跟踪采集用户的眼球状态信息,进而通过眼球状态信息判断用户是否需要进行翻译,以及用户需要翻译哪个语言信息(通过凝视坐标获知),最终调用相关翻译单元4对所提取的待翻译语言信息进行翻译并显示。可见,本发明实施例由于采用了眼球跟踪装置这一新兴的体感技术,可以根据用户阅读时眼球的运动状况获知用户的翻译需求,并及时的提供翻译信息显示。在这一过程中,用户无需进行任何操作,简化了用户的操作,为用户阅读的连贯性提供了保证,具有较好的用户使用体验。
如上所述,本发明实施例所提供的翻译系统所要解决的一个问题,即是所述翻译触发判断单元2如何根据眼球状态信息判断用户是否需要进行翻译。下面我们就具体给出两个实施方案作为示例。
实施例八
本实施例给出了一种翻译触发判断单元2根据所采集的眼球状态信息判断是否触发翻译处理过程的具体实施方案。
在本实施例中,所述翻译触发判断单元2,用于根据所述眼球状态信息中的凝视坐标,判断用户在设定时间范围内所凝视的范围是否超过设定范围值;如果用户在设定时间范围内所凝视的范围未超过设定范围值,则触发翻译处理过程;如果用户在设定时间范围内所凝视的范围超过设定范围值,则不触发翻译处理过程。
由前可知,眼球跟踪装置所获得的眼球状态信息中包括有眼球凝视屏幕的凝视坐标。根据该凝视坐标可以判断用户在设定时间范围内所凝视的范围是否超过设定范围。如果用户在设定时间范围内所凝视的范围未超过设定范围值,则说明用户长时间凝视在屏幕的同一区域范围内,这往往意味着用户有不熟悉的语言信息需要翻译。因此,我们根据眼球跟踪装置1所采集的眼球状态信息,以上述机制来进行判断用户是否需要进行翻译。
这里,所述的设定时间和设定范围值可以由人为设定。用户可以根据自身阅读速度和习惯设定何时的设定时间和设定范围值,以提高触发翻译处理过程的准确性。
通过本实施例所提供的翻译系统,我们可以依据人们的阅读习惯自动的获知用户是否需要进行翻译。
实施例九
本实施例给出了另一种翻译触发判断单元2根据所采集的眼球状态信息判断是否触发翻译处理过程的具体实施方案。
在本实施例中,所述眼球状态信息中还包括有用户的眼睛动作信息;
所述翻译触发判断单元2,用于判断所述眼睛动作信息是否为翻译触发动作;如果该眼睛动作信息为翻译触发动作,则触发翻译处理过程;如果该眼睛动作信息不为翻译触发动作,则不触发翻译处理过程。
由前可知,眼球跟踪装置1除了可以获取凝视坐标,还可以获取眼睛动作信息(如眨眼动作信息等)。通过本实施例所提供的翻译系统,用户可以通过特定的眼睛动作来主动触发翻译处理过程。如我们可以定义连续眨眼动作为翻译触发动作,则在眼球跟踪装置捕捉到用户连续眨眼动作时触发翻译处理过程。
应当指出,随着眼球跟踪技术的逐渐发展,该技术可能捕捉到更多更细微的眼睛动作信息,其均可定义为本实施例所述翻译触发动作,用于触发翻译处理过程。
上面通过实施例八、九我们给出了两个翻译触发判断单元2根据眼球状态信息判断用户是否需要进行翻译的实施方案。上述两个实施例仅用于作为示例说明,并不用于限制本发明的保护范围。并且,随着眼球跟踪技术的逐渐发展和实际需要,我们可以定义更多种根据眼球跟踪装置采集的眼球状态信息来判断用户是否需要进行翻译的方案,均应在本发明的保护范围之内。
本发明实施例所提供的翻译系统所要解决的另一个问题,是语言信息提取单元3如何确定用户需要翻译哪个语言信息。由于,目前眼球跟踪技术所能获取用户凝视屏幕的坐标精度还并不理想,难以精确定位到具体语言信息上。因此,我们在实际应用中语言信息提取单元需要抽取用户凝视坐标周围一定范围内的语言信息,并从中选择可能是用户所需要翻译的语言信息。下面我们就具体给出两个实施方案作为示例。
实施例十
如图5所示,本实施例中,所述语言信息提取单元3,包括:语言信息收集模块31、复杂度比较模块32和待翻译语言信息确定模块33。
所述语言信息收集模块31,用于从所述凝视坐标周围的提取范围内提取至少一个语言信息;
这里,所述的提取范围为以凝视坐标为中心的一定区域范围。我们从这一范围内提取可能需要翻译的语言信息。该提取范围大小可以由人为设定。
所述复杂度比较模块32,用于比较所提取语言信息的复杂度;
现已有很多比较语言信息复杂度的模块。在这里,我们就不再对其具体模块设计方案进行介绍。
所述待翻译语言信息确定模块33,用于提取复杂度最高的语言信息为所述待翻译语言信息。
本发明实施例所提供的翻译系统,通过语言信息收集模块31从所述凝视坐标周围的提取范围内提取若干备选的语言信息,并通过复杂度比较模块32对所提取的语言信息进行复杂度比较计算,最终由待翻译语言信息确定模块33以复杂度最高的语言信息确定为待翻译语言信息进行翻译。由于,复杂度越高的语言信息往往意味着难度越大,因此本实施例选择在提取范围内复杂度最高的语言信息为待翻译语言信息。
实施例十一
如图6所示,本实施例中,所述语言信息提取单元3,包括:语言信息收集模块31、语言信息难度数据库34、难度水平比较模块35、待翻译语言信息确定模块33。
所述语言信息收集模块31,用于从所述凝视坐标周围的提取范围内提取至少一个语言信息;
这里,所述的提取范围为以凝视坐标为中心的一定区域范围。我们从这一范围内提取可能需要翻译的语言信息。该提取范围大小可以由人为设定。
所述语言信息难度数据库34,用于存储有可供所述翻译单元4翻译的语言信息的难度水平值;通过所述语言信息难度数据库34查找所提取各个语言信息的难度水平值;
这里,该语言信息难度数据库一般由翻译单元提供,为该翻译单元所提供翻译的语言信息的阅读难度水平值。本步骤通过该数据库查找所述提取到的各个语言信息的难度水平值。
所述难度水平比较模块35,用于比较所提取各个语言信息的难度水平值与用户阅读水平值;
所述用户阅读水平值可以为用户自主设定的阅读水平值,也可以是根据用户历史上查阅翻译的情况计算而得的阅读水平衡量值。
所述待翻译语言信息确定模块33,用于提取难度水平值高于用户阅读水平值的语言信息为所述待翻译语言信息。
不同于前述实施例十,本实施例中所提取的待翻译语言信息不一定为一个,而可以是高于用户阅读水平值的一组待翻译语言信息。相应的,所述显示单元所显示的也是一组翻译后语言信息。
本发明实施例,通过语言信息难度数据库34为翻译单元4所提供翻译的每个语言信息赋予了对应的难度水平值。并且,为用户设定了一个阅读水平值。通过难度水平比较模块35将所提取的各个语言信息的难度水平值与用户个人的阅读水平值进行比较,获得了其中高于用户阅读水平值的语言信息作为待翻译语言信息,从而将所有在提取范围内的高于用户阅读水平值的语言信息一次性翻译并显示给用户。该翻译系统更有助于帮助用户迅速解决阅读障碍。
实施例十二
本实施例为了所述显示单元所显示的翻译后语言信息不妨碍用户阅读,进一步限定了所述显示单元5将所获得的翻译后语言信息显示于用户已阅读区域。
所述用户已阅读区域可以根据眼球跟踪装置1所跟踪采集的用户眼球凝视坐标轨迹分析获得。已凝视过的坐标位置应该为用户已阅读的区域。
通过本实施例,翻译后语言信息被显示于用户已阅读区域,这样可以不干扰用户的继续阅读,使用户具有较好的阅读连贯性。
综上所述,本发明实施例所提供的基于眼球跟踪的翻译方法及系统,通过采用眼球跟踪装置实时跟踪采集用户的眼球状态信息,进而通过眼球状态信息判断用户是否需要进行翻译,以及用户需要翻译哪个语言信息,最终调用相关翻译单元对所提取的待翻译语言信息进行翻译并显示。该翻译方法及系统可以根据用户阅读时眼球的运动状况获知用户的翻译需求,并及时的提供翻译信息显示。在这一过程中,用户无需进行任何操作,简化了用户的操作,为用户阅读的连贯性提供了保证,具有较好的用户使用体验。本领域一般技术人员在此设计思想之下所做任何不具有创造性的改造,均应视为在本发明的保护范围之内。

Claims (10)

1.一种基于眼球跟踪的翻译方法,其特征在于,包括:
通过眼球跟踪装置跟踪采集用户的眼球运动获得眼球状态信息;所述眼球状态信息至少包括有眼球凝视屏幕的凝视坐标;
根据所述眼球状态信息中的凝视坐标,判断用户在设定时间范围内所凝视的范围是否超过设定范围值;如果用户在设定时间范围内所凝视的范围未超过设定范围值,则触发翻译处理过程,所述所凝视的范围是所述凝视坐标周围一定范围;
如果触发翻译处理过程,则根据所述凝视坐标从所阅读的内容中提取待翻译语言信息,所述待翻译语言信息是词组或语句;
对所提取待翻译语言信息进行翻译,获得翻译后语言信息,所述所提取待翻译语言信息是复杂度最高的语言信息或难度水平值高于用户阅读水平值的语言信息;
将所获得的翻译后语言信息进行显示。
2.如权利要求1所述的基于眼球跟踪的翻译方法,其特征在于:
所述眼球状态信息中还包括有用户的眼睛动作信息;
所述根据所采集的眼球状态信息判断是否触发翻译处理过程,包括:
判断所述眼睛动作信息是否为翻译触发动作;如果该眼睛动作信息为翻译触发动作,则触发翻译处理过程。
3.如权利要求1所述的基于眼球跟踪的翻译方法,其特征在于:所述根据凝视坐标从所阅读的内容中提取待翻译语言信息,包括:
从所述凝视坐标周围的提取范围内提取至少一个语言信息;
比较所提取语言信息的复杂度;
提取所述复杂度最高的语言信息为所述待翻译语言信息。
4.如权利要求1所述的基于眼球跟踪的翻译方法,其特征在于:所述根据凝视坐标从所阅读的内容中提取待翻译语言信息,包括:
从所述凝视坐标周围的提取范围内提取至少一个语言信息;
通过语言信息难度数据库查找所提取各个语言信息的难度水平值;所述语言信息难度数据库存储有可供翻译单元翻译的语言信息的难度水平值;
比较所提取各个语言信息的难度水平值与用户阅读水平值;
提取所述难度水平值高于用户阅读水平值的语言信息为所述待翻译语言信息。
5.如权利要求1所述的基于眼球跟踪的翻译方法,其特征在于:将所获得的翻译后语言信息显示于用户已阅读区域。
6.一种基于眼球跟踪的翻译系统,其特征在于,包括:眼球跟踪装置、翻译触发判断单元、语言信息提取单元、翻译单元和显示单元;
所述眼球跟踪装置,用于跟踪采集用户的眼球运动获得眼球状态信息;所述眼球状态信息至少包括有眼球凝视屏幕的凝视坐标;
所述翻译触发判断单元,用于根据所述眼球状态信息中的凝视坐标,判断用户在设定时间范围内所凝视的范围是否超过设定范围值;如果用户在设定时间范围内所凝视的范围未超过设定范围值,则触发翻译处理过程,所述所凝视的范围是所述凝视坐标周围一定范围;
所述语言信息提取单元,用于在触发翻译处理过程时,根据所述凝视坐标从所阅读的内容中提取待翻译语言信息,所述待翻译语言信息是词组或语句;
所述翻译单元,用于对所述提取的待翻译语言信息进行翻译,获得翻译后语言信息,所述所提取待翻译语言信息是复杂度最高的语言信息或难度水平值高于用户阅读水平值的语言信息;
所述显示单元,用于将所获得的翻译后语言信息进行显示。
7.如权利要求6所述的基于眼球跟踪的翻译系统,其特征在于:
所述眼球状态信息中还包括有用户的眼睛动作信息;
所述翻译触发判断单元,用于判断所述眼睛动作信息是否为翻译触发动作;如果该眼睛动作信息为翻译触发动作,则触发翻译处理过程。
8.如权利要求6所述的基于眼球跟踪的翻译系统,其特征在于:所述语言信息提取单元,包括:语言信息收集模块、复杂度比较模块和待翻译语言信息确定模块;
所述语言信息收集模块,用于从所述凝视坐标周围的提取范围内提取至少一个语言信息;
所述复杂度比较模块,用于比较所提取语言信息的复杂度;
所述待翻译语言信息确定模块,用于提取复杂度最高的语言信息为所述待翻译语言信息。
9.如权利要求6所述的基于眼球跟踪的翻译系统,其特征在于:所述语言信息提取单元,包括:语言信息收集模块、语言信息难度数据库、难度水平比较模块、待翻译语言信息确定模块;
所述语言信息收集模块,用于从所述凝视坐标周围的提取范围内提取至少一个语言信息;
所述语言信息难度数据库,用于存储有可供所述翻译单元翻译的语言信息的难度水平值;通过所述语言信息难度数据库查找所提取各个语言信息的难度水平值;
所述难度水平比较模块,用于比较所提取各个语言信息的难度水平值与用户阅读水平值;
所述待翻译语言信息确定模块,用于提取难度水平值高于用户阅读水平值的语言信息为所述待翻译语言信息。
10.如权利要求6所述的基于眼球跟踪的翻译系统,其特征在于:所述显示单元将所获得的翻译后语言信息显示于用户已阅读区域。
CN201310156925.0A 2013-04-28 2013-04-28 一种基于眼球跟踪的翻译方法及系统 Active CN103294194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310156925.0A CN103294194B (zh) 2013-04-28 2013-04-28 一种基于眼球跟踪的翻译方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310156925.0A CN103294194B (zh) 2013-04-28 2013-04-28 一种基于眼球跟踪的翻译方法及系统

Publications (2)

Publication Number Publication Date
CN103294194A CN103294194A (zh) 2013-09-11
CN103294194B true CN103294194B (zh) 2016-12-28

Family

ID=49095215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310156925.0A Active CN103294194B (zh) 2013-04-28 2013-04-28 一种基于眼球跟踪的翻译方法及系统

Country Status (1)

Country Link
CN (1) CN103294194B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104656882A (zh) * 2013-11-21 2015-05-27 英业达科技有限公司 翻译装置及其控制方法
CN104751152B (zh) * 2013-12-30 2019-03-15 腾讯科技(深圳)有限公司 一种翻译方法及装置
CN103995822A (zh) * 2014-03-19 2014-08-20 宇龙计算机通信科技(深圳)有限公司 一种终端及信息搜索方法
CN105260369B (zh) * 2014-07-15 2019-05-31 联想(北京)有限公司 一种辅助阅读的方法和电子设备
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN104866470B (zh) * 2015-05-28 2018-01-19 西安交通大学 一种基于用户眼球的单词查询方法
CN104991642A (zh) * 2015-06-18 2015-10-21 惠州Tcl移动通信有限公司 一种用于终端智能答疑的方法
US10921979B2 (en) 2015-12-07 2021-02-16 Huawei Technologies Co., Ltd. Display and processing methods and related apparatus
CN105786804B (zh) * 2016-02-26 2018-10-19 维沃移动通信有限公司 一种翻译方法及移动终端
CN106897426A (zh) * 2017-02-27 2017-06-27 上海禹放信息科技有限公司 基于眼球追踪技术的特定数据生成系统及方法
CN109686134A (zh) * 2019-02-18 2019-04-26 重庆工业职业技术学院 会计教学方法及系统
CN114911560A (zh) * 2022-05-18 2022-08-16 深圳市易孔立出软件开发有限公司 一种语言切换方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0762298A2 (en) * 1995-09-08 1997-03-12 Kabushiki Kaisha Toshiba Translation display apparatus and method
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子(中国)研发中心 基于视觉的交互式电子设备控制系统及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532197B2 (en) * 2004-06-22 2009-05-12 Lenovo (Singapore) Pte Ltd. Method and system for automated monitoring of a display
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
NO333847B1 (no) * 2011-05-19 2013-09-30 Trustper As Språkbrille
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0762298A2 (en) * 1995-09-08 1997-03-12 Kabushiki Kaisha Toshiba Translation display apparatus and method
CN102193621A (zh) * 2010-03-17 2011-09-21 三星电子(中国)研发中心 基于视觉的交互式电子设备控制系统及其控制方法

Also Published As

Publication number Publication date
CN103294194A (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
CN103294194B (zh) 一种基于眼球跟踪的翻译方法及系统
CN106569613A (zh) 一种多模态人机交互系统及其控制方法
WO2016112690A1 (zh) 一种基于眼动数据的网上用户状态识别方法和装置
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
CN107423392A (zh) 基于ar技术的字、词典查询方法、系统及装置
CN110491502A (zh) 显微镜视频流处理方法、系统、计算机设备和存储介质
CN105913046A (zh) 微表情识别装置及方法
CN103336581A (zh) 基于人体眼动特征设计的人机交互方法及系统
CN102930270A (zh) 基于肤色检测与背景消除的手部识别方法及系统
CN109976525A (zh) 一种用户界面交互方法、装置及计算机设备
CN108647657A (zh) 一种基于多元行为数据的云端教学过程评价方法
CN111126280A (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN114821753B (zh) 一种基于视觉图像信息的眼动交互系统
CN111967334A (zh) 一种人体意图识别方法、系统以及存储介质
CN109753941A (zh) 一种基于家教设备的学习内容搜索方法及家教设备
CN114343577A (zh) 认知功能评价方法、终端设备以及计算机可读存储介质
CN106681509A (zh) 界面操作的方法和系统
Jia et al. SLR-YOLO: An improved YOLOv8 network for real-time sign language recognition
CN110032948A (zh) 一种基于交互时序信息的草图手势识别方法
CN117608402A (zh) 一种基于汉字书写想象的隐蔽汉语言处理系统和方法
CN116185182B (zh) 一种融合眼动注意力的可控图像描述生成系统及方法
CN106815264A (zh) 一种信息处理方法及系统
CN105892661B (zh) 机器智能决策的方法
CN115509355A (zh) 一种整合视觉下的mi-bci交互控制系统及方法
Liu et al. Gesture recognition based on Kinect

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 100102 Beijing Wangjing West Road, a volume of stone world building, A, block, floor 12

Applicant after: Xiaomi Technology Co., Ltd.

Address before: 100102 Beijing Wangjing West Road, a volume of stone world building, A, block, floor 12

Applicant before: Beijing Xiaomi Technology Co., Ltd.

C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 100085 Beijing city Haidian District Qinghe Street No. 68 Huarun colorful city shopping center two floor 13

Applicant after: Xiaomi Technology Co., Ltd.

Address before: 100102 Beijing Wangjing West Road, a volume of stone world building, A, block, floor 12

Applicant before: Xiaomi Technology Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant