CN110347215A - 一种穿戴式翻译和信息检索装置及其使用方法 - Google Patents

一种穿戴式翻译和信息检索装置及其使用方法 Download PDF

Info

Publication number
CN110347215A
CN110347215A CN201910712256.8A CN201910712256A CN110347215A CN 110347215 A CN110347215 A CN 110347215A CN 201910712256 A CN201910712256 A CN 201910712256A CN 110347215 A CN110347215 A CN 110347215A
Authority
CN
China
Prior art keywords
information
unit
translation
image
translated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910712256.8A
Other languages
English (en)
Inventor
林泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN201910712256.8A priority Critical patent/CN110347215A/zh
Publication of CN110347215A publication Critical patent/CN110347215A/zh
Priority to PCT/CN2020/103515 priority patent/WO2021023012A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种穿戴式翻译和信息检索装置,触发控制单元、图像获取单元、图像识别单元、信息处理单元以及信息显示或朗读单元。本发明还相应的公开了使用该装置的方法。本发明运用穿戴式设备实现翻译和检索的功能,可以大大减少用户携带设备的负担,也可以减少用户使用设备的准备时间,最大限度减少翻译/检索过程对阅读者的干扰,保证阅读的顺利进行。本发明的实现过程是阅读者手指指向待翻译和/或检索的信息就能获得需要的信息,这个过程是一种及其“自然”的人机交互模式,易于用户学习和使用。本发明同时可以将扫描的待翻译和/或检索的信息接入互联网进行翻译和/或检索,提高了该方法的可扩展性和信息前沿性。

Description

一种穿戴式翻译和信息检索装置及其使用方法
技术领域
本发明涉及计算机领域,更具体地涉及一种穿戴式翻译和信息检索装置及其使用方法。
背景技术
在阅读非母语资料或者带有大量专业词汇的专业文献的时候,阅读者通常需要借助双语词典或者通过互联网的帮助,查找不熟悉的外文词汇或者专业词汇的解释。早期解决这个问题的主要方式是在纸质/电子的双语词典或者能够使用互联网的设备,如翻译器、手机或电脑输入需要查询的词汇获得相关的资料。但是,这种方式在操作上并不方便,可能会对阅读过程造成严重干扰。为此,最近出现了一些改进的方式,比如使用扫描翻译笔或者语音输入的翻译器。
这些新的改进的方式较传统的方式在便利性上确实提高了许多,但是仍然存在诸多不足。如:扫描翻译笔携带仍然不够便捷,且无法连接互联网获取资讯;语音输入的翻译器存在输入不准确或者输入负担大的问题等。
因此,有必要提供一种新的实现方法和装置,可以让用户在更小的负担下实时获得翻译信息或者进行信息检索的目的。
发明内容
本发明的目的是提供一种穿戴式翻译和信息检索装置及其使用方法。本发明可以让用户在手掌不抓握翻译设备的情况下,仅以手指指向待翻译和/或检索的信息就能快速获取需要翻译和/或检索信息的目的。
为实现上述目的,本发明提供了一种穿戴式翻译和信息检索装置,包括触发控制单元、图像获取单元、图像识别单元、信息处理单元以及信息显示或朗读单元;
所述触发控制单元用于识别用户输入的控制信号,控制所述翻译和信息检索装置工作状态,包括开启、中止或暂停等;
所述图像获取单元用于获取手指所指向语言/图形信息的完整图像;
所述图像识别单元用于将图像获取单元获取的图像识别出其中的文本/可检索图形信息;
所述信息处理单元用于将图像识别单元识别后的文本/可检索图形信息翻译和/或检索为目标语言/图形信息或者通过互联网翻译和/或检索相关内容;
信息显示或朗读单元用于将所翻译/检索的信息显示或者朗读出来。
进一步地,所述触发控制单元包括震动传感器、压力传感器或电容触摸屏。
更进一步地,所述图像获取单元包括摄像头或扫描仪。
更进一步地,所述触发控制单元及所述图像获取单元穿戴于手指上,而其他部件穿戴于身体其他部位,从而减轻手指负担,此时,所述图像获取单元连接有信息发送模块,所述图像识别单元连接有信息接收模块,所述信息发送模块将所述图像获取单元获取的图像信息发送至所述信息接收模块,并由与之连接的所述图像识别单元进行识别。
更进一步地,所述图像识别单元或所述信息处理单元连接有第二信息发送模块,所述信息处理单元连接有第二信息接收模块,所述第二信息发送模块将所述的图像识别单元识别前的图像信息发送至周边设备进行互联网在线识别、翻译和/或检索,或将所述信息处理单元接收的信息发送至周边设备进行互联网在线翻译和/或检索,所述第二信息接收模块将所述周边设备在线翻译和/或检索的信息发送至所述信息处理单元。所述周边设备包括手机、电脑等电子设备。
进一步的,可以设定是否通过连接第二信息发送模块和第二信息接收模块设置有开关装置进行周边设备及互联网在线识别、翻译和/或检索。
本发明还提供了一种穿戴式翻译和信息检索器的实现方法,该方法包括如下步骤:
穿戴有所述图像获取单元的手指指向待处理的信息所在位置附近,指定需要翻译或检索的信息内容;
通过控制穿戴在手指上的触发控制单元触发所述图像获取单元获取待处理的语言/图形信息图像;
对待处理的语言/图形信息图像进行识别并翻译和/或检索,获得翻译/检索后的语言/图形信息;
将所翻译/检索的信息显示或者朗读出来。
进一步地,所述触发控制单元触发方式包括触摸穿戴有所述触发控制单元的手指,触发所述图像获取单元获取待翻译/检索的语言/图形信息的完整图像;或者使用震动/压力探测器探测指向需要翻译或检索信息的手指的动作信息,当手指的震动幅度或压力超过一定阈值时,触发所述图像获取单元获取待翻译/检索的语言/图形信息的完整图像。
进一步地,对待翻译/检索的语言/图形信息的图像进行光学识别,获得识别后的文本/可检索图形信息,该文本/可检索图形信息可用于不同语言/图形的翻译,也可用于互联网即时检索,从而获得翻译/检索后的语言/图形信息。另外一种方式是将图像信息通过无线通信模块,包括信息发送模块及信息接收模块,传递给周边设备(如手机)进行光学识别和翻译/检索,获得翻译和/或检索后的语言/图形信息。
进一步地,将所翻译/检索的信息显示或者朗读出来。
实施本发明,具有如下有益效果:
本发明穿戴式翻译和信息检索装置的实现方法运用穿戴式设备实现翻译和/或检索的功能,可以大大减少用户携带设备的负担,也可以减少用户使用设备的准备时间,最大限度减少翻译和/或检索过程对阅读者的干扰,保证阅读的顺利进行。本发明的实现过程是阅读者手指指向待翻译/检索的信息就能获得需要的信息,这个过程是一种及其“自然”的人机交互模式,易于用户学习和使用。另外,本发明同时可以将扫描的待翻译和/或检索的信息接入互联网进行查询,提高了该方法的可扩展性和信息前沿性。
附图说明
图1为本发明穿戴式翻译和信息检索器装置实施例的示意图。
图2为本发明穿戴式翻译和信息检索器的实现方法的原理流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示,所述穿戴式手指感应无线通信的输入装置包括穿戴在手指上的H10,穿戴在手腕上的H20。
具体地,所述H10包括触发控制单元H11、图像获取单元H12、信息发送模块H13和电池模块H14。具体工作方式如下:
所述触发控制单元H11由触摸开关和震动/压力探测器构成,当受到手指的按压,翻译和信息检索器装置启动,图像获取单元H12被触发,摄像头获取手指指向的待翻译和/或检索的信息的完整图像。信息发送模块H13将完整图像信息转换为无线信号发射出去。
所述H20包括信息接收模块H21、图像识别单元H22、信息处理单元H23和信息显示/朗读单元H24、电池模块H25。
信息接收模块H21将接收到的信号还原为图像信息,图像识别单元H22将图像信息识别为文本/可检索图形信息,信息处理单元H23将图像识别单元识别后的文本/可检索图形信息翻译和/或检索为目标语言/图形信息或者通过互联网翻译和/或检索相关内容,最后显示/朗读单元H24所翻译/检索的信息显示或者朗读出来。
由以上可以看出,本发明穿戴式翻译和信息检索器装置通过触发控制单元H11启动装置,图像获取单元H12获取待翻译和/或检索的语言/图形信息的完整图像,信息发送模块H13将完整图像信息转换为无线信号发射出去,信息接收模块H21接收到信号后将信号还原为图像信息,图像识别单元H22将获取的图像信息识别为文本/可检索图形信息,信息处理单元H23将图像识别单元识别后的文本/可检索图形信息翻译和/或检索为目标语言/图形信息或者通过互联网翻译和/或检索相关内容,最后显示/朗读单元H24所翻译/检索的信息显示或者朗读出来。
作为其他实施方式,所述图像识别单元H22或所述信息处理单元H23还可以连接有第二信息发送模块,所述信息处理单元H23还可以连接有第二信息接收模块,所述第二信息发送模块将所述的图像识别单元H22识别前的图像信息发送至周边设备进行互联网在线识别、翻译和/或检索,或将所述信息处理单元H23接收的信息发送至周边设备进行互联网在线翻译和/或检索,所述第二信息接收模块将所述周边设备在线翻译和/或检索的信息发送至所述信息处理单元H23。
如图2所示,所述穿戴式翻译和信息检索器的实现方法包括如下步骤:
S1手指指向待翻译和/或检索的信息所在位置上方或下方。
S2通过触摸/按压穿戴在手指上设备或震动/压力探测器触发摄像头获取待翻译和/或检索的语言/图形信息的完整图像。
S3对待翻译和/或检索的语言/图形信息的图像进行光学识别、翻译和/或检索,或将图像通过无线通信模块传递给周边设备(如手机)进行光学识别、翻译和/或检索,获得翻译和/或检索后的语言/图形信息。
S4将所翻译和/或检索的信息显示或者朗读出来。
由以上可以看出,本发明穿戴式翻译和信息检索器的实现方法是通过对用户手指指向获得待翻译和/或检索的信息的位置,通过用户触摸/按压穿戴在手指上设备或震动/压力探测器触发摄像头获取待翻译和/或检索的语言/图形信息的完整图像,进而对待翻译和/或检索的语言/图形信息的图像进行光学识别、翻译和/或检索,或将图像通过无线通信模块传递给周边设备(如手机)进行光学识别、翻译和/或检索,获得翻译和/或检索后的语言/图形信息,最后将所翻译和/或检索的信息显示或者朗读出来,呈现给用户。
本方法能够让用户在不打断阅读进程的情况下快速获取翻译和/或检索信息的目的。
以上结合最佳实施例对本发明进行了描述,但本发明并不局限于以上揭示的实施例,而应当涵盖各种根据本发明的本质进行的修改、等效组合,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

Claims (10)

1.一种穿戴式翻译和信息检索装置,其特征在于,触发控制单元、图像获取单元、图像识别单元、信息处理单元以及信息显示或朗读单元;
所述触发控制单元用于识别用户输入的控制信号,控制所述翻译和信息检索装置工作状态;
所述图像获取单元用于获取手指所指向具有语言/图形信息的完整图像;
所述图像识别单元用于将图像获取单元获取的图像识别出其中的文本/可检索图形信息;
所述信息处理单元用于将图像识别单元识别后的文本/可检索图形信息翻译和/或检索为目标语言/图形信息,或者通过互联网翻译和/或检索相关内容;
信息显示或朗读单元用于将所翻译/检索的信息显示或者朗读出来。
2.根据权利要求1所述的穿戴式翻译和信息检索装置,其特征在于,所述触发控制单元包括震动传感器、压力传感器或电容触摸屏。
3.根据权利要求1所述的穿戴式翻译和信息检索装置,其特征在于,所述图像获取单元包括摄像头或扫描仪。
4.根据权利要求1所述的穿戴式翻译和信息检索装置,其特征在于,所述触发控制单元及所述图像获取单元穿戴于手指上。
5.根据权利要求1所述的穿戴式翻译和信息检索装置,其特征在于,所述图像获取单元连接有信息发送模块,所述图像识别单元连接有信息接收模块,所述信息发送模块将所述图像获取单元获取的图像信息发送至所述信息接收模块,并由与之连接的所述图像识别单元进行识别。
6.根据权利要求1~5所述的穿戴式翻译和信息检索装置,其特征在于,所述图像识别单元或所述信息处理单元连接有第二信息发送模块,所述信息处理单元连接有第二信息接收模块,所述第二信息发送模块将所述的图像识别单元识别前的图像信息发送至周边设备进行互联网在线识别、翻译和/或检索,或将所述信息处理单元接收的信息发送至周边设备进行互联网在线翻译和/或检索,所述第二信息接收模块将所述周边设备在线翻译和/或检索的信息发送至所述信息处理单元。
7.根据权利要求6所述的穿戴式翻译和信息检索装置,其特征在于,所述第二信息发送模块和第二信息接收模块设置有开关装置,用于启动或关闭与周边设备的连接及互联网在线识别、翻译和/或检索。
8.一种根据权利要求1所述的穿戴式翻译和信息检索装置使用方法,其特征在于,穿戴有所述图像获取单元的手指指向待处理的信息所在位置;
通过控制穿戴在手指上的触发控制单元触发所述图像获取单元获取待处理的语言/图形信息的图像;
对待处理的语言/图形信息的图像进行识别并翻译和/或检索,获得翻译和/或检索后的语言/图形信息;
将所翻译/检索的信息显示或者朗读出来。
9.根据权利要求8所述的方法,其特征在于,所述控制单元触发方式包括触摸、压按或抖动穿戴有所述控制单元的手指。
10.根据权利要求8或9所述的方法,其特征在于,还包括将识别的语言/可检索图形信息发送至周边设备进行翻译和/或检索,或将待处理的语言/图形信息的图像发送至终端设备进行识别、翻译和/或检索,然后将翻译和/或检索后的信息发送至所述信息显示或朗读单元。
CN201910712256.8A 2019-08-02 2019-08-02 一种穿戴式翻译和信息检索装置及其使用方法 Pending CN110347215A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910712256.8A CN110347215A (zh) 2019-08-02 2019-08-02 一种穿戴式翻译和信息检索装置及其使用方法
PCT/CN2020/103515 WO2021023012A1 (zh) 2019-08-02 2020-07-22 一种穿戴式翻译和信息检索装置及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910712256.8A CN110347215A (zh) 2019-08-02 2019-08-02 一种穿戴式翻译和信息检索装置及其使用方法

Publications (1)

Publication Number Publication Date
CN110347215A true CN110347215A (zh) 2019-10-18

Family

ID=68183876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910712256.8A Pending CN110347215A (zh) 2019-08-02 2019-08-02 一种穿戴式翻译和信息检索装置及其使用方法

Country Status (2)

Country Link
CN (1) CN110347215A (zh)
WO (1) WO2021023012A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586664A (zh) * 2020-06-29 2020-08-25 深圳市亿联智能有限公司 一种基于智能指环的内容识别及处理方法
WO2021023012A1 (zh) * 2019-08-02 2021-02-11 汕头大学 一种穿戴式翻译和信息检索装置及其使用方法
WO2022037551A1 (zh) * 2020-08-17 2022-02-24 王江 颈部穿戴设备及其系统和颈托设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN106164808A (zh) * 2014-04-01 2016-11-23 苹果公司 用于戒指计算设备的设备和方法
CN107391497A (zh) * 2017-07-28 2017-11-24 深圳市锐曼智能装备有限公司 蓝牙指尖翻译器及其翻译方法
CN108805119A (zh) * 2018-05-04 2018-11-13 广东小天才科技有限公司 一种基于指尖穿戴设备的搜索方法及指尖穿戴设备、系统
CN110058413A (zh) * 2018-05-23 2019-07-26 王小峰 一种智能穿戴系统
CN211554790U (zh) * 2019-08-02 2020-09-22 汕头大学 一种穿戴式翻译和信息检索装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340726B1 (en) * 2008-06-30 2012-12-25 Iwao Fujisaki Communication device
CN104517107A (zh) * 2014-12-22 2015-04-15 央视国际网络无锡有限公司 基于可穿戴设备的实时翻译图片文字的方法
CN107819535A (zh) * 2017-11-13 2018-03-20 北海威德电子科技有限公司 可穿戴式辅助沟通装置
CN108710615B (zh) * 2018-05-03 2020-03-03 Oppo广东移动通信有限公司 翻译方法及相关设备
CN110347215A (zh) * 2019-08-02 2019-10-18 汕头大学 一种穿戴式翻译和信息检索装置及其使用方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
CN106164808A (zh) * 2014-04-01 2016-11-23 苹果公司 用于戒指计算设备的设备和方法
CN107391497A (zh) * 2017-07-28 2017-11-24 深圳市锐曼智能装备有限公司 蓝牙指尖翻译器及其翻译方法
CN108805119A (zh) * 2018-05-04 2018-11-13 广东小天才科技有限公司 一种基于指尖穿戴设备的搜索方法及指尖穿戴设备、系统
CN110058413A (zh) * 2018-05-23 2019-07-26 王小峰 一种智能穿戴系统
CN211554790U (zh) * 2019-08-02 2020-09-22 汕头大学 一种穿戴式翻译和信息检索装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021023012A1 (zh) * 2019-08-02 2021-02-11 汕头大学 一种穿戴式翻译和信息检索装置及其使用方法
CN111586664A (zh) * 2020-06-29 2020-08-25 深圳市亿联智能有限公司 一种基于智能指环的内容识别及处理方法
WO2022037551A1 (zh) * 2020-08-17 2022-02-24 王江 颈部穿戴设备及其系统和颈托设备

Also Published As

Publication number Publication date
WO2021023012A1 (zh) 2021-02-11

Similar Documents

Publication Publication Date Title
CN110347215A (zh) 一种穿戴式翻译和信息检索装置及其使用方法
KR101777807B1 (ko) 수화 번역기, 시스템 및 방법
CN108427910B (zh) 深层神经网络ar手语翻译学习方法、客户端及服务器
CN111967224A (zh) 对话文本的处理方法、装置、电子设备及存储介质
CN108536669B (zh) 文字信息处理方法、装置及终端
CN107945789A (zh) 语音识别方法、装置及计算机可读存储介质
EP1974671B1 (en) Ultrasound system
JP6392374B2 (ja) ヘッドマウントディスプレイシステム及びヘッドマウントディスプレイ装置の操作方法
KR101915088B1 (ko) 수화번역장치
US10937415B2 (en) Information processing device and information processing method for presenting character information obtained by converting a voice
RU2009143360A (ru) Способ, система и пользовательский интерфейс для автоматического создания атмосферы, в частности освещенной атмосферы, на основании ввода ключевого слова
CN108257593B (zh) 一种语音识别方法、装置、电子设备及存储介质
CN107798322A (zh) 一种智能笔
CN108628819A (zh) 处理方法和装置、用于处理的装置
US20170024380A1 (en) System and method for the translation of sign languages into synthetic voices
Bhardwaj A Review Paper on Smart Glove-Converts Gestures into Speech and Text
CN104835361A (zh) 一种电子词典
CN109259800A (zh) 超声成像控制系统
CN110555329A (zh) 一种手语翻译的方法、终端以及存储介质
CN201251767Y (zh) 智能电子词典
CN211554790U (zh) 一种穿戴式翻译和信息检索装置
EP3467820A1 (en) Information processing device and information processing method
CN209678541U (zh) 超声成像控制系统
Battina et al. Innovative study of an AI voice-based smart Device to assist deaf people in understanding and responding to their body language
KR20010064061A (ko) 음성 인식 기능을 갖는 검색 엔진

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination