CN210072245U

CN210072245U - 一种翻译眼镜

Info

Publication number: CN210072245U
Application number: CN201920989793.2U
Authority: CN
Inventors: 汪子翔
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-06-28
Filing date: 2019-06-28
Publication date: 2020-02-14
Anticipated expiration: 2029-06-28

Abstract

本实用新型涉及一种翻译眼镜，包括：设置在眼镜框架主体的镜片安装位置的显示器；设置在眼镜框架主体的两个镜片安装位置连接处的摄像头，摄像头用于捕捉佩戴者前方的手势图像；以及中央处理单元，根据摄像头拍摄得到的手势图像及图像中各点到摄像头的距离信息建立手势图像的三维模型；根据标准三维模型及其对应的文字信息将得到的三维模型转换为对应的第一文字信息；将第一文字信息转换为相应的声音信号进行播放；将接收的声音信息转换为相应的第二文字信息；根据标准三维模型及其对应的文字信息将由第二文字信息转换为对应的标准三维模型图像，并将其发送到显示器进行显示。实现了聋哑人和正常人的交流，为聋哑人提供了便利。

Description

一种翻译眼镜

技术领域

本实用新型属于手语翻译技术领域，具体涉及一种翻译眼镜。

背景技术

目前聋哑人士都是通过手语进行日常的沟通交流，对于聋哑人士之间进行相应的手语沟通，因为都具备手语交流的能力，所以使用手语交流对于聋哑人之间是完全没有问题的，而对于正常人来说大都不具备手语的能力，与聋哑人沟通起来非常的困难，这样就造成了聋哑人在社会生活中沟通困难，给聋哑人带来了诸多不便。

实用新型内容

为了解决现有技术存在的聋哑人与正常人沟通困难的问题，本实用新型提供了一种翻译眼镜，其具有能够快速将手语和声音语言进行相应的转换，实现聋哑人和正常人的正常沟通，为与聋哑人的顺利沟通提供了可能和便利等特点。

本实用新型所采用的技术方案为：

一种翻译眼镜，包括眼镜框架主体，还包括：设置在所述眼镜框架主体的镜片安装位置的显示器；

设置在所述眼镜框架主体上的摄像头，所述摄像头用于捕捉佩戴者前方的手势图像；以及

中央处理单元，所述中央处理单元包括：

模型建立模块，用于根据所述摄像头拍摄得到的手势图像及图像中各点到所述摄像头的距离信息建立手势图像的三维模型；

手语翻译模块，用于根据存储单元中的标准三维模型及其对应的文字信息将由所述模型建立模块得到的三维模型转换为对应的第一文字信息；

语音播放模块，用于将所述第一文字信息转换为相应的声音信号进行播放；

麦克风模块，用于将接收的声音信息发送到语音识别模块，所述语音识别模块用于将所述声音信息转换为相应的第二文字信息；以及

手语转换模块，用于根据存储单元中的标准三维模型及其对应的文字信息将由所述语音识别模块得到的第二文字信息转换为对应的标准三维模型图像，并将其发送到所述显示器进行显示。

进一步的，所述语音识别模块包括：第一语音识别引擎、第二语音识别引擎和比较器，所述第一语音识别引擎和所述第二语音识别引擎分别对所述麦克风模块发送的声音信息进行识别，并将识别结果各自发送到所述比较器，所述比较器输出识别分数最高的识别结果发送到所述手语转换模块。

进一步的，所述第一语音识别引擎为SD-ASR语音识别引擎，用于识别来自特定说话人的语音并输出包括对应的分数的识别结果。

进一步的，所述第二语音识别引擎为SI-ASR语音识别引擎，用于识别来自任何用户的语音并输出包括对应的分数的识别结果。

进一步的，所述翻译眼镜还包括：适配器，所述适配器用于将所述手语转换模块发送的图像转换为和所述显示器相适配的视频信号。

进一步的，所述语音播放模块包括：TTS引擎和扬声器，所述TTS引擎将所述第一文字信息转换为相应的语音信息后通过扬声器进行播放，所述扬声器设置于所述眼镜框架主体的镜腿里。

进一步的，所述语音播放模块还包括：耳机接口，所述耳机接口用于连接耳机，使经所述TTS引擎转换的语音信息通过耳机进行播放。

进一步的，所述翻译眼镜还包括：WiFi接口，所述WiFi接口用于和互联网连接对存储单元中的标准三维模型及其对应的文字信息进行更新。

进一步的，所述翻译眼镜还包括：LED指示灯，所述LED指示灯分别和所述手语翻译模块以及所述手语转换模块连接，用于指示各自工作的状态。

进一步的，所述翻译眼镜还包括：电源模块，所述电源模块通过线缆和所述眼镜框架主体连接，为所述眼镜框架主体内的各组成部分提供电源。

本实用新型的有益效果为：通过采集眼镜佩戴者的手语图像，经模型建立模块、手语翻译模块、语音播放模块依次处理后将采集的图像翻译为相应的文字信息后进行播放可实现正常人获取聋哑人的手语所表达的信息；再通过麦克风模块、手语转换模块将正常人的语音信息转换为相应的手语信息并在眼镜的显示器位置进行播放使聋哑人能够获得相应的手语图像和文字，从而实现了聋哑人和正常人的交流，为聋哑人提供了便利。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例提供的翻译眼镜的整体结构示意图；

图2是根据一示例性实施例提供的翻译眼镜的内部结构示意图；

图3是根据一示例性实施例提供的翻译眼镜的电气连接示意图；

图4是根据一示例性实施例提供的翻译眼镜的另一电气连接示意图。

图中1-眼镜框架主体；2-镜腿；3-显示器；4-前壳体；5-后壳体；6-中央处理单元安装位置；7-扬声器；8-耳机接口。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚，下面将对本实用新型的技术方案进行详细的描述。显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本实用新型所保护的范围。

参照图1至图3所示，本实用新型的实施例提供了一种翻译眼镜，包括眼镜框架主体1，其中，眼镜框架主体1由前壳体4、后壳体5和镜腿2构成。还包括：设置在眼镜框架主体的镜片安装位置的显示器3；

设置在眼镜框架主体1的两个镜片安装位置连接处或左右两边的摄像头 (图中未示出)参照图3所示，在后壳体5的中间位置，也就是中央处理单元安装位置6的位置的中间位置可用于安装深度摄像头，用于捕捉佩戴者前方的手势图像；以及中央处理单元设置在后壳体5的中央处理单元安装位置，其包括：

模型建立模块，用于根据摄像头拍摄得到的手势图像及图像中各点到摄像头的距离信息建立手势图像的三维模型；

手语翻译模块，用于根据存储单元中的标准三维模型及其对应的文字信息将由模型建立模块得到的三维模型转换为对应的第一文字信息；

语音播放模块，用于将第一文字信息转换为相应的声音信号进行播放；

麦克风模块，用于将接收的声音信息发送到语音识别模块，语音识别模块用于将声音信息转换为相应的第二文字信息；以及

手语转换模块，用于根据存储单元中的标准三维模型及其对应的文字信息将由语音识别模块得到的第二文字信息转换为对应的标准三维模型图像，并将其发送到显示器进行显示。

具体的，摄像头可采用深度摄像机，该摄像机在拍摄手势时将发射一定波长的信号，当信号遇到拍摄场景内的物体时即会反射至摄像机，信号发射与接收之间的时间差即表示了物体与摄像机之间的距离信息，因此该摄像机即可得到场景内每一点与摄像机之间的距离，模型建立模块利用得到的场景内各点到深度摄像机之间的距离信息即可得到一曲面，该曲面即可被当作是场景的立体模型。并对得到的立体模型进行处理，以抹除背景等区域，从而得到手势的三维模型。

存储单元中存储有不同体系的标准手语的三维模型、每一三维模型所代表的文字信息及与文字信息对应的语音信息。例如存储单元中存储有中国的“词汇型手语”体系所对应的标准手语的三维模型及其所代表的文字信息，中国的“拼字型手语”体系所对应的标准手语的三维模型及其所代表的文字信息；美国的“词汇型手语”体系所对应的标准手语的三维模型及其所代表的文字信息、美国的“拼字型手语”体系所对应的标准手语的三维模型及其所代表的文字信息等。从而可通过模型转换模块将摄像头图像转换成的标准手语三维模型使用手语翻译模块进行翻译，从而得到三维模型对应的文字，语音播放模块将翻译的文字信息转换为语音进行播放，从而实现了使正常人能够明白聋哑人想要表达的意思。

在正常人说话时通过麦克风模块将接收的声音信息发送到语音识别模块，语音识别模块将接收的声音信息转换为相应的第二文字信息；再通过手语转换模块，根据存储单元中的标准三维模型及其对应的文字信息将由语音识别模块得到的第二文字信息转换为对应的标准三维模型图像，并将其发送到显示器进行显示，使聋哑人通过显示器动态播放演示的手语模型能够理解正常人所要表达的意思，从而实现了正常人和聋哑人能够正常的交流，为聋哑人正常的生活及工作提供了便利。

作为上述实施例的进一步改进，存储单元中还存储有汉字的标准三维模型，在一些使用手语无法表达清楚的情况下，用户可在空中直接使用手书写相应的汉字，通过摄像头的捕捉获取相应的轨迹信息，手语翻译模块再与存储单元中存储的汉字的标准的模型进行比对，从而获得书写的汉字，再与其他手语模型识别出的文字进行组合，输出用户想要表达的语句，这样可进一步的方便聋哑人表达自己的思想，丰富了表达方式。当然，手部动作的识别还可采用可穿戴设备进行手绘轨迹的跟踪识别，本实用新型在此不做限制。

为进一步说明本实用新型提供的翻译眼镜的工作原理，在本实用新型的一具体实施例中，语音识别模块包括：第一语音识别引擎、第二语音识别引擎和比较器，第一语音识别引擎和第二语音识别引擎分别对麦克风模块发送的声音信息进行识别，并将识别结果各自发送到比较器，比较器输出识别分数最高的识别结果发送到所述手语转换模块。

其中，第一语音识别引擎为SD-ASR语音识别引擎，用于识别来自特定说话人的语音并输出包括对应的分数的识别结果。

第二语音识别引擎为SI-ASR语音识别引擎，用于识别来自任何用户的语音并输出包括对应的分数的识别结果。

具体的，对第一语音识别引擎的词汇表中的每个词条生成用于第二语音识别引擎的对应词条；把所生成的对应词条添加到第二语音识别引擎的词汇表中，以与第二语音识别引擎的词汇表中的原有词条一起生成组合词汇表；第一语音识别步骤为：

使用第一语音识别引擎通过第一语音识别引擎的词汇表来识别输入语音；第二语音识别步骤为：

使用第二语音识别引擎通过组合词汇表来识别输入语音，以生成与原有词条有关的识别结果和与对应词条有关的识别结果；

识别结果比较和输出步骤为：使用从第二语音识别引擎输出的与对应词条有关的识别结果，对第一语音识别引擎的识别结果与第二语音识别引擎的与原有词条有关的识别结果进行比较并输出比较结果。第一语音识别引擎和第二语音识别引擎的每个识别结果包括识别出的单词和对应的识别分数，使用比较器对识别的分数进行比较输出分数高的识别结果，从而实现语音到文字的转化。

为进一步优化该技术方案，在本实用新型的一些具体实施例中，还包括：适配器，适配器用于将手语转换模块发送的图像转换为和显示器相适配的视频信号。

作为上述实施例可行的实现方式，适配器可选为兼容VGA的产品，具有较高的显示分辨率和丰富的色彩显示能力，有不同的扩充显示模式可配合不同显示器的显示模式，满足不同用户的需求。

参照图1和图4所示，在本实用新型的另一些具体实施例中，语音播放模块包括：TTS引擎和扬声器7，TTS引擎将第一文字信息转换为相应的语音信息后通过扬声器7进行播放，扬声器7设置于眼镜框架主体的镜腿里。

语音播放模块还包括：耳机接口8用于连接耳机，使经TTS引擎转换的语音信息通过耳机进行播放。其中耳机接口可以连接具有两个听筒的耳机，也可连接只具有一个听筒的耳机，在使用一个听筒进行交流能更好的留意周围的情况。

该翻译眼镜上还设有：WiFi接口，用于和互联网连接对存储单元中的标准三维模型及其对应的文字信息进行更新；

LED指示灯，可是置于镜腿2上，可以嵌入镜腿2的内部或外置的方式，进行固定，在此不做限制，分别和手语翻译模块以及手语转换模块连接，用于指示各自工作的状态；

电源模块，电源模块通过线缆和眼镜框架主体连接，为眼镜框架主体内的各组成部分提供电源。电源模块可选择外置的方式，通过线缆与眼镜框架主体 1连接提供所需电力。

需要说明的是，显示器3可选用现有的类似VR眼镜的显示结构进行图像的显示，在工作时向用户提供翻译的图像，在不工作时处于透明的状态，便于用户观察对话人的表情。

镜腿2为中空的结构，和框架主体可拆卸连接，便于设备的日常维护。

其中，中央处理单元通过5G通信网络和云端服务器进行通信，可实现与云端服务器无卡顿的数据传输，使数据传输更加的顺畅。

为进一步便于正常人和聋哑人的沟通，语音播放模块通常情况下默认为转换为普通话进行播放，而为了满足不同地区沟通语言存在的差异例如各地的方言，可通过wifi或5G通信网络和云端服务器进行连接，更新相应包括不同方言和语言转换的安装包进行转换，方便与正常人的沟通。同时还可对存储单元中存储的文字标准三维模型进行更新，使其能够适用于不同国家语言的手语的翻译和交流。

本实用新型实施例提供的翻译眼镜的推广和使用，为聋哑人日常的沟通提供了便利，从聋哑人实际遇到的困难的出发更好的为其服务为社会做出贡献。

本实用新型中，所用到的中央处理单元，其具体的实现原理、电路及所需元器件均采用本领域技术人员所熟知的现有技术，对于控制原理的实现本领域技术人员不用付出创造性劳动。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本实用新型的保护范围之内。因此，本实用新型的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种翻译眼镜，包括眼镜框架主体，其特征在于，还包括：设置在所述眼镜框架主体的镜片安装位置的显示器；

设置在所述眼镜框架主体的上的摄像头，所述摄像头用于捕捉佩戴者前方的手势图像；以及

中央处理单元，所述中央处理单元包括：

2.根据权利要求1所述的翻译眼镜，其特征在于，所述语音识别模块包括：第一语音识别引擎、第二语音识别引擎和比较器，所述第一语音识别引擎和所述第二语音识别引擎分别对所述麦克风模块发送的声音信息进行识别，并将识别结果各自发送到所述比较器，所述比较器输出识别分数最高的识别结果发送到所述手语转换模块。

3.根据权利要求2所述的翻译眼镜，其特征在于，所述第一语音识别引擎为SD-ASR语音识别引擎，用于识别来自特定说话人的语音并输出包括对应的分数的识别结果。

4.根据权利要求2所述的翻译眼镜，其特征在于，所述第二语音识别引擎为SI-ASR语音识别引擎，用于识别来自任何用户的语音并输出包括对应的分数的识别结果。

5.根据权利要求1所述的翻译眼镜，其特征在于，还包括：适配器，所述适配器用于将所述手语转换模块发送的图像转换为和所述显示器相适配的视频信号。

6.根据权利要求1所述的翻译眼镜，其特征在于，所述语音播放模块包括：TTS引擎和扬声器，所述TTS引擎将所述第一文字信息转换为相应的语音信息后通过扬声器进行播放，所述扬声器设置于所述眼镜框架主体的镜腿里。

7.根据权利要求6所述的翻译眼镜，其特征在于，所述语音播放模块还包括：耳机接口，所述耳机接口用于连接耳机，使经所述TTS引擎转换的语音信息通过耳机进行播放。

8.根据权利要求1所述的翻译眼镜，其特征在于，还包括：WiFi接口，所述WiFi接口用于和互联网连接对存储单元中的标准三维模型及其对应的文字信息进行更新。

9.根据权利要求1所述的翻译眼镜，其特征在于，还包括：LED指示灯，所述LED指示灯分别和所述手语翻译模块以及所述手语转换模块连接，用于指示各自工作的状态。

10.根据权利要求1至9任一项所述的翻译眼镜，其特征在于，还包括：电源模块，所述电源模块通过线缆和所述眼镜框架主体连接，为所述眼镜框架主体内的各组成部分提供电源。