CN210166754U

CN210166754U - 一种虚拟现实头戴交流装置及虚拟现实头戴交流系统

Info

Publication number: CN210166754U
Application number: CN201920332671.6U
Authority: CN
Inventors: 不公告发明人
Original assignee: Shanghai Extraction Titanium Intelligent Technology Co Ltd
Current assignee: Shanghai Extraction Titanium Intelligent Technology Co Ltd
Priority date: 2019-03-16
Filing date: 2019-03-16
Publication date: 2020-03-20
Anticipated expiration: 2029-03-16

Abstract

一种虚拟现实头戴交流装置，包括：虚拟现实眼镜主体和交流部件，所述虚拟现实眼镜主体，用于获取穿戴者或者交流方的表达输入；所述交流部件，用于将所述表达输入，转换为对应的表达输出。与现有技术相比，本实用新型具有以下有益效果：提供了一种虚拟现实头戴交流装置及交流系统，应用于一些特殊应用场景中，能够很好的解决交流不通的问题，尤其增强了普通人与特殊人群之间的交流便利性，提高了社会工作中的协作效率；且设备轻便，穿戴使用方便。

Description

一种虚拟现实头戴交流装置及虚拟现实头戴交流系统

技术领域

本实用新型属于智能装备领域，具体涉及一种虚拟现实头戴交流装置，同时本申请还涉及一种虚拟现实头戴交流系统。

背景技术

日常生活工作中，人与人之间的面对面交流是必不可少的场景，对于普通人来说，通过言语来实现面对面交流十分正常与方便。但对于一些特殊人群，如失聪人士、视力障碍人士，面对面交流会变得困难。

失聪人士之间，若双方都懂得手语，可以通过手语进行交流，但失聪人士与普通人之间，或者双方失聪人士中有一方不懂手语，则交流会进入障碍。进一步的，失聪人士与盲人之间的交流则更加困难，一方能通过手语呈现但另一方看不见，一方能说但另一方听不见，这种情况导致交流的完全隔断。此外，不同语言之间的交流也比较麻烦，需要借助手机翻译，耗时长。

现在，随着的科技的发展，虚拟现实技术(虚拟现实)、手势动作捕捉技术、眼球动作捕捉技术、语音识别技术、AI翻译技术等越来越成熟，这些智能技术中的一些已经被应用到现实工作生活中，解决了一些问题。本申请中，尝试将这些只能技术应用到实时交流场景中，尤其是应用到一些特征人士之间的交流场景中，期待能够解决一些目前还存在的问题。

实用新型内容

针对以上现有技术中的不足，本实用新型提供了一种虚拟现实头戴交流装置及虚拟现实头戴交流系统，通过虚拟现实技术、动作捕捉、语音识别、文字识别、AI翻译等技术的辅助，解决了目前特殊人群交流过程中的一些障碍，使信息能够有效流动。

为了解决上述技术问题，本实用新型通过下述技术方案得以解决。

一种虚拟现实头戴交流装置，包括：虚拟现实眼镜主体和交流部件，所述虚拟现实眼镜主体，用于获取穿戴者或者交流方的表达输入；所述交流部件，用于将所述表达输入，转换为对应的表达输出。

本申请中的基于虚拟现实技术的头戴式交流装置，适用于一些特殊场景下的交流辅助工具。如，语言不通的不同国家的两人交流时，虚拟现实眼镜主体可以获取语言信息，翻译后再表达出来，实现双方交流；再如，聋哑人与正常人交流时，虚拟现实眼镜主体可以获取聋哑人的手语信息，翻译后通过语音或文字表达出来；再如，虚拟现实眼镜主体也可以获取唇语信息，翻译成语音或文字表达出来。

作为优选，所述虚拟现实眼镜主体包括：语音输入装置(如：麦克风)、唇型输入装置(如：摄像头)、手势输入装置(如：手势摄像头)、文字输入装置中的一种或多种；所述语音输入装置，用于获取所述穿戴者或者交流方的语音信息；所述语音输入装置，用于获取所述穿戴者或者交流方的语音信息；所述唇型输入装置，用于获取所述穿戴者或者交流方的唇语信息；所述手势输入装置，用于获取所述穿戴者或者交流方的手语信息；所述文字输入装置，用于获取所述穿戴者或者交流方的文字输入信息。

作为优选，所述手势输入装置包括：手势感知摄像头和/或智慧手套。手势感知摄像头可以通过捕捉人手部的动作，识别出相应的手语信息；智慧手套戴在人手上之后，能够感知手部的手语动作，识别出相应的手语信息。

作为优选，所述文字输入装置包括：摄像头、头瞄控制部件、眼动跟踪控制部件、控制手柄中的一种或多种。该结构中，摄像头用于直接识别文字信息，头瞄控制部件、眼动跟踪控制部件用于通过头部动作、眼球动作进行文字输入操作，控制手柄可选择对应的文字或信息。

作为优选，所述交流部件包括：外向显示器、外向流动显示屏、扬声器、仿真机械手中的一种或多种；所述外向显示器位于所述虚拟现实眼镜主体显示器的背面，朝向对外，用于向外显示交流信息，可以为文字、字母、表情、标志等信息；所述外向流动显示屏位于所述虚拟现实眼镜主体显示器的背面，朝向对外，用于向外显示流动的交流信息，适用于有大段文字信息需要输出时，类似于文字滚动的广告牌；所述扬声器位于所述虚拟现实眼镜主体上，用于播放语音，如将手语信息“翻译后”通过语音播放出来；所述仿真机械手位于所述虚拟现实眼镜主体上，朝向对外，用于向外做出手势，如将语音信息通过手语表现出来。

作为优选，虚拟现实头戴交流装置还包括通讯芯片；所述通讯芯片用于与所述网络设备进行信息互传，所述通讯芯片，用于将获取的所述表达输入信息上传，或者，下载对应的输出指令。

作为优选，还包括存储器，用于存储交流数据库；所述交流数据库，用于识别所述表达输入的表达意思，并将该表达意思转换为对应的输出指令。

作为优选，所述交流数据库包括：不同国家/地区的语音数据库、不同国家/地区的唇语数据库、不同国家/地区的文字数据库、不同国家/地区的手语数据库中的一种或多种，可以适应多种特殊的交流场景中。

作为优选，所述虚拟现实头戴交流装置还包括：CPU、GPU、MEM、HDD、I/O设备和通讯芯片。CPU相当于计算机的大脑，进行统筹、运算；GPU与各摄像头相连相当于计算机的眼睛，进行对三维世界的识别；MEM是辅助CPU进行计算的半导体器件；HDD相当于计算机的记忆，用作存储功能。I/O设备和通讯芯片用于无线/有线通讯。

一种虚拟现实头戴交流系统，包括：网络设备和虚拟现实头戴交流装置；所述虚拟现实头戴交流装置，用于将所述表达输入传递至所述网络设备；所述网络设备，用于将所述表达输入转换后的对应的输出指令反馈给所述虚拟现实头戴交流装置；所述虚拟现实头戴交流装置上设有交流部件，该交流部件用于将对应的输出指令转换为对应的表达输出。给结构中，将不同交流手段之间的信息转换放置于云端/服务器/处理终端进行，保证头戴设备的轻便性。

作为优选，所述网络设备用于存储交流数据库，所述交流数据库包括：不同国家/地区的语音数据库、不同国家/地区的唇语数据库、不同国家/地区的文字数据库、不同国家/地区的手语数据库中的一种或多种，可以适应多种特殊的交流场景中。

与现有技术相比，本实用新型具有以下有益效果：提供了一种虚拟现实头戴交流装置及交流系统，应用于一些特殊应用场景中，能够很好的解决交流不通的问题，尤其增强了普通人与特殊人群之间的交流便利性，提高了社会工作中的协作效率；且设备轻便，穿戴使用方便。

附图说明

图1为本实用新型中的虚拟现实头戴交流装置的立体图。

图2为本实用新型中的虚拟现实头戴交流装置的侧视图。

图3为本实用新型中的另一种虚拟现实头戴交流装置的立体图。

图4为使用虚拟现实头戴交流装置进行交流的场景示意图一。

图5为使用虚拟现实头戴交流装置进行交流的场景示意图二。

图6为使用虚拟现实头戴交流装置进行交流的场景示意图三。

具体实施方式

下面结合附图与具体实施方式对本实用新型作进一步详细描述。

以下实施方式中，自始至终相同或类似的标号表示相同或类似的原件或具有相同或类似功能的原件，以下通过参考附图描述的实施方式是示例性的，仅用于解释本实用新型，而不能理解为对本实用新型的限制。

本实用新型描的描述中，需要理解的是，术语：中心、纵向、横向、长度、宽度、厚度、上、下、前、后、左、右、竖直、水平、顶、底、内、外、顺时针、逆时针等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，因此不能理解为对本实用新型的限制。此外，术语：第一、第二等仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明所示技术特征的数量。本实用新型的描述中，除非另有明确的规定和限定，术语：安装、相连、连接等应做广义理解，本领域的普通技术人员可以根据具体情况理解上述术语在本实用性中的具体含义。

参照图1至图5，本申请中涉及的一种虚拟现实头戴交流装置，包括：虚拟现实眼镜主体和交流部件，所述虚拟现实眼镜主体，用于获取穿戴者或者交流方的表达输入；所述交流部件，用于将所述表达输入，转换为对应的表达输出。

具体的，从图1～图3中可以看出，所述虚拟现实眼镜主体包括束缚带1和虚拟现实眼镜主体显示器3，还包括：语音输入装置(如：麦克风5)、唇型输入装置(如：摄像头6)、手势输入装置(如：手势摄像头4)、文字输入装置中的一种或多种，这些模块集成在眼镜体3中，其中，麦克风5可以为内置式结构，也可以通过连接件设于人面部附件，为常规的安装方式，摄像头6安装在虚拟现实眼镜主体显示器3的两侧上端，手势摄像头4安装在虚拟现实眼镜主体显示器3的侧部。

以上结构中，所述唇型输入装置，用于获取所述穿戴者或者交流方的唇语信息；所述手势输入装置，用于获取所述穿戴者或者交流方的手语信息；所述文字输入装置，用于获取所述穿戴者或者交流方的文字输入信息，文字输入装置可以为手写板、键盘、虚拟键盘、眼球动态捕捉装置等。此外，所述手势输入还可以为智慧手套，套在手上后，可以随着手部的动作感知手势变化，识别相应的手语操作。所述文字输入装置包括：摄像头、头瞄控制部件、眼动跟踪控制部件、控制手柄中的一种或多种。

本申请中，所述交流部件包括：外向显示器2、外向流动显示屏、扬声器、仿真机械手中的一种或多种；所述外向显示器2位于所述虚拟现实眼镜主体显示器3的外部，朝向对外，用于向外显示交流信息；所述外向流动显示屏位于所述虚拟现实眼镜主体的外部，朝向对外，用于向外显示流动的交流信息(外向显示器和外向流动显示屏可以为同一块屏幕)；所述扬声器位于所述虚拟现实眼镜主体上，用于播放语音；所述仿真机械手位于所述虚拟现实眼镜主体上，朝向对外，用于向外做出手势，适用于无臂失聪人士进行手语交流。

本申请中的虚拟现实头戴交流装置还包括存储器，用于存储交流数据库；所述交流数据库，用于识别所述表达输入的表达意思，并将该表达意思转换为对应的输出指令。所述交流数据库包括：不同国家/地区的语音数据库、不同国家/地区的唇语数据库、不同国家/地区的文字数据库、不同国家/地区的手语数据库中的一种或多种。所述虚拟现实头戴交流装置还包括：CPU、GPU、MEM、HDD、I/O设备和通讯芯片。CPU相当于计算机的大脑，进行统筹、运算；GPU与各摄像头相连相当于计算机的眼睛，进行对三维世界的识别；MEM是辅助CPU进行计算的半导体器件；HDD相当于计算机的记忆，用作存储功能。I/O设备和通讯芯片用于无线/有线通讯。

此外，本实用新型中还涉及一种虚拟现实头戴交流系统，包括：网络设备和虚拟现实头戴交流装置；所述虚拟现实头戴交流装置，用于将所述表达输入传递至所述网络设备；所述网络设备，用于将所述表达输入转换后的对应的输出指令反馈给所述虚拟现实头戴交流装置；所述虚拟现实头戴交流装置上设有交流部件，该交流部件用于将对应的输出指令转换为对应的表达输出。所述网络设备用于存储交流数据库，所述交流数据库包括：不同国家/地区的语音数据库、不同国家/地区的唇语数据库、不同国家/地区的文字数据库、不同国家/地区的手语数据库中的一种或多种。

以下结合具体实施例对本申请做详细说明。

实施例一

可以参考附图1～附图3，普通人与失聪人交流时，失聪人带上虚拟现实头戴交流装置，失聪人打手语，手语的姿势被手势摄像头4记录并传至处理中心进行分析，处理中心将记录的手语手势与存储在设备中的手语数据库进行比对，解析出该手语的意思，并将该意思以文字的形式显示在外向显示器2上，供对方查看，同时麦克风5收集对方的语音信息，将该语音信息转变为文字，显示在虚拟现实头戴交流装置的内部显示屏上，供失聪人员查看，基于以上的过程，可以进行普通人与失聪人之间的交流。同时，麦克风5也可以收集周围环境中的声音信息，将该语音信息转变为文字，显示在虚拟现实头戴交流装置的内部显示屏(虚拟现实显示装置)上，供失聪人员查看；摄像头6也可以拍摄外部影像实时显示在内部显示屏上。

实施例二

普通人与盲人交流时，盲人带上虚拟现实头戴交流装置，盲人说话，对方能够听到，对方说话，盲人也能听到。当普通人向盲人展示文字材料时，摄像头6拍摄到该文字材料，将其转换为语音，通过耳机7播放给盲人听。此外，盲人在独自外出时，遇到路标、店名、通知公告时，够可由摄像头6拍摄到该文字材料，将其转换为语音，通过耳机7播放给盲人听。

实施例三

可以参考图4，盲人与失聪人员交流时，双方都带上虚拟现实头戴交流装置，失聪人打手语，手语的姿势被手势摄像头4记录并传至处理中心进行分析，处理中心将记录的手语手势与存储在设备中的手语数据库进行比对，解析出该手语的意思，并将该意思以文字的形式显示在外向显示器2上，盲人的虚拟现实头戴交流装置上的摄像头6拍摄到该文字材料，将其转换为语音，通过耳机7播放给盲人听。

实施例四

可以参考图4，盲人与失聪人员交流时，双方都带上虚拟现实头戴交流装置，失聪人打手语，手语的姿势被手势摄像头4记录并传至处理中心进行分析，处理中心将记录的手语手势与存储在设备中的手语数据库进行比对，解析出该手语的意思，并将该意思语音的形式直接播放出来(通过外放喇叭)，供盲人听。

实施例五

可以参考图4，盲人与盲人交流时，盲人都带上虚拟现实头戴交流装置，盲人说话，对方能够听到，可以交流。当彼此之间需要展示文字材料时，摄像头6拍摄到该文字材料，将其转换为语音，通过耳机7播放给盲人听。

实施例六

普通人与失聪人交流时，失聪人带上虚拟现实头戴交流装置，失聪人打手语，手语的姿势被手势摄像头4记录并传至处理中心进行分析，处理中心将记录的手语手势与存储在设备中的手语数据库进行比对，解析出该手语的意思，并将该意思以文字的形式显示在外向显示器2上，供对方查看。同时摄像头6拍摄对方说话时的嘴唇姿态，并将该嘴唇姿态与传至处理中心进行分析，处理中心将记录的嘴唇姿态与存储在设备中的唇语数据库进行比对，解析出该唇语的意思，并将该意思以文字的形式显示在虚拟现实头戴交流装置的内部显示屏(虚拟现实显示装置)上，供失聪人员查看。

实施例七

可以参考图6，不同语种的两个普通人交流时，带上虚拟现实头戴交流装置，麦克风5收集对方的语音信息，通过翻译后转换成熟悉的语言，在耳机7中播放，可以实现双方的实时翻译交流。

以上实施例中，其中的虚拟现实头戴交流装置的镜架1上设有电池模块，用于供电，同时还设有处理中心，用于进行信息处理，同时可以根据需要设置一定数量的按钮/触摸键，用来实现如音量调节、开关机等操作。虚拟现实头戴交流装置通过蓝牙、wifi、GSM、4G、5G等现有技术与外界保持通信连接。此外，以上实施例中，数据内容可以存储在眼镜主体中的存储器中，也可以存储在服务器上，通过网络实现连接。附图4-6中的角度a为手势摄像头4可的捕捉范围，刚好是人双手做动作的区域。

虚拟现实头戴交流装置(及系统)，不论是正常人、失聪残障人士、失声残障人士或失明残障人士佩戴，与正常人(语种翻译方案)、失聪残障人士(手语翻译方案)、失声残障人士(唇读翻译方案)或失明残障人士(语音翻译方案)进行交流，都是交流之有益中介。实施方式不一一说明，但虚拟现实头戴交流装置(及系统)均可辅助实现双方的交流沟通。甚至于双方都佩戴该交流装置，更有助于双方的顺畅交流沟通。

以上所述，本实用新型提供了一种虚拟现实头戴交流装置及交流系统，应用于一些特殊应用场景中，能够很好的解决交流不通的问题，尤其增强了普通人与特殊人群之间的交流便利性，提高了社会工作中的协作效率；且设备轻便，穿戴使用方便。

本实用新型的保护范围包括但不限于以上实施方式，本实用新型的保护范围以权利要求书为准，任何对本技术做出的本领域的技术人员容易想到的替换、变形、改进均落入本实用新型的保护范围。

Claims

1.一种虚拟现实头戴交流装置，其特征在于，包括：虚拟现实眼镜主体和交流部件，所述虚拟现实眼镜主体，用于获取穿戴者或者交流方的表达输入；所述交流部件，用于将所述表达输入，转换为对应的表达输出；还包括通讯芯片；所述通讯芯片用于与网络设备进行信息互传，所述通讯芯片，用于将获取的所述表达输入信息上传，或者，下载对应的输出指令。

2.如权利要求1所述的一种虚拟现实头戴交流装置，其特征在于，所述虚拟现实眼镜主体包括：语音输入装置、唇型输入装置、手势输入装置、文字输入装置中的一种或多种；其中，所述语音输入装置，用于获取所述穿戴者或者交流方的语音信息；或者，所述唇型输入装置，用于获取所述穿戴者或者交流方的唇语信息；或者，所述手势输入装置，用于获取所述穿戴者或者交流方的手语信息；或者，所述文字输入装置，用于获取所述穿戴者或者交流方的文字输入信息。

3.如权利要求2所述的一种虚拟现实头戴交流装置，其特征在于，所述手势输入装置包括：手势感知摄像头和/或智慧手套，或者，所述文字输入装置包括：摄像头、头瞄控制部件、眼动跟踪控制部件、控制手柄中的一种或多种。

4.如权利要求1所述的一种虚拟现实头戴交流装置，其特征在于，所述交流部件包括：外向显示器、外向流动显示屏、扬声器、仿真机械手中的一种或多种；其中，所述外向显示器位于所述虚拟现实眼镜主体显示器的背面，朝向对外，用于向外显示交流信息；或者，所述外向流动显示屏位于所述虚拟现实眼镜主体显示器的背面，朝向对外，用于向外显示流动的交流信息；或者，所述扬声器位于所述虚拟现实眼镜主体上，用于播放语音；或者，所述仿真机械手位于所述虚拟现实眼镜主体上，朝向对外，用于向外做出手势。

5.如权利要求1所述的一种虚拟现实头戴交流装置，其特征在于，还包括存储器，用于存储交流数据库；所述交流数据库，用于识别所述表达输入的表达意思，并将该表达意思转换为对应的输出指令。

6.如权利要求5所述的一种虚拟现实头戴交流装置，其特征在于，所述交流数据库包括：不同国家/地区的语音数据库、不同国家/地区的唇语数据库、不同国家/地区的文字数据库、不同国家/地区的手语数据库中的一种或多种。

7.如权利要求1所述的一种虚拟现实头戴交流装置，其特征在于，所述虚拟现实头戴交流装置还包括：CPU、GPU、MEM、HDD、I/O设备和通讯芯片。

8.一种虚拟现实头戴交流系统，其特征在于，包括：网络设备和如权利要求1-7中任意一项权利要求所述的虚拟现实头戴交流装置；所述虚拟现实头戴交流装置，用于将所述表达输入传递至所述网络设备；所述网络设备，用于将所述表达输入转换后的对应的输出指令反馈给所述虚拟现实头戴交流装置；所述虚拟现实头戴交流装置上设有交流部件，该交流部件用于将对应的输出指令转换为对应的表达输出。

9.如权利要求8所述的一种虚拟现实头戴交流系统，其特征在于，所述网络设备用于存储交流数据库，所述交流数据库包括：不同国家/地区的语音数据库、不同国家/地区的唇语数据库、不同国家/地区的文字数据库、不同国家/地区的手语数据库中的一种或多种。