CN108852620A - 智能颈戴设备及其控制方法 - Google Patents

Abstract

本发明提供了一种智能颈戴设备，包括主机，主机包括用于收集并处理环境声音信息，以及生成3D和/或AR音频数据的音频处理模块、用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据的图像处理模块、用于对各个模块的信息数据进行综合处理和控制的中央处理模块和存储由中央处理模块执行的计算机程序的存储模块。显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据。如此设置，能够实现在VR和/或AR显示中标记环境中声音的声源位置，实现让耳聋人士通过VR或AR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。同时为其他移动终端提供了智能移动硬件平台。本发明还提供了一种智能颈戴设备的控制方法。

Description

智能颈戴设备及其控制方法

技术领域

本发明涉及电子技术领域，特别是涉及一种智能颈戴设备及其控制方法。

背景技术

听力、视力和语言在人的智力发育中占据重要地位。

目前，耳聋人士一般在语言发育完成前(5岁)通过植入人工耳蜗来获得听力。但是，该种通过植入人工耳蜗来获得听力的人群，仅仅是能够获得部分听力，而无法定位声源的位置，且无法适应复杂的声音环境。此外，大部分未做人工耳蜗的耳聋人士则听不到外界声音,导致该类人群一般不会说话，通常使用手语交流或文字交流，且智力较一般同龄人低。

盲人只能听见外界声音而看不见世界,一般使用语言交流，使用盲文阅读。但无法与聋哑人交流。此外，盲人可以选择使用导盲犬做向导,或使用电子导盲仪(舌头导盲仪和前额导盲仪或仿生电子眼)获得部分视力,而盲人使用电子导盲仪需要在失明前已完成视觉发育，而获得的部分视力是只是比较模糊的简单黑白形状，所以还是只能听见外界声音而看不外界世界,一般使用语言交流，使用盲文阅读。

色盲人士能够看到外界，但其眼中的世界与常人看到的颜色不同。

哑巴一般能够发出一定的声音但不能够像正常人一样形成语言，一般需要使用哑语进行交流。但大部分人不懂哑语。因此，该人士只能够跟少部分人交流，交际范围受到很大的限制。

另一方面，在聋哑学校这类残障人士比较集中的场所，不同残疾种类的人士往往不能很好的交流，其交际范围也存在很大的限制。

发明内容

基于上述，提供一种能够让聋哑盲等残障人士更加接近正常人生活的智能颈戴设备。

此外，还提供了所述智能颈戴设备实现各项功能的控制方法。

一种智能颈戴设备，包括主机，所述主机包括音频处理模块，用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据；图像处理模块，用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据；所述显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据；中央处理模块，用于对各个模块的信息数据进行综合处理和控制；存储模块，存储由所述中央处理模块执行的计算机程序。

在其中一个实施例中，所述图像处理模块设置有前置图像采集单元或外接有环境图像采集设备；所述环境图像采集设备包括前置环境图像采集设备；所述前置图像采集单元，以及所述前置环境图像采集设备用于采集用户前方的环境图像信息。

在其中一个实施例中，所述图像处理模块还设置有后置图像采集单元；所述环境图像采集设备还包括后置环境图像采集设备；所述后置图像采集单元，以及所述后置环境图像采集设备用于采集用户背后的环境图像信息。如此设置，能够使用户看到身后的环境图像，从而防止危险。例如，可以帮助耳聋人士看到背后的情况以避免耳聋人士无法听到背后声音而产生的危险。此外，前置图像采集单元或前置环境图像采集设备，与后置图像采集单元或后置环境图像采集设备能够使用户获得整个前后视野。因而可以实现戴着VR眼镜行走。

在其中一个实施例中，所述图像处理模块还外接有AR眼镜，和/或VR眼镜，和/或MR眼镜；所述AR眼镜，和/或所述VR眼镜，和/或所述MR眼镜的眼镜架上设置有至少一个所述前置环境图像采集设备。如此设置，够使用户获得整个前后视野，减少行走途中的危险。例如，当耳聋人士在使用VR眼镜时，VR眼镜设置的前置环境图像采集设备和智能颈戴设备设置的后置图像采集单元或后置环境图像采集设备能够使耳聋人士获得整个前后视野，从而避免耳聋人士因不能辨别声音方位或看不到背后情况而发生危险。此外，由于能够获得整个前后视野，因而本方案还能够实现使用户戴着VR眼镜行走。

在其中一个实施例中，所述后置图像采集单元和/或前置图像采集单元为摄像头、红外成像单元或超声波成像单元中的一种或两种及两种以上的组合；后置环境图像采集设备和/或前置环境图像采集设备为摄像头、红外成像设备或超声波成像设备中的一种或两种及两种以上的组合；其中，所述摄像头为被动光线摄像头或主动光线摄像头；所述红外成像单元为被动红外成像单元或主动红外成像单元；所述超声波成像单元为主动超声波成像单元或被动超声波成像单元；所述红外成像设备为被动红外成像设备或主动红外成像设备；所述超声波成像设备为主动超声波成像设备或被动超声波成像设备。

在其中一个实施例中，所述图像处理模块还用于识别并获取手语或手势信息；所述音频处理模块还用于将所述图像处理模块获取的所述手语或所述手势信息转化成音频数据。

在其中一个实施例中，所述图像处理模块还用于将所述环境图像信息转化成用于通过导盲设备输出的导盲数据。

在其中一个实施例中，所述图像处理模块还用于获取所述环境图像信息中的颜色信息，以及将所述颜色信息转化成VR显示数据和/或AR显示数据。

在其中一个实施例中，还包括盲文数据传输模块；所述盲文数据传输模块用于将获取的第一信息数据转化成第二信息数据，和/或将获取的第二信息数据转化成第一信息数据；所述第一信息数据包括语音信息数据，和/或手语信息数据，和/或文字信息数据，和/或图像信息数据；所述第二信息数据为盲文数据；所述文字信息数据包括盲文数据；所述盲文数据包括布莱尔盲文数据。

在其中一个实施例中，所述盲文数据传输模块包括盲文触点输出单元；所述盲文触点输出单元与人体接触；所述盲文触点输出单元用于输出所述盲文数据。

在其中一个实施例中，还包括内外传输数据处理模块、生物信息处理模块、网络数据模块、电子脉冲驱动模块、以及人工智能处理模块中的任意一个模块或两个以及两个以上模块；所述内外传输数据处理模块用于转换所述主机与外接数据源之间传输数据的格式；所述生物信息处理模块用于将人体生物特征信息转换成数字信号；所述网络数据模块用于与网络连接，上传和下载信息数据；所述电子脉冲驱动模块用于将电子脉冲控制信号转换成电子脉冲电流信号；所述人工智能处理模块用于将用户的行为信息转化为数字信息并储存，以辅助用户对行为信息的记忆；所述人工智能处理模块分别与所述存储模块和所述中央处理模块连接；所述行为信息包括主体行为信息和客体行为信息。

上述智能颈戴设备，通过在所述主机内设置用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据的音频处理模块。用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的VR、AR、MR中至少一种显示数据的图像处理模块。从而通过收集包含有环境声音的声源位置信息的环境声音信息，并在VR、AR、或MR显示中标记环境中声音的声源位置，实现让耳聋人士通过VR，或AR，或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。通过接收更多的环境信息刺激，还能够进一步促进其智力的提升。

根据上述智能颈戴设备，本公开还提供了如下几种智能颈戴设备的控制方法。

一种智能颈戴设备的控制方法，所述方法包括：获取环境图像信息和同一时刻相应的环境声音信息；所述环境声音信息包括环境声音的声源位置信息；将所述环境图像信息和所述环境声音的声源位置信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。

上述方法通过收集包含有环境声音的声源位置信息的环境声音信息，并在VR、AR、或MR显示中标记环境中声音的声源位置，能够实现让耳聋人士通过VR，或AR，或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。

一种智能颈戴设备的控制方法，所述方法包括：识别并获取文字信息、音频信息、手语或手势信息；将所述文字信息、所述音频信息、所述手语或手势信息转化成盲文数据或导盲数据，或将手语或手势信息转化成所述文字信息或所述音频信息。

上述方法，通过将文字信息、音频信息、手语或手势信息转化成盲文数据或导盲数据，或将手语或手势信息转化成所述文字信息或所述音频信息。能够实现导盲功能，以及方便盲人与他人之间的交流。同时，还能够让哑巴与具备阅读能力者之间的交流。

一种智能颈戴设备的控制方法，所述方法包括：识别并获取环境图像信息中的颜色信息；将所述颜色信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。

上述方法，通过识别并获取环境图像信息中的颜色信息，并通过VR、AR或MR显示出来，能够让色盲患者知晓其看到的与常人一样世界的颜色，提高其交际的便利性。

一种智能颈戴设备的控制方法，述方法包括：将用户的行为信息转化为数字信息上传至第三方数据平台进行计算；将计算结果返回至用户端，储存并指导用户行为或辅助用户进行行为信息的记忆；所述行为信息包括主体行为信息和客体行为信息；所述主体行为信息包括主体声音信息和/或主体图像信息；所述客体行为信息包括客体声音信息和/或客体图像信息。

上述方法，通过收集用户的行为信息，并将用户的行为信息转化为数字信息上传至第三方数据平台进行计算，计算结果返回至用户端，储存并指导用户行为或辅助用户进行行为信息的记忆。能够利用已有的互联网大数据平台实现更加的计算(例如云计算等)，使用户的行为能够得到更加精确的表达。此外，该方法通过将残障人士的行为信息想表达的意思与大众的意思相匹配，能够提高其与大众之间的交流能力。同时存储的行为信息，也能够被重新调用，反复让存在有智力障碍者学习，从而提高其对某些特定的行为信息的记忆能力。例如通过长时间获取哑巴的行为信息，将其在各个环境中的行为信息进行收集和处理，通过人工智能深度学习(通过主客体行为信息分析整理多个场合的可能意思表达，或结合互联网大数据进行云端计算，并返回计算结果)哑巴不同发音和关联相应文字意义，把哑巴不同发音转化为文字显示或正常的语音输出。从而使将哑巴的行为信息想表达的意思与大众的意思相匹配，提高其与大众之间的交流能力。

此外，为了很好的利用眼镜和颈戴设备的结构和与人体接触的特性，并能够与上述主机配合实现多种功能，本申请还提供了等智能眼镜AR、VR以及MR眼镜的设计方案。

一种智能眼镜，包括眼镜架和设置在眼镜框内由第一显示屏幕制成的镜片，还包括第二显示屏幕；所述第二显示屏幕与所述镜片连接，和/或与所述眼镜架连接；所述第二显示屏幕为单面显示屏幕或双面显示屏幕；第一显示屏幕为AR显示屏幕、VR显示屏幕或MR显示屏幕。

在其中一个实施例中，所述第二显示屏幕设置在所述镜片上，或嵌入所述镜片内，或与眼镜架转动副连接以形成翻转结构。

在其中一个实施例中，所述第二显示屏幕为一块完整屏幕或两块及两块以上屏幕的组合；所述第二显示屏幕为直面屏幕或曲面屏幕。

在其中一个实施例中，所述单面显示屏幕为触摸显示屏幕；

所述双面显示屏幕的内侧和/或外侧屏幕为触摸显示屏幕。

在其中一个实施例中，所述眼镜架上设置有至少一个用于采集用户前方环境图像信息的前置环境图像采集设备。

在其中一个实施例中，所述前置环境图像采集设备的采集视角与眼镜的视角相同。

在其中一个实施例中，眼镜架上还设置有至少一个生物信息采集设备；所述生物信息采集设备贴近人体的太阳穴。

上述AR眼镜，通过设置与AR显示镜片连接，或与眼镜架连接的第二显示屏幕。一方面能够通过第二显示屏幕显示文字或图画信息以方便哑巴与预备阅读能力者交流。另外一方面能够通过第二显示屏幕显示VR画面，从而实现AR眼镜与VR眼镜功能的切换。同时，当第二显示屏幕为触摸屏幕时还能够作为信号输入端(类似于手机屏幕，并具有盲文输入功能)，实现人机交互功能。

上述VR眼镜，通过设置与VR显示镜片连接，或与眼镜架转连接的第二显示屏幕。能够通过第二显示屏幕显示文字或图画信息以方便哑巴与预备阅读能力者交流。同时还能显示如警示信息等，(警示别人的信息提醒或显示信息给对方看到)以方便盲人活动。此外，当额外设置的显示屏幕为触摸屏幕时还能够作为信号输入端(类似于手机屏幕，并具有盲文输入功能)，实现人机交互功能。

上述MR眼镜，通过设置与MR显示镜片连接，或与眼镜架连接的第二显示屏幕。一方面能够通过第二显示屏幕显示文字或图画信息以方便哑巴与预备阅读能力者交流。另外一方面能够通过第二显示屏幕显示AR或VR画面，从而实现MR眼镜与AR眼镜或VR眼镜功能的切换。同时，当额外设置的显示屏幕为触摸屏幕时还能够作为信号输入端(类似于手机屏幕，并具有盲文输入功能)，实现人机交互功能。

附图说明

图1为一实施例提供的智能颈戴设备主机内部系统和外接设备连接关系的系统结构示意图；

图2为一实施例提供的智能颈戴设备主机及各功能模块接口位置分布的结构示意图；

图3为一实施例提供的智能颈戴设备与AR或MR眼镜连接的第一状态系统结构示意图；

图4为一实施例提供的智能颈戴设备与AR或MR眼镜连接的第二状态系统结构示意图；

图5为一实施例提供的智能颈戴设备与VR眼镜连接的系统结构示意图；

图6为一实施例提供的VR镜片设置有附加显示屏幕的VR眼镜结构示意图；

图7为一实施例提供的设置有一块完整附加显示屏幕覆盖两块VR镜片且与眼镜架连接的VR眼镜结构示意图；

图8为一实施例提供的设置有一块附加显示屏幕覆盖单个VR镜片且与眼镜架连接的VR眼镜结构示意图；

图9为一实施例提供的设置有一块完整附加显示屏幕覆盖两块AR或MR镜片且与眼镜架转动副连接的AR或MR眼镜结构示意图；

图10为一实施例提供的设置有两块附加显示屏幕覆盖两个AR或MR镜片且与眼镜架转动副连接的AR或MR眼镜结构示意图；

图11为一实施例提供的设置有一块附加显示屏幕覆盖单个AR或MR镜片且与眼镜架转动副连接的AR或MR眼镜第一结构示意图；

图12为一实施例提供的设置有一块附加显示屏幕覆盖单个AR或MR镜片且与眼镜架转动副连接的AR或MR眼镜第二结构示意图；

图13为一实施例提供的设置有一块附加显示屏幕嵌入单个AR或MR镜片的AR或MR眼镜结构示意图。

附图标记说明：10.主机；100.图像处理模块；110.第一数据传输单元；120.导盲数据处理单元；131.VR显示数据处理单元；132.AR显示数据处理单元；133.MR显示数据处理单元；140.环境图像处理单元；150.导盲数据输出端口；151.导盲数据输出设备；160.显示数据输出端口；161.VR显示设备；162.AR显示设备；163.MR显示设备；164.显示屏幕(单面显示或双面显示)170.环境图像数据输入端口；171.环境图像采集设备；181、前置环境图像采集单元；182、后置环境图像采集单元；200.音频处理模块；210.第二数据传输单元；220.输入语音处理单元；230.3D音频处理单元；240.AR音频处理单元；250.人工耳蜗音频数据处理单元；260.环境音频处理单元；270.语音输入端口；271.语音输入设备；280.音频输出端口；281.音频输出设备；282.人工耳蜗设备；290.环境声音采集单元；300.生物信息处理模块；310.第三数据传输单元；320.生物信息处理单元；330.生物信息输入端口；331.生物信息采集设备；400.内外传输数据处理模块；410.第四数据传输单元；420.内外传输数据处理单元；430.内外数据传输端口；431.终端设备；500.盲文数据传输模块；510.第五数据传输单元；520.盲文数据处理单元；530.盲文数据收发单元；531.盲文数据输入/输出设备；540.盲文触点驱动单元；550.盲文触点输出单元；600.网络数据模块；610.第五数据传输单元；620.网络数据处理单元；630.网络数据收发单元；700.电子脉冲驱动模块；710.第六数据传输单元；720.电子脉冲信号处理单元；730.电子脉冲信号输出端口；731.电子脉冲输出设备；800.电池模块；810.电源输出单元；820.电池组件；830.充电接口；20.中央处理模块；30.存储模块；40.人工智能处理模块。

具体实施方式

在阐述下面的本发明的具体实施方式之前，先阐述在本专利文件整篇中使用的某些词和词语的定义是有利的：术语“包括”以及它的派生词的意思是非限制性的包含；术语“或”表示并列；术语“和/或”表示A、B、A和B三种方案；术语“模块”和“单元”，以及它们的派生词的意思是能够单独命名并独立地完成一定功能的程序语句的集合，在系统结构中可组合、分解和更换的单元；词语“连接”以及它的派生词的意思可以是直接或间接的连接、被包括在内、与…互连、包含、被包含在内、连接到或与…连接、耦合到或与…耦合、与…通信、与…合作、交错、并列、临近、受……限制、具有、具有…属性等等。应注意的是，与任何特定的控制器相关联的功能可以本地或远程地集中实现或分布实现。提供了贯穿本专利文件的某些词和词语的定义，本领域的普通技术人员应理解的是，在很多情况下或者大多数情况下，这样的定义适用于如此定义的词和词语的之前以及将来的使用。

此外，在本专利文件中，下面讨论的图1-13和用于描述本公开的原理或方法的各种实施例只用于说明，而不应以任何方式解释为限制了本公开的范围。本领域的技术人员应理解的是，本公开的原理或方法可在任何适当布置的电子设备中实现(比如设置成腰间穿戴或其他穿戴设备等)。参考附图1-13，本公开的优选实施例将在下文中描述。在下面的描述中，将省略众所周知的功能或配置的详细描述，以免以不必要的细节混淆本公开的主题。而且，本文中使用的术语将根据本发明的功能定义。因此，所述术语可能会根据用户或操作者的意向或用法而不同。因此，本文中使用的术语必须基于本文中所作的描述来理解。

一种智能颈戴设备，如图1所示，包括主机10，主机10包括音频处理模块200、图像处理模块100、中央处理模块20、以及存储模块30。其中，音频处理模块200用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据。图像处理模块100用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据。显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据。中央处理模块20用于对各个模块的信息数据进行综合处理和控制。存储模块30存储由中央处理模块20执行的计算机程序。如图1所示，该方案通过在音频处理模块200内设置用于采集环境声音并将环境声音转化成电信号的环境声音采集单元290和用于将采集到的环境声音转化成环境声音数据的环境音频处理单元260收集并处理环境声音信息。同时，在图像处理模块100内设置环境图像数据处理单元140、以及VR显示数据处理单元131、AR显示数据处理单元132和MR显示数据处理单元133。其中，环境图像数据处理单元140将收集到的环境图像信息进行处理加工，转化成环境图像信息数据。中央处理模块20将环境图像信息数据和环境声音数据中的环境声音的声源位置信息进行整合(使环境声音的声源位置标记在产生声音的环境客观存在物的图像上)，生成适合VR显示数据处理单元131，和/或AR显示数据处理单,132，和/或MR显示数据处理单元133处理的中间信息数据。VR显示数据处理单元131将包含有环境声音的声源位置信息和环境图像信息的中间信息数据转化成VR显示驱动数据(使环境声音的声源位置标记在产生声音的环境客观存在物的图像上显示)。AR显示数据处理单元132或MR显示数据处理单元133将包含有环境声音的声源位置信息和环境图像信息的中间信息数据转化成AR显示驱动数据或MR显示驱动数据(使环境声音的声源位置标记在产生声音的环境客观存在物的图像上显示)。VR显示数据处理单元131、AR显示数据处理单元132和MR显示数据处理单元133也可以同时进行工作。此外，本公开方案还可以设置有人工耳蜗音频数据处理单元250将环境声音数据转化成适合人工耳蜗输出的人工耳蜗音频数据。上述设置，能够实现让耳聋人士通过VR、AR或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。通过接收更多的环境信息刺激，还能够进一步促进其智力的提升。

在其中一个实施例中，如图1所示，图像处理模块100设置有前置图像采集单元181或外接有环境图像采集设备171。环境图像采集设备171包括前置环境图像采集设备。其中，前置图像采集单元181，以及前置环境图像采集设备用于采集用户前方的环境图像信息。在该实施例中，主机通过内设的前置图像采集单元181或外接前置环境图像采集设备来采集用户前方的环境信息。一般情况下，本公开方案中的主机需要外接输出设备将采集并分析的数据输出给用户感知。如图1所示，本公开方案可以将VR显示设备161、AR显示设备162、MR显示设备163中的任意一种或两种及两种以上的组合显示设备通过显示数据输出端口160可拆卸或不可拆卸的与图像处理模块100连接。通常VR显示设备161通过显示数据输出端口160与VR显示数据处理单元131连接。AR显示设备162通过显示数据输出端口160与AR显示数据处理单元132连接。MR显示设备163通过显示数据输出端口160与MR显示数据处理单元133连接。而VR显示数据处理单元131、AR显示数据处理单元132和MR显示数据处理单元133既可以通过第一数据传输单元110直接与环境图像数据处理单元140连接，也可以通过中央处理模块20与环境图像数据处理单元140间接连接。如此设置，当用户佩戴VR显示设备161时，可以通过VR显示的方式显示用户前方的环境图像，不仅能够使用户获得真实的环境图像，还能够将环境图像中的各个客观存在物进行数字化信息标注(自然界中现有事物的基本属性已被大量的收集、分析和运用，因而能够通过收集环境图像中的客观存在物进行较精确的数据分析并将分析结果呈现出来，分析结果还能够包括客观存在物的运动属性和振动发声特性)，一方面能够使用户更加清楚的认识身处的环境信息，起到认知和学习的作用。另一方面能够在标注信息中标注环境中振动发声的客观存在物(例如对正常人的听觉范围内的声源位置进行标注等)。同时，由于能够通过VR显示设备161显示用户前方的整个视野环境，因而还能够使用户戴着VR显示设备161行走。还能够指导用户行为(例如，分析和指引购物信息或通过GPS显示导航信息等)。当用户佩戴AR显示设备162或MR显示设备163时，也能够自动收集用户前方视野中的客观存在物，并对收集到的客观存在物进行数字化分析和呈现，使用户能够更加全面和深入地认识周围的环境，并指导用户行为(例如，分析和指引购物信息或通过GPS显示导航信息等)。此外，通过AR显示设备162或MR显示设备163显示环境声音的声源位置时，还能够使耳聋人士在听到环境声音的同时，知晓声音的位置来源。更进一步地，还能够使研究人员通过显示设备直观的看到客观存在物的基本信息(例如尺寸规格、温度、辐射强度和辐射频谱以及通过辐射频谱得出的物质组成信息等)、环境温度、湿度以及环境声音的频谱信息等，从而提高研究效率。

在其中一个实施例中，如图1所示，图像处理模块100还设置有后置图像采集单元182。环境图像采集设备171还包括后置环境图像采集设备。后置图像采集单元182，以及后置环境图像采集设备用于采集用户背后的环境图像信息。如此设置，能够使用户看到身后的环境图像，从而防止危险。例如，可以帮助耳聋人士看到背后的情况以避免耳聋人士无法听到背后声音而产生的危险。前置图像采集单元181或前置环境图像采集设备，与后置图像采集单元182或后置环境图像采集设备能够使用户获得整个前后视野。因而可以实现戴着VR显示设备161在复杂的环境中行走。此外，该实施例也同样具备上述实施例中设置前置图像采集单元181或前置环境图像采集设备的所有功能。

在其中一个实施例中，图像处理模块还外接有AR眼镜，和/或VR眼镜，和/或MR眼镜。AR眼镜，和/或VR眼镜，和/或MR眼镜的眼镜架上设置有至少一个前置环境图像采集设备。如此设置，够使用户获得整个前后视野，减少行走途中的危险。例如，当耳聋人士在使用VR眼镜时，VR眼镜设置的前置环境图像采集设备和智能颈戴设备设置的后置图像采集单元或后置环境图像采集设备能够使耳聋人士获得整个前后视野，从而避免耳聋人士因不能辨别声音方位或看不到背后情况而发生危险。由于能够获得整个前后视野，因而本方案还能够实现使用户戴着VR眼镜行走。此外，该实施例也同样具备上述实施例中设置前置图像采集单元181或前置环境图像采集设备的所有功能。再者，将前置环境图像采集设备与AR眼镜、VR眼镜、或MR眼镜等智能眼镜相结合，由于眼镜佩戴位置与人的眼睛位置非常的接近，因而其图像采集的视野与人本身的视野重合度高，视角精度高，能够保障其采集到的环境图像与人看到的真实图像在直观上相吻合，减少用户使用过程中的眩晕感。

在其中一个实施例中，后置图像采集单元182和/或前置图像采集单元181为摄像头、红外成像单元或超声波成像单元中的一种或两种及两种以上的组合。后置环境图像采集设备和/或前置环境图像采集设备为摄像头、红外成像设备或超声波成像设备中的一种或两种及两种以上的组合。其中，摄像头为被动光线摄像头或主动光线摄像头。红外成像单元为被动红外成像单元或主动红外成像单元。超声波成像单元为主动超声波成像单元或被动超声波成像单元。红外成像设备为被动红外成像设备或主动红外成像设备。超声波成像设备为主动超声波成像设备或被动超声波成像设备。在该实施例中，红外成像单元或红外成像设备，以及超声波成像单元或超声波成像设备能够在夜间对周围的环境进行成像，从而能够使人能够通过VR显示设备161、AR显示设备162或MR显示设备163(如佩戴VR、AR或MR眼镜)获得夜视能力，提高夜间行走及行车的安全性。此外，采用主动光线的摄像头也能够获得一部分夜视能力。摄像头、红外成像单元、超声波成像单元、红外成像设备或超声波成像设备中两种及两种以上的组合使用，能够使用户根据不同环境下的需要采用不同的环境图像采集方式，增强用户在多种复杂环境下的适应能力。例如，在矿藏开采、水下作业或野外探险以及生物研究中，将红外成像技术与超声波成像技术(声呐成像技术)的结合使用能够兼顾大范围环境图像与近距离环境图像的采集，使环境图像采集的信息量更加全面。

在其中一个实施例中，如图1所示，图像处理模块100外接有环境图像采集设备171、以及VR显示设备161、AR显示设备162、MR显示设备163中的一个或两个及两个以上的组合。音频处理模块200外接有人工耳蜗设备282。其中，环境图像采集设备171用于采集并生成环境图像信息数据。VR显示设备161用于将VR显示数据输出为VR显示图像。AR显示设备162用于将AR显示数据输出为AR显示图像。MR显示设备163用于将MR显示数据输出为MR显示图像。人工耳蜗设备282用于将人工耳蜗音频数据输出为直接兴奋患者听神经的电信号(主机与人工耳蜗之间的数据传输一般采用无线数据传输方式)。其中，环境图像采集设备171通过环境图像数据输入端口170与环境图像数据处理单元连接。环境图像数据处理单通过第一数据传输单元110与中央处理模块20连接或与VR、AR和MR等显示数据处理单元直接连接，以提供环境图像信息数据。人工耳蜗设备282通过音频输出端口280与人工耳蜗数据处理单元250连接，人工耳蜗数据处理单元250通过第二数据传输单元210与中央处理模块20连接或环境音频处理单元260连接以获得人工耳蜗数据。通过在音频处理模块200内设置用于采集环境声音的环境声音采集单元290和用于将环境声音转化成环境声音数据的环境音频处理单元260。人工耳蜗音频数据处理单元250(通过中央处理模块20获取或直接从环境音频处理单元260获取)将环境声音数据转化成适合人工耳蜗输出的人工耳蜗音频数据，并通过人工耳蜗设备282输出。环境图像采集设备171为环境图像数据处理单元提供周围环境图像信息。VR显示设备161或AR显示设备162则作为输出设备。其中，VR显示设备161将周围环境图像信息和声音位置标记一同显示。AR显示设备162或MR显示设备163则实时对周围环境中的客观存在物进行声音位置的标记。标记包括，声音的方位，或同时标记与声源的距离(该距离一般通过测量采集点与发声物体(通过特定程序或互联网大数据分析声音信息和环境图像信息，能够判定发声物体)的位置距离得到)。如此设置，能够实现让耳聋人士通过VR、AR或MR显示设备162显示的画面来确定声音的来源(方向，以及发声物体)，提高其在复杂环境中的适应能力。

在其中一个实施例中，如图1所示，图像处理模块100还用于识别并获取手语或手势信息。音频处理模块200还用于将图像处理模块100获取的手语或手势信息转化成音频数据。该实施例主要针对既听不见声音又不会说话的聋哑人进行设计。如图1所示，在该实施例中，在图像处理模块100内设置环境图像数据处理单元140。环境图像数据处理单元140用于通过外接设备提供的环境图像信息能够识别并获取手语或手势信息(数据)。并将获取的手语或手势信息(数据)通过中央处理模块20转化成适合3D音频处理单元230和/或AR音频处理单元240处理的中间信息数据，或直接传递给音频处理模块200内设置的3D音频处理单元230和/或AR音频处理单元240进行进一步加工处理。从而将手语或手势信息(数据)转化成音频数据。如此设置，一方面能够将哑语(手语)转化成语音数据输出，使哑巴人士能够与常人进行交流。另一方面，能够实现让既听不见声音又不会说话的聋哑人士通过VR、AR或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。通过接收更多的环境信息刺激和更多的交际，还能够进一步促进哑巴人士的智力发育，提升其智力水平。

在其中一个实施例中，图像处理模块100还用于将环境图像信息转化成用于通过导盲设备输出的导盲数据。如图1所示，在该实施例中，在图像处理模块100内设置环境图像数据处理单元140和导盲数据处理单元120。环境图像数据处理单元140用于将外接设备提供的环境图像信息(数据)转化成第一中间环境图像信息数据，第一中间环境图像信息数据通过中央处理模块20后生成适合导盲数据处理单元120处理的第二中间环境图像信息数据。或者，环境图像数据处理单元用于直接将外接设备提供的环境图像信息(数据)转化成适合导盲数据处理单元120处理的第二中间环境图像信息数据。然后通过导盲数据处理单元120最终将环境图像信息(数据)以及由中央处理模块20根据预设计算机程序的控制算法得出的附加信息转化成用于通过导盲设备151输出的导盲数据。如此设置，一方面能够将环境图像信息转化成导盲数据输出，使盲人能够在复杂环境下辨识周围的物体和方向。更进一步地，将采集的声音声源位置信息一并转化为导盲数据输出时，能够使既盲又聋的人士在复杂环境下辨识周围的物体和方向的同时还能感知环境中声音的来源，提高盲或聋盲人士出行的安全性。此外，通过接收更多的环境信息刺激，还能够进一步促进盲或聋盲人士的智力发育，提升其智力水平。

在其中一个实施例中，导盲数据输出设备151为舌头导盲仪、前额导盲仪、义眼球或引导式手杖。其中，当导盲数据输出设备151为舌头导盲仪或前额导盲仪时，本公开的多功能残障人士辅助设备的主机10可以做成颈戴设备以尽可能缩短主机10与外接的舌头导盲仪或前额导盲仪之间的通讯距离，使得舌头导盲仪和前额导盲仪的使用更加便捷。当导盲数据输出设备151为引导式手杖时，本公开的多功能残障人士辅助设备的主机10可以做成腰戴设备以尽可能缩短主机10与外接的引导式手杖之间的通讯距离，使得引导式手杖的使用更加顺畅和便捷。此外，将环境信息采集设备从眼镜等佩戴物件上转移到颈戴设备或腰戴设备上，能够减轻负担，实现轻便。

在其中一个实施例中，图像处理模块100还用于获取环境图像信息中的颜色信息，以及将颜色信息转化成VR显示数据和/或AR显示数据。如图1所示，在该实施例中，在图像处理模块100内设置环境图像数据处理单元140、以及VR显示数据处理单元131、AR显示数据处理单元132、MR显示数据处理单元133中的一个或两个及两个以上的组合。其中，环境图像数据处理单元140将收集到的包含有环境中客观存在物颜色的环境图像信息进行处理加工，转化成包含有环境中客观存在物颜色数据的环境图像信息数据。中央处理模块20将包含有环境中客观存在物颜色数据的环境图像信息数据生成适合VR显示数据处理单元131、和/或AR显示数据处理单元132、和/或MR显示数据处理单元133处理的中间环境图像信息数据(其中环境中客观存在物颜色数据包括颜色的图标与数值或表示颜色的文字与数值)。VR显示数据处理单元131将包含有环境中客观存在物颜色数据的中间环境图像信息数据转化成VR显示驱动数据，使环境中客观存在物颜色数据(包括颜色的图标与数值或表示颜色的文字与数值)与环境图像结合显示。AR显示数据处理单元132将包含有环境中客观存在物颜色数据的中间环境图像信息数据转化成AR显示驱动数据，使环境中客观存在物颜色数据(包括颜色的图标与数值或表示颜色的文字与数值)与环境图像结合显示。MR显示数据处理单元133将包含有环境中客观存在物颜色数据的中间环境图像信息数据转化成MR显示驱动数据，使环境中客观存在物颜色数据(包括颜色的图标与数值或表示颜色的文字与数值)与环境图像结合显示。VR显示数据处理单元131、AR显示数据处理单元132和MR显示数据处理单元133也可以同时进行工作。如此设置，能够使色盲患者能够知晓其看到的与常人一样世界的颜色，提高其交际的便利性。

在其中一个实施例中，图像处理模块100还用于获取环境图像信息中的颜色信息，以及将颜色信息转化成用于通过导盲设备输出的导盲数据。目前，导盲设备一般只能让盲人辨识黑白的基本形状。随着未来的科技发展，当能够通过脉冲电信号对特殊的神经进行刺激使盲人患者能够识别物体颜色时，本公开方案就能够通过获取环境图像信息中的颜色信息，并将颜色信息转化成用于通过导盲设备输出的导盲数据来实现盲人对外部环境更加真实的认识。

在其中一个实施例中，如图1所示，还包括盲文数据传输模块500。盲文数据传输模块500用于将获取的第一信息数据转化成第二信息数据，和/或将获取的第二信息数据转化成第一信息数据。第一信息数据包括语音信息数据，和/或手语信息数据，和/或文字信息数据，和/或图像信息数据。第二信息数据为盲文数据。文字信息数据包括盲文数据。盲文数据包括布莱尔盲文数据。如图1所示，盲文数据传输模块500内设置有用于将输入的各个信息数据转变成盲文数据，和/或将盲文数据转变成任何一种或两种及两种以上的信息数据输出盲文数据处理单元520。例如，将图像处理模块100获取的手语信息数据、文字信息数据、图像信息数据中的一种或两种及两种以上的组合数据统统根据预设的计算程序转变成盲文数据，和/或采用相反的转变方式。在这其中，从外界输入的盲文数据既可以通过盲文数据处理单元520处理，也可以不通过盲文数据处理单元520处理。最后采用特定的盲文数据输出设备将盲文数据输出至盲人感知，便可实现与盲人间的信息交流。如此设置，能够实现聋盲或聋哑盲等残障人群与他人之间的交流。同时，将环境图像信息转化成导盲数据输出，使之能够在复杂环境下辨识周围的物体和方向。通过接收更多的环境信息刺激，还能够进一步促进聋盲或聋哑盲等人士的智力发育，提升其智力水平。

在其中一个实施例中，如图1所示，盲文数据传输模块500包括盲文触点输出单元550。盲文触点输出单元550与人体接触。盲文触点输出单元550用于输出盲文数据。在该实施例中，盲文数据传输模块500内还设置有盲文触点驱动单元540和盲文触点输出单元550。其中，盲文触点驱动单元540用于将从盲文数据处理单元520获取的盲文数据转变成盲文驱动数据(例如将盲文数据转变成布莱尔盲文驱动数据)。盲文触点输出单元550用于将盲文驱动数据以能够为人体所感知的触点形式输出(例如将布莱尔盲文驱动数据以布莱尔盲文的触点形式输出，以供盲人进行阅读或感知周围的环境信息等)。

在其中一个实施例中，盲文数据传输模块500外接有盲文数据输入/输出设备531。盲文数据输入/输出设备531设置有布莱尔盲文触摸屏幕。在该实施例中，布莱尔盲文触摸屏幕设置有多个能够做凸起和抚平动作的触点。触点的凸起(包括凸起的高度)和抚平动作由各个触点对应的灰阶值电压进行控制。当作为输出屏幕时，布莱尔盲文数据被转化成对应每个触点的灰阶值电压数据。灰阶值电压数据转化成各个触点动作的驱动数据，控制各个触点的凸起或抚平。实现布莱尔盲文的输出。当莱尔盲文触摸屏幕作为输入屏幕时(主要针对聋哑盲人群)，各个触点均凸起。通过每个触点下设置的电容传感器感知手指移动的轨迹和按压的轻重程度，由盲文数据输入/输出设备内设置的处理器进行运算和分析，得出患者想要输入的布莱尔盲文。

在其中一个实施例中，如图1所示，还包括内外传输数据处理模块400、生物信息处理模块300、网络数据模块600、电子脉冲驱动模块700、以及人工智能处理模块40中的任意一个模块或两个以及两个以上模块。内外传输数据处理模块400用于转换主机10与外接数据源之间传输数据的格式。生物信息处理模块300用于将人体生物特征信息转换成数字信号。网络数据模块600用于与网络连接，上传和下载信息数据。电子脉冲驱动模块700用于将电子脉冲控制信号转换成电子脉冲电流信号。人工智能处理模块40用于将用户的行为信息转化为数字信息并储存，以辅助用户对行为信息的记忆。人工智能处理模块40分别与存储模块30和中央处理模块20连接。行为信息包括主体行为信息和客体行为信息。

在其中一个实施例中，如图1所示，主机10还包括内外传输数据处理模块400。内外传输数据处理模块400用于转换主机10与外接数据源之间传输数据的格式。内外传输数据处理模块400包括内外传输数据处理单元420、与内外传输数据处理单元420连接的第四数据传输单元410和内外数据传输端口430。第四数据传输单元410与中央处理模块20连接。内外传输数据处理单元420用于转换由内向外或由外向内传输数据时的数据格式转换。第四数据传输单元410用于连接内外传输数据处理单元420和中央处理模块20实现数据传输。内外数据传输端口430用于外接数据源。如此设置，使得主机10能够与外接数据源之间实现数据交流，从而能够通过以外接智能终端设备的方式获得强劲的功能支持。不仅能够实现存储数据的传输，还能够实现控制信号的传输，从而实现通过外接智能终端对主机10的多项功能进行综合控制。

在其中一个实施例中，终端设备为手机，或电脑，或智能控制器。手机或智能控制器设置有多轴运动传感器。智能控制器为手持式控制器和/或穿戴式控制器。如此设置，当用户想玩游戏而没有带专门的游戏手柄时可以通过与手机连接，让手机充当游戏手柄。而在游戏控制器内设置多轴运动传感器的目的在于与VR显示配合玩3D游戏。此外，在手机或智能控制器设置有多轴运动传感器还用于采集用户行为信息中的动作信息。

在其中一个实施例中，如图1所示，主机10还包括用于将人体生物特征信息转换成数字信号的生物信息处理模块300。如此设置，能够使主机10能够通过相关生物信息传感器按照预定的项目采集人体的生物特征信息数据，进而对人体的生物特征信息数据按照一定的逻辑程序进行分析处理，形成人体的生物信息报告输出至手机终端，以及生成提醒信息，请求用户未来应注意的事项。

在其中一个实施例中，如图1所示，主机10还包括用于与互联网连接，上传和下载信息数据的网络数据模块600。如此设置，能够使本发明中的多功能残障人士辅助设备具备直接连接互联网进行上传和下载相关应用程序的功能，以及作为中间设备使部分外接设备能够利用互联网大数据资源，实现借助互联网资源来完成复杂运算的功能。

在其中一个实施例中，如图1所示，主机10还包括用于将电子脉冲控制信号转换成电子脉冲电流信号的电子脉冲驱动模块700。如此设置，能够通过主机自带的电子脉冲输出模式和控制指令输出电子脉冲电流，也可以通过手机等终端设备对输出的电子脉冲电流的大小和输出方式等进行控制。

在其中一个实施例中，如图1所示，主机10包括用于将人体生物特征信息转换成数字信号的生物信息处理模块300、和用于与互联网连接，上传和下载信息数据的网络数据模块600。如此设置，能够使主机10能够通过相关生物信息传感器按照预定的项目采集人体的生物特征信息数据，进而对人体的生物特征信息数据按照一定的逻辑程序进行分析处理，形成人体的生物信息报告输出至手机终端，以及生成提醒信息，请求用户未来应注意的事项。还可以通过网络数据模块600将人体的生物信息报告上传至互联网服务器，利用大数据资源分析人体信息报告数据的健康状况，并生成人体信息报告数据对应的健康指数、未来一段时间可能出现的疾病信息和疾病提醒信息返回至互联网模块或直接发送至对应用户的手机客户端。

在其中一个实施例中，如图1所示，主机10包括用于将人体生物特征信息转换成数字信号的生物信息处理模块300、和用于将电子脉冲控制信号转换成电子脉冲电流信号的电子脉冲驱动模块700。如此设置，能够使主机10能够通过相关生物信息传感器按照预定的项目采集人体的生物特征信息数据，进而对人体的生物特征信息数据按照一定的逻辑程序进行分析处理，形成人体的生物信息报告输出至手机终端，以及生成提醒信息，请求用户未来应注意的事项。还可以根据人体的生物信息报告按照预设的逻辑生成对应的电子脉冲控制信号控制电子脉冲驱动模块700输出脉冲电流的大小和输出方式等。

在其中一个实施例中，如图1所示，主机10包括用于与互联网连接，上传和下载信息数据的网络数据模块600、和用于将电子脉冲控制信号转换成电子脉冲电流信号的电子脉冲驱动模块700。如此设置，能够使本发明中的多功能残障人士辅助设备具备直接连接互联网进行上传和下载相关应用程序的功能，以及作为中间设备使部分外接设备能够利用互联网大数据资源，实现借助互联网资源来完成复杂运算的功能。还可以通过互联网下载最新的电子脉冲控制程序，实现电子脉冲控制程序的更新和使功能更加完善。

在其中一个实施例中，如图1所示，用于将人体生物特征信息转换成数字信号的生物信息处理模块300、用于与互联网连接，上传和下载信息数据的网络数据模块600、和用于将电子脉冲控制信号转换成电子脉冲电流信号的电子脉冲驱动模块700。如此设置，能够使主机10能够通过相关生物信息传感器按照预定的项目采集人体的生物特征信息数据，进而对人体的生物特征信息数据按照一定的逻辑程序进行分析处理，形成人体的生物信息报告输出至手机终端，以及生成提醒信息，请求用户未来应注意的事项。还可以通过网络数据模块600将人体的生物信息报告上传至互联网服务器，利用大数据资源分析人体信息报告数据的健康状况，并生成人体信息报告数据对应的健康指数、未来一段时间可能出现的疾病信息和疾病提醒信息返回至互联网模块或直接发送至对应用户的手机客户端。还可以根据人体的生物信息报告按照预设的逻辑生成对应的电子脉冲控制信号控制电子脉冲驱动模块700输出脉冲电流的大小和输出方式等。还可以通过互联网下载最新的电子脉冲控制程序，实现电子脉冲控制程序的更新和使功能更加完善。

在其中一个实施例中，如图1所示，主机10还包括人工智能处理模块40。人工智能处理模块40分别与存储模块30和中央处理模块20连接。人工智能处理模块40用于将用户的行为信息转化为数字信息并储存，以辅助用户对行为信息的记忆。行为信息包括主体行为信息和客体行为信息。该实施例主要针对既听不见声音又存在智力障碍的聋且智障的人群进行设计。如图1所示，在该实施例中，音频处理模块200设置有输入语音处理单元220、以及3D音频处理单元230和/或AR音频处理单元240。其中，输入语音处理单元220用于将输入的主体语音信息转化成语音信息数据。图像处理模块100设置有环境图像数据处理单元140、以及VR显示数据处理单元131、AR显示数据处理单元132、MR显示数据处理单元133中的一个或两个及两个以上的组合处理单元。其中，环境图像数据处理单元140将收集到的环境图像信息进行处理加工，转化成环境图像信息数据。一般情况下，用户的主体行为信息主要有语言信息和动作信息。客体的行为信息主要有客体的语音信息、动作信息和其他比如动作、声音、图像、温度、气候等环境信息。其中主体行为信息中的语言信息主要由输入语音处理单元220进行收集和处理。客体行为信息中的声音信息主要由环境声音采集单元290或输入语音处理单元220进行收集和处理。主体行为信息中的动作信息、客体行为信息中的动作和环境图像信息主要由环境图像处理单元140进行收集和处理。主体行为信息中的动作信息和客体行为信息中的动作信息一般还可以由多轴运动传感器进行采集。而客体行为信息中的温度、气候等环境信息也由环境图像处理单元140进行收集和处理。如果还设置有温度传感器、湿度传感器或网络模块时，客体行为信息中的温度、气候等环境信息也可以由温度传感器、湿度传感器或通过互联网收集当地的天气预报而获取。通过人工智能模块(或互联网云计算等)对用户的行为信息进行辨识、整理和储存，一方面将残障人士的行为信息想表达的意思与大众的意思相匹配，提高其与大众之间的交流能力。另一方面，存储的行为信息，也能够被重新调用，反复让患者学习，从而提高其对某些特定的行为信息的记忆能力。例如通过长时间获取哑巴的行为信息，将其在各个环境中的行为信息进行收集和处理，通过人工智能深度学习(通过主客体行为信息分析整理多个场合的可能意思表达，或结合互联网大数据进行云端计算，并返回计算结果)哑巴不同发音和关联相应文字意义，把哑巴不同发音转化为文字显示或正常的语音输出。从而使将哑巴的行为信息想表达的意思与大众的意思相匹配，提高其与大众之间的交流能力。

在其中一个实施例中，如图1所示，主机10还包括用于给主机内的各个用电元器件提供电源的电池模块800。电池模块800安装在主机10内，既可以可拆卸形式的，也可以设置成不可拆形式的。

在其中一个实施例中，如图1所示，生物信息处理模块300包括生物信息处理单元320、与生物信息处理单元320的输出端连接的第三数据传输单元310、与生物信息处理单元320的输入端连接的生物信息输入端口330。其中，生物信息处理单元320用于将人体生物特征信息转换成数字信号。如此设置，使得主机10能够利用外接的生物传感器获取人体生物特征信息数据，并对获取的人体生物特征信息数据进行分析和处理。

在其中一个实施例中，如图1所示，网络数据模块600包括第六数据传输单元610、网络数据处理单元620和网络数据收发单元630。网络数据处理单元620用于转换上传或下载网络数据时的格式转换。第六数据传输单元610用于连接网络数据处理单元620和中央处理模块20实现数据传输。网络数据收发单元630用于上传和下载网络数据的网络数据收发器。网络数据处理单元620的第一接口通过第六数据传输单元610与中央处理模块20连接，实现网络数据处理单元620与中央处理模块20之间的数据传输功能。网络数据处理单元620的第二接口与网络数据收发单元630连接，实现网络数据处理单元620与互联网服务器之间的数据传输功能。如此设置，使得主机10自身便能与互联网服务器之间实现数据的上传和下载功能，从而有效利用丰富的互联网资源实现主机10各项功能的网络化，精准化和更新便捷化。

在其中一个实施例中，如图1所示，电子脉冲驱动模块700包括第七数据传输单元710、电子脉冲信号处理单元720和电子脉冲信号输出端口730。电子脉冲信号处理单元720用于将电子脉冲控制信号转换成电子脉冲电流信号。第七数据传输单元710用于连接电子脉冲信号处理单元720和中央处理模块20实现电子脉冲控制信号的传输。电子脉冲信号输出端口730用于外接电子脉冲输出设备，从而将电子脉冲信号处理单元720转换后的电子脉冲电流输出。电子脉冲信号处理单元720的第一接口通过第七数据传输单元710与中央处理模块20连接，实现电子脉冲信号处理单元720与中央处理模块20之间的数据传输功能。电子脉冲信号处理单元720的第二接口与电子脉冲信号输出端口730连接，实现与外接的电子脉冲输出设备连接。如此设置，能够使主机10具备输出用于按摩的电子脉冲电流的功能。同时，配合人体生物特征信息和互联网大数据能够实现更加智能的电流脉冲输出功能，以便对某些健康问题进行针对性治疗。还可以根据手机等终端设备的选择控制，实现更加人性化和更加舒适的用于按摩的脉冲电流功能。

在其中一个实施例中，如图1所示，音频处理模块200外接语音输入设备271。语音输入设备271通过语音输入端口270与输入语音处理单元220连接。语音输入设备271用于将用户的语音信息转化成对应的电信息输送给输入语音处理单元220进行转化处理，从而将语音信息转化成主机10可处理的数字信息。

在其中一个实施例中，如图1所示，内外传输数据处理模块400外接终端设备431。终端设备431通过内外数据传输端口430与内外传输数据处理单元420连接。终端设备431用于给主机10提供外接数据源或控制指令，同时接收主机10输出的信息数据。

在其中一个实施例中，如图1所示，音频处理模块200外接语音输入设备271，内外传输数据处理模块400外接终端设备431。如此设置，能够使语音输入设备271和终端设备431之间通过主机10进行信息数据的传输，例如，当用手机终端进行电话时，可利用语音输入设备271与手机终端之间的信息传输进行语音通话。

在其中一个实施例中，如图1所示，生物信息处理模块300外接生物信息采集设备331。生物信息采集设备331通过生物信息输入端口330与生物信息320连接。生物信息采集设备331用于采集人体的生物特征信息。如此设置，能够实现采集人体生物特征信息并针对人体生物特征信息作出一系列数据的传输和对各个功能模块进行控制。

在其中一个实施例中，如图1所示，电子脉冲驱动模块700外接电子脉冲输出设备731。电子脉冲输出设备731通过电子脉冲信号输出端口730与电子脉冲信号处理单元720连接。电子脉冲输出设备731用于输出给人体按摩的电流脉冲。

在其中一个实施例中，如图1所示，生物信息采集设备331通过生物信息输入端口330与生物信息处理单元320连接。电子脉冲输出设备731通过电子脉冲信号输出端口730与电子脉冲信号处理单元720连接。如此设置，能够实现通过采集人体生物特征信息有针对性的输出给人体按摩的电流脉冲，达到“对症下药”的目的。

在其中一个实施例中，如图1所示，电池模块800包括电源输出单元810、电池组件820和充电接口830。电源输出单元810设置有多个电源输出端鱼主机10内各个模块连接提供功能模块所需的电能。电池组件820包括至少一块充电电池作为主机的电源。电池组件820与主机10之间既可以设置成可拆卸式的便于电池电量用尽时更换后可以继续对主机10使用。也可以设置成不可拆卸式的以防止电池的频繁拆卸使主机中的电子元器件收到瞬间电流的冲击和避免可拆卸的主机壳体影响主机的外观。电池采用锂电池或其他高能量密度的电池，以减小主机的体积和质量，便于用户携带。充电接口830与电池组件820连接，用于外接电源为电池组件820充电。该充电接口830也可以与内外传输数据处理模块连接以外接数据源实现主机10与外接数据源之间的数据传输功能。

上述智能颈戴设备，通过在主机10内设置用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据的音频处理模块200。用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的VR、AR、MR中至少一种显示数据的图像处理模块100。从而通过收集包含有环境声音的声源位置信息的环境声音信息，并在VR、AR、或MR显示中标记环境中声音的声源位置，实现让耳聋人士通过VR，或AR，或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。通过接收更多的环境信息刺激，还能够进一步促进其智力的提升。此外，根据由存储模块30存储的特定的计算机程序，通过设置图像处理模块100、音频处理模块200、内外传输数据处理模块、存储模块30和中央处理模块20，能够形成具有图像处理功能、音频处理功能、存储和调取存储数据的功能以及综合处理和调配各项功能的能力，从而对VR\AR\MR这类新型的智能眼镜以及手机客户端中的功能模块进行分流，降低智能眼镜和手机终端的质量和运算处理压力。同时，该设备还可以利用自身基础功能模块和运算处理能力拓展更多的功能，比如利用颈戴的特点采集人体生物特征信息生成身体健康报告、以及利用手机来控制电磁脉冲输出电流给身体实现按摩、针灸、推拿、拔火罐、锤击、刮痧等理疗功能。还可以设置网络模块或利用手机网络和互联网连接，实现多种数据的上传和下载。通过上述，还能够进一步对患者的症状作出早起的预测和预防，同时也能够实现对不同的症状作出具有针对性的理疗辅助治疗，从而进一步促进其康复。

根据上述智能颈戴设备，本公开还提供了如下几种智能颈戴设备的控制方法。

一种智能颈戴设备的控制方法，方法包括：获取环境图像信息和同一时刻相应的环境声音信息。环境声音信息包括环境声音的声源位置信息。将环境图像信息和环境声音的声源位置信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。本公开方法通过收集包含有环境声音的声源位置信息的环境声音信息，并在VR、AR、或MR显示中标记环境中声音的声源位置，能够实现让耳聋人士通过VR，或AR，或MR显示的画面确定声音的来源，提高其在复杂环境中的适应能力。

一种智能颈戴设备的控制方法，方法包括：识别并获取文字信息、音频信息、手语或手势信息。将文字信息、音频信息、手语或手势信息转化成盲文数据或导盲数据，或将手语或手势信息转化成文字信息或音频信息。本公开方法，通过将文字信息、音频信息、手语或手势信息转化成盲文数据或导盲数据，或将手语或手势信息转化成文字信息或音频信息。能够实现导盲功能，以及方便盲人与他人之间的交流。同时，还能够让哑巴与具备阅读能力者之间的交流。

一种智能颈戴设备的控制方法，方法包括：识别并获取环境图像信息中的颜色信息。将颜色信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。本公开方法，通过识别并获取环境图像信息中的颜色信息，并通过VR、AR或MR显示出来，能够让色盲患者知晓其看到的与常人一样世界的颜色，提高其交际的便利性。

一种智能颈戴设备的控制方法，述方法包括：将用户的行为信息转化为数字信息上传至第三方数据平台进行计算。将计算结果返回至用户端，储存并指导用户行为或辅助用户进行行为信息的记忆。行为信息包括主体行为信息和客体行为信息。主体行为信息包括主体声音信息和/或主体图像信息。客体行为信息包括客体声音信息和/或客体图像信息。本公开方法，通过收集用户的行为信息，并将用户的行为信息转化为数字信息上传至第三方数据平台进行计算，计算结果返回至用户端，储存并指导用户行为或辅助用户进行行为信息的记忆。能够利用已有的互联网大数据平台实现更加的计算(例如云计算等)，使用户的行为能够得到更加精确的表达。此外，该方法通过将残障人士的行为信息想表达的意思与大众的意思相匹配，能够提高其与大众之间的交流能力。同时存储的行为信息，也能够被重新调用，反复让存在有智力障碍者学习，从而提高其对某些特定的行为信息的记忆能力。例如通过长时间获取哑巴的行为信息，将其在各个环境中的行为信息进行收集和处理，通过人工智能深度学习(通过主客体行为信息分析整理多个场合的可能意思表达，或结合互联网大数据进行云端计算，并返回计算结果)哑巴不同发音和关联相应文字意义，把哑巴不同发音转化为文字显示或正常的语音输出。从而使将哑巴的行为信息想表达的意思与大众的意思相匹配，提高其与大众之间的交流能力。

为了更加清楚和形象的表达本公开方案，现以具体使用状态实施例作表述说明，应当理解的是，该部分说明仅仅是为了便于理解本发明，而不应当以任何理由解释为本公开的保护范围。

实施例一，如图2所示为一实施例提供的智能颈戴设备主机及各功能模块接口位置分布的结构示意图。

在该实施例中，将本发明中的主机10做成了圆弧状，以适应人体颈戴的结构需要。在圆弧状主机的断面处分别设置有用于连接智能眼镜的显示数据输出端口160、用于连接音频输出设备281的音频输出端口280、用于连接语音输入设备271的语音输入端口270、用于与手机等终端设备431的内外数据传输端口430。在沿着圆弧状主机10的壳体上还设置有用于连接导盲设备151的导盲数据输出端口150，以及用于连接人工耳蜗设备282的音频输出端口280。此外，在沿着圆弧状主机10壳体上还设置有环境采集单元290的采集环境声音的采集口、混合音频扬声器(音频输出设备281)声音输出口283、电池模块800的充电接口830、生物信息输入端口330和电子脉冲信号输出端口730。另外在圆弧状主机的后面(用户正常佩戴时位于用户的后方)还设置有后置环境图像采集单元182。在圆弧状主机的内侧面(便于与人体想接触)设置有至少包括6个盲文触点的盲文触点输出单元550。相应地，主机10内设置有图像处理模块100、音频处理模块200、生物信息处理模块300、内外传输数据处理模块400、电子脉冲驱动模块700、盲文数据传输模块500以及电池模块800。

此外，主机10的壳体可以是硬壳体，也可以是软壳体。当主机的壳体为硬壳体时，在壳体中部还设置有转动副以便于穿戴。

优选地，在硬壳体主机10贴近人体的一面设置有软垫。

优选地，在圆弧形主机10贴近人体的一面还设置有生物信息采集设备331，以利用人体脖颈处血管丰富且埋藏浅的特性采集人体生物特征数据。

优选地，盲文触点输出单元550设置有6个盲文触点。

上述智能颈戴设备具备了图像、音频采集和处理功能，并设置有内外传输数据处理模块以实现内外数据的传输功能。此外，还具备生物信息的采集和处理功能，以及具备了在此基础上利用自身功能模块基础实现其他功能的条件。因而，本公开的智能颈戴设备不仅能够自身作为主体实现其本身具备的特定功能。还能够作为其他电子智能设备的移动硬件基础和数据共享及传输平台。例如，当与触摸显示屏等具备输入输出功能的设备连接时，能够使本颈戴设备具备手机的各项功能。当与电子脉冲设备等医疗器械或仪器连接时，本公开颈戴设备则具备电子理疗的各项功能，且当与智能手环或其他生物特征信息采集设备连接时，本公开颈戴设备还具备生物特征信息采集和处理分析的功能。此外，采用颈戴设计移动硬件平台也使得本公开颈戴设备使用起来更加轻巧和便捷。

实施例二，如图3所示为一实施例提供的智能颈戴设备与AR或MR眼镜连接的第一状态系统结构示意图。

在该实施例中，主机10为上述各个实施例中的主机。

另外，将本发明中的主机10做成了圆弧状，以适应人体颈戴的结构需要。在圆弧状主机的断面处分别设置有用于连接智能眼镜的端口(显示数据输出端口160)，并分别与智能眼镜采用可拆卸的(两条)数据线连接。在圆弧状主机的断面处还设置还有用于连接耳机(音频输出设备281)的连接端口(音频输出端口280的第一输出端口)、用于连接麦克风(语音输入设备271)的连接端口(语音输入端口270)、用于与手机等智能终端数据源(终端设备431)的端口(内外数据传输端口430)。在主机10壳体上设置有用于连接导盲设备151的端口(导盲数据输出端口150)，以及用于连接人工耳蜗(人工耳蜗设备282)的端口(音频输出端口280的第二输出端口)。此外，在主机10壳体上还设置有环境采集单元290的采集环境声音的采集口、混合音频扬声器(音频输出设备281)声音输出口283、电池模块800的充电接口830、生物信息输入端口330和电子脉冲信号输出端口730。此外，在圆弧状主机的后面(用户正常佩戴时位于用户的后方)设置有环境图像采集设备171(此时为后置环境图像采集设备)。在圆弧状主机的内侧面设置有至少6个盲文触点(盲文触点输出单元550)。相应地，主机10内设置有图像处理模块100、音频处理模块200、生物信息处理模块300、内外传输数据处理模块400、电子脉冲驱动模块700以及电池模块800。

优选地，在圆弧形主机10贴近人体的一面设置有软垫保护人体和/或生物信息采集设备331利用人体脖颈处血管丰富且埋藏浅的特性采集人体生物特征数据。

优选地，主机10的壳体可以是硬壳体且在壳体中部还设置有转动副以便于穿戴。

优选地，智能眼镜为AR或MR眼镜，且在AR或MR眼镜上设置有显示屏幕与眼镜架转动副连接。

优选地，显示屏幕为VR显示屏幕。

优选地，显示屏幕为具有盲文输入功能的触摸显示屏幕。

优选地，智能眼镜的眼镜架上设置有环境图像采集设备171(前置环境图像采集设备)，且采集视角与眼镜的视角相同。

优选地，环境图像采集设备171为摄像头。

优选地，如图2所示，盲文触点输出单元550设置在圆弧状主机的正后方且6个触点对称设置。

优选地，主机10与人工耳蜗设备282采用无线数据传输方式连接。

优选地，耳机采用平头耳机。便于在使用AR或MR显示模式时听到外界的声音。

上述智能颈戴设备能够获得以下功能或好处：

1.能够通过智能眼镜显示的环境声音的声源位置信息知晓其听到的声音来源方向或振动发声的事物。

2.能够通过在AR或MR眼镜上设置的且与眼镜架转动副连接的显示屏幕进行显示切换。如，进行VR显示切换。

3.能够通过无线数据传输方式与安装在耳朵里的人工耳蜗进行配对和传输音频信息，或通过混合音频扬声器将音频数据转化成声音使其听。。

4.能够通过在AR或MR眼镜显示其知晓环境中客观存在物的颜色信息。

5.能够通过与主机连接的导盲设备151实现导盲。

6.能够分担外接设备的大部分功能模块，使外接设备自身的体积和重量大大减少。

7.能够使盲人通过与眼镜架转动副连接的显示屏幕显示提醒信息或警示信息给其他人看到。

8.能够是哑巴通过环境图像采集设备将采集到的人的手势或手语信息生成文字信息与他人交流。

9.采用平头耳机能够在使用AR或MR显示模式时听到外界的声音，使AR或MR显示场景更加真实，同时也防止用户在使用设备时因听不到外界声音而发生危险，提高用户使用过程中的安全性。

10.能够将触摸显示屏幕作为盲文输入/输出设备实现盲人与他人之间的交流等。

实施例三，如图4所示为一实施例提供的智能颈戴设备与AR或MR眼镜连接的第二状态系统结构示意图。

实施例三与实施例二相比在外接设备上增加了盲文数据输入/输出设备531。盲文数据输入/输出设备531通过盲文数据收发单元530与主机10连接。AR或MR智能眼镜的镜片上采用嵌入的方式设置了一块用于显示文字信息的显示屏幕。此外，AR或MR智能眼镜与主机10之间采用单条数据线可拆卸连接。相应地，主机10内设置了盲文数据传输模块500通过盲文数据收发单元530与盲文数据输入/输出设备531连接。通常情况下，盲文数据输入/输出设备531设置有布莱尔盲文触摸屏幕。布莱尔盲文触摸屏幕设置有多个能够做凸起和抚平动作的触点。触点的凸起(包括凸起的高度)和抚平动作由各个触点对应的灰阶值电压进行控制。当作为输出屏幕时，布莱尔盲文数据被转化成对应每个触点的灰阶值电压数据。灰阶值电压数据转化成各个触点动作的驱动数据，控制各个触点的凸起或抚平。实现布莱尔盲文的输出。当莱尔盲文触摸屏幕作为输入屏幕时(主要针对聋哑盲人群)，各个触点均凸起。通过每个触点下设置的电容传感器感知手指移动的轨迹和按压的轻重程度，由盲文数据输入/输出设备531内设置的处理器进行运算和分析，得出患者想要输入的布莱尔盲文。相比与实施例二，本实施例中智能颈戴设备还能够将通过盲文数据输入/输出设备531输入的盲文信息转化为大众文字信息，并通过AR或MR智能眼镜上设置的附加显示屏幕显示出来，以便于哑盲人士与大众之间，或盲人与耳聋人士之间的交流等。

实施例四，如图5所示为一实施例提供的智能颈戴设备与VR眼镜连接的系统结构示意图。

实施例四与实施例二和实施例三相比在外接设备上采用了入耳式耳机代替了原来的平头式耳机。智能眼镜采用了覆盖有外侧显示屏幕的VR眼镜，并与主机10之间采用单条数据线可拆卸连接。同时，去掉了外接的人工耳蜗设备281。与实施例二和实施例三相比，本实施例中智能颈戴设备还能够实现通过VR眼镜显示环境中声音的声源位置，让耳聋人士知晓其利用人工耳蜗听到的声音的位置来源。此外，能够通过导盲设备151和设置在眼镜上的前置环境图像采集设备实现电子导盲功能。还能够使盲人通过盲文数据输入/输出设备531输入提示信息、警示信息或其他交流用文字信息在覆盖有外侧显示屏幕的VR眼镜上显示以提醒他人或与他人进行交流。

此外，为了很好的利用眼镜和颈戴设备的结构和与人体接触的特性，并能够与上述主机配合实现多种功能，本申请还提供了等智能眼镜AR、VR以及MR眼镜的设计方案。

一种智能眼镜，如图6-12所示，包括眼镜架和设置在眼镜框内由第一显示屏幕制成的镜片，还包括第二显示屏幕164。第二显示屏幕164与镜片连接，和/或与眼镜架连接。第二显示屏幕164为单面显示屏幕或双面显示屏幕。第一显示屏幕为AR显示屏幕(AR显示设备162)、VR显示屏幕(VR显示设备161)或MR显示屏幕(MR显示设备163)。其中，MR眼镜与AR眼镜中第二显示屏幕的设置方式相同。如此设置，能够使本公开智能眼镜具备两个可以显示不同类型内容的显示屏幕，以及可以实现将智能眼镜的第二显示屏幕164(触摸显示屏幕时)作为本公开主机10的信息输入端进行信息输入。当第二显示屏幕为单面显示屏幕时，单面显示屏幕设置在镜片的外侧且显示侧位于眼镜的外侧，以将显示信息提供给他人看到。

在其中一个实施例中，如图6所示，第二显示屏164设置在镜片上。在该实施例中，采用与镜片外表面形状规格相同的第二显示屏164直接覆盖在镜片上。第二显示屏164与镜片直接贴合或间接贴合(此时第二显示屏164与镜片是两个单体)，或者将镜片直接做成双面显示屏幕(此时第二显示屏164与镜片是一个整体)。如图6所示的VR眼镜(VR显示设备161)，在VR眼镜的镜片外侧贴覆一层单面显示屏幕。如此设置，既能够使VR眼镜进行正常功能的VR显示，又能够通过第二显示屏幕164显示其他信息与他人互动(例如哑巴在使用VR眼镜时，可以通过前置环境图像采集设备171采集手语信息，并将手语信息转化成文字信息在第二显示屏幕上显示与他人交流等)。

在其中一个实施例中，如图7-12所示，第二显示屏164与眼镜架转动副连接以形成翻转结构。如此设置，一方面能够使本公开智能眼镜具备两个可以显示不同类型内容的显示屏幕。另一方面，当智能眼镜的第二显示屏幕164为触摸显示屏幕作为本公开主机10的信息输入端时，采用独立且能够调节触摸方位(相对于智能眼镜本体)的第二显示屏幕164能够便于触摸操作，提高触摸操作的灵活性。此外，将第二显示屏幕164与智能眼镜本体采用转动副的方式连接还便于对第二显示屏幕164的维修和更换。

在其中一个实施例中，如图6-13所示，第二显示屏幕164为一块完整屏幕或两块及两块以上屏幕的组合。第二显示屏幕164的块数是指同一个智能眼镜上设置的能够独立显示内容的显示屏幕数量。因此，第二显示屏164的块数不决定第二显示屏164的大小(一块完整屏幕可以小于两块第二显示屏164中任意一块)。

在其中一个实施例中，如图7图9所示，第二显示屏164为一块完整屏幕，且同时覆盖在两只眼睛前方镜片上，并与眼镜架转动副连接构成上下翻转结构(相对于将眼镜平方时)。如此设置能够在有限的眼镜前缘面积中设置较大的第二显示屏164，以提高第二显示屏164的可使用面积，同时提高显示屏幕的完整度，增强本方案智能眼镜的美感。当然，如图7图9所示的第二显示屏164的设置方式，还可以将第二显示屏164设置成两块及两块以上的显示屏幕的组合，以提高显示屏幕的抗震效果和增加冗余屏幕提高可靠性。将第二显示屏幕164与智能眼镜本体采用转动副的方式连接也便于对第二显示屏幕164的维修和更换。一般情况下，如图7所示的VR眼镜和图9所示AR眼镜均适合这种设置方式。

在其中一个实施例中，如图8图12所示，第二显示屏164为一块完整屏幕，且覆盖在两只眼睛中任意一只的前方镜片上，并与眼镜架转动副连接构成上下翻转结构(相对于将眼镜平方时)。如此设置，一方面使得第二显示屏164的大小得到精简(由于第二显示屏164在通常情况下一般用于显示文字信息，因而显示屏幕不用很大)，降低总体成本。另一方面小屏幕比大屏幕的抗震能力更强，这样设置能够提高本公开智能眼镜的总体抗震(抗摔)性能。同时，将第二显示屏幕164与智能眼镜本体采用转动副的方式连接还便于对第二显示屏幕164的维修和更换。此外,如图12所示的AR眼镜还能够将AR显示和第二显示屏幕164的显示同时进行，便于耳聋和/或哑巴人士与他人之间的交流。

在其中一个实施例中，如图11所示，第二显示屏164为一块完整屏幕，且覆盖在两只眼睛中任意一只的前方镜片上，并与眼镜架转动副连接构成水平(如左右方向)翻转结构(相对于将眼镜平方时)。如此设置，一方面使得第二显示屏164的大小得到精简(由于第二显示屏164在通常情况下一般用于显示文字信息，因而显示屏幕不用很大)，降低总体成本。另一方面小屏幕比大屏幕的抗震能力更强，这样设置能够提高本公开智能眼镜的总体抗震(抗摔)性能。同时，将第二显示屏幕164与智能眼镜本体采用转动副的方式连接还便于对第二显示屏幕164的维修和更换。此外,如图12所示的AR眼镜还能够将AR显示和第二显示屏幕164的显示同时进行，便于耳聋和/或哑巴人士与他人之间的交流。如图11所示的AR眼镜，其第二显示屏164水平翻转的角度大于上述各个实施例中的上下翻转角度，以在不使用第二显示屏164时，便于将第二显示屏164翻折到眼镜的一边。

在其中一个实施例中，如图10所示，第二显示屏164为两块显示屏幕组合而成，且两块屏幕在结构上独立设置，能够分别覆盖在两只眼睛前方的镜片上，且分别与眼镜架转动副连接构成水平(如左右方向)翻转结构(相对于将眼镜平方时)。如此设置，一方面能够提高本公开智能眼镜的总体抗震(抗摔)性能(将相同面积的显示屏幕划分成两个或两个以上的小屏幕比划分前的大屏幕的抗震能力强)。另一方面，在提高显示屏幕的抗振效果的同时，还能够增加冗余屏幕以提高显示的可靠性。此外，两个第二显示屏幕164与智能眼镜本体采用转动副的方式连接也便于对第二显示屏幕164的维修和更换，且制作成本较采用完整的大屏幕小。

在其中一个实施例中，如图13所示，第二显示屏164嵌入镜片内。在该实施例中，将第二显示屏164与第一显示屏幕一起制作成一个镜片，使第二显示屏164作为镜片的一部分。如此设置，一方面能够使AR眼镜的AR显示和第二显示屏幕164的显示同时进行。另一方面，能够使AR眼睛的整体外观更加简洁和美观。该实施例中的第二显示屏164通常采用单面显示屏幕。

在其中一个实施例中，第二显示屏164为直面屏幕或曲面屏幕。直面屏幕的成本较曲面屏幕低廉，而曲面屏幕较直面屏幕在造型上更加潮流。采用什么类型的显示屏幕可以根据实际的需要进行选定。

在其中一个实施例中，单面显示屏幕为触摸显示屏幕。双面显示屏幕的内侧和/或外侧屏幕为触摸显示屏。在该实施例中，单面显示屏的显示侧通常位于眼镜的外侧以供他人看到显示信息。将触摸显示屏设置在眼镜的外侧能够减少眼镜框对触摸区域的限制，增加用户手指的触摸范围，且便于触摸操作。双面显示屏的内侧或外侧屏幕为触摸显示屏，通常情况下，只要求有一面触摸显示屏作为信息输入端便能够满足一般性要求。优选地，双面显示屏的外侧屏幕为触摸显示屏。(这里所说的外侧都是指第二显示屏幕覆盖在第一显示屏幕上时眼镜的外侧，即远离眼睛的那一侧)。当然，双面显示屏幕的内侧和外侧也可以同时为触摸显示屏。以提高触摸屏幕的触摸范围和便于增加额外的附加功能。还可以在能够翻转第二显示屏幕164的智能眼镜中采用不同侧触摸显示屏幕进行信息输入。

在其中一个实施例中，如图6-13所示，眼镜架上设置有至少一个用于采集用户前方环境图像信息的前置环境图像采集设备。由于眼镜佩戴位置与人的眼睛位置非常的接近，因而其图像采集的视野与人本身的视野重合度高，视角精度高，当在眼镜架上设置用于采集用户前方环境图像信息的前置环境图像采集设备时，能够保障其采集到的环境图像与人看到的真实图像在直观上相吻合，减少用户使用过程中的眩晕感。

在其中一个实施例中，前置环境图像采集设备的采集视角与眼镜的视角相同。如此设置，使得环境图像采集设备171采集的图像信息与人眼看到的环境图形信息的相同，或在相同的技术条件下偏差能够控制到最小。

在其中一个实施例中，眼镜架上还设置有至少一个生物信息采集设备331。生物信息采集设备331贴近人体的太阳穴。人体的太阳穴处血管集中，且埋藏浅。将生物信息采集设备331贴近人体的太阳穴能够更加方便和准确的测量人体的体温、血压、心率等人体生物特征信息。

上述AR眼镜，通过设置与AR显示镜片连接，或与眼镜架连接的第二显示屏幕。一方面能够通过第二显示屏幕显示文字或图画信息以方便哑巴与预备阅读能力者交流。另外一方面能够通过第二显示屏幕显示VR画面，从而实现AR眼镜与VR眼镜功能的切换。同时，当第二显示屏幕为触摸屏幕时还能够作为信号输入端(类似于手机屏幕，并具有盲文输入功能)，实现人机交互功能。

上述VR眼镜，通过设置与VR显示镜片连接，或与眼镜架转连接的第二显示屏幕。能够通过第二显示屏幕显示文字或图画信息以方便哑巴与预备阅读能力者交流。同时还能显示如警示信息等，(警示别人的信息提醒或显示信息给对方看到)以方便盲人活动。此外，当额外设置的显示屏幕为触摸屏幕时还能够作为信号输入端(类似于手机屏幕，并具有盲文输入功能)，实现人机交互功能。

MR眼镜与上述AR眼睛在第二显示屏幕164的设置方式上相同，通过设置与MR显示镜片连接，或与眼镜架连接的第二显示屏幕。一方面能够通过第二显示屏幕显示文字或图画信息以方便哑巴与预备阅读能力者交流。另外一方面能够通过第二显示屏幕显示AR或VR画面，从而实现MR眼镜与AR眼镜或VR眼镜功能的切换。同时，当额外设置的显示屏幕为触摸屏幕时还能够作为信号输入端(类似于手机屏幕，并具有盲文输入功能)，实现人机交互功能。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种智能颈戴设备，包括主机，其特征在于，所述主机包括：

音频处理模块，用于收集并处理包括环境声音的声源位置信息的环境声音信息，以及生成3D和/或AR音频数据；

图像处理模块，用于收集并处理环境图像信息，以及生成包括环境声音的声源位置信息的显示数据；

所述显示数据包括VR、AR、MR中至少一种或两种及两种以上的组合数据；

中央处理模块，用于对各个模块的信息数据进行综合处理和控制；

存储模块，存储由所述中央处理模块执行的计算机程序。

2.根据权利要求1所述的智能颈戴设备，其特征在于，

所述图像处理模块设置有前置图像采集单元或外接有环境图像采集设备；

所述环境图像采集设备包括前置环境图像采集设备；

所述前置图像采集单元，以及所述前置环境图像采集设备用于采集用户前方的环境图像信息。

3.根据权利要求2所述的智能颈戴设备，其特征在于，

所述图像处理模块还设置有后置图像采集单元；

所述环境图像采集设备还包括后置环境图像采集设备；

所述后置图像采集单元，以及所述后置环境图像采集设备用于采集用户背后的环境图像信息。

4.根据权利要求2或3所述的智能颈戴设备，其特征在于，

所述图像处理模块还外接有AR眼镜，和/或VR眼镜，和/或MR眼镜；

所述AR眼镜，和/或所述VR眼镜，和/或所述MR眼镜的眼镜架上设置有至少一个所述前置环境图像采集设备。

5.根据权利要求3所述的智能颈戴设备，其特征在于，所述后置图像采集单元和/或前置图像采集单元为摄像头、红外成像单元或超声波成像单元中的一种或两种及两种以上的组合；

后置环境图像采集设备和/或前置环境图像采集设备为摄像头、红外成像设备或超声波成像设备中的一种或两种及两种以上的组合；

其中，所述摄像头为被动光线摄像头或主动光线摄像头；

所述红外成像单元为被动红外成像单元或主动红外成像单元；

所述超声波成像单元为主动超声波成像单元或被动超声波成像单元；

所述红外成像设备为被动红外成像设备或主动红外成像设备；

所述超声波成像设备为主动超声波成像设备或被动超声波成像设备。

6.根据权利要求1所述的智能颈戴设备，其特征在于，

所述图像处理模块还用于识别并获取手语或手势信息；

所述音频处理模块还用于将所述图像处理模块获取的所述手语或所述手势信息转化成音频数据。

或者，其特征在于，

所述图像处理模块还用于将所述环境图像信息转化成用于通过导盲设备输出的导盲数据。

或者，其特征在于，

所述图像处理模块还用于获取所述环境图像信息中的颜色信息，以及将所述颜色信息转化成VR显示数据和/或AR显示数据。

7.根据权利要求1-6任何一项所述的智能颈戴设备，其特征在于，

还包括盲文数据传输模块；

所述盲文数据传输模块用于将获取的第一信息数据转化成第二信息数据，和/或将获取的第二信息数据转化成第一信息数据；

所述第一信息数据包括语音信息数据，和/或手语信息数据，和/或文字信息数据，和/或图像信息数据；

所述第二信息数据为盲文数据；

所述文字信息数据包括盲文数据；

所述盲文数据包括布莱尔盲文数据。

其中，所述盲文数据传输模块特征还在于，

所述盲文数据传输模块包括盲文触点输出单元；

所述盲文触点输出单元与人体接触；

所述盲文触点输出单元用于输出所述盲文数据。

8.根据权利要求1-6所述的智能颈戴设备，其特征在于，

还包括内外传输数据处理模块、生物信息处理模块、网络数据模块、电子脉冲驱动模块、以及人工智能处理模块中的任意一个模块或两个以及两个以上模块；

所述内外传输数据处理模块用于转换所述主机与外接数据源之间传输数据的格式；

所述生物信息处理模块用于将人体生物特征信息转换成数字信号；

所述网络数据模块用于与网络连接，上传和下载信息数据；

所述电子脉冲驱动模块用于将电子脉冲控制信号转换成电子脉冲电流信号；

所述人工智能处理模块用于将用户的行为信息转化为数字信息并储存，以辅助用户对行为信息的记忆；

所述人工智能处理模块分别与所述存储模块和所述中央处理模块连接；

所述行为信息包括主体行为信息和客体行为信息。

9.一种智能颈戴设备的控制方法，其特征在于，所述方法包括：

获取环境图像信息和同一时刻相应的环境声音信息；

所述环境声音信息包括环境声音的声源位置信息；

将所述环境图像信息和所述环境声音的声源位置信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。

或者，所述方法包括：

识别并获取文字信息、音频信息、手语或手势信息；

将所述文字信息、所述音频信息、所述手语或手势信息转化成盲文数据或导盲数据，或将手语或手势信息转化成所述文字信息或所述音频信息。

或者，所述方法包括：

识别并获取环境图像信息中的颜色信息；

将所述颜色信息转化成VR、AR、MR中至少一种或两种及两种以上的显示数据。

或者，所述方法包括：

将用户的行为信息转化为数字信息上传至第三方数据平台进行计算；

将计算结果返回至用户端，储存并指导用户行为或辅助用户进行行为信息的记忆；

所述行为信息包括主体行为信息和客体行为信息；

所述主体行为信息包括主体声音信息和/或主体图像信息；

所述客体行为信息包括客体声音信息和/或客体图像信息。

10.一种智能眼镜，包括眼镜架和设置在眼镜框内由第一显示屏幕制成的镜片，其特征在于，还包括第二显示屏幕；

所述第二显示屏幕与所述镜片连接，和/或与所述眼镜架连接；

所述第二显示屏幕为单面显示屏幕或双面显示屏幕；

第一显示屏幕为AR显示屏幕、VR显示屏幕或MR显示屏幕。

其中，其特征还包括：

所述第二显示屏幕设置在所述镜片上，或嵌入所述镜片内，或与眼镜架转动副连接以形成翻转结构。

其特征还包括：

所述第二显示屏幕为一块完整屏幕或两块及两块以上屏幕的组合；

所述第二显示屏幕为直面屏幕或曲面屏幕。

其特征还包括：

所述单面显示屏幕为触摸显示屏幕；

所述双面显示屏幕的内侧和/或外侧屏幕为触摸显示屏幕。

上述其特征还包括：

所述眼镜架上设置有至少一个用于采集用户前方环境图像信息的前置环境图像采集设备。

其特征还包括：

所述前置环境图像采集设备的采集视角与眼镜的视角相同。