CN107157717A

CN107157717A - 用于向盲人提供视觉信息的物体检测、分析及提示系统

Info

Publication number: CN107157717A
Application number: CN201610575980.7A
Authority: CN
Inventors: 理查德·霍格尔; 罗伯特·贝克曼
Original assignee: Dimension Watch Co
Current assignee: Victoria Technology (Beijing) Co., Ltd.
Priority date: 2016-03-07
Filing date: 2016-07-20
Publication date: 2017-09-15
Also published as: CN206214373U; US20190070064A1; HK1248095A1

Abstract

本公开提供一种用于向盲人提供视觉信息的物体检测、分析及提示系统。更具体的，提供一种地标检测系统。一种采集、分析和反馈的便携式闭环系统，其使用包含小的不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机的头戴装置。头戴装置还可包含用户控件、音频反馈部件、电池、互连电路、线缆和用于口内装置的连接。头戴装置的相机部件在待分析的活动(如，步行或查看房间)期间采集图像，且将数据(例如，视觉数据)发送至控制器。控制器将数据传送至包括对在数据中表示的图像信息进行即时分析的软件的远程平台上的数据库，然后将即时反馈提供至头戴装置。控制器可独立地处理数据。

Description

用于向盲人提供视觉信息的物体检测、分析及提示系统

本发明是利用国防部(DoD)的国防医疗研究和开发项目(DMRDP)的DM090217和DM130076下的政府资助完成的。政府对本发明有一定权利。

技术领域

本发明大体上涉及用于向有视力障碍的人或盲人提供视觉信息的方法及设备。更具体而言，本发明涉及被设计成向完全失明的人提供检测和识别地标以及在其周围环境内导航的能力的方法及设备。该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机的头戴装置。头戴装置的相机部件在待分析的活动(如，步行或查看房间)期间采集图像，并且将数据(例如，视觉数据)发送至控制器。控制器将数据传送至包括对在数据中呈现的图像信息进行分析的软件的远程平台上的数据库，然后将反馈提供至头戴装置。控制器可以独立地处理数据。头戴装置以触觉手段(例如，经由附接的口内装置的用户的舌头的电触觉刺激)和/或听觉手段(例如，经由扬声器)的形式将反馈提供至用户。

背景技术

美国盲人基金会(AFB)估计美国目前有大约130万的认定的盲人。这一数字是估计有大约4千万的全世界的认定的盲人总人口的很小部分。全世界近一半的认定的盲人群体生活在中国。

失明患者传统上依靠手杖引导他们(例如，在街道或走廊上步行时，或在房间或商店中行动时)。然而，常规的行动手杖仅提供关于用户的周围环境(通常关于可由手杖物理触碰的物体)的很有限的信息。

已经开发出了其它装置来向盲人或有视力障碍的人提供关于超过常规手杖的物理达到范围的他或她的周围环境的信息。例如，发声手杖通过声音反馈(回波定位)来提供信息。当使用发声手杖时，其发出音频信号，该信号从用户的周围环境内的物体反射或发出回声。用户转译回波来辨认环境的布局。其它装置发出光信号，光信号从使用者周围的物体反射。反射然后被转换成听觉信号，例如，咔擦声或可变音调的嘟嘟声，以将关于周围物体的信息传递回用户。

美国专利申请序列第10/519,483号(公开号US 2006/0098089 A1)公开了一种包括用于检测和识别物体的电光装置的设备。控制单元用于接收和处理来自设备的信息。声音表示单元然后用于接收来自控制单元的指令，以用于向用户在听觉上描述物体的目的。

美国专利申请序列第12/354,266号(公开号US 2010/0177179)公开了一种包括与美国专利申请序列第10/519,483号中的那些部件类似的部件，但还包括耦合到用户可以在其上查看其周围环境的设备上的监视器。

美国专利申请序列第11/925,393号(公开号US 2009/0312817)公开了一种视觉辅助和/或增强装置，其使用电触觉刺激来在用户的舌头上提供视觉想象。

然而，这样的装置具有显著的局限性，原因在于，它们几乎不向深度失明的用户提供关于用户的远侧环境的信息。例如，依靠监视器来向盲人提供关于周围环境的信息的装置并未向人提供可使用的信息。另外，单独使用音频信号来将关于周围环境的信息传送给用户不适于嘈杂环境，例如，交通繁忙的街道，或不适于不能听到音频信号的聋盲人。此外，对于深度失明的用户，这些和其它现有的装置不能为盲人识别超出可以由手杖扫过和利用手杖触碰的距离的个人环境中的地标(例如，标志或导航提示)。

发明内容

本发明通过提供一种设备和方法来解决现有技术的方式中的问题，该设备和方法向盲人用户提供了扫描她或他的近处和远处的环境来检测和识别地标(例如，标志或其它导航指示)的能力，以及经由对用户的舌头的电触觉刺激来查看环境的能力。

因此，在一个实施例中，本发明大体上涉及用于向视力障碍的人或盲人提供视觉信息的设备和方法。更具体而言，本发明涉及被设计成向完全失明的人提供检测和识别地标且在其周围环境内导航的能力的设备和方法。该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机的头戴装置。头戴装置的相机部件在待分析的活动(如，步行或查看房间)期间采集图像，且将数据(例如，视觉数据)发送至控制器。控制器将数据传送至包括对在数据中表示的图像信息进行分析(例如，即时分析)的软件的远程平台上的数据库，然后将反馈(例如，即时反馈)提供至头戴装置。头戴装置控制器可以独立地处理数据。头戴装置以触觉手段(例如，经由附接的口内装置对用户的舌头的电触觉刺激)和/或听觉手段(例如，经由扬声器)的形式将反馈提供至用户。

因此，在一个实施例中，本发明的目的在于提供方法和设备来向盲人提供检测和识别其周围环境中的地标的能力。另一个目的在于在设备中提供提高的多功能性、效率、适应性和/或经济性，该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机和与无线网络和/或远程平台无线通信的控制计算机以用于地标检测和识别的头戴装置。

本发明的另一个目的在于提供由盲人穿戴的用于检测和识别相机视场内的物体的算法的方法及设备。另一个目的在于提供用于在远离头戴装置控制器的平台上的数据库内对传送的数据/信息进行分析的算法的方法及设备。在另一个实施例中，算法根据生成与被分析的传送的数据/信息有关的反馈信息，其中该反馈信息被传送(例如，通过无线网络)至头戴装置来传递至盲人。本发明不受将反馈信息传递至盲人的手段限制。示例性手段包括经由触觉(例如，人的舌头的电触觉刺激)以及听觉(例如，经由扬声器、耳机或骨传导)手段将反馈信息(例如，包含视觉信息)传递给盲人。

在一个实施例中，本发明提供了用于检测、识别和突出盲人用户的环境内的地标的方法及设备(例如，作为将用户引导至地标(例如，标志(例如，出口标志、厕所标志、人行横道标志或常用于环境中导航的其它标志))的手段)。本发明不限于突出地标的任何特定手段。若干非限制性示例包括利用电触觉刺激在用户的舌头上突出地标的算法的方法及设备，以及在用户使用相机扫描环境时向用户听觉地突出地标的算法的方法及设备，以利用电刺激在用户的舌头上提供视觉信息。

在一个实施例中，本发明提供了有助于盲人检测、识别地标和/或朝地标移动(例如，在绕过、越过和/或穿过人的环境内的障碍物或建筑物时)的设备及方法。在一个实施例中，该设备包括头戴装置，该头戴装置包括包含不引人注目的相机和与无线网络和/或远程平台通信的控制计算机、用户控件、音频反馈部件、电池、互连电路、线缆、和用于口内装置的连接。在一个实施例中，头戴装置的相机部件在待分析的用户活动(如，步行或查看房间)期间采集环境的视觉信息，且将视觉信息发送至控制器，由此控制器将视觉信息数据(例如，由相机采集的全部视觉信息中的所有或部分)传送至远程平台上的数据库，该远程平台包括对在视觉信息数据中表示的的图像信息进行分析的软件，然后将关于视觉信息数据的反馈提供至头戴装置，头戴装置继而又将反馈提供至盲人用户(例如，经由触觉(例如，对人的舌头的电触觉刺激)和/或听觉(例如，经由扬声器、耳机或骨传导)手段)。

本发明的另一个目的在于提供用于从相机采集的视觉信息中检测和移除阴影的方法及设备。在一个实施例中，从相机采集的视觉信息(例如，数字图像流)检测和移除阴影包括由头戴装置控制器和/或远程平台(例如，使用处理器、算法、和/或其它计算机部件)处理视觉信息，以从视觉信息中移除阴影(例如，在将与由相机采集的视觉信息(例如，数字图像流)有关的反馈经由头戴装置提供至盲人之前)。

在一个实施例中，本发明提供了一种用于盲人检测、识别地标和/或朝地标移动(例如，在绕过、越过、和/或穿过人的环境内的障碍物或建筑物时)的方法，包括以下步骤：接收用户的环境的视觉信息，将视觉信息数据(例如，由相机采集的全部视觉信息的所有或部分)传送至远程平台(例如，至远程平台上的数据库)，对远程平台上的视觉信息数据进行分析，以及将与视觉信息数据有关的反馈从远程平台发送至用户，从而使得用户能够检测、识别地标、和/或朝地标移动(例如，在绕过、越过和/或穿过人的环境内的障碍物或建筑物时)。

在一个实施例中，本发明提供了用于检测、识别和/或突出盲人用户环境内的地标的方法及设备(例如，作为将用户引导至地标(例如，标志(例如，出口标志、厕所标志、人行横道标志或常用于环境中导航的其它标志))的手段)。在一个实施例中，该设备包括包含相机以及与无线网络和/或远程平台无线通信的控制计算机的头戴装置，以及包括处理器部件、存储器部件和软件部件的远程平台，其中从相机获取的视觉信息在远程平台上被处理。在一个实施例中，远程平台包括检测、识别和/或突出视觉信息中存在的地标的算法。在另一个实施例中，远程平台包括用于检测和减少和/或消除视觉信息中的阴影的算法。在又一个实施例中，远程平台包括检测视觉信息中的物体的算法。在一个实施例中，设备包括用于将关于地标、阴影和/或物体的信息传递至盲人用户的装置。

本发明的另一个目的在于提供用于检测由相机采集的视觉信息中的物体的范围和距离信息的方法及设备。在一个实施例中，由相机采集的视觉信息(例如，数字图像流)中的物体的范围和距离信息包括由头戴装置控制器和/或远程平台(例如，使用处理器、算法和/或其它计算机部件)处理视觉信息，以计算视觉信息中的物体的范围和距离信息(例如，在将与由相机采集的视觉信息(例如，数字图像流)有关的反馈经由头戴装置提供至盲人之前)。

本发明的另一个目的在于提供用于检测由相机采集的视觉信息中的物体的颜色和/或对比度信息的方法及设备。在一个实施例中，由相机采集的视觉信息(例如，数字图像流)中的物体的颜色和/或对比度信息包括由头戴装置控制器和/或远程平台(例如，使用处理器、算法和/或其它计算机部件)处理视觉信息，以计算视觉信息中的物体的颜色和/或对比度信息(例如，在将与由相机采集的视觉信息(例如，数字图像流)有关的反馈经由头戴装置提供至盲人之前)。

本发明的另一个目的在于提供用于检测由相机采集的视觉信息中的基于姿势的指令的方法及设备。在一个实施例中，由相机采集到的基于姿势的指令(例如，数字图像流)包括由头戴装置控制器和/或远程平台处理视觉信息(例如，使用处理器、算法和/或其它计算机部件)以检测视觉信息中的基于姿势的指令。

这些目的和上文未指出的其它目的通过本发明的示例性实施例实现，其中本发明的系统被设计成辅助盲人检测、识别和/或突出盲人用户的环境内的地标(例如，作为将用户引导至地标的(例如，标志(例如，出口标志、厕所标志、人行横道标志或常用于环境中导航的其它标志)的手段)。本发明的设备是紧凑且轻量的，并且可以安装到盲人的头上。本发明连同附加特征和其优点可以通过结合附图参照以下描述来被最佳地理解。

附图说明

图1示出了本发明的用于盲人的视觉辅助装置(VAD)的非限制性实例。

图2A-2G示出了本发明的视觉VAD的非限制性实例的附加视图。

图2H-2N示出了包含本发明的VAD的装置的示意图。

图3示出了包括包含由线缆互连的印刷电路组件(PCA)的一定数目的互连子系统的本发明的一个示例性VAD。

图4A和4B示出了根据本发明的实施例的实施为膜片开关组件的示例性控制按钮。

图5示出了根据本发明的实施例的位于VAD的头戴装置框架的前部中的传感器子系统。

图6示出了根据本发明的实施例的利用电力线缆连接到VAD头戴装置上的VAD电池壳体。

图7示出了本发明的示例性VAD。

图8示出了根据本发明的实施例的集成到VAD中的示例性用户控件。

图9示出了有视力的同伴将看到的关于由本发明的VAD的用户获得的图像和状态信息的情况。

图10示出了样本出口标志检测。(A)成功的检测。(B)矩形示出漏报(遗漏的检测)，指出了由第二(SVM)分类器级不正确地拒绝的第一(Adaboost)分类器级检测到的候选物。(C)误报(假的)检测示出了建筑物立面中具有纹理的区域。

图11示出了样本厕所标志检测。(A)成功的检测。(B)成功的检测。(C)两个矩形示出了两个漏报，即，未检测到的两个厕所图标。

图12示出了厕所标志检测器的接收器操作特征(精度对查全)曲线：曲线示出了没有跟踪的结果，X示出了具有跟踪的结果。跟踪提高查全，而其中精度仅适度降低。

图13示出了出口标志检测器的接收器操作特征(精度对查全)曲线。曲线示出了没有跟踪的结果，X示出了具有跟踪的结果。

定义：

为了便于理解本发明，多个术语和短语定义如下：

如本文使用的，术语"放大器"是指产生作为相对应的电输出参数的函数的电输出，且借助于从外部来源吸收的能量来增大输入的大小(即，其引入增益)的装置。"放大"是指电子装置对电信号的重现(通常在增大的强度下)。"放大手段"是指使用放大器来放大信号。期望的是，放大手段还包括用于处理和/或过滤信号的手段。

如本文使用的，术语"接收器"是指将传送的波转换成期望形式的输出的系统的一部分。接收器在选择的性能(即，已知灵敏度水平)在其上操作的频率范围为该接收器的"带宽"。

如本文使用的，术语"变换器"是指将非电参数(例如，声音、压力或光)转换成电信号或反之的任何装置。

如本文使用的，术语"刺激器"和"促动器"在本文中指用于将刺激(例如，触觉振动、电触觉、热等)给予受验者的组织的装置的部件。在本文中提到时，术语刺激器提供了变换器的示例。除非相反描述，否则本文中描述的使用刺激器或促动器的实施例还可以采用其它形式的变换器。

如本文使用的术语"电路"是指电流的完整路径。

如本文使用的，术语"电阻器"是指拥有电阻且由于该使用而被选择的电子装置。期望该术语涵盖所有类型的电阻器，包括但不限于固定值或可调整的碳、绕线式和薄膜电阻器。术语"电阻"(R；ohm)是指材料阻挡电流通过且将电能转换成热能的趋势。

术语"磁体"是指具有吸引铁并且在其外部产生磁场，且在自由悬置时指向地球的磁极的属性的主体(例如，铁、钢或合金)。

如本文使用的，术语"磁场"是指在其中可以检测到磁力的磁体周围的区域。

如本文使用的，术语"电极"是指用于与电路的非金属部分，特别是生物系统的部分(例如，舌头上的人类皮肤)建立电接触的导体。

术语"壳体"是指包住或包围本发明的装置的至少一个部件的结构。在优选实施例中，"壳体"由"生物相容的"材料制成。在一些实施例中，壳体包括至少一个气密性导孔，引线经由其从壳体内部的部件延伸至壳体外部的位置。

如本文使用的，术语"生物相容的"是指对周围组织具有最小(即，相比于控制没有看到明显差异)或没有刺激性或免疫效果的任何物质或化合物。还期望该术语用于指代为了最小化或避免与本发明的壳体或其它方面的免疫反应而使用的物质或化合物。特别优选的生物相容的材料包括但不限于钛、金、铂、蓝宝石、不锈钢、塑料和陶瓷。

如本文使用的，术语"气密性密封"是指以使得至少一定程度上防止位于装置外部的液体或气体进入装置内部的装置或物体。"完全气密性密封"是指以使得没有位于装置外的可检测到的液体或气体进入该装置内部的方式被密封的装置或物体。期望的是，密封通过各种手段实现，包括但不限于机械、胶或密封剂等。在特别优选的实施例中，气密性密封的装置被制造以使得其完全防漏(即，完全不允许液体或气体进入装置的内部)。

如本文使用的，术语"处理器"是指能够从计算机存储器(例如，ROM或其它计算机存储器)读取程序并且根据该程序执行步骤的集合的装置。处理器可以包括非算法信号处理部件(例如，用于模拟信号处理)。

如本文使用的，术语"存储器部件"、"计算机存储器"和"计算机存储器设备"是指可由计算机处理器读取的任何存储介质。计算机存储器的示例包括但不限于RAM、ROM、计算机芯片、数字视频盘(DVD)、光盘(CD)、硬盘驱动器(HDD)，以及磁带。

如本文使用的，术语"远程平台"是指与本发明的头戴装置控制器分离的任何远程计算机、电话、平板设备、个人计算机或包含处理器和存储器部件(例如，用于存储数据库)的其它装置。

如本文使用的，术语"计算机可读介质"是指用于存储和向计算机处理器提供信息(例如，数据和指令)的任何装置或系统。计算机可读介质的示例包括但不限于DVD、CD、硬盘驱动器、磁带、闪速存储器和网络上的用于流媒体的服务器。

如本文使用的，术语"多媒体信息"和"媒体信息"被互换地使用，以指代对音频、视频、和/或文本进行编码和表示的信息(例如，数字化的信息和模拟信息)。多媒体信息还可以承载不与音频或视频相对应的信息。多媒体信息可通过方法来从一个位置或装置被传送至第二位置或装置，方法包括但不限于电、光和卫星传输等。

如本文使用的，术语"因特网"是指使用标准协议的网络的任何集合。例如，该术语包括由一组标准协议(如，TCP/IP、HTTP和FTP)链接在一起以形成全局的、分布式网络的互连(公共和/或私用)网络的集合。尽管该术语旨在指代一般称为因特网的网络，但其还旨在涵盖未来可能产生的变型，包括对现有标准协议的改变和添加或与其它媒体(例如，电视、无线电等)的集成。该术语还旨在涵盖非公共网络，例如专用(例如，企业)内联网。

如本文使用的，术语"安全协议"是指将对处理器、存储器的访问限制到被授权访问处理器的特定用户的电子安全系统(例如，硬件和/或软件)。例如，安全协议可以包括闭锁处理器的一个或多个功能直到输入正确密码为止的软件程序。

如本文使用的，术语"资源管理器"是指优化处理器或另一系统的性能的系统。例如，资源管理器可以被配置为监测处理器或软件应用的性能以及管理数据和处理器分配、执行部件故障恢复、优化数据的接收和传输等。在一些实施例中，资源管理器包括在本发明的计算机系统上提供的软件程序。

如本文使用的，术语"电子通信"是指被配置为通过直接或间接信令来相互通信的电装置(例如，计算机、处理器、通信设备)。例如，会议桥通过线缆或线连接到处理器以使得信息可以在会议桥与处理器之间传递，这样的会议桥彼此电子通信。同样，被配置为将信息传送(例如，通过线缆、线、红外信号、电话线等)至另一个计算机或装置的计算机与其它计算机或装置电子通信。

如本文使用的，术语"传送"是指使用任何适合的手段(例如，无线通信(例如，WIFI、因特网、云等)和有线通信)使信息(例如，数据)从一个位置移动至另一个位置(例如，从一个装置移动到另一个)。

如本文使用的，术语"电触觉"是指负责感测功能的感测通道(例如，神经)由电流刺激的手段。在一些实施例中，该术语是指负责人的触觉(和/或味觉)感知的感测通道(例如，神经)由电流(经由表面(或植入)电极施加)刺激的手段。术语电触觉可与术语"皮肤电(electrocutaneous)"和"皮电(electrodermal)"互换使用。

具体实施方式

本发明通过提供一种方法和设备来解决现有技术的途径中的问题，该方法和设备向盲人用户提供了扫描她或他的近处和远处的环境来检测和识别地标(例如，标志或其它导航指示物)的能力，以及经由用户的舌头的电触觉刺激查看环境的能力。

因此，在一个实施例中，本发明大体上涉及用于向有视力障碍的人或盲人提供视觉信息的设备和方法。更具体而言，本发明涉及被设计成向完全失明的人提供检测和识别地标且在其周围环境内导航的能力的设备(例如，视觉辅助装置(VAD)100，如图1，图2H-图2N，图6以及图7所示)和方法。该设备包括采集、分析和反馈的便携式闭环系统，其使用包含不引人注目的相机10和与无线网络和/或远程平台无线通信的控制计算机(或控制器)8的头戴装置1。头戴装置1的相机10在待分析的活动(如，步行或查看房间)期间采集图像，且将数据(例如，视觉数据)发送至控制器8。控制器8将数据传送至包括对在数据中表示的图像信息进行即时分析的软件的远程平台上的数据库，然后将即时反馈提供至头戴装置1。控制器8可独立地处理数据。头戴装置1经由附接的口内装置2以对用户舌头的电刺激的形式将反馈提供给用户。

在一个实施例中，本发明的视觉辅助装置100(VAD，本文中也称为"V200"或"博瑞宝(BRAINPORT)V 200")将由数码相机10采集到的物体的图像转变成提供至用户的舌头的电触觉信号。用户转译电触觉信号来感知视觉信息，该视觉信息包括但不限于物体的形状、尺寸、位置和运动。在进一步的实施例中，本发明的VAD 100包含允许与一个或多个远程平台(例如，用于交换图像数据、状态和/或控制信息)无线连接/通信的部件。相比于常规装置，该功能显著地扩展了本发明的VAD 100的能力(例如，通过利用处理一个或多个远程平台的计算机处理能力(例如，包括对因特网和相关服务的访问))。

在一些实施例中，本发明的VAD 100扩充了其它视觉协助技术(例如，手杖或导盲犬)。在其它实施例中，本发明的VAD 100完全替代了其它视觉辅助技术(例如，手杖或导盲犬)。

图1-图2以及图4-图8中示出了本发明的用于盲人的视觉辅助装置100(VAD)及其中的各种组件的非限制性示例。在一个实施例中，本发明的VAD 100可以包括没有到外部设备的物理连接(例如，在正常操作期间)的完全可穿戴的、电池操作的装置。该装置旨在用于便携使用。如图1中所示，本发明的VAD 100可包括头戴装置1、口内装置(IOD)2、电池壳体4和/或充电器。头戴装置1提供装置的图像输入和输出功能。IOD 2包含刺激电极(例如，布置成阵列(例如，20行x20列的阵列，其中两个边缘上移除了若干电极以便更好符合舌头))。IOD 2可置于用户的舌头上，其中电极37与舌头接触。源自相机图像(或其它源，如，远程平台)的刺激图案输出至阵列。用户感觉到这些图案，且将它们转译为视觉信息(例如，由此感知关于用户前方和周围的场景和环境的信息)。

本发明不受电池5的类型限制。在一个实施例中，电池壳体4容纳锂聚合物可再充电池5(例如，可由用户移除或替换的电池)。电池壳体4经由可调整的带附接到头戴装置1上，并且可穿戴在头后方。这允许用户具有VAD 100的完全免手持操作。

头戴装置1可以包括相机单元10、用户控件9、控制计算机(控制器，例如，模块上计算机(COM)或者模块上系统)8、互连电路、和相关联的线缆(例如，所有都容纳在类似于眼镜框的尺寸和形状的壳体内)。用户的简单头部运动将相机10视野引导至感兴趣的场景(例如，侧向地和/或水平地扫描环境)。相机10采集看到的场景来作为数字图像，其中图像被转发至控制器8(例如，用于处理和/或中继至远程平台)。IOD 2上的电极阵列将表示相机图像的刺激图案呈现至用户的舌头。尽管本发明不受IOD 2上的存在的电极的数目限制，但在一个实施例中，IOD 2包含以20x20网格37布置的396个电极(每个前转角上的3个电极未安装，以使得转角可以圆角化)。电极在使用期间置于舌头的顶面上。在如图1中所示的一个实施例中，IOD 2以柔性线缆3系到头戴装置1上，这允许IOD 2在舌头上的容易的重定位和从口腔移除IOD 2。在另一个实施例中，IOD 2无线地连接到头戴装置1上。用户控件9和反馈位于头戴装置1上(例如，见图1，按钮膜片开关组件9)。本发明不由向用户的舌头提供触觉(电)刺激的手段限制。在一个实施例中，使用了美国专利申请序列第11/925,393号(公开号US2009/0312817)中所述的装置，其通过引用以其整体并入本文中。

附加特征可以并入头戴装置1中(例如，见图1)。这些特征包括音频反馈装置(例如，音频扬声器12、音频连接插头13)、无线(例如，WIFI)模块上系统(SOM)8、光传感器27、接近传感器24、包括3轴加速计、3轴陀螺仪、3轴磁强计的运动跟踪单元(MTU)和温度传感器，以及用于每个部件的印刷电路组件。在某个实施例中，头戴装置1还包括IOD线缆14的连接或端口，电源线15的连接或端口，和/或鼻梁夹16用于使头戴装置1适应和/或符合用户的脸。

在一个实施例中，使用简单的头部运动，用户使相机10指向感兴趣的场景。相机10采集由场景中的物体反射的光，创建与其等效的数字图像。控制器接收该数字图像。在一个实施例中，相机图像的一部分(例如，图像的由用户选择的部分，或由存在于远程平台上的算法识别的部分)由控制器呈现为20x20像素的等效的舌头表示图像。在一个实施例中，对于较宽的视场，相机图像的适当尺寸的区域被空间平均以建立舌头图像中的对应的像素值。对于很窄的视场，相机像素重复。呈现的舌头表示图像然后被光栅扫描到IOD 2上的电极的20x20矩阵上。存在于相机图像中的空间关系通过使用阵列上的电极的位置与用户选择的视场中的区域之间的一对一的映射来保持。每个电极处的刺激强度与由相机10采集的图像的对应区域的亮度成比例。本发明不受系统的帧率限制。在优选实施例中，系统的帧率足够快，使得用户将视觉信号感知为连续流。

用户控件9可位于头戴装置1(见图1及图8)上。在一个实施例中，由于用户具有有限或没有可用的天然视力，故控件9的放置和/或形状提供在控件9之间区分所需的触觉信息。多个不同类型的控件9可以被集成到本发明的VAD 100中。例如，一个或多个控件9(例如，控制按钮)可提供以下核心功能：电源开/关36；系统状态33；刺激强度(例如，0到100％＝0到16伏)；相机图像缩/放(例如，3°到48°)；刺激反向；对比度正常(灰度)或高(黑/白)；边缘增强；音量，用于调整听觉音量(默认、低、静音)；WiFi启用/停用；测试，呈现给电极阵列的测试图案，允许用户验证正确的刺激性能。在一个实施例中，头戴装置1上的相机壳体50可向下倾斜至45度，以在向下看时最小化用户的颈部负担。

在一个实施例中，提供至用户的反馈(例如，按下控制按钮之后的VAD 100状态(参阅图8，标号30-标号36)，或来自位于远程平台上的算法的反馈)可以是非视觉的。例如，反馈可经由控制器内的触觉和/或听觉子系统提供。类似于诸如手机等的商业装置，本发明的VAD 100可提供合成语音和音调来通知用户状态/改变和/或视觉信息。

图2A-2N中示出了本发明的VAD 100的附加示例性附图。图2A是VAD 100的四分之三透视图。图2B是VAD 100的正视图。图2C是VAD 100的后视图。图2D是VAD 100的右视图。图2E是VAD 100的左视图。图2F是VAD 100的俯视图。图2G是VAD 100的仰视图。图2H-图2N示出了一个装有头戴装置1的装置。图2H是该装置的四分之三透视图。图2I是该装置的正视图。图2J是该装置的后视图。图2K是该装置的右视图。图2L是该装置的左视图。图2M是该装置的俯视图。图2N是该装置的仰视图。

图1中示出了本发明的VAD 100的头戴装置1。在一个实施例中，头戴装置1包含用于头戴装置1的部件的印刷电路组件(PCA)6,8,23和柔性线缆18,20,29，包括但不限于，膜片开关组件9；相机PCA；传感器PCA 23；环境光PCA 27；SOM载体PCA 8；SOM2Sensor(SOM至传感器)线缆PCA(在各端处具有连接器的刚-挠性线缆18)；天线PCA；和/或音频PCA 13。头戴装置1还可包括眼镜脚(例如，左和右)、音频柔性线缆29、塑料壳体部件、带夹和/或臂插入件。

本发明的一个示例性VAD 100可包括多个互连的子系统，其连同软件部件工作来提供装置的核心功能。如图3中所示和以下段落所述，这些子系统包括由定制线缆互连的印刷电路组件(PCA)。

处理子系统。处理子系统位于头戴装置1壳体中。在一个实施例中，如所述和图3中所示，本发明提供了专门设计成容纳电路板和线缆的壳体。

Torpedo SOM。Torpedo SOM为LogicPD DM3730 Torpedo^TM+无线模块上系统8。SOM8安装在SOM载体PCA 8上。天线(天线PCA)连接到与SOM 8集成的WiFi模块上。SOM 8经由电池PCA上的主电源被供电。SOM 8经由SOM 8载体PCA来监测和/或控制VAD 100中的其它子系统。Torpedo SOM 8为执行Linux操作系统和定制的VAD 100应用软件的计算机。例如，SOM 8功能可包括：在启动时配置装置设置；在操作期间修改装置设置；管理相机图像获取和处理；监测和响应用户控件9，包括但不限于开/关电源、状态请求和模式控制、电池状态、音量、WiFi、测试图像相关的状态/模式控制、强度、缩放、对比度、反转和/或边缘增强；生成音频输出(例如，将反馈提供至用户)；创建和发送刺激图案至口内装置(IOD 2)；监测环境光传感器11(例如，跟踪照明条件)；监测接近传感器24以确定头戴装置1何时被穿戴；监测惯性测量单元传感器(加速计、陀螺仪、指南针)来跟踪头戴装置1的运动和定向；监测电池状态(例如，经由电池燃料计)；设置和监测实时时钟/日历部件；允许远程连接(例如，经由无线连接(例如，经由WiFi(802.11a/b/g/n)接口和天线))；和/或将图像、命令和/或状态数据流式传输到远程平台/或从远程平台流式传输图像、命令、和/或状态数据。

SOM载体(未示于图中)。SOM载体PCA提供SOM 8与其它头戴装置硬件部件之间的机电接口。Torpedo SOM 8插入到SOM载体PCA上的接收连接器中。除SOM 8连接器之外，SOM 8载体PCA可包括：按钮电源开/关控制器(例如，在关状态中，瞬间按下电源按钮(例如，见图1中的用户控件9按钮)将启用电池PCA上的主电源，且装置将进入开状态；在处于开状态时，保持按压(例如，1到3秒)将停用主电源，且装置将进入关状态)；电压转换器(例如，用于转换在不同电压处操作的装置之间的逻辑电压电平的装置)；实时时钟/日历(例如，一旦由SOM 8(例如，该装置可经由I2C总线与SOM 8通信)设置，则保留当前的一天中的时间和日期的装置)；IOD 2VSTIM电源(例如，用于提供电力(例如，17V到100mA)至刺激电极(例如，供电可由Torpedo SOM 8开启/关闭))；SOM 8电源(例如，用于将清洁的3.3V电力供应至TorpedoSOM 8(例如，该供应可在主电源启动时启用))；LED电路(例如，Torpedo SOM 8在软件引导过程启动时点亮绿色LED，且在IOD VSTIM电源启用时点亮琥珀色LED)。在一个实施例中，SOM载体经由具有内护套的6导线电力线缆7连接到电池PCA上。护套连接在SOM载体上。在一个实施例中，SOM载体通过定制的柔性线缆18(例如，30导线柔性线缆)连接到传感器PCA上。在一个实施例中，SOM载体经由具有内护套的IOD线缆3(例如，具有护套的6导线线缆)连接到IOD寻址PAC上。护套可连接在IOD端处。

天线PCA。天线PCA包括天线子系统，并且互连，并且可用于广播射频(RF)信号。其可经由定制长度的线缆直接地连接到SOM 8上，且根据由LogicPD指定的规则设计，以确保SOM的FCC和IC ID在无改变的情况下使用。其可在确保符合身体穿戴装置的特定吸收率(SAR)限制的位置置于VAD 100壳体内。

电力。电力子系统也可位于电池壳体4中，电池壳体4由电力线缆7(例如，6导线线缆)连接到SOM载体PCA上。电池壳体4设计成容纳电池5、电池PAC 6和电力线缆7。

电池。本发明的VAD 100可使用任何类型的可再充电池5。在一个实施例中，VAD100使用VARTAEASYPAK XL电池或可在3.7V下提供220mAh(例如，符合IEC 63133)的任何其它类型的电池。

电池PCA。电池PCA 6可包括：电池连接器(例如，提供电池5的'+'和'-'连接端子)；电池燃料计(例如，监测电池充电状态(例如，可直接地连接到电池上来用于监测目的，以及，经由I2C总线(电力线缆7上)连接到SOM 8上(例如，允许SOM 8针对查询燃料计以获取当前电池状态)))；和/或主电源(例如，将电池电力转化成恒定的4.1V的供电(最大1A))。在优选实施例中，电池PCA6设计成配合在电池壳体4内。

用户控件-硬件。在一个实施例中，用户控件9位于顶件上的头戴装置1框架的前部处(见图1及图8)。在一个实施例中，控制按钮30,31,32,33,34,35,36被实施为膜片开关组件9(见图4A和4B)，以提供端接于柔性抽头17的7个单刀/单掷瞬时常开开关。柔性抽头17连接到传感器PCA 23。每个控制按钮被实施为具有促动力的金属圆顶开关，例如，具有180g促动力的8mm直径的金属圆顶开关。

传感器子系统。在一个实施例中，传感器子系统(例如，集成了多个VAD 100传感器)位于头戴装置1框架(见图5)的前部中。

传感器PCA。传感器子系统PCA 23(参见图5)用作用于头戴装置1、用户控件9、和音频子系统12中的传感器的集成中心。传感器PCA 23被定制设计为配合在VAD 100头戴装置1前壳体内，且提供：传感器部件和SOM载体8和电池PCA 6间的电力和信号连接；用于膜片开关垫9上的控制按钮的防反跳电路；用于环境光检测器27/接近检测器24和接近传感器LED的单独的电源(例如，3.3V电源)；和/或用于膜片开关柔性抽头17、音频柔性线缆29、相机柔性抽头20、和/或SOM 2传感器柔性线缆18的连接点。传感器子系统PCA 23可以包括相机连接器19，SOM载体连接器22，音频连接器26，和/或膜片开关连接器28.

相机PCA(未示于图)。相机PCA安装在相机壳体50内(参见图5)。该PCA为刚-挠性设计，其包括数字图像传感器和透镜21。PCA的柔性电路延伸20允许相机PCA(其壳体内)向上或向下倾斜至45度。

图像传感器。在一个实施例中，本发明的VAD 100的相机图像传感器具有以下特征：

光学Fmt	1/3inch
		图像尺寸，Horz(mm)	4.51
图像尺寸，Vert(mm)	2.88
		图像尺寸，Diag(mm)	5.35
有效像素	752×480
		像素尺寸(μm)	6
模糊圆	0.012
		快门	全局
响应性(V/lux-sec)	4.8
		动态范围(dB)	80
SNR(dB)	45

表1、本发明的VAD 100的相机图像传感器的示例性特征。

处理这些特征的任何传感器都可使用，包括但不限于APTINA MT9V024数字图像传感器。

透镜。在一个实施例中，连同图像传感器使用的透镜21具有以下特征：有效焦距(EFL)：3.3(例如，提供至少相机的45度视场的EFL)；透镜高度；4.5mm+/-10％(例如，这能够配合在VAD 100相机壳体/透镜座上)；图像圆：＞4.0mm；和/或IR滤波器：645nm。

本发明的VAD 100的IOD 2阵列的电极被布置成网格(例如，20x20空间正方形网格)。为了匹配IOD 2阵列的纵横比，VAD 100裁剪图像传感器数据，以使得用于图像处理的像素的空间布置也是正方形，其中像素组的中心定心于图像传感器上。透镜21的'图像圆'必须至少覆盖选择的像素的集合。本发明不限于任何特定的透镜21。在一个实施例中，使用具有以下规格的14033MPF透镜：尺寸：1/4",EFL 3.3mm,F2.8,M7*0.35具有IR滤波器的安装透镜。

环境光传感器PCA。环境光传感器PCA 27包括光-数字转化环境光光传感器，其将光强度转换成能够有直接I2C接口的数字信号输出。该数字输出由Torpedo SOM 8监测，其中以lux为单位的亮度(环境光水平)是使用实验公式导出的以近似人眼响应。环境光传感器经由I2C通信总线连接到Torpedo SOM 8上。本发明不限于任何特定的光传感器25。在一个实施例中，使用了具有数字(I2C)输出的APDS-9301微型环境光的光传感器。

接近传感器。传感器PCA的接近检测器24位于传感器PCB的后侧上，与头戴装置1中的开口和对应的保护透镜共线，允许其检测用户何时穿戴头戴装置1。通过监测该信号，一旦移除头戴装置1，则Torpedo SOM 8可进入低功率或功率下降模式，由此显著地延长电池寿命(例如，不需要下调或升高设备功率的用户动作)。接近传感器24可检测高达100mm远的物体。接近传感器通过启用IR LED发射器，然后测量最近物体反射出且由IR检测器接收到的能量来实现。接近传感器24经由I2C通信总线连接到Torpedo SOM 8上。本发明不限于任何特定接近传感器24。在一个实施例中，使用了AvagoAPDS-9130。

运动跟踪单元。传感器PCA 23包括运动跟踪单元(MTU)，其可包括3轴加速计、3轴陀螺仪、3轴磁力计和温度传感器。通过监测MTU的数据输出，Torpedo SOM 8可确定头戴装置1的取向，头戴装置1是否运动，以及运动的方向。MTU经由I2C通信总线连接到TorpedoSOM 8上。本发明不限于任何特定的运动跟踪单元或其部件。在一个实施例中，使用了InvenSenseMPU-9250多芯片模块。

舌头刺激。IOD 2置于用户的舌头上，且刺激通过IOD 2的底面上的电极37发生。电极与舌头之间的电流用于刺激舌头上的神经。用户将刺激描述为略微刺痛、嗡嗡声或起泡状感觉。在一个实施例中，不超过四个电极同时活动。在另一个实施例中，活动的电极由至少4个不活动的电极分开。在另一个实施例中，所有396个不活动的电极用作4个活动电极的公共回路。

口内装置(IOD)2组件包括IOD电极阵列PCA、IOD寻址PCA和用于将IOD组件2连接到头戴装置1上的IOD线缆3。在一个实施例中，IOD电极阵列37为定制的PCA，其包含每个电极一个开关电路(例如，394个开关电路)。电极布置成均匀间隔开(例如，以中心到中心1.32mm(0.52in))的网格(例如，20行乘20列的正方形网格)。电极阵列37经由高密度连接器连接到IOD寻址PCA上。电极行和列激活信号经由高密度连接器从寻址板接收。这些激活信号启用和停用阵列上的开关电路。在开关被启用时，电极阵列37使从寻址板到激活电极的模拟电压被选通。

IOD 2寻址PCA为定制的印刷电路组件。寻址PCA接收来自Torpedo SOM 8的刺激图案。其使用该数据来驱动电极行和列激活信号。行/列激活信号被实施为使得电极阵列以光栅扫描方式被激活。电压信号的大小与IOD 2图像中的像素(例如，相机图像的20x20的呈现)的亮度成比例。IOD 2图像像素对应于由行和列信号激活的电极。在电极阵列37的制造过程期间，寻址板和线缆3连结且然后封装在生物相容的环氧树脂中。环氧树脂保护电子装置，且向完整的组件提供机械刚性。在封装之后，环氧树脂被抛光来完全露出电极且移除任何粗糙边缘。置于柔性线缆上的硅套筒与环氧树脂的边缘对接，且利用硅胶胶合就位来完成子组件。

音频PCA。音频PCA包括扬声器、音频控制器、电源和放大器。此外，用于向实时时钟提供长期电力的超级电容器可位于该PCA上。在一个实施例中，本发明使用由Torpedo SOM8或MSP340音频控制器驱动的具有以下特征的扬声器来向用户提供音频反馈：频率范围：300Hz～17kHz；阻抗：8Ohm；声压水平：73.5dB；额定功率：600mW；最大功率：1.2W。

在一个实施例中，MSP340音频控制器执行嵌入固件，且具有来自Torpedo SOM 8的单个的数字输入。当数字输入关闭时，MSP340音频控制器利用音频序列来驱动扬声器。当数字输入开启时，MSP340音频控制器将扬声器的控制释放给Torpedo SOM 8，Torpedo SOM 8然后可以利用其自身的音频序列来驱动扬声器12。此外，音频PCA包括2通道音频混合器，使得当耳机插头插入耳机插孔时，所有音频输出都被路由至耳机而不是扬声器12。

V200电池壳体。在一个实施例中，电池壳体4为用于本发明的VAD 100的电源，且包含以下：V200-3V7P-PowerPCA(PowerPCA)；VARTA EasyPack XL 3.7V，2260maH锂离子电池组。在一个实施例中，如图6中所示，VAD 100电池壳体4利用电力线缆7连接到VAD 100头戴装置1上(如图6所示)。

图7中示出了本发明的示例性VAD 100。图7中示出了若干可见的部件，包括：

1.相机10用于采集穿戴者前方的场景

2.扬声器12提供音频反馈

3.电池壳4包含可再充电的电池。利用可调整的带安装到头戴装置1的后部上。

4.接近传感器24检测头戴装置1何时被穿戴。如果移除头戴装置1，则系统将在几分钟之后关闭

5.IOD 2包含将刺激图案提供给你的舌头的电极。

图8中示出了可集成到本发明的VAD 100中的示例性用户控件9。如图8中所示，控制按钮可以被配置为控制

电力(36)(例如，装置开/关按钮(例如，开启或关闭装置，按下按钮))；

系统(33)(例如，按钮滚动穿过系统特征(例如，系统旁边的上(34)和下(35)按钮，选择针对该特征的特定动作))。在一个实施例中，系统特征可以被如下配置：

状态：上/下将循环穿过以下状态报告，在每个停止处发布信息，

-电池充电水平，

-由装置检测到的照明条件，

-装置的版本；

音量：上/下将循环穿过以下音量水平，将音量变为当前选择的特征

-静音，

-低，

-高；

WiFi：上或下按钮启用或停用WiFi(例如，停用WiFi将有助于保留电池寿命)；和/或

测试：上和下按钮选择测试模式(例如，用于解决装置操作故障)。

成像(32)(例如，成像按钮32滚动穿过图像特征(例如，使用上(31)和下(30)按钮来选择针对每个特征期望的水平))。示例性图像特征包括但不限于：

强度：刺激强度控制(例如，使用上31和下30按钮来(分别)增大或减小舌头上的刺激的强度(例如，装置将在刺激极限(例如，最高＝100，最低＝0)处发出嘟嘟声)。在功率升高时，刺激强度总是重置至零，且必须增大至舒适水平)。

缩放：相机视场(FOV)控制(例如，使用上和下按钮来缩小(较小FOV)或放大(较大FOV))。按下上按钮来增大相机缩放水平(减小相机的有效视场)。按下下按钮来减小相机缩放水平(增大相机的视场)。装置将在缩放极限(例如，最宽＝48度，最窄＝3度)下发出嘟嘟声。

倒转：(例如，倒转刺激强度值，其中最强变为最弱，且反之亦然(例如，使用上和下按钮来在视场中的亮物体还是暗物体刺激舌头阵列之间切换))。

对比度：图像对比度控制(例如，上和下按钮在正常对比度(默认)与高对比度模式之间切换)。高对比度将加强相机图像中的亮区域与暗区域之间的差异。

边缘增强：启用/停用边缘增强(例如，使用上和下按钮来启用或停用该功能(例如，在该模式中，相机图像中的边缘被增强来使得它们更容易辨认))。

图8中还示出了本发明的VAD 100的附加部件。例如，如本文所述，头戴装置1的相机(10)可调整成直接从头戴装置1朝外指向或向下倾斜(至大约45度)来减小颈部疲劳。

在一个实施例中，本发明的VAD 100包括陪同观察者。例如，训练员或有视力的同伴可使用网络浏览器来查看VAD 100相机图像和基本状态信息。使用具有WiFi能力的移动装置(例如，膝上型计算机、平板设备、或智能电话)，有视力的同伴可建立与VAD 100的WiFi连接，且显示具有图像和状态信息的网页(例如，见图9)。

远程平台访问。如本文所述，在优选实施例中，本发明提供了VAD 100，其不但包括位于头戴装置1中的控制器，而且包括启用与远程平台的连接的部件(例如，无线(例如，WIFI)连接和天线)。因此，在一个实施例中，远程平台经由WiFi(或其它无线连接方案)与本发明的VAD 100连接。使用通信协议，远程平台上的应用程序可与VAD 100交换数据。交换的数据可包括但不限于图像流、状态信息、和/或命令/控制序列。此外，数据交换可为双向的。例如，在一个实施例中，VAD 100可将视觉信息(例如，由相机记录(例如，图像流))发送至远程平台(例如，由此远程平台处理图像流(例如，检测、识别和/或生成关于图像流的反馈)且将信息(例如，视觉信息(例如，处理的图像流))传送至VAD 100(例如，用于增强或替换呈现给用户的信息(例如，经由IOD 2和/或听觉信号)))。在一个实施例中，远程平台具有与多个VAD 100的连接。在另一个实施例中，本发明的VAD 100具有与一个以上的远程平台(例如，两个、三个、四个、五个或更多远程平台)的连接。

在另一个实施例中，本发明提供了连同本发明的方法和/或设备使用的算法和/或软件(例如，软件在Torpedo SOM 8和/或连同于本文所述的任何方法或设备的连接的远程平台上执行)。如本文所述，本发明不限于任何特定远程平台。实际上，多种远程平台可用于本发明的方法和设备中，远程平台包括但不限于，智能电话(例如，基于iOS和安卓的平板设备)、平板设备(例如，基于iOS和基于安卓的平板设备)、桌面PC(例如，运行可连接(例如，无线或硬连线)到本发明的VAD 100的头戴装置1部件的任何操作系统)。此外，任何软件算法都可编码到硬件和/或软件中，以改善性能、降低成本等。

地标检测和识别。对于盲人用户，能够定位感兴趣的地标(例如，标志、人行横道、建筑物、地理位置等)显著地改善了用户的生活质量。如本文详细所述，本发明的VAD 100向盲人用户提供了上文不可用的检测、识别、突出地标和/或朝地标移动的能力(例如，在绕过、越过和/或穿过使用者的环境内的障碍物或结构时)。这些新得到的能力是对由本领域中可用的其它装置提供的那些能力的显著改善。例如，本发明的VAD 100允许盲人用户准确地定位厕所或出口(例如，经由检测、识别厕所和/或出口标志和/或朝其引导)，而不需要有视力的个人(例如，其可能没空)的协助。

例如，在一个实施例中，使用VAD 100装置的相机10部件，环境的视觉信息(例如，数字图像流)被采集、中继至控制器和/或远程平台、检查和/或处理(例如，由针对感兴趣的地标(例如，针对出口标志、女厕所标志或男厕所标志)的软件和/或硬件算法)。如果地标在相机10视场中，则VAD 100提示用户(例如，通过提示手段(例如，触觉手段、听觉手段等))存在地标。在另一个实施例中，VAD 100通过在经由IOD 2提供至用户的视觉信息中突出地标来将用户引导至地标。

在一个实施例中，标志检测算法基于滑动窗方式，其中小窗口在整个图像上平移(例如，"滑动")。对于待检测的每个类型的目标标志，对应的滑动窗具有固定纵横比，且使用多个尺度来采集图像中不同表观尺寸的标志。例如，对于出口标志，这些窗口尺寸范围从18x12到216x144像素，而对于厕所标志，尺寸范围从12x32到120x320像素。在一个实施例中，每个图像块被转换成视觉描述符，其被馈送到分类器中，分类器确定图像块是否被分类为含有感兴趣的标志。搜索在多个尺度内进行，以适应观察距离的范围(例如，因数1.5分开的相邻的尺度，尽管该因数可以更高或更低)。在一个实施例中，针对被分类为"标志"(存在标志)或"无标志"(标志不在视场中)的每个图像，这产生大约～10⁵个候选图像块。

在一个实施例中，每个块的总体分类器基于升高的范例形式的滤波器级联，其中每级中的滤波器从随后的考虑中移除块(如果它们被分类为无标志)；在每个连续层处，需要分析更少的图像块。在进一步的实施例中，最后，更有区别能力(但计算密集)的分类器用于在剩余的候选图像块上进行最终的标志/无标志决定，通常，数目上少得多(例如，每个图像几十个候选物)。

在一个实施例中，涵盖包含检测到的地标的图像区域的兴趣区域(ROI)可用于在显示上的突出相对应区域，从而协助用户将标志保持在视场中(和朝标志导航)。

在一个实施例中，地标检测算法本地地(例如，在VAD 100上)或远程地(例如，在远程平台上(例如，在智能电话、平板设备、PC或类似装置上(例如，使用WiFi或其它无线或有线连接)))执行。在一个实施例中，对于远程执行，在VAD 100与远程平台之间使用数据交换协议。在一个实施例中，远程平台将音频/触觉反馈发送至用户。

在一个实施例中，正如本文所述，地标检测操作与阴影移除耦合以使得可以检测到由阴影挡住的标志。

在本发明的实施例的开发期间生成的经验数据识别到根据本发明的VAD 100的不足。具体而言，确定了可检测到相关标志的距离大约为7m，且实际上，由于相机/成像系统的像素密度限制，故用户可靠地对在3到4m处检测到的标志使用该装置。具体而言，该限制归因于成像系统的像素密度，这对于超过7m的VAD 100装置，图像中的标志的高度仅为2到3像素(或更小)。因此，其难以检测。因此，在本发明的实施例的开发期间进行的附加实验通过使用具有更高像素密度的相机和/或通过实施像素增强算法来解决该问题，该算法在较长范围(例如，大于7m、大约8m、大于9m、大于10m、大于15m、大于20m、大于25m、大于30m、大于35m、大于40m、大于45m或大于50m)下增强像素密度。因此，通过使用具有更高像素密度和/或像素增强算法的相机，可检测到地标的范围被增大。在另一个实施例中，当检测到地标时，软件(例如，SOM 8或远程)配置成采取特定动作来改善检测的准确性。例如，在一个实施例中，在检测时，命令相机'缩小'至检测位置，且/或命令相机提高图像分辨率。

阴影检测和消除。在使用本发明的VAD 100时，图像场景中的阴影可能使盲人用户混淆，因为用户可具有确定缺少刺激(例如，基于亮度)是由于存在孔或吸收光的其它物体，或是阴影由物体投射所引起的困难。因此，本发明提供了检测和减少和/或消除图像流中的阴影(例如，改善中继至用户和/或由用户感知的视觉信息)的方法及系统。例如，在一个实施例中，使用VAD 100的相机10，检查数字图像流(例如，由存在于VAD 100控制器8中和/或位于远程平台上的软件和/或硬件算法)来检测图像场景中的阴影状特征。在一个实施例中，如果阴影状特征位于相机的视场中，则阴影移除算法被应用于可疑区域(例如，从而允许用户体验和/或评估其没有阴影的环境/场景；可替代地，如果VAD 100确定阴影状区域不是阴影，则VAD 100将与视场中的阴影状特征有关的信息提供给用户(例如，从而允许用户避免阴影状特征(例如，物体)))。

在一个实施例中，阴影移除算法在本地执行(例如，在VAD 100上由VAD 100控制器8)。在另一个实施例中，阴影移除算法远程地执行(例如，在远程平台上(例如，在智能电话、平板设备、PC或类似设备(例如，使用WiFi或其它无线或有线连接)上))。在一个实施例中，阴影移除算法本地地(例如，由VAD 100控制器8)且远程地(例如，在远程平台上)执行。对于远程执行，在VAD 100与远程平台之间使用数据交换协议。

在一个实施例中，本发明的VAD 100包括监测用户数据(例如，移动、位置、定向等)的头戴装置1运动跟踪单元(MTU)。在一个实施例中，用户数据用于关联时间连续的图像(例如，以模仿通过使用多个相机实现的视差)。因此，在一个实施例中，取决于照明(例如，照明的方向)的场景特征被识别且适当地被分类为阴影或非阴影。在可替代的实施例中，VAD100的头戴装置1包括两个或两个以上相机10，从而允许根据对应的图像场景直接计算视差的差异。在另一个实施例中，连同软件/硬件算法或除其之外，活动的变换器耦合到VAD 100相机图像流和并且与VAD 100相机10图像流同步，以检测阴影区域中的特征。在一个实施例中，活动的换能器包括但不限于基于光(例如，任何波长)的渡越时间测距传感器(例如，单点、成像阵列等)和/或超声波测距仪。

障碍物检测和碰撞避免。在一个实施例中，本发明的VAD 100的用户学习转译提供至舌头的刺激图案。该转译任务花费时间，这可由练习和/或指令改善。在一个实施例中，本发明的VAD 100提供对障碍物的检测，从而辅助用户避免碰撞和/或有助于减轻用户的转译负担。例如，在一个实施例中，使用VAD 100的相机，对数字图像流(例如，通过软件和/或硬件算法)进行检查，以推断障碍物是否在用户的道路中。在一个实施例中，如果障碍物在相机的视场中，则用户通过一种或多种手段(例如，音频手段或触觉手段)被提示。在一个实施例中，包括包含障碍物的图像区域的兴趣区域(ROI)用于在舌头显示上突出相对应的区域，从而有助于用户避开所述障碍物。在另一个实施例中，障碍物检测算法被本地地(例如，在VAD 100上)和/或远程地(例如，在远程平台上(例如，在智能电话、平板设备、PC或类似装置上(例如，使用WiFi或其它无线或有线连接)))执行。对于远程执行，在VAD 100与远程平台之间使用数字交换协议。

在进一步的实施例中，单独地或与软件/硬件算法结合，头戴装置1跟踪单元(MTU)用于监测用户数据(例如，辅助识别和避免与物体碰撞)。在另一个实施例中，除软件/硬件算法之外，活动的变换器耦合到VAD 100相机图像并且与VAD 100相机图像同步，以直接地检测相机的视场中和其用户附近的物体(例如，通过确定物体与用户的距离)。示例性的活动的变换器包括但不限于基于光(任何波长)的渡越时间测距传感器(例如，单点成像阵列等)和超声波测距仪。

人行横道辅助。在一个实施例中，本发明提供了VAD 100和使用其的方法来辅助盲人识别人行横道和/或穿过由交通信号和/或行人信号控制的街道。例如，在一个实施例中，使用本发明的VAD 100，用户输入"行人横道模式"，且一旦激活，则VAD 100用户使相机朝向所认为的交通信号所在的区域。使用由VAD 100的相机采集的视频图像流，连接的移动app应用(例如，位于远程平台上或在VAD 100控制器上本地地运行)定位图像场中的信号，且将反馈发送至用户来帮助保持信号位于图像中心。在一个实施例中，移动应用分析图像(例如，确定信号是否指示允许穿过)和指示与人行横道的状态有关的用户(例如，向用户提供引导)。

范围检测和过滤。在一个实施例中，当使用本发明的VAD 100时，3维世界由2D图像传感器采集，其中2D图像传感器具有按2维数据处理的图像处理。在这些情形中，深度或距离信息难以由盲人用户获取。因此，本发明提供了用于实施用于用户确定与物体的距离的手段的方法及设备。除距离检测和报告之外，用户可基于距离来过滤图像数据，以便于减少无用的信息量(例如，消除20英尺外的任何物体(例如，从而允许对设置距离内的信息的更密切分析(例如，设置距离内的障碍物的识别)))。

颜色检测。利用从亮度数据得到的灰度图像，盲人用户不能识别颜色，即使原始相机数据是彩色的。此外，当前刺激波形使用固定图案(脉冲频率)来将亮度数据呈现给用户的舌头。因此，在一个实施例中，本发明提供了VAD 100，其将唯一的波形图案分配给特定颜色，从而允许用户感觉到针对每个颜色的不同感觉(例如，允许用户将特定的、唯一的感觉与特定颜色相关联)。

对比度检测。已经注意到，在从亮度数据得到的灰度图像中，具有相同对比度的特征不能被盲人用户区分。因此，在一个实施例中，本发明提供了这样的VAD 100，通过使用来自相机的彩色图像和对那些图像应用滤波器(例如，边缘增强)，然后将经过滤的数据覆盖(添加)至亮度数据，具有相同对比度的特征能够由用户区分。

基于姿势的控制。在一个实施例中，本发明提供了这样的VAD100，通过监测MTU数据，Torpedo SOM 8或连接到装置上的远程平台上的软件，可确定头戴装置1的运动。在一个实施例中，在用户选择的模式"MTU姿势控制"中，单元将通过调整设置来响应某些身体移动。例如，在姿势控制模式中，前倾具有使相机视场'缩小'的效果，有效地使场景中的物体看起来更大。后倾具有相反效果'放大'。倾斜的速率和角度可影响缩放动作的大小。

在一个实施例中，类似的姿势控制动作用于可由用户设置的任何参数。除倾斜之外，姿势移动包括转动或弯曲头(戴装置)、弹跳/跳跃等。此外，在"手势控制"模式中，Torpedo SOM 8或远程连接的平台上的软件可检查相机图像数据以检测手的运动，且将运动转译为用户的输入来调整参数。例如，在姿势控制模式中，将手从相机视场的底部移动到顶部可提高刺激强度。手运动的速度可影响参数的变化率。类似的手势控制动作可用于可由用户设置的任何参数。在一个实施例中，手势控制与MTU手势控制单独地使用。在另一个实施例中，手和MTU姿势控制同时使用。

在另一个实施例中，本发明提供手势控制的使用，以激活口内装置的一个或多个电极。例如，手势可用作训练工具以供用户检测和感测(例如，经由对舌头的电触觉刺激)字母、形状或由手势识别且由本发明的系统辨认的其它物体。在一个实施例中，通过使受验者跟踪字母或物体以及使手势被检测、处理并且经由触觉和/或听觉手段反馈至用户，手势识别用于辅助用户来获知字母或物体(例如，图标语言(例如，中文))。在一个实施例中，本发明的系统激活IOD 2上的电极，以在用户的舌头上表示由用户正跟踪的字母或物体(例如，用户使用他或她的手指来跟踪字母或物体，且在其舌头上"看到"该字母或物体)。在一个实施例中，本发明的系统经由IOD 2上的电极的触动来在学习跟踪字母或物体时引导用户(例如，系统被编程为在用户跟踪字母或物体时沿正确方向、形状或路线移动他/她的手指时激活电极(例如，从而辅助用户获知形状或物体看起来是什么(例如，本发明的系统用作训练工具)))。

在另一个实施例中，本发明的VAD 100包括远程平台和触摸屏(例如，在平板设备、智能电话等上)，以及在触摸屏上呈现IOD电极阵列的手段(例如，软件由VAD 100执行来在触摸屏上显示IOD电极阵列)。在另一个实施例中，当用户触摸屏幕上的电极位置时，IOD 2上的对应电极被激活(例如，具有基于触摸压力的强度，或具有预设强度)。当用户在触摸屏上四处移动她/他的手指(例如，触摸附加的电极)时，对应的电极在IOD 2上激活。在一个实施例中，被激活的电极具有一定持续，使得其保持激活一定时间段(例如，可选择的和/或可编程的时间量(例如，毫秒、秒，或两秒、几秒、10、20、30、40、50、60或更多秒，或直到用户将信号去激活为止))。因此，在一个实施例中，本发明提供盲人用户可用的VAD 100，以学习绘制字母和/或物体/形状，和/或玩游戏(例如，向用户提供字母、形状和/或物体的外形的认知的游戏)。在另一个实施例中，且如上文所述，作为触摸屏的替代，本发明的VAD 100包括基于姿势的控制系统，其向用户提供在用户将他/她的手运动移动穿过相机前的空间时刺激由用户穿戴的IOD 2上的电极的能力(例如，允许用户学习绘出字母和/或物体/形状，和/或玩游戏(例如，向用户提供字母、形状和/或物体的外形的认知的游戏))，

在一个实施例中，软件被配置为独立于其它软件运行。在其它实施例中，软件配置成在其它软件内或与其它软件一起运行，所述其他软件包括但不限于WINDOWS(例如，WINDOWS10(或较早版本)或其它基于WINDOWS的操作系统)、JAVA、手机操作系统或其它类型的软件。在一些实施例中，视觉信息和/或数据被本地地(例如，由位于头戴装置1中的控制器)或远程地(例如，在远程平台上)收集、记录和/或存储。在一个实施例中，存储的视觉信息由存储的视觉信息源自于其的同一用户使用。在另一个实施例中，存储的视觉信息由与存储的视觉信息源自于其的用户不同的用户使用。在一个实施例中，存储的信息被传送至被配置为跟踪或/或管理这样的信息的软件(例如，经由因特网、云或其它无线通信(例如，经由蓝牙、ZIGBEE、红外、FM、AM、蜂窝、WIMAX、WIFI或其它类型的无线技术))。在一个实施例中，使得由本发明的VAD 100收集、记录和/或存储的信息和/或数据在网络上(例如，TCP/IP、SANS、ZIGBEE、无线、有线、USB和/或其它类型的网络)或经由移动信息记录装置(例如，闪存卡、记忆棒、盘、闪存盘等)可用。在一个实施例中，网络被配置为符合某些政府协议和/或规则。在一个实施例中，被配置为与本发明的VAD 100交互的软件包括用于视场中的VAD100用户的移动资源。例如，在一些实施例中，软件被配置为向本发明的VAD 100的用户提供各种信息，包括但不限于位置、周围地标、用户的视场内的地标、GPS坐标、天气、交通状态、用户的视场内的已知障碍物，或其它类型的信息。

在本发明的实施例的开发期间进行了实验，以便测试和特征化针对检测标志生成的系统、方法和算法。具体而言，本发明的系统和方法用于且实施为测试检测标志(例如，出口标志和男厕所和女厕所的标志)的能力。被测试的系统和方法使用桌面环境和输出至平板设备(例如，安卓平板计算机)中的标准的库，使用来自远程视频馈送的流式视频/图像(例如，来自VAD 100或从因特网流式传输)，或来自控制器的视频馈送(例如，容纳在控制器(例如，平板设备、智能电话等)内的相机)来实施的算法。

检测算法。标志检测算法基于滑动窗方式(例如，见Wei和Tao的2010年6月13-18日的2010IEEE会议，3003-3010页)，其中小窗口在整个图像上平移(例如，滑动)。对于待检测的每个类型的目标标志，对应的滑动窗具有固定纵横比，且使用多个尺度来采集图像中不同表观尺寸的标志。例如，作为非限制性实例，对于出口标志，这些窗口尺寸范围从18x12到216x144像素，而对于厕所标志，尺寸范围从12x32到120x320像素。每个图像块均被转换成视觉描述符(例如，见Freund和Schapire的Journal of Computer and System Sciences，1997年55(1)，119到139页)，其被馈送到分类器中，分类器确定图像块被分类成包含感兴趣的标志或不包含感兴趣的标识。搜索在多个尺度上执行，以适应一定范围的查看距离(例如，其中相邻的尺度因数1.5分开)。针对每个图像，这产生被分类为标志或没有标志的大约～10⁵个候选图像块。

每个块的总体分类器基于升高的范例形式的滤波器级联(例如，见Hastie等人的The Elements of Statistical Learning，2009年第二版，Springer；Schapire和Singer的Machine Learning，1999年，80-91页)，其中每级中的滤波器从随后的考虑中移除块(如果它们被分类为无标志)；在每个连续层处，需要分析更少的图像块。最后，更有区别能力(例如，更计算密集)的分类器用于在剩余候选图像块上进行最终标志/无标志决定，通常数目上少得多(例如，每个图像几十个候选物)。

不同类型的标志。VAD 100、方法和算法在用户选择用户想要检测的什么类型的标志时使用检测的出口标志和男厕所和女厕所标志。然而，并且如本文中详细所述，本发明不限于出口标志和男厕所和女厕所标志。实际上，本文所述的系统、方法和算法可用于检测任何类型的期望地标。此外，还有可能使用系统、方法和算法，以便同时检测多个类型的标志(例如，1、2、3、4、5、10、15、20、25、50，100个或者更多不同类型的标志(例如，如果用户期望(例如，用户可能希望每当检测到出口标志或特定性别的厕所标志时得到通知)))。当系统被配置为检测多个类型的标志时，需要附加的计算(例如，附加的计算处理带宽和功率消耗)。因此，在一个实施例中，针对每个标志使用单独的模式减小了计算负载，从而允许实时性能和改善的响应性，且还可能延长VAD 100(例如，平板设备的)的电池寿命。然而，在另一个实施例中，当本发明的系统被配置为同时地检测多个类型的标志时，附加计算(例如，附加计算处理带宽和功率消耗)在远程处理器上执行(例如，可经由到因特网上可访问的服务器/处理器的连接(例如，无线连接)来访问)。使附加计算在远程服务器上执行减少了VAD100自身上的计算负载，从而允许实时性能和改善的响应性，且延长VAD 100(例如，平板设备)的电池寿命。

第一级分类器。第一级级联使用Gentle Adaboost(例如，见Schapire和Robert的Nonlinear estimation and classification，Springer New York，2003年，149到171页)分类器，其使用局部二进制模式(LBP)描述符(例如，见Ojala等人的第12届IAPRInternational Conference on Pattern Recognition(ICPR)的会议记录，1994年，1卷，582-585页；Wang等人的International Conference on Computer Vision(ICCV)，2009)来描述图像。级联分类器的实施使用OpenCV的实施，其使用了一组简单决定的树形分类器作为弱分类器，且组合它们来学习被训练为最小化被丢失的实际标志的数目的单个的强分类器，这牺牲了精度(例如，可能包括一些非标志块)来实现该高查全率。这确保了感兴趣的标志在该级并非被消除，而是被传递至负责在其余检测中找到该标志(例如，如果其存在)的下一级。

通常，图像中的单个目标将引起类似位置处和具有类似尺寸的多次检测，因为Adaboost分类器对于滑动窗中的目标的小平移和尺寸变化具有较好的鲁棒性。由于这些多次检测是冗余的，故群集步骤在第一级结束时实施，这识别具有相似的位置和尺寸的矩形的群集，且针对每个群集，仅选择单个的检测候选物(例如，矩形)。这减少了在第二级分类器中必须处理的检测候选物的数目，第二级分类器更有选择性，而且更加计算密集。

第二级分类器。在第一级级联分类器的输出处，候选物的数目减少至每个图像大约几十。级联中的第二层使用梯度方向直方图(HoG)(例如，见Dalal和Triggs的IEEEComputer Society Conference，2005年第一卷，886-893页)作为视觉描述符，其补充第一层使用的LBP描述符。注意到，HoG过于计算密集而不能应用于所有～10⁵个原始图像块(例如，原始图像块由级联的第一层分析)，但第一层滤出这些块中的绝大多数。该描述符用作具有RBF内核的支持向量机(SVM)(例如，见Cristianini和Shawe-Taylor的IntelligentData Analysis，M.Berthold和D.J.Hand,Eds.Springer Berlin Heidelberg，2007年，169-197页)的输入。

SVM层将所有剩余块分类为标志或无标志。每个分类还被分配与该块为标识的可能性相对应的0到1之间的置信值，其中1是很可能，且0是很不可能。在分类为包含感兴趣的标志的块中，仅可能性超过设置阈值的那些被返回。如果没有块被分类为具有高于该阈值的置信度值的标志，则不报告检测。例如，基本厕所标志检测器等同地响应男厕所和女厕所标志，但附加处理级用于在男厕所与女厕所之间进行区分；第二和最后的SVM层在检测到厕所标志之后被应用，以便确定其是男厕所标志还是女厕所标志。

跟踪。没有检测算法是完美可靠的，这意味着在一些帧中可能未检测到有效目标标志，而假的检测可能在其它帧中发生。此外，检测性能通常被相机运动模糊损害，这可能在相机运动的任何时间发生，且在低光条件(例如，室内环境)下尤其成问题。这些问题对与本文描述的由盲人和视力障碍的人(例如，需要关于每个感兴趣的目标的存在和位置的相干信息)使用的VAD系统和方法相结合的有效标志识别系统的开发提出了挑战。

为了解决和克服这些问题，在一个实施例中，在分类器级之后应用时间集成级(例如，如，运动跟踪)。例如，对将静止外形提示(例如，在独立视频帧中使用分类器来获得)与运动提示(例如，通过集成多个视频帧上的信息来获得)组合的手段进行测试。最后，运动跟踪用于使静止外形提示与运动提示组合，然而，本领域中已知的使静止外形提示与运动提示组合的任何其它手段也可应用于本发明中。因此，在一个实施例中，实施运动跟踪算法。每个候选物的运动经由穿过连续的帧的光流而被跟踪和验证，且有效标志仅在接下来的十五个连续视频帧(例如，对应于每秒三十帧的视频中的略微半秒的验证延迟)中的三个中的连续检测(例如，从分类器)之后被发布。该参数的选择是试探性地完成的；不太严格的标准(例如，需要每十五帧中的两个)将减小延迟(在低帧率中这可能是优选的)，且更严格的标准(例如，需要每十帧中的三个)将以更大延迟为代价减少误报。

目标在随后的帧中被跟踪，其中基于分类器选择目标候选物的基于静止外形的标准变松(例如，允许跟踪由于运动模糊而暂时变得更难以分辨的目标的可能性)；例如，系统被配置为使得需要每10帧发生仅另一个成功验证的标志(例如，但参数可针对任何分辨率环境调整)。如果标志对于跟踪的10个连续的帧未验证，则该目标被从跟踪器删除。

因此，在一些实施例中，跟踪算法具有消除伴随分类器发生的误报(例如，假的检测)和漏报(例如，遗漏的检测)的效果。在另一个实施例中，允许了同时跟踪多个目标。此外，在一个实施例中，通过锁定到目标上，在检测时仅针对每个标志提示用户一次(例如，因此减少盲人用户的潜在混淆(例如，在可能对用户而言，不清楚检测对应于同一物体的条件下))。

在出口标志检测试验中，对本文所述的系统、方法和算法进行了测试，且成功地证实了跟踪算法如何消除噪音检测。在跟踪开启和跟踪未开启的两种情况下尝试了检测实验和过程。当跟踪关闭时，存在很多漏报(例如，遗漏检测)，甚至在出口标志由视频采集装置(例如，VAD 100的摄像机)清楚地分辨时。在强烈对比下，在跟踪开启时，出口标志在短暂延迟之后连续地被检测，同时跟踪器需要锁定目标。因此，在一个实施例中，本发明提供了包括硬件和算法的VAD 100，这允许盲人或视力障碍的人跟踪目标(例如，在目标保持在(例如，VAD 100相机的)视图中时连续地跟踪，从而显著地提高提供的位置估计的准确性)。

图10和11示出了采集的图像中的样本检测，以及一些遗漏的和错误的检测。图10B中所示的遗漏的检测(矩形)为由第一分类器级(Adaboost)正确地采集但由第二分类器级(SVM)不正确地采集的标志的实例。尽管针对特定图像中的标志，可能仅有基于局部外形的证据是可用的，但运动连续提示(例如，用于跟踪算法)用于增强该标志的证据，且产生总体上成功的检测。

使用ROC曲线客观地测量了包括算法性能的系统和方法，该曲线示出了精度和查全彼此之间可以如何被权衡。如本文使用的术语"精度"是指正确的检测的分数，而"查全"是指检测到的标志的分数。图12和13中示出了使用跟踪器相比于跟踪器关闭时的性能结果。使用与用来训练检测器的图像不同的视频馈送，查全和精度计算测量了整个检测器(厕所或出口)的性能。

因此，在一个示例性实施例中，本发明提供了用于标志检测的VAD 100系统和方法。在一个实施例中，用户用应用程序(app(例如，windows app、MAC app或本文所述的其它操作系统的app))一起使用VAD 100系统和方法来检测地标(例如，标志)。在一个实施例中，在安装时，app允许用户开启或关闭VAD 100系统的跟踪功能。随后，用户能够选择视频源(例如，远程视频馈送(例如，来自VAD 100或从因特网流式传输)或来自控制器的视频馈送(例如，容纳在控制器内的相机(例如，平板设备、智能电话等)))。用户然后可选择目标获取模式(例如，选择特定类型的目标来搜索(例如，出口或厕所标志)，或者，选择搜索和获取多个目标)。在一个实施例中，每个检测在原始视频图像上被突出(例如，示为矩形(以特定颜色突出))和叠加(例如，以VGA分辨率获得)。本发明不限于此类检测通知。实际上，可以使用通知用户已经获取期望的目标(例如，地标)的附加手段，包括本文公开的那些手段。

以上说明书中提到的所有公开和专利通过引用并入本文中。本发明的所述方法和系统的各种改型和变型对本领域技术人员是显而易见的，而不脱离本发明的范围和精神。尽管已经结合了特定优选实施例描述了本发明，但应当理解的是，要求保护的发明的不应当过度限于这些特定实施例。实际上，对相关领域的技术人员显而易见的用于执行本发明的所述模式的各种改型旨在以下权利要求的范围内。

Claims

1.一种地标检测系统，包括：

a)用于从环境获取视觉信息的装置，所述装置包括位于头戴装置中的数字摄像机；

b)用于检测和/或识别所述视觉信息中的地标的装置，所述装置包括位于存在于所述头戴装置中的控制器中的处理器和/或位于远程计算机上的处理器以用于分析所述视觉信息；以及

c)用于提供与所述视觉信息内的地标的检测和/或识别有关的反馈的装置，所述装置包括触觉装置和/或听觉装置。

2.根据权利要求1所述的系统，其中，所述控制器接收由所述数字摄像机采集到的所述视觉信息。

3.根据权利要求1或2所述的系统，其中，所述视觉信息为数字图像流。

4.根据权利要求1或2所述的系统，其中，所述控制器经由无线网络与所述远程计算机通信。

5.根据权利要求1或2所述的系统，其中，所述控制器经由有线网络与所述远程计算机通信。

6.根据权利要求1或2所述的系统，其中，所述地标为标志。

7.根据权利要求6所述的系统，其中，所述标志选自出口标志和厕所标志。

8.根据权利要求1或2所述的系统，其中，所述地标为人行横道。

9.根据权利要求1或2所述的系统，其中，所述远程计算机上的处理器执行软件；所述软件分析所述视觉信息，以便检测和/或识别地标。

10.根据权利要求1或2所述的系统，其中，所述头戴装置中的处理器执行软件，所述软件分析所述视觉信息，以便检测和/或识别地标。

11.根据权利要求1或2所述的系统，其中，所述触觉装置和/或听觉装置用信号通知所述视觉信息内的地标的检测和/或识别。

12.根据权利要求1或2所述的系统，其中，所述触觉装置包括经由口内装置的电触觉刺激。

13.根据权利要求1或2所述的系统，其中，所述听觉装置包括音频扬声器和/或耳机插头。

14.根据权利要求1或2所述的系统，其中，所述系统还提供用于提供与存在于所述头戴装置与所述地标之间的、所述视觉信息中的障碍物和/或建筑物有关的反馈的装置。

15.根据权利要求1或2所述的系统，其中，所述地标使用电触觉刺激来突出。

16.根据权利要求1或2所述的系统，其中，阴影由在位于存在于所述头戴装置中的控制器中的所述处理器上和/或位于远程计算机上的处理器上运行的算法从所述视觉信息移除。

17.根据权利要求1或2所述的系统，其中，所述摄像机包含互补金属氧化物半导体CMOS数字图像传感器。

18.根据权利要求1或2所述的系统，还包括与所述控制器通信的运动跟踪单元MTU，其中，所述MTU包括3轴加速计、3轴陀螺仪、3轴磁力计和/或温度传感器。

19.根据权利要求1或2所述的系统，还包括与所述控制器通信的一个或多个部件，所述一个或多个部件选自接近传感器、口内装置、基于光的渡越时间的测距传感器、超声波测距仪和/或环境光传感器。

20.根据权利要求19所述的系统，其中，所述口内装置包括刺激电极，所述刺激电极被配置为提供与由所述数字摄像机采集的所述视觉信息有关的刺激图案。