CN103458838A - 视觉受损人员使用的光学装置 - Google Patents

Abstract

本发明提供了一种视觉受损人员使用的光学装置及操作这种装置的方法。在一个实施方式中，设备包括离散光源的间隔开的排列和被设置用以将这排列与视觉受损人员的至少一个眼睛的保持靠近关系的支架。图像捕捉装置被配置以捕捉该人员即时环境的至少一部分的图像，其中排列被配置以基于所捕捉到的图像的内容，通过选择性地点亮一个或更多个离散光源向人员传递信息。这样，与人员环境中的物体和/或文字语言相关的信息可以通过预先设定的点亮模式(例如空间的和/或速度的)被传递给人员。该设备和方法被发现特别适用于那些患有至少某种残余光和/或色差的视觉受损人员。

Description

视觉受损人员使用的光学装置

技术领域

本发明涉及用于帮助视觉受损的设备和方法，尤其涉及视觉受损人员使用的光学装置以及操作这种光学装置的方法。

背景技术

在英国有370,000左右的人登记为失明或弱视，并有更多的人遭受某种形式的视觉障碍或视力障碍，阻碍了他们的活动，或以其他方式降低了他们的生活质量。然而，对于多数视障人士至少有一些残余的视觉功能仍然存在，即使对那些登记为盲的人。此“残余的视觉功能”可能经常被局限为简单的区分浅色和深色的能力，但偶尔也可以彼此区分不同的颜色。因此，例如，许多视障人士能够“看到”移动的手，但不能数清单独的手指等。

视力丧失显然极大地影响个人的导航和顺利绕过环境，因此，许多人患有视觉障碍的结果行动不便。英国的皇家国立盲人学院(RNIB)收集的数据显示，约48％的失明或弱视人士感到“中度地”或“完全”脱离了社会。通常情况下，视障人士可得到的唯一的活动援助(尽管有导盲犬)是手动探针，也就是手杖(即盲人专用白色手杖)或听觉装置(类似于回声定位设备)。然而，我们的视觉是最自然的感知，人们通过视觉认知空间环境，因此，即使使用传统的辅助设备，个人仍可能遭受对周围环境的认知减少，从而降低他们安全越过和绕过身边环境中障碍物的能力。

在某种程度上，现有技术尝试通过提供各种头戴式的增强现实设备来解决视觉受损人员活动不便的问题。然后多数这些装置使用向人员提供“增强”的图像的技术，摄像头捕捉人员环境的图像然后处理图像来增加图像的亮度和对比度。另外，边缘划定和/或锐化算法也可被应用来为人员划定图像中的边缘，从而潜在地改善他们区别不同类型物体的能力。虽然这种装置可以改善人员的生活质量，但对于视觉受损的患者来说并不是普遍有效的，因为要观看图像仍需要相当程度的实际视觉，那就必然要求人员能实际集中于呈现的图像上以分辨包含在其中的信息。因此，对视觉问题严重的人员来说集中于图像上是不太可能的，因此图像增强并不能辅助他们在所处的环境中的活动。

另外，许多已知的头戴式装置相当笨重，长时间使用增强现实的头戴装置会引起佩戴者头部和颈部的不适，这对于年老的佩戴者尤其麻烦。再者，这种头戴装置也不美观，而且会因为头戴装置可能会引起别人对他们的注意而会造成人员对自己的状态“不自然”的感觉。

发明内容

因此，本发明的目的是解决一些，即使不是全部，上述现有技术中的问题，本发明提供了装置和方法以援助视觉受损人员，使得他们能够使用至少一些他们的残余视觉功能来感知他们周围的空间环境。

本发明的进一步目的是提供相对轻质的视觉援助来改善对于视觉受损人员的舒适度和可佩戴性。

根据本发明的第一方面，本发明提供了一种视觉受损人员使用的光学装置，包括：

离散光源的间隔开的排列；

支架，所述支架被设置以使所述排列与所述视觉受损人员的至少一个眼睛保持接近的关系；及

图像捕捉设备，所述图像捕捉设备被配置以捕捉所述人员即时环境的至少一部分的图像；

其中所述排列被配置以基于所述捕捉到的图像的内容，通过选择性地点亮一个或更多个所述离散光源向所述人员传递信息。

所谓“视觉受损人员”是指任何年龄和性别的，视力受到视觉损伤而降低、减弱或者阻碍了其视力，使其视力低于平均视力者的人员。特别地，这个短语旨在包括，但不局限于，被登记为盲的或弱视的人员，但不管怎样，还保留有至少一些残余的视觉，能够一定程度上区分亮和暗，也许还能区分颜色。而且，应当理解，对于造成视觉受损的原因并没有暗示任何限制，因此视觉受阻可以是任何遗传或先天性条件引起的、随着年龄增大或受伤导致的等。

提供了一种光学装置是特别有利的，，这种光学装置包括间隔开的离散光源排列以便根据所捕捉的人员的即时环境的图像的内容，通过选择性地点亮一个或更多个离散光源，将信息传递给视觉受损人员，这样所述人员可以使用他们的残余视觉来获得至少对于他们周围情况的空间意识。

以这种方式，借由选择性地点亮光源，在所述人员环境中的有关物体的信息和相对物体的距离被传递给所述人员，从而使得所述人员能够驾驭和穿绕过他们的环境。因此，当所述人员具有对他们周围环境具有更好的空间认知时，极大改善了他们在那个环境中的活动并降低了事故或受伤的风险，因而所述人员的安全得到显著的改善。

间隔开的离散光源的排列优选地是单个光源的正则矩阵，以预定的量彼此间隔开。在优选实施方式中，间隔开的排列包括发光二极管(LED)矩阵，每个二极管优选地是单独地可寻址的，这样每个二极管都能被单独控制。使用LED的有利之处是比其他形式的光源需要相对较低水平的电力能源，和一般相对轻质和坚固的组件。

LED矩阵可包括纯白LED，或者可选地，多色LED，例如单二极管双色红色和绿色LED或单独的红色和绿色LED等。当然，应当认识到，在本发明的排列中可以根据特定的应用或人员的视觉受损情况使用任何数量或组合的白色、彩色或多色LED(单独或双/多色)。

使用不同颜色的LED的一个优势是，可以将额外的和/或更明确的信息传递给那些具有一定程度的颜色区分的人员。因此，可以指定某些颜色或颜色的组合为特定的意思，用它们来将不同类型的信息或指令传递给光学装置的佩戴者，而不是简单地区分光和暗。

然而，当人员不具有残余的色彩感知力，所需的信息仍然可以通过白光的方式传递给佩戴者，而不会损失任何空间意识或信息。在这种设置情况下，可以使用其他驱动LED的技术(例如通过空间和/或时间模式)，以后会讨论。确实，在一些优选实施方式中，间隔开的排列包括纯白光LED矩阵。

支架被设置以将排列与光学装置的佩戴者的至少一个眼睛保持接近的关系。优选地，支架被配置成将排列与眼睛保持基本上比眼睛的最小焦距(即理论上可以获得聚焦的最短距离)更近的距离。换句话讲，排列可被放置在离佩戴者眼睛的某个距离以使佩戴者不需要聚焦在排列中的光源上。因此，大多数情况下排列优选地处于离佩戴者眼睛大约3到5厘米之间的距离。然而，确切的距离要视特定人员和他们视觉受损情况而定，所以在一些应用中，有可能会需要排列更远地与眼睛间隔开，或者离眼睛更近。

将排列接近眼睛放置的一个优势是佩戴者眼睛接收到的光的强度可以增加，这潜在地增强了光和暗之间的感知力。而且，由于不需要聚焦在排列上，光学装置可被那些具有很小或没有聚焦能力的视觉受损人员使用，而不像现有技术的增强现实头戴装置那样需要佩戴者聚焦在增强的画面上。

在特别优选的实施方式中，光学装置进一步包括离散光源的第二间隔开的排列，这样每一个排列被配置以向所述人员的各个眼睛传递信息。第二排列优选地在结构上和功能上与第一排列相同。然而，在一些实施方式中，这些排列依据特定的应用和/或视觉受损人员的情况(例如佩戴者仅一只眼睛具有颜色感知力等)会彼此不同。

支架最优选地包括眼镜框架。框架可具有可折叠的臂或可选地，具有可固定地连接于框架其余部分(如镜片架)的臂。另外或可选地，眼镜框架可以是“环绕”的类型，从而更好的利用任何周边视觉和/或改善人员的舒适度或方便性。眼镜框架用于支架的一个优势是，不需要相对较重的头戴式的结构部件，这降低了光学装置的整体重量因此改善了佩戴者的舒适度。而且，可以说使用眼镜框架改善了光学装置的美观度，使得在公共场合使用装置时佩戴者可以感觉更“舒服”，因为它比笨重的头戴式装置更轻便。

当然，应当认识到，任何其他形式的合适的轻质支架可以使用在本发明的光学装置上，因此眼镜框架并非意在限制。特别地，举例来说，可以替代地使用“倒装式”遮阳板，其被裁剪到一个头带或帽檐等之上。

当支架是眼镜框架的形式时，每个间隔开的排列优选地整合进各自的“显示器”中，“显示器”具有适合框架的镜片插槽的眼镜镜片镜片的外形或形式。镜片本身优选地只是LED矩阵的支架、架子或基板，所以优选地不对佩戴者的视觉提供光学矫正。因此，在优选实施方式中，这些镜片由塑性材料制成，根据特定的应用和/或佩戴者的情况可以是透明或不透明。

在一些实施方式中，LED因此可以通过粘合剂等安装在镜片的前或后表面上，或者两者都安装，或者可替代地，整合地模制(与它们的电气连接一起)进镜片材料中。在另一个实施方式中，LED可安装在透明导电薄膜上，随后可被镀覆至镜片的表面。

当然，应认识到，根据的特别应用，结合本发明可以使用任何合适的用于整合、连结或者附着这些排列至镜片的技术或工艺。

排列的尺寸优选地相当于典型的眼镜镜片，优选地从镜片的顶部延伸到底部，从一边延伸到另一边。因此，在特别优选的实施方式中，阵列可以是约35×30毫米，并且最优选地包括至少48个单独地可寻址的LED(例如同一类的，每个大约2×1毫米)，优选地是横向六边形LED。

然而，应当认识到任何数量的LED和任何合适的配置都可结合本发明使用。实际上，如之前所述，排列的配置在每个眼睛之间会有所不同，这样就可根据他们的具体视觉受损或个人眼睛功能情况将不同类型的信息传递至佩戴者。

然而，可以设想，针对所有类型盲症的排列的配置可能是相同的，使得所有人员都使用一种通用的装置，但对于特定的佩戴者和/或某些类型的视觉受损和/或情况等，可以以不同的方式驱动排列。因而，例如，对于不具有残余颜色感知力的人员就不使用颜色，而当佩戴者区分不同光源(例如当光/颜色模糊成为问题时)有困难时，可以驱动少量的(即一小套)分布的LED(例如，间隔很大，如在镜片边缘)。

图像捕捉装置最优选地被安装在支架本身上，在眼镜镜框的实施例中，这使得图像捕捉装置被整合进框架或者相应地附着至框架。

优选地，图像捕捉装置包括至少一个广角摄像头，最优地是微型视频摄像头，例如CMOS或CCD类型的。“广角摄像头”指的是包括成像镜片的摄像头，成像镜片可以拍摄大角度场景，场景包含的大角度在60-120度左右或以上等。摄像头最优选地时彩色视频摄像头。

在特别优选地实施方式中，图像捕捉装置包括两个广角摄像头，每个都优选地定位在眼镜框架的相应的上边缘角处，基本在每个显示镜片/排列的上方。使用两个彼此相对间隔开的图像捕捉装置的优势是可以捕捉佩戴者即时环境的立体图像，这使得佩戴者周围的物体和障碍物等的距离信息可以被确定(以后会讨论)。

将摄像头安装在眼镜框架上在镜片的上方的另一个优势是所捕捉的图像追踪或跟随佩戴者的视线，这样当佩戴者转动他的/她的头时，摄像头拍摄任何位于沿着那个方向上的事物。以这种方式，佩戴者可以借由通过LED排列传递给佩戴者的信息建立他/她即时环境的心理图片。

然而，应当认识到，图像捕捉装置可以单独地被安装在支架上，这样可以通过夹子或魔术贴等附件将一个或更多个摄像头穿戴在佩戴者的头或身体各处。事实上，也可以结合安装在眼镜框架上的摄像头使用其它的摄像头，例如，佩戴者可以使用后置摄像头来为从前置摄像头得到的信息进行补充，这样任何从背后接近中的物体也可以被佩戴者注意到。

光学装置优选地进一步包括用于控制排列和/或图像捕捉装置的计算装置。计算装置优选地是至少包括处理器和存储器的便携式计算机。所谓“便携式”，我们指的是计算机优选地是一个独立的单元，可以被佩戴者佩戴在身上从而在佩戴者定位和通过他们所在的环境时被随身携带。

在优选的实施方式中，计算机是可与眼镜框架分离地佩戴的，在一个实施方式中可被夹在佩戴者的腰带上或者戴在绕过佩戴者身体的吊索状的线束上。当然，可以结合本发明使用任何用于将计算机附着于佩戴者的合适的结构。

计算机优选地通过有线电气连接的方式与排列和摄像头连结。然而，在其他实施方式中，在装置的部件之间可以采用无线连接。然而，为了有利于保存电能和/或延长操作使用时间，可以想象到大多数应用中会使用有线连接。

优选地，计算机由内部可充电蓄电池供电。在优选的实施方式中，LED排列和摄像头也由计算机的蓄电池供电。然而，眼镜框架本身可以由自己的电源供电，例如光电池或蓄电池，但是自然这会增加装置的总体重量，而这是特别不希望的。在其他实施方式中，分离地可佩戴的“电池组”可以由人员佩戴用以给眼镜部件提供电能。

在优选的实施方式中，图像处理工具在计算装置中实现。图像处理工具可以是在处理器中执行的软件模块或者在便携式计算机中被配置为硬件部件。当图像处理工具是硬件部件的情况下，它可包括它自己的处理器或利用便携式计算机的主处理器。当然，任何合适的设置都可以被采用，且实际上，也可以根据具体应用结合使用软件和硬件部件。

图像处理工具优选地是可操作的以识别和定位由图像捕捉装置捕捉的图像中的物体。所谓“物体”，我们指的是任何图像中任何可辨别的实体或外形，它们对应于，但不限于物理的或自然的结构(例如，墙、地板、走廊、树等)、障碍物(例如桌子、椅子、灯柱、轿车)、物件(例如电话、杯子、食品等)、人(例如人脸)、词、词组和文字(例如标牌、商店及零售品牌、报纸的头条新闻、信息板等)。

在优选实施方式中，物体的识别是通过对所捕捉视频图像应用一个或更多个算法以优选地搜寻图像中预定的对应于已知物体或物体类型的形状或形式。因此，识别算法优选地被配置为来确定所捕捉的图像中存在的任何已知物体，如果有的话，优选地识别物体类型、空间尺寸、相对佩戴者的位置和离物体的距离中的一个或更多个。

优选地，通过参考储存形状和形式的数据库或程序库确定物体的存在，优选地，这些数据库或程序库形成了部分的计算装置，并可以储存在存储器中。优选地，储存形状的数据库通过区别物体属性和特征来分类，例如形状、突出的轮廓和颜色等。因此，如果识别算法在所捕捉的图像中检测到形状，例如通过勾画轮廓或与该形状相关联的连续的边缘，然后将形状与所存储的物体识别文件比较，并尝试找到匹配。

因此，例如，如果佩戴者在桌旁，桌上有茶壶，图像处理工具可以定位所捕捉的那个场景的图像中的物体并通过参考储存形状的数据库识别出该物体是茶壶。可以想象，数据库会包含大量日常生活中接触到的物体。然而，不可避免的一些物体对于图像处理工具来说是未知的，或者无法被充分识别(例如，由于其他前景/背景物体的干扰或遮挡等)，所以在这种情况下匹配可能无法进行。在这种情况下，佩戴者被告知一个未知物体在附近，并可以被指导从不同的角度(例如通过改变他们的相对位置)对物体进行重新成像。在优选的实施方式中，装置也能通过内在学习模块学习新的物体(后面会讨论)。

以大致相同的方式，也可以通过图像处理工具识别人脸。优选地，面部辨识算法也被应用于在所捕捉的图像，且如果另一个人在佩戴者的身边紧邻处(他们的面部未被遮挡)，算法会通知佩戴者有人在附近。在优选的实施方式中，面部辨识使用两阶段处理来实现。优选地第一阶段执行从所捕捉的图像与一组预存的彩色皮肤样本进行颜色匹配。以这种方式，尝试识别与所记录的皮肤色调(例如白人或其他种族)匹配的任何颜色。而优选地第二阶段限定具有足够球形度的检测结果。为了进一步改善面部辨识的可靠性，面部特征算法也可以应用于图像，其搜寻用来表示眼睛、鼻子或嘴巴等的球形物体。

除识别物体和辨识面部等之外，图像处理工具还能优选地估测到与所识别的物体的距离并将此信息传递给装置的佩戴者。在优选的实施方式中，物体的距离是通过视差计算出的，该视差是通过分析物体与由广角摄像头对捕捉的每幅图像中的相对背景特征的明显角位移确定的。因此，既然两个摄像头间的间隔是已知的(并且是固定的)，确定视差的角度，然后通过由处理器执行的简单的三角函数计算给出物体距离的可靠的估计。可能在其他实施方式中使用或结合视差位移技术使用一种可选的方式，这种方式实施方式是使用距离估计算法建立所识别的表面的简图，例如由牛津大学的G.Klein和D.Murray开发的PTAM(并联跟踪和定位)，。此算法识别图像中的表面和边缘，并能够根据基于广角摄像头的不同视角的立体视觉技术估计与表面的距离。通过移动眼镜框架，通过佩戴者和佩戴者头部的活动，算法可以被初始化从而生成估计的深度分布图。以这种方式，分布图可以被描绘成呈现在LED排列上的距离-亮度等级，较近的表面通过被明亮地点亮的LED表示，较远的表面通过相对调暗地点亮的LED表示。因为距离的确定是许多实施方式的一个重要方面，可以想象，特定颜色，例如白色，会被使用来传递距离信息。

当然，应当认识到，任何合适的距离确定技术都可以与本发明的光学装置一起使用。因此，在其他实施方式中，红外(IR)或超声波测距装置可以替代的，或另外地被运用。这种装置可以被整合进支架本身，或者可能是可以由人员单独地佩戴的。

在优选的实施方式中，计算机能够整理从所捕捉的图像收集的所有信息(例如，物体、距离等)，并确定此信息如何被传递到装置的佩戴者。正如前面所提到的，在所有的实施方式中，可以将特定的点亮模式分配给给在图像中被识别的具体的物体或物体类型。在一些实施方式中，物体的整个类可以被描绘成单一的模式和/或单一的颜色或结构。因此，面部，文本和距离可以形成单独的类，这些单独的类通过不同的点亮模式和/或颜色向佩戴者显示。

因此，以佩戴者的即时环境中被识别的面部为例，计算机可以发送信号给LED排列，引起至少一个排列点亮一圈LED，或者颜色样本，以表示人的面部。此外，根据圈的尺寸或者颜色的样本，可以给出人物的大致距离。因此，被点亮的LED小圈意味着人物离开佩戴者有一定距离，而大圈意味着人物相对接近于佩戴者。这样，可以理解增大的圈说明人物在接近佩戴者，而减小的圈说明人物在远离佩戴者。

另外，对相对于佩戴者的人物的位置的指示还可以通过点亮左边或右边显示镜片/排列的中的圈来提供，这样佩戴者就可根据点亮圈的位置知道人物是在他们左边还是右边。

对于视觉受损而导致无法辨别点亮圈的人员，可选择，可以使用任何其他合适的点亮模式。因此，可以替代地点亮邻近的LED簇，这样由佩戴者察觉到的仅是光的单个样本。LED簇还可以被调制，从而光以预定的频率闪烁(如，1Hz)，和/或颜色来表明面部被识别。在那之后，如果人物朝向佩戴者移动，调制的频率可以增加，或者如果人物远离佩戴者移动，频率降低。

可以领会的是，任何合适的点亮和/或颜色的模式，不论是空间的(例如横跨排列分布或作为LED的子集定位)或时间的(例如单个或多个LED“闪烁”调制)，都可以被用于将佩戴者环境中有关物体和/或距离的信息传递给光学装置的佩戴者。实际上，在一些实施例中，可以操纵闪烁的速率以及排列中垂直和水平闪变的速率，以便生成基本地“棋盘”模式用于区分物体分类。因而，通过给通用或特定物体类型合适地分配点亮模式，伴以对佩戴者的适当的培训，本发明的光学装置能给视觉受损人员在确定和通过他们的环境时提供显著的帮助。

另外，在一些优选实施方式中，图像处理工具进一步是可操作的以根据由摄像头捕捉的图像中的任何文字内容来执行文字辨识。因此，优选地，图像处理工具包括用于在佩戴者的即时环境的图像中的任何识别的单词、词组或标志实现光学字符识别(OCR)的算法。优选地，定制的字符集储存在计算装置中，作为用于OCR算法的程序库。在优选的实施方式中，文字辨识是以多阶段过程实现的，最初包含在中检测字母。优选地估测字符方向，沿方向线建立连续字符。每个连续捕捉的图像针对已知字母优选地做分析，由简单模式筛选器优选地执行错误和保真度核查。任何间隙都被估测并被用于分隔潜在的单词，然后优选地与储存的字段作比较。完成的单词然后还可以被模式过滤，优选地重复几次，以生成最可能的词组或句子等。

在一些实施方式中，字符库包括公共交通(当地的巴士号码和路线，地铁站等)，超市价格标签和报纸的头条新闻等。任何字符库可能根据佩戴者的本地环境被定制以进一步有助于帮助活动和导向的便利。

具体的词或短语，如与警告有关(如停止标志、危险标志等)的可被分配为排列的独特的点亮模式。因此，一旦OCR算法检测到佩戴者即时环境的图像中“危险”这个词，这两个排列可能反复闪烁，优选是红色，直到佩戴者被导向远离潜在危险。

优选地，计算装置还包括语音合成器，其是可操作的以提供与由OCR算法辨识的文字相应的语音输出。

优选地，语音输出实时提供给光学装置的佩戴者，所以指令、警告或其他信息都会向佩戴者通报以帮助他们导向通过他们身边的环境。因而，光学装置包括音频输出装置，以一对耳机的形式，整合入或附着至支架例如眼镜框架的臂。可选地，耳机可以是连接至计算装置音频输出孔的独立组件。

计算机还优选地包括控制界面以控制装置的操作。最优选地，控制界面是语音激活的，佩戴者可发出语音命令至装置用以初始化或禁止某特别功能。优选地，控制界面包括麦克风，其是可操作的用以接收语音命令。麦克风可以是微型麦克风，优选地安装在支架上，当支架是眼镜框架的时候，优选地在框架的内侧，显示镜片/排列的后面。当然，麦克风可以被安放在任何其他合适的位置，并且，可选地，相对于支架是独立的部件，并由此可以被夹在或附着在佩戴者的衣服等上。

可以通过控制界面控制光学装置的任何操作，包括但不限于切换装置打开或关闭；指示物体识别算法忽略特定物体或物体类型；切换语音合成器打开或关闭(开始或禁止图像中辨识的语音单词的输出)；及开始或终止图像序列的录制(用于随后处理-如以下会讨论的关于内在学习功能)。

使用语言激活控制界面的明显优势是视觉受损的佩戴者不需要操纵任何开关或支架上的控制件或计算装置，从而进一步改善了操作的便利和装置的使用。

在优选的实施方式中，计算装置还包括适应性学习工具，其是可操作的以学习不同物体以便区分不同物体类型。另外，适应性学习工具还配置成基于所捕捉的视频图像的文字内容学习新文字(例如单词、词组等)。

适应性学习工具优选地在软件中实现并在优选实施方式中具有两种学习模式，使得此工具将新物体保存进数据库或物体库中，由识别算法使用以识别图像中的物体。第一模式是由佩戴者发起，这样物体在光学装置中显示，而佩戴者就指令装置“学习”新物体。因此，例如，佩戴者举起软饮料罐子，然后发出语音命令“学习”，发出的语音命令优选地触发适应性学习工具开始通过摄像头录制视频序列。录制的视频序列然后被分析以建立物体识别文件用于此新物体，在一些实施方式中可具有额外功能以给此物体分配类别，例如“饮料”。

对录制的视频序列的分析可以以“离线”(例如，当光学装置不是处在被佩戴者使用中的时候)以及优选地远离光学装置的方式进行。可以想象的是，录制的视频序列被上传到远程的安全服务器上，由设配生产商或开发商等维护，或者上传到佩戴者的个人电脑(如台式或笔记本电脑等)。对“安全”服务器的需求是为了消除佩戴者与上传个人视频序列相关的顾虑。因此，视频文件在一些实施例中也可以加密以防止非授权的观看序列，并且优选地，在分析完成后从服务器删除视频序列。

远程执行分析对于所述装置的一个优点是减少了计算装置的处理器的处理支出，而处理支出可能在使用时减弱光学装置的性能，或者缩短电池寿命等。不管哪种情况，优选地，软件执行物体识别并生成用于随后下载至计算机的数据库或程序库中的物体识别文件。以这种方式，新物体可以连续地或定期地被添加进数据库或程序库中，从而为佩戴者建立物体识别文件的个性化收集。

在其它的实施方式中当装置和/或软件没有执行操作时，通过使用内部处理器的任何空闲处理周期或通过利用任何“闲置时间”，可以在装置的使用过程中逐步地完成视频序列的处理。可选地，可以在装置不处于使用状态时或正在充电时执行处理。

优选地，第二学习模式是行为主导的学习形式，这样的话，为了优选地更新物体识别数据库或程序库，佩戴者的行为可以被监控和追溯。在优选的实施方式中，支架进一步包括定向工具用以确定支架相对于人员即时环境的方向。优选地，定向工具是陀螺仪的形式，最优地是三轴陀螺仪形式，其主要用于辅助稳定视频图像。然而，陀螺仪的输出可被用于执行对佩戴者进行中的行为的大致估测。例如，如果装置正在运作，陀螺仪指示佩戴者是静止的，那么有理由假设佩戴者正在进行一项有意义的任务。如果物体辨识算法没有在所捕捉的图像中辨识出任何物体或文字，可以将适应性学习工具设置为自动开始录制视频序列用于随后的物体辨识(离线和/或远程等)。这样，任何与那个有意义的任务关联的，还不在数据库中的物体，可以被分析，并生成合适的物体辨识文件，以及保存物体辨识文件用于今后的物体识别。

在可选的实施方式中，定向工具可以是三轴加速度计。

根据本发明的第二方面，这里提供了视觉受损人员使用的光学装置，包括：

化合物显示器，所述化合物显示器包括多个可寻址光源的第一和第二排列；

支架，所述支架被设置以将所述排列与所述人员的至少一个眼睛保持接近的关系，这样所述第二排列相对于所述第一排列成角度；及

图像捕捉装置，所述图像捕捉装置被配置用以捕捉至少部分所述人员即时环境的图像；

其中所述第一和第二排列被配置以通过基于所捕捉的图像的内容选择性地点亮一个或更多个可寻址光源向所述人员的中央和/或周边视觉提供光刺激，从而向所述人员传递信息。

在本发明的这个方面，光学装置被配置为包括化合物显示器，其被设置为通过第一和第二排列的多个可寻址光源的方式对佩戴者的中央和/或周边视觉提供光学刺激。“中央视觉”指的是基本沿着佩戴者的视线(通常向前方或远处看)的视觉，而“周边视觉”包括任何横向或侧向眼睛视觉功能，并通常涉及到佩戴者与他们直接视线成角度的视觉。

第一排列优选地与第二排列不同，特别地，第一排列优选地比第二排列包括更大量的可寻址光源。在测试中已发现，一些视觉受损人员保留了足够辨认本发明第一方面的实施方式中光源间的间隔的视觉分辨力。因此，对于这些人员，更高分辨率的显示器会更有益。因此，在本发明第二方面的化合物显示器中，优选地，与第二排列相比，第一排列对应于更高分辨率的排列，其可以与前述实施方式的间隔开的LED排列具有相似的形态。

在特别优选的实施方式中，第一排列是一种OLED(有机发光二极管)2D显示器，包括单独地可寻址的LED。OLED显示器技术普遍用在移动手机上，因为它的紧凑的尺寸、低重量、低成本和低功耗的要求。特别地，大量的研究和开发已导向透明的OLED显示器，这特别适合于在本发明使用。因此，即使使用的OLED显示技术，仍然可能为眼镜支架制作镜片型插入件，如前面的实施方式中所描述的，而不牺牲本发明的任何优点。

第二排列可与如上所述的本发明的第一方面的实施方式的间隔开的LED排列相同。然而，在多数情况下，可想象这会依比例减小(即排列的较小版本)，这样更适用于本发明的这个方面。因此，在优选的设置中，间隔开的LED排列会被放置在邻近眼镜框架支架的一个相应臂的地方，排列与OLED排列成角度以允许通过选择性地驱动一个或更多个间隔开的LED来给予佩戴者的周边视觉光学刺激。

因此，在这种配置中，佩戴者的中央视觉可用更高分辨率(透明)OLED显示器来刺激，而他们的周边视觉可以通更低分辨率的间隔开的LED排列刺激。这种设置具有显著优势，尤其是，在增加可以传送给佩戴者的信息内容方面，通过用于各个眼睛的两个独立的显示器的组合使用。

如以上关于本发明的第一方面的实施方式所述，本发明和已知视觉辅助的基本区别在于通过本发明的装置呈现给佩戴者的信息表示出在佩戴者的环境之内的物体的距离，而不是物体本身的特征。所以，不需要视觉受损人员拥有或保留任何聚焦能力，因为物体本身不需要被辨认。换句话说，本发明的装置优选地利用一对摄像头立体地生成2D“深度图像”或“深度地图”，而不是放大或增强佩戴者面前的场景，这样附近的物体可以由亮光区表示，而更远的物体可由暗光区表示并逐渐黯淡成黑色。

除了使用透明OLED类型的显示器之外，可对与本发明的第一或第二方面有关的描述的任何实施方式进行进一步的改进和/或优化。

因此，如前面提到的，本发明的装置也可以包括，超声波测距仪，其优选安装在支架框架的桥部的上方、上面或近端。测距仪的功能将是优选的检测离佩戴者距离小于1米左右的物体，并提供基本的“故障安全”机制，以避免碰撞摄像头对无法检测到的物体，例如玻璃门等。从超声波测距仪收集的信息将传递给使用如上所述的显示器的佩戴者，即通过提供选择性点亮的空间和/或时间模式，优选地与深度图像或地图的使用一致。因此，在示范性实施方式中，随着物体接近佩戴者或佩戴者接近的物体，显示屏的中央部分将变得更亮。

如上所讨论的，支架框架除了包括陀螺仪，框架还可包括任何或所有以下的：加速计、电子罗盘和GPS接收器。来自陀螺仪和加速计的数据可以使用统计算法合并，例如卡尔曼滤波器，它可以计算框架的方向。知道框架的方向会很有用，尤其是可用于以下目的：

1、协助图像处理-快速头部活动期间收集的帧可能因过度模糊被排除在图像处理之外，这可能会减少处理时间并潜在地节省电池电量。此外，如果相机的活动是已知的，可以执行图像的背景减除，这对用于检测图像中的人是非常有用的。

2、基于摄像头的方向，可以进行改进可视化显示器。例如，可以从呈现给佩戴者的图像中除去“地面表面”以协助佩戴者识别地面的物体，同时识别台阶或楼梯灯。确定摄像头的方向有助于处理软件来识别地面的平面。

3、增强视觉显示器-显示器的更新速度可以通过在显示器中内插物体的位置来改进，这是基于摄像头的活动。

也可以使用GPS和指南针在数字地图上定位佩戴者，并协助所谓的“寻路”。寻路包括为趋向远程目标位置提供可视化的指示。一旦佩戴者通过GPS定位，计算机将计算出到它们的目的地的路径，通过显示器将指令传达给佩戴者，以指导他们沿着路径。因此，本发明的装置可以提供用于跟随的条虚拟的“线”，通过重新定向信号，如显示器的左侧或右侧上的明亮的指示器，如果佩戴者脱离或偏离的假想线的话。

在其他应用中，GPS和指南针也可用来提供公共交通辅助。例如，如果佩戴者告知装置，他/她想乘坐公交车，软件会尝试确定佩戴者的位置，同时识别离佩戴者最近的公交车站。此外，软件能获得关于公交路线和时间表的信息，并可通过装置的耳机，语音提示佩戴者下一班公交车的时间和路线数量等。可使用实时公交到达信息来辅助物体和人物辨识算法，尝试检测即将到来的公交车的路线数量。可使用相似的设置用于轨道服务和火车时间等，这些信息在互联网上被实时公布。这样，本发明的装置可结合硬件和/或软件用于通过wi-fi连接到互联网或移动电话网络(例如3G)等。

为了进一步改善公共交通信息的传送，装置还可以被配置为给佩戴者提供空间相关(例如方向性的)的语音，其可向佩戴者传递方向性意识如此佩戴者了解到公交车或火车开来的方向。语音优选地是2D语音，但任何合适的混合通道语音可用于传递方向意识。因此，例如，在使用装置期间可以检测正在靠近的公交车，通过OCR算法的应用使得公交车的数字(或路线等)被确定。装置然后可通过语音将这信息通过语音合成器传递给佩戴者，而语音的适配考虑了佩戴者的头部位置和/或方向，这样语音会从接近中的公交车来的方向传来。以这种方式，语音的方向性可以为佩戴者提供更一致的和真实的空间感，同时还潜在地改善了安全性，因为佩戴者知道公交车开来的方向。

为了避免佩戴者感到与他们的环境在语音上或声音上隔离，特别在利用公共交通寻路或旅行时，微型麦克风或传感器可结合进装置的耳机(例如耳机的耳芽)用以使至少一些周围的声音传递给佩戴者。这种设置可结合本发明的任何实施方式使用，并且可以由佩戴者选择性控制的，这样周围声音的传输可以被如愿的打开或关闭。

除了本发明的人工和/或语音(例如声音识别)控制，如以上所讨论的，可基于检测佩戴者的面部表情实现进一步的改进。因此，在一些实施方式中，一组电极可以被附着在眼框周围(例如周围的眼窝)，以便测量在皮肤上/内的电势。这种电极可以检测简单的眼球运动，例如，眨眼和升/降眉毛等，这些动作被用来控制属性的显示，例如放大或缩小等。

控制装置和/或显示器属性的进一步选项还可通过“头部姿势”达成，这样佩戴者头部的活动(例如抬高或低下他们的头、相对快速地从一侧向另一侧移动他们的头等)可被用于切换视觉和/或语音功能的打开或关闭等。因此，加速计可向软件提供信息，允许软件改变显示器的属性，例如，通过放大或缩小。头部姿势可结合面部表情使用，来执行全部任务并控制装置的操作。当然，应当领会到，任何合适的头部活动和/或面部表情可被用于控制和操作本发明的装置。

在优选的实施方式中，装置还可包括光传感器，例如光敏电阻(LDR)，来监控佩戴者本地环境中的周围光的水平。以这种方式，传感器可用于自动地控制和调整显示器的亮度来配合光线条件。

为了保证这对摄像头能在低水平光的情况下检测物体，装置还可包括一组红外(IR)LED，当光传感器指示光线跌至低于预定阀值时，红外LED可以打开。

为了增补和补充由一对安装在框架上的摄像头提供的立体深度成像功能，一个结构化的光发射器也可以被集成到该设备的支撑框架。结构化的光发射器可以是一个低功率的红外激光二极管，最优选是一个激光二极管，通过在二极管的出射孔处的一个两维衍射光栅发射全息衍射图案。激光和光栅的组合产生了大量紧密地间隔开的点，它可用于在图像中提供足够的特征，执行深度计算。已被发现的是，此特征尤为适用于大型平坦和无特征的物体，如纯白色的墙壁等。

激光二极管优选地安装在支架框架的桥部上方并由装置的电池供电。

对于年龄相关性黄斑变性等眼部疾病，能跟踪佩戴者的眼睛的位置以便将图像导向视场的最佳部分通常是有用的。因此，例如，如果佩戴者残余视力在视场的最左边和最右边，则该软件被设置以重新定位显示器，以确保将信息提供在这两个区域。但是，如果佩戴者移动他们的眼睛，则显示区域可能会落在他们的残余视力之外，这就是为什么有必要不断追踪佩戴者的眼球位置以相应地动态调整显示器。在优选的实施方式中，眼睛跟踪可以通过使用配有一个宏观镜片并能调谐到仅检测红外光(IR)的单一的微型摄像头来实现。的将优选地与一个红外(IR)LED配对，这可以照射佩戴者的眼睛从而使眼睛的活动能够被跟踪。虹膜检测算法优选地应用到从摄像头中的视频数据流，使得佩戴者的注视的当前方向被确定。

虽然本发明的装置理想地适合于协助视觉受损人员在他们周围环境中绕过障碍和导向，装置还可以被用于增强娱乐体验，例如看电视。如所讨论的，装置的设计并不是为了改善佩戴者的场景的图像本身，而是提供与场景内的物体的位置有关的信息。因此，有可能使用该装置来表示电视图片或图像内的人和物体的大致位置，并甚至可能是某一体育运动的运动员，如一场足球比赛等。在优选的实施方式中，人物检测算法和人脸检测算法可应用到预先录制的电视节目的视频。从而算法记录节目中的面孔的位置以及还可能记录身份(经过事先培训)，并随后作为一个“闭合字幕”的数据流等被提供。结果是，佩戴者一边听音频电视节目，一边可以接收字符数据流，通过彩色编码图案或闪烁的光的区域来向他们指示电视场景中的关键人物的位置。因此，以这种方式，佩戴者可以取得更好地欣赏电视场景，从而提高他们对节目的享受，因为他们能够“看到”的角色之间的空间互动和场景中的任何连续的活动。

可以设想，类似的技术可以适用于足球比赛的视频，可以为佩戴者呈现由适当的图像算法产生的模拟的球场视图(自上而下)。因此，听着比赛的解说的同时，球和关键球员的位置(例如目前“正在比赛中”)可以在模拟球场上显示，对于任何未知的球员位置，可以显示为适合那支球队和比赛的标准阵型(如4-3-3或4-4-2等)。

但是应当理解的是，前面的所有的实施方式都没有相互排斥的意图，因此，任何相关的具体的实施方式中描述的特征都可以单独地和/或相关的任何其它的实施方式中描述的特征毫无限制地互换。。

以下通过结合附图详细描述本发明的各种其他的特征、目的和优势。

附图说明

通过例子和附图详细示出了本发明的实施例，其中：

图1为本发明的优选的实施方式的光学装置的示意图；

图2示出本发明的特别优选的实施方式的光学装置的局部正/侧透视图；

图3示出了图2的光学装置的局部的仰视/反向透视图；

图4示出了图2的光学装置的局部的侧/反向透视图；

图5A&5B示出了本发明的另一优选的实施方式的光学装置的反向/正透视图。

具体实施方式

如图1所示，根据本发明的特别优选的实施例光学装置100。光学装置100包括离散光源102的间隔开的排列和支架104，支架104被设置以将排列102与视觉受损人员(未示出)的至少一只眼睛保持接近的关系。

在图1的实施例中，支架104是以由硬质塑性材料制成的眼镜框架的形式。眼镜框架104包括两个可折叠的臂106(更好地显示在图2至4中)和具有两个相应的镜片插槽110的桥部108。间隔开的排列102被作为两个独立的“显示器”运用，每个都是眼镜镜片的外形，眼镜镜片被装配进框架104中的相应的镜片插槽110内。以这种方式，一个显示器被呈现给光学装置100的佩戴者的一个相应的眼睛。

如图1至4所示，离散光源由单独地可寻址的发光二极管(LED)的矩阵组成，它们分布在镜片的表面，形成尺寸大约为35x30mm的显示器。在图1至4的实施例中，每个排列102中有大约50个独立的LED(每个尺寸大约2x1mm)，彼此间隔开，以便形成大约8X6横向六边形配置。

LED可以是纯白色的或者是彩色的(例如，红的和/或绿的)或两者的组合，并可以使用单色、双色和/或多种色的二极管中的任意一种。

镜片本身仅作为LED的排列102的支架，因此没有为佩戴者的视力提供光学矫正。镜片由塑性材料制成，在图1至4的实施例中，塑性材料是透明的，但是可选地，可以使用不透明的镜片。使用透明镜片对某些视障人士是有用的，因为他们可能仍然依赖于“背景光”的检测以帮助行动和导向。因此，当使用本发明的光学装置时，在某些情况下，不希望阻挡或削弱任何背景光。

虽然未在任何附图中示出，这些LED已被整合入镜片的模压塑性材料中，连同它们各自的电气连接(为了清楚的目的而未被示出)。然而，LED可以经由粘合剂等直接应用在镜片的内或外表面上，或能被安装在透明的导电薄膜上，导电薄膜随后能被镀覆至镜片的表面上。

再参见图1，光学装置100进一步包括图像捕捉装置，图像捕捉装置是以两个广角视频摄像头112的形式。视频摄像头112分别安装在框架104的上弯角处，每个都在相应的镜片插槽110的上方。以这种方式，所捕捉的图像追踪或跟随佩戴者的视线，这样当佩戴者转动他的/她的头时，摄像头112拍摄沿着那个特定方向的任何影像。视频摄像头112是CMOS类的微型彩色视频摄像头，带有120度清晰视场的广角镜头，但是可选地，可以使用任何小型、重量轻的摄像头。

使用两个间隔开的分离的摄像头的优势是能够通过立体视觉技术，根据摄像头的不同视角，确定距离信息。因此摄像头112的功能是捕捉佩戴者即时环境的视频序列，这样可以获得物体位置和识别物体以便为佩戴者提供关于他/她周围环境的信息。以这种方式，根据预定的点亮和/或颜色模式，通过选择性的点亮一个或更多个排列102中的LED，就能将有关于物体、障碍物和距离的信息传递至佩戴者。

框架104的尺寸设计如下，排列102被保持在离佩戴者眼睛大约3至5厘米之间的距离。在大多数情况下，通常这会小于眼睛的最小焦距(即理论上可以达到聚焦的最短距离)。然而，在本发明中那无关紧要，事实上这个特征提供了显著的优势，因为佩戴者不必聚焦在排列中的LED上，不像传统的增强现实设备需要人员分辨清楚部分的增强图像。因此，本发明的光学装置能利用视觉受损人员的残余视觉功能，将信息传递给视觉受损人员而不管他们是否能聚焦于图像。

然而，将排列102放置在接近眼睛的另一优势是，由佩戴者眼睛所接收的光的强度可以被加强，潜在的增强了明亮与黑暗之间的感知力。

再次参见图1，光学装置100进一步包括计算机114(作为隐形线示出)，计算机114被设置用以控制装置的功能与操作，特别是排列102和摄像头112。虽然未在图1中专门示出，计算机114被设定为单独地可佩戴在眼镜框架104上，并可以夹扣在佩戴者的腰带上或者戴在绕过佩戴者身体的吊索状的线束上。当然，任何合适的，用于将计算机114附着于佩戴者的结构都可以结合本发明而被使用。

计算机114包括至少一个处理器116和一个存储器118，并通过驱动器120与排列102连结，通过视频缓存122与摄像头112连结。(为清楚起见，仅在图1中示出与一个排列102和一个摄像头112的单线连接，然而应当理解，实际上两个排列和两个摄像头都与计算机114连结)。驱动器120可以，例如，是PIC控制器，PIC控制器为排列102中每个单独地可寻址的LED提供缓存。视频缓存122可以是任何合适的视频缓存设备。

图形处理工具124也在计算机114中实现，其是可操作的以识别由摄像头112捕捉的视频图像中的物体。图像处理工具124可以是在处理器116中可执行的软件模块，或运用处理器116和/或存储器118的硬件部件。或者作为一种选择，图像处理工具124可以在软件和硬件中都实现。总之，图像处理工具124的功能是识别并定位摄像头112捕捉的图像中的物体。

所谓“物体”我们指的是图像中任何对应于但不限于物理的或自然的结构(例如墙、地板、走廊、树等)、障碍物(例如桌子、椅子、灯柱、轿车)、物件(例如电话、杯子、食品等)、人(例如人脸)、词、词组和文字(例如标牌、商店及零售品牌、报纸的头条新闻、信息板等)的可辨识的实体或形状。

物体的识别是通过对所捕捉视频图像应用一个或更多个算法以搜寻图像中预定的对应于已知物体或物体类型的形状或形式。因此，配置识别算法来确定所捕捉的图像中存在的任何已知物体，如果有的话，识别物体类型、空间尺寸、相对佩戴者的位置和离物体的距离中的一个或更多个。

通过参考储存形状和形式的数据库126确定物体的存在是在计算机114中实现的。数据库126通过区别物体属性和特征来分类，例如形状、区别的轮廓和颜色等。因此，如果识别算法在所捕捉的图像中检测到形状，例如通过描绘等高线或与该形状相关联的连续的边缘，然后将形状与所存储的物体识别文件比较，以尝试找到匹配。

数据库126包括物体识别文件，用于日常生活中通常遇到的大量物体。但是不可避免一些物体对于图像处理工具124来说是未知的，或者不能被充分识别(例如，由于其他前景/背景物体的干扰或遮挡等)，所以在这种情况下匹配可能无法进行。在这种情况下，佩戴者被告知一个未知物体在附近，并可以被指导从不同的角度(例如通过改变他们的相对位置)对物体进行重新成像。然而，光学装置100也能通过适应性学习模块128学习新的物体，这样物体识别文件的数据库可以随着时间更新(后面会讨论)。

以大致相同的方式，也可以通过图像处理工具124识别人脸。因此，面部辨识算法也被应用于所捕捉的图像上，且如果另一个人在佩戴者的身边紧邻处(他们的面部未被遮档)，算法会通知佩戴者有人在附近。面部辨识使用两阶段处理来实现。第一阶段执行从所捕捉的图像与一组预存的彩色皮肤样本进行颜色匹配。以这种方式，尝试识别与所记录的皮肤色调(例如白人或其他人种)匹配的任何颜色。而第二阶段限定具有足够球形度的检测结果。在其他实施例中，面部特征算法也可以应用于图像，其搜寻用来表示眼睛、鼻子或嘴巴等的球形物体。

除识别物体和辨识面部等之外，图像处理工具124还能估测到与所识别的物体的距离并将此信息传递给装置100的佩戴者。物体的距离是通过视差计算出的，该视差是通过分析物体与由广角摄像头112对捕捉的每幅图像中的相对背景特征的明显角位移确定的。因此，既然两个摄像头112间的间隔是已知的(并且是固定的)，确定视差的角度，然后通过由处理器116执行的简单的三角函数计算给出物体距离的可靠的估计，。

在一种可选的方式中，使用距离估测算法建立了识别的表面的简图，例如了被称为的，由牛津大学的G.Klein和D.Murray开发的PTAM(并联跟踪和定位)(http：//www.robots.ox.ac.uk/～gk/PTAM/)。此算法识别图像中的表面和边缘并能够根据基于广角摄像头112的不同视角的立体视觉技术，估计与表面的距离。算法通过换算眼镜框架104初始化，这可通过佩戴者移动他们的头和位置来实现。以这种方式，生成估测深度分布图，其呈现为LED排列102上的距离-亮度等级。因为距离的确定是传递给佩戴者的信息的重要方面，这是由排列102中的白色灯呈现的，距离佩戴者更近的表面比距离更远的表面更亮。

另外，图像处理工具124进一步是可操作的以根据由摄像头112捕捉的图像中的任何文字内容来执行文字辨识。因此，在图1的实施例中，图像处理工具124进一步包括用于在佩戴者即时环境的图像中的任何识别的单词、词组或标志实现光学字符识别(OCR)的算法。

定制的字符集储存在数据库126中，作为用于OCR算法的程序库。文字辨识是以多阶段过程实现的，最初包含在字符集的数据库中检测字母。估测字符方向，沿方向线建立连续字符。每个连续捕捉的图像针对已知字母做分析，由简单模式筛选器执行错误和保真度核查。任何间隙都被估测并被用于分隔潜在的单词，然后与储存的字段作比较。完成的单词然后还可以被模式过滤，通过重复几次，以生成最可能的词组或句子等。

计算机114能够整理从所捕捉的图像收集的所有信息(例如，物体、距离等)，并确定此信息如何被传递到装置100的佩戴者。正如前面提到的，分配点亮和/或颜色的特定模式给在图像中被识别的特定物体或物体类型。因此，物体的整个类被描绘成单一的模式和/或单一的颜色或结构。因此，面部，文本和距离可以以形成单独的类，这些单独的类通过不同的点亮模式和/或颜色向佩戴者显示。

可以领会的是，任何合适的点亮模式和/或颜色，不论是空间的(例如横跨排列102分布或作为LED的子集定位)或时间的(例如单个或多个LED“闪烁”调制)，都可以被用于将佩戴者环境中有关物体和/或距离的信息传递给光学装置的佩戴者。

如图1所示，计算机114还包括语音合成器130，其是可操作的以提供根据由OCR算法识别的文字的语音输出。语音输出实时提供给光学装置100的佩戴者，所以指令、警告或其他信息都会向佩戴者通报以帮助他们导向通过他们的即时环境。因而，光学装置100包括音频输出装置，以一对耳机132的形式，整合入或附着至框架104的臂106，如图2所示。(为清楚起见，仅在图1中示出单个与耳机132的扬声器的连接。然而应当理解，实际上两个扬声器都与语音合成器130连结。)

在其他实施例中，耳机132可以是对于框架104单独的组件，如图4所示，且可以是“耳内”类的耳机，可以被塞入佩戴者的耳内。当然，任何合适的耳机类型都可结合本发明被使用。

再次参见图1，计算机114还包括控制界面134，用以通过声音激活控制装置100的操作。因而，佩戴者可发出语音命令至装置100用以初始化或禁止某些特别功能。控制界面134包括微型麦克风136，其是可操作的以接收语音命令。麦克风136位于框架104的左手臂106上，最佳方式如图3和4所示。当然，为了获得相同的功能，麦克风136可以位于框架104的任何地方，或者在佩戴者的身上。

佩戴者能通过控制界面134控制光学装置的任何操作，包括切换装置打开或关闭；指示物体识别算法忽略特定物体或物体类型；切换语音合成器打开或关闭(开始或禁止图像中辨识的语音单词的输出)；及开始或终止图像序列的录制(用于随后处理)。

如之前所提到的，计算机114还包括适应性学习工具128，其是可操作的以学习不同物体以便区分不同物体类型。另外，适应性学习工具128还被配置以基于所捕捉的视频图像的文字内容学习新文字(例如单词、词组等)。

适应性学习工具128在软件中实现并能具有不同的学习模式以使得此工具将新物体保存进数据库126中。一种模式是由佩戴者发起，这样物体在光学装置100中显示，而佩戴者就指令装置“学习”新物体。佩戴者通过向控制界面134(经由麦克风136)发出语音命令“学习”来发起学习，发出的语音命令触发适应性学习工具开始通过摄像头112录制视频序列。录制的视频序列然后被分析以建立物体识别文件用于此新物体，并根据特定应用也可以给此物体分配类别。

对录制的视频序列的分析可以以“离线”(例如，当光学装置100不是处在被佩戴者使用中的时候)以及远离光学装置100的方式进行。在一些实施例中，录制的视频序列被上传到远程的安全服务器上，由设配生产商或开发商等维护，但也可在本地由佩戴者的个人电脑(如台式或笔记本电脑等)分析。对“安全”服务器的需求是为了消除佩戴者与上传个人视频序列相关的顾虑。因此，视频文件在一些实施例中也可以加密以防止非授权的观看序列，并在任何情况下都会在分析完成后从服务器删除视频序列。

执行远离装置的分析减少了计算机114的处理器116的处理支出，否则的话可能在使用时减弱光学装置100的性能，或者缩短电池寿命等。不管哪种情况，软件执行物体识别并生成用于随后下载至计算机114的数据库126中的物体辨识文件。以这种方式，新物体可以随着时间被添加进数据库126中，从而为佩戴者建立物体识别文件的个性化收集。

通过使用处理器116的任何空闲处理周期或利用任何“闲置时间”，当装置和/或软件当时没有执行操作时，也可能在使用装置100期间逐步地完成视频序列的处理。可选地，也可以再装置100不在使用时或正在充电时执行处理。

另一种学习模式，在一些实施例中可以也可以不采用这种模式，它是行为主导的学习形式，这样的话，为了更新数据库126，佩戴者的行为被监控和追溯。三轴陀螺仪138形式(见图1和2)的定向工具被用于大致估测佩戴者进行中的行为。例如，如果装置100正在运作，陀螺仪138指示佩戴者是静止的，那么有理由假设佩戴者正在进行一项有意义的任务。如果物体辨识算法没有在所捕捉的图像中辨识出任何物体或文字，可以将适应性学习工具128设置为自动开始录制视频序列用于随后的物体辨识(离线和/或远程等)。这样，任何与那个有意义的任务关联的，还不在数据库126中的物体，可以被分析，并生成合适的物体辨识文件，以及保存物体辨识文件用于今后的物体识别。

三轴陀螺仪可以是微芯片封装的MEMS陀螺仪。然而，可选地，可以使用三轴加速度计。

再参见图1，光学装置100由可再充电的内部电池140供电。电池140通过有线的电连接(为清楚起见未示出)为计算机114、以及LED排列102和摄像头112提供电能。当然，任何合适的电池或电池组可以使用，为本发明的光学装置100提供电力，前提是装置的可携带性和/或可佩戴性不因此受影响。

可以理解，物体识别、面部辨识、光学字符辨识、文本到语音转换、语音激活控制和用于图像处理任何的算法程序等可以通过任何编程语言来实现，并可以利用任何标准或定制库和源代码等。因此，在某些实施例中，软件可以实通过NI的LabVIEW开发环境(http://www.ni.com/labview/)实现，而在其他实例中，所有API和算法可以用C/C++编写。

理想地，计算机114的处理器116是为移动计算应用而设计的CPU，如此就相比于其他芯片设计具有相对小的外形尺寸和更高效的电力消耗。因此，计算机114可在ARM平台上实现，采用RISC体系结构，例如，双核ARM Cortex-A9处理器。为在ARM平台上实现，算法程序可以用C++进行编程，而开源代码OpenCV(http://opencv.willowgarage.com/wiki/)可用来进行图像处理。

由卡内基·梅隆大学提供的开源库，可以用来提供必要的语音和语音识别功能。因此，本发明的光学装置中使用的合适的语音合成库是弗莱特(http://www.speech.cs.cmu.edu/flite/)，而语音识别可以通过库CMUSphinx(http://cmusphinx.sourceforge.net/)实现。通过开放源代码Teseract(http://code.google.com/p/tesseract-ocr/)  或  OCRopus(http://code.google.com/p/ocropus/)实现文字识别。

可通过SPI通信协议或任何其他串行协议，例如I2C或UART等控制LED排列。

参见图5A&5B，其中示出了根据本发明的另一优选实施例的光学装置。在此实施例中，光学装置200包括化合物显示器，化合物显示器包括第一和第二排列202a，202b的多个可寻址光源。化合物显示器安装到，或整合至支架框，在图5A和5B的实施例中，支架框是具有侧臂206的眼镜框架204，相似于上文之前描述的实施例的框架104。

化合物显示器被设置为通过第一和第二排列(202a，202b)的方式对佩戴者的中央和/或周边视觉提供光学刺激。“中央视觉”指的是基本沿着佩戴者的视线(通常向前方或远处看)的视觉，而“周边视觉”包括任何横向或侧向眼睛视觉功能，并通常涉及到佩戴者与他们直接视线成角度的视觉。

如图5A所示，第一排列202a与第二排列202b不同，比第二排列包括更大量的可寻址光源。第一排列202a是一种透明的OLED(有机发光二极管)2D显示器，包括单独可寻址的LED。第二个排列202b是一个按比例缩小的间隔开的LED排列，如前面的实施例中所描述的，并设置为邻近所述眼镜架204的臂206中的相应一个，而且排列与OLED排列成角度以允许通过选择性地驱动一个或更多个间隔开的LED，用光刺激佩戴者的周边视觉。第二排列202b中也是透明的。

因此，在这个实施例中，佩戴者的中央视觉可以被更高分辨率的OLED显示器202a刺激，而他们的周边视觉可以由较低分辨率的间隔开的LED排列202b刺激。这样的安排有显著的优点，尤其在增加可以传送给佩戴者的信息内容上，通过用于每个眼睛的两个独立的显示器的结合使用。

此外，已经发现，在测试过程中，一些视觉受损的佩戴者保留了视觉分辨能力，足够辨别图1至图4中的实施例中的光源之间的间距。因此，对于这样的个人，更高分辨率的显示可能是更有利的，因为他们相比视觉受损更严重的佩戴者能够分辨更多的细节。

框架204还支撑一对立体摄像头212，如前述实施例中所描述的。摄像头212和软件是可操作的以生成佩戴者身边环境的深度分布图，如前所讨论的。因此，软件从两个摄像头212获得视频数据，两个摄像头固定并隔开已知的距离，然后比较两台摄像头共有的大量特征的位置以便计算出离场景中所定位的物体的距离。然后图像被转换成深度分布图，更近的物体显得更亮，而更远的物体褪成黑色。其结果是，本发明的装置提供了一个直观的实时显示，以表示在佩戴者即时环境中的物体的相对尺寸和距离。

参见图5B，装置200还包括超声波测距仪250，其被安装在框架204的桥部。测距仪的主要功能是检测到距离佩戴者小于1米左右的物体，并提供基本上“故障-安全”的机制，以避免碰撞到无法被摄像头212检测到的物体，例如玻璃门等。从超声波测距仪的250收集的信息依照所生成的深度图像或分布图被传递给使用排列202a，202b的佩戴者。因此，例如，物体接近佩戴者时，排列的中央部分变得更亮(或佩戴者接近的物体)，反之亦然。

虽然本发明的光学装置及方法很理想地适合用于保留有至少一些光和/或颜色区分的视觉受损的个人，应当认识到，本发明的一个或更多个原理可延伸到其他视觉辅助或增强现实技术的应用，使视力障碍对于行动不便的患者或有学习困难的个人可以不再特别严重或相关，因为辅助视觉可如所希望的作为教学或培训的援助。特别地，目前的可设想本发明也可能对于痴呆症患者有用，患者可以受益于提高他们识别人脸和地点等的能力的装置。

上述实施例仅以示例的方式描述。许多变化都是可能的，而不会脱离本发明的范畴。

Claims (47)

1.一种视觉受损人员使用的光学装置，包括：

离散光源的间隔开的排列；

支架，所述支架被设置以将所述排列与所述人员的至少一个眼睛保持接近的关系；及

图像捕捉设备，所述图像捕捉设备被配置成捕捉所述人员至少部分即时环境的图像；

其中所述排列被配置成基于所述捕捉到的图像的内容，通过选择性地点亮一个或更多个所述离散光源向所述人员传递信息。

2.如权利要求1所述的光学装置，其中所述支架被设置成将所述排列与所述眼睛保持基本上比所述眼睛的最小焦距更近的距离。

3.如权利要求1或2所述的光学装置，其中所述间隔开的排列包括发光二极管的排列。

4.如权利要求3所述的光学装置，其中所述发光二极管是单独地可寻址的。

5.如前述任一权利要求所述的光学装置，进一步包括离散光源的第二间隔开的排列，每一个排列被配置以分别向所述人员的各个眼睛传递信息。

6.如前述任一权利要求所述的光学装置，其中所述支架包括眼镜框架。

7.如权利要求6所述的光学装置，当从属于权利要求5时，其中每个间隔开的排列都整合进相应的显示装置，所述显示装置为与所述框架相配的眼镜片形状。

8.如前述任一权利要求所述的光学装置，其中所述图像捕捉装置安装在所述支架上。

9.如权利要求8所述的光学装置，其中所述图像捕捉装置包括至少一个广角摄像头。

10.如权利要求9所述的光学装置，其中所述广角摄像头是视频摄像头。

11.如前述任一权利要求所述的光学装置，进一步包括用于控制所述排列和/或所述图像捕捉装置的计算装置。

12.如权利要求11所述的光学装置，其中所述计算装置适合于由所述人员单独地佩戴。

13.如权利要求11或12所述的光学装置，其中所述计算装置包括图像处理工具，所述图像处理工具是可操作的以识别所捕捉的图像中的物体。

14.如权利要求13所述的光学装置，其中所述识别包含确定一个或更多个物体类型、空间尺寸、相对于所述人员的位置以及与物体的距离。

15.如权利要求13或14所述的光学装置，其中所述图像处理工具进一步是可操作的以基于所捕捉的图像中的文字内容执行文字识别。

16.如权利要求15所述的光学装置，进一步包括语音合成器，所述语音合成器是可操作的以提供与所识别出的文字对应的语音输出。

17.如前述任一权利要求所述的光学装置，进一步包括音频输出装置。

18.如权利要求17所述的光学装置，其中所述音频输出装置包括一对耳机。

19.如前述任一权利要求所述的光学装置，进一步包括控制界面以控制所述装置的操作。

20.如权利要求19所述的光学装置，其中所述控制界面是声音激活的。

21.如权利要求19或20所述的光学装置，其中所述控制界面包括至少一个麦克风，所述麦克风是可操作的以接收语音命令。

22.如权利要求11所述的光学装置，其中所述计算装置进一步包括适应性学习工具，所述适应性学习工具是可操作的以基于所捕捉的图像的内容学习新物体和/或文字。

23.如权利要求22所述的光学装置，其中所述适应性学习工具被配置以在所述装置未激活时学习。

24.如权利要求22或23所述的光学装置，其中所述适应性学习工具被配置以响应语音命令而激活其学习模式。

25.如前述任一权利要求所述的光学装置，进一步包括定向工具用以确定所述支架相对于所述人员即时环境的方向。

26.如权利要求25所述的光学装置，其中所述定向工具包括陀螺仪或加速计中的一种。

27.如前述任一权利要求所述的光学装置，进一步包括电源。

28.一种视觉受损人员使用的光学装置，包括：

化合物显示器，所述化合物显示器包括多个可寻址光源的第一和第二排列；

支架，所述支架被设置以将所述排列与所述人员的至少一个眼睛保持接近的关系，这样所述第二排列相对于所述第一排列成角度；及

图像捕捉装置，所述图像捕捉装置被配置以捕捉所述人员至少部分即时环境的图像；

其中所述第一和第二排列被配置以通过基于所捕捉的图像的内容选择性地点亮一个或更多个可寻址光源向所述人员的中央和/或周边视觉提供光刺激，从而向所述人员传递信息。

29.如权利要求28所述的光学装置，其中所述第一排列与所述第二排列不同。

30.如权利要求29或30所述的光学装置，其中所述第一排列比所述第二排列包括更多数量的可寻址光源。

31.如权利要求28至30中任一项所述的光学装置，其中所述第一排列的分辨率高于所述第二排列。

32.如权利要求28至31中任一项所述的光学装置，其中所述第一排列是OLED显示器。

33.如权利要求28至32中任一项所述的光学装置，其中所述第二排列被配置以仅向所述人员的周边视觉提供光刺激。

34.如权利要求28至33中任一项所述的光学装置，其中所述第二排列是离散光源的间隔开的排列。

35.如权利要求28至34中任一项所述的光学装置，其中所述化合物显示器进一步包括多个可寻址光源的第三和第四排列，所述第一和第二排列以及所述第三和第四排列被配置以向所述人员的各个眼睛传递信息。

36.一种操作视觉受损人员使用的光学装置的方法，所述光学装置为如权利要求1至35中任一项所限定的类型，所述方法包括：

捕捉所述人员至少部分即时环境的图像；

处理图像以识别所述捕捉的图像的内容；及

通过基于所捕捉的所述图像的内容驱动所述排列向所述人员传递信息。

37.如权利要求36所述的方法，其中处理所述图像包括识别所述捕捉的图像中的物体。

38.如权利要求37所述的方法，其中识别物体包含确定一个或更多个物体类型、空间尺寸、相对于所述人员的位置和与所述物体的距离。

39.如权利要求36至38中任一项所述的方法，其中向所述人员传递信息包括根据一种或更多种预先确定的模型点亮所述光源，所述预先确定的模型与特定的物体类型和/或那种物体类型的属性相关联。

40.如权利要求36至39中任一项所述的方法，其中处理所述图像进一步包括基于所捕捉的图像中的文字内容辨识文字。

41.如权利要求36至40中任一项所述的方法，进一步包括基于所捕捉的图像中的被辨识的文字输出合成语音。

42.如权利要求36至41中任一项所述的方法，进一步包括扩接收语音命令以控制所述装置的操作。

43.如权利要求36至42中任一项所述的方法，进一步包括适应性学习来区分不同的对象类型和/或所捕捉的图像中的被辨识出的文字。

44.一种计算机程序产品，包括程序代码工具，所述程序代码工具被适配以当在计算装置上执行所述程序代码时，实施如权利要求36至43中任一项所述的方法。

45.一种计算机可读介质，具有存储于其中的数据结构，所述计算机可读介质包括根据权利要求36所述的计算机程序产品。

46.一种光学装置，所述光学装置实质上与上文参照附图1至5所述的一样。

47.一种操作光学装置的方法，所述光学装置实质上与上文参照附图1至5所述的一样。

Images