CN111770254A - 基于ar眼镜的助视康复辅助器、系统及显示方法 - Google Patents

Abstract

本发明公开了一种基于AR眼镜的助视康复辅助器、系统及显示方法，所述助视康复辅助器包括：AR眼镜本体；所述AR眼镜本体上设置有：前置摄像头，所述前置摄像头用于采集外界的真实场景图像；图像处理设备，所述图像处理设备用于接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备；光波导显示设备，所述光波导显示设备用于将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。本发明通过前置摄像头捕捉真实场景后，通过图像处理设备和AR显示屏技术将叠加处理后的画面投射到光学波导显示屏，从而帮助弱视人群训练残余视功能及术后的康复恢复功能。

Description

基于AR眼镜的助视康复辅助器、系统及显示方法

技术领域

本发明涉及助视器技术领域，具体涉及一种基于AR眼镜的助视康复辅助器、系统及显示方法。

背景技术

目前全球低视力患者约为3.14亿人，每年因视力损害引起的不良事件花费高达250亿美元。给患者、家庭和社会造成巨大的经济负担和社会负担，严重影响低视力人群的身心健康和日常生活质量，轻者不仅使工作、学习受阻，重者往往生活不能自理。对于那些手术及药物治疗依然无效的低视力患者，其中50％以上是可以通过使用相关助视器来提高视力的，而且这是提高患者视力的最后一次机会。

即使现在的智能“助视”产品比比皆是，但要真的掀开视障患者眼前的帘子恐怕还不容易。经过我们的仔细梳理，各类与视障有关的智能产品，大致将其分为以下二种类型：

视觉转换为其他感官的帮助型：一般来说目不能视的视障患者认知外界世界的渠道是除了视觉之外的其它感官感觉，比如听觉、嗅觉和触觉。慕尼黑公司和韩国公司联合完成了一款专供盲人使用的盲文智能手表，搭载了盲文显示系统，以盲文的形式将各种信息呈现在手表的触摸表盘里。同样相机也给出了触摸形式。美国一位设计师专门为视障人士设计了一款to see 3D相机，这款相机能通过镜头实时地将拍摄的物体转化成三维触感数据，使视障人士通过触摸屏幕表面生成的立体形状来识别面部细节，比如读取表情等。当然了除了触觉，听觉的也不会少。IBM推出了专为盲人设计的新型导航APP NavCog。NavCog可通过耳机与智障人士“耳语”，帮助人实时识别位置、朝向，还能辨认迎面走来的熟人。

视觉功能增强辅助型：电子助视系统在纸质文档经过摄像头采集后进行文字识别OCR，接着通过文字放大，语音播报等方法帮助低视力患者接受信息。可以为视障患者提供更高的放大倍率、大视野，更自然的阅读姿势和可变的工作距离，不会出现成像的畸变和色散等现象。向武等的研究结果表明电子助视器在阅读速度、阅读持续时间、阅读距离都明显优于传统的光学助视器，而且更受低视力学生的喜爱。

由此可知，上述助视产品只能在一定程度上帮助视弱患者提高一定的日常生活能力，而并不具有残余视功能训练及术后恢复的康复辅助功能。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供了一种基于AR眼镜的助视康复辅助器、系统及显示方法，使得具有残余视训练功能及术后恢复的康复辅助功能。

本发明解决技术问题所采用的技术方案如下：

一种基于AR眼镜的助视康复辅助器，其包括：

AR眼镜本体；

所述AR眼镜本体上设置有：

前置摄像头，所述前置摄像头用于采集外界的真实场景图像；

图像处理设备，所述图像处理设备用于接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备；

光波导显示设备，所述光波导显示设备用于将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。

优选地，所述图像处理设备包括：

模数转换器，所述模数转换器用于将前置摄像头采集到的真实场景图像转换为数字型图像数据；

图像处理芯片，所述图像处理芯片用于对模数转换器转换的数字型图像数据进行处理，并将处理后的图像数据发送至光波导显示设备。

优选地所述图像处理芯片包括数据处理模块，所述数据处理模块包括：

第一类数据处理单元，采用对数变换算法和伽马图像增强算法提高数字型图像数据的对比敏感度；

第二类数据处理单元，将表示红色、绿色的数据分别压缩至灰度级的低端、扩展至灰度级的高端；

第三类数据处理单元，通过滤波上采样将图像放大；

第四类数据处理单元，通过BASnet改进算法准确的识别出盲道的位置，并标出盲道上的障碍物。

优选地，所述对比敏感度在数字型图像数据的原基础上提升或减少100%。

优选地，所述第二类数据处理单元对红色、绿色色觉加深或减弱的幅度为50%。

优选地，所述光波导显示设备包括：

LCOS投影光机，所述LCOS投影光机用于将接收到的图像数据转换为成像光束；

光学波导显示屏，所述光学波导显示屏用于显示LCOS投影光机投射的成像光束，并将显示的成像光束导入人眼。

优选地，所述AR眼镜本体上还设置有控制按键，所述光波导显示设备电性连接有用于放大和平移图像的控制器。

优选地，所述AR眼镜本体上还设置有无线通信设备，通过无线通信设备与助视康复辅助器通信。

本发明还提供了一种基于AR眼镜的助视康复辅助器系统，其包括上述所述的基于AR眼镜的助视康复辅助器；

与无线通信设备进行通信的用于接收数据的互联网终端，通过所述互联网终端对接收到的数据进行查看和管理。

本发明还提供了一种基于AR眼镜的助视康复辅助器显示方法，其包括如下步骤：

前置摄像头采集外界的真实场景图像；

图像处理设备接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备；

光波导显示设备将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。

与现有技术相比，本发明所提供的基于AR眼镜的助视康复辅助器、系统及显示方法具有以下有益效果：

前置摄像头捕捉真实场景后，通过内置专业图像处理设备和AR显示屏技术将叠加处理后的画面投射到内置的光学波导显示屏，所有用户接收操作，只要观看光学波导显示屏进行即可，同时，根据不同视障患者的病症，如管状视野、视野缺损、双眼不同程度的视力损伤或视野缩小，针对性地调整模式，突出最关键的影像，在本质上解决视障患者独立看到外界环境的需求，也解决出行和生活问题，且通过针对性调整，日常的佩戴训练眼部的相关剩余功能，从而达到眼科疾病治疗康复辅助的目的。

附图说明

为了更清楚地说明本申请的方案，下面将对实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于AR眼镜的助视康复辅助器的模块示意图。

图2是本发明一种基于AR眼镜的助视康复辅助器中的图像处理设备的模块示意图。

图3是本发明一种基于AR眼镜的助视康复辅助器中的光波导显示设备的模块示意图。

图4是本发明一种基于AR眼镜的助视康复辅助器系统的模块示意图。

图5是本发明一种基于AR眼镜的助视康复辅助器显示方法的流程示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明实施例提供了一种基于AR眼镜的助视康复辅助器，如图1所示，其包括：AR眼镜本体100；所述AR眼镜本体100上设置有：前置摄像头200，所述前置摄像头200用于采集外界的真实场景图像；图像处理设备300，所述图像处理设备300用于接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备400；光波导显示设备400，所述光波导显示设备400用于将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。

该助视康复辅助器的原理为：对残余视力进行视觉重建，通过增强现实结构和智能算法将临近物体的图像进行区分。具体为：前置摄像头捕捉真实场景后，通过内置专业图像处理设备和AR显示屏技术将叠加处理后的画面投射到内置的光学波导显示屏上。所有用户接收操作，只要观看光学波导显示屏进行即可，帮助弱视人群更好地看清周围事物。

具体实施时，如图2所示，所述图像处理设备300包括：

模数转换器301，所述模数转换器301用于将前置摄像头200采集到的真实场景图像转换为数字型图像数据；

图像处理芯片302，所述图像处理芯片302用于对模数转换器301转换的数字型图像数据进行处理，并将处理后的图像数据发送至光波导显示设备，该图像处理芯片302优选为DSP或FPGA芯片。

具体实施时，所述图像处理芯片302包括数据处理模块，所述数据处理模块包括：

第一类数据处理单元，采用对数变换算法和伽马图像增强算法提高数字型图像数据的对比敏感度；

第二类数据处理单元，将表示红色、绿色的数据分别压缩至灰度级的低端、扩展至灰度级的高端；

第三类数据处理单元，通过滤波上采样将图像放大；

第四类数据处理单元，通过BASnet改进算法准确的识别出盲道的位置，并标出盲道上的障碍物。

第一类数据处理单元用于针对夜盲症患者使用，需要提高其图像对比敏感度，该对比敏感度在数字型图像数据的原基础上提升或减少100%，增加患者夜间视觉。

第二类数据处理单元用于针对红绿色盲或色弱患者使用，需要加深、减弱对红色、绿色色觉的幅度达到50%，将红色和绿色改变为患者能区别的颜色。

第三类数据处理单元用于针对低视力患者使用，通过滤波上采样将图像放大，以方便阅读。

第四类数据处理单元用于道/助行道障碍物的识别，对于视力障碍患者出行，盲道、助行道尤为重要，通过BASnet改进算法准确识别出盲道的位置，并标出盲道障碍物。

当然还包括其他类型的数据处理单元，比如：针对年龄相关性黄斑变性、中心性浆液性视网膜病、白内障这些视物变形的患者，通过图像变形，使患者产生正常的图像；对于运动物体增加对比度并发声提示，让病人有所警觉。

因此，根据不同视障患者的病症，如管状视野、视野缺损、双眼不同程度的视力损伤或视野缩小，针对性地调整模式，突出最关键的影像，在本质上解决视障患者独立看到外界环境的需求，也解决出行和生活问题。与此同时，通过针对性调整，日常的佩戴训练眼部的相关剩余功能，从而达到眼科疾病治疗康复辅助的目的，所包含眼科疾病包括且不限于：假性近视、远视，弱视，管状视野、视野缺损、双眼不同程度的视力损伤或视野缩小等。

具体实施时，如图3所示，所述光波导显示设备400包括：

LCOS投影光机401，所述LCOS投影光机401用于将接收到的图像数据转换为成像光束；

光学波导显示屏402，所述光学波导显示屏402用于显示LCOS投影光机401投射的成像光束，并将显示的成像光束导入人眼。

光学波导显示屏402可以选择黑底白线、白底黑线及卡通这三种线条模式，都能够让物体边缘线条更清晰，从而达到轻松辨识周围环境的目的，突出关键影像，从而提升视力。

具体实施时，如图4所示，所述AR眼镜本体100上还设置有控制按键500，所述光波导显示设备400电性连接有用于放大和平移图像的控制器600。

具体实施时，所述AR眼镜本体100上还设置有无线通信设备700，通过无线通信设备700与助视康复辅助器通信，该无线通信设备700可以为Wi-Fi或蓝牙等。

如图4所示，本发明还提供了一种基于AR眼镜的助视康复辅助器系统，其包括上述所述的基于AR眼镜的助视康复辅助器；

与无线通信设备进行通信的用于接收数据的互联网终端800，通过所述互联网终端800对接收到的数据进行查看和管理。

该互联网终端800可以是任何能连接到互联网的产品, 比如手机等移动终端，甚至一些带网络功能电视和家用电脑等。

如图5所示，本发明还提供了一种基于AR眼镜的助视康复辅助器显示方法，其包括如下步骤：

S100、前置摄像头采集外界的真实场景图像；

S200、图像处理设备接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备；

S300、光波导显示设备将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。

综上所述，本发明公开了一种基于AR眼镜的助视康复辅助器、系统及显示方法，前置摄像头捕捉真实场景后，通过内置专业图像处理设备和AR显示屏技术将叠加处理后的画面投射到内置的光学波导显示屏，所有用户接收操作，只要观看光学波导显示屏进行即可，同时，根据不同视障患者的病症，如管状视野、视野缺损、双眼不同程度的视力损伤或视野缩小，针对性地调整模式，突出最关键的影像，在本质上解决视障患者独立看到外界环境的需求，也解决出行和生活问题，且通过针对性调整，日常的佩戴训练眼部的相关剩余功能，从而达到眼科疾病治疗康复辅助的目的。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于AR眼镜的助视康复辅助器，包括AR眼镜本体，其特征在于，所述AR眼镜本体上设置有：

前置摄像头，所述前置摄像头用于采集外界的真实场景图像；

图像处理设备，所述图像处理设备用于接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备；

光波导显示设备，所述光波导显示设备用于将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。

2.根据权利要求1所述的基于AR眼镜的助视康复辅助器，其特征在于，所述图像处理设备包括：

模数转换器，所述模数转换器用于将前置摄像头采集到的真实场景图像转换为数字型图像数据；

图像处理芯片，所述图像处理芯片用于对模数转换器转换的数字型图像数据进行处理，并将处理后的图像数据发送至光波导显示设备。

3.根据权利要求2所述的基于AR眼镜的助视康复辅助器，其特征在于，所述图像处理芯片包括数据处理模块，所述数据处理模块包括：

第一类数据处理单元，采用对数变换算法和伽马图像增强算法提高数字型图像数据的对比敏感度；

第二类数据处理单元，将表示红色、绿色的数据分别压缩至灰度级的低端、扩展至灰度级的高端；

第三类数据处理单元，通过滤波上采样将图像放大；

第四类数据处理单元，通过BASnet改进算法准确的识别出盲道的位置，并标出盲道上的障碍物。

4.根据权利要求3所述的基于AR眼镜的助视康复辅助器，其特征在于，所述对比敏感度在数字型图像数据的原基础上提升或减少100%。

5.根据权利要求3所述的基于AR眼镜的助视康复辅助器，其特征在于，所述第二类数据处理单元对红色、绿色色觉加深或减弱的幅度为50%。

6.根据权利要求1所述的基于AR眼镜的助视康复辅助器，其特征在于，所述光波导显示设备包括：

LCOS投影光机，所述LCOS投影光机用于将接收到的图像数据转换为成像光束；

光学波导显示屏，所述光学波导显示屏用于显示LCOS投影光机投射的成像光束，并将显示的成像光束导入人眼。

7.根据权利要求1所述的基于AR眼镜的助视康复辅助器，其特征在于，所述AR眼镜本体上还设置有控制按键，所述光波导显示设备电性连接有用于放大和平移图像的控制器。

8.根据权利要求1所述的基于AR眼镜的助视康复辅助器，其特征在于，所述AR眼镜本体上还设置有无线通信设备，通过无线通信设备与助视康复辅助器通信。

9.一种基于AR眼镜的助视康复辅助器系统，其特征在于，包括权利要求8所述的基于AR眼镜的助视康复辅助器；

与无线通信设备进行通信的用于接收数据的互联网终端，通过所述互联网终端对接收到的数据进行查看和管理。

10.一种基于AR眼镜的助视康复辅助器显示方法，其特征在于，包括如下步骤：

前置摄像头采集外界的真实场景图像；

图像处理设备接收前置摄像头采集到的真实场景图像，并对真实场景图像进行数据处理，然后将处理后的图像数据发送至光波导显示设备；

光波导显示设备将图像处理设备传来的图像数据转换为成像光束，并将成像光束在光学波导显示屏显示。

Images