CN112859338A - 一种基于头戴式助视器的夜盲患者视觉辅助设备及其控制方法 - Google Patents

Abstract

本发明公开了一种基于头戴式助视器的夜盲患者视觉辅助设备，包括：头戴式结构模块，设置于头戴式结构模块上的图像采集模块，连接于图像采集模块并具有空间滤波器的图像处理芯片，将图像处理芯片处理后的信息传输到人眼的图像输出模块；设备能增强患者的夜间视物能力，同时不会对患者的脆弱视神经造成损害；控制方法通过得到一个立体的3D模型，方便患者在夜间通过摄像头视物时有一定的距离感，进一步规避危险；控制方法通过基于二次函数的灰度处理算法来改善变换后图像的灰度效果，在对比度提高的同时，亮度也进一步得到了均衡化处理。

Description

一种基于头戴式助视器的夜盲患者视觉辅助设备及其控制 方法

技术领域

本发明涉及医学辅助设备，特别是一种基于头戴式助视器的夜盲患者视觉辅助设备及其控制方法。

背景技术

夜盲症分为先天性和后天性两种类型知，先天性夜盲症是一对常染色体显性或隐形的遗传疾病，患者的视力，视野，眼底均无异常，但是黑暗适应功能极差，随着年龄的增长，即出现夜盲症。其中先天性夜盲症分为先天性静止性夜盲和进行性夜盲。先天性静止性盲症是一对常染色体显性或隐性遣传性眼病，视力，视野，眼底均无异常，但暗适应功能降低，时间延长，出生后即可出现夜盲症状，不随年龄的增长而加重，无需特殊治疗。先天性进行性夜盲症多与其他遗传性视网膜疾患并发，如原发性视网膜色素变性，其暗适应功能随病情进展而不断下降，同时伴有视力，视野及眼底的改变，目前尚无特异性治疗手段。

后天的是由于缺乏维生素A引起的，在黑夜中视物模糊，小孩患此病会因看不见东西用手擦眼或哭闹。患者病初期会有泪液减少眨、眼频专繁，怕光、眼球干燥、眼部疼痛等症状。此时如及时治疗还可痊愈，如治疗不及时，角膜可出现混浊、软化，产生溃疡，即使治愈了属视力也有所伤害，不能恢复正常水平。

对于一些中晚期的夜盲患者来说，很难有手术或药物的方法可以获得夜间视力视野恢复，在环境较暗的情况下行走或活动时，极易发生一些危险的情况。随着现代技术的发展，也陆续出现了一些可穿戴性质的产品来辅助夜盲患者，但他们的方法大多通过眼镜周边增加外部光源的方式获得补光效果，通过增强环境亮度来改善夜间视力。

然而大多数情况下手电或者灯光由于持续的强光输出，对于患者本身比较脆弱的眼底环境容易带来很大刺激，进一步的损害患者视网膜神经。

依据CN201410531536.6中所规定的夜盲症辅助方法，通过单纯的对比度调节方式，没办法在夜间为夜盲症提高图像分辨力，反而通过不合适的调节手段容易造成很多图像信息的丢失；市场需要一种夜盲患者视觉辅助设备不会对患者的脆弱视神经造成损害，能够增强患者的夜间视物能力，同时方便患者在夜间通过摄像头视物时有一定的距离感，进一步规避危险，本发明解决这样的问题。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于头戴式助视器的夜盲患者视觉辅助设备及其控制方法，得到的图像是立体的3D模型的同时提高了画质，在提高夜间视力及规避障碍能力的同时不会对患者的脆弱视神经造成损害。

为了实现上述目标，本发明采用如下的技术方案：

一种基于头戴式助视器的夜盲患者视觉辅助设备，包括：头戴式结构模块，设置于头戴式结构模块上的图像采集模块，连接于图像采集模块并具有空间滤波器的图像处理芯片，将图像处理芯片处理后的信息传输到人眼的图像输出模块。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备，头戴式结构模块包括：AR结构，VR结构。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备，图像采集模块为对近红外850nm光敏感的CMOS阵列或CCD阵列的TOF摄像头。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备，图像处理芯片包括：CPU，GPU，FPGA。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备，空间滤波器包括：线性滤波器，均值滤波器，统计排序滤波器，拉普拉斯滤波器，高斯滤波器。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备，图像输出模块包括：图像微型投影仪，图像显示屏。

一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，包括如下步骤：

步骤一，通过图像采集模块对捕捉图像进行连续脉冲波测量发射光和反射光之间的相对相位，图像采集模块将获得的图像传输至图像处理模块，在图像处理模块中将相位图转换成深度图；

步骤二，图像采集模块对深度图进行滤波和转换为点云，图像处理模块再对数据进行空间滤波处理；

步骤三，对经过空间滤波处理的图像进行灰度调整，提升对比度，得到最终图像效果；

步骤四，图像处理模块将获得的最终图像效果传输到图像输出模块，图像输出模块将图像投影在患者眼前，形成深度图像。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，步骤一中在图像处理模块中将相位图转换成深度图的方法为使用以下公式：

其中，

D为像素距离，c为光速常量，f为调制频率，

为像素相位。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，步骤二，空间滤波处理的方法包括：

使用高斯加权函数G(p-p’)来平均像素，高斯滤波器的定义为：

其中σ为期望深度精度，根据传感器反射振幅及系统偏移量进行设定；

图像处理模块进行空间滤波时，通过以下公式获得平均化各像素，对于每个像素点p，过滤的像素点图像由其相邻像素和本身加权后输出：

w表示以像素点p为中心的像素邻域，取3×3为邻域大小。

前述的一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，步骤三中，提升对比度的具体方法包括：

在原始图像下统计像素行数M和列数N，计算原始图像的像素值的均值：

并归一化后得到

的结果:

则变化参数α的计算方式如下：

通过基于二次函数的灰度算法提高图像对比度：

g’(x,y)＝-αf(x,y)²+(α+1)f(x,y)。

本发明的有益之处在于：

本发明通过摄像头的图像采集系统和图像处理方式，来增强患者的夜间视物能力，同时没有明显的光源刺激，不会对患者的脆弱视神经造成损害；

本发明摄像头采用TOF(Time of Flight)模块，模块由一组人眼看不到的红外光向外发射，遇到物体后反射，反射到摄像头结束，计算从发射到反射回摄像头的时间差或相位差，并将数据收集起来，形成一组距离深度数据，从而得到一个立体的3D模型的成像技术，方便患者在夜间通过摄像头视物时有一定的距离感，进一步规避危险；

本发明采用基于二次函数的灰度处理算法来改善变换后图像的灰度效果，相比传统的灰度处理方法本发明的算法得到对比度得到了动态调整，对比度进一步提高，细节信息保留完整并适当加以强调，非常有利于进一步进行分割、分析等处理，在对比度提高的同时，亮度也进一步得到了均衡化处理。

附图说明

图1是本发明设备的一种实施例的结构示意图；

图2是本发明的一种实施例的结构示意图；

图3是本发明实验一的结果示意图(a)原始图像，b)线性灰度处理，c)二次函数灰度处理)；

图4是本发明实验二的结果示意图(a)原始图像，b)高斯滤波，c)对比度提升)。

图中附图标记的含义：

1图像处理芯片，2TOF摄像头，3头戴式结构模块，4图像微型投影仪，5图像显示屏。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

一种基于头戴式助视器的夜盲患者视觉辅助设备，包括：头戴式结构模块3，设置于头戴式结构模块3上的图像采集模块，连接于图像采集模块并具有空间滤波器的图像处理芯片1，将图像处理芯片1处理后的信息传输到人眼的图像输出模块。

本发明通过摄像头的图像采集系统和图像处理方式，来增强患者的夜间视物能力，同时没有明显的光源刺激，不会对患者的脆弱视神经造成损害。

作为一种优选，头戴式结构模块3包括：AR结构(增强现实)，VR结构(虚拟现实)。

作为一种优选，图像采集模块选择TOF摄像头2，进一步的优选为对近红外850nm光敏感的CMOS阵列或CCD阵列的TOF摄像头2；相对于夜间使用时，没有了太阳光的干扰，TOF摄像头2可以发挥出更多的优势，摄像头图像的延迟性很低，而且可以更好的采集到黑暗环境下的图像信息，不受外部光线强弱干扰，同时可以获取景深信息，通过深度信息模块来获取物体的距离深度；TOF(Time of Flight)模块由一组人眼看不到的红外光向外发射，遇到物体后反射，反射到摄像头结束，计算从发射到反射回摄像头的时间差或相位差，并将数据收集起来，形成一组距离深度数据，从而得到一个立体的3D模型的成像技术，方便患者在夜间通过摄像头视物时有一定的距离感，进一步规避危险。

作为一种优选，图像处理模块为CPU、GPU或FPGA等可以支持图像的灰度处理和深度信息处理中心；

作为一种优选，空间滤波器包括：线性滤波器，均值滤波器，统计排序滤波器，拉普拉斯滤波器，高斯滤波器。

作为一种优选，图像输出模块包括：图像微型投影仪4，图像显示屏5。

一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，包括如下步骤：

步骤一，夜盲患者使用时，通过佩戴视觉辅助设备，将设备固定在头部，调整位置直至患者可以明确看见图像显示屏5内的画面信息；通过图像采集模块(前置的TOF摄像头2)对捕捉图像进行连续脉冲波测量发射光和反射光之间的相对相位，图像采集模块将获得的图像传输至图像处理模块，在图像处理模块中将相位图转换成深度图；优选地摄像头使用对近红外850nm光敏感的低成本CMOS阵列或CCD阵列。

大多数TOF摄像头2为每个捕获的帧产生相位图和振幅图。振幅图表示每个像素接收的反射光的量；相位图表示在每个像素上测量的相对相位；

其后图像采集模块将获得的图像传输至图像处理模块，在图像处理模块中将相位图转换成深度图；

在图像处理模块中将相位图转换成深度图的方法为使用以下公式：

其中，

D为像素距离，c为光速常量，f为调制频率，

为像素相位。

步骤二，根据相机的光学特性，如视场(FOV)、焦距和解释光学畸变的透镜本质，对深度图进行滤波和转换为点云，然后图像处理模块再对数据进行空间滤波处理，通过减少像素邻域之间的方差来衰减噪声来得到一个更平滑的表面，通常以降低图像结构元素的对比度为代价，例如模糊的线条和点。空间滤波器通常可选用线性滤波器、均值滤波器、统计排序滤波器、拉普拉斯滤波器等方法，优先选用高斯滤波。

作为一种优选，空间滤波处理的方法包括：

使用高斯加权函数G(p-p’)来平均像素，高斯滤波器的定义为：

其中σ为期望深度精度，根据传感器反射振幅及系统偏移量进行设定；

图像处理模块进行空间滤波时，通过以下公式获得平均化各像素，对于每个像素点p，过滤的像素点图像由其相邻像素和本身加权后输出：

其中w表示以像素点p为中心的像素邻域，取3×3为邻域大小。

步骤三，对经过空间滤波处理的图像进行灰度调整，提升对比度，得到最终图像效果；同时患者可以根据自身的眼底视网膜敏锐度来自我调节显示屏画面亮度，这对于一部分在夜间接受不了强光刺激的患者来说可以很好的对付视网膜脆弱的不适症。

区别于传统RGB图像的线性灰度调节办法，本发明对于TOF镜头的灰度调整图像，亮度与对比度算法基于二次函数的灰度处理算法来改善变换后图像的灰度效果。为了有效地改善视觉效果，需要在像素值较低的区域进行有效增强，即提高对比度，而在像素值较高的区域进行对比度适当地降低。

提升对比度的具体方法包括：

在原始图像下统计像素行数M和列数N，计算原始图像的像素值的均值：

并归一化后得到

的结果:

则变化参数α的计算方式如下：

通过基于二次函数的灰度算法提高图像对比度：

g’(x,y)＝-αf(x,y)²+(α+1)f(x,y)。

步骤四，图像处理模块将获得的最终图像效果传输到图像输出模块，图像输出模块将图像投影在患者眼前，形成深度图像。

实验一：

将原始图像与传统RGB图像的线性灰度调节办法得到的结果(b)，再与用本发明的方法进行二次函数灰度处理得到结果(c)进行对比如图3所示。

由图3可知，与原始图像相比，结果图像的视觉效果均有一定程度的改善，相比于常规的RGB调节图像b来说，其中图像c的对比度得到了动态调整，对比度进一步提高，细节信息保留完整并适当加以强调，非常有利于进一步进行分割、分析等处理，在对比度提高的同时，图像c的亮度进一步进行了均衡化处理。

实验二，以下用实际案例验证本发明的技术效果；

针对一位20岁男性，主诉自幼夜盲。眼底检查及眼底萤光摄影检查呈近视性退化，光适应视网膜电图正常，暗适应视网膜电图及暗适应检查异常，诊断为先天稳定型夜盲症患者。

佩戴眼镜前先将患者带入暗室，询问其室内周边情况并记录患者的所视区域范围，在没有任何光源的房间内，患者的视物范围几乎为零，此时让患者在其中行走，很容易就会触碰到障碍物。

佩戴本发明的辅助设备后，设备开始向外发出红外线并采集反射光，所获得的图像如图4(a)，通过高斯滤波来提高视野图像的柔顺效果，如图4(b)。

由于患者本身处于先天性夜盲症影响，暗适应视网膜异常导致视网膜敏锐度和自我调节能力不够，此时可以让患者自行通过调节图像的对比度，达到视力所能区分物体边界的最佳状态，如图4(c)。

患者通过设备图像显示系统的固有亮度来提高眼前区域的感知能力，再结合TOF摄像头2优越的暗环境图像捕捉技巧，可以有效的帮助夜盲症患者在暗环境下获得场景物体的影像信息，借此提高夜间视力及规避障碍能力，在佩戴本发明产品的测试过程中，患者行走时未发生任何碰撞。

本发明摄像头采用TOF(Time of Flight)模块，模块由一组人眼看不到的红外光向外发射，遇到物体后反射，反射到摄像头结束，计算从发射到反射回摄像头的时间差或相位差，并将数据收集起来，形成一组距离深度数据，从而得到一个立体的3D模型的成像技术，方便患者在夜间通过摄像头视物时有一定的距离感，进一步规避危险；本发明采用基于二次函数的灰度处理算法来改善变换后图像的灰度效果，相比传统的灰度处理方法本发明的算法得到对比度得到了动态调整，对比度进一步提高，细节信息保留完整并适当加以强调，非常有利于进一步进行分割、分析等处理，在对比度提高的同时，亮度也进一步得到了均衡化处理。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种基于头戴式助视器的夜盲患者视觉辅助设备，其特征在于，包括：头戴式结构模块，设置于头戴式结构模块上的图像采集模块，连接于图像采集模块并具有空间滤波器的图像处理芯片，将图像处理芯片处理后的信息传输到人眼的图像输出模块。

2.根据权利要求1所述的一种基于头戴式助视器的夜盲患者视觉辅助设备，其特征在于，所述头戴式结构模块包括：AR结构，VR结构。

3.根据权利要求1所述的一种基于头戴式助视器的夜盲患者视觉辅助设备，其特征在于，所述图像采集模块为对近红外850nm光敏感的CMOS阵列或CCD阵列的TOF摄像头。

4.根据权利要求1所述的一种基于头戴式助视器的夜盲患者视觉辅助设备，其特征在于，图像处理芯片包括：CPU，GPU，FPGA。

5.根据权利要求1所述的一种基于头戴式助视器的夜盲患者视觉辅助设备，其特征在于，所述空间滤波器包括：线性滤波器，均值滤波器，统计排序滤波器，拉普拉斯滤波器，高斯滤波器。

6.根据权利要求1所述的一种基于头戴式助视器的夜盲患者视觉辅助设备，其特征在于，所述图像输出模块包括：图像微型投影仪，图像显示屏。

7.一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，其特征在于，包括如下步骤：

步骤一，通过图像采集模块对捕捉图像进行连续脉冲波测量发射光和反射光之间的相对相位，图像采集模块将获得的图像传输至图像处理模块，在图像处理模块中将相位图转换成深度图；

步骤二，图像采集模块对深度图进行滤波和转换为点云，图像处理模块再对数据进行空间滤波处理；

步骤三，对经过空间滤波处理的图像进行灰度调整，提升对比度，得到最终图像效果；

步骤四，图像处理模块将获得的最终图像效果传输到图像输出模块，图像输出模块将图像投影在患者眼前，形成深度图像。

8.根据权利要求7所述的一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，其特征在于，步骤一中在图像处理模块中将相位图转换成深度图的方法为使用以下公式：

其中，

D为像素距离，c为光速常量，f为调制频率，

为像素相位。

9.根据权利要求7所述的一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，其特征在于，步骤二，空间滤波处理的方法包括：

使用高斯加权函数G(p-p’)来平均像素，高斯滤波器的定义为：

其中σ为期望深度精度，根据传感器反射振幅及系统偏移量进行设定；

图像处理模块进行空间滤波时，通过以下公式获得平均化各像素，对于每个像素点p，过滤的像素点图像由其相邻像素和本身加权后输出：

w表示以像素点p为中心的像素邻域，取3×3为邻域大小。

10.根据权利要求7所述的一种基于头戴式助视器的夜盲患者视觉辅助设备的控制方法，其特征在于，步骤三中，提升对比度的具体方法包括：

在原始图像下统计像素行数M和列数N，计算原始图像的像素值的均值：

并归一化后得到

的结果：

则变化参数α的计算方式如下：

通过基于二次函数的灰度算法提高图像对比度：

g’(x,y)＝-αf(x,y)²+(α+1)f(x,y)。

Images