CN107888896B

CN107888896B - 一种用于导盲眼镜的障碍判断与提醒方法及一种导盲眼镜

Info

Publication number: CN107888896B
Application number: CN201710982127.1A
Authority: CN
Inventors: 邱家幸
Original assignee: Sky Ningbo Smooth Wisdom Electronics Technology Ltd Co
Current assignee: Ningbo Yinzhou Tiantan Information Technology Co.,Ltd.
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2020-01-03
Anticipated expiration: 2037-10-20
Also published as: CN107888896A

Abstract

本发明公开了一种障碍判断及提醒方法，特别是一种用于导盲眼镜的障碍判断与提醒方法，其图像处理系统在获取场景图像后立刻进行深度计算，然后对深度图进行分片、障碍标记生成，通过音频播放方式将障碍分布情况告知用户，当用户听到音频后，将在脑海里形成他们所想象“视野”中障碍分布状态，然后据此实现自主行走。另外，本申请还提供了采用上述一种障碍判断与提醒方法的导盲眼镜，其包括：一个结合双摄像头的眼镜主体以及一个结合将三维空间场景的两幅照片创建深度图的图像处理系统以及音频控制播放器的手机；上述双摄像头与手机两者实现电连接。其解决了“提升导盲眼镜的导盲精确性”的技术问题，具备障碍物判断精准度相对较高的特点。

Description

一种用于导盲眼镜的障碍判断与提醒方法及一种导盲眼镜

技术领域

本发明涉及一种障碍判断及提醒方法，特别是一种用于导盲眼镜的障碍判断与提醒方法；另外，本发明中还提供了一种采用上述障碍判断与提醒方法的导盲眼镜。

背景技术

导盲眼镜是一种专门供盲人、白内障患者及其他暂时失明者使用的导盲探测装置。

现有导盲眼镜是由电子盒和眼镜两部分组成，眼镜上装有两只超声换能器和一只耳塞。其工作原理是：超声波换能器能够向前方发射和接收反射回来的超声脉冲波，控制器根据超声波发射和接收时间差进行测距，盲人通过耳机发出的声音变化而感知前方的障碍物。

但是，在实际使用过程中我们发现超声脉冲波容易受外在因素干扰，从而影响障碍物判断的精准性，上述的外在因素有：

声速：不同物质的声速会与外界的温度、压力、湿度影响，用时需要补偿；

干扰：发射器可能会影响到接受器，最近距离不可能太小；

功率：受发射功率影响，测试距离不能太远；

反射物的性质：反射物表面形状和材料吸收率会影响距离和精度；

附近物体：中间物体的反射会造成干扰；

精度：受环境影响和发射频率影响，精度不可能太高。

发明内容

本发明的目的是为了解决上述现有技术的不足，而提供的一种精准度相对较高的导盲眼镜障碍判断及提醒方法。

为了实现上述目的，本发明所设计的一种用于导盲眼镜的障碍判断与提醒方法，采用一个含有双摄像头的导盲眼镜，一种由三维空间场景的两幅照片创建深度图的图像处理系统以及一个音频控制播放器；其包括以下的步骤：

步骤一、上述导盲眼镜上的双摄像头同时采集场景图像；

步骤二、上述图像处理系统获取前述步骤中的场景图像，且根据该场景图像完成场景深度运算，得到能够反应眼镜视野中场景三维特征的深度图；将上述深度图划分成若干列片区，即把完整视野划分成若干个方向；深度图是个二维数组，它的行列数与现实场景中的宽度和高度线性相关；

步骤三、建立上述步骤二中若干个方向的状态标记；用0和1标记每个方向上的障碍状态，0表示无障碍，1表示有障碍，使之成为一组可以描述每个方向上是否存在障碍物的数组，数据个数与方向数一致；如，当上述深度图被划分为5个片区时，10001表示最左和最右有障碍，00100表示正前方有障碍等。默认所有方向上均无障碍，即该数组默认为00000。

步骤四、分析每个方向的场景中的障碍分布；以距用户一定距离之内的障碍为检测目标，计算深度图每个片区内满足该距离范围的点的个数；根据前期实验结果制定判定阈值，当点数超过该阈值时，认为该方向上存在障碍，将该方向的状态标记值为1，反之则状态标记值为0；在实际情况中，上述设定的一定距离值由盲人平均步长和步速决定，例如可以设定为0.8-1.3米。

步骤五、上述音频控制播放器将前述步骤三中的障碍标记数组转化为字符串，播放预先合成的音频或生成音频并进行播放。

上述一种用于导盲眼镜的障碍判断与提醒方法，图像处理系统在获取场景图像后立刻进行深度计算，然后对深度图进行分片、生成障碍标记，通过音频播放方式将障碍分布情况告知用户，当用户听到音频后，将在脑海里形成他们所想象“视野”中障碍分布状态，然后据此实现自主行走。

一种优选，上述步骤五中的音频由环绕立体声音效片段组合而成，每个方向上的音效的音高和方位都不同，音频控制播放器采用环绕立体声音效的有无表达每个方向上障碍物的有无。假设不同方向上的片区数量N=5，将最左到最右的5个方向命名为左、中左、中、中右、右，对应音效的音高依次为do、re、mi、fa、so，每个音效时长为200ms；同时，这些音效所含空间信息与对应方向一致，即单独听到这些音效任意一个时，人耳能够利用“听声辩位”能力根据左右声道声波的到达时间差、强度差等信息确定音源方向。假设当前在左、中左、中右位置存在障碍物，则对应的音频内容为do、re、空、fa、空、空，空白音效为时长200ms的静音，用于表达无障碍方向，音频末尾的“空”则是为了使音频与音频之间存在短时暂停，降低用户可能存在的不适感。利用音效的双重属性，无论根据音高还是方位均能获得障碍位置信息，使用户的障碍位置辨识效果得到双重保障。

上述环绕立体声音效片段的组合方式具体可分为两种：

（1）利用仿人头多通道录音设备录制；目前所用设备为3DIO人头录音设备，该设备为双通道录音设备，并在麦克风外安装有硅胶人耳模型，能够在录音过程中体现人耳对声波的折射、反射效应；首先确定所需录制的方向，然后在该方向上播放单声道音效，将所得的录音文件经过音频滤波、截取处理后，根据32个二进制数合成与之对应的立体声音频；

（2）利用头相关传递函数（HRTF）合成；利用单声道音效和HRTF卷积，可获得该HRTF对应方向上的双通道立体声；现使用的HRTF数据国外开放数据库CIPIC，首先确定所需音效和预期的方向角度，然后依次将音效与对应方向的HRTF卷积，得到含有方位信息的立体声音效，最后根据32个二进制数合成与之对应的立体声音频；

本发明中还提供了一种采用上述一种用于导盲眼镜的障碍判断与提醒方法的导盲眼镜，其包括：一个结合双摄像头的眼镜主体以及一个结合将三维空间场景的两幅照片创建深度图的图像处理系统以及音频控制播放器的手机；上述双摄像头与手机两者实现电连接。

上述一种导盲眼镜的障碍辨识核心是利用双目视觉，但双目视觉技术本身存在两个问题：1、由于摄像头视角有限且双摄像头存在瞳距，所以在近距离处存在一定盲区；2、由于双目视觉的测距原理是同一特征在左右视图中的位置差异，所以对于大面积白墙、玻璃等障碍无法检测。

因此，现提供一种优选技术方案，该优选技术方案中在眼镜主体上还设有近场测距模块，当障碍距离过近时向用户发出警示，弥补了双目视觉的不足，实现全方位障碍辨识。

为了方便用户的人耳能够清楚地识别音频控制播放器的播放内容，上述一种导盲眼镜还包括了一个蓝牙耳机接口，其与手机蓝牙连接，蓝牙耳机接口为标准接口，可供用户自行更换耳机。

本发明得到的一种用于导盲眼镜的障碍判断与提醒方法，其受外在因素影响极小，障碍物判断精准度；采用上述障碍判断与提醒方法的导盲眼镜在具体使用时，手机能够通过音频播放方式将障碍分布情况告知盲人用户，当用户听到音频后，将在脑海里形成他们所想象“视野”中障碍分布状态，然后据此实现自主行走。

附图说明

图1是本实施例所提供的一种用于导盲眼镜的障碍判断与提醒方法中双摄像头同时采集的场景图像；

图2是本实施例所提供一种用于导盲眼镜的障碍判断与提醒方法中划分成5个片区的深度图；

图3是本实施例所提供一种导盲眼镜的原理示意图；

图4是图3所提供一种导盲眼镜中眼镜主体的结构示意图；

图5是图4所提供一种眼镜主体在拆除眼镜镜片后的结构示意图；

图6是本实施例所提供一种眼镜主体在拆除眼镜镜片后的另一种结构示意图；

图7是本实施例所提供一种导盲眼镜中眼镜主体的另一种结构示意图。

图中：双摄像头1、眼镜主体2、手机3、蓝牙耳机接口4、近场测距模块5。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本实施例中所提供的一种用于导盲眼镜的障碍判断与提醒方法，采用一个结合双摄像头1的导盲眼镜和一种结合将三维空间场景的两幅照片创建深度图的图像处理系统以及音频控制播放器的手机3；其包括以下的步骤：

步骤一、上述导盲眼镜上的双摄像头1同时采集场景图像，如图1所示；

步骤二、上述手机3中的图像处理系统获取前述步骤中的场景图像，且根据该场景图像完成场景深度运算得到能够反应眼镜视野中场景三维特征的深度图；将上述深度图划分成5个片区，即完整视野划分成左、中左、中、中右、右5个方向，如图2所示；

步骤三、建立上述步骤二中若干个方向的状态标记；用0和1标记每个方向，0表示无障碍，1表示有障碍，使之成为一组可以描述每个方向上是否存在障碍物的数组，数据个数与方向数一致；如，当上述深度图被划分为5个片区时，10001表示最左和最右有障碍，00100表示正前方有障碍等。该数组默认为00000。

步骤四、分析每个方向的场景中的障碍分布；以距用户一定距离之内的障碍为检测目标，计算深度图每个片区内满足该距离范围的点的个数；根据前期实验结果制定判定阈值，当点数超过该阈值时，认为该方向上存在障碍，将该方向的状态标记值为1，反之则状态标记值为0；本实施例中上述距离值暂定为1.2米；

步骤五、上述手机3中的音频控制播放器将前述步骤三中的障碍标记数组转化为能够生产音频的字符串，音频由环绕立体声音效片段组合而成，每个方向上的音效的音高和方位都不同，音频控制播放器采用环绕立体声音效的有无表达每个方向上障碍物的有无。上述字符串即为对应音频文件名称，令手机3中音频控制播放器的播放该音频即可。当所划分的方向数N=5时，文件名从“00000”、“00001”到“11110”和“11111”，共32个；当方向数N=3，文件名从“000”、“001”到“110”和“111”，共8个。由于手机3音频合成能力有限，所以目前音频文件为预先合成，并随着软件安装存储在手机3中，每条音频时长约1秒~1.2秒，文件大小低于200KB，则32条音频仅需不到7MB的存储空间，因此不会过多的占用手机的内存空间。

上述一种用于导盲眼镜的障碍判断与提醒方法，图像处理系统在获取场景图像后立刻进行深度计算，然后对深度图进行分片、障碍标记生成，通过音频播放方式将障碍分布情况告知用户，当用户听到音频后，将在脑海里形成他们所想象“视野”中障碍分布状态，然后据此实现自主行走。

如图3至5所示，本实施例中还提供了一种采用上述一种用于导盲眼镜的障碍判断与提醒方法的导盲眼镜，其包括：一个结合双摄像头1的眼镜主体2以及一个结合将三维空间场景的两幅照片创建深度图的图像处理系统以及音频控制播放器的手机3；上述双摄像头1与手机3两者通过USB线缆实现电连接。

上述一种导盲眼镜的障碍辨识核心是利用双目视觉，但双目视觉技术本身存在两个问题：1、由于双摄像头1瞳距的存在，所以在近距离处存在一定盲区；2、由于双目视觉的测距原理是同一特征在左右视图中的位置差异，所以对于大面积白墙、玻璃等障碍无法检测。

如图6所示，另一种实施方案中在眼镜主体2上还设有近场测距模块5，当障碍距离过近时向用户发出警示，弥补了双目视觉的不足，实现全方位障碍辨识。

为了方便用户的人耳能够清楚地识别音频控制播放器的播放内容，如图7所示，另一种实施方案中上述一种导盲眼镜还包括了一个蓝牙耳机接口4，其与手机3实现蓝牙连接。

Claims

1.一种用于导盲眼镜的障碍判断与提醒方法，采用一个结合双摄像头的导盲眼镜，一种由三维空间场景两幅照片所创建深度图的图像处理系统以及一个音频控制播放器；其特征是包括以下的步骤：

步骤一、上述导盲眼镜上的双摄像头同时采集场景图像；

步骤二、上述图像处理系统获取前述步骤中的场景图像，且根据该场景图像完成场景深度运算，得到能够反映眼镜视野中场景三维特征的深度图；将上述深度图划分成若干列片区，即把完整视野划分成若干个方向；深度图是个二维数组，它的行列数与现实场景中的宽度和高度线性相关；

步骤三、建立上述步骤二中若干个方向的状态标记；用0和1标记每个方向上的障碍有无状态，0表示无障碍，1表示有障碍，使之成为一组可以描述每个方向上是否存在障碍物的数组，数组元素个数与方向数一致；

步骤四、分析每个方向的场景中的障碍分布；以距用户一定距离之内的障碍为检测目标，计算深度图每个片区内满足该距离范围的点的个数；根据前期实验结果制定判定阈值，当点数超过该阈值时，认为该方向上存在障碍，将该方向的状态值标记为1，反之则状态值标记为0；

步骤五、上述音频控制播放器将前述步骤三中的障碍标记数组转化为字符串，并生成音频进行播放，其中上述步骤五中音频由环绕立体声音效片段组合而成，每个方向上的音效的音高和方位都不同，音频控制播放器采用环绕立体声音效的有无表达每个方向上障碍物的有无；

图像处理系统在获取场景图像后立刻进行深度计算，然后对深度图进行分片、障碍标记生成，通过音频播放方式将障碍分布情况告知用户，当用户听到音频后，将在脑海里形成他们所想象“视野”中障碍分布状态，然后据此实现自主行走。

2.一种采用如权利要求1所述一种用于导盲眼镜的障碍判断与提醒方法的导盲眼镜，其特征是包括：一个结合双摄像头的眼镜主体以及一个结合将三维空间场景的两幅照片创建深度图的图像处理系统以及音频控制播放器的手机；上述双摄像头与手机两者实现电连接。

3.根据权利要求2所述的一种导盲眼镜，其特征是在眼镜主体上还设有近场测距模块，当障碍距离过近时向用户发出警示。

4.根据权利要求2所述的一种导盲眼镜，其特征是其还包括了一个蓝牙耳机接口，其与手机蓝牙连接，蓝牙耳机接口为标准接口。