CN107802468A - 导盲方法及导盲系统 - Google Patents

Abstract

本发明公开了一种导盲方法及导盲系统，该导盲方法包括：获取使用者所处场景的图像；基于所述图像获取使用者所处场景中各对象的位置信息；基于所述图像获取使用者所处场景中各对象的尺寸信息；根据所述位置信息以及所述尺寸信息获取障碍物信息，并通过语音向使用者播放障碍物信息以对使用者进行导盲。本发明使使用者直接方便的获得导盲指示信息，并且该方法可在现有智能手机设备上直接实现，无需携带额外的导盲器具，也进一步方便了使用者的出行。

Description

导盲方法及导盲系统

技术领域

本发明涉及导盲技术领域，特别涉及一种导盲方法及导盲系统。

背景技术

智能手机已经成为人们生活中必不可少的电子产品。随着智能手机计算处理能力的不断强大，以及传感器技术、计算机视觉技术、人工智能技术和通信技术得以在手机硬件平台上的交互结合，使得智能手机可开发出更多的高级功能和具体应用。

中国是世界上盲人最多的国家，而盲人独立出行一般需要导盲器具，给盲人等视觉障碍人士开发导盲器具是一个极具发展前景的产业。最常见的导盲器具是导盲仗，利用它在地面敲击，以探察行进路途上的障碍物。但导盲仗通过接触来探察障碍物，其使用并不方便，且导盲仗的携带也会造成出行的不便。

因此，亟需一种新的导盲器具或导盲方法，可有效方便的实现导盲功能，帮助盲人等视力障碍人士解决出行问题。

发明内容

本发明所要解决的技术问题之一是提供一种新的导盲器具或导盲方法，以有效方便的实现导盲功能，帮助盲人等视力障碍人士独立出行。

为了解决上述技术问题，本申请的实施例首先提供了一种导盲方法，包括：

步骤1、获取使用者所处场景的图像；

步骤2、基于所述图像获取使用者所处场景中各对象的位置信息；

步骤3、基于所述图像获取使用者所处场景中各对象的尺寸信息；

步骤4、根据所述位置信息以及所述尺寸信息获取障碍物信息，并通过语音向使用者播放所述障碍物信息以对所述使用者进行导盲。

优选地，所述步骤2具体包括：

从所述图像中选取具有视差的第一图像与第二图像；

基于所述第一图像与所述第二图像，利用光学系统成像原理确定所述场景中各对象的位置信息。

优选地，所述步骤3具体包括：

将从所述图像中识别出的一个对象确定为参照物；

基于所述参照物的尺寸信息，计算得到所述场景中各对象的尺寸信息。

优选地，所述参照物的尺寸信息为被确定为参照物的对象的真实尺寸。

优选地，所述步骤4具体包括：

根据所述位置信息判断所述对象是否位于使用者的前进路径上；

若判断结果为所述对象位于使用者的前进路径上，则根据所述尺寸信息判断所述对象的尺寸是否大于设定的尺寸值；

若所述对象的尺寸小于所述设定的尺寸值，则该对象不构成障碍物，不对所述使用者进行报警；

若所述对象的尺寸大于或等于所述设定的尺寸值，则该对象构成障碍物，将所述障碍物相对于所述使用者的位置信息通过语音进行播放。

本申请的实施例还提供了一种导盲系统，包括：

图像获取模块，其用于获取使用者所处的场景的图像；

位置信息获取模块，其用于基于所述图像获取使用者所处场景中各对象的位置信息；

尺寸信息获取模块，其用于基于所述图像获取使用者所处场景中各对象的尺寸信息；

导盲模块，其用于根据所述位置信息以及所述尺寸信息获取障碍物信息，并通过语音向使用者播放所述障碍物信息以对所述使用者进行导盲。

优选地，所述位置信息获取模块具体包括：

图像选取子模块，其配置为从所述图像中选取具有视差的第一图像与第二图像；

位置信息计算子模块，其配置为基于所述第一图像与所述第二图像，利用光学系统成像原理确定所述场景中各对象的位置信息。

优选地，所述尺寸信息获取模块具体包括：

参照物确定子模块，其配置为将从所述图像中识别出的一个对象确定为参照物；

尺寸信息计算子模块，其配置为基于所述参照物的尺寸信息，计算得到所述场景中各对象的尺寸信息。

优选地，所述参照物的尺寸信息为被确定为参照物的对象的真实尺寸。

优选地，所述导盲模块，其配置为：

根据所述位置信息判断所述对象是否位于使用者的前进路径上；

若判断结果为所述对象位于使用者的前进路径上，则根据所述尺寸信息判断所述对象的尺寸是否大于设定的尺寸值；

若所述对象的尺寸小于所述设定的尺寸值，则该对象不构成障碍物，不对所述使用者进行报警；

若所述对象的尺寸大于或等于所述设定的尺寸值，则该对象构成障碍物，将所述障碍物相对于所述使用者的位置信息通过语音进行播放。

与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

本发明通过计算机视觉技术识别采集的场景图像，来确认障碍物，并采用语音提示的方法来实现导盲，使使用者直接方便的获得导盲指示信息，并且该方法可在现有智能手机设备上直接实现，无需携带额外的导盲器具，也进一步方便了使用者的出行。

本发明的其他优点、目标，和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书，权利要求书，以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请的技术方案或现有技术的进一步理解，并且构成说明书的一部分。其中，表达本申请实施例的附图与本申请的实施例一起用于解释本申请的技术方案，但并不构成对本申请技术方案的限制。

图1是根据本发明一实施例的导盲方法的流程示意图；

图2是根据本发明一实施例的识别障碍物的方法的流程示意图；

图3是根据本发明一实施例的导盲系统的结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。

图1为本发明一实施例的导盲方法的流程示意图。

如图1中步骤S110所示，为实现导盲，先要获取使用者所处场景的图像。这里的使用者主要指盲人等视觉障碍者，图像的获取可通过现有手机摄像模组实现。这里的图像包括同时拍摄的同一区域的具有视差的多幅图像。在本发明的一个实施例中，可以采用双摄手机的摄像模组来获取这种图像。

获取图像之后，继续图1中的步骤S120，基于图像获取使用者所处场景中各对象的位置信息。

获取的图像中包括了场景中各对象，在该步骤中基于包括这些对象的图像，计算获得各对象的位置信息。下面结合具体的实施例对该过程做具体说明：

首先，从上述图像中选取具有视差的第一图像与第二图像，这里的第一图像、第二图像为通过双摄手机的两个摄像头同时拍摄同一区域而得到的两幅图像，第一图像和第二图像中都包括了该区域内的多个对象。此处所说对象可以是建筑物、车辆以及行人等。

然后，基于第一图像与第二图像，利用图像识别技术识别出各对象的图形区块，以确定每个对象在图像中像素点集合。利用图像处理技术中通用的特征点检测和特征向量提取方法，获取第一、第二图像中每个对象对应像素点集合的特征点和特征向量，通过计算第一图像、第二图像中对象特征向量的相似度，配对第一图像和第二图像中的同一对象，并得到到每个对象的特征点。

接下来，逐一对每个对象，利用光学系统成像原理，根据拍摄第一图像、第二图像时的两摄像头的焦距、缩放参数，以及两摄像头的光心距离，计算每个对象的特征点的摄像空间坐标，以确定每个对象在摄像空间中的位置。进而以摄像头取像点的位置为基准，确定场景中各对象的位置信息。

得到各对象的位置信息后，继续图1中步骤S130，基于步骤S110中得到的图像获取使用者所处场景中各对象的尺寸信息。

具体的，首先对摄取的图像进行预处理，消除图像中的噪声、畸变等干扰因素。然后再对图像中的各种特征进行提取。例如在本发明的一个具体的实施例中，基于边缘检测技术提取图像中对象的形状特征、基于颜色直方图方法提取图像中对象的颜色特征、基于小波变换方法提取图像中对象的纹理特征。本发明对特征提取所采用的具体的技术手段不做限定。

接下来，根据提取到的对象的形状特征、颜色特征和纹理特征对图像中的对象进行物体识别。具体的，在本发明的一个实施例中，可以基于本地的或云端的图形图像数据库对图像中的对象进行物体识别。例如，根据拍摄的图像，识别出图像中的对象a、b、c分别为实际场景中的树木、垃圾箱和报刊亭。需要注意的是，此处只需对图像中部分典型的对象进行识别即可，除对象a、b、c外，图中还可能还存在其他若干未识别出的对象。之后，将从该图像中识别出的对象(例如对象a、b、c)中的一个确定为参照物，例如以识别出的垃圾箱做为参照物。

在确定了参照物之后，便可以基于参照物的真实尺寸计算场景中其余对象的尺寸。具体的，在本发明的一个实施例中，以垃圾箱的尺寸大小为计算标准，基于已得到的对象的位置信息和“近大远小”透视成像原理，计算包括未识别的对象在内的各对象的尺寸。

需要说明的是，这里参照物的尺寸信息为被确定为参照物的对象的真实尺寸，该真实尺寸可预先存储在前文中提到的本地的或云端的图形图像数据库内，并在识别过程中获得。

在根据图像获得使用者所处场景中各对象的位置信息和尺寸信息后，最后进行图1中步骤S140，根据位置信息以及尺寸信息获取障碍物信息，并通过语音向使用者播放该障碍物信息以对使用者进行导盲。下面结合图2，对该步骤进行具体说明：

如图2所示，在已获得各对象的位置信息和尺寸信息后，首先如图2中步骤S210所示，判断对象是否位于使用者的前进路径上。本申请中通过位置信息判断对象是否位于使用者的前进路径上。

具体的，假设已获得对象A的空间坐标为(x1，y1，z1)，其数学抽象为一质点，在同一坐标系下，使用者的前进路径为一条直线。根据实际中的情况，可以仅考虑一二维量度上的直线，即可用y＝ax+b表示。通过计算，当代表该对象A的质点在该直线上，或该质点到代表使用者前进路径的直线之间的距离小于一预设值时，判断对象A是位于使用者的前进路径上，即对象A为可能构成障碍物的对象。当代表该对象A的质点到代表使用者前进路径的直线之间的距离大于或等于上述预设值时，判断对象A并不位于使用者的前进路径上，即该对象A为不可能构成障碍物的对象，直接结束判断，参见步骤S240。

之后再如图2中步骤S220所示，当判断结果为对象位于使用者的前进路径上后，再根据尺寸信息判断对象的尺寸是否大于设定尺寸值。这里继续以对象A为例，在已判断出对象A位于使用者的前进路径上后，根据已获得的对象A的尺寸信息，计算得到对象A所占柱状空间，将该柱状空间的底面直径尺寸与设定尺寸值比较，以进行判断。

当对象的尺寸小于设定的尺寸值时，则该对象不构成障碍物，同样执行步骤240，不需要对使用者进行报警，结束判断。当对象的尺寸大于或等于设定的尺寸值时，则该对象构成障碍物，此时，将该障碍物相对于使用者的位置信息通过语音进行播放，如图2中S230所示。举例而言，通过手机的外放喇叭播报“前方3m处有障碍物，请注意小心绕行”，从而实现对使用者的导盲。

本发明通过计算机视觉技术识别采集的场景图像，来确认障碍物，并采用语音提示的方法来实现导盲，使使用者直接方便的获得导盲指示信息，并且该方法可在现有智能手机设备上直接实现，无需携带额外的导盲器具，也进一步方便了使用者的出行。

本申请的实施例还提供了一种导盲系统，其结构如图3所示，该导盲系统包括：

图像获取模块31，其用于获取使用者所处的场景的图像。

位置信息获取模块32，其用于基于图像获取使用者所处场景中各对象的位置信息。

尺寸信息获取模块33，其用于基于图像获取使用者所处场景中各对象的尺寸信息。

导盲模块34，其用于根据位置信息以及尺寸信息获取障碍物信息，并通过语音向使用者播放障碍物信息以对使用者进行导盲。

在本发明一个具体的实施例中，位置信息获取模块32具体包括：

图像选取子模块321，其配置为从图像中选取具有视差的第一图像与第二图像。

位置信息计算子模块322，其配置为基于第一图像与第二图像，利用光学系统成像原理确定场景中各对象的位置信息。

在本发明一个具体的实施例中，尺寸信息获取模块33具体包括：

参照物确定子模块331，其配置为将从图像中识别出的一个对象确定为参照物。

尺寸信息计算子模块332，其配置为基于参照物的尺寸信息，计算得到场景中各对象的尺寸信息。其中，参照物的尺寸信息为被确定为参照物的对象的真实尺寸。

在本发明一个具体的实施例中，导盲模块34被具体配置为：

根据位置信息判断对象是否位于使用者的前进路径上，若判断结果为对象位于使用者的前进路径上，则根据尺寸信息判断对象的尺寸是否大于设定尺寸值，若对象的尺寸小于设定的尺寸值，则该对象不构成障碍物，不对使用者进行报警，若对象的尺寸大于或等于设定的尺寸值，则该对象构成障碍物，将障碍物相对于使用者的位置信息通过语音进行播放。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种导盲方法，包括：

步骤1、获取使用者所处场景的图像；

步骤2、基于所述图像获取使用者所处场景中各对象的位置信息；

步骤3、基于所述图像获取使用者所处场景中各对象的尺寸信息；

步骤4、根据所述位置信息以及所述尺寸信息获取障碍物信息，并通过语音向使用者播放所述障碍物信息以对所述使用者进行导盲。

2.根据权利要求1所述的导盲方法，其特征在于，所述步骤2具体包括：

从所述图像中选取具有视差的第一图像与第二图像；

基于所述第一图像与所述第二图像，利用光学系统成像原理确定所述场景中各对象的位置信息。

3.根据权利要求1所述的导盲方法，其特征在于，所述步骤3具体包括：

将从所述图像中识别出的一个对象确定为参照物；

基于所述参照物的尺寸信息，计算得到所述场景中各对象的尺寸信息。

4.根据权利要求3所述的导盲方法，其特征在于，所述参照物的尺寸信息为被确定为参照物的对象的真实尺寸。

5.根据权利要求1至4中任一项所述的导盲方法，其特征在于，所述步骤4具体包括：

根据所述位置信息判断所述对象是否位于使用者的前进路径上；

若判断结果为所述对象位于使用者的前进路径上，则根据所述尺寸信息判断所述对象的尺寸是否大于设定的尺寸值；

若所述对象的尺寸小于所述设定的尺寸值，则该对象不构成障碍物，不对所述使用者进行报警；

若所述对象的尺寸大于或等于所述设定的尺寸值，则该对象构成障碍物，将所述障碍物相对于所述使用者的位置信息通过语音进行播放。

6.一种导盲系统，包括：

图像获取模块，其用于获取使用者所处的场景的图像；

位置信息获取模块，其用于基于所述图像获取使用者所处场景中各对象的位置信息；

尺寸信息获取模块，其用于基于所述图像获取使用者所处场景中各对象的尺寸信息；

导盲模块，其用于根据所述位置信息以及所述尺寸信息获取障碍物信息，并通过语音向使用者播放所述障碍物信息以对所述使用者进行导盲。

7.根据权利要求6所述的导盲系统，其特征在于，所述位置信息获取模块具体包括：

图像选取子模块，其配置为从所述图像中选取具有视差的第一图像与第二图像；

位置信息计算子模块，其配置为基于所述第一图像与所述第二图像，利用光学系统成像原理确定所述场景中各对象的位置信息。

8.根据权利要求6所述的导盲系统，其特征在于，所述尺寸信息获取模块具体包括：

参照物确定子模块，其配置为将从所述图像中识别出的一个对象确定为参照物；

尺寸信息计算子模块，其配置为基于所述参照物的尺寸信息，计算得到所述场景中各对象的尺寸信息。

9.根据权利要求8所述的导盲系统，其特征在于，所述参照物的尺寸信息为被确定为参照物的对象的真实尺寸。

10.根据权利要求6至9中任一项所述的导盲系统，其特征在于，所述导盲模块，其配置为：

根据所述位置信息判断所述对象是否位于使用者的前进路径上；

若判断结果为所述对象位于使用者的前进路径上，则根据所述尺寸信息判断所述对象的尺寸是否大于设定的尺寸值；

若所述对象的尺寸小于所述设定的尺寸值，则该对象不构成障碍物，不对所述使用者进行报警；

若所述对象的尺寸大于或等于所述设定的尺寸值，则该对象构成障碍物，将所述障碍物相对于所述使用者的位置信息通过语音进行播放。