CN109009903B - 视觉导盲拐杖及基于视觉导盲拐杖的导航方法 - Google Patents

Abstract

本发明提供一种视觉导盲拐杖及基于视觉导盲拐杖的导航方法。视觉导盲拐杖，包括导盲拐杖主体、图像采集装置、图像处理装置及语音交互装置，图像采集装置、图像处理装置与语音交互装置依次通信连接，图像处理装置用于处理和储存信息及控制所述语音交互装置，图像采集装置用于采集场景深度图像信息，图像采集装置将采集到的深度图像信息传递至所述图像处理装置，所述图像处理装置通过所述语音交互装置进行导航提示。该视觉导盲拐杖解决了传统无法在室内或封闭环境中快速精准定位、短距离三维避障、立体环境记忆等弊端，有利于解决盲人行走困难和行动安全的问题。

Description

视觉导盲拐杖及基于视觉导盲拐杖的导航方法

技术领域

本发明涉及智能辅助设备领域，特别是涉及到一种视觉导盲拐杖及基于视觉导盲拐杖的导航方法。

背景技术

随着社会的发展，人们生活活动范围密集化，我们生活的起居环境越趋复杂，盲人的起居和日常出行变得举步维艰。盲人通常采用拐杖辅助行走，但目前的拐杖产品功能单一，无法为盲人在行走中提供更丰富的信息，无法实现在室内环境中快速精准定位、短距离三维避障等功能。

发明内容

本发明的目的在于克服现有技术的不足，提供一种视觉导盲拐杖，该视觉导盲拐杖解决了传统无法在室内或封闭环境中快速精准定位、短距离三维避障、立体环境记忆等弊端，有利于解决盲人行走困难和行动安全的问题。

为解决上述问题，本发明提供一种视觉导盲拐杖，主要包括导盲拐杖主体、图像采集装置、图像处理装置及语音交互装置，图像采集装置、图像处理装置与语音交互装置依次通信连接，图像处理装置用于处理和储存信息及控制语音交互装置，图像采集装置用于采集场景深度图像信息，图像采集装置将采集到的深度图像信息传递至图像处理装置，图像处理装置通过语音交互装置进行导航提示。

进一步地，图像采集装置为深度摄像头、双目摄像头中的一种或多种。

进一步地，视觉导盲拐杖还包括惯导设备，惯导设备与图像处理装置通信连接，惯导设备用于加速图像处理装置的信息处理。

进一步地，视觉导盲拐杖还包括网络通讯模块，网络通讯模块与图像处理装置通信连接，网络通讯模块用于与外部网络联网。

本发明还提出一种基于视觉导盲拐杖的导航方法，应用于上述的视觉导盲拐杖，包括：

视觉导盲拐杖持续采集用户所在场景的深度图像信息；

根据深度图像信息，持续新建所在场景的三维地图；

在新建所在场景的三维地图或已有三维地图中选择并确定执行地图；

若执行地图是在已有三维地图中选择的，则停止新建所在场景的三维地图，并根据深度图像信息持续修正执行地图，若执行地图为新建所在场景的三维地图，则持续新建所在场景的三维地图；

在执行地图中确定用户在场景中的位置；

根据执行地图和用户在场景中的位置导航。

进一步地，在新建所在场景的三维地图或已有三维地图中选择并确定执行地图的步骤，包括：

将新建的三维地图和已有三维地图进行对比，判断已有三维地图中是否有包括当下场景的三维地图；

若否，则选择新建的三维地图作为执行地图；若是，则在已有三维地图中选择一张包括当下场景的三维地图作为执行地图。

进一步地，在已有三维地图中选择一张包括当下场景的三维地图作为执行地图的步骤之后，包括：

判断已有三维地图中选择的三维地图是否已经下载完成；

若是，则以在已有三维地图中选择的三维地图作为执行地图；若否，则重新选择新建的三维地图作为执行地图。

进一步地，在重新选择新建的三维地图作为执行地图的步骤之后，包括：继续尝试下载已有三维地图中选择的三维地图。

进一步地，在根据深度图像信息持续新建所在场景的三维地图的步骤中，通过惯导设备辅助，加速建立所在场景的三维地图。

进一步地，在根据执行地图和用户在场景中的位置导航的步骤之后，通过网络通讯模块将执行地图上传至外部网络。

本发明视觉导盲拐杖及基于视觉导盲拐杖的导航方法的有益效果是：通过视觉导盲拐杖在盲人行进过程中实时获取的深度图像信息建立或修正三维导航地图，为盲人用户提供导航依据，实现在室内或在密闭环境中快速精准定位，实现短距离三维识别并避开障碍物。通过视觉导盲拐杖数据储存功能，立体环境的记忆，提高导航效率。实现通过网络通讯模块与外部网络联通，实现导航场景三维地图、导航信息数据的网络共享。

附图说明

图1为视觉导盲拐杖一实施例的整体示意图；

图2为视觉导盲拐杖一实施例部件组成示意图；

图3为视觉导盲拐杖另一实施例部件组成示意图；

图4为基于视觉导盲拐杖的导航方法一实施例的步骤流程图；

图5为基于视觉导盲拐杖的导航方法另一实施例的步骤流程图；

图6为基于视觉导盲拐杖的导航方法第三实施例的步骤流程图；

图7为基于视觉导盲拐杖的导航方法第四实施例的步骤流程图；

图8为基于视觉导盲拐杖的导航方法第五实施例的步骤流程图；

图9为基于视觉导盲拐杖的导航方法第六实施例的步骤流程图。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

具体实施方式

这里将详细地对示例性实施例进行说明，其实例表示在附图中，下面的描述涉及附图时，除非另有表示，不同附图中的数字表示相同或相似的要素，以下示例性实施例中所描述的装置和方法并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的，本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅处于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其含义。

如图1和图2所示，一种视觉导盲拐杖，主要包括导盲拐杖主体1、图像采集装置2、图像处理装置3及语音交互装置4，图像采集装置2、图像处理装置3与语音交互装置4依次通信连接，图像处理装置3用于处理和储存信息及控制语音交互装置4，图像采集装置2用于采集场景深度图像信息，图像采集装置2将采集到的深度图像信息传递至图像处理装置3，图像处理装置3 通过语音交互装置4进行导航提示。通过视觉导盲拐杖在盲人行进过程中实时获取的深度图像信息建立或修正三维导航地图，为盲人用户提供导航依据，实现在室内或密闭环境中快速精准定位，短距离三维识别并避开障碍物。通过视觉导盲拐杖数据储存功能，实现立体环境的记忆，提高导航效率。有利于解决盲人行走困难和行动安全的问题。

图像处理装置3与语音交互装置4安装于导盲拐杖主体1内部；图像采集装置2安装于导盲拐杖主体1外部，便于深度图像信息采集。

在本实施例中，图像采集装置2为深度摄像头、双目摄像头中的一种或多种。通过深度摄像头或双目摄像头，可以直接获取环境的深度图像信息。

如图3所示，在一些实施例中，视觉导盲拐杖还包括惯导设备5，惯导设备5与图像处理装置3通信连接，惯导设备5用于加速图像处理装置3的信息处理。通过采用惯导设备5做为辅助设备，加快了导航地图建立过程，提高导航效率。

如图3所示，在一些实施例中，视觉导盲拐杖还包括网络通讯模块6，网络通讯模块6与图像处理装置3通信连接，网络通讯模块6用于与外部网络7 联网。通过网络通讯模块6的连接，实现了导航资源的共享。

如图4所示，本发明还提供一种基于视觉导盲拐杖的导航方法，可应用于上述的视觉导盲拐杖，包括：

S1、视觉导盲拐杖持续采集用户所在场景的深度图像信息；

S2、根据深度图像信息，持续新建所在场景的三维地图；

S3、在新建所在场景的三维地图或已有三维地图中选择并确定执行地图；

S4、若执行地图是在已有三维地图中选择的，则停止新建所在场景的三维地图，根据深度图像信息持续修正执行地图；若执行地图为新建所在场景的三维地图，则持续新建所在场景的三维地图；

S5、在执行地图中确定用户在场景中的位置；

S6、根据执行地图和用户在场景中的位置导航。

上述步骤S1中，采用深度摄像头、双目摄像头中的一种或多种作为图像采集装置，对所在场景进行信息采集，获取深度图像信息，满足障碍物三维辨识和短距离避让，满足室内或封闭环境内定位需求。深度图像信息也被称为距离影像信息，是指将从图像采集器到场景中各点的距离信息作为像素值的图像信息，它直接反映了景物可见表面的几何形状。

上述步骤S2中，根据图像采集装置采集到的深度图像信息，通过图像处理装置持续新建所在场景的三维地图，形成连贯的导航地图信息。

上述步骤S3中，已有三维地图，可以是视觉导盲拐杖自身导航建立储存所有，也可以通过网络共享下载获得。在陌生场景中，并且未能从网络数据库中获取该场景的三维地图，则需要自主实时新建三维地图，此类场景选择新建的三维地图作为执行地图；在陌生场景中，但通过网络数据库下载到当下场景的三维地图，或者是熟悉场景中，即当下导航之前视觉导盲拐杖已经建立好当下场景的三维地图，此类场景选择已有的三维地图作为执行地图。在选择已有三维地图为执行地图时，在原有的基础上对已有三维地图进行修正，减少建立地图的时间，提高了导航实时反应速度。

在上述步骤S4中，根据执行地图的选择，确定持续新建或持续修正所在场景的三维地图，保证导航的连续高效进行。

在上述步骤S5中，确定好执行地图后，在执行地图中，根据深度图像信息确定视觉导盲拐杖(即用户)与所在场景中其它人、物等的相对位置关系。

在上述步骤S6中，通过人机交互装置，视觉导盲拐杖根据执行地图和用户在场景中的位置自主做出避开障碍物的语音提醒，或根据用户语音输入的导航目的地，结合执行地图和用户在场景中的位置进行路线运算，做出导航语音提醒。视觉导盲拐杖和盲人用户通过人机交互装置，建立紧密联系，使用便捷，人性化满足日常使用。

如图5所示，在上述步骤S3中，包括：

S31、将新建的三维地图和已有三维地图进行对比，判断已有三维地图中是否有包括当下场景的三维地图；

S32、若否，则选择新建的三维地图作为执行地图；若是，则在已有三维地图中选择一张包括当下场景的三维地图作为执行地图。

在上述步骤S31中，导航开始时，进入到某一场景，新建所在场景的三维地图，进入一段时间后，将新建好的三维地图，与已存三维地图进行对比，确定已存地图中是否存有相似度较高的三维地图。在视觉导盲拐杖可与外部网络连接的情况下，已存三维地图可以通过网络共享获得，也可以是视觉导盲拐杖自己原已建立的三维地图；在视觉导盲拐杖未与外部联网的情况下，已存三维地图则是视觉导盲拐杖自己原已建立的三维地图。

在上述步骤S32中，通过步骤S31的对比，若已有三维地图中存有与新建三维地图相似度较高的三维地图，则选择一张与新建三维地图相似度最高的三维地图作为执行地图，反之，选择新建的三维地图作为执行地图；若选择已有三维地图，只需根据深度图像信息修正地图，不需要重零开始新建地图，提高了工作效率，充分利用已有资源；在一些实施例中，该方法用于已有三维地图设在导盲拐杖内部的情况下。

如图6所示：上述步骤S32中的，在已有三维地图中选择一张包括当下场景的三维地图作为执行地图之后，包括：

S33、判断已有三维地图中选择的三维地图是否已经下载完成；

S34、若是，则以在已有三维地图中选择的三维地图作为执行地图；若否，则重新选择新建的三维地图作为执行地图。

上述步骤S33、S34中，选择其中一张与新建三维地图相似度最高的三维地图作为执行地图后，若该选择的执行地图为网络资源，需要对该地图进行下载，对该地图是否下载完成进行判断，若完成下载，则以在已有三维地图中选择的三维地图作为执行地图；若不能下载，或下载未完成，则重新选择新建的三维地图作为执行地图。通过上述步骤S33、S34的判断取舍，实现已有地图资源充分利用的同时，避免因导航资源的选择而导致的导航的间断问题。在一些实施例中，该方法用于在陌生场景中导航，并可实时获取在网络数据库中的地图资源的情况下。

如图7所示：在上述步骤S34中的，重新选择新建的三维地图作为执行地图的步骤之后，包括：

S35、继续尝试下载已有三维地图中选择的三维地图。

上述步骤S35中，重新选择新建的三维地图作为执行地图的步骤之后，执行新建的三维地图，同时继续尝试下载已有三维地图中选择的三维地图。通过上述步骤S35，以优先使用已有地图资源为原则，继续尝试下载在已有三维地图中选择的与当下场景相似度较高的三维地图，在下载完成后将该地图做为执行地图，以节省建立三维地图所需的时间，实现高效导航。

如图8所示，在一些实施例中，在上述步骤S1之后，包括：

S2a、通过惯导设备辅助，加速建立所在场景的三维地图。

上述步骤S2a中，通过惯导设备与图像处理装置的连接，加快了图像处理速度，提高建立三维地图的效率，满足了快速导航，灵敏反应的需求。

如图9所示，在一些实施例中，在上述步骤S6之后，包括：

S7、通过网络通讯模块将执行地图上传至外部网络，实现网络共享。

上述步骤S7中，将执行地图上传至外部网络，可设置为实时上传执行地图，还可以设置为每间隔一定时间段上传该时间段的执行地图，或者设置为导航结束时上传当次导航执行地图，当次导航执行地图是指该次导航过程中所采用的三维地图，例如在一些实施例中，若导航过程中仅采用了新建的三维地图则上传新建的三维地图；在另一些实施例中，若当次导航执行地图既采用了新建的三维地图又采用了下载的三维地图则将修正后的已下载三维地图结合新建的三维地图构成本次导航三维地图，并将本次导航三维地图上传。网络通讯模块包括现有的可实现wifi通讯功能以及2G/3G/4G网络通讯功能的装置。

本发明视觉导盲拐杖及基于视觉导盲拐杖的导航方法的有益效果是：通过视觉导盲拐杖在盲人行进过程中实时获取的深度图像信息，建立导航三维地图，为盲人用户提供导航依据，实现在室内或密闭环境中快速精准定位，短距离三维识别并避开障碍物。通过视觉导盲拐杖数据储存功能，实现立体环境的记忆，提高导航效率。通过人机交互装置，使用便捷，人性化满足日常使用。通过网络通讯模块与外部网络联通，实现导航场景三维地图、导航信息数据的网络共享。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围。凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种视觉导盲拐杖，其特征在于：所述视觉导盲拐杖主要包括导盲拐杖主体、图像采集装置、图像处理装置及语音交互装置；

所述图像采集装置、图像处理装置与所述语音交互装置依次通信连接；

所述图像处理装置用于处理和储存信息及控制所述语音交互装置；

所述图像采集装置用于采集场景深度图像信息；

所述图像采集装置将采集到的深度图像信息传递至所述图像处理装置，所述图像处理装置通过所述语音交互装置进行导航提示；

所述图像处理装置用于，根据所述深度图像信息，持续新建所在场景的三维地图；在所述新建所在场景的三维地图或已有三维地图中选择并确定执行地图；若所述执行地图是在已有三维地图中选择的，则停止新建所在场景的三维地图，并根据所述深度图像信息持续修正所述执行地图；若所述执行地图为所述新建所在场景的三维地图，则持续新建所在场景的三维地图；在所述执行地图中确定用户在场景中的位置；根据所述执行地图和用户在场景中的位置导航；

所述在新建所在场景的三维地图或已有三维地图中选择并确定执行地图，包括：

将新建的三维地图和已有三维地图进行对比，判断所述已有三维地图中是否有包括当下场景的三维地图；

若否，则选择所述新建的三维地图作为所述执行地图；若是，则在所述已有三维地图中选择一张包括当下场景的三维地图作为所述执行地图。

2.根据权利要求1所述的视觉导盲拐杖，其特征在于：所述图像采集装置为深度摄像头、双目摄像头中的一种或多种。

3.根据权利要求1所述的视觉导盲拐杖，其特征在于：所述视觉导盲拐杖还包括惯导设备，所述惯导设备与所述图像处理装置通信连接，所述惯导设备用于加速所述图像处理装置的信息处理。

4.根据权利要求1所述的视觉导盲拐杖，其特征在于：所述视觉导盲拐杖还包括网络通讯模块，所述网络通讯模块与所述图像处理装置通信连接，所述网络通讯模块用于与外部网络联网。

5.一种基于视觉导盲拐杖的导航方法，应用于权利要求1-4中任一项所述的视觉导盲拐杖，其特征在于，包括：

所述视觉导盲拐杖持续采集用户所在场景的深度图像信息；

根据所述深度图像信息，持续新建所在场景的三维地图；

在所述新建所在场景的三维地图或已有三维地图中选择并确定执行地图；

若所述执行地图是在已有三维地图中选择的，则停止新建所在场景的三维地图，并根据所述深度图像信息持续修正所述执行地图；若所述执行地图为所述新建所在场景的三维地图，则持续新建所在场景的三维地图；

在所述执行地图中确定用户在场景中的位置；

根据所述执行地图和用户在场景中的位置导航；

所述在新建所在场景的三维地图或已有三维地图中选择并确定执行地图的步骤，包括：

将新建的三维地图和已有三维地图进行对比，判断所述已有三维地图中是否有包括当下场景的三维地图；

若否，则选择所述新建的三维地图作为所述执行地图；若是，则在所述已有三维地图中选择一张包括当下场景的三维地图作为所述执行地图。

6.根据权利要求5所述的基于视觉导盲拐杖的导航方法，其特征在于：所述在所述已有三维地图中选择一张包括当下场景的三维地图作为所述执行地图的步骤之后，包括：

判断所述已有三维地图中选择的三维地图是否已经下载完成；

若是，则以所述已有三维地图中选择的三维地图作为所述执行地图；若否，则重新选择所述新建的三维地图作为所述执行地图。

7.根据权利要求6所述的基于视觉导盲拐杖的导航方法，其特征在于：所述重新选择所述新建的三维地图作为所述执行地图的步骤之后，包括：继续尝试下载所述已有三维地图中选择的三维地图。

8.根据权利要求5所述的基于视觉导盲拐杖的导航方法，其特征在于：在根据所述深度图像信息持续新建所在场景的三维地图的步骤中，通过惯导设备辅助，加速建立所在场景的三维地图。

9.根据权利要求5所述的基于视觉导盲拐杖的导航方法，其特征在于：在根据所述执行地图和用户在场景中的位置导航的步骤之后，通过网络通讯模块将执行地图上传至外部网络。

Images