CN107990902B - 基于云端的导航方法、导航系统、电子设备 - Google Patents

Abstract

一种基于云端的导航方法、导航系统、电子设备和程序产品，该方法确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航。本发明基于云端技术，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

Description

基于云端的导航方法、导航系统、电子设备

技术领域

本发明涉及导航技术领域，特别涉及一种基于云端的导航方法、导航系统、电子设备和程序产品。

背景技术

近年来，辅助弱视人群或全盲人群自助出行得到越来越多的关注，随着电子传感器、计算机技术的发展，智能化的电子导盲设备成为主要的研究对象，电子导盲设备有助于提高盲人独立出行能力，改善生活质量。

为帮助盲人安全出行，目前常用的导盲设备有电子导盲杖，穿戴式导盲设备，例如导盲头盔、导盲背包、导盲眼镜等，但是电子导盲杖不能定位盲人的位置，不具备导航的功能，只是帮助盲人检测障碍物，帮助盲人感知周围环境；穿戴式的导盲设备大多采用视觉、超声等传感器更加详细地帮助盲人感知周围环境，比如提示障碍物的类型，距离等等，仅具有帮助盲人躲避障碍的功能。

发明内容

有鉴于此，本发明实施例期望提供一种基于云端的导航方法、导航系统、电子设备和程序产品，主要用于盲人导航。

第一方面，本发明实施例提供了一种基于云端的导航方法，所述方法，包括：

确定局部目标；

确定到达所述局部目标的初始导航方案；

获取导航调整信息；

根据所述导航调整信息及所述初始导航方案确定最终导航方案；

按所述最终导航方案进行导航。

第二方面，本发明实施例提供了一种导航系统，所述系统包括：局部目标选取模块，初始导航方案确定模块，通路检测模块，超声检测模块，决策模块和导航模块；

所述局部目标选取模块，用于根据到达终局目标的全局规划路径以及当前位置确定局部目标；

所述初始导航方案确定模块，用于确定到达所述局部目标选取模块确定的局部目标的初始导航方案；

所述通路检测模块，用于获取可行方向信息；

所述超声检测模块，用于获取障碍物信息；

所述决策模块，用于根据所述通路检测模块获取的可行方向信息、所述超声检测模块获取的障碍物信息及所述初始导航方案确定模块确定的初始导航方案确定最终导航方案；

所述导航模块，用于按所述决策模块确定的最终导航方案进行导航。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：

存储器，一个或多个处理器；存储器与处理器通过通信总线相连；处理器被配置为执行存储器中的指令；所述存储介质中存储有用于执行第一方面所述方法中各个步骤的指令。

第四方面，本发明实施例提供了一种与包括显示器的电子设备结合使用的程序产品，所述程序产品包括可读的存储介质和内嵌于其中的程序机制，所述程序机制包括用于执行上述第一方面所述方法中各个步骤的指令。

有益效果如下：

本发明，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1为本发明实施例中的一种基于云端的导航方法流程图；

图2为本发明实施例中的一种导航系统结构示意图；

图3为本发明实施例中的一种导航流程示意图；

图4为本发明实施例中的另一种基于云端的导航方法流程图；

图5为本发明实施例中的一种局部目标选取示意图；

图6为本发明实施例中的一种可行通行区域示意图；

图7为本发明实施例中的一种确定最佳可行方案选择示意图；

图8为本发明实施例中的一种电子设备的结构示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以互相结合。

近年来，辅助弱视人群或全盲人群自助出行得到越来越多的关注，随着电子传感器、计算机技术的发展，智能化的电子导盲设备成为主要的研究对象，电子导盲设备有助于提高盲人独立出行能力，改善生活质量。但目前常用的导盲设备有电子导盲杖，穿戴式导盲设备，该设备仅具有帮助盲人躲避障碍的功能。

基于此，本发明实施例提供了一种基于云端的导航方法，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

参见图1，本实施例提供的基于云端的导航方法，具体包括：

101，确定局部目标。

本步骤的具体实现方案可以为：根据到达终局目标的全局规划路径以及当前位置确定前方路径类型。

其中，路径类型包括：直线和拐弯。

1、若路径类型为直线，且第一距离大于预设的第一阈值，则在距当前位置第一阈值外的区域中确定局部目标。

其中，第一距离为当前位置与终局目标之间的距离。

可选地，第一阈值为5米。

2、若路径类型为直线，但第一距离不大于第一阈值，则将终局目标确定为局部目标。

3、若路径类型为拐弯，且第一距离大于第二距离，则将拐角所在位置确定为局部目标。

其中，第二距离为当前位置与拐角所在位置之间的距离。

在根据到达终局目标的全局规划路径以及当前位置确定前方路径类型时，可以通过如下方法实现：

根据到达终局目标的全局规划路径以及当前位置确定第一候选位置和第二候选位置，第二候选位置为第一候选位置的下一候选位置。

1、若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，超过第二阈值，则确定前方路径类型为拐弯。

可选地，第二阈值为30度。

2、若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，未超过第二阈值，则确定前方路径类型为直线。

102，确定到达局部目标的初始导航方案。

103，获取导航调整信息。

其中，导航调整信息包括：可行方向信息和障碍物信息。

获取可行方向信息的方案，包括但不限于：

103-1，获取深度图像。

103-2，在深度图像的预设一行数据中选择一段连续的像素点，将每一段连续的像素点作为一个图像段。

其中，预设一行数据为预先设定的，[深度图像中间一行-预设行数，深度图像中间一行+预设行数]范围内的一行数据。

优选的，预设行数为5。

则，预设一行数据为预先设定的，[深度图像中间一行-5行，深度图像中间一行+5行]范围内的某一行数据。

103-2的实现方案有多种，例如：在深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点。再例如：在深度图像的预设一行数据中，从右边开始向左边选择一段连续的像素点。还例如：在深度图像的预设一行数据中，从中间开始向两边选择一段连续的像素点。

103-3，对于任一图像段，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域。

本实施例仅以在深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点为例详细说明103-2和103-3的实现方案。

步骤1，确定预设一行数据最左点像素坐标p0(u,v)。

步骤2，根据p0(u,v)，深度图像的深度值以及拍摄深度图的摄像机内参矩阵，得到p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)。

步骤3，根据第四阈值w得到安全区域的另一个边界点(x+w,y,z)。

步骤4，将(x+w,y,z)映射到深度图像上，得到点p1(u+δ,v)。

步骤5，将p0(u,v)和p1(u+δ,v)之间的像素点确定为选择的一段连续的像素点。

步骤6，判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值，若p0(u,v)和p1(u+δ,v)之间的各像素点的深度值均大于第三阈值，则执行步骤7，若p0(u,v)和p1(u+δ,v)之间存在像素点的深度值不大于第三阈值，则执行步骤8。

步骤7，认定p0(u,v)和p1(u+δ,v)之间为可行通行区域。

步骤8，将距p0(u,v)最近的，且深度值不大于第三阈值的像素点重新作为 p0(u,v)，重复执行步骤2至步骤8，直至深度图像的每个像素点均被判断。

104，根据导航调整信息及初始导航方案确定最终导航方案。

步骤103中获取导航调整信息中包括可行方向信息和障碍物信息，可行方向信息为一个或多个可行通行区域。

步骤104的实现方案为：

104-1，融合可行方向信息和初始导航方案，得到一个或多个可行方案。

104-2，从可行方案中选取最佳可行方案。

若可行方案为一个，则该可行方案为最佳可行方案。

若可行方案为多个，则确定当前位置到局部目标之间的第一角度，计算各可行方案中可行通行区域所对应的角度与第一角度之间的差，选取差值最小的可行通行区域为最佳可行方案。

104-3，融合最佳可行方案和障碍物信息，得到最终导航方案。

确定最佳可行方案是否直行。若非直行，则最佳可行方案为最终导航方案。若直行，则根据障碍物信息，确定最佳可行方案中的最近障碍物距离，若最近障碍物距离大于第五阈值，则最佳可行方案为最终导航方案，若最近障碍物距离不大于第五阈值，则确定最终导航方案为NULL。

可选地，第五阈值为2米。

105，按最终导航方案进行导航。

至此，本实施例提供了一种基于云端的导航方法，该方法针对目前导盲设备或系统存在的问题，实现了基于虚拟盲道的多传感器融合的高精度导航。

到达终局目标的全局规划路即虚拟盲道，本实施的基于云端的导航方法中根据虚拟盲道确定局部目标，再基于局部目标进行导航，即根据到达终局目标的全局规划路径，将一条长路径切分为到达不同局部目标的段路径的和，可以在引导盲人沿着全局规划的虚拟盲道到达目的地的同时，结合基于视觉的避障，实现同时导航和避障，引导盲人沿着全局规划的虚拟盲道安全地行走。

本实施例提供的基于云端的导航方法可以根据盲人当前位置以及局部目标点，产生无障碍物时的行进方向，也就是保证盲人沿全局路径行走所期望的方向。

有益效果：

本发明实施例，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

本发明提供的基于云端的导航方法，可应用到嵌入式的处理器或位于云端，主要负责导航与避障，产生可通行方向，为盲人出行提供帮助。

除此之外，还可以应用于图2所示的导航系统中，在图2所示的导航系统中，包括：局部目标选取模块，初始导航方案确定模块，通路检测模块，超声检测模块，决策模块和导航模块。

其中，

局部目标选取模块，用于确定局部目标。

初始导航方案确定模块，用于确定到达局部目标选取模块确定的局部目标的初始导航方案。

通路检测模块，用于获取可行方向信息。

超声检测模块，用于获取障碍物信息。

决策模块，用于根据通路检测模块获取的可行方向信息、超声检测模块获取的障碍物信息及初始导航方案确定模块确定的初始导航方案确定最终导航方案。

导航模块，用于按决策模块确定的最终导航方案进行导航。

图2所示的导航系统可以执行图3所示的流程，进行导航。

具体的，可以基于全局虚拟盲道和当前位置选取局部目标，基于局部目标通过初始导航方案确定模块形成初始导航方案，决策模块基于初始导航方案，结合通路检测和超声检测，确定最终的可行方向，形成最终导航方案，导航模块按最终导航方案进行导航。

在此基础上，图2所示的导航系统还可以包括深度图获取装置。

该深度图获取装置，用于获取深度图像。

其中，通路检测模块，用于根据深度图获取装置获取的深度图像，获取可行方向信息。

可选地，深度图获取装置为双目摄像头。或者，深度图获取装置为RGB-D 摄像头。

参见图4所示，下面详细描述该导航系统的导航方案。

201，局部目标选取模块确定局部目标。

具体的，局部目标选取模块根据到达终局目标的全局规划路径以及当前位置确定前方路径类型。

其中，路径类型包括：直线和拐弯。

1、若路径类型为直线，且第一距离大于预设的第一阈值，则在距当前位置第一阈值外的区域中确定局部目标。

其中，第一距离为当前位置与终局目标之间的距离。

可选地，第一阈值为5米。

2、若路径类型为直线，但第一距离不大于第一阈值，则将终局目标确定为局部目标。

3、若路径类型为拐弯，且第一距离大于第二距离，则将拐角所在位置确定为局部目标。

其中，第二距离为当前位置与拐角所在位置之间的距离。

在根据到达终局目标的全局规划路径以及当前位置确定前方路径类型时，可以通过如下方法实现：

根据到达终局目标的全局规划路径以及当前位置确定第一候选位置和第二候选位置，第二候选位置为第一候选位置的下一候选位置。

1、若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，超过第二阈值，则确定前方路径类型为拐弯。

可选地，第二阈值为30度。

2、若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，未超过第二阈值，则确定前方路径类型为直线。

步骤201主要为局部目标选取模块根据全局规划路径以及盲人当前位置产生局部导航目标位置，参见图5，局部目标选取模块在进行局部目标的选取时，可采取以下方式：

Case1)前方路径基本为直线，选取距离当前位置距离超过一定阈值(如 5m)的点；

Case2)前方有拐弯的情况，判断是根据当前位置与选取位置以及选取位置与选取位置下一点之间的夹角，超过一定阈值(如30度)视为拐弯，则选取位置的点为局部目标点；

Case3)盲人即将到达目的地，最后的目的地作为局部目标。

202，初始导航方案确定模块确定到达局部目标选取模块确定的局部目标的初始导航方案。

203，通路检测模块获取可行方向信息。

具体的，

203-1，深度图获取装置获取深度图像。

其中，深度图获取装置为双目摄像头。或者，深度图获取装置为RGB-D 摄像头。

203-2，通路检测模块在深度图获取装置获取的深度图像的预设一行数据中选择一段连续的像素点，将每一段连续的像素点作为一个图像段。

其中，预设一行数据为预先设定的，[深度图像中间一行-预设行数，深度图像中间一行+预设行数]范围内的一行数据。

203-2的实现方案有多种，例如：通路检测模块在深度图获取装置获取的深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点。再例如：通路检测模块在深度图获取装置获取的深度图像的预设一行数据中，从右边开始向左边选择一段连续的像素点。还例如：通路检测模块在深度图获取装置获取的深度图像的预设一行数据中，从中间开始向两边选择一段连续的像素点。

203-3，通路检测模块对于任一图像段，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域。

本实施例仅以通路检测模块在深度图获取装置获取的深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点为例详细说明203-2和203-3 的实现方案。

步骤1，通路检测模块确定预设一行数据最左点像素坐标p0(u,v)。

步骤2，通路检测模块根据p0(u,v)，深度图像的深度值以及拍摄深度图的摄像机内参矩阵，得到p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)。

步骤3，通路检测模块根据第四阈值w得到安全区域的另一个边界点 (x+w,y,z)。

步骤4，通路检测模块将(x+w,y,z)映射到深度图像上，得到点p1(u+δ,v)。

步骤5，通路检测模块将p0(u,v)和p1(u+δ,v)之间的像素点确定为选择的一段连续的像素点。

步骤6，通路检测模块判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值，若p0(u,v)和p1(u+δ,v)之间的各像素点的深度值均大于第三阈值，则执行步骤7，若p0(u,v)和p1(u+δ,v)之间存在像素点的深度值不大于第三阈值，则执行步骤8。

步骤7，认定p0(u,v)和p1(u+δ,v)之间为可行通行区域。

步骤8，将距p0(u,v)最近的，且深度值不大于第三阈值的像素点重新作为 p0(u,v)，重复执行步骤2至步骤8，直至深度图像的每个像素点均被判断。

步骤203主要为通路检测模块根据深度图获取装置获取的深度图像，采用自适应滑动窗口的方式寻找可行通行区域。例如选取深度图的某一行数据作为输入，通过设定障碍物距离阈值(即第三阈值)T1和安全躲避宽度(即第四阈值)w，在该行像素内搜索一段连续的像素点，如果该段内每个像素点的深度值均大于T1，同时该图像段对应的物理空间的宽度等于w，则认为该段图像为一个可通行区域。

具体搜索方法可以从图像行的左边或者右边开始搜索，也可以从图像行的中间向两边交替搜索。

从左到右的搜索方法如下：1、首先根据该行最左点像素坐标p0(u,v)，深度值以及摄像机内参矩阵得到该点在摄像机坐标系下的3D物理坐标(x,y,z)； 2、然后根据安全躲避宽度w得到安全区域的另一个边界点(x+w,y,z)；3、再将该边界点映射到深度图上，得到点p1(u+δ,v)；4、最后逐点判断p0(u,v)和 p1(u+δ,v)之间的像素点的对应的深度是否大于阈值T1；5、若是，则认为 p0(u,v)和p1(u+δ,v)之间为可通行区域；6、否则丢弃该区域，并从不满足阈值条件像素点的下一点继续执行步骤1，直到该行像素搜索完毕，如图6所示1 所示的区域为可通行区域。

204，超声检测模块获取障碍物信息。

超声检测模块可以为超声测距传感器。

超声测距传感器可位于导盲设备的中间位置，主要探测盲人正前方的障碍物。

205，决策模块根据通路检测模块获取的可行方向信息、超声检测模块获取的障碍物信息及初始导航方案确定模块确定的初始导航方案确定最终导航方案

步骤203中通路检测模块获取的可行方向信息为一个或多个可行通行区域。

步骤205的实现方案为：

205-1，决策模块融合可行方向信息和初始导航方案，得到一个或多个可行方案。

205-2，决策模块从可行方案中选取最佳可行方案。

若可行方案为一个，则该可行方案为最佳可行方案。

若可行方案为多个，则确定当前位置到局部目标之间的第一角度，计算各可行方案中可行通行区域所对应的角度与第一角度之间的差，选取差值最小的可行通行区域为最佳可行方案。

205-3，决策模块融合最佳可行方案和障碍物信息，得到最终导航方案。

确定最佳可行方案是否直行。若非直行，则最佳可行方案为最终导航方案。若直行，则根据障碍物信息，确定最佳可行方案中的最近障碍物距离，若最近障碍物距离大于第五阈值，则最佳可行方案为最终导航方案，若最近障碍物距离不大于第五阈值，则确定最终导航方案为NULL。

可选地，第五阈值为2米。

步骤205主要为决策模块产生最终提示盲人的最佳可行方向。首先根据通路检测模块产生的可行方向信息和初始导航方案进行融合，选取最佳的可行方向，选取标准是两个方向的偏差最小，如图7所示，其中，θ_exp为当前位置到局部目标的第一角度，θ₁，θ₂为可行通行区域所对应的角度，θ_c为当前位置的朝向。然后将此最佳的可行方向与超声数据进行融合，排除因深度相机的自身缺陷导致的错误，具体融合方法如下：首先判断找到的最佳可行方向是否为直行，如果不是，直接输出该方向；如果是，判断超声测距结果是否大于阈值(如2m)，若大于，则表明前方可通行，否则不可通行，输出NULL。

206，导航模块按决策模块确定的最终导航方案进行导航。

至此，本实施例提供了一种导航系统完成导航功能，导航系统结合全局路径规划构成完整的导盲系统，例如基于视觉的导航，利用RGB-D摄像头感知周围环境信息，然后通过视觉SLAM进行定位、构图等，根据全局路径规划产生到达目的地的全局最优路径，本导航系统所执行的基于云端的导航方法基于全局最优路径，融合超声、视觉信息等，决策产生可通行的方向。

为了提升用户体验，本实施例提供的导航系统可以通过信息转换模块将可通行方向转化为语音或渲染到AR图像中，通过AR眼镜显示为弱视人群进行导航，或通过耳机播放语音为全盲人群进行导航。

有益效果：

本发明实施例，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

基于同一发明构思，本发明实施例还提供了一种电子设备，参见图8，电子设备包括：

存储器801，一个或多个处理器802；以及收发组件803，存储器、处理器以及收发组件803通过通信总线(本发明实施例中是以通信总线为I/O总线进行的说明)相连；所述存储介质中存储有用于执行下述各个步骤的指令：

确定局部目标；

确定到达局部目标的初始导航方案；

获取导航调整信息；

根据导航调整信息及初始导航方案确定最终导航方案；

按最终导航方案进行导航。

可选地，确定局部目标，包括：

根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，路径类型包括：直线和拐弯；

若路径类型为直线，且第一距离大于预设的第一阈值，则在距当前位置第一阈值外的区域中确定局部目标；

若路径类型为直线，但第一距离不大于第一阈值，则将终局目标确定为局部目标；

若路径类型为拐弯，且第一距离大于第二距离，则将拐角所在位置确定为局部目标；

第一距离为当前位置与终局目标之间的距离，第二距离为当前位置与拐角所在位置之间的距离。

可选地，第一阈值为5米。

可选地，根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，包括：

根据到达终局目标的全局规划路径以及当前位置确定第一候选位置和第二候选位置，第二候选位置为第一候选位置的下一候选位置；

若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，超过第二阈值，则确定前方路径类型为拐弯；

若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，未超过第二阈值，则确定前方路径类型为直线。

可选地，第二阈值为30度。

可选地，导航调整信息包括：可行方向信息和障碍物信息。

可选地，获取可行方向信息，包括：

获取深度图像；

在深度图像的预设一行数据中选择一段连续的像素点，将每一段连续的像素点作为一个图像段；预设一行数据为预先设定的，[深度图像中间一行-预设行数，深度图像中间一行+预设行数]范围内的一行数据；

对于任一图像段，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域。

可选地，在深度图像的预设一行数据中选择一段连续的像素点，包括：

在深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点；或者，

在深度图像的预设一行数据中，从右边开始向左边选择一段连续的像素点；或者，

在深度图像的预设一行数据中，从中间开始向两边选择一段连续的像素点。

可选地，在深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点，包括：

对于深度图像的预设一行数据，

确定预设一行数据最左点像素坐标p0(u,v)；

根据p0(u,v)，深度图像的深度值以及拍摄深度图的摄像机内参矩阵，得到p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)；

根据第四阈值w得到安全区域的另一个边界点(x+w,y,z)；

将(x+w,y,z)映射到深度图像上，得到点p1(u+δ,v)；

将p0(u,v)和p1(u+δ,v)之间的像素点确定为选择的一段连续的像素点。

可选地，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域，包括：

判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值；

若p0(u,v)和p1(u+δ,v)之间的各像素点的深度值均大于第三阈值，则认定 p0(u,v)和p1(u+δ,v)之间为可行通行区域。

可选地，判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值之后，还包括：

若p0(u,v)和p1(u+δ,v)之间存在像素点的深度值不大于第三阈值，则将距 p0(u,v)最近的，且深度值不大于第三阈值的像素点重新作为p0(u,v)，重复执行根据p0(u,v)，深度图像的深度值以及拍摄深度图的摄像机内参矩阵，得到 p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)的步骤及后续步骤，直至深度图像的每个像素点均被判断。

可选地，可行方向信息为一个或多个可行通行区域；

根据导航调整信息及初始导航方案确定最终导航方案，包括：

融合可行方向信息和初始导航方案，得到一个或多个可行方案；

从可行方案中选取最佳可行方案；

融合最佳可行方案和障碍物信息，得到最终导航方案。

可选地，从可行方案中选取最佳可行方案，包括：

若可行方案为一个，则该可行方案为最佳可行方案；

若可行方案为多个，则确定当前位置到局部目标的第一角度，计算各可行方案中可行通行区域所对应的角度与第一角度的差，选取差值最小的可行通行区域为最佳可行方案；

可选地，融合最佳可行方案和障碍物信息，得到最终导航方案，包括：

确定最佳可行方案是否直行；

若非直行，则最佳可行方案为最终导航方案；

若直行，则根据障碍物信息，确定最佳可行方案中的最近障碍物距离，若最近障碍物距离大于第五阈值，则最佳可行方案为最终导航方案，若最近障碍物距离不大于第五阈值，则确定最终导航方案为NULL。

可选地，第五阈值为2米。

不难理解的是，在具体实施时，就为了实现本发明的基本目的而言，上述的并不必然的需要包含上述的收发组件803。

有益效果：

本发明实施例，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

再一方面，本发明实施例还提供了一种与包括显示器的电子设备结合使用的计算机程序产品，所述计算机程序产品包括计算机可读的存储介质和内嵌于其中的计算机程序机制，所述计算机程序机制包括用于执行下述各个步骤的指令：

确定局部目标；

确定到达局部目标的初始导航方案；

获取导航调整信息；

根据导航调整信息及初始导航方案确定最终导航方案；

按最终导航方案进行导航。

可选地，确定局部目标，包括：

根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，路径类型包括：直线和拐弯；

若路径类型为直线，且第一距离大于预设的第一阈值，则在距当前位置第一阈值外的区域中确定局部目标；

若路径类型为直线，但第一距离不大于第一阈值，则将终局目标确定为局部目标；

若路径类型为拐弯，且第一距离大于第二距离，则将拐角所在位置确定为局部目标；

第一距离为当前位置与终局目标之间的距离，第二距离为当前位置与拐角所在位置之间的距离。

可选地，第一阈值为5米。

可选地，根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，包括：

根据到达终局目标的全局规划路径以及当前位置确定第一候选位置和第二候选位置，第二候选位置为第一候选位置的下一候选位置；

若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，超过第二阈值，则确定前方路径类型为拐弯；

若当前位置与第一候选位置以及第一候选位置与第二候选位置之间的夹角，未超过第二阈值，则确定前方路径类型为直线。

可选地，第二阈值为30度。

可选地，导航调整信息包括：可行方向信息和障碍物信息。

可选地，获取可行方向信息，包括：

获取深度图像；

在深度图像的预设一行数据中选择一段连续的像素点，将预设一段连续的像素点作为一个图像段；预设一行数据为预先设定的，[深度图像中间一行-预设行数，深度图像中间一行+预设行数]范围内的一行数据；

对于任一图像段，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域。

可选地，在深度图像的预设一行数据中选择一段连续的像素点，包括：

在深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点；或者，

在深度图像的预设一行数据中，从右边开始向左边选择一段连续的像素点；或者，

在深度图像的预设一行数据中，从中间开始向两边选择一段连续的像素点。

可选地，在深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点，包括：

对于深度图像的预设一行数据，

确定预设一行数据最左点像素坐标p0(u,v)；

根据p0(u,v)，深度图像的深度值以及拍摄深度图的摄像机内参矩阵，得到p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)；

根据第四阈值w得到安全区域的另一个边界点(x+w,y,z)；

将(x+w,y,z)映射到深度图像上，得到点p1(u+δ,v)；

将p0(u,v)和p1(u+δ,v)之间的像素点确定为选择的一段连续的像素点。

可选地，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域，包括：

判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值；

若p0(u,v)和p1(u+δ,v)之间的各像素点的深度值均大于第三阈值，则认定 p0(u,v)和p1(u+δ,v)之间为可行通行区域。

可选地，判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值之后，还包括：

若p0(u,v)和p1(u+δ,v)之间存在像素点的深度值不大于第三阈值，则将距p0(u,v)最近的，且深度值不大于第三阈值的像素点重新作为p0(u,v)，重复执行根据p0(u,v)，深度图像的深度值以及拍摄深度图的摄像机内参矩阵，得到 p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)的步骤及后续步骤，直至深度图像的每个像素点均被判断。

可选地，可行方向信息为一个或多个可行通行区域；

根据导航调整信息及初始导航方案确定最终导航方案，包括：

融合可行方向信息和初始导航方案，得到一个或多个可行方案；

从可行方案中选取最佳可行方案；

融合最佳可行方案和障碍物信息，得到最终导航方案。

可选地，从可行方案中选取最佳可行方案，包括：

若可行方案为一个，则该可行方案为最佳可行方案；

若可行方案为多个，则确定当前位置到局部目标的第一角度，计算各可行方案中可行通行区域所对应的角度与第一角度的差，选取差值最小所的可行通行区域为最佳可行方案；

可选地，融合最佳可行方案和障碍物信息，得到最终导航方案，包括：

确定最佳可行方案是否直行；

若非直行，则最佳可行方案为最终导航方案；

若直行，则根据障碍物信息，确定最佳可行方案中的最近障碍物距离，若最近障碍物距离大于第五阈值，则最佳可行方案为最终导航方案，若最近障碍物距离不大于第五阈值，则确定最终导航方案为NULL。

可选地，第五阈值为2米。

有益效果：

本发明实施例，确定局部目标；确定到达局部目标的初始导航方案；获取导航调整信息；根据导航调整信息及初始导航方案确定最终导航方案；按最终导航方案进行导航，实现了高效、安全地引导盲人到达目的地的功能，进而实现了同时进行导航和避障的功能。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有程序代码的可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和程序产品的流程图和/或方框图来描述的。应理解可由程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的可读存储器中，使得存储在该可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (7)

1.一种基于云端的导航方法，其特征在于，所述方法，包括：

确定局部目标；

确定到达所述局部目标的初始导航方案；

获取导航调整信息；

根据所述导航调整信息及所述初始导航方案确定最终导航方案；

按所述最终导航方案进行导航；

所述确定局部目标，包括：

根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，所述路径类型包括：直线和拐弯；

若所述路径类型为直线，且第一距离大于预设的第一阈值，则在距所述当前位置第一阈值外的区域中确定局部目标；

若所述路径类型为直线，但所述第一距离不大于所述第一阈值，则将所述终局目标确定为局部目标；

若所述路径类型为拐弯，且所述第一距离大于第二距离，则将拐角所在位置确定为局部目标；

所述第一距离为所述当前位置与所述终局目标之间的距离，所述第二距离为所述当前位置与所述拐角所在位置之间的距离；

导航调整信息包括：可行方向信息和障碍物信息；

获取可行方向信息，包括：

获取深度图像；

在所述深度图像的预设一行数据中选择一段连续的像素点，将每一段连续的像素点作为一个图像段；所述预设一行数据为预先设定的，[所述深度图像中间一行-预设行数，所述深度图像中间一行+预设行数]范围内的一行数据；

对于任一图像段，若所述任一图像段的各像素点的深度值均大于第三阈值，且所述任一图像段对应的物理空间的宽度不小于第四阈值，则确定所述任一图像段为可行通行区域；

所述在所述深度图像的预设一行数据中选择一段连续的像素点，包括：

在所述深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点；或者，

在所述深度图像的预设一行数据中，从右边开始向左边选择一段连续的像素点；或者，

在所述深度图像的预设一行数据中，从中间开始向两边选择一段连续的像素点。

2.根据权利要求1所述的方法，其特征在于，所述根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，包括：

根据到达终局目标的全局规划路径以及当前位置确定第一候选位置和第二候选位置，所述第二候选位置为所述第一候选位置的下一候选位置；

若当前位置与所述第一候选位置以及所述第一候选位置与所述第二候选位置之间的夹角，超过第二阈值，则确定前方路径类型为拐弯；

若当前位置与所述第一候选位置以及所述第一候选位置与所述第二候选位置之间的夹角，未超过第二阈值，则确定前方路径类型为直线。

3.根据权利要求1所述的方法，其特征在于，所述在所述深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点，包括：

确定所述预设一行数据最左点像素坐标p0(u,v)；

根据所述p0(u,v)，所述深度图像的深度值以及拍摄所述深度图的摄像机内参矩阵，得到p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)；

根据第四阈值w得到安全区域的另一个边界点(x+w,y,z)；

将(x+w,y,z)映射到所述深度图像上，得到点p1(u+δ,v)；

将p0(u,v)和p1(u+δ,v)之间的像素点确定为选择的一段连续的像素点；

所述若所述任一图像段的各像素点的深度值均大于第三阈值，且所述任一图像段对应的物理空间的宽度不小于第四阈值，则确定所述任一图像段为可行通行区域，包括：

判断p0(u,v)和p1(u+δ,v)之间的各像素点的深度值是否均大于第三阈值；

若p0(u,v)和p1(u+δ,v)之间的各像素点的深度值均大于第三阈值，则认定p0(u,v)和p1(u+δ,v)之间为可行通行区域；

若p0(u,v)和p1(u+δ,v)之间存在像素点的深度值不大于第三阈值，则将距p0(u,v)最近的，且深度值不大于第三阈值的像素点重新作为p0(u,v)，重复执行根据p0(u,v)，所述深度图像的深度值以及拍摄所述深度图的摄像机内参矩阵，得到p0(u,v)在摄像机坐标系下的3D物理坐标(x,y,z)的步骤及后续步骤，直至所述深度图像的每个像素点均被判断。

4.根据权利要求3所述的方法，其特征在于，所述可行方向信息为一个或多个可行通行区域；

所述根据所述导航调整信息及所述初始导航方案确定最终导航方案，包括：

融合所述可行方向信息和所述初始导航方案，得到一个或多个可行方案；

从可行方案中选取最佳可行方案；

融合所述最佳可行方案和所述障碍物信息，得到最终导航方案；

所述从可行方案中选取最佳可行方案，包括：

若可行方案为一个，则该可行方案为最佳可行方案；

若可行方案为多个，则确定当前位置到所述局部目标的第一角度，计算各可行方案中可行通行区域所对应的角度与第一角度的差，选取差值最小的可行通行区域为最佳可行方案；

所述融合所述最佳可行方案和所述障碍物信息，得到最终导航方案，包括：

确定所述最佳可行方案是否直行；

若非直行，则所述最佳可行方案为最终导航方案；

若直行，则根据所述障碍物信息，确定所述最佳可行方案中的最近障碍物距离，若最近障碍物距离大于第五阈值，则所述最佳可行方案为最终导航方案，若最近障碍物距离不大于第五阈值，则确定最终导航方案为零值NULL。

5.一种导航系统，其特征在于，所述系统，包括：局部目标选取模块，初始导航方案确定模块，通路检测模块，超声检测模块，决策模块和导航模块；

所述局部目标选取模块，用于根据到达终局目标的全局规划路径以及当前位置确定局部目标；

所述初始导航方案确定模块，用于确定到达所述局部目标选取模块确定的局部目标的初始导航方案；

所述通路检测模块，用于获取可行方向信息；

所述超声检测模块，用于获取障碍物信息；

所述决策模块，用于根据所述通路检测模块获取的可行方向信息、所述超声检测模块获取的障碍物信息及所述初始导航方案确定模块确定的初始导航方案确定最终导航方案；

所述导航模块，用于按所述决策模块确定的最终导航方案进行导航；

所述局部目标选取模块在确定局部目标时，用于：

根据到达终局目标的全局规划路径以及当前位置确定前方路径类型，所述路径类型包括：直线和拐弯；

若所述路径类型为直线，且第一距离大于预设的第一阈值，则在距所述当前位置第一阈值外的区域中确定局部目标；

若所述路径类型为直线，但所述第一距离不大于所述第一阈值，则将所述终局目标确定为局部目标；

若所述路径类型为拐弯，且所述第一距离大于第二距离，则将拐角所在位置确定为局部目标；

所述第一距离为所述当前位置与所述终局目标之间的距离，所述第二距离为所述当前位置与所述拐角所在位置之间的距离；

所述系统还包括：深度图获取装置；

所述深度图获取装置，用于获取深度图像，所述深度图获取装置为双目摄像头；或者，所述深度图获取装置为RGB-D摄像头；

所述通路检测模块，用于在深度图获取装置获取的深度图像的预设一行数据中选择一段连续的像素点，将每一段连续的像素点作为一个图像段；预设一行数据为预先设定的，[深度图像中间一行-预设行数，深度图像中间一行+预设行数]范围内的一行数据；对于任一图像段，若任一图像段的各像素点的深度值均大于第三阈值，且任一图像段对应的物理空间的宽度不小于第四阈值，则确定任一图像段为可行通行区域；在深度图获取装置获取的深度图像的预设一行数据中，从左边开始向右边选择一段连续的像素点；或者，在深度图获取装置获取的深度图像的预设一行数据中，从右边开始向左边选择一段连续的像素点；或者，在深度图获取装置获取的深度图像的预设一行数据中，从中间开始向两边选择一段连续的像素点。

6.一种电子设备，其特征在于，所述电子设备包括：存储器，一个或多个处理器；存储器与处理器通过通信总线相连；处理器被配置为执行存储器中的指令；所述存储器中存储有用于执行权利要求1至4任一项所述方法中各个步骤的指令。

7.一种与包括显示器的电子设备结合使用的计算机可读存储介质，内嵌于其中的程序机制包括用于执行权利要求1至4任一所述方法中各个步骤的指令。