CN111329735B - 一种导盲方法、装置及系统 - Google Patents

Abstract

本发明实施例提供了一种导盲方法、装置及系统，可以获得预设的摄像头拍摄的当前路况图像；获得当前路况图像对应的用于表征当前路况图像所指示的方向结果，方向结果是通过将当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果。可见，本发明实施例仅需通过将拍摄的当前路况图像直接输入至预先训练好的图像分类模型，便可直接获得当前路况图像对应的方向结果，可见，应用本发明实施例提供的导盲方法在不增加处理器负担的基础上，还能够提高导航的准确性。

Description

一种导盲方法、装置及系统

技术领域

本发明涉及盲人导航的技术领域，特别是涉及一种导盲方法、装置及系统。

背景技术

视力障碍是一种对人类生活质量影响很严重的疾病。据世界卫生组织统计，全球共有4500万盲人，而且每年还以700万新生盲人的数量递增，这意味着几乎每几分钟就会出现一位新的盲人。由于视力缺乏，出行问题一直是困扰盲人或视力障碍人士的重要问题之一。如何能够提供一种有效的导盲方法或系统，为盲人朋友的出行提供精确、具体的指引，一直以来是社会中关注的焦点，也是研究人员研究的重点。

近年来也有一些基于现代信息技术的导盲方法或系统出现。如基于环境信息的地图模型匹配导航方法，该导航方法是利用各种传感器，如视觉、超声波、激光、GPS等，探测使用者的周边环境，并利用探测到的环境信息构建导航地图，进而根据构建的导航地图，为使用者反馈实时路径。

但是该地图模型匹配导航方法需要利用使用者周边环境构建导航地图，这样，不仅对处理器的计算性能有较高的要求，还会造成处理器计算负担大，另外，各个传感器之间也会存在较强的干扰性，进而可能造成传感器所收集的周边环境信息与实际周边环境信息不符，从而使得应用上述导航方法导航的准确性差。

发明内容

本发明实施例的目的在于提供一种导盲方法、装置及电子设备，以在不增加处理器负担的基础上，提高导航的准确性。具体技术方案如下：

第一方面，本发明实施例提供了一种导盲方法，所述方法包括：

获得预设的摄像头拍摄的当前路况图像；

获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像。

本发明的一个实施例中，在所述获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果之后，所述方法还包括：

根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息。

本发明的一个实施例中，所述根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，包括；

根据所述方向结果，按照语音播报的方式生成能够提示盲人按照所述方向结果行走的语音播报信息，或，根据所述方向结果，通过触觉感知的方式生成能够提示盲人按照所述方向结果行走的感知信息。

本发明的一个实施例中，通过以下训练方式获得所述图像分类模型：

获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，其中，多个摄像头中相邻两个摄像头的光轴线的夹角为预设角度；

针对每一样本路况图像，获得用于表征该样本路况图像的指示方向的标注信息；

以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述标注信息为训练基准，对所述深度神经网络进行训练，得到所述图像分类模型。

本发明的一个实施例中，所述获得预设的摄像头拍摄的当前路况图像，包括：

获得预设的、且与地面呈目标距离的摄像头拍摄的当前路况图像；

所述获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，包括：

获得针对每一路径，置于多个不同预设方向的、且均与地面呈所述目标距离的摄像头同时拍摄该路径所得到的样本路况图像。

本发明的一个实施例中，在所述获得预设的摄像头拍摄的当前路况图像之后，所述方法还包括：

对所述当前路况图像进行灰度化处理，并调整灰度化处理后的当前路况图像的大小成一致，得到新的当前路况图像；

在所述获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像之后，还包括：

对所述样本路况图像进行灰度化处理，并调整灰度化处理后的样本路况图像的大小成一致，得到新的样本路况图像。

第二方面，本发明实施例提供一种导盲装置，所述导盲装置包括：

路况图像获得模块，用于获得预设的摄像头拍摄的当前路况图像；

方向结果获得模块，用于获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；其中，所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像。

本发明的一个实施例中，所述系统还包括训练模块，所述训练模块，用于训练得到所述图像分类模型；

其中，所述训练模块包括：

样本路况图像获得子模块，用于获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，其中，多个摄像头中相邻两个摄像头的光轴线的夹角为预设角度；

标注信息获得子模块，用于针对每一样本路况图像，获得用于表征该样本路况图像的指示方向的标注信息；

图像分类模型得到子模块，用于以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述表征信息为训练基准，对所述深度神经网络进行训练，得到所述图像分类模型。

本发明的一个实施例中，所述路况图像获得模块，包括：

路况图像获得子模块，用于获得预设的、且与地面呈目标距离的摄像头拍摄的当前路况图像；

所述样本路况图像获得子模块，包括：

样本路况图像获得单元，用于获得针对每一路径，置于多个不同预设方向的、且均与地面呈所述目标距离的摄像头同时拍摄该路径所得到的样本路况图像。

本发明的一个实施例中，所述导盲装置还包括：

第一处理模块，用于在所述路况图像获得模块获得路况图像之后，对所述当前路况图像进行灰度化处理，并调整灰度化处理后的路况图像的大小成一致，得到新的当前路况图像；

第二处理模块，用于在所述样本路况图像获得子模块获得样本路况图像之后，对所述样本路况图像进行灰度化处理，并调整灰度化处理后的样本路况图像的大小成一致，得到新的样本路况图像。

第三方面，本发明实施例提供一种导盲系统，所述导盲系统包括：摄像头、触发执行单元和上述任一实施例所述的导盲装置，

其中，所述摄像头，用于拍摄当前路况图像，并向所述导盲装置发送所述当前路况图像；

所述触发执行机构，用于获得所述导盲装置发送的所述方向结果，并按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，以触发与所述执行信息对应的提示动作。

本发明的一个实施例中，所述触发执行机构为语音播报器；

所述语音播报器，用于接收所述导盲装置发送的所述方向结果，并按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，以播放所述执行信息。

本发明实施例有益效果：

本发明实施例提供的一种导盲方法、装置及系统，可以获得预设的摄像头拍摄的当前路况图像；获得当前路况图像对应的用于表征当前路况图像所指示的方向结果，其中，方向结果是通过将当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果。可见，相对于现有技术而言，本发明实施例无需使用各个传感器收集的周边环境信息构建导航地图，而是仅需通过将拍摄的当前路况图像直接输入至预先训练好的图像分类模型，便可直接获得当前路况图像对应的方向结果，可见，应用本发明实施例提供的导盲方法在不增加处理器负担的基础上，还能够提高导航的准确性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的第一种导盲方法的流程示意图；

图2为本发明实施例提供的第二种导盲方法的流程示意图；

图3为本发明实施例提供的一种摄像头放置的位置示意图；

图4为本发明实施例提供的盲人导航中行走路径的方向示意图；

图5为本发明实施例提供的盲人导航中视线方向的示意图；

图6为本发明实施例提供的盲人导航行走的判别示意图；

图7为本发明实施例提供的视一种导盲装置的结构示意图；

图8为本发明实施例提供的视一种电子设备的结构示意图。

1-左侧摄像头；2-中间摄像头；3-右侧摄像头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高导航的准确性，本发明实施例提供了一种导盲方法、预测方法、装置及电子设备。

本发明实施例所提供的视差图预测模型训练方法和预测方法可以应用于任意需要导盲的电子设备，如：电脑或移动终端等，移动终端可以为手机和电话手表，电脑可以为便于携带的平板电脑。在此不做具体限定。为了描述方便，以下简称电子设备。

参见图1，图1为本发明实施例提供的第一种导盲方法的流程示意图，应用于客户端，该方法的具体处理流程包括：

S101，获得预设的摄像头拍摄的当前路况图像。

上述摄像头可以为电子设备上原有的摄像头，该电子设备可以为移动终端，如手机、平板电脑和电话手表等，当前路况图像可以是通过手机上的摄像头拍摄获得的，也可以是通过平板电脑上的摄像头获得的，还可以是通过电话手表上的摄像头，本发明实施例对此不作具体限定。

为了提高依据当前路况图像进行导航的准确率，在本发明的一种实施例中，当前路况图像与样本路况图像均为摄像头位于地面同一高度处拍摄获得的。

S102，获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像。

本步骤获得的方向结果可能存在两种情况，具体为：

第一种情况：客户端将所述当前路况图像输入至预设的图像分类模型中进行方向预测，获得当前路况图像对应的用于表征所述当前路况图像所指示的方向结果。

第二种情况：客户端向服务器发送当前路况图像，服务器将当前路况图像输入至预设的图像分类模型中进行方向预测，获得当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，并向客户端发送获得的方向结果。

如果客户端与服务器处于连接状态的情况下，客户端可以自动按照第二种情况，实现为盲人导航，这样，能够避免客户端应用自身的图像分类模型预测当前路况图像对应的方向结果，减轻了客户端处理器的负担。

如果客户端与服务器处于未连接状态的情况下，客户端可以自动按照第一种情况，实现为盲人导航。

参见图2，图2为本发明实施例提供第二种导盲方法的流程示意图，应用于客户端，具体实现方式可以包括如下步骤：

S201，获得预设的摄像头拍摄的当前路况图像。

S202，判断客户端与服务器是否处于连接状态，如果客户端与服务器处于连接状态，执行S203，如果客户端与服务器处于连接状态，执行S204。

S203，向服务器发送当前路况图像，以使服务器将当前路况图像输入至预设的图像分类模型中进行方向预测，获得当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，并将向客户端发送获得的方向结果，并获得所述服务器发送的当前路况图像对应的方向结果。

S204，将所述当前路况图像输入至预设的图像分类模型中进行方向预测，获得当前路况图像对应的用于表征所述当前路况图像所指示的方向结果。

上述图像分类模型的输入参数为当前路况图像，图像分类模型的输出参数为当前路况图像对应的方向结果。具体实施方式将在后面实施例中详细描述，这里暂不详述。

上述预设方向是根据摄像头等传感装置采集的路况图像，将盲人行走方式归类和量化确定的行进方向，例如，以人的双眼的正视方向作为基准，这些预设方向可以是正前方、左偏方向和右偏方向。

样本路况图像获取的一种实现方式为：按照确定的预设方向，在正常人身上的各个预设方向均对应安装一个摄像头，并通过正常行走采集大量的图像数据作为样本路况图像。一般是在距离地面预设距离的人身体位置处安装多个能拍摄不同方向的摄像头，这些摄像头最好是安装在能拍摄人行走的前方路况，可以不必在人的后方安装摄像头，如果要实现盲人后退走路，则也可以在人的后方安装摄像头，摄像头的安装位置也根据人的实际应用场景决定。

上述方向结果可以至少为两种情况，第一种情况为：方向结果包括提示方向和提示方向对应的概率。

示例性的，设提示方向包括三个，分别为左转，右转和直行，则方向结果为：左转，10％，右转80％，直行，10％。

第二种情况为：仅显示概率大的提示方向。

基于上述示例，则方向结果为右转。

由此可见，本发明实施例提供的一种导盲方法，可以获得预设的摄像头拍摄的当前路况图像；获得当前路况图像对应的用于表征当前路况图像所指示的方向结果，其中，方向结果是通过将当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果。可见，相对于现有技术而言，本发明实施例无需使用各个传感器收集的周边环境信息构建导航地图，而是仅需通过将拍摄的当前路况图像直接输入至预先训练好的图像分类模型，便可直接获得当前路况图像对应的方向结果，可见，应用本发明实施例提供的导盲方法在不增加处理器负担的基础上，还能够提高导航的准确性。

本发明的一个实施例中，在S102之后，所述方法还包括如下步骤A：

步骤A，根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息。

针对上述两种情况的方向结果，则可以生成同一结果的执行信息。

示例性的，如果方向结果为第一种情况的示例，则生成的执行信息是表征请向右转的提示信息。

如果方向结果为第二种情况的示例，则生成的执行信息也是表征请向右转的提示信息。

上述预设的执行方式可以为根据盲人的具体实际情况确定的、用于提示盲人按照方向结果行走的执行手段，这些执行方式可以是语音播放方式或触觉感知方式，具体选择哪一种执行方式可以视实际应用场景确定。

基于上述情况，考虑到盲人的实际情况，如果盲人有听力障碍，则上述预设的执行方式可以为触觉感知方式，如果盲人没有听力障碍，则上述预设的执行方式可以为语音播报方式。具体的实现方式将在后续进一步详述，这里暂不详述。

可见，本实施例根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，能够提高兼并不同残障的盲人适用，进而适用范围广。

基于上述对执行方式的描述，本发明的一个实施例中，步骤A的具体实现方式可以包括如下步骤：

根据所述方向结果，按照语音播报的方式生成能够提示盲人按照所述方向结果行走的语音播报信息，或，根据所述方向结果，通过触觉感知的方式生成能够提示盲人按照所述方向结果行走的感知信息。

上述触觉感知方式可以通过触发人身体用于代表不同方向的不同部位，以通过触觉提示盲人按照方向结果行走。

示例性的，如果方向结果表示向右转，则可以通过触发人身体的右侧部位或是预先设定好的部位，以使盲人感知到提示向右转，如果方向结果表示向左转或是预先设定好的部位，则可以通过触发人身体的左侧部位，以使盲人感知到提示向左转，如果方向结果表示直行走，则可以通过触发人身体的中间的某一部位或是预先设定好的部位，以使盲人感知到提示直行走。

可见，本实施例根据所述方向结果，按照语音播报的方式生成能够提示盲人按照所述方向结果行走的语音播报信息，或，根据所述方向结果，通过触觉感知的方式生成能够提示盲人按照所述方向结果行走的感知信息，能够为具有听力或肢体的残障盲人提供提示信息，具有广泛的适用性。

本发明的一个实施例中，通过以下步骤B～步骤D的训练方式获得所述图像分类模型：

步骤B，获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，其中，多个摄像头中相邻两个摄像头的光轴线的夹角为预设角度。

样本路况图像可以来源于拍摄的多条路径，每一路径，均是来自不同预设方向的摄像头在自身的位置处同时拍摄的。

样本路况图像拍摄的图像可以是彩色图像，也可以是灰度图像，本实施例对此并不限定。

基于上述对预设方向的描述，预设方向的确定是以人的双眼的正视方向作为基准，上述不同预设方向可以为正前方、左偏方向和右偏方向，则摄像头放置的位置对应为正前方位置、左侧方向位置和右侧方向位置。且采样人员同时携带三个摄像头沿行走道路的主要方向前进。

预设角度可以取30°，如左摄像头、右摄像头和中间摄像头之间均可以为夹角30°。以俯视视角观看，如图3所示，左侧摄像头1采集到的数据作为右转分类的数据，中间摄像头2采集到的数据作为直行分类的数据，右侧摄像头3采集到的数据作为左转分类的数据。

例如，正常人携带朝正前方、朝左偏45度和朝右偏45度的三个方向的摄像头分别采集每一路径的图像。

步骤C，针对每一样本路况图像，获得用于表征该样本路况图像的指示方向的标注信息。

采集前，对每个摄像头对应的位置，如正前方、左偏或右偏，作为所采集样本路况图像的类别标注，以及不同摄像头对应的行进方向作为该样本路况图像的指示分类标注，也就是，某一摄像头拍摄的样本路况图像的标注信息为(类别标注，指示分类标注)。

例如，位于直行位置的摄像头拍摄的某个样本路况图像的标注信息为(I,直行)，也就是，位于直行位置的摄像头采集的某个路况图像会标注的类别标注为I，通过数据映射后生成的指示分类标注为直线，则该样本路况图像为标注信息为(I，直行)。

步骤D，以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述标注信息为训练基准，对所述深度神经网络进行训练，得到所述图像分类模型。

图像分类模型可以通过将样本路况图像作为输入值，输入到深度神经网络中，得到该图像分类模型的输出值，通过将输出值与样本路况图像对应的标注信息输入损失模型中，判断该损失模型是否收敛，来确定是否需要调整深度神经网络的参数再次训练。

本实施例中图像分类模型输出的方向结果中包括的具体分类数量是根据预先设定的分类类别数的行进方向数量确定的，为了简化，在具体实施过程中可以考虑左转、直行和右转三个方向，也即图像分类模型的输出有三个分类类别，也就是左转、直行和右转。

在获得图像分类模型后，可以使用如下方式确定的样本路径图像进行验证，以验证该图像分类模型的准确性，具体为：

如图4所示，向量t是盲人行走路径的主要方向，在路径上的任意一点时刻保持与路径构成的曲线相切，在正常行走过程中，将始终朝向t前进。

如图5所示，v为指向摄像头光轴的方向的向量，也就是视线方向，并且假定各个摄像头v的方向一致保持水平并实时落在水平面内。

图5中α为视线方向v与路径方向t的夹角，通过α的值来确定上述预设方向，也就是图像分类模型的三个分类，这三个分类分别对应携带摄像头的人在沿着这条路径行进过程中所需要执行的三种不同的动作，并且假定摄像头光轴所面对的方向就是此人实际前进的方向，如图6所示，上述这三个动作分别为：

左转TL：当-90°<α<-β时，表示当前路径已经偏离前进方向并转向了摄像头所拍摄图像的左侧，β为图6中两个虚线之间的夹角。

直行GS：当-β≤α<+β时，表示当前路径与当前前进方向重叠，向前延伸，或者，当前前进方向与当前路径方向之间的夹角α小于预设角度β，其中，β为15°。

右转TR：当+β≤α<+90°时，表示当前路径已经偏离前进方向并转向了摄像头拍摄的图像的右侧。

本实施例的深度神经网络可以采用ResNet(Residual Neural Network，残差神经网络)作为深度卷积神经网络的骨干网，ResNet引入了残差网络的结构，该结构使得神经网络的深度能够得到提高，其中，神经网络的深度的增加可以提高神经网络模型的准确性，可表达的特征越丰富，但增加到一定程度模型的效果将会下降，即网络模型产生退化。ResNet通过引入残差学习来解决这个问题，使网络模型在深度加深的同时，效果也得到提高。因此，具有ResNet的深度神经网络的结果精度较未使用ResNet的网络结构的结果精度而言，结果精度更高。

可见，本实施例提供的方案中，以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述标注信息为训练基准，对所述深度神经网络进行训练得到图像分类模型，由于训练所使用的样本路况图像是基于置于多个不同预设方向的摄像头同时拍摄各个路径所获得的，可见，本实施例采用了实地采样的方法，既方便又快捷，因此，应用本实施例提供的方案预测出的方向结果，不仅能够更加准确和真实地放映出盲人正确的行走路径，还能够提高应用本发明实施例的导盲方法的鲁棒性。

如果在训练图像分类模型时，样本路况图像是各个摄像头与地面是在第一距离的情况下拍摄的，而在实际应用时，输入至图像分类模型的当前路况图像是摄像头与地面在第二距离的情况下拍摄的，且第一距离并不等于第二距离，这样，由于第一距离和第二距离的不相等，可能会导致在实际应用时，图像分类模型输出的方向结果的准确率降低。为了解决上述问题，本发明的一个实施例中，S101的具体实现方式可以包括步骤E：

步骤E，获得预设的、且与地面呈目标距离的摄像头拍摄的当前路况图像。

上述目标距离为摄像头与地面的距离。

为了既能满足人在行走过程中所拍摄的路况图像的视野大小，也能方便使用者拍摄摄像头的电子设备，目标距离的取值范围为1.5～1.8。

基于上述步骤E，上述步骤C的具体实现方式可以包括步骤F：

步骤F，获得针对每一路径，置于多个不同预设方向的、且均与地面呈所述目标距离的摄像头同时拍摄该路径所得到的样本路况图像。

为了使得训练后的图像分类模型所预测的方向结果准确，则在训练时，置于不同方向的摄像头与地面的距离均与，在实际应用时，摄像头与地面的距离相同，也就是，置于不同预设方向的摄像头与地面的距离均为目标距离。

可见，本实施例提供的方案中，当前路况图像是基于与地面呈目标距离的摄像头拍摄的，样本路况图像也是基于与地面呈目标距离的摄像头拍摄的，这样使得利用训练后的图像分类模型预测的当前路况图像的方向结果更加准确。

如果在训练图像分类模型时，样本路况图像是各个摄像头拍摄的灰度图像，而在实际应用时，输入至图像分类模型的当前路况图像是摄像头拍摄的彩色图像，且当前路况图像与样本路况图像的大小不一致，这样，训练后的图像分类模型可能会导致在实际应用时，图像分类模型输出的方向结果的准确率降低。为了解决上述问题，本发明的一个实施例中，在S101之后，所述方法还包括如下步骤G：

步骤G，对所述当前路况图像进行灰度化处理，并调整灰度化处理后的当前路况图像的大小成一致，得到新的当前路况图像。

针对摄像头拍摄的彩色的当前路况图像，首先可以将拍摄的彩色的当前路况图像进行灰度化处理，并将处理后的图像调整成预先设定的固定尺寸。

上述预先设定的固定尺寸是根据样本路况图像的大小决定的，也就是说，在训练图像分类模型时，样本路况图像的大小就是确定的固定尺寸。

基于上述步骤G，在步骤C之后，上述方法还可以包括如下步骤H：

步骤H，对所述样本路况图像进行灰度化处理，并调整灰度化处理后的样本路况图像的大小成一致，得到新的样本路况图像。

为了使得训练后的图像分类模型所预测的方向结果准确，则在训练时，置于不同方向的摄像头拍摄的样本路况图像的大小，与，在实际应用时，摄像头拍摄的当前路况图像的大小相同，也就是，置于不同预设方向的摄像头拍摄的样本路况图像的大小均为固定尺寸。

可见，本实施例提供的方案中，在训练时，对样本路况图像进行灰度化处理并调整当前路况图像的大小，在应用时，对当前路况图像进行灰度化处理并调整当前路况图像的大小与样本路况图像的大小一致，这样使得利用训练后的图像分类模型预测的当前路况图像的方向结果更加准确。

与上述导盲方法相对应，本发明实施例还提供了导盲装置。

参见图7，图7为本发明实施例提供一种导盲装置的结构示意图，应用于客户端，该导盲装置可以包括：

路况图像获得模块701，用于获得预设的摄像头拍摄的当前路况图像；

方向结果获得模块702，用于获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；其中，所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像。

本发明的一个实施例中，该导盲装置还可以包括：

执行信息生成模块，用于根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息。

本发明的一个实施例中，该导盲装置还可以包括：

语音播报信息生成子模块，用于根据所述方向结果，按照语音播报的方式生成能够提示盲人按照所述方向结果行走的语音播报信息，

或，

感知信息生成子模块，用于根据所述方向结果，通过触觉感知的方式生成能够提示盲人按照所述方向结果行走的感知信息。

本发明的一个实施例中，该导盲装置还可以包括训练模块，所述训练模块，用于训练得到所述图像分类模型；

其中，所述训练模块可以包括：

样本路况图像获得子模块，用于获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，其中，多个摄像头中相邻两个摄像头的光轴线的夹角为预设角度；

标注信息获得子模块，用于针对每一样本路况图像，获得用于表征该样本路况图像的指示方向的标注信息；

图像分类模型得到子模块，用于以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述表征信息为训练基准，对所述深度神经网络进行训练，得到所述图像分类模型。

本发明的一个实施例中，所述路况图像获得模块701可以包括：

路况图像获得子模块，用于获得预设的、且与地面呈目标距离的摄像头拍摄的当前路况图像；

所述样本路况图像获得子模块，包括：

样本路况图像获得单元，用于获得针对每一路径，置于多个不同预设方向的、且均与地面呈所述目标距离的摄像头同时拍摄该路径所得到的样本路况图像。

本发明的一个实施例中，该导盲装置还可以包括：

第一处理模块，用于在所述路况图像获得模块获得路况图像之后，对所述当前路况图像进行灰度化处理，并调整灰度化处理后的路况图像的大小成一致，得到新的当前路况图像；

第二处理模块，用于在所述样本路况图像获得子模块获得样本路况图像之后，对所述样本路况图像进行灰度化处理，并调整灰度化处理后的样本路况图像的大小成一致，得到新的样本路况图像。

由此可见，本发明实施例提供的一种导盲装置，可以获得预设的摄像头拍摄的当前路况图像；获得当前路况图像对应的用于表征当前路况图像所指示的方向结果，其中，方向结果是通过将当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果。可见，相对于现有技术而言，本发明实施例无需使用各个传感器收集的周边环境信息构建导航地图，而是仅需通过将拍摄的当前路况图像直接输入至预先训练好的图像分类模型，便可直接获得当前路况图像对应的方向结果，可见，应用本发明实施例提供的导盲装置在不增加处理器负担的基础上，还能够提高导航的准确性。

本发明实施例还提供了一种导盲系统，该导盲系统包括：摄像头、触发执行机构和上述任一项实施例所述的导盲装置。

其中，所述摄像头，用于拍摄当前路况图像，并向所述导盲装置发送所述当前路况图像；

所述触发执行机构，用于获得所述导盲装置发送的所述方向结果，并按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，以触发与所述执行信息对应的提示动作。

上述触发执行机构可以为语音播放器，该语音播放器，用于接收所述导盲装置发送的所述方向结果，并按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，以播放所述执行信息。

上述触发执行机构也可以为触觉感知机构，该触觉感知机构，用于接收所述导盲装置发送的所述方向结果，并按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，以触发与所述执行信息对应的输出端执行提示动作。

上述输出端执行的提示动作可以是在表征执行信息对应的身体部位出现振动，以提示盲人按照该身体部位所表征的执行信息行走。

示例性的，如果执行信息表征左转，触发执行机构的输出端为手环，且左手腕佩戴的手环表示左转，则触发执行机构接收到表征左转的执行信息后，触发左手腕的手环振动，则盲人根据左手腕手环所表征的信息，便可知道左转。

由此可见，本发明实施例提供的一种导盲系统，该导盲系统包括：摄像头、触发执行机构和上述任一项实施例所述的导盲装置，相对于现有技术而言，本发明实施例无需使用各个传感器收集的周边环境信息构建导航地图，而是仅需通过将拍摄的当前路况图像直接输入至预先训练好的图像分类模型，便可直接获得当前路况图像对应的方向结果，可见，应用本发明实施例提供的导盲系统在不增加处理器负担的基础上，还能够提高导航的准确性，另外，当盲人携带该导盲系统出行时，便可指导盲人的行进，可见，该该导盲系统能够使用较少的零部件，更加自动化地在小范围内进行导航，从而使盲人的出行更加的方便快捷和高效。

本发明实施例还提供了一种电子设备，如图8所示，电子设备包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信，

存储器803，用于存放计算机程序；

处理器801，用于执行存储器803上所存放的程序时，实现本发明实施例提供的导盲方法。

具体的，上述一种导盲方法，该方法包括：

获得预设的摄像头拍摄的当前路况图像；

获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像。

由此可见，执行本实施例提供的电子设备，通过获得预设的摄像头拍摄的当前路况图像；获得当前路况图像对应的用于表征当前路况图像所指示的方向结果，其中，方向结果是通过将当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果。可见，相对于现有技术而言，本发明实施例无需使用各个传感器收集的周边环境信息构建导航地图，而是仅需通过将拍摄的当前路况图像直接输入至预先训练好的图像分类模型，便可直接获得当前路况图像对应的方向结果，可见，应用本发明实施例提供的导盲方法在不增加处理器负担的基础上，还能够提高导航的准确性。

上述的相关导盲方法的实施方式与前述方法实施例部分提供的导盲方式相同，这里不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的导盲方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的导盲方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统及电子设备等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种导盲方法，其特征在于，应用于客户端，所述方法包括：

获得预设的摄像头拍摄的当前路况图像；

获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对预设的深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像；其中，所述深度卷积神经网络为残差神经网络ResNet；

通过以下训练方式获得所述图像分类模型：

当正常人携带置于多个不同预设方向的摄像头沿行走道路的主要方向前进时，获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，其中，多个摄像头中相邻两个摄像头的光轴线的夹角为预设角度；

针对每一样本路况图像，获得用于表征该样本路况图像的指示方向的标注信息；其中，对每个摄像头对应的位置，作为所采集样本路况图像的类别标注，以及不同摄像头对应的行进方向作为所述样本路况图像的指示分类标注；

以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述标注信息为训练基准，对所述深度神经网络进行训练，得到所述图像分类模型；

在所述获得预设的摄像头拍摄的当前路况图像之后，所述方法还包括：

对所述当前路况图像进行灰度化处理，并调整灰度化处理后的当前路况图像的大小成一致，得到新的当前路况图像；

在所述获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像之后，还包括：

对所述样本路况图像进行灰度化处理，并调整灰度化处理后的样本路况图像的大小成一致，得到新的样本路况图像，新的样本路况图像与新的当前路况图像的大小一致；

所述获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，包括：

如果所述客户端与服务器处于连接状态，所述客户端向所述服务器发送所述当前路况图像，所述服务器将所述当前路况图像输入至预设的图像分类模型中进行方向预测，获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，并向所述客户端发送获得的方向结果；

如果所述客户端与服务器处于未连接状态，所述客户端将所述当前路况图像输入至预设的图像分类模型中进行方向预测，获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果。

2.如权利要求1所述的方法，其特征在于，在所述获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果之后，所述方法还包括：

根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息。

3.如权利要求2所述的方法，其特征在于，所述根据所述方向结果，按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，包括；

根据所述方向结果，按照语音播报的方式生成能够提示盲人按照所述方向结果行走的语音播报信息，或，根据所述方向结果，通过触觉感知的方式生成能够提示盲人按照所述方向结果行走的感知信息。

4.如权利要求1所述的方法，其特征在于，所述获得预设的摄像头拍摄的当前路况图像，包括：

获得预设的、且与地面呈目标距离的摄像头拍摄的当前路况图像；

所述获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，包括：

获得针对每一路径，置于多个不同预设方向的、且均与地面呈所述目标距离的摄像头同时拍摄该路径所得到的样本路况图像。

5.一种导盲装置，其特征在于，应用于客户端，所述导盲装置包括：

路况图像获得模块，用于获得预设的摄像头拍摄的当前路况图像；

方向结果获得模块，用于获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，其中，所述方向结果是通过将所述当前路况图像输入至预设的图像分类模型中进行方向预测获得的结果，所述图像分类模型为预先利用样本路况图像对深度卷积神经网络进行训练，得到的、用于表征路况图像所指示的方向结果；其中，所述样本路况图像为针对每一路径，置于多个不同预设方向的摄像头同时所拍摄该路径得到的路况图像；其中，所述深度卷积神经网络为残差神经网络ResNet；

其中，所述获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，包括：

如果所述客户端与服务器处于连接状态，所述客户端向所述服务器发送所述当前路况图像，所述服务器将所述当前路况图像输入至预设的图像分类模型中进行方向预测，获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果，并向所述客户端发送获得的方向结果；

如果所述客户端与服务器处于未连接状态，所述客户端将所述当前路况图像输入至预设的图像分类模型中进行方向预测，获得所述当前路况图像对应的用于表征所述当前路况图像所指示的方向结果；

所述导盲装置还包括训练模块，所述训练模块，用于训练得到所述图像分类模型；

其中，所述训练模块包括：

样本路况图像获得子模块，用于当正常人携带置于多个不同预设方向的摄像头沿行走道路的主要方向前进时，获得针对每一路径，置于多个不同预设方向的摄像头同时拍摄该路径所得到的样本路况图像，其中，多个摄像头中相邻两个摄像头的光轴线的夹角为预设角度；

标注信息获得子模块，用于针对每一样本路况图像，获得用于表征该样本路况图像的指示方向的标注信息；其中，对每个摄像头对应的位置，作为所采集样本路况图像的类别标注，以及不同摄像头对应的行进方向作为所述样本路况图像的指示分类标注；

图像分类模型得到子模块，用于以所获得的样本路况图像为预设的深度神经网络的输入信息，以所述标注信息为训练基准，对所述深度神经网络进行训练，得到所述图像分类模型；

所述导盲装置还包括：

第一处理模块，用于在所述路况图像获得模块获得路况图像之后，对所述当前路况图像进行灰度化处理，并调整灰度化处理后的路况图像的大小成一致，得到新的当前路况图像；

第二处理模块，用于在所述样本路况图像获得子模块获得样本路况图像之后，对所述样本路况图像进行灰度化处理，并调整灰度化处理后的样本路况图像的大小成一致，得到新的样本路况图像，新的样本路况图像与新的当前路况图像的大小一致。

6.如权利要求5所述的导盲装置，其特征在于，所述路况图像获得模块，包括：

路况图像获得子模块，用于获得预设的、且与地面呈目标距离的摄像头拍摄的当前路况图像；

所述样本路况图像获得子模块，包括：

样本路况图像获得单元，用于获得针对每一路径，置于多个不同预设方向的、且均与地面呈所述目标距离的摄像头同时拍摄该路径所得到的样本路况图像。

7.一种导盲系统，其特征在于，所述导盲系统包括：摄像头、触发执行机构和如权利要求5或6所述的导盲装置；

其中，所述摄像头，用于拍摄当前路况图像，并向所述导盲装置发送所述当前路况图像；

所述触发执行机构，用于获得所述导盲装置发送的所述方向结果，并按照预设的执行方式生成能够提示盲人按照所述方向结果行走的执行信息，以触发与所述执行信息对应的提示动作。

Images