CN107007437A - 交互式盲人辅助方法及设备 - Google Patents

Abstract

本发明实施例提供一种交互式盲人辅助方法及设备，该方法包括：获取深度摄像机采集的用户周围环境的深度图像；根据深度图像和预存的图像样本信息，得到用户周围环境的描述信息，根据用户周围环境的描述信息，对用户进行导盲辅助处理。本发明实施例通过深度摄像机采集用户周围环境的深度图像，采集范围大，深度图像包括图像信息和深度信息，结合深度图像和预存的场景图像样本信息，能够精准地得到用户所处的场景信息；结合深度图像和预存的物体样本信息，能够精准地得到场景中包含的物体信息以及物体相对于用户的方位信息，从而得到准确全面描述用户周围环境的描述信息，根据该描述信息，更加准确和全面地进行导盲辅助，提高了用户独立生活能力。

Description

交互式盲人辅助方法及设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种交互式盲人辅助方法及设备。

背景技术

日常生活中，盲人在独自行走时多数使用手杖或者导盲犬辅助行走。随着科学技术的迅速发展，为方便盲人出行，市场上出现了各种电子导盲设备。

目前，电子导盲设备主要有无线电导盲系统和红外线导向系统等。其中，无线电导盲系统包括特定手持设备和多个埋设地点的埋设设备，在持有特定手持设备的盲人到达埋设地点时，埋设设备在接收到手持设备发出的无线电波后，反馈位置信息，从而确定盲人当前位置信息，然后提示盲人当前位置；通过无线电波探测盲人前方道路上是否有物体，如果探测到前方道路有物体就认为该物体是障碍物，并提示盲人躲避。红外线导向系统通过红外探测人前方道路上是否有物体，如果探测到前方道路有物体就认为该物体是障碍物，并提示盲人躲避。

通过无线电波探测技术或者红外线探测技术，现有的电子导盲设备只能够探测前方近处地面上的是否有物体，但是无法探测到地面上距离盲人较远的物体、也无法探测到位于一定高度可能对盲人身体造成威胁的空间突出的物体，例如，距离地面的高度相当于盲人头部或者胸部高度的悬挂或突出的物体等，也无法识别物体的种类和大小等相关信息。因此，现有的电子导盲设备探测范围小、准确性低，且在探测到物体后无法识别物体，只用于提示存在可能会给盲人带来不便的物体，对盲人的辅助作用具有严重的局限性。

发明内容

本发明实施例提供一种交互式盲人辅助方法及设备，以解决现有的电子导盲设备探测范围小、准确性低，且在探测到物体后无法识别物体，只用于提示存在可能会给盲人带来不便的物体，对盲人的辅助作用具有严重的局限性。

本发明实施例的一个方面是提供一种交互式盲人辅助方法，包括：

获取深度摄像机采集的用户周围环境的深度图像；

根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息；

根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理。

本发明实施例的另一个方面是提供一种交互式盲人辅助设备，包括深度摄像机、处理器、存储器，所述深度摄像机与所述处理器连接，所述存储器与所述处理器连接；

所述存储器中存储有程序代码；

所述处理器调用所述存储器中所存储的程序代码，执行上述交互式盲人辅助方法。

本发明实施例提供的交互式盲人辅助方法及设备，通过深度摄像机采集用户周围环境的深度图像，采集数据的范围大，并且由于深度图像包括拍摄场景的图像信息以及深度信息，结合所述深度图像和预存的场景图像样本信息，能够精准地到深度图像所描述的用户所处的场景信息；结合所述深度图像和预存的物体样本信息，能够精准地得到所述场景中包含的物体的信息以及所述物体相对于所述用户的方位信息，从而得到了能够准确全面描述用户周围环境的描述信息；进一步地，根据所述用户周围环境的描述信息，对用户进行导盲辅助处理，从而更加准确和全面地对用户进行导盲辅助，大大提高了用户的独立生活能力。

附图说明

图1为本发明实施例一提供的交互式盲人辅助方法流程图；

图2为本发明实施例二提供的交互式盲人辅助方法流程图；

图3为本发明实施例三提供的交互式盲人辅助方法流程图；

图4为本发明实施例四提供的交互式盲人辅助方法流程图；

图5为本发明实施例五提供的交互式盲人辅助方法流程图；

图6为本发明实施例六提供的交互式盲人辅助方法流程图；

图7为本发明实施例七提供的交互式盲人辅助设备的结构图。

具体实施方式

为使本发明的技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明的实施例二至实施例六分别侧重描述了一种对用户进行导盲辅助处理的实现方式，为了更好地辅助用户，还可以将其中的任意两个或多个实施例进行结合，进一步提高盲人的独立生活能力。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本发明实施例一提供的交互式盲人辅助方法流程图。本发明实施例针对现有的电子导盲设备探测范围小、准确性低，且在探测到物体后无法识别物体，只用于提示存在可能会给盲人带来不便的物体，对盲人的辅助作用具有严重的局限性，提供了交互式盲人辅助方法，应用于交互式盲人辅助设备。如图1所示，该方法具体步骤如下：

步骤S101、获取深度摄像机采集的用户周围环境的深度图像。

本领域中，深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，深度图像是物体的三维表示形式，一般通过立体照相机等获取。本实施例中的深度摄像机可以为能够获取深度图像的任意一种拍摄设备，本实施例对此不做具体限定。

本实施例中，可以同时使用多个深度摄像机，以扩大拍摄范围。在对深度图像进程处理时，首先获取深度图像每个采样点的空间坐标，得到一个点的集合，称之为点云，即先将深度图像转换为点云，由于点云可以很容易拼接，因此可以同时获取多个不同拍摄角度的深度摄像机的深度图像，以扩大数据采集范围。

优选地，深度摄像机安装在用户身上距离地面1-1.5米处，以提高深度摄像机的有效拍摄范围。例如，可以将深度摄像机悬挂于用户的脖颈下方距地面1-1.5米处等。

另外，深度摄像机的安装位置和角度可以由技术人员根据用户的实际身高等条件进行设定，深度摄像机的安装位置和角度的较小差异不会给本实施例的方法有较大影响，不会影响本实施例能够达到的技术效果，本发明实施例对此不做具体限定。

步骤S102、根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息。

其中，所述用户身上的预设参照点为深度摄像机安装于用户身体上的位置。

所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息。所述用户所处的场景信息指用户所处的场景类型，例如楼梯上行、客厅、街道等。所述场景中所包含的物体信息至少包括物体的种类、数量等信息。

本实施例中，场景图像样本信息包括不同类型的场景的特征信息，用于描述不同类型的场景，不同类型的场景对应的场景图像样本信息不同。为了能够准确识别深度图像对应的场景，预存的场景图像样本信息中，用于描述同一类型场景的场景图像样本信息可以有多个，分别从不同观察角度对这一类型的场景进行描述。

类似的，物体样本信息包括不同物体的特征信息，不同的物体对应的物体样本信息不同。为了能够准确识别深度图像中的物体，预存的物体样本信息中，用于描述同一物体的物体图像样本信息可以有多个，分别从不同观察角度对这一类型的物体进行描述。

该步骤中，根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，具体可以采用如下方式实现：

根据所述深度图像和预存的场景图像样本信息，确定与所述深度图像包含的场景特征信息相匹配的场景图像样本信息，根据该与所述深度图像包含的场景特征信息相匹配的场景图像样本信息，确定所述用户所处的场景信息。根据深度图像包含的图像信息，提取所述深度图像中包含的各物体的特征信息，确定与每一个物体的特征信息相匹配的预存的物体样本信息，并进一步根据与每一个物体的特征信息相匹配的预存的物体样本信息确定每一个物体的物体信息，从而得到深度图像所包含的所有物体的物体信息。根据深度图像的深度信息，确定每一个物体相对于所述用户身上的预设参照点的方位信息。

需要说明的是，本实施例中物体相对于用户身上的预设参照点的方位信息是指物体相对于安装于用户身上的深度摄像机的方位信息，根据物体相对于安装于用户身上的深度摄像机的方位信息，也可以计算得到物体相对于用户身体各部位的方位信息。另外，所述预存的图像样本信息为技术人员根据实际生活环境，采集了大量训练样本的基础上，进行大量参数优化实验后得到的，能够涵盖人们日常生活中遇到的各种场景和物体。

为了提高得到所述用户周围环境的描述信息的准确性，可以根据用户实际生活中的物品，获取并存储针对该用户的图像样本信息。

本实施例中预存的图像样本信息所包括的样本信息的数量和类型可以由技术人员根据实际需要进行扩展和补充，本实施例对此不做具体限定。

可选地，为了提高对深度图像的处理速度、节省存储空间，采用八叉树的数据结构存储点云，并建立点云的二维索引；根据二维索引点云的层级聚类算法，计算深度图像的平面分布状况；根据以八叉树结构存储的点云和平面分布状况，利用点云的二维索引对进行空间搜索，并进一步建立深度图像中各物体在三维空间坐标中的位置关系，得到所述用户周围环境的描述信息。其中，识别深度图像中的各物体可以通过以下方式实现：将深度图像缩放成大小为448*448个像素点的图像，将大小为448*448个像素点的图像输入卷积神经网络，得到各物体的类别和相对位置等信息。其中，卷积神经网络(Convolutional NeuralNetwork,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理的效率较高。

步骤S103、根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理。

上述步骤S102中得到的用户周围环境的描述信息，包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户的方位信息，是对用户所处的环境的全面描述。因此该步骤S103中，根据用户周围环境的描述信息对所述用户进行导盲辅助处理，能够使得用户能够了解自身所处的环境。

本实施例中对所述用户进行导盲辅助处理的方式有多种，例如向用户描述其所处的环境，以帮助用户了解周围环境；向用户提供某一物体的具体方位以辅助用户拿到该物体；提示用户躲避障碍物等等。本实施例中根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理的方式可以有多种，本实施例对于可以进行哪些辅助处理不做具体限定。

本发明实施例通过深度摄像机采集用户周围环境的深度图像，采集数据的范围大，并且由于深度图像包括拍摄场景的图像信息以及深度信息，结合所述深度图像和预存的场景图像样本信息，能够精准地到深度图像所描述的用户所处的场景信息；结合所述深度图像和预存的物体样本信息，能够精准地得到所述场景中包含的物体的信息以及所述物体相对于所述用户的方位信息，从而得到了能够准确全面描述用户周围环境的描述信息；进一步地，根据所述用户周围环境的描述信息，对用户进行导盲辅助处理，从而更加准确和全面地对用户进行导盲辅助，大大提高了用户的独立生活能力。

实施例二

图2为本发明实施例二提供的交互式盲人辅助方法流程图。在上述实施例一的基础上，在本实施例中，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，具体采用如下方式实现：根据所述用户周围环境的描述信息，向所述用户发送第一语音提示信息。如图2所示，该方法具体包括以下步骤：

步骤S201、获取深度摄像机采集的用户周围环境的深度图像。

步骤S202、根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息。

本实施例中，步骤S201-S202与上述步骤S101-S102类似，此处不再赘述。

步骤S203、根据所述用户周围环境的描述信息，向所述用户发送第一语音提示信息。

其中，所述第一语音提示信息用于向所述用户发出描述所述周围环境的语音信息。

具体地，该步骤中通过语音提示的方式向用户描述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户的方位信息，使得用户能够直观地了解自身当前所处的环境。例如，向用户发出类似于以下提示音“您现在在客厅，您的前方一米处有一张桌子，桌子上放有一个茶壶和两个茶杯”。

可选地，还可以将所述用户周围环境的描述信息以盲文的形式显示在特定的盲文显示器上，以方便耳聋的盲人了解周围环境。

可选地，当接收到用户发出的停止提醒指令时，停止当前正在想用户发出的避障提示信息。

本发明实施例通过向所述用户发送第一语音提示信息，直接用语音的方式，向用户描述用户周围环境的描述信息，使得用户能够直观并详细地了解自身当前所处的环境。

实施例三

图3为本发明实施例三提供的交互式盲人辅助方法流程图。在上述实施例二的基础上，本实施例中，所述根据所述用户周围环境的描述信息，向所述用户发送第一语音提示信息之后，还包括：接收所述用户根据所述第一语音提示信息发送的物体识别指令，所述物体识别指令中包含所述用户所需识别的物体信息；根据所述物体识别指令，向所述用户发送第二语音提示信息，所述第二语音提示信息用于向所述用户描述所需识别的物体的属性信息。如图3所示，该方法具体包括如下步骤：

步骤S301、获取深度摄像机采集的用户周围环境的深度图像。

步骤S302、根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息；所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息。

步骤S303、根据所述用户周围环境的描述信息，向所述用户发送第一语音提示信息。

其中，所述第一语音提示信息用于向所述用户发出描述所述周围环境的语音信息。

本实施例中，步骤S301-S303与上述步骤S201-S203类似，此处不再赘述。

步骤S304、接收所述用户根据所述第一语音提示信息发送的物体识别指令，所述物体识别指令中包含所述用户所需识别的物体信息。

在用户通过第一语音提示信息了解了周围环境之后，可能会需要进一步了解某一件物体的详细信息，此时，用户会发出物体识别指令。

因此，在本实施例中，在向所述用户发送第一语音提示信息之后，接收所述用户根据所述第一语音提示信息发送的物体识别指令，以获取用户的进一步需求，向用户做进一步的辅助处理。

本实施例中，所述物体识别指令中包含的所述用户所需识别的物体信息可以为物体的种类、位置、属性种类等信息。例如，物体识别指令可以为“杯子的详细信息”、“前方1米处物体的详细信息”等。

步骤S305、根据所述物体识别指令，向所述用户发送第二语音提示信息，所述第二语音提示信息用于向所述用户描述所需识别的物体的属性信息。

其中，物体识别指令可以是语音指令或者手势指令。物体的属性信息包括物体本身信息和物体携带的内容信息。物体本身信息可以为颜色、大小、形状等描述物体自身的相关信息。物体携带的内容信息为以物体作为载体的文字等信息，例如，公交站牌上的文字信息，地铁站建筑上的站点名称等文字信息和用于标识地铁站的图片信息等，书页上的文字信息等。

本实施例中，若物体识别指令为语音指令，根据所述物体识别指令，向所述用户发送第二语音提示信息，具体可以采用如下方式实现：

对该物体识别指令进行语音识别和语义分析，得到用户所需识别的物体信息，根据所述用户所需识别的物体信息，获取用户所需识别的物体的属性信息，并向用户发送第二语音提示信息，以语音方式向所述用户描述所需识别的物体的属性信息。

例如，接收到用户用语音输入的方式发出的物体识别指令为“请问杯子的是什么颜色的”，通过语音识别和语义分析之后，得到用户所需识别的物体的类型为“杯子”，所需了解的属性是“颜色”，获取用户周围环境的描述信息中各物体的类型为杯子的物体的颜色信息，并向用户发出类似于“杯子颜色为红色”、“共发现两个杯子，一个杯子为蓝色，位于前方一米处的桌子上，一个杯子为红色，位于右方两米处的地板上”的语音提示信息。

可选地，为了更有效地识别用户输入的语音指令，可以预先设定关键词，并为不同关键词关联识别调用函数，使得检索到用户输入的语音指令中的关键词时，直接调用该关键词对应的识别调用函数进行语义分析。例如，预先设定了关键词“clean”,用户发出指令为：Hey Robot，Clean the living room。当识别出“clean”命令动作关键词之后，直接调用其对应的识别调用函数：clean("living room")，实现从自然语言输入中解析出用户的意图。

本实施例中可以采用现有技术中的任意的语音识别和语义分析的方法，实现上述根据物体识别指令得到用户所需识别的物体信息的过程。

本实施例中，若物体识别指令为手势指令，所述根据所述物体识别指令，向所述用户发送第二语音提示信息，具体可以采用如下方式实现：

首先，获取所述手势指令所包含的手部位置信息和姿态信息。

其中，手势指令所包含的手部位置信息和姿态信息为根据手掌的位置信息和姿态信息、手指的位置信息和姿态信息、手臂的位置信息和姿态信息、以及手势等。

本实施例中，可以通过姿态传感器获取手部位置信息和姿态信息，或者可以使用另一个深度摄像机拍摄获取手部位置信息和姿态信息。其中，姿态传感器为现有技术中任意一种用于获取手部位置和姿态的相关信息的装置，本实施例对于如何获取手部位置信息和姿态信息不作具体限定。

第二，根据所述姿态信息确定所述用户需要对物体的属性信息进行的识别操作。

具体地，确定与所述姿态信息相匹配的预存的手部姿态信息，根据预先存储的手部姿态信息与识别操作的对应关系，确定用户需要对物体的属性信息进行的识别操作。

本实施例中，每一种姿态信息对应于一种识别操作，例如，“握拳”对应于“进行详细描述”等。手部姿态信息与识别操作的对应关系可以由技术人员根据实际需要进行设定和更改，本实施例对此不做具体限定。

第三，根据所述手部位置信息和所述场景中所包含的物体相对于所述预设参照点的方位信息，确定所述用户所需识别的物体。

具体地，根据所述手部位置信息，确定所述手部位置相对于所述预设参照点的方位信息；将所述场景中所包含的物体相对于所述预设参照点的方位信息与所述手部位置相对于所述预设参照点的方位信息一致的物体确定为所述用户所需识别的物体。

可选地，若通过姿态传感器获取，则将姿态传感器安装于采集用户周围环境深度图像的深度摄像机上；若使用另一个深度摄像机，则将其与采集用户周围环境深度图像的深度摄像机安装在同一位置，朝向手部方向拍摄，以使根据所述手部位置信息确定的所述手部位置相对于预设参照点的方位信息，与所述场景中相对于所述用户的方位信息的参照点相同。

最后，获取所述用户所需识别的物体的属性信息，并将所述用户发送所述第二语音提示信息。

具体地，通过语音提示的方式向用户描述用户所需识别的物体的属性信息。例如，向用户发出类似于“杯子的颜色为红色，带有兔子图案”的语音提示信息。

可选地，还可以将所述用户所需识别的物体的属性信息以盲文的形式显示在特定的盲文显示器上，以方便耳聋的盲人了解周围环境。

可选地，当接收到用户发出的停止提醒指令时，停止当前正在想用户发出的避障提示信息。

本发明实施例通过接收所述用户根据所述第一语音提示信息发送的物体识别指令，可以从所述物体识别指令中获取所述用户所需识别的物体信息；并向用户发送用于描述所需识别的物体的属性信息的第二语音提示信息，使得用户可以详细了解其想要了解的物体的属性信息，能够辅助盲人识别周围物体，增强了盲人的独立生活能力。并且，能接收用户以语音指令和手势指令的方式发出的物体识别指令，能够辅助没有语言能力的用户识别周围物体，扩大了辅助对象。

实施例四

图4为本发明实施例四提供的交互式盲人辅助方法流程图。在上述实施例一的基础上，本实施例中，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，可以辅助用户进行寻物。如图4所示，该方法具体包括如下步骤：

步骤S401、获取深度摄像机采集的用户周围环境的深度图像。

步骤S402、根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息。

本实施例中，步骤S401-S402与上述步骤S101-S102类似，此处不再赘述。

步骤S403、接收所述用户发送的语音寻物指令，所述语音寻物指令中包含所述用户所需寻找的物体信息。

本实施例中，所述语音寻物指令中包含所述用户所需寻找的物体信息可以为物体的种类。优选地，所需寻找的物体信息可以为物体的属性信息，以更准确查找用户所需寻找的物体。例如，“找红色水杯”、“查找黑色钱包”等。

该步骤中，通过对该物体识别指令进行语音识别和语义分析，得到用户所需寻找的物体信息，然后根据用户所需寻找的物体信息。

本实施例中对该物体识别指令进行语音识别和语义分析可以采用现有技术中任意一种语音识别和语义分析的方法实现，本实施例不再赘述。

步骤S404、根据所述用户所需寻找的物体信息，在所述用户周围环境中查找相应的物体。

该步骤具体可以采用如下方式实现：

根据用户所需寻找的物体信息，在用户周围环境中查找相应的物体；若找到相应物体，则执行步骤S405，以提示用户物体在所述用户周围环境中所处的方位信息；若未找到相应物体，则执行步骤S406，以提示用户未找到相应物体。

步骤S405、在查找到所述物体之后，向所述用户发送第三语音提示信息，所述第三语音提示信息包括所述物体在所述用户周围环境中所处的方位信息。

具体地，通过语音提示的方式向用户描述用户所要查找的物体在所述用户周围环境中所处的方位信息。例如，向用户发出类似于“杯子在您正前方一米处的桌子上”的语音提示信息。

可选的，还可以将用户所要查找的物体在所述用户周围环境中所处的方位信息以盲文的形式显示在特定的盲文显示器上，以方便耳聋的盲人了解周围环境。

可选的，当接收到用户发出的停止提醒指令时，停止当前正在想用户发出的避障提示信息。

本实施例中，在查找到所述物体之后，获取用户的手部位置信息，根据所述手部位置以及所述物体在所述用户周围环境中所处的方位信息，确定所述用户手部位置与查找的所述物体之间的距离，并根据所述用户手部位置与查找的所述物体之间的距离，向用户发送查找提示信息，以使用户在该查找提示信息的引导下获取所述物体。

步骤S406、若未查找到所述物体，向用户发送未找到目标的语音提示信息，以提示用户当前场景中未出现用户所需查找的物体。

本发明实施例通过接收所述用户发送的语音寻物指令，可以从所述语音寻物指令中获取到用户所需寻找的物体信息，在所述用户周围环境中查找相应的物体；并在查找到所述物体之后，用语音的方式告知用户其所需查找的物体在用户周围环境中所处的方位信息，以使用户根据语音提示获取该物体，从而能够辅助盲人进行寻物，增强了盲人的独立生活能力。

实施例五

图5为本发明实施例五提供的交互式盲人辅助方法流程图。在上述实施例一的基础上，本实施例中，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，包括辅助用户避障前行。如图5所示，该方法具体包括如下步骤：

步骤S501、获取深度摄像机采集的用户周围环境的深度图像。

步骤S502、根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息。

本实施例中，步骤S501-S502与上述步骤S101-S102类似，此处不再赘述。

步骤S503、根据所述用户周围环境的描述信息，确定是否存在障碍物。

具体地，根据所述用户周围环境的描述信息和预设的障碍物参数，确定用户周围环境中是否存在满足预设的障碍物参数的物体，若存在则确定用户周围环境中存在障碍物，并可以确定满足预设的障碍物参数的物体为障碍物。若用户周围环境中存在障碍物，则执行步骤S504，获取障碍物的分布信息；若用户周围环境中不存在障碍物，无需进行任何操作。

其中，预设的障碍物参数用于表示会给用户造成妨碍的物体要满足的参数。在实际应用中，并不是所有的物体都会对盲人造成妨碍，例如，前方地面上高度达到0.1米的物体可能会妨碍用户前行，前方高于3米处的悬挂物体不会对妨碍用户顺利通过。本实施例中，预设的障碍物参数可以由技术人员根据实际需要及经验进行设定，本实施例对此不做具体限定。

步骤S504、若存在障碍物，则向所述用户发送第三语音提示信息，所述第三语音提示信息用于提示所述用户周围存在的障碍物的分布信息。

具体地，通过语音提示的方式向用户描述用户周围存在的障碍物的分布信息。例如，向用户发出类似于“前方路面有高为0.5米的障碍物，请注意躲避”、“前方距离地面1米处有悬挂的障碍物，请注意躲避”的语音提示信息。

可选地，还可以将所述用户所需识别的物体的属性信息以盲文的形式显示在特定的盲文显示器上，以方便耳聋的盲人了解周围环境。

步骤S505、获取所述用户在避障过程中的手部位置，根据所述手部位置以及所述障碍物的分布信息，确定所述用户手部位置与所述障碍物之间的距离信息，并在所述距离信息小于预设阈值时向所述用户发送避障提示信息。

在实际应用中，用户在接收到用于提示所述用户周围存在的障碍物的分布信息之后，通常会用手部朝着障碍物的方向进行摸索。为辅助用户更准确地了解障碍物的位置，本实施例中，获取所述用户在避障过程中的手部位置，根据所述手部位置以及所述障碍物的分布信息，确定所述用户身体各个部位与所述障碍物之间的距离信息，当任一所述距离信息小于预设阈值时向所述用户发送避障提示信息。

进一步地，还可以确定所述用户的手部位置与所述障碍物之间的距离信息，当用户手部位置与各所述障碍物之间的距离信息小于预设阈值时向所述用户发送避障提示信息。

本实施例中，该避障提示信息可以为语音提示信息，也可以为振动提示信息。当该避障提示信息为振动提示信息时，可以用不同频率和振幅的振动代表不同的距离信息，距离障碍物越远时振动的振动频率和振幅越小，距离账务越近是振动的频率和振幅越大。进一步地，当该避障提示信息为振动提示信息时，可以在分别不同方向上设置振动装置，代表障碍物相对于用户的不同方向。例如可以在用户手部不同位置设置三个振动装置，第一个振动装置振动代表障碍物在左面，第二个振动装置振动代表障碍物在前面，第三个振动装置振动代表障碍物在右面。

可选地，当接收到用户发出的停止提醒指令时，停止当前正在想用户发出的避障提示信息。

该步骤S505为根据用户手部位置，当用户与所述障碍物之间的距离信息小于预设阈值时向所述用户发送避障提示信息，辅助用户避障前行的一个实现过程。

步骤S506、根据所述用户周围存在的障碍物的分布信息，生成行走路径信息，向所述用户发送所述行走路径信息，以便所述用户根据所述行走路径信息进行避障前行。

其中，行走路径信息可以为根据路面上没有障碍物分布的可通行区域确定的用户目前最优行走路径。本实施例中可以采用现有技术中的任意一种能够提取深度图像中的地面区域特征的方法实现。

具体的，根据所述用户周围存在的障碍物的分布信息，确定路面上没有障碍物分布的可通行区域，根据可通行区域确定用户目前最优行走路径，得到行走路径信息，并向所述用户发送所述行走路径信息，以便所述用户根据所述行走路径信息进行避障前行。

上述步骤S506为根据障碍物的分布信息向用户发送行走路径信息辅助用户避障前行的另一过程，这与步骤S505为辅助用户避障前行的两种不同的实现方式，本实施例中可以采用其中的任意一种来达到辅助用户避障前行的目的，还可以同时采用上述两种方式达到辅助用户避障前行的目的。

本发明实施例通过根据用户周围环境的描述信息，若确定周围环境中存在会给用户造成妨碍的障碍物，向用户提示用户周围存在的障碍物的分布信息，使得用户可以获知周围环境中的障碍物分布，并且根据用户在避障过程中的手部位置以及所述障碍物的分布信息，在确定所述用户与所述障碍物之间的距离信息小于预设阈值时，向用户发送避障提示信息，使得用户可以更加准确地确定障碍物的方位，并及时躲避障碍物，增强了盲人的独立生活的能力。

实施例六

图6为本发明实施例六提供的交互式盲人辅助方法流程图。在上述实施例一的基础上，本实施例中，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，可以向盲人提供导航，并根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理。如图6所示，该方法具体包括如下步骤：

步骤S601、获取深度摄像机采集的用户周围环境的深度图像。

步骤S602、根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息。

本实施例中，步骤S601-S602与上述步骤S101-S102类似，此处不再赘述。

步骤S603、接收用户发送的导航指令，所述导航指令包含所述用户的目的地。

本实施例中，所述导航指令可以为用户通过语音输入、手势、按下导航操作按键等方式发出的指令，本实施例对此不做具体限定。例如，接收到用户的手部指向前方的手势指令等。

步骤S604、获取所述用户从当前的位置到所述目的地的规划路径。

具体地，定位用户当前的位置，根据预先下载的地图信息，获取所述用户从当前的位置到所述目的地的规划路径。

可选地，还可以检测用户的前进速度，根据前进速度和用户从当前的位置到所述目的地的规划路径，估计到达目的地所需的时间，以使用户根据估计的到达目的地所需的时间，确定是否换用其他交通方式前往目的地。

步骤S605、在所述用户沿着所述规划路径行走的过程中，根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理。

该步骤S605中根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理的过程，可以通过采用上述实施例二至实施例五中的任意一个或多个实施例所提供的方法实现，本实施例不再赘述。

传感器集成了一个陀螺仪和加速度计，可以得到陀螺仪和加速度计的读数，然后再用滤波器获得稳定的四元数输出，随后四元数也可以转换为欧拉角以便使用。使用相应的处理我们可以检测用户对手部传感器的敲击，相当于得到了一个敲击式的按钮。

本发明实施例能够根据用户目的地以及用户当前的位置，获取用户从当前的位置到所述目的地的规划路径，并且在用户沿着所述规划路径行走的过程中，根据用户周围环境的描述信息，对用户进行导盲辅助处理，能够辅助盲人独自从当前位置顺利到达目的地，提高了盲人的独立出行的能力。

需要强调的是，本发明的实施例二至实施例六分别侧重描述了一种对用户进行导盲辅助处理的实现方式，为了更好地辅助用户，还可以将其中的任意两个或多个实施例进行结合，进一步提高盲人的独立生活能力。

实施例七

图7为本发明实施例七提供的交互式盲人辅助设备的结构图。本发明实施例提供的交互式盲人辅助设备可以执行交互式盲人辅助方法实施例提供的处理流程，如图7所示，交互式盲人辅助设备70包括：深度摄像机701、处理器702、存储器703，所述深度摄像机701与所述处理器702连接，所述存储器703与所述处理器702连接；所述存储器703中存储有程序代码；所述处理器702调用所述存储器703中所存储的程序代码，执行上述任一交互式盲人辅助方法实施例所述的方法。

本实施例的产品可以是手杖、可穿戴设备等等，在此基础上，深度摄像机701可以安装于距离地面预设高度的地方。例如，可以将深度摄像机701悬挂于用户脖颈上距离地面预设高度的地方，或者安装于手杖上距离地面预设高度的地方。可选地，用于获取手部位置信息和姿态信息的姿态传感器安装于深度摄像机701上，或者用于获取手部位置信息和姿态信息的另一深度摄像机与上述深度摄像机701安装于同一位置，并设置不同的拍摄角度。

本实施例中，所述预设高度为1-1.5米，以使摄像机能够拍摄到用户前方预设空间区域。摄像机的安装高度和角度由技术人员根据经验和用户自身的身高等条件进行设定，本实施例对此不做具体限定。

可选地，该设备还包括语音输出设备，用于向用户发出各种语言提示信息，例如，用户佩戴在耳边的耳机等，或者是安装在手杖上的扬声器等。

可选地，该设备还包括语音输入设备，用于接收用户输入的语音指令，例如佩戴在用户嘴巴旁的麦克风、话筒等。

可选地，该设备还包括电源装置，用于向交互式盲人辅助设备深度摄像机701、处理器702、存储器703等供电，例如电源装置可以安装在手杖内部，或者可穿戴设备上。

可选地，该设备用于显示盲文的显示设备，用于向用户显示各种提示信息。

可选地，该设备还包括安装于用户身上(如手部等)的一个或多个振动装置，用于在控制器的控制下向用户发出不同频率和振幅的振动提示信息，例如安装于用户可戴在手上的手套上的振动马达等。

可选地，该设备还可以包括用于停止发出提示信息的停止操作按钮，用于接收用户对停止操作按钮的按下或者敲击等停止操作指令。例如，安装于户可戴在手上的手套上的按钮，或者安装于手杖上用户手持位置的按钮等。。

本发明实施例通过深度摄像机采集用户周围环境的深度图像，采集数据的范围大，并且由于深度图像包括拍摄场景的图像信息以及深度信息，结合所述深度图像和预存的场景图像样本信息，能够精准地到深度图像所描述的用户所处的场景信息；结合所述深度图像和预存的物体样本信息，能够精准地得到所述场景中包含的物体的信息以及所述物体相对于所述用户的方位信息，从而得到了能够准确全面描述用户周围环境的描述信息；进一步地，根据所述用户周围环境的描述信息，对用户进行导盲辅助处理，从而更加准确和全面地对用户进行导盲辅助，大大提高了用户的独立生活能力。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种交互式盲人辅助方法，其特征在于，包括：

获取深度摄像机采集的用户周围环境的深度图像；

根据所述深度图像和预存的图像样本信息，得到所述用户周围环境的描述信息，所述描述信息包括所述用户所处的场景信息、所述场景中所包含的物体信息以及所述物体相对于所述用户身上的预设参照点的方位信息，所述预存的图像样本信息包括预存的场景图像样本信息和物体样本信息；

根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理。

2.根据权利要求1所述的方法，其特征在于，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，包括：

根据所述用户周围环境的描述信息，向所述用户发送第一语音提示信息，所述第一语音提示信息用于向所述用户发出描述所述周围环境的语音信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述用户周围环境的描述信息，向所述用户发送第一语音提示信息之后，还包括：

接收所述用户根据所述第一语音提示信息发送的物体识别指令，所述物体识别指令中包含所述用户所需识别的物体信息；

根据所述物体识别指令，向所述用户发送第二语音提示信息，所述第二语音提示信息用于向所述用户描述所需识别的物体的属性信息。

4.根据权利要求3所述的方法，其特征在于，所述物体识别指令为手势指令；

相应的，所述根据所述物体识别指令，向所述用户发送第二语音提示信息，包括：

获取所述手势指令所包含的手部位置信息和姿态信息；

根据所述姿态信息确定所述用户需要对物体的属性信息进行的识别操作；

根据所述手部位置信息和姿态信息，以及所述场景中所包含的物体相对于所述预设参照点的方位信息，确定所述用户所需识别的物体；

获取所述用户所需识别的物体的属性信息，并将所述用户发送所述第二语音提示信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述手部位置信息和姿态信息，以及所述场景中所包含的物体相对于所述用户身上的预设参照点的方位信息，确定所述用户所需识别的物体，包括：

根据所述手部位置信息，确定所述手部位置相对于所述预设参照点的方位信息；

将所述场景中所包含的物体相对于所述预设参照点的方位信息与所述手部位置相对于所述预设参照点的方位信息一致的物体确定为所述用户所需识别的物体。

6.根据权利要求1所述的方法，其特征在于，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，包括：

接收所述用户发送的语音寻物指令，所述语音寻物指令中包含所述用户所需寻找的物体信息；

根据所述用户所需寻找的物体信息，在所述用户周围环境中查找相应的物体；

在查找到所述物体之后，向所述用户发送第三语音提示信息，所述第三语音提示信息包括所述物体在所述用户周围环境中所处的方位信息。

7.根据权利要求1所述的方法，其特征在于，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，包括：

根据所述用户周围环境的描述信息，确定是否存在障碍物；

若存在障碍物，则向所述用户发送第三语音提示信息，所述第三语音提示信息用于提示所述用户周围存在的障碍物的分布信息；

获取所述用户在避障过程中的手部位置，根据所述手部位置以及所述障碍物的分布信息，确定所述用户与所述障碍物之间的距离信息，并在所述距离信息小于预设阈值时向所述用户发送避障提示信息。

8.根据权利要求7所述的方法，其特征在于，还包括：

根据所述用户周围存在的障碍物的分布信息，生成行走路径信息；

向所述用户发送所述行走路径信息，以便所述用户根据所述行走路径信息进行避障前行。

9.根据权利要求1所述的方法，其特征在于，所述根据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理，包括：

接收用户发送的导航指令，所述导航指令包含所述用户的目的地；

获取所述用户从当前的位置到所述目的地的规划路径；

在所述用户沿着所述规划路径行走的过程中，据所述用户周围环境的描述信息，对所述用户进行导盲辅助处理。

10.一种交互式盲人辅助设备，其特征在于，包括：深度摄像机、处理器、存储器，所述深度摄像机与所述处理器连接，所述存储器与所述处理器连接；

所述存储器中存储有程序代码；

所述处理器调用所述存储器中所存储的程序代码，执行权利要求1-9中任一项权利要求所述的方法。