CN114485666A - 基于物体关联关系认知推理的盲人辅助导航方法及装置 - Google Patents

Abstract

本发明公开了一种基于物体关联关系认知推理的盲人辅助导航方法及装置，该方法包括：获取用户所处的室内环境的图像信息，以及用户欲寻找的目标物体的名称；根据用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的目标搜索策略搜索目标物体；其中，环境语义地图和物体语义关联模型均基于室内环境的图像信息构建；根据搜索结果更新环境语义地图，并引导用户找到相应目标物体。本发明可以提供能够在室内环境中，根据场景中的物体关联信息帮助盲人快速寻找到指定物体的服务。

Description

基于物体关联关系认知推理的盲人辅助导航方法及装置

技术领域

本发明涉及计算机视觉及智能导航技术领域，特别涉及一种基于物体关联关系认知推理的盲人辅助导航方法及装置。

背景技术

研究表明，在人们的日常生活中，80％以上的信息是通过视觉获得的。而盲人作为社会中的一种弱势群体，无法通过视觉来感知周围的环境，给其生活带来了诸多不便。另一方面，由于近年来人口老龄化严重，视力障碍者数量也不断攀升。为了提高盲人及视障人群的生活质量和幸福感，如何保障其日常生活行动和安全出行成为重中之重。

通过对现有导盲产品进行分析发现，现有的导盲产品多基于已知的地图信息，或通过GPS定位、传感器获知的当前视野进行导航，甚至仅使用红外、超声波等传感器实现基础的避障功能，这种类型的设备在室内环境下无法给盲人提供有价值的辅助，一是GPS等传感器在室内环境中信号较差，二是这一类助盲设备无法从环境中获取到有用的语义信息，从而为盲人提供除几何信息之外的服务信息。

在实际生活场景中，盲人常常需要寻找各种生活用品(例如水杯、书本、椅子等)，但这些物体可能并不在当前视野范围内，无法仅通过当前视野获知其位置并进行导航，同时这些物品的位置多为动态变化的，更不可能通过事先在地图上标注好这些物体的位置来帮助盲人找到目标物体。因此，现有的助盲设备存在交互性差、使用范围较为局限等缺点，不足以满足盲人的日常生活需求，亟需研发更为智能的助盲产品来辅助盲人的日常生活。

发明内容

本发明提供了一种基于物体关联关系认知推理的盲人辅助导航方法及装置，以解决现有的助盲设备存在交互性差、使用范围较为局限，不足以满足盲人的日常生活需求的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种基于物体关联关系认知推理的盲人辅助导航方法，该基于物体关联关系认知推理的盲人辅助导航方法包括：

获取用户所处的室内环境的图像信息，以及用户欲寻找的目标物体的名称；

根据用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的搜索策略搜索所述目标物体；其中，所述环境语义地图和所述物体语义关联模型均基于用户所处的室内环境的图像信息构建；

根据搜索结果更新所述环境语义地图，并引导用户找到所述目标物体。

进一步地，所述目标物体的名称通过可移动的智能设备输入。

进一步地，所述图像信息为室内环境的RGB图像和深度图像；

所述环境语义地图的构建过程，包括：

对室内环境的RGB图像进行语义分割；

基于RGB图像的语义分割结果，将室内环境的深度图像中的点云信息与RGB图像中的物体区域相关联，获得其体素信息；

将体素信息转换为语义地图，作为所述环境语义地图。

进一步地，所述环境语义地图大小为K*M*M；

其中，K表示物体的种类，M*M表示室内环境的大小，当物体出现在(i，j)位置时，所述物体对应地图中层数的相应位置填充为1。

进一步地，所述物体语义关联模型的构建过程，包括：

使用预设的目标检测算法处理室内环境的RGB-D图像；

基于目标检测算法的处理结果，获取图像中物体之间的空间关系；

处理获得的物体之间空间关系，得到物体信息语料，并将物体之间空间关系构建为图结构的形式；其中，图结构的顶点为物体类别，图结构的边为物体之间的关系信息，包括物体之间的距离关系，物体属性关系及物体的用途关系；

将图结构的物体之间的关系信息送入图卷积神经网络，利用图卷积神经网络学习物体语义关联关系，以得到所述物体语义关联模型。

进一步地，所述目标检测算法为MASK-RCNN算法。

进一步地，所述搜索策略为：

根据目标物体和环境物体对地图中存在目标物体的区域进行搜寻，若找到目标物体则任务完成，若未找到，则根据物体语义关联模型计算目标物体可能出现的区域并对目标物体可能出现的各区域依次进行搜寻，直至找到目标物体。

进一步地，所述引导用户找到所述目标物体，包括：

通过语音播报的方式播报目标物体所在的位置，并引导用户找到目标物体。

进一步地，所述引导用户找到所述目标物体，包括：

利用绳索牵引的方式牵引用户移动，使得用户找到所述目标物体。

另一方面，本发明还提供了一种基于物体关联关系认知推理的盲人辅助导航装置，该基于物体关联关系认知推理的盲人辅助导航装置包括：

信息采集模块，用于获取用户所处的室内环境的图像信息，以及用户欲寻找的目标物体的名称；

目标物体搜索模块，用于根据所述信息采集模块所采集的用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的搜索策略搜索所述目标物体；其中，所述环境语义地图和所述物体语义关联模型均基于用户所处的室内环境的图像信息构建；

地图更新与引导模块，用于根据所述目标物体搜索模块对目标物体的搜索结果更新所述环境语义地图，并引导用户找到所述目标物体。

再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

本发明提供的技术方案带来的有益效果至少包括：

本发明采用图卷积网络的方法依据物体空间关系，能够得到物体之间的语义关联模型。借助环境地图及语义关联模型，能够帮助盲人快速寻找到指定物体。而且即使是在未知的环境下进行指定物体的搜寻工作，语义关联模型也能够为智能体提供一定程度上的帮助。通过本发明寻找指定物体的搜寻策略，能够为盲人提供生活上的便利，并在一定程度上提升使用者的生活幸福感。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于物体关联关系认知推理的盲人辅助导航方法的执行流程示意图；

图2是本发明实施例提供的构建环境语义地图的流程示意图；

图3是本发明实施例提供的构建物体关联关系模型的流程示意图；

图4是本发明实施例提供的对指定目标物体的搜索策略流程图；

图5是本发明实施例提供的基于物体关联关系认知推理的盲人辅助导航装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

第一实施例

对于普通健康人群来讲，人们通常基于他们对环境的认知和物体之间的关联关系来进行物体的找寻。例如，水杯可能在餐桌上或是厨房收纳架上，椅子应该在书桌或是餐桌附近。这种方式十分快捷且高效。受到这种思路的启发，本实施例提供了一种基于物体关联关系认知推理的盲人辅助导航方法，该方法将建立对环境的语义级感知(包括物体类别、属性等)，通过物体间关联关系，实现室内动态环境下的物体导航，并最终构建导盲系统。在此基础上，本实施例将深入研究环境中实体、概念、属性及其之间的关系，建立语义关联模型，而后，基于所构建的语义地图及语义关联模型，提出认知推理助盲导航策略，实现室内动态环境下的助盲导航。最后，本实施例将使用物理绳索牵引导航，并部署语音播放模块，将路径规划和物体的具体位置通过语音播报的方式告知盲人，从而实现交互友好、智能高效的盲人视觉辅助导航。

该基于物体关联关系认知推理的盲人辅助导航方法可以由电子设备实现，该电子设备包括但不限于人形机器人、无人机等能够搭载本实施例助盲策略为盲人在室内提供服务的各种机器设备。该方法的执行流程如图1所示，包括：

S1，获取用户所处的室内环境的图像信息及用户欲寻找的目标物体的名称；

其中，目标物体的名称是用户通过可移动的智能设备输入(语音输入或其他任何可行的输入形式)，所述智能设备包括但不限于人形机器人、无人机等能够搭载本实施例的助盲策略，为盲人在室内提供服务的各种机器设备。

S2，根据用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的搜索策略搜索所述目标物体；其中，所述环境语义地图和物体语义关联模型均基于用户所处的室内环境的图像信息构建；

其中，环境语义地图可以在智能设备第一次工作时创建得到，具体地，在本实施例中，环境语义地图的构建过程，如图2所示，包括：

步骤1，获取室内环境的RGB图像和深度图像；

步骤2，对室内环境的RGB图像进行语义分割；

步骤3，基于RGB图像的语义分割结果，将室内环境的深度图像中的点云信息与RGB图像中的物体区域相关联，获得其体素信息；

步骤4，将体素信息转换为语义地图，作为所述环境语义地图。

进一步地，所述环境语义地图大小为K*M*M；其中，K为物体的种类，M*M为室内环境的大小，当物体A出现在(i，j)位置时，物体A对应地图中层数a的相应位置填充为1，即：

进一步地，所述物体语义关联模型的构建过程，如图3所示，包括：

步骤1，使用预设的目标检测算法处理室内环境的RGB-D图像；

其中，在本实施例中，所述目标检测算法为MASK-RCNN算法；

步骤2，基于目标检测算法的处理结果，通过提取处理后的图像中物体之间的位置关系获取图像中物体之间的空间关系，包括物体之间的距离关系，物体属性关系、物体的用途关系等；

步骤3，处理获得的物体之间空间关系，得到物体信息语料，并将物体之间关系构建为图结构的形式；

其中，图结构的顶点为物体类别，图结构的边为物体之间的关系信息；

步骤4，将图结构的物体之间的关系信息送入图卷积神经网络，利用图卷积神经网络学习物体语义关联关系，以得到所述物体语义关联模型。

进一步地，所述搜索策略如图4所示，包括以下步骤：

步骤1，根据目标物体和环境物体对地图中存在目标物体的区域进行搜寻，若找到目标物体则任务完成，若未找到，则执行步骤2；

步骤2，根据物体语义关联模型计算目标物体被使用后可能出现的区域，并对其进行搜寻，若找到物体则任务完成执行步骤3，若未找到则重新执行步骤2；

步骤3，更新地图。

S3，根据搜索结果更新所述环境语义地图，并引导用户找到所述目标物体。

其中，在本实施例中，引导用户找到所述目标物体的方式为：通过语音播报的方式播报目标物体所在的位置，引导用户找到目标物体；同时，通过可移动的智能设备利用绳索牵引的方式牵引用户移动，使得用户找到目标物体。

综上，本实施例提供了一种基于物体关联关系认知推理的盲人辅助导航方法，解决了现有技术只能利用几何信息为盲人提供路径规划和避障的问题，以及现有技术无法使用环境语义信息为盲人提供帮助的问题；利用本实施例方法能够在室内环境中根据场景中的物体关联信息帮助盲人快速寻找到指定物体。

第二实施例

本实施例提供了一种基于物体关联关系认知推理的盲人辅助导航装置，该盲人辅助导航装置的系统结构如图5所示，包括以下模块：

信息采集模块，用于获取用户所处的室内环境的图像信息，以及用户欲寻找的目标物体的名称；

目标物体搜索模块，用于根据所述信息采集模块所采集的用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的搜索策略搜索所述目标物体；其中，所述环境语义地图和所述物体语义关联模型均基于用户所处的室内环境的图像信息构建；

地图更新与引导模块，用于根据所述目标物体搜索模块对目标物体的搜索结果更新所述环境语义地图，并引导用户找到所述目标物体。

本实施例的基于物体关联关系认知推理的盲人辅助导航装置与上述第一实施例的基于物体关联关系认知推理的盲人辅助导航方法相对应；其中，本实施例的基于物体关联关系认知推理的盲人辅助导航装置中的各功能模块所实现的功能与上述第一实施例的基于物体关联关系认知推理的盲人辅助导航方法中的各流程步骤一一对应；故，在此不再赘述。

第三实施例

本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。

该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。

第四实施例

本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。

此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述基于物体关联关系认知推理的盲人辅助导航方法包括：

获取用户所处的室内环境的图像信息，以及用户欲寻找的目标物体的名称；

根据用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的搜索策略搜索所述目标物体；其中，所述环境语义地图和所述物体语义关联模型均基于用户所处的室内环境的图像信息构建；

根据搜索结果更新所述环境语义地图，并引导用户找到所述目标物体。

2.如权利要求1所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述目标物体的名称通过可移动的智能设备输入。

3.如权利要求1所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述图像信息为室内环境的RGB图像和深度图像；

所述环境语义地图的构建过程，包括：

对室内环境的RGB图像进行语义分割；

基于RGB图像的语义分割结果，将室内环境的深度图像中的点云信息与RGB图像中的物体区域相关联，获得其体素信息；

将体素信息转换为语义地图，作为所述环境语义地图。

4.如权利要求3所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述环境语义地图大小为K*M*M；

其中，K表示物体的种类，M*M表示室内环境的大小，当物体出现在(i，j)位置时，所述物体对应地图中层数的相应位置填充为1。

5.如权利要求1所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述物体语义关联模型的构建过程，包括：

使用预设的目标检测算法处理室内环境的RGB-D图像；

基于目标检测算法的处理结果，获取图像中物体之间的空间关系；

处理获得的物体之间空间关系，得到物体信息语料，并将物体之间空间关系构建为图结构的形式；其中，图结构的顶点为物体类别，图结构的边为物体之间的关系信息，包括物体之间的距离关系，物体属性关系及物体的用途关系；

将图结构的物体之间的关系信息送入图卷积神经网络，利用图卷积神经网络学习物体语义关联关系，以得到所述物体语义关联模型。

6.如权利要求5所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述目标检测算法为MASK-RCNN算法。

7.如权利要求1所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述搜索策略为：

根据目标物体和环境物体对地图中存在目标物体的区域进行搜寻，若找到目标物体则任务完成，若未找到，则根据物体语义关联模型计算目标物体可能出现的区域并对目标物体可能出现的各区域依次进行搜寻，直至找到目标物体。

8.如权利要求1所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述引导用户找到所述目标物体，包括：

通过语音播报的方式播报目标物体所在的位置，并引导用户找到目标物体。

9.如权利要求8所述的基于物体关联关系认知推理的盲人辅助导航方法，其特征在于，所述引导用户找到所述目标物体，包括：

利用绳索牵引的方式牵引用户移动，使得用户找到所述目标物体。

10.一种基于物体关联关系认知推理的盲人辅助导航装置，其特征在于，所述基于物体关联关系认知推理的盲人辅助导航装置包括：

信息采集模块，用于获取用户所处的室内环境的图像信息，以及用户欲寻找的目标物体的名称；

目标物体搜索模块，用于根据所述信息采集模块所采集的用户欲寻找的目标物体的名称，基于预先构建的环境语义地图和物体语义关联模型，采用预设的搜索策略搜索所述目标物体；其中，所述环境语义地图和所述物体语义关联模型均基于用户所处的室内环境的图像信息构建；

地图更新与引导模块，用于根据所述目标物体搜索模块对目标物体的搜索结果更新所述环境语义地图，并引导用户找到所述目标物体。

Images