CN113119138A - 基于物联网的助盲机器人系统及方法 - Google Patents

Abstract

本发明提供了一种基于物联网的助盲机器人系统及方法，包括：智能家居监控、助盲机器人、云服务器以及助盲APP部件；所述智能家居监控与云服务器相连；所述助盲机器人与云服务器相连；所述助盲APP部件与云服务器相连；所述云服务器包括：视觉分析单元和语音分析单元。本发明发挥物联网的优势，将智能家居监控与助盲机器人采集的信息进行融合，更快速、安全、可靠的为视障患者提供导航、预警信息。本发明提出使用一种可拆卸式的移动机器人视觉模块，发挥移动机器人与可穿戴设备优势，为视障患者在不同场景下提供更多的选择。

Description

基于物联网的助盲机器人系统及方法

技术领域

本发明涉及助盲机器人技术领域，具体地，涉及一种基于物联网的助盲机器人系统及方法。

背景技术

目前，市场上生产和销售着各种各样的服务型机器人，服务机器人的应用范围很广，主要从事维护保养、修理、运输、清洗、保安、救援、监护等工作。近年来，盲人及低视力患者日益增多，世界上众多国家针对盲人及低视力患者的科研开发日益普遍。与此同时，5G通讯、人工智能、大数据和深度学习等新技术的普及应用为盲人及低视力患者的安全保障提供了有力的技术支持。

主要的助盲设备分为手杖类、移动式、穿戴式等等，手仗类辅具是现有的最普遍的助盲工具，结构简单，但功能单一，不能够满足盲人的活动需求；以移动式机器人为基础的导盲机器人能够帮助视觉障碍者完成定向行走，一般具备多种探测器、传感器、强大的计算能力以及高度的智慧能力，但由于体积过大，对多数盲人而言，其适应性不强；穿戴式辅具具有灵活的结构，但功能相对简单，难以完成较复杂的任务。

专利文献CN03280015.0公开了电子助盲器,具体而言是一种通过光电取样扫描取得图样信息,并转换为音频信号传达给盲人朋友的电子助盲器；该电子助盲器包含拾光器、光强度频率变换器、接收端口,其中；该拾光器设置有光电三极管、拾光管,该光电三极管安装在拾光管的一端,该光电三极管通过导线连接有光强度频率变换器,该光强度频率变换器通过导线与接收端口连接,该电源通过导线分别控制拾光器、光强度频率变换器、接收端口连接。该专利在结构和技术性能上仍然有待提高的空间。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于物联网的助盲机器人系统及方法。

根据本发明提供的一种基于物联网的助盲机器人系统，包括：能家居监控、助盲机器人、云服务器以及助盲APP部件；所述智能家居监控与云服务器相连；所述助盲机器人与云服务器相连所述助盲APP部件与云服务器相连；所述云服务器包括：视觉分析单元和语音分析单元。

优选地，所述助盲机器人包括：头部主体1、助盲机器人转动组件2、助盲机器人主体3、上肢连接接口4、助盲机器人底座5；

所述头部主体1与助盲机器人主体3通过转动组价2相连；

所述上肢连接接口4设置于助盲机器人主体3上；

所述助盲机器人底座5设置于助盲机器人主体3的下方；

优选地，所述助盲机器人包括：上肢组件13、可拆卸式视觉模块14、控制器21、运动控制模块22、语音交互模块23、视觉模块接口24以及网络传输模块25。

所述上肢组件13设置于基于物联网的助盲机器人系统的上部；

所述控制器21与运动控制模块22、语音交互模块23、视觉模块接口24以及网络传输模块25相连。

优选地，还包括：万向轮6、驱动轮7；

所述助盲机器人底座5与万向轮6、驱动轮7相连；

优选地，还包括：直流电机8；

所述驱动轮7与直流电机8相连；

所述上肢组件13与助盲机器人主体3通过上肢连接接口4相连；

所述上肢组件13包括：上肢组件连接件9、大臂连杆10、小臂连杆11和机械手12。所述上肢组件连接件9、大臂连杆10、小臂连杆11和机械手12依次连接。

优选地，所述语音交互模块包括：麦克风组、扬声器组；

所述可拆卸式视觉模块14包括：RGB相机16、深度相机17、红外传感器20、数据连接接口15、网络传输模块18以及语音模块19；

所述数据连接接口15与助盲机器人视觉模块接口相连。

优选地，还包括：云服务器中视频分析单元；

所述可拆卸式视觉模块14与助盲机器人语音交互模块23采集的信息通过网络传输模块18交由云服务器中视频分析单元处理。

优选地，所述视觉分析单元执行以下步骤：

步骤SS01：根据智能家居监控信息通过神经网络分析使用者活动热点以及场景特征，获取使用者活动热点分析结果信息、场景特征分析结果信息；

步骤SS02：根据使用者活动热点分析结果信息、场景特征分析结果信息，结合助盲机器人视觉模块信息构建场景图、识别场景中的物品，获取场景图构建结果信息、场景中的物品识别结果信息；

步骤SS03：根据场景图构建结果信息、场景中的物品识别结果信息，对使用者进行定位，由语音分析单元分析使用者所要到达目的地或待寻找物品，规划一条路径返回至语音分析单元，获取规划结果信息。

优选地，所述语音分析单元执行以下步骤：

步骤SS04：进行语音特征提取，从语音波形中提取出随时间变化的语音特征序列，获取随时间变化的语音特征序列提取结果信息；

步骤SS05：根据随时间变化的语音特征序列提取结果信息，在识别时将输入的语音特征与声学模型模式进行匹配与比较，得到最佳的识别结果，获取最佳识别结果信息；

步骤SS06：根据最佳识别结果信息，通过使用由识别语音命令构成的语法网络，或由统计方法构成的语言模型进行语法分析、语义分析，获取语法分析信息、语义分析信息；

步骤SS07：根据语法分析信息、语义分析信息，将语法分析信息、语义分析信息传输至视觉分析单元，视觉分析单元将结果路径信息等交由语音分析单元合成音频并通过物联网传输至扬声器组，获取使用者导航信息；

步骤SS08：通过神经网络对使用者的语音交互信息进行情感分析，并将分析结果通过物联网发送至助盲APP。

优选地，所述麦克风组包括：多个麦克风；

所述扬声器组包括若干低音单元、中音单元和高音单元。

所述助盲APP能够为视障患者家属推送语音分析单元情感分析结果，同时视障患者及其家属可通过助盲APP对助盲机器人或可拆卸式视觉模块下达指令；若所述助盲机器人控制器通过网络传输模块获得指令，处理后交由运动控制模块22执行。

根据本发明提供的一种基于物联网的助盲方法，采用基于物联网的助盲机器人系统，进行基于物联网的助盲操作。

与现有技术相比，本发明具有如下的有益效果：

1、本发明发挥物联网的优势，将智能家居监控与助盲机器人采集的信息进行融合，更快速、安全、可靠的为视障患者提供导航、预警信息；

2、本发明提出使用一种可拆卸式的移动机器人视觉模块，发挥移动机器人与可穿戴设备优势，为视障患者在不同场景下提供更多的选择；

3、本发明结构合理，使用方便，能够克服现有技术的缺陷。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的整体结构爆炸示意图。

图2为本发明的可拆卸式视觉模块示意图。

图3为本发明的助盲机器人结构示意图。

图4为本发明的助盲机器人控制系统示意图。

图5为本发明的语音交互流程示意图。

图6为本发明的视觉分析流程示意图。

图7为本发明的助盲APP软件应用流程示意图。

图8为本发明的基于物联网的助盲机器人系统连接示意图。

图9为本发明实施例中基于物联网的模块化助盲机器人系统连接示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1-9所示，一种基于物联网的模块化助盲机器人系统，融合多种使用方式进行设计，以满足视障用户在不同情况下的实际需要。包括模块化助盲机器人、智能家居监控、云服务器和助盲APP，其中模块化助盲机器人采用可拆卸式视觉模块和可拆卸式机械臂模块，结合了穿戴式辅具与移动式辅具的优势，满足使用在室内外不同场景的使用需求；对智能家居监控视频数据和模块化助盲机器人视觉模块信息进行融合，提高助盲机器人的可靠性与安全性。

模块化助盲机器人包括头部主体、转动组件、主体、机械臂模块接口、底座、可拆卸式视觉模块、可拆卸式机械臂模块、控制器、语音交互模块、视觉模块接口和网络传输模块，头部主体与主体通过转动组价相连，底座与万向轮和驱动轮相连，驱动轮与直流电机相连，可拆卸式机械臂模块与主体通过机械臂模块接口相连，可拆卸式机械臂模块包括连接件、大臂连杆、小臂连杆和机械手。

需要说明的是可拆卸式机械臂模块包括但不限于实现三自由的运动控制，机械臂模块接口处的旋转自由度，控制驱动实现机械臂模块的上下运动，肩部与肘部各有一个转动自由度，控制驱动实现机械臂模块的伸展、收缩；可拆卸式机械臂模块为用户提供更多选择，例如使用较大功率驱动的助力机械臂和具备多自由度机械手的机械臂等，该模块可独立安装在具备兼容接口的设备上。

可拆卸式视觉模块包括RGB相机、深度相机、红外传感器、数据连接接口、语音模块和网络传输模块，其中网络传输模块与模块化助盲机器人主体中的网络传输模块可相互独立的工作；同时为保证用户在单独佩戴拆卸式视觉模块时的使用体验，该模块中加入了语音模块，可为视障用户提供导航信息和预警信息等。

考虑到视障用户较为敏感的触觉听觉感官，机器人主体语音交互模块包括麦克风组和扬声器组，麦克风组包括若干麦克风和降噪麦克风，所述扬声器组包括若干低音单元、中音单元和高音单元，为视障用户提供良好的听觉感官体验；可拆卸式视觉模块中的语音模块仅包含一个麦克风、扬声器以减轻视觉模块重量进而获得较好佩戴舒适感。

云服务器，主要包括语音分析单元、视觉分析单元和视频语音数据库，其中视觉分析单元包括以下步骤：

SS01根据智能家居监控信息通过神经网络分析使用者活动热点以及场景特征；

SS02结合模块化助盲机器人视觉模块信息构建场景图、识别场景中的物品；

SS03对使用者进行定位，由语音分析单元分析使用者所要到达目的地，规划路径并将路径信息返回至语音分析单元；当使用者需要某物品时，将路径信息转化为控制命令后通过物联网交付至模块化助盲机器人控制器。

进一步的，语音分析单元包括以下步骤：

SS04语音特征提取，从语音波形中提取出随时间变化的语音特征序列；

SS05在识别时将输入的语音特征与声学模型(模式)进行匹配与比较，得到最佳的识别结果；

SS06通过由语音命令构成的语法网络或统计方法构成的语言模型进行语法、语义分析；

SS07将分析结果传输至云服务器视觉分析单元，视觉分析单元将结果(路径信息等)交由语音分析单元合成音频并通过物联网传输至模块化助盲机器人扬声器组为使用者提供导航信息；

SS08通过神经网络对使用者的语音交互信息进行情感分析，并将分析结果通过物联网发送至助盲APP。

进一步的，助盲APP能够为视障用户家属推送语音分析单元情感分析结果，同时视障用户及其家属可通过助盲APP对模块化助盲机器人、可拆卸式视觉模块或其它智能家居设备(例如智能灯与智能冰箱等)下达指令；若所述模块化助盲机器人控制器通过网络传输模块获得指令，协调可拆卸式视觉模块、可拆卸式机械臂模块和语音交互模块执行。

本发明发挥物联网的优势，将模块化助盲机器人与智能家居监控采集的数据进行融合，更快速、安全、可靠的为视障用户提供导航、预警信息；提出使用一种可拆卸式的移动机器人视觉模块和机械臂模块，充分发挥移动机器人与可穿戴设备优势，为视障用户在室内外不同场景下提供更多的选择。

一种基于物联网的模块化助盲机器人系统包括模块化助盲机器人、智能家居监控、云服务器和助盲APP；

模块化助盲机器人包括头部主体、转动组件、主体、机械臂模块接口、底座、可拆卸式视觉模块、可拆卸式机械臂模块、控制器、语音交互模块、视觉模块接口和网络传输模块；

可拆卸式机械臂模块如图3所示，包括：连接件、大臂连杆、小臂连杆和机械手，可拆卸式机械臂模块通过连接件旋转安装在模块化助盲机器人机械臂模块接口，该模块机械手部分可实现夹持动作，并通过大臂连杆与小臂连杆的带动实现物体的搬运工作；该模块可独立安装在具备统一接口的设备上(例如护理床)，同时模块化助盲机器人系统可配置不同功能的机械臂模块，如使用较大功率驱动的助力机械和具备多自由度机械手能完成复杂任务的机械臂等；

可拆卸式视觉模块与模块化助盲机器人可通过数据连接接口相连，当视障用户单独佩戴该模块时，独立的网络连接模块与语音模块开始工作，为视障用户提供导航、预警等信息；

底座结构如图3所示，底座与万向轮、驱动轮相连，两驱动轮分别连接一个直流电机，通过直流电机输出不同转速完成模块化助盲机器人的移动、转向操作；

本实施实例中，视觉分析流程如图5所示，在初次使用时，智能家居监控与模块化助盲机器人视觉模块共同完成场景图的构建与场景内物体的识别工作，现有的LSTM算法在构建场景图、对场景内物品识别时不需要先验知识便可完成，但需要花费较长的时间，本发明通过融合智能家居监控的视频数据为构建场景图提供先验知识，使该过程更加快速、高效的完成；需要注意的是智能家居监控可成为模块化助盲机器人视觉模块的补充，能够在一定程度上预警模块化助盲机器人视野盲区内视障用户发生的紧急事件；视觉分析单元使用多栅格的方法进行训练，该算法能够在能够不损失精度的情况下加速模型的训练；

当视障用户需要获取某件物品的方位时，模块化助盲机器人语音模块采集信息后，将信息(声波)发送至语音分析单元，语音分析单元将处理后的信息(文本信息)发送给视觉分析单元，视觉分析单元通过查找、匹配获得场景图中物品信息，同时由视觉模块采集、定位视障用户位置信息，通过神经网络规划一条安全路径，将物品信息和规划的路径信息(文本信息)交给语音处理单元，并在用户移动过程中对路径实时修正；当视障用户需要某物品时，直接将将规划好的路径信息转化为控制命令通过物联网交付至模块化助盲机器人控制器。

本实施示例中，语音交互流程如图5所示，通过5G网络连接模块获得模块化助盲机器人语音模块采集的语音输入，通过VAD对语音首尾端的静音进行切除，切除后分帧，帧之间可以交叠，经过以上预处理后交给特征提取模块，将各帧转化为包含声音信息的多维向量，通过声学模型、字典、语言模型对提取后的音频数据进行文本输出；

当语音分析单元获得视频分析单元返回的信息(文本信息)后，通过声学系统部分将文本合称为语音，声学系统部分目前主要有三种技术实现方式，分别为：波形拼接，参数合成以及端到端的语音合成技术；这里我们使用波形拼接，因为该技术具有音质好、情感真实等特点，但该方法需要的录音量大，覆盖要求高，考虑到导航播报这一特殊情景，我们对大规模数量的音库进行优化，针对导航播报建立专用音库，在不损失播报效果的前提下较少录音量；

本实施实例中，助盲APP能够为家属推送语音分析单元情感分析结果，家属可远程对模块化助盲机器人下达指令，拓宽家属与视障用户的互动渠道；当视障用户有出行需求时，助盲APP与可拆卸式视觉模块通过网络连接模块在云服务器的协同下完成任务，周围场景信息由可拆卸式视觉模块获取，位置信息由安装有助盲APP的手机GPS模块提供，该出行场景下软件应用流程如图7所示，助盲APP检测当前位置并进行播报，检测语音输入的目的地，语音提示用户确定是否匹配实际位置，若匹配，则语音提示用户确定使用的交通方式类型，否则重新语音提示用户输入目的地，用户选择出行方式后，助盲APP规划路径并语音提示用户是否查看路径详情，若用户需要查看，则语音播报详情并进行导航。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于物联网的助盲机器人系统，其特征在于，包括：智能家居监控、助盲机器人、云服务器以及助盲APP部件；

所述智能家居监控与云服务器相连；

所述助盲机器人与云服务器相连；

所述助盲APP部件与云服务器相连；

所述云服务器包括：视觉分析单元和语音分析单元。

2.根据权利要求1所述的一种基于物联网的助盲机器人系统，其特征在于，所述助盲机器人包括：头部主体(1)、助盲机器人转动组件(2)、助盲机器人主体(3)、上肢连接接口(4)、助盲机器人底座(5)；

所述头部主体(1)与助盲机器人主体(3)通过助盲机器人转动组件(2)相连；

所述上肢连接接口(4)设置于助盲机器人主体(3)上；

所述助盲机器人底座(5)设置于助盲机器人主体(3)的下方。

3.根据权利要求2所述的一种基于物联网的助盲机器人系统，其特征在于，所述助盲机器人包括：上肢组件(13)、能够拆卸式视觉模块(14)、控制器(21)、运动控制模块(22)、语音交互模块(23)、视觉模块接口(24)以及网络传输模块(25)；

所述能够拆卸式视觉模块(14)设置于基于物联网的助盲机器人系统的上部；

所述上肢组件(13)设置于基于物联网的助盲机器人系统的上部；

所述控制器(21)与运动控制模块(22)、语音交互模块(23)、视觉模块接口(24)以及网络传输模块(25)相连。

4.根据权利要求3所述的一种基于物联网的助盲机器人系统，其特征在于，还包括：万向轮(6)、驱动轮(7)；

所述助盲机器人底座(5)与万向轮(6)、驱动轮(7)相连。

5.根据权利要求4所述的一种基于物联网的助盲机器人系统，其特征在于，还包括：直流电机(8)；

所述驱动轮(7)与直流电机(8)相连；

所述上肢组件(13)与助盲机器人主体(3)通过上肢连接接口(4)相连；

所述上肢组件(13)包括：上肢组件连接件(9)、大臂连杆(10)、小臂连杆(11)和机械手(12)；

所述上肢组件连接件(9)、大臂连杆(10)、小臂连杆(11)和机械手(12)以此连接。

6.根据权利要求3所述的一种基于物联网的助盲机器人系统，其特征在于，所述语音交互模块包括：麦克风组、扬声器组；

所述能够拆卸式视觉模块(14)包括：RGB相机(16)、深度相机(17)、红外传感器(20)、数据连接接口(15)、网络传输模块(18)以及语音模块(19)；

所述数据连接接口(15)与视觉模块接口(24)相连；

所述麦克风组包括：多个麦克风。

7.根据权利要求3所述的一种基于物联网的助盲机器人系统，其特征在于，还包括：云服务器中视频分析单元；

所述能够拆卸式视觉模块(14)与语音交互模块(23)采集的信息通过网络传输模块(18)交由云服务器中视频分析单元处理。

8.根据权利要求1所述的一种基于物联网的助盲机器人系统，其特征在于，所述视觉分析单元执行以下步骤：

步骤SS01：根据智能家居监控信息通过神经网络分析使用者活动热点以及场景特征，获取使用者活动热点分析结果信息、场景特征分析结果信息；

步骤SS02：根据使用者活动热点分析结果信息、场景特征分析结果信息，结合助盲机器人视觉模块信息构建场景图、识别场景中的物品，获取场景图构建结果信息、场景中的物品识别结果信息；

步骤SS03：根据场景图构建结果信息、场景中的物品识别结果信息，对使用者进行定位，由语音分析单元分析使用者所要到达目的地或待寻找物品，规划一条路径返回至语音分析单元，获取规划结果信息；

所述语音分析单元执行以下步骤：

步骤SS04：进行语音特征提取，从语音波形中提取出随时间变化的语音特征序列，获取随时间变化的语音特征序列提取结果信息；

步骤SS05：根据随时间变化的语音特征序列提取结果信息，在识别时将输入的语音特征与声学模型进行匹配与比较，得到最佳的识别结果，获取最佳识别结果信息；

步骤SS06：根据最佳识别结果信息，通过使用由识别语音命令构成的语法网络，或由统计方法构成的语言模型进行语法分析、语义分析，获取语法分析信息、语义分析信息；

步骤SS07：根据语法分析信息、语义分析信息，将语法分析信息、语义分析信息传输至视觉分析单元，语音分析单元合成音频并通过物联网传输至扬声器组，获取使用者导航信息；

步骤SS08：通过神经网络对使用者的语音交互信息进行情感分析，通过物联网发送至助盲APP。

9.根据权利要求8所述的一种基于物联网的助盲机器人系统，其特征在于，还包括：助盲机器人控制器；

所述扬声器组包括若干低音单元、中音单元和高音单元；

所述助盲APP能够为视障患者家属推送语音分析单元情感分析结果；

所述助盲机器人控制器通过网络传输模块获得指令，处理后交由运动控制模块(22)执行。

10.一种基于物联网的助盲方法，其特征在于，采用权利要求1-9任意一项所述的基于物联网的助盲机器人系统，进行基于物联网的助盲操作。

Images