CN114788776A - 基于语义分割的多功能智能辅助识别步行系统及使用方法 - Google Patents

Abstract

本发明涉及一种基于语义分割的多功能智能辅助识别步行系统及使用方法，属于人工智能检测领域。包括视觉信息采集系统、支撑固定头盔，小型雷达扫描系统，信号控制传输线路，数据传输和调理系统，控制器、数据存储、声音传感器集成和电源集成模块，GPS定位控制字发送器，GPS定位接收天线，提醒报警系统，云端数据传输通道，可分离视觉采集系统连接通道和云端服务器。优点是结构新颖，提供一种新的智能辅助行走系统，原理可靠，连接方式灵活，操作方便且便携能力强，实用性较高，使用范围较广，适用于视觉、听觉有障碍的特殊群体，在很大程度上方便这类人群的出行。

Description

基于语义分割的多功能智能辅助识别步行系统及使用方法

技术领域

本发明属于人工智能检测领域，具体涉及装备于视觉、听觉障碍人群的一种多功能智能辅助识别步行系统。

背景技术

世界卫生组织发布数据显示，目前全球视障人士总数约3.14亿，而中国是盲人数量最多的国家，并且呈逐年增加的趋势。随着人口的增长和老龄化程度的加深，到2050年，全球预计会有7.03亿人面临中重度视力损害或失明。因此，为盲人提供安全可靠、智能高效的出行保障，是社会发展的必然趋势。

视觉障碍人群的出行，依靠的传统方法主要有盲道、导盲杖、导盲犬及视力正常人群的陪伴等方式。盲道是专门为帮助盲人行走而铺设的道路设施，由条形砖和带圆点的砖铺就而成，但事实上，由于盲道在百姓中间宣传力度不够，出现很多盲道被随意占用停车的情况，大多数人都没有意识到这样会对盲人步行造成影响；导盲杖是视觉障碍者用于辨别方向和环境的器具，传统导盲杖对于现在复杂的路面和交通情况已经无法完全适应；导盲犬虽然懂得很多口令，可以尽可能地带领盲人安全出行，但申请导盲犬有着严格的条件限制。因此，随着科技的发展，生活的现代化，电子导盲设备正逐步走进视觉障碍人群的生活，它可以提高他们的生活质量，是他们便利生活和安全出行的重要保障，也是他们生活中的一种必需品，具有实际的价值和意义。

现有的电子导盲设备主要有手持导盲仪、智能导盲杖、移动式机器人、可穿戴式导盲仪等。手持导盲仪由于受到质量的限制，导致其功能受限，并且手动扫描效率低，易引发危险。智能导盲杖功能单一，安全系数低，而且手杖的晃动影响检测结果。移动式机器人虽然更先进、更完善、更智能化，但是它的硬件和开发成本相当高，并且它的体积庞大，结构过于复杂，不适用于视觉障碍人群日常出行。

发明内容

本发明提供一种基于语义分割的多功能智能辅助识别步行系统及使用方法，以解决目前视觉、听觉有障碍的特殊群体城市全天候出行的安全问题。

本发明采用的技术方案：一种基于语义分割的多功能智能辅助识别步行系统拥有11个本体系统，具体包括视觉信息采集系统、支撑固定头盔，小型雷达扫描系统，信号控制传输线路，数据传输和调理系统，控制器、数据存储、声音传感器集成和电源集成模块，GPS定位控制字发送器，GPS定位接收天线，提醒报警系统，云端数据传输通道和可分离视觉采集系统连接通道；一个外体系统为云端服务器，其中小型雷达扫描系统与支撑头盔固联，信号控制传输线路固定于支撑头盔左前部，数据传输和调理系统固定于支撑头盔右前部，控制器、数据存储，声音传感器集成和电源集成模块固定于支撑头盔顶部，GPS定位控制字发送器固定于信息处理、数据存储，声音传感器集成和电源集成模块上，GPS定位接收天线固定于控制器、数据存储，声音传感器集成和电源集成模块上，云端数据传输通道固定于控制器、数据存储，声音传感器集成和电源集成模块上。

所述视觉信息采集系统负责人前面障碍物的识别，包括视觉信息采集系统托架，红外摄像头，图像信息传输线路，图像信息传输控制线路，视觉信息采集系统支架，其中视觉信息采集系统托架和视觉信息采集系统支架固联，红外摄像头与视觉信息采集系统支架固联；图像信息传输线路与信号传输和调理系统之间通过可分离视觉采集系统连接通道连接，图像信息传输控制线路与信号控制传输线路之间通过可分离视觉采集系统连接通道连接，视觉信息采集系统负责拍摄人面前的场景，并通过信号传输和调理系统与控制器连接，控制器将预处理后的场景图片通过云端数据传输通道上传至云端服务器，云端服务器经过基于深度学习的语义分割对图片场景处理后，快速返回结果给控制器，并由控制器通过综合决策，给出路况，结合GPS路线导航结果，通过提醒报警系统以语音播报或者振动提示的方式告知人该如何行走。

所述小型雷达扫描系统负责检测人面前障碍物的距离和大小，辅助视觉信息采集系统实现对障碍物的定位和识别，白天雷达扫描系统负责障碍物测距，夜间雷达扫描系统主要负责测距和障碍物轮廓扫描，小型雷达系统通过信号控制传输线路由控制器控制，通过数据传输和调理系统与控制器、数据存储，声音传感器集成和电源集成模块连接，控制器、数据存储，声音传感器集成和电源集成模块通过云端数据传输通道将雷达采集数据上传至云端服务器，云端服务器经过计算处理后，快速返回结果给控制器，并由控制器通过综合决策，给出路况信息。

所述的信号控制传输线路负责控制器与视觉信息采集系统、小型雷达系统、声音传感器的信号传输。

所述的数据传输和调理系统，主要负责数据的锁存，传输和信号调理。信号的调理主要包括滤波，放大，调制，工作过程中，把声音传感器采集到的数据通过数据传输和调理系统滤波，放大，调制后发送至控制器，最后通过控制器解调、处理，筛选后把有用提示信息通过提醒报警系统以语音播报或者振动提示的方式把外界声音提示告知人。

所述控制器、数据存储，声音传感器集成和电源集成模块包括控制器，数据存储扩展，声音传感器集成，电池供电部分，电源供电部分负责给系统供电，主要有两种工作模式，充电电池部分和干电池部分；干电池部分为备用电池，主要防止充电电池失效后的紧急提醒供电，数据存储扩展主要用来控制器的控制字调用、部分音频数据的缓存和部分雷达采集数据的缓存和存储。

所述的GPS定位控制字发送器，主要是控制器与GPS导航的控制连接，通过控制字命令来读取GPS导航定位路线，控制器通过提醒报警系统以语音播报或者振动提示的方式把步行路线告知人；所述的GPS定位接收天线，主要负责GPS导航数据的接收。

所述的提醒报警系统，与控制器通过蓝牙内置芯片连接，实现声音播报和振动提示。

所述的云端数据传输通道，负责控制器和云端服务器的通讯，通信方式为以太网通信；所述的云端服务器，主要负责视觉图像数据语义分割处理，夜间雷达扫描数据的处理，以及行程日志的备份；为多功能智能辅助识别步行系统控制器进行视觉和路况分析决策提供判据。

本发明所采用的图像语义分割可以将一幅原图分割成几组具有某种特定语义含义的像素区域，并识别出每个区域的类别，最后得到将各个区域逐像素标注的分割图。语义分割获取信息的能力远超过人类仅靠眼睛去获取的信息，从而大大提高了准确率和工作效率。本发明中语义分割技术部分是基于卷积神经网络来实现的。设计过程中采用双分支的并行结构，一分支在卷积下采样的过程中提取抽象图像语义信息，另一分支通过模拟人类视觉中注意力的机制来加强同类像素之间的联系。这种神经网络结构可以在提升运行效率的同时保证较高的分割精度。这种基于语义分割的多功能智能辅助识别步行系统能够更大程度地准确识别当前路况，方便视觉障碍人群日常出行。

一种基于语义分割的多功能智能辅助识别步行系统使用方法，包括以下步骤：

(1)确认多功能智能辅助识别步行系统正确佩戴，确认通讯良好，实现提醒报警系统和控制器的配对，确认电池充电良好；

(2)由人发出语音出行指示命令，提醒报警系统获取人的出行命令后并通过蓝牙将人的出行命令告知控制器；

(3)随后控制器进行设备唤醒，并调取GPS导航数据，当前路面信息，周围声音信息，通过提醒报警系统实时告知人出行指示；

(4)到达目的地后，由人发出语音停止指示命令，随后控制器检查并记录当前行走记录并上传云端备份，最后自动关闭所有机器运作，恢复初始状态。

本发明的特点在于：一，实现实时视觉听觉辅助提醒，智能规划行走路线，白天黑夜两用实时辅助导航。二，具有基于视觉语义分割的高辨析能力，可提高辅助识别的精度。三，系统具有智能排除、智能选择和智能自我学习的功能。四，拥有手动和自动两种工作模式，具有人性化设计的特点。实时的语音提示或者振动提示以及故障报警，提高系统的安全性。其五，质量轻，易于佩戴，还有一定的装饰作用。

本发明的优点是结构新颖，提供一种新的智能辅助行走系统，原理可靠，连接方式灵活，操作方便且便携能力强。

本发明实用性较高，使用范围较广，适用于视觉、听觉有障碍的特殊群体，在很大程度上方便这类人群的出行。

附图说明

图1是本发明总体布置的左轴侧图；

图2是本发明总体布置的右轴侧图；

图3是本发明的总体布置正视图；

图4是本发明的总体布置右视图；

图5是本发明的总体布置俯视图；

图6是本发明头盔固定安装部分轴侧放大图；

图7是本发明头盔固定安装部分轴侧图的俯视放大图；

图8是本发明视觉信息采集系统轴测放大图；

图9是本发明视觉信息采集系统正视放大图；

图10是本发明小型雷达测距原理图；

图11是本发明控制器、数据存储，声音传感器集成和电源集成模块以及听觉系统示意图；

图12是本发明的工作布置图；

图13是本发明的工作流程图；

图14是本发明云端pc机语义分割图像处理流程及效果图；

图15是本发明信息流交换流图；

图16是本发明红绿灯判别信息交换流图；

图17是本发明红绿灯判别程序框图。

具体实施方式

如图1-2所示，一种基于语义分割的多功能智能辅助识别步行系统拥有11个本体系统，具体包括视觉信息采集系统1、支撑固定头盔2，小型雷达扫描系统3，信号控制传输线路4，数据传输和调理系统5，控制器、数据存储、声音传感器集成和电源集成模块6，GPS定位控制字发送器7，GPS定位接收天线8，提醒报警系统9，云端数据传输通道10和可分离视觉采集系统连接通道11；一个外体系统为云端服务器12，系统本体安装和佩戴如图3-5所示，其中支撑头盔2负责支撑和固定，小型雷达扫描系统3与支撑头盔2固联，信号控制传输线路4固定于支撑头盔2左前部，数据传输和调理系统5固定于支撑头盔2右前部，控制器、数据存储，声音传感器集成和电源集成模块6固定于支撑头盔2顶部，GPS定位控制字发送器7固定于信息处理、数据存储，声音传感器集成和电源集成模块6上，GPS定位接收天线8固定于控制器、数据存储，声音传感器集成和电源集成模块6上，云端数据传输通道10固定于控制器、数据存储，声音传感器集成和电源集成模块6上。

所述小型雷达扫描系统3与支撑头盔2固联，安装位置如图6-7所示，负责检测人面前障碍物的距离和大小，辅助视觉信息采集系统1实现对障碍物的定位和识别，小型雷达扫描测距原理如图10所示，首先雷达发出一束电磁波打到障碍物上，随后接收到障碍物的反射波，时间间隔计为T，则障碍物目标距离为L＝C*T/2，其中C为光速，如图13所示，白天雷达扫描系统负责障碍物测距，夜间雷达扫描系统主要负责测距和障碍物轮廓扫描，对于轮廓扫描采用DOD和DOA联合估计的模式来获取障碍物轮廓；此时，小型雷达系统3通过信号控制传输线路4由控制器601控制，通过数据传输和调理系统5与控制器、数据存储，声音传感器集成和电源集成模块6连接，控制器、数据存储，声音传感器集成和电源集成模块6通过云端数据传输通道10将雷达采集数据上传至云端服务器，云端服务器经过计算处理后，快速返回结果给控制器601，并由控制器601通过综合决策，给出路况信息。

如图6-7所示，所述的信号控制传输线路4，负责控制器6与视觉信息采集系统1、小型雷达系统3、声音传感器603等的信号传输。

所述的数据传输和调理系统5，主要负责数据的锁存，传输和信号调理。信号的调理主要包括滤波，放大，调制。如图11所示，工作过程中，把声音传感器603(集成在控制器盒6上面)采集到的数据通过数据传输和调理系统5滤波，放大，调制后发送至控制器601，最后通过控制器601解调、处理，筛选后把有用提示信息通过提醒报警系统9以语音播报或者振动提示的方式把外界声音提示告知人。

如图8-9所示，视觉信息采集系统1负责人前面障碍物的识别，包括视觉信息采集系统托架101，红外摄像头102，图像信息传输线路103，图像信息传输控制线路104，视觉信息采集系统支架105，其中视觉信息采集系统托架101和视觉信息采集系统支架105固联，红外摄像头102与视觉信息采集系统支架105固联；如图1-2图像信息传输线路103与信号传输和调理系统5之间通过可分离视觉采集系统连接通道11连接，图像信息传输控制线路104与信号控制传输线路4之间通过可分离视觉采集系统连接通道11连接，如图12所示，视觉信息采集系统1负责拍摄人面前的场景，并通过信号传输和调理系统5与控制器601连接，控制器601将预处理后的场景图片通过云端数据传输通道10上传至云端服务器12，云端服务器经过基于深度学习的语义分割对图片场景处理后，快速返回结果给控制器601，并由控制器601通过综合决策，给出路况，结合GPS路线导航结果，通过提醒报警系统9以语音播报或者振动提示的方式告知人该如何行走。

如图11所示，控制器、数据存储，声音传感器集成和电源集成模块6，包括控制器601，数据存储扩展602，声音传感器集成603，电池供电部分604，电源供电部分604主要负责给系统供电，主要有两种工作模式，充电电池部分和干电池部分；干电池部分为备用电池，主要防止充电电池失效后的紧急提醒供电。数据存储扩展602主要用来控制器601的控制字调用、部分音频数据的缓存和部分雷达采集数据的缓存和存储。声音传感器集成603，控制器601以及提醒报警系统9共同构成了听觉控制系统。

当外界有危险声音时，被声音传感器603获取后，经过信号传输和调理系统5做信号调理，再经过A/D模数转换，进入控制器601，控制器601做出相关危险决策，给出危险提示信号，经过蓝牙传输给提醒报警系统9告知装备人群危险提示信号。

当外界无危险声音时，环境声音被声音传感器603获取后，经过信号传输和调理系统5做信号调理，再经过A/D模数转换，进入控制器601，控制器601不做出相关危险决策，给出安全提示信号，经过蓝牙传输给提醒报警系统9告知装备人群。工作时，听觉系统信息交换如图11所示。

如图12，GPS数据由卫星GPS定位系统提供给控制器601，控制命令由控制器601经过GPS定位控制字发送器7发出，导航路线数据由卫星GPS定位系统通过GPS定位接收天线8提供给控制器601，控制器601处理后通过提醒报警系统9以语音播报或者振动提示的方式把步行路线告知人。

如图12所示，云端数据传输通道10，负责控制器601和云端服务器的通讯，通信方式为以太网通信。

云端服务器12，第一主要负责视觉图像数据语义分割处理，夜间雷达扫描数据的处理，以及行程日志的备份。第二主要负责为多功能智能辅助识别步行系统控制器进行视觉和路况分析决策提供判据。

整个系统工作流程如图13所示，开始阶段由控制器601通过提醒报警系统9实时读取装备人群的步行指令，判断装备人群是否真正发出步行指令，若人发出目的地步行指令，则控制器601保存步行指令状态至存数据储器扩展602，接着控制器601通过GPS定位控制字发送器7发出步行导航获取命令，导航路线数据由卫星GPS定位系统通过GPS定位接收天线8反馈给控制器601，控制器601处理后通过提醒报警系统9以语音播报或者振动提示的方式把步行路线告知人，整个GPS导航数据调用过程，如图12所示。然后根据人的意愿选择步行导航路线。确定好步行导航路线后，控制器601进行唤醒操作，使得视觉采集系统1、听觉采集系统(如图11)、小型雷达扫描系统3同时工作。接着控制器601通过信号控制传输线路4，图像信息传输控制线路104与可分离视觉采集系统连接通道11发送视觉图片采集命令，视觉采集系统1将获取的图片信息经过可分离视觉采集系统连接通道11，图像信息传输线路103与信号传输和调理系统5传输给控制器601，由控制器模块601将预处理后的场景图片通过云端数据传输通道10上传至云端服务器12，整个视觉信息调用过程，如图12所示。云端服务器12经过基于深度学习的语义分割(图像处理子程序流程如图14所示，包括初始化，下采样图像特征提取，卷积、归一化及ReLU，特征融合，分类，反馈等步骤。图片处理效果如图14右侧所示，具有良好的分类效果)对图片场景处理后，通过云端数据传输通道10快速返回结果给控制器601，以备查询。同时控制器601通过信号控制传输线路4向小型雷达扫描系统3发出目标距离采集命令(晚上发出目标距离和轮廓采集命令)，小型雷达扫描系统3将获取的目标距离信号(晚上发出目标距离和轮廓采集命令)经过信号传输和调理系统5传输给控制器601，白天的话，控制器601直接保存障碍物距离信息以供控制器查询，晚上的话，控制器601将目标距离和轮廓数据通过云端数据传输通道10上传至云端服务器12，整个雷达扫描信息调用过程，如图12所示。云端服务器12启动距离计算和轮廓分析子程序，来预测当前障碍物和距离，并通过云端数据传输通道10快速返回结果给控制器601，以备查询。接着控制器601通过信号控制传输线路4向听觉采集系统(如图11所示)发出采集命，当外界有危险声音时，被声音传感器603获取后，经过信号传输和调理系统5做信号调理，再经过A/D模数转换，进入控制器601，控制器601做出相关危险决策，给出危险提示信号，经过蓝牙传输给提醒报警系统9告知装备人群危险提示信号。当外界无危险声音时，环境声音被声音传感器603获取后，经过信号传输和调理系统5做信号调理，再经过A/D模数转换，进入控制器601，控制器601不做出相关危险决策，给出安全提示信号，经过蓝牙传输给提醒报警系统9告知装备人群。

最后控制器601结合云端视觉反馈数据、雷达距离和轮廓反馈数据，听觉系统反馈数据确定路况信息，并通过提示报警系统9实时向装备人群反馈路况信息。结合GPS导航数据就可以实现智能导航功能。

如图15所示，为多功能智能辅助识别步行系统实体信息流交换流图。其中控制器601选用STM32单片机。

对于危险声音处理部分主要由控制器601(STM32)做出决策。首先装备人群给控制器601(STM32)发出工作信号，声音信号被声音传感器603采集到，信号经过滤波器滤波，放大器放大进入比较器(滤波器、放大器，比较器隶属于信号传输和调理系统5做信号调理)与危险声音比对存储的预先存储信号进行比对，最终由STM32单片机把声音危险信号(无危险信号时，不需要提醒装备人群，或者进行选择性提醒)告知装备人群。

对于视觉采集系统1，由控制器601(STM32)控制。首先装备人群给控制器601(STM32)发出工作信号，视觉采集系统1开始工作。将采集到的图片信号输入至控制器601(STM32)，经过图片收发，耦合通信端子C发送(图片收发、耦合通信端子C内植入云端数据传输通道10)，被耦合通信端子A，经云端图片接收器接收(云端图片收发、耦合通信端子A内植入云端pc机12)，由云端pc机12对图片进行语义分割处理，并返回给控制器601分类结果，由控制器601做判断。整个信息交换使用以太网通讯。

对于小型雷达扫描系统3，由控制器601(STM32)控制。首先装备人群给控制器601(STM32)发出工作信号，小型雷达扫描系统3开始工作。当需要雷达扫描的轮廓信息时，控制器601(STM32)将小型雷达扫描系统3获取的轮廓信息，经过调制器，信号收发器，耦合通信端子D发送(调制器，信号收发器，耦合通信端子D内植入云端数据传输通道10)，被耦合通信端子B，经云端信号接收器接收(耦合通信端子B，云端信号接收器内植入云端pc机)，由云端pc机12对雷达轮廓信息进行处理，并返回给控制器601轮廓分析结果，由控制器601做判断。整个信息交换使用以太网通讯。

对于提醒报警系统9，由控制器601(STM32)控制。首先装备人群给控制器601(STM32)发出工作信号，提醒报警系统9开始工作。装备人群和控制器601之间由提醒报警系统9实现蓝牙通信的，如图16所示，提醒报警系统9，包含语音输入器(装备人群向控制器发送声音命令，将声音信号转化为电信号)、声音转换器(由控制器601向控制人群发送声音提醒信号，将电信号转化为声音信号)，扩音器(帮助听力有障碍的装备人群听清楚语音播报)。

如图16所示，为多功能智能辅助识别步行系统红绿灯判别信息交换流图。其中控制器601选用STM32单片机。

对于红绿灯处理部分主要由控制器601(STM32)对比红绿灯图元比对存储信息做出决策。首先装备人群给控制器601(STM32)发出工作信号。由控制器601(STM32)启动视觉采集系统1获取图片信息，小型雷达扫描系统3获取障碍物距离或者轮廓信息，由控制器601(STM32)和云端pc机联合给出红绿灯判断决策。整个信息交换使用以太网通讯。

红绿灯处理判别流程如图17所示，首先控制器601读取云端存储实时处理拍摄图片或者小型雷达测距数据和扫描轮廓数据，判断是否当前位置是红绿灯附近。若判定附近有红绿灯，控制器601就读取云端储存实时原始拍摄数据与数据存储器的红绿灯图元数据进行对比，报告当前的红绿灯信息。最后通过提醒报警系统9告知装备人群。

一种基于语义分割的多功能智能辅助识别步行系统使用方法，包括以下步骤：

(1)确认多功能智能辅助识别步行系统正确佩戴，确认通讯良好，实现提醒报警系统9和控制器6的配对，确认电池充电良好。

(2)由人发出语音出行指示命令，提醒报警系统9获取人的出行命令后并通过蓝牙将人的出行命令告知控制器。

(3)随后控制器进行设备唤醒，并调取GPS导航数据，当前路面信息，周围声音信息，通过提醒报警系统9实时告知人出行指示。

(4)到达目的地后，由人发出语音停止指示命令，随后控制器检查并记录当前行走记录并上传云端备份，最后自动关闭所有机器运作，恢复初始状态。

Claims (10)

1.一种基于语义分割的多功能智能辅助识别步行系统，其特征在于：拥有11个本体系统，具体包括视觉信息采集系统、支撑固定头盔，小型雷达扫描系统，信号控制传输线路，数据传输和调理系统，控制器、数据存储、声音传感器集成和电源集成模块，GPS定位控制字发送器，GPS定位接收天线，提醒报警系统，云端数据传输通道和可分离视觉采集系统连接通道；一个外体系统为云端服务器，其中小型雷达扫描系统与支撑头盔固联，信号控制传输线路固定于支撑头盔左前部，数据传输和调理系统固定于支撑头盔右前部，控制器、数据存储，声音传感器集成和电源集成模块固定于支撑头盔顶部，GPS定位控制字发送器固定于信息处理、数据存储，声音传感器集成和电源集成模块上，GPS定位接收天线固定于控制器、数据存储，声音传感器集成和电源集成模块上，云端数据传输通道固定于控制器、数据存储，声音传感器集成和电源集成模块上。

2.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述视觉信息采集系统负责人前面障碍物的识别，包括视觉信息采集系统托架，红外摄像头，图像信息传输线路，图像信息传输控制线路，视觉信息采集系统支架，其中视觉信息采集系统托架和视觉信息采集系统支架固联，红外摄像头与视觉信息采集系统支架固联；图像信息传输线路与信号传输和调理系统之间通过可分离视觉采集系统连接通道连接，图像信息传输控制线路与信号控制传输线路之间通过可分离视觉采集系统连接通道连接，视觉信息采集系统负责拍摄人面前的场景，并通过信号传输和调理系统与控制器连接，控制器将预处理后的场景图片通过云端数据传输通道上传至云端服务器，云端服务器经过基于深度学习的语义分割对图片场景处理后，快速返回结果给控制器，并由控制器通过综合决策，给出路况，结合GPS路线导航结果，通过提醒报警系统以语音播报或者振动提示的方式告知人该如何行走。

3.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述小型雷达扫描系统负责检测人面前障碍物的距离和大小，辅助视觉信息采集系统实现对障碍物的定位和识别，白天雷达扫描系统负责障碍物测距，夜间雷达扫描系统主要负责测距和障碍物轮廓扫描，小型雷达系统通过信号控制传输线路由控制器控制，通过数据传输和调理系统与控制器、数据存储，声音传感器集成和电源集成模块连接，控制器、数据存储，声音传感器集成和电源集成模块通过云端数据传输通道将雷达采集数据上传至云端服务器，云端服务器经过计算处理后，快速返回结果给控制器，并由控制器通过综合决策，给出路况信息。

4.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述的信号控制传输线路负责控制器与视觉信息采集系统、小型雷达系统、声音传感器的信号传输。

5.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述的数据传输和调理系统，主要负责数据的锁存，传输和信号调理，信号的调理主要包括滤波，放大，调制，工作过程中，把声音传感器采集到的数据通过数据传输和调理系统滤波，放大，调制后发送至控制器，最后通过控制器解调、处理，筛选后把有用提示信息通过提醒报警系统以语音播报或者振动提示的方式把外界声音提示告知人。

6.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述控制器、数据存储，声音传感器集成和电源集成模块包括控制器，数据存储扩展，声音传感器集成，电池供电部分，电源供电部分负责给系统供电，主要有两种工作模式，充电电池部分和干电池部分；干电池部分为备用电池，主要防止充电电池失效后的紧急提醒供电，数据存储扩展主要用来控制器的控制字调用、部分音频数据的缓存和部分雷达采集数据的缓存和存储。

7.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述的GPS定位控制字发送器，主要是控制器与GPS导航的控制连接，通过控制字命令来读取GPS导航定位路线，控制器通过提醒报警系统以语音播报或者振动提示的方式把步行路线告知人；所述的GPS定位接收天线，主要负责GPS导航数据的接收。

8.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述的提醒报警系统，与控制器通过蓝牙内置芯片连接，实现声音播报和振动提示。

9.根据权利要求1所述的基于语义分割的多功能智能辅助识别步行系统，其特征在于：所述的云端数据传输通道，负责控制器和云端服务器的通讯，通信方式为以太网通信；所述的云端服务器，主要负责视觉图像数据语义分割处理，夜间雷达扫描数据的处理，以及行程日志的备份；为多功能智能辅助识别步行系统控制器进行视觉和路况分析决策提供判据。

10.一种基于语义分割的多功能智能辅助识别步行系统使用方法，其特征在于，包括下列步骤：

(1)确认多功能智能辅助识别步行系统正确佩戴，确认通讯良好，实现提醒报警系统和控制器的配对，确认电池充电良好；

(2)由人发出语音出行指示命令，提醒报警系统获取人的出行命令后并通过蓝牙将人的出行命令告知控制器；

(3)随后控制器进行设备唤醒，并调取GPS导航数据，当前路面信息，周围声音信息，通过提醒报警系统实时告知人出行指示；

(4)到达目的地后，由人发出语音停止指示命令，随后控制器检查并记录当前行走记录并上传云端备份，最后自动关闭所有机器运作，恢复初始状态。

Images