CN115451990A - 一种基于初始轨迹的数字盲道系统和导盲方法 - Google Patents

Abstract

本发明涉及卫星定位、云服务、智能算法领域，特别是一种基于初始轨迹的数字盲道系统，包含相互连接通信的设备端和云端服务器。设备端包含第一计时模块、定位模块、语言处理模块、视频采集模块和确认模块。云端服务器包含第二计时模块、视频协助模块、规划模块和导航模块。设备端采集设备时间信息、位置信息和图像视频信息，发送至云端服务器。云端服务器生成由参考点构成的规划路径，在视力障碍者互动逐个确认参考点，完成导航。本发明还包含利用数字盲道的导航方法。本发明不依赖视觉辅助，通过常路径信息采集生成并建立数字盲道，形成与心理地图一致的语音引导，在每个参考点均由视力障碍者确认核实，为其出行提供便利，具有很强的可操作性。

Description

一种基于初始轨迹的数字盲道系统和导盲方法

技术领域

本发明涉及卫星定位、云服务、智能算法领域，特别是一种基于初始轨迹的数字盲道系统和导盲方法。

背景技术

根据中国视力障碍者协会的统计数据，全国的视力残疾人大约有1700万，其中一二级视力障碍者数量约850万左右，他们是需要国家和全社会关心帮助有特殊困难的群体。出行是视力残疾人尤其是视力障碍者最迫切的生活需求，随着社会的进步，特别是特殊教育的发展，导盲作为视力残疾人最重要的出行手段，已越来越被视障人群所接受。明确导盲的性质，推进导盲的规范化、信息化和智能化，逐步实现导盲的普及化，可辅助创建盲健共融的无障碍环境，提高广大视力残疾人的教育水平和生活质量，这直接关系一千多万视力残疾人获取信息以及平等出行的权利。

但是用产品的发展效果之所以不理想，一方面科学进步仍有瓶颈，生物医学和计算机学科的复合型人才不足，一方面此领域市场不被重视，无法激发行业投入和迭代演进。但是从国内近些年政府和重点企业的持续关注下，在阅读及识别领域有相关产品逐渐出现，视力障碍者及低视力群体的困难和期望正在被重视。目前市场上针对视力障碍者出行的智能设备尚未普及，也亟需方便易用的盲用装置。

当前一部分有出行能力的视力障碍者只能借助于百度、高德、谷歌等地图软件，在部分地区如郊区、农村、非开放道路等区域现有GIS信息资源无法满足视力障碍者无视觉辅助条件下的出行目的。为视力障碍者提供个性化、定制化的“数字盲道”以及对应的软硬件辅具装置是很好的突破口。数字盲道可以把多数需要人工的场景用自动化的软件覆盖，解决残疾人出行的痛点。

发明内容

本发明的目的在于提供一种基于初始轨迹的数字盲道系统和导盲方法，主要解决上述现有技术存在的问题，它将常用路径生成个性化数字盲道，然后基于数字盲道的语音提醒实现出行，解决视力障碍者，尤其是视力障碍者群体在就学、就业、就医时的出行困难。

为了实现上述目的，本发明所采用的技术方案是提供一种基于初始轨迹的数字盲道系统，其特征在于，包含相互连接通信的设备端和云端服务器；所述设备端包含第一计时模块、定位模块、语言处理模块、视频采集模块和确认模块；所述云端服务器包含第二计时模块、视频协助模块、规划模块和导航模块；

所述第一计时模块采集所述设备端的设备时间信息，所述定位模块采集所述设备端的位置信息，所述视频采集模块采集所述设备端周边的图像视频信息，发送至所述云端服务器；所述语言处理模块解析来自所述导航模块下发的导航信息或者来自所述视频协助模块的远程协助信息并播放；所述确认模块接受来自所述设备端的本地输入或者来自所述云端服务器的远程输入，生成确认信息，发送到所述导航模块；

在路径采集模式下，所述视频协助模块结合所述视频信息，形成所述远程协助信息，下发到所述设备端；所述规划模块结合由所述第二计时模块同步后的所述设备时间信息、所述位置信息和所述视频信息，形成包含所述导航信息的规划路径；在导航模式下，所述导航模块根据所述规划路径，结合利用所述第二计时模块同步后的所述设备时间信息，以及所述位置信息和所述确认信息，从所述规划路径中检索对应的所述导航信息并下发到所述设备端。

进一步地，人工客服利用所述规划模块，结合由所述第二计时模块同步后的所述设备时间信息、所述位置信息和所述视频信息，为所述位置信息添加对应的所述导航信息，完成所述规划路径的创建。

进一步地，所述定位模块周期性的采集所述位置信息；在路径采集模式下，所述设备端同时上传所述设备时间信息、所述位置信息和所述图像视频信息至所述云端服务器；在导航模式下，所述设备端仅上传所述设备时间信息和所述位置信息至所述云端服务器。

进一步地，所述确认模块包含由按键、麦克风构成的输入单元和处理单元；所述按键的状态或者由所述麦克风采集的用户语音，传输到所述处理单元，形成不同的所述本地输入，或者形成向所述云端服务器的协助请求；所述云端服务器收到所述协助请求后，将所述远程输入反馈至所述处理单元；所述处理单元进一步处理所述本地输入或者远程输入，生成所述确认信息。

本发明还提供一种使用上述基于初始轨迹的数字盲道系统的导盲方法，其特征在于，包含步骤：

步骤S10，在路径采集模式下，视力障碍者携带所述设备端从起点行进至终点，建立初始轨迹；在行进中，所述第一计时模块采集所述设备端的所述设备时间信息，所述定位模块采集所述设备端的所述位置信息，所述视频采集模块采集所述设备端周边的所述图像视频信息；所述位置信息和所述图像视频信息发送至所述云端服务器保存，所述设备时间信息发送至所述云端服务器后，经所述第二计时模块同步后作为时间戳保存；与同一所述时间戳对应的所述位置信息，保存在同一个采集点内。

步骤S20，在路径采集模式下，利用所述云端服务器，从多个所述采集点中选取部分或者全部，补充所述导航信息后保存为参考点，建立从路径起点至路径终点的所述规划路径；所述规划路径包含所有所述参考点和所述采集点；

步骤S30，在导航模式下，视力障碍者携带所述设备端从所述起点出发，所述云端服务器下发所述导航信息至所述设备端，由所述设备端解析并播报；所述视力障碍者利用所述确认模块，对所述导航信息逐个确认，最终到达所述终点。

进一步地，在步骤S10中利用所述语言处理模块和所述视频采集模块，进行远程视频导盲，所述包含步骤：

步骤S11，在所述设备端开启所述语言处理模块和所述视频采集模块，然后视力障碍者携带所述设备端从所述起点出发；

步骤S12，在行进中，所述视频采集模块将采集的所述图像视频信息上传到所述云端服务器，由所述视频协助模块展现给人工客服；

步骤S13，人工客服利用所述视频协助模块根据所述图像视频信息，生成所述远程协助信息下发到所述设备端；

步骤S14，所述语言处理模块解析所述远程协助信息，进行语音合成和播放，指导视力障碍者前进。

进一步地，在步骤S20中，具体包含步骤：

步骤S21，读取将由所述设备端在路径采集模式下保存全部所述采集点；

步骤S22，由人工客服查阅所述图像视频信息，挑选出所有所述时间戳处于所述图像视频信息中的所述起点和所述终点的时间之间的所述采集点

步骤S23，将选中的所述采集点按对应的时间戳升序排序；选中所述时间戳最早的所述采集点为所述路径起点；选中所述时间戳最晚的所述采集点为所述路径终点；人工客服为所述路径起点和所述路径终点添加所述导航信息，保存为所述参考点；

步骤S24，人工客服遍历所述采集点，从中选中部分或者全部采集点，利用所述规划模块为选中的所述采集点添加所述导航信息，并保存为所述参考点。

进一步地，在步骤S30中，具体包含步骤：

步骤S31，视力障碍者选中所述规划路径开启导航，并携带所述设备端从所述起点出发；所述云端服务器根据被选中所述规划路径完成初始化，并在所述规划路径中选择所述起点的第一个后序所述参考点作为当前参考点；

步骤S32，在行进中，所述定位模块采集所述设备端的所述位置信息，随同所述第一计时模块采集所述设备端的所述设备时间信息，一同上报至所述云端服务器；

步骤S33，所述云端服务器将收到的所述位置信息与所述当前参考点对比；当上报的所述位置信息与所述当前参考点对应的所述位置信息距离小于预设阈值时，将所述当前参考点对应的所述导航信息下发到设备端，反之将告警信息作为所述导航信息下发到设备端；所述设备端利用所述语言处理模块解析所述导航信息，进行语音合成和播放，指导视力障碍者前进；

步骤S34，所述视力障碍者利用所述确认模块，向所述导航模块发送所述确认信息；当所述确认信息为确认到达信息时，如果所述当前参考点为所述路径终点，进入步骤S35，否则所述云端服务器在所述规划路径中选择所述当前参考点的第一个后序所述参考点，作为新的所述当前参考点，并进入步骤S32；当所述确认信息不是所述确认到达信息时，所述云端服务器继续下发所述当前参考点对应的所述导航信息。

步骤S35，导航结束。

进一步地，在步骤S33中，当上报的所述位置信息与当前所述参考点对应的所述位置信息距离大于等于所述预设阈值时，将当上报的所述位置信息与所述规划路径中任一所述参考点对应的所述位置信息以及每个所述采集点对应的所述位置信息进行匹配；当上报的所述位置信息与所述规划路径中任一所述参考点对应的所述位置信息或任一所述采集点对应的所述位置信息的距离大于所述预设阈值时，将告警信息作为所述导航信息下发到设备端。

进一步地，在步骤S33中，每次对比上报的所述位置信息与任一所述参考点对应的所述位置信息时，使用的所述预设阈值根据预设条件变化。

鉴于上述技术特征，本发明具有如下优点：

1、本发明无论是在建立数字盲道的过程中还是在导航的过程中，均不依赖视觉辅助，利用纯语音与视力障碍者交互，方便视力障碍者独立使用。

2、本发明基于初始轨迹，以个性化的方式对视力障碍者的常路径进行信息采集并生成数字盲道建立数字盲道，从而协助视力障碍者摆脱现有工具或者地图的限制，可以根据自己习惯建立与自身心理地图一致的语音引导，相当于为每个视力障碍者定制一套属于自身的导航，为视力障碍者的出行提供便利，具有很强的可操作性。

3、本发明在每个参考点都需要视力障碍者主动确认到达后，才给出下一个参考点的导航信息，能确保视力障碍者能始终知晓自己在正确的路径上，也能让远程工作人员及时发现视力障碍者已经偏航，从而及时介入处理。

附图说明

图1是本发明基于初始轨迹的数字盲道系统的系统结构示意图。

图2是本发明利用基于初始轨迹的数字盲道系统的导盲方法的一个较佳实施例的流程图；

图3是本发明利用基于初始轨迹的数字盲道系统的导盲方法的一个较佳实施例的远程视频导盲功能的流程图；

图4是本发明利用基于初始轨迹的数字盲道系统的导盲方法的一个较佳实施例的根据初始轨迹建立规划路径的流程图；

图5是本发明利用基于初始轨迹的数字盲道系统的导盲方法的一个较佳实施例的根据规划路径导航的流程图；

图6是本发明利用基于初始轨迹的数字盲道系统的导盲方法的一个较佳实施例的中新建规划路径的界面示意图；

图7是本发明利用基于初始轨迹的数字盲道系统的导盲方法的一个较佳实施例的中新建参考点的界面示意图。

图中：100-设备端，200-云端服务器；

101-第一计时模块，102-定位模块，103-语言处理模块，104-视频采集模块，105-确认模块；

201-第二计时模块，202-视频协助模块，203-规划模块，204-导航模块。

具体实施方式

下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

请参阅图1，本发明公开了一种基于初始轨迹的数字盲道系统。如图所示：它的一个较佳实施例，由设备端100和云端服务器200构成。设备端100由视力障碍者佩戴，跟随视力障碍者移动，收集视力障碍者侧的信息和云端服务器200交互，还向视力障碍者提供导航指导。云端服务器200通过移动通讯网络或WiFi网络通信，连接到设备端100，利用设备端100上传的信息完成路径规划，并利用已规划的路径对视力障碍者进行导航。

设备端100包含第一计时模块101、定位模块102、语言处理模块103、视频采集模块104和确认模块105。云端服务器200包含第二计时模块201、视频协助模块202、规划模块203和导航模块204。

在设备端100，第一计时模块101负责在设备端100端计时，采集的信息作为设备时间信息，向云端服务器200上报。定位模块102采集设备端100的位置信息，包含设备端100当前的位置坐标，此信息可以来自卫星定位也可以来自其他定位手段，例如移动网络定位，室内定位等。视频采集模块104收集设备端100周边的图像视频信息。语言处理模块103包含语音合成和语音播放两个子模块。来自云端服务器200的导航信息或者远程协助信息，并不是音频本身而是以文字形式编码的，从而节约通信带宽。语音合成子模块解析收到的导航信息或者远程协助信息，将文字形式的编码转换为音频编码，然后通过语音播放子模块播放给视觉障碍者收听。

在实际工作时，定位模块102利用第一计时模块101计时，周期性的采集位置信息，上报给服务器。在上报位置信息的同时，也会将与其对应的设备时间一并上传。视频采集模块104一旦开始工作，则是持续不停的采集图像视频。在采集的图像视频中，也会包含时间信息，对应图像视频中的每一帧，都会标记一个对应的视频时间戳，该视频时间戳也是基于第一计时模块101生成的。

本实施例具有两种工作模式：路径采集模式和导航模式。路径采集模式用于采集初始轨迹，并基于初始轨迹生成规划路径。导航模式则是利用规划路径引导视力障碍者出行。

在路径采集模式下，视力障碍者佩戴设备端100出行，采集生成规划路径所需要的信息。此时，设备端100开启第一计时模块101、定位模块102和视频采集模块104，将它们采集的设备时间信息、位置信息和图像视频信息至云端服务器200。位置信息周期性采样上传，图像视频信息则连续上传，时间信息随位置信息上报，也会编码在图像视频信息中以视频时间戳的形式上报。

在路径采集模式下出行，设备端100还可以开启远程协助功能，由人工客服予以远程指导，从而使得视力障碍者可以无需健康人实地伴随。远程协助功能下，视频采集模块104上报的图像视频信息，由云端服务器200的视频协助模块202呈现给人工客服。人工客服根据图像视频展示的内容向视觉障碍者提供指导。指导意见由视频协助模块202编码成远程协助信息，下发到设备端100。在设备端100，语音处理模块103开启，它利用语音合成子模块和语音播放子模块，将远程协助信息转换成语音播报。

在路径采集模式下，云端服务器200接收到来自设备端100上报的设备时间信息、位置信息和图像视频信息后，利用第二计时模块201同步设备时间信息，然后将同步校准后的设备时间信息作为时间戳，与位置信息一起打包为采集点保存。同时，将图像视频信息(包含视频时间戳)之间存盘。

完成初始轨迹的采集后，人工客服利用规划模块203，结合由第二计时模块201同步后的设备时间信息(时间戳)、位置信息和视频信息，根据视力障碍者的自身的心理地图特点，选择位置信息匹配的合适的采集点，人工添加对应的导航信息，直到完成整个规划路径的创建。

在导航模式下，视力障碍者首先选定一条已经保存的规划路径，类似健康人在地图导航上选择一个目的地后选择导航路径，然后佩戴设备端100开始出行。在导航模式下，设备端100开启第一计时模块101、定位模块102和语言处理模块103。定位模块102利用第一计时模块101，周期性的采集当前设备端100的位置信息。设备端100将采集到的设备时间信息和位置信息一并上传至云端服务器200。设备端100的语言处理模块103收到下发的导航信息后，利用语音合成子模块和语音播放子模块，将远程协助信息转换成语音播报，引导视力障碍者沿着规划路径前进。此时，确认模块105被用于向导航模块204通信，向其提供视力障碍者是否抵达参考点的确认信息。云端服务器200的导航模块204，根据确认信息，选择是否切换到下一个参考点并播报对应的导航信息。

确认模块105包含由按键、麦克风构成的输入单元和处理单元两个部分。视觉障碍者根据导航信息的内容，例如“摸到一个大理石材质的扶手”，以及自己的实际感觉，通过不同的按键或者语音反馈自己是否真的摸到了一个大理石材质的扶手。当采用按键时，一个按键表示确认到达，一个按键表示未找到目标。当采用语音输入时，语音信息由处理单元处理后，形成“确认到达”或者“未找到目标”两类确认信息。由视觉障碍者通过设备端100的直接输入，作为本地输入。当视觉障碍者无法自行确认到达参考点时，也可以通过按键或者语音，向云端服务器发送协助请求，由远程的工作人员通过视频采集模块104和视频协助模块202在远程利用视频确认。工作人员的在云端服务器200发送的信息，作为远程输入反馈至处理单元，然后处理单元处理后，还是能形成“确认到达”或者“未找到目标”两类确认信息。

在云端服务器200侧，第二计时模块201和导航模块204工作，先将设备时间信息利用第二计时模块201同步校准，然后利用校准后时间指导导航模块204工作。导航模块204从保存的规划路径中检索对应的导航信息，然后并下发到设备端100。

请参阅图2，本发明还提供了一种利于基于初始轨迹的数字盲道系统的导盲方法，它的一个较佳实施例，由以下步骤构成：

步骤S100，建立初始轨迹。

将设备端和云端服务器均切换至路径采集模式，然后让视力障碍者携带设备端从起点行进至终点，例如：帮助视力障碍者建立从家到菜市场的数字盲道。

在行进中，第一计时模块采集设备端的设备时间信息，定位模块定期采集设备端的位置信息，视频采集模块采集设备端周边的图像视频信息。具体而言，设备端每间隔1秒通过移动网络向云端服务器发送卫星定位信息，定位信息包含经纬度坐标和时间戳信息，如1970-01-01 10:00:01，39.916527,116.397128。同时设备端摄像头采集并保存视频信息到云端处理服务器，视频中应实时显示视频时间戳。上报给云端服务器的定位信息数量根据路径长短或行走快慢会有差异，至少包含起点和终点定位信息。

每个位置信息都随同采样时刻的设备时间信息一并上传至云端服务器后。其中，设备时间信息经第二计时模块同步后作为时间戳，和与其对应的位置信息一起保存，作为一个采集点。图像视频信息则直接被云端服务器保存。

步骤S200，根据初始轨迹，建立规划路径，例如：完成从家作为起点到菜市场作为终点的所有参考点的标注，建立数字盲道A。

将云端服务器均切换至路径采集模式。人工客服读取初始轨迹中的视频以及对应的全部采集点，从其中选取部分或者全部，根据视力障碍者的自己的心理地图的情形，为选中的采集点补充导航信息。补充过导航信息的采集点，作为参考点保存。从初始轨迹起点至终点，对每个采集点完成筛选，并将选中的采集点保存为参考点后，就建立了规划路径。规划路径从路径起点至路径终点结束，包含所有参考点和采集点。

步骤S300，根据规划路径导航。例如：视力障碍者开启数字盲道功能，启动数字盲道A导盲，引导视力障碍者从家出发抵达菜场。

将设备端和云端服务器均切换至路径导航模式。视力障碍者携带设备端从起点出发，设备端定期采集设备时间信息和位置信息上报到云端服务器，云端服务器在规划路径中匹配参考点，将参考点对应的导航信息下发到设备端，由设备端的语言处理模块解析并播报，引导视力障碍者到达路径终点。

请参阅图3，在步骤S100中，建立初始轨迹需要视力障碍者首次在无导航状态下出行，一般是需要由健康人在边上辅助的。例如：视力障碍者从家出发按照行走习惯由人陪同抵达菜市场，这里视力障碍者的行走路径应符合盲人定向行走习惯。本系统还提供了远程视频导盲功能，可以由人工客服对首次出行的视力障碍者，借助实时音视频进行辅助，包含步骤：

步骤S101，视力障碍者在设备端开启远程视频导盲功能后，携带设备端从起点出发。此时，设备端的语言处理模块和视频采集模块均处于开启状态。

步骤S102，在行进中，视频采集模块采集视力障碍者周边的图像视频信息，上传到云端服务器。在云端服务器，视频协助模块将图像视频信息实时展现给人工客服。

步骤S103，人工客服根据图像视频信息做出协助决断，并利用视频协助模块生成远程协助信息下发到设备端。

步骤S104，设备端收到远程协助信息后，由语言处理模块解析，在语音合成后播放，指导视力障碍者前进。

请参阅图4，在步骤S200中，人工客服根据初始轨迹建立规划路径，新建数字盲道A，具体包含步骤：

步骤S201，人工客户读取云端服务器保存的初始轨迹中的全部采集点。这些采集点是由设备端步骤S100中采集并有云端服务器处理后保存的。然后在云端服务器上建立新的数字盲道A，如图6所示。

步骤S202，人工客服读取对应初始轨迹的图像视频信息，根据图像视频信息中的实际起点和实际终点对应的视频时间戳，选定有效采集点。有效采集点的时间戳，应当处于实际起点和实际终点对应的视频时间戳之间。

步骤S203，在选中的有效采集点中设置路径起点和路径终点。

将选中的有效采集点按对应的时间戳升序排序。排序后的有效采集点中，时间戳最早的采集点默认为路径起点，时间戳最晚的采集点默认为路径终点。人工客服可以根据实际情况加以调整。然后，人工客服利用规划模块，为路径起点和路径终点添加导航信息，然后将这两个参考点保存为参考点。

如图7所示，以路径起点为例，人工客户可以定义其名称为起点，然后从采集点中导入起点时间戳，精度到秒，同时导入采集点中的位置信息，即经纬度坐标作为此参考点的坐标点。然后，在该参考点备注中，由人工进行行走指导描述，如“现在是起点，请您佩戴好盲杖，从当前位置向前直行10步，您将碰到路沿。”完成第一个参考点建立和保存。

步骤S204，人工客服遍历全部有效采集点，根据视力障碍者的实际情况和现有的心理地图，从中选中部分或者全部采集点，利用规划模块为选中的采集点添加导航信息，并保存为参考点。

以出发后的下一个参考点路沿为例，人工客户通过视频发现抵达“路沿”的位置，则选出最接近该时刻的采集点信息，导入其时间戳和位置信息，并标注导航信息“您已达到参考点路沿，下一个参考点为路口，您需要左转沿当前路沿向前继续行走20步，抵达路口”，完成第二个参考点的建立。

在上述步骤中完成后，针对数字盲道A，还可以根据视力障碍者本人的反馈，继续由人工客服对参考点进行优化，包括但不限于插入、修改和删除参考点的操作。新增的参考点均来自初始轨迹中的采样点。

请参阅图5，在步骤S300，根据规划路径导航，具体包含步骤：

步骤S301，视力障碍者选中某个已保存的规划路径开启导航，并携带设备端从起点出发。云端服务器根据被选中规划路径完成初始化，然后在被选中的规划路径中，选择起点的第一个后序参考点，作为当前参考点。视力障碍者的实际起点，应当与规划路径的路径起点重合。

例如：当视力障碍者有从家出行至菜市场的需求，可在家通过指令启动数字盲道A，并选择数字盲道A进行语音导盲。此时，假设从起点出发后的第一个参考点为“路沿”，那么“路沿”就被选择成为当前参考点。语音播报的内容为从起点开始到当前参考点(即路沿)的导航信息。

步骤S302，在导航开始后，定位模块定期采集设备端的位置信息，随同第一计时模块采集设备时间信息，一同上报至云端服务器。

当视力障碍者开启数字盲道A导航开启并出发后，设备端获取并发送卫星定位至云端服务器，上报间隔为5秒。

步骤S303，云端服务器将收到的位置信息与已选定的当前参考点对比。

当上报的位置信息与当前参考点对应的位置信息距离小于预设阈值时，则认为匹配成功，然后就将该匹配成功的当前参考点对应的导航信息下发到设备端。反之，上报的位置信息与当前参考点均不匹配，那么就将告警信息作为导航信息下发到设备端。特别，考虑到不同地形的定位精度的差异，云端服务器在每次尝试匹配上报的所述位置信息与参考点或者采样点时，使用的预设阈值可以根据在云端服务器预设条件变化。

设备端收到导航信息后，利用语言处理模块解析，进行语音合成和播放，指导视力障碍者前进，或者提供告警。

步骤S304，视力障碍者利用确认模块，向导航模块发送确认信息。当确认信息为确认到达信息时，如果当前参考点为路径终点，那么进入步骤S305，以结束导航。否则云端服务器在规划路径中选择当前参考点的第一个后序参考点，作为新的当前参考点，并进入步骤S302。

当确认信息不是确认到达信息时，云端服务器继续下发当前参考点对应的导航信息，引导视力障碍者先到达当前参考点。导航模块必须接收到来自视力障碍者或者工作人员的确认后，才能切换到当前参考点为下一个参考点。

例如，上报的位置信息包含坐标点1(靠近路沿)，云端服务器接收坐标点1时，将坐标点1和数字盲道A中第一个参考点(当前参考点“路沿”)的位置信息(坐标)进行匹配。当坐标点1和第一个参考点坐标的距离小于10米时，判定为匹配。此时，设备端播放当前参考点的信息“已到达路沿，请确认”。

然后，视力障碍者通过其自身的手段核实自己是否到达路沿。如果确认自己到达了路沿，则通过按键或者语音，向确认模块反馈。此时，反馈信息作为本地输入，经确认模块处理后，上报给导航模块“确认到达信息”。如果视力障碍者自己无法确认状态，还可以通过按键或者语音，向云端服务器发送协助请求。工作人员在云端服务器收到请求后，可以结合视频采集模块和视频协助模块，查看当前的环境，并给出反馈。如果工作人员确认到达路沿，其反馈作为远程输入到达确认模块，经确认模块处理后，上报给导航模块“确认到达信息”。视觉障碍者也可以直接通过按键或语音给确认模块发送“未找到目标”，工作人员也可以反馈信息生成“未找到目标”信息。当视觉障碍者用语音输入时，可以结合人工智能分析语义。

当收到“确认到达”信息后，导航模块完成当前参考点的切换，即选择当前参考点的第一个后序参考点作为新的当前参考点(在本例子中为“路口”)，然后读取此新当前参考点名称、备注文本信息作为导航信息下发到设备端。设备端收到导航信息后，解析导航信息并播放“您已达到参考点路沿，下一个参考点为路口，您需要左转沿当前路沿向前继续行走20步，抵达路口”。

当连续多个上报位置信息都无法和参考点完成匹配，则判定已偏离盲道，下发告警信息“您已偏离盲道，请及时调整”。上述预设阈值“10米”，可在云端服务器预设条件来调整，不是常数。例如，可根据卫星定位精度进行动态调整，如定位精度差，则增大预设阈值为20米，避免误判。

在另外的一种实施例中，为了提高导航的精确度，防止误报，当上报的位置信息与当前参考点对应的位置信息均不匹配时，并不会直接下发告警信息，而是进一步的尝试上报的位置信息与规划路径中的全部参考点以及采样点的匹配。当上报的位置信息和其他参考点或者采样点匹配时，则不发出告警信息，因为此时视力障碍者还在轨迹上，要么处于两个参考点之间，要么就是在其他参考点之间。只有和所有采样点和所有参考点都匹配失败时，才下发告警信息。

步骤S305，导航结束。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于初始轨迹的数字盲道系统，其特征在于，包含相互连接通信的设备端和云端服务器；所述设备端包含第一计时模块、定位模块、语言处理模块、视频采集模块和确认模块；所述云端服务器包含第二计时模块、视频协助模块、规划模块和导航模块；

所述第一计时模块采集所述设备端的设备时间信息，所述定位模块采集所述设备端的位置信息，所述视频采集模块采集所述设备端周边的图像视频信息，发送至所述云端服务器；所述语言处理模块解析来自所述导航模块下发的导航信息或者来自所述视频协助模块的远程协助信息并播放；所述确认模块接受来自所述设备端的本地输入或者来自所述云端服务器的远程输入，生成确认信息，发送到所述导航模块；

在路径采集模式下，所述视频协助模块结合所述视频信息，形成所述远程协助信息，下发到所述设备端；所述规划模块结合由所述第二计时模块同步后的所述设备时间信息、所述位置信息和所述视频信息，形成包含所述导航信息的规划路径；在导航模式下，所述导航模块根据所述规划路径，结合利用所述第二计时模块同步后的所述设备时间信息，以及所述位置信息和所述确认信息，从所述规划路径中检索对应的所述导航信息并下发到所述设备端。

2.根据权利要求1所述的基于初始轨迹的数字盲道系统，其特征在于，人工客服利用所述规划模块，结合由所述第二计时模块同步后的所述设备时间信息、所述位置信息和所述视频信息，为所述位置信息添加对应的所述导航信息，完成所述规划路径的创建。

3.根据权利要求1所述的基于初始轨迹的数字盲道系统，其特征在于，所述定位模块周期性的采集所述位置信息；在路径采集模式下，所述设备端同时上传所述设备时间信息、所述位置信息和所述图像视频信息至所述云端服务器；在导航模式下，所述设备端仅上传所述设备时间信息和所述位置信息至所述云端服务器。

4.根据权利要求1所述的基于初始轨迹的数字盲道系统，其特征在于，所述确认模块包含由按键、麦克风构成的输入单元和处理单元；所述按键的状态或者由所述麦克风采集的用户语音，传输到所述处理单元，形成不同的所述本地输入，或者形成向所述云端服务器的协助请求；所述云端服务器收到所述协助请求后，将所述远程输入反馈至所述处理单元；所述处理单元进一步处理所述本地输入或者远程输入，生成所述确认信息。

5.一种使用如权利要求1所述的基于初始轨迹的数字盲道系统的导盲方法，其特征在于，包含步骤：

步骤S10，在路径采集模式下，视力障碍者携带所述设备端从起点行进至终点，建立初始轨迹；在行进中，所述第一计时模块采集所述设备端的所述设备时间信息，所述定位模块采集所述设备端的所述位置信息，所述视频采集模块采集所述设备端周边的所述图像视频信息；所述位置信息和所述图像视频信息发送至所述云端服务器保存，所述设备时间信息发送至所述云端服务器后，经所述第二计时模块同步后作为时间戳保存；与同一所述时间戳对应的所述位置信息，保存在同一个采集点内。

步骤S20，在路径采集模式下，利用所述云端服务器，从多个所述采集点中选取部分或者全部，补充所述导航信息后保存为参考点，建立从路径起点至路径终点的所述规划路径；所述规划路径包含所有所述参考点和所述采集点；

步骤S30，在导航模式下，视力障碍者携带所述设备端从所述起点出发，所述云端服务器下发所述导航信息至所述设备端，由所述设备端解析并播报；所述视力障碍者利用所述确认模块，对所述导航信息逐个确认，最终到达所述终点。

6.根据权利要求5所述的导盲方法，其特征在于，在步骤S10中利用所述语言处理模块和所述视频采集模块，进行远程视频导盲，所述包含步骤：

步骤S11，在所述设备端开启所述语言处理模块和所述视频采集模块，然后视力障碍者携带所述设备端从所述起点出发；

步骤S12，在行进中，所述视频采集模块将采集的所述图像视频信息上传到所述云端服务器，由所述视频协助模块展现给人工客服；

步骤S13，人工客服利用所述视频协助模块根据所述图像视频信息，生成所述远程协助信息下发到所述设备端；

步骤S14，所述语言处理模块解析所述远程协助信息，进行语音合成和播放，指导视力障碍者前进。

7.根据权利要求5所述的导盲方法，其特征在于，在步骤S20中，具体包含步骤：

步骤S21，读取将由所述设备端在路径采集模式下保存全部所述采集点；

步骤S22，由人工客服查阅所述图像视频信息，挑选出所有所述时间戳处于所述图像视频信息中的所述起点和所述终点的时间之间的所述采集点

步骤S23，将选中的所述采集点按对应的时间戳升序排序；选中所述时间戳最早的所述采集点为所述路径起点；选中所述时间戳最晚的所述采集点为所述路径终点；人工客服为所述路径起点和所述路径终点添加所述导航信息，保存为所述参考点；

步骤S24，人工客服遍历所述采集点，从中选中部分或者全部采集点，利用所述规划模块为选中的所述采集点添加所述导航信息，并保存为所述参考点。

8.根据权利要求5所述的导盲方法，其特征在于，在步骤S30中，具体包含步骤：

步骤S31，视力障碍者选中所述规划路径开启导航，并携带所述设备端从所述起点出发；所述云端服务器根据被选中所述规划路径完成初始化，并在所述规划路径中选择所述起点的第一个后序所述参考点作为当前参考点；

步骤S32，在行进中，所述定位模块采集所述设备端的所述位置信息，随同所述第一计时模块采集所述设备端的所述设备时间信息，一同上报至所述云端服务器；

步骤S33，所述云端服务器将收到的所述位置信息与所述当前参考点对比；当上报的所述位置信息与所述当前参考点对应的所述位置信息距离小于预设阈值时，将所述当前参考点对应的所述导航信息下发到设备端，反之将告警信息作为所述导航信息下发到设备端；所述设备端利用所述语言处理模块解析所述导航信息，进行语音合成和播放，指导视力障碍者前进；

步骤S34，所述视力障碍者利用所述确认模块，向所述导航模块发送所述确认信息；当所述确认信息为确认到达信息时，如果所述当前参考点为所述路径终点，进入步骤S35，否则所述云端服务器在所述规划路径中选择所述当前参考点的第一个后序所述参考点，作为新的所述当前参考点，并进入步骤S32；当所述确认信息不是所述确认到达信息时，所述云端服务器继续下发所述当前参考点对应的所述导航信息。

步骤S35，导航结束。

9.根据权利要求8所述的导盲方法，其特征在于，在步骤S33中，当上报的所述位置信息与当前所述参考点对应的所述位置信息距离大于等于所述预设阈值时，将当上报的所述位置信息与所述规划路径中任一所述参考点对应的所述位置信息以及每个所述采集点对应的所述位置信息进行匹配；当上报的所述位置信息与所述规划路径中任一所述参考点对应的所述位置信息或任一所述采集点对应的所述位置信息的距离大于所述预设阈值时，将告警信息作为所述导航信息下发到设备端。

10.根据权利要求8或9任一所述的导盲方法，其特征在于，在步骤S33中，每次对比上报的所述位置信息与任一所述参考点对应的所述位置信息时，使用的所述预设阈值根据预设条件变化。

Images