CN109938974A - 一种视障人士用便携式智能导盲设备及导盲方法 - Google Patents
一种视障人士用便携式智能导盲设备及导盲方法 Download PDFInfo
- Publication number
- CN109938974A CN109938974A CN201910255812.3A CN201910255812A CN109938974A CN 109938974 A CN109938974 A CN 109938974A CN 201910255812 A CN201910255812 A CN 201910255812A CN 109938974 A CN109938974 A CN 109938974A
- Authority
- CN
- China
- Prior art keywords
- user
- blind
- real
- information
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001771 impaired effect Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000012546 transfer Methods 0.000 claims abstract description 24
- 230000009429 distress Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 37
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000036760 body temperature Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000005266 casting Methods 0.000 claims description 3
- 238000013497 data interchange Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 101000804902 Drosophila melanogaster Xaa-Pro aminopeptidase ApepP Proteins 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims 2
- 239000008186 active pharmaceutical agent Substances 0.000 claims 1
- 229910052742 iron Inorganic materials 0.000 claims 1
- 230000001225 therapeutic effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 102000042822 P family Human genes 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Navigation (AREA)
Abstract
本发明公开了一种视障人士用便携式智能导盲设备及导盲方法，属于导盲设备技术领域，智能导盲设备包括便携式机体、控制器、体征传感器、摄像头和耳机，设备还包括云服务系统和实时定位系统，在便携式机体上设置盲道、换乘和紧急呼救按键，通过置于用户颈部的摄像头实时采集环境图像信息传送给控制器，通过实时定位系统获取用户实时位置信息传送给控制器，通过体征传感器获取用户的实时生命体征信息传送给控制器、控制器对环境图像信息、实时位置信息和生命体征信息进行处理并通过耳机、云服务系统的网页或浏览器向用户、家属、志愿者或医疗机构提供盲道指示、地铁站内换乘、安全监护和紧急呼救信息。
Description
技术领域
本发明涉及导盲设备技术，尤其涉及一种视障人士用便携式智能导盲设备及导盲方法。
背景技术
在中国，视障人群是一个很大的弱势群体。但我国社会导盲设备现状却仍存在很多问题亟待解决，这两者之间形成了强烈矛盾：我国盲人出行基础设施还十分不完善、不规范，且设施完善所需时间周期较长；常见辅助工具主要有导盲杖和导盲犬两种，然而导盲杖功能过于局限而导盲犬可控性差且价格昂贵——社会急需新型导盲设备。
现有的导盲设备以超声波等手段为主，此类方式大多以窄范围内测距为基础，难以适应复杂多变的实际路况，在及时性、准确性、稳定性、普适性等多方面存在问题。在国内外市场中，商业化的智能导盲产品为数不多，同时大多有传感技术落后，欠智能化且人机交互困难的通病，并没有大面积推广，同时也存在成本高昂，定价过高的情况。盲道识别实际上属于图像场景识别，通过对图像内容信息检索进行图像分类，在此领域中有着许多的相关研究：或是使用基于特征提取的深度学习，在获取大数据后进行深度学习模型训练，但需要计算量较大，不适用于嵌入式应用场景的内存受限等特殊需求。或是基于纹理或模型方法对处理单幅盲道图像，同样计算量较大，实时性较差，且不易对盲道的道路情况进行具体分析。或是需要对现有盲道添加外设，如增设UHF标签，之后才可进行识别，虽效果较好，但对使用环境要求过高，不适用于现今绝大多数使用场景。另一方面，企业缺乏与盲人使用者的深入沟通了解，对用户体验和需求把握有偏差，且收集用户意见反馈环节较为薄弱，研发的产品存在标志性过强、操作复杂、可靠性低等弊端，甚至引发了盲人群体的抵触情绪。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种智能化的及时、准确、稳定和普适性强的导盲设备。
本发明的目的采用以下技术方案实现：
一种视障人士用便携式智能导盲设备，所述智能导盲设备包括便携式机体、控制器、体征传感器、摄像头和耳机，设备还包括云服务系统和实时定位系统，在所述便携式机体上设置盲道、换乘和紧急呼救按键，通过置于用户颈部的摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，通过体征传感器获取用户的实时生命体征信息传送给所述控制器、所述控制器对环境图像信息、实时位置信息和生命体征信息进行处理并通过耳机、云服务系统的网页或浏览器向用户、家属、志愿者或医疗机构提供盲道指示、地铁站内换乘、安全监护和紧急呼救信息。
优选的，实时定位系统包括GPS和UWB，由GPS实现室外定位，由UWB实现室内定位，并通过云服务器使得用户、家属、志愿者或医疗机构能够通过浏览网页或手机客户端实时得知用户的身体状态和地理位置。
优选的，所述体征传感器包括体温传感器和心率传感器，所述耳机采用骨传导耳机。
优选的，所述控制器采用嵌入式集成控制器，优选为STM32F407ZGT控制器，所述控制器集成了包括语音识别、定位、按键、体征监测、换乘规划、报警、语音播报的功能模块，控制器实时解算来自各子模块的实时数据，并在综合传感数据后，得出用户所处的环境情况及自身状态，完成信息采集传输和智能指令导盲功能。
优选的，语音识别模块选用讯飞XFMT101，通过UART作为通信接口，以STM32解析识别结果，利用JQ8400FL芯片进行语音播报，实现人机交互。
优选的，GPS选用了具有高灵敏度、低功耗等特点的NEO-6M芯片，配合以MAX2659芯片进行信号放大，在保证准确度与较小静态漂移的同时，控制了功耗及体积。
优选的，GPRS模块选用SIM800C，低功耗实现语音、SMS和数据信息的传输。
优选的，实时定位系统选用DWM1000，对于多路径衰弱有更强的抗干扰能力，在高衰弱环境下也可以进行可靠的通信。
优选的，所述便携式机体的尺寸为10cm*10cm*5cm。
一种采用上述智能导盲设备的导盲方法，通过摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，所述控制器对环境图像信息和实时位置信息进行处理以实现盲道指示、地铁站内换乘、安全监护和紧急呼救功能。
优选的，所述盲道指示功能通过以下步骤实现：
步骤S101：按下盲道指示按键，位于颈部的摄像头开启，采集环境图像，传至控制器；
步骤S102：FPGA对采集到图像进行流水线化操作，将任务划分为了多个符合费林分类法SIMD原则的高并行度处理结构，依次为视频流采集单元、色彩空间转换及阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、VGA显示单元，最后利用CNN卷积神经网络工具进行系统优化；
步骤S103：经骨传导耳机将道路状况信息播报给用户，指示盲道方位、通畅程度以及转向信息。
优选的，所述站内换乘功能通过以下步骤实现：
步骤S201：采用基于TOF的定位算法，由标签节点和远程基站节点的双向通讯，定期地发送Poll数据包以及应答ACK数据包来测量标签节点和远程基站之间的传输时间，再通过标签节点与多个基站的传输时间来确定标签节点的位置；
步骤S202：在三维空间中，至设标签节点的位置为(x，y，z)，通过N(N≥4)个半径为di球面的交点决定，可建立如下的方程组：
由上述方程式可解得(x，y，z)；
在进入地铁站时或者之前，用户可预设好目的地，进入地铁站后，设备标签节点接入地铁站室内导航网络，上传当前位置与目的地信息给服务器端，服务器端会以每个盲道的交叉点作为顶点，通过Dijkstra最短路算法，计算地铁站内的合适的路径，并回送给设备；
步骤S203：设备由UWB判断使用者的实际位置，结合服务器端的回送信息，在经过每个站点时，通过语音的形式，向使用者实时播报行径路线；在到达地铁等待处后，语音提醒使用者在特定位置等候，同时通过网络获取地铁的到达信息，以在地铁入站后准时提醒使用者。
步骤S204：下地铁后，标签节点再次计算一条合适路径，以语言播报的形式引导使用者离开地铁站；离开地铁站后，设备自动从室内定位模式切换到室外定位模式，继续提供导航。
优选的，所述安全监护和紧急呼救功能通过以下步骤实现：
步骤S301：通过GPS和UWB建立室内外定位系统获取用户实时位置；
步骤S302：以个人电脑为服务端，以网页显示为客户端的系统，框架运用springboot，并运用websocket子协议stomp协议实现客户端和服务端的数据互通；控制器收到经纬度坐标，通过GPRS发送http请求，请求中带有json格式的经纬度坐标；
步骤S303：通过stomp协议，电子地图API定位函数接口收到经纬度坐标，在网页上显示用户当前的位置；使用MongoDB对数据进行存储与分析；
步骤S304：将地理位置信息、生命体征信息通过网页形式或客户端APP传送给用户、家属、社区工作人员、志愿者或医疗结构查阅，若地理位置信息超出安全范围或生命体征信息不正常则向用户、家属、社区工作人员、志愿者或医疗机构发出警报信息，用户按下紧急呼救按键，向周围发出求救信号。
优选的，Springboot框架使用stomp协议包括以下步骤：
①.添加pom文件依赖；
②.java方式配置websocket stomp；
③.消息实体类；
④.书写控制层；
⑤.书写客户端。
相比现有技术，本发明的有益效果在于：基于FPGA的图像处理技术，通过高速流水线与高度并行化的机制，实现超高速的图像处理，提高及时性；使用基于颜色与纹理特征的方式进行盲道识别，并运用机器学习的算法，通过大量的样本数据的训练，极大地提高了盲道识别的准确率，保证了设备稳定性和可靠性；由GPS室外定位、UWB室内定位技术以及云服务器共同组成实时定位系统，切实保障使用者的安全；此外，站内换乘功能、灵巧便携的外观设计以及简便的操作方法紧密贴合视障人士的需求，具有较高的普适性。
附图说明
图1为本发明视障人士出行佩戴便携式智能辅具的示意图；
图2为本发明视障人士出行便携式智能辅具的系统分工图；
图3为本发明视障人士出行便携式智能辅具的ARM嵌入式处理器及相关功能芯片示意；
图4为本发明视障人士出行便携式智能辅具的工作流程图；
图5为本发明提供的一种FPGA流水线化并行图像处理方法；
图6为本发明实施例采集的一种HSV分量效果图，从左至右依次为原图、H分量、S分量、V分量；
图7为本发明提供的一种膨胀腐蚀实现示意图；
图8为本发明实施例采集的一种盲道障碍物检测效果图；
图9为本发明实施例采集的一种盲道在强反光条件下的系统效果图；
图10为本发明实施例采集的一种盲道在阴影条件下的系统效果图；
图11为本发明提供的一种UWB系统示意图；
图12为本发明实施例提供的用户定位在网页端的显示情况；
图13为本发明实施例提供的用户定位在app端的显示情况。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种视障人士用便携式智能导盲设备，所述智能导盲设备包括便携式机体、控制器、体征传感器、摄像头和耳机，设备还包括云服务系统和实时定位系统，在所述便携式机体上设置盲道、换乘和紧急呼救按键，通过置于用户颈部的摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，通过体征传感器获取用户的实时生命体征信息传送给所述控制器、所述控制器对环境图像信息、实时位置信息和生命体征信息进行处理并通过耳机、云服务系统的网页或浏览器向用户、家属、志愿者或医疗机构提供盲道指示、地铁站内换乘、安全监护和紧急呼救信息。
具体的，一种视障人士出行便携式智能辅具或设备，其功能包括以下内容：
功能(1)，盲道指示功能。总电源开启后，按下“盲道”键，启动盲道指示模式。设备分析当前盲道状况，通过骨传导耳机向使用者报告盲道方位、盲道通畅情况等信息。
功能(1)中，选用Xilinx的Virtex-5作为主要运算核心，将任务划分为了多个符合费林分类法SIMD原则的高并行度处理结构，依次为：视频流采集单元、色彩空间转换单元、阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、VGA显示单元，各独立单元之间采用高速数据流的形式链接，实现了每秒千帧的高速并行图像处理。
功能(1)中，图像处理方面，针对盲道颜色纹理特征使用了颜色空间转换，阈值分割，形态学滤波等图像处理技术，并利用卷积神经网络工具进行系统优化，实现准确的盲道识别。
功能(2)，站内换乘功能。按下“换乘”键，启动地铁站内换乘模式。由于地铁站内盲道铺设健全完整，设备结合室内定位，规划最佳盲道换乘路线，通过骨传导语音，引导视障人士独立便捷换乘。
功能(2)中，在通过UWB获取使用者实时位置之后，系统结合实际地铁站空间路线模型，通过实时语音的形式，向使用者实时播报可能的行径路线，实现独立换乘。
功能(3)，系统还配有相关云服务器，使得使用者家属与相关志愿者能够通过浏览网页或app的方式，实时得知使用者的身体状态和地理位置等信息。
功能(3)中，经过盲人及其家属授权之后，通过使用无线上网卡，盲人可以通过4G网络与云服务器连接。云服务器主要负责提供信息记录与可视化的查询、分析功能。盲人的地理位置信息与生命体征将会被实时上传至服务器。
其中，地理位置信息包括目前的位置、行走过的轨迹等，盲人的生命体征包括心率、体温等数值。
功能(4)，紧急呼救功能。按下“紧急呼救”按钮或检测到使用者生命体征出现异常时，其位置和呼救信息传至网页和app的社区端，家属和志愿者可与其取得联系，提供及时帮助。
功能(4)中，若生命体征数值在一段时间内产生了较大波动，报警信息(包括生命体征和位置信息)会通过短信发送给家属，同时在网页端或app显示，保证家属或是附近志愿者提供及时有效的帮助。
参见图1，导盲辅具或导盲设备的便携式机体外形尺寸大小为10cm*10cm*5cm，有“盲道”、“换乘”、“紧急呼救”三个按键，实现上述四大功能。便携式机体中内置核心运算器、控制器及各功能模块所需硬件，实现分布式异构计算，实现盲道指示、站内换乘、安全监护、紧急呼救等功能；摄像头置于用户颈部，用于获取道路图像信息；骨传导耳机实现人机交互，同时不影响用户接收环境声音。
参见图2，一个实施例的导盲辅具的系统分工图，其中本发明采用FPGA-ARM-云服务器架构，采用基于Cortex-M4内核的ARM处理器作为核心处理芯片，连接各传感、控制、通信芯片，实现了状态采集、实时控制、语音交互、通信定位等功能，图3为控制器的硬件构成；采用Xilinx的Virtex-5系列FPGA进行硬件加速，利用了嵌入式视觉的方法，以每秒千帧的处理速度，分析来自摄像头的实时环境影像；此外，系统还配有相关云服务器，结合GPS和UWB定位技术，使得使用者家属与相关志愿者能够通过浏览网页和app的方式，实时得知使用者的身体状态和地理位置等信息。
本设备的控制器采用嵌入式集成控制器，优选为STM32F407ZGT控制器，所述控制器集成了包括语音识别、定位、按键、体征监测、换乘规划、报警、语音播报的功能模块，控制器实时解算来自各子模块的实时数据，并在综合传感数据后，得出用户所处的环境情况及自身状态，完成信息采集传输和智能指令导盲功能。
其中，传感器中的体征传感器包括体温传感器和心率传感器，所述耳机采用骨传导耳机。
其中，语音识别模块选用讯飞XFMT101，通过UART作为通信接口，以STM32解析识别结果，利用JQ8400FL芯片进行语音播报，实现人机交互。
实时定位系统包括GPS和UWB，由GPS实现室外定位，由UWB实现室内定位，并通过云服务器使得用户、家属、志愿者或医疗机构能够通过浏览网页或手机客户端实时得知用户的身体状态和地理位置。优选的，实时定位系统选用DWM1000，对于多路径衰弱有更强的抗干扰能力，在高衰弱环境下也可以进行可靠的通信。
其中，GPS选用了具有高灵敏度、低功耗等特点的NEO-6M芯片，配合以MAX2659芯片进行信号放大，在保证准确度与较小静态漂移的同时，控制了功耗及体积。GPRS模块选用SIM800C，低功耗实现语音、SMS和数据信息的传输。
图4为本发明一个实施例的导盲辅具的工作流程图，其中包括四大功能的实现步骤。
功能(1)：盲道指示
步骤S101：按下“盲道指示”按钮，位于颈部的摄像头开启，采集环境图像，传至运算器。
步骤S102：FPGA对采集到图像进行流水线化操作，将任务划分为了多个符合费林分类法SIMD原则的高并行度处理结构，如图4所示，依次为：视频流采集单元、色彩空间转换及阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、VGA显示单元，最后利用CNN(卷积神经网络)工具进行系统优化。图5～10为本发明实施例采集的图像处理效果图。
步骤S103：经骨传导耳机将道路状况信息播报给用户，指示盲道方位、通畅程度以及转向信息。
功能(2)：站内换乘
步骤S201：本作品采用基于TOF的定位算法，由标签节点和远程基站节点的双向通讯，定期地发送Poll数据包，以及应答ACK数据包，来测量标签节点和远程基站之间的传输时间，再通过标签节点与多个基站的传输时间来确定标签节点的位置。图11为本发明提供的一种UWB系统示意图。
步骤S202：在三维空间中，至少需要4个基站，利用它们所做的球面的交点，才能确认标签的位置，假设系统中有N个基站，设标签节点的位置为(x，y，z)，通过N(N≥4)个半径为di球面的交点决定，可建立如下的方程组：
由上述方程式可解得(x，y，z)。
在进入地铁站时或者之前，使用者可预设好目的地，进入地铁站后，设备标签节点接入地铁站室内导航网络，上传当前位置与目的地信息给服务器端，服务器端会以每个盲道的交叉点作为顶点，通过Dijkstra最短路算法，计算地铁站内的合适的路径，并回送给设备。
步骤S203：设备由UWB判断使用者的实际位置，结合服务器端的回送信息，在经过每个顶点时，通过语音的形式，向使用者实时播报行径路线。在到达地铁等待处后，语音提醒使用者在特定位置等候，同时通过网络获取地铁的到达信息，以在地铁入站后准时提醒使用者。
步骤S204：下地铁后，标签节点再次计算一条合适路径，以语言播报的形式引导使用者离开地铁站；离开地铁站后，设备自动从室内定位模式切换到室外定位模式，继续提供导航。
室内定位模式通过UWB定位使用者可以按照语音提示安全且便捷地享受公共交通带来的便利，引导视障人士独立便捷换乘。
功能(3)(4)：安全监护与紧急呼救
步骤S301：通过GPS和UWB建立室内外定位系统获取用户实时位置；
步骤S302：本作发明搭建以个人电脑为服务端，以网页显示为客户端的系统，框架运用springboot，并运用websocket子协议stomp协议实现客户端和服务端的数据互通。单片机收到经纬度坐标，通过GPRS发送http请求，请求中带有json格式的经纬度坐标；
步骤S303：通过stomp协议，百度地图API定位函数接口收到经纬度坐标，随即在网页上显示用户当前的位置。而后使用MongoDB对数据进行存储与分析。
其中，Springboot框架使用stomp协议包括以下步骤：
①.添加pom文件依赖；
②.java方式配置websocket stomp；
③.消息实体类；
④.书写控制层；
⑤.书写客户端。
步骤S304：地理位置信息包括目前的位置、行走过的轨迹等等。这些数据可以被获得授权的家属、社区工作人员与志愿者查阅。盲人的家属也可以为盲人设置安全区域。当盲人离开安全区时，将会收到语音提醒，同时盲人的家属也会立刻收到短信消息，盲人的生命体征包括心率、体温等数值。若这些数值在一段时间内产生了较大波动，报警信息会通过短信直接发送给盲人的家属或是社区相关工作人员。如遇突发状况，用户也可利用“紧急呼救”按钮求助。这些措施都为盲人的出行提供了有效的保障。本部分方便使用者的家人实时获得使用者的实时位置等信息，以防意外的发生，保障了使用者的安全。
图12～13为本发明实施例提供的用户定位在网页端和客户端的显示情况。
本发明不同于其他新型导盲辅具的做法，基于FPGA的图像处理技术，通过高速流水线与高度并行化的机制，实现超高速的图像处理，提高及时性；使用基于颜色与纹理特征的方式进行盲道识别，并运用机器学习的算法，通过大量的样本数据的训练，极大地提高了盲道识别的准确率，保证了设备稳定性和可靠性；由GPS室外定位、UWB室内定位技术以及云服务器共同组成实时定位系统，切实保障使用者的安全；此外，站内换乘功能、灵巧便携的外观设计以及简便的操作方法紧密贴合视障人士的需求，具有较高的普适性。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种视障人士用便携式智能导盲设备，所述智能导盲设备包括便携式机体、控制器、体征传感器、摄像头和耳机，其特征在于：设备还包括云服务系统和实时定位系统，在所述便携式机体上设置盲道、换乘和紧急呼救按键，通过置于用户颈部的摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，通过体征传感器获取用户的实时生命体征信息传送给所述控制器、所述控制器对环境图像信息、实时位置信息和生命体征信息进行处理并通过耳机、云服务系统的网页或浏览器向用户、家属、志愿者或医疗机构提供盲道指示、地铁站内换乘、安全监护和紧急呼救信息。
2.根据权利要求1所述的智能导盲设备，其特征在于：实时定位系统包括GPS和UWB，由GPS实现室外定位，由UWB实现室内定位，并通过云服务器使得用户、家属、志愿者或医疗机构能够通过浏览网页或手机客户端实时得知用户的身体状态和地理位置。
3.根据权利要求1所述的智能导盲设备，其特征在于：所述体征传感器包括体温传感器和心率传感器，所述耳机采用骨传导耳机。
4.一种采用根据权利要求1-3任一项所述智能导盲设备的导盲方法，其特征在于：通过摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，所述控制器对环境图像信息和实时位置信息进行处理以实现盲道指示、地铁站内换乘、安全监护和紧急呼救功能。
5.根据权利要求4所述的导盲方法，其特征在于，所述盲道指示功能通过以下步骤实现：
步骤S101：按下盲道指示按键，位于颈部的摄像头开启，采集环境图像，传至控制器；
步骤S102：FPGA对采集到图像进行流水线化操作，将任务划分为了多个符合费林分类法SIMD原则的高并行度处理结构，依次为视频流采集单元、色彩空间转换及阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、VGA显示单元，最后利用CNN卷积神经网络工具进行系统优化；
步骤S103：经骨传导耳机将道路状况信息播报给用户，指示盲道方位、通畅程度以及转向信息。
6.根据根据权利要求4所述的导盲方法，其特征在于，所述站内换乘功能通过以下步骤实现：
步骤S201：采用基于TOF的定位算法，由标签节点和远程基站节点的双向通讯，定期地发送Poll数据包以及应答ACK数据包来测量标签节点和远程基站之间的传输时间，再通过标签节点与多个基站的传输时间来确定标签节点的位置；
步骤S202：在三维空间中，至设标签节点的位置为(x，y，z)，通过N(N≥4)个半径为di球面的交点决定，可建立如下的方程组：
由上述方程式可解得(x，y，z)；
在进入地铁站时或者之前，用户可预设好目的地，进入地铁站后，设备标签节点接入地铁站室内导航网络，上传当前位置与目的地信息给服务器端，服务器端会以每个盲道的交叉点作为顶点，通过Dijkstra最短路算法，计算地铁站内的合适的路径，并回送给设备；
步骤S203：设备由UWB判断使用者的实际位置，结合服务器端的回送信息，在经过每个站点时，通过语音的形式，向使用者实时播报行径路线；在到达地铁等待处后，语音提醒使用者在特定位置等候，同时通过网络获取地铁的到达信息，以在地铁入站后准时提醒使用者；
步骤S204：下地铁后，标签节点再次计算一条合适路径，以语言播报的形式引导使用者离开地铁站；离开地铁站后，设备自动从室内定位模式切换到室外定位模式，继续提供导航。
7.根据根据权利要求4所述的导盲方法，其特征在于，所述安全监护和紧急呼救功能通过以下步骤实现：
步骤S301：通过GPS和UWB建立室内外定位系统获取用户实时位置；
步骤S302：以个人电脑为服务端，以网页显示为客户端的系统，框架运用springboot，并运用websocket子协议stomp协议实现客户端和服务端的数据互通；控制器收到经纬度坐标，通过GPRS发送http请求，请求中带有json格式的经纬度坐标；
步骤S303：通过stomp协议，电子地图API定位函数接口收到经纬度坐标，在网页上显示用户当前的位置；使用MongoDB对数据进行存储与分析；
步骤S304：将地理位置信息、生命体征信息通过网页形式或客户端APP传送给用户、家属、社区工作人员、志愿者或医疗结构查阅，若地理位置信息超出安全范围或生命体征信息不正常则向用户、家属、社区工作人员、志愿者或医疗机构发出警报信息，用户按下紧急呼救按键，向周围发出求救信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910255812.3A CN109938974A (zh) | 2019-04-01 | 2019-04-01 | 一种视障人士用便携式智能导盲设备及导盲方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910255812.3A CN109938974A (zh) | 2019-04-01 | 2019-04-01 | 一种视障人士用便携式智能导盲设备及导盲方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109938974A true CN109938974A (zh) | 2019-06-28 |
Family
ID=67012353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910255812.3A Pending CN109938974A (zh) | 2019-04-01 | 2019-04-01 | 一种视障人士用便携式智能导盲设备及导盲方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109938974A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688915A (zh) * | 2019-09-11 | 2020-01-14 | 上海卓希智能科技有限公司 | 一种用于视障人士自主出行的安全设备 |
| CN110988944A (zh) * | 2019-11-21 | 2020-04-10 | 西安微城信息科技有限公司 | 一种基于卫星导航的导盲方法及其系统 |
| CN112101178A (zh) * | 2020-09-10 | 2020-12-18 | 电子科技大学 | 一种辅助盲人感知外界环境的智能soc终端 |
| CN113259833A (zh) * | 2020-02-10 | 2021-08-13 | 南京理工大学 | 一种基于视障乘客的地铁站辅助出行系统及方法 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030151519A1 (en) * | 2002-02-14 | 2003-08-14 | Lin Maw Gwo | Guide assembly for helping and guiding blind persons |
| WO2007099416A2 (en) * | 2005-11-24 | 2007-09-07 | Istituto Superiore Mario Boella Sulle Tecnologie Dell'informazione E Delle Telecomunicazioni | System for exploiting information selected on the basis of the position of a user, in particular a visually impaired user, method and computer program product therefrom |
| CN101227539A (zh) * | 2007-01-18 | 2008-07-23 | 联想移动通信科技有限公司 | 导盲手机及导盲方法 |
| CN101701818A (zh) * | 2009-11-05 | 2010-05-05 | 上海交通大学 | 远距离障碍的检测方法 |
| CN101799530A (zh) * | 2009-12-29 | 2010-08-11 | 广东广联电子科技有限公司 | 一种无线室内定位方法和系统 |
| CN103637900A (zh) * | 2013-12-20 | 2014-03-19 | 北京航空航天大学 | 基于图像识别的智能导盲杖 |
| ES1136906U (es) * | 2015-02-11 | 2015-02-27 | Manuel SIERRA JIMENEZ | Dispositivo de guía para ciegos y otras personas discapacitadas. |
| CN104574376A (zh) * | 2014-12-24 | 2015-04-29 | 重庆大学 | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 |
| CN105662796A (zh) * | 2016-03-15 | 2016-06-15 | 江苏龙昌智能科技有限公司 | 一种盲人智能助行服及其导航方法 |
| CN105865451A (zh) * | 2016-04-19 | 2016-08-17 | 深圳市神州云海智能科技有限公司 | 用于移动机器人室内定位的方法和设备 |
| CN106251696A (zh) * | 2016-09-30 | 2016-12-21 | 深圳市金溢科技股份有限公司 | 一种停车场智能管理服务器、系统、方法及uwb定位标签 |
| CN106821694A (zh) * | 2017-01-18 | 2017-06-13 | 西南大学 | 一种基于智能手机的移动导盲系统 |
| CN107272710A (zh) * | 2017-08-08 | 2017-10-20 | 河海大学常州校区 | 一种基于视觉定位的医用物流机器人系统及其控制方法 |
| CN108066112A (zh) * | 2017-12-15 | 2018-05-25 | 广东工业大学 | 一种智能导盲装置、方法 |
| CN108844543A (zh) * | 2018-06-08 | 2018-11-20 | 南通大学 | 基于uwb定位及航位推算的室内agv导航控制方法 |
| CN110070514A (zh) * | 2019-04-01 | 2019-07-30 | 孙鑫宇 | 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 |
-
2019
- 2019-04-01 CN CN201910255812.3A patent/CN109938974A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030151519A1 (en) * | 2002-02-14 | 2003-08-14 | Lin Maw Gwo | Guide assembly for helping and guiding blind persons |
| WO2007099416A2 (en) * | 2005-11-24 | 2007-09-07 | Istituto Superiore Mario Boella Sulle Tecnologie Dell'informazione E Delle Telecomunicazioni | System for exploiting information selected on the basis of the position of a user, in particular a visually impaired user, method and computer program product therefrom |
| CN101227539A (zh) * | 2007-01-18 | 2008-07-23 | 联想移动通信科技有限公司 | 导盲手机及导盲方法 |
| CN101701818A (zh) * | 2009-11-05 | 2010-05-05 | 上海交通大学 | 远距离障碍的检测方法 |
| CN101799530A (zh) * | 2009-12-29 | 2010-08-11 | 广东广联电子科技有限公司 | 一种无线室内定位方法和系统 |
| CN103637900A (zh) * | 2013-12-20 | 2014-03-19 | 北京航空航天大学 | 基于图像识别的智能导盲杖 |
| CN104574376A (zh) * | 2014-12-24 | 2015-04-29 | 重庆大学 | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 |
| ES1136906U (es) * | 2015-02-11 | 2015-02-27 | Manuel SIERRA JIMENEZ | Dispositivo de guía para ciegos y otras personas discapacitadas. |
| CN105662796A (zh) * | 2016-03-15 | 2016-06-15 | 江苏龙昌智能科技有限公司 | 一种盲人智能助行服及其导航方法 |
| CN105865451A (zh) * | 2016-04-19 | 2016-08-17 | 深圳市神州云海智能科技有限公司 | 用于移动机器人室内定位的方法和设备 |
| CN106251696A (zh) * | 2016-09-30 | 2016-12-21 | 深圳市金溢科技股份有限公司 | 一种停车场智能管理服务器、系统、方法及uwb定位标签 |
| CN106821694A (zh) * | 2017-01-18 | 2017-06-13 | 西南大学 | 一种基于智能手机的移动导盲系统 |
| CN107272710A (zh) * | 2017-08-08 | 2017-10-20 | 河海大学常州校区 | 一种基于视觉定位的医用物流机器人系统及其控制方法 |
| CN108066112A (zh) * | 2017-12-15 | 2018-05-25 | 广东工业大学 | 一种智能导盲装置、方法 |
| CN108844543A (zh) * | 2018-06-08 | 2018-11-20 | 南通大学 | 基于uwb定位及航位推算的室内agv导航控制方法 |
| CN110070514A (zh) * | 2019-04-01 | 2019-07-30 | 孙鑫宇 | 一种盲道状态的fpga嵌入式视觉识别方法及便携式设备 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688915A (zh) * | 2019-09-11 | 2020-01-14 | 上海卓希智能科技有限公司 | 一种用于视障人士自主出行的安全设备 |
| CN110988944A (zh) * | 2019-11-21 | 2020-04-10 | 西安微城信息科技有限公司 | 一种基于卫星导航的导盲方法及其系统 |
| CN110988944B (zh) * | 2019-11-21 | 2024-02-27 | 桑德科技(重庆)有限公司 | 一种基于卫星导航的导盲方法及其系统 |
| CN113259833A (zh) * | 2020-02-10 | 2021-08-13 | 南京理工大学 | 一种基于视障乘客的地铁站辅助出行系统及方法 |
| CN112101178A (zh) * | 2020-09-10 | 2020-12-18 | 电子科技大学 | 一种辅助盲人感知外界环境的智能soc终端 |
| CN112101178B (zh) * | 2020-09-10 | 2023-03-24 | 电子科技大学 | 一种辅助盲人感知外界环境的智能soc终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109938974A (zh) | 一种视障人士用便携式智能导盲设备及导盲方法 | |
| CN109166141A (zh) | 危险提醒方法、装置、存储介质及移动终端 | |
| US20150379896A1 (en) | Intelligent eyewear and control method thereof | |
| CN109005239A (zh) | 用于辅助车辆行驶的智能信息交互方法、系统以及装置 | |
| CN204972147U (zh) | 基于Kinect的盲人导航系统 | |
| CN104219628B (zh) | 一种基于增强现实与智能手机的盲人信息服务方法及系统 | |
| Dhod et al. | Low cost GPS and GSM based navigational aid for visually impaired people | |
| CN109032139A (zh) | 智慧式自动跟随学生箱包及其控制系统和商业模式 | |
| CN105357627A (zh) | 一种基于云计算的便携旅游终端及其服务方法 | |
| CN107374921A (zh) | 一种基于互联网的盲人导航助手装置 | |
| CN105338476A (zh) | 一种基于云计算的便携旅游终端的实现方法 | |
| CN112477873B (zh) | 一种基于车联网的辅助驾驶和车辆安全管理系统 | |
| CN104921908A (zh) | 一种盲人导航系统 | |
| Baranski et al. | Field trials of a teleassistance system for the visually impaired | |
| CN107886301A (zh) | 一种交通信息的提醒方法及装置 | |
| CN109558895A (zh) | 一种基于智能感知的校园管理方法、系统及介质 | |
| CN203777272U (zh) | 智能导盲杖 | |
| CN107331116A (zh) | 一种针对移动安全区域的智能监控系统 | |
| CN104715601A (zh) | 智能交通眼镜及基于该眼镜的工作方法 | |
| Wei et al. | [Retracted] Innovative Design of Intelligent Health Equipment for Helping the Blind in Smart City | |
| Choudhary et al. | IoT based navigation system for visually impaired people | |
| CN205124003U (zh) | 一种基于云计算的便携旅游终端 | |
| WO2022048455A1 (zh) | 一种基于增强现实技术的信息无障碍系统及方法 | |
| CN102567600A (zh) | 一种虚拟导游系统 | |
| CN106547008A (zh) | 一种儿童手表定位系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200415 Address after: Room 1119, 3255 Zhoujiazui Road, Yangpu District, Shanghai 200090 Applicant after: SHANGHAI JOOSEE SMART TECHNOLOGY Co.,Ltd. Address before: 200237 Meilong Road, Shanghai, No. 130, No. Applicant before: Yang Tiange |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |