CN113470341A - 一种盲人导航系统及方法 - Google Patents

一种盲人导航系统及方法 Download PDF

Info

Publication number
CN113470341A
CN113470341A CN202110744068.0A CN202110744068A CN113470341A CN 113470341 A CN113470341 A CN 113470341A CN 202110744068 A CN202110744068 A CN 202110744068A CN 113470341 A CN113470341 A CN 113470341A
Authority
CN
China
Prior art keywords
blind
traffic light
module
state
intersection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110744068.0A
Other languages
English (en)
Inventor
王明伟
黄叶祺
闫瑞
时凯胜
王钊
田甜
迟青松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi University of Science and Technology
Original Assignee
Shaanxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi University of Science and Technology filed Critical Shaanxi University of Science and Technology
Priority to CN202110744068.0A priority Critical patent/CN113470341A/zh
Publication of CN113470341A publication Critical patent/CN113470341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/095—Traffic lights

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种盲人导航系统及方法，系统包括移动客户端、语音模块和视觉模块。视觉模块用于采集路口图像；移动客户端用于确定路口图像中红绿灯的状态；语音模块用于将红绿灯的状态以声音形式播放给盲人，同时语音模块还用于采集盲人的语音信息，以控制视觉模块的工作状态。本发明中的系统及方法，减少了GPS、传感器等模块的开销，简化了系统，降低了整体成本，进而提高了系统的稳定性。

Description

一种盲人导航系统及方法
技术领域
本发明涉及视频图像处理技术领域，特别涉及一种盲人导航系统及方法。
背景技术
世界卫生组织2020年10月10日公布的统计数字表明，全球每年有700万人成为盲人，目前全球共有盲人近4500万，具有各种各样视觉障碍的人则多达1.8亿。
红绿灯都是在十字路口或者三角路口设置的，大多都是人流量车流量比较多的地方，对于出行不便的盲人，在没有盲道的十字路口处，如果不知道红绿灯的状态他们的处境是非常危险的。针对这个问题，现有技术开发了辅助盲人识别红绿灯的产品，这类产品能够将红绿灯识别出来，并告知盲人，让盲人能够安全经过路口。
但是现有的产品中大多包含了GPS、传感器等模块，导致系统较复杂，成本较高，而且发生故障的概率也增大。
发明内容
本发明实施例提供了一种盲人导航系统及方法，用以解决现有技术中盲人导航产品结构复杂，成本较高的问题。
一方面，本发明实施例提供了一种盲人导航系统，包括：移动客户端、语音模块和视觉模块；
视觉模块用于采集路口图像；
移动客户端用于确定路口图像中红绿灯的状态；
语音模块用于将红绿灯的状态以声音形式播放给盲人，同时语音模块还用于采集盲人的语音信息，以控制视觉模块的工作状态。
在一种可能的实现方式中，视觉模块为腕戴式摄像头、胸挂式摄像头或头戴式摄像头。
在一种可能的实现方式中，移动客户端采用目标检测模型检测路口图像中是否存在红绿灯，如果存在红绿灯，则移动客户端还确定红绿灯的状态，状态包括红绿灯的当前颜色。
在一种可能的实现方式中，目标检测模型为YOLOV3网络模型。
在一种可能的实现方式中，移动客户端在确定路口图像中存在红绿灯后，还检测路口图像中是否存在倒计时信息，如果存在倒计时信息，移动客户端还识别当前的倒计时时间，并将倒计时时间与红绿灯的当前颜色作为红绿灯的状态。
在一种可能的实现方式中，视觉模块在语音信息的控制下开启或者关闭，当视觉模块开启时即获取路口图像。
另一方面，本发明实施例还提供了应用于上述一种盲人导航系统的盲人导航方法，包括：
采集路口图像；
确定路口图像中红绿灯的状态；
将红绿灯的状态以声音形式播放给盲人，同时采集盲人的语音信息，以控制获取路口图像的状态。
本发明中的一种盲人导航系统及方法，具有以下优点：
减少了GPS、传感器等模块的开销，简化了系统，降低了整体成本，进而提高了系统的稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种盲人导航系统的组成示意图；
图2为本发明实施例提供的视觉模块的一种样式示意图；
图3为本发明实施例提供的视觉模块的另一种样式示意图；
图4为本发明实施例提供的视觉模块的另一种样式示意图；
图5为本发明实施例提供的一种盲人导航方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种盲人导航系统的组成示意图。本发明提供了一种盲人导航系统，包括：移动客户端100、语音模块200和视觉模块300；
视觉模块300用于采集路口图像；
移动客户端100用于确定路口图像中红绿灯的状态；
语音模块200用于将红绿灯的状态以声音形式播放给盲人，同时语音模块200还用于采集盲人的语音信息，以控制视觉模块300的工作状态。
示例性地，移动客户端100可以为安装在盲人随身携带的智能设备中的专用软件程序，其通过有线或无线连接的方式与语音模块200以及视觉模块300建立通信连接。语音模块200不但能够通过扬声器播放移动客户端100发送的声音，而且也能通过麦克风采集盲人发出的语音信息，并将其发送给视觉模块300。
在一种可能的实施例中，视觉模块300为腕戴式摄像头、胸挂式摄像头或头戴式摄像头。
示例性地，如图2-4所示，视觉模块300可以佩戴在盲人的腕部、胸前或者头上，其可以为为盲人专门设计的、且独立的模块，例如专门用于采集路口图像的手表等，也可以为可附加在盲人已佩戴的衣物、饰品上的附属模块，例如为可以夹持在盲人穿戴的帽子上的摄像头等。
在一种可能的实施例中，移动客户端100采用目标检测模型检测路口图像中是否存在红绿灯，如果存在红绿灯，则移动客户端100还确定红绿灯的状态，状态包括红绿灯的当前颜色。
示例性地，如果移动客户端100确定红绿灯的当前颜色，则语音模块200会发出诸如“当前路口为红/绿灯”的声音提醒，使盲人能够明确获知红绿灯的颜色状态。如果路口图像中不存在红绿灯，则本次检测结束，等待进行下一次检测。
在本发明的实施例中，目标检测模型为YOLOV3网络模型。YOLO(You Only LookOnce)V3网络模型是常用的目标检测模型，建立该网络模型后，需要对其进行训练和测试，以确保其达到了需要的性能。训练时，首先采用已进行人工标记的训练集图像对网络进行多次训练，以调整网络模型的连接权重和阈值。训练完成后，使用测试集图像再对训练好的网络模型进行验证，当验证结果表明训练好的网络模型性能达到要求时，就可以利用其进行路口图像的处理工作。
在一种可能的实施例中，移动客户端100在确定路口图像中存在红绿灯后，还检测路口图像中是否存在倒计时信息，如果存在倒计时信息，移动客户端100还识别当前的倒计时时间，并将倒计时时间与红绿灯的当前颜色作为红绿灯的状态。
示例性地，部分红绿灯不仅能够指示颜色，而且还会有倒计时时间的显示，因此可以由移动客户端100对倒计时时间进行检测，并由语音模块200发出诸如“当前红/绿灯还有XX秒”的声音提醒，使盲人能够清楚获知当前的倒计时，以做好通过准备，或加快通过的速度。
在一种可能的实施例中，视觉模块300在语音信息的控制下开启或者关闭，当视觉模块300开启时即获取路口图像。
示例性地，由于盲人无法知晓路口的哪个位置有红绿灯，而限于视觉模块300的图像采集角度，某一次采集的路口图像中可能并不存在红绿灯，但是红绿灯却实际存在，只是盲人的朝向不正确导致红绿灯无法被检测到。因此当盲人感觉到已经抵达路口时，可以发出“开始”的语音信息，语音模块200采集到该语音信息后发送给视觉模块300，视觉模块300即开启并获取路口图像，如果路口图像中并不存在红绿灯，则移动客户端100控制语音模块200发出诸如“当前未检测到红绿灯，是否变化方向并开始采集路口图像？”的声音提醒。如果盲人确定，则在当前朝向的基础上向左或向右转动一定角度，然后发出“开始”的语音信息，语音模块200采集到该语音信息后发送给视觉模块300，视觉模块300即再次获取路口图像。如果盲人认为当前路口确实没有红绿灯，则可以发出“结束”的语音信息，语音模块200采集到该语音信息后发送给视觉模块300，视觉模块300即关闭，并停止采集路口图像。
如图5所示，本发明的实施例还提供了一种盲人导航方法，该方法包括：
S500、采集路口图像；
S501、确定路口图像中红绿灯的状态；
S502、将红绿灯的状态以声音形式播放给盲人，同时采集盲人的语音信息，以控制获取路口图像的状态。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种盲人导航系统，其特征在于，包括：移动客户端(100)、语音模块(200)和视觉模块(300)；
所述视觉模块(300)用于采集路口图像；
所述移动客户端(100)用于确定所述路口图像中红绿灯的状态；
所述语音模块(200)用于将所述红绿灯的状态以声音形式播放给盲人，同时所述语音模块(200)还用于采集盲人的语音信息，以控制所述视觉模块(300)的工作状态。
2.根据权利要求1所述的一种盲人导航系统，其特征在于，所述视觉模块(300)为腕戴式摄像头、胸挂式摄像头或头戴式摄像头。
3.根据权利要求1所述的一种盲人导航系统，其特征在于，所述移动客户端(100)采用目标检测模型检测所述路口图像中是否存在红绿灯，如果存在红绿灯，则所述移动客户端(100)还确定红绿灯的状态，所述状态包括红绿灯的当前颜色。
4.根据权利要求3所述的一种盲人导航系统，其特征在于，所述目标检测模型为YOLOV3网络模型。
5.根据权利要求3所述的一种盲人导航系统，其特征在于，所述移动客户端(100)在确定所述路口图像中存在红绿灯后，还检测所述路口图像中是否存在倒计时信息，如果存在倒计时信息，所述移动客户端(100)还识别当前的倒计时时间，并将所述倒计时时间与红绿灯的当前颜色作为所述红绿灯的状态。
6.根据权利要求1所述的一种盲人导航系统，其特征在于，所述视觉模块(300)在所述语音信息的控制下开启或者关闭，当所述视觉模块(300)开启时即获取所述路口图像。
7.应用于权利要求1-6任一项所述一种盲人导航系统的盲人导航方法，其特征在于，包括：
采集路口图像；
确定所述路口图像中红绿灯的状态；
将所述红绿灯的状态以声音形式播放给盲人，同时采集盲人的语音信息，以控制获取所述路口图像的状态。
CN202110744068.0A 2021-07-01 2021-07-01 一种盲人导航系统及方法 Pending CN113470341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110744068.0A CN113470341A (zh) 2021-07-01 2021-07-01 一种盲人导航系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110744068.0A CN113470341A (zh) 2021-07-01 2021-07-01 一种盲人导航系统及方法

Publications (1)

Publication Number Publication Date
CN113470341A true CN113470341A (zh) 2021-10-01

Family

ID=77877061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110744068.0A Pending CN113470341A (zh) 2021-07-01 2021-07-01 一种盲人导航系统及方法

Country Status (1)

Country Link
CN (1) CN113470341A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213620A (ja) * 2014-05-09 2015-12-03 享司 大塚 歩行補助器具
KR101845754B1 (ko) * 2017-01-09 2018-04-05 주식회사 아이트릭스테크놀로지 시각장애인용 독립보행 안내장치
CN207575415U (zh) * 2017-03-14 2018-07-06 南京信息工程大学 一种智能导盲拐杖
CN208598763U (zh) * 2017-07-27 2019-03-15 西南大学 一种盲人用多功能手杖
CN109718069A (zh) * 2019-03-06 2019-05-07 吉林大学 一种用于典型十字路口的导盲智能终端
CN110478206A (zh) * 2019-09-10 2019-11-22 李少阳 一种智能导盲系统及设备
CN111035542A (zh) * 2019-12-24 2020-04-21 开放智能机器（上海）有限公司 一种基于图像识别的智能导盲系统
CN111870430A (zh) * 2020-07-30 2020-11-03 云知声智能科技股份有限公司 穿戴式引导设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213620A (ja) * 2014-05-09 2015-12-03 享司 大塚 歩行補助器具
KR101845754B1 (ko) * 2017-01-09 2018-04-05 주식회사 아이트릭스테크놀로지 시각장애인용 독립보행 안내장치
CN207575415U (zh) * 2017-03-14 2018-07-06 南京信息工程大学 一种智能导盲拐杖
CN208598763U (zh) * 2017-07-27 2019-03-15 西南大学 一种盲人用多功能手杖
CN109718069A (zh) * 2019-03-06 2019-05-07 吉林大学 一种用于典型十字路口的导盲智能终端
CN110478206A (zh) * 2019-09-10 2019-11-22 李少阳 一种智能导盲系统及设备
CN111035542A (zh) * 2019-12-24 2020-04-21 开放智能机器（上海）有限公司 一种基于图像识别的智能导盲系统
CN111870430A (zh) * 2020-07-30 2020-11-03 云知声智能科技股份有限公司 穿戴式引导设备

Similar Documents

Publication Publication Date Title
US9815478B2 (en) Driving assistance system and driving assistance method
JP7070683B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
US9319860B2 (en) Mobile terminal that determine whether the user is walking while watching the mobile terminal
JP5171629B2 (ja) 走行情報提供装置
EP2246831B1 (en) Dangerous drive preventive intention judgment system and dangerous drive preventive intention judgment method
CN104854638B (zh) 视觉辨认度估计装置及安全驾驶支持系统
EP3970060A1 (en) Driver attention detection using heat maps
CN110889351B (zh) 视频检测方法、装置、终端设备及可读存储介质
WO2007074842A1 (ja) 画像処理装置
CN110522617A (zh) 盲人智慧眼镜
CN109562763A (zh) 自动驾驶车辆的控制方法及控制装置
CN103909826A (zh) 一种协同感知驾驶员违规行为的优化处理方法
CN109664889B (zh) 一种车辆控制方法、装置和系统以及存储介质
JP2007082594A (ja) 疲労検出装置
US11810373B2 (en) Cognitive function estimation device, learning device, and cognitive function estimation method
WO2020192498A1 (zh) 手握方向盘状态的检测方法及装置
JP4820835B2 (ja) 運転状態警告システム、運転状態警告方法及びプログラム
WO2014125467A1 (en) Method for administering a driving test
CN112990057A (zh) 一种人体姿态识别方法、装置及电子设备
JP2010142410A (ja) 覚醒度判定装置
CN111152792A (zh) 用于确定车辆驾驶者的注意力需求水平的装置和方法
CN111383248A (zh) 一种行人闯红灯判断方法、装置和电子设备
CN113470341A (zh) 一种盲人导航系统及方法
JP2019152953A (ja) 視覚支援装置
CN110070724A (zh) 一种视频监控方法、装置、摄像机及图像信息监管系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination