CN113850232A - 一种虚拟盲道监测系统 - Google Patents
一种虚拟盲道监测系统 Download PDFInfo
- Publication number
- CN113850232A CN113850232A CN202111321537.4A CN202111321537A CN113850232A CN 113850232 A CN113850232 A CN 113850232A CN 202111321537 A CN202111321537 A CN 202111321537A CN 113850232 A CN113850232 A CN 113850232A
- Authority
- CN
- China
- Prior art keywords
- blind
- module
- sidewalk
- image
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 17
- 241000283070 Equus zebra Species 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000011521 glass Substances 0.000 claims abstract description 8
- 230000007797 corrosion Effects 0.000 claims abstract description 7
- 238000005260 corrosion Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000010415 Low Vision Diseases 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004303 low vision Effects 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/068—Sticks for blind persons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Animal Behavior & Ethology (AREA)
- Rehabilitation Therapy (AREA)
- Physical Education & Sports Medicine (AREA)
- Pain & Pain Management (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种虚拟盲道监测系统，包括盲道缺失区域补齐模块、红绿灯路口斑马线识别和人脸采集模块、智能眼镜模块、智能盲杖模块；所述盲道缺失区域补齐模块通过摄像头获取实时视频，并从实时视频取帧进行盲道缺失识别，将从视频中提取的图片进行处理获得二值化图像，同时对图像进行处理得到变换图像，然后将变换图像和二值化图像融合得到剔除背景后的新二值图像，对新二值图像进行膨胀腐蚀、轮廓提取和霍夫直线提取得到盲道区域，最后对上下盲道进行连接，即可得到盲道缺失区域。该虚拟盲道监测系统指挥盲人在红绿灯路口和盲道缺失路段安全行走。
Description
技术领域
本发明涉及交通工程领域，具体涉及一种虚拟盲道监测系统。
背景技术
目前中国约有盲人600～700万，是世界上盲人最多的国家，另有双眼低视力患者1200万。我国每年会出现新盲人大约45万，低视力135万，盲人的交通出行是一项不能忽视的民生问题，但事实上国内城市大规模的盲道建设对盲人行路并未产生极大帮助。常见的导盲装置：(1)导盲杖，导盲杖因其感知距离较近，给盲人用户提供的帮助往往较为局限，且在现代社会复杂交通环境下，不能为盲人用户提供斑马线、红绿灯等信息，也无法起到引导盲人安全穿行马路的作用。(2)导盲犬，使用比较少见，因其训练周期长、价格昂贵。(3)电子导盲设备，功能上主要依靠超声波或者红外探测障碍物距离信息，提醒使用者躲避障碍物。这类早期导盲仪器主要依赖测距技术，因此提供的帮助也比较有限，功能单一。在实际出行中，以上的导盲方法不适合在红绿灯路口和盲道缺陷的区域，盲道在红绿灯路口断开，盲人在感知前进的方向上失去盲砖的指引，很容易走偏甚至走出斑马线，这是一种很危险的因为，目前市面上缺少规正盲人偏离路线的设备。
发明内容
本发明的目的在于提供一种虚拟盲道监测系统，其可以通过深度学习技术自动识别斑马线和盲道，在识别的区域内采集人脸照片，对人脸照片进行特殊识别，确认盲人的身份之后，向其发出指令，指挥盲人在红绿灯路口和盲道缺失路段安全行走。
为实现上述目的，本发明提供如下技术方案：
一种虚拟盲道监测系统，包括盲道缺失区域补齐模块、红绿灯路口斑马线识别和人脸采集模块、智能盲杖模块；
所述盲道缺失区域补齐模块通过摄像头获取实时视频，并从实时视频取帧进行盲道缺失识别，将从视频中提取的图片进行处理获得二值化图像，同时对图像进行处理得到变换图像，然后将变换图像和二值化图像融合得到剔除背景后的新二值图像，对新二值图像进行膨胀腐蚀、轮廓提取和霍夫直线提取得到盲道区域，最后对上下盲道进行连接，即可得到盲道缺失区域；
所述红绿灯路口斑马线识别和人脸采集模块通过摄像头获取实时视频，并从实时视频取帧进行斑马线和人脸采集；
所述智能眼镜模块佩戴在盲人身上，用于将盲人的信息反馈给盲道缺失区域补齐模块和红绿灯路口斑马线识别和人脸采集模块；
所述智能盲杖模块用于接收盲道确实区域补齐模块和红绿灯路口斑马线识别和人脸采集模块发送的信息，并通过振动将信息反馈给盲人。
优选地，所述盲道缺失区域补齐模块中，将从视频中提取的图片进行处理获得二值化图像的过程包括图像预处理、灰度化、滤波及二值化操作。
优选地，所述图像预处理包括颜色增强、锐度增强和对比度增强。
优选地，所述盲道缺失区域补齐模块中，将从视频中提取的图片进行处理得到变换图像的过程包括HSV、背景剔除、膨胀腐蚀。
优选地，所述智能盲杖模块包括震动报警装置。
与现有技术相比，本发明的有益效果是：
1)本发明解决了盲道缺失区域的盲人行走困难的问题，让盲人的出行更加便利；
2)本发明通过图像处理比一般导盲系统的GPS定位系统精度更高，更能够确保盲人安全行走；
3)本发明通过颜色识别获取数字信息比一般的拍照读取更加准确，颜色识别代表个人脸部信息比人脸识别系统更快速简便，避免触及个人隐私问题，在人群中能够快速找到盲人；
4)智能盲杖模拟触碰障碍物的震动，对于盲人来说比一般语音提示更加迅速、可靠。
附图说明
图1是本发明实施例中盲道缺失区域补齐模块的流程图；
图2是本发明实施例中盲道缺失区域补齐模块中图像处理流程图；
图3是本发明实施例中红绿灯路口斑马线识别和人脸采集模块图；
图4是本发明实施例中斑马线原图；
图5是本发明实施例中斑马线区域划分示意图；
图6是本发明实施例中试验原图；
图7是本发明实施例中检测效果图；
图8是本发明实施例中盲道原图；
图9是本发明实施例中划分示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种虚拟盲道监测系统，包括盲道缺失区域补齐模块、红绿灯路口斑马线识别和人脸采集模块、智能盲杖模块。
(1)盲道缺失区域补齐模块
通过摄像头获取实时视频，并从实时视频取帧进行盲道缺失识别。将从视频中提取的(帧)图片进行图像预处理(颜色增强、锐度增强和对比度增强等)，灰度化、滤波及二值化等操作获得二值化图像；同时对图像进行HSV、背景剔除、膨胀腐蚀等操作得到变换图像。然后将变换图像和二值化图像融合得到剔除背景后的新二值图像，对新二值图像进行膨胀腐蚀、轮廓提取和霍夫直线提取得到盲道区域；最后对上下盲道进行连接，即可得到盲道缺失区域。其具体流程图如图1所示，图像处理流程图如图2所示。
(2)红绿灯路口斑马线识别和人脸采集模块
通过摄像头获取实时视频，并从实时视频取帧进行斑马线和人脸采集。基于Haar特征的Adaboost级联分类器，在人脸的识别效果上并没有比其他算法高，其亮点在于检测速度，有如下几方面的因素。第一：使用的特征简单，haar特征只需计算像素的和就可以了。第二：即便是如此简单的特征，还添加了积分图进行加速。第三，级联分类器的设定，使得大量的没有人脸的子窗口被抛弃。通过上述方法可以实现人脸照片的采集，如图3所示。
在红绿灯路口的两边或者盲道缺失的两边都在路灯上架设了盲道缺失区域补齐模块和红绿灯路口斑马线识别和人脸采集模块，监测时间是从斑马线的一端感应到盲人至盲人行走到斑马线的另一端过程中所经历的时间。将斑马线的区域进行了划分，分成了安全区和警示区。图4为斑马线原图，图5为斑马线区域划分示意图。
由于相机拍摄的角度，当盲人在虚线以内的安全区域行走时，脸部的照片是在红线范围内部，因此盲人行走是安全的。而当盲人走到虚线和红线之间的警示区域，盲人的脸部就会立刻暴露在红线范围以外的区域，这个时候虚拟盲道监测系统就会采集人脸照片。图6为试验原图，图7为检测效果图。
在盲道缺失路段，也是同样的原理。在识别到的区域内部将其划分为安全区和警示区，正常情况下盲人走在安全区域内部不会被采集照片，当盲人走到警示区域内，有偏离道路的趋势，将会在识别到的盲道缺失区域外侧采集到盲人的脸部照片，进行识别并且发送提示信号。图8为盲道原图，图9为划分示意图。
(3)智能眼镜模块
应用盲道缺失区域补齐模块和红绿灯路口斑马线识别和人脸采集模块来监测盲人是否按照正常的路径行走，采集盲人的脸部照片。智能眼镜模块佩戴在盲人身上，用于将盲人的信息反馈给盲道缺失区域补齐模块和红绿灯路口斑马线识别和人脸采集模块。
(4)智能盲杖模块
通过盲道缺失区域补齐模块和红绿灯路口斑马线识别和人脸采集模块形状识别准确定位到有智能眼镜模块的盲人照片，再通过颜色识别读取盲人眼镜上数字信息，将安全行走的信息发送给编号对应的盲人盲杖上，提醒盲人重新变动行走方向，直至回到识别区域内，警报停止。
盲人主要通过盲杖震动的传感，来获得路面质地、边缘路线以及障碍物等，并且对于杖尖划动和点触地面的声音更加敏感。基于此，我们在斑马线上以及盲道破损区域建立的虚拟盲道，能够通过盲杖的震动给于盲人模拟行走的外界环境。我们的监测系统会对斑马线识别，当盲人走在斑马线上的时候会通过之前的目标识别，如果在斑马线的区域能够识别到盲人，即可判断盲人是按照正常的路径行走，我们的系统会根据之前识别到的编码信息发送特定的震动频率信号给智能盲杖。
盲杖把柄处震动伸缩，模拟触碰到障碍物或者边缘线通过的指令能够帮助盲人在无人引导的情况下，安全通过斑马线。这个模块同样适合于盲道断开和破损的路段，在断开和破损的路段上覆盖我们的虚拟盲道，指导盲人安全通过。震动模块市场上常见的有偏震电机和蜂鸣器报警震动装置，但偏振电机难以获得，并且通常要从废弃的手机上拆下，故选择蜂鸣器作为震动报警装置。选择无源它激型蜂鸣器，这种蜂鸣器的工作发声原理是：方波信号输入谐振装置转换为声音信号输出。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
Claims (5)
1.一种虚拟盲道监测系统，其特征在于：包括盲道缺失区域补齐模块、红绿灯路口斑马线识别和人脸采集模块、智能眼镜模块、智能盲杖模块；
所述盲道缺失区域补齐模块通过摄像头获取实时视频，并从实时视频取帧进行盲道缺失识别，将从视频中提取的图片进行处理获得二值化图像，同时对图像进行处理得到变换图像，然后将变换图像和二值化图像融合得到剔除背景后的新二值图像，对新二值图像进行膨胀腐蚀、轮廓提取和霍夫直线提取得到盲道区域，最后对上下盲道进行连接，即可得到盲道缺失区域；
所述红绿灯路口斑马线识别和人脸采集模块通过摄像头获取实时视频，并从实时视频取帧进行斑马线和人脸采集；
所述智能眼镜模块佩戴在盲人身上，用于将盲人的信息反馈给盲道缺失区域补齐模块和红绿灯路口斑马线识别和人脸采集模块；
所述智能盲杖模块用于接收盲道确实区域补齐模块和红绿灯路口斑马线识别和人脸采集模块发送的信息，并通过振动将信息反馈给盲人。
2.根据权利要求1所述的一种虚拟盲道监测系统，其特征在于：所述盲道缺失区域补齐模块中，将从视频中提取的图片进行处理获得二值化图像的过程包括图像预处理、灰度化、滤波及二值化操作。
3.根据权利要求2所述的一种虚拟盲道监测系统，其特征在于：所述图像预处理包括颜色增强、锐度增强和对比度增强。
4.根据权利要求1所述的一种虚拟盲道监测系统，其特征在于：所述盲道缺失区域补齐模块中，将从视频中提取的图片进行处理得到变换图像的过程包括HSV、背景剔除、膨胀腐蚀。
5.根据权利要求1所述的一种虚拟盲道监测系统，其特征在于：所述智能盲杖模块包括震动报警装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111321537.4A CN113850232B (zh) | 2021-11-09 | 2021-11-09 | 一种虚拟盲道监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111321537.4A CN113850232B (zh) | 2021-11-09 | 2021-11-09 | 一种虚拟盲道监测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113850232A true CN113850232A (zh) | 2021-12-28 |
| CN113850232B CN113850232B (zh) | 2024-06-11 |
Family
ID=78984102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111321537.4A Active CN113850232B (zh) | 2021-11-09 | 2021-11-09 | 一种虚拟盲道监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113850232B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101708144B1 (ko) * | 2016-01-12 | 2017-02-17 | 한국해양대학교 산학협력단 | 시각 장애인을 위한 점자블록 패턴 인식 시스템이 구비된 지팡이 |
| WO2018119588A1 (zh) * | 2016-12-26 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种盲人安全出行实现方法、系统以及可穿戴设备 |
| CN111494175A (zh) * | 2020-05-11 | 2020-08-07 | 清华大学 | 一种基于头戴设备的导航方法、头戴设备及存储介质 |
| CN113101155A (zh) * | 2021-03-31 | 2021-07-13 | 电子科技大学成都学院 | 一种基于机器视觉的红绿灯路口导盲方法及导盲装置 |
-
2021
- 2021-11-09 CN CN202111321537.4A patent/CN113850232B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101708144B1 (ko) * | 2016-01-12 | 2017-02-17 | 한국해양대학교 산학협력단 | 시각 장애인을 위한 점자블록 패턴 인식 시스템이 구비된 지팡이 |
| WO2018119588A1 (zh) * | 2016-12-26 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 一种盲人安全出行实现方法、系统以及可穿戴设备 |
| CN111494175A (zh) * | 2020-05-11 | 2020-08-07 | 清华大学 | 一种基于头戴设备的导航方法、头戴设备及存储介质 |
| CN113101155A (zh) * | 2021-03-31 | 2021-07-13 | 电子科技大学成都学院 | 一种基于机器视觉的红绿灯路口导盲方法及导盲装置 |
Non-Patent Citations (1)
| Title |
|---|
| 姚丽;武慧荣;卢俊;王睿;董冠廷;曾婉玉;: "智能导盲辅助系统的设计与实现", 山西建筑, no. 14, 10 May 2018 (2018-05-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113850232B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Lane departure warning systems and lane line detection methods based on image processing and semantic segmentation: A review | |
| CN109145742B (zh) | 一种行人识别方法及系统 | |
| Tian et al. | Dynamic crosswalk scene understanding for the visually impaired | |
| Mascetti et al. | Robust traffic lights detection on mobile devices for pedestrians with visual impairment | |
| US20210125338A1 (en) | Method and apparatus for computer vision | |
| CN109583415A (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| CN103699677B (zh) | 一种基于人脸识别技术的罪犯行踪地图绘制系统及其方法 | |
| CN106372610B (zh) | 一种基于智能眼镜的前景信息提示方法及智能眼镜 | |
| RU2431190C2 (ru) | Способ и устройство распознавания рельефности лица | |
| CN109730910B (zh) | 出行的视觉辅助系统及其辅助设备、方法、可读存储介质 | |
| CN111091110B (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
| Mahendran et al. | Computer vision-based assistance system for the visually impaired using mobile edge artificial intelligence | |
| JP2002024986A (ja) | 歩行者検出装置 | |
| CN109664889B (zh) | 一种车辆控制方法、装置和系统以及存储介质 | |
| CN110147731A (zh) | 车辆类型识别方法及相关产品 | |
| CN110782653A (zh) | 一种道路信息采集方法和系统 | |
| Wu et al. | Block-based hough transform for recognition of zebra crossing in natural scene images | |
| CN113850232B (zh) | 一种虚拟盲道监测系统 | |
| Biswas et al. | Shortest path based trained indoor smart jacket navigation system for visually impaired person | |
| CN115965926B (zh) | 一种车载式道路标志标线巡检系统 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| Basavaraju et al. | Traffic signal time analysis and voice-based app for visually impaired pedestrians | |
| CN111985418B (zh) | 一种车载式公路交通安全设施风险源智能识别装置及方法 | |
| TWI451990B (zh) | 車道定位系統、車道定位方法及路面標記 | |
| CN111914704B (zh) | 一种三轮车载人的识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |