CN105267013A - 一种头戴式智能视障辅助系统 - Google Patents

一种头戴式智能视障辅助系统 Download PDF

Info

Publication number
CN105267013A
CN105267013A CN201510588478.5A CN201510588478A CN105267013A CN 105267013 A CN105267013 A CN 105267013A CN 201510588478 A CN201510588478 A CN 201510588478A CN 105267013 A CN105267013 A CN 105267013A
Authority
CN
China
Prior art keywords
module
head
identification
detects
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510588478.5A
Other languages
English (en)
Other versions
CN105267013B (zh
Inventor
程洪
况逸群
杨路
黄殿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510588478.5A priority Critical patent/CN105267013B/zh
Publication of CN105267013A publication Critical patent/CN105267013A/zh
Application granted granted Critical
Publication of CN105267013B publication Critical patent/CN105267013B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means

Landscapes

  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种头戴式智能视障辅助系统，它包括眼镜端组件和功能端组件，眼镜端组件包括摄像头、图像驱动单元和音频处理器，摄像头与图像驱动单元连接；功能端组件包括通讯模块、电池及充电管理模块、中央处理模块和按键，图像驱动单元、音频处理器、通讯模块、电池及充电管理模块和按键分别与中央处理模块连接；中央处理模块包括指尖检测模块、敏感信息检测模块、识别模块和语音处理模块。该系统为轻量化设计的穿戴式硬件系统，功耗低，携带方便，基于嵌入式平台实现各个核心服务模块，包括人脸识别、物体识别、货币识别等，交互设计简单、自然、智能、简单易操作。

Description

一种头戴式智能视障辅助系统
技术领域
本发明属于计算机视觉和人机交互领域，是一种头戴式智能视障辅助系统。
背景技术
视觉障碍者简称视障者，广义而言，如果个人需透过辅助器具如眼镜、放大镜等才能看清楚东西，就称为视障者。视障又可分为为全盲及弱视，其中又以弱视居多，据世界卫生组织估计，全球视障人群达到1.3亿以上，我国弱视群体人群达到700万人，如何帮助弱视群体更好地适应生活成为社会关注的焦点。
弱视顾名思义是指视觉功能受到损伤或障碍，那么如何通过现有的科学技术辅助性增强视障者的视觉能力是解决这个问题的关键。
发明内容
本发明的目的在于克服现有技术的不足，提供一种头戴式智能视障辅助系统，该系统为轻量化设计的穿戴式硬件系统，功耗低，携带方便，基于嵌入式平台实现各个核心服务模块，包括人脸识别、物体识别、货币识别等，交互设计简单、自然、智能，简单易操作。
本发明的目的是通过以下技术方案来实现的：一种头戴式智能视障辅助系统，它包括眼镜端组件和功能端组件，所述的眼镜端组件包括摄像头、图像驱动单元和音频处理器，摄像头与图像驱动单元连接；所述的功能端组件包括通讯模块、电池及充电管理模块、中央处理模块和按键，图像驱动单元、音频处理器、通讯模块、电池及充电管理模块和按键分别与中央处理模块连接；所述的中央处理模块包括指尖检测模块、敏感信息检测模块、识别模块和语音处理模块；
所述的指尖检测模块检测用户是否使用指尖指向某个物体；所述的敏感信息检测模块检测指尖周围是否存在物体、人脸、文字、货币等敏感信息，并分割出敏感信息所在区域；所述的识别模块在敏感区域进行信息识别；所述的语音处理模块对信息进行处理并进行语音播报。
所述的眼镜端组件还包括耳机扬声器和麦克风，耳机扬声器和麦克风分别与音频处理器连接。
所述的敏感信息检测模块包括物体检测模块、文字检测模块、人脸检测模块和标示、标志检测模块，所述的物体检测模块检测视障人员日常家居生活常见的物体，所述的文字检测模块检测敏感信息区域内的文字，人脸检测模块检测敏感区域内的人脸，标示、标志检测模块检测敏感区域内的标志。
所述的识别模块包括物体识别模块、货币识别模块、文字识别模块、人脸识别模块和标示识别模块，所述的货币识别模块对使用的货币进行识别，所述的标示识别模块对标示进行识别。
所述的摄像头采用小型CMOS高分辨率摄像头，所述的通讯模块为4G、5G通讯模块。
一种头戴式智能视障辅助系统实现辅助的方法，它包括如下子步骤：
S1：图像采集，摄像头采集人视野中的图像；
S2：指尖检测，检测视野图像中是否有用户使用指尖指向某个特定物体；
S3：敏感信息检测，检测到指尖后，在指尖周围区域进行敏感信息检测，检测是否存在包括物体、人脸、文字、货币的敏感信息，并分割出敏感信息所在的区域；
S4：信息识别，识别模块在敏感区域进行识别任务，不同的敏感信息进入相应的识别模块，得到具体的信息；
S5：语音处理，将识别出来的信息通过语音播报出来；
S6：云端同步，将识别出来的信息进行保存，同时同步到云端。
所述的步骤S2指尖检测，首先通过肤色检测获得待选区域，然后通过轮廓匹配的方式检测出指尖。
所述的步骤S3敏感信息检测包括物体检测、文字检测、人脸检测和标示、标志检测。
所述的步骤S4信息识别包括货币识别、物体识别、人脸识别、文字识别、颜色识别和标记识别，货币检测采用ORB特征，物体识别结合特征提取模板匹配和深度学习方法，人脸识别采用基于SVM特征分类方法。
本发明的有益效果是：本发明提供了一种头戴式智能视障辅助系统，该系统为轻量化设计的穿戴式硬件系统，设备轻便，易于携带，基于嵌入式平台实现各个核心服务模块，包括人脸识别、物体识别、货币识别等，通过分离检测识别模块实现资源有效利用，多样、简单的交互操作，提高用户体验，同时充分利用云端存储处理能力。
附图说明
图1为系统结构图；
图2为辅助方法流程图；
图3为货币识别方法。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种头戴式智能视障辅助系统，它包括眼镜端组件和功能端组件，所述的眼镜端组件包括摄像头、图像驱动单元和音频处理器，摄像头与图像驱动单元连接；所述的功能端组件包括通讯模块、电池及充电管理模块、中央处理模块和按键，图像驱动单元、音频处理器、通讯模块、电池及充电管理模块和按键分别与中央处理模块连接；所述的中央处理模块包括指尖检测模块、敏感信息检测模块、识别模块和语音处理模块；
所述的指尖检测模块检测用户是否使用指尖指向某个物体；所述的敏感信息检测模块检测指尖周围是否存在物体、人脸、文字、货币等敏感信息，并分割出敏感信息所在区域；所述的识别模块在敏感区域进行信息识别；所述的语音处理模块对信息进行处理并进行语音播报。
所述的眼镜端组件还包括耳机扬声器和麦克风，耳机扬声器和麦克风分别与音频处理器连接。
所述的敏感信息检测模块包括物体检测模块、文字检测模块、人脸检测模块和标示、标志检测模块，所述的物体检测模块检测视障人员日常家居生活常见的物体，所述的文字检测模块检测敏感信息区域内的文字，人脸检测模块检测敏感区域内的人脸，标示、标志检测模块检测敏感区域内的标志。
所述的识别模块包括物体识别模块、货币识别模块、文字识别模块、人脸识别模块和标示识别模块，所述的货币识别模块对使用的货币进行识别，所述的标示识别模块对标示进行识别。
所述的摄像头采用小型CMOS高分辨率摄像头，所述的通讯模块为4G、5G通讯模块。
如图2所示，一种头戴式智能视障辅助系统实现辅助的方法，它包括如下子步骤：
S1：图像采集，摄像头采集人视野中的图像；
S2：指尖检测，检测视野图像中是否有用户使用指尖指向某个特定物体；
S3：敏感信息检测，检测到指尖后，在指尖周围区域进行敏感信息检测，检测是否存在包括物体、人脸、文字、货币的敏感信息，并分割出敏感信息所在的区域；
S4：信息识别，识别模块在敏感区域进行识别任务，不同的敏感信息进入相应的识别模块，得到具体的信息；
S5：语音处理，将识别出来的信息通过语音播报出来；
S6：云端同步，将识别出来的信息进行保存，同时同步到云端。
所述的步骤S2指尖检测，首先通过肤色检测获得待选区域，然后通过轮廓匹配的方式检测出指尖。自然场景中的环境复杂多变。如光照、角度、遮挡、抖动等不确定因素都会增加分割难度。针对在自然场景中剧烈光照变化导致指尖检测不稳定，采用归一化的颜色空间YCrCb以减少光照变化对检测的影响，因为肤色在这些归一化的颜色空间里具有较好的分离性。
所述的步骤S3敏感信息检测包括物体检测、文字检测、人脸检测和标示、标志检测。
所述的步骤S4信息识别包括货币识别、物体识别、人脸识别、文字识别、颜色识别和标记识别，货币检测采用ORB特征，物体识别结合特征提取模板匹配和深度学习方法，人脸识别采用基于SVM特征分类方法。
如图3所示，货币识别包括如下步骤：
A．获取标准纸币模板；
B.计算纸币ORB特征点，训练特征点(获取区分度较好的点)；
C.对输入图像做相应的处理得到匹配点；
D.进行点匹配判断特征点是都来自相同的物体，计算匹配度；
E.输出结果。
语音处理包括语音输出和语音识别，语音输出是将设备识别出来的结果通过语音播报出来，主要采用通过语音播报出来引擎来实现。

Claims (9)

1.一种头戴式智能视障辅助系统，其特征在于：它包括眼镜端组件和功能端组件，所述的眼镜端组件包括摄像头、图像驱动单元和音频处理器，摄像头与图像驱动单元连接；所述的功能端组件包括通讯模块、电池及充电管理模块、中央处理模块和按键，图像驱动单元、音频处理器、通讯模块、电池及充电管理模块和按键分别与中央处理模块连接；所述的中央处理模块包括指尖检测模块、敏感信息检测模块、识别模块和语音处理模块；
所述的指尖检测模块检测用户是否使用指尖指向某个物体；所述的敏感信息检测模块检测指尖周围是否存在物体、人脸、文字、货币等敏感信息，并分割出敏感信息所在区域；所述的识别模块在敏感区域进行信息识别；所述的语音处理模块对信息进行处理并进行语音播报。
2.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于：所述的眼镜端组件还包括耳机扬声器和麦克风，耳机扬声器和麦克风分别与音频处理器连接。
3.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于：所述的敏感信息检测模块包括物体检测模块、文字检测模块、人脸检测模块和标示、标志检测模块，所述的物体检测模块检测视障人员日常家居生活常见的物体，所述的文字检测模块检测敏感信息区域内的文字，人脸检测模块检测敏感区域内的人脸，标示、标志检测模块检测敏感区域内的标志。
4.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于：所述的识别模块包括物体识别模块、货币识别模块、文字识别模块、人脸识别模块和标示识别模块，所述的货币识别模块对使用的货币进行识别，所述的标示识别模块对标示进行识别。
5.根据权利要求1所述的一种头戴式智能视障辅助系统，其特征在于：所述的摄像头采用小型CMOS高分辨率摄像头，所述的通讯模块为4G、5G通讯模块。
6.如权利要求1所述的一种头戴式智能视障辅助系统实现辅助的方法，其特征在于：它包括如下子步骤：
S1：图像采集，摄像头采集人视野中的图像；
S2：指尖检测，检测视野图像中是否有用户使用指尖指向某个特定物体；
S3：敏感信息检测，检测到指尖后，在指尖周围区域进行敏感信息检测，检测是否存在包括物体、人脸、文字、货币的敏感信息，并分割出敏感信息所在的区域；
S4：信息识别，识别模块在敏感区域进行识别任务，不同的敏感信息进入相应的识别模块，得到具体的信息；
S5：语音处理，将识别出来的信息通过语音播报出来；
S6：云端同步，将识别出来的信息进行保存，同时同步到云端。
7.根据权利要求6所述的一种头戴式智能视障辅助系统的辅助方法，其特征在于：所述的步骤S2指尖检测，首先通过肤色检测获得待选区域，然后通过轮廓匹配的方式检测出指尖。
8.根据权利要求6所述的一种头戴式智能视障辅助系统的辅助方法，其特征在于：所述的步骤S3敏感信息检测包括物体检测、文字检测、人脸检测和标示、标志检测。
9.根据权利要求1所述的一种头戴式智能视障辅助系统的辅助方法，其特征在于：所述的步骤S4信息识别包括货币识别、物体识别、人脸识别、文字识别、颜色识别和标记识别，货币检测采用ORB特征，物体识别结合特征提取模板匹配和深度学习方法，人脸识别采用基于SVM特征分类方法。
CN201510588478.5A 2015-09-16 2015-09-16 一种头戴式智能视障辅助系统 Active CN105267013B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510588478.5A CN105267013B (zh) 2015-09-16 2015-09-16 一种头戴式智能视障辅助系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510588478.5A CN105267013B (zh) 2015-09-16 2015-09-16 一种头戴式智能视障辅助系统

Publications (2)

Publication Number Publication Date
CN105267013A true CN105267013A (zh) 2016-01-27
CN105267013B CN105267013B (zh) 2017-11-07

Family

ID=55137425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510588478.5A Active CN105267013B (zh) 2015-09-16 2015-09-16 一种头戴式智能视障辅助系统

Country Status (1)

Country Link
CN (1) CN105267013B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787442A (zh) * 2016-02-19 2016-07-20 电子科技大学 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法
CN105997449A (zh) * 2016-05-12 2016-10-12 广东履安实业有限公司 一种盲人视觉辅助仪
CN106874830A (zh) * 2016-12-12 2017-06-20 杭州视氪科技有限公司 一种基于rgb‑d相机和人脸识别的视障人士辅助方法
CN108309708A (zh) * 2018-01-23 2018-07-24 李思霈 盲人拐杖
CN109902592A (zh) * 2019-01-30 2019-06-18 浙江大学 一种基于深度学习的盲人辅助行路方法
CN114708946A (zh) * 2022-03-22 2022-07-05 北京蓝田医疗设备有限公司 一种目标导向性专项能力训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1813169A (zh) * 2004-05-12 2006-08-02 吉峰贵司 信息处理设备、便携式装置、以及信息处理方法
CN101889921A (zh) * 2009-05-19 2010-11-24 北京保益互动科技发展有限公司 一种视力残障人士辅助颜色识别方法及其系统
CN102217990A (zh) * 2011-04-27 2011-10-19 南京航空航天大学 基于振动触觉的环境信息感知器
CN102906810A (zh) * 2010-02-24 2013-01-30 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
US20130222561A1 (en) * 2012-02-03 2013-08-29 National Taipei University Of Technology Guide System Having Function of Real-Time Voice Response for the Visually Impaired and Method Thereof
CN105342817A (zh) * 2015-12-17 2016-02-24 上海康龙宝康复器材科技有限公司 一种盲人避障眼镜

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1813169A (zh) * 2004-05-12 2006-08-02 吉峰贵司 信息处理设备、便携式装置、以及信息处理方法
CN101889921A (zh) * 2009-05-19 2010-11-24 北京保益互动科技发展有限公司 一种视力残障人士辅助颜色识别方法及其系统
CN102906810A (zh) * 2010-02-24 2013-01-30 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
CN102217990A (zh) * 2011-04-27 2011-10-19 南京航空航天大学 基于振动触觉的环境信息感知器
US20130222561A1 (en) * 2012-02-03 2013-08-29 National Taipei University Of Technology Guide System Having Function of Real-Time Voice Response for the Visually Impaired and Method Thereof
CN105342817A (zh) * 2015-12-17 2016-02-24 上海康龙宝康复器材科技有限公司 一种盲人避障眼镜

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787442A (zh) * 2016-02-19 2016-07-20 电子科技大学 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法
CN105997449A (zh) * 2016-05-12 2016-10-12 广东履安实业有限公司 一种盲人视觉辅助仪
CN106874830A (zh) * 2016-12-12 2017-06-20 杭州视氪科技有限公司 一种基于rgb‑d相机和人脸识别的视障人士辅助方法
CN106874830B (zh) * 2016-12-12 2019-09-24 杭州视氪科技有限公司 一种基于rgb-d相机和人脸识别的视障人士辅助方法
CN108309708A (zh) * 2018-01-23 2018-07-24 李思霈 盲人拐杖
CN109902592A (zh) * 2019-01-30 2019-06-18 浙江大学 一种基于深度学习的盲人辅助行路方法
CN109902592B (zh) * 2019-01-30 2021-03-30 浙江大学 一种基于深度学习的盲人辅助行路方法
CN114708946A (zh) * 2022-03-22 2022-07-05 北京蓝田医疗设备有限公司 一种目标导向性专项能力训练方法及装置
CN114708946B (zh) * 2022-03-22 2022-10-11 北京蓝田医疗设备有限公司 一种目标导向性专项能力训练方法及装置

Also Published As

Publication number Publication date
CN105267013B (zh) 2017-11-07

Similar Documents

Publication Publication Date Title
CN105267013A (zh) 一种头戴式智能视障辅助系统
Wang et al. Detecting stairs and pedestrian crosswalks for the blind by RGBD camera
CN105512624B (zh) 一种人脸图像的笑脸识别方法及其装置
US9101459B2 (en) Apparatus and method for hierarchical object identification using a camera on glasses
CN105243371B (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
CN203909869U (zh) 一种云端门禁道闸管理系统
Li et al. Cross-Safe: A computer vision-based approach to make all intersection-related pedestrian signals accessible for the visually impaired
CN102508606A (zh) 通过识别人脸细分用户所属群体并设置移动手持装置对应功能的方法及系统
CN105608649A (zh) 一种基于人脸识别的酒店入住管理系统
CN109815805A (zh) 自动识别溺水的方法、装置、存储介质及电子设备
CN105787442A (zh) 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法
CN104966433A (zh) 一种辅助聋哑人对话的智能眼镜
WO2021169351A1 (zh) 指代消解的方法、装置及电子设备
CN109558805A (zh) 基于多层深度特征的人体行为识别方法
Matsumura et al. Deep-learning-based stair detection using 3D point cloud data for preventing walking accidents of the visually impaired
CN106406445A (zh) 基于智能眼镜的视障辅助中文文本阅读系统
CN104765759A (zh) 一种基于人脸识别的搜索系统
CN106981238A (zh) 一种基于计算机视觉的手语交流装置
Kaushik et al. Deployment and layout of deep learning-based smart eyewear applications platform for vision disabled individuals
CN103996033A (zh) 一种基于人脸五官坐标跟踪的真人识别方法
CN107169473A (zh) 一种人脸识别控制系统
Rathi et al. Development of full duplex intelligent communication system for deaf and dumb people
CN110491384B (zh) 一种语音数据处理方法及装置
Qureshi et al. AI based app for blind people
CN203552331U (zh) 一种智能识别门禁系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant