CN114404238B - 助盲器 - Google Patents

助盲器 Download PDF

Info

Publication number
CN114404238B
CN114404238B CN202210074798.9A CN202210074798A CN114404238B CN 114404238 B CN114404238 B CN 114404238B CN 202210074798 A CN202210074798 A CN 202210074798A CN 114404238 B CN114404238 B CN 114404238B
Authority
CN
China
Prior art keywords
information
image
user
symbol information
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210074798.9A
Other languages
English (en)
Other versions
CN114404238A (zh
Inventor
张硕
赵贵生
张笑飞
马骢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210074798.9A priority Critical patent/CN114404238B/zh
Publication of CN114404238A publication Critical patent/CN114404238A/zh
Application granted granted Critical
Publication of CN114404238B publication Critical patent/CN114404238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Biomedical Technology (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施例提供一种助盲器,其包括:图像采集部,图像采集部用于采集场景的图像信息,其中,场景指助盲器的使用者所处的外部环境;图像处理部,图像处理部对采集的图像信息进行处理;图像符号转换系统,图像符号转换系统接收经过图像处理部处理后的图像信息,并将经过处理后的图像信息转换成预定的符号信息,预定的符号信息能够表征助盲器的使用者所处在的场景信息;舌部刺激部,舌部刺激部接收预定的符号信息,并根据预定符号的信息来输出电极脉冲,电极脉冲对使用者的舌部形成刺激,使用者能够根据刺激识别出其所处在的场景。

Description

助盲器
技术领域
本发明的实施例涉及盲人的行走辅助工具领域,具体涉及一种助盲器。
背景技术
因为盲道被随意占用,且几乎所有的盲道都没有从盲人的角度来规划、设计、建设以及管理,因此盲人的出行受到了很大的限制。
发明内容
本发明的实施例提供一种助盲器,其包括:图像采集部,图像采集部用于采集场景的图像信息,其中,场景指助盲器的使用者所处的外部环境;图像处理部,图像处理部对采集的图像信息进行处理;图像符号转换系统,图像符号转换系统接收经过图像处理部处理后的图像信息,并将经过处理后的图像信息转换成预定的符号信息,预定的符号信息能够表征助盲器的使用者所处在的场景信息;舌部刺激部,舌部刺激部接收预定的符号信息,并根据预定符号的信息来输出电极脉冲,电极脉冲对使用者的舌部形成刺激,使用者能够根据所述刺激识别出其所处在的场景。
因此,本发明的实施例提供的助盲器,能够帮助有视力障碍的人或者盲人识别出其所处在的场景。具体地,助盲器能够将环境的场景信息转换为符号,这些符号能够通过电极脉冲刺激使用者的舌部,从而使用者能够根据刺激识别出其所处在的场景。
附图说明
图1为本发明的实施例提供的助盲器的示意图;
图2为本发明的实施例提供的助盲器的图像符号转换系统的示意图;
图3为本发明的又一实施例提供的助盲器的示意图;
图4为本发明的实施例提供的助盲器中储存的预定的符号信息的示意图;
图5为本发明的实施例提供的助盲器中所要采集的场景信息的示意图;
图6为本发明的实施例提供的助盲器中图像处理部对图像信息进行处理的示意图。
标号说明:
100、助盲器;10、图像采集部;20、图像处理部;30、图像符号转换系统;31、识别模型;32、符号信息库;33、转换部;40、舌部刺激部。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一个实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。若全文中涉及“第一”、“第二”等描述,则该“第一”、“第二”等描述仅用于区别类似的对象,而不能理解为指示或暗示其相对重要性、先后次序或者隐含指明所指示的技术特征的数量,应该理解为“第一”、“第二”等描述的数据在适当情况下可以互换。若全文中出现“和/或”,其含义为包括三个并列方案,以“A和/或B”为例,包括A方案,或B方案,或A和B同时满足的方案。此外,为了便于描述,在这里可以使用空间相对术语,如“上方”、“下方”、“顶部”、“底部”等,仅用来描述如图中所示的一个器件或特征与其他器件或特征的空间位置关系,应当理解为也包含除了图中所示的方位之外的在使用或操作中的不同方位。
请参照图1-图6,本发明的实施例提供的助盲器100,能够帮助有视力障碍的人或者盲人识别出其所处在的场景。具体地,助盲器100能够将环境的场景信息转换为符号信息,这些符号信息能够通过电极脉冲刺激使用者的舌部,从而使用者能够根据刺激识别出其所处在的场景。
请结合图1-图3,助盲器100可以包括:图像采集部10,图像采集部10用于采集场景的图像信息,其中,场景指助盲器的使用者所处的外部环境;图像处理部20,图像处理部20对采集的图像信息进行处理;图像符号转换系统30,图像符号转换系统30接收经过图像处理部20处理后的图像信息,并将经过处理后的图像信息转换成预定的符号信息,预定的符号信息能够表征助盲器的使用者所处在的场景信息;舌部刺激部40,舌部刺激部40接收预定的符号信息,并根据预定符号的信息来输出电极脉冲,电极脉冲对使用者的舌部形成刺激,使用者能够根据刺激识别出其所处在的场景。
在一些实施例中,助盲器100可以设计成头戴式,其中,图像采集部10可以设置有摄像头,摄像头位于使用者的额头部位。图像采集部10以每秒24帧的频率采集场景的图像信息,但不以此为限,可以按照需求进行调整。
在一些实施例中,图像采集部10可以存储有导航地图,导航地图可以包括百度地图以及高德地图,但不以此为限,可以按照需求进行调整。
在一些实施例中,图像处理部20对采集的图像信息进行的处理可以包括:裁剪图像信息以及改变图像信息的像素或通道,如图6所示,但不以此为限,可以按照需求进行调整。
例如,采集的原始图像有RGB三个通道信息,通过公式:
Gray=0.03red+0.59green+0.11blue
将图像灰度化,只保留0-255的灰度值。
通过上述处理,可以提高图像信息的处理速度和处理能力,从而,助盲器可以将场景信息更快速的提供给使用者。本领域技术人员还可以采用其他方式。
在一些实施例中,图像符号转换系统30可以包括识别模型31,其中,例如,识别模型31是根据神经网络建立的,神经网络模型设计使用多层感知网络,其为全连接的神经网络,属于监督学习算法,通过大量训练数据的标注。
在本发明的一些实施例中,基于神经网络的识别模型的训练包括多个隐含层,使用线性纠正函数作为激活函数。
relu=max(0,x);
其中,relu表示激活函数。
由于 x>0时导数为 1,所以,这样的激活函数能够在x>0时保持梯度不衰减,从而缓解梯度消失问题。所以使用relu取代sigmoid函数去激活神经元。
因此,识别模型31能够在短时间内识别出经过图像处理部20处理后的图像信息,并且提取其中的图像要素。
在一些实施例中,图像符号转换系统30包括符号信息库32,符号信息库32储存有与助盲器的使用者在出行时感兴趣的或经常遇到的场景信息相对应的预定的符号信息,因此当图像要素传输到符号信息库32时,符号信息库32能够根据图像要素查找到与之对应的预定的符号信息。从而,可以快速的识别使用者的出行场景,降低助盲器的运算量,提高识别效率。
在一些实施例中,图像符号转换系统30还包括转换部33,转换部33能够将图像要素转换成预定的符号信息。
在一些实施例中,不同的预定的符号信息设置成具有内在的顺序。这里的不同的预定符号信息具有内在的顺序,是指这些符号信息设置成有一定的规律性和顺序性,从而有助于助盲器的使用者学习和记忆不同的符号信息代表的含义。
在一些实施例中,预定的符号信息设置成相同的符号信息处于静态下与处于动态下具有不同的意义,例如,在一个实施例中符号信息为汽车图形,当汽车图形为静态即静止时,可以说明使用者的前方有一辆静止的汽车,而当汽车图形为动态即运动时,可以说明使用者的前方有一辆处于运动状态的汽车。因此,通过相同的符号信息在静态与动态下表示不同的意义能够为使用者提供更多的信息。
在一些实施例中,预定的符号信息是场景信息经过科学的优化和抽象转换成的。
下面参见图4,在一些实施例中,预定的符号信息可以包括象形字和图形,象形字和图形能够很好地表达某些特定的场景信息的特征。
在一些实施例中,象形字可以包括静态的象形字以及规则动态变化的象形字。
在一些实施例中,图形可以包括静态的图形以及规则动态变化的图形。
其中,规则动态变化的象形字以及规则动态变化的图形可以让使用者更有效地获取到代表着不同含义的符号信息,并通过不同的符号信息的运动以及不同的组合方式来表达更复杂的出行信息,进而能够更好地指引使用者。
在一些实施例中,助盲器100的使用者在出行时感兴趣的或经常遇到的场景信息可以分为室内信息和室外信息,其中,室内信息可以包括卫生间信息、房间信息等,室外信息可以包括交通站点信息以及公路警示信息等一系列关键的场景信息,如图5所示。
在一些实施例中,舌部刺激部40设置有多个电极点,其中,电极点可以与血氧检测仪连接。当预定的符号信息传输进舌部刺激部40,能够通过四百个电极点输出电极脉冲,电极脉冲能够对使用者的舌部形成刺激,进而,使用者能够根据上述刺激识别出其所处在的场景。
在一些实施例中,助盲器100能进一步辅助有视力障碍的人或者盲人学习盲文以及完成体育活动,例如,田径比赛,乒乓球比赛等。
下面对一个使用者使用助盲器100识别场景的整个过程的实施例进行详细的说明。
首先经过对识别模型31的优化、训练以及测试,识别模型31已经能够学会识别出有视力障碍的人或盲人的日常出行的场景信息,同时符号信息库32也储存有丰富的与场景信息相对应的预定的符号信息。但在某一个使用者使用助盲器100前,还需要采集这个使用者在日常出行时感兴趣的或经常遇到的场景信息,从而识别模型31能进一步学习识别该使用者感兴趣的或经常遇到的场景信息,例如,卫生间信息、房间信息、交通站点信息以及公路警示信息等等。同时,这些场景信息也以符号信息的方式储存入符号信息库32中,以丰富符号信息库32。
采集完该使用者在日常出行时感兴趣的或经常遇到的场景信息后,使用者便可以使用助盲器100,以头戴式的助盲器为例,使用者将助盲器100佩戴于头部,其中,将图像采集部10的摄像头固定于使用者的额头部位,从而有利于图像采集部10采集到使用者视角下的场景的图像信息。此外,使用者将舌部刺激部40放置于其舌头部位上,舌部刺激部40可以根据预定符号的信息输出电极脉冲,电极脉冲对使用者的舌部形成刺激,因此使用者能够根据刺激识别出其所处在的场景。以上完成了助盲器100的佩戴。
使用者佩戴好助盲器100后,便可以自由走动,使用者的额头部位的摄像头会随着使用者的移动以每秒24帧的频率采集使用者遇到的场景的图像信息,随后,采集的图像信息传输到图像处理部20,图像处理部20对图像信息依次进行裁剪以及改变图像信息的像素或通道;接着,图像符号转换系统30中的识别模型31能够在短时间内识别出经过图像处理部20处理后的图像信息,并且提取其中的图像要素;然后,图像要素传输到符号信息库32,符号信息库32能够根据图像要素查找到与之对应的预定的符号信息;接着,在转换部33将图像要素转换成预定的符号信息;最后,预定的符号信息传输入舌部刺激部40,舌部刺激部40根据预定符号的信息在四百个电极点输出电极脉冲,电极脉冲对使用者的舌部形成刺激,使用者能够根据刺激识别出其所处在的场景。
其中,以场景信息为楼梯作为例子,当使用者的面前有楼梯时,使用者的额头部位的摄像头会以每秒24帧的频率采集上述楼梯的图像信息,随后,采集到的楼梯的图像信息传输到图像处理部20,图像处理部20对楼梯的图像信息依次进行裁剪以及改变楼梯的图像信息的像素和通道;接着,图像符号转换系统30中的识别模型31能够在短时间内识别出经过图像处理部20处理后的楼梯的图像信息,并且提取其中关键的图像要素;然后,图像要素传输到符号信息库32,符号信息库32能够根据图像要素查找到与之对应的预定的符号信息,即楼梯图形;接着,在转换部33将图像要素转换成楼梯图形这一预定的符号信息;最后,楼梯图形这一预定的符号信息传输入舌部刺激部40,舌部刺激部40根据楼梯图形在四百个电极点输出电极脉冲,电极脉冲对使用者的舌部形成刺激,使用者能够根据刺激识别出其前面有一楼梯。
对于本发明的实施例,还需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上,仅为本发明的一些实施例,但本发明的保护范围并不局限于此,本发明的保护范围应以权利要求的保护范围为准。

Claims (2)

1.一种助盲器,其特征在于,包括:
图像采集部(10),所述图像采集部(10)用于采集场景的图像信息,其中,所述场景指所述助盲器(100)的使用者所处的外部环境;
图像处理部(20),所述图像处理部(20)对采集的所述图像信息进行处理;
图像符号转换系统(30),所述图像符号转换系统(30)接收经过所述图像处理部(20)处理后的图像信息,并将经过处理后的图像信息转换成预定的符号信息,所述预定的符号信息能够表征所述助盲器(100)的使用者所处在的场景信息;
舌部刺激部(40),所述舌部刺激部(40)接收所述预定的符号信息,并根据所述预定符号的信息来输出电极脉冲,所述电极脉冲对使用者的舌部形成刺激,使用者能够根据所述刺激识别出其所处在的场景;
其中,所述图像处理部对采集的图像信息进行的处理包括:
裁剪图像信息以及改变图像信息的像素或通道,采集的原始图像具有RGB三个通道信息,采用如下表达将所述原始图像图像灰度化:
Gray=0.03red+0.59green+0.11blue
Gray表示灰度值;
并且只保留0-255的灰度值;
所述图像符号转换系统(30)包括识别模型(31),所述识别模型(31)能够识别所述经过处理后的图像信息,并且提取其中的图像要素;
所述图像符号转换系统(30)包括符号信息库(32),所述符号信息库(32)储存有与所述助盲器的使用者在出行时感兴趣的或经常遇到的场景信息相对应的预定的符号信息;所述符号信息库(32)能够查找到与所述图像要素对应的预定的符号信息;
所述图像符号转换系统(30)包括转换部(33),所述转换部(33)将所述图像要素转换成所述预定的符号信息;
其中,不同的符号信息设置成具有内在的顺序规律性和顺序性以及符号信息设置成相同的符号信息处于静态下与处于动态下具有不同的意义;所述符号信息能够包括象形字和图形,象形字能够包括静态的象形字以及规则动态变化的象形字;图形能够包括静态的图形以及规则动态变化的图形,其中,设置规则动态变化的象形字以及规则动态变化的图形能够让用者更有效地获取到代表着不同含义的符号信息,并通过不同的符号信息的运动以及不同的组合方式来表达更复杂的出行信息,进而能够更好地指引使用者的出行。
2.根据权利要求1所述的助盲器,其特征在于,
所述助盲器的使用者在出行时感兴趣的或经常遇到的场景信息包括卫生间信息、交通站点信息以及公路警示信息。
CN202210074798.9A 2022-01-21 2022-01-21 助盲器 Active CN114404238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210074798.9A CN114404238B (zh) 2022-01-21 2022-01-21 助盲器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210074798.9A CN114404238B (zh) 2022-01-21 2022-01-21 助盲器

Publications (2)

Publication Number Publication Date
CN114404238A CN114404238A (zh) 2022-04-29
CN114404238B true CN114404238B (zh) 2024-01-19

Family

ID=81275521

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210074798.9A Active CN114404238B (zh) 2022-01-21 2022-01-21 助盲器

Country Status (1)

Country Link
CN (1) CN114404238B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105662704A (zh) * 2015-12-29 2016-06-15 深圳先进技术研究院 超声视网膜刺激设备
CN106599816A (zh) * 2016-12-06 2017-04-26 中国科学院深圳先进技术研究院 基于人造视网膜的图像识别方法和装置
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置
CN110688910A (zh) * 2019-09-05 2020-01-14 南京信息职业技术学院 一种可穿戴人体基本姿态识别的实现方法
CN111428583A (zh) * 2020-03-05 2020-07-17 同济大学 一种基于神经网络和触觉点阵的视觉补偿方法
CN111862932A (zh) * 2020-07-02 2020-10-30 北京科技大学 一种将图像转化为声音的可穿戴助盲系统及方法
CN212816753U (zh) * 2020-03-25 2021-03-30 郑振华 一种非植入式盲人虚拟视觉显示仪
CN112862653A (zh) * 2021-01-08 2021-05-28 上海大学 一种基于图像处理的数据显示系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4118182B2 (ja) * 2003-03-31 2008-07-16 株式会社ニデック 視覚再生補助装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105662704A (zh) * 2015-12-29 2016-06-15 深圳先进技术研究院 超声视网膜刺激设备
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
CN106599816A (zh) * 2016-12-06 2017-04-26 中国科学院深圳先进技术研究院 基于人造视网膜的图像识别方法和装置
CN107798318A (zh) * 2017-12-05 2018-03-13 四川文理学院 一种机器人识别面部快乐微表情的方法及其装置
CN110688910A (zh) * 2019-09-05 2020-01-14 南京信息职业技术学院 一种可穿戴人体基本姿态识别的实现方法
CN111428583A (zh) * 2020-03-05 2020-07-17 同济大学 一种基于神经网络和触觉点阵的视觉补偿方法
CN212816753U (zh) * 2020-03-25 2021-03-30 郑振华 一种非植入式盲人虚拟视觉显示仪
CN111862932A (zh) * 2020-07-02 2020-10-30 北京科技大学 一种将图像转化为声音的可穿戴助盲系统及方法
CN112862653A (zh) * 2021-01-08 2021-05-28 上海大学 一种基于图像处理的数据显示系统

Also Published As

Publication number Publication date
CN114404238A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
Collins On mobility aids for the blind
Sainarayanan et al. Fuzzy image processing scheme for autonomous navigation of human blind
CN108803617A (zh) 轨迹预测方法及装置
Rajmohan et al. Efficient Indian Sign Language Interpreter For Hearing Impaired
CN107403154A (zh) 一种基于动态视觉传感器的步态识别方法
CN104083258A (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
EP1089208A3 (en) Method for selecting cosmetics
Koutsoklenis et al. Haptic cues used for outdoor wayfinding by individuals with visual impairments
Parikh et al. Android smartphone based visual object recognition for visually impaired using deep learning
CN105787442A (zh) 一种基于视觉交互面向视障人群的穿戴式辅助系统及其使用方法
CN109886269A (zh) 一种基于注意力机制的交通广告牌识别方法
CN110688910A (zh) 一种可穿戴人体基本姿态识别的实现方法
US20120093423A1 (en) Electronic system with simulated sense perception and method of providing simulated sense perception
Wang et al. An environmental perception and navigational assistance system for visually impaired persons based on semantic stixels and sound interaction
Dowling et al. Mobility enhancement and assessment for a visual prosthesis
CN114404238B (zh) 助盲器
Qureshi et al. AI based app for blind people
Torku et al. Detecting stressful older adults-environment interactions to improve neighbourhood mobility: A multimodal physiological sensing, machine learning, and risk hotspot analysis-based approach
CN109602585B (zh) 一种导盲眼镜及其防撞预警方法
Kinra et al. A Comprehensive and Systematic Review of Deep Learning Based Object Recognition Techniques for the Visually Impaired
CN110619294A (zh) 一种基于rfid系统定制的个性化口型识别方法
CN109325428A (zh) 基于多层次端到端神经网络的人类活动姿态识别方法
CN114404239B (zh) 助盲器
CN109446944B (zh) 手语的视觉语义-结构化解析方法
Dowling et al. Mobility assessment using simulated Arti. cial Human Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant