CN204709329U - 基于触觉的为视觉障碍人士传达周围环境信息的装置 - Google Patents

基于触觉的为视觉障碍人士传达周围环境信息的装置 Download PDF

Info

Publication number
CN204709329U
CN204709329U CN201520390444.0U CN201520390444U CN204709329U CN 204709329 U CN204709329 U CN 204709329U CN 201520390444 U CN201520390444 U CN 201520390444U CN 204709329 U CN204709329 U CN 204709329U
Authority
CN
China
Prior art keywords
barrier
current signal
dimensional matrix
sense
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201520390444.0U
Other languages
English (en)
Inventor
朱锐
姚晓明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vivolight Medical Device Technology Co Ltd
Original Assignee
Shenzhen Vivolight Medical Device Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vivolight Medical Device Technology Co Ltd filed Critical Shenzhen Vivolight Medical Device Technology Co Ltd
Priority to CN201520390444.0U priority Critical patent/CN204709329U/zh
Application granted granted Critical
Publication of CN204709329U publication Critical patent/CN204709329U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本实用新型公开了一种基于触觉的为视觉障碍人士传达周围环境信息的装置,该装置包括视场采集模块、中央处理器以及触觉刺激模块,其中,所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息;所述中央处理器用于将所述立体信息转换为二维矩阵形式的电流信号,并将所述电流信号提供给所述触觉刺激模块;其中,每一电流信号在二维矩阵中的位置代表了障碍物的方位,电流信号的大小代表了障碍物的距离;所述触觉刺激模块包括阵列设置的刺激单元,阵列设置的刺激单元一一对应于所述二维矩阵形式的电流信号,每一刺激单元接收一电流信号。该装置可以帮助盲人在头脑中实时建立空间3D图像,做到实时感知周围物体或障碍物。

Description

基于触觉的为视觉障碍人士传达周围环境信息的装置
技术领域
本实用新型涉及一种感官替代设备,具体涉及一种基于触觉的为视觉障碍人士传达周围环境信息的装置,使用触觉场技术与光学成像技术结合,帮助盲人在大脑中重建出周围场景,用于帮助盲人避开障碍物及导盲。
背景技术
我国是世界上人口最多的国家,同时也是世界上盲人最多的国家,盲人作为弱势群体,在生活中有着诸多不变。目前,常用的导盲方式有以下两种:第一是盲人手杖,通过盲人手杖碰触前方来判断是否有障碍物,进一步地,还有在盲人手杖中增加了一些传感器,例如超声盲人手杖,在手杖前端加上超声传感器后能够扫描探测更大范围,但是都是单点或单向测试。第二种是导盲犬,其主要缺点是售价昂贵,且只能带路。
发明内容
有鉴于此,本实用新型提供了一种基于触觉的为视觉障碍人士传达周围环境信息的装置,该装置旨在帮助盲人在头脑中实时建立空间3D图像,做到实时感知周围物体或障碍物。
为了实现上述的目的,本实用新型采用了如下的技术方案:
一种基于触觉的为视觉障碍人士传达周围环境信息的装置,该装置包括视场采集模块、中央处理器以及触觉刺激模块,其中,
所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息,该立体信息包括障碍物的图像信息和距离信息;
所述中央处理器用于将所述立体信息转换为二维矩阵形式的电流信号,并将所述电流信号提供给所述触觉刺激模块;其中,每一电流信号在二维矩阵中的位置代表了障碍物的方位,电流信号的大小代表了障碍物的距离;
所述触觉刺激模块包括阵列设置的刺激单元,阵列设置的刺激单元一一对应于所述二维矩阵形式的电流信号,每一刺激单元接收一电流信号,通过刺激单元对人体产生刺激以使视觉障碍人士获得周围障碍物的方位和距离信息。
具体地,所述视场采集模块包括至少一CCD摄像机和一距离传感器,所述CCD摄像机用于采集障碍物的图像信息,所述距离传感器用于采集障碍物的距离信息。
具体地,所述中央处理器至少包括信号处理单元、信号转换单元以及信号控制单元;所述信号处理单元将所述图像信息和距离信息生成一二维矩阵形式的深度图谱,二维矩阵中的数值为图像的灰度值,每一灰度值在二维矩阵中的位置代表了障碍物的方位,灰度值的大小代表了障碍物的距离;所述信号转换单元将所述二维矩阵中的灰度值转换为对应的电流信号;所述信号控制单元将所述电流信号施加于所述触觉刺激模块。
更具体地,所述二维矩阵形式的深度图谱中,定义背景色为纯黑,其灰度值为0,定义与视场采集模块距离为0时颜色为纯白,其灰度值最大;当在深度图谱中有一连续区域出现灰度值相近且不为0时,表明该位置具有障碍物。
更具体地,灰度值越大时,其对应的电流信号越大,代表的障碍物的距离越近。
进一步地,所述视场采集模块、中央处理器以及触觉刺激模块集成设置于可穿戴设备中。
进一步地,所述可穿戴设备具有外形类似于眼镜或者半头盔的设备,所述视场采集模块包括两个CCD摄像机,对应设置于佩戴者眼睛前方;所述触觉刺激模块设置于佩戴者的额头上。
相比于盲人手杖,本实用新型实施例提供的基于触觉的为视觉障碍人士传达周围环境信息的装置可实时传递全空间信息,帮助快速避开障碍物,经过一段时间训练,可代替人眼指导行走时避开行人及路障。
附图说明
图1是本实用新型实施例提供的基于触觉的为视觉障碍人士传达周围环境信息的装置的结构框图。
图2是本实用新型实施例提供的基于触觉的为视觉障碍人士传达周围环境信息的装置的结构示意图。
图3是如图2的装置佩戴于人体上的示例性图示。
图4是本实用新型实施例中信号处理单元生成深度图谱的过程图示。
具体实施方式
下面将结合本实用新型实施例中的附图,对本实用新型实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本实用新型一部分实例,而不是全部实施例。基于本实用新型中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本实用新型保护范围。
参阅附图1至图3,本实施例提供了基于触觉的为视觉障碍人士传达周围环境信息的装置。如图1所示,该装置主要包括视场采集模块1、中央处理器2以及触觉刺激模块3。
其中,所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息,该立体信息包括障碍物的图像信息和距离信息。具体地,所述视场采集模块包括至少一CCD摄像机11和一距离传感器12,所述CCD摄像机11用于采集障碍物的图像信息,所述距离传感器12用于采集障碍物的距离信息。
其中,所述中央处理器2用于将所述立体信息转换为二维矩阵形式的电流信号,并将所述电流信号提供给所述触觉刺激模块3;其中,每一电流信号在二维矩阵中的位置代表了障碍物的方位,电流信号的大小代表了障碍物的距离。具体地,所述中央处理器2至少包括信号处理单元21、信号转换单元22以及信号控制单元23。所述信号处理单元21将所述图像信息和距离信息生成一二维矩阵形式的深度图谱(depth mapping),二维矩阵中的数值为图像的灰度值,每一灰度值在二维矩阵中的位置代表了障碍物的方位,灰度值的大小代表了障碍物的距离;所述信号转换单元22将所述二维矩阵中的灰度值转换为对应的电流信号;所述信号控制单元23将所述电流信号施加于所述触觉刺激模块3。
其中,所述触觉刺激模块3包括阵列设置的刺激单元31,阵列设置的刺激单元31一一对应于所述二维矩阵形式的电流信号,每一刺激单元31接收一电流信号,通过刺激单元31对人体产生刺激以使视觉障碍人士获得周围障碍物的方位和距离信息。
进一步地,如图2和图3所示,本实施例中,所述视场采集模块1、中央处理器2以及触觉刺激模块3集成设置于可穿戴设备中。所述可穿戴设备具有外形类似于眼镜或者半头盔的设备,所述视场采集模块包括两个CCD摄像机11,对应设置于佩戴者眼睛前方;所述触觉刺激模块3设置于佩戴者的额头上。
图4是本实用新型实施例中信号处理单元生成深度图谱的过程图示。具体地,参阅图4,假设视觉障碍人士处于图4中的(a)所示的场景,该场景中,在视觉障碍人士的位置X前方具有三个位置及大小不同的障碍物A1、A2和A3,三个障碍物A1、A2和A3与位置X的距离由近到远依次为A1、A2、A3。
视觉障碍人士佩戴如上提供的装置以后,视场采集模块1中的CCD摄像机11拍摄的图像信息,得到如图4中的(b)所示的图像,同时距离传感器12将探测周围所有障碍物A1、A2和A3与视觉障碍人士之间的距离,并将各个障碍物的距离与CCD摄像机11拍摄的图像结合以生成深度场。首先定义深度场的边界即背景色为纯黑,其灰度值为0;与CCD摄像机11距离为0时颜色为纯白,其灰度值为最大。由此则可以由从纯白到纯黑之间的不同灰度值表示出物体的远近。灰度值越大时,代表的障碍物的距离越近,基于实用性的考虑,灰度值与距离并不成正比而是远处灰度值变化小,近处灰度值变化率大,从而可以更多地显示出近处物体的位置信息,且亮度越亮说明物体离使用者越近。按此规则生成的深度图谱如图4中的(c)所示,在该图谱中,障碍物A1、A2和A3对应的区域B1、B2和B3偏向纯白的程度为:B1>B2>B3。
深度图谱的输出值为一个二维矩阵,矩阵的大小与摄像头的分辨率有关,二维矩阵中的数值为图像的灰度值,矩阵的每个值对应该方向处障碍物距离成反比例关系。由此则可以推出矩阵的一块连续区域出现相近且不为0的值表明该位置处有以物体,此区域的形状与物体在经过两摄像头且平行于触觉刺激阵列的平面的投影相同。同时由于摄像头的分辨率与触觉刺激阵列的分辨率不同,实际情况中摄像头的分辨率会高于触觉刺激阵列的分辨率,因此需要将深度图谱矩阵进行变换,使其大小与触觉刺激阵列的大小相匹配。在此过程中再采用超级采样抗锯齿及深度补偿等算法还可以得到平滑的物体表面及边缘信息,如图4中的(d)所示,障碍物A1、A2和A3对应的区域C1、C2和C3中,像素亮度在连续区域相同且亮度高于背景,说明此处有障碍物。
中央处理器2中的信号转换单元22将深度图谱二维矩阵每个位置的灰度值,转换为对应大小的电流信号,灰度值越大时,其对应的电流信号越大,信号控制单元23输出到触觉刺激模块3的刺激单元31,每个刺激单元31对应像素化后的深度图谱中的一个像素单元。参阅图4中(d),区域C1、C2和C3中的像素亮度大于背景亮度,则使用者可以感受到此处的刺激强过背景刺激。同时由于刺激的位置对应于视场中物体实际所处的位置,从而可以根据皮肤感觉到的刺激的位置及强度,判断出前方障碍物的位置及距离并以此实现避障。甚至可以通过刺激单元31的排布粗略判断出物体的形状。
综合以上,如上实施例提供的基于触觉的为视觉障碍人士传达周围环境信息的装置,将深度图谱转化成触觉场,让视觉障碍人士根据触觉在大脑中感知出空间图像。具体地,首先通过视场采集模块获取前方视场内的深度图谱(depthmapping),图像像素为灰度值,值的大小代表该像素对应空间坐标处物体离视场采集模块(视觉障碍人士的位置)的远近。此图像我们定义为视觉场。然后将视觉场的灰度值转换为对应强度的电流信号值传递到触觉刺激阵列对应的刺激单元上。该触觉场特点是,电极刺激的位置与视觉场的位置一致,而刺激单元的刺激强度与视觉场里图像灰度值有线性关系。这样相当于把光学图像转化为触觉“图像”,让视觉障碍人士通过刺激传来的方向和强度来判断出该方向上前方探测到物体的远近。这样,通过触觉,把视觉场景在盲人的脑海中重现出来。进一步地,该装置中的各个模块可集成设置在外形类似眼镜或者半头盔的可穿戴感官替代设备中在人体行动时,头部或身体转动到任何方向,视场采集模块实时计算出前方深度图谱,处理成电流信号刺激,让盲人实时感知,特别提示出接近的障碍物或通道,便于盲人选择行动方向。相比于盲人手杖,本实用新型实施例提供的装置可实时传递全空间信息,帮助快速避开障碍物,经过一段时间训练,可代替人眼指导行走时避开行人及路障。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,包括视场采集模块、中央处理器以及触觉刺激模块,其中,
所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息,该立体信息包括障碍物的图像信息和距离信息;
所述中央处理器用于将所述立体信息转换为二维矩阵形式的电流信号,并将所述电流信号提供给所述触觉刺激模块;其中,每一电流信号在二维矩阵中的位置代表了障碍物的方位,电流信号的大小代表了障碍物的距离;
所述触觉刺激模块包括阵列设置的刺激单元,阵列设置的刺激单元一一对应于所述二维矩阵形式的电流信号,每一刺激单元接收一电流信号,通过刺激单元对人体产生刺激以使视觉障碍人士获得周围障碍物的方位和距离信息。
2.根据权利要求1所述的基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,所述视场采集模块包括至少一CCD摄像机和一距离传感器,所述CCD摄像机用于采集障碍物的图像信息,所述距离传感器用于采集障碍物的距离信息。
3.根据权利要求1所述的基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,所述中央处理器至少包括信号处理单元、信号转换单元以及信号控制单元;所述信号处理单元将所述图像信息和距离信息生成一二维矩阵形式的深度图谱,二维矩阵中的数值为图像的灰度值,每一灰度值在二维矩阵中的位置代表了障碍物的方位,灰度值的大小代表了障碍物的距离;所述信号转换单元将所述二维矩阵中的灰度值转换为对应的电流信号;所述信号控制单元将所述电流信号施加于所述触觉刺激模块。
4.根据权利要求3所述的基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,所述二维矩阵形式的深度图谱中,定义背景色为纯黑,其灰度值为0,定义与视场采集模块距离为0时颜色为纯白,其灰度值最大;当在深度图谱中有一连续区域出现灰度值相近且不为0时,表明该位置具有障碍物。
5.根据权利要求4所述的基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,灰度值越大时,其对应的电流信号越大,代表的障碍物的距离越近。
6.根据权利要求1-5任一所述的基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,所述视场采集模块、中央处理器以及触觉刺激模块集成设置于可穿戴设备中。
7.根据权利要求6所述的基于触觉的为视觉障碍人士传达周围环境信息的装置,其特征在于,所述可穿戴设备具有外形类似于眼镜或者半头盔的设备,所述视场采集模块包括两个CCD摄像机,对应设置于佩戴者眼睛前方;所述触觉刺激模块设置于佩戴者的额头上。
CN201520390444.0U 2015-06-08 2015-06-08 基于触觉的为视觉障碍人士传达周围环境信息的装置 Active CN204709329U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201520390444.0U CN204709329U (zh) 2015-06-08 2015-06-08 基于触觉的为视觉障碍人士传达周围环境信息的装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201520390444.0U CN204709329U (zh) 2015-06-08 2015-06-08 基于触觉的为视觉障碍人士传达周围环境信息的装置

Publications (1)

Publication Number Publication Date
CN204709329U true CN204709329U (zh) 2015-10-21

Family

ID=54308364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201520390444.0U Active CN204709329U (zh) 2015-06-08 2015-06-08 基于触觉的为视觉障碍人士传达周围环境信息的装置

Country Status (1)

Country Link
CN (1) CN204709329U (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445743A (zh) * 2015-12-23 2016-03-30 南京创维信息技术研究院有限公司 一种超声导盲系统及其实现方法
CN105959572A (zh) * 2016-07-04 2016-09-21 张恩洋 一种用于人体佩戴的具有红外全景深感知功能的导盲帽
CN106074095A (zh) * 2016-05-26 2016-11-09 英华达(上海)科技有限公司 一种低视力者辅助设备及方法
CN106726377A (zh) * 2016-12-08 2017-05-31 上海电力学院 基于人工智能的路面可行度指示器
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
CN109157738A (zh) * 2018-07-23 2019-01-08 浙江诺尔康神经电子科技股份有限公司 基于深度视觉的人工视网膜幅频调控方法和系统
CN109925170A (zh) * 2019-04-18 2019-06-25 四川大学 一种盲人及弱视群体用导航设备
CN109925171A (zh) * 2019-04-18 2019-06-25 四川大学 一种多功能导航设备
CN110300562A (zh) * 2016-12-20 2019-10-01 索邦大学 使用异步触觉刺激的感官替代系统
CN111859323A (zh) * 2020-06-30 2020-10-30 维沃移动通信有限公司 身份验证方法、装置、设备和存储介质
CN112451324A (zh) * 2019-08-19 2021-03-09 北京超维度计算科技有限公司 一种视障人士辅助系统
CN112558779A (zh) * 2020-12-22 2021-03-26 电子科技大学 一种基于振动阵列的触觉刺激系统及方法
CN113674593A (zh) * 2021-08-25 2021-11-19 王季源 一种用于触觉显示的头戴式额机系统
CN117427278A (zh) * 2023-12-22 2024-01-23 厦门鹏芯半导体有限公司 一种盲人路径导航系统及方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445743B (zh) * 2015-12-23 2018-08-14 南京创维信息技术研究院有限公司 一种超声导盲系统及其实现方法
CN105445743A (zh) * 2015-12-23 2016-03-30 南京创维信息技术研究院有限公司 一种超声导盲系统及其实现方法
CN107157717A (zh) * 2016-03-07 2017-09-15 维看公司 用于向盲人提供视觉信息的物体检测、分析及提示系统
CN106074095A (zh) * 2016-05-26 2016-11-09 英华达(上海)科技有限公司 一种低视力者辅助设备及方法
CN105959572A (zh) * 2016-07-04 2016-09-21 张恩洋 一种用于人体佩戴的具有红外全景深感知功能的导盲帽
CN106726377A (zh) * 2016-12-08 2017-05-31 上海电力学院 基于人工智能的路面可行度指示器
CN110300562A (zh) * 2016-12-20 2019-10-01 索邦大学 使用异步触觉刺激的感官替代系统
CN109157738A (zh) * 2018-07-23 2019-01-08 浙江诺尔康神经电子科技股份有限公司 基于深度视觉的人工视网膜幅频调控方法和系统
CN109157738B (zh) * 2018-07-23 2022-02-15 浙江诺尔康神经电子科技股份有限公司 基于深度视觉的人工视网膜幅频调控方法和系统
CN109925171A (zh) * 2019-04-18 2019-06-25 四川大学 一种多功能导航设备
CN109925170B (zh) * 2019-04-18 2020-12-22 四川大学 一种盲人及弱视群体用导航设备
CN109925171B (zh) * 2019-04-18 2020-12-22 四川大学 一种多功能导航设备
CN109925170A (zh) * 2019-04-18 2019-06-25 四川大学 一种盲人及弱视群体用导航设备
CN112451324A (zh) * 2019-08-19 2021-03-09 北京超维度计算科技有限公司 一种视障人士辅助系统
CN111859323A (zh) * 2020-06-30 2020-10-30 维沃移动通信有限公司 身份验证方法、装置、设备和存储介质
CN112558779A (zh) * 2020-12-22 2021-03-26 电子科技大学 一种基于振动阵列的触觉刺激系统及方法
CN113674593A (zh) * 2021-08-25 2021-11-19 王季源 一种用于触觉显示的头戴式额机系统
CN117427278A (zh) * 2023-12-22 2024-01-23 厦门鹏芯半导体有限公司 一种盲人路径导航系统及方法
CN117427278B (zh) * 2023-12-22 2024-04-12 厦门鹏芯半导体有限公司 一种盲人路径导航系统及方法

Similar Documents

Publication Publication Date Title
CN204709329U (zh) 基于触觉的为视觉障碍人士传达周围环境信息的装置
CN204744865U (zh) 基于听觉的为视觉障碍人士传达周围环境信息的装置
US20190192348A1 (en) Active Confocal Imaging Systems and Methods for Visual Prostheses
JP5057068B2 (ja) 電気触覚ディスプレイ
US7308314B2 (en) Method and apparatus for sensory substitution, vision prosthesis, or low-vision enhancement utilizing thermal sensing
US20070016425A1 (en) Device for providing perception of the physical environment
CN110032278A (zh) 一种人眼感兴趣物体的位姿识别方法、装置及系统
TWI466655B (zh) 可偵測眼動訊號之影像控制系統
JP6771548B2 (ja) 盲人又は視覚障害者が音声や触覚によって周囲環境を解釈することを可能にするポータブルシステム
CN105959572A (zh) 一种用于人体佩戴的具有红外全景深感知功能的导盲帽
CN108780578A (zh) 用于增强现实系统的直接光补偿技术
US20160317811A1 (en) Methods and Systems for Detecting Obstacles for a Visual Prosthesis
CN102331838A (zh) 基于深度等高线的图像的振动触觉表达方法
CN108064447A (zh) 图像显示方法、智能眼镜及存储介质
CN107749053A (zh) 一种用于视觉假体的双目图像采集与预处理装置及方法
JP6821646B2 (ja) 動的領域分解能を有する仮想/拡張現実システム
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN104851109B (zh) 一种从三维深度感知设备输出高灰阶深度图像的方法
CN104360533B (zh) 一种 3d 显示装置及其显示驱动方法
CN108919498A (zh) 一种基于多模态成像和多层感知的增强现实眼镜
Li Wearable computer vision systems for a cortical visual prosthesis
CN102657572B (zh) 电子点阵式智能盲人图像触觉传感装置和传感实现方法
CN108140362A (zh) 显示方法、装置、电子设备和计算机程序产品
KR20240015654A (ko) 눈 이미지와 디지털 이미지 사이의 변환 방법 및 시스템
CN113674593A (zh) 一种用于触觉显示的头戴式额机系统

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant