CN101518482B - 一种触觉图文显示装置及显示方法 - Google Patents

Abstract

本发明的目的针对现有导盲装置存在的价格昂贵、使用不便、信息有限等问题，提供一种穿戴式触觉导盲装置。该导盲装置采用触觉替代视觉技术，能够把盲人导盲眼镜上摄像头所获取的图像信息转换成触觉图像，使盲人能够借助触觉显示技术以主动触觉方式实时感知周围环境信息。本发明提出一种触觉图文显示装置，包括摄像装置，微处理器，定位装置，触觉刺激装置，所述摄像装置与内置有微处理器的定位装置相连，用来为虚拟触觉显示提供坐标基准，所述触觉刺激装置与所述定位装置相连。本发明的有益效果是，使操作者以触觉方式动态感知环境目标的视觉图像信息。

Description

一种触觉图文显示装置及显示方法

技术领域

本发明涉及一种触觉图文显示装置，尤其是能够让盲人借助虚拟触觉显示技术实现“视觉触觉功能替代”的触觉导盲装置。

背景技术

盲人和弱视人群的生存状态和生存质量反映着社会的良知和科技发展水平，也关系着社会的和谐与健康发展。让盲人和老年弱视群体恢复视觉能力，实现生活自理、提高生存质量并无障碍地融入到日常的社会生活中，不仅可以减低社会负担，而且也是盲人和弱视群体内心的真实诉求和国家政府义不容辞的责任，更是研究人员进行人工视觉和视觉器官功能修复研究的初始原动力。总体来说，目前的视觉器官功能恢复研究主要有以下三个方向：

(1)电刺激视中枢方法。电刺激视中枢是视觉器官功能修复最早的科学尝试。二十世纪二十年代德国神经外科学家发现点状刺激一侧视皮质可以在对侧视野产生静止的点状光觉。60年代的一项研究显示，患者借助手持光电池，将光信号转变为电刺激，通过导线传至视皮质后，能够跟踪光源。以后的多项研究也证实了通过电刺激视中枢可以产生相应的光幻视。1995年Shaw提出将光电池接受的光转变为电刺激施加在大脑枕叶皮质的电极，该设想引起极大关注并获得美国专利。Dobelle Institute(Portugal)Lda研制了一套基于电刺激视中枢方法可以让失明人重新获得视觉的装置。该装置包括一副在眼镜上的电视摄像机，它把图像信息传送到腰带位置的便携电脑，并通过电脑刺激植入脑部顶端视觉中枢的一片电极板。利用这套装置，病人可以获得“管状视觉”的影像，相当于20/400(即0.05)的视力，但这个视力对于视障人士来说价值不大，而且对于那些先天失明的人士也可能无效，因为他们没有完全发育的大脑视皮质细胞。

(2)采用人工视网膜的人工视觉。健康的眼睛，眼球底部的视网膜内的细胞会通过一连串化学作用，把光转化成电子信号，从而通过视神经把信号送达大脑。人工视网膜本质上是对这一过程的模仿，它是通过植入眼球后部的微电极序列把视觉信息转换成电子脉冲以刺激相邻的神经节细胞，再通过视神经把信息传入大脑，使患者感知到图象。对于由视网膜色素变性和老年性黄斑变性所致的光感受器-视网膜杆体细胞和锥体细胞丧失，这种装置可替代视网膜的部分功能。科学家已在兔大脑的视觉中枢区测量出由刺激神经节细胞产生的活动。2001年7月，美国伊利诺州的医生对三名患有视网膜顽疾的病人进行了一次人工视网膜植入手术，以帮助恢复患者失去的视觉能力。手术采用的是直径两微米的硅晶片人造视网膜。但Dr.DouglasB.Shire等科学家认为，该装置不足以产生刺激视网膜神经原所需的电流，尤其是患了病或退化中的视网膜神经原，因此，只有在把极强的光线照射到病人的眼睛时才能发挥效用，此外，安全性和晶片持久性等也是问题，因为在盐份高的环境下，要把微型装置融合到人眼中，并在数十年内高度可靠工作，是非常困难的挑战。“微电机械系统”界面及生物兼容性，尤其是微型系统封装，及其与生物环境在电子上和物性上的连接是该领域内长期而艰巨的研究课题。

(3)采用触觉替代视觉。触觉替代视觉是指把通过图像获取装置获取的原本应该由患者视觉器官看到的环境图像信息，以物理刺激的方式通过安装于患者皮肤表面的人工触觉显示器作用于患者肌肤，从而让患者以触觉的方式“看”到其周围环境(Science News，2001)。盲人具有非常敏锐的触觉能力，而且触觉替代视觉方法不需手术，不仅安全，并且回避了脑视觉中枢刺激和人工视网膜方法中的生物兼容性难题，因而一直吸引着非常众多的研究人员和科学家。目前国内外实现人工触觉的刺激方式主要包括：气动刺激、振动刺激、神经肌肉刺激、电刺激、射流刺激、顶针刺激、电流变液、磁变液体、热刺激和表面声波等。利用触觉实现视觉器官的功能替代是当前的一个研究热点，国际上有专门的研究学会，经常性学术研讨会每年多达数十个。

美国政府对本发明所属领域的研究工作非常关注，能源部“生物及环境研究办公室”为田纳西州的奥克里季国家实验室(Oak RidgeNational Laboratories)等多家机构和实验室为相关研究提供了为期三年的巨额资金资助。美国抗盲基金会及欧洲和日本的政府部门也分别有相应的经费资助计划对相关研究给予重点支持。相比之下，我国在该领域的研究工作仍属于小范围的个别研究。

发明内容

本发明的目的针对现有导盲装置存在的价格昂贵、使用不便、信息有限等问题，提供一种穿戴式触觉导盲装置。该导盲装置采用触觉替代视觉技术，能够把盲人导盲眼镜上摄像头所获取的图像信息转换成触觉图像，使盲人能够借助触觉显示技术以主动触觉方式实时感知周围环境信息。

本发明提出一种触觉图文显示装置，包括摄像装置，微处理器，定位装置，触觉刺激装置，所述摄像装置与内置有微处理器的定位装置相连，用来为虚拟触觉显示提供坐标基准，所述定位装置为一肩背式结构，其包括支架体、左肩尼龙扣带、右肩尼龙扣带、上位臂、下位臂、上位臂角度传感器和下位臂角度传感器；所述左肩尼龙扣带和右肩尼龙扣带分别连接在支架体的左、右两端；所述上位臂的一端铰连接在支架体上，上位臂的另一端与下位臂的一端相互铰连接；下位臂的另一端连接触觉刺激装置；所述上位臂角度传感器安装在支架体和上位臂之间；所述下位臂角度传感器安装在上位臂和下位臂之间。

所述触觉刺激装置为一个带有一个或多个刺激点的指臂。

所述触觉刺激装置为安装在所述定位装置下位臂上的一个或多个刺激点。

采用本发明所述的触觉图文显示装置的显示方法，通过操作者指端带动触觉刺激装置，该装置通过内置的处理器实时计算触觉刺激装置的当前位置，并依据当前位置以及触觉显示区域和触觉图像之间的映射关系得到当前位置下触觉图像的像素参数，进一步地，系统可以据此以触觉刺激的方式让操作者感知该触觉装置处像素值的大小，当操作者再次移动触觉刺激装置，由于位置改变，操作者感知到的触觉图像像素也随之改变，移动指端，当遍历更多的位置时，操作者将能够以触觉方式感知视觉图像。

所述刺激装置所采用的刺激方式为电刺激、振动刺激、气动刺激、射流刺激、顶针刺激方式。

本发明的有益效果是，采用双肩定位结构模式，通过限制装置三维空间的自由度为虚拟触觉显示平面提供坐标基准，从而能够实时地获取操作者指端位置，并通过视触觉图像映射关系，把摄像装置获取的环境目标的视觉图像参数以触觉刺激的方式作用于操作者的指端，从而使其以触觉方式动态感知环境目标的视觉图像信息。可以很好地克服现有导盲装置在实际使用中存在的价格昂贵、信息量少和不便携带等困难，从而为盲人提供一个轻便的新型穿戴式触觉导盲装置。让盲人看见各种事物，实现自主生活，甚至能够驾驶汽车，曾经听似天方夜谭的事情，随着科技的发展，已经成为可能。

附图说明

图1是本发明的原理框图。其中有目标1、摄像眼镜2、视触觉图像处理3、触觉显示器4和触摸图像5。

图2是本发明装置的结构示意图。其中有支架体6、左肩尼龙扣带7、右肩尼龙扣带8、上位臂9、下位臂10、指臂11、触点12、上位臂角度传感器13、下位臂角度传感器14和指臂角度传感器15。

图3是本发明的应用示意图。其中有操作者16、摄像眼镜2、支架体6、上位臂9、下位臂10、左极限位置17、右极限位置18、显示区域19和指臂11。

图4是本发明的杆组移动区域分布图。其中有上位臂9、下位臂11、左极限位置17、右极限位置18和显示区域19。其中O为上位臂9旋转运动的中心，A为上位臂9和下位臂10的连接点，B为下位臂10与指臂11的连接点，C为指臂的端点。OA构成上位臂9，AB构成下位臂10。图中α为OA上位臂9与水平轴线支架的夹角，β为上位臂9与下位臂10之间的夹角，γ为下位臂与指臂之间的夹角。

具体实施方式

下面结合附图和实施例对本发明的技术方案进一步说明。

图1为本发明提供的触觉导盲装置的原理框图。图中，目标1是触觉导盲感知的对象，目标1通过光学或声学成像过程与摄像眼镜2相连，摄像眼镜2中图像经视触觉图像处理3后，变成触觉图像并送触觉显示器4，以触觉刺激的方式使操作者通过触摸图像5触觉感知目标1，从而实现触觉导盲过程。

图2是本发明装置的结构示意图。在结构上本发明由支架体6、左肩尼龙扣带7、右肩尼龙扣带8、上位臂9、下位臂10、指臂11、触点12、上位臂角度传感器13、下位臂角度传感器14和“指臂角度传感器15组成。其中，“支架体6”为水平置于操作者双肩上的刚性结构，并通过“支架体6”左侧的“左肩尼龙扣带7”和“支架体6”右侧的“右肩尼龙扣带8”扎紧固定在双肩上，从而为触觉显示提供坐标基准。上位臂9、下位臂10和指臂11以顺序级联的方式连接在支架体6上，指臂11的末端为触点12。指臂11在结构上可以是单杆臂，也可以是图2中具有数个分叉的多杆臂结构，可视实际应用要求确定。支架体6和上位臂9之间有上位臂转角传感器13以测量上位臂9相对于支架体6的位置关系，上位臂9和下位臂10之间有下位臂转角传感器14以测量下位臂10相对于上位臂9的位置关系，“指臂11和下位臂10之间有指臂转角传感器15以测量指臂11相对于下位臂10的位置关系。由于上位臂9、下位臂10和指臂11的长度都是确定不变的，当上位臂角度传感器13、下位臂角度传感器14和指臂角度传感器15的参数已知时，下位臂10的末端和指臂11的末端触点12在支架体6所在坐标基准中的位置也就可以精确计算出来。

图3是穿戴式触觉导盲装置的应用示意图。图中有操作者16、摄像眼镜2、支架体6、上位臂9、下位臂10、左极限位置17、右极限位置18、显示区域19和指臂11。其中摄像眼镜2以正常眼镜的方式架于操作者6的耳朵和鼻梁上方，支架体6通过尼龙扣带固定于“操作者16的双肩上，上位臂9和下位臂10和指臂11以顺序级联的方式连接在支架体6上，当操作者16用指端带动下位臂10或指臂11在胸前移动时，下位臂10末端或指臂11末端将在一环形区域中移动，图3中示出了“下位臂10”末端的“左极限位置17”和“右极限位置18”，“触觉显示区域19”即位于“左极限位置17”和“右极限位置18”之间，“触觉显示区域19”为一矩形区域，与图1中“视触觉图像处理”得到的触觉图像相对应。当操作者16用指端带动“下位臂10”或“指臂11在胸前移动时，装置内置的微处理器系统可实时计算出下位臂10末端或指臂11末端的当前位置，并依据当前位置以及触觉显示区域19和触觉图像之间的映射关系得到当前位置下触觉图像的像素参数，该参数可以是“0/1”二值化参数，也可以是灰度参数或彩色图像参素或热图像参素等，进一步地，系统可以据此以触觉刺激的方式让操作者16感知该触点位置处的触觉图像像素值的有无或相对大小，当操作者16移动下位臂10或指臂11时，由于位置改变，操作者感知到的触觉图像像素也随之改变，移动指端，当遍历更多的位置时，操作者16将能够以触觉方式感知图1中目标1的视觉图像。

本实施例中的触觉刺激方式可以是电刺激、振动刺激、气动刺激、射流刺激、顶针刺激等任意可以使操作者获得触觉感知的刺激方式。触觉刺激点可以直接安装在下位臂10的末端而没有指臂11，也可以是多个触觉刺激点安装在具有多分叉的指臂11的末端，一个指臂上也可以设置多个触觉刺激点，只要每个触觉刺激点的相对位置可以精确计算即可。触觉刺激点的数量越多，操作者16将越容易感知图1中目标1的图像，导盲装置也越实用。

图3中，当操作者不使用本发明装置时，只需把顺序级联的上位臂9和下位臂10和指臂11自然放下即可，不会在操作者胸前留下任何部件，不影像其正常的掏内衣口袋、拉开衣服或解开纽扣以及吃饭等动作，并且其外在形象与常人也基本没有差别，因而易于为盲人所接受和使用。

图4是本发明的杆组移动区域分布图。其中有“上位臂9、下位臂10、左极限位置17、右极限位置18和显示区域19。其中O为上位臂9旋转运动的中心，A为上位臂9和下位臂10的连接点，B为下位臂10与指臂11的连接点，C为指臂11的端点。OA构成上位臂9，AB构成下位臂10。图中α为OA上位臂9与水平轴线支架的夹角，β为上位臂9与下位臂10之间的夹角，γ为下位臂10与指臂11之间的夹角。不妨假设O为坐标原点O(0，0)，则B、C的位置可表示为：

B：[OA*cosα+AB*cos(π-α-β)，AB*sin(π-α-β)-OA*sinα]

C：[OA*cosα+AB*cos(π-α-β)+BC*cos(α+β+γ)，

AB*sin(π-α-β)-OA*sinα-BC*sin(α+β+γ)]

由B点坐标可以看出，其极限位置分别为以|AB-BC|和|AB+BC|为半径的圆环，两者之间的部分即为下位臂10的末端B点的移动范围，如果以B点为触觉刺激点，则可取图中点状填充的区域为触觉显示区域19。当以指臂末端C为触觉刺激点或有多个触觉刺激点时可以此类推，分别给出各触觉刺激点的坐标计算表达式。

上述实施例表明，本发明能够实时地获取操作者指端位置，并通过视触觉图像映射关系，把摄像眼镜获取的环境目标的视觉图像参数以触觉刺激的方式作用于操作者的指端，从而使其以触觉方式动态感知环境目标的视觉图像信息。

Claims (5)

1.一种触觉图文显示装置，其特征在于，包括摄像装置，微处理器，定位装置，触觉刺激装置，所述摄像装置与内置有微处理器的定位装置相连，用来为虚拟触觉显示提供坐标基准，所述定位装置为一肩背式结构，其包括支架体、左肩尼龙扣带、右肩尼龙扣带、上位臂、下位臂、上位臂角度传感器和下位臂角度传感器；所述左肩尼龙扣带和右肩尼龙扣带分别连接在支架体的左、右两端；所述上位臂的一端铰连接在支架体上，上位臂的另一端与下位臂的一端相互铰连接；下位臂的另一端连接触觉刺激装置；所述上位臂角度传感器安装在支架体和上位臂之间；所述下位臂角度传感器安装在上位臂和下位臂之间。

2.根据权利要求1所述的触觉图文显示装置，其特征在于，所述触觉刺激装置为一个带有一个或多个刺激点的指臂。

3.根据权利要求1所述的触觉图文显示装置，其特征在于，所述触觉刺激装置为安装在所述定位装置下位臂上的一个或多个刺激点。

4.如权利要求1所述的触觉图文显示装置的显示方法，其特征在于，通过操作者指端带动触觉刺激装置，该装置通过内置的处理器实时计算触觉刺激装置的当前位置，并依据当前位置以及触觉显示区域和触觉图像之间的映射关系得到当前位置下触觉图像的像素参数，进一步地，系统可以据此以触觉刺激的方式让操作者感知该触觉装置处像素值的大小，当操作者再次移动触觉刺激装置，由于位置改变，操作者感知到的触觉图像像素也随之改变，移动指端，当遍历更多的位置时，操作者将能够以触觉方式感知视觉图像。

5.根据权利要求4所述的触觉图文显示装置的显示方法，其特征在于，所述刺激装置所采用的刺激方式为电刺激、振动刺激、气动刺激、射流刺激、顶针刺激方式。

Images