CN108733213B - 一种基于热觉的柔性盲人图像交互系统及其识别方法 - Google Patents

一种基于热觉的柔性盲人图像交互系统及其识别方法 Download PDF

Info

Publication number
CN108733213B
CN108733213B CN201810459247.8A CN201810459247A CN108733213B CN 108733213 B CN108733213 B CN 108733213B CN 201810459247 A CN201810459247 A CN 201810459247A CN 108733213 B CN108733213 B CN 108733213B
Authority
CN
China
Prior art keywords
image
fever
pixel
control unit
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810459247.8A
Other languages
English (en)
Other versions
CN108733213A (zh
Inventor
冯雪
李航飞
叶柳顺
马寅佶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810459247.8A priority Critical patent/CN108733213B/zh
Publication of CN108733213A publication Critical patent/CN108733213A/zh
Application granted granted Critical
Publication of CN108733213B publication Critical patent/CN108733213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于热觉的柔性盲人图像交互系统及其识别方法。本发明采用图像采集单元、图像处理单元、控制单元和前端柔性传感阵列,各个单元之间进行无线传输,图像采集单元实时采集图像,图像处理单元将图像转化为数字信号,控制单元解析后控制前端柔性传感阵列的每一个发热像素的开或关的状态,从而将视觉转化为热觉,从而实现图像交互。本发明不仅实现与盲人的实时图像交互,并具有可调节的动态刷新频率,从而实现实时交互;图像采集单元集成在人体佩戴的饰品上;控制单元、电池和前端柔性传感阵列集成为一体,制备成人体可佩戴的饰品;采用热觉替代视觉,而不是采用传统的机械系统,具有体积小便携等优点,轻薄等特点。

Description

一种基于热觉的柔性盲人图像交互系统及其识别方法
技术领域
本发明涉及盲人重获视觉技术,具体涉及一种基于热觉的柔性盲人图像交互系统及其识别方法。
背景技术
据2010年世界卫生组织统计的数据表明,世界范围内视力受损人士大约有2.85亿,其中盲人达到3900万,在视力受损总人数中比例超过10%。我国同样也存在盲人群体数量巨大,生活质量低下的问题。据估计,我国每年会出现新盲人大约45万,低视力135万,即约每分钟就会出现1个盲人,3个低视力患者。截止到2012年底,我国约有1350万视力残疾人士,其中有600多万为盲人。预计到2020年我国视力残疾人数即将达到5000余万。盲人生活质量低下,一方面由于自身无法看见导致生活不便,另一方面他们因无法看到美丽多彩的世界而身心备受折磨。所以,实现盲人可视具有重大意义。
早在1969年,Bach-y-Rita、Collins等人在Nature中首次提出利用触觉替代盲人视觉帮助盲人重新获取视觉的设想。随后,他们便利用这种思想,采用相机捕获图像的方法,通过微阵列震动产生触觉来替代盲人的视觉,并给该系统取名为触觉地台视觉系统(TVSS)。之后的几十年,相关的研究也越来越多,市场上也出现了各种各样的盲人交互系统,其原理大题可以分为三类:1)通过皮肤对机械刺激产生的触觉,2)温度刺激产生的热觉,3)电刺激产生的痛觉来进行图像交互,但目前这种交互系统主要存在成本高、结构笨重等因素而限制了其使用的范围。
发明内容
针对以上现有技术中存在的问题,本发明提出了一种基于热觉的柔性盲人图像交互系统及其识别方法,不仅制造成本低、体积小、重量轻、与人体贴合好、便携,同时还可以具有图像实时处理与交互,分辨率高等优点。
本发明的一个目的在于提出一种基于热觉的柔性盲人图像交互系统。
本发明的基于热觉的柔性盲人图像交互系统包括:图像采集单元、图像处理单元、控制单元和前端柔性传感阵列;其中,前端柔性传感阵列包括柔性基底、发热像素和接线电极,在柔性基底的表面贴附有M×N个彼此独立的发热像素,每一个发热像素连接至一个独立的接线电极;每一个发热像素通过接线电极连接控制单元的一个独立的逻辑开关通道;前端柔性传感阵列贴附在人体表面;图像采集单元实时动态采集图像,并通过无线传输将图像传输至图像处理单元;图像处理单元对采集的图像进行离散处理,并提取图像的轮廓,将其转化成对应的二进制的数字信号,并通过无线传输将对应的数字信号传输至控制单元;控制单元通过接收的数字信号控制与发热像素对应连接的逻辑开关通道的开或关,实现控制前端柔性传感阵列的发热像素对应的开或关状态;并且,控制单元调节图像处理单元的刷新频率,传输至图像采集单元,并且根据不同人的温觉灵敏程度相应地调整发热像素的功率,从而改变发热像素的温度;前端柔性传感阵列中的每一个发热像素根据控制单元输出的开或关状态,发热或者不发热,从而将视觉转化为温觉,实现图像交互的目的,其中M和N为≥5的自然数。
图像采集单元采用相机,实时动态采集图像,并通过无线传输将图像传输至图像处理单元。
图像处理单元基于便携式移动电子设备,如手机和电脑等对数据进行实时处理。
控制单元包括翻译器、频率控制器、温度控制器和电池;其中,翻译器、频率控制器和温度控制器分别连接至电池,频率控制器连接至翻译器,翻译器连接至温度控制器,温度控制器的输出端具有多路逻辑开关通道,每一个输出通道通过一个独立的接线电极对应连接至一个发热像素;频率控制器设置图像处理单元的刷新频率,翻译器将数字信号进行解析转换成对每一个逻辑开关通道的开或关,温度控制器控制发热像素的功率。
前端柔性传感阵列包括柔性基底、发热像素和接线电极。柔性基底采用人体兼容性好的柔性材料,如多聚膜类敷料或聚二甲基硅氧烷PDMS;发热像素为电阻值相同的发热电阻,阻值在50~100Ω之间;每一个发热像素通过接线电极连接控制单元的一个独立的逻辑开关通道,发热像素之间采用独立的接线方式,避免了各单元之间的热传导。
图像采集单元集成在人体佩戴的饰品上,如眼镜。
控制单元、电池和前端柔性传感阵列集成为一体,制备成人体可佩戴的饰品,如手环。
本发明的另一个目的在于提供一种基于热觉的柔性盲人图像交互系统的识别方法。
本发明的基于热觉的柔性盲人图像交互系统的识别方法,包括以下步骤:
1)图像采集单元实时动态采集图像,并通过无线传输将图像传输至图像处理单元;
2)图像处理单元将采集的图像进行离散处理,并提取图像的轮廓,将其转化成对应的二进制的数字信号,并通过无线传输将对应的数字信号传输至控制单元;
3)控制单元通过接收的数字信号控制与发热像素对应连接的逻辑开关通道的开或关,实现控制前端柔性传感阵列的发热像素对应的开或关状态;
4)控制单元调节图像处理单元的刷新频率,传输至图像采集单元,并且根据不同人的温觉灵敏程度相应地调整发热像素的功率,从而改变发热像素的温度;
5)前端柔性传感阵列中的每一个发热像素根据控制单元输出的开或关状态,发热或者不发热,从而将视觉转化为温觉,实现图像交互的目的。
其中,在步骤2)中,提取图像的轮廓,有轮廓的离散单元对应逻辑值为1,无轮廓的离散单元对应逻辑值为0。
在步骤3)中,数字信号的逻辑值为1对应的逻辑开关通道为开,数字信号的逻辑值为0对应的逻辑开关通道为关,从而控制与逻辑开关通道相连接的发热像素发热或不发热。
本发明的优点:
本发明采用图像采集单元、图像处理单元、控制单元和前端柔性传感阵列,各个单元之间进行无线传输,图像采集单元实时采集图像,图像处理单元将图像转化为数字信号,控制单元解析后控制前端柔性传感阵列的每一个发热像素的开或关的状态,从而将视觉转化为热觉,从而实现图像交互。本发明具有以下优势:
1)本发明不仅实现与盲人的实时图像交互,并具有可调节的动态刷新频率,从而实现实时交互;2)具有前端温度可调的特点,可根据不同人温觉的灵敏度进行相应的温度调整,在提高辨识率的同时增强佩戴的舒适性;3)各个单元之间采用无线传输的连接方式,各部件集成灵活,例如图像采集单元可与眼镜等集成;4)整个传感前端采用超柔性的材料作为前端传感阵列的基底,佩戴舒适度高,与人体兼容性高;5)采用热觉替代视觉,而不是采用传统的机械系统,具有体积小便携等优点,轻薄等特点。
附图说明
图1为本发明的基于热觉的柔性盲人图像交互系统的示意图;
图2为本发明的基于热觉的柔性盲人图像交互系统的一个实施例的前端柔性传感阵列的示意图;
图3为本发明的基于热觉的柔性盲人图像交互系统的一个实施例的控制单元、电池和前端柔性传感阵列集成为一体的示意图;
图4为本发明的基于热觉的柔性盲人图像交互系统的一个实施例的原理图。
具体实施方式
下面结合附图,通过具体实施例,进一步阐述本发明。
如图1所示,本实施例的基于热觉的柔性盲人图像交互系统包括:图像采集单元1、图像处理单元2、控制单元3和前端柔性传感阵列4;其中,如图2所示,前端柔性传感阵列包括柔性基底、发热像素41和接线电极42,在柔性基底的表面贴附有6×5个彼此独立的发热像素41,每一个发热像素连接至一个独立的接线电极42;每一个发热像素41通过接线电极42连接控制单元的一个独立的逻辑开关通道;前端柔性传感阵列贴附在人体表面;电池31连接至控制单元3的翻译器、频率控制器和温度控制器。
柔性基底采用聚二甲基硅氧烷PDMS;发热像素为电阻值相同的发热电阻,阻值在50~100Ω之间。图像采集单元集成在眼镜。
如图3所示,控制单元3和前端柔性传感阵列4集成为一体,制备成手环。
本实施例的基于热觉的柔性盲人图像交互系统的识别方法,包括以下步骤:
1)图像采集单元实时动态采集图像,如图4中的H,并通过无线传输将图像传输至图像处理单元;
2)图像处理单元将采集的图像进行离散处理,并提取图像的轮廓,将其转化成对应的二进制的数字信号,并通过无线传输将对应的数字信号传输至控制单元;
3)控制单元通过接收的数字信号控制与发热像素对应连接的逻辑开关通道的开或关,实现控制前端柔性传感阵列的发热像素对应的开或关状态;
4)控制单元调节图像处理单元的刷新频率,传输至图像采集单元,并且根据不同人的温觉灵敏程度相应地调整发热像素的功率,从而改变发热像素的温度;
5)前端柔性传感阵列中的每一个发热像素根据控制单元输出的开或关状态,发热或者不发热,从而将视觉转化为温觉,实现图像交互的目的。
最后需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附的权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种基于热觉的柔性盲人图像交互系统,其特征在于,所述柔性盲人图像交互系统包括:图像采集单元、图像处理单元、控制单元和前端柔性传感阵列;其中,所述前端柔性传感阵列包括柔性基底、发热像素和接线电极,在柔性基底的表面贴附有M×N个彼此独立的发热像素,每一个发热像素连接至一个独立的接线电极;每一个发热像素通过接线电极连接控制单元的一个独立的逻辑开关通道;所述前端柔性传感阵列贴附在人体表面;图像采集单元实时动态采集图像,并通过无线传输将图像传输至图像处理单元;图像处理单元对采集的图像进行离散处理,并提取图像的轮廓,将其转化成对应的二进制的数字信号,并通过无线传输将对应的数字信号传输至控制单元;控制单元通过接收的数字信号控制与发热像素对应连接的逻辑开关通道的开或关,实现控制前端柔性传感阵列的发热像素对应的开或关状态;并且,控制单元调节图像处理单元的刷新频率,传输至图像采集单元,并且根据不同人的温觉灵敏程度相应地调整发热像素的功率,从而改变发热像素的温度;前端柔性传感阵列中的每一个发热像素根据控制单元输出的开或关状态,发热或者不发热,从而将视觉转化为温觉,实现图像交互的目的,其中M和N为≥5的自然数。
2.如权利要求1所述的柔性盲人图像交互系统,其特征在于,所述图像采集单元采用相机,实时动态采集图像,并通过无线传输将图像传输至图像处理单元。
3.如权利要求1所述的柔性盲人图像交互系统,其特征在于,所述控制单元包括翻译器、频率控制器、温度控制器和电池;其中,所述翻译器、频率控制器和温度控制器分别连接至电池,频率控制器连接至翻译器,翻译器连接至温度控制器,温度控制器的输出端具有多路逻辑开关通道,每一个输出通道通过一个独立的接线电极对应连接至一个发热像素;频率控制器设置图像处理单元的刷新频率,翻译器将数字信号进行解析转换成对每一个逻辑开关通道的开或关,温度控制器控制发热像素的功率。
4.如权利要求1所述的柔性盲人图像交互系统,其特征在于,所述发热像素为电阻值相同的发热电阻,阻值在50~100Ω之间。
5.如权利要求1所述的柔性盲人图像交互系统,其特征在于,所述图像采集单元集成在人体佩戴的饰品上。
6.如权利要求1所述的柔性盲人图像交互系统,其特征在于,所述控制单元、电池和前端柔性传感阵列集成为一体,制备成人体佩戴的饰品。
7.如权利要求1所述的柔性盲人图像交互系统,其特征在于,所述柔性基底采用人体兼容的柔性材料。
8.一种基于热觉的柔性盲人图像交互系统的识别方法,其特征在于,所述识别方法包括以下步骤:
1)图像采集单元实时动态采集图像,并通过无线传输将图像传输至图像处理单元;
2)图像处理单元将采集的图像进行离散处理,并提取图像的轮廓,将其转化成对应的二进制的数字信号,并通过无线传输将对应的数字信号传输至控制单元;
3)控制单元通过接收的数字信号控制与发热像素对应连接的逻辑开关通道的开或关,实现控制前端柔性传感阵列的发热像素对应的开或关状态;
4)控制单元调节图像处理单元的刷新频率,传输至图像采集单元,并且根据不同人的温觉灵敏程度相应地调整发热像素的功率,从而改变发热像素的温度;
5)前端柔性传感阵列中的每一个发热像素根据控制单元输出的开或关状态,发热或者不发热,从而将视觉转化为温觉,实现图像交互的目的。
9.如权利要求8所述的识别方法,其特征在于,在步骤2)中,提取图像的轮廓,有轮廓的离散单元对应逻辑值为1,无轮廓的离散单元对应逻辑值为0。
10.如权利要求8所述的识别方法,其特征在于,数字信号的逻辑值为1对应的逻辑开关通道为开,数字信号的逻辑值为0对应的逻辑开关通道为关,从而控制与逻辑开关通道相连接的发热像素发热或不发热。
CN201810459247.8A 2018-05-15 2018-05-15 一种基于热觉的柔性盲人图像交互系统及其识别方法 Active CN108733213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810459247.8A CN108733213B (zh) 2018-05-15 2018-05-15 一种基于热觉的柔性盲人图像交互系统及其识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810459247.8A CN108733213B (zh) 2018-05-15 2018-05-15 一种基于热觉的柔性盲人图像交互系统及其识别方法

Publications (2)

Publication Number Publication Date
CN108733213A CN108733213A (zh) 2018-11-02
CN108733213B true CN108733213B (zh) 2019-04-16

Family

ID=63937446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810459247.8A Active CN108733213B (zh) 2018-05-15 2018-05-15 一种基于热觉的柔性盲人图像交互系统及其识别方法

Country Status (1)

Country Link
CN (1) CN108733213B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788194B (zh) * 2018-12-27 2020-08-25 北京航空航天大学 一种自适应性可穿戴设备主观视角图像采集方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201984245U (zh) * 2011-01-18 2011-09-21 上海理工大学 一种盲人人物识别眼镜
CN204181857U (zh) * 2014-10-09 2015-03-04 苏州市圆梦无障碍科技有限公司 可探测障碍物的盲人眼镜
CN104483753A (zh) * 2014-12-04 2015-04-01 上海交通大学 自配准透射式头戴显示设备
CN106388763A (zh) * 2016-09-14 2017-02-15 上海高智科技发展有限公司 导盲前端设备、后端设备、移动终端及其导盲系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100578568C (zh) * 2005-09-21 2010-01-06 东南大学 基于射流技术的触觉图文显示装置及显示方法
CN101021745A (zh) * 2006-12-14 2007-08-22 东南大学 基于多维刺激的彩色射流触觉图文显示装置及显示方法
US20150228813A1 (en) * 2012-09-16 2015-08-13 Solarsort Technologies, Inc. Continuous resonant trap refractors, lateral waveguides and devices using same
CN103345184B (zh) * 2013-06-28 2016-06-08 东南大学 一种图像信息温度觉反馈的二维手控装置
CN103735395B (zh) * 2014-01-20 2016-02-03 东南大学 一种具有温度觉和振动觉的穿戴装置
CN104535059A (zh) * 2014-12-04 2015-04-22 上海交通大学 针对全盲人群的室内定位系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201984245U (zh) * 2011-01-18 2011-09-21 上海理工大学 一种盲人人物识别眼镜
CN204181857U (zh) * 2014-10-09 2015-03-04 苏州市圆梦无障碍科技有限公司 可探测障碍物的盲人眼镜
CN104483753A (zh) * 2014-12-04 2015-04-01 上海交通大学 自配准透射式头戴显示设备
CN106388763A (zh) * 2016-09-14 2017-02-15 上海高智科技发展有限公司 导盲前端设备、后端设备、移动终端及其导盲系统

Also Published As

Publication number Publication date
CN108733213A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
ES2948813T3 (es) Aparato para la estimulación transcutánea del nervio facial
CN104615978B (zh) 视线方向跟踪方法及装置
CN204883092U (zh) 一种基于视线追踪技术的智能眼镜
CN108403122A (zh) 一种人体关节运动的测量系统及其测量方法
CN107193381A (zh) 一种基于眼球追踪传感技术的智能眼镜及其显示方法
CN100578568C (zh) 基于射流技术的触觉图文显示装置及显示方法
CN108733213B (zh) 一种基于热觉的柔性盲人图像交互系统及其识别方法
CN105661729B (zh) 一种智能帽子
CN110633014B (zh) 一种头戴式眼动追踪装置
CN204965278U (zh) 穿戴式电子装置
CN204315032U (zh) 一种智能婴儿看护装置
CN205594579U (zh) 一种多功能无线脑电帽
CN103345184A (zh) 一种图像信息温度觉反馈的二维手控装置
CN204242466U (zh) 手语互译装置
CN206178667U (zh) 一种基于脑电波解析技术的头戴式控制系统
CN108066060A (zh) 盲人眼镜以及使盲人获得视力的方法
CN104510568A (zh) 利用虚拟现实技术实现盲人可视化的方法
Amft Smart eyeglasses, e-textiles, and the future of wearable computing
CN208114701U (zh) 盲人眼镜
CN207745256U (zh) 一种耳石症治疗和教学穿戴设备
CN109525115A (zh) 一种基于智能医疗设备终端的通讯供电合成与分离系统
CN208141579U (zh) 一种儿童防近视伴读装置
CN209031708U (zh) 一种智能镜子
CN211786989U (zh) 一种头戴式眼动追踪装置
CN109976136A (zh) 一种感应手表及材料

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant