CN102018594B - 基于振动电机阵列的嵌入式图像感知装置 - Google Patents

基于振动电机阵列的嵌入式图像感知装置 Download PDF

Info

Publication number
CN102018594B
CN102018594B CN2010105208968A CN201010520896A CN102018594B CN 102018594 B CN102018594 B CN 102018594B CN 2010105208968 A CN2010105208968 A CN 2010105208968A CN 201010520896 A CN201010520896 A CN 201010520896A CN 102018594 B CN102018594 B CN 102018594B
Authority
CN
China
Prior art keywords
vibration
module
vibrating motor
image
haptic rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010105208968A
Other languages
English (en)
Other versions
CN102018594A (zh
Inventor
吴涓
吴伟雄
宋爱国
宋振中
许俊超
张小瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN2010105208968A priority Critical patent/CN102018594B/zh
Publication of CN102018594A publication Critical patent/CN102018594A/zh
Application granted granted Critical
Publication of CN102018594B publication Critical patent/CN102018594B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于振动电机阵列的嵌入式图像感知装置,包括图像采集模块,图像处理及振动编码模块,触觉表达模块。其中,图像采集模块为摄像头和USB接口,将采集到的图像发送给图像处理及振动编码模块;图像处理及振动编码模块为ARM11系统,对图像进行处理,得到控制信息,并对振动方式进行编码,再控制触觉表达模块;触觉表达模块由8×8振动电机阵列组成,通过作用受试者后背处,可以使受试者获得对图像的感知。

Description

基于振动电机阵列的嵌入式图像感知装置
技术领域
本发明涉及一种基于振动电机阵列的嵌入式图像感知装置,属于振动触觉技术领域。
背景技术
人类约60%~80%的信息是靠视觉感知的,其中的60%~70%的信息又是以图像方式获取的。对于盲人,视觉障碍给他们的工作和生活带来极大的不便,严重限制了他们的生活空间。他们只能通过触觉和听觉获取信息;而对于图形图像类的视觉信息,他们一般靠阅读盲文来感知。虽然已经有基于文字识别和语音提示的盲人计算机来帮助盲人识别网页上的文字信息,但他们仍无法有效感知影像图形信息。如何让盲人获得一定程度的视觉信息,是研究者急需攻关的难题。目前,图像的非视觉再现技术研究主要集中在听觉和力/触觉两方面。对于盲人而言,失去了视觉,那么听觉显得更加宝贵,因此利用听觉获取视觉信息有它的不足之处,且易受到外部环境的干扰。
目前通过触觉进行的刺激方式有水射流技术。该装置体积较大,不易携带,结构复杂,使用不便。
还有电刺激技术。该方法电压高达200伏,受试者易存在心里顾虑,且当连续刺激达到10多分钟以后,电刺激电压阈值会有一个明显的上升过程,上升稳定以后的电刺激阈值会上升60-270%。
发明内容
发明目的:
本发明目的正是基于上述原因,解决背景技术中的缺陷,提供一种基于振动电机阵列的嵌入式图像感知装置。它不仅要求体积小巧,准确度高,而且应该安全,舒适。
技术方案:
为了实现上述发明目的,本发明采用的方案为:
一种基于振动电机阵列的嵌入式图像感知装置,包括图像采集模块,图像处理及振动编码模块,触觉表达模块。其中,图像采集模块给图像处理及振动编码模块提供图像,图像处理及振动编码模块处理完图像,得到图像的边缘信息,对并振动方式进行编码,把控制信号发送给触觉表达模块,其中:
上述图像采集模块包括摄像头和USB接口。用于向图像处理模块提供图像。
上述图像处理及振动编码模块包括嵌入式处理器ARM11,SDRAM内存,Flash存储器,扩展IO口。用于对图像进行处理,分析得到振动电机阵列的信息,生成各个点各个时间段的PWM信号,对振动电机进行编码。
上述触觉表达模块包括控制光耦隔离,振动电机阵列。作用于受试者后背部,产生触觉感知信息。
与现有技术相比,本发明具有如下优点:
1、触觉表达采用动态振动编码,受试者判断准确,且有效避免触觉刺激的长时间适应性困难。
2、结构简单,体积小巧,方便携带。
3、电压等级小,用小型振动电机组成阵列式振动,安全,舒适。
4、具有USB接口,可直接读取U盘,移动硬盘中的图片文件,不局限于摄像头,图像来源广泛。
5、功耗低,可长时间使用。
6、振动强度可调节,可表示复杂信息。
附图说明
图1是本发明的系统结构框图。
图2是本发明中图像处理及振动编码模块的系统结构框图。
图3是本发明中图像处理及振动编码模块的软件流程图。
图4是本发明中触觉表达模块的示意图。
图5是本发明中触觉表达模块的振动时序图。
 具体实施方案:
一种基于振动电机阵列的嵌入式图像感知装置,包括图像采集模块1,图像处理及振动编码模块2,触觉表达模块3,其中,图像采集模块1连接图像处理及振动编码模块2的输入端,图像处理及振动编码模块2的输出端和触觉表达模块3的输入端连接。
在本实施例中,所述图像采集模块1包括摄像头和USB接口,可以通过摄像头实时采集图像,也可以通过USB接口连接U盘来打开已有的图片文件,图像采集模块1给图像处理及振动编码模块2提供图像;
所述图像处理及振动编码模块2包括嵌入式ARM11处理器,SDRAM内存,Flash存储器,扩展IO口,应用程序保存在Flash存储器中,当开始后,把程序读出,放入内存中执行,先通过摄像头或U盘采集到图像,经过灰度化,去噪,边缘检测,二值化,得到需要表达的信息,再映射到8×8振动电机阵列上,得到需振动的电机序号,并对振动方式进行编码,调节电机的振动强度,振动时间,图像处理及振动编码模块2把控制信号发送给触觉表达模块3;
所述触觉表达模块3包括光耦隔离,振动电机阵列,ARM11系统和振动电机阵列之间用光耦隔离,并采用两组电源,分别供电,控制信号经过电流放大,驱动振动电机,所选的振动电机直径为10毫米,厚度为4毫米,排布成8×8的阵列,电机水平与垂直之间的间隔均为4厘米,振动电机阵列固定在受试者后背处,和皮肤紧密接触,触觉表达模块3可通过多种振动编码方式表达图像信息;
所述触觉表达模块3的一种振动编码方式为每个电机振动时间为200毫秒,间隔为100毫秒,依次振动。
下面结合附图对技术方案的实施作进一步的详细描述:
如图1所示,本发明包括图像采集模块,图像处理及振动编码模块,触觉表达模块。其中,图像采集模块向由ARM11系统组成的图像处理及振动编码模块提供图像,图像处理及振动编码模块处理图像,得到控制信息,并生成PWM信号控制触觉表达模块。
如图2所示,图像采集模块包括摄像头和USB接口,图像处理及振动编码模块包括嵌入式ARM11处理器S3C6410, SDRAM内存,Flash存储器,触觉表达模块包括控制光耦隔离,振动电机阵列。
如图3所示,图像处理及振动编码模块首先从Flash中启动嵌入式操作系统,加载USB摄像头驱动程序,接着从摄像头或U盘中取得图像,将彩色图像转化成灰度图,灰度化选取公式Gray = 0.30×R+0.59×G+0.11×B(R、G、B是彩色图像的三基色)。再对图像进行去噪,图像去除噪音的方法之一是对图像进行滤波,较常见的有均值滤波、中值滤波、Laplace滤波等,考虑去除噪音的效果和边缘保留的平衡,选取中值滤波。为了获得物体的轮廓,需要再进行边缘检测,本系统选用Sobel算子用于边缘检测。获得边缘检测图像后,对其进行二值化,灰度值小于或等于阈值(取125)的赋值0,而大于阈值的赋值255。这样使图像轮廓更加清晰,便于后处理。然后把图像按8×8分块,判断每一块是否包含黑白两色,若是,则该块图像对应的点为触觉表达点;若否,则不是表达点。再对表达点的表达方式进行编码,然后产生64路占空比不同的PWM信号,控制信号经过电流放大,驱动振动电机阵列,让使用者感受到图像的边缘信息。
如图4所示,触觉表达模块为8×8的振动电机阵列。进行简单图形的表达,一种编码方式为,当表达一个正八边形时,触觉表达采用动态编码,从1号振动电机开始,将表达图像边缘轮廓的电机依次振动,直到16号振动电机,并可调节每个振动电机振动的时间及相邻起振的时间间隔,使受试者获得对图像边缘信息的感知。
如图5所示,触觉表达模块表达图像边缘轮廓的电机依次振动,当前编码方式设置为每个电机振动时间为200毫秒,间隔为100毫秒。

Claims (4)

1. 一种基于振动电机阵列的嵌入式图像感知装置,其特征在于:包括图像采集模块(1),图像处理及振动编码模块(2),触觉表达模块(3),其中,图像采集模块(1)连接图像处理及振动编码模块(2)的输入端,图像处理及振动编码模块(2)的输出端和触觉表达模块(3)的输入端连接,所述图像处理及振动编码模块(2)包括嵌入式ARM11处理器,SDRAM内存,Flash存储器,扩展IO口,应用程序保存在Flash存储器中,当开始后,把程序读出,放入内存中执行,先通过摄像头或U盘采集到图像,经过灰度化,去噪,边缘检测,二值化,得到需要表达的信息,再映射到8×8振动电机阵列上,得到需振动的电机序号,并对振动方式进行编码,调节电机的振动强度,振动时间,图像处理及振动编码模块(2)把控制信号发送给触觉表达模块(3)。
2.根据权利要求1所述的基于振动电机阵列的嵌入式图像感知装置,其特征在于:所述图像采集模块(1)包括实时采集图像的摄像头和可连接U盘来打开已有图片文件的USB接口,图像采集模块(1)给图像处理及振动编码模块(2)提供图像。
3.根据权利要求1所述的基于振动电机阵列的嵌入式图像感知装置,其特征在于:所述触觉表达模块(3)包括光耦隔离,振动电机阵列,ARM11系统和振动电机阵列之间用光耦隔离,并采用两组电源,分别供电,控制信号经过电流放大,驱动振动电机,所选的振动电机直径为10毫米,厚度为4毫米,排布成8×8的阵列,电机水平与垂直之间的间隔均为4厘米,振动电机阵列固定在受试者后背处,和皮肤紧密接触,触觉表达模块(3)可通过多种振动编码方式表达图像信息。
4.根据权利要求1所述的基于振动电机阵列的嵌入式图像感知装置,其特征在于:
所述触觉表达模块(3)的一种振动编码方式为每个电机振动时间为200毫秒,间隔为100毫秒,依次振动。
CN2010105208968A 2010-10-27 2010-10-27 基于振动电机阵列的嵌入式图像感知装置 Expired - Fee Related CN102018594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010105208968A CN102018594B (zh) 2010-10-27 2010-10-27 基于振动电机阵列的嵌入式图像感知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010105208968A CN102018594B (zh) 2010-10-27 2010-10-27 基于振动电机阵列的嵌入式图像感知装置

Publications (2)

Publication Number Publication Date
CN102018594A CN102018594A (zh) 2011-04-20
CN102018594B true CN102018594B (zh) 2012-05-30

Family

ID=43860652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105208968A Expired - Fee Related CN102018594B (zh) 2010-10-27 2010-10-27 基于振动电机阵列的嵌入式图像感知装置

Country Status (1)

Country Link
CN (1) CN102018594B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102217990A (zh) * 2011-04-27 2011-10-19 南京航空航天大学 基于振动触觉的环境信息感知器
CN102331838B (zh) * 2011-11-18 2014-04-16 东南大学 基于深度等高线的图像的振动触觉表达方法
CN103340737B (zh) * 2013-03-25 2014-11-12 东南大学 盲人导航信息感知的振动触觉表达装置
CN105302299A (zh) * 2015-10-08 2016-02-03 侯东风 模拟场景的方法及装置
CN106708042A (zh) * 2016-12-12 2017-05-24 胡华林 基于机器视觉和人体感受器的导盲系统及方法
CN110688910B (zh) * 2019-09-05 2023-05-19 南京信息职业技术学院 一种可穿戴人体基本姿态识别的实现方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0574887A1 (en) * 1992-06-16 1993-12-22 Canon Kabushiki Kaisha Information processing apparatus for physically-handicapped users
CN1200860A (zh) * 1995-10-25 1998-12-02 吉尔伯特·勒内·冈萨雷斯 触觉通信装置和方法
US20020024533A1 (en) * 2000-08-31 2002-02-28 Fujitsu Siemens Computers Gmbh Display device suited for a blind person
CN1404806A (zh) * 2001-09-17 2003-03-26 精工爱普生株式会社 盲人步行用辅助器
CN1744152A (zh) * 2005-09-21 2006-03-08 东南大学 基于射流技术的触觉图文显示装置及显示方法
CN101514902A (zh) * 2008-12-01 2009-08-26 东南大学 一种盲人导航装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024853A (ja) * 2002-05-08 2004-01-29 Yamanashi Tlo:Kk 歩行支援装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0574887A1 (en) * 1992-06-16 1993-12-22 Canon Kabushiki Kaisha Information processing apparatus for physically-handicapped users
CN1200860A (zh) * 1995-10-25 1998-12-02 吉尔伯特·勒内·冈萨雷斯 触觉通信装置和方法
US20020024533A1 (en) * 2000-08-31 2002-02-28 Fujitsu Siemens Computers Gmbh Display device suited for a blind person
CN1404806A (zh) * 2001-09-17 2003-03-26 精工爱普生株式会社 盲人步行用辅助器
CN1744152A (zh) * 2005-09-21 2006-03-08 东南大学 基于射流技术的触觉图文显示装置及显示方法
CN101514902A (zh) * 2008-12-01 2009-08-26 东南大学 一种盲人导航装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2004-24853A 2004.01.29

Also Published As

Publication number Publication date
CN102018594A (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
CN102018594B (zh) 基于振动电机阵列的嵌入式图像感知装置
CN109316170B (zh) 基于深度学习的脑电波辅助睡眠及唤醒系统
CN104720748A (zh) 一种睡眠阶段确定方法和系统
CN103167126A (zh) 一种基于睡眠深浅周期自动唤醒用户的手机闹钟系统及方法
CN103853071B (zh) 基于生物信号的人机面部表情交互系统
CN102331838B (zh) 基于深度等高线的图像的振动触觉表达方法
CN102805900B (zh) 用于产生人工电触觉的电刺激系统
CN206462934U (zh) 一种具有智能感应功能的洁面仪
CN107729882A (zh) 基于图像识别的情绪识别判定方法
CN110688910B (zh) 一种可穿戴人体基本姿态识别的实现方法
CN105771092A (zh) 基于电磁场改善睡眠的系统及方法
EP2691954A1 (en) Method and apparatus for detecting facial changes
CN109847168B (zh) 可穿戴式疲劳检测及干预系统
CN105590506A (zh) 一种用于教练车的监控系统及其工作方法
CN103777636A (zh) 一种基于Wifi通信的意念控制视频车系统
CN105137830A (zh) 一种基于视觉诱发脑机接口的国画机器手及其绘图方法
CN102609094A (zh) 电振双模多维触觉刺激器
CN105496765A (zh) 用于对手部穴位按摩的智能按摩系统及方法
CN115999059A (zh) 一种美容仪的智能控制方法及系统
CN115454238A (zh) 一种基于ssvep-mi融合的人车交互控制方法、装置及汽车
Su et al. Intelligent wheelchair control system based on BCI and the image display of EEG
CN209019068U (zh) 振动臂环及触觉检测系统
CN207908921U (zh) 一种用于检测皮肤的按摩仪的控制电路器件
CN203720781U (zh) 借助触觉感知图像的装置
CN113485146B (zh) 用于家电设备的控制方法及控制装置、家电设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20141027

EXPY Termination of patent right or utility model