CN102217990A - 基于振动触觉的环境信息感知器 - Google Patents

基于振动触觉的环境信息感知器 Download PDF

Info

Publication number
CN102217990A
CN102217990A CN2011101063409A CN201110106340A CN102217990A CN 102217990 A CN102217990 A CN 102217990A CN 2011101063409 A CN2011101063409 A CN 2011101063409A CN 201110106340 A CN201110106340 A CN 201110106340A CN 102217990 A CN102217990 A CN 102217990A
Authority
CN
China
Prior art keywords
module
central processing
processing module
information
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011101063409A
Other languages
English (en)
Inventor
陆熊
徐晨曦
赵浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN2011101063409A priority Critical patent/CN102217990A/zh
Publication of CN102217990A publication Critical patent/CN102217990A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于振动触觉的环境信息感知器，属于盲人导航人机交互领域。该感知器的结构包括图像采集模块、运动传感器、振动模块、中央处理模块和电源，图像采集模块采用CMOS双目摄像头，图像采集模块和运动传感器分别给中央处理模块提供环境图像信息和运动信息，中央处理模块将两种信息进行处理合成，得到驱动信号控制振动模块进行振动，给使用者以触觉提示。本发明基于力触觉再现技术实时地检测和表达环境信息，以振动触觉进行提示反馈，为盲人或弱视力者在较小的设备上进行环境感知提供了有效的解决方案。

Description

基于振动触觉的环境信息感知器
技术领域
本发明涉及一种力触觉人机交互装置，尤其涉及一种基于振动触觉的盲人导航人机交互装置及其交互方法，属于盲人导航人机交互领域。
背景技术
虚拟现实技术是现在国内外的研究热点，触觉再现则是其中的重要组成部分，随着研究的深入，触觉再现将更多地进行实用性的研究。
物体的一个非常重要的触觉特征是它具有表面纹理信息，人们可以通过触摸物体获得这种感觉。在虚拟现实或遥操作领域，将虚拟或远地的物体纹理信息再现并作用于操作者手部，不仅可以增强系统的临场感，而且可以帮助操作者识别不同特性的虚拟物体。虚拟纹理再现技术近几年已成为虚拟现实和遥操作领域研究的前沿技术。
触觉是人的皮肤与外界刺激物接触所引起的一种皮肤感觉，包括对皮肤的压觉和振动觉，是盲人感知外界事物和补偿视觉缺陷的主要途径之一。触觉在盲人定向行走以及认识外界事物、阅读盲文中起着重要作用。盲人使用触觉不能感知到事物的颜色、亮度和触觉范围之外的事物，但他们的触觉可以感知到事物的温度、硬度、质地等。
目前，还未出现基于虚拟现实技术的盲人辅助装置，基于超声波或雷达式的导盲装置并未能取得良好的应用效果，盲人的行动范围在没有他人辅助的情况下仍然比较局限。
发明内容
本发明针对盲人或弱视力者独立出行的问题，而提出一种融合虚拟现实技术的基于振动触觉的环境信息感知器。
该感知器的结构包括图像采集模块、运动传感器、振动模块、中央处理模块和电源，其中：图像采集模块和运动传感器的输出均连接中央处理模块，中央处理模块的输出连接振动模块，电源分别给中央处理模块、运动传感器和振动模块供电。
优选地，图像采集模块采用两个CMOS图像传感器组成双目摄像头。
优选地，中央处理模块采用嵌入式DSP+ARM处理器。
优选地，振动模块采用三个振动致动器组成。
优选地，电源采用锂电池供电。
本发明具有如下技术效果：
1、实时性好。基于对摄像头读入速度的控制，障碍物参数得以实时更新，可以很好地控制振动器的振动参数，从而具有较好的实时性。
2、表达准确。以不同的振动触觉表达不同的环境信息，给使用者真实直观的感受，更好的起到一种代替眼睛的作用。
3、操作简便。全自动设置，使用时只需握住感知装置即可，无需其他复杂操作。
4、便携性好。体积小，重量轻，便于携带。
附图说明
图1为本发明的结构框图，图中标号1、2为双目摄像头。
图2为本发明的工作流程图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明的结构如图1所示，包括图像采集模块、运动传感器、振动模块、中央处理模块和电源，图像采集模块和运动传感器的输出均连接中央处理模块，中央处理模块的输出连接振动模块，电源分别给中央处理模块、运动传感器和振动模块供电。
图像采集模块是由两个CMOS图像传感器组成的双目摄像头，中央处理模块采用嵌入式DSP+ARM处理器。
下面提供一个实施例：
在实际应用中，本发明设置于一个尺寸为113*55*22mm的塑料外壳中。CMOS双目摄像头设置于外壳前端，用于获取使用者所指向场景的初步图像；运动传感器采用Xsens公司的MTx-28A53G253DOF定位装置，用于获取使用者的手臂动作；振动模块是由三个振动致动器组成，三个振动致动器分别提示外界环境(路况)的凸起障碍、凹陷障碍和行动障碍，每个振动器的振动频率和幅值会根据使用者与障碍物的距离而变化，距离越近则振动越强烈；电源采用锂电池设置于外壳尾部；中央处理器采用TI公司的TMS320C6A8168DSP+ARM处理器。
摄像头的拍摄有角度或焦距限制，以减少较远处不必要的拍摄，摄像头同时具有测距功能。本发明的工作流程如图2所示，双目摄像头获取前方环境画面，中央处理器将每一帧的画面图像进行信息编码和特征提取，检测出拍摄环境中的障碍位置，并区分不同障碍的前后位置。在处理图像信息的同时，中央处理器也处理运动传感器获得的运动信息，将处理后的图像信息和运动信息进行合成，推算出最近的障碍与使用者的距离信息，以此产生不同的信号脉冲来控制相应的振动致动器进行触觉振动。例如，1号振动器振动，表示前方路况有凸起障碍，应注意躲避。
本发明采用基于双目视觉的三维重构技术进行障碍物特征提取，步骤如下：
1)双目摄像头获取一组前方环境画面；
2)对画面进行标定、校正、滤波、去噪；
3)对预处理后的画面进行阈值分割操作，提取障碍物所在区域；
4)对同一组(两帧)图像进行分析处理，提取障碍物的大小和远近信息，区分不同障碍的前后位置。

Claims (5)

1.一种基于振动触觉的环境信息感知器，包括中央处理模块和电源，其特征在于：
还包括图像采集模块、运动传感器和振动模块，其中：图像采集模块和运动传感器的输出均连接中央处理模块，中央处理模块的输出连接振动模块，电源分别给中央处理模块、运动传感器和振动模块供电。
2.根据权利要求1所述的基于振动触觉的环境信息感知器，其特征在于：所述图像采集模块是由两个CMOS图像传感器组成的双目摄像头。
3.根据权利要求1所述的基于振动触觉的环境信息感知器，其特征在于：所述中央处理模块采用嵌入式DSP+ARM处理器。
4.根据权利要求1所述的基于振动触觉的环境信息感知器，其特征在于：所述振动模块是由三个振动致动器组成。
5.根据权利要求1所述的基于振动触觉的环境信息感知器，其特征在于：所述电源采用便携式电池供电。
CN2011101063409A 2011-04-27 2011-04-27 基于振动触觉的环境信息感知器 Pending CN102217990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011101063409A CN102217990A (zh) 2011-04-27 2011-04-27 基于振动触觉的环境信息感知器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011101063409A CN102217990A (zh) 2011-04-27 2011-04-27 基于振动触觉的环境信息感知器

Publications (1)

Publication Number Publication Date
CN102217990A true CN102217990A (zh) 2011-10-19

Family

ID=44774882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011101063409A Pending CN102217990A (zh) 2011-04-27 2011-04-27 基于振动触觉的环境信息感知器

Country Status (1)

Country Link
CN (1) CN102217990A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609724A (zh) * 2012-02-16 2012-07-25 北京航空航天大学 一种基于双摄像头的周围环境信息提示方法
CN103744509A (zh) * 2014-01-02 2014-04-23 北京航空航天大学 穿戴式力觉交互设备及系统
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互系统
CN105267013A (zh) * 2015-09-16 2016-01-27 电子科技大学 一种头戴式智能视障辅助系统
CN105445743A (zh) * 2015-12-23 2016-03-30 南京创维信息技术研究院有限公司 一种超声导盲系统及其实现方法
CN109457654A (zh) * 2018-12-21 2019-03-12 吉林大学 一种基于行人检测的洒水车防误喷系统
CN110559127A (zh) * 2019-08-27 2019-12-13 上海交通大学 基于听觉与触觉引导的智能助盲系统及方法
CN110688910A (zh) * 2019-09-05 2020-01-14 南京信息职业技术学院 一种可穿戴人体基本姿态识别的实现方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404806A (zh) * 2001-09-17 2003-03-26 精工爱普生株式会社 盲人步行用辅助器
WO2005108926A1 (ja) * 2004-05-12 2005-11-17 Takashi Yoshimine 情報処理装置、携帯機器及び情報処理方法
CN101797197A (zh) * 2009-11-23 2010-08-11 常州达奇信息科技有限公司 便携式盲人自主导航系统
CN102018594A (zh) * 2010-10-27 2011-04-20 东南大学 基于振动电机阵列的嵌入式图像感知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1404806A (zh) * 2001-09-17 2003-03-26 精工爱普生株式会社 盲人步行用辅助器
WO2005108926A1 (ja) * 2004-05-12 2005-11-17 Takashi Yoshimine 情報処理装置、携帯機器及び情報処理方法
CN101797197A (zh) * 2009-11-23 2010-08-11 常州达奇信息科技有限公司 便携式盲人自主导航系统
CN102018594A (zh) * 2010-10-27 2011-04-20 东南大学 基于振动电机阵列的嵌入式图像感知装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609724A (zh) * 2012-02-16 2012-07-25 北京航空航天大学 一种基于双摄像头的周围环境信息提示方法
CN103744509A (zh) * 2014-01-02 2014-04-23 北京航空航天大学 穿戴式力觉交互设备及系统
CN103744509B (zh) * 2014-01-02 2017-04-19 北京航空航天大学 穿戴式力觉交互设备及系统
CN104932691A (zh) * 2015-06-19 2015-09-23 中国航天员科研训练中心 带有触觉感知反馈的手势实时交互系统
CN105267013A (zh) * 2015-09-16 2016-01-27 电子科技大学 一种头戴式智能视障辅助系统
CN105445743A (zh) * 2015-12-23 2016-03-30 南京创维信息技术研究院有限公司 一种超声导盲系统及其实现方法
CN105445743B (zh) * 2015-12-23 2018-08-14 南京创维信息技术研究院有限公司 一种超声导盲系统及其实现方法
CN109457654A (zh) * 2018-12-21 2019-03-12 吉林大学 一种基于行人检测的洒水车防误喷系统
CN110559127A (zh) * 2019-08-27 2019-12-13 上海交通大学 基于听觉与触觉引导的智能助盲系统及方法
CN110688910A (zh) * 2019-09-05 2020-01-14 南京信息职业技术学院 一种可穿戴人体基本姿态识别的实现方法
CN110688910B (zh) * 2019-09-05 2023-05-19 南京信息职业技术学院 一种可穿戴人体基本姿态识别的实现方法

Similar Documents

Publication Publication Date Title
CN102217990A (zh) 基于振动触觉的环境信息感知器
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
US11409357B2 (en) Natural human-computer interaction system based on multi-sensing data fusion
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
CN102789313B (zh) 一种用户交互系统和方法
CN105573500B (zh) 眼动控制的智能ar眼镜设备
CN1304931C (zh) 一种头戴式立体视觉手势识别装置
US11169601B2 (en) Methods and systems for determining teleoperating user intent via eye tracking
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
CN102831380A (zh) 一种基于深度图像感应的肢体动作识别方法及系统
CN103977539B (zh) 颈椎康复保健辅助训练系统
CN103970264B (zh) 手势辨识与控制方法及其装置
WO2010087920A3 (en) Generating a three-dimensional model using a portable electronic device recording
CN104463119A (zh) 基于超声与视觉的复合式手势识别设备及其控制方法
TWI530858B (zh) 一種立體交互系統和立體交互方法
JP6150429B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
EP3486747A1 (en) Gesture input method for wearable device, and wearable device
CN110505549A (zh) 耳机的控制方法和装置
CN103177245A (zh) 手势识别方法及装置
CN108062102A (zh) 一种手势控制具有辅助避障功能的移动机器人遥操作系统
CN113056315B (zh) 信息处理装置、信息处理方法和程序
CN103576161B (zh) 指向装置和成像装置
WO2022194029A1 (zh) 一种机器人的反馈方法及机器人
CN105759552B (zh) 一种图像显示方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111019