CN102208138A - 基于纹理触觉再现的学习和认知系统 - Google Patents

Abstract

本发明公开了一种基于纹理触觉再现的学习和认知系统。该系统包括触觉再现模块、驱动模块、手指位置检测模块以及主控模块；触觉再现模块包括一块透明触觉面板以及可使该触觉面板产生不同幅值振动的振动装置；驱动模块分别与主控模块及所述振动装置连接，根据主控模块的指令驱动振动装置产生振动；手指位置检测模块用于检测手指在触摸所述触觉面板时的位置信息，并将位置信息传输给主控模块；主控模块对外部输入的图像进行纹理特征提取，并根据提取的图像特征及手指位置检测模块检测到的位置信息进行解算，产生相应的控制指令控制驱动模块驱动振动装置产生振动。本发明触觉感受丰富、稳定，适于盲人及学龄前儿童对文字图像信息进行学习和认知。

Description

基于纹理触觉再现的学习和认知系统

技术领域

本发明涉及一种学习和认知系统，尤其涉及一种基于纹理触觉再现的学习和认知系统，用于视力障碍人群及学龄前儿童对文字图像信息进行学习和认知。

背景技术

作为新兴的人机交互技术，触觉再现受到人们越来越多的重视。触觉再现技术借助于触觉再现设备和计算机仿真环境使得操作者可以触摸、感知和操纵虚拟物体。现有的触觉再现方法主要有：基于力觉再现的触觉再现、基于阵列装置的触觉再现、基于摩擦力控制的触觉再现。

力觉再现设备主要是设计用于实现人机交互过程中的作用力反馈。操作者使用力觉再现设备与虚拟物体交互作用时，力觉再现设备可以阻止操作者的运动以避免穿刺交互。因而，有研究者们使用力觉再现设备来再现虚拟物体的形状、纹理等表面特性。这种方法的优势在于无需另外设计用于触觉再现的装置就可以在力觉再现的基础上增加触觉再现。但缺点也不少：现有的力觉再现设备笨重昂贵、所提供的操作范围有限，且触觉再现性能受到很多因素的影响。

早期的触觉再现设备大多采用阵列的方法，它们的设计灵感来源于点针式打印机和盲文系统，即用二维阵列装置来刺激操作者皮肤，以形成反映物体表面触觉特性的空间作用力分布。然而，阵列式的结构由于制造工艺和阵列的规模限制，除了难以实现小型化和便携化外，也难以获得较为精细点的虚拟触觉再现。加拿大McGill大学的Haywardy等通过压电陶瓷驱动的、可侧向移动的探针阵列使操作者手指皮肤产生形变来获得触觉再现。他们的“LATERO”装置阵列规模为6×10，具有较高的空间分布率（1.8×1.2mm）。

研究表明，人类在进行触觉感知的时候，手指感受到的空间分布的侧向作用力，对于提高纹理识别具有重要的作用。因此，基于摩擦力控制的触觉再现方法成为触觉再现装置的一个研究热点。基于摩擦力控制的触觉再现方法，虽然是通过交互界面上侧向作用力场的变化来表达触觉信息，但该方法却是最有潜力的方法，可以适用于表现更为精细的虚拟触觉再现。

现实生活中，盲人主要是通过触觉听觉来感知周围世界，现有的可供盲人阅读的书籍有盲人书籍和有声读物。盲人书籍是用专门的盲文编写的，成本高、体积大、种类少、对于图像等更丰富的信息表达能力差，且盲人对它们的需求量较小。盲人在使用有声读物时需要外人的辅助，因为读物是有声的，因而在使用过程中它不能很好的保护盲人用户的隐私，且对于图像的表达效果同样不尽如人意。儿童在早期教育过程中使用的阅读工具一般也未能实现很好的人机交互，他们只能对一些事先输入工具的固定文字图片进行学习和认知，且对于很多图片信息不能产生直观的认识。借助于触觉再现系统，对于盲人而言，它能够提供听觉系统无法实现的功能：通过触觉再现体现物体的表面纹理特征，可以让他们获得宝贵的感性体验。对于正常人（如学龄儿童）而言，在计算机生成的虚拟环境中，通过生成虚拟触觉信息，可以让他们获得通常无法接触或不便于接触的物体的触觉表面特性。如果结合传统视觉，他们可以获得更加丰富的人机交互体验。

发明内容

本发明所要解决的技术问题在于克服现有触觉再现设备的不足，提供一种基于纹理触觉再现的学习和认知系统，用于视力障碍人群及学龄前儿童对文字图像信息进行学习和认知。

本发明的基于纹理触觉再现的学习和认知系统，该系统包括触觉再现模块、驱动模块、手指位置检测模块以及主控模块；所述触觉再现模块包括一块透明触觉面板以及可使该触觉面板产生不同幅值振动的振动装置；所述驱动模块分别与主控模块及所述振动装置连接，根据主控模块的指令驱动振动装置产生振动；所述手指位置检测模块用于检测手指在触摸所述触觉面板时的位置信息，并将位置信息传输给主控模块；主控模块对外部输入的图像进行纹理特征提取，并根据提取的图像特征及手指位置检测模块检测到的位置信息进行解算，产生相应的控制指令控制所述驱动模块驱动振动装置产生振动。

作为一种改进方案，所述触觉再现模块还包括设置于所述触觉面板下方的显示装置，外部输入的文字图像可以同步在该显示装置上显示，更适合于学龄前儿童的学习和认知。

作为另一改进方案，该系统还包括与所述主控模块连接的图像采集装置，该图像采集装置可以是现有的摄像机、数码相机、摄像头等，从而可直接从外部获取图像信息。

作为一优选方案，所述振动装置为压电材料振动片；进一步地，所述压电材料振动片有四片，分别设置于所述触觉面板的四角。

作为另一优选方案，所述手指位置检测模块包括与所述主控模块连接的光学传感阵列，以及光源；所述光学传感阵列为两列光电二极管，分别设置于所述触觉面板两对边外侧。

一种基于纹理触觉再现的学习和认知方法，该方法利用基于纹理触觉再现的学习和认知系统实现，该系统包括触觉再现模块、驱动模块、手指位置检测模块以及主控模块；所述触觉再现模块包括一块透明触觉面板以及可使该触觉面板产生不同幅值振动的振动装置；所述驱动模块分别与主控模块及所述振动装置连接，根据主控模块的指令驱动振动装置产生振动；所述手指位置检测模块用于检测手指在触摸所述触觉面板时的位置信息，并将位置信息传输给主控模块；主控模块对外部输入的图像进行纹理特征提取，并根据提取的图像特征及手指位置检测模块检测到的位置信息进行解算，产生相应的控制指令控制所述驱动模块驱动振动装置产生振动；该方法具体包括以下步骤：

步骤1、主控模块根据提取的图像纹理特征及手指位置检测模块检测到的位置信息进行解算，输出控制指令给驱动模块；

步骤2、驱动模块按照主控模块提供的控制指令驱动所述振动装置振动；

步骤3、振动装置激励触觉面板作超声振动；

步骤4、当手指位置在触觉面板上发生改变时，重复以上步骤。相比现有技术，本发明具有以下优点：

（1）对于初学儿童来说，由于触觉面板是透明的，因而可以直接在其下方安装上液晶显示屏用来显示当前所采集到的文字图片特征信息，这样就与视觉再现很好的相融合了。

（2）由于触觉面板是大面积的，因而可以给用户手指提供更大的接触面，从而使获得的触觉感受更加丰富。

（3）触觉面板四个角落都安装了压电材料振动片，从而实现了触觉面板各点的摩擦力系数都能调节、且能达到一致的可控性。

附图说明

图1为本发明的系统结构框图；

图2为具体实施方式中触觉再现模块的结构示意图，其中（a）为主视图，（b）为俯视图；图中，1为透明触觉面板，2为压电陶瓷振动片，3为液晶显示器；

图3为具体实施方式中手指位置检测模块的原理示意图；

图4为具体实施方式中主控模块的控制流程图；

图5为具体实施方式中本发明的工作原理示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的基于纹理触觉再现的学习和认知系统，其结构如图1所示，包括图像采集装置、主控模块、驱动模块、触觉再现模块，以及手指位置检测模块。

本具体实施方式中触觉再现模块，如图2所示，包括透明触觉面板1、压电陶瓷振动片2、液晶显示屏3。其中，压电陶瓷振动片2共有4片，分别安装在透明触觉面板1的四角，可实现整个触觉面板表面摩擦力系数的一致性。液晶显示屏3设置于触觉面板1的下方，用来同步显示关于当前所采集到的文字图像，它可以与主控模块连接，通过主控模块获取图像采集装置采集到的实时图像并显示；也可通过分别与主控模块及液晶显示屏3连接的外部的计算机，获取存储在该计算机中的文字图像信息。

本具体实施方式中手指位置检测采用光学检测法来实现。手指位置检测模块包括光学传感阵列（LSA）和红外LED灯。其中LSA由两列共768个光电二极管组成，LED红外光用来给LSA提供光源。手指位置检测模块实现原理的示意图如图3所示：建立如图平面直角坐标系，位于X、Y轴负方向的是若干红外LED灯组成的线光源（保证能够照射到触觉面板上的所有区域），光学传感阵列则位于X、Y两轴的正方向上（光学传感阵列的长度要略大于触觉面板的边长且和光源长度相同），线光源和光学传感阵列分别位于触觉面板的对边外侧。当光电二极管受到光照时，会形成电流，LSA中的积分电路会输出正比于单个光电二极管上的光照强度的电压信号，且以500HZ左右的频率进行刷新。因此当手指置于面板上时，会在线性阵列的各轴上形成“阴影”区域，从而可以将输出的电压值输送给主控模块进行处理，转换成手指位置的坐标值。

本具体实施方式中，驱动模块包括信号发生器、乘法器以及放大器；主控模块根据提取的图像特征及手指位置检测模块检测到的位置信息进行解算，输出模拟增益电压值；信号发生器（如：AD9833）提供的高频正弦信号与主控模块输出的模拟增益电压在乘法器（如：AD633）中进行乘法合成，并通过放大器（如：AD8221）放大至幅值为0-60V的电压信号，此信号即为压电陶瓷振动片的电压驱动信号。

本具体实施方式中，主控模块采用MCU（微控制器），其中存储有用于对图像进行特征提取，以及根据图像特征及手指位置解算模拟增益电压值的软件。其中图像特征提取可采用现有的各种图像特征提取方法，例如统计分析方法、几何特征方法、信号处理方法、关键点方法等，由于其均为现有技术，此处不再赘述。本具体实施方式中，如图4所示，主控模块按照以下方法进行模拟增益电压值的解算：

步骤1、手指位置检测模块将输出的电压值输送给主控模块进行处理，转换成手指位置坐标值信息；

步骤2、主控模块依据手指位置信息，通过摩擦力系数公式μ=f（x、y）求出对应手指位置的摩擦力系数（通过变摩擦实验装置对手指与触觉面板之间的摩擦力、压力的测量以及对相应手指位置的记录，再依据摩擦力公式F_摩擦力=μ*N_压力即可求出对应触觉面板上不同点处的摩擦力系数）；

步骤3、主控模块进一步通过公式V_G=f（μ）获取模拟电压增益；

步骤4、当手指位置在触觉面板上发生改变时，重复以上步骤。

本发明的工作原理如图5所示：首先图像采集装置对文字、图像进行采集，接着主控模块对所采集到的文字、图像进行数字图像处理；此时液晶显示屏就可以实时显示当前所采集到的文字、图像，由于实现了触觉面板的透明性，所以用户手指在触觉面板上的移动是与LCD上所显示的文字图片特征信息相对应着的。当用户手指触摸触觉面板时，手指位置检测模块将检测到的手指位置信息传输给主控模块，主控模块根据图像特征及手指位置解算模拟增益电压值，并通过驱动模块对压电振动片施加交流激励信号促使触觉面板形成超声振动。超声振动能在用户手指和面板之间形成空气压膜效应，获得摩擦力系数减小，从而改变交互过程中用户手指感受到的侧向作用力。当施加给压电陶瓷振动片的激励信号强度变化时，面板的超声振动幅度也会发生变化，从而获得摩擦力系数的可调节控制。随着用户手指在触觉面板上的移动，通过检测用户手指在触觉面板上的位置信息和可以变化的侧向作用力场，用户最终获得对当前所采集到的文字图片的触觉感知。

Claims (7)

1.一种基于纹理触觉再现的学习和认知系统，其特征在于，该系统包括触觉再现模块、驱动模块、手指位置检测模块以及主控模块；所述触觉再现模块包括一块透明触觉面板以及可使该触觉面板产生不同幅值振动的振动装置；所述驱动模块分别与主控模块及所述振动装置连接，根据主控模块的指令驱动振动装置产生振动；所述手指位置检测模块用于检测手指在触摸所述触觉面板时的位置信息，并将位置信息传输给主控模块；主控模块对外部输入的图像进行纹理特征提取，并根据提取的图像特征及手指位置检测模块检测到的位置信息进行解算，产生相应的控制指令控制所述驱动模块驱动振动装置产生振动。

2.如权利要求1所述基于纹理触觉再现的学习和认知系统，其特征在于，所述触觉再现模块还包括设置于所述触觉面板下方的显示装置。

3.如权利要求1所述基于纹理触觉再现的学习和认知系统，其特征在于，所述振动装置为压电材料振动片。

4.如权利要求3所述基于纹理触觉再现的学习和认知系统，其特征在于，所述压电材料振动片有四片，分别设置于所述触觉面板的四角。

5.如权利要求1所述基于纹理触觉再现的学习和认知系统，其特征在于，所述手指位置检测模块包括与所述主控模块连接的光学传感阵列，以及光源；所述光学传感阵列为两列光电二极管，分别设置于所述触觉面板两对边外侧。

6.如权利要求1所述基于纹理触觉再现的学习和认知系统，其特征在于，该系统还包括与所述主控模块连接的图像采集装置。

7.一种基于纹理触觉再现的学习和认知方法，其特征在于，该方法利用权利要求1所述系统实现，具体包括以下步骤：

步骤1、主控模块根据提取的图像纹理特征及手指位置检测模块检测到的位置信息进行解算，输出控制指令给驱动模块；

步骤2、驱动模块按照主控模块提供的控制指令驱动所述振动装置振动；

步骤3、振动装置激励触觉面板作超声振动；

步骤4、当手指位置在触觉面板上发生改变时，重复以上步骤。

Images