CN114967913A - 一种面向盲人的数字博物馆触听交互系统 - Google Patents

Abstract

本发明公开了一种面向盲人的数字博物馆触听交互系统，包括语音交互系统、动作交互系统、触觉交互系统；语音交互系统是集成背景音乐、音效、语音的多维交互内容，将视觉信息转化为听觉信息；动作交互系统包括姿势特征数据的采集及预处理模块，动态姿势识别学习模型建立模块，以及基于动态姿势识别模型的交互应用模块；触觉交互系统基于柔性驻极体制动器的触摸板进行触觉交互。本发明通过语音交互系统、动作交互系统、触觉交互系统的融合，将数字博物馆的视觉信息转化为语义明确，且盲人易于理解的触听信息，帮助盲人构建“心理图像”，更好地满足盲人群体的文化需求，服务盲人群体。

Description

一种面向盲人的数字博物馆触听交互系统

技术领域

本发明涉及人机交互、信息传播科学领域，尤其是涉及一种面向盲人的数字博物馆触听交互系统。

背景技术

博物馆为公众提供知识、教育，收集、保存最能有效地说明自然现象及人类生活的资料，增进人们的知识和启蒙教育，发挥着重要的社会作用。

二十世纪初叶迄今，现代博物馆管理的方法与观念日趋进步，由静态进入动态，视听设备及新科技皆被应用到新的陈列设计与管理上，现如今数字化博物馆成为人们获取文化知识的新型方式，疫情的席卷更是加快了博物馆的数字化进程。随着人们生活水平的提高，盲人对文化精神的追求也逐步提高，而博物馆作为公共文化服务的典型代表，应对盲人和视障群体加以关注，采取措施服务盲人和视障群体，满足其文化需求。但由于目前数字化博物馆多以“视觉为主，触听为辅”的形式呈现，对于缺乏视觉感知的盲人和视障群体来说，是一个巨大的障碍。

通过对国内外盲人数字博物馆进行调研，可以发现，现如今的盲人数字博物馆主要表现形式利用了人的触觉和听觉感官，但是仍存在着一些不足，目前盲人数字博物馆的交互系统缺少了科学的结构框架，在触听信息的呈现上浮于表面，缺乏深层次的信息，难以很好地将视觉信息进行转化，不利于用户形成心理图像。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于克服现有的盲人数字化博物馆难以很好地将视觉信息进行转化，难以让盲人构建“心理图像”，从而不能满足盲人和视障群体文化需求的缺点，提供一种面向盲人的数字博物馆触听交互系统。

为实现上述目的，本发明采用以下技术方案：

一种面向盲人的数字博物馆触听交互系统，包括语音交互系统、动作交互系统、触觉交互系统；所述语音交互系统是集成背景音乐、音效、语音的多维交互内容，将视觉信息转化为听觉信息；所述动作交互系统包括姿势特征数据的采集及预处理模块，动态姿势识别学习模型建立模块，以及基于动态姿势识别模型的交互应用模块；所述触觉交互系统基于柔性驻极体制动器的触摸板进行触觉交互。

在一些实施例中，所述语音交互系统利用听觉信息的如下维度：采用较为舒缓、平静的背景音乐来并提高盲人用户的专注度；利用音效来帮助画面氛围的渲染，增强盲人沉浸感；再辅以语音引导与对话交互，让盲人自主选择体验环节，推进体验流程。

在一些实施例中，所述动作交互系统基于Kinect传感器设计。

在一些实施例中，所述触觉交互系统包括如下触觉层级：第一层级，轮廓形状特征；第二层级，纹理特征；第三层级，空间特征。

在一些实施例中，在第一层级中，触摸板显示图案的整体轮廓，用语音引导盲人对图形的轮廓进行探索，让盲人形成对图案的抽象印象。

在一些实施例中，在第二层级中，在图案的整体轮廓的基础上，触摸板展现具体的图案细节，用语音引导盲人对图案细节进行探索，从而让盲人形成对图案的具象印象。

在一些实施例中，在第三层级中，在图案细节的基础之上，触摸板通过对某个部位的震动加强，引导盲人对图案的具体部位进行探索，结合语音对图案每个部分进行介绍，让盲人对图案形成空间位置感知，最终形成心理图像。

在一些实施例中，面向盲人的数字博物馆触听交互系统包括信息数据层、信息处理层、智能交互层、交互设备层；所述信息数据层提供信息数据的输入；信息处理层用于将信息数据进行处理。

在一些实施例中，所述信息数据分为两个部分，一部分由外部环境的输入来提供，包括现有的博物馆文化历史资料；另一部分是交互设备反馈回的实时数据信息，包括实时动作、实时语音。

在一些实施例中，所述信息处理层对信息数据具有两种处理方式，其中一种是将数据转换为触觉信息，另一种则是将数据转化为听觉信息。

在一些实施例中，将数据转换为触觉信息包括：首先采用轮廓追踪的方式的感受物体的轮廓形状特征；其次采用纹理追踪的方式的感受物体的纹理特征；最后采用静触的方式感受物体的空间特征；在通过系统的语音引导盲人依次触摸触摸板中显示内容的轮廓、纹路、并识别触摸板中显示内容的空间位置的同时，触摸板通过控制阵列点的震动，分别显示物体的轮廓、纹路，并加强特定部位的震动幅度，让盲人识别物体的空间位置关系。

在一些实施例中，将数据转化为听觉信息包括：采用较为舒缓、平静的背景音乐提高盲人用户的专注度；根据音效来帮助画面氛围的渲染，使用户更容易融入到情景体验之中，增强盲人沉浸感；再辅以语音引导与交互，将画面视觉内容转化为听觉信息，并能让盲人自主选择体验环节。

本发明具有如下有益效果：

本发明提出一种盲人数字博物馆的触听交互系统，通过语音交互系统、动作交互系统、触觉交互系统的融合，将数字博物馆的视觉信息转化为语义明确，且盲人易于理解的触听信息，帮助盲人构建“心理图像”，更好地满足盲人群体的文化需求，服务盲人群体。本发明的触觉交互系统用触摸板数字技术促进触觉信息的深层次表达，通过对柔性驻极体制动器的触摸板中阵列点的控制，可以实现触摸板中显示的图形的变化，并且可以通过编程更换文物，提高效率，在这一点上触摸板优于现有的盲人博物馆使用的3D打印板，3D打印无法做到图案变幻；听觉信息不局限于文字的语音描述，而是打造语音、音乐、音效、剧情的“听觉剧场”，通过语音交互系统实现听觉信息多维化。触听感官的深度结合，提升盲人数字博物馆体验沉浸感；动作交互系统实现了盲人的无障碍交互，推进剧情体验，有利于提高盲人的自我效能感。

附图说明

图1是本发明实施例中的面向盲人的数字博物馆触听交互系统结构示意图；

图2是本发明实施例中的面向盲人的数字博物馆触听交互系统架构层级示意图；

图3是本发明实施例中的触觉信息转换方式示意图；

图4是本发明实施例中的听觉信息转换方式示意图；

图5a是本发明实施例中的动作交互方式示意图；

图5b是本发明实施例中的触觉交互方式示意图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

通过对国内外盲人数字博物馆进行调研，可以发现，现如今的盲人数字博物馆主要表现形式利用了人的触觉和听觉感官，但是存在着一些不足：1.听觉设计上，信息呈现稍显弱势，更多的是停留在语音引导层面，并没有利用音乐、音效结合画面讲解打造深层次信息，难以让用户形成心理图像。2.在触觉设计上，触觉的空间特征信息呈现不足，并且缺乏触觉信息的层次性设计。3.基于3D打印技术重现文物，虽可以让用户感知物体的轮廓形状特征、纹理特征、空间特征，但针对不同的文物需要重新设计打印，需要进行繁琐的重复工作，不具备延展性。

如图1所示，本发明实施例公开了一种盲人数字博物馆交互系统，基于语音交互系统、动作交互系统、触觉交互系统，该系统可以将视觉信息转化为盲人易于理解、语义明确的触听信息，帮助盲人构建“心理图像”。它可对盲人用户的声音、动作数据进行采集，通过游戏引擎进行数据处理与反馈，达到与盲人进行自然交互的效果，本实施例中使用Unity引擎，Unity引擎自由度比较高，在跨平台开发方面最优，几乎支持所有主流平台，可以充分发挥开发者的想法和思路去做创意类型的游戏。

语音交互系统集成背景音乐、音效、语音的多维交互内容，将视觉信息转化为听觉信息。根据调研，现如今大多数为盲人游客设计的音频指南仅提供文字内容的描述，盲人依靠这些内容不足以得到“心理图像”。因此该系统利用听觉信息的多个维度：采用较为舒缓、平静的背景音乐来并提高盲人用户的专注度；利用音效来帮助画面氛围的渲染，增强盲人沉浸感；再辅以语音引导与对话交互，能让盲人自主选择体验环节，推进体验流程。结合背景音乐、音效、语音的三个维度，可以更好地将画面视觉内容转化为听觉信息，帮助盲人建立“心理图像”。动作交互系统基于动作捕捉设备设计，包括姿势特征数据的采集及预处理，动态姿势识别学习模型建立，以及基于动态姿势识别模型的交互应用；本发明实施例中动作交互系统基于Kinect传感器设计，Kinect可以准确地重建各种复杂手部姿势并自带丰富的可以被识别的动作，可视化手势生成器使得开发人员能够自定义手势。在动作交互系统中，用户可以通过特定的动作来选择体验的环节来实现盲人的无障碍交互，推进剧情体验，有利于提高盲人的自我效能感。

通过柔性驻极体制动器的触摸板进行触觉交互，根据国内外调研，大多数盲人博物馆的展品往往被“束之高阁”，盲人无法触碰，并且缺乏触觉信息的层次性设计。为了给盲人用户提供更深层次的触觉信息，提出基于触摸板的触觉交互系统，对触觉层级进行设计：第一层级为轮廓形状特征；第二层级为纹理特征；第三层级为空间特征。在第一层级，首先触摸板显示图案的整体轮廓，用语音引导盲人对图形的轮廓进行探索，让盲人形成对图案的抽象印象；在第二层级，在图案轮廓的基础上，触摸板展现具体的图案细节，用语音引导盲人对图案细节进行探索，从而让盲人形成对图案的具象印象；第三层级，在图案细节的基础之上，触摸板通过对某个部位的震动加强，引导盲人对图案的具体部位进行探索，结合语音对图案每个部分进行介绍，让盲人对图案形成空间位置感知，最终形成心理图像。这样的层次性设计，可以让盲人在进行听觉剧场的体验同时，还能通过触摸板进行多维度触摸，打破传统盲人博物馆的局限。

本发明的整体系统架构如图2示，本发明的实施例系统架构分为四个部分：信息数据层、信息处理层、智能交互层、交互设备层。

信息数据层主要功能为输入信息数据。信息数据层是架构中信息处理层、智能交互层、交互设备层的基础，为各层的数据计算提供了基础支持。信息数据分为两个部分，一部分由外部环境来提供信息数据，如一些现有的博物馆文化历史资料，主要为文档、图形、视频等数据，另一部分是交互设备反馈回的实时数据信息，如实时动作、实时语音等。

信息处理层负责将信息数据进行处理。这里的数据来源分为两个部分，一部分为外部环境提供的图片、文档、视频等信息，另一部分是通过交互设备收集的实时语音信息、动作信息等。信息数据具有两种处理方式，其中一种是将数据转换为触觉信息，触觉认知具有三个层级，分别是感受物体的轮廓形状特征、感受物体的纹理特征、感受物体的空间特征。如图3所示，首先针对第一层级，采用轮廓追踪的方式的感受物体的轮廓形状特征；其次针对第二层级，采用纹理追踪的方式的感受物体的纹理特征；最后针对第三层级，采用静触的方式感受物体的空间特征。一方面，通过系统的语音引导盲人依次触摸触摸板中显示内容的轮廓、纹路、并识别触摸板中显示内容的空间位置；另一方面，触摸板通过控制阵列点的震动，分别显示物体的轮廓、纹路，并加强特定部位的震动幅度，让盲人识别物体的空间位置关系。另一种则是将数据转化为听觉信息，如图4所示，采用较为舒缓、平静的背景音乐来抚慰盲人不安的心灵、减少疲劳感，并提高盲人用户的专注度；根据音效来帮助画面氛围的渲染，使用户更容易融入到情景体验之中，增强盲人沉浸感；再辅以语音引导与交互，将画面视觉内容转化为听觉信息，并能让盲人自主选择体验环节。语音引导：引导盲人通过动作来选择想要深入了解的内容、引导盲人对图案的轮廓、纹理、图案某个部分的空间位置进行感知，语音交互：通过语音问答，如对历史知识的语音问答，来推动体验流程(不同的回答会触发系统发送不同的回复)。

智能交互层操作围绕触觉交互、听觉交互、动作交互环节展开。智能交互层在信息处理层构建的触觉对象、听觉信息的数据基础之上，进行交互层级设计。为了给盲人用户提供更深层次的听觉信息，集成背景音乐、音效、语音的多维交互内容。一方面，用背景音乐呈现视觉画面整体基调，再将视觉画面用语音进行解释，配合以场景音效，将视觉信息转化成深层次的听觉信息，打造用户的“心理图像”。另一方面，系统通过语音告知用户应该执行的触摸操作来引导用户进行物体的轮廓、纹理、空间感知，并告知用户应该执行的动作来引导用户进行体验情节的选择；并通过对用户语音的识别，来识别用户的回答结果，根据回答结果，即可以生成下一个操作序列，并引导用户进一步交互。

交互设备层支持信息的输入与输出。信息的输入与输出都是基于交互设备的硬件支持。包括传统设备，如麦克风、音响等，还有一些新型的交互设备，如用于触碰检测的Kinect体感设备以及用于触感交互的触摸板。

本实施例为以《周礼》为主题的盲人数字博物馆：

第一步：由信息数据层提供信息数据的输入。输入外部数据即收集与筛选的《周礼》相关的资料，例如选定了青铜器、玉器两种礼器进行切入，输入青铜器、玉器两种礼器的信息数据，并选择云纹、凤鸟纹两种纹样作为触摸板显示的内容输入。

第二步：在信息处理层，将《周礼》相关资料进行处理，根据青铜器、玉器、云纹、凤鸟纹的资料，输出情景剧剧本。由于孔子一生都在推行周礼，因此在剧本中，用户以第一视角的身份进入，在孔子的带领下，体验周礼之美。故事背景为：现代主角在逛周代历史博物馆，忽然遭遇停电，混沌中听到一位老者的声音——即孔子，在孔子的带领下主角随即开始了一段其妙的文化之旅，其中包括周礼介绍、青铜器/玉器和周礼的关联、与青铜器、玉器相关的成语，云纹、凤鸟纹的起源、发展、在现代的应用等内容，用叙事的形式将这些内容串接起来，并采用较为舒缓、平静的背景音乐提高盲人用户的专注度，根据音效来帮助画面氛围的渲染，使用户更容易融入到情景体验之中，增强盲人沉浸感，再辅以模拟孔子的语音引导与交互。在本实施例中，将剧本文字内容进行转换，将画面视觉内容生成听觉信息(包括背景音、音效、孔子/主角/旁白等角色配音等)，以及触觉信息(在触摸板中进行构建云纹、凤鸟纹纹样信息、青铜器、玉器的轮廓信息及空间位置信息)，并能让盲人自主选择体验环节。触觉认知具有三个层级，首先针对第一层级，采用轮廓追踪的方式的感受物体的轮廓形状特征，即感受青铜器/玉器的轮廓形状；其次针对第二层级，采用纹理追踪的方式的感受物体的纹理特征，即感受云纹/凤鸟纹的纹理特征；最后针对第三层级，采用静触的方式感受物体的空间特征，即识别触摸板中青铜器/玉器的空间位置关系。触摸板通过控制阵列点的震动，分别显示青铜器/玉器的轮廓、纹路，并加强特定部位的震动幅度，让盲人识别物体的空间位置关系。

第三步：在智能交互层，根据剧本内容，共有5处交互：

动作交互：通过“举起左手/举起右手”来选择用户想要了解的礼器(青铜器/玉器二选一)，系统识别到用户意图，触发剧本进入相对应的剧情；

语音交互：语音引导用户谈谈对青铜器/玉器的印象，用户谈好后，以“结束”为语音关键词，触发剧本进入下一环节；

语音交互：语音引导用户选择与青铜器/玉器有关的成语，以“A/B/C”为语音关键词”，系统根据用户的不同回答，推进进入下一环节；

触摸交互：语音引导用户对触摸板进行触摸，并用“举起左手/举起右手”的方式选择想要了解的纹样，系统识别到用户意图，进入相对应的剧情；

语音交互：系统根据用户选择的纹样，通过故事介绍纹样的起源，并引导用户语音回答选择与凤鸟纹/云纹相关的典故，以“A/B/C”为语音关键词”，系统根据用户的回答，推进进入下一环节。

一方面，智能交互层用背景音乐呈现青铜器/玉器视觉画面整体基调，再将青铜器/玉器视觉画面用语音进行解释，配合以场景音效，将视觉信息转化成深层次的听觉信息，打造用户的青铜器/玉器“心理图像”。另一方面，系统通过语音告知用户应该执行的触摸操作来引导用户进行青铜器/玉器的轮廓、纹理、空间感知，并告知用户应该执行的动作来引导用户进行体验情节的选择，本实施例中动作交互的动作设计为“举起左手/举起右手”来选择；并通过对用户语音的识别，来识别用户的回答结果，根据回答结果，即可以生成下一个操作序列，并引导用户进一步交互。

第四步：在交互设备层上，信息的输入与输出都是基于交互设备的硬件支持，本实施例中同时使用传统交互设备以及新型交互设备：麦克风来收集用户的语音信息，音响用来播放系统的声音，使用触摸板呈现云纹\凤鸟纹的纹样实现触感交互，使用kinect体感设备用来捕捉用户的动作，然后将交互设备反馈回的实时数据信息，包括实时动作、实时语音等重新输入信息数据层。

该系统可以使用在社区或者是博物馆内，作为盲人可体验的互动平台。以《周礼》为主题为例，如图5a、图5b所示，盲人站在设备前，只需静静聆听电脑系统中播放出的声音，并通过系统的语音引导，做出相应的交互动作，比如举起左手/举起右手来选择想要了解的礼器、语音回答出系统指定关键词来推进剧情、触摸触摸板来感受物品的轮廓、纹理、空间位置关系等)。本发明实施例构建了科学的结构框架，通过语音识别、动作检测、触摸板技术的融合，将数字博物馆的视觉信息转化为语义明确，将视觉信息进行转化，使用户形成“心理图像”。

如下表1所示，目前的盲人数字博物馆在听觉设计上，信息呈现稍显弱势，更多的是停留在语音引导层面，并没有利用音乐、音效结合画面讲解为盲人打造“画面感”，难以让用户形成心理图像。在触觉设计上，序号1-3的盲人数字博物馆基于触觉的力反馈，在触觉的空间特征信息呈现不足，并且缺乏触觉信息的层次性设计。序号4-8的盲人数字博物馆基于3D打印技术重现文物，虽可以让用户感知物体的轮廓形状特征、纹理特征、空间特征，但缺乏盲人对物体探索的层次性设计，并且针对不同的文物需要重新设计打印，需要进行繁琐的重复工作，不具备延展性。总体而言，现有的盲人数字博物馆的交互系统缺少了科学的结构框架，在触听信息的呈现上浮于表面，缺乏深层次的信息，难以很好地将视觉信息进行转化，不利于用户形成“心理图像”。本发明的面向盲人的数字博物馆(未列入表中)触听交互系统集语音交互系统、动作交互系统、触觉交互系统于一身，建立科学的结构框架，可实现盲人无障碍的数字博物馆交互体验，更好地满足了盲人群体的文化需求。

表1盲人数字博物馆的研究现状

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (12)

1.一种面向盲人的数字博物馆触听交互系统，其特征在于，包括语音交互系统、动作交互系统、触觉交互系统；所述语音交互系统是集成背景音乐、音效、语音的多维交互内容，将视觉信息转化为听觉信息；所述动作交互系统包括姿势特征数据的采集及预处理模块，动态姿势识别学习模型建立模块，以及基于动态姿势识别模型的交互应用模块；所述触觉交互系统基于柔性驻极体制动器的触摸板进行触觉交互。

2.如权利要求1所述的面向盲人的数字博物馆触听交互系统，其特征在于，所述语音交互系统利用听觉信息的如下维度：采用较为舒缓、平静的背景音乐来并提高盲人用户的专注度；利用音效来帮助画面氛围的渲染，增强盲人沉浸感；再辅以语音引导与对话交互，让盲人自主选择体验环节，推进体验流程。

3.如权利要求1所述的面向盲人的数字博物馆触听交互系统，其特征在于，所述动作交互系统基于Kinect传感器设计。

4.如权利要求1所述的面向盲人的数字博物馆触听交互系统，其特征在于，所述触觉交互系统包括如下触觉层级：第一层级，轮廓形状特征；第二层级，纹理特征；第三层级，空间特征。

5.如权利要求4所述的面向盲人的数字博物馆触听交互系统，其特征在于，在第一层级中，触摸板显示图案的整体轮廓，用语音引导盲人对图形的轮廓进行探索，让盲人形成对图案的抽象印象。

6.如权利要求5所述的面向盲人的数字博物馆触听交互系统，其特征在于，在第二层级中，在图案的整体轮廓的基础上，触摸板展现具体的图案细节，用语音引导盲人对图案细节进行探索，从而让盲人形成对图案的具象印象。

7.如权利要求6所述的面向盲人的数字博物馆触听交互系统，其特征在于，在第三层级中，在图案细节的基础之上，触摸板通过对某个部位的震动加强，引导盲人对图案的具体部位进行探索，结合语音对图案每个部分进行介绍，让盲人对图案形成空间位置感知，最终形成心理图像。

8.如权利要求1所述的面向盲人的数字博物馆触听交互系统，其特征在于，包括信息数据层、信息处理层、智能交互层、交互设备层；所述信息数据层提供信息数据的输入；信息处理层用于将信息数据进行处理。

9.如权利要求8所述的面向盲人的数字博物馆触听交互系统，其特征在于，所述信息数据分为两个部分，一部分由外部环境的输入来提供，包括现有的博物馆文化历史资料；另一部分是交互设备反馈回的实时数据信息，包括实时动作、实时语音。

10.如权利要求8所述的面向盲人的数字博物馆触听交互系统，其特征在于，所述信息处理层对信息数据具有两种处理方式，其中一种是将数据转换为触觉信息，另一种则是将数据转化为听觉信息。

11.如权利要求10所述的面向盲人的数字博物馆触听交互系统，其特征在于，将数据转换为触觉信息包括：首先采用轮廓追踪的方式的感受物体的轮廓形状特征；其次采用纹理追踪的方式的感受物体的纹理特征；最后采用静触的方式感受物体的空间特征；在通过系统的语音引导盲人依次触摸触摸板中显示内容的轮廓、纹路、并识别触摸板中显示内容的空间位置的同时，触摸板通过控制阵列点的震动，分别显示物体的轮廓、纹路，并加强特定部位的震动幅度，让盲人识别物体的空间位置关系。

12.如权利要求10所述的面向盲人的数字博物馆触听交互系统，其特征在于，将数据转化为听觉信息包括：采用较为舒缓、平静的背景音乐提高盲人用户的专注度；根据音效来帮助画面氛围的渲染，使用户更容易融入到情景体验之中，增强盲人沉浸感；再辅以语音引导与交互，将画面视觉内容转化为听觉信息，并能让盲人自主选择体验环节。

Images