CN115050227A - 基于墙面投影的羌族文化及语言的辅助教学装置及方法 - Google Patents

基于墙面投影的羌族文化及语言的辅助教学装置及方法 Download PDF

Info

Publication number
CN115050227A
CN115050227A CN202210662067.6A CN202210662067A CN115050227A CN 115050227 A CN115050227 A CN 115050227A CN 202210662067 A CN202210662067 A CN 202210662067A CN 115050227 A CN115050227 A CN 115050227A
Authority
CN
China
Prior art keywords
qiang
language
learning
culture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210662067.6A
Other languages
English (en)
Inventor
吴琴
宇文泰然
杨鑫
王雯璐
武灵泽
徐娆
胥财圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Chengdu University of Information Technology
Original Assignee
Peking University
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, Chengdu University of Information Technology filed Critical Peking University
Priority to CN202210662067.6A priority Critical patent/CN115050227A/zh
Publication of CN115050227A publication Critical patent/CN115050227A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明属于多媒体教育技术领域，公开了一种基于墙面投影的羌族文化及语言的辅助教学装置及方法，计算机终端与交互硬件设备通过HDMI视频线、互动信号传送HDMI线、互动信号传送USB接口网线和蓝牙无线信号传输进行连接，交互硬件设备包括投影仪、Kinect体感互动设备、蓝牙话筒、红外触控框设备、实体发声卡牌和道具网球。本发明通过设置有多个交互硬件设备能够进行不同形式的语言学习，互动性强，可以适用于缺少可书写的文字的羌语学习。本发明为以趣味互动方式传达羌族语言与文化的有效工具，与传统学习方法相比，该发明取得了更高的学习效率，能够吸引学习者学习羌语的兴趣。

Description

基于墙面投影的羌族文化及语言的辅助教学装置及方法
技术领域
本发明属于多媒体教育技术领域，尤其涉及一种基于墙面投影的羌族文化及语言的辅助教学装置及方法。
背景技术
目前，羌族源于古羌，是中国西部的一个古老民族，对中国历史发展和中华民族的形成都有着广泛而语言深远的影响。羌族人的民族语言为羌语，属于汉藏语系藏缅语族羌语支，并分北部和南部方言。
羌族文化繁多而丰富，有着世界非物质文化遗产的“羌年”。但羌族可书写的文字已经失传，只能依靠每代人之间口口相传，学习途径和学习方法的限制使得羌语的学习十分困难。据2011年羌语情况调查结果显示，能够使用羌语作为方言进行交流的羌族人不足羌族总人口10％。随着羌族地区与外界的交流愈加频繁以及普通话的普及度不断增加，使用羌语的人数正逐步锐减，这使得羌语留存的形势变得愈加严峻。
语言作为交流思想和感情的媒介，对于一个民族文化的传承有着极其重要的作用。因此振兴羌族语言和文化迫在眉睫。
少数民族语言近年来越来越受到关注。随着数字信息技术的发展，人们意识到，引入技术手段能为少数民族语言保护带来新的发展机会。
目前市面上大部分集教学与游戏为一体的互动装置，都基于有可书写文字的语言进行开发，例如英语、汉语、粤语和藏语等。但羌语由于可书写的文字已经失传，使用羌语的人数越来越少，羌语的传承变得十分困难。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有的大部分集教学与游戏为一体的互动装置，都基于有可书写文字的语言进行开发，不适用于羌族文化传承使用。
(2)现有的有关文化的游戏缺乏新意且缺少实体交互体验，市面上常见的游戏多以电子屏幕为主要页面，形式单一、缺乏互动，游戏设计细节不够丰富，很难为振兴和宣传文化起到良好的效果。
(3)有关以羌族文化为背景的投影互动游戏寥寥无几。常见的故事性投影互动游戏装置并没有历史背景以及学习意义，且游戏内容设计单一。
发明内容
针对现有技术存在的问题，本发明提供了一种基于墙面投影的羌族文化及语言的辅助教学装置及方法。
本发明是这样实现的，一种基于墙面投影的羌族文化及语言的辅助教学装置由计算机终端和交互硬件设备组成；
所述计算机终端与交互硬件设备通过HDMI视频线、互动信号传送HDMI线、互动信号传送USB接口网线和蓝牙无线信号传输进行连接。
进一步，所述交互硬件设备包括投影仪、Kinect体感互动设备、蓝牙话筒、红外触控框设备、实体发声卡牌和道具网球；
所述投影仪通过HDMI视频线与计算机终端连接，用于显示学习过程所涉及的全部游戏动画过程及画面提示和音效协助；
所述Kinect体感互动设备通过USB3.0接口网线与计算机终端连接，安置在用户的正前方及游戏屏幕下方，用于用户学习阶段过程中体感动作信号的接收传送；
所述红外触控框设备通过HDMI接口网线与计算机终端连接，安置在投影区域外侧四周，用于用户学习阶段过程中红外触控信号的接收传送，向计算机终端传送道具网球的位置信号；
所述蓝牙话筒通过蓝牙无线信号传输与计算机终端连接，用于用户学习阶段过程中语音信号的传输；
所述实体发声卡牌内置有电子原件发声模组，预置与卡牌表面图案相匹配的羌语发音，用户通过按动录音机芯控制音频的播放，进行相应的羌语学习。
所述计算机终端用于集中处理投影仪、Kinect体感互动设备、蓝牙话筒、红外触控框设备和实体发声卡牌所传入信号并作出相应反馈。
进一步，所述计算机终端包括羌语语料库、数字化羌语学习模块和交互数据采集处理模块；
所述羌语语料库用于羌语的语言教学设计，发音示范；
所述数字化羌语学习模块用于用户进行羌语的学习及检测；
所述交互数据采集处理模块用于收集用户使用发明时的动作，声音信息。
进一步，所述羌语语料库的构建采用实地到访羌寨寻找羌语使用者使用专业录音设备录制羌语，通过现代化信息存储的方式建立羌语语料库。
进一步，所述交互数据采集处理模块用于计算机终端获取处理Kinect体感互动设备所收集的用户动作信息、红外触控框所收集的触屏位置信息和蓝牙话筒所接受的语音信息。
本发明的另一目的在于提供一种基于墙面投影的羌族文化及语言的辅助教学方法，所述基于墙面投影的羌族文化及语言的辅助教学方法包括：
步骤一，学习环节：包括普通学习阶段和学习强化阶段；
步骤二，检测环节：通过检测游戏进行单词检测。
进一步，所述步骤一学习环节包括发声卡牌、有声绘本、动作识别模块、语音识别模块和红外触控模块。
所述发声卡牌用于羌语单词教学；
所述有声绘本用于羌族文化讲解；
所述动作识别模块用于捕捉判断用户身体动作信号；
所述语音识别模块用于采集用户声音信号；
所述红外触控模块用于采集红外触控屏上道具网球的位置信息。
进一步，所述检测环节包括语音识别模块和学习成绩记录模块。
所述语音识别模块用于采集处理用户声音信号；
所述学习成绩记录模块用于记录用户的具体学习成绩，包括已学会和未学会的羌语单词，检测环节某单词的跳过次数。
结合上述的技术方案和解决的技术问题，请从以下几方面分析本发明所要保护的技术方案所具备的优点及积极效果为：
第一、针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
(1)本发明通过设置有多个交互硬件设备能够进行不同形式的语言学习，互动性强，可以适用于缺少可书写的文字的羌语学习。
现有的大部分集教学与游戏为一体的互动装置，都基于有可书写文字的语言进行开发，不适用于羌族语言文化传承使用。
(2)本申请发明人深入羌寨，使用专业录音设备采集音频语料，尽可能还原真实准确羌语发音。收集语料后，整理建立小型羌语语料库，除电子音频以外，还通过罗马音标注的方式整理成相应电子文档。
(3)因为羌族无相应可书写文字，因此本发明制作实体发声卡牌用于羌语教学。该发声卡牌内置发声元件，可按压发声，播放羌语，卡牌表面是对应羌语所述羌族特色物品的彩绘图片及汉字解释，用于帮助用户理解羌语含义，其次所述图片下方是对应羌语的罗马音标注，用于帮助用户学习羌语发音。
(4)现有游戏装置或软件，形式单一，缺乏互动。因此本发明在产品中融入多种交互方式，如体感互动，语音识别技术，红外触控技术等。
(5)现用于语言教学且能对用户的语音输入进行评测的软件，并无针对羌语的教学评测功能。现有羌语教学网站及小程序，仅限于羌语的单方面输出教学，如视频，音频教学等，并无针对用户进行输入评测的检测反馈机制。因此我们设计了“羌碉传信”游戏化检测环节，通过用户语音输入的形式结合游戏化反馈，对用户的学习成果教学一个检测总结。基于羌语无文字的特性，系统会在屏幕右侧显示需要用户回答的羌语单词对应的图案，用户需要回答正确此图案所对应的羌语单词获得加分反馈。该系统可检测用户在一定时间内回答正确，错误的单词个数，以及某单词回答正确，错误的次数。
(6)市面上现有文化传播游戏细节不够丰富，文化背景不够深刻内涵。为更好体现和传播羌族文化，发明者从羌族传统特色物品及典籍中汲取羌族特色，创作原创美术素材，其次为使产品文化背景丰厚，在多处使用流程中融入羌族传统文化及传说故事。
再者，本发明为解决现有的有关文化的游戏缺乏新意且缺少实体交互体验，市面上常见的游戏多以电子屏幕为主要页面，形式单一、缺乏互动，游戏设计细节不够丰富，很难为振兴和宣传文化起到良好的效果。以及有关以羌族文化为背景的投影互动游戏寥寥无几。常见的故事性投影互动游戏装置并没有历史背景以及学习意义，且游戏内容设计单一的问题，本发明通过提出的装置及方法，比现有文化类游戏更多的交互方式，更有趣吸引人的体验，增强传播力；比现有游戏更深刻的文化内涵与细节设计；改善现有羌语教学基本只有单方面视频，音频输出的弊端，加入了语音检测环节，可对用户学习情况进行检测反馈。
第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
本发明为以趣味互动方式传达羌族语言与文化的有效工具，与传统学习方法相比，该发明取得了更高的学习效率，能够吸引学习者学习羌语的兴趣。
本发明提供了一套利用此装置进行羌语学习检测的完整学习方案流程，通过前两个学习环节(“寻觅热兹”，“羌戈大战”)能够激发用户得学习兴趣，强化用户的学习效果，通过将学习过程与游戏结合，同时融入多种互动方式，充分调动用户各种感官，如肢体，语音，触觉，听觉等，使用户充分融入到一个学习羌语，使用羌语的语言环境中，极大减缓用户学习语言的过程中枯燥，无聊的感受。
其次在第三环节(“羌碉传信”)，学习成果检测环节，一是对于解决羌语无文字特性，无法使用传统检测方式进行检测(如纸质测验等)，我们通过语音识别技术来进行检测。二是我们通过游戏化的检测方式，减缓用户对语言学习的枯燥感与抵触感，且通过即时的检测反馈，使用户及时了解不足与薄弱，达到提高学习效率的效果。此外，产品深刻融入羌族文化及美术特色，有效地传播了羌族传统语言文化。
第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
(1)本发明的技术方案转化后的预期收益和商业价值为：用于羌语教学培训；各类博物馆，当地民族文化博物馆及各类展览等。利用互动类游戏的特点增强传播范围，带动相关周边产品的经济。
(2)本发明的技术方案填补了国内外业内技术空白：市面上现无羌语教学投影互动装置。无结合羌语教学实体投影互动装置。无语音识别评测反馈的羌语教学装置。
(3)本发明的技术方案是否克服了技术偏见：将语言教学与多个感官通过多种人机交互技术结合(如体感互动，红外触控，语音识别)。
附图说明
图1是本发明实施例提供的基于墙面投影互动的羌族文化及语言的辅助教学装置的结构示意图。
图2是本发明实施例提供的基于墙面投影互动的羌族文化及语言的辅助教学方法的流程图。
图3是本发明实施例提供的学习游戏和检测游戏的流程图。
图4是本发明实施例提供的寻觅热兹游戏的流程图。
图5是本发明实施例提供的羌戈大战游戏的流程图。
图6是本发明实施例提供的羌碉传信游戏的流程图。
图7是本发明实施例提供的羌语学习效率实验效果图。
图8(a)是本发明实施例提供的实验组中75％(n＝9)的受试者认为实物卡牌有助于羌语的学习效果图。
图8(b)是本发明实施例提供的实验组中75％(n＝9)的受试者对游戏中的互动形式效果图。
图8(c)是本发明实施例提供的实验组中66％(n＝8)的受试者认为游戏成功营造了良好羌语使用环境，这源自于新颖有趣的互动方式，充满羌族文化特色的视觉效果和音效效果图。
图8(d)是本发明实施例提供的实验组中83％(n＝10)的受试者展现出了对羌族的语言和文化进一步了解的兴趣效果图。
图中：1、计算机终端；2、投影仪；3、Kinect体感互动设备；4、蓝牙话筒；5、红外触控框设备；6、实体发声卡牌；7、道具网球；8、白底墙面。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一、解释说明实施例。为了使本领域技术人员充分了解本发明如何具体实现，该部分是对权利要求技术方案进行展开说明的解释说明实施例。
如图1所示，本发明实施例提供的基于墙面投影互动的羌族文化及语言的辅助教学装置由计算机终端和交互硬件设备组成；交互硬件设备包括投影仪2、Kinect体感互动设备3、蓝牙话筒4、红外触控框设备5、实体发声卡牌6和道具网球7。
所述投影仪通过HDMI视频线与计算机终端连接，用于显示学习过程所涉及的全部游戏动画过程及画面提示和音效协助；
所述Kinect体感互动设备通过USB3.0接口网线与计算机终端连接，安置在用户的正前方及游戏屏幕下方，用于用户学习阶段过程中体感动作信号的接收传送；
所述红外触控框设备通过HDMI接口网线与计算机终端连接，安置在投影区域外侧四周，用于用户学习阶段过程中红外触控信号的接收传送，向计算机终端传送道具网球的位置信号；
所述蓝牙话筒通过蓝牙无线信号传输与计算机终端连接，用于用户学习阶段过程中语音信号的传输；
所述实体发声卡牌内置有电子原件发声模组，预置与卡牌表面图案相匹配的羌语发音，用户通过按动录音机芯控制音频的播放，进行相应的羌语学习。
所述计算机终端用于集中处理投影仪、Kinect体感互动设备、蓝牙话筒、红外触控框设备和实体发声卡牌所传入信号并作出相应反馈。
如图2至图6所示，本发明的工作流程和原理为：
整个装置所涉及的动画以及音效，由所述的计算机进行集合，具体是通过Unity游戏引擎完成，然后借所述投影仪进行播放。
本发明由学习阶段和检测阶段组成，其中学习阶段一次完整的流程包括通过实体有声卡牌三次学习多个羌语单词，玩一次“寻觅热兹”游戏和一次“羌戈大战”游戏。检测环节包括玩一次“羌碉传信”的检测游戏。其中三次学习多个羌语单词的环节，分别在用户使用“寻觅热兹”游戏前，使用“羌戈大战”游戏前和使用“羌碉传信”游戏前。
所述实体有声卡牌，包括了玩家在游戏过程中将会使用到的所有羌语单词。基于反复跟读的传统方式，用户使用可以重复发声的实体卡牌学习羌语。实体有声卡牌上除了印有对应羌语词汇的物品图片，还印有这个词汇的汉语文字、汉语释义和汉语表示的谐音音标，并且还描述了这个词汇在之后的游戏中作为技能卡牌使用时的作用。实体卡牌的设计，是通过内置的MIC机芯提前录音以预置羌语单词发音，然后以卡牌封面封层，将播放按钮置于卡牌上的图片位置。用户通过按键触发控制，听取音频。
所述“寻觅热兹”，一个在山洞中解开谜题的故事，具体讲述的是在远古时期羌族祖先历经磨难寻找家园定居的故事。在此阶段中我们采用了体感互动与语音识别两种交互方式，将羌族的传统神话故事融入游戏背景和流程，通过识别用户实时动作以及用户游戏过程中使用的羌语语音的正误进行游戏反馈。此环节具体为，投影区域的正下方安置Kinect体感互动设备，通过该设备的摄像头获取用户的三维空间位置以及各骨骼点之间的距离关系，将获取到的数据通过数据线连接传递至主机，主机对数据进行处理生成相应信号触发相应的游戏画面，再反馈至投影区域。无线麦克风通过蓝牙和主机配对接收音频；将麦克风接受到的语音数据通过蓝牙传输至主机处理，通过与建立的羌语语料库比对后，进行相应的游戏反馈。具体的技术为：
1.体感互动技术:通过Kinect体感设备的骨骼点绑定，通过对特定姿势进行代码定义，识别玩家在游戏过程中的特定动作，触发相应的游戏操作。Kinect2.0具有深度摄像头，红外摄像头，彩色摄像头和25个默认骨骼点。我们主要通过深度摄像头和红外摄像头获取人物在三维空间中的位置，并判断骨骼点之间的相应位置间的距离关系，我们对特定姿势进行代码定义。通过深度摄像头检测玩家动作，绑定相应人体骨骼点，当识别到骨骼点到达指定位置，与预设动作骨骼点进行比对识别。若与特定动作相匹配，则触发游戏中的相应操作。这些操作会被反馈至投影区域的画面上。
2.语音识别技术:采用某公司基于DeepPeak2端到端建模的语音识别接口，通过麦克风采集的语音与我们自建立的羌语语料库进行单词比对，从而完成羌语的识别。用户佩戴在衣领处的无线麦克风接收用户发出的声音音频，并通过蓝牙传输至主机处理
所述“羌戈大战”，讲述的是羌族首领带领族人定居家园后，顽强抵抗外敌入侵的故事。在此阶段中我们将语音识别与红外触控技术相结合，用户通过喊出特定羌语语音释放相应的技能以抵御敌人以及通过向投影屏幕投掷网球(模拟羌族圣物---白石)来砸毁攻击敌人(通过红外触控技术实现)。此环节具体为，其次投影区域外侧安装有红外触控框，所述投影仪与红外触控框通过数据线连接控制主机；利用道具网球向投影区域投掷，通过红外触控框获取道具网球的位置，并将数据传递给主机，反馈到投影区域；无线麦克风通过蓝牙和主机配对接收音频；将麦克风接受到的语音数据通过蓝牙传输至主机处理，通过与建立的羌语语料库比对后，进行相应的游戏反馈，具体的技术为：
红外触控屏：红外线技术触摸屏由装在触摸屏外框上的红外线发射与接收感测元件构成，在屏幕表面上，形成红外线探测网。任何物体的遮挡会改变触点上的红外线网格，从而实现触摸的定位。投影仪与红外触控框通过数据线连接控制主机；利用道具网球向投影区域投掷，通过红外触控框获取道具网球的位置，并将数据传递给主机，反馈到投影区域。
语音识别技术：采用某公司基于DeepPeak2端到端建模的语音识别接口，通过麦克风采集的语音与我们自建立的羌语语料库进行单词比对，从而完成羌语的识别。用户佩戴在衣领处的无线麦克风接收用户发出的声音音频，并通过蓝牙传输至主机处理
所述“羌碉传信”，讲诉的是羌族族人在寻觅家园，抵御外敌后安居乐业的生活。游戏画面是羌人在羌族标志性建筑羌碉之间对唱山歌。此阶段运用语音识别技术进行学习成果检验，我们将山歌内容改编成前面游戏阶段学到的羌语单词，通过语音识别用游戏化的方式检测用户的羌语学习情况。
此环节具体为，无线麦克风通过蓝牙和主机配对接收音频；将麦克风接受到的语音数据通过蓝牙传输至主机处理，通过与建立的羌语语料库比对后，进行相应的游戏反馈。具体的技术为：1.语音识别技术：采用某公司基于DeepPeak2端到端建模的语音识别接口，通过麦克风采集的语音与我们自建立的羌语语料库进行单词比对，从而完成羌语的识别。用户佩戴在衣领处的无线麦克风接收用户发出的声音音频，并通过蓝牙传输至主机处理。
在本发明该实施例中，具体的，相关核心技术程序如下：
环节一寻觅热兹
C#(识别动作，发送数据):
输入：视频流(通过Kinect读入骨骼信息节点)
输出：识别结果为多个布尔信号如下
具体识别方法定义为
HUISHOU.IsWalk(),
HUISHOU.IsStop(),
HUISHOU.IsPsi(),
HUISHOU.IsHuiShou(),
HUISHOU.IsRaiseLeftHand()；
分别用于识别用户行走，停止，投掷姿势，射箭姿势，以及举起右手姿势，
每个方法的识别结果将返回一个布尔值用于程序的判断。
通过代码定义每个动作的所涉及的骨骼点之间的特定距离关系，用位置距离+向量角度的方法将kinect传入的骨骼点信息进行匹配，最后用训练决策树的方法平滑输出。若相应骨骼点的位置及向量信息在设定范围以内，则判断结果输出为真(即例如：HUISHOU.IsWalk()＝1,此时计算机程序判断用户行走的信息为真，则将会实现投影屏幕中游戏人物行走的效果。其余动作也同理)否则输出为假，以上程序不进行任何反馈。
C#识别语音
输入：语音流
输出：识别结果keywords[3],
Keywords[3]为一长度为4的字符数组
分别存储了keywords[0]＝“开始游戏”
keywords[1]＝“ma”
keywords[2]＝“roueposhi”
keywords[3]＝“ziba”
当用户传入的语音信息为keyWords[0]时，即输入语音为“开始游戏”时
游戏画面将从规则页面切换至游戏主界面，加载主场景SceneManager.LoadScene("NewScene")；
当用户传入的语音信息为keyWords[1]时，即输入语音为“ma”(谐音“吗”)时，变量ma将会被赋1，在主程序的判断语句中：
ma＝1且动作识别信号HUISHOU.IsHuiShou()为真(即ma＝＝1&&HUISHOU.IsHuiShou()＝＝1),用户所对应的游戏人物将执行“射箭”相关动画以消除游戏中的障碍。(例如消除藤蔓)
在程序执行完这一次射箭相关动画后，ma将会被赋值为0，等待下一次对应语音信息传入，再次为1，再次执行上述程序。
当用户传入的语音信息为keyWords[2]时，即输入语音为“roeposhi”(谐音“揉而破石”)时，变量ro将会被赋值1，在主程序的判断语句中：
ro＝1且动作识别信号HUISHOU.IsPsi()为真(即ro＝＝1&&HUISHOU.IsPsi()＝＝1),用户所对应的游戏人物将执行“投掷”相关动画以消除游戏中的障碍。(例如攻击恶狼)
在程序执行完这一次投掷相关动画后，ro将会被赋值为0，等待下一次对应语音信息传入，再次为1，再次执行上述程序。
当用户传入的语音信息为keyWords[3]时，即输入语音为“ziba”(谐音“兹吧”)时，变量ziba将会被赋值1，在主程序的判断语句中：
ziba＝1且动作识别信号HUISHOU.IsRaiseLeftHand()为真(即ziba＝＝1&&HUISHOU.IsRaiseleftHand()＝＝1),用户所对应的游戏人物将执行“冰冻”动画以消除游戏中的障碍。
在程序执行完这一次冰冻相关动画后，ma将会被赋值为0，等待下一次对应语音信息传入，再次为1，再次执行上述程序.
最后，当游戏人物完成上述流程后碰撞到结束标记“End”(即碰撞体检测),此轮游戏结束，画面加载结束场景。
环节二:羌戈大战
具体的，程序如下：
C#识别语音
输入：语音流
输出：识别结果标记为keywords[8],
Keywords[8]为一长度为9的字符数组
分别存储了keywords[0]＝“roeposhi”对应白石
keywords[1]＝“rumixi”对应咂酒
keywords[2]＝“langbuzhuawa”对应云云鞋
keywords[3]＝“kaishiyouxi”对应开始游戏
keywords[4]＝“zanting”对应暂停
keywords[5]＝“jieshu”对应结束
keywords[6]＝“bupuersa”对应羌笛
keywords[7]＝“camer”对应羊皮鼓
keywords[8]＝“shusa”对应盾牌
用户传入的语音信息处理后被标记为args.text,
当用户传入的语音信息为keyWords[3]时(args.text＝keyWords[3])，即输入语音为“开始游戏”时，程序将执行开始游戏的相关代码，
游戏画面将从规则页面切换至游戏主界面，加载主场景SceneManager.LoadScene("Main")；
当用户传入的语音信息为keyWords[0]时(args.text＝keyWords[0])，即输入语音为“roeposhi”(谐音“柔额泼石”)时，变量btn_baishi将会为真，程序将执行使用游戏技能(白石：一击必杀)的相关代码，进行相应的动画音效等反馈。
当用户传入的语音信息为keyWords[1]时(args.text＝keyWords[1])，即输入语音为“rumixi”(谐音“濡米西”)时，变量btn_zajiu将会为真，程序将执行使用游戏技能(咂酒：一击必杀)的相关代码，进行相应的动画音效等反馈。
当用户传入的语音信息为keyWords[2]时(args.text＝keyWords[2])，即输入语音为“roeposhi”(谐音“柔额泼石”)时，变量btn_baishi将会为真，程序将执行使用游戏技能(白石：一击必杀)的相关代码，进行相应的动画音效等反馈。
当用户传入的语音信息为keyWords[6]时(args.text＝keyWords[6])，即输入语音为“bupuersa”(谐音“布铺尔撒”)时，变量btn_qiangdi将会为真，程序将执行使用游戏技能(羌笛：眩晕敌人三秒)的相关代码，进行相应的动画音效等反馈。
当用户传入的语音信息为keyWords[7]时(args.text＝keyWords[7])，即输入语音为“camer”(谐音“擦么儿”)时，变量btn_yangpigu将会为真，程序将执行使用游戏技能(羊皮鼓：三秒内攻击增强)的相关代码，进行相应的动画音效等反馈。
当用户传入的语音信息为keyWords[8]时(args.text＝keyWords[8])，即输入语音为“shusa”(谐音“舒撒”)时，变量btn_dunpai将会为真，程序将执行使用游戏技能(盾牌：防御敌人)的相关代码，进行相应的动画音效等反馈。
当用户传入的语音信息为keyWords[4]时(args.text＝keyWords[4])，即输入语音为“zantin”(谐音“暂停”)时，程序将执行暂停游戏技能的相关代码，游戏进入暂停状态。
当用户传入的语音信息为keyWords[5]时(args.text＝keyWords[5])，即输入语音为“jieshu”(谐音“结束”)时，
程序将执行退出游戏的相关代码，将会直接退出游戏。
最后倒计时为0时，游戏结束，加载结束场景和用户得分。
环节三:羌碉传信
具体的，程序如下：
C#(接收语音，处理语音)
输入：语音流
输出：识别结果标记为keywords[8],
Keywords[7]为一长度为8的字符数组
分别存储了
keywords[0]＝“langbuzhuawa”对应云云鞋
keywords[1]＝“rumixi”对应咂酒
keywords[2]＝“roeposhi”对应白石
keywords[3]＝“bupuersa”对应羌笛
keywords[4]＝“shusa”对应羌碉
keywords[5]＝“biesiba”对应腊肉
keywords[6]＝“ma”对应火
keywords[7]＝“ziba”对应冰。
屏幕上将会出现图片，需要用户念出其对应的羌语发音，对于图片的出现设计了随机算法，保证其符合我们要求的随机出现图片；
当用户传入的语音信息处理后标记为args.text,对于屏幕所显示的图片，其对应的羌语标记为nowtext
args.text将会与keyWords[]以及nowtext进行匹配，即若args.text在keywords中且与nowtext相等，(所输入语音在所列出的羌语单词中，且该单词为目前图片所对应的羌语)。
则匹配成功，程序执行相应的记录加分，发音正确的动画和音效反馈的代码，否则匹配失败，程序执行进行回答错误的音效反馈的代码。同时程序将使用数组WrongAns[]和RightAns[]记录用户回答错误和正确的单词以及次数并录入后台保存在电脑文件中。
每测试一个单词变量cishu将会+1，当cishu＝20时，游戏结束，加载结束场景，展示用户的分数。
二、应用实施例。为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
为了验证本发明激励羌语学习的潜力，进行了用户研究，包括现场测试和远程验证。其中远程验证有11名羌族人(老年人1中年人1年轻人9)参与，现场测试招募了位于中国西南方城市的某大学20名学生(18-22岁，11名男性，9名女性，分别来自不同的7个专业)参与，在现场测试中，我们设计了对照实验研究以验证产品有效性。
用户测试实验共耗时五天整，每位实验对象接受了三次完整的实验流程，每次完整实验流程包括学习与检测阶段，实验组每次包括两个强化学习环节和一个检测环节，对照组包括传统学习环节和检测环节。每位受试者进行一次完整的实验流程约为20分钟。
在现场测试实验组中，有5名男性，7名女性，对每位实验者进行了连续三天的实验测试，实验组的一次完整的实验流程按照时间顺序为：发声卡牌学习5分钟，进行强化学习阶段一(“寻觅热兹”)，再次使用卡牌学习三分钟，进行强化学习阶段二(“羌戈大战”)，再次使用卡牌学习2分钟，进行学习成果检测阶段(“羌碉传信”)。为验证该装置提高学习效果的有效性，对照组的6名男性，2名女性除检测环节外，在学习阶段完全不使用该套装置，采用市面上常见的传统学习方式，即通过手机音频播放的方式进行学习。
三、实施例相关效果的证据。本发明实施例在研发或者使用过程中取得了一些积极效果，和现有技术相比的确具备很大的优势，下面内容结合试验过程的数据、图表等进行描述。
结果表明该发明有潜力成为一个以趣味互动方式传达羌族语言与文化的有效工具。与传统学习方法相比，该发明取得了更高的学习效率，即使样本不足导致差异不明显。但是无论是远程验证还是实地测试的参与者，都认可该发明能够吸引他们学习羌语的兴趣。受访的羌族人充分肯定了我们的工作对于羌族语言和文化传承的意义。
羌语学习效率：对于学习效率，对于对照和实验条件之间的独立样本(α＝.05)进行了t检验。其中一个对照组的无效数据被剔除。总体而言，玩家可达到的分数在0到200之间。经过三天的强化学习之后，玩游戏的受试者正确回答的得分(M＝183.33，SD＝11.55)高于对照组的受试者(M＝168.57，SD＝26.1)，t(19)＝-1.418，p＝0.197。如图7所示及表1。
表1
Figure BDA0003690917900000171
系统使用反馈
现场测试：
1)实验组中75％(n＝9)的受试者认为实物卡牌有助于羌语的学习。原因有趣味性；可以重复发声；实物卡牌有触摸感；令人印象深刻等。如图8(a)所示。
2)实验组中75％(n＝9)的受试者对游戏中的互动形式(体感互动/实体互动/语音识别)感到新奇，且表示该游戏具有较大吸引力，能够激发他们积极参与的兴趣。如图8(b)所示。
3)实验组中66％(n＝8)的受试者认为游戏成功营造了良好羌语使用环境，这源自于新颖有趣的互动方式，充满羌族文化特色的视觉效果和音效，以及鼓励玩家张口说羌语的游戏机制。认为沉浸式的学习环境，能提高他们的学习效果。如图8(c)所示。
4)实验组中83％(n＝10)的受试者展现出了对羌族的语言和文化进一步了解的兴趣。如图8(d)所示。
远程验证：大部分受访者(n＝10)认为“羌戈大战”是有趣和新颖的。新颖互动方式和游戏中的表现的羌族元素都激发了他们的兴趣。此外，受访者还肯定了基于投影互动的游戏在进行简单羌语词汇的教学方面是有效的(n＝7)，尤其能够吸引儿童的学习兴趣(n＝3)。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于墙面投影的羌族文化及语言的辅助教学装置，其特征在于，所述基于墙面投影的羌族文化及语言的辅助教学装置由计算机终端和交互硬件设备组成；所述计算机终端与交互硬件设备通过HDMI视频线、互动信号传送HDMI线、互动信号传送USB接口网线和蓝牙无线信号传输进行连接。
2.如权利要求1所述的基于墙面投影的羌族文化及语言的辅助教学装置，其特征在于，所述交互硬件设备包括投影仪、Kinect体感互动设备、蓝牙话筒、红外触控框设备、实体发声卡牌和道具网球；
所述投影仪通过HDMI视频线与计算机终端连接，用于显示学习过程所涉及的全部游戏动画过程及画面提示和音效协助；
所述Kinect体感互动设备通过USB3.0接口网线与计算机终端连接，安置在用户的正前方及游戏屏幕下方，用于用户学习阶段过程中体感动作信号的接收传送；
所述红外触控框设备通过HDMI接口网线与计算机终端连接，安置在投影区域外侧四周，用于用户学习阶段过程中红外触控信号的接收传送，向计算机终端传送道具网球的位置信号；
所述蓝牙话筒通过蓝牙无线信号传输与计算机终端连接，用于用户学习阶段过程中语音信号的传输；
所述实体发声卡牌内置有电子原件发声模组，预置与卡牌表面图案相匹配的羌语发音，用户通过按动录音机芯控制音频的播放，进行相应的羌语学习。
所述计算机终端用于集中处理投影仪、Kinect体感互动设备、蓝牙话筒、红外触控框设备和实体发声卡牌所传入信号并作出相应反馈。
3.如权利要求1所述的基于墙面投影的羌族文化及语言的辅助教学装置，其特征在于，所述计算机终端包括羌语语料库、数字化羌语学习模块和交互数据采集处理模块；
所述羌语语料库用于羌语的语言教学设计，发音示范；
所述数字化羌语学习模块用于用户进行羌语的学习及检测；
所述交互数据采集处理模块用于收集用户使用发明时的动作，声音信息。
4.如权利要求3所述的基于墙面投影的羌族文化及语言的辅助教学装置，其特征在于，所述羌语语料库的构建采用实地到访羌寨寻找羌语使用者使用专业录音设备录制羌语，通过现代化信息存储的方式建立羌语语料库。
5.如权利要求3所述的基于墙面投影的羌族文化及语言的辅助教学装置，其特征在于，所述交互数据采集处理模块用于计算机终端获取处理Kinect体感互动设备所收集的用户动作信息、红外触控框所收集的触屏位置信息和蓝牙话筒所接受的语音信息。
6.一种用于实施权利要求1～5任意一项所述的基于墙面投影的羌族文化及语言的辅助教学装置的基于墙面投影的羌族文化及语言的辅助教学方法，其特征在于，所述基于墙面投影的羌族文化及语言的辅助教学方法包括：
步骤一，学习环节：包括普通学习阶段和学习强化阶段；
步骤二，检测环节：通过检测游戏进行单词检测。
7.如权利要求6所述的基于墙面投影的羌族文化及语言的辅助教学方法，其特征在于，所述步骤一学习环节包括发声卡牌、有声绘本、动作识别模块、语音识别模块和红外触控模块。
8.如权利要求7所述的基于墙面投影的羌族文化及语言的辅助教学方法，其特征在于，所述发声卡牌用于羌语单词教学；
所述有声绘本用于羌族文化讲解；
所述动作识别模块用于捕捉判断用户身体动作信号；
所述语音识别模块用于采集用户声音信号；
所述红外触控模块用于采集红外触控屏上道具网球的位置信息。
9.如权利要求6所述的基于墙面投影的羌族文化及语言的辅助教学方法，其特征在于，所述检测环节包括语音识别模块和学习成绩记录模块。
10.如权利要求9所述的基于墙面投影的羌族文化及语言的辅助教学方法，其特征在于，所述语音识别模块用于采集处理用户声音信号；
所述学习成绩记录模块用于记录用户的具体学习成绩，包括已学会和未学会的羌语单词，检测环节某单词的跳过次数。
CN202210662067.6A 2022-06-13 2022-06-13 基于墙面投影的羌族文化及语言的辅助教学装置及方法 Pending CN115050227A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210662067.6A CN115050227A (zh) 2022-06-13 2022-06-13 基于墙面投影的羌族文化及语言的辅助教学装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210662067.6A CN115050227A (zh) 2022-06-13 2022-06-13 基于墙面投影的羌族文化及语言的辅助教学装置及方法

Publications (1)

Publication Number Publication Date
CN115050227A true CN115050227A (zh) 2022-09-13

Family

ID=83161766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210662067.6A Pending CN115050227A (zh) 2022-06-13 2022-06-13 基于墙面投影的羌族文化及语言的辅助教学装置及方法

Country Status (1)

Country Link
CN (1) CN115050227A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916992A (zh) * 2005-08-19 2007-02-21 陈修志 交互式学习机及其运作方法
US20140302464A1 (en) * 2013-04-09 2014-10-09 Don Xiangdong Cai System and method for learning foreign language over a secured social network based on bilingual messaging
CN105872828A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 一种电视交互学习的方法及装置
CN106409030A (zh) * 2016-12-08 2017-02-15 河南牧业经济学院 一种个性化外语口语学习系统
CN107067853A (zh) * 2017-06-13 2017-08-18 深圳市鹰硕音频科技有限公司 一种基于网络的在线互动语言学习系统
CN111862711A (zh) * 2020-06-19 2020-10-30 广州光建通信技术有限公司 一种基于5g物联虚拟现实娱乐休闲学习装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1916992A (zh) * 2005-08-19 2007-02-21 陈修志 交互式学习机及其运作方法
US20140302464A1 (en) * 2013-04-09 2014-10-09 Don Xiangdong Cai System and method for learning foreign language over a secured social network based on bilingual messaging
CN105872828A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 一种电视交互学习的方法及装置
CN106409030A (zh) * 2016-12-08 2017-02-15 河南牧业经济学院 一种个性化外语口语学习系统
CN107067853A (zh) * 2017-06-13 2017-08-18 深圳市鹰硕音频科技有限公司 一种基于网络的在线互动语言学习系统
CN111862711A (zh) * 2020-06-19 2020-10-30 广州光建通信技术有限公司 一种基于5g物联虚拟现实娱乐休闲学习装置

Similar Documents

Publication Publication Date Title
US10157550B2 (en) Method and system for presenting interactive, three-dimensional learning tools
US20120015333A1 (en) Method and System for Presenting Interactive, Three-Dimensional Learning Tools
TW201432638A (zh) 互動式學習系統
US7734562B1 (en) Voice to text conversion with keyword parse and match to semantic and transactional concepts stored in a brain pool state machine using word distance to generate character model interaction in a plurality of dramatic modes
US20150142434A1 (en) Illustrated Story Creation System and Device
CN109817244A (zh) 口语评测方法、装置、设备和存储介质
CN105817039A (zh) 智能型多媒体积木系统及其工作方法
Ulisses et al. ACE assisted communication for education: Architecture to support blind & deaf communication
Škobo et al. Teaching English literature in the digital era
Dagnino et al. Using serious games for Intangible Cultural Heritage (ICH) education: A journey into the Canto a Tenore singing style
Lemos et al. Augmented reality musical app to support children’s musical education
WO2014206157A1 (en) Method and system of learning languages through visual representation matching
Rani The Impact of Colonisation on the Ability to Make a Meaning of ‘Black’South African Contemporary Dance in the 21st Century
CN115050227A (zh) 基于墙面投影的羌族文化及语言的辅助教学装置及方法
Hsu et al. Spelland: Situated Language Learning with a Mixed-Reality Spelling Game through Everyday Objects
CN112951013B (zh) 一种学习交互方法、装置、电子设备以及存储介质
Lonergan Making the Most of Your Video Camera. Technology in Language Learning Series.
TWI253600B (en) Device and method for interactive learning
CN112752142B (zh) 配音数据处理方法、装置及电子设备
Valdimarsson English language learning Apps: A review of 11 English language learning apps
Al Ashaikh et al. Maher: An Application for Supporting Autistic Children in Learning Self-Care Skills
Luo et al. Applying Exergames in Classroom for Learning Chinese
WO2012056459A1 (en) An apparatus for education and entertainment
Shao et al. StoryIcon: A Prototype for Visualizing Children’s Storytelling
Bearne et al. Multimodality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220913