CN113012490A - 一种基于虚拟场景的语言学习系统及装置 - Google Patents

一种基于虚拟场景的语言学习系统及装置 Download PDF

Info

Publication number
CN113012490A
CN113012490A CN202110266215.8A CN202110266215A CN113012490A CN 113012490 A CN113012490 A CN 113012490A CN 202110266215 A CN202110266215 A CN 202110266215A CN 113012490 A CN113012490 A CN 113012490A
Authority
CN
China
Prior art keywords
language
user
scene
module
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110266215.8A
Other languages
English (en)
Inventor
沙艾霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110266215.8A priority Critical patent/CN113012490A/zh
Publication of CN113012490A publication Critical patent/CN113012490A/zh
Priority to US17/305,686 priority patent/US11887499B2/en
Priority to CN202210218069.6A priority patent/CN114387829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及一种基于虚拟场景的语言学习系统及装置，系统包括调度管理模块和场景编辑模块，还包括关联分析模块，所述关联分析模块基于用户输入的第二语言信息分析并提供至少一个关联图案和/或图片，所述关联分析模块将用户选定的关联图案和/或图片显示在用户端，用户端的教师基于所述关联图案和/或图片了解学生以第二语言表达的语言信息。本发明通过设置关联分析模块来显示相关的关联图案，能够促进教师对学生表达内容的了解，从而提供有效的语言指导，提高语言的学习效率。

Description

一种基于虚拟场景的语言学习系统及装置
技术领域
本发明涉及语言学习技术领域，尤其涉及一种基于虚拟场景的语言学习系统及装置。
背景技术
随着国际交流的频繁进行，学习语言已成为提高生活质量以及生活交际的基本条件之一。学习语言旨在更流畅地使用语言。传统的语言学习方法大多采用课堂教学。但是，许多研究表明，好的学生大多不是由教室里的讲师“教”来培养的，而是由教室里和教室外的教员“指导”来培养的。
就语言学习而言，不需要完全依靠课堂教学，自学和练习也很重要。换句话说，建立一种语言环境以使学生能够在生活中学习英语至关重要。由于生活涵盖了广泛的方面，因此语言学习环境也可能会得到极大扩展。为了很好地学习语言，学生必须了解语言以及语言传达的各种文化信息。最有效的语言学习方法是将学生转移到语言起源的地方。但是，这对大多数人来说是不可能的。学习语言的目的是要很好地使用它。因此，如果学生可以自己创建一个虚拟的语言环境以结合说明和实践，则学习效果会更加有效，并使学生可以更加灵活地使用该语言。因此，现有技术中采用虚拟技术来实现虚拟场景的展现。
例如，中国专利CN110264826A公开了一种基于虚拟现实的文化学习系统及方法，用于解决现有技术中存在的学习环境交互性差，文化学习范围单一且未能提供综合学习结果的技术问题，学习系统包括场景构建模块、学习测试模块、交互学习模块和结果输出模块，学习方法为：场景构建模块构建文化知识学习场景和文化技能学习场景；学习测试模块检测用户在学习前后对文化知识学习和文化技能学习的掌握情况；用户使用交互学习模块的虚拟现实设备在文化知识学习场景中学习语言交际知识和文化背景知识，并在文化技能学习场景中学习文化习俗行为；结果输出模块根据学习测试模块的结果计算学习得分获取综合学习结果并输出。本发明可用于在虚拟现实环境中学习文化。
中国专利CN108153415A公开了一种虚拟现实语言教学交互方法和虚拟现实设备，所述方法包括：展示预先生成的虚拟场景，所述虚拟场景中包括虚拟交互者和多个物体；若接收到用户对所述多个物体的选择操作，则控制所述虚拟交互者以预设语言输出与被选择的物体对应的发音语音，以供所述用户跟读所述发音语音；若接收到所述用户的输入语音，则控制所述虚拟交互者以预设语言输出与所述输入语言相关的反馈语音。通过实施该方案的实施例，可以提高语言教学过程中虚拟现实设备的智能程度，进而对语言的教学提供帮助。
中国专利CN110033654A公开了一种基于虚拟现实的沉浸式语言学习系统，包括：虚拟现实游戏实现模块：开发适用于虚拟现实设备的语言学习游戏；虚拟现实视频实现模块：进行全景视频拍摄，并通过对视频进行后期缝合及调整，产生语言学习视频；功能界面模块：搭建语言学习游戏和语言学习视频的链接，并进行修改；提供对虚拟现实设备和/或GoPro的操作；虚拟现实设备：提供语言学习游戏和语言学习视频的沉浸式环境。
中国专利CN1744071公开了一种虚拟场景交互式语言学习系统及其方法，其采用服务器/客户端的结构，虚拟真实的语言环境，提供用户在特定场景中进行语言学习，通过该客户端与该服务器端的资料交换确定当前的场景状态，根据该场景状态对该场景元素进行循环编辑，将编辑后的接口展现至该客户端，同时接收该客户端用户输入的语音资料，并根据该语音资料在该客户端做出相应响应，从而使用户真正实现对于语言的灵活运用。
中国专利CN109064799A公开了一种基于虚拟现实的语言培训系统及方法，其涉及虚拟现实技术领域，旨在解决现有的外语教学方式使得学生的外语学习效率和外语学习效果不佳的问题。其技术方案要点是，包括VR交互装置、与VR交互装置相连的VR眼镜及语音交流设备，VR交互装置包括多个课程模块，每一课程模块均对应有课程虚拟场景和课程虚拟人物；使用者通过VR眼镜即可观看到与课程模块对应的课程虚拟场景以及课程虚拟人物，通过语音交流设备即可与对应的课程虚拟人物进行实时的语音交流；当语音交流设备识别使用者的语音失败时，使用者会看到相应的提示信息，为使用者营造了一个能够身临其境的虚拟交流环境，具有能够有效提高学习效率和学习效果的优点。
如上所示，虽然现有技术通过虚拟现实技术实现了虚拟场景的实现并且帮助了语言学生提高了学习效率，但是，现有技术忽略了学生在虚拟现实场景中自主调节虚拟场景、语言交流以及实时纠错的反馈需求以及自动修正的需求，这无疑弱化了学生的学习能力。例如，现有技术主要通过学生输入的语言来输出正确的语言，不会给出错误反馈，仅显示正确的语言，使得学生从不在虚拟场景中进行自我纠错，弱化了通过自我纠错的语言学习能力。例如，语言是通过物体、手势等辅助语言进行交流的，是个性化表达的，从而便于双方相互理解对方的表达，并给出反馈的正确语言。现有技术中，仅仅通过限定了词语、句式的表达内容来要求学生进行表达，忽略了学生在口语表述时个性化表达的学习，使得学生即使学会一种语言，在使用该语言交流时口述的是模板化的书面语，而不是个性化的口语表达。
因此，本发明希望提供一种能够使得学生在虚拟场景中基于个人的语言基础强化个性化表达的语言学习系统，使得学生在虚拟场景中交互的方式更丰富，能够自主调节虚拟场景以及得到教师的实时交流反馈，强化学生的个性化语言表达的学习，增加教师与学生的互动。
此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于发明人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
发明内容
针对现有技术之不足，本发明提供一种基于虚拟场景的语言学习系统，包括调度管理模块和场景编辑模块，还包括关联分析模块，所述调度管理模块与所述场景编辑模块和关联分析模块以有线或无线的方式分别连接，所述关联分析模块基于用户输入的第二语言信息分析并提供至少一个关联图案和/或图片，所述关联分析模块将用户选定的关联图案和/或图片显示在用户端，用户端的教师基于所述关联图案和/或图片了解学生以第二语言表达的语言信息。
优选地，所述关联分析模块基于用户输入的第一语言信息分析并提供至少一个关联图案和/或图片，所述关联分析模块将用户选定的关联图案和/或图片显示在至少一个用户端，用户端的教师基于所述关联图案和/或图片指导学生以第二语言表达语言信息。
优选地，所述场景编辑模块基于至少一个智能穿戴设备和/或体感设备输入的动作信息来控制虚拟人物的动作与用户的动作近似，从而用户在虚拟场景中基于第二语言和动作语言的结合来进行第二语言的交流。
优选地，所述场景编辑模块基于至少一个智能穿戴设备和/或体感设备输入的用户的表情信息来调节关联的虚拟人物的表情信息，从而用户在虚拟场景中能够以近似真实的表情和第二语言进行语言的交流。
优选地，还包括辅助模块，所述辅助模块基于用户输入的第一语言信息提供与第一语言信息关联的至少一个第二语言关键词汇以供用户以第二语言表达信息，和/或
所述辅助模块基于用户输入的第一语言信息提供以第二语言表达的至少一个样本句式以供用户以第二语言表达信息。
优选地，所述辅助模块基于用户指定的虚拟场景中的虚拟对象以指定的第二语言和/或第三语言显示至少一个关联词汇或语句。
优选地，所述辅助模块基于虚拟场景中的与虚拟对象关联的第二语言关键词汇的日常使用频率来设置所述第二语言关键词汇的显示顺序。
优选地，所述场景编辑模块以并行的方式显示二维虚拟场景和三维虚拟场景，所述场景编辑模块响应于用户对二维虚拟场景的操作在三维画面显示对应的三维虚拟场景。
本发明还提供一种基于虚拟场景的语言学习装置，包括调度管理模块和场景编辑模块，还包括关联分析模块，所述调度管理模块与所述场景编辑模块和关联分析模块以有线或无线的方式分别连接，所述关联分析模块基于用户输入的第二语言信息分析并提供至少一个关联图案和/或图片，所述关联分析模块将用户选定的关联图案和/或图片显示在用户端，用户端的教师基于所述关联图案和/或图片了解学生以第二语言表达的语言信息。
优选地，所述场景编辑模块基于至少一个智能穿戴设备和/或体感设备输入的动作信息来控制虚拟人物的动作与用户的动作近似，从而用户在虚拟场景中基于第二语言和动作语言的结合来进行第二语言的交流。
本发明的有益技术效果：
(1)通过设置关联分析模块来显示关联图案，通过关联图案来促进教师与学生之间的理解和交流，使得教师为学生提供高效的第二语言的表达指导；
(2)通过场景编辑模块的变化来配合关联分析模块的关联分析，使得教师通过虚拟场景来理解学生通过第二语言想要表达的内容，使得教师为学生提供高效的第二语言的表达指导；
(3)通过场景编辑模块的景深划定来提高教师在虚拟场景中管理学生和指导学生语言学习的效率，避免虚拟场景较大导致的无效时间和无效交流的产生；
(4)通过场景编辑模块的景深区域的约束，提高学生在虚拟场景中的主题交流频率，从而提高学生的学习效率；
(5)通过设置复习模块来提高学生对第二语言的掌握程度，避免学生的无效学习。
附图说明
图1是本发明的语言学习系统的逻辑模块示意图。
10：调度管理模块；20：登录模块；30：注销模块；40：场景编辑模块；41：二维场景模块；42：三维场景模块；50：关联分析模块；60：辅助模块；70：复习模块。
具体实施方式
下面结合附图进行详细说明。
针对现有技术的不足，本发明提供一种基于虚拟场景的语言学习系统及装置，还可以提供一种基于虚拟场景的多语言交互系统。本发明还可以称为一种语言学习辅助系统及装置，或者一种语言学习交流系统及装置。
本发明中，第一语言为用户的第一语言。第二语言是指用户学习的第二外语。第三语言是指用户学习的第三外语。
本发明的基于虚拟场景的语言学习系统，至少包括场景数据库、登录模块、调度管理模块、场景编辑模块、辅助模块、关联分析模块和注销模块。
数据库、登录模块、调度管理模块、场景编辑模块、交互模块、辅助模块、关联分析模块和注销模块均可以是处理器、服务器、电子线路、专用集成芯片中的一种或几种。
数据库至少包括场景数据库、语言数据库和用户信息库。场景数据库用于存储与所选主题相对应的多个场景以及与场景相对应的场景元素。场景元素包括背景元素、对象元素、人物元素和声音元素。语言数据库用于存储语言教学素材，包括语音、文字、与语言关联的历史文化信息等。场景信息可以是二维的，也可以是三维的。用户信息库用于存储与用户相关的浏览信息、学习信息等等。
登录模块用于监视用户端发送的链接信号并验证其合法性，根据用户的合法性在服务器上设置用户账号以及用户信息。优选地，用户端的显示设备包括至少一个显示器和可佩戴设备的显示装置。
调度管理模块用于管理用户端的时间信息，并且通过用户端和服务器端之间的数据交换来确认虚拟场景的当前状况。优选的，调度管理模块响应于各个模块的请求信息来进行信息的调度管理。
场景编辑模块，用于对与场景条件相对应的场景元素执行循环编辑，将编辑好的界面呈现给用户端，接收用户端的动作操作输入，并根据动作操作做出相应的响应。
辅助模块用于根据采集的用户的第一语言信息来对第二语言提供辅助帮助。
关联分析模块用于根据用户的至少一种语言信息分析与其关联的场景元素或语言信息。场景元素包括但不限于静态或者动态的图片、场景。
注销模块用于接收来自用户端的注销信息，基于注销信息将用户从服务器中移除，将用户的属性数据存储在服务器中。
在现有技术的虚拟场景中，场景编辑模块将由用户端传输的直播图像中的人物设置在虚拟场景中，或者将直播图像中人物的面部图像与虚拟人物融合来形成能够直播讲课的虚拟人物。这样的设置，使得学生很难融入虚拟场景中。
因此，本发明的场景编辑模块中，采集直播图像中进行直播的用户的表情信息，并且将用户的表情信息转化为数字信息，以实时的方式将直播的用户的表情信息显示在虚拟场景中的虚拟人物的面部。如此设置，避免了人物的面部与虚拟场景存在风格差异的现象，使得学生能够在虚拟场景中接收教师的教学信息。例如，虚拟场景中的虚拟人物为古罗马人物形象，其面部表情与直播时教师的面部表情是对应的。这样，降低了教师为了与虚拟场景风格相似产生的服装置办费用，也能够以对应的第二语言讲述古罗马文化或者意大利文化。
优选地，在用户端与智能穿戴设备和/或体感设备建立通信连接的情况下，用户端能够将智能穿戴设备和/或体感设备采集的用户的动作信息发送至场景编辑模块。场景编辑模块将用户的动作信息与虚拟场景中指定的虚拟人物相融合，使得指定虚拟人物的动作与用户的动作一致，从而实现虚拟场景中的虚拟人物代替用户在虚拟场景中进行教学或者发言，减少了用户无法完全融入虚拟场景的问题。
例如，在过万圣节时，教师指定与万圣节相关的虚拟人物巫师来代表自己，并且通过体感设备使得巫师的动作与自己的动作一致。在虚拟场景中，学生能够看到巫师在虚拟场景中以第二语言讲述与万圣节相关的内容。如此设置，也有利于教师以更丰富的肢体动作和虚拟场景中的内容来讲解与第二语言关联的文化内容。特别对于三维虚拟场景，具有肢体动作的虚拟人物在虚拟场景中更生动形象，虚拟人物能够指向某个虚拟物体以进行讲解，能够提高学生对于课堂内容的兴趣。
当学生在使用第二语言表述不清时，更倾向于用第一语言来表达，这会弱化第二语言的学习。本发明中，学生能够结合肢体动作语言来表达，从而弱化了学生和教师的通过第一语言来表达的倾向。
例如，在学生通过虚拟人物在虚拟场景中发言时，学生能够通过发言时展示肢体动作来充分表达想要表达的内容，使得学生或者教师能够充分理解并进行交流反馈，从而促使学生与教师或其他学生之间通过第二语言进行互动。配合肢体动作的第二语言的表达，更能够增加学生以第二语言发言时的趣味，也更符合个人的表达习惯，不会使得教学课堂无趣。在学生感觉通过不熟悉的第二语言不能够表达清楚时，可以通过肢体动作使得教师理解自己想要表达的内容，从而便于教师纠正自己的语言表述过程中的错误。
现有技术中的语言学习系统，学生是对第二语言不熟悉的人，因此其用第二语言表达的语言内容可能是错误的。在教师与学生来自不同的国家的时候，即彼此的第一语言不同，学生表达的错误语言会使得教师听不懂和不理解，从而教师无法对学生的语言错误提出有效的指导。这无疑造成了教师与学生之间的沟通障碍，降低了课堂的教学效率。
本发明中的关联分析模块，响应于用户端的用户的语言发音在直播房间或虚拟场景中显示通过分析得到的与用户的第二语言发音关联的图案。在学生的第二语言表达错误时，教师能够通过显示的图案来理解学生想要表达的内容，并且通过反复沟通来纠正学生的语言表达错误问题。如此设置，能够提交教师与学生的沟通效率，节省大量的课堂时间。
优选地，与用户的第二语言发音关联的图案不限于根据用户的第二语言的发音得到，也可以是基于用户输入的第一语言确定的。
优选地，关联分析模块基于用户端的第二语言发音向对应的用户端提供至少一个相关联的图案。在用户端对关联分析模块提供的至少一个相关联的图案指定的情况下，关联分析模块在虚拟房间或者虚拟场景中显示指定的图案，从而提高图案与用户的语言的关联效率。
在关联图案的显示的帮助下，教师能够根据关联图案以及学生的发音或者文字表达来理解学生的表达内容，因此，教师能够准确纠正学生的表达错误。
例如，用户端包括教师端和学生端。学生端根据关联分析模块分析的多个关联图案，选择与自身表达的语言含义相近的图案作为指定的关联图案。关联分析模块将学生端选择的关联图案显示在虚拟场景或者虚拟房间，使得教师端及其其他学生端能够接收和看到。教师和学生端能够理解和听懂发言的学生端的表达内容。
具体地，关联分析模块基于学生输入的第二语言的语音信息，反复出现与发音相似的若干分类信息和具体的关联图案。关联分析模块根据学生指定的分类信息来缩小关联图案的关联范围，从而提高关联图案的关联的准确率。
例如，当学生指定分类信息范围为节日，并且进一步指定与节目相关的子分类为活动时，关联分析模块能够根据第二语言的语音信息“happy、dance、in socks”显示圣诞袜作为关联图案。
同样的，当教师与学生不具有相同的第一语言时，教师端能够选择要显示的关联图案，学生能够结合图案来理解教师的口语表述。
优选地，关联分析模块不仅能够显示关联图案，还能够分析并显示与语言关联的场景。在教师端提供场景变换许可的情况下，关联分析模块将通过学生的语言信息分析得到的关键词发送给学生端。在学生端指定关键词的情况下，关联分析模块将关键词发送至场景编辑模块。场景编辑模块基于关键词在教学虚拟房间显示至少一个相关的虚拟场景。
在学生或教师的语言主要内容变化时，关联图案或者关联的虚拟场景也会发生变化。关联图案或者关联的虚拟场景可以是由教师端或者学生端的操作指示进行变化，也可以是按照预设的时间自动变化。
在学生的发言比较良好时，教师端能够通过关联分析模块指定与表扬或奖励相关的图案或者虚拟场景，例如在虚拟场景中撒红包、送鲜花、跳舞等等奖励性场景，以达到激励学生的效果。
优选地，辅助模块的辅助功能至少包括一级辅助和二级辅助。一级辅助是指基于学生提供的非第二语言的词汇提供相关的以第二语言和/或第三语言表达的若干关键词汇。学生能够根据辅助模块的一级辅助提供的若干关键词汇自行组织第二语言和/或第三语言的表达。
例如，辅助模块处于一级辅助的状态下，辅助模块根据学生输入的部分第一语言或者在虚拟场景中指定的物体、人物、行为等提供若干对应的以第二语言表达的关键词汇。在学生学习语言的过程中尤其是学习口语表达的过程中，主要学习的是句式的表达。对于部分物体的名词，学生不一定熟悉，但不会影响学生对第二语言的表达能力。因此，在学生想要说出完整的句子而缺乏部分词汇的情况下，学生可以通过辅助模块的一级辅助提供的关键词汇来表达和发言。
二级辅助是指翻译功能。学生在知晓关键词汇依然存在表达困难的情况下，学生可以通过用户端选择辅助模块的二级辅助功能模式。在二级辅助功能的状态下，辅助模块基于学生以第一语言输入的输入内容提供至少两种样本语句。优选地，样本语句与输入内容的含义可以完全一致，也可以不完全一致。例如，样本语句的句式能够用于学生想要表达的内容，但其中的名词可以替代为学生要表达的词汇。样本语句将学生输入的第一语言内容完全翻译为第二语言和/或第三语言，并且将翻译后的句子仅在教师端显示，使得教师能够理解学生想要表达的内容。如此设置，能够避免学生对辅助模块的辅助功能的依赖，使得学生努力去使用第二语言自主表达，而不是完全的对样本语句的发音。教师理解学生表达的内容，从而能够通过教学中的互动来帮助学生使用第二语言和/或第三语言进行该内容的表达。
优选地，在非教学模式的情况下，在二级辅助状态下，辅助模块能够基于学生输入的第一语言内容翻译为第二语言和/或第三语言，并且将翻译后的句子在学生端显示，有利于提高学生的自学效果。在一个学生同时学习第二语言和第三语言的情况下，辅助模块可以基于学生端的指示操作来同时显示第二语言和第三语言。
优选地，对于第二语言和/或第三语言的初学者，学生的听力能力可能较差，在交流过程中听不懂第二语言和/或第三语言。辅助模块同样能够基于学生端的选择，在学生端显示与学生听到的第二语言和/或第三语言对应的第一语言的文字内容显示，以便学生快速理解和学习。
学生之间的交流能够促进语言学习的提升。但是，学生经常会由于不确定自己是否表达准确而不敢开口说话。学生能够通过辅助模块的一级辅助和二级辅助功能，在虚拟场景中与同学以第二语言进行交流。在辅助模块的辅助作用下，学生能够对想要表达的句式和词汇进行反复应用，以熟悉第二语言的表达方式。
优选地，在虚拟场景中，学生和老师能够以不同的人物身份进行交流，例如在商场的场景中，存在售货员、管理人员、保洁人员、购物人员等等多种角色。每个人物身份交流时需要的主要词汇是不同的，学生对于自身所代表人物的相关词汇不熟悉甚至不清楚，因此存在角色交流的障碍。
在学生设置辅助模块为一级辅助状态时，辅助模块能够基于虚拟人物的身份、职位等信息在对应的用户端显示与其身份相关的关键词汇。关键词汇可以是该人物日常应用频率较高的词汇或句式。学生能够基于关键词汇来与虚拟场景中的不同人物进行第二语言的口语表达。在学生的口语表达存在障碍时，教师能够在虚拟场景中通过与学生的交流来纠正学生的语言表达。同样地，学生能够在辅助模块的二级辅助状态来对完整的句子进行直接的口述。
优选地，在虚拟场景进行的过程中，各个人物交流的语言能够被存储模块存储。在学生想要回看虚拟场景时，场景编辑模块能够通过存储模块提取虚拟场景的存储内容来展示记忆的虚拟场景时段，使得学生能够回看自己的语言表达内容，了解自身的语言表达错误内容。同时，学生也能够再次注意和学习其他人物的语言表达。
一般情况下，虚拟场景的构建是系统性建设的。例如，虚拟场景可以是完整的城市，例如古罗马城市。虚拟场景中建筑较多，代表学生的虚拟人物相遇并且交流的地点也较多。较多的交流地点以及较大的虚拟场景明显不利于教师对学生的交流观察以及辅导。但是，虚拟场景较小能够显示的场景文化比较单一，多个虚拟场景不能够形成连贯的、建筑风格比较统一的综合地理结构，则学生在不停地场景交流时，对于地点容易出现混乱，不利于学生在虚拟场景交流的同时形成完整的地理逻辑。因此，虚拟场景应当是系统建设的，教师端能够基于教学需要限制虚拟场景的范围，使得学生能够围绕一个主题来进行第二语言的交流，同时虚拟场景的地理位置是关联的，可重复的。
与现有技术的区别在于，本发明的场景编辑模块能够基于用户端的指定范围限定一次课程中的虚拟场景范围。用户端优选为具有虚拟场景限定权限的教师端。
本发明中，场景编辑模块包括三维场景模块和二维场景模块。场景编辑模块能够在用户端以并行的画面方式显示三维的虚拟场景和二维的虚拟场景及其属性。三维场景模块以视频流的方式将三维虚拟场景显示在用户端。三维场景模块和二维场景模块均能够基于用户的操作调节对应维度的虚拟场景的显示清晰度、显示范围等。
三维场景模块和二维场景模块并行的显示模式，不占用控制网络带宽，工作负荷小，减少三维场景模块和二维场景模块的数据延迟显示现象，画面显示的工作效率明显提高。优选地，二维虚拟场景和三维虚拟场景并行同步显示。
例如，二维场景模块显示的画面为二维的城市建筑地图。三维场景模块显示的是三维的虚拟场景。
优选地，在二维虚拟场景被按照自定义的几何形状划分景深区域的情况下，响应于用户端发送的景深区域，三维场景模块显示在景深区域内的三维虚拟场景。代表学生的虚拟人物只能在景深区域内的三维虚拟场景中进行移动和使用第二语言交流。本发明如此设置有利于教师能够在景深区域内快速查看学生的交流程度以及交流遇到的问题，从而进行快速的语言学习指导。
例如，教师通过教师端在显示的二维虚拟场景上以不限定的几何形状划定三维虚拟场景的景深区域，则二维场景模块将景深信息发送至三维场景模块。三维场景模块响应于景深信息，将景深区域以三维虚拟场景进行展示。
本发明的景深范围是指获取有限距离的视图时，可在显示上构成清晰影像的显示范围。景深区域是指能够清晰显示虚拟对象以及允许虚拟对象移动的三维虚拟活动区域。
在二维虚拟场景划定的面积可以是指定的景深范围。景深范围内包含有若干虚拟对象。在用户划定景深区域时，三维场景模块按照指定的景深范围来显示虚拟场景里的虚拟对象。
本发明的三维虚拟场景按照在二维虚拟场景中指定的景深范围请求数据，给出处于景深范围内的含有虚拟对象的三维虚拟场景。
优选地，三维场景模块基于用户对虚拟对象的查看操作信息来适应性调整虚拟对象的清晰程度。当用户基于查看指定景深区域内的虚拟对象及其属性时，画面是清晰的。当用户查看到达景深区域的边缘时，边缘内的三维虚拟场景是高清晰度的，边缘外的三维虚拟场景的清晰度降低，从而提示用户查看内容超出景深区域，同时代表学生的虚拟人物无法移动至边缘外，避免代表学生的虚拟人物无目标移动和交流。
随着用户的操作来调节虚拟对象的清晰度，使得虚拟场景的清晰度基于操作的需要而变化。如此，用户能够围绕教师提供的交流主题查看虚拟场景并且和同学以第二语言进行交流，避免了无目标的漫游查看行为。
优选地，对于语言交流异常的学生，关联分析模块将异常信息发送至二维场景模块。二维场景模块以突出的颜色和/或标识显示发出报警信息的虚拟人物的二维虚拟场景，以及与该虚拟人物关联的学生信息。即用户在二维虚拟场景上能够明显看到发出报警的虚拟人物的二维虚拟场景。本发明的教师端的教师能够确定交流异常的学生，有目标地指导学生的语言问题。
如若不设置景深区域的划定方式，教师在教师端查看三维虚拟场景内的若干学生的交流情况时，三维场景模块无法确定教师在下一步即将查看的方向，只能将当前三维虚拟场景内的所有虚拟对象均以高清的方式来显示。然而实际中，有很多虚拟对象及其属性，教师或学生不会详细查看。这就导致了三维场景模块向用户端发送了过量的不必要的数据，导致用户端的数据延迟以及三维虚拟场景更新缓慢，影响用户端的画面更新速度。
本发明通过景深区域的指定，三维场景模块能够减少向查看的用户端的输送数据的数据量。三维场景模块基于二维场景模块发送的景深区域以及景深区域内的虚拟对象名单筛选三维虚拟对象及其属性数据的高清数据，并且发送至用户端。即，三维场景模块能够基于景深区域有目标地筛选和输送数据，从而减少大量的不必要数据的发送。
优选地，景深区域不仅能够设置在二维虚拟场景中，也能够设置在三维虚拟场景中。当操作方在三维虚拟场景中划定景深区域时，三维虚拟场景能够根据景深区域搜索数据，并且给出景深区域内的虚拟对象的表单。用户根据表单来查看自己需要的信息。
优选地，本发明的编辑模块能够在虚拟场景中设置有允许输入文字内容的文字表达模块。文字表达模块能够基于虚拟场景中显示的文字内容来进行第二语言或第三语言的文字表达。在文字表达内容完成，学生端向场景编辑模块发送编辑完成信息。场景编辑模块响应于编辑完成信息，向教师端发送与文字表达模块关联的虚拟场景位置和/或，将文字表达内容直接发送至教师端。教师端的教师对文字表达内容进行修改、评价或者给出评分。
例如，学生能够在虚拟场景中阅读和了解与第二语言相关文化和历史，也能够通过在虚拟场景中做题的方式学习和理解历史文化。此外，本发明的语言学习系统能够根据教师的评分显示学生的总成绩以及总成绩排名。
优选地，本发明的语言学习系统还包括复习模块。复习模块用于根据学生的第二语言表达能力或第三语言表达能力、课程间隔时间来提供不同的复习方式。第二语言表达能力或第三语言表达能力可以由分数、含有颜色、图案及其结合的标记等来表示。
例如，第一，在与某个语言知识内容的学习时间间隔较短，学生在虚拟场景中的学习评分很高时，复习模块提供与该语言知识内容相关的至少一个虚拟场景，以虚拟游戏的方式进行巩固。较短的时间范围是指不大于一个月。
第二，在与某个语言知识内容的学习时间间隔较长，学生在该场景中的学习评分中等时，部分学生忘记语言知识内容的可能性比较高。复习模块通过出题的方式来使得学生回忆虚拟场景中的学习内容。较长的时间范围是指大于一个月的时长。
第三，在与某个语言知识内容的学习时间间隔较长，并且学生在该场景中的学习评分较差，表示学生已经全部忘记了相关的学习内容。复习模块向场景编辑模块发送与要复习的知识内容相关的虚拟场景的信息。场景编辑模块响应于复习模块的请求，从存储模块中调取对应的虚拟场景学习内容以及当时若干学生参与的语音信息，复原当时的虚拟场景以便学生重新学习。此时，虚拟场景中的其他人物的语言为存储的录播语言。
优选地，教师端能够基于场景编辑模块预设奖励阈值以及奖励内容。奖励内容包括且不限于以虚拟场景呈现的影像、电影等。当学生的学习评分高于奖励阈值时，触发奖励机制，学生能够观看以虚拟场景呈现的影像。例如，影像为以虚拟场景呈现的古罗马竞技场以及竞技影像，使得学生能够以有趣的方式进一步了解第二语言或第三语言的文化。
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
本发明说明书包含多项发明构思，申请人保留根据每项发明构思提出分案申请的权利。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。

Claims (10)

1.一种基于虚拟场景的语言学习系统，至少包括调度管理模块和场景编辑模块，其特征在于，还包括关联分析模块，
所述调度管理模块与所述场景编辑模块和关联分析模块以有线或无线的方式分别连接，
所述关联分析模块基于用户输入的第二语言信息分析并提供至少一个关联图案和/或图片，
所述关联分析模块将用户选定的关联图案和/或图片显示在用户端，用户端的教师基于所述关联图案和/或图片了解学生以第二语言表达的语言信息。
2.根据权利要求1所述的基于虚拟场景的语言学习系统，其特征在于，所述关联分析模块基于用户输入的第一语言信息分析并提供至少一个关联图案和/或图片，
所述关联分析模块将用户选定的关联图案和/或图片显示在至少一个用户端，用户端的教师基于所述关联图案和/或图片指导学生以第二语言表达语言信息。
3.根据权利要求2所述的基于虚拟场景的语言学习系统，其特征在于，所述场景编辑模块基于至少一个智能穿戴设备和/或体感设备输入的动作信息来控制虚拟人物的动作与用户的动作近似，
从而用户在虚拟场景中基于第二语言和动作语言的结合来进行第二语言的交流。
4.根据权利要求2所述的基于虚拟场景的语言学习系统，其特征在于，所述场景编辑模块基于至少一个智能穿戴设备和/或体感设备输入的用户的表情信息来调节关联的虚拟人物的表情信息，从而用户在虚拟场景中能够以近似真实的表情和第二语言进行语言的交流。
5.根据权利要求1～4任一项所述的基于虚拟场景的语言学习系统，其特征在于，还包括辅助模块，
所述辅助模块基于用户输入的第一语言信息提供与第一语言信息关联的至少一个第二语言关键词汇以供用户以第二语言表达信息，和/或
所述辅助模块基于用户输入的第一语言信息提供以第二语言表达的至少一个样本句式以供用户以第二语言表达信息。
6.根据权利要求5所述的基于虚拟场景的语言学习系统，其特征在于，所述辅助模块基于用户指定的虚拟场景中的虚拟对象以指定的第二语言和/或第三语言显示至少一个关联词汇或语句。
7.根据权利要求5所述的基于虚拟场景的语言学习系统，其特征在于，所述辅助模块基于虚拟场景中的与虚拟对象关联的第二语言关键词汇的日常使用频率来设置所述第二语言关键词汇的显示顺序。
8.根据权利要求5所述的基于虚拟场景的语言学习系统，其特征在于，所述场景编辑模块以并行的方式显示二维虚拟场景和三维虚拟场景，
所述场景编辑模块响应于用户对二维虚拟场景的操作在三维画面显示对应的三维虚拟场景。
9.一种基于虚拟场景的语言学习装置，包括调度管理模块和场景编辑模块，其特征在于，还包括关联分析模块，
所述调度管理模块与所述场景编辑模块和关联分析模块以有线或无线的方式分别连接，
所述关联分析模块基于用户输入的第二语言信息分析并提供至少一个关联图案和/或图片，
所述关联分析模块将用户选定的关联图案和/或图片显示在用户端，用户端的教师基于所述关联图案和/或图片了解学生以第二语言表达的语言信息。
10.根据权利要求9所述的基于虚拟场景的语言学习装置，其特征在于，所述场景编辑模块基于至少一个智能穿戴设备和/或体感设备输入的动作信息来控制虚拟人物的动作与用户的动作近似，
从而用户在虚拟场景中基于第二语言和动作语言的结合来进行第二语言的交流。
CN202110266215.8A 2021-03-09 2021-03-09 一种基于虚拟场景的语言学习系统及装置 Pending CN113012490A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110266215.8A CN113012490A (zh) 2021-03-09 2021-03-09 一种基于虚拟场景的语言学习系统及装置
US17/305,686 US11887499B2 (en) 2021-03-09 2021-07-13 Virtual-scene-based language-learning system and device thereof
CN202210218069.6A CN114387829A (zh) 2021-03-09 2022-03-07 一种基于虚拟场景的语言学习系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110266215.8A CN113012490A (zh) 2021-03-09 2021-03-09 一种基于虚拟场景的语言学习系统及装置

Publications (1)

Publication Number Publication Date
CN113012490A true CN113012490A (zh) 2021-06-22

Family

ID=76405347

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110266215.8A Pending CN113012490A (zh) 2021-03-09 2021-03-09 一种基于虚拟场景的语言学习系统及装置
CN202210218069.6A Withdrawn CN114387829A (zh) 2021-03-09 2022-03-07 一种基于虚拟场景的语言学习系统、存储介质及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210218069.6A Withdrawn CN114387829A (zh) 2021-03-09 2022-03-07 一种基于虚拟场景的语言学习系统、存储介质及电子设备

Country Status (2)

Country Link
US (1) US11887499B2 (zh)
CN (2) CN113012490A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11935168B1 (en) * 2021-05-14 2024-03-19 Apple Inc. Selective amplification of voice and interactive language simulator
CN115691545B (zh) * 2022-12-30 2023-05-26 杭州南粟科技有限公司 一种基于vr游戏的范畴知觉训练方法及系统
CN117391900B (zh) * 2023-11-23 2024-05-24 重庆第二师范学院 基于大数据分析的学习效率检测系统及方法
CN117541444B (zh) * 2023-12-04 2024-03-29 新励成教育科技股份有限公司 一种互动虚拟现实口才表达训练方法、装置、设备及介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229548B1 (en) * 1998-06-30 2001-05-08 Lucent Technologies, Inc. Distorting a two-dimensional image to represent a realistic three-dimensional virtual reality
US7657083B2 (en) * 2000-03-08 2010-02-02 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US20030195853A1 (en) * 2002-03-25 2003-10-16 Mitchell Cyndi L. Interaction system and method
CN1744071A (zh) 2004-08-31 2006-03-08 英业达股份有限公司 一种虚拟场景交互式语言学习系统及其方法
US8953909B2 (en) * 2006-01-21 2015-02-10 Elizabeth T. Guckenberger System, method, and computer software code for mimic training
TWI291143B (en) * 2006-08-04 2007-12-11 Kuo-Ping Yang Method of learning the second language through picture guiding
US8702433B2 (en) * 2007-03-28 2014-04-22 Breakthrough Performancetech, Llc Systems and methods for computerized interactive training
US9282377B2 (en) * 2007-05-31 2016-03-08 iCommunicator LLC Apparatuses, methods and systems to provide translations of information into sign language or other formats
US20110014594A1 (en) * 2009-07-16 2011-01-20 Shing-Lung Chen Adaptive Foreign-Language-Learning Conversation System Having a Dynamically Adjustable Function
US8793118B2 (en) * 2011-11-01 2014-07-29 PES School of Engineering Adaptive multimodal communication assist system
US20160117953A1 (en) * 2014-10-23 2016-04-28 WS Publishing Group, Inc. System and Method for Remote Collaborative Learning
US20170092151A1 (en) * 2015-09-24 2017-03-30 Wei Xi Second language instruction system and methods
CN108153415A (zh) 2017-12-22 2018-06-12 歌尔科技有限公司 虚拟现实语言教学交互方法和虚拟现实设备
CN110033654A (zh) 2018-01-11 2019-07-19 上海交通大学 基于虚拟现实的沉浸式语言学习系统
CN109064799A (zh) 2018-08-31 2018-12-21 苏州竹原信息科技有限公司 一种基于虚拟现实的语言培训系统及方法
US20220124140A1 (en) * 2019-04-01 2022-04-21 Sumitomo Electric Industries, Ltd. Communication assistance system, communication assistance method, and image control program
CN110264826A (zh) 2019-06-11 2019-09-20 西安电子科技大学 基于虚拟现实的文化学习系统及方法

Also Published As

Publication number Publication date
US11887499B2 (en) 2024-01-30
US20220293008A1 (en) 2022-09-15
CN114387829A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
CN107633719B (zh) 基于多语种人机交互的拟人形象人工智能教学系统和方法
CN113012490A (zh) 一种基于虚拟场景的语言学习系统及装置
Engwall et al. Robot interaction styles for conversation practice in second language learning
CN110069139B (zh) Vr技术实现旅游教学实践的体验系统
US20140065596A1 (en) Real time learning and self improvement educational system and method
Anis Leveraging artificial intelligence for inclusive English language teaching: Strategies and implications for learner diversity
CN105792752A (zh) 用于诊断和治疗语言相关障碍的计算技术
CN108648535A (zh) 一种基于vr移动端技术的教学系统及其运行方法
KR102035088B1 (ko) 스토리텔링 기반 멀티미디어 무인 원격 1:1 맞춤형 교육시스템
CN117055724A (zh) 虚拟教学场景中生成式教学资源系统及其工作方法
CN110852073A (zh) 一种为用户定制学习内容的语言学习系统及学习方法
Kohnke Using technology to design ESL/EFL microlearning activities
Pan et al. Application of virtual reality in English teaching
Uppoor et al. Interactive language learning with vr and nlp assistance
Seo et al. Development of Virtual Reality SBIRT Skill Training with Conversational AI in Nursing Education
Healey et al. Explicit embodiment of narrative worlds: a case study of student-teacher concept-led grammar conferencing for writing
US20230368690A1 (en) Mobile application for generating and viewing video clips in different languages
KR102395702B1 (ko) 문장을 이루는 단위를 단계별 확장하여 스텝화한 영어 교육 서비스 제공 방법
CN101739852A (zh) 基于语音识别的实现自动口译训练的方法和装置
WO2022130109A1 (en) A hyper-personalized interactive learning system and its method of operation thereof
AU2018102139A4 (en) Advanced Learning System
AlQallaf Development of a Web-based Unified Arabic/American Sign Language Bilingual Dictionary.
CN111461153B (zh) 人群特征深度学习方法
Griol et al. A multimodal conversational agent for personalized language learning
Farkhadov et al. How a Multilingual Remote Teaching System Can Take into Account the Specifics of National Education

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210622