CN112313726A - 通过多媒体教学语言的方法和系统 - Google Patents

Abstract

所述主题公开了一种语言教学系统，其使多媒体内容适应观看者的知识水平。根据一些实施方案，所述系统在翻译所教导的单词的同时自动地使特定的多媒体内容的字幕适应观看者的知识。所述方法包括从多媒体内容的字幕接收用于学习外语的请求。

Description

通过多媒体教学语言的方法和系统

相关申请的交叉引用

本申请要求美国第62/686,038号临时专利申请的优先权，其于2018年6月7日递交，题为“Method and System for Teaching Language Via Multimedia Content(通过多媒体内容进行语言教学的方法和系统)”，其全部内容在此通过引证全部并入本文。

发明领域

本申请总体上涉及的是多媒体内容，尤其涉及用于翻译多媒体内容的音频的字幕。

发明背景

很多人对学习一门新语言感兴趣，用一种不需要付出努力或金钱的方式来练习一门语言。但是，他们很难进入一个充满情感和享受的项目。然而，这个市场提供了各种各样的应用程序，以及不同的语言学习学校。

发明内容

术语多媒体(multimedia)在本文中指的是文本、图标视频和音频。所述的多媒体可以通过网络(互联网)按需播放或正常播放。

术语母语(native language)在本文中指的是字幕呈现给用户的语言。所述母语通常是用户的母语。

术语外语(foreign language)在本文中指的是词语被翻译成的语言。所述外语通常是用户希望学习的语言。

本申请公开的主题的一个示例性实施方案是一种语言教学系统，其使用多媒体内容(例如TV节目)并使多媒体内容自动适应观看者的知识水平。

根据一些实施方案，所述系统在翻译所教导的词语时自动调整特定多媒体内容的字幕以适合观看者的知识。字幕中没有教导的单词不会改变。

初始时，所述系统可以通过分配测试来测试观看者对所选语言的知识水平。然后，所述系统检测出需要播放给观众的字幕和脚本的级别。一种适合观看者水平和观看偏好的个性化节目。

根据一些实施方案，所述系统改善了阅读和听力理解。通常情况下，系统的用户首先本能地以自己的母语转向文本，因为这样更易于阅读。然后，用户通常将其与多媒体内容中所说的内容进行比较。慢慢地，观看者开始阅读所学的语言，从而加强他的阅读理解能力。因此，文本支持更容易带来更多的听力理解。人们倾向于进行不需要太多努力的活动，因此听比阅读容易，因此他们更喜欢听，这也是本发明的实施方案的目的。根据一些实施方案，所述系统利用用户观看多媒体内容所花费的时间作为学习语言的平台。

本申请公开的主题的一个示例性实施方案是一种方法，所述方法包括：接收来自多媒体内容的字幕的学习外语的请求；所述请求包括学习的级别或类别；从所述字幕中选择与级别或类别相关联的单词或习语(word or idiom)；将所述单词或习语与字典文件中的对应词条相关联；其中对应的词条包括所述单词或习语到外语的翻译；将字幕的第一部分复制到阵列中；在字幕中，所述单词或成语在所述第一部分之前；将所述单词或成语复制到所述阵列中与所述第一部分相邻；将翻译复制到所述阵列中与所述单词或习语相邻；将字幕的第二部分复制到所述阵列中与所述字幕的所述单词或习语相邻；将定时与所述阵列相关联；所述定时是用于在播放所述多媒体内容时在定时中将所述阵列作为字幕播放。根据一些实施方案，所述方法进一步包括提供所述阵列作为可播放文件，用于在播放多媒体内容的同时播放字幕。根据一些实施方案，字幕的语言方向与外语的方向相反，并且还包括字幕的反转字母，将字母从最后的索引移动到表示所述单词或习语必须插入句子中的位置的索引，以便将每个字母插入到连续的索引中，并插入单词或习语；将与所述单词或习语连续的字母插入所述阵列并反转阵列中的字母；其中，所述反转是根据标准文字处理反转程序进行的。

根据一些实施方案，所述方法进一步包括将颜色与所述单词或习语相关联，以用颜色表示所述单词或习语。根据一些实施方案，所述单词或习语的翻译包括多种含义，并且其中所述方法还包括接收外语字幕，其中所述外语字幕对应于所述字幕，其中所述外语字幕使用所述外国语言，从所述外语字幕中识别外语单词或习语，所述外语单词或习语对应于所述单词或习语，并从所述多种含义中选择外语单词或习语的一种含义。

所公开的主题的另一示例性实施方案是至少一种非暂时性计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作，包括：接收来自多媒体内容的字幕的学习外语的请求；所述请求包括学习的级别或类别；从字幕中选择与所述级别或类别相关联的单词或习语；将所述单词或习语与字典文件中的对应词条相关联；其中对应的词条包括将所述单词或习语翻译成外语；将所述字幕的第一部分复制到阵列中；在所述字幕中，所述第一部分在所述单词或习语之前；将所述单词或习语复制到所述阵列中与所述第一部分相邻；将翻译复制到所述阵列中与所述单词或习语相邻；将所述字幕的第二部分复制到与所述阵列中与字幕中的所述单词或习语相邻，并将定时与所述阵列相关联；所述定时是用于在播放多媒体内容时在定时中将所述阵列作为字幕播放。

附图说明

通过以下结合附图的详细描述，将更充分地理解和了解本申请公开的主题，在附图中，对应或相似的数字或字符表示对应或相似的组件。除非另有说明，所述附图提供本申请公开的示例性实施方案或方面，并且不限制本申请公开的范围。在所述附图中：

图1示出了根据本申请公开主题的一些实施方案的用于通过多媒体内容进行语言教学的方法的流程图；

图2示出了根据本申请公开主题的一些实施方案的用于通过多媒体内容进行语言教学的系统适合用户的电视节目的示例性屏幕截图；

图3示出了根据本申请公开主题的一些实施方案的用于通过多媒体内容进行语言教学的系统适合于用户的电视节目的示例性第二屏幕截图；

图4示出了根据本申请公开主题的一些实施方案的使用系统通过多媒体内容进行语言教学的场景；

图5示出了根据本申请公开主题的一些实施方案的示例性词典文件的示意性框图；

图6示出了根据本申请公开主题的一些实施方案的翻译文件的示意框图；

图7示出了根据本申请公开主题的一些实施方案的用于构建双语文件的方法的流程图；

图8示出了根据本申请公开主题的一些实施方案的用于构建可播放文件的方法的流程图；以及

图9示出了生成可播放文件以及在包括具有不同方向的语言的单词的句子中排列字母的位置的方法的流程图。

具体实施方式

图1示出了根据本申请公开主题的一些实施方案的用于通过多媒体内容来教授语言的系统的框图。所述系统包括服务器101、媒体广播设备102。所述服务器101包括用于生成多媒体内容的字幕的算法。所述算法根据观看者的知识为每个观看者生成唯一的字幕。所述服务器101包含根据词汇划分到特定语言的知识水平的测试的教学数据库。

所述媒体广播设备102包括多媒体内容和常规脚本翻译。所述媒体广播设备102可以是有线电视、卫星电视、计算机、平板电脑等。作为连接方法，所述媒体广播设备102促进观看者和系统服务器之间的连接，使观看者可以超出测试范围和唯一的字幕。所述服务器101根据用户已经执行的测试结果，通过媒体广播设备102向观看者反馈适合观看者的唯一字幕。媒体广播设备102将媒体内容和唯一字幕同步回到观看者以进行观看和学习。观看者通过媒体广播设备102与服务器101通信，部分参加测试并通过接收到期望的多媒体内容上的唯一的经操纵的字幕来学习选择的语言。

图2示出了根据本申请公开主题的一些实施方案的用于通过多媒体内容进行语言教学的系统适合用户的电视节目的示例性屏幕截图。

所述屏幕截图显示了场景200。屏幕截图包括字幕201和翻译的单词202。字幕201包括以一种颜色显示的单词和以第二种颜色显示的单词(图中未示出)。以第二种颜色显示的单词是系统选择作为需要翻译的单词。在示例性屏幕截图200中，翻译的单词202是西班牙语单词，用于使讲英语的人能够提高其西班牙语。

图3示出了根据本申请公开主题的一些实施方案的所述电视节目的示例性第二屏幕截图，所述电视节目是由所述系统通过多媒体内容进行语言教学作为测试的系统而适合于用户的。屏幕截图300包括提供给用户的测试301，用于使字幕适应用户的级别。

图4示出了根据本申请公开主题的一些实施方案的使用该系统通过多媒体内容来进行语言教学的场景。

在框400处，用户注册到所述系统，以便通过多媒体内容进行语言教学。通过使用媒体广播进行注册。用户控制媒体广播进入系统，选择自己想要学习的语言和所需的媒体内容。

在框405，用户执行测试。

在框410，系统根据测试结果设置用户在目标语言中的说教级别。

在框415处，系统将唯一字幕输入回到媒体广播，所述媒体广播将媒体内容与唯一字幕同步，并将同步的内容显示给观看者。

在框420处，观看者观看具有适合于观看者个人的唯一字幕的所选媒体内容。

在框425处，系统研究观看者对自己偏好的媒体节目的偏好以及观看者的学习模式。所述系统保存并检查观看者选择的媒体内容以及测试结果，以便能够预测观看者接下来会喜欢的媒体内容，因此系统将知道向观看者推荐类似的媒体内容，并为建议的媒体内容准备唯一的字幕。

在框430处，系统向观看者显示测试以检查观看者学习所选语言的进度。该过程返回到框405以重新调整用户的水平。

图5示出了根据本申请公开主题的一些实施方案的示例性词典文件的示意性框图。

词典文件500包括行。每行代表一个单词或一个习语。行507表示将单词串翻译成多种语言。行508表示单词hello翻译成多种语言。第509行代表peace一词翻译成多种语言。

列501代表单词或习语的级别，列502代表英语单词，列503代表希伯来语单词，列504代表西班牙语单词，列505代表单词类别。

图6示出了根据本申请公开主题的一些实施方案的翻译文件的示意框图。

根据一些实施方案，翻译的文件包括以下字段：字幕编号6011，定时6012，母语6013，外语6014和翻译表6015。

字幕编号6011包括字幕的编号。

定时6012包括与字幕相关联的多媒体中的定时(例如，以秒为单位)。

母语6013包括本族语言的字幕。

外语6014包括外国语言的字幕。

翻译表6015包括具有字幕中所有单词或习语以及单词的翻译的表。

翻译表6015包括以下字段：单词60151，第一含义60152，第二含义60153，级别60154和类别60155。

单词60151包括字幕中的单词。

第一含义60152包括所述单词的第一含义。

第二含义60153包括所述单词的第二含义(如果存在)。应该注意的是，一个单词可以包括一个或多个含义。

级别60154包括所述单词的级别。

类别60155包括所述单词的类别。

图7示出了根据本申请公开主题的一些实施方案的用于构建双语文件的方法的流程图。

根据一些实施方案，双语文件包括将某个母语文件的字幕翻译成外语。与字幕相关联的媒体内容的语言通常是外语。

双语文件被用作准备播放文件的基础。播放文件是在播放用于在翻译中呈现翻译后的单词的媒体内容时播放的文件。

在框700，系统接收母语文件和外语文件。外语文件包括以外语(通常是媒体内容播放的语言)表示的媒体内容的字幕。母语文件包括以本国语言显示的媒体内容的字幕。在一些实施方案中，如果文件的格式不是SRT(安全可靠传输)，则系统将文件转换为SRT格式。

在框705，所述系统遍历(traverse)母语文件。所述的遍历是逐字母进行的，用于识别字幕中的所有单词和习语。遍历过程将字母序列与字典文件中的习语或单词匹配。

在框710，所述系统将每个识别的单词或习语与字典文件中的对应词条相关联。可以通过从字典文件中复制对应的词条或通过指向对应的词条来进行关联。如果字典文件中没有此类词条，则系统会将识别出的单词或习语标记为未翻译。

在框715，所述系统将母语的每个字幕行与外语的字幕行相关联。可以通过从外语文件复制相应的字幕行或通过指向外语文件中的相应字幕行来进行关联。对应的字幕是同一场景的字幕。

在框720，所述系统处理被翻译成一个以上的外语单词(歧义单词)的母语单词。所述系统在相应的字幕(相同定时的字幕)中搜索歧义单词之一的出现。如果这样的单词出现在字幕中，则将该单词选作翻译单词。如果没有对应的字幕，则系统可以选择歧义词中的任意一个作为翻译词。

图8示出了根据本申请公开主题的一些实施方案的用于构建可播放文件的方法的流程图。可播放文件是用于播放多媒体内容的字幕的文件，以使母语的字幕包括将所选单词翻译成外语的翻译。所选择的单词是根据难度级别或类别来选择的。在一个实施方案中，系统为某些媒体内容的所有级别和所有类别构建可播放文件。在另一实施方案中，系统根据用户的请求来构建可播放文件；在这种情况下，用户选择他感兴趣的级别和/或类别。

当播放可播放文件时，翻译的单词(从母语翻译成外语的所选级别或类别中的单词)会嵌入到母语字幕中。

在框800处，系统遍历双语文件中的单词或习语，并且仅选择与请求的级别和/或类别以及翻译相关联的单词。(不选择没有翻译的单词或习语)系统还统计每个单词/习语在文件中的出现次数。

在框805处，所述系统检查在每个字幕行中选择的单词的数量。如果有多个单词，系统可能会删除文本中出现频率较高的单词。

在框810处，系统根据单词/习语的类型将颜色与可播放文件中的单词/习语相关联；例如，未翻译的单词或习语可能与第一种颜色(例如白色)相关联；并且翻译的单词或习语可能与第二种颜色(例如红色)相关联。在某些情况下，母语和翻译语言的句子方向不相等(例如，英语的方向是从左到右)；在这种情况下，系统会布置字母(包括翻译后的单词)的位置，以使翻译后的单词显示在与母语附近的单词相邻的位置，同时保持单词在句子中的顺序和句子的方向。

图9更为详细地说明了在句子中排列字母位置的方法，所述的句子包括具有不同方向的语言单词。

在框815，系统将附加的多媒体内容与一个或多个翻译的单词或习语相关联。附加多媒体内容可以包括翻译的单词的含义或与附加单词相关联的广告等。系统设置播放附加多媒体内容的持续时间和在屏幕上的位置。在一些实施方案中，系统利用翻译的单词的频率来调整播放附加多媒体内容的持续时间和定时；也就是说，如果一个翻译的单词与另一个翻译的单词之间的持续时间长(例如，超过10毫秒)，则系统定义用于播放第一个单词的附加多媒体的较长的持续时间(例如，6毫秒)。另外或可选地，系统可以将播放与另一个单词相关联的附加多媒体的开始时间定义为在显示另一个单词之前，使得在显示另一个翻译单词之前播放另一个单词的附加多媒体，以吸引用户的注意。

在另一个实施方案中，如果翻译的单词与另一个翻译的单词之间的持续时间短(例如，小于10毫秒)，则系统可以定义较短的持续时间(例如2毫秒)，以播放附加多媒体。

在框820，系统生成辅助可播放文件。可以根据用户的请求使用辅助可播放文件，以仅显示翻译后的单词(无字幕)。辅助可播放文件仅包括翻译后的单词和与翻译后的单词相关联的数据。

在框850，系统将级别号和/或类别号附加到可播放文件的名称和辅助可播放文件的名称。系统将可播放文件和辅助可播放文件存储在专用目录中。这样的目录被配置用于存储某种母语和某种学习语言的不同级别和类别的多媒体内容的可播放文件。

在框855，接收用于播放具有特定级别或类别的翻译的特定多媒体内容的请求。

在框860，系统从相应目录获取相应文件，生成可播放文件并播放所述的可播放文件。图9更为详细地说明了生成可播放文件的方法。

图9示出了生成可播放文件并用于在包括具有不同方向的语言的单词的句子中排列字母的位置的方法的流程图。

在某些情况下，字幕中的翻译词是一种其句子从左到右书写的语言(例如，英语)，而母语是指其句子从右到左书写的语言(例如希伯来语)，现在参考附图：

在框900处，系统识别语言的方向是从右到左(例如，希伯来语)并反转字幕中的字母。可以通过文字处理器或专用软件来执行反转。在一个实施例中，字幕中的句子中的每个字母被写入阵列的词条中，其中，每个词条与索引相关联。在此实施例中，索引1的反转词条之前包括句子的第一个字母，索引2的词条包括第二个字母，依此类推。在索引1的反转词条之后包括句子的最后一个字母，索引2的词条包括倒数第二个字母，依此类推。

在框905，系统将字母从最后一个索引移动到表示翻译后的单词必须插入句子的位置的索引，使得每个字母被插入到连续的索引中。翻译后的单词必须插入的位置可以是要翻译成母语的单词的最后一个字母的索引。

在框910，系统插入翻译的单词。在一些实施方案中，翻译的单词还包括附加符号，例如括号和空格。系统还将与单词或习语连续的字母插入阵列中。

在框915，系统通过使用标准字处理器反转过程再次反转字母。

应当注意的是，当母语和外语方向相同时，可以使用相同的过程。在这种情况下，标准的反向程序不会显示字母。在其他实施方案中，在这种情况下，系统不执行反转。

在某些情况下，为字幕的一个或多个单词分配一种颜色，以便以该颜色显示单词。在一些实施方案中，通过在单词之前插入着色命令开始着色而在单词结尾之后插入另一着色命令停止着色来执行着色。着色命令通常从左到右书写。一个问题是如何处理在不同方向的语言中插入单词，同时保持着色命令的顺序。

解决方案是仅在框915反转后才给单词着色。

应当注意的是，当使用双语文件或字典文件时，也可以使用在包括具有不同方向的语言单词的句子中排列字母的位置的方法。

附图中的流程图和框图示出了根据本发明的各个实施方案的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。在这方面，流程图或框图中的每个框可以表示程序代码的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应注意的是，在一些替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，实际上，连续显示的两个框可以基本上同时执行，或者根据所涉及的功能，有时可以以相反的顺序执行这些框。还应注意的是，框图和/或流程图说明的每个框，以及框图和/或流程图说明中的框的组合，可以由执行指定功能或动作的基于专用硬件的系统来实现，或由专用硬件和计算机指令的组合来实现。

本文所使用的术语仅用于描述特定实施方案的目的，并不旨在限制本发明。如本文所用，单数形式“一(a)”、“一个(an)”和“所述(the)”也旨在包括复数形式，除非上下文另外明确指示。还可理解的是，术语“包括(comprises)”和/或“包括(comprising)”在本说明书中使用时，规定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合。

如本领域技术人员将理解的，本申请公开的主题可以体现为系统、方法或计算机程序产品。因此，所公开的主题可以采取以下形式：完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等)或结合了软件和硬件方面的实施方案的形式，这些在本文中通常被称为“电路”、“模块”或“系统”。此外，本发明可以采取计算机程序产品的形式，所述计算机程序产品体现为在任何有形的表达介质中，所述表达介质中具有计算机可用的程序代码。

可以利用一个或多个计算机可用或计算机可读介质的任何组合。计算机可用或计算机可读介质可以是，例如但不限于，电、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更具体实施例(非详尽列表)将包括以下内容：具有一条或多条导线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CDROM)、光学存储设备、传输介质(例如支持因特网或内联网的介质)或磁存储设备。注意，计算机可用或计算机可读介质甚至可以是纸或在其上打印程序的另一种合适的介质，因为程序可以通过例如纸或其他介质的光学扫描来电子捕获，然后在必要时以适当的方式对其进行编译、解释或以其他适当方式处理，然后存储在计算机内存中。在本文的上下文中，计算机可用或计算机可读介质可以是包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备使用或与其结合使用的任何介质。计算机可用介质可以包括在基带中或作为载波的一部分传播的数据信号，其中包括计算机可用程序代码。可以使用任何适当的介质来传输计算机可用程序代码，所述介质包括但不限于无线、有线、光缆、RF等。

可以以一种或多种编程语言的任何组合来编写用于执行本发明的操作的计算机程序代码，包括面向对象的编程语言，如Java、Smalltalk、C++等，以及常规的程序设计语言，如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全在用户计算机上，部分在用户计算机上，作为独立软件包执行，部分在用户计算机上、部分在远程计算机上，或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用因特网服务提供商的因特网)。

以下权利要求中的所有装置或步骤加上功能元件的相应结构、材料、作用和等同物旨在包括用于与如具体要求保护的其他要求保护的元件组合来执行功能的任何结构、材料或作用。已经出于说明和描述的目的给出了本发明的描述，但是并不试图详尽的或将本发明限制为所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是显而易见的。选择和描述实施方案是为了最好地解释本发明的原理和实际应用，并使本领域的其他普通技术人员能够理解本发明的各种实施方案，其具有适于所设想的特定用途的各种修改。

Claims (6)

1.一种方法，所述方法包括：

从多媒体内容的字幕接收学习外语的请求；所述请求包括所述学习的级别或类别；

从所述字幕中选择与所述级别或类别相关联的单词或习语；

将所述单词或习语与字典文件中的对应词条相关联；其中所述对应词条包括将所述单词或习语翻译为所述外语；

将所述字幕的第一部分复制到阵列中；所述第一部分在所述字幕的所述单词或习语之前；

将所述单词或习语复制到所述阵列中与所述第一部分相邻；

将所述翻译复制到所述阵列中与所述单词或习语相邻；

将所述字幕的第二部分复制到所述阵列中与所述字幕的所述单词或习语相邻；

将定时与所述阵列相关联；所述定时用于在播放所述多媒体内容的同时在所述定时中播放所述阵列作为字幕。

2.根据权利要求1所述的方法，进一步包括提供所述阵列作为可播放文件，用于在播放所述多媒体内容时播放所述字幕。

3.根据权利要求1所述的方法，其中所述语言的方向与所述外语的方向相反，并且进一步包括反转所述字幕的字母，将所述字母从最后索引移动到表示必须在句子中插入所述单词或习语的位置的索引，使得每个字母被插入到连续的索引中，插入所述单词或习语；将与所述单词或习语连续的字母插入所述阵列并将所述阵列中的字母反转；其中所述反转是根据标准单词处理反转程序进行的。

4.根据权利要求1所述的方法，进一步包括将颜色与所述单词或习语相关联，以用所述颜色呈现所述单词或习语。

5.根据权利要求1所述的方法，其中所述单词或习语的所述翻译包括多种含义，并且其中，所述方法进一步包括接收外语字幕，其中所述外语字幕对应于所述字幕，其中所述外语字幕为所述外国语言，识别来自所述外语字幕的外国单词或外国习语，所述外国单词或外国习语对应于所述单词或习语，并从所述多种含义中选择一种所述外国单词或外国习语的含义。

6.至少一种非暂时性计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，所述一个或多个处理器执行以下操作：

从多媒体内容的字幕接收学习外语的请求；所述请求包括所述学习的级别或类别；

从所述字幕中选择与所述级别或类别相关联的单词或习语；

将所述单词或习语与字典文件中的对应词条相关联；其中所述对应词条包括将所述单词或习语翻译成所述外语；

将所述字幕的第一部分复制到阵列中；所述第一部分在所述字幕中的所述单词或习语之前；

将所述单词或习语复制到所述阵列中与所述第一部分相邻；

将所述翻译复制到所述阵列中与所述单词或习语相邻；

将所述字幕的第二部分复制到所述阵列中与所述字幕中的所述单词或习语相邻；

将定时与所述阵列相关联；所述定时用于在播放所述多媒体内容的同时在所述定时中播放所述阵列作为字幕。

Images