JP2020016880A - Dynamic-story-oriented digital language education method and system - Google Patents
Dynamic-story-oriented digital language education method and system Download PDFInfo
- Publication number
- JP2020016880A JP2020016880A JP2019128290A JP2019128290A JP2020016880A JP 2020016880 A JP2020016880 A JP 2020016880A JP 2019128290 A JP2019128290 A JP 2019128290A JP 2019128290 A JP2019128290 A JP 2019128290A JP 2020016880 A JP2020016880 A JP 2020016880A
- Authority
- JP
- Japan
- Prior art keywords
- lesson
- story
- script
- digital
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013515 script Methods 0.000 claims abstract description 69
- 238000011156 evaluation Methods 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims description 52
- 239000000463 material Substances 0.000 claims description 41
- 230000008921 facial expression Effects 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 20
- 230000014616 translation Effects 0.000 claims description 20
- 230000014509 gene expression Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000033764 rhythmic process Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 235000015278 beef Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013077 scoring method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 206010061991 Grimacing Diseases 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明はデジタル教育方法及びシステムに属し、特に学習者の音声学習に対して情報を応答し、ダイナミックにデジタル言語授業脚本の授業ストーリーを調整する方法及びシステムに関するものである。 The present invention relates to a digital teaching method and system, and more particularly to a method and system for responding information to a learner's voice learning and dynamically adjusting a lesson story of a digital language lesson script.
現在、市場では様々なデジタル学習教材があり、例えば、デジタル学習プラットフォームは、塾や大学・短期大学等の教師の授業を撮影して、インターネットにアップロードし、学生たちに有料又は無料でダウンロードさせて視聴させ、または、デジタル学習教材の業者が学校のコースに応じて、専門の先生にデジタル学習ビデオを作成してもらって販売する。 Currently, there are various digital learning materials in the market. For example, digital learning platform shoots classes of teachers such as cram schools and colleges and junior colleges, uploads them to the Internet, and allows students to download them for free or paid. Watch the video, or sell the digital learning materials to a professional teacher to create a digital learning video according to the school course.
また、他の例として、例えば、デジタル学習システムは、デジタル学習教材の業者により編集された教材に基づいて、各種のデジタルグッズ、例えば、バーチャル電子ホワイトボード、バーチャル（ロボット）教師、音声、文字、図面及びビデオ等を利用することによって、デジタル学習システムを作る。従って、学生は授業で学習する以外、放課後でも上記のデジタル学習教材またはデジタル学習システムのいずれか一つを利用して、学習や復習することができる。 Further, as another example, for example, a digital learning system may use various digital goods, for example, a virtual electronic whiteboard, a virtual (robot) teacher, voice, text, Create a digital learning system by using drawings and videos. Therefore, the student can use any one of the above-described digital learning materials or digital learning systems to study and review after school, in addition to learning in class.
多くの業者は上記のデジタル学習システムについて、多数の特許を出願している。例えば、特許文献１には、インターフェース・モジュールを利用して、デジタル学習内容を編集する方法が記載されている。また、特許文献２には、テキストファイルを利用して、自動的に画面に表示される内容を創作することが記載されている。さらに、特許文献３には、コースウエアの材料を利用して、コースウエアの各章の内容及び学習プロセスに応じて、対応するコースウエアのエージェントプログラムを作成することが記載されている。 Many vendors have filed numerous patents for the digital learning systems described above. For example, Patent Literature 1 discloses a method of editing digital learning content using an interface module. Patent Document 2 describes that a text file is used to automatically create contents to be displayed on a screen. Further, Patent Literature 3 describes that, using materials of courseware, an agent program of the corresponding courseware is created according to the contents of each chapter of the courseware and the learning process.
また、業者は幾つかの交流及びダイナミックなデジタル教育システムを開発している。例えば、イスラエルの認知構築タイミング会社（Ｔｉｍｅ ｔｏ Ｋｎｏｗ Ｌｔｄ．）の米国特許第９６２６８７５号公報（特許文献４）には、学生たちが教育システムの中での交流に基づいて、学生たちを異なる学習のグループに分けて、学習の内容を各学習のグループに分配し、ダイナミックに再組立可能な学習内容を教育者に提供するデジタル学習システムが記載されている。また、特許文献５には、ユーザーがテンプレートでデジタル学習の種類及びユーザーが記入した情報に基づいて、メタデータがデジタル授業内容を生成することが記載されている。 Merchants have also developed several social and dynamic digital education systems. For example, U.S. Pat. No. 9,626,875 to Israel's Cognitive Construction Timing Company (Time to Know Ltd.) states that students can use different learning strategies based on interaction within an education system. A digital learning system is described which divides learning contents into groups and distributes the learning contents to each learning group and provides educators with dynamically reassembled learning contents. Patent Document 5 describes that metadata generates digital lesson contents based on the type of digital learning and information entered by the user using a template.
しかし、上記のデジタル学習教材またはデジタル学習システムは、一方的直線的にデジタル学習教材を放送するだけで、従来の授業のように、教師と学生が授業中で交流することにより、教師は学生の学習結果に応じて授業内容を随時調整することができない。
例えば、従来の授業では、教師は教材（例えば、教科書またはプレゼンテーション）を用いて授業を行い、学生が教師から教授された知識を受け入れ、教師が学生の学習状況を把握するため、授業中に学生に質問し、もし学生が正確に答えられない場合、学生がまだ今の授業内容を理解できていないことを知覚し、現在の授業内容を調整する。例えば、教師は既に教えた内容を復習し、または、学生がさらに授業内容を理解できるように、他の内容を補充する。
However, the above-mentioned digital learning materials or digital learning systems only unilaterally broadcast the digital learning materials in a unilateral manner. Class content cannot be adjusted at any time according to the learning result.
For example, in traditional classes, teachers use teaching materials (eg, textbooks or presentations) to teach classes, students accept the knowledge taught by the teachers, and the teachers understand the student's learning situation. If the student does not answer correctly, they perceive that the student has not yet understood the content of the current lesson, and adjust the content of the current lesson. For example, the teacher reviews what has already been taught, or supplements other content so that the student can better understand the lesson content.
また、上記の特許文献に記載された技術方案は、教育者（即ち教師）は、学生の学習状況に応じて、デジタル学習内容をダイナミックに調整させるため、デジタル学習システムに報告を提出する、または、システムの管理をする必要がある。しかも、学生がシステムに各種の音声のフィードバック（例えば音声による真偽問題、選択式の問題、問答式の問題、絵を見て答える問題及び翻訳問題などの返答）することより、デジタル学習システムを自動的にデジタル学習内容を調整させることもできない。 In addition, the technical solution described in the above-mentioned patent document discloses that an educator (that is, a teacher) submits a report to a digital learning system in order to dynamically adjust digital learning contents according to a student's learning situation, or , You need to manage the system. In addition, the student can provide a digital learning system by giving various kinds of audio feedback (for example, vocal truth questions, multiple-choice questions, question-and-answer questions, picture-based answers, translation issues, etc.) to the system. Neither can it automatically adjust digital learning content.
言い換えれば、現在すべてのデジタル学習教材、デジタル学習システムまたは特許文献など、実際に人が授業をするように、教師が学生の反応に応じて授業を行うことができない。従って、このような問題を改善する必要がある。 In other words, teachers cannot provide lessons in response to student responses as people do in actual lessons, such as all digital learning materials, digital learning systems or patent literature. Therefore, it is necessary to improve such a problem.
本発明は上記従来技術の有する問題に鑑みて創出されたものであり、上記の課題を解決する為、本発明は、学生がデジタル学習コースを使用しているとき、学生の音声反応に応じてダイナミックに適切な授業内容を提供することができることによって、実際の人が授業を行っているように学生に感じさせるダイナミックストーリー指向のデジタル言語教育方法を提供することを一つの目的とする。本また、発明のもう一つの目的は、言語教師または言語教材をデザインする人が自分でダイナミックな授業内容の授業脚本を編集することができるようにさせる。 The present invention has been created in view of the above-described problems of the related art, and in order to solve the above-described problems, the present invention provides a method for responding to a student's voice response when the student uses a digital learning course. An object of the present invention is to provide a dynamic story-oriented digital language teaching method that makes it possible for students to feel that real people are conducting a class by being able to provide dynamically appropriate class contents. Another object of the present invention is to allow a language teacher or a person designing a language teaching material to edit a class script of a dynamic class content by himself.
本発明の一つの目的に基づいて、提供側に応用する以下の工程を含むダイナミックストーリー指向のデジタル言語教育方法を提供する。提供側が、学習側で選択された事前に提供側で編集されたデジタル授業コースの一つを実行する情報を受信する工程と、デジタル授業コースが、授業脚本により編集され、授業脚本の基本の授業ストーリーの一つを学習側に出力する工程と、学習側から提供された異なる意味である音声評価の返答情報に基づいて、基本の授業ストーリーの一つに続ける工程である。従って、学習者は、学習側で自分の学習状況に応じて異なる授業内容を学習することによって、実際の人が授業を行っているように感じることができる。 According to one aspect of the present invention, there is provided a dynamic story-oriented digital language teaching method including the following steps applied to a provider. A step in which the provider receives information for executing one of the digital lesson courses previously edited on the provider side selected by the learning side, and the digital lesson course is edited by the lesson script, and the basic lesson of the lesson script is performed. This is a step of outputting one of the stories to the learning side, and a step of continuing to one of the basic lesson stories based on the response information of the voice evaluation, which has a different meaning, provided from the learning side. Therefore, the learner can feel as if an actual person is conducting a lesson by learning different lesson contents according to his / her learning situation on the learning side.
また、基本の授業ストーリーは、授業内容に使われる文字、翻訳、音、画像、映像、動画、及びバーチャル教師の動画、口型、表情、手振り等の授業材料である脚本情報を含む。 The basic lesson story includes script information that is used as lesson materials such as characters, translations, sounds, images, videos, moving images, and moving images, mouth shapes, facial expressions, and hand gestures of virtual teachers used in the contents of the lesson.
また、ストーリー変動条件は、異なる意味である音声評価の返答情報を受信したとき、授業脚本はどちらの基本の授業ストーリーに続けたら、バーチャル教師が脚本情報に基づいて表情、手振りまたは話し言葉の応答等を表現できるのを示す。 Also, the story variation condition is that when the response information of the voice evaluation, which has a different meaning, is received, the lesson script follows either of the basic lesson stories, and the virtual teacher responds to the expression, hand gesture or spoken language based on the script information. Can be expressed.
また、音声評価の返答情報は、異なる意味である音声返答、または学習側での音声返答の品質が異なるレベルになっていること、または音声で真偽問題、選択式の問題、問答式の問題、絵を見て答える問題及び翻訳問題を返答するなどを含む。 In addition, the response information of the voice evaluation indicates that the quality of the voice response that has a different meaning or the voice response on the learning side is at a different level, or that the voice is a true / false question, a multiple choice question, or a question and answer question. , Answering questions with looking at pictures and answering translation issues.
ストーリー変動条件は、条件付き分岐命令、ループ命令、確率変数等を利用してどちらの基本の授業ストーリーの一つに続けるのかを決める。 The story variation condition determines which of the basic lesson stories to continue with using a conditional branch instruction, a loop instruction, a random variable, or the like.
本発明のもう一つの目的に基づいて、提供側は、授業編集ユニットを更に含む。言語教師または言語教材をデザインする人は、編集側または提供側で授業編集ユニットを用いて授業脚本を編集する及び授業脚本をデジタル授業コースに転換することができる。 According to another object of the present invention, the provider further includes a lesson editing unit. A language teacher or a person who designs language teaching materials can edit a lesson script using a lesson editing unit and convert the lesson script into a digital lesson course on the editor side or the provider side.
また、デジタル授業コースは提供側に保存され、かつ前記の転換過程は、デジタル授業コースが実行された時、脚本情報によってデータベースユニットの中から必要な授業材料を取り出すことができる。 In addition, the digital lesson course is stored in the provider, and the conversion process can extract necessary lesson materials from the database unit based on the script information when the digital lesson course is executed.
また、授業脚本をデジタル授業コースに転換している時に、自然言語構文解析の技術により、バーチャル教師が言う言葉の文字及び声の内容をダイナミックに分析して、適切なバーチャル教師の動画、口型、表情、手振りなどの授業材料をデジタル授業コースに追加する。 In addition, when converting a script to a digital lesson course, the technology of natural language parsing dynamically analyzes the letters and voices of the words spoken by the virtual teacher, and provides appropriate virtual teacher videos and mouth shapes. Add lesson materials such as expressions, gestures, and gestures to digital lesson courses.
本発明によれば、以下の一つまたは複数の効果を有する。
（１）学習者は、学習側で提供側が提供したデジタル授業コースを選択して、且つ提供側は、学習者が学習側による音声評価の返答情報に基づいて、表示させる次の基本の授業ストーリーをダイナミックに決定することによって、学習者が実際の人が授業を行っているように感じることができる。
（２）言語教師または言語教材をデザインする人は、編集側でネットワークを経由して提供側に接続するか、または、直接に提供側で提供側が提供した授業編集ユニットを用いて、簡単に各種のデジタル授業コースを編集することができる。
（３）言語教師または言語教材をデザインする人は、授業編集ユニットを利用して、授業内容に使われる文字、翻訳、音、画像、映像、動画、及びバーチャル教師の動画、口型、表情、手振り等の授業材料を追加することができる。
（４）授業編集ユニットは、授業脚本をデジタル授業コースに転換しているとき、自動的に適切なバーチャル教師の動画、口型、表情、手振りなどの授業材料をデジタル授業コースに追加することができる。
According to the present invention, one or more of the following effects are provided.
(1) The learner selects the digital lesson course provided by the provider on the learning side, and the provider provides the following basic lesson story that the learner displays based on the response information of the voice evaluation by the learner. Is dynamically determined, the learner can feel as if a real person is conducting a lesson.
(2) The language teacher or the person designing the language teaching material can easily connect to the provider via the network on the editor side, or directly use the lesson editing unit provided by the provider on the provider side to make various Can edit digital lesson courses.
(3) A language teacher or a person who designs language teaching materials can use the class editing unit to write letters, translations, sounds, images, videos, videos, and virtual teacher videos, mouth shapes, facial expressions, Teaching materials such as hand gestures can be added.
(4) The lesson editing unit can automatically add appropriate virtual teacher videos, mouth shapes, facial expressions, and hand gestures to the digital lesson course when converting the lesson script to the digital lesson course. it can.
［実施例］
図１〜図３に示すように、本発明はダイナミックストーリー指向のデジタル言語教育方法に関するものであり、提供側１と、編集側２と、学習側３との間に応用する。
提供側１は、ネットワークサーバーまたはコンピューターなどがネットワークを経由してリモート接続する第１電子装置である。提供側１にはダイナミックストーリー指向のデジタル言語教育システムが設けられていて、授業編集ユニット１０と、データベースユニット１２と、コース実行ユニット１４とを含む。また、授業編集ユニット１０は、プログラミング言語により作成され、データベースユニット１２は、デジタル授業に使われる文字、翻訳、音、画像、映像、動画、及びバーチャル教師の動画、口型、表情、手振り等の授業材料を保存する。前記の授業材料はデジタルグッズの方式でデータベースユニット１２に保存されていて、例えば、音は、実際の人の録音ファイルまたは機械による音声合成で作成された音声ファイル（例えばＭＰ３フォーマットのファイル）である。さらに、画像、映像及び動画は対応するファイル、例えば、ｊｐｇ、ｐｎｇフォーマットのデジタル画像ファイル、ｍｏｖフォーマットのデジタル映像ファイルまたはｇｉｆフォーマットのデジタル動画ファイル。
[Example]
As shown in FIGS. 1 to 3, the present invention relates to a dynamic story-oriented digital language teaching method, and is applied between a providing side 1, an editing side 2, and a learning side 3.
The providing side 1 is a first electronic device to which a network server or a computer is remotely connected via a network. The provider 1 is provided with a dynamic story-oriented digital language education system, and includes a lesson editing unit 10, a database unit 12, and a course execution unit 14. The lesson editing unit 10 is created in a programming language, and the database unit 12 is used for digital lectures such as characters, translations, sounds, images, videos, videos, and virtual teacher videos, mouth shapes, facial expressions, hand gestures, and the like. Save lesson materials. The teaching materials are stored in the database unit 12 in the form of digital goods, and the sound is, for example, a sound recording file of an actual person or a sound file (for example, a file in MP3 format) created by speech synthesis using a machine. . Furthermore, images, videos and moving images are corresponding files, for example, digital image files in jpg, png format, digital video files in mov format, or digital moving image files in gif format.
本発明では、言語教師または言語教材をデザインする人（略称：編集者）は、編集側２でネットワークを経由して提供側１に接続する、または、直接に提供側１で授業編集ユニット１０を用いて、少なくとも一つの授業脚本を編集作成する。
授業脚本には、複数の基本の授業ストーリー及び複数のストーリー変動条件を含み、且つ授業脚本はデータベースユニット１２に保存されることができる。また、基本の授業ストーリーは、授業内容に使われる文字、翻訳、音、画像、映像、動画、及びバーチャル教師の動画、口型、表情、手振りなどの授業材料である脚本情報が保存されている。さらに、各授業脚本は、データベースユニット１２に保存されることができる。
In the present invention, a language teacher or a person who designs language teaching materials (abbreviation: editor) connects the providing side 1 to the providing side 1 via the network at the editing side 2 or directly connects the class editing unit 10 at the providing side 1. Use it to edit and create at least one lesson script.
The lesson script includes a plurality of basic lesson stories and a plurality of story variation conditions, and the lesson script can be stored in the database unit 12. In addition, the basic lesson story includes script information such as characters, translations, sounds, images, videos, moving images, virtual teacher moving images, mouth shapes, facial expressions, and hand gestures used in the lesson contents. . Further, each lesson script can be stored in the database unit 12.
また、ストーリー変動条件は、異なる意味である音声評価の返答情報を受信したとき、該授業脚本はどちらの基本の授業ストーリーに続けたら、バーチャル教師が脚本情報に基づいて表情、手振りまたは話し言葉の応答等を表現できるのかを示す。さらに、音声評価の返答情報は、異なる意味である音声返答、または学習側３での学習者の音声返答の品質が異なるレベルになっていること、または学習側３での学習者が音声で真偽問題、選択式の問題、問答式の問題、絵を見て答える問題及び翻訳問題を返答するなどを含み、及び条件付き分岐命令、ループ命令、確率変数等を利用してどちらの基本の授業ストーリーに続けるのかを決める。 Also, the story variation condition is that when response information of voice evaluation having different meanings is received, if the lesson script continues with either basic lesson story, the virtual teacher responds to the expression, hand gesture or spoken language based on the script information. Etc. can be expressed. Furthermore, the response information of the voice evaluation indicates that the quality of the voice response having a different meaning or the voice response of the learner on the learning side 3 is at a different level, or that the learner on the learning side 3 has a true voice. Including fake questions, multiple-choice questions, question-and-answer questions, answering pictures and answering translations, and using conditional branch instructions, loop instructions, random variables, etc. Decide whether to continue with the story.
編集側２は、ネットワークを経由して授業編集ユニット１０からの情報を受信するコンピューターまたはインターネット接続機能を有する第２電子装置である。または、編集側２は、直接に提供側１で授業編集ユニット１０を使用することができる提供側１のユーザーである。 The editing side 2 is a computer for receiving information from the class editing unit 10 via a network or a second electronic device having an Internet connection function. Alternatively, the editor 2 is a user of the provider 1 who can directly use the class editing unit 10 on the provider 1.
図４に示すように、授業編集ユニット１０は、マン・マシン・インターフェース（例えばウィンドウ・インターフェース）の形で編集側２または提供側１に表す。授業編集ユニット１０は、脚本編集部１００、音声編集部１０１、バーチャル教師画像選択部１０２、バーチャル教師応答選択部１０３、音声評価部１０４及び脚本画像映像選択部１０５などを含み、それぞれ同じのマン・マシン・インターフェースで異なる枠またはボタンで表す。また、編集者が脚本編集部１００を用いて授業内容の脚本情報を編集する方法は、一般のプログラミング言語を作るのと同様であり、本発明者らは各種の構文を編集する機能を編集者に参考として説明する。 As shown in FIG. 4, the lesson editing unit 10 is represented to the editing side 2 or the providing side 1 in the form of a man-machine interface (for example, a window interface). The lesson editing unit 10 includes a script editing unit 100, an audio editing unit 101, a virtual teacher image selecting unit 102, a virtual teacher response selecting unit 103, an audio evaluating unit 104, a script image image selecting unit 105, and the like. Represented by a different frame or button on the machine interface. In addition, the method by which the editor edits the script information of the lesson contents using the script editing unit 100 is the same as creating a general programming language, and the present inventors provide the editor with the function of editing various syntaxes. This will be described for reference.
また、音声編集部１０１、バーチャル教師画像選択部１０２、バーチャル教師応答選択部１０３、音声評価部１０４、脚本画像映像選択部１０５及び翻訳編集部１０６などは、それぞれ逐次的にデータベースユニット１２に事前保存された音声ファイル、バーチャル教師の役割画像、バーチャル教師応答（例えば学習者を褒める）の動画、口型、表情及び手振り、学生応答の音声評価条件、画像映像及び言語翻訳編集などの授業材料の代表的な構文を編集者に提供して選択させ、編集者が授業材料を脚本編集部１００の脚本情報に簡単に追加することができる。また、コース紹介編集部１０７は編集者に提供されてコース名称、紹介または備考の記入欄などを記入させる。コース名称、紹介または備考は、脚本情報と一緒に授業脚本の内容として保存される。 The audio editing unit 101, the virtual teacher image selection unit 102, the virtual teacher response selection unit 103, the audio evaluation unit 104, the script image image selection unit 105, the translation editing unit 106, and the like are sequentially pre-stored in the database unit 12 sequentially. Represented lesson materials such as audio files, virtual teacher role images, videos of virtual teacher responses (for example, complimenting learners), mouth shapes, facial expressions and hand gestures, student response audio evaluation conditions, image video and language translation editing The editor can provide the editor with a basic syntax for selection, and the editor can easily add lesson materials to the script information of the script editor 100. Also, the course introduction editing unit 107 is provided to the editor and allows the editor to fill in the entry fields for the course name, introduction or remarks. The course name, introduction or remarks are saved as the contents of the lesson script together with the script information.
さらに、編集者は、授業脚本を完成した後、授業編集ユニット１０に設けられた編集ボタン１０８を利用して転換を行い、学習側３が受信及び利用できるデジタル授業コースが作成され、且つデジタル授業コースを提供側１のデータベースユニット１２に保存する。
前記転換過程は、デジタル授業コースが脚本情報の代表的な構文に基づいてデータベースユニット１２にある必要な授業材料を取得させることができる。また、編集者は、授業編集ユニット１０がマン・マシン・インターフェースに設けられた保存ボタン１０９を用いて、現在脚本編集部１００にある脚本情報を保存することができる。さらに、授業編集ユニット１０であるマン・マシン・インターフェースには、実行ボタン１１０が設けられており、編集者が実行ボタン１１０を押した際、進行中の編集されている授業脚本が検査され、編集者に編集結果を閲覧させることができる。
Further, after completing the script of the lesson, the editor uses the edit button 108 provided in the lesson editing unit 10 to make a conversion, and a digital lesson course that can be received and used by the learning side 3 is created. The course is stored in the database unit 12 of the provider 1.
In the conversion process, the digital lesson course can acquire necessary lesson materials in the database unit 12 based on a typical syntax of the script information. Further, the editor can save the script information currently in the script editing unit 100 by using the save button 109 provided on the man-machine interface by the lesson editing unit 10. Further, the man-machine interface as the class editing unit 10 is provided with an execution button 110. When the editor presses the execution button 110, the lesson script being edited is inspected and edited. Can view the edited result.
さらに、授業内容に使われる文字、翻訳、音、画像、映像、動画、及びバーチャル教師の動画、口型、表情及び手振りなどの授業材料は、それぞれに番号、ネットワークアドレスまたはコードの代表的な構文に差し替えられるため、デジタル授業コースの容量が抑えられている。
デジタル授業コースが行われるとき、提供側１は、番号、ネットワークアドレスまたはコードを利用して、データベースユニット１２の中から授業材料を取り出して学習側３に送信して出力する。例えば、バーチャル教師の役割画像の代表的な構文を、「バーチャル男性教師Ａ」、「バーチャル男性教師Ｂ」、「バーチャル女性教師Ａ」及び「バーチャル女性教師Ｂ」などのコードに差し替えることができる。また、学習側３を褒める声の代表的な構文を、「１００点の褒め言葉」、「９０点以上の褒め言葉」、「８０点以上の褒め言葉」などのコードに差し替えることができる。また、バーチャル教師各種の表情の代表的な構文を、「笑顔」、「賞賛」、「しかめ面」、「頭を振る」、「傾聴」などのコードに差し替えることができる。さらに、よく使われる授業ストーリーの代表的な構文を、「子音ＴＨの発音方法を解釈する」、「英語の代名詞の使い方を解釈する」、「中華言語の４つの音の意味を解釈する」などのコードに差し替えることができる。
In addition, the text, translations, sounds, images, videos, and videos used in the lesson content, and the lesson materials such as the videos, mouth shapes, facial expressions, and hand gestures of the virtual teacher are each represented by a number, a network address, or a typical syntax of codes. The capacity of digital courses has been reduced.
When the digital lesson course is performed, the provider 1 takes out the lesson materials from the database unit 12 using the number, the network address or the code, transmits the lesson materials to the learning side 3, and outputs it. For example, the representative syntax of the role teacher's role image can be replaced with codes such as “virtual male teacher A”, “virtual male teacher B”, “virtual female teacher A”, and “virtual female teacher B”. In addition, the typical syntax of a voice praising the learning side 3 can be replaced with a code such as “100 points of praise”, “90 points or more of praise”, “80 points or more of praise”. In addition, the typical syntax of the expressions of the various virtual teachers can be replaced with codes such as "smile", "praise", "grimacing", "shake your head", and "listen". In addition, the typical syntax of frequently used lesson stories is "interpreting the pronunciation of consonant TH", "interpreting the usage of English pronouns", "interpreting the meaning of the four sounds of Chinese language", etc. Can be replaced with the following code:
本発明では、さらに、前記の転換が行われている時、バーチャル教師が言う言葉の文字及び声の内容をダイナミックに分析して、適切なバーチャル教師の口型、表情及び手振りの表情動画の代表的な構文をデジタル授業コースに追加することができる。そうすると、デジタル授業コースが行われるとき、バーチャル教師が声の内容に対応する正確な発音の口型、及び声の内容に対応する表情及び手振りをすることができる。 According to the present invention, furthermore, when the conversion is performed, the character and the voice of the words spoken by the virtual teacher are dynamically analyzed, and the representative virtual teacher's mouth shape, facial expression and hand gesture facial expression animation are represented. Lexical syntax can be added to digital lesson courses. Then, when the digital lesson course is performed, the virtual teacher can make an accurate pronunciation type corresponding to the content of the voice and an expression and hand gesture corresponding to the content of the voice.
例えば、編集者は授業編集ユニット１０を用いて、バーチャル教師が話すときに出して欲しい表情または手振りを指定することができ、特に限定されないが、例えば、「笑顔」、「賞賛」、「どうぞ」、「私」、「私達」、「黒板を見てください」などが挙げられる。さらに、授業編集ユニット１０は、編集が行われているとき、この文章の長さ、発音、音調、リズム、アクセントなどの情報を分析し、自動的にこの文章に適切する表情または手振りの代表的な構文をデジタル授業コースに追加することができる。例えば、バーチャル教師がこの言葉を言い始めた後、どのような時点で、その頭、目、眉毛、唇、両手は何処の位置や角度などに置けば良いのかの動画映像情報である。 For example, the editor can use the lesson editing unit 10 to specify the facial expression or hand gesture that the virtual teacher wants to give when speaking, and is not particularly limited, for example, “smile”, “praise”, “please” , "I", "we", "look at the blackboard". Further, the lesson editing unit 10 analyzes information such as the length, pronunciation, tone, rhythm, and accent of the sentence when editing is being performed, and automatically displays a representative expression or hand gesture suitable for the sentence. Simple syntax can be added to digital lesson courses. For example, it is moving picture image information at what point after the virtual teacher starts to say this word, where the head, eyes, eyebrows, lips, and both hands should be placed and at what angle.
前記の文章分析は、「自然言語構文解析」（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐａｒｓｉｎｇ）の技術及び「センチメント分析」（Ｓｅｎｔｉｍｅｎｔ Ａｎａｌｙｓｉｓ）などの自然言語処理技術（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、略称ＮＬＰ）であり、バーチャル教師の言葉の感情を分析や発見する。例えば、言葉がポジティブで、励ましの言葉だと分析された場合、授業編集ユニット１０は、自動的にバーチャル教師の「笑顔」である表情の代表的な構文を生成し、学習側３がこの言葉を実行したとき、たとえ編集側２が笑顔の表情を編集してなかったとしても、バーチャル教師も笑顔の表情を表現する。
「自然言語構文解析」の技術に関して、アメリカのスタンフォード大学により公開発表された「Ｔｈｅ Ｓｔａｎｆｏｒｄ Ｐａｒｓｅｒ」、及びアメリカのカリフォルニア大学バークレー校により公開発表された「Ｔｈｅ Ｂｅｒｋｅｌｅｙ Ｐａｒｓｅｒ」などの構文解析ツールを参考することができる。また、「センチメント分析」の技術に関して、文献の「Ｐｅｔｅｒ Ｔｕｒｎｅｙ． Ｔｈｕｍｂｓ Ｕｐ ｏｒ Ｔｈｕｍｂｓ Ｄｏｗｎ？ Ｓｅｍａｎｔｉｃ Ｏｒｉｅｎｔａｔｉｏｎ Ａｐｐｌｉｅｄ ｔｏ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｒｅｖｉｅｗｓ． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ： ４１７-４２４． ２００２．」を参考することができる。
The sentence analysis is a natural language processing technology (Natural Language Processing, abbreviated as NLP) such as a technology of "Natural Language Parsing" and a technology of "Sentiment Analysis" (Sentiment Analysis). Analyze and discover your emotions. For example, if a word is analyzed as positive and encouragement, the lesson editing unit 10 automatically generates a representative syntax for the expression that is the “smile” of the virtual teacher, and the learning side 3 uses this word. Is executed, even if the editor 2 has not edited the smiley expression, the virtual teacher also expresses the smiley expression.
Refer to parsing tools such as "The Stanford Parser" published by Stanford University in the United States and "The Berkeley Parser" published by the University of California, Berkeley in the United States for "natural language parsing" technology. be able to. In addition, regarding the technique of “sentiment analysis”, the literature “Peter Turney. Thumbs Up or Thumbs Down? be able to.
図５及び図６に示すように、本発明では、学習側３はデスクトップコンピューター、ノートパソコン、スマートフォンまたはタブレットなどインターネット接続機能を有する第３電子装置であり、ネットワークを経由して提供側１に接続する。提供側１はコース実行ユニット１４を用いて、デジタル学習インターフェース３０が必要の内容を学習側３に提供する。
デジタル学習インターフェース３０には、少なくとも一つのデジタル授業コースが設けられており、学習側３の学習者に提供して選択させる。また、デジタル学習インターフェース３０はウェブインターフェースであり、学習側３がウェブブラウザーによって提供側１に接続され、コース実行ユニット１４によりデジタル学習インターフェース３０を学習側３に提供することができる。コース実行ユニット１４は、提供側１で実行しても、または提供側１からダウンロードして学習側３で実行しても良い。
As shown in FIGS. 5 and 6, in the present invention, the learning side 3 is a third electronic device having an Internet connection function such as a desktop computer, a notebook computer, a smartphone or a tablet, and is connected to the providing side 1 via a network. I do. The providing side 1 uses the course execution unit 14 to provide the contents required by the digital learning interface 30 to the learning side 3.
The digital learning interface 30 is provided with at least one digital lesson course, which is provided to a learner on the learning side 3 for selection. The digital learning interface 30 is a web interface. The learning side 3 is connected to the providing side 1 by a web browser, and the course learning unit 14 can provide the digital learning interface 30 to the learning side 3. The course execution unit 14 may be executed by the provider 1, or may be downloaded from the provider 1 and executed by the learning side 3.
言い換えれば、学習者が学習側３が提供側１に接続された場合、コース実行ユニット１４は、デジタル学習インターフェース３０を提供し、学習側３がデジタル学習インターフェース３０のうちの一つを選択することができる。その後、コース実行ユニット１４は、選択されたデジタル授業コースに基づいて、提供側１のデータベースユニット１２から対応する授業材料を取り出して学習側３に提供し、学習側３でデジタル授業コースの内容を始めさせる。また、学習者が学習側３で出来上がった音声評価の返答情報に基づいて、コース実行ユニット１４はストーリー変動条件により、適切な表情、手振り及び言葉の応答をバーチャル教師に表現させる、または、自動的に授業脚本に編集されている適切な授業ストーリーに続けさせる。 In other words, if the learner is connected with the learning side 3 to the providing side 1, the course execution unit 14 provides the digital learning interface 30 and the learning side 3 selects one of the digital learning interfaces 30. Can be. Thereafter, based on the selected digital lesson course, the course execution unit 14 extracts the corresponding lesson material from the database unit 12 of the provider 1 and provides the lesson material to the learning side 3, and the learning side 3 displays the contents of the digital lesson course. Let it get started. Further, based on the response information of the voice evaluation made by the learner 3 on the learning side, the course execution unit 14 allows the virtual teacher to express appropriate facial expressions, hand gestures and verbal responses according to the story variation condition, or automatically. To follow the appropriate lesson story that has been edited in the lesson script.
本発明では、コース実行ユニット１４が判断する音声返答の品質は、学習側３から送信した音声評価の返答情報の発音、音調、リズム、アクセントなどの要因のうちの一つまたは任意の二つの組み合わせに基づいて総合判断する。前記の得点法に関して、台湾特許第Ｉ３３６８８０号公報または台湾特許第５５６１５２号公報に記載された技術を使用しても良いが、これらに限定されない。本発明の音声品質の評価に応用される技術は全て前記の得点法に属する。 In the present invention, the quality of the voice response determined by the course execution unit 14 is determined by one or a combination of any two of factors such as pronunciation, tone, rhythm, and accent of the response information of the voice evaluation transmitted from the learning side 3. Comprehensive judgment based on Regarding the scoring method, the technique described in Taiwan Patent No. I336880 or Taiwan Patent No. 556152 may be used, but is not limited thereto. All the techniques applied to the evaluation of speech quality according to the present invention belong to the above scoring method.
本発明では、授業材料がそれぞれ番号、ネットワークアドレスまたはコードの代表的な構文に転換されたため、編集者により編集側２または提供側１に新しい授業材料をデータベースユニット１２に追加されたとき、元の授業脚本に変動がなくても、新たに追加された授業材料がデータベースユニット１２の中にある古い授業材料を差し替えたら、学習側３はデジタル授業コースを実行している際、データベースユニット１２の中にある新たに追加された授業材料を直接に利用することができる。例えば、授業脚本に「バーチャル男性教師Ａ」のコードを代表的な構文として使用された場合、授業を行われているあるバーチャル教師の役割を表す。従って、提供側１がデータベースユニット１２に新しい「バーチャル男性教師Ａ」を追加して古い「バーチャル男性教師Ａ」を取り替えたとき、学習側３はデジタル授業コースを実行している際、自動的に新しい「バーチャル男性教師Ａ」を選択することができる。
また、授業脚本に「笑顔」のコードを代表的な構文として使用された場合、バーチャル教師の表情の応答を表し、提供側１がデータベースユニット１２にある「笑顔」の表情動作を更新したとき、学習側３はデジタル授業コースを実行している際、自動的に新しい「笑顔」の表情動作を選択することができる。また、授業脚本に「子音ＴＨの発音方法を解釈する」のコードを代表的な構文として使用された場合、ある情況で行われる授業ストーリーを表し、「子音ＴＨの発音方法を解釈する」と一致する授業ストーリーがまだデータベースユニット１２に存在していないとき、学習側３は自動的にこの授業ストーリーをスキップする。しかし、提供側１がデータベースユニット１２に「子音ＴＨの発音方法を解釈する」の授業ストーリーを追加した後、学習側３はデジタル授業コースを実行している際、自動的に新しい授業ストーリーを選択することができる。
In the present invention, when the teaching materials are converted to the representative syntax of numbers, network addresses, or codes, respectively, when the editor adds new teaching materials to the editing side 2 or the providing side 1 to the database unit 12, the original teaching materials are converted to the original syntax. Even if there is no change in the lesson script, if the newly added lesson material replaces the old lesson material in the database unit 12, the learning side 3 can execute the lesson in the database unit 12 while executing the digital lesson course. You can directly use the newly added teaching materials in. For example, when the code of “virtual male teacher A” is used as a representative syntax in the lesson script, it represents the role of a certain virtual teacher who is conducting the lesson. Therefore, when the provider 1 adds a new “virtual male teacher A” to the database unit 12 and replaces the old “virtual male teacher A”, the learning side 3 automatically executes when performing the digital lesson course. A new "virtual male teacher A" can be selected.
Also, when the code of “smile” is used as a representative syntax in the script of the lesson, the expression indicates the response of the expression of the virtual teacher, and when the provider 1 updates the expression operation of “smile” in the database unit 12, The learning side 3 can automatically select a new “smile” facial expression operation during the execution of the digital lesson course. Also, when the code of "interpret the pronunciation method of consonant TH" is used as a typical syntax in the lesson script, it represents a lesson story performed in a certain situation, and matches "interpret the pronunciation method of consonant TH". When the lesson story to be performed does not yet exist in the database unit 12, the learning side 3 automatically skips this lesson story. However, after the provider 1 adds a lesson story of "interpreting the pronunciation method of consonants TH" to the database unit 12, the learning side 3 automatically selects a new lesson story when executing the digital lesson course. can do.
本発明の技術特徴及び達成する機能効果をさらに理解させるため、以下、デジタル言語学習について説明する。説明する前に、母国語言語及び外国語言語の定義について少し説明する。前記の母国語言語は一つまたは多数の言語の可能性があり、前記の外国語言語は学習者が学習に通じてマスターする言語である。さらに、ウィキペディア（登録商標）を参照した母国語及び外国語の定義について、母国語とは人間が幼少期から自然に習得し、最も得意な一つまたは多数の言語という意味であり、また、外国語とは外国で使われている言語のことであり、一般的には必要または動機に応じてマスターしたい言語である。例えば、ある人の母国語は漢語及び英語であって、仕事の必要のためにスペイン語を学び、さらに日本の文化に趣味を持っているために日本語を学ぶ場合、前記のスペイン語及び日本語は外国語である。よって、言語学習について、文字は母国語言語及び外国語言語の文字を含み、翻訳は母国語言語の文字が同じ意味の外国語言語の文字を対応することであり、声は母国語及び外国語の音声を含む。 In order to further understand the technical features of the present invention and the functional effects achieved, digital language learning will be described below. Before explaining, let me briefly explain the definitions of native language and foreign language. The native language can be one or many languages, and the foreign language is the language that the learner masters through learning. Furthermore, regarding the definition of native language and foreign language with reference to Wikipedia (registered trademark), the native language means one or many languages that human beings naturally acquire from their childhood and is best at, A word is a language used in a foreign country and is generally the language you want to master as needed or motivated. For example, if a person's native language is Chinese and English, and learn Spanish for work needs and also learn Japanese to have a hobby in Japanese culture, the above-mentioned Spanish and Japanese The language is a foreign language. Thus, for language learning, the characters include the native language and foreign language characters, the translation is that the native language characters correspond to the foreign language characters with the same meaning, and the voice is the native language and the foreign language. Includes audio.
本発明の第１実施形態では、図４に示すように、マン・マシン・インターフェースは授業編集ユニット１０として編集者が編集側２で使用するように提供されているものである。編集者は、英語の品詞１０種類、基本５文系、現在形、過去形、未来形、関係詞節、子音ＴＨの発音方法の解釈またはｗａｎｔの発音方法の練習などの授業ストーリーを編集し、デジタル授業コースに転換して提供側１のデータベースユニット１２に保存することができる。 In the first embodiment of the present invention, as shown in FIG. 4, a man-machine interface is provided as a lesson editing unit 10 for use by an editor on the editing side 2. The editor edits the class story such as 10 kinds of part-of-speech in English, five basic literary systems, present tense, past tense, future tense, relative clause, interpretation of pronunciation method of consonant TH or practice of want pronunciation method, and digitally. It can be converted into a lesson course and stored in the database unit 12 of the provider 1.
学習者が学習側３を用いてデジタル授業コースのうちの一つを選択した場合、デジタル学習インターフェース３０でデジタル授業コースを表す（図５、図６参照）。デジタル学習インターフェース３０には、バーチャル教師３００、バーチャル電子黒板３０２などのデジタルグッズが表示され、バーチャル教師３００が各基本の授業ストーリーに応じて対応する動画、口型、表情、手振り等を表現することができる。バーチャル電子黒板３０２には、文字、翻訳、画像、映像、動画が表示されていて、音は学習側３に設けられた音声出力装置により出力されている。 When the learner selects one of the digital lesson courses using the learning side 3, the digital lesson course is represented by the digital learning interface 30 (see FIGS. 5 and 6). Digital goods such as a virtual teacher 300 and a virtual electronic blackboard 302 are displayed on the digital learning interface 30, and the virtual teacher 300 expresses corresponding videos, mouth shapes, facial expressions, hand gestures, etc. according to each basic lesson story. Can be. Characters, translations, images, videos, and moving images are displayed on the virtual electronic blackboard 302, and sounds are output by a sound output device provided on the learning side 3.
デジタル学習インターフェース３０がデジタル授業コースの過程のうち例えば、バーチャル教師３００が「Ｉ ｗａｎｔ ｔｏ ｐｌａｙ ｉｎ ｔｈｅ ｐａｒｋ」の文章を読み上げて学習者にリピートさせる基本の授業ストーリーを表す場合、前記番号、ネットワークアドレスまたはコードの代表的な構文により対応する授業材料を取得して、バーチャル教師３００及びバーチャル電子黒板３０２を表現させる。さらに、この文章は、「ｗａｎｔ」の単語の音声返答の品質レベルを評価するストーリー変動条件を事前に編集され、条件付き分岐命令を利用して品質レベルを満たしたら、次の基本の授業ストーリーに続き、そうでなければ、「ｗａｎｔ」の発音の基本の授業ストーリーにスキップし、且つループ命令を用いて「ｗａｎｔ」の発音を練習する基本の授業ストーリーを三回繰り返す。この際、提供側１は受信した学習側３の返答による音声評価の返答情報に基づいて、次の基本の授業ストーリーに続くのか、それとも「ｗａｎｔ」の発音を三回練習する基本の授業ストーリーにスキップするのかを決める。 For example, when the digital learning interface 30 represents a basic lesson story in which the virtual teacher 300 reads out the sentence “I want to play in the park” and repeats the learner during the course of the digital lesson course, the number and the network address are used. Alternatively, the corresponding lesson material is acquired by a typical syntax of the code, and the virtual teacher 300 and the virtual electronic blackboard 302 are expressed. In addition, this sentence is edited in advance to the story variation condition that evaluates the quality level of the voice response of the word "want", and if the quality level is satisfied using the conditional branch instruction, the next basic lesson story If not, skip to the basic lesson story of “want” pronunciation, and repeat the basic lesson story of practicing the pronunciation of “want” three times using a loop instruction. At this time, based on the response information of the voice evaluation by the response of the learning side 3 received, the providing side 1 decides whether to continue to the next basic lesson story or to create a basic lesson story to practice the pronunciation of “want” three times. Decide whether to skip.
本発明の第２実施形態では、編集者は中華言語の授業脚本を編集して、中華言語のデジタル授業コースに編集することができる。中華言語のデジタル授業コースのうちの一つの基本の授業ストーリーは、学習者が学習側３でバーチャル教師３００と一緒に「我想要吃牛肉（私は牛肉が食べたい）」の文章を読み上げさせるストーリーであり、実行側が学習側３の返答による音声評価の返答情報を受信し、学習側３の学習者が「想（しゃーん：ほしい）」の三つ目のイントネーションが一つ目のイントネーション「香（しゃんー：かおり）」の発音になったのを判断した場合、提供側１はそのストーリー変動条件に基づいて、条件付き分岐命令を用いて設定された指定の授業ストーリーを探して、学習者に正しく中華言語の三つ目のイントネーションを発音するのを教えてあげる。 In the second embodiment of the present invention, an editor can edit a Chinese language script and edit it into a Chinese language digital lesson course. The basic lesson story of one of the Chinese language digital lesson courses is for the learner to read aloud the text "I want to eat beef (I want to eat beef)" with the virtual teacher 300 on the learning side 3. In the story, the executing side receives the response information of the voice evaluation based on the response from the learning side 3, and the learner of the learning side 3 determines that the third intonation of "Sho (want)" is the first intonation. When judging that the pronunciation of “scent (Kaori)” has been pronounced, the provider 1 searches for a specified class story set using a conditional branch instruction based on the story variation condition. And teach the learner to pronounce the third intonation of the Chinese language correctly.
上記によれば、本発明は異なる外国語のデジタル音声（視聴）学習に応用することができ、且つストーリー変動条件を利用して適切な基本の授業ストーリーに入ることによって、復習、練習または一般の学習を行うことができるため、学習側３のユーザーは実際の教師が傍で指導してくれるような感じを体験することができる。 According to the above, the present invention can be applied to digital audio (viewing) learning of different foreign languages, and by reviewing, practicing or general learning by entering the appropriate basic lesson story using the story variation condition. Since the learning can be performed, the user on the learning side 3 can experience a feeling as if an actual teacher instructs by the side.
また、一般の外国語学習者が外国語を学ぶ時によくある問題は、母国語の使い慣れによる外国語の発音への影響を与える可能性がある。例えば、台湾人は英語の「ｔｈ」または「ｓｈ」の発音が苦手であり、日本人は英語の「ｌ」または「ｒ」の発音が苦手である。さらに、母国語の文法の使い慣れも外国語の文法学習への影響も与える、または、母国語が異なる外国語学習者が同じ外国語を学ぶときも同じ問題が起きる可能性がある。例えば、英語を学習しているとき、「ｉｎ」、「ｏｎ」または「ａｔ」などの前置詞の使い方の誤りなどの問題も有する。 Also, a common problem when a foreign language learner learns a foreign language can affect the pronunciation of the foreign language due to the familiarity of the native language. For example, Taiwanese are not good at pronunciation of English "th" or "sh", and Japanese are not good at pronunciation of English "l" or "r". In addition, the familiarity of the native language grammar can also affect foreign language grammar learning, or the same problem can occur when a foreign language learner with a different native language learns the same foreign language. For example, when learning English, there are also problems such as incorrect usage of prepositions such as “in”, “on”, and “at”.
従って、上記の問題を解決するため、本発明では、提供側１で学習側３がデジタル授業コースを実行している際、例えば、提供側１にあるコース実行ユニット１４が学習側３による音声評価の返答情報に発音、音調、リズム、アクセントなどの間違いがあると判断した場合、または、提供側１にあるコース実行ユニット１４が学習側３による音声評価の返答情報に文法の間違いがあると判断した場合、提供側１にあるコース実行ユニット１４は、音声評価の返答情報の誤り状況情報をデータベースユニット１２に送信して保存させる。そのうち、誤り状況情報の種類は、発音型または文法型である。発音型は誤りの音節、音声記号及び文章内での位置を更に含み、または文法型は母国語の干渉による文法の誤り、品詞の使い方の誤りなどを更に含む。さらに、全ての学習者が各種類での誤り頻度または誤り率が統計される。 Therefore, in order to solve the above-mentioned problem, according to the present invention, when the learning side 3 performs the digital lesson course on the providing side 1, for example, the course execution unit 14 in the providing side 1 performs the voice evaluation by the learning side 3. Is judged to have an error in pronunciation, tone, rhythm, accent, etc., or the course execution unit 14 in the providing side 1 judges that there is a grammatical error in the response information of the voice evaluation by the learning side 3. In this case, the course execution unit 14 in the provider 1 sends the error status information of the response information of the voice evaluation to the database unit 12 to be stored. The type of the error situation information is a pronunciation type or a grammar type. The phonetic type further includes syllables, phonetic symbols, and positions in the sentence, or the grammatical type further includes grammatical errors due to native language interference, incorrect use of part of speech, and the like. Further, the error frequency or error rate of each type is statistic for all learners.
上記のように、編集者が授業編集ユニット１０を用いて授業脚本を編集するとき、前記の外国語学習での各種類のバイアスの誤り頻度または誤り率をストーリー変動条件の中の判断条件にしても良い。学習者によるある種類での誤り頻度または誤り率が事前に設定された誤り頻度の閾値または誤り率の閾値を満たしたと共に前記の条件に達した場合、条件付き分岐命令、ループ命令、確率変数などを利用して復習または練習に係る誤りに対応する基本の授業ストーリーに続くのを設定する。
前記の誤り頻度または誤り率が誤り頻度の閾値または誤り率の閾値を満たした場合は、誤り頻度または誤り率が誤り頻度の閾値または誤り率の閾値より高い、より低いまたは等しいことを示す。そうすると、学習側３がデジタル授業コースを実行している際、授業脚本の指示に基づいて、提供側１のデータベースユニット１２の中から該学習者による各種類での誤り頻度または誤り率を呼び出すことができる。その後、該誤り頻度または該誤り率がある値より高い若しくは低い場合、提供側１から該誤り種類に関する基本の授業ストーリーが自動的に呼び出されて行われる。従って、学習側３の学習者は、十分な練習または学習をすることで、誤りを修正することができる。
As described above, when the editor edits the script of the lesson using the lesson editing unit 10, the error frequency or error rate of each type of bias in the foreign language learning is set as a judgment condition in the story variation condition. Is also good. If the error frequency or error rate of a certain type by the learner satisfies the error frequency threshold or error rate threshold set in advance and the above condition is reached, a conditional branch instruction, a loop instruction, a random variable, etc. Is set to follow the basic lesson story corresponding to the review or practice error.
When the error frequency or the error rate satisfies the error frequency threshold or the error rate threshold, it indicates that the error frequency or the error rate is higher, lower, or equal to the error frequency threshold or the error rate threshold. Then, when the learning side 3 is executing the digital lesson course, calling the error frequency or error rate of each type by the learner from the database unit 12 of the providing side 1 based on the instruction of the lesson script. Can be. Thereafter, when the error frequency or the error rate is higher or lower than a certain value, a basic lesson story relating to the error type is automatically called from the provider 1 and is performed. Therefore, the learner on the learning side 3 can correct an error by performing sufficient practice or learning.
また、上記のように、提供側１は授業編集ユニット１０を言語教師または言語教材をデザインする人に提供してデジタル授業コースを編集させる。学習側３がデジタル授業コースを実行している際、提供側１はデジタル授業コースの中の授業脚本に応じて各種の基本の授業ストーリーを表し、特に、ストーリー変動条件を満たしたときに、条件付き分岐命令、ループ命令、確率変数が指定したその一つの基本の授業ストーリーに続く。すると、学習者は学習側３でデジタル授業コースを実行し、実際の人が授業を行っているように、教師が学習者の反応に応じて授業を行う場面を感じる。 Further, as described above, the provider 1 provides the class editing unit 10 to a language teacher or a person who designs a language teaching material to edit a digital class. When the learning side 3 is executing the digital lesson course, the provider 1 represents various basic lesson stories according to the lesson script in the digital lesson course. The branching instruction, loop instruction, and random variable follow the one basic lesson story specified. Then, the learner executes the digital lesson course on the learning side 3, and feels a situation in which the teacher performs the lesson in response to the learner's reaction as if the actual person were performing the lesson.
以上、本発明について、今まで本発明に類似した公告または出願がなかったため、十分な新規性を有し、さらに本発明は既に実際の効果を有すると共に産業上の利用可能性を満たしているため、特許法に従って出願を提出する。但し、本明細書に記載された実施例は、好ましい実施形態だけであり、本発明の特許請求の範囲を限定するものではない。また、本発明の理論、技術の上、各構成要素の修正や変更は、本発明の特許請求の範囲に含まれるものである。 As described above, since the present invention has not been publicized or filed in the same manner as the present invention, the present invention has sufficient novelty, and the present invention has an actual effect and satisfies industrial applicability. Filing the application in accordance with the Patents Act. However, the examples described in this specification are only preferred embodiments, and do not limit the scope of the claims of the present invention. Modifications and changes of each component based on the theory and technology of the present invention are included in the scope of the claims of the present invention.
本発明のダイナミックストーリー指向のデジタル言語教育方法及びシステムによれば、学習者は実際の人が授業を行っているように感じることができる。 According to the dynamic story-oriented digital language teaching method and system of the present invention, a learner can feel as if a real person is teaching.
１ 提供側
１０ 授業編集ユニット
１００ 脚本編集部
１０１ 音声編集部
１０２ バーチャル教師画像選択部
１０３ バーチャル教師応答選択部
１０４ 音声評価部
１０５ 脚本画像映像選択部
１０６ 翻訳編集部
１０７ コース紹介編集部
１０８ 編集ボタン
１０９ 保存ボタン
１１０ 実行ボタン
１２ データベースユニット
１４ コース実行ユニット
２ 編集側
３ 学習側
３０ デジタル学習インターフェース
３００ バーチャル教師
３０２ バーチャル電子黒板
Reference Signs List 1 provider side 10 lesson editing unit 100 script editing unit 101 audio editing unit 102 virtual teacher image selecting unit 103 virtual teacher response selecting unit 104 audio evaluation unit 105 script image image selecting unit 106 translation editing unit 107 course introduction editing unit 108 edit button 109 Save button 110 Execute button 12 Database unit 14 Course execution unit 2 Editing side 3 Learning side 30 Digital learning interface 300 Virtual teacher 302 Virtual electronic blackboard
Claims (18)
前記提供側は、前記授業脚本の一つである前記基本の授業ストーリーを前記学習側に出力する工程と、
前記提供側は、前記学習側から提供された異なる意味である前記音声評価の返答情報に基づいて、前記基本の授業ストーリーの一つに続ける工程と、を含むことを特徴とする、
ダイナミックストーリー指向のデジタル言語教育方法。 A course execution unit provided by the providing side receives information for executing one of the digital lesson courses selected on the learning side, the digital lesson course is edited by a lesson script, and the lesson script includes a plurality of basic scripts. Lesson story and a plurality of story variation conditions, the basic lesson story includes lesson materials used in the lesson content, the story variation condition is based on the response information of voice evaluation that has a different meaning, the following basic The process of selecting a lesson story,
The providing side outputs the basic lesson story, which is one of the lesson script, to the learning side,
The providing side, based on the response information of the voice evaluation having a different meaning provided from the learning side, continuing to one of the basic lesson story,
Dynamic story oriented digital language teaching method.
前記授業編集ユニットに接続され、前記授業脚本及び前記デジタル授業コースを保存するデータベースユニットと、
前記データベースユニットに接続され、学習側に提供して前記デジタル授業コースを選択させて実行し、選択された前記デジタル授業コースに基づいて、前記データベースユニットの中から対応する授業材料を取り出して前記学習側に提供し、且つ前記デジタル授業コースの内容を表示すると共に、前記学習側から送信した音声評価の返答情報に基づいて、ストーリー変動条件と一致する次の授業ストーリーを行うコース実行ユニットと、を含み、
前記授業脚本には、複数の基本の授業ストーリー及び複数のストーリー変動条件を含み、
前記複数の基本の授業ストーリーの各々は、授業内容に使われる授業材料の脚本情報を含み、且つ、
前記複数のストーリー変動条件の各々は、異なる意味である音声評価の返答情報を受信した後、設定された前記基本の授業ストーリーの一つに続けるべきことを示す、ことを特徴とする、
ダイナミックストーリー指向のデジタル言語教育システム。 A lesson editing unit that provides a lesson script to an editor and edits the lesson script into a digital lesson course;
A database unit connected to the lesson editing unit and storing the lesson script and the digital lesson course;
Connected to the database unit, provided to the learning side to select and execute the digital lesson course, and based on the selected digital lesson course, take out the corresponding lesson material from the database unit and perform the learning. And a course execution unit that provides the content of the digital lesson course and displays the content of the digital lesson course, and performs the next lesson story that matches the story variation condition based on the response information of the voice evaluation transmitted from the learning side. Including
The lesson script includes a plurality of basic lesson stories and a plurality of story variation conditions,
Each of the plurality of basic lesson stories includes script information of lesson materials used for lesson contents, and
Each of the plurality of story variation conditions, after receiving response information of voice evaluation having a different meaning, indicates that it should continue to one of the set basic lesson story,
Dynamic story oriented digital language education system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW107125827 | 2018-07-24 | ||
| TW107125827A TWI679620B (en) | 2018-07-24 | 2018-07-24 | Method and system for dynamic story-oriented digital language teaching |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020016880A true JP2020016880A (en) | 2020-01-30 |
| JP6976996B2 JP6976996B2 (en) | 2021-12-08 |
Family
ID=69581420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019128290A Active JP6976996B2 (en) | 2018-07-24 | 2019-07-10 | Dynamic story-oriented digital language education methods and systems |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6976996B2 (en) |
| TW (1) | TWI679620B (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362471A (en) * | 2021-05-27 | 2021-09-07 | 深圳市木愚科技有限公司 | Virtual teacher limb action generation method and system based on teaching semantics |
| CN116629655A (en) * | 2023-03-22 | 2023-08-22 | 哈尔滨工业大学 | Comprehensive evaluation method for non-native language classroom sound environment of colleges and universities based on learning efficiency |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI719858B (en) * | 2020-03-17 | 2021-02-21 | 艾爾科技股份有限公司 | Task and path-oriented digital language learning methods |
| CN113409634B (en) * | 2020-03-17 | 2023-04-07 | 艾尔科技股份有限公司 | Task and path oriented digital language learning method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003228279A (en) * | 2002-01-31 | 2003-08-15 | Heigen In | Language learning apparatus using voice recognition, language learning method and storage medium for the same |
| JP2004078238A (en) * | 2003-09-25 | 2004-03-11 | Digital Passage:Kk | Method and system for language lesson using internet and recording medium |
| US20140170629A1 (en) * | 2011-06-09 | 2014-06-19 | Rosetta Stone, Ltd. | Producing controlled variations in automated teaching system interactions |
| JP2015121758A (en) * | 2013-12-25 | 2015-07-02 | 株式会社Ｎｔｔドコモ | Information processing device, information processing system, information processing method and program |
| WO2015177908A1 (en) * | 2014-05-22 | 2015-11-26 | 株式会社日立製作所 | Training system |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI269246B (en) * | 2005-06-20 | 2006-12-21 | Nat Kaohsiung First University | Visual and interactive pronunciation-scored system for learning language digitally |
| TW201044331A (en) * | 2009-06-10 | 2010-12-16 | Univ Nat Taiwan Science Tech | Interactive teaching system |
| TWM443248U (en) * | 2011-11-21 | 2012-12-11 | Palmforce Software Inc | System for feedback learning language |
| CN103456193A (en) * | 2013-09-10 | 2013-12-18 | 天津市滨海新区塘沽海天科贸有限公司 | Novel language learning device |
| TWI576793B (en) * | 2015-07-09 | 2017-04-01 | Ze-An Lin | Quantitative Recursive Language Learning System |
| TWM572553U (en) * | 2018-07-24 | 2019-01-01 | 艾爾科技股份有限公司 | Dynamic story-oriented language digital teaching system |
-
2018
- 2018-07-24 TW TW107125827A patent/TWI679620B/en active
-
2019
- 2019-07-10 JP JP2019128290A patent/JP6976996B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003228279A (en) * | 2002-01-31 | 2003-08-15 | Heigen In | Language learning apparatus using voice recognition, language learning method and storage medium for the same |
| JP2004078238A (en) * | 2003-09-25 | 2004-03-11 | Digital Passage:Kk | Method and system for language lesson using internet and recording medium |
| US20140170629A1 (en) * | 2011-06-09 | 2014-06-19 | Rosetta Stone, Ltd. | Producing controlled variations in automated teaching system interactions |
| JP2015121758A (en) * | 2013-12-25 | 2015-07-02 | 株式会社Ｎｔｔドコモ | Information processing device, information processing system, information processing method and program |
| WO2015177908A1 (en) * | 2014-05-22 | 2015-11-26 | 株式会社日立製作所 | Training system |
Non-Patent Citations (1)
| Title |
|---|
| [ONLINE]トレパ, JPN6021004902, 9 March 2018 (2018-03-09), ISSN: 0004447762 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362471A (en) * | 2021-05-27 | 2021-09-07 | 深圳市木愚科技有限公司 | Virtual teacher limb action generation method and system based on teaching semantics |
| CN116629655A (en) * | 2023-03-22 | 2023-08-22 | 哈尔滨工业大学 | Comprehensive evaluation method for non-native language classroom sound environment of colleges and universities based on learning efficiency |
| CN116629655B (en) * | 2023-03-22 | 2024-04-16 | 哈尔滨工业大学 | Comprehensive evaluation method for non-native language classroom sound environment of colleges and universities based on learning efficiency |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6976996B2 (en) | 2021-12-08 |
| TW202008326A (en) | 2020-02-16 |
| TWI679620B (en) | 2019-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Handsfield | Literacy theory as practice: Connecting theory and instruction in K–12 classrooms | |
| Fitria | The use technology based on artificial intelligence in English teaching and learning | |
| JP6976996B2 (en) | Dynamic story-oriented digital language education methods and systems | |
| JP2001159865A (en) | Method and device for leading interactive language learning | |
| US20220262273A1 (en) | System and method for teaching a foreign language utilizing interpretation phrases and near simultaneous interpretation of digital children's stories and related images | |
| Fyfield et al. | Improving instructional video design: A systematic review | |
| CN109389873B (en) | Computer system and computer-implemented training system | |
| Sonsaat | The influence of an online pronunciation teacher's manual on teachers' cognitions | |
| Silver-Pacuilla | Assistive technology and adult literacy: Access and benefits | |
| Chen et al. | Translanguaging multimodal pedagogy in French pronunciation instruction: Vis-à-vis students’ spontaneous translanguaging | |
| Kohnke | Using technology to design ESL/EFL microlearning activities | |
| Jia et al. | Meeting the challenges of decoding training in English as a foreign/second language listening education: current status and opportunities for technology-assisted decoding training | |
| Borges | Are ESL/EFL software programs effective for language learning? | |
| Tiarina et al. | Students’ need on basic English grammar teaching material based on interactive multimedia: an innovative design | |
| JP2019061189A (en) | Teaching material authoring system | |
| Azarova et al. | Interactive online teaching of phonetic skills: introductory phonetic course | |
| Susanti et al. | Developing Students’ English Skill Through Digital Video as Multimodal for Young Learners in Online Learning | |
| CN110852922A (en) | Dynamic scenario-oriented language digital teaching method and system | |
| KR20140087956A (en) | Apparatus and method for learning phonics by using native speaker's pronunciation data and word and sentence and image data | |
| Stephen | The importance of teaching listening | |
| Zarifovna et al. | IMPLEMENTATION OF VISUAL MATERIALS IN TEACHING SECOND LANGUAGE | |
| CN208969731U (en) | The system of the language numerical digit teaching of dynamic scenario guiding | |
| TWM572553U (en) | Dynamic story-oriented language digital teaching system | |
| Andrejević et al. | E-LEARNING WEB APPLICATION FOR TEACHING ENGLISH FOR SPECIFIC PURPOSES-“ENGLISH AT A CLICK” | |
| Wedin et al. | Teachers’ perceptions of letter learning among adults: The case of basic literacy education in Swedish for immigrants |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190710 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210510 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211110 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6976996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |