JP2020148892A - 語学教材生成システム - Google Patents

語学教材生成システム Download PDF

Info

Publication number
JP2020148892A
JP2020148892A JP2019046016A JP2019046016A JP2020148892A JP 2020148892 A JP2020148892 A JP 2020148892A JP 2019046016 A JP2019046016 A JP 2019046016A JP 2019046016 A JP2019046016 A JP 2019046016A JP 2020148892 A JP2020148892 A JP 2020148892A
Authority
JP
Japan
Prior art keywords
goal
goals
teaching material
storage unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019046016A
Other languages
English (en)
Other versions
JP7296029B2 (ja
Inventor
松下 正樹
Masaki Matsushita
正樹 松下
美恵 寺澤
Mie Terasawa
美恵 寺澤
寛祥 伊藤
Hiroyoshi Ito
寛祥 伊藤
奥出 直人
Naoto Okude
直人 奥出
佐藤 千尋
Chihiro Sato
千尋 佐藤
裕基 浦瀬
Yuki Urase
裕基 浦瀬
冴子 樋口
Saeko Higuchi
冴子 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
NTT Data Group Corp
Original Assignee
NTT Data Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp, Keio University filed Critical NTT Data Corp
Priority to JP2019046016A priority Critical patent/JP7296029B2/ja
Publication of JP2020148892A publication Critical patent/JP2020148892A/ja
Application granted granted Critical
Publication of JP7296029B2 publication Critical patent/JP7296029B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)

Abstract

【課題】学習者が実際に外国語を使用する状況を反映させた語学教材を生成する。【解決手段】語学教材生成システムは、教材ファイルを生成する際、ゴール/結果リストデータ群を参照して、処理対象の教材を構成する各ゴールとその所要時間を特定する。次に、処理対象の教材を構成する各ゴールについて、身体動作リストデータを参照して身体動作を特定し、特定した身体動作に対応する補足事項を、補足事項判定テーブルデータを参照して特定する。次に、処理対象の教材を構成する各ゴールについて、単語リストデータを参照して、専門用語を特定する。最後に、特定したゴール、所要時間、補足事項及び専門用語が記述された教材ファイルを生成する。上記のゴール/結果リストデータ群、身体動作リストデータ及び単語リストデータは、学習対象の英会話が行われる環境をディスコースコミュニティ分析することにより生成される。【選択図】図23

Description

本発明は、語学教材を生成するためのシステムに関する。
従来、コンピュータを用いて語学教材を生成する方法が知られている。例えば、特許文献1には、学習者の操作情報や反応情報を取り込み、初期の学習ストーリーを別の学習ストーリーに変化させる電子学習システムが記載されている。この電子学習システムによれば、学習者オリジナルの学習ストーリーを仕立てることにより、学習効果を飛躍的に高めることができる。
特開2006−308815公報
しかし、従来の方法で生成された語学教材は、学習者が実際に外国語を使用する状況を必ずしも反映したものとはなっていないため、語学教材を用いて学習しても学習の成果が出にくいという問題があった。
本発明はこのような事情に鑑みてなされたものであり、学習者が実際に外国語を使用する状況を反映させた語学教材を生成することを目的とする。
上記の課題を解決するため、本発明は、外国語を用いて行われた会話の音声を解析して、複数の発言と、当該複数の発言の各々がなされた時点を特定する音声解析部と、前記特定された複数の発言のうち、前記会話が行われた際に使用された資料に記載されている語句を含む複数の発言をゴールとして抽出するゴール抽出部と、前記抽出された複数のゴールの各々について、前記特定された複数の発言の中から、当該ゴールと当該ゴールに後続する他のゴールの間に位置する発言であって、当該他のゴールから所定の範囲内に位置する発言を当該ゴールの結果として抽出する結果抽出部と、前記抽出された複数のゴールの各々について、当該ゴールが発言された時点と、当該ゴールに後続する他のゴールが発言された時点の間の時間を当該ゴールの所要時間として特定する所要時間特定部と、前記抽出された複数のゴールの各々について、当該ゴールと当該ゴールに後続する他のゴールの間に位置する発言を構成する語句の難易度に基づいて、当該ゴールに適した前記外国語の習熟度を判定する習熟度判定部と、前記抽出された複数のゴールの中から、当該ゴールについて判定された習熟度と前記外国語の学習者との間、および、当該ゴールについて判定された習熟度と前記外国語の学習支援者の習熟度との間で所定の条件を満たす複数のゴールを選択するゴール選択部と、前記選択された複数のゴールを、各グループを構成するゴールの所要時間の合計が所定の学習時間を超えないようにグループ分けするゴールグルーピング部と、前記形成された複数のグループの各々について、当該グループを構成する複数のゴールと当該複数のゴールの各々の所要時間を示すファイルを教材として生成する教材生成部とを備える語学教材生成システムを提供する。
好ましい態様において、前記語学教材生成システムは、前記抽出された複数のゴールの各々について、当該ゴールが発言された時点と、当該ゴールに後続する他のゴールが発言された時点の間に行われた所定の身体動作を、前記会話の場面を記録した動画を解析して特定する身体動作特定部と、前記抽出された複数のゴールの各々について、当該ゴールについて特定された身体動作に予め対応付けられている、前記学習者の身体動作又は学習環境に関する注意点を示す補足事項を特定する補足事項特定部とをさらに備え、前記教材生成部は、前記形成された複数のグループの各々について、当該グループを構成する複数のゴールと当該複数のゴールの各々の所要時間と補足事項を示すファイルを教材として生成する。
さらに好ましい態様において、前記語学教材生成システムは、前記抽出された複数のゴールの各々について、前記特定された複数の発言のうち、当該ゴールと当該ゴールに後続する他のゴールの間に位置する複数の発言の各々について、当該ゴール又は当該ゴールについて抽出された結果を構成する語句を含む度合いを示す関連度を判定し、判定した関連度が高い順に所定数以下の発言を当該ゴールの関連発言として抽出する関連発言抽出部をさらに備え、前記習熟度判定部は、前記抽出された複数のゴールの各々について、当該ゴールについて抽出された関連発言を構成する語句の難易度に基づいて、当該ゴールに適した前記外国語の習熟度を特定する。
本発明によれば、学習者が実際に外国語を使用する状況を反映させた語学教材を生成することができる。
ディスコースコミュニティ分析に係る機能構成の一例を示すブロック図 記譜データの一例を示す図 資料データの一例を示す図 ゴール/結果リストデータの一例を示す図 関連発言リストデータの一例を示す図 判定条件テーブルの一例を示す図 身体動作リストデータの一例を示す図 単語リストデータの一例を示す図 英会話教材の生成に係る機能構成の一例を示すブロック図 難易度判定テーブルデータの一例を示す図 習熟度判定テーブルデータの一例を示す図 ゴールレベルデータの一例を示す図 レッスン情報テーブルデータの一例を示す図 教材パターンデータの一例を示す図 補足事項判定テーブルデータの一例を示す図 教材ファイルの一例を示す図 ディスコースコミュニティ分析処理の一例を示すフロー図 ゴール/結果リストデータ生成処理の一例を示すフロー図 関連発言抽出処理の一例を示すフロー図 英会話教材生成処理の一例を示すフロー図 習熟度判定処理の一例を示すフロー図 教材パターン特定処理の一例を示すフロー図 教材ファイル生成処理の一例を示すフロー図
1.実施形態
本発明の一実施形態に係る語学教材生成システム1について、図面を参照して説明する。以下に説明する語学教材生成システム1は、特に英会話教材を生成するためのシステムであり、1又は複数のサーバにより構成される。
1−1.構成
語学教材生成システム1を用いて英会話教材を生成するにあたり、学習対象である英会話が実際に行われている環境について民族誌調査を行う。例えば、学習者が、特定の会社の業務で行われている英会話を習得したい場合には、その業務に実際に従事する人を対象者として民族誌調査を行う。この民族誌調査では、その業務に実際に従事する人の音声と動画を記録する。語学教材生成システム1は、この記録された音声と動画に基づいて、ディスコースコミュニティ分析を行う。ここでディスコースとは二人の話者の言葉のやりとりのことで、言語学では談話と訳される。このやりとりを複数の共通する目的をもつ話者(これをコミュニティと呼ぶ)からなる談話の集まりとみたのがディスコースコミュニティである。したがって、ディスコースコミュニティ分析とは複数の特定の目的をもつ話者の間で取り交わされる談話(ディスコース)を分析し、どのようにディスコースを通してコミュニティが目的を達成していくかのプロセスを分析するものである。具体的には、「ゴールと結果」、「ゴール達成に寄与した発言内容」、「ゴール達成に寄与した身体動作及び環境要素」及び「リソース」を抽出することで、その環境の文化的特徴を明らかにする。そして、ディスコースコミュニティ分析の結果に基づいて英会話教材を生成する。生成された英会話教材は、主に英会話学習用の施設で学習者のレッスンに使用される。
以下、語学教材生成システム1により実行されるディスコースコミュニティ分析と英会話教材の生成について説明する。
図1は、ディスコースコミュニティ分析に係る機能構成の一例を示すブロック図である。同図に示す機能のうち、音声記憶部2、記譜記憶部4、資料記憶部5、ゴール/結果リスト記憶部7、関連発言リスト記憶部9、動画記憶部10、身体動作リスト記憶部12及び単語リスト記憶部14は、メモリにより実現される。一方、音声解析部3、ゴール/結果リスト生成部6、関連発言リスト生成部8、身体動作リスト生成部11及び単語リスト生成部13は、メモリに記憶されるプログラムをプロセッサが実行することにより実現される。なお、このプログラムは、インターネット等のネットワークや非一時的な記録媒体を介して頒布可能なプログラムである。以下、各機能について説明する。
音声記憶部2は、学習対象となる英会話であって、実際に行われた英会話の音声データを記憶する。本実施形態の以下の説明では、学習対象の英会話として、会議中の英会話を想定する。この音声記憶部2に記憶される音声データは、ピンマイクを用いて会議の参加者ごとに生成され、参加者の識別情報と対応付けて記憶される。または、会議の参加者全員の音声を1つのマイクで収音し、声紋分析を用いて参加者ごとの音声データを生成する。
音声解析部3は、音声記憶部2に記憶される音声データを解析して、会議中の発言内容を特定し、特定した発言内容とその発言者とその発言の時点を対応付けることで、記譜データを生成する。図2は、この記譜データの一例を示す図である。同図に示す記譜データは、例えば、会議の開始後1分2秒経過後の時点でA氏により「there should be some pros and cons about the change of the logo design」という発言がなされたことを示している。音声解析部3により生成された記譜データは、記譜記憶部4に記憶される。なお、記譜記憶部4に記憶された記譜データは、音声認識の精度が低い場合には、人間の手により修正されてもよい。
資料記憶部5は、上記の会議で使用された資料のデータを記憶する。本実施形態の以下の説明では、上記の会議で使用された資料として、アジェンダ(言い換えると、議事の進行順序)を示す資料を想定する。図3は、この資料データの一例を示す図である。同図に示す資料データは、例えば、会議(1)の最初の議事がSelf-introductionであり、その所要時間が5分の予定であったことを示している。
ゴール/結果リスト生成部6は、記譜記憶部4に記憶される記譜データと資料記憶部5に記憶される資料データに基づいて、ゴール、結果及び所要時間を特定して対応付けることで、ゴール/結果リストデータを生成する。ここで、ゴールとは、会議中に行われた議論の目的であり、例えば、「ロゴのデザインを決定したい」といった目的である。結果とは、ゴールについて議論した結果(言い換えると、結論)であり、例えば、「デザインCに決定」といった結果である。所要時間とは、ゴールについて議論するために費やされた時間である。
これらの3つの要素のうち、ゴールを特定するにあたりゴール/結果リスト生成部6は、記譜データにより示される発言のうち、資料データにより示される議事を構成する語句を含む発言を抽出する。例えば、資料データとして図3に示す資料データを想定すると、「logo」や「recruitment」といった語を含む発言を抽出する。その際、be動詞と冠詞は無視してよい。また、ゴール/結果リスト生成部6は、記譜データにより示される発言のうち、「please」や「may I ask you」といった、依頼を示す所定の語句を含む発言も抽出する。
次に、抽出したゴールの結果を特定するにあたりゴール/結果リスト生成部6は、記譜データにより示される複数の発言のうち、結果の特定対象となっているゴールが、後続する次のゴールに切り替わる直前の発言を抽出する。より具体的には、結果の特定対象となっているゴールと、これに後続する次のゴールの間に位置する発言であって、当該次のゴールから所定の範囲内に位置する発言を抽出する。ここで、当該次のゴールから所定の範囲内に位置する発言とは、具体的には、当該次のゴールの直前の発言である。なお、ゴール/結果リスト生成部6により抽出された発言が不適当である場合には、人間の手により修正されてもよい。
次に、抽出したゴールの所要時間を特定するにあたりゴール/結果リスト生成部6は、所要時間の特定対象となっているゴールが、後続する次のゴールに切り替わるまでの時間を特定する。より具体的には、所要時間の特定対象となっているゴールが発言された時点と、後続する次のゴールが発言された時点の間の時間を特定する。例えば、所要時間の特定対象となっているゴールが、会議開始から5分経過後に発言され、後続する次のゴールが、会議開始から10分経過後に発言された場合には、所要時間として5分が特定される。
図4は、ゴール/結果リスト生成部6により生成されるゴール/結果リストデータの一例を示す図である。同図に示すゴール/結果リストデータは、例えば、会議(1)の最初のゴールが「Change the log design」であり、その結果が「Design C fixed」であり、その所要時間が10分であったことを示している。ゴール/結果リスト生成部6により生成されたゴール/結果リストデータは、ゴール/結果リスト記憶部7に記憶される。なお、ゴール/結果リスト記憶部7に記憶されたゴール/結果リストデータは、データの抽出精度が低い場合には、人間の手により修正されてもよい。
次に、関連発言リスト生成部8は、ゴール/結果リスト記憶部7に記憶されるゴール/結果リストデータにより示される各ゴールの達成に寄与した発言(以下、「関連発言」という。)を、記譜記憶部4に記憶される記譜データにより示される発言の中から抽出し、抽出した関連発言のリストデータを生成する。各ゴールについて関連発言を抽出するにあたっては、まず、処理対象のゴールと、これに後続する次のゴールの間に位置する各発言について、処理対象のゴールとの関連度を示すUsage度を算出する。このUsage度は、発言が、処理対象のゴール又は当該ゴールの結果を構成する語句を含む度合いを示す値である。例えば、処理対象のゴールとその結果がそれぞれ「Change the logo design」、「Design C fixed」であり、「there should be some pros and cons about the change of the logo design」という14個の単語からなる発言についてUsage度を算出する場合を想定すると、この発言には、ゴール又は結果に含まれる「change」、「logo」、「design」という3つの単語が含まれるため、Usage度は「3/14」となる。なお、Usage度を算出するにあたり、be動詞と冠詞は無視してよい。
各発言についてUsage度を算出すると、次に、Usage度が高い順に所定数の発言を関連発言として抽出する。ここで抽出される関連発言の数は、処理対象のゴールと、これに後続する次のゴールの間に位置する発言の総数の30%以下とする。なお、この「30%」という数値はあくまで一例であり、本システムの利用者が求める精度に応じて適宜変更してよい。
図5は、関連発言リスト生成部8により生成される関連発言リストデータの一例を示す図である。同図に示す関連発言リストデータは、例えば、会議(1)の最初のゴールが「Change the logo design」であり、その結果が「Design C fixed」であり、その関連発言の1つが「there should be some pros and cons about the change of the logo design」であることを示している。関連発言リスト生成部8により生成された関連発言リストデータは、関連発言リスト記憶部9に記憶される。
次に、動画記憶部10は、上記の会議の場面を記録した動画データを記憶する。動画記憶部10に記憶される動画データは、会議の参加者全員を撮影可能なように設置されたカメラにより生成される。
身体動作リスト生成部11は、ゴール/結果リスト記憶部7に記憶されるゴール/結果リストデータにより示される各ゴールの達成に寄与した身体動作(以下、単に「身体動作」という。)とその動作者を、動画記憶部10に記憶される動画データを解析して特定し、特定した身体動作のリストデータを生成する。各ゴールについて身体動作を特定するにあたっては、処理対象のゴールが発言された時点と、これに後続する次のゴールが発言された時点の間に行われた所定の身体動作を、動画データを解析して特定する。ここで所定の身体動作とは、所定の判定条件を満たす身体動作である。図6は、この所定の判定条件を定める判定条件テーブルの一例を示す図である。同図に示す判定条件テーブルは、例えば、「メモを取る」という身体動作に対して、「ペンを持つ指をメモ用紙に触れる位置で動かした」という判定条件を定めている。この判定条件テーブルに定める身体動作を特定するにあたっては、機械学習(より好ましくはディープラーニング)を用いる。具体的には例えば、Language model-based approach、Sequence learning-based approach又はLSTM(Long short-term memory)-Eを用いてもよい(https://www.microsoft.com/en-us/research/wp-content/uploads/2017/10/Tao-Mei-Intelligent-Video-Analysis-ACMMM-2017-Pub.pdf参照)。または、CNN(Convolutional neural network)とRNN(recurrent neural network)を組み合わせたLRCN(Long-term Recurrent Convolutional Networks)と呼ばれるモデルを使用したり、オプティカルフローを検出することで身体動作を特定したりしてもよい(https://www.slideshare.net/YoshitakaUshiku/ss-123687543参考)。身体動作の動作者を特定するにあたっては、身体動作リスト生成部11は顔認識技術を用いる。
図7は、身体動作リスト生成部11により生成される身体動作リストデータの一例を示す図である。同図に示す身体動作リストデータは、例えば、会議(1)の最初のゴールが「Change the logo design」であり、その結果が「Design C fixed」であり、その身体動作の1つが「資料を確認して読む」であることを示している。身体動作リスト生成部11により生成された身体動作リストデータは、身体動作リスト記憶部12に記憶される。
次に、単語リスト生成部13は、記譜記憶部4に記憶される記譜データにより示される各単語を、図示せぬ辞書データベースを用いて語源及び品詞で分類することで、単語リストデータを生成する。図8は、この単語リスト生成部13により生成される単語リストデータの一例を示す図である。単語リスト生成部13により生成された単語リストデータは、単語リスト記憶部14に記憶される。なお、一般の辞書に載っていない専門用語と、一般の辞書に載っている単語であっても特殊な意味で使用されている単語(Contextual)については、人間の手で分類してよい。
以上説明した各機能により、英会話教材の生成に使用されるゴール/結果リストデータ、関連発言リストデータ、身体動作リストデータ及び単語リストデータが生成される。これらのデータセットは、学習対象とされる英会話が行われる複数の会議の各々について生成される。
次に、英会話教材の生成について説明する。図9は、英会話教材の生成に係る機能構成の一例を示すブロック図である。同図に示す機能のうち、関連発言リスト群記憶部15、難易度判定テーブル記憶部16、習熟度判定テーブル記憶部17、ゴールレベル記憶部19、ゴール/結果リスト群記憶部20、レッスン情報テーブル記憶部21、教材パターン記憶部23、身体動作リスト群記憶部24、補足事項判定テーブル記憶部25、単語リスト群記憶部26及び教材記憶部28は、メモリにより実現される。一方、ゴールレベル判定部18、教材パターン生成部22及び教材生成部27は、メモリに記憶されるプログラムをプロセッサが実行することにより実現される。なお、このプログラムは、インターネット等のネットワークや非一時的な記録媒体を介して頒布可能なプログラムである。以下、各機能について説明する。
関連発言リスト群記憶部15は、複数の会議の各々について生成された関連発言リストデータを記憶する。
難易度判定テーブル記憶部16は、単語とその難易度を対応付けるテーブルであって、単語の難易度を判定するために参照されるテーブルのデータを記憶する。図10は、この難易度判定テーブル記憶部16に記憶される難易度判定テーブルデータの一例を示す図である。
習熟度判定テーブル記憶部17は、単語の難易度と英会話の習熟度を対応付けるテーブルであって、単語の難易度に基づいて英会話の習熟度を判定するために参照されるテーブルデータを記憶する。ここで、このテーブルに格納される英会話の習熟度としては、CEFR(Common European framework of reference for languages)のレベルを用いる。図11は、この習熟度判定テーブル記憶部17に記憶される習熟度判定テーブルデータの一例を示す図である。
ゴールレベル判定部18は、関連発言リスト群記憶部15に記憶される関連発言リストデータ群により示される各ゴールに適した英会話の習熟度を判定することで、ゴールレベルデータを生成する。各ゴールについて習熟度を判定するにあたっては、処理対象のゴールについて抽出された関連発言に基づいて習熟度を判定する。具体的には、処理対象のゴールについて抽出された関連発言を構成する各単語の難易度を、難易度判定テーブル記憶部16に記憶される難易度判定テーブルを参照して判定し、その判定した難易度に対応する習熟度を、習熟度判定テーブル記憶部17に記憶される習熟度判定テーブルを参照して判定する。そして、判定された習熟度の中で最も高い習熟度を、処理対象のゴールの習熟度として特定する。なお、処理対象のゴールについて抽出された関連発言を構成する各単語の難易度を、難易度判定テーブル記憶部16に記憶される難易度判定テーブルを参照して判定し、その判定した難易度に対応する習熟度を、当該関連発言の習熟度として記憶し、これを関連発言毎に繰り返すことで、記憶された複数の関連発言の習熟度の平均値または最頻値を、処理対象のゴールの習熟度として特定してもよい。
図12は、ゴールレベル判定部18により生成されるゴールレベルデータの一例を示す図である。同図に示すゴールレベルデータは、例えば、会議(1)のゴール(1)に適した英会話の習熟度がB1であることを示している。ゴールレベル判定部18により生成されたゴールレベルデータは、ゴールレベル記憶部19に記憶される。
次に、ゴール/結果リスト群記憶部20は、複数の会議の各々について生成されたゴール/結果リストデータを記憶する。
レッスン情報テーブル記憶部21は、英会話のレッスンの各クラスについて、参加者である学習者と学習支援者の英会話の習熟度と、そのクラスの教材パターンを対応付けるテーブルのデータを記憶する。ここで、このテーブルに格納される英会話の習熟度としては、CEFRのレベルを用いる。学習者と学習支援者のCEFRのレベルは、予めテストを行って特定しておく。図13は、このレッスン情報テーブル記憶部21に記憶されるレッスン情報テーブルデータの一例を示す図である。同図に示すレッスン情報テーブルデータは、例えば、クラスG1に参加する学習者、第1学習支援者、第2学習支援者の習熟度がそれぞれA2、B2、C1であり、そのクラスの教材パターンが「P1」であることを示している。
教材パターン生成部22は、レッスン情報テーブル記憶部21に記憶されるレッスン情報テーブルデータにより示される各クラスに適した教材パターンのデータを生成する。各クラスについて教材パターンを生成するにあたっては、まず、処理対象のクラスに適したゴールを選択する。具体的には、ゴールレベル記憶部19に記憶されるゴールレベルデータとレッスン情報テーブルデータを参照して、処理対象のクラスに参加する学習者と学習支援者の習熟度との間で所定の条件を満たす習熟度を有するゴールを選択する。ここで所定の条件とは、ゴールの習熟度が学習者の習熟度と同等か1段階高いという第1条件と、ゴールの習熟度がいずれの学習支援者の習熟度も超えないという第2条件の両条件である。例えば、処理対象のクラスとして図13に示すクラスG1を想定し、ゴールレベルデータとして図12に示すゴールレベルデータを想定すると、上記の所定の条件に従った場合、会議(1)のゴール(2)と、会議(2)のゴール(1)及び(5)が選択されることになる。
処理対象のクラスに適したゴールを選択すると、次に、選択したゴールをレッスン単位にグルーピングする。具体的には、ゴールレベル記憶部19に記憶されるゴール/結果リストデータ群(特に所要時間)を参照して、選択したゴールを、各グループを構成するゴールの所要時間の合計が1回のレッスン時間(例えば50分)を超えないようにグルーピングし、各グループに教材IDを付与することで教材パターンデータを生成する。図14は、この教材パターンデータの一例を示す図である。同図に示す教材パターンデータは、例えば、教材パターンP1は教材A1−1等により構成され、教材A1−1は、会議(1)のゴール(2)、(3)、(6)及び(8)により構成されることを示している。これらのゴール(2)、(3)、(6)及び(8)の所要時間は、それぞれ5分、10分、20分、10分であり、その合計所要時間である45分は、50分のレッスン時間に収まっている。教材パターン生成部22により生成された教材パターンデータは、教材パターン記憶部23に記憶され、かつ、レッスン情報テーブルデータにおいて処理対象のクラスと対応付けられる。
次に、身体動作リスト群記憶部24は、複数の会議の各々について生成された身体動作リストデータを記憶する。
補足事項判定テーブル記憶部25は、身体動作と、学習者の身体動作又は学習環境に関する注意点を示す補足事項とを対応付けるテーブルであって、身体動作に基づいて補足事項を判定するために参照されるテーブルのデータを記憶する。図15は、この補足事項判定テーブル記憶部25に記憶される補足事項判定テーブルデータの一例を示す図である。
単語リスト群記憶部26は、複数の会議の各々について生成された単語リストデータを記憶する。
教材生成部27は、教材パターン記憶部23に記憶される教材パターンデータにより示される各教材のファイルを生成する。各教材ファイルを生成するにあたっては、まず、ゴール/結果リスト群記憶部20に記憶されるゴール/結果リストデータ群を参照して、処理対象の教材を構成する各ゴールとその所要時間を特定する。ゴールと所要時間を特定すると、次に、処理対象の教材を構成する各ゴールについて、身体動作リスト群記憶部24に記憶される身体動作リストデータを参照して身体動作を特定し、特定した身体動作に対応する補足事項を、補足事項判定テーブル記憶部25に記憶される補足事項判定テーブルデータを参照して特定する。補足事項を特定すると、次に、処理対象の教材を構成する各ゴールについて、単語リスト群記憶部26に記憶される単語リストデータを参照して、専門用語とContextualを特定する。専門用語とContextualを特定すると、最後に、特定したゴール、所要時間、補足事項、専門用語及びContextualが記述された教材ファイルを生成する。図16は、この教材ファイルの一例を示す図である。教材生成部27により生成された教材ファイルは、教材記憶部28に記憶される。
以上説明した各機能により、英会話のレッスンのカリキュラムを示す教材パターンデータと、英会話のレッスンで使用される各教材ファイルが生成される。生成されたこれらのデータを用いて、学習者に対する英会話レッスンが行われる。
1−2.動作
次に、以上説明した語学教材生成システム1により実行される処理の流れについて説明する。具体的には、ディスコースコミュニティ分析処理と英会話教材生成処理の流れについて説明する。
図17は、ディスコースコミュニティ分析処理の一例を示すフロー図である。同図に示すディスコースコミュニティ分析処理が行われるにあたり、音声記憶部2には、学習対象となる会議中の英会話の音声データが記憶される。また、資料記憶部5には、上記の会議で使用された、アジェンダを示す資料のデータが記憶される。また、動画記憶部10には、上記の会議の場面を記録した動画データが記憶される。
この状況において、音声解析部3は、音声記憶部2に記憶される音声データを解析して、会議中の発言内容を特定し、特定した発言内容とその発言者とその発言の時点を対応付けることで、記譜データを生成する(ステップSa1)。生成された記譜データ(図2参照)は、記譜記憶部4に記憶される。
次に、ゴール/結果リスト生成部6は、記譜記憶部4に記憶される記譜データと資料記憶部5に記憶される資料データに基づいて、ゴール、結果及び所要時間を特定して対応付けることで、ゴール/結果リストデータを生成する(ステップSa2)。図18は、このゴール/結果リストデータを生成する処理の一例を示すフロー図である。
同図に示す処理において、ゴール/結果リスト生成部6は、まず、記譜データにより示される発言のうち、資料データにより示される議事を構成する語句を含む発言と、依頼を示す所定の語句を含む発言をゴールとして抽出する(ステップSa21)。
次に、ゴール/結果リスト生成部6は、ステップSa21で抽出した各ゴールについて、記譜データにより示される発言のうち、当該ゴールが、後続する次のゴールに切り替わる直前の発言を当該ゴールの結果として抽出する(ステップSa22)。より具体的には、当該ゴールと、これに後続する次のゴールの間に位置する発言であって、当該次のゴールの直前の発言を当該ゴールの結果として抽出する。
次に、ゴール/結果リスト生成部6は、ステップSa21で抽出した各ゴールについて、当該ゴールが、後続する次のゴールに切り替わるまでの時間を当該ゴールの所要時間として特定する(ステップSa23)。より具体的には、当該ゴールが発言された時点と、後続する次のゴールが発言された時点の間の時間を当該ゴールの所要時間として特定する。
以上のステップSa21〜Sa23を経ることで、ゴール/結果リストデータが生成される。生成されたゴール/結果リストデータ(図4参照)は、ゴール/結果リスト記憶部7に記憶される。
ゴール/結果リストデータが生成されると、次に、関連発言リスト生成部8は、ゴール/結果リスト記憶部7に記憶されるゴール/結果リストデータにより示される各ゴールについて、記譜記憶部4に記憶される記譜データにより示される発言の中から関連発言を抽出することで、関連発言リストデータを生成する(ステップSa3)。図19は、ゴールについて関連発言を抽出する処理の一例を示すフロー図である。
同図に示す処理において、関連発言リスト生成部8は、まず、処理対象のゴールと、これに後続する次のゴールの間に位置する各発言のUsage度を算出する(ステップSa31)。
次に、関連発言リスト生成部8は、ステップSa31で算出したUsage度が高い順に所定数の発言を関連発言として抽出する(ステップSa32)。ここで抽出される関連発言の数は、処理対象のゴールと、これに後続する次のゴールの間に位置する発言の総数の30%以下とする。
以上のステップSa31及びSa32が各ゴールについて行われることで、関連発言リストデータが生成される。生成された関連発言リストデータ(図5参照)は、関連発言リスト記憶部9に記憶される。
関連発言リストデータが生成されると、次に、身体動作リスト生成部11は、ゴール/結果リスト記憶部7に記憶されるゴール/結果リストデータにより示される各ゴールについて、動画記憶部10に記憶される動画データを解析して所定の身体動作とその動作者を特定し、特定した身体動作のリストデータを生成する(ステップSa4)。各ゴールについて身体動作とその動作者を特定するにあたっては、処理対象のゴールが発言された時点と、これに後続する次のゴールが発言された時点の間に行われた所定の身体動作とその動作者を、動画データを解析して特定する。身体動作リスト生成部11により生成された身体動作リストデータ(図7参照)は、身体動作リスト記憶部12に記憶される。
次に、単語リスト生成部13は、記譜記憶部4に記憶される記譜データにより示される各単語を、図示せぬ辞書データベースを用いて語源及び品詞で分類することで、単語リストデータを生成する(ステップSa5)。生成された単語リストデータ(図8参照)は、単語リスト記憶部14に記憶される。
以上説明したディスコースコミュニティ分析処理の結果、英会話教材の生成に使用されるゴール/結果リストデータ、関連発言リストデータ、身体動作リストデータ及び単語リストデータが生成される。このディスコースコミュニティ分析処理は、学習対象とされる英会話が行われる複数の会議の各々について実行される。
次に、図20は、英会話教材生成処理の一例を示すフロー図である。同図に示す英会話教材生成処理が行われるにあたり、関連発言リスト群記憶部15には、複数の会議の各々について生成された関連発言リストデータが記憶される。また、ゴール/結果リスト群記憶部20には、複数の会議の各々について生成されたゴール/結果リストデータが記憶される。また、身体動作リスト群記憶部24には、複数の会議の各々について生成された身体動作リストデータが記憶される。また、単語リスト群記憶部26には、複数の会議の各々について生成された単語リストデータが記憶される。
この状況において、ゴールレベル判定部18は、関連発言リスト群記憶部15に記憶される関連発言リストデータ群により示される各ゴールについて、ゴールに適した英会話の習熟度を判定することで、ゴールレベルデータを生成する(ステップSb1)。図21は、ゴールに適した英会話の習熟度を判定する処理の一例を示すフロー図である。
同図に示す処理において、ゴールレベル判定部18は、まず、処理対象のゴールについて抽出された関連発言を構成する各単語の難易度を判定する(ステップSb11)。難易度の判定にあたっては、難易度判定テーブル記憶部16に記憶される難易度判定テーブルが参照される。
次に、ゴールレベル判定部18は、ステップSb11で判定した各単語の難易度に対応する英会話の習熟度を判定する(ステップSb12)。習熟度の判定にあたっては、習熟度判定テーブル記憶部17に記憶される習熟度判定テーブルが参照される。
次に、ゴールレベル判定部18は、ステップSb12で判定した習熟度の中で最も高い習熟度を、処理対象のゴールの習熟度として特定する(ステップSb13)。
以上のステップSb11〜Sb13が各ゴールについて行われることで、ゴールレベルデータが生成される。生成されたゴールレベルデータ(図12参照)は、ゴールレベル記憶部19に記憶される。
ゴールレベルデータが生成されると、次に、教材パターン生成部22は、レッスン情報テーブル記憶部21に記憶されるレッスン情報テーブルデータにより示される各クラスに適した教材パターンのデータを生成する(ステップSb2)。図22は、クラスに適した教材パターンを特定する処理の一例を示すフロー図である。
同図に示す処理において、教材パターン生成部22は、まず、処理対象のクラスに適したゴールを選択する(ステップSb21)。具体的には、ゴールレベル記憶部19に記憶されるゴールレベルデータとレッスン情報テーブルデータを参照して、処理対象のクラスに参加する学習者と学習支援者の習熟度との間で所定の条件を満たす習熟度を有するゴールを選択する。ここで所定の条件とは、ゴールの習熟度が学習者の習熟度と同等か1段階高いという第1条件と、ゴールの習熟度がいずれの学習支援者の習熟度も超えないという第2条件の両条件である。
次に、教材パターン生成部22は、ステップSb21で選択したゴールをレッスン単位にグルーピングする(ステップSb22)。具体的には、ゴールレベル記憶部19に記憶されるゴール/結果リストデータ群(特に所要時間)を参照して、選択したゴールを、各グループを構成するゴールの所要時間の合計が1回のレッスン時間を超えないようにグルーピングし、各グループに教材IDを付与する。
以上のステップSb21及びSb22が各クラスについて行われることで、教材パターンデータが生成される。生成された教材パターンデータ(図14参照)は、教材パターン記憶部23に記憶され、かつ、レッスン情報テーブルデータにおいて処理対象のクラスと対応付けられる。
教材パターンデータが生成されると、次に、教材生成部27は、教材パターン記憶部23に記憶される教材パターンデータにより示される各教材のファイルを生成する(ステップSb3)。図23は、教材ファイルを生成する処理の一例を示すフロー図である。
同図に示す処理において、教材生成部27は、まず、ゴール/結果リスト群記憶部20に記憶されるゴール/結果リストデータ群を参照して、処理対象の教材を構成する各ゴールとその所要時間を特定する(ステップSb31)。
次に、教材生成部27は、処理対象の教材を構成する各ゴールについて、身体動作リスト群記憶部24に記憶される身体動作リストデータを参照して身体動作を特定し、特定した身体動作に対応する補足事項を、補足事項判定テーブル記憶部25に記憶される補足事項判定テーブルデータを参照して特定する(ステップSb32)。
次に、教材生成部27は、処理対象の教材を構成する各ゴールについて、単語リスト群記憶部26に記憶される単語リストデータを参照して、専門用語とContextualを特定する(ステップSb33)。
次に、教材生成部27は、ステップSb31で特定したゴール及び所要時間、ステップSb32で特定した補足事項、並びにステップSb33で特定した専門用語及びContextualが記述された教材ファイルを生成する(ステップSb34)。生成された教材ファイル(図16参照)は、教材記憶部28に記憶される。
以上のステップSb31〜Sb33が各教材について行われることで、各教材ファイルが生成される。
以上説明した英会話教材生成処理の結果、英会話のレッスンのカリキュラムを示す教材パターンデータと、英会話のレッスンで使用される各教材ファイルが生成される。生成されたこれらのデータを用いて、学習者に対する英会話レッスンが行われる。
以上説明した語学教材生成システム1によれば、ディスコースコミュニティ分析を通じて自動的に教材が作成されるため、学習対象である英会話が実際に行われている環境の文化的特徴を反映させた教材を作成することができる。また、教材開発の専門家の助けを借りなくても教材を作成することができる。
2.変形例
上記の実施形態は下記のように変形してもよい。なお、以下に記載する2以上の変形例は互いに組み合わせてもよい。
2−1.変形例1
上記の実施形態では、学習対象の英会話として、会議中の英会話を想定しているが、学習対象の英会話はこれに限られない。例えば、電話応対や面接等のその他のシチュエーションで行われる英会話を学習対象としてもよい。
2−2.変形例2
音声解析部3は、記譜データを生成する際、特定した発言内容に必ずしもその発言者を対応付けなくてもよい。
2−3.変形例3
資料記憶部5に記憶される資料データは、必ずしも会議中に使用される資料のデータでなくてもよい。議事の進行順序が記載された資料であれば、例えば、議事録のデータであってもよい。
2−4.変形例4
ゴール/結果リスト生成部6は、ゴールを抽出する際、その抽出精度を高めるために、資料データに示される議事を構成する語句を含む発言であって、かつ、依頼を示す所定の語句を含む発言を抽出するようにしてもよい。また、ゴール/結果リスト生成部6は、ゴールを抽出する際、類義語データベースを参照して、資料データに示される議事を構成する語句の類義語を含む発言も抽出するようにしてもよい。
2−5.変形例5
ゴール/結果リスト生成部6は、ゴールの結果を抽出する際、当該ゴールの次のゴールの直前の発言を抽出するのに代えて、当該次のゴールよりも前の所定数(2以上)の発言を抽出するようにしてもよい。そして、抽出した各発言について、当該ゴールとの関連度を示すUsage度を算出し、Usage度が最も高い発言を当該ゴールの結果として抽出するようにしてもよい。なおここで、Usage度とは、発言が、当該ゴールを構成する語句を含む度合いを示す値である。
2−6.変形例6
関連発言リスト生成部8が抽出する関連発言の数は、ゴール間の発言数に応じて変化させずに、一律固定としてもよい。また、関連発言リスト生成部8は、Usage度を算出する際、類義語データベースを参照して、ゴールとその結果を構成する語句だけでなく、その語句の類義語を含む度合いを算出するようにしてもよい。
2−7.変形例7
英会話の習熟度を示す指標として、CEFR以外の他の指標を用いてもよい。
2−8.変形例8
ゴールレベル判定部18は、ゴールに適した習熟度を判定する際、最も高い習熟度をゴールの習熟度として特定するのに代えて、単語の出現数又は出現割合が所定の閾値を超える習熟度の中で最高の習熟度を、ゴールの習熟度として特定するようにしてもよい。または、単純に、単語の出現数又は出現割合が最高の習熟度を、ゴールの習熟度として特定するようにしてもよい。
2−9.変形例9
ゴールレベル判定部18は、ゴールに適した習熟度を判定する際、関連発言を構成する単語の難易度に基づいて習熟度を判定するのに代えて、関連発言が発言された際の話す速度に応じて習熟度を判定するようにしてもよい。ここで、関連発言が発言された際の話す速度は、関連発言を構成する単語数を、関連発言を行うのに要した時間(言い換えると、関連発言の開始時と終了時の時間差)で除することにより求められる。ゴールレベル判定部18は、話す速度と習熟度を対応付けた習熟度判定テーブルを予め記憶しておき、この習熟度判定テーブルを参照して、求めた話す速度を習熟度に変換する。
2−10.変形例10
ゴールレベル判定部18は、ゴールに適した習熟度を判定する際、関連発言を構成する単語の難易度に基づいて習熟度を判定するのに代えて、当該ゴールと後続する次のゴールの間に位置するすべての発言の難易度に基づいて習熟度を判定するようにしてもよい。この変形例が採用された場合、関連発言リスト生成部8、関連発言リスト記憶部9及び関連発言リスト群記憶部15は不要となる。
2−11.変形例11
教材パターン生成部22がゴールを選択される際に基づく条件は、上記の第1条件及び第2条件の組に限られない。教材パターン生成部22は、第1条件と第2条件のうちの一方のみに基づいて、ゴールを選択するようにしてもよい。または、ゴールの習熟度が学習者の習熟度と同等であるといった条件や、特定の発言者により発言されたゴールであるといった条件のような別の条件に基づいて、ゴールを選択するようにしてもよい。なお、特定の発言者により発言されたゴールであるという条件が設定された場合には、教材パターン生成部22は、記譜データを参照して、その特定の発言者により発言されたゴールを選択する。
2−12.変形例12
教材生成部27は、教材ファイルを生成する際、専門用語とContextual以外の単語も、単語リストデータを参照して特定して教材ファイルに記述するようにしてもよい。
2−13.変形例13
上記の実施形態では、学習対象として英会話が想定されているが、学習者の母語と異なる言語であれば、他の言語による会話であってもよい。
1…語学教材生成システム、2…音声記憶部、3…音声解析部、4…記譜記憶部、5…資料記憶部、6…ゴール/結果リスト生成部、7…ゴール/結果リスト記憶部、8…関連発言リスト生成部、9…関連発言リスト記憶部、10…動画記憶部、11…身体動作リスト生成部、12…身体動作リスト記憶部、13…単語リスト生成部、14…単語リスト記憶部、15…関連発言リスト群記憶部、16…難易度判定テーブル記憶部、17…習熟度判定テーブル記憶部、18…ゴールレベル判定部、19…ゴールレベル記憶部、20…ゴール/結果リスト群記憶部、21…レッスン情報テーブル記憶部、22…教材パターン生成部、23…教材パターン記憶部、24…身体動作リスト群記憶部、25…補足事項判定テーブル記憶部、26…単語リスト群記憶部、27…教材生成部、28…教材記憶部

Claims (3)

  1. 外国語を用いて行われた会話の音声を解析して、複数の発言と、当該複数の発言の各々がなされた時点を特定する音声解析部と、
    前記特定された複数の発言のうち、前記会話が行われた際に使用された資料に記載されている語句を含む複数の発言をゴールとして抽出するゴール抽出部と、
    前記抽出された複数のゴールの各々について、前記特定された複数の発言の中から、当該ゴールと当該ゴールに後続する他のゴールの間に位置する発言であって、当該他のゴールから所定の範囲内に位置する発言を当該ゴールの結果として抽出する結果抽出部と、
    前記抽出された複数のゴールの各々について、当該ゴールが発言された時点と、当該ゴールに後続する他のゴールが発言された時点の間の時間を当該ゴールの所要時間として特定する所要時間特定部と、
    前記抽出された複数のゴールの各々について、当該ゴールと当該ゴールに後続する他のゴールの間に位置する発言を構成する語句の難易度に基づいて、当該ゴールに適した前記外国語の習熟度を判定する習熟度判定部と、
    前記抽出された複数のゴールの中から、当該ゴールについて判定された習熟度と前記外国語の学習者との間、および、当該ゴールについて判定された習熟度と前記外国語の学習支援者の習熟度との間で所定の条件を満たす複数のゴールを選択するゴール選択部と、
    前記選択された複数のゴールを、各グループを構成するゴールの所要時間の合計が所定の学習時間を超えないようにグループ分けするゴールグルーピング部と、
    前記形成された複数のグループの各々について、当該グループを構成する複数のゴールと当該複数のゴールの各々の所要時間を示すファイルを教材として生成する教材生成部と
    を備える語学教材生成システム。
  2. 前記抽出された複数のゴールの各々について、当該ゴールが発言された時点と、当該ゴールに後続する他のゴールが発言された時点の間に行われた所定の身体動作を、前記会話の場面を記録した動画を解析して特定する身体動作特定部と、
    前記抽出された複数のゴールの各々について、当該ゴールについて特定された身体動作に予め対応付けられている、前記学習者の身体動作又は学習環境に関する注意点を示す補足事項を特定する補足事項特定部と
    をさらに備え、
    前記教材生成部は、前記形成された複数のグループの各々について、当該グループを構成する複数のゴールと当該複数のゴールの各々の所要時間と補足事項を示すファイルを教材として生成する
    ことを特徴とする請求項1に記載の語学教材生成システム。
  3. 前記抽出された複数のゴールの各々について、前記特定された複数の発言のうち、当該ゴールと当該ゴールに後続する他のゴールの間に位置する複数の発言の各々について、当該ゴール又は当該ゴールについて抽出された結果を構成する語句を含む度合いを示す関連度を判定し、判定した関連度が高い順に所定数以下の発言を当該ゴールの関連発言として抽出する関連発言抽出部をさらに備え、
    前記習熟度判定部は、前記抽出された複数のゴールの各々について、当該ゴールについて抽出された関連発言を構成する語句の難易度に基づいて、当該ゴールに適した前記外国語の習熟度を特定する
    ことを特徴とする請求項1又は2に記載の語学教材生成システム。
JP2019046016A 2019-03-13 2019-03-13 語学教材生成システム Active JP7296029B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019046016A JP7296029B2 (ja) 2019-03-13 2019-03-13 語学教材生成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019046016A JP7296029B2 (ja) 2019-03-13 2019-03-13 語学教材生成システム

Publications (2)

Publication Number Publication Date
JP2020148892A true JP2020148892A (ja) 2020-09-17
JP7296029B2 JP7296029B2 (ja) 2023-06-22

Family

ID=72432266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019046016A Active JP7296029B2 (ja) 2019-03-13 2019-03-13 語学教材生成システム

Country Status (1)

Country Link
JP (1) JP7296029B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149053A (ja) * 2000-11-08 2002-05-22 Kochi Univ Of Technology 外国語会話学習方法とそのプログラム記憶媒体および外国語会話学習装置
JP2002278441A (ja) * 2001-03-21 2002-09-27 Gaba:Kk プライベートレッスンのための外国語会話教材
JP2004020739A (ja) * 2002-06-13 2004-01-22 Kojima Co Ltd 議事録作成装置、議事録作成方法、議事録作成プログラム
US20140297266A1 (en) * 2013-02-15 2014-10-02 Voxy, Inc. Systems and methods for extracting keywords in language learning
US20170221471A1 (en) * 2016-01-28 2017-08-03 Google Inc. Adaptive text-to-speech outputs
JP2017215943A (ja) * 2016-05-27 2017-12-07 株式会社リコー 情報共有支援システム、情報共有支援装置、情報共有支援方法及びプログラム
JP2018116190A (ja) * 2017-01-19 2018-07-26 有限会社トピックメーカー 語学教材作成システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149053A (ja) * 2000-11-08 2002-05-22 Kochi Univ Of Technology 外国語会話学習方法とそのプログラム記憶媒体および外国語会話学習装置
JP2002278441A (ja) * 2001-03-21 2002-09-27 Gaba:Kk プライベートレッスンのための外国語会話教材
JP2004020739A (ja) * 2002-06-13 2004-01-22 Kojima Co Ltd 議事録作成装置、議事録作成方法、議事録作成プログラム
US20140297266A1 (en) * 2013-02-15 2014-10-02 Voxy, Inc. Systems and methods for extracting keywords in language learning
US20170221471A1 (en) * 2016-01-28 2017-08-03 Google Inc. Adaptive text-to-speech outputs
JP2017215943A (ja) * 2016-05-27 2017-12-07 株式会社リコー 情報共有支援システム、情報共有支援装置、情報共有支援方法及びプログラム
JP2018116190A (ja) * 2017-01-19 2018-07-26 有限会社トピックメーカー 語学教材作成システム

Also Published As

Publication number Publication date
JP7296029B2 (ja) 2023-06-22

Similar Documents

Publication Publication Date Title
KR102580322B1 (ko) 컨퍼런스 기능을 갖는 자동화된 어시스턴트
US8843372B1 (en) Natural conversational technology system and method
Moore et al. Conversational UX design
US9495350B2 (en) System and method for determining expertise through speech analytics
KR102644992B1 (ko) 교육 컨텐츠 주제 기반의 대화형 인공지능 아바타 영어 말하기 교육 방법, 장치 및 이에 대한 시스템
KR101754093B1 (ko) 기록이 자동으로 분류되어 저장되는 개인기록 관리 시스템
Nestor et al. Discourse ‘like’and social identity–a case study of Poles in Ireland
KR20220081120A (ko) 인공 지능 콜센터 시스템 및 그 시스템 기반의 서비스 제공 방법
Leite et al. Semi-situated learning of verbal and nonverbal content for repeated human-robot interaction
Glasser Automatic speech recognition services: Deaf and hard-of-hearing usability
US20210264812A1 (en) Language learning system and method
Izumi et al. SST speech corpus of Japanese learners’ English and automatic detection of learners’ errors
Pareti et al. Dialog intent structure: A hierarchical schema of linked dialog acts
CN109871441A (zh) 一种基于神经网络的导学问答系统及方法
Gardner-Chloros Historical and modern studies of code-switching: A tale of mutual enrichment
Skidmore Incremental disfluency detection for spoken learner english
Ward et al. A Collection of Pragmatic-Similarity Judgments over Spoken Dialog Utterances
Garcia et al. Measuring the performance of a location-aware text prediction system
Mihalcea et al. Automatic detection of deceit in verbal communication
JP7296029B2 (ja) 語学教材生成システム
CN111326030A (zh) 一种集读听写识字学习系统、装置及方法
JP6743108B2 (ja) パターン認識モデル及びパターン学習装置、その生成方法、それを用いたfaqの抽出方法及びパターン認識装置、並びにプログラム
Holt Explaining different aspects of word knowledge: A multimodal analysis of lexical explanation sequences during online French tutoring sessions
Smith et al. Crowdsourcing emotional speech
Matsuda Finger braille teaching system using tablet computer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230502

R150 Certificate of patent or registration of utility model

Ref document number: 7296029

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350