JP2004212895A - System, method and program to support education - Google Patents

System, method and program to support education Download PDF

Info

Publication number
JP2004212895A
JP2004212895A JP2003002607A JP2003002607A JP2004212895A JP 2004212895 A JP2004212895 A JP 2004212895A JP 2003002607 A JP2003002607 A JP 2003002607A JP 2003002607 A JP2003002607 A JP 2003002607A JP 2004212895 A JP2004212895 A JP 2004212895A
Authority
JP
Japan
Prior art keywords
data
lecture
keyword
database
contents
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003002607A
Other languages
Japanese (ja)
Inventor
Yasushi Shinkai
靖 新改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2003002607A priority Critical patent/JP2004212895A/en
Publication of JP2004212895A publication Critical patent/JP2004212895A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an education support system in which learning efficiency is improved. <P>SOLUTION: A computer 1 for distributing educational lecture contents to students located at remote areas, is provided with a lecture obtaining means for obtaining the contents of the lecture conducted by a lecturer as electronic data and storing the data and a distribution means for distributing the lecture contents obtained by the lecture obtaining means to student's terminals connected to a network to realize the education support system. In the system, the computer is provided with a database constructing means in which lecture contents data obtained by the lecture obtaining means are analyzed and a database related to the lecture contents is constructed and the distribution means has a function of transmitting the contents of the lecture contents database to the student's terminals in accordance with the requests made from the terminals. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、教育支援システムにかかり、特に、ネットワークを通じて講義内容データをユーザに配信する遠隔教育を支援するシステムに関する。また、教育支援方法、教育支援用プログラムに関する。
【0002】
【従来の技術】
従来より、各種受験用の講義や、会社の研修などの講義内容を、映像や音声などのデータとして取り込み、それをネットワークを用いて、あるいは、講義内容を記憶した媒体を配送することで、受講者が受講可能となるシステムがある。そして、ネットワークを用いた場合には、リアルタイム放映、録画放映が可能である。このような講義や研修では、全ての受講生が一度の受講で完全に理解できるとも限らず、理解不足を補うために録画・録音した内容を再度聴講するということが行われていた。
【0003】
しかし、受講者が復習すべく再度聴講する際に、ある章や節の解説のみを聞きたい場合であっても、講義を最初から聴講しなくてはならなかったり、該当個所を早送り再生しながら探すことが強いられることもあり、非常に労力を有し、場合によっては実際の研修の数倍以上の時間を費やすこともあった。
【0004】
そして、かかる問題点を解消する技術の一例が特許文献1に開示されている。これは、講義中に受講生が疑問に思った箇所、質問をしたい箇所でクリック等を行うと、録音・録画した講義内容にタイムスタンプを付加する、というものである。これにより、質問箇所を容易に特定できるようにし、再度の聴講時に検索することが容易となる。
【0005】
また、特許文献1の発明には、受講生から質問データが送信された場合には、かかる質問に対して講義者(教師等)が回答する旨が開示されている。
【0006】
【特許文献1】
特開2002−139983号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上述した従来技術、特に、上記特許文献1記載の発明では、以下のような問題が生じる。
【0008】
まず、タイムスタンプを付加する場合であっても、当時、疑問に感じた箇所を講義者に知らせる、あるいは、自身が参照することを補助するだけであって、後に生じた疑問に対しては当該技術では何ら解消されていない。すなわち、リアルタイムにて受講中に生じた疑問に対しては、その該当個所である章・節などをメモしておき、復習時にその参照箇所を容易に頭出しすることができるが、後に生じた疑問点についてはその該当する講義箇所を探さなくてはならないため、復習に多くの時間を費やしてしまう、という問題が生じる。
【0009】
また、質問に対して講義者が回答する場合には、リアルタイム講義時には実際の講義が中断してしまい、講義そのものの進行や、他の受講生の研修の進行を妨げてしまうという問題が生じる。
【0010】
【発明の目的】
本発明は、上記従来例の有する不都合を改善し、特に、講義の受講時に、容易に疑問に対する回答を得ることができ、これにより復習が容易となり、学習効率の向上を図ることができる教育支援システムを提供する、ことをその目的とする。
【0011】
【課題を解決するための手段】
そこで、本発明では、教育用講義コンテンツを配信するコンピュータが、講師による講義の内容を電子データとして取得して記憶する講義取得手段と、この講義取得手段にて取得した講義内容データをネットワークに接続された受講者端末に配信する配信手段とを備え、遠隔地の受講者に対する教育を支援するシステムにおいて、コンピュータが、講義取得手段にて取得した講義内容データを解析して、講義内容に関するデータベースを構築するデータベース構築手段を備えると共に、配信手段が、講義内容データベースの内容を受講者端末からの要求に応じて当該受講者端末に送信する機能を有する、という構成を採っている。
【0012】
また、本発明は、教育用講義コンテンツを配信するコンピュータが、講師による講義の内容を画像データ及び音声データとして取得して記憶する画像取得手段及び音声取得手段から成る講義取得手段と、この講義取得手段にて取得した講義内容データをネットワークに接続された受講者端末に配信する配信手段とを備え、遠隔地の受講者に対する教育を支援するシステムにおいて、コンピュータが、音声取得手段にて取得した音声データ内の言語を解析する言語解析手段と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築手段とを備え、配信手段が、講義内容データベースの内容を前記受講者端末からの要求に応じて当該受講者端末に送信する機能を有する、という構成であってもよい。
【0013】
このような構成にすることにより、まず、本発明のシステム自体であるコンピュータに備えられた講義取得手段にて講義の内容が電子データとして当該コンピュータに取り込まれ、この講義内容データ(コンテンツ)がネットワークを通じて受講者端末に配信される。そして、受講者端末にコンテンツが配信されると共に(リアルタイム配信時)、コンピュータでは取り込んだ講義内容データが解析され、講義の内容に関するデータベースが構築され記憶される。例えば、講義中の講師の音声データがコンピュータにて言語解析され、解析言語の内からあらかじめ定められた基準に合致する用語が抽出される。そして、かかる用語に関する解説データがキーワードに関連付けられて記憶され、データベースが構築される。その後、データベース内のデータが受講者の要求によりコンピュータから受講者端末に送信される。
【0014】
従って、受講者は講義を受講する際に、特に復習(再受講)時に、疑問がある箇所やもう一度講義を受けたい箇所を、当該箇所の特徴となる用語に基づいて要求することにより、その説明箇所の講義内容データをデータベース内から容易に検索することができ、それを参照することができる。これにより、短時間にて容易に復習することができるため、学習効率の向上を図ることができる。
【0015】
また、データベース構築手段は、言語解析手段にて解析された言語のうちあらかじめ定められた基準に合致する用語をキーワードとして抽出するキーワード抽出部と、このキーワード抽出部にてキーワードが抽出された時刻に前後する時間帯に取得された音声データをキーワードに関連付けて記憶する関連付けデータベース形成部と、を備えることとすると望ましい。
【0016】
これにより、講師が講義中に説明した重要単語などのキーワードが抽出されると、当該キーワードが発せられた時刻の前後に、講師にて説明された文言を含む音声データが解説データとして当該キーワードに関連付けられてコンピュータに蓄積される。そして、受講時や復習時にそのキーワードの解説を求める受講者は、当該キーワードにて検索することで容易に解説データを得ることができる。従って、受講者が受講時、復習時に参照する解説データは、キーワードに前後して講師にて説明された文言であるため、当該キーワードとの関連性が高く、解説データとしての利用価値があり、受講者はその理解をより高めることができ、学習効率の向上を図ることができる。
【0017】
また、データベース形成部は、キーワード抽出部にてキーワードが抽出された時刻に前後する時間帯に取得された画像データを前記キーワードに関連付けて記憶する機能を有していてもよい。同様に、言語解析手段は、解析した音声データをテキストデータに変換するテキスト変換機能を有すると共に、データベース形成部は、キーワード抽出部にてキーワードが抽出された時刻に前後する時間帯に取得した音声データからテキスト変換機能にて変換したテキストデータを前記キーワードに関連付けて記憶する機能を有していてもよい。さらには、コンピュータが、講義にて用いられる情報提示手段に表示された内容である提示情報を電子データとして取得する提示情報取得手段を設けると共に、データベース形成部は、キーワード抽出部にてキーワードが抽出された時刻に前後する時間帯に取得された提示情報をキーワードに関連付けて記憶する機能を有する、こととしてもよい。
【0018】
このようにすることにより、講師が講義中に説明したキーワードの解説データが、講師の音声データによるものばかりでなく、そのときの講義の様子を撮影した画像データや、音声データをテキスト化したもの、さらには、そのときに板書やコンピュータによるプレゼンテーションにより提示された情報が、キーワードに関連付けられてデータベースに蓄積される。従って、受講者は、キーワードに関する講義中のあらゆる解説を参照することができ、より学習の効率を高めることができる。
【0019】
また、キーワード抽出部は、あらかじめ登録された用語データに基づいてキーワードを抽出したり、言語解析手段にて複数回検出された用語をキーワードとして抽出する機能を有する。さらには、言語解析手段は、言語解析する音声データの音量の大小に関する解析を行う機能を備え、キーワード抽出部は、言語解析手段による解析に基づいて音声データ中で相対的に音量が大きい箇所における用語をキーワードとして抽出する機能を有する。
【0020】
これにより、あらかじめ登録された用語や、繰り返された用語、さらには、講師が声を大にして説明した用語を、キーワードとして抽出し、その前後に説明された情報を解説データとしてデータベースに登録するため、より重要な用語のデータベース化を図ることができる。同時に、あらゆる用語をキーワードとして登録するわけではなく、データベースの肥大化を抑制し、検索性能の向上、システム自体の処理負担の軽減を図ることができる。
【0021】
また、言語解析手段は、音声取得手段にて取得した音声データの言語を解析して動作に関する用語を抽出する機能を有すると共に、データベース構築手段は、抽出した動作用語があらかじめ登録された所定の用語であると判断したとき、動作用語が抽出された時刻に前後する時間帯に取得された音声データ内の用語に対して作動する、こととすると望ましい。
【0022】
このような構成にすることにより、コンピュータはあらかじめ登録された動作用語が抽出された際に、その前後に説明された用語についてデータベースを構築する処理を行う。すなわち、その動作用語がデータベース構築のキーとなるため、キーワードとしての用語を抽出する処理が容易になり、データベース構築の効率化を図ることができ、システム自体の処理負担軽減を図ることができる。
【0023】
さらに、コンピュータが、言語解析手段にて抽出した動作用語があらかじめ登録された所定の用語であると判断したときに、動作用語が抽出された時刻に前後する時間帯に取得された音声データ内の用語に基づいて講義内容の目次データを作成する目次作成手段を備え、配信手段が、目次データの内容を受講者端末からの要求に応じて当該受講者端末に送信する機能を有する、こととすると望ましい。そして、目次作成手段は、言語解析手段にて抽出した動作用語があらかじめ登録された所定の用語であると判断したときに、動作用語が抽出された時間に前後する時間帯に取得された音声データ内の用語に基づいた付加データを作成している目次データに追加する機能を有する、こととするとなお望ましい。
【0024】
このような構成にすることにより、講義中に講師が目次作成する旨の用語を発することを合図に目次の項目を作成し、その講義が行われた順序に従って目次データが生成され、かかるデータが受講生に送信される。従って、実際の講義にて予定と異なる順番にて講義が行われた場合であっても、受講者は目次を参照することにより容易に復習することができる。特に、目次データに付加データを追加した場合には、例えば、重要な項目や、逆に重要でない項目である旨を示す付加データが追加されることで、より受講者による復習の効率を高めることができる。
【0025】
また、コンピュータが、受講者端末からネットワークを介して講義に関する質問データを受け付けると共に、質問データの内容を解析して当該質問データ内にある用語を講義内容データベースから検索する質問応答手段を備え、配信手段が、質問応答手段にて検索された講義内容データベースの内容を受講者端末に送信する機能を有する、という構成とすると望ましい。
【0026】
このような構成にすることにより、コンピュータは受講者端末から質問を受けた場合に、質問データ内のデータを検索キーとして蓄積したデータベース内からそれに関係あるデータ、すなわち、解説データを検索する。そして、かかる検索データを受講者端末に送信することで、当該受講者は質問データに入力した内容について解説を得ることができ、容易に学習を行うことができる。また、自動的にコンピュータにて質問に対する回答が生成されて配信されるため、通常の講義の妨げになることが抑制される。
【0027】
また、配信手段は、講義内容データベース内のキーワード一覧データを受講者端末に送信する機能を備えると共に、質問応答手段は、受講者端末にてキーワード一覧データ内のキーワードが選択されることにより送信された質問データを受け付けて当該選択されたキーワードに対して講義内容データベース内の検索を行う、という構成にするとよい。そして、質問応答手段は、受講者端末にて入力されたテキストデータを質問データとして受け付け、さらには、受講者端末にて入力された音声データを質問データとして受け付けると共に、当該音声データによる質問データを言語解析してその内のキーワードに対して処理をも行う。
【0028】
このように、受講者端末から様々な質問形式にて質問データが送信された場合であっても、それを解析して回答となる解説データを検索するため、あらゆる質問形式に対応することができ、受講者が質問することが容易となると共に、その回答もサーバにてデータベースを参照して行われるため迅速であり、学習効率のさらなる向上を図ることができる。
【0029】
また、配信手段は、質問応答手段にて受講者端末から質問データを取得した際に当該受講者端末に対する講義内容データの配信を一時的に中止すると共に、その後、記憶した講義内容データを一時的に配信を中止した箇所付近から受講者端末に配信を再開する機能を有する、という構成とすると望ましい。同様に、配信手段は、受講者端末からの要求に応じて、講義内容データの配信を一時的に中止すると共に、当該配信中止時以前の一定時間内に取得された講義内容データを受講者端末に再配信し、その後、記憶した講義内容データを一時的に配信を中止した箇所付近から前記受講者端末に配信を再開する機能を有する、という構成とするとなお望ましい。また、コンピュータが、講義にて用いられる情報提示手段に表示された内容である提示情報を電子データとして取得する提示情報取得手段を設けると共に、配信手段は、受講者端末からの要求に応じて、講義内容データの配信を一時的に中止すると共に、当該配信中止時以前の一定時間内に取得された提示情報を受講者端末に配信し、その後、記憶した講義内容データを一時的に配信を中止した箇所付近から前記受講者端末に配信を再開する機能を有する、こととしてもよい。そして、配信手段は、講義内容データの配信を一時的に中止している間に、受講者端末から講義内容データの配信の再開を要求するデータを受信した際に当該受講者端末に配信を再開する、という構成としてもよい。
【0030】
これにより、受講者の質問中には講義の配信、すなわち、端末上での再生が一時的に中止され、回答を待つことができる。あるいは、先ほど講義された内容を、もう一度聞きたい場合には、その旨の要求をすることで続きの講義の配信が中止され、直前の講義内容が繰り返される。そして、再生が中止している間は、講義内容が記憶されているため、その後に中止した箇所から再生される。従って、受講者は質問事項の理解を深めることができ、先の講義内容の理解度が不十分になることが抑制される。特に、再生開始の指示を受講者が出す場合には、受講者が十分に理解する時間を取ることができ、学習効率の向上を図ることができる。
【0031】
また、コンピュータは、受講者端末を識別すると共に、当該受講者端末の識別データと共に受講した講義に関するデータを記憶する受講者管理手段を備えている、という構成にすると望ましい。特に、受講者管理手段は、講義取得手段にて取得した講義内容データから講義の進行状況を認識し、当該講義の進行状況に応じて受講者毎に受講した講義に関するデータを記憶する機能を有することとするとなお望ましい。これにより、受講者毎にその受講内容が記憶管理されるため、当該受講者は次に受講する講義や、復習すべき講義の内容を容易に把握することができる。
【0032】
さらに、本発明では、教育用講義コンテンツをコンピュータにて配信し、遠隔地の受講者に対する教育を支援する方法であって、講師による講義の内容を画像データ及び音声データとして取得して記憶する講義取得工程と、取得した講義内容データをネットワークに接続された受講者端末に配信する配信工程とを備え、講義取得工程は、取得した音声データ内の言語を解析する言語解析工程と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築工程とを備え、配信工程は、講義内容データベースの内容を受講者端末からの要求に応じて当該受講者端末に送信するデータベース配信工程を備えた、という教育支援方法をも提供している。
【0033】
また、教育用講義コンテンツを配信するコンピュータの動作を制御して、遠隔地の受講者に対する教育を支援するためのプログラムであって、講師による講義の内容を画像データ及び音声データとして取得して記憶する講義取得処理と、取得した講義内容データをネットワークに接続された受講者端末に配信する配信処理とを備え、講義取得処理は、取得した音声データ内の言語を解析する言語解析処理と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築処理とを備え、配信処理は、講義内容データベースの内容を受講者端末からの要求に応じて当該受講者端末に送信する処理を有する、という教育支援用プログラム、及び、当該プログラムを記憶した記憶媒体をも提供している。
【0034】
このような構成によっても、上述と同様の作用、効果を得ることができ、上記目的を達成することができる。
【0035】
【発明の実施の形態】
〈第1の実施形態〉
以下、本発明の第1の実施形態を、図1乃至図9を参照して説明する。図1は、本発明の第1の実施形態における構成を示すブロック図である。図2乃至図3は、システム内の一部のサーバの構成を示す機能ブロック図である。図4は、システム内にて構築されるデータベースの構造を示す図である。図5乃至図7は、受講者端末に表示されるユーザインタフェースの一例を示す図である。図8乃至図9は、本システムの動作を示すフローチャートである。
【0036】
(構成)
本発明である教育支援システムは、ネットワークNに接続された教育用講義コンテンツを配信するコンピュータ1を備え、ネットワークNに接続された遠隔地受講者の受講者端末2にある講義の講義内容データを配信するというものである。特に、講義の様子を、画像(映像)データと音声データとにより、リアルタイムにて受講者に配信する通信教育を行うというものである。以下、これを詳述する。
【0037】
本システムであるコンピュータ1は、本実施形態では以下に示すよう、種々の処理を行う複数のサーバコンピュータの集合体である。このように、各処理を個々のサーバコンピュータに実行させることで、分散化による処理速度の向上を図ることができる。但し、本システムは、一つのサーバコンピュータにて実現されていてもよく、かかる場合には、以下に示す各サーバが行う処理を一つのコンピュータが行うこととなる。
【0038】
本システムは、図1に示すように、講師による講義内容を電子データとして取得して記憶する講義取得手段(11等)と、この講義取得手段にて取得した講義内容データをネットワークNに接続された受講者端末2に配信する配信手段(14等)と、講義取得手段にて取得した講義内容データを解析して講義内容に関するデータベースを構築するデータベース構築手段(12等)とを備えている。また、図1に図示していないが、講義にて用いられる情報提示手段に表示された内容である提示情報を電子データとして取得する提示情報取得手段をも設けている。
【0039】
具体的には、上記講義取得手段(11等)は、サーバコンピュータである画像・音声取得サーバ11と、講義Aが行われる教室などに設置され当該講義Aの様子をディジタル画像データとして取り込むカメラ11aと、同様に教室などに設置され講義Aの音声をディジタル音声データとして取り込むマイク11bと、取り込んだ画像データ及び音声データとからなる講義内容データを記憶する記憶手段(例えば、ハードディスク)である画像・音声データベース16とから成る。すなわち、講義取得手段11は、主に画像取得手段と音声取得手段と、取得したデータを記憶する記憶手段とにより構成されている。
【0040】
また、提示情報取得手段は、講義中に講師などにより提示された情報を取得するものであるため、上記講義取得手段と同様に講義内容に関する情報を取得するものである。例えば、情報提示手段は、あらかじめ電子化されたプレゼンテーション用のデータを再生・表示するコンピュータであったり、当該プレゼンテーション用データを講義教室にて実際に投影するプロジェクタ、さらには、ホワイトボード・黒板などの板書用ボードなどである。そして、情報提示手段がコンピュータやプロジェクタなどである場合には、コンピュータが画像・音声取得サーバ11に接続されていることで当該サーバ11が提示情報取得手段として機能する。
【0041】
そして、かかる場合には、画像・音声取得サーバ11にて取得されたプレゼンテーション用のデータ自体が、提示情報となる。また、情報提示手段がホワイトボードである場合には、当該ボードに装着されて書いた内容を認識し、かかる文字や図形を電子データとして取得する機能を有する機器、及び、当該機器に接続されて実際に提示情報を取得する画像・音声取得サーバ11が提示情報取得手段となる。例えば、板書用ボードに記載された文字等を認識して電子データとして取得する機器とは、当該ボードの記載面を光学的にスキャン可能な構成となっているものである。この場合、取得した電子データである文字や図形データが提示情報となるが、記載された文字データを文字認識することにより、テキストデータ化したものであってもよい。
【0042】
さらには、情報提示手段である板書用ボードが黒板である場合には、当該黒板が講師の陰に隠れてカメラ11aにて撮影できないことを抑制するためにあらゆる角度から撮影するカメラ、及び、当該カメラによる画像データを取得する画像・音声取得サーバ11にて、提示情報取得手段を構成してもよい。この場合には、当該カメラにて黒板を撮影した画像データが、提示情報となる。そして、上述したように画像・音声取得サーバ11にて取得された提示情報は、当該サーバ11にて画像・音声データベース16に格納される。ここで、以下では、主に、情報提示手段が板書用ボード(ホワイトボードなど)である場合を例示し、取得された提示情報を板書データと呼ぶ。
【0043】
また、配信手段14は、取り込んだ講義内容データをリアルタイムに、すなわち、カメラ等11a,11bから取り込んだ画像、音声データなどを、直接に受講者端末2に配信する通信管理サーバ14である。この通信管理サーバ14は、配信する受講者端末2の接続状況を管理すると共に、当該受講者端末2毎のこれまでの講義の受講状況、さらには、現在の講義の受講箇所(配信中の講義の開始時点からの相対時刻)などを管理している。これに関しては、後に詳述する。ここで、配信手段にて受講者端末2に配信される講義内容データは、リアルタイムにて配信されることに限定されない。取り込んで画像・音声データベース16に記憶された講義内容データが、受講者からの要求に応じてオンデマンド形式により配信されてもよい。
【0044】
また、データベース構築手段12は、画像・音声取得サーバ11にて取得した画像・音声データを解析処理する画像・音声処理サーバ12と、処理の結果、構築されたデータベースを格納する記憶手段であるキーワードデータベース17とにより構成される。そして、画像・音声処理サーバ12は、図2にその構成を機能ブロック図にて示すように、取得した音声データ内の言語を解析する言語解析機能12aと、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築機能12b,12cを備えている。
【0045】
言語解析機能12aは、マイク11b等にて取り込んだ音声データをリアルタイムに音声認識し、音声中の名詞や動詞、助詞などを解析し、テキスト化する。さらには、認識した音声が例えば英語などの所定の言語であることを検出した場合には、文章全てを日本語に翻訳する機能も有する。なお、このような音声認識技術は、既に公知の技術となっているため、その詳細については説明を省略する。
【0046】
そして、データベース構築機能は、さらに以下のような機能にて構成されている。すなわち、この機能は、上記言語解析機能にて解析された言語のうちあらかじめ定められた基準に合致する用語をキーワードとして抽出するキーワード抽出機能12bと、このキーワード抽出機能にてキーワードが抽出された講義時刻に前後する時間帯に取得された音声データ等のキーワード解説データを当該キーワードに関連付けて記憶するデータベース形成機能12cと、を備えている。これにより、講師が講義中に説明した重要単語などのキーワードが抽出され、当該キーワードが解説データと共にデータベースとしてサーバに蓄積される。そして、後述するように、復習時にそのキーワードの解説を求める受講者は、当該キーワードにて検索することで容易に解説データを得ることができ、復習効率の向上を図ることができる。
【0047】
そして、上記キーワード抽出機能12bによるキーワードの抽出方法は、以下のものがある。すなわち、キーワード抽出機能12bは、以下の処理を行う機能を備えている。
【0048】
まず、あらかじめ登録された用語データ12dに基づいてキーワードを抽出する。これは、あらかじめ講義を行う講師に講義計画なるものを提出してもらい、講義において重要と思われるキーワードをデータベースとして登録(記憶)しておき、かかる登録されたキーワードと同一のキーワードを抽出する。
【0049】
また、別の手法としては、言語解析機能にて解析された用語を監視し、当該用語自体とその検出された時刻をメモリに記憶しておき、同一の用語が複数回検出された時点でその用語をキーワードとして抽出する。そして、ある用語をキーワードとして抽出したときに、後述するようにこの用語の解説データをキーワードデータベースに記憶するが、これまでに検出された用語の検出時刻に基づいて、既に記録した画像・音声データベース内を検索し、以前に用語が検出された時刻の前後の音声データなどを解説データとしてキーワードデータベースに登録する。例えば、ある用語を3回以上検出した時点でキーワードとして登録し、3回全ての検出時前後に講師がしゃべった内容を解説データとして登録する。これにより、講師が複数回しゃべった用語は重要である可能性が高いため、そのような用語が自動的に抽出され、データベースが構築される。
【0050】
さらに、別の手法としては、上述した言語解析機能に、言語解析する音声データの音量の大小に関する解析を行う機能を備え、解析している音声データ中で相対的に音量が大きい箇所における用語をキーワードとして抽出する。これは、講師が声を大きくしてしゃべった部分は重要である可能性が高いため、そのような場合に発せられた用語が自動的に抽出される。
【0051】
そして、上記のようにして抽出されたキーワードについて、データベース形成機能12cが、キーワードが抽出された講義時間に前後する時間帯に取得された音声データ・画像データ12eなどをキーワードに関連付けてハードディスクなどの記憶手段であるキーワードデータベース17に記憶する。このとき、例えば、キーワードが発せられた時刻の前後1分間の音声データや画像データを解説データとして記憶することにより、キーワードに関する解説データが音声データに含まれていたり、あるいは、画像データにキーワードに関する板書が写っていたり、さらには、講師のジェスチャーや持ち込んだ資料などが画像データに含まれていることにより、後述するように復習に有効なデータベースが形成される。このとき、キーワードが発せられた時刻の前後の音声データ等の取得については、画像・音声取得サーバ11にて取得時に画像・音声データベース16に記憶された画像、音声データが用いられる。
【0052】
また、データベース形成機能12cは、キーワードに、音声データ、画像データばかりでなく、音声データをテキストデータ化したものや、上述したように情報提示手段に提示されて提示情報取得手段にて取得されたプレゼンテーション用のデータ、さらには、板書用ボードに記載された提示情報である図形や文字からなる板書データ12eをも関連付けて記憶する機能も有する。すなわち、キーワード抽出機能にてキーワードが抽出された時刻に前後する時間帯(例えば、前後1分)に取得した音声データをテキストデータに変換してキーワードに関連付けて記憶したり、同様に、キーワードが抽出された時刻に前後する時間帯に取得した板書データなどの提示情報をキーワードに関連付けて記憶する。ちなみに、音声データをテキストに変換する場合には、言語解析機能12aに解析した音声データをテキストデータに変換するテキスト変換機能が備えられている。
【0053】
ここで、上述のようにして構築されたデータベースの一例を図4に示す。この図に示すように、「ネットワーク」というキーワードがあらかじめ重要用語として登録されており、講義中に講師にてかかる用語が説明されたとすると、その前後の音声データや画動データ、さらには、板書データがある場合には板書によるテキストデータなどが、所定のファイル名を付けられて(例えば、file1)「ネットワーク」という用語に関連付けられてデータベースに登録される。このとき、「ネットワーク」に関するデータベースが2つ(複数)あるが、これは説明された時刻が異なる場合であって、説明される度に解説データも関連付けられる。これにより、キーワードに関する解説データが豊富になり、ある解説データを聞いても理解できない受講者は、同一キーワードの他の解説データを聞くこともでき、講義を理解するための有効な補助データとなる。
【0054】
また、本システムでは、受講者端末2がネットワークNを介して講義に関する質問データを送信する機能を有しており、これに対応してシステム側では送信された質問データを受け付けると共に当該質問データの内容を解析して応答する質問応答サーバ15(質問応答手段)を備えている。具体的には、質問応答サーバ15は、通信管理サーバ14を介して受信した質問データ内にある用語を、講義内容データベースであるキーワードデータベース17内から検索して、このキーワードに対応する音声データや画像データ等の解説となる内容のデータを抽出する。抽出されたデータ(講義内容データベース内のデータ)は、配信手段でもある質問応答サーバ15や通信管理サーバ14を介して、質問をしてきた受講者の端末2に送信される。
【0055】
このような構成にすることにより、コンピュータ1すなわちシステム自体は、受講者端末2から質問を受けた場合に、質問データ内のデータを検索キーとして蓄積したデータベース内からそれに関係あるデータ、すなわち、解説データを検索する。そして、検索された解説データ(回答データ)を受講者端末2に送信することで、当該受講者は質問データに入力した内容について解説を得ることができ、容易に復習を行うことができる。また、自動的にサーバにて質問に対する回答が生成されて配信されるため、通常の講義の妨げになることが抑制される。
【0056】
ここで、本システムは、以下のような方法によっても受講者端末2からの質問に応答する。まず、配信手段である質問応答サーバ15、通信管理サーバ14などが、画像・音声処理サーバ12にて構築されたキーワードデータベース17(講義内容データベース)内のキーワード一覧データを受講者端末2に送信する。そして、送信されたキーワード一覧は受講者端末2上に表示され、受講者が疑問に思ったキーワードや復習したいキーワードをクリックするなど選択することにより、システム1自体に送信され、これを通信管理サーバ14を介して質問応答サーバ15が受信する。その後、質問応答サーバ15は、質問データとして受信したデータ内にあるキーワードに対して上述したようにキーワードデータベース17内の検索を行い、これに対応する音声データなどの解説データを、受講者端末2に返送する。
【0057】
また、受講者端末2は、フリーに入力されたテキストデータによって、さらには、受講者がしゃべることにより入力された音声データによっても、質問データをシステム1に対して送信することができる。これを質問応答サーバ15は受信して、テキストデータであれば言語解析機能にてその中からキーワードを抽出して、音声データであれば同様に音声認識による言語解析機能にてキーワードを抽出して、当該キーワードに対するデータベースの検索を行う。
【0058】
このように、受講者の質問形式を多様化することで、受講者が質問することが容易になると共に、その回答もサーバにてデータベースを参照して行われるため迅速であり、復習効率のさらなる向上を図ることができる。
【0059】
上記のような質問応答処理を実現すべく、質問応答サーバ15は、例えば、図3に示す構成を採っている。図3は、質問応答サーバ15の構成を示す機能ブロック図である。このサーバ15は、まず受信した質問データ15fがどのような形式(音声によるもの、自由に入力されたテキストによるものなど)によるものかを分析する質問データ分析機能15aと、文章による質問データを解析してキーワードを抽出する言語解析機能15b及びキーワード抽出機能15cと、質問されたキーワードのデータベースがあるか否かを検索するデータベース検索機能15dと、これを通信管理サーバ14を介して受講者端末2に送信する回答送信機能15eとを備えている。さらに具体的な処理動作は、動作説明の中で詳述する。
【0060】
ここで、本システム1には、さらに、受講者端末2への講義内容データの配信状況を管理している配信手段としての再生管理サーバ13が備えられている。そして、このサーバ13は、特に、質問応答サーバにて受講者端末2から質問データを取得した際に当該受講者端末2に対する講義内容データの配信を一時的に中止する。すなわち、画像・音声取得サーバ11から取得したデータが直接受講者端末2に配信されている場合には当該画像・音声取得サーバ11に停止命令を発し、また、一旦、画像・音声データベースに記憶した講義内容データを再生管理サーバ13自らが配信している場合には、その配信を一時停止する。このとき、再生管理サーバ13は、受講者端末2の講義中止時点に関する情報(例えば、配信中の講義の開始時点からの相対時刻)を記憶する。そして、講義内容データの配信を一時的に中止している間に、受講者端末2から講義内容データの配信の再開を要求するデータを受信すると、記憶している講義中止時点に関する情報に基づいて、その中止時点から当該受講者端末2に配信を再開する、という機能を有している。特に、中止時点の数秒前における講義内容データから配信を再開すると、受講者がどこまで既に受講したかを思い出すことができ、継続受講することが容易となる。なお、このとき、受講者端末2からの配信再開要求は、受講者端末2に表示されているユーザインタフェース上にて、所定のボタンをクリックするなどの行為により行われる。
【0061】
このようにすることで、受講者が質問している最中に講義が進行することが抑制されるため、受講者が講義を聞き逃すことを抑制できる。そして、その後は、受講者の準備が整い次第、一時停止した箇所から再度配信を開始するため、講義の一部を飛ばすことなく、内容を連続して受講することができる。
【0062】
ここで、再生管理サーバ13は、受講者の質問により講義内容データの配信を一時停止した際に、受講者からの要求が無くとも一定時間経過後に配信を再開してもよい。これにより、受講者による長時間の受講を抑制することができ、集中力の維持を図ることができると共に、受講者が再開要求を行うことを忘れた場合であっても、そのことを当該受講者に認識させることができる。
【0063】
また、配信手段である再生管理サーバ13は、受講者端末2からの要求に応じて、講義内容データの配信を一時的に中止すると共に、当該配信中止時以前の一定時間内に取得された講義内容データを受講者端末2に再配信する機能をも有している。例えば、受講者端末2からの再配信要求は、当該受講者端末2上に表示されている講師像をクリックすることにより行われ、これにより、直前一分間に講師が説明していた内容が、再配信されて受講者端末2上にて再生される。講師像をクリックしたことの検出は、講義教室を撮影するカメラを固定して設置しておくと共に、あらかじめ講義中の講師の立ち位置を定めておき、受講者端末2に配信する画像の所定領域を再配信要求領域として設定する。そして、かかる領域がクリックなどされると、システム側にその旨の情報が送信されることとなる。あるいは、逆に講師の立ち位置を定めずに、講師が講義教室にいないときの教室画面と、講義しているときの最新の講義画面との差分をとり、変化ある領域周辺を再配信要求領域に設定してもよい。
【0064】
上記のような場合にも、再配信要求時には講義内容データの配信が一時的に中止されるため、再配信データの再生が終了した後に自動的にその続きからの配信を続行してもよく、あるいは、再配信データの必要な箇所のみの聞いた受講者が端末にて再開要求した場合には、その要求時に、講義の配信を中止時点の続きから再開してもよい。
【0065】
さらに、再生管理サーバ13は、受講者端末2からの要求に応じて、情報提示手段に表示された提示情報を受講者端末2に再配信する機能をも有している。例えば、板書用ボード上に記載された文字・図形から成る板書データを再配信する。具体的には、受講者端末2からの板書内容の要求は、当該受講者端末2上に表示されている板書用ボードの箇所をクリックすることにより行われ、これにより、現在板書用ボードに記載されている文字や図形のデータが、受講者端末2に送信される。このとき、板書用ボードをクリックしたことの検出は、あらかじめ教室内での板書用ボードの位置を特定しておき、かかる領域を板書内容要求領域として設定する。そして、かかる領域がクリックなどされると、システム側にその旨の情報が送信されることとなる。また、板書データは、カメラ11aにて取り込んだ教室内の画像のうち板書用ボード部分の拡大図であったり、主として講義教室の画像を取り込むカメラ11aとは別の位置に取り付けられたカメラにて別の角度から撮影した板書用ボードの画像、さらには、板書用ボードに書いた内容を認識し、かかる文字や図形を電子データとして取得した板書データであってもよい。そして、受講者端末2に送信された板書データは、受講者端末2に表示されている講義画面(後述する図5の符号D1参照)、あるいは、講師の操作パソコン画面(図5の符号D2参照)に換わって表示されたり、別の画面が端末2上に開くことにより表示される。
【0066】
このようにすることで、受講者は聞き逃した説明や理解できなかった説明、さらには、見えにくい板書の内容を迅速に取得することができるため、それらを取得できないことによる理解の遅れを抑制することができ、学習効率の向上を図ることができる。
【0067】
(動作)
次に、本発明であるシステムの動作を、図5乃至図9を参照して説明する。図5乃至図7は、受講者端末2のディスプレイに表示されるユーザインタフェースを示す。図8乃至図9は、システムの動作を示すフローチャートである。図8は、特に、講義内容データを取得してキーワードデータベースを構築する際の動作を示し、図9は、特に、受講者端末からの質問に対して応答する際の動作を示す。
【0068】
まず、システム上では、講義教室などに設置されているカメラ11aから画像データ、マイク11bから音声データが画像・音声取得サーバ11にてそれぞれ取り込まれると共に(ステップS1、講義取得工程)、これらデータは、画像・音声データベース16に記憶される(ステップS2)。このとき、画像データである動画や音声データは、例えば、MPEG形式のデータに変換される。このように、データが圧縮されて記憶されることにより、その後にネットワークNを介して再生管理サーバ13にて受講者端末2に配信される際に(ステップS4)、そのデータの送受信量を抑制している。そして、講義内容データの取込及び記憶処理は、常に行われている。
【0069】
ここで、取り込んだデータのうち、音声データに言語がある場合には(ステップS3にて肯定判断)、かかる言語の解析が画像・音声処理サーバ12にて行われる(ステップS6、言語解析工程)。すなわち、取り込まれた音声データは、常に音声認識処理がなされ、所定の言語が含まれているか否かの判断が行われ、言語が含まれている場合には詳細に言語を解析する。具体的には、音声に含まれている文章中から、名詞や動詞、助詞を検出して、特に特定の名詞を抽出する。このとき、特定の名詞とは、例えばシステム内の図示しない記憶手段にあらかじめ登録されている用語であり、それらを抽出する(ステップS7)。そして、抽出されたキーワードが発せられた前後の音声データや画像データ、さらには、板書データなどが、当該キーワードの解説データとして関連づけられて記憶される(図4参照)。このようにして、キーワードデータベースが構築される(ステップS8、データベース構築工程)。そして、その後(ステップS8から進む)、あるいは、キーワードが抽出されなくても(ステップS7にて否定判断)、それまでの講義内容データが受講者端末4に配信される(ステップS4、配信工程)。
【0070】
このときの配信された講義内容データの様子を、図5乃至図7に示す。まず、図5は、受講者端末2に表示されるユーザインタフェースの一例である。この図に示すように、受講者端末2のディスプレイには、右側に講義教室を撮影するカメラ11aにて取得した画像(動画)D1が、そして、左側には、講義に使用されるパソコンの操作画面(動画)D2が映し出される。また、ディスプレイ下部には、講師がしゃべった音声を音声認識処理し、テキスト化したデータが表示される(D3参照)。さらに、下部右隅には、受講者にて操作される操作パネルD4が表示されている。また、受講者端末2の図示しないスピーカからは、マイク11bにて取得された講師がしゃべる音声データが出力されている。但し、受講者端末に表示されるユーザインタフェースは、図5に示すような形式に限定されない。例えば、講義画面D1と操作パネルD4のみが表示されていてもよく、図7に示すように、講師が操作するパソコン画面D2と、音声データをテキスト化したテキスト画面D3と、操作パネルD4であってもよい。
【0071】
ここで、システム側から提供され受講者端末2に表示されるユーザインタフェースには、システムに対して受講者が質問データを送信する機能が備えられている。例えば、図5に示すように、操作パネルD4にテキスト入力ボックスD4aが形成されており、ここに、あるキーワードを入力してヘルプボタンD4bをクリックすることにより、入力したキーワードを質問データとして受講者端末2からシステム1の質問応答サーバ15に送信することができる。また、質問するための手段としては、これに限定されず、図6に示すように、テキスト画面D3に表示された用語を符号D3aに示すようにマウスでドラッグして選択し、かかる状態でヘルプボタンD4bをクリックすることで、当該選択されたキーワードが質問応答サーバ15に送信される。さらには、受講者端末2に備えられているマイク(図示せず)にて音声を入力することにより、かかる音声データが質問データとして質問応答サーバ15に送信される。但し、質問データの送信手法は、上記のものに限定されない。
【0072】
さらに別の質問データの送信手法は、例えば、図7に示すように、配信手段にてキーワードデータベース17に記憶されているキーワードの一覧が受講者端末2にあらかじめ配信され、かかるキーワードがポップアップ表示され(符号D2a参照)、この中から選択したキーワードが質問データとして送信されてもよい。
【0073】
そして、受講者は、講義をオンラインにて受けている最中に疑問点などが生じた場合には、上述のように質問データをシステムに対して送信する。かかる質問データは質問応答サーバ15にて受信され(ステップS5)、当該サーバ15では、これに対する応答がなされる(符号A)。かかる処理を、図9を参照して具体的に説明する。
【0074】
システム自体1は、質問データを受信すると、再生管理サーバ13による講義内容データの配信が一時的に中止される(ステップS6)。そして、受信した質問データがいかなるデータであるか、質問応答サーバ15にて認識され、これが図7に示すキーワード一覧から選択されたキーワードそのものである場合には(ステップS7にて肯定判断)、かかるキーワードによるデータベースの検索が行われる(ステップS12)。
【0075】
一方、質問データが音声データである場合には(ステップS7で否定判断及びステップS8にて肯定判断)、音声認識処理がなされてテキスト化される(ステップS9)。そして、はじめからテキストデータである質問データや、上述したように音声認識によりテキスト化された質問データは(ステップS8で否定判断)、言語解析処理され(ステップS10)、その文章中のキーワードを抽出する(ステップS11)。キーワードの抽出処理は、例えば、名詞と解析された用語をキーワードとして抽出する。そして、同時にキーワードデータベース17を検索することにより(ステップS12)、かかるキーワードがデータベースに存在するか否かを調べる(ステップS13)。
【0076】
質問データに含まれるキーワードが、データベースとして登録されている場合には(ステップS13にて肯定判断)、それに関連づけられて登録されている解説データが質問に対する回答として受講者端末2に送信される(ステップS14、データベース配信工程)。例えば、図4に示すように、キーワードに関連付けられている講師の音声データや板書データなどが、解説データとして受講者端末2に送信されて当該端末に表示される。一方、データベースにない場合には(ステップS13にて否定判断)、解説データ無しの旨が受講者端末2に送信される(ステップS15)。なお、音声データや、板書データをはじめとする提示情報は、上述したように受講者端末2から再配信の要求があったときに送信してもよい。
【0077】
その後、質問に対する回答を受信した受講者は、端末上に表示されている操作パネルD4内の再生ボタン(図5の符号D4c参照)をクリックすることにより、再生要求をシステム1に送信する(ステップS16)。すると、再生管理サーバ13にて一時停止されている箇所から、記憶されている講義内容データが配信され(ステップS17)、受講者は続きを受講することができる。そして、上述したような処理が繰り返し実行され、講義が進む。ここで、ステップS16による再生要求がなくても、一定時間が経過した後に配信を再開してもよい。
【0078】
このようにすることにより、講義内容の重要と思われるキーワードのデータベースが自動的に構築されると共に、かかるデータが受講者の要求に応じて自動的に配信される。従って、受講者は講義をはじめて受講する際、あるいは、復習(再受講)する際に、疑問がある箇所やもう一度講義を受けたい箇所の解説データを容易に参照することができ、短時間にて容易に復習することができるため、学習効率の向上を図ることができる。
【0079】
また、受講者による質問形式を多様化することにより容易に質問をすることができ、効率的な学習を行うことができる。特に、キーワード一覧から選択して質問する場合には、その質問手法が容易である。
【0080】
ちなみに、上記各サーバによる処理は、各サーバの動作を制御して各処理を実現するためのプログラムが、当該各サーバのCPUに組み込まれることにより実行される。そして、そのプログラムは、各サーバにてあらかじめ記憶されていたり、あるいは、CD−ROMなどの可搬媒体に記憶されたものが各サーバにて読み出されることにより、提供される。
【0081】
〈第2の実施形態〉
次に、本発明の第2の実施形態について、図10乃至図25を参照して説明する。図10乃至図15は、本実施形態にて用いられるデータ構成を示す図である。図16は、受講者端末に表示されるユーザインタフェースを示す図であり、目次データを示す。図17乃至図25は、動作を示すフローチャートである。
【0082】
(構成)
第2の実施形態における教育支援システムは、上述した第1の実施形態におけるシステムとほぼ同一の構成要素を備えているが、さらに、以下の構成要素を備えている。
【0083】
まず、本実施形態のシステムには、あらかじめ講義を行う講師にて用意されたキーワードが記憶されている(キーワードデータベース17)。この記憶されているキーワードは、例えば、講義において重要である講師が考える専門用語や、講師の経験上、受講者がわかりにくい用語などである。そして、場合によっては、このキーワードの解説となるデータ(テキストデータや画像データ)があらかじめ講師にて用意されて、当該キーワードに関連付けられて記憶されている。
【0084】
また、システムには、動作に関するキーワードも記憶されており(記憶手段の図示は省略する)、これもあらかじめ講師やシステム運営者にて用意された用語である。その一例を図10に示す。これら動作キーワードK1は、「参照してください」、「ページを開いてください」などであって、それぞれの動作キーワードK1にさらに対応する補助キーワードK2もあらかじめ定められており、これら二つのキーワードに対して動作フラグK3が割り当てられている。例えば、後述するように、「参照してください」という動作キーワードK1を認識した後に、さらに、記憶した音声データからその前後の言語を解析して「次の章」という補助キーワードK2が認識されたときには、「参照」動作K3が対応することとなる。別の例では、「線を引いてください」という動作キーワードを認識した後に、その前後の文章中から「重要」という用語があると、「重要」動作が対応している。そして、このようにして設定される動作によって、後の処理が異なる。
【0085】
ここで、「説明」動作に対応する「説明します」という動作キーワードや、「復帰」動作に対応する「戻ります」という動作キーワードがあるが、これらには補助キーワードの設定がなく、後述するように、上記動作キーワードが検出された時点で、各動作処理に移行する。
【0086】
従って、上記のような処理を実現するために、言語解析手段である画像・音声処理サーバ12は、マイク11b及び画像・音声取得サーバ11にて取得した音声データの言語を常に解析して、動作に関する用語(上記動作キーワード)を抽出する機能を有している。この機能は、動作キーワードを抽出した後に、さらにその前後にある補助キーワードを抽出するが、その順序は逆であってもよい。すなわち、図10の第1列目K2に示すような補助キーワードがあらかじめシステム内に記憶されており、かかるキーワードを講義中の音声データから検出したら、その前後に動作キーワードK1があるか否か、ということを検出してもよい。いずれにしても、講義中の音声データに含まれるキーワード及び動作キーワードによって、図11に示すような動作が設定される。なお、設定される動作は、図11に示すものに限定されない。
【0087】
ここで、システム1による処理の一例を説明すると、上述のようにして抽出した動作キーワードが、あらかじめ登録された所定の用語、例えば、「説明」という用語であると判断したとき、動作キーワードが抽出された時刻に前後する時間帯に取得された音声データ内の用語に対してデータベースの構築処理を実現する。具体的には、講師が、「第1章ネットワークについて説明します」としゃべると、この文章が言語解析され、「説明します」という動作キーワードが抽出される。すると、かかる文章に対してさらにキーワードの検索が実行され、「ネットワーク」が抽出される。この「ネットワーク」という単語に対してデータベース構築が実現されるが、まず、図11に示す動作フラグK4の設定値K5が「ネットワーク」という単語に割り当てられる。そして、その後に講師にて説明される音声データや、講義中の画像データ、板書データなどがかかる単語に関連付けられてデータベースとして記憶される(図12参照)。なお、それぞれ構築されたキーワードデータには、ポインタが与えられる。
【0088】
このとき、上述したように動作の設定値K5もキーワードと共に記憶されるが、一つのキーワードに対して複数の動作が対応している場合には、その設定値の論理和が当てはめられる。例えば、図12の最上段にあるキーワードは、動作フラグが「説明」(設定値00000001000)と「参照」(設定値00000000001)との論理和をとった設定値が当てはめられる。これにより、フラグを参照することで、如何なる動作時に抽出されたキーワードであるかがわかり、特に質問なのか回答なのかを識別することができる。その効果は後述する。
【0089】
このように、「説明」という用語をキーに、その文章の前後で説明された用語についてデータベースを構築する処理を行うため、キーワードとしての用語を抽出する処理が容易になり、データベース構築の効率化を図ることができ、コンピュータの処理負担軽減を図ることができる。
【0090】
ちなみに、上述した言語解析機能は、受講者端末2からの音声データによる質問データに対しても作動する。例えば、受講者端末2から「質問があります」という音声データが送信されると、かかる音声データに対して言語解析が行われ、動作キーワードとのマッチングにより質問動作に移行することとなる(図10参照)。
【0091】
また、システム1には、言語解析手段にて抽出した動作キーワードがあらかじめ登録された所定の用語であると判断したときに、動作キーワードが抽出された時刻に前後する時間帯に取得された音声データ内の用語に基づいて講義内容の目次データを作成する目次作成手段を備えている。例えば、目次作成手段は画像・音声処理サーバ12にて実現される。具体的には、上述したように動作キーワードが図10,11に示す「移動」である場合に、その前後の「章」番号や「節」番号、さらには、ページ番号が抽出される。これに基づいて、講義が行われた順番を認識し、かかる順番を目次データとして一覧に並べる。かかる目次データは、通信管理サーバ14を介して受講者端末2に送信されることにより、受講者は復習時の参考にすることができる。
【0092】
このとき、図10,11には示していないが、動作キーワードとして「目次作成」という用語を登録しておき、かかる用語の後にしゃべられる文章を目次のタイトルとする機能を、画像・音声処理サーバ12が備えていてもよい。すなわち、上述した手法とは別の手法にて目次データを作成する機能である。例えば、講師が、「目次作成、第1章仕事とコンピュータ」と音声に出すと、図16に示すように、「第1章・・・」という項目が、目次に生成される。同様にして、第1章中に節が形成される。その詳細な処理内容は、動作説明時に併せて説明する。
【0093】
また、目次作成機能に付加する機能として、言語解析手段にて抽出した動作キーワードが「重要です」などのあらかじめ登録された所定の用語であると判断したときに、動作キーワードが抽出された時間に前後する時間帯に取得された音声データ内の用語に基づいた付加データを作成している目次データに追加する機能を備えてもよい。例えば、上述したように、「目次作成・・・」のすぐ後に、「この章は重要です」と発せられた場合には、そのときに生成された目次に図16に示すように「重要」マークが付加される。これを見た受講者は、復習の際に重要な箇所を容易に認識することができ、復習効率を高めることができる。
【0094】
さらに、上述では、目次データを一から作成する場合を説明したが、あらかじめ講師によって作成された目次案に関するデータが、システムに記憶されていてもよい。そして、これに基づいて目次作成の確認がとられると共に、異なる場合には、目次データ自体にてその順序が入れ替わる処理が行われる。すなわち、実際の講義にてテキストに記載された当初の予定と異なる順序にて講義が行われた場合であっても、それが目次に反映されるため、受講者はその変更された目次を参照することにより容易に復習することができる。
【0095】
また、上記データベース形成機能では、上述のようにして構築したキーワードデータベースを、上記目次データにも関連付ける。この関連付けに関するデータを関連付けデータベースと呼び、システム内の記憶手段(図示せず)に記憶される。具体的には、各章・節ごとに、説明されたキーワードをポインタにて関連付ける。例えば、図13に示すように、あらかじめ講師により順序が設定された章、節の説明時に説明されたキーワードのポインタ(メイン)を関連付け、さらに、そのとき「参照」動作にて説明された他の章や節などの講義内容データに関連付けられたポインタや、キーワードを関連付ける(キーワードポインタ(参照))。このとき、他の章、節で説明されたキーワードのポインタが関連付けられる。さらに、実際に講師が説明した順序に変更があることもあるので、実際の変更順序が数値として割り当てられる。例えば、第1章「ネットワーク」第1節「LAN」という項目において、あるキーワードが記憶されると、そのポインタ値(例えば、a1)がそれに関連づけられて記憶される。このとき、他の章を参照すべき、との説明があるとその章に与えられたポインタ(例えば、c1)も関連付けられて記憶される。そして、当初の講義順序からいくと同じくネットワーク章の「WAN」節を説明するはずであるが、講師が「インターネット」節を説明した場合には、「LAN」節に続く順序の値が割り当てられる。従って、目次作成時や復習時にこの実際の順序に関する値が用いられてもよい。このことについても、動作説明時に詳述する。
【0096】
また、質問と回答とを関連付ける質問データベースも構築される。その様子を図14に示す。このとき、受講者からの質問データにはキーワードが含まれているが、そのキーワードに対応するポインタが与えられる。そして、そのキーワードに対して講師により回答がなされた場合における音声データなどの解説データ(回答)のポインタを、質問データのポインタと関連付ける。さらに、キーワードに対して検出された複数の解説データのポインタを関連付けてもよい。このとき、キーワードデータ自体をも関連付けておくと望ましい。すると、次に他の受講者から同様の質問が出た場合には、かかるデータベースを参照することで、迅速に回答処理を行うことができたり、後にシステム自体がよくある質問とその回答(いわゆるQ&A)に関するデータを作成する際にこれを参照して容易に作成することができる。
【0097】
さらには、システム内の通信管理サーバ14は、受講者端末2を識別すると共に、当該受講者端末2の識別データと共に受講した講義内容を記憶して、受講者の受講した内容を管理する。例えば、図15に示す受講者データベースには、受講者ごとの識別データであるIDや、受講コースごとのコードデータ、開始・修了日時、現在どの章・節まで受講したかを表す値、各章・節の受講が終了したことを表す終了フラグデータなどが記憶されている。これにより、受講者毎にその受講内容が記憶管理されるため、システム自体が受講者端末に次に配信するコンテンツを認識したり、受講者が次に受講する講義や、復習すべき講義の内容を容易に把握することができる。
【0098】
(動作)
次に、第2の実施形態における動作を、図17を参照して説明する。まず、上記第1の実施形態にて説明したように、講師による講義内容データが画像・音声取得サーバ11にて取り込まれ、かかるデータが記憶されると共に受講者端末2に配信される。また、かかるデータのうち、特に音声データは、音声認識されて言語解析される(ステップS101)。
【0099】
このとき、画像・音声処理サーバ12では、音声データ中の動詞を抽出し、当該動詞の前後の文言と、あらかじめ登録されている動作キーワードとを比較して、その抽出を行う(ステップS102)。動作キーワードが無ければ、上記処理を常に実行する(ステップS102にて否定判断の場合、ステップS101に戻る)。
【0100】
動作キーワードが抽出されると、システム内の動作フラグ用変数がクリアされると共に(ステップS103)、当該動作キーワードが動作「説明」に関するものか、あるいは、動作「復帰」に関するものであるか否かが調べられる(ステップS104)。そして、上記動作「説明」「復帰」に関するものでない場合には(ステップS104にて否定判断)、動作キーワードが抽出された文章の前後に補助キーワードがあるか否かが調べられる(ステップS105)。このとき、補助キーワードとは、図10に開示した動作キーワードと関連のあるキーワードである。そして、補助キーワードの抽出は、あらかじめ登録されている動作キーワード以外のキーワードであったり、あるいは、第1の実施形態にて説明したように繰り返し講師にて発せられた用語、さらには、語調が強く発生された用語である。補助キーワードが抽出されないと(ステップS105で否定判断)、上記処理が繰り返され(ステップS101に戻る)、抽出されると、図10の動作キーワードと動作フラグとの関連表及び図11を参照して、動作フラグ用変数が設定される(ステップS106)。但し、ステップS104にて、動作キーワードが動作「説明」や「復帰」に関するものである場合には(ステップS104にて肯定判断)、上記補助キーワードの有無に関わらず、各動作に対応する動作フラグが設定される(ステップS106)。
【0101】
その後、動作フラグ用変数の値が調べられ(ステップS107)、その値に応じてそれぞれの処理が行われる(ステップS108〜ステップS115)。各処理を実行した後は、また、通常の言語解析処理に戻る(ステップS101に戻る)。
【0102】
次に、各処理について説明するが、説明の便宜上、「説明処理」から説明する(図21を参照)。まず、図17のステップS102にて「説明します」という動作キーワードが抽出されると、ステップS104からステップS106に進み、動作フラグが「説明」の値となる。そして、ステップS112の説明処理に進む(符号B5)。
【0103】
すると、まず、その文言がしゃべられた前後の文章中に、重要語句であるキーワードがないか検出される(ステップSB51)。このキーワードとは、講義に密接に関連のあるあらかじめ講師にて登録されたキーワードであったり、あるいは、講師にて繰り返し発せられた用語などである(第1の実施形態における説明参照)。
【0104】
キーワードが抽出されると、そのキーワードがデータベースに登録され(ステップSB52)、動作フラグの値も共に記憶される(図12参照)。そして、キーワードが発せられた時刻の前後にしゃべられた音声データ及び画像データが、当該キーワードに関連付けられてキーワードデータベースに登録される(ステップSB53、図12参照)。また、その際に板書が行われているか否かも検出され(ステップSB54)、行われている場合には板書データがテキスト化されたり、静止画動データのまま取り込まれ(ステップSB55)、データベースに追加される(ステップSB56)。ここで、ステップSB54の板書の検出は、板書ボードに筆圧検出手段などを設けることにより実現できる。
【0105】
その後、データベースに追加されたキーワードに対してポインタが与えられ、それと共に登録される(ステップSB57、図12参照)。
【0106】
また、設定された動作フラグが「重要」動作(ステップS111)である場合にも、上述した説明動作とほぼ同一の動作をとる(符号B4)。但し、「重要」動作と判断されるまでの処理が異なる。すなわち、「説明」動作では、動作キーワードが「説明します」という用語である場合にはいかなる場合にもキーワード抽出を行ったが、「重要」動作に認定されるには、「線を引いてください」などの動作キーワードが検出された後に(ステップS102にて肯定判断)、さらに「重要」や「ポイント」などの補助キーワードが抽出された場合である(図10参照)。
【0107】
但し、「重要処理」(ステップS111)は、後述する目次処理においても実行されるが、そのときの処理は上記処理と異なる。
【0108】
次に、図18を参照して、目次処理(図17においてステップS108)について説明する(符号B1)。まず、上述したように、音声データ中から「目次作成」という言語を抽出し、目次動作に設定されると、その前後の音声データ中から章・節の文言及び番号の用語が抽出される(ステップSB11)。この抽出された章、節が次に進む章・節となる。
【0109】
これらが抽出されると、講師にて作成され、あらかじめシステム内に記憶された目次データがあるか否かについて調べられる(ステップSB12)。目次データが記憶されている場合には(ステップSB12にて肯定判断)、前に講義を行っていた章あるいは節を、例えば図15に示す受講者データベース内の「現在どの章・節まで受講したかを表す値」(現在位置)や「各章・節の受講が終了したことを表す終了フラグデータ」などを参照して検出する(ステップSB13)。そして、あらかじめ記憶されている目次データとのマッチングを行い、その順序が正しいかどうかを判断する(ステップSB14)。具体的には、まず、講師の発言から、次に進む章・節が「第1章第7節」であるとする。また、図15に示す「現在位置」を参照して「1.5」という数字が検出されたとすると、この受講者は現在「第1章第5節」を受講していることがわかる。そして、あらかじめ用意されている図16に示すような目次データの章・節の記載箇所を参照すると、第1章第5節の次には、第1章第6節があることがわかる。従って、かかる場合には順序が正しくないと判断される。
【0110】
もし、順序が正しければ、目次データを変更せずに、そのまま目次データを設定する(ステップSB18)。一方、上記具体例のように順序が正しくなければ(ステップSB14で否定判断)、目次の順序を入れ替えて(ステップSB15)、設定し直す(ステップSB18)。このとき、順序が入れ替えられて新たに作成される目次は、章・節番号は当初のままであり、その表示順序だけが入れ替わる。これにより、講師の発言内容との整合性は保たれたままとなる。なお、目次の順序の初期値は「第1章第1節」であり、かかるデータはあらかじめ処理サーバ内に記憶されている。また、同様に、各受講者の講義開始位置、すなわち、図15に示す現在位置の初期値も「第1章第1節」である。
【0111】
また、上記ステップSB12にて目次データがない場合には(否定判断)、章・節番号が抽出された音声データの前後から、章・節のタイトル用語を抽出する(ステップSB16)。このタイトル用語の抽出処理は、例えば、「章」という用語の次に出てくる一文をタイトルとして抽出する。そして、抽出された目次として章や節番号と共に目次データに追加し(ステップSB17)、目次を設定する(ステップSB18)。
【0112】
そして、上記処理が章・節が変わるごとに実行されることで、図16に示すような目次が作成される。但し、目次作成は、上述した関連付けデータベースを用いて、後述する終了処理時に行われてもよい。
【0113】
また、上記目次作成時に、例えばステップSB11の章・節番号抽出処理時に、講師にて「この章は重要です」などと発言されて、これにより「重要」という用語が検出されたとすると、ステップSB18の目次設定動作時に当該目次の箇所(章又は節)に「重要」という文字が付加される(図16参照)。このようにすることで、目次を見るだけで受講者は重要な箇所を知ることができ、復習効率の向上を図ることができる。
【0114】
次に、図17のステップS109に示す章・節切替処理について、図19を参照して説明する(符号B2)。まず、上述したように動作キーワード及び補助キーワードにより移動動作に設定されると、その前後の音声データから章や節、あるいは、ページ番号が抽出される(ステップSB21)。そして、章や節の番号であれば、その前の章や節から次に移動する章、節として設定し、ページ番号であれば、あらかじめ登録されているデータベースからページに対応する章、節を設定する(ステップSB22)。同時に、その後、移動する章、節において講義中に蓄積されるキーワードデータベースや、当該章、節において参照されたデータが、その章、節に関連付けられるよう設定される。すなわち、図13に示すように、ある章、節に、キーワードデータベースのポインタ(メイン、参照)が登録されるよう準備される。
【0115】
続いて、受講者データベースから、受講している受講者のデータのうち、受講している講義の現在位置に関するデータ(図15に示す現在位置データ)を読み出す(ステップSB23)。
【0116】
そして、関連付けデータベースである図13に示すデータに実際の順序(変更)を設定し(ステップSB24)、また、図15に示す受講者データベース内の受講者の現在位置データを更新する(ステップSB25)。これにより、受講者それぞれの受講進行状況を把握することができる。ちなみに、かかる処理は、上述した目次作成処理実行時に、同時に行われてもよい。
【0117】
また、この章・節切換処理の際に、その章・節に対応する講義内容データ自体にポインタを設定する処理が行われる。すなわち、切換処理後に説明される講義内容データにポインタが設定され、当該ポインタを参照することにより、各章・節の講義内容データに容易にアクセスできるようになる。なお、このポインタの値は、章・節に応じてあらかじめ定めておくと後に参照することが容易となる。
【0118】
次に、図17のステップS110に示す参照処理について、図20を参照してについて説明する(符号B3)。まず、動作キーワードが抽出された文章中から、章・節番号やページ番号、さらには、キーワードを抽出し(ステップSB31)、かかる内容を参照データとする。そして、各参照データに対応するポインタを設定する(ステップSB32)。具体的には、「第1章第5節を参照してください」という講師の発言に対して、画像・音声データベース(図1の符号16参照)に蓄積されている講義内容データのうち、第1章第5節に関する講義内容データを参照するポインタを設定し、かかるポインタを「重要」項目のものとして別途記憶手段に記録する。その後、参照データのポインタを、関連付けデータベース内の現在講義中の章や節の箇所に登録する(ステップSB33)。このポインタを参照することで、参照すべき章・節の講義内容データにアクセスすることができる。このとき、まだ参照する章・節に関する講義内容データが蓄積されていない場合には、後に蓄積されるはずのデータを参照するようポインタが設定される。
【0119】
続いて、さらに、その文章の前後からキーワードが抽出されており(ステップSB34にて肯定判断)、そのキーワードがキーワードデータベースに登録された場合には(ステップSB35にて肯定判断)、上述同様に関連付けデータベースの現在受講中の章や節の該当個所に関連付けて上記参照データのポインタを登録する(ステップSB36)。但し、キーワードがなかったり、データベースに登録されていない場合には、そのまま終了する。これにより、各章、節などで参照するデータが関連付けデータベースに登録されるため、これを基に受講者が復習することにより学習効率の向上を図ることができる。そして、例えば参照データは、各章や節の講義中に受講者端末の画面上に参照ボタンが表示され、これを受講者が押すことでサーバから配信される。
【0120】
次に、図17のステップS113に示す質問処理について、図22を参照して説明する(符号B6)。ここで、本実施形態では、受講者端末2からの質問データが音声データの場合、すなわち、受講者端末2でのマイク入力により質問がなされたときに、かかる音声データを、講師による音声データと同様に図17に示す処理にて処理することとする。従って、まず、受講者からの質問があった場合にステップS113に進むまでの処理を説明する。
【0121】
講義中に受講者端末から音声データによる質問があると、ネットワークを介してシステム自体に取り込まれ(ステップS101)、動作キーワードや補助キーワードの抽出処理が行われる(ステップS102〜S104)。そして、抽出された動作キーワードなどにより、質問動作に設定されると(図10参照)、質問処理が実行される。
【0122】
すると、音声の前後にある単語をキーワードとして抽出し(ステップSB61)、その質問キーワードにポインタ値を設定する(ステップSB62)。このとき、講義がリアルタイムにて配信されているか否かを調べ(ステップSB63)、リアルタイムであれば一定時間内に講師の発言があるか否かが調べられる(ステップSB611)。
【0123】
そして、リアルタイム講義でない場合、例えば、復習時である場合、あるいは、リアルタイム講義であっても講師の発言がない場合には、システムにて上述した第1の実施形態において説明したように自動的に回答の生成処理が行われる。具体的には、質問キーワードがキーワードデータベースに登録されているか否かが調べられ(ステップSB64)、登録されている場合には(ステップSB65で肯定判断)、関連付けられて登録されている音声データや画像データ、板書データなどの解説データが質問に対する回答として受講者端末に送信される(ステップSB67)。一方、データがなければ(ステップSB65で否定判断)、回答データなしの旨が受講者端末に送信される(ステップSB69)。そして、その後は、図14に示すように、質問キーワードのポインタと、回答として用いられたキーワードデータベース内のデータのポインタとが、質問データベースとして関連付けられて登録され、後の質問時やQ&A資料作成時に利用される。
【0124】
また、上記ステップSB611にて講師からの発言があった場合には(肯定判断)、その発言の言語解析が行われる。すなわち、その発言に対して、再度、図17に示す処理が行われて、発言中の動作キーワードが検出される。このとき、講師が「テキストに戻ります」などと発言し、動作キーワードが復帰動作である場合には(ステップSB612で肯定判断)、講師の発言による解答が行われず、上記ステップSB64に進み、キーワードデータベースからの回答が行われるため、キーワードデータベースの検索が行われる。そうでない場合には(ステップSB612で否定判断)、回答処理が行われる(ステップSB613)。この回答処理の動作を、図23に示す(符号B9)。なお、この質問処理時の「復帰」動作は、図17における復帰動作と異なる。
【0125】
回答処理では、まず、講師がしゃべった言語中にキーワードがあるか否かが検索される(ステップSB91)。そして、キーワードがあれば、そのキーワードをキーワードデータベースに記録し(ステップSB92)、同時に図11に示す回答動作フラグの設定値を記憶する。このとき、講師の発言にキーワードが含まれていなければ、質問データ中のキーワードを用いてキーワードデータベースに回答動作フラグの設定値と共に記憶する。そして、その前後に説明された音声データや画像データ、板書データなどを図12に示すように、当該キーワードと共に記憶する(ステップSB93)。その後、さらに、回答データにポインタを設定する(ステップSB94)。
【0126】
続いて、上記回答データを受講者端末2に送信する(ステップSB95)。そして、図14に示すように、質問キーワードに設定されたポインタと、回答データとして記憶されたキーワードデータに設定されたポインタとを関連付けて質問データベースとして記憶すると共に(ステップSB96)、図13に示すように、関連付けデータベース内に現在受講中の章、節に対応するよう参照欄にポインタを設定する(ステップSB97)。
【0127】
次に、図17のステップS114に示す余談処理について、図24を参照して説明する(符号B7)。余談処理に入ると、ここでのキーワードは自動的に、例えば「9999」に設定される(ステップSB71)。続いて、キーワードデータベースにキーワード(9999)と動作フラグの設定値が記憶され(ステップSB72)、さらに、このときに講師にて説明された音声データ等も関連付けられて記憶される(ステップSB73)。
【0128】
その後、講師がしゃべる言語を解析して、動作キーワードにより復帰動作であると認識されると、通常の処理に復帰することとなる(ステップSB75)。そして、復帰動作にならないと、講師の説明は余談として記憶され続けることとなる(ステップSB74にて否定判断)。
【0129】
最後に、図17のステップS115に示す終了処理について、図25を参照して説明する(符号B8)。まず、図13に示す関連付けデータベースから、実際に講義された順番に図16に示すよう目次データを作成する(ステップSB81)。このとき、上述した目次処理で実際の講義順に目次データが作成されていれば、本処理は目次画面を形成する処理となる。
【0130】
続いて、図12に示すキーワードデータベースや図13に示す関連付けデータベースを参照して、講義内容のうち重要箇所の抽出を行う(ステップSB82)。例えば、キーワードデータベースの動作フラグを調べ、重要動作フラグの設定値があるキーワードのポインタを抽出する。そして、関連付けデータベースにてそのポインタがいかなる章・節にあるかを調べ、その章・節を重要箇所として抽出する。また、キーワードデータベースの動作フラグを調べ、質問が多いポインタが集中している章・節番号を関連付けデータベースで検索する。そして、かかる章・節を重要箇所として抽出する。あるいは、関連付けデータベース内で単にキーワードポインタ(メイン、参照)の数が多い章・節を調べ、それを重要箇所として抽出する。
【0131】
続いて、上記のようにして抽出された重要箇所を目次に反映する(ステップSB83)。例えば、図16に示すように、重要である章・節と判定された章・節の表示箇所に、重要マークを付加する。そして、目次データをはじめて受講する受講者や、復習する受講者にあらかじめ送信しておくことで、講義順や重要箇所を知ることができ、学習効率の向上を図ることができる。また、このとき、目次の各章や節に、当該章や節にて参照する他の章、節番号などを関連付けデータベースの参照ポインタに基づいて表示してもよい。
【0132】
続いて、図14に示す質問データベースを参照して、よくある質問に対する回答である「Q&Aデータ」を作成する(ステップS84)。すなわち、質問とされたキーワードに対する回答をポインタにて検索し、質問のキーワードと関連付けたデータを作成する。このように、Q&Aデータを作成し、はじめて受講する受講者に講義前や、また復習時の受講者に、あらかじめQ&Aデータを送信しておくことで、これを受講者が参照することができ、学習効率の向上を図ることができる。
【0133】
続いて、キーワードデータベースの動作フラグ設定値、及び、関連付けデータベースから、余談データを抽出する。そして、当該余談データに相当する部分を、受講者端末2に配信する講義内容データから削除して配信するよう設定する(ステップSB85)。このとき、受講中の受講者端末には、余談ボタンが表示され(第1の実施形態にて説明した図6参照)、これをクリックするなど選択することにより、余談データが受講者端末に配信される。従って、通常は講義に関係あるデータのみが受講者端末に配信されるため、受講時間の短縮化や、通信量の抑制を図ることができる。
【0134】
その後、受講者の受講状況を表す受講者データベースの更新を行う(ステップSB86)。例えば、図15に示す現在位置や、各章・節の終了フラグを設定する。
【0135】
【発明の効果】
本発明は、以上のように構成され機能するので、これによると、ネットワークを通じた教育用に取得された講義内容データから、講義に関するデータベースが構築され、これが受講者の要求に応じて受講者端末に配信されるため、受講者は講義を受講する際に、特に復習(再受講)時に、疑問がある箇所やもう一度講義を受けたい箇所を、当該箇所の特徴となる用語に基づいて要求することにより、その説明箇所の講義内容データがデータベース内から自動的に検索され、受講者端末に配信されるので、従って、受講者が講義内容データから受講したい箇所を探し出す手間を省くことができ、検索時間の短縮化を図り、学習効率の向上を図ることができる、という従来にない優れた効果を有する。
【0136】
特に、講師により説明された音声データを言語解析して、その中からあらかじめ定められた基準にて抽出されたキーワードに関するデータベースを構築することにより、所定のキーワードに対するデータベースのみ作成され、当該データベースの肥大化、システムの処理負担を抑制することができる。
【0137】
また、キーワードに関連付けられて記憶される解説データは、そのキーワードが抽出された時刻に前後する時間帯に取得された音声データや板書データなどとすることで、キーワードとの関連性が高い解説データがデータベースに蓄積されるため、これを参照することができる受講者はその理解をより高めることができ、学習効率の向上を図ることができる。
【0138】
また、講師が説明した音声データの中からのキーワードの抽出を、あらかじめ登録された用語データに基づいて行ったり、複数回説明された用語をキーワードとしたりする場合には、キーワードデータベース肥大化を抑制すると共に、より重要な用語のデータベース化を図ることができ、データベースの質を維持しつつ、検索性能の向上、システム自体の処理負担の軽減を図ることができる。
【0139】
また、キーワードを抽出する際のトリガーとなる動作キーワードを設定することで、キーワードとしての用語を抽出する処理が容易になり、データベース構築の効率化を図ることができ、システム自体の処理負担軽減を図ることができる。
【0140】
さらに、目次データを作成する機能を有する構成である場合には、実際の講義にて予定と異なる順番にて講義が行われた場合であっても、受講者は目次を参照することにより容易に受講(特に、復習)することができる。
【0141】
また、蓄積したキーワードデータベースの受講者端末への配信が、当該受講者端末から受信した質問データ内にある用語を講義内容データベースから検索して、当該検索されたデータを送信する、という構成である場合には、自己の質問に対する適切な解説データを受講者は回答として得ることができ、容易に学習を行うことができる。このとき、あらゆる質問形式に対応するようにすることにより、受講者が質問することが容易となると共に、その回答もサーバにてデータベースを参照して行われるため迅速であり、学習効率のさらなる向上を図ることができる。
【0142】
また、受講者端末から質問データを受講した際に、講義内容データの配信を一時的に中止し、その後、記憶した講義内容データを一時的に配信を中止した箇所付近から受講者端末に配信を再開する、という構成にした場合には、受講者は回答を待つことができ、その間、講義が進行されていないため、質問事項の理解を深めることができ、先の講義内容の理解度が不十分になることが抑制される。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における構成を示すブロック図である。
【図2】図1に開示した画像・音声処理サーバの構成を示す機能ブロック図である。
【図3】図1に開示した質問応答サーバの構成を示す機能ブロック図である。
【図4】図1に開示したキーワードデータベースに記憶されるデータの一例を示す図である。
【図5】受講者端末に表示されるユーザインタフェースの一例を示す図である。
【図6】受講者端末に表示されるユーザインタフェースの一例を示す図である。
【図7】受講者端末に表示されるユーザインタフェースの一例を示す図である。
【図8】第1の実施形態におけるシステムの動作を示すフローチャートであり、特に、講義内容データを取得してキーワードデータベースを構築する際の動作を示す。
【図9】第1の実施形態におけるシステムの動作を示すフローチャートであり、特に、受講者端末からの質問に対して応答する際の動作を示す。
【図10】本発明の第2の実施形態において、システム内に記憶されている動作に関するデータの一例を示す図である。
【図11】図10に示す動作ごとに対応する値の一例を示す図である。
【図12】第2の実施形態において構築されるキーワードデータベースの一例を示す図である。
【図13】第2の実施形態において構築される関連付けデータベースの一例を示す図である。
【図14】受講者端末からの質問データに関連付けられるデータの一例を示す図である。
【図15】受講者データベースの内容の一例を示す図である。
【図16】形成される目次データの一例を示す図であり、特に、受講者端末に表示されたときの様子を示す図である。
【図17】第2の実施形態におけるシステム自体の全体的な動作を示すフローチャートである。
【図18】図17に開示した目次処理の動作を示すフローチャートである。
【図19】図17に開示した章・節切替処理の動作を示すフローチャートである。
【図20】図17に開示した参照処理の動作を示すフローチャートである。
【図21】図17に開示した説明処理あるいは重要処理の動作を示すフローチャートである。
【図22】図17に開示した質問処理の動作を示すフローチャートである。
【図23】図17に開示した質問処理の続きである回答処理の動作を示すフローチャートである。
【図24】図17に開示した余談処理の動作を示すフローチャートである。
【図25】図17に開示した終了処理の動作を示すフローチャートである。
【符号の説明】
1 教育支援システム(サーバコンピュータ群)
2 受講者端末
11 画像・音声取得サーバ(講義取得手段)
12 画像・音声処理サーバ(データベース構築手段、言語解析手段)
13 再生管理サーバ(配信手段)
14 通信管理サーバ(配信手段、受講者管理手段)
15 質問応答サーバ(質問応答手段、配信手段)
16 画像・音声データベース(講義取得手段)
17 キーワードデータベース(データベース構築手段)
18 受講者データベース(受講者管理手段)
11a カメラ(講義取得手段)
11b マイク(講義取得手段)
N ネットワーク
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an education support system, and more particularly to a system that supports distance education for delivering lecture content data to a user through a network. It also relates to educational support methods and educational support programs.
[0002]
[Prior art]
Traditionally, the content of lectures for various examinations and company training, etc. is captured as data such as video and audio, and it is taken using a network or by delivering a medium storing the contents of the lectures. There is a system that makes it possible for students to attend. When a network is used, real-time broadcasting and recorded broadcasting can be performed. In such lectures and trainings, not all students can fully understand the course at a time, and in order to compensate for the lack of understanding, the students have to listen again to the recorded contents.
[0003]
However, even if the student wants to listen only to the explanation of a certain chapter or section when reviewing the course again for review, he / she must listen to the lecture from the beginning, or I was forced to search, was very labor intensive, and in some cases spent more than several times the actual training.
[0004]
Patent Literature 1 discloses an example of a technique for solving such a problem. This is to add a time stamp to the recorded lecture content when the student clicks at a place where the student has wondered or wants to ask a question during the lecture. This makes it possible to easily specify the question location, and to search for it again when listening again.
[0005]
The invention of Patent Document 1 discloses that when question data is transmitted from a student, a lecturer (a teacher or the like) answers the question.
[0006]
[Patent Document 1]
JP-A-2002-139983
[0007]
[Problems to be solved by the invention]
However, the following problems occur in the above-described related art, particularly, in the invention described in Patent Document 1.
[0008]
First, even if a time stamp is added, the lecturer is only informed of the part of the question that was felt at that time, or only to assist the user in referring to it. The technology has not solved it at all. In other words, for questions that arise during the course in real time, write down the relevant chapters and sections, etc., and you can easily find the reference points at the time of review, but later The problem is that a lot of time is spent reviewing the question because it is necessary to find the relevant lecture.
[0009]
In addition, when the lecturer answers the question, the actual lecture is interrupted during the real-time lecture, which causes a problem that the progress of the lecture itself and the progress of the training of other students are hindered.
[0010]
[Object of the invention]
The present invention improves the inconvenience of the above-described conventional example, and in particular, can provide an answer to a question easily at the time of attending a lecture, thereby facilitating a review and improving educational efficiency. Its purpose is to provide a system.
[0011]
[Means for Solving the Problems]
Therefore, in the present invention, a computer that distributes educational lecture contents acquires lecture contents obtained by a lecturer as electronic data and stores the contents, and connects the lecture contents data acquired by the lecture acquisition means to a network. And a distribution means for distributing to the student terminal that has been provided, and in a system for supporting education for a student at a remote place, the computer analyzes the lecture content data acquired by the lecture acquisition means, and stores a database relating to the lecture content. In addition to the database construction means for constructing, the distribution means has a function of transmitting the contents of the lecture content database to the student terminal in response to a request from the student terminal.
[0012]
Further, the present invention provides a computer system for distributing educational lecture contents, wherein the computer acquires image data and audio data of the lecture by the instructor as image data and audio data. A distribution means for distributing the lecture content data obtained by the means to the student terminals connected to the network, and supporting the education of the student at a remote place. Language analysis means for analyzing a language in the data; and database construction means for extracting a term that meets a predetermined criterion from the analyzed language and constructing a database relating to the term. It has a function of transmitting the contents of the content database to the student terminal in response to a request from the student terminal. That, it may be a configuration that.
[0013]
With such a configuration, first, the contents of the lecture are taken in as electronic data by the lecture acquisition means provided in the computer, which is the system itself of the present invention, and the lecture content data (content) is transmitted to the network. Is delivered to the student terminal through Then, while the content is distributed to the student terminal (at the time of real-time distribution), the computer analyzes the captured lecture content data, and a database concerning the content of the lecture is constructed and stored. For example, speech data of a lecturer in a lecture is subjected to language analysis by a computer, and terms that match predetermined criteria are extracted from the analysis language. Then, commentary data on the term is stored in association with the keyword, and a database is constructed. Thereafter, the data in the database is transmitted from the computer to the student terminal at the request of the student.
[0014]
Therefore, when a student attends a lecture, especially when reviewing (re-learning), he / she requests a questioned part or a part that he / she wants to take the lecture again on the basis of the terms that are characteristic of the part. Lecture content data of a part can be easily searched from the database and can be referred to. As a result, the review can be easily performed in a short time, so that the learning efficiency can be improved.
[0015]
Further, the database construction unit includes a keyword extraction unit that extracts, as a keyword, a term that matches a predetermined criterion among the languages analyzed by the language analysis unit, and a time at which the keyword is extracted by the keyword extraction unit. It is preferable to include an association database forming unit that associates and stores the voice data acquired in the preceding and following time zones with the keyword.
[0016]
As a result, when a keyword such as an important word explained during the lecture by the lecturer is extracted, before and after the time at which the keyword is issued, audio data including the language described by the lecturer is added to the keyword as commentary data. Associated and stored in the computer. Then, a student who requests a commentary on the keyword at the time of attending or reviewing the course can easily obtain commentary data by searching with the keyword. Therefore, the commentary data that the student refers at the time of attending and reviewing the course is a word explained by the instructor before and after the keyword, so the relevance with the keyword is high, and it is useful as commentary data, The students can further improve their understanding and improve the learning efficiency.
[0017]
Further, the database forming unit may have a function of storing image data obtained in a time zone before and after the time when the keyword is extracted by the keyword extracting unit in association with the keyword. Similarly, the language analysis unit has a text conversion function of converting the analyzed voice data into text data, and the database forming unit outputs the voice acquired in a time period around the time when the keyword is extracted by the keyword extraction unit. A function of storing text data converted from data by a text conversion function in association with the keyword may be provided. Further, the computer is provided with presentation information acquisition means for acquiring presentation information, which is the content displayed on the information presentation means used in the lecture, as electronic data. And a function of storing presentation information acquired in a time zone before and after the given time in association with a keyword.
[0018]
In this way, the instructor's explanation data of keywords explained during the lecture is not only based on the instructor's voice data, but also image data of the lecture at that time and text data of the audio data Further, the information presented at that time by the board writing or the presentation by the computer is stored in the database in association with the keyword. Therefore, the student can refer to all the commentary in the lecture on the keyword, and the learning efficiency can be further improved.
[0019]
Further, the keyword extracting unit has a function of extracting a keyword based on term data registered in advance, and extracting a term detected a plurality of times by the language analysis unit as a keyword. Further, the language analysis means has a function of analyzing the volume of the sound data to be language-analyzed, and the keyword extraction unit is adapted to detect a portion of the sound data having a relatively high volume based on the analysis by the language analysis means. It has a function to extract terms as keywords.
[0020]
As a result, terms registered in advance, repeated terms, and terms explained by the instructor in a loud voice are extracted as keywords, and the information explained before and after that is registered in the database as commentary data. Therefore, a database of more important terms can be created. At the same time, not every term is registered as a keyword, but it is possible to suppress enlargement of the database, improve search performance, and reduce the processing load on the system itself.
[0021]
The language analyzing means has a function of analyzing the language of the voice data obtained by the voice obtaining means and extracting terms relating to the operation, and the database construction means has a predetermined term in which the extracted operating terms are registered in advance. When it is determined that the term is used, it is desirable to operate on the term in the audio data acquired in a time zone before and after the time when the operation term is extracted.
[0022]
By adopting such a configuration, the computer performs processing for constructing a database for terms described before and after the operation terms registered in advance when the operation terms are registered in advance. That is, since the operation term becomes a key for database construction, the process of extracting the term as a keyword is facilitated, the efficiency of database construction can be improved, and the processing load on the system itself can be reduced.
[0023]
Further, when the computer determines that the operation term extracted by the language analysis means is a predetermined term registered in advance, the computer executes the processing in the audio data acquired in a time period around the time when the operation term is extracted. It is assumed that the system includes a table of contents creating means for creating table of contents data of the lecture content based on the term, and the distribution means has a function of transmitting the contents of the table of contents data to the student terminal in response to a request from the student terminal. desirable. Then, when the table of contents creating means determines that the operation term extracted by the language analysis means is a predetermined term registered in advance, the voice data acquired in a time period around the time when the operation term was extracted is obtained. It is more desirable to have a function to add the additional data based on the terms in the table of contents to the created table of contents data.
[0024]
With such a configuration, the table of contents is created in response to the instructor issuing a term indicating that a table of contents is to be created during a lecture, and the table of contents data is generated in the order in which the lecture was performed. Sent to students. Therefore, even when lectures are given in an actual lecture in a different order from the schedule, the learner can easily review by referring to the table of contents. In particular, when additional data is added to the table of contents data, for example, additional data indicating that the item is an important item or an insignificant item is added, thereby increasing the efficiency of the review by the student. Can be.
[0025]
In addition, the computer receives question data regarding the lecture from the student terminal via the network, and includes question answering means for analyzing the content of the question data and searching for a term in the question data from the lecture content database. Preferably, the means has a function of transmitting the contents of the lecture content database searched by the question answering means to the student terminal.
[0026]
With such a configuration, when the computer receives a question from the student terminal, the computer searches data related to the question, that is, commentary data, from the database stored using the data in the question data as a search key. Then, by transmitting the search data to the student terminal, the student can obtain an explanation about the content input to the question data, and can easily learn. Further, since the answer to the question is automatically generated and distributed by the computer, it is possible to prevent the lecture from being hindered.
[0027]
The distribution means has a function of transmitting the keyword list data in the lecture content database to the student terminal, and the question answering means is transmitted by selecting a keyword in the keyword list data at the student terminal. The received question data may be received, and a search in the lecture content database may be performed for the selected keyword. Then, the question answering means receives the text data input at the student terminal as question data, further receives the voice data input at the student terminal as question data, and converts the question data based on the voice data. Linguistic analysis is also performed on the keywords within the language.
[0028]
In this way, even if question data is sent from the student terminal in various question formats, it is analyzed and searched for commentary data that can be answered. This makes it easy for the student to ask a question, and the answer is also made by referring to the database on the server, so that the response is quick and the learning efficiency can be further improved.
[0029]
Further, the distribution means temporarily stops distribution of the lecture content data to the student terminal when the question answering means acquires the question data from the student terminal, and thereafter temporarily stores the stored lecture content data. It is desirable to have a function of restarting the distribution to the student terminal from near the place where the distribution was stopped. Similarly, in response to a request from the student terminal, the distribution means temporarily suspends distribution of the lecture content data, and transmits the lecture content data acquired within a predetermined time before the distribution stop. It is further desirable to have a function of re-distributing the lecture content data to the student terminal from the vicinity of the point where the distribution of the stored lecture content data is temporarily stopped. Further, the computer is provided with presentation information acquisition means for acquiring the presentation information, which is the content displayed on the information presentation means used in the lecture, as electronic data, and the distribution means, in response to a request from the student terminal, The distribution of lecture content data is temporarily stopped, and the presentation information acquired within a certain period of time before the distribution is stopped is distributed to the student terminals. Thereafter, the distribution of the stored lecture content data is temporarily stopped. It may have a function of restarting distribution to the student terminal from the vicinity of the place where it has been performed. The distribution means restarts the distribution to the student terminal when the data for requesting the restart of the distribution of the lecture content data is received from the student terminal while the distribution of the lecture content data is temporarily stopped. May be configured.
[0030]
As a result, during the question of the student, the delivery of the lecture, that is, the reproduction on the terminal is temporarily stopped, and the answer can be waited. Alternatively, if the user wants to listen to the content of the lecture just before, the distribution of the subsequent lecture is stopped by making a request to that effect, and the content of the previous lecture is repeated. While the playback is stopped, the contents of the lecture are stored. Therefore, the student can deepen the understanding of the question items, and the degree of understanding of the contents of the previous lecture is suppressed from being insufficient. In particular, when the student gives an instruction to start the reproduction, the student can take a sufficient time to understand, and the learning efficiency can be improved.
[0031]
In addition, it is desirable that the computer be configured to include a student management unit that identifies a student terminal and stores data related to a lecture attended together with identification data of the student terminal. In particular, the student management means has a function of recognizing the progress of the lecture from the lecture content data acquired by the lecture acquisition means and storing data on the lecture attended for each student according to the progress of the lecture. It is even more desirable. As a result, the content of the course is stored and managed for each student, so that the student can easily grasp the content of the next course to be taken and the content of the course to be reviewed.
[0032]
Further, in the present invention, a method of distributing educational lecture contents by computer and supporting education for a student in a remote place, wherein the contents of the lecture by the lecturer are acquired and stored as image data and audio data. An acquisition step, and a distribution step of distributing the acquired lecture content data to the student terminals connected to the network, wherein the lecture acquisition step includes a language analysis step of analyzing a language in the acquired audio data, and a A database construction step of extracting a term that matches a predetermined standard from within the language and constructing a database related to the term, and the distribution step includes, in response to a request from a student terminal, a content of the lecture content database. There is also provided an education support method that includes a database distribution step for transmitting to a student terminal.
[0033]
A program for controlling the operation of a computer for distributing educational lecture contents to support education for a remote student, and acquires and stores the contents of a lecture by a lecturer as image data and audio data. And a distribution process for distributing the acquired lecture content data to student terminals connected to the network. The lecture acquisition process includes a language analysis process for analyzing a language in the acquired audio data, and an analysis process. A database construction process for extracting a term that matches a predetermined criterion from a given language and constructing a database related to the term, and delivering the content of the lecture content database in response to a request from a student terminal. And a program for education support that has a process of transmitting the program to the student terminal. Also it provides a 憶媒 body.
[0034]
With such a configuration, the same operation and effect as described above can be obtained, and the above object can be achieved.
[0035]
BEST MODE FOR CARRYING OUT THE INVENTION
<First embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing a configuration according to the first embodiment of the present invention. FIGS. 2 and 3 are functional block diagrams showing the configuration of some servers in the system. FIG. 4 is a diagram showing the structure of a database constructed in the system. 5 to 7 are diagrams illustrating an example of a user interface displayed on the student terminal. 8 and 9 are flowcharts showing the operation of the present system.
[0036]
(Constitution)
The educational support system according to the present invention includes a computer 1 that distributes educational lecture content connected to a network N, and stores lecture content data of a lecture in a student terminal 2 of a remote student connected to the network N. It is to deliver. In particular, correspondence education is provided in which lectures are delivered to students in real time using image (video) data and audio data. Hereinafter, this will be described in detail.
[0037]
The computer 1, which is the present system, is an aggregate of a plurality of server computers that perform various processes as described below in the present embodiment. As described above, by causing each server computer to execute each process, the processing speed can be improved by decentralization. However, the present system may be realized by one server computer, and in such a case, the processing performed by each server described below is performed by one computer.
[0038]
As shown in FIG. 1, the system includes a lecture acquisition means (11 or the like) for acquiring and storing lecture contents by a lecturer as electronic data, and connecting the lecture contents data acquired by the lecture acquisition means to a network N. Distribution means (14 and the like) for delivering to the student terminal 2 and database construction means (12 and the like) for analyzing the lecture content data acquired by the lecture acquisition means and constructing a database relating to the lecture content. Although not shown in FIG. 1, there is also provided a presentation information acquisition unit for acquiring presentation information, which is the content displayed on the information presentation unit used in the lecture, as electronic data.
[0039]
Specifically, the lecture acquisition means (11 and the like) includes an image / audio acquisition server 11 which is a server computer and a camera 11a which is installed in a classroom or the like where the lecture A is performed and captures the state of the lecture A as digital image data. Similarly, a microphone 11b installed in a classroom or the like to capture the audio of the lecture A as digital audio data, and an image and / or storage means (for example, a hard disk) for storing lecture content data including the captured image data and audio data. And a voice database 16. That is, the lecture acquisition unit 11 mainly includes an image acquisition unit, a voice acquisition unit, and a storage unit that stores acquired data.
[0040]
Further, the presentation information acquisition means acquires information presented by a lecturer or the like during a lecture, and thus acquires information on the contents of the lecture in the same manner as the lecture acquisition means. For example, the information presenting means is a computer that reproduces and displays presentation data that has been digitized in advance, a projector that actually projects the presentation data in a lecture classroom, and further, such as a whiteboard or a blackboard. Such as a board for board writing. When the information presenting means is a computer, a projector, or the like, the server 11 functions as the presentation information acquiring means because the computer is connected to the image / audio acquiring server 11.
[0041]
In such a case, the presentation data itself acquired by the image / audio acquisition server 11 becomes the presentation information. Further, when the information presenting means is a whiteboard, an apparatus having a function of recognizing written contents mounted on the board and obtaining such characters and graphics as electronic data, and a device connected to the apparatus. The image / voice acquisition server 11 that actually acquires presentation information serves as presentation information acquisition means. For example, a device that recognizes characters or the like written on a board for board writing and obtains the data as electronic data has a configuration capable of optically scanning the written surface of the board. In this case, the acquired electronic data, such as characters and graphic data, becomes the presentation information, but may be converted into text data by recognizing the written character data as characters.
[0042]
Further, when the board for board writing as the information presenting means is a blackboard, a camera that shoots from all angles to suppress that the blackboard is hidden behind the instructor and cannot be shot by the camera 11a. The image / sound acquisition server 11 for acquiring image data by a camera may constitute a presentation information acquisition unit. In this case, image data obtained by photographing the blackboard with the camera becomes presentation information. The presentation information acquired by the image / audio acquisition server 11 is stored in the image / audio database 16 by the server 11 as described above. Here, the case where the information presenting means is a board for whiteboard (such as a whiteboard) is mainly exemplified below, and the obtained presentation information is referred to as whiteboard data.
[0043]
The distribution unit 14 is a communication management server 14 that distributes the captured lecture content data in real time, that is, the images and audio data captured from the cameras 11a and 11b to the student terminal 2 directly. The communication management server 14 manages the connection status of the student terminals 2 to be delivered, and also attends the lectures so far for each of the student terminals 2, and furthermore, the current lecture locations (the lectures being distributed). Relative time from the start time of the event). This will be described later in detail. Here, the lecture content data distributed to the student terminal 2 by the distribution means is not limited to being distributed in real time. The lecture content data that has been captured and stored in the image / audio database 16 may be distributed in an on-demand format in response to a request from a student.
[0044]
The database construction means 12 includes an image / sound processing server 12 for analyzing and processing the image / sound data acquired by the image / sound acquisition server 11, and a keyword serving as a storage means for storing a database constructed as a result of the processing. And a database 17. The image / audio processing server 12 has a language analysis function 12a for analyzing the language in the acquired audio data, as shown in a functional block diagram of FIG. Database construction functions 12b and 12c for extracting terms that match the criteria and constructing a database relating to the terms.
[0045]
The language analysis function 12a recognizes voice data captured by the microphone 11b or the like in real time, analyzes nouns, verbs, particles, and the like in the voice and converts it into text. Further, when it detects that the recognized voice is in a predetermined language such as English, for example, it has a function of translating all sentences into Japanese. It should be noted that such a speech recognition technology is a known technology, and a detailed description thereof will be omitted.
[0046]
The database construction function further includes the following functions. That is, this function includes a keyword extraction function 12b for extracting, as a keyword, a term that matches a predetermined criterion among the languages analyzed by the language analysis function, and a lecture in which the keyword is extracted by the keyword extraction function. A database forming function 12c for storing keyword explanation data such as voice data acquired in a time zone before and after the time in association with the keyword. As a result, keywords such as important words explained during the lecture by the lecturer are extracted, and the keywords are stored in the server as a database together with the commentary data. Then, as described later, a student who requests a commentary on the keyword at the time of review can easily obtain commentary data by performing a search using the keyword, thereby improving review efficiency.
[0047]
The keyword extraction method by the keyword extraction function 12b includes the following. That is, the keyword extracting function 12b has a function of performing the following processing.
[0048]
First, a keyword is extracted based on term data 12d registered in advance. In this method, a lecturer who gives a lecture submits a lecture plan in advance, and keywords that are considered important in the lecture are registered (stored) in a database, and the same keywords as the registered keywords are extracted.
[0049]
As another method, a term analyzed by the language analysis function is monitored, the term itself and the time at which the term is detected are stored in a memory, and when the same term is detected a plurality of times, the term is used. Extract terms as keywords. Then, when a certain term is extracted as a keyword, commentary data of the term is stored in a keyword database as described later. Based on the detection time of the term detected so far, an already recorded image / audio database is stored. And voice data before and after the time at which the term was previously detected is registered as commentary data in the keyword database. For example, when a certain term is detected three or more times, it is registered as a keyword, and the contents spoken by the lecturer before and after all three times are registered as commentary data. Thus, the terms spoken multiple times by the instructor are likely to be important, and such terms are automatically extracted and a database is constructed.
[0050]
Further, as another method, the language analysis function described above has a function of analyzing the volume of sound data to be subjected to language analysis. Extract as keywords. This is because the part spoken by the instructor in a loud voice is likely to be important, and the term uttered in such a case is automatically extracted.
[0051]
Then, with respect to the keywords extracted as described above, the database forming function 12c associates the audio data / image data 12e and the like acquired in the time period before and after the lecture time with which the keywords were extracted with the keywords such as a hard disk. It is stored in a keyword database 17 as a storage means. At this time, for example, by storing voice data and image data for one minute before and after the time when the keyword was issued as commentary data, commentary data related to the keyword is included in the voice data, or keyword-related data is included in the image data. Since the image on the board is included in the image data and the gestures of the lecturer and the materials brought in are included in the image data, a database effective for review is formed as described later. At this time, when acquiring the audio data before and after the time when the keyword is issued, the image / audio data stored in the image / audio database 16 at the time of acquisition by the image / audio acquisition server 11 is used.
[0052]
In addition, the database forming function 12c includes not only voice data and image data as keywords but also text data of voice data, and is presented to the information presenting means and acquired by the presentation information acquiring means as described above. It also has a function of associating and storing presentation data, and also board data 12e composed of figures and characters, which are presentation information described on the board board. That is, the voice data acquired in the time zone (for example, one minute before and after) before and after the time when the keyword is extracted by the keyword extraction function is converted into text data and stored in association with the keyword. Presentation information such as board writing data acquired in a time zone before and after the extracted time is stored in association with a keyword. By the way, when converting voice data into text, the language analysis function 12a is provided with a text conversion function of converting the analyzed voice data into text data.
[0053]
Here, an example of the database constructed as described above is shown in FIG. As shown in this figure, the keyword "network" is registered as an important term in advance, and if such a term is explained by a lecturer during a lecture, the sound data and moving image data before and after that, and further, If there is data, text data written on a blackboard is given a predetermined file name (for example, file1) and registered in the database in association with the term "network". At this time, there are two (plural) databases relating to the “network”. However, this is the case where the explained time is different, and the explanation data is associated with each explanation. As a result, the commentary data related to the keyword is abundant, and a student who cannot understand even by listening to a certain commentary data can also hear another commentary data of the same keyword, which is effective auxiliary data for understanding the lecture. .
[0054]
Further, in the present system, the student terminal 2 has a function of transmitting question data relating to the lecture via the network N. In response to this, the system side receives the transmitted question data and simultaneously transmits the question data. A question answering server 15 (question answering means) for analyzing and responding to the contents is provided. Specifically, the question answering server 15 searches for a term in the question data received via the communication management server 14 from the keyword database 17 which is a lecture content database, and searches for the voice data and the like corresponding to the keyword. The data of the content that is the commentary such as the image data is extracted. The extracted data (data in the lecture content database) is transmitted to the terminal 2 of the student who has asked the question via the question answering server 15 and the communication management server 14 which are also distribution means.
[0055]
With such a configuration, when the computer 1, that is, the system itself receives a question from the student terminal 2, data related to the question, ie, commentary, from a database that stores data in the question data as a search key. Search for data. Then, by transmitting the searched commentary data (answer data) to the student terminal 2, the student can obtain a commentary on the content input in the question data, and can easily review. In addition, since an answer to the question is automatically generated and distributed by the server, it is possible to prevent a normal lecture from being hindered.
[0056]
Here, the present system responds to a question from the student terminal 2 by the following method. First, the question answering server 15, the communication management server 14, and the like, which are distribution means, transmit keyword list data in the keyword database 17 (lecture content database) constructed by the image / voice processing server 12 to the student terminal 2. . Then, the transmitted keyword list is displayed on the student terminal 2, and is transmitted to the system 1 itself when the student clicks a keyword in doubt or a keyword to be reviewed, and transmits the keyword to the communication management server. The question answering server 15 receives the information via the server 14. Thereafter, the question answering server 15 searches the keyword database 17 for the keyword in the data received as the question data as described above, and sends the corresponding commentary data such as voice data to the student terminal 2. Return to.
[0057]
Further, the student terminal 2 can transmit the question data to the system 1 by text data input freely, and also by voice data input by the student talking. The question answering server 15 receives this, and if it is text data, extracts a keyword from it by a language analysis function, and if it is voice data, similarly extracts a keyword by a language analysis function by voice recognition. Then, the database is searched for the keyword.
[0058]
In this way, by diversifying the question format of the student, it becomes easy for the student to ask a question, and since the answer is made by referring to the database on the server, it is quick, and the review efficiency is further improved. Improvement can be achieved.
[0059]
In order to realize the above-described question answering process, the question answering server 15 has, for example, a configuration shown in FIG. FIG. 3 is a functional block diagram showing the configuration of the question answering server 15. The server 15 first has a question data analysis function 15a for analyzing the format of the received question data 15f (eg, voice, freely input text, etc.), and analyzes the question data in sentences. A language analysis function 15b and a keyword extraction function 15c for extracting a keyword, a database search function 15d for searching whether or not a database of the queried keyword exists, and the student terminal 2 via the communication management server 14 And a reply transmitting function 15e for transmitting the reply to the user. More specific processing operations will be described in detail in the operation description.
[0060]
Here, the present system 1 is further provided with a reproduction management server 13 as a distribution means for managing the distribution status of the lecture content data to the student terminals 2. The server 13 temporarily suspends the distribution of the lecture content data to the student terminal 2 when the question response server acquires the question data from the student terminal 2. That is, when the data acquired from the image / audio acquisition server 11 is directly distributed to the student terminal 2, a stop command is issued to the image / audio acquisition server 11, and the data is temporarily stored in the image / audio database. If the playback management server 13 itself distributes the lecture content data, the distribution management server 13 suspends the distribution. At this time, the playback management server 13 stores information on the lecture stop time of the student terminal 2 (for example, relative time from the start time of the lecture being distributed). Then, while receiving the data for requesting the restart of the delivery of the lecture content data from the student terminal 2 while temporarily stopping the delivery of the lecture content data, based on the stored information about the lecture suspension time. And restart the distribution to the student terminal 2 from the time of the suspension. In particular, when the distribution is restarted from the lecture content data several seconds before the stop, the learner can remember how much the lecture has already been taken and can easily take the lecture continuously. At this time, the distribution restart request from the student terminal 2 is performed by an action such as clicking a predetermined button on the user interface displayed on the student terminal 2.
[0061]
By doing so, the progress of the lecture while the student is asking a question is suppressed, so that the student can be prevented from missing the lecture. Then, as soon as the student is ready, the distribution is started again from the paused point, so that the content can be continuously taken without skipping a part of the lecture.
[0062]
Here, when the distribution of the lecture content data is temporarily stopped due to the student's question, the reproduction management server 13 may resume the distribution after a certain period of time without a request from the student. As a result, long-term attendance by the student can be suppressed, concentration can be maintained, and even if the student forgets to make a resumption request, that fact is not considered. Can be recognized.
[0063]
In addition, in response to a request from the student terminal 2, the playback management server 13, which is a distribution unit, temporarily suspends the distribution of the lecture content data, and the lecture management server 13 acquires the lecture acquired within a predetermined time before the distribution stop. It also has a function of redistributing the content data to the student terminal 2. For example, a re-distribution request from the student terminal 2 is performed by clicking the instructor image displayed on the student terminal 2, whereby the contents explained by the instructor in the immediately preceding minute are as follows. It is redistributed and reproduced on the student terminal 2. The detection that the lecturer image has been clicked is performed by fixing a camera for photographing the lecture classroom, setting the position of the lecturer during the lecture in advance, and setting a predetermined area of the image to be distributed to the student terminal 2. Is set as the redelivery request area. Then, when such an area is clicked or the like, information to that effect is transmitted to the system side. Or, on the contrary, without determining the position of the lecturer, the difference between the classroom screen when the lecturer is not in the lecture classroom and the latest lecture screen when the lecturer is lecture is taken, and the area around the changing area is requested to be re-distributed. May be set.
[0064]
Even in the above case, the distribution of the lecture content data is temporarily stopped at the time of the re-distribution request, so that after the reproduction of the re-delivery data is completed, the distribution from the continuation may be automatically continued. Alternatively, when the student who has heard only the necessary portion of the re-delivery data makes a request for resumption at the terminal, the distribution of the lecture may be resumed at the time of the request.
[0065]
Further, the reproduction management server 13 has a function of redistributing the presentation information displayed on the information presenting means to the student terminal 2 in response to a request from the student terminal 2. For example, redistribute board data composed of characters and figures described on a board board. Specifically, the request for the contents of the board writing from the student terminal 2 is performed by clicking on the location of the board writing board displayed on the student terminal 2, and thereby, the content written on the board board currently is described. The data of the character or graphic being sent is transmitted to the student terminal 2. At this time, to detect that the board for board writing is clicked, the position of the board for board writing in the classroom is specified in advance, and such an area is set as a board content request area. Then, when such an area is clicked or the like, information to that effect is transmitted to the system side. The board writing data is an enlarged view of a board writing board portion of the image in the classroom captured by the camera 11a, or a camera attached at a position different from the camera 11a that mainly captures the image of the lecture classroom. The image of the board board taken from another angle, or the board data obtained by recognizing the contents written on the board board and acquiring such characters and figures as electronic data may be used. The board writing data transmitted to the student terminal 2 is displayed on the lecture screen (see reference numeral D1 in FIG. 5 described later) or the lecturer's operation personal computer screen (see reference numeral D2 in FIG. 5). ), Or when another screen is opened on the terminal 2.
[0066]
In this way, the learner can quickly obtain the explanations that he or she missed or could not understand, and furthermore, the contents of the hard-to-see cardboard can be quickly acquired, thereby suppressing the delay in understanding due to the inability to acquire them. And the learning efficiency can be improved.
[0067]
(motion)
Next, the operation of the system according to the present invention will be described with reference to FIGS. 5 to 7 show user interfaces displayed on the display of the student terminal 2. 8 and 9 are flowcharts showing the operation of the system. FIG. 8 shows an operation particularly when acquiring the lecture content data and constructing a keyword database, and FIG. 9 shows an operation particularly when responding to a question from the student terminal.
[0068]
First, in the system, image data and audio data from the camera 11a and microphone 11b installed in a lecture classroom or the like are captured by the image / voice acquisition server 11, respectively (step S1, lecture acquisition step), and these data are Are stored in the image / sound database 16 (step S2). At this time, the moving image and audio data, which are image data, are converted into, for example, MPEG format data. As described above, since the data is compressed and stored, when the data is subsequently distributed to the student terminal 2 by the reproduction management server 13 via the network N (step S4), the transmission / reception amount of the data is suppressed. are doing. The process of taking in and storing the lecture content data is always performed.
[0069]
Here, if there is a language in the audio data of the captured data (Yes in step S3), the analysis of the language is performed in the image / audio processing server 12 (step S6, language analysis step). . That is, the captured voice data is always subjected to voice recognition processing, it is determined whether or not a predetermined language is included, and if the language is included, the language is analyzed in detail. Specifically, nouns, verbs, and particles are detected from sentences contained in the voice, and specific nouns are extracted. At this time, the specific noun is, for example, a term registered in advance in a storage unit (not shown) in the system, and is extracted (step S7). Then, audio data and image data before and after the extracted keyword is issued, as well as cardboard data are stored in association with each other as commentary data of the keyword (see FIG. 4). In this way, a keyword database is constructed (step S8, database construction step). Then, after that (proceeding from step S8), or even if no keyword is extracted (negative determination in step S7), the lecture content data up to that point is distributed to the student terminal 4 (step S4, distribution step). .
[0070]
FIGS. 5 to 7 show the state of the delivered lecture content data at this time. First, FIG. 5 is an example of a user interface displayed on the student terminal 2. As shown in the figure, on the display of the student terminal 2, an image (moving image) D1 acquired by the camera 11a for photographing the lecture classroom is displayed on the right side, and the operation of the personal computer used for the lecture is displayed on the left side. The screen (moving image) D2 is displayed. At the lower part of the display, voice recognition processing is performed on the voice spoken by the instructor, and text data is displayed (see D3). Further, in the lower right corner, an operation panel D4 operated by the student is displayed. From a speaker (not shown) of the student terminal 2, audio data spoken by the instructor acquired by the microphone 11 b is output. However, the user interface displayed on the student terminal is not limited to the format shown in FIG. For example, only the lecture screen D1 and the operation panel D4 may be displayed. As shown in FIG. 7, a personal computer screen D2 operated by the lecturer, a text screen D3 in which audio data is converted into text, and an operation panel D4 are displayed. You may.
[0071]
Here, the user interface provided from the system side and displayed on the student terminal 2 has a function for the student to transmit question data to the system. For example, as shown in FIG. 5, a text input box D4a is formed on the operation panel D4. By inputting a certain keyword and clicking a help button D4b, the input keyword is used as question data. The information can be transmitted from the terminal 2 to the question answering server 15 of the system 1. The means for asking a question is not limited to this. As shown in FIG. 6, a term displayed on the text screen D3 is dragged and selected with a mouse as shown by a symbol D3a. By clicking the button D4b, the selected keyword is transmitted to the question answering server 15. Further, by inputting a voice through a microphone (not shown) provided in the student terminal 2, the voice data is transmitted to the question answering server 15 as question data. However, the method of transmitting the question data is not limited to the above.
[0072]
As another question data transmission method, for example, as shown in FIG. 7, a list of keywords stored in the keyword database 17 is distributed to the student terminal 2 in advance by distribution means, and the keywords are displayed in a pop-up display. (See symbol D2a), a keyword selected from the above may be transmitted as question data.
[0073]
Then, if a question or the like arises while taking the lecture online, the student transmits question data to the system as described above. Such question data is received by the question answering server 15 (step S5), and the server 15 responds to this (reference A). Such processing will be specifically described with reference to FIG.
[0074]
Upon receiving the question data, the system 1 temporarily stops the delivery of the lecture content data by the reproduction management server 13 (step S6). Then, the question response server 15 recognizes what kind of data the received question data is. If this is the keyword itself selected from the keyword list shown in FIG. A database search is performed using keywords (step S12).
[0075]
On the other hand, if the question data is voice data (negative determination in step S7 and affirmative determination in step S8), voice recognition processing is performed to convert the data into text (step S9). Then, the question data that is text data from the beginning or the question data that has been converted into text by speech recognition as described above (negative determination in step S8) is subjected to language analysis processing (step S10), and the keywords in the text are extracted. (Step S11). In the keyword extraction process, for example, terms analyzed as nouns are extracted as keywords. Then, by searching the keyword database 17 at the same time (step S12), it is checked whether the keyword exists in the database (step S13).
[0076]
If the keyword included in the question data is registered as a database (Yes in step S13), the commentary data registered in association with it is transmitted to the student terminal 2 as a response to the question ( Step S14, database distribution step). For example, as shown in FIG. 4, instructor's voice data and cardboard data associated with the keyword are transmitted to the student terminal 2 as commentary data and displayed on the terminal. On the other hand, if it is not in the database (No in Step S13), the fact that there is no commentary data is transmitted to the student terminal 2 (Step S15). Note that the presentation information including the audio data and the cardboard data may be transmitted when the student terminal 2 requests redelivery as described above.
[0077]
After that, the student who has received the answer to the question transmits a reproduction request to the system 1 by clicking a reproduction button (see reference numeral D4c in FIG. 5) in the operation panel D4 displayed on the terminal (step S4). S16). Then, the stored lecture content data is distributed from the place where the reproduction management server 13 is temporarily stopped (step S17), and the student can continue the lecture. Then, the above-described processing is repeatedly executed, and the lecture proceeds. Here, even if there is no reproduction request in step S16, distribution may be resumed after a certain period of time has elapsed.
[0078]
In this way, a database of keywords considered to be important in the lecture content is automatically constructed, and such data is automatically distributed in response to a request from the student. Therefore, when taking a lecture for the first time or when reviewing (re-attending), the student can easily refer to the commentary data on a questioned part or a part where he / she wants to take the lecture again. Since the review can be easily performed, the learning efficiency can be improved.
[0079]
In addition, questions can be easily asked by diversifying the question format of the students, and efficient learning can be performed. In particular, when a question is selected from a keyword list, the question method is easy.
[0080]
Incidentally, the processing by each server is executed by incorporating a program for controlling the operation of each server to realize each processing into the CPU of each server. Then, the program is provided by being stored in advance in each server, or being read out in each server from a portable medium such as a CD-ROM.
[0081]
<Second embodiment>
Next, a second embodiment of the present invention will be described with reference to FIGS. FIG. 10 to FIG. 15 are diagrams showing a data configuration used in the present embodiment. FIG. 16 is a diagram showing a user interface displayed on the student terminal, and shows table of contents data. 17 to 25 are flowcharts showing the operation.
[0082]
(Constitution)
The education support system according to the second embodiment includes substantially the same components as those of the system according to the above-described first embodiment, but further includes the following components.
[0083]
First, in the system of the present embodiment, keywords prepared in advance by a lecturer who gives a lecture are stored (keyword database 17). The stored keywords are, for example, technical terms considered by the lecturer that are important in the lecture, and terms that are difficult for the learner to understand based on the experience of the lecturer. In some cases, data (text data and image data) serving as a commentary on the keyword is prepared in advance by the lecturer and stored in association with the keyword.
[0084]
The system also stores keywords related to operations (illustration of storage means is omitted), which are also terms prepared in advance by the lecturer or system operator. One example is shown in FIG. These operation keywords K1 are “see”, “open the page” and the like, and an auxiliary keyword K2 corresponding to each operation keyword K1 is also predetermined. The operation flag K3 is assigned. For example, as will be described later, after recognizing the operation keyword K1 "Please see", the language before and after the voice keyword is analyzed from the stored voice data, and the auxiliary keyword K2 "Next chapter" is recognized. At times, the “reference” operation K3 corresponds. In another example, after recognizing the action keyword "draw a line", if there is a term "important" in the text before and after the action keyword, the "important" action corresponds. The subsequent processing differs depending on the operation set as described above.
[0085]
Here, there is an operation keyword “explain” corresponding to the “explanation” operation, and an operation keyword “return” corresponding to the “return” operation. As described above, when the above-described operation keyword is detected, the process proceeds to each operation process.
[0086]
Therefore, in order to realize the above-described processing, the image / sound processing server 12, which is a language analyzing unit, always analyzes the language of the sound data acquired by the microphone 11b and the image / sound acquisition server 11, and operates the operation. It has a function of extracting terms related to the above (the above operation keywords). This function extracts auxiliary keywords before and after the action keyword after extracting the action keyword, but the order may be reversed. That is, an auxiliary keyword as shown in the first column K2 of FIG. 10 is stored in the system in advance, and if such a keyword is detected from the audio data during the lecture, it is determined whether there is an operation keyword K1 before and after the keyword. That may be detected. In any case, the operation shown in FIG. 11 is set by the keyword and the operation keyword included in the audio data during the lecture. The operation to be set is not limited to the operation shown in FIG.
[0087]
Here, an example of the processing by the system 1 will be described. When it is determined that the operation keyword extracted as described above is a predetermined term registered in advance, for example, the term “description”, the operation keyword is extracted. Database construction processing for the terms in the audio data acquired in the time zone before and after the time. Specifically, when the lecturer speaks “Chapter 1 describes the network”, the sentence is subjected to language analysis, and an operation keyword “explains” is extracted. Then, a keyword search is further performed on the sentence, and a “network” is extracted. Database construction is realized for the word "network". First, the set value K5 of the operation flag K4 shown in FIG. 11 is assigned to the word "network". Then, audio data explained by the instructor, image data during the lecture, board writing data, and the like are stored as a database in association with the words (see FIG. 12). Note that a pointer is given to each of the constructed keyword data.
[0088]
At this time, the operation set value K5 is also stored together with the keyword as described above. However, when a plurality of operations correspond to one keyword, the logical sum of the set values is applied. For example, as the keyword at the top of FIG. 12, a set value obtained by calculating the logical sum of the operation flag of “description” (set value 000000001000) and “reference” (set value of 000000000001) is applied. Thus, by referring to the flag, it is possible to know what kind of operation the keyword was extracted at, and it is possible to particularly identify whether the keyword is a question or an answer. The effect will be described later.
[0089]
In this way, the process of constructing a database for the terms described before and after the sentence using the term "description" as a key facilitates the process of extracting the terms as keywords, thereby improving the efficiency of database construction. And the processing load on the computer can be reduced.
[0090]
Incidentally, the above-described language analysis function also operates on question data based on voice data from the student terminal 2. For example, when the voice data “There is a question” is transmitted from the student terminal 2, a language analysis is performed on the voice data, and a transition to a question operation is performed by matching with the operation keyword (FIG. 10). reference).
[0091]
Further, when the system 1 determines that the operation keyword extracted by the language analysis means is a predetermined term registered in advance, the audio data acquired in a time period around the time when the operation keyword is extracted is included. Table of contents which prepares table of contents data of the contents of the lecture based on the terms in the table. For example, the table of contents creating means is realized by the image / sound processing server 12. Specifically, as described above, when the operation keyword is “move” shown in FIGS. 10 and 11, the “chapter” number and “section” number before and after that, and further, the page number are extracted. Based on this, the order in which the lectures were performed is recognized, and the order is arranged in a list as table of contents data. The table of contents data is transmitted to the student terminal 2 via the communication management server 14, so that the student can refer to the information for review.
[0092]
At this time, although not shown in FIGS. 10 and 11, a function of registering a term “table of contents” as an operation keyword and using a text spoken after the term as a title of the table of contents is provided by an image / audio processing server. 12 may be provided. In other words, this is a function of creating table of contents data by a method different from the method described above. For example, when the instructor utters “Creating a table of contents, Chapter 1 Work and Computer”, an item “Chapter 1...” Is generated as shown in FIG. Similarly, a section is formed in the first chapter. The detailed processing contents will be described together with the description of the operation.
[0093]
Also, as a function added to the table of contents creation function, when it is determined that the operation keyword extracted by the language analysis means is a predetermined term registered in advance such as "important", the time when the operation keyword is extracted is determined. A function may be provided for adding additional data based on the terms in the audio data acquired in the preceding and following time zones to the table of contents data being created. For example, as described above, if "This chapter is important" is issued immediately after "Table of contents creation ...", the table of contents generated at that time is "Important" as shown in FIG. A mark is added. The student who sees this can easily recognize important points at the time of review, and can improve review efficiency.
[0094]
Further, in the above description, the case where the table of contents data is created from scratch has been described, but data relating to the table of contents prepared by the instructor in advance may be stored in the system. Then, based on this, the creation of the table of contents is confirmed, and if different, the order of the table of contents itself is changed. In other words, even if lectures are given in a different order from the original schedule described in the text in the actual lecture, that will be reflected in the table of contents, so students will refer to the changed table of contents By doing so, you can easily review.
[0095]
In the database forming function, the keyword database constructed as described above is also associated with the table of contents data. Data relating to this association is called an association database, and is stored in storage means (not shown) in the system. Specifically, for each chapter / section, the described keyword is associated with a pointer. For example, as shown in FIG. 13, pointers (main) of keywords described at the time of explanation of chapters and sections set in advance by the instructor are associated with each other. Pointers associated with lecture content data such as chapters and sections, and keywords are associated (keyword pointer (reference)). At this time, the keyword pointers described in other chapters and sections are associated. Furthermore, since the order actually described by the instructor may be changed, the actual change order is assigned as a numerical value. For example, when a certain keyword is stored in the item “Chapter 1,“ Network ”, Section 1,“ LAN ”, the pointer value (for example, a1) is stored in association with it. At this time, if it is described that another chapter should be referred to, the pointer (for example, c1) given to that chapter is also stored in association with it. Then, from the initial lecture order, the "WAN" section of the network chapter should be explained, but if the instructor explained the "Internet" section, the value of the order following the "LAN" section will be assigned. . Therefore, the value relating to the actual order may be used at the time of creating a table of contents or reviewing. This will also be described in detail when describing the operation.
[0096]
In addition, a question database for associating questions and answers is constructed. This is shown in FIG. At this time, the keyword data is included in the question data from the student, and a pointer corresponding to the keyword is given. Then, the pointer of the commentary data (answer) such as the voice data when the instructor answers the keyword is associated with the pointer of the question data. Further, pointers of a plurality of commentary data detected for the keyword may be associated with the keyword. At this time, it is desirable to associate the keyword data itself. Then, when another student asks the same question next time, by referring to such a database, the answer process can be promptly performed, or the system itself later frequently answers the question (so-called “so-called”). When creating data relating to Q & A), the data can be easily created with reference to the data.
[0097]
Further, the communication management server 14 in the system identifies the student terminal 2 and stores the content of the lecture attended together with the identification data of the student terminal 2 to manage the content of the student. For example, the student database shown in FIG. 15 includes an ID, which is identification data for each student, code data for each course, a start / completion date and time, a value indicating to which chapter / section the student has currently taken, each chapter. -End flag data indicating that the attendance of the section has been completed is stored. As a result, the content of the course is stored and managed for each student, so that the system itself recognizes the content to be delivered next to the student terminal, the course that the student will take next, and the content of the course to be reviewed. Can be easily grasped.
[0098]
(motion)
Next, an operation in the second embodiment will be described with reference to FIG. First, as described in the first embodiment, lecture content data by the lecturer is captured by the image / audio acquisition server 11, and the data is stored and distributed to the student terminal 2. In addition, among such data, particularly, voice data is subjected to voice recognition and language analysis (step S101).
[0099]
At this time, the image / sound processing server 12 extracts the verb in the sound data, compares the words before and after the verb with the operation keywords registered in advance, and extracts the same (step S102). If there is no operation keyword, the above process is always executed (if the determination is negative in step S102, the process returns to step S101).
[0100]
When the operation keyword is extracted, the operation flag variable in the system is cleared (step S103), and whether the operation keyword is related to the operation “description” or the operation “return” is determined. Is checked (step S104). If it is not related to the operations "description" and "return" (No in step S104), it is checked whether there is an auxiliary keyword before and after the sentence from which the operation keyword is extracted (step S105). At this time, the auxiliary keyword is a keyword related to the operation keyword disclosed in FIG. The extraction of the auxiliary keyword is a keyword other than the operation keyword registered in advance, or a term repeatedly issued by the instructor as described in the first embodiment, and further, the tone is strong. The term that was generated. If the auxiliary keyword is not extracted (negative determination in step S105), the above processing is repeated (return to step S101). If the auxiliary keyword is extracted, refer to the relation table between the operation keyword and the operation flag in FIG. 10 and FIG. , An operation flag variable is set (step S106). However, if the operation keyword is related to the operation “description” or “return” in step S104 (Yes in step S104), the operation flag corresponding to each operation regardless of the presence or absence of the auxiliary keyword Is set (step S106).
[0101]
Thereafter, the value of the operation flag variable is checked (step S107), and each process is performed according to the value (steps S108 to S115). After executing each process, the process returns to the normal language analysis process (return to step S101).
[0102]
Next, each processing will be described, but for convenience of description, the description will be made from “explanation processing” (see FIG. 21). First, when the operation keyword “I explain” is extracted in step S102 of FIG. 17, the process proceeds from step S104 to step S106, and the operation flag becomes the value of “explanation”. Then, the process proceeds to the explanation process of step S112 (reference B5).
[0103]
Then, first, it is detected whether or not there is a keyword as an important phrase in sentences before and after the word is spoken (step SB51). The keyword is a keyword which is closely related to the lecture and registered in advance by the lecturer, or a term repeatedly issued by the lecturer (see the description in the first embodiment).
[0104]
When the keyword is extracted, the keyword is registered in the database (step SB52), and the value of the operation flag is also stored (see FIG. 12). Then, the voice data and the image data spoken before and after the time at which the keyword is issued are registered in the keyword database in association with the keyword (step SB53, see FIG. 12). At this time, it is also detected whether or not the board writing is being performed (step SB54). If the board writing is being performed, the board writing data is converted to text or captured as still image moving data (step SB55). It is added (step SB56). Here, the detection of the board writing in step SB54 can be realized by providing a writing pressure detecting means or the like on the board writing board.
[0105]
Thereafter, a pointer is given to the keyword added to the database, and the keyword is registered with the pointer (step SB57, see FIG. 12).
[0106]
Also, when the set operation flag is an “important” operation (step S111), the operation is substantially the same as the above-described operation (reference B4). However, the processing until the operation is determined to be “important” is different. In other words, in the "explanation" operation, keyword extraction was performed in any case when the operation keyword was the term "explanation", but to be recognized as "important" operation, " This is a case where after an operation keyword such as "please" is detected (Yes in step S102), an auxiliary keyword such as "important" or "point" is extracted (see FIG. 10).
[0107]
Note that the “important process” (step S111) is also executed in a table of contents process described later, but the process at that time is different from the above process.
[0108]
Next, the table of contents processing (step S108 in FIG. 17) will be described with reference to FIG. 18 (reference B1). First, as described above, the language "table of contents creation" is extracted from the audio data, and when the table of contents is set, the words of the chapter / section and the number of the number are extracted from the audio data before and after the table operation ( Step SB11). The extracted chapters and sections become the next chapters / sections.
[0109]
When these are extracted, it is checked whether or not there is table of contents data created by the lecturer and stored in the system in advance (step SB12). If the table of contents data is stored (Yes in step SB12), the section or section for which the lecture was given before may be replaced with, for example, “to which chapter or section, (The current position) or "end flag data indicating that the attendance of each chapter / section has been completed" is detected (step SB13). Then, matching is performed with the previously stored table of contents data, and it is determined whether or not the order is correct (step SB14). Specifically, it is assumed that the next chapter / section from the instructor's remark is “Chapter 1 Section 7”. If the number "1.5" is detected with reference to the "current position" shown in FIG. 15, it can be understood that the student is currently attending "Chapter 1, Section 5". Then, referring to the description portion of the chapter / section of the table of contents data prepared in advance as shown in FIG. 16, it can be seen that the chapter 1 / section 5 is followed by the chapter 1 / section 6. Therefore, in such a case, it is determined that the order is not correct.
[0110]
If the order is correct, the table of contents data is set as it is without changing the table of contents data (step SB18). On the other hand, if the order is not correct as in the above specific example (No in step SB14), the order of the table of contents is changed (step SB15) and the table of contents is reset (step SB18). At this time, in the table of contents newly created by changing the order, the chapter and section numbers are kept as they were, and only the display order is changed. As a result, the consistency with the content of the instructor's remark is maintained. Note that the initial value of the order of the table of contents is “Chapter 1, Section 1”, and such data is stored in the processing server in advance. Similarly, the lecture start position of each student, that is, the initial value of the current position shown in FIG. 15 is also “Chapter 1 Section 1”.
[0111]
If there is no table of contents data in the above step SB12 (negative determination), a chapter / section title term is extracted from before and after the audio data from which the chapter / section number has been extracted (step SB16). In the title term extraction process, for example, a sentence that appears next to the term “chapter” is extracted as a title. Then, the extracted table of contents is added to the table of contents data together with the chapter and section numbers (step SB17), and the table of contents is set (step SB18).
[0112]
Then, the above processing is executed each time a chapter / section changes, thereby creating a table of contents as shown in FIG. However, the table of contents may be created at the time of end processing described later using the above-described association database.
[0113]
When the table of contents is created, for example, during the chapter / section number extraction processing in step SB11, the instructor remarks that "this chapter is important", and if the term "important" is detected by this, step SB18 At the time of the table of contents setting operation, the word "important" is added to the section (chapter or section) of the table of contents (see FIG. 16). By doing so, the learner can know important points only by looking at the table of contents, and can improve review efficiency.
[0114]
Next, the chapter / section switching process shown in step S109 of FIG. 17 will be described with reference to FIG. 19 (reference B2). First, as described above, when the movement operation is set by the operation keyword and the auxiliary keyword, a chapter, a section, or a page number is extracted from the audio data before and after the movement operation (step SB21). If it is a chapter or section number, set it as the next chapter or section from the previous chapter or section, and if it is a page number, the chapter or section corresponding to the page from the pre-registered database It is set (step SB22). At the same time, a keyword database accumulated during a lecture in a moving chapter or section and data referred to in the chapter or section are set so as to be associated with the chapter or section. That is, as shown in FIG. 13, a preparation is made so that a pointer (main, reference) of the keyword database is registered in a certain chapter or section.
[0115]
Subsequently, data on the current position of the attended lecture (current position data shown in FIG. 15) is read out of the data of the attended students from the student database (step SB23).
[0116]
Then, the actual order (change) is set to the data shown in FIG. 13 which is the association database (step SB24), and the current position data of the student in the student database shown in FIG. 15 is updated (step SB25). . As a result, it is possible to grasp the course progress of each student. Incidentally, such processing may be performed at the same time when the above-mentioned table of contents creation processing is executed.
[0117]
Further, at the time of this chapter / section switching processing, processing for setting a pointer to the lecture content data itself corresponding to the chapter / section is performed. That is, a pointer is set in the lecture content data described after the switching process, and by referring to the pointer, the lecture content data of each chapter / section can be easily accessed. If the value of this pointer is determined in advance according to the chapter / section, it is easy to refer to it later.
[0118]
Next, the reference processing shown in step S110 of FIG. 17 will be described with reference to FIG. 20 (reference B3). First, a chapter / section number, a page number, and a keyword are extracted from the sentence from which the action keyword is extracted (step SB31), and the contents are used as reference data. Then, a pointer corresponding to each reference data is set (step SB32). Specifically, in response to the instructor's remark “See Chapter 1, Section 5”, the lecture content data stored in the image / audio database (see reference numeral 16 in FIG. 1) A pointer for referring to the lecture content data relating to Chapter 1, Section 5 is set, and such a pointer is separately recorded in the storage means as an “important” item. Thereafter, the pointer of the reference data is registered in the chapter or section in the current lecture in the association database (step SB33). By referring to this pointer, it is possible to access the lecture content data of the chapter / section to be referenced. At this time, if the lecture content data relating to the chapter / section to be referred to has not yet been stored, a pointer is set to refer to data that should be stored later.
[0119]
Subsequently, a keyword is extracted from before and after the sentence (an affirmative determination in step SB34). If the keyword is registered in the keyword database (an affirmative determination in step SB35), association is performed in the same manner as described above. The pointer of the reference data is registered in association with the corresponding section of the currently attending chapter or section of the database (step SB36). However, if there is no keyword or the keyword is not registered in the database, the process ends. As a result, the data referred to in each chapter, section, and the like is registered in the association database. Based on the data, the learner can review and improve the learning efficiency. For example, the reference data is transmitted from the server when a reference button is displayed on the screen of the student terminal during the lecture of each chapter or section, and the student presses this button.
[0120]
Next, the question processing shown in step S113 in FIG. 17 will be described with reference to FIG. 22 (reference B6). Here, in the present embodiment, when the question data from the student terminal 2 is voice data, that is, when a question is made by microphone input at the student terminal 2, such voice data is replaced with voice data by the instructor. Similarly, processing is performed by the processing shown in FIG. Therefore, first, the processing up to the step S113 when there is a question from the student will be described.
[0121]
When there is a question by voice data from the student terminal during the lecture, the question is taken into the system itself via the network (step S101), and an operation keyword and an auxiliary keyword are extracted (steps S102 to S104). When a question action is set by the extracted action keyword or the like (see FIG. 10), a question process is executed.
[0122]
Then, words before and after the voice are extracted as keywords (step SB61), and a pointer value is set to the question keyword (step SB62). At this time, it is checked whether or not the lecture is distributed in real time (step SB63). If it is real time, it is checked whether or not there is a comment from the lecturer within a certain time (step SB611).
[0123]
When the lecture is not a real-time lecture, for example, at the time of review, or when there is no instructor's remark even in the case of a real-time lecture, the system automatically executes as described in the first embodiment. An answer generation process is performed. Specifically, it is checked whether or not the question keyword is registered in the keyword database (step SB64). If the question keyword is registered (yes in step SB65), the voice data or Commentary data such as image data and cardboard data is transmitted to the student terminal as a response to the question (step SB67). On the other hand, if there is no data (No at Step SB65), the fact that there is no answer data is transmitted to the student terminal (Step SB69). Thereafter, as shown in FIG. 14, the pointer of the question keyword and the pointer of the data in the keyword database used as the answer are registered as a question database in association with each other, and are used for the later question and Q & A data creation. Sometimes used.
[0124]
If there is a comment from the instructor in step SB611 (affirmative determination), language analysis of the comment is performed. That is, the processing shown in FIG. 17 is performed again on the utterance, and the action keyword in the utterance is detected. At this time, if the instructor makes a statement such as "return to text" and the operation keyword is a return operation (Yes in step SB612), no answer is given by the instructor's statement, and the process proceeds to step SB64. Since the answer is given from the database, the keyword database is searched. Otherwise (No at Step SB612), a reply process is performed (Step SB613). The operation of this answer process is shown in FIG. 23 (reference B9). The "return" operation at the time of this question processing is different from the return operation in FIG.
[0125]
In the answer process, first, it is searched whether or not there is a keyword in the language spoken by the instructor (step SB91). If there is a keyword, the keyword is recorded in the keyword database (step SB92), and at the same time, the set value of the answer operation flag shown in FIG. 11 is stored. At this time, if the instructor's remark does not include a keyword, it is stored in the keyword database using the keyword in the question data together with the answer operation flag setting value. Then, the audio data, the image data, and the board data described before and after that are stored together with the keyword as shown in FIG. 12 (step SB93). Thereafter, a pointer is set to the answer data (step SB94).
[0126]
Subsequently, the answer data is transmitted to the student terminal 2 (step SB95). Then, as shown in FIG. 14, the pointer set for the question keyword and the pointer set for the keyword data stored as the answer data are stored as a question database in association with each other (step SB96), and as shown in FIG. In this way, the pointer is set in the reference column in the association database so as to correspond to the chapter or section currently being attended (step SB97).
[0127]
Next, the aside processing shown in step S114 of FIG. 17 will be described with reference to FIG. 24 (reference B7). When the aside processing is started, the keyword here is automatically set to, for example, "9999" (step SB71). Subsequently, the keyword (9999) and the set value of the operation flag are stored in the keyword database (step SB72), and the voice data and the like described by the instructor at this time are also stored in association (step SB73).
[0128]
Thereafter, the language spoken by the instructor is analyzed, and when it is recognized that the operation is the return operation by the operation keyword, the process returns to the normal process (step SB75). If the returning operation is not performed, the explanation of the instructor will be stored as an apostrole (negative determination in step SB74).
[0129]
Finally, the end processing shown in step S115 in FIG. 17 will be described with reference to FIG. 25 (reference B8). First, table of contents data is created from the association database shown in FIG. 13 in the order in which the lectures were actually given, as shown in FIG. 16 (step SB81). At this time, if the table of contents data has been created in the order of actual lectures in the above-described table of contents processing, this processing is processing for forming a table of contents screen.
[0130]
Subsequently, with reference to the keyword database shown in FIG. 12 and the association database shown in FIG. 13, important points are extracted from the lecture contents (step SB82). For example, the operation flag in the keyword database is checked, and a pointer of the keyword having the set value of the important operation flag is extracted. Then, the association database is used to check which chapter / section the pointer is in, and the chapter / section is extracted as an important part. Further, the operation flag of the keyword database is checked, and a chapter / section number in which pointers with many questions are concentrated is searched in the association database. Then, the chapter / section is extracted as an important part. Alternatively, a chapter / section having a large number of keyword pointers (main, reference) in the association database is simply searched and extracted as an important part.
[0131]
Subsequently, the important points extracted as described above are reflected in the table of contents (step SB83). For example, as shown in FIG. 16, an important mark is added to a display position of a chapter / section determined to be important. By transmitting the table of contents data to a student who takes a course for the first time or a student who takes a review, the order of lectures and important points can be known, and learning efficiency can be improved. Further, at this time, each chapter or section in the table of contents may display another chapter or section number referred to in the chapter or section based on the reference pointer of the association database.
[0132]
Subsequently, referring to the question database shown in FIG. 14, "Q & A data" which is an answer to the frequently asked question is created (step S84). That is, an answer to the keyword of the question is searched using the pointer, and data associated with the keyword of the question is created. In this way, by creating the Q & A data and transmitting the Q & A data to the students who take the course for the first time before the lecture or to the students at the time of the review, the students can refer to the data, The learning efficiency can be improved.
[0133]
Subsequently, diversion data is extracted from the operation flag setting value of the keyword database and the association database. Then, a setting corresponding to the part corresponding to the after-talk data is deleted from the lecture content data to be delivered to the student terminal 2 and set to be delivered (step SB85). At this time, an attendant button is displayed on the student terminal during the course (see FIG. 6 described in the first embodiment). Is done. Therefore, normally, only the data related to the lecture is distributed to the student terminal, so that it is possible to reduce the attendance time and suppress the communication amount.
[0134]
Thereafter, the student database indicating the attending status of the student is updated (step SB86). For example, the current position and the end flag of each chapter / section shown in FIG. 15 are set.
[0135]
【The invention's effect】
Since the present invention is configured and functions as described above, according to this, a database relating to the lecture is constructed from the lecture content data acquired for education through the network, and the database is connected to the student terminal according to the student's request. Students are required to request a part that they have doubts or want to take the lecture again on when taking a lecture, especially when reviewing (re-learning), based on the terms that are characteristic of the part. As a result, the lecture content data of the explanation part is automatically retrieved from the database and distributed to the student terminal, so that the student can save the trouble of searching the lecture content data for the place he wants to attend. There is an unprecedented superior effect that the time can be shortened and the learning efficiency can be improved.
[0136]
In particular, by linguistically analyzing speech data explained by the instructor and constructing a database for keywords extracted from the data based on predetermined criteria, only a database for a predetermined keyword is created, and the database is enlarged. And the processing load on the system can be reduced.
[0137]
The commentary data stored in association with the keyword is voice data or cardboard data acquired around the time when the keyword is extracted, so that the commentary data highly relevant to the keyword is stored. Are stored in the database, the trainees who can refer to this can further improve their understanding and improve learning efficiency.
[0138]
Also, when extracting keywords from audio data explained by the lecturer based on pre-registered term data, or when using terms explained more than once as keywords, the keyword database is prevented from becoming too large. At the same time, it is possible to create a database of more important terms, thereby improving search performance and reducing the processing load on the system itself while maintaining the quality of the database.
[0139]
In addition, by setting an operation keyword that is a trigger when extracting a keyword, the process of extracting a term as a keyword is facilitated, the efficiency of database construction can be improved, and the processing load on the system itself can be reduced. Can be planned.
[0140]
Furthermore, in the case of a configuration having a function of creating table of contents data, even when lectures are given in a different order from the schedule in an actual lecture, students can easily refer to the table of contents to make the lecture easier. You can take a course (especially a review).
[0141]
Further, the distribution of the accumulated keyword database to the student terminal is configured such that a term in the question data received from the student terminal is searched from the lecture content database, and the searched data is transmitted. In this case, the student can obtain appropriate explanation data for his / her question as a response, and can easily learn. At this time, by responding to all types of questions, it becomes easy for students to ask questions, and the answers are made by referring to the database on the server, so that the response is quick and the learning efficiency is further improved. Can be achieved.
[0142]
In addition, when question data is received from the student terminal, the distribution of the lecture content data is temporarily stopped, and then the stored lecture content data is distributed to the student terminal from the vicinity where the distribution was temporarily stopped. In the case of resuming, the students can wait for the answer, and during that time, the lecture is not in progress, so they can deepen their understanding of the questions and the level of understanding of the contents of the previous lecture is poor. It is suppressed that it becomes sufficient.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration according to a first embodiment of the present invention.
FIG. 2 is a functional block diagram illustrating a configuration of an image / sound processing server disclosed in FIG. 1;
FIG. 3 is a functional block diagram illustrating a configuration of a question answering server disclosed in FIG. 1;
FIG. 4 is a diagram showing an example of data stored in a keyword database disclosed in FIG.
FIG. 5 is a diagram illustrating an example of a user interface displayed on a student terminal.
FIG. 6 is a diagram illustrating an example of a user interface displayed on a student terminal.
FIG. 7 is a diagram illustrating an example of a user interface displayed on a student terminal.
FIG. 8 is a flowchart showing the operation of the system according to the first embodiment, particularly showing the operation when acquiring lecture content data and constructing a keyword database.
FIG. 9 is a flowchart illustrating an operation of the system according to the first embodiment, and particularly illustrates an operation when responding to a question from a student terminal.
FIG. 10 is a diagram showing an example of data relating to an operation stored in the system according to the second embodiment of the present invention.
11 is a diagram illustrating an example of a value corresponding to each operation illustrated in FIG. 10;
FIG. 12 is a diagram illustrating an example of a keyword database constructed in the second embodiment.
FIG. 13 is a diagram illustrating an example of an association database constructed in the second embodiment.
FIG. 14 is a diagram showing an example of data associated with question data from a student terminal.
FIG. 15 is a diagram showing an example of the contents of a student database;
FIG. 16 is a diagram showing an example of table of contents data to be formed, particularly showing a state when displayed on a student terminal;
FIG. 17 is a flowchart showing the overall operation of the system itself in the second embodiment.
FIG. 18 is a flowchart showing an operation of a table of contents process disclosed in FIG. 17;
FIG. 19 is a flowchart showing an operation of a chapter / section switching process disclosed in FIG. 17;
FIG. 20 is a flowchart showing the operation of the reference process disclosed in FIG. 17;
FIG. 21 is a flowchart showing an operation of an explanation process or an important process disclosed in FIG. 17;
FIG. 22 is a flowchart showing the operation of the question processing disclosed in FIG. 17;
FIG. 23 is a flowchart showing an operation of an answer process that is a continuation of the question process disclosed in FIG. 17;
FIG. 24 is a flowchart showing the operation of the after-talk processing disclosed in FIG. 17;
FIG. 25 is a flowchart showing an operation of a termination process disclosed in FIG. 17;
[Explanation of symbols]
1 Education support system (server computer group)
2 Student terminals
11 Image / audio acquisition server (lecture acquisition means)
12. Image / sound processing server (database construction means, language analysis means)
13 Reproduction management server (distribution means)
14 Communication management server (distribution means, student management means)
15 Question answering server (question answering means, distribution means)
16 Image and audio database (lecture acquisition means)
17 Keyword database (database construction means)
18 Student database (Student management means)
11a Camera (Lecture acquisition means)
11b Microphone (learning means)
N network

Claims (25)

教育用講義コンテンツを配信するコンピュータが、講師による講義の内容を電子データとして取得して記憶する講義取得手段と、この講義取得手段にて取得した講義内容データをネットワークに接続された受講者端末に配信する配信手段とを備え、遠隔地の受講者に対する教育を支援するシステムにおいて、
前記コンピュータが、前記講義取得手段にて取得した講義内容データを解析して、講義内容に関するデータベースを構築するデータベース構築手段を備えると共に、
前記配信手段が、前記講義内容データベースの内容を前記受講者端末からの要求に応じて当該受講者端末に送信する機能を有する、ことを特徴とする教育支援システム。
A computer that distributes the contents of the lecture for education acquires the contents of the lecture by the lecturer as electronic data and stores the contents of the lecture, and the lecture contents data acquired by the lecture acquisition means to the student terminal connected to the network. And a distribution means for distributing, and a system for supporting education for a student in a remote place,
The computer includes a database construction unit that analyzes the lecture content data acquired by the lecture acquisition unit, and constructs a database related to the lecture content.
An educational support system, wherein the distribution means has a function of transmitting the contents of the lecture content database to the student terminal in response to a request from the student terminal.
教育用講義コンテンツを配信するコンピュータが、講師による講義の内容を画像データ及び音声データとして取得して記憶する画像取得手段及び音声取得手段から成る講義取得手段と、この講義取得手段にて取得した講義内容データをネットワークに接続された受講者端末に配信する配信手段とを備え、遠隔地の受講者に対する教育を支援するシステムにおいて、
前記コンピュータが、前記音声取得手段にて取得した音声データ内の言語を解析する言語解析手段と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築手段とを備え、
前記配信手段が、前記講義内容データベースの内容を前記受講者端末からの要求に応じて当該受講者端末に送信する機能を有する、ことを特徴とする教育支援システム。
A computer that distributes educational lecture contents acquires a lecturer's lecture contents as image data and audio data and stores the acquired lecture contents as image data and audio data, and a lecture acquired by the lecture acquisition device. A distribution means for distributing content data to a student terminal connected to a network, wherein the system supports education for a remote student.
The computer constructs a language analysis unit for analyzing a language in the voice data acquired by the speech acquisition unit, and extracts a term that matches a predetermined criterion from the analyzed language to construct a database relating to the term; Database construction means to perform,
An educational support system, wherein the distribution means has a function of transmitting the contents of the lecture content database to the student terminal in response to a request from the student terminal.
前記データベース構築手段は、前記言語解析手段にて解析された言語のうちあらかじめ定められた基準に合致する用語をキーワードとして抽出するキーワード抽出部と、このキーワード抽出部にて前記キーワードが抽出された時刻に前後する時間帯に取得された音声データを前記キーワードに関連付けて記憶する関連付けデータベース形成部と、を備えたことを特徴とする請求項2記載の教育支援システム。The database construction unit includes a keyword extraction unit that extracts, as a keyword, a term that matches a predetermined criterion among the languages analyzed by the language analysis unit, and a time at which the keyword is extracted by the keyword extraction unit. The educational support system according to claim 2, further comprising: an association database forming unit that stores voice data acquired in a time zone before and after the keyword in association with the keyword. 前記データベース形成部は、前記キーワード抽出部にて前記キーワードが抽出された時刻に前後する時間帯に取得された前記画像データを前記キーワードに関連付けて記憶する機能を有する、ことを特徴とする請求項3記載の教育支援システム。The said database formation part has the function which stores the said image data acquired in the time zone before and after the time when the said keyword was extracted by the said keyword extraction part in connection with the said keyword. 3. The educational support system described in 3. 前記言語解析手段は、前記解析した音声データをテキストデータに変換するテキスト変換機能を有すると共に、
前記データベース形成部は、前記キーワード抽出部にて前記キーワードが抽出された時刻に前後する時間帯に取得した前記音声データから前記テキスト変換機能にて変換したテキストデータを前記キーワードに関連付けて記憶する機能を有する、ことを特徴とする請求項3又は4記載の教育支援システム。
The language analysis unit has a text conversion function of converting the analyzed voice data to text data,
A function of storing the text data converted by the text conversion function from the voice data acquired in a time period around the time when the keyword is extracted by the keyword extraction unit in association with the keyword; The education support system according to claim 3, further comprising:
前記コンピュータが、講義にて用いられる情報提示手段に表示された内容である提示情報を電子データとして取得する提示情報取得手段を設けると共に、
前記データベース形成部は、前記キーワード抽出部にて前記キーワードが抽出された時刻に前後する時間帯に取得された前記提示情報を前記キーワードに関連付けて記憶する機能を有する、ことを特徴とする請求項3,4又は5記載の教育支援システム。
The computer is provided with presentation information acquisition means for acquiring presentation information, which is the content displayed on the information presentation means used in the lecture, as electronic data,
The said database formation part has a function which stores the said presentation information acquired in the time zone before and after the time when the said keyword was extracted by the said keyword extraction part in connection with the said keyword, The Claims characterized by the above-mentioned. The educational support system according to 3, 4, or 5.
前記キーワード抽出部は、あらかじめ登録された用語データに基づいてキーワードを抽出する機能を有する、ことを特徴とする請求項3,4,5又は6記載の教育支援システム。7. The education support system according to claim 3, wherein the keyword extracting unit has a function of extracting a keyword based on term data registered in advance. 前記キーワード抽出部は、前記言語解析手段にて複数回検出された用語をキーワードとして抽出する機能を有する、ことを特徴とする請求項3,4,5,6又は7記載の教育支援システム。8. The education support system according to claim 3, wherein the keyword extraction unit has a function of extracting, as a keyword, terms detected a plurality of times by the language analysis unit. 前記言語解析手段は、言語解析する音声データの音量の大小に関する解析を行う機能を備え、
前記キーワード抽出部は、前記言語解析手段による解析に基づいて音声データ中で相対的に音量が大きい箇所における用語をキーワードとして抽出する機能を有する、ことを特徴とする請求項3,4,5,6,7又は8記載の教育支援システム。
The language analysis unit has a function of analyzing the volume of the sound data to be subjected to language analysis,
6. The keyword extracting unit according to claim 3, wherein the keyword extracting unit has a function of extracting, as a keyword, a term at a location having a relatively large volume in the voice data based on the analysis by the language analyzing unit. The education support system according to 6, 7, or 8.
前記言語解析手段は、前記音声取得手段にて取得した音声データの言語を解析して動作に関する用語を抽出する機能を有すると共に、
前記データベース構築手段は、前記抽出した動作用語があらかじめ登録された所定の用語であると判断したとき、前記動作用語が抽出された時刻に前後する時間帯に取得された音声データ内の用語に対して作動する、ことを特徴とする請求項2,3,4,5,6,7,8又は9記載の教育支援システム。
The language analysis unit has a function of analyzing the language of the audio data acquired by the audio acquisition unit and extracting terms related to the operation,
When the database construction unit determines that the extracted operation term is a predetermined term registered in advance, the database construction unit performs processing on the term in the audio data acquired in a time period around the time when the operation term is extracted. 10. The educational support system according to claim 2, wherein the educational support system is operated.
前記コンピュータが、前記言語解析手段にて抽出した動作用語があらかじめ登録された所定の用語であると判断したときに、前記動作用語が抽出された時刻に前後する時間帯に取得された音声データ内の用語に基づいて講義内容の目次データを作成する目次作成手段を備え、
前記配信手段が、前記目次データの内容を前記受講者端末からの要求に応じて当該受講者端末に送信する機能を有する、ことを特徴とする請求項10記載の教育支援システム。
When the computer determines that the operation term extracted by the linguistic analysis unit is a predetermined term registered in advance, audio data acquired in a time zone around the time when the operation term is extracted is included. Table of contents creation means to create table of contents data of lecture contents based on the terms of
11. The education support system according to claim 10, wherein the distribution unit has a function of transmitting the contents of the table of contents data to the student terminal in response to a request from the student terminal.
前記目次作成手段は、前記言語解析手段にて抽出した動作用語があらかじめ登録された所定の用語であると判断したときに、前記動作用語が抽出された時刻に前後する時間帯に取得された音声データ内の用語に基づいた付加データを前記作成している目次データに追加する機能を有する、ことを特徴とする請求項11記載の教育支援システム。The table of contents creating means, when judging that the operation term extracted by the language analysis means is a predetermined term registered in advance, obtains a speech acquired in a time zone around the time when the operation term was extracted. The education support system according to claim 11, further comprising a function of adding additional data based on a term in the data to the created table of contents data. 前記コンピュータが、前記受講者端末からネットワークを介して講義に関する質問データを受け付けると共に、前記質問データの内容を解析して当該質問データ内にある用語を前記講義内容データベースから検索する質問応答手段を備え、
前記配信手段が、前記質問応答手段にて検索された前記講義内容データベースの内容を前記受講者端末に送信する機能を有する、ことを特徴とする請求項2,3,4,5,6,7,8,9,10,11又は12教育支援システム。
The computer includes question answering means for receiving question data regarding a lecture from the student terminal via a network, analyzing the content of the question data, and searching for a term in the question data from the lecture content database. ,
The said distribution means has a function which transmits the content of the said lecture content database searched by the said question response means to the said student terminal, The claim 2,3,4,5,6,7 characterized by the above-mentioned. , 8,9,10,11 or 12 education support system.
前記配信手段は、前記講義内容データベース内のキーワード一覧データを前記受講者端末に送信する機能を備えると共に、
前記質問応答手段は、前記受講者端末にて前記キーワード一覧データ内のキーワードが選択されることにより送信された質問データを受け付けて当該選択されたキーワードに対して前記講義内容データベース内の検索を行うことを特徴とする請求項13記載の教育支援システム。
The distribution means has a function of transmitting keyword list data in the lecture content database to the student terminal,
The question answering unit accepts question data transmitted by selecting a keyword in the keyword list data at the student terminal, and performs a search in the lecture content database for the selected keyword. 14. The education support system according to claim 13, wherein:
前記質問応答手段は、前記受講者端末にて入力されたテキストデータを質問データとして受け付けることを特徴とする請求項13記載の教育支援システム。14. The education support system according to claim 13, wherein the question answering unit accepts text data input at the student terminal as question data. 前記質問応答手段は、前記受講者端末にて入力された音声データを質問データとして受け付けると共に、当該音声データによる質問データを言語解析してその内のキーワードに対して処理を行うことを特徴とする請求項13,14又は15記載の教育支援システム。The question answering unit accepts voice data input at the student terminal as question data, and linguistically analyzes the question data based on the voice data and performs processing on a keyword in the language. The education support system according to claim 13, 14, or 15. 前記配信手段は、前記質問応答手段にて前記受講者端末から質問データを取得した際に当該受講者端末に対する前記講義内容データの配信を一時的に中止すると共に、その後、前記記憶した講義内容データを前記一時的に配信を中止した箇所付近から前記受講者端末に配信を再開する機能を有する、ことを特徴とする請求項13,14,15又は16記載の教育支援システム。The distribution means temporarily stops distribution of the lecture content data to the student terminal when the question answering means acquires the question data from the student terminal, and thereafter, stores the stored lecture content data. 17. The education support system according to claim 13, further comprising a function of restarting the distribution to the student terminal from near the place where the distribution is temporarily stopped. 前記配信手段は、前記受講者端末からの要求に応じて、前記講義内容データの配信を一時的に中止すると共に、当該配信中止時以前の一定時間内に取得された講義内容データを前記受講者端末に再配信し、その後、前記記憶した講義内容データを前記一時的に配信を中止した箇所付近から前記受講者端末に配信を再開する機能を有する、ことを特徴とする請求項2,3,4,5,6,7,8,9,10,11,12,13,14,15,16又は17記載の教育支援システム。In response to a request from the student terminal, the distribution unit temporarily suspends distribution of the lecture content data, and transmits the lecture content data acquired within a predetermined time before the distribution suspension. 4. A function of re-distributing to the terminal, and then restarting the distribution of the stored lecture content data to the student terminal from near the place where the distribution was temporarily stopped. The education support system according to 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, or 17. 前記コンピュータが、講義にて用いられる情報提示手段に表示された内容である提示情報を電子データとして取得する提示情報取得手段を設けると共に、
前記配信手段は、前記受講者端末からの要求に応じて、前記講義内容データの配信を一時的に中止すると共に、当該配信中止時以前の一定時間内に取得された前記提示情報を前記受講者端末に配信し、その後、前記記憶した講義内容データを前記一時的に配信を中止した箇所付近から前記受講者端末に配信を再開する機能を有する、ことを特徴とする請求項2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17又は18記載の教育支援システム。
The computer is provided with presentation information acquisition means for acquiring presentation information, which is the content displayed on the information presentation means used in the lecture, as electronic data,
In response to a request from the student terminal, the distribution unit temporarily suspends distribution of the lecture content data, and transmits the presentation information acquired within a predetermined time before the distribution suspension to the student. 5. A function of distributing the lecture content data to the student terminal from the vicinity of the place where the distribution is temporarily stopped, and thereafter distributing the stored lecture content data to the student terminal. , 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, or 18.
前記配信手段は、前記講義内容データの配信を一時的に中止している間に、前記受講者端末から前記講義内容データの配信の再開を要求するデータを受信した際に当該受講者端末に配信を再開する、ことを特徴とする請求項17,18又は19記載の教育支援システム。The distribution means distributes the lecture content data to the student terminal when receiving data requesting resumption of the distribution of the lecture content data from the student terminal while temporarily suspending the distribution of the lecture content data. 20. The education support system according to claim 17, 18 or 19, wherein: 前記コンピュータは、前記受講者端末を識別すると共に、当該受講者端末の識別データと共に受講した講義に関するデータを記憶する受講者管理手段を備えたことを特徴とする請求項2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19又は20記載の教育支援システム。6. The student computer according to claim 2, further comprising: student management means for identifying the student terminal and storing data on a lecture attended together with identification data of the student terminal. , 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, or 20. 前記受講者管理手段は、前記講義取得手段にて取得した講義内容データから講義の進行状況を認識し、当該講義の進行状況に応じて受講者毎に受講した講義に関するデータを記憶する機能を有することを特徴とする請求項21記載の教育支援システム。The student managing means has a function of recognizing the progress of the lecture from the lecture content data acquired by the lecture acquiring means and storing data on the lecture attended for each student according to the progress of the lecture. 22. The education support system according to claim 21, wherein: 教育用講義コンテンツをコンピュータにて配信し、遠隔地の受講者に対する教育を支援する方法であって、講師による講義の内容を画像データ及び音声データとして取得して記憶する講義取得工程と、取得した講義内容データをネットワークに接続された受講者端末に配信する配信工程とを備え、
前記講義取得工程は、取得した音声データ内の言語を解析する言語解析工程と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築工程とを備え、
前記配信工程は、前記講義内容データベースの内容を前記受講者端末からの要求に応じて当該受講者端末に送信するデータベース配信工程を備えた、ことを特徴とする教育支援方法。
A method of distributing educational lecture content by computer and supporting education for a student in a remote place, wherein a lecture acquisition step of acquiring and storing the contents of a lecture by an instructor as image data and audio data, A delivery process of delivering lecture content data to student terminals connected to the network,
The lecture acquisition step includes a language analysis step of analyzing a language in the acquired audio data, and a database construction step of extracting a term that matches a predetermined standard from the analyzed language and constructing a database related to the term. With
The education support method, wherein the distribution step includes a database distribution step of transmitting contents of the lecture content database to the student terminal in response to a request from the student terminal.
教育用講義コンテンツを配信するコンピュータの動作を制御して、遠隔地の受講者に対する教育を支援するためのプログラムであって、講師による講義の内容を画像データ及び音声データとして取得して記憶する講義取得処理と、取得した講義内容データをネットワークに接続された受講者端末に配信する配信処理とを備え、
前記講義取得処理は、取得した音声データ内の言語を解析する言語解析処理と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築処理とを備え、
前記配信処理は、前記講義内容データベースの内容を前記受講者端末からの要求に応じて当該受講者端末に送信する処理を有する、ことを特徴とする教育支援用プログラム。
A program for controlling the operation of a computer for distributing educational lecture content and supporting education for a student at a remote place. Comprising an acquisition process and a distribution process of distributing the acquired lecture content data to student terminals connected to the network,
The lecture acquisition process includes a language analysis process for analyzing a language in the acquired audio data, and a database construction process for extracting a term that matches a predetermined criterion from the analyzed language and constructing a database related to the term. With
An educational support program, wherein the distribution process includes a process of transmitting contents of the lecture content database to the student terminal in response to a request from the student terminal.
教育用講義コンテンツを配信するコンピュータの動作を制御するプログラムを記憶した記憶媒体であって、講師による講義の内容を画像データ及び音声データとして取得して記憶する講義取得処理と、取得した講義内容データをネットワークに接続された受講者端末に配信する配信処理とを備え、
前記講義取得処理は、取得した音声データ内の言語を解析する言語解析処理と、解析された言語内からあらかじめ定められた基準に合致する用語を抽出して当該用語に関するデータベースを構築するデータベース構築処理とを備え、
前記配信処理は、前記講義内容データベースの内容を前記受講者端末からの要求に応じて当該受講者端末に送信する処理を有する、ことを特徴とする教育支援用プログラムを記憶した記憶媒体。
A storage medium storing a program for controlling the operation of a computer for distributing educational lecture contents, the lecture acquisition processing for acquiring and storing the contents of a lecture by an instructor as image data and audio data, and the acquired lecture contents data And a distribution process for distributing to a student terminal connected to the network.
The lecture acquisition process includes a language analysis process for analyzing a language in the acquired audio data, and a database construction process for extracting a term that matches a predetermined criterion from the analyzed language and constructing a database related to the term. With
A storage medium storing an educational support program, characterized in that the distribution process includes a process of transmitting the contents of the lecture content database to the student terminal in response to a request from the student terminal.
JP2003002607A 2003-01-08 2003-01-08 System, method and program to support education Pending JP2004212895A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003002607A JP2004212895A (en) 2003-01-08 2003-01-08 System, method and program to support education

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003002607A JP2004212895A (en) 2003-01-08 2003-01-08 System, method and program to support education

Publications (1)

Publication Number Publication Date
JP2004212895A true JP2004212895A (en) 2004-07-29

Family

ID=32820294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003002607A Pending JP2004212895A (en) 2003-01-08 2003-01-08 System, method and program to support education

Country Status (1)

Country Link
JP (1) JP2004212895A (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053696A (en) * 2004-08-10 2006-02-23 Ricoh Co Ltd Contents creating device, method, contents providing system, program, and recording medium
JP2006162692A (en) * 2004-12-02 2006-06-22 Hosei Univ Automatic lecture content creating system
JP2007293252A (en) * 2006-03-31 2007-11-08 Fujitsu Ltd Learning management program and learning management device
JP2008535017A (en) * 2005-03-31 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ How to augment lectures based on previous exams
JP2009200935A (en) * 2008-02-22 2009-09-03 Yamaha Corp Communication system, communication apparatus and program
KR101415447B1 (en) 2013-05-24 2014-07-04 인하대학교 산학협력단 System and method for information sharing based on social network service through watching video
JP2016025545A (en) * 2014-07-23 2016-02-08 住友電気工業株式会社 Program information distribution device, program information distribution system, program information receiver, program information distribution method, program information reception method, program information distribution program, and program information reception program
JP6227816B1 (en) * 2017-03-27 2017-11-08 株式会社ドワンゴ Class system, class method, correspondence class server and correspondence class program
WO2018110352A1 (en) 2016-12-14 2018-06-21 特定非営利活動法人サイバー・キャンパス・コンソーシアムTies Content encapsulation structure and content provision method and system using same
JP2018191231A (en) * 2017-05-11 2018-11-29 Necネッツエスアイ株式会社 Disaster correspondence verification system
JP2019003604A (en) * 2017-06-09 2019-01-10 富士ゼロックス株式会社 Methods, systems and programs for content curation in video-based communications
JP2019008035A (en) * 2017-06-21 2019-01-17 カシオ計算機株式会社 Data transmission method, data transmission device, and program
JP2019502220A (en) * 2015-11-19 2019-01-24 ミ アン,サン Cooking content providing system and providing method
JP2019033463A (en) * 2017-08-10 2019-02-28 株式会社ネオジャパン Seminar distribution system, terminal device, seminar distribution method, and seminar distribution program
US10565891B2 (en) 2016-09-01 2020-02-18 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
JP2020205014A (en) * 2019-06-19 2020-12-24 レクシスノア株式会社 server
JP6900084B1 (en) * 2020-10-15 2021-07-07 アイブレイン株式会社 Information processing system, information processing method and information processing program
JP2022036991A (en) * 2017-03-08 2022-03-08 ソニーグループ株式会社 Image processing apparatus, image processing method, and program
JP7212967B1 (en) 2021-12-06 2023-01-26 株式会社インタラクティブソリューションズ Explanation support system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04273280A (en) * 1991-02-28 1992-09-29 Toshiba Corp Learning backup system
JPH06118865A (en) * 1992-10-02 1994-04-28 Mitsubishi Electric Corp Training computer system
JPH09179484A (en) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd Learning supporting device
JPH1142368A (en) * 1997-07-26 1999-02-16 Namco Ltd Game device and storage medium stored with program concerning the game device
JP2001056822A (en) * 1999-08-20 2001-02-27 Fukushima Printing Co Ltd Production of digital contents capable of text retrieval
JP2002152583A (en) * 2000-11-15 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Recording method and device thereby applied by predetermined field of view
JP2002311800A (en) * 2001-04-16 2002-10-25 Yoshinori Okazaki Private tutor system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04273280A (en) * 1991-02-28 1992-09-29 Toshiba Corp Learning backup system
JPH06118865A (en) * 1992-10-02 1994-04-28 Mitsubishi Electric Corp Training computer system
JPH09179484A (en) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd Learning supporting device
JPH1142368A (en) * 1997-07-26 1999-02-16 Namco Ltd Game device and storage medium stored with program concerning the game device
JP2001056822A (en) * 1999-08-20 2001-02-27 Fukushima Printing Co Ltd Production of digital contents capable of text retrieval
JP2002152583A (en) * 2000-11-15 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Recording method and device thereby applied by predetermined field of view
JP2002311800A (en) * 2001-04-16 2002-10-25 Yoshinori Okazaki Private tutor system

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006053696A (en) * 2004-08-10 2006-02-23 Ricoh Co Ltd Contents creating device, method, contents providing system, program, and recording medium
JP2006162692A (en) * 2004-12-02 2006-06-22 Hosei Univ Automatic lecture content creating system
JP2008535017A (en) * 2005-03-31 2008-08-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ How to augment lectures based on previous exams
JP2007293252A (en) * 2006-03-31 2007-11-08 Fujitsu Ltd Learning management program and learning management device
JP2009200935A (en) * 2008-02-22 2009-09-03 Yamaha Corp Communication system, communication apparatus and program
KR101415447B1 (en) 2013-05-24 2014-07-04 인하대학교 산학협력단 System and method for information sharing based on social network service through watching video
JP2016025545A (en) * 2014-07-23 2016-02-08 住友電気工業株式会社 Program information distribution device, program information distribution system, program information receiver, program information distribution method, program information reception method, program information distribution program, and program information reception program
JP2019502220A (en) * 2015-11-19 2019-01-24 ミ アン,サン Cooking content providing system and providing method
US10565891B2 (en) 2016-09-01 2020-02-18 Seiko Epson Corporation Display apparatus and method of controlling display apparatus
WO2018110352A1 (en) 2016-12-14 2018-06-21 特定非営利活動法人サイバー・キャンパス・コンソーシアムTies Content encapsulation structure and content provision method and system using same
US11042482B2 (en) 2016-12-14 2021-06-22 Nonprofit Organization Cyber Campus Consortium Ties Content encapsulation structure, and content provision method and system using same
US11659134B2 (en) 2017-03-08 2023-05-23 Sony Corporation Image processing apparatus and image processing method
JP7218786B2 (en) 2017-03-08 2023-02-07 ソニーグループ株式会社 Image processing device, image processing method and program
CN114257773A (en) * 2017-03-08 2022-03-29 索尼公司 Image processing apparatus and image processing method
JP2022036991A (en) * 2017-03-08 2022-03-08 ソニーグループ株式会社 Image processing apparatus, image processing method, and program
JP6227816B1 (en) * 2017-03-27 2017-11-08 株式会社ドワンゴ Class system, class method, correspondence class server and correspondence class program
JP2018163294A (en) * 2017-03-27 2018-10-18 株式会社ドワンゴ Lesson system, lesson method, communication class server and communication lesson program
JP2018191231A (en) * 2017-05-11 2018-11-29 Necネッツエスアイ株式会社 Disaster correspondence verification system
JP2019003604A (en) * 2017-06-09 2019-01-10 富士ゼロックス株式会社 Methods, systems and programs for content curation in video-based communications
JP7069778B2 (en) 2017-06-09 2022-05-18 富士フイルムビジネスイノベーション株式会社 Methods, systems and programs for content curation in video-based communications
JP2019008035A (en) * 2017-06-21 2019-01-17 カシオ計算機株式会社 Data transmission method, data transmission device, and program
JP6991478B2 (en) 2017-08-10 2022-01-12 株式会社ネオジャパン Seminar distribution system, server, seminar distribution method and seminar distribution program
JP2019033463A (en) * 2017-08-10 2019-02-28 株式会社ネオジャパン Seminar distribution system, terminal device, seminar distribution method, and seminar distribution program
JP2020205014A (en) * 2019-06-19 2020-12-24 レクシスノア株式会社 server
JP2022065486A (en) * 2020-10-15 2022-04-27 アイブレイン株式会社 Information processing system, method for processing information, and information processing program
JP6900084B1 (en) * 2020-10-15 2021-07-07 アイブレイン株式会社 Information processing system, information processing method and information processing program
JP7212967B1 (en) 2021-12-06 2023-01-26 株式会社インタラクティブソリューションズ Explanation support system
WO2023106014A1 (en) * 2021-12-06 2023-06-15 株式会社インタラクティブソリューションズ Explanation supporting system
JP2023084005A (en) * 2021-12-06 2023-06-16 株式会社インタラクティブソリューションズ Explanation supporting system

Similar Documents

Publication Publication Date Title
JP2004212895A (en) System, method and program to support education
CN1144176C (en) Automated transcription system and method using two speech converting instances and computer-assisted correction
US20200294487A1 (en) Hands-free annotations of audio text
US20050154580A1 (en) Automated grammar generator (AGG)
US20120131060A1 (en) Systems and methods performing semantic analysis to facilitate audio information searches
WO2005027092A1 (en) Document creation/reading method, document creation/reading device, document creation/reading robot, and document creation/reading program
TW200424951A (en) Presentation of data based on user input
JP2000123013A (en) Electronic conversation device, conversation expression collecting method and conversation promoting method
JP2000339314A (en) Automatic answering method, dialog analyzing method, answer sentence generating method and their device and medium with their program recorded thereon
CN111522970A (en) Exercise recommendation method, exercise recommendation device, exercise recommendation equipment and storage medium
US20060190240A1 (en) Method and system for locating language expressions using context information
CN111711834B (en) Recorded broadcast interactive course generation method and device, storage medium and terminal
JP2009042968A (en) Information selection system, information selection method, and program for information selection
JP4558680B2 (en) Application document information creation device, explanation information extraction device, application document information creation method, explanation information extraction method
KR102287431B1 (en) Apparatus for recording meeting and meeting recording system
Galibert et al. Ritel: an open-domain, human-computer dialog system.
JP3234083B2 (en) Search device
WO2019003395A1 (en) Call center conversational content display system, method, and program
US20160300587A1 (en) Note-taking assistance system, information delivery device, terminal, note-taking assistance method, and computer-readable recording medium
US7353175B2 (en) Apparatus, method, and program for speech synthesis with capability of providing word meaning immediately upon request by a user
JP6962849B2 (en) Conference support device, conference support control method and program
JP5382965B2 (en) Application document information creation apparatus, application document information creation method, and program
JP2003108566A (en) Information retrieving method and information retrieving device using agent
Walter-Tscharf Multi-tenant Cloud SaaS Application for a meeting to task transition via deep learning models
JP2007293602A (en) System and method for retrieving image and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081118