JP2006030513A - Education support device and education information managing server - Google Patents
Education support device and education information managing server Download PDFInfo
- Publication number
- JP2006030513A JP2006030513A JP2004208232A JP2004208232A JP2006030513A JP 2006030513 A JP2006030513 A JP 2006030513A JP 2004208232 A JP2004208232 A JP 2004208232A JP 2004208232 A JP2004208232 A JP 2004208232A JP 2006030513 A JP2006030513 A JP 2006030513A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- teacher
- student
- dialogue
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、遠隔教育(eラーニング)等の教育分野において、受講者であるユーザの学習環境、特にユーザとシステム間の接面をユーザに適応した環境にカスタマイズすることによって教育効果を向上させるための技術を搭載した情報処理装置に関する。 The present invention improves the educational effect by customizing the learning environment of a user who is a student, particularly the interface between the user and the system, in an educational field such as distance learning (e-learning). The present invention relates to an information processing apparatus equipped with the above technology.
昨今はeラーニング事業が日本においても立ち上がり始めた。eラーニングには大きく分けて、非同期型のeラーニングと同期型のeラーニングの2種類がある。 Recently, the e-learning business has started in Japan. There are two types of e-learning: asynchronous e-learning and synchronous e-learning.
非同期型eラーニングで普及している方式は、ASPなどを利用したWebベースのトレーニング方式で、ユーザが自分の学習したい時間に学習したい場所で教材を利用することができる方式である。ただ、コンテンツに関しては、受講者の解答結果に応じて異なるパスへ誘導するマルチパス方式ではあるが、webページの1ページの中では、受講者毎に適応したコンテンツではなく、汎用の情報がコンテンツとして提示されているのが現状である。 A popular method for asynchronous e-learning is a web-based training method using ASP or the like, in which a user can use teaching materials at a place where he / she wants to learn. However, with regard to content, it is a multi-pass method that leads to different paths according to the answer results of students, but general-purpose information is not content that is adapted to each student in one page of the web page. It is presented as
一方、同期型のeラーニングでは、ASPを利用したビデオチャット方式やISDN回線を利用した動画双方向通信方式で、互いに遠隔地にいる教師と受講者の間を結び、あたかも同じ教室で授業を行っているような状況で学習を行うことができる。 On the other hand, in synchronous e-learning, a video chat method using ASP and a two-way video communication method using an ISDN line connect teachers and students who are remote from each other, and conduct classes in the same classroom. Can learn in situations like
これらeラーニングにつて、以下のような提案がなされている。例えば、特許文献1には、トレーニングサーバーがユーザーに対して、仮想空間を利用してトレーニングの指導、支援を個別に行うトレーニング支援方法が開示されている。また、特許文献2には、利用者からの質問を受け付けるホストコンピュータの質問提示方法において、利用者に対して最適な質問文を提示し、利用者が複数提示されている質問文から自分が質問しようとしている内容に近い質問文を選択する方法が開示されている。
The following proposals have been made for these e-learning. For example,
しかしながら、同期型eラーニングでは、受講者の数に相当した教師が対応する必要があり、受講者が要求する時間に教師が対応できない場合も多く、またそれに伴って受講するための授業料が高額になっているのが現状である。 However, in synchronous e-learning, it is necessary for teachers to correspond to the number of students, and there are many cases where teachers are not able to respond to the time required by students, and the tuition fees for attendance are high accordingly. This is the current situation.
本発明の目的は、利用者である受講者が実際の教師と対話しているような擬似的環境を生成することで、個別の受講者に適応したコンテンツを有する教育支援装置及び教育情報管理サーバを提供することにある。 An object of the present invention is to generate a pseudo-environment in which a student student is interacting with an actual teacher, thereby providing an education support apparatus and an education information management server having contents adapted to individual students Is to provide.
本発明の他の目的は、利用者である受講者が普段リアルに行っている対話状況をアニメーションキャラクタに投影し、教師への親しみを持たせることにより、学習効率の向上が見込める教育支援装置及び教育情報管理サーバを提供することにある。 Another object of the present invention is to provide an education support apparatus that can improve learning efficiency by projecting a conversation situation that a student who is a user normally conducts to an animation character and having friendliness to a teacher, and To provide an educational information management server.
上述の課題を解決するために本願において開示される発明のうち代表的なものの概要を簡単に説明すれば以下の通りである。 In order to solve the above-described problems, the outline of typical ones of the inventions disclosed in the present application will be briefly described as follows.
教育情報管理サーバは、受講者がネットワークを介して接続された端末を利用して教師または該教師に相当するデジタルインストラクタと対話学習するのを支援するための教育情報管理サーバであって、前記受講者と前記教師との対話学習における対話パターンのデータを時系列に登録する記憶手段と、前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声により該教師に相当するデジタルインストラクタとして生成するためのユニークデジタルインストラクタ生成機能とを備えている。 The educational information management server is an educational information management server for assisting a student to perform interactive learning with a teacher or a digital instructor corresponding to the teacher using a terminal connected via a network, Storage means for registering dialogue pattern data in dialogue learning between the teacher and the teacher in time series, a dialogue pattern extraction function for extracting a characteristic dialogue pattern from the dialogue pattern, and a specific identification of the student A unique digital instructor generating function for generating a specific dialog pattern of the teacher for the dialog pattern as a digital instructor corresponding to the teacher by an animation character and synthesized speech;
本発明によれば、例えば利用者である受講者が、出力されるアニメーションキャラクタの動作情報、音声情報により、リアルな教師との対話環境を保ちながら学習を行うことができ、受講者の学習効果の向上を見込むことができる。 According to the present invention, for example, a student who is a user can perform learning while maintaining a conversational environment with a real teacher based on the motion information and audio information of the output animation character. Improvement can be expected.
以下、本発明の教育支援装置の一実施形態について図面を参照しながら説明する。実施 Hereinafter, an embodiment of an education support apparatus according to the present invention will be described with reference to the drawings. Implementation
形態の一例として示すシステムは、主に教育情報を取り扱うシステムであり、ユーザである受講者が学習コンテンツを利用して学習を行なうシステムである。 The system shown as an example of the form is a system that mainly handles educational information, and is a system in which a student who is a user learns using learning content.
まず、図1を用いて、本発明の実施の形態を説明する。図1Aは、本発明の教育支援装置の全体的なハード構成を示す図であり、図1Bは、本発明の教育支援装置を処理機能の観点で示したものである。101は、学習関連情報を蓄積し、かつ蓄積された情報を分析するための教育情報管理サーバである。102は教師が複数の受講者に対してリアルタイムで講義を行ったり、また受講者と対話式で授業を行ったりするために利用する教師用の端末としてのPC、103は学習を行う受講者用の端末としてのPCである。104は映像情報蓄積用サーバである。各サーバ及びPCは通信制御機能を有しており、通信ネットワーク105を介して相互に接続可能に構成されている。
First, an embodiment of the present invention will be described with reference to FIG. FIG. 1A is a diagram showing the overall hardware configuration of the education support apparatus of the present invention, and FIG. 1B shows the education support apparatus of the present invention from the viewpoint of processing functions.
教師用PC102には、受講者とのコミュニケーションを行なうためのスピーカ10201、教師の様子を撮像するカメラ10202、教師が音声を入力するためのマイク10203、また情報入力用としてキーボード、マウスが搭載されている。受講者用PC103には、受講者が教師とコミュニケーションするためのマイク10301、及びカメラ10302、教師からの音声等を獲得するためのスピーカ10303、また情報入力用としてキーボード、マウスが搭載されている。説明を簡単にするために一台の教育情報管理サーバに対して、一台の教師用PCが接続される例を示しているが、実際には、複数台の教師用PCを接続し得るものとする。また、本例では受講者用PCをサーバに対して一台接続している例を示すが、教師用PCに対して受講者用PCを複数台接続し得ることは言うまでも無い。なお、各サーバやPCは、コンピュータで構成されており、CPUやメモリおよび入出力装置を備え、メモリにロードされて実行されることによりコンピュータに各種の機能を実現させる複数のプログラムを保持している。
The teacher PC 102 is equipped with a
図1Bに示すように、教育情報管理サーバ101は、主な機能として、教師と受講者の対話コミュニケーション機能101A、テキスト表示編集機能101B、対話パターン抽出機能101C、ユニークデジタルインストラクタ生成機能101D、教師(リアルインストラクタ)による学習支援機能101E、デジタルインストラクタによる学習支援機能101Fおよび学習スケジュール管理機能101Gを有している。換言すると、これらの各機能が教育情報管理サーバ101のCPUやメモリ及びプログラムで構成される制御部において実行、処理される。
As shown in FIG. 1B, the education
教師と受講者の対話コミュニケーション機能101Aは、受講者と教師との対話学習における対話パターンのデータを時系列に記憶手段に登録する機能を有する。対話パターン抽出機能101Cは、登録された前記対話パターンの中から、特徴的な対話パターンを抽出する機能を有している。より具体的には、学習時における教師及び受講者の動画像及び音声を解析して動作パタン抽出及び発声パタン抽出を行う機能と、抽出された動作パタンと発声パタンの少なくとも2セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い教師及び受講者から別途取得される音声や動画像と抽出された動作パタンや発声パタンとの類似度を判定する機能と、この類似度が所定値以上の場合に対話パターンとして登録する機能とを有する。 The dialogue communication function 101A between the teacher and the student has a function of registering dialogue pattern data in the learning means in the time series in the dialogue learning between the student and the teacher. The dialogue pattern extraction function 101C has a function of extracting a characteristic dialogue pattern from the registered dialogue patterns. More specifically, a function for performing motion pattern extraction and utterance pattern extraction by analyzing moving images and sounds of teachers and students at the time of learning, and at least two sets of extracted motion patterns and utterance patterns, respectively A dialogue pattern is extracted in association with the voice and moving image separately acquired from the teacher and the student, and a function for determining the similarity between the extracted motion pattern and utterance pattern, and the similarity is a predetermined value or more. And a function of registering as a dialogue pattern.
ユニークデジタルインストラクタ生成機能101Dは、受講者の特定の対話パターンに対する教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声によりこの教師に相当するデジタルインストラクタとして生成する機能を有する。 The unique digital instructor generating function 101D has a function of generating a teacher's specific dialog pattern for a student's specific dialog pattern as a digital instructor corresponding to this teacher using animation characters and synthesized speech.
また、教師用PC102は、主な機能として、教師と受講者の対話コミュニケーション機能102A、テキスト表示編集機能102B、ユニークデジタルインストラクタ生成機能102D、リアルインストラクタによる学習支援機能102E、デジタルインストラクタによる学習支援機能102Fおよび学習スケジュール管理機能102Gを有している。
Further, the teacher PC 102 has, as main functions, a
さらに、受講者用PC103は、主な機能として、教師と受講者の対話コミュニケーション機能103A、テキスト表示編集機能103B、リアルインストラクタによる学習支援機能103Eおよびデジタルインストラクタによる学習支援機能103Fを有している。映像情報蓄積用サーバ104は、映像/音声蓄積機能104Hを有している。
Furthermore, the student PC 103 has, as main functions, an
このように本発明の教育支援装置は、全体的な構成として、対話している一組の利用者を撮像した動画像を取得する入力部と、該端末において対話している前記一組の利用者の音声を取得する入力部と、上記入力部から得られる動画像や音声の入力時刻を記録する入力時刻検出部と、アニメーションキャラクタを表示する画像出力部と、アニメーションキャラクタと同期して音声を出力する音声出力部と、制御部とを有している。そして、前記制御部は、前記動画像を解析して前記一組の利用者の動作パタン抽出を行い、前記音声を解析して前記利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも2セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、前記利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された一方の利用者の対話パタンに対する相手利用者の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者の発声パタンを音声出力する。 As described above, the education support apparatus according to the present invention has, as an overall configuration, an input unit that acquires a moving image obtained by capturing a set of interacting users and the set of uses interacting at the terminal. An input unit that obtains the voice of the person, an input time detection unit that records the input time of the moving image and sound obtained from the input unit, an image output unit that displays the animation character, and a voice that is synchronized with the animation character. An audio output unit for outputting and a control unit are included. The control unit analyzes the moving image to extract the motion pattern of the set of users, analyzes the voice to extract the utterance pattern of the user, and extracts the extracted motion pattern and utterance. Dialog patterns are extracted in association with time series for at least two sets of patterns, and the degree of similarity between the action pattern and the utterance pattern extracted from the same user as the voice or moving image separately obtained from the user is determined. If the degree of similarity is high, the other user's action pattern for the extracted one user's dialog pattern is output as a moving image by the animation character, and the other person's utterance pattern of the extracted dialog pattern is simultaneously spoken. Output.
本発明によれば、例えば利用者である受講者が、出力されるアニメーションキャラクタの動作情報、音声情報により、リアルな教師との対話環境を保ちながら学習を行うことができ、受講者の学習効果の向上を見込むことができる。また、アニメーションキャラクタを該動作パタンに基いて制御し、パタンとして記述された動作を行うことができるようになり、さらには発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。また、対話パタンデータセット中の動作パタンを、対象となるアニメーションキャラクタの動作として画面表示し、さらに該対話パタンデータセット中の音声パタンを、対象となるアニメーションキャラクタの音声として音声表示することによって、発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。 According to the present invention, for example, a student who is a user can perform learning while maintaining a conversational environment with a real teacher based on the motion information and audio information of the output animation character. Improvement can be expected. In addition, the animation character can be controlled based on the action pattern, and the action described as the pattern can be performed. Furthermore, the synthesized voice can be output as the voice of the character based on the utterance pattern. become. Also, by displaying the motion pattern in the dialogue pattern data set on the screen as the motion of the target animation character, and further displaying the voice pattern in the dialogue pattern data set as voice of the target animation character by voice display, Based on the utterance pattern, a synthesized voice can be output as the voice of the character.
次に、図2を参照しながら教育情報管理サーバ101の構成に関して説明する。1011は起動されたプログラムに応じて処理を行なうCPU、1012は起動したプログラム等を格納するメモリ、1013はメモリデータ等を記憶するハードディスクである。アクセスするデータは、必要に応じてメモリ1012上に読み込まれ、CPU1011によって基づく教育支援のためのデータ処理がなされる。ハードディスク1013には、蓄積した映像データから動作情報を抽出するための動作パタンデータ101301、蓄積された音声データから言語情報を認識するための音声認識用辞書101302、蓄積された映像データから動作パタンを抽出するための映像パタン認識用データ101303、受講者が授業で利用する受講者用テキストデータ101304、さらに101304に記述されている問題に対する正解データである問題正解データ101305が格納されている。
Next, the configuration of the education
また、メモリ1012には、サーバが起動されることにより、システム全体を制御するシステムプログラム101201をはじめとして、データ送受信プログラム101202、音声認識プログラム101203、映像認識プログラム101204、コミュニケーションパタン抽出プログラム101205、キャラクタ生成プログラム101206、音声合成プログラム101207、キャラクタ−ユーザ対話制御プログラム101208が格納される。メモリ1012には、さらに、各教師及び受講者に対応するユーザデータテーブル700が格納されている。ユーザデータテーブル700は、例えば、図6に示すように、データ区分701としてのイベントデータ、音声データ、映像データ毎に、時系列(702)に、かつ、各ユーザーごとに格納される。なお、ユーザデータテーブル700は一時的なデータの格納に使用されるものであって、処理の都合などでこれらのデータを長時間保持しておく必要のある場合には、一旦これらのデータをハードディスクの所定の領域に格納する。
In addition, the memory 1012 includes a
次に、図3を用いて教師用PC102の詳細について説明する。教師用PC102のメモリ1021には、本PCを制御するシステムプログラム102101、データ送受信プログラム102102がある。また、教師がキーボードやマウスから入力した情報を収集・格納するユーザ入力情報収集・格納プログラム102103、カメラが取得した映像を格納する映像入力・格納プログラム102104、マイクによって音声を取得し、さらに格納する音声入力・格納プログラム102105、及び受講者sの対話を行うためのコミュニケーションプログラム102107がメモリに読み込まれる。メモリに読み込まれたこれらの情報は、教師と受講者の対話コミュニケーション機能に利用されると共に、対話パターン抽出機能およびユニークデジタルインストラクタ生成機能に利用される。
Next, details of the
教師用PC102のディスプレイには、教師と受講者の対話コミュニケーション機能102Aによりテキストの内容と共に受講者の映像が表示され、さらに、学習スケジュール管理機能102Gにより、各受講者の学習履歴が表示される。すなわち、図8に示すように、教師用画面500には、画面左側に受講者映像表示箇所501と、学習履歴表示箇所502、画面右側にテキスト表示箇所503、ONボタン504、およびOFFボタン505の表示領域がある。また受講者の音声が出力される。教師は、リアルインストラクタによる学習支援機能102Eにより、受講者との対話形式の学習指導を行う。さらに、学習スケジュール管理機能102Gにより、各受講者の学習履歴を知りあるいは学習計画を立てることができる。
On the display of the
また、図4に示すように、受講者用PC103には、メモリ1031上にシステムプログラム103101、データ送受信プログラム103103がある。また、受講者がキーボードやマウスから入力した情報を収集・格納するユーザ入力情報収集・格納プログラム103102、カメラが取得した映像を格納する映像入力・格納プログラム103104、マイクによって音声を取得し、さらに格納する音声入力・格納プログラム103105、そして受講者が授業を受けるための受講用テキスト表示・編集プログラム103106及び受講者の対話を行うためのコミュニケーションプログラム103107がメモリに読み込まれる。コミュニケーションプログラム103107の構造の一例を図7に示す。コミュニケーションプログラムは、リアルインストラクタ受講者コミュニケーションプログラム1031071と、デジタルインストラクタ受講者コミュニケーションプログラム1031072とで構成されている。
As shown in FIG. 4, the
受講者用PC103のディスプレイには、テキストの内容と共に教師またはデジタルインストラクタの映像が表示され、さらに、教師の音声や受講者に説明するために教師が入力したデータも表示される。すなわち、図9に示すように、受講者用画面600には、画面左側に教師映像表示箇所601と、教師入力データ表示箇所602、画面右側にテキスト表示箇所603、ONボタン604、およびOFFボタン605の表示領域がある。
On the display of the student's
さらに、図5に示すように、映像情報蓄積用サーバ104には、メモリ1042上にシステムプログラム104201と映像/音声蓄積プログラム104202が読み込まれる。またハードディスク1043には撮影された映像データ104301や音声/音響データ104302が蓄積される。
Further, as shown in FIG. 5, the
教師や受講者の音声や受講者に説明するために教師が入力したデータ等の情報は、教育情報管理サーバ101の対話パターン抽出機能101Cおよびユニークデジタルインストラクタ生成機能101Dに利用される。
Information such as the voice of the teacher and students and the data input by the teacher for explaining to the students is used for the dialogue pattern extraction function 101C and the unique digital instructor generation function 101D of the education
なお、上記各サーバーやPCの各機能、例えば対話コミュニケーション機能101A、102A及び、103Aは、いずれも同じ機能であり、各サーバーやPC上で動作するものとして便宜的に別々の符号を付している。以下、特に区別する必要が無いときは、教育情報管理サーバ101に対応する機能で説明する。
Note that the functions of the servers and PCs, for example, the interactive communication functions 101A, 102A, and 103A, are all the same functions, and are given different symbols for the sake of convenience on the servers and PCs. Yes. Hereinafter, when there is no need to distinguish between them, the function corresponding to the education
受講者用PC103は、教師による学習支援とデジタルインストラクタによる学習支援とに対応しており、後で述べるように、教師による学習の際には受講者用PC103のディスプレイに、教師と受講者の対話コミュニケーション機能101Aによりテキストの内容と共に教師の映像が表示され、またテキスト表示編集機能101Bにより教師の音声が出力される。一方、デジタルインストラクタによる学習支援の際には受講者用PC103のディスプレイにテキストの内容と共にデジタルインストラクタの画像が表示され、また教師の合成音声が出力される。なお、予め用意された当初のデジタルインストラクタ(以下、オリジナルデジタルインストラクタ)は、受講者間で差が無いが、レッスンの進行と共に受講者固有のユニークなインストラクタとなって行く。よって、このようにして生成されたデジタルインストラクタを、以下ユニークデジタルインストラクタと呼ぶことにする。
The
次に、本システムにおける学習支援の処理を記述する。まず始めに、リアルインストラクタによる学習支援機能の処理について説明する。リアルインストラクタによる学習支援では、教師と受講者が遠隔地どうしで、各々のPCを用いて対話を行いながら所定のテキストに沿って学習を進める。 Next, the learning support processing in this system will be described. First, the learning support function processing by the real instructor will be described. In the learning support by the real instructor, the teacher and the learner advance the learning along a predetermined text while performing a dialogue using each PC between remote places.
受講者用PC103は、教師による学習支援とデジタルインストラクタによる学習支援とに対応している。リアルインストラクタによる学習支援の際に、この学習支援と並行して、特徴的な対話パターンを教育情報管理サーバ101の対話パターン抽出機能101Cで抽出し、ユニークデジタルインストラクタ生成機能101Dにより、ユニークデジタルインストラクタを生成する。このユニークデジタルインストラクタを用いて、デジタルインストラクタによる学習支援機能101Eが生成される。
The
まず、教師用PC102ではPC起動後にコミュニケーションプログラム102107が起動され、例えば、図8に示すような教師用画面500が表示される。また、受講者用PC103では、PC起動後にコミュニケーションプログラム103107が起動され、例えば図9に示すような受講者用画面600が表示される。
First, on the
リアルインストラクタによる学習支援にあたっては、教師用PC画面500のONボタン504を押すと、データ送受信プログラムによってコミュニケーションを要求してきた受講者とコミュニケーションモードに入ることができる。ここで受講者用PC103において画面600のONボタン604を押すと、データ送受信プログラムにより、教師用PC102と対話が可能なコミュニケーションモードに入り、受講者は教師映像表示箇所601に表示されている教師の画像やテキスト表示個所603に表示されている受講者用テキストデータ、教師入力データ表示箇所602に表示されているデータを閲覧しながら、教師と学習を行うことになる。
In the learning support by the real instructor, when the
次に、図10により、教師による学習支援の際の各種データ(イベントデータ、音声データ、映像データ)を記録保持する処理について説明する。 Next, a process for recording and holding various data (event data, audio data, video data) at the time of learning support by the teacher will be described with reference to FIG.
ここでは、教師と受講者間の対話データの蓄積方法について説明する。まず始めに、教育情報管理サーバ101、教師用PC102、受講者用PC103を起動する(S1001、S1002)。この時点で教師用PCに搭載されている各プログラムが起動される。教育情報管理サーバ101から各PCへ教育情報が送信される(S1003)。また、各PCのコミュニケーションプログラムが起動され(S1003)、各PCの画面に教育情報がテキストとして表示される(S1004)。ここで、カメラにより教師の映像データを撮像し、同データは、ユーザ入力情報収集・格納プログラムによって教育情報管理サーバに送信される(S1007)。同時に、教師用PCに接続されているマイクにより教師の音声データが入力されると、同データはユーザ入力情報収集・格納プログラムによって教育情報管理サーバ101に送信される。
Here, a method for accumulating dialogue data between a teacher and a student will be described. First, the educational
音声データは、音声入力・格納プログラムによりA/D変換されて、教育情報管理サーバに送信される。映像データについては、同カメラで取り込まれる時にA/D変換され、データ送受信プログラムによって教育情報管理サーバに送信される。また、教師や受講者がキーボードやマウスから入力したデータもイベントコード情報としてサーバに送信される。さらに各データの入力時刻、入力終了時刻のデータもサーバに送信される。サーバに送信された各データは、ユーザデータテーブル700に格納される(S1008〜S1014)。 The voice data is A / D converted by a voice input / storage program and transmitted to the education information management server. The video data is A / D converted when captured by the camera and transmitted to the educational information management server by the data transmission / reception program. Data input from the keyboard or mouse by the teacher or students is also transmitted to the server as event code information. Further, the data of the input time and input end time of each data is also transmitted to the server. Each data transmitted to the server is stored in the user data table 700 (S1008 to S1014).
これらのイベントデータは、例えば、図6に示すように、キーイベント、マウス入力イベント等の各イベント毎に時系列にユーザデータテーブル700に格納され、音声データは、音声が入力された音声立ち上がり時刻から音声入力が終了した音声立下り時刻までを音声データ入力時間帯としてユーザデータテーブルに格納される。映像データは、常時入力状態となっているため、カメラが起動されてから撮影終了までを入力時間帯としてユーザデータテーブル700に格納する。教師がコミュニケーションモードを終了する場合にも画面右側のOFFボタン505を押す。
For example, as shown in FIG. 6, these event data are stored in the user data table 700 in time series for each event such as a key event and a mouse input event, and the voice data is the voice rise time when the voice is input. Until the voice falling time when voice input is completed is stored in the user data table as a voice data input time zone. Since the video data is always in an input state, the video data is stored in the user data table 700 as an input time zone from when the camera is activated until the end of shooting. Even when the teacher ends the communication mode, the
受講者用PC103では、コミュニケーションモードにある場合、接続されているマイクより受講者の音声データを記録し、同時にカメラにより受講者の映像データをユーザ入力情報収集・格納プログラムによって記録する(S1007)。また同時に、受講者用テキスト表示・編集プログラムも起動し、受講者が表示されているテキストに対して、例えばキーボードやマウスといった入力デバイスを用いて情報入力すると、入力された情報に応じてテキストが編集される。受講者の音声データや映像データも教師の音声データや映像データと同様に、音声データはサーバに送信された段階で音声入力プログラムによりA/D変換され、映像データはカメラに入力された際にA/D変換され、データ送受信プログラムによってサーバに送信される(S1009、S1013)。また、教師や受講者がキーボードやマウスから入力したデータもコード情報としてサーバに送信され、さらに各データの入力時刻、入力終了時刻のデータもサーバに送信される。
When in the communication mode, the
送信された各データは、教師の場合と同様に、図6に示すようなイベントデータ、音声データ、映像データ毎に、サーバ101のメモリ領域であるユーザデータテーブル700に時系列に格納される(S1010、S1011)。
Each transmitted data is stored in time series in the user data table 700 which is a memory area of the
受講者がコミュニケーションモードを終了するときには、画面右側のOFFボタン605を押す。
When the student ends the communication mode, the user presses the
教師用PC102及び受講者用PC103でOFFボタンが押された場合、教育情報管理サーバ101は、リアルインストラクタによる学習支援が終了したものとして、受講者の学習履歴を更新した後(S1017)、一連の処理を終了する。
When the OFF button is pressed on the
一方、リアルインストラクタによる学習支援の間に、ユーザデータテーブル700に格納された映像データは、撮像時刻を付加した映像フレームデータとしてフレームデータ格納領域に格納される。さらに音声・音響データも音声立ち上がり時刻及び立ち下がり時刻を付加したデータとして音声・音響データ格納領域に格納される。 On the other hand, during the learning support by the real instructor, the video data stored in the user data table 700 is stored in the frame data storage area as video frame data to which the imaging time is added. Furthermore, the voice / sound data is also stored in the voice / sound data storage area as data to which the voice rise time and fall time are added.
次に、図11〜図14により、教師による学習支援の際に取得された上記各種データから、対話パターン抽出機能101Cにより、教師による学習支援の際の特徴的な対話パターンを抽出する処理について説明する。 Next, with reference to FIGS. 11 to 14, a description will be given of a process of extracting a characteristic dialogue pattern at the time of learning support by the teacher by the dialogue pattern extraction function 101C from the various data acquired at the time of learning support by the teacher. To do.
図11で、データの認識処理について説明する。この認識処理を行うために、まず、ハードディスクからユーザデータテーブル700へ必要なデータを読み出す(S1101)。同時に、教育情報管理サーバ101上の音声認識プログラム101203、映像認識プログラム101205を起動する(S1102、1103)。
The data recognition process will be described with reference to FIG. In order to perform this recognition processing, first, necessary data is read from the hard disk to the user data table 700 (S1101). At the same time, the
次に、音声認識プログラム101203及び音声認識用辞書101302によって、格納されている音声・音響データをテキストデータに変換する(S1104)。
Next, the stored voice / acoustic data is converted into text data by the
次に、変換されたテキストデータに対応している音声箇所の立ち上がり時刻と立ち下がり時刻をテキストデータに付加し、タイムスタンプ付きテキストデータとして、例えばSpeech[ m ][ n ] (m = 音声パタン数、n=0:音声立ち上がり時刻、n=1:音声立ち下がり時刻、n=2:認識されたテキストデータ)の配列形式で格納する。 Next, the rise time and fall time of the voice part corresponding to the converted text data are added to the text data, and for example, Speech [m] [n] (m = number of voice patterns) , N = 0: voice rise time, n = 1: voice fall time, n = 2: recognized text data).
次に、映像認識プログラム及び映像パタン認識用データにより、撮像された映像データ全てから静止時間帯を検出する。次に静止時間帯に挟まれた映像箇所を動作パタンとして切り出し、動作パタンデータとして例えばMove[ i ][ j ]( i = 動作パタン数、j=フレーム数)の配列データとしてメモリ領域に格納する。次に、各動作パタンデータの撮像時刻をタイムスタンプデータとして例えばMove_t[ i ][ p ][ t ] (i = 動作パタン数、p=0:映像パタン起点時刻、p = 1:映像パタン終点時刻)のような配列データとして格納する。 Next, the still time zone is detected from all the captured video data by the video recognition program and the video pattern recognition data. Next, the video portion sandwiched between the still time periods is cut out as an operation pattern, and stored as operation pattern data, for example, in the memory area as array data of Move [i] [j] (i = number of operation patterns, j = number of frames) . Next, for example, Move_t [i] [p] [t] (i = number of motion patterns, p = 0: video pattern start time, p = 1: video pattern end time) ) As array data.
さらに、抽出された動作パタンどうしで類似しているパタンを検出する。類似しているパタンが検出された場合には、例えば、Move_a[ v ][ w ](v = 類似パタン数、w = 類似パタンである動作パタン番号(i))といった配列形式で格納される(S1105)。 Furthermore, a pattern similar between the extracted motion patterns is detected. When a similar pattern is detected, for example, it is stored in an array format such as Move_a [v] [w] (v = number of similar patterns, w = action pattern number (i) with similar patterns) ( S1105).
さらに、教師の音声パタンデータと映像パタンデータについては、映像パタンが出現した時間帯と同時間帯に音声パタンが出現している場合には、ユーザメディア間関連情報として、例えばM_S_A[ s ][ q ](s = 関連情報数、q = 1:音声パタン番号、q = 2:映像パタン番号)のような配列形式に格納される(S1106〜S1108)。 Further, regarding the voice pattern data and video pattern data of the teacher, when the voice pattern appears in the same time zone as the time when the video pattern appeared, as the related information between user media, for example, M_S_A [s] [ q] (s = number of related information, q = 1: audio pattern number, q = 2: video pattern number) (S1106 to S1108).
例えば、図14の静止時間帯に挟まれた時間T1〜T2における受講者の動作パタンデータ(1)、静止時間帯に挟まれた時間T3〜T4における教師の動作パタンデータ(1)及び時間T5〜T6における教師の動作パタンデータ(2)が、それぞれ類似している動作パタンとして以前にも現れているものであるとき、類似パタンである動作パタンとして抽出、格納される。また、映像パタンが出現した時間T1〜T2、時間T3〜T4、及び時間T5〜T6にそれぞれ類似している音声パタンが出現している場合には、それぞれユーザメディア間関連情報として記録される。 For example, the student's motion pattern data (1) in the time T1 to T2 sandwiched between the stationary time zones in FIG. 14, the teacher's motion pattern data (1) and the time T5 in the time T3 to T4 sandwiched between the stationary time zones. When the motion pattern data (2) of the teacher in .about.T6 has previously appeared as similar motion patterns, they are extracted and stored as motion patterns that are similar patterns. In addition, when audio patterns similar to the time T1 to T2, the time T3 to T4, and the time T5 to T6 that appear, respectively, are recorded as the related information between user media.
次に、図12において、パターン抽出の処理を説明する。この処理を行うために、コミュニケーションパタン抽出プログラム101205を起動する(S1201)。ここでは上記音声認識プログラム、映像認識プログラムによって認識された音声データ及び映像データ、及びユーザデータテーブル700に格納されているユーザのイベントデータを用いて教師と受講者の対話パタンを抽出するものとする。
Next, the pattern extraction process will be described with reference to FIG. In order to perform this process, the communication
まず、音声データ間でのコミュニケーションパタンを抽出する。教師から得られたSpeech配列データと受講者から得られたSpeech配列データに関し、両者の発声時間帯を時系列にマッピングする。例えば、教師から得られたSpeech配列データを、T_Speech[ m_t ][ n_t ]とし、受講者から得られたSpeech配列データをS_Speech[ m_s ][ n_s ]とすると、T_Speech[ m_t ][ 1 ] とS_Speech[ m_s ][ 1 ]の時刻を比較し、出現時刻が早いパタンデータから時系列にマッピングする。例えば、Speech_t_a[ s_1 ][ s_2 ][ s_3 ](s_1=総音声パタン数、s_2=0(教師による音声)、s_2=1(受講者による音声)、 s_3=0(開始時刻)、s_3=1(終了時刻))といった配列形式で格納する。 First, communication patterns between voice data are extracted. For the speech sequence data obtained from the teacher and the speech sequence data obtained from the students, the utterance time zones of both are mapped in time series. For example, if the Speech sequence data obtained from the teacher is T_Speech [m_t] [n_t] and the Speech sequence data obtained from the student is S_Speech [m_s] [n_s], T_Speech [m_t] [1] and S_Speech [m_s] The time of [1] is compared, and the pattern data with the earlier appearance time is mapped in time series. For example, Speech_t_a [s_1] [s_2] [s_3] (s_1 = total number of voice patterns, s_2 = 0 (teacher voice), s_2 = 1 (student voice), s_3 = 0 (start time), s_3 = 1 (End time)).
さらに、例えば、受講者の音声パタンデータと隣接する教師の音声パタンデータの間の無音時間長を算出し、さらに算出された無音時間長を時系列に、例えば、Blank_t[ a ](a = ブランク数)といった配列形式で格納する。 Furthermore, for example, the silent time length between the voice pattern data of the student and the voice pattern data of the adjacent teacher is calculated, and the calculated silent time length is calculated in time series, for example, Blank_t [a] (a = blank Number)).
例えば、図14の2つの音声パタンデータ間の時間T2とT3の間は、無音時間すなわち受講者の発言したのに対して、次に教師が応答するまでの音声のブランクの期間である。 For example, a period between times T2 and T3 between the two voice pattern data in FIG. 14 is a silent period, that is, a voice blank period until the teacher responds to the next speech.
次に、映像データ間でのコミュニケーションパタンを抽出する(S1202)。 Next, a communication pattern between video data is extracted (S1202).
映像情報についても音声情報の場合と同様に、教師の動作パタンと受講者の動作パタンを時系列にマッピングする。例えば、Move_t_a[ a_1 ][ a_2 ][ a_3 ](a_1=総動作パタン数、a_2=0(教師による動作)、a_2=1(受講者による動作)、a_3=0(開始時刻)、a_3=1(終了時刻))といった配列形式で格納する(S1203)。 For video information, as in the case of audio information, a teacher's motion pattern and a student's motion pattern are mapped in time series. For example, Move_t_a [a_1] [a_2] [a_3] (a_1 = total number of motion patterns, a_2 = 0 (operation by teacher), a_2 = 2 (operation by student), a_3 = 0 (start time), a_3 = 1 (End time)) is stored in an array format (S1203).
次に、上記で行ったパタン抽出結果に基いてメディア内のコミュニケーション状況を抽出する。Speech_t_aに関し、隣接した音声パタンのs_2の値が異なっている場合で、音声パタンが同一であるものが、例えば、3回以上検出された場合には、同パタンを音声コミュニケーションパタンとみなして、C_S_P[ c_1 ][ c_2 ](c_1 = パタン数、c_2 = 0(教師音声パタン)、c_2 = 1(受講者音声パタン))といった配列形式で格納する。また、無音時間長については、Blank_t[ a ]について、Blank_tの両端に対応する音声パタンについてs_2の値が異なっている場合のみを抽出し、s_2が0から1の場合、s_2が1から0の場合に毎にブランクの平均値と最大値、最小値を算出する。それぞれ、例えば、B_0_1[b_1][b_2][b_3](b_1=0(s_2が0から1の場合)、b_1=1(s_2が1から0の場合)、b_2=0(平均値)、b_2=1(最大値)、b_2=2(最小値))といった配列形式で格納する(S1204)。 Next, the communication status in the media is extracted based on the pattern extraction result performed above. Regarding Speech_t_a, when the values of s_2 of adjacent voice patterns are different and the same voice pattern is detected, for example, three times or more, the same pattern is regarded as a voice communication pattern, and C_S_P [c_1] [c_2] (c_1 = number of patterns, c_2 = 0 (teacher voice pattern), c_2 = 1 (student voice pattern)). As for the silent time length, only blank_t [a] is extracted only when the value of s_2 is different for the voice patterns corresponding to both ends of Blank_t. When s_2 is 0 to 1, s_2 is 1 to 0 In each case, the average value, the maximum value, and the minimum value of the blank are calculated. For example, B_0_1 [b_1] [b_2] [b_3] (b_1 = 0 (when s_2 is 0 to 1), b_1 = 1 (when s_2 is 1 to 0), b_2 = 0 (average value), b_2 = 1 (maximum value), b_2 = 2 (minimum value)) (S1204).
次に、Move_t_aに関し、隣接した動作パタンのa_2の値が異なっている場合で、動作パタンが同一であるものが、例えば、3回以上検出された場合には、同パタンを動作コミュニケーションパタンとみなして、C_A_P[ c_1 ][ c_2 ](c_1 = パタン数、c_2 = 0(教師動作パタン)、c_2 = 1(受講者動作パタン))といった配列形式で格納する(S1205)。 Next, with respect to Move_t_a, when the values of a_2 of adjacent operation patterns are different and the same operation pattern is detected, for example, three or more times, the same pattern is regarded as an operation communication pattern. And stored in an array format such as C_A_P [c_1] [c_2] (c_1 = number of patterns, c_2 = 0 (teacher action pattern), c_2 = 1 (student action pattern)) (S1205).
次に、上記で行ったパタン抽出結果に基いてメディア間のコミュニケーション状況を抽出する(S1206)。メディア間の場合は、メディア内の場合と同様に、受講者の動作パタンと教師の音声パタンが隣接して出現している場合が、例えば3回以上あった場合には、これをメディア間コミュニケーションパタンとして、例えば、In_M_P[p_1 ][p_2 ](P_1=パタン数、P_2=メディア数、P_3=0(音声パタン)、P_3=1(動作パタン))といった配列形式で格納する(S1207)。 Next, the communication status between media is extracted based on the pattern extraction result performed above (S1206). In the case of between media, as in the case of the media, when the student's motion pattern and the teacher's voice pattern appear adjacent to each other, for example, when there are three or more times, this is communicated between the media. The pattern is stored in an array format such as In_M_P [p_1] [p_2] (P_1 = number of patterns, P_2 = number of media, P_3 = 0 (voice pattern), P_3 = 1 (operation pattern)) (S1207).
次に、図13で、ユニークデジタルインストラクタ用のキャラクタ生成について説明する。最初に、キャラクタ生成キャラクタ生成プログラム101206を起動する(S1301)。例えば、手話アニメーション生成システムプログラム等を用いてキャラクタによる動作生成を行う。ここでは上記で抽出された教師の動作パタンを読み出し(S1302)、同システムにおける動作特徴量とし、アニメーション基本動作データとして格納する(S1303)。例えば、動作パタンMove_t[ 0 ][ 1 ][ 1 ]に対して生成されるアニメーション基本動作データは、Anim[ 0 ][ 1 ][ 1 ][ a_4 ](a_4:動作ポイント数)として配列形式で記述され格納される。
Next, character generation for the unique digital instructor will be described with reference to FIG. First, the character generation
次に、上記アニメーション基本動作データを、オリジナルデジタルインストラクタ、又は、前回までに作成されたユニークデジタルインストラクタと対応付けるための編集を行い、新たなユニークデジタルインストラクタとして生成し、登録する(S1304)。 Next, the animation basic motion data is edited to be associated with the original digital instructor or the unique digital instructor created so far, and is generated and registered as a new unique digital instructor (S1304).
例えば、図14の時間T1〜T2における受講者の音声や動作のパタンデータ(1)の類似パタンの後に、時間が略T3〜T4のタイミングで、教師の音声や動作のパタンデータ(1)と(2)の類似パタンが時間が略T5〜T6のタイミングで現れるのが抽出、格納されている場合、受講者の音声や動作のパタンデータ(1)を抽出したら、教師の動作のパタンデータ(1)と(2)に類似するアニメーションを生成すると共に、教師の音声に対応する音声を合成する。 For example, after the similar pattern of the voice and action pattern data (1) of the student at time T1 to T2 in FIG. 14, the voice data and action pattern data (1) of the teacher at the timing of time T3 to T4. When the similar pattern of (2) appears and is stored at a timing of approximately T5 to T6, the voice data of the student and the pattern data (1) of the movement are extracted, and then the movement pattern data of the teacher ( An animation similar to 1) and (2) is generated, and a voice corresponding to the voice of the teacher is synthesized.
このように、動画像を解析して教師や受講者(利用者)の動作パタン抽出を行い、上記音声を解析して利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも2セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された対話パタンの相手利用者の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者の発声パタンを音声出力するようにする。 As described above, the motion image is analyzed to extract the motion pattern of the teacher or the student (user), the voice is analyzed to extract the utterance pattern of the user, and at least the extracted motion pattern and utterance pattern are extracted. Dialog patterns are extracted in association with each of the two sets in time series, and the similarity between the action pattern and the utterance pattern extracted from the same user as the voice or moving image acquired separately from the user is determined, and the similarity If it is high, the movement pattern of the other user of the extracted dialogue pattern is output as a moving image by the animation character, and the voice pattern of the other user of the extracted conversation pattern is output at the same time.
なお、ユニークデジタルインストラクタの生成は、教師のPCで行うことも出来る。 The unique digital instructor can also be generated on the teacher's PC.
キャラクタ生成キャラクタ生成プログラム101206に、テキスト、画像等を入力すると、既に選択されているアニメーションキャラクタに対し、選択された対話パタンに対応して、テキストを音声に変換し、テキストに対応する対話パタン中の動作パタンをアニメーションキャラクタによって表示する。さらに指示された位置や時刻或いは時間帯に画像を表示することによって、例えば教師が自分を模写したキャラクタで自分の講義コンテンツを作成する場合、教師自ら音声を録音する必要がなく、また1度作成したコンテンツに対して修正を加えることができるようになる。
When text, an image, or the like is input to the character generation
一例として、受講者の動作パタンデータ及び音声パタンデータ(1)が、「画面600上のテキスト表示個所をマウスで指しながら、「この意味がわかりません。」と質問する。」ものであり、これに応答する教師の動作のパタンデータ及び音声パタンデータ(1)と(2)が、「頭に手をやりながら、一定の間隔を置いて、「えーと、−−えーと」と繰り返すものである。」場合には、教師の動作のパタンに対応するアニメーションとして、例えば、図19Aに示すようなオリジナルデジタルインストラクタのアニメーションに加えて、図19Bに示すような特徴動作パタン対応のアニメーションを生成すると共に、ユーザメディア間関連情報としてこのアニメーションに連動する合成音声「えーと、−−えーと」を記録する。
As an example, the student's motion pattern data and voice pattern data (1) asks "I don't know this meaning" while pointing the text display location on the
このようにして生成されたデジタルインストラクタは、教師と各受講者との関係で生成されるので、同じ教師であっても受講者毎に異なったデジタルインストラクタとして生成し、レッスンが続く間成長を続ける。また、レッスンを繰り返すごとに、デジタルインストラクタが更新される。従って、予め用意されたオリジナルデジタルインストラクタは、受講者間で差が無いが、レッスンの進行と共に受講者固有のユニークデジタルインストラクタとなる。このようなユニークデジタルインストラクタは、受講者の個性を反映して生成されるので、受講者の関心をひきつけ、レッスンの効果を高めることができる。 The digital instructor generated in this way is generated by the relationship between the teacher and each student, so even for the same teacher, it is generated as a different digital instructor for each student and continues to grow while the lesson continues. . The digital instructor is updated each time the lesson is repeated. Therefore, the original digital instructor prepared in advance has no difference between the students, but becomes a unique digital instructor unique to the student as the lesson progresses. Such a unique digital instructor is generated by reflecting the individuality of the student, so that the interest of the student can be attracted and the effect of the lesson can be enhanced.
次に、図15で、上記の操作及び解析が終了した後に、受講者が、上記キャラクタ生成プログラムによって生成されたデジタルインストラクタを用いて学習する場合のフローについて説明する。まず受講者が受講者用PCを起動する(S1401)。次に受講者がコミュニケーションプログラムを起動する(S1402)と、受講者PC画面に、例えば、「ただいまの時間、デジタルインストラクタが起動されますが、よろしいでしょうか。」というテキスト表示と共にYes/Noボタンが表示される(S1403)。受講者がYesボタンを押すと、コミュニケーションプログラムのサブプログラムであるユーザ−デジタルインストラクタコミュニケーションプログラム及びキャラクタ−ユーザ対話制御プログラムが起動され(S1404)、受講者画面600が表示される。受講者画面には図19Aに示した画面の教師映像表示箇所610にキャラクタが表示される。ユーザが受講者用テキストに情報を入力しながら学習を行っているところを受講者用PCのカメラにて撮像する(S1405)。撮像されたデータは、サーバに送信され、上記方法と同様に動作パタンが抽出される。抽出された動作パタンをC_A_P[ c_1 ][ c_2 ]内で検索し(S1406)、同動作パタンが検出された場合には、同動作パタンと対応付けられている教師動作パタンを抽出する(S1407)。さらに同動作パタンに対応付けられているAnimデータを検索し、検索されたAnimデータを用いて画面上に表示されたキャラクタを動作させる。同時に、In_M_Pでも検索を行い、同一パタンが検出された場合には、対応する音声パタンのテキストを用い手音声合成プログラムによって音声合成データを生成し、受講者用PCのスピーカから出力する(S1408〜S1410)。
Next, referring to FIG. 15, a flow when the student learns using the digital instructor generated by the character generation program after the above operation and analysis are completed will be described. First, the student starts the student's PC (S1401). Next, when the student starts the communication program (S1402), for example, a Yes / No button is displayed on the student's PC screen with a text display such as “A digital instructor will be activated at the moment. It is displayed (S1403). When the student presses the Yes button, the user-digital instructor communication program and the character-user interaction control program, which are subprograms of the communication program, are activated (S1404), and the
また、受講者が音声を発声した場合には、上記の音声処理と同様に、音声パタンを検出し、検出された音声パタンをC_S_Pにおいて検索する。ここで同一の音声パタンであるテキストが検出された場合には、本パタンに対応付けられている教師音声パタンを抽出し、同音声パタンであるテキスト情報を音声合成プログラムにより音声合成データを生成し、受講者用PCのスピーカから出力する。同時にIn_M_Pでも検索を行い、同一パタンが検出された場合には、対応する動作パタンデータを用いAnimデータを検索し、受講者用PCに画面表示する。また音声出力のタイミングは、対応するB_0_1[b_1][b_2][b_3]の時間長によって設定する。 Further, when the student utters a voice, the voice pattern is detected and the detected voice pattern is searched in C_S_P, as in the above voice processing. If text having the same voice pattern is detected, the teacher voice pattern associated with this pattern is extracted, and voice information is generated from the text information that is the same voice pattern by a voice synthesis program. And output from the speaker of the student PC. At the same time, a search is also performed on In_M_P. If the same pattern is detected, Anim data is searched using the corresponding operation pattern data and displayed on the student PC. The audio output timing is set according to the time length of the corresponding B_0_1 [b_1] [b_2] [b_3].
図15の音声合成データを生成する処理(S1409)の詳細を、図16に示す。 FIG. 16 shows details of the process (S1409) for generating the speech synthesis data of FIG.
まず、In_M_Pでも検索を行い、同一パタンが検出された場合には、対応する音声パタンのテキストを用いて音声合成プログラムによって音声合成データを生成し、受講者用PCのスピーカから出力する(S1501)。次に、検出された音声パタンをC_S_Pにおいて検索する(S1502)。さらに、同一の音声パタンであるテキストが検出された場合には、本パタンに対応付けられている教師音声パタンを抽出し、同音声パタンであるテキスト情報を音声合成プログラムにより音声合成データを生成する(S1503)。そして、音声合成データを受講者用PCのスピーカから出力する(S1504)。 First, a search is also performed for In_M_P, and if the same pattern is detected, speech synthesis data is generated by a speech synthesis program using the text of the corresponding speech pattern and output from the speaker of the student PC (S1501). . Next, the detected voice pattern is searched in C_S_P (S1502). Further, when text having the same voice pattern is detected, a teacher voice pattern associated with this pattern is extracted, and voice information is generated from the text information having the same voice pattern by a voice synthesis program. (S1503). Then, the speech synthesis data is output from the speaker of the student PC (S1504).
また、音声合成データを生成する処理(S1410)の詳細を、図17に示す。まず、In_M_Pでも検索を行い、同一パタンが検出された場合には、対応する動作パタンデータを用いAnimデータを検索し、受講者用PCに画面表示する(S1506)。音声出力のタイミングは、対応するB_0_1[b_1][b_2][b_3]の時間長によって設定する(S1507)。 Details of the process of generating speech synthesis data (S1410) are shown in FIG. First, a search is also performed on In_M_P. If the same pattern is detected, Anim data is searched using the corresponding operation pattern data and displayed on the student's PC (S1506). The audio output timing is set according to the time length of the corresponding B_0_1 [b_1] [b_2] [b_3] (S1507).
例えば、図18において、受講者から入力される音声情報、映像情報を解析し、時間T11〜T12における受講者の動作や音声のパタンデータ(1)を抽出した場合、これに対応する対話パタンとして登録されている対話パタンデータから、時間T13〜T14における教師の動作や音声のパタンデータ(1)及び時間T15〜T16における教師の音声パタンデータ(2)、及び時間T2とT3の間のユーザメディア間関連情報を抽出する。そして、選択された対話パタンデータセット中の動作パタンを、対象となるアニメーションキャラクタの動作として受講者の画面600のキャラクタ表示個所610に表示し、さらに該対話パタンデータセット中の音声パタンを、対象となるアニメーションキャラクタの音声として受講者の端末から音声表示することによって、発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。
For example, in FIG. 18, when voice information and video information input from a student are analyzed and a student's action and voice pattern data (1) at time T11 to T12 are extracted, a dialogue pattern corresponding to this is extracted. From the registered dialogue pattern data, the operation of the teacher at time T13 to T14, the voice pattern data (1), the voice pattern data of teacher at time T15 to T16 (2), and the user media between times T2 and T3 Inter-related information is extracted. Then, the motion pattern in the selected dialogue pattern data set is displayed on the character display portion 610 of the student's
これにより、受講者は、リアルインストラクタによるレッスンに近い雰囲気で、レッスンに興味を持って臨むことが出来る。また、レッスン中に教師や受講者が無意識に繰り返す動作をアニメーションキャラクタに投影させることで、普段のレッスン中にリアルに行っている対話状況をデジタルインストラクタに反映し、教師への親しみを持たせ、受講者の学習意欲を長期間に亘って維持させることが期待できる。 As a result, the student can take an interest in the lesson in an atmosphere similar to a lesson by a real instructor. In addition, by projecting unconsciously repeated movements by teachers and students during lessons to animated characters, the conversation situation that is actually happening during regular lessons is reflected in the digital instructor, making the teacher more familiar, The student's willingness to learn can be expected to be maintained over a long period of time.
また、受講者とアニメーションキャラクタ間における時間的な対話パタンを比較することによって、受講者が実は望んでいる対話パタンを抽出し、リアルインストラクタのレッスンに反映させることもできる。 In addition, by comparing the temporal dialogue patterns between the student and the animated character, the dialogue pattern actually desired by the student can be extracted and reflected in the lesson of the real instructor.
なお、上記教師の動作のパタンデータ(2)の後に、教師が受講者の「画面602の教師データ表示個所602に答えを記入しながら説明する」パターン(3A)と、「それは後で調べて回答しますと応答する」パターン(3B)とがあったと仮定した場合、パターン(3A)については既に述べた方法により類似パターンを抽出して応答処理すればよい。一方、後者については、例えばサーバやPCに「Q&A」の機能を付設しておき、上記受講者の質問内容を教師用PCに送り、これに対して教師が空き時間を利用して「Q&A」を検索し、回答を作成して別途Eメール等で受講者用PCに送信したり、あるいは次回のリアルインストラクタとしてのレッスン時に直接回答するようにすればよい。 In addition, after the pattern data (2) of the teacher's operation, a pattern (3A) in which the teacher “explains while entering an answer in the teacher data display location 602 of the screen 602” of the student, If it is assumed that there is a pattern (3B) that responds when the user answers, the pattern (3A) may be subjected to response processing by extracting a similar pattern by the method described above. On the other hand, with regard to the latter, for example, a “Q & A” function is added to a server or PC, for example, and the contents of the above-mentioned student's questions are sent to the teacher's PC. May be created and sent to the student's PC by e-mail separately, or may be answered directly during the lesson as the next real instructor.
図20は、学習スケジュール管理機能で得られた、一人の教師が受け持つ複数の受講者イ、ロ、−−の、学習履歴の例を示す図である。最初のリアルインストラクタによるレッスンの直後は、各受講者が共通のオリジナルデジタルインストラクタを使用して学習する。レッスンが進むにつれて、各受講者に対応したユニークデジタルインストラクタが生成され、それによる学習がなされる。 FIG. 20 is a diagram illustrating an example of a learning history of a plurality of students A, B, and-that a teacher has, obtained by the learning schedule management function. Immediately after the first real instructor lesson, each student learns using the same original digital instructor. As the lesson progresses, a unique digital instructor corresponding to each student is generated and learning is performed.
このように、本発明によれば、動画像を解析して一組の利用者(受講者と教師)の動作パタン抽出を行い、上記音声を解析して利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも2セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された利用者(受講者)の対話パタンに対する相手利用者(教師)の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者(教師)の発声パタンを音声出力する。これにより、例えば利用者である受講者が、出力されるアニメーションキャラクタの動作情報、音声情報により、リアルな教師との対話環境を保ちながら学習を行うことができ、受講者の学習効果の向上を見込むことができる。 As described above, according to the present invention, motion patterns are analyzed to extract a motion pattern of a set of users (a student and a teacher), the voice is analyzed to extract a user's utterance pattern, and extracted. The dialogue pattern is extracted in association with each of the time series of at least two sets of the motion pattern and the utterance pattern, and the motion pattern and the utterance pattern extracted from the same user as the voice or moving image separately acquired from the user, If the similarity is high, the action pattern of the other user (teacher) with respect to the extracted user (student) dialog pattern is output as a moving image by the animation character, and the extracted dialog Outputs the utterance pattern of the pattern partner user (teacher). As a result, for example, a student who is a user can learn while maintaining a conversational environment with a real teacher by using the motion information and audio information of the animation characters that are output, thereby improving the learning effect of the student. I can expect.
本発明によれば、受講者と教師との間の時間的な対話パタンを抽出することができ、さらには、受講者とアニメーションキャラクタ間における時間的な対話パタンを比較することによって、受講者が実は望んでいる対話パタンを抽出することもできるようになる。 According to the present invention, the temporal dialogue pattern between the student and the teacher can be extracted, and further, by comparing the temporal dialogue pattern between the student and the animation character, In fact, it will be possible to extract the desired dialogue pattern.
また、動作パタンと該発話パタンを同期しているデータとして登録する、すなわちこれらをユーザメディア間関連情報として登録することによって、アニメーションキャラクタを該動作パタンに基いて制御し、パタンとして記述された動作を行うことができるようになり、さらには発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。 In addition, by registering the motion pattern and the utterance pattern as synchronized data, that is, by registering these as related information between user media, the animation character is controlled based on the motion pattern, and the motion described as the pattern Furthermore, based on the utterance pattern, a synthesized voice can be output as the voice of the character.
また、利用者から入力される音声情報、映像情報を解析し、解析された結果に対応する対話パタンを登録されている対話パタンデータから選択し、選択された対話パタンデータセット中の動作パタンを、対象となるアニメーションキャラクタの動作として画面表示し、さらに該対話パタンデータセット中の音声パタンを、対象となるアニメーションキャラクタの音声として音声表示することによって、発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。 Also, it analyzes the audio information and video information input from the user, selects the dialogue pattern corresponding to the analyzed result from the registered dialogue pattern data, and selects the operation pattern in the selected dialogue pattern data set. The screen is displayed as the action of the target animation character, and the voice pattern in the dialogue pattern data set is voice-displayed as the voice of the target animation character, so that the voice of the character is synthesized based on the utterance pattern. Audio can be output.
また、利用者間で対話が実施される度に登録され、登録時点で対話パタンが再抽出され、さらに対話パタンの類似度及び頻度を抽出することによって、例えば、教師と受講者間の変化していく過程に追随して、最近の両者における対話パタンを抽出したり、過去の対話パタンを再現したりすることができ、現状の学習状況に応じて利用する対話パタンを変動させることができるようになる。 In addition, it is registered every time a dialogue is performed between users, the dialogue pattern is re-extracted at the time of registration, and the similarity and frequency of the dialogue pattern are further extracted. It is possible to extract dialogue patterns in both of them recently and to reproduce past dialogue patterns, and to change the dialogue pattern to be used according to the current learning situation. become.
101…教育情報管理サーバ 、102…教師用PC 、103…受講者用PC、104…映像情報蓄積用サーバ、105…通信ネットワーク、10201…スピーカ、10202…カメラ、10203…マイク、101A…教師と受講者の対話コミュニケーション機能、101B…テキスト表示編集機能、101C…対話パターン抽出機能、101D…ユニークデジタルインストラクタ生成機能、101E…教師(リアルインストラクタ)による学習支援機能、101F…デジタルインストラクタによる学習支援機能、101G…学習スケジュール管理機能、1011…CPU、1012…メモリ、1013…ハードディスク、101301…動作パタンデータ、101302…音声認識用辞書、101303…映像パタン認識用データ、101304…受講者用テキストデータ、101305…問題正解データ、103107…コミュニケーションプログラム500…教師用画面、600…受講者用画面、610…キャラクタ表示個所、700…ユーザデータテーブル。
DESCRIPTION OF
Claims (12)
前記受講者と前記教師との対話学習における対話パターンのデータを時系列に登録する記憶手段と、
前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、
前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声により該教師に相当するデジタルインストラクタとして生成するためのユニークデジタルインストラクタ生成機能とを備えた、ことを特徴とする教育情報管理サーバ。 An educational information management server for assisting a student in dialog learning with a teacher or a digital instructor corresponding to the teacher using a terminal connected via a network,
Storage means for registering data of dialogue patterns in dialogue learning between the student and the teacher in time series,
A dialogue pattern extraction function for extracting a characteristic dialogue pattern from the dialogue patterns;
A unique digital instructor generating function for generating a specific dialog pattern of the teacher with respect to the specific dialog pattern of the student as a digital instructor corresponding to the teacher by an animation character and synthesized speech, Education information management server.
前記学習時における前記教師及び前記受講者の動画像及び音声を解析して動作パタン抽出及び発声パタン抽出を行う機能と、前記抽出された動作パタンと発声パタンの少なくとも2セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、前記教師及び前記受講者から別途取得される音声や動画像と前記抽出された動作パタンや発声パタンとの類似度を判定する機能と、該類似度が所定値以上の場合に、対話パターンとして登録する機能とを有する対話パターン抽出機能とを備えた、ことを特徴とする教育情報管理サーバ。 The dialog pattern extraction function according to claim 1,
Functions of extracting motion patterns and utterance patterns by analyzing moving images and voices of the teacher and the students at the time of learning, and at least two sets of the extracted motion patterns and utterance patterns respectively corresponding to time series A dialogue pattern is extracted, and a function for determining a similarity between the voice and moving image separately acquired from the teacher and the student and the extracted action pattern and utterance pattern, and the similarity is a predetermined value. An education information management server comprising a dialogue pattern extraction function having a function of registering as a dialogue pattern in the above case.
前記受講者の発話後に前記教師の発話が行なわれた場合に、前記教師の発話内容を前記受講者の発話内容に対話サブパタンとして対応付け、かつ前記受講者の発話から前記教師の発話までの無音時間長を前記サブパタン対話間時間データとして記録し、
前記ユニークデジタルインストラクタ生成機能において、
前記サブパタン対話間時間データに基いて、前記教師の受前記講者に対する対応を前記アニメーションキャラクタに行わせる、ことを特徴とする教育情報管理サーバ。 The dialog pattern extraction function according to claim 1,
When the teacher utters after the student's utterance, the utterance content of the teacher is associated with the utterance content of the student as a dialogue sub-pattern, and silence from the utterance of the student to the utterance of the teacher The time length is recorded as the time data between the sub-pattern dialogues,
In the unique digital instructor generation function,
An educational information management server, which causes the animation character to respond to the lecturer received by the teacher based on the time data between sub-pattern conversations.
前記受講者の動作データを記録し、前記受講者の動作後に前記教師の動作が行なわれた場合に、前記教師の動作内容を前記受講者の動作内容に対話動作サブパタンとして対応付け、かつ前記受講者の動作から前記教師の動作までの無動作時間長を前記サブパタンの対話動作間時間データとして記録する、ことを特徴とする教育情報管理サーバ。 The dialog pattern extraction function according to claim 1,
The operation data of the student is recorded, and when the operation of the teacher is performed after the operation of the student, the operation content of the teacher is associated with the operation content of the student as a dialogue operation sub-pattern, and A non-operation time length from a person's action to the teacher's action is recorded as the inter-pattern interaction action time data.
前記対話パタン中の動作パタンとして抽出されたデータと発話パタンとして抽出されたデータとの同期発生度を判定し、両データが同期していると判定された場合には、該動作パタンと該発話パタンを同期しているデータとして登録する、ことを特徴とする教育情報管理サーバ。 The dialog pattern extraction function according to claim 1,
The degree of synchronization between the data extracted as the action pattern in the dialog pattern and the data extracted as the utterance pattern is determined, and when it is determined that both data are synchronized, the action pattern and the utterance An education information management server characterized by registering patterns as synchronized data.
前記対話パターン抽出機能は、登録時点で対話パタンを再抽出し、該対話パタンの類似度及び頻度を抽出する、ことを特徴とする教育情報管理サーバ。 In Claim 1, the dialogue between the teacher and the student is registered in the storage means each time the dialogue is conducted between the two,
The dialogue information extraction server is characterized in that the dialogue pattern extraction function re-extracts a dialogue pattern at the time of registration and extracts the similarity and frequency of the dialogue pattern.
対話学習時における前記受講者の前記デジタルインストラクタに対する対話パターンのデータを取得する手段と、
前記対話パターンのデータから予め取得された特徴的対話パターンとの類似度を判定し、類似度が高ければ、該抽出された対話パタンの相手となる前記教師の動作パタンに相当するアニメーションキャラクタをデジタルインストラクタの動画像として表示画面に出力し、同時に抽出された前記対話パタンにおける前記教師の発声パタンを音声出力することを特徴とする教育支援用受講者端末。 A student terminal for assisting a student to conduct interactive learning with a teacher or a digital instructor corresponding to the teacher, the student terminal being connectable to an education information management server and a teacher terminal via a network Configured,
Means for acquiring dialogue pattern data for the digital instructor of the student during dialogue learning;
The degree of similarity with a characteristic dialogue pattern acquired in advance from the dialogue pattern data is determined. If the degree of similarity is high, an animation character corresponding to the action pattern of the teacher who is the counterpart of the extracted dialogue pattern is digitally converted. An educational support student terminal that outputs an instructor's moving image to a display screen and outputs the voice pattern of the teacher in the dialog pattern extracted at the same time.
入力される音声情報、映像情報を解析し、解析された結果に対応する対話パタンを予め登録されている対話パタンデータから選択し、
選択された対話パタンデータセット中の動作パタンを、前記デジタルインストラクタとなるアニメーションキャラクタの動作として画面に表示し、さらに該対話パタンデータセット中の音声パタンを対象となる前記アニメーションキャラクタの音声として音声表示することを特徴とする教育支援用受講者端末。 In the student terminal according to claim 8,
Analyzes input audio information and video information, selects a dialogue pattern corresponding to the analyzed result from dialogue pattern data registered in advance,
The action pattern in the selected dialogue pattern data set is displayed on the screen as the action of the animation character serving as the digital instructor, and further the voice display as the voice of the animation character targeted for the voice pattern in the dialog pattern data set A student terminal for educational support, characterized by
対話学習時における前記受講者の前記教師に対する対話パターンのデータを取得する手段と、
前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、
前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声により該教師に相当するデジタルインストラクタとして生成するためのユニークデジタルインストラクタ生成機能とを備えた、ことを特徴とする教師端末。 A teacher terminal for supporting a teacher to learn a conversation with a student, the teacher terminal being configured to be connectable to an education information management server and a student terminal via a network,
Means for acquiring dialogue pattern data for the teacher of the student during dialogue learning;
A dialogue pattern extraction function for extracting a characteristic dialogue pattern from the dialogue patterns;
A unique digital instructor generating function for generating a specific dialog pattern of the teacher with respect to the specific dialog pattern of the student as a digital instructor corresponding to the teacher by an animation character and synthesized speech, Teacher terminal.
該端末において対話している前記一組の利用者の音声を取得する入力部と、
上記入力部から得られる動画像や音声の入力時刻を記録する入力時刻検出部と、
アニメーションキャラクタを表示する画像出力部と、
アニメーションキャラクタと同期して音声を出力する音声出力部と、
制御部とを有し、
前記制御部は、前記動画像を解析して前記一組の利用者の動作パタン抽出を行い、前記音声を解析して前記利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも2セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、前記利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された一方の利用者の対話パタンに対する相手利用者の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者の発声パタンを音声出力する事を特徴とする教育支援装置。 An input unit that obtains a moving image obtained by capturing a set of interactive users;
An input unit for acquiring voices of the set of users who are interacting with the terminal;
An input time detection unit that records the input time of a moving image or sound obtained from the input unit;
An image output unit for displaying an animation character;
An audio output unit that outputs audio in synchronization with the animation character;
A control unit,
The control unit analyzes the moving image to extract the set of user's motion patterns, analyzes the voice to extract the user's utterance pattern, and extracts the extracted motion pattern and utterance pattern. Extracting a dialogue pattern in association with each of at least two sets in time series, and determining a similarity between an action pattern and a utterance pattern extracted from the same user as a voice or moving image separately obtained from the user, If the degree of similarity is high, the other user's action pattern for one extracted user's dialog pattern is output as a moving image by an animation character, and the other user's utterance pattern of the extracted dialog pattern is also output as voice. Education support equipment characterized by things.
前記受講者と前記教師との対話学習における対話パターンのデータを時系列に登録する記憶手段と、
前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、
前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、該教師に相当するアニメーションキャラクタ及び合成音声によりデジタルインストラクタ化するためのユニークデジタルインストラクタ生成機能と、
前記デジタルインストラクタによる前記受講者の学習を支援するデジタルインストラクタによる学習支援機能とを備え、
前記デジタルインストラクタによる学習支援機能により、
前記受講者の端末から入力される音声情報、映像情報を解析し、解析された結果に対応する対話パタンを予め登録されている対話パタンデータから選択し、
選択された対話パタンデータセット中の動作パタンを、前記デジタルインストラクタとなるアニメーションキャラクタの動作として受講者端末の画面に表示し、さらに該対話パタンデータセット中の音声パタンを対象となる前記アニメーションキャラクタの音声として音声表示することを特徴とする教育支援装置。 An education support apparatus comprising an education information management server for supporting a student to learn to interact with a teacher or a digital instructor corresponding to the teacher using a terminal connected via a network,
Storage means for registering data of dialogue patterns in dialogue learning between the student and the teacher in time series,
A dialogue pattern extraction function for extracting a characteristic dialogue pattern from the dialogue patterns;
A unique digital instructor generating function for converting the teacher's specific dialogue pattern with respect to the student's specific dialogue pattern into a digital instructor by an animation character and synthesized speech corresponding to the teacher;
A learning support function by a digital instructor that supports learning of the student by the digital instructor,
With the learning support function by the digital instructor,
Analyzing audio information and video information input from the student's terminal, selecting a dialogue pattern corresponding to the analyzed result from dialogue pattern data registered in advance,
The action pattern in the selected dialogue pattern data set is displayed on the screen of the student terminal as the action of the animation character serving as the digital instructor, and the voice pattern in the dialogue pattern data set is further displayed. An education support apparatus characterized by voice display as voice.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004208232A JP4651981B2 (en) | 2004-07-15 | 2004-07-15 | Education information management server |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004208232A JP4651981B2 (en) | 2004-07-15 | 2004-07-15 | Education information management server |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006030513A true JP2006030513A (en) | 2006-02-02 |
JP2006030513A5 JP2006030513A5 (en) | 2007-05-31 |
JP4651981B2 JP4651981B2 (en) | 2011-03-16 |
Family
ID=35896962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004208232A Expired - Fee Related JP4651981B2 (en) | 2004-07-15 | 2004-07-15 | Education information management server |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4651981B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100786671B1 (en) | 2006-07-11 | 2007-12-21 | 성금순 | Online lecture method using virtual member |
JP2008268604A (en) * | 2007-04-20 | 2008-11-06 | Wao Corporation | Information processor and program |
JP2009300890A (en) * | 2008-06-16 | 2009-12-24 | Hitachi Information Academy Co Ltd | Remote education support device, remote education support method, and remote education support program |
KR101804632B1 (en) | 2015-10-02 | 2017-12-04 | 엘지전자 주식회사 | Apparatus for providing conversational agent service and operating method thereof |
JP6419924B1 (en) * | 2017-11-05 | 2018-11-07 | 株式会社ウーノラボ | Learning support system and learning support method |
WO2019188076A1 (en) * | 2018-03-30 | 2019-10-03 | ソニー株式会社 | Information processing device, information processing method, and program |
CN115983556A (en) * | 2022-12-08 | 2023-04-18 | 武汉猪猪乐园教育咨询有限公司 | Teacher course arrangement optimization method, system and storage medium |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107657955B (en) * | 2017-11-09 | 2021-01-08 | 温州大学 | Voice interaction question-asking system and method based on VR virtual classroom |
CN108922277A (en) * | 2018-08-08 | 2018-11-30 | 苏州承儒信息科技有限公司 | A kind of classroom manually intellectual education system based on movement interaction |
CN110246377B (en) * | 2019-06-13 | 2022-04-19 | 牡丹江医学院 | Teaching system for English teaching |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08204834A (en) * | 1995-01-27 | 1996-08-09 | Kokusai Denshin Denwa Co Ltd <Kdd> | Education training device |
JP2001338077A (en) * | 2000-05-24 | 2001-12-07 | Digital Passage:Kk | Language lesson method through internet, system for the same and recording medium |
JP2002116997A (en) * | 2000-10-11 | 2002-04-19 | Matsushita Electric Ind Co Ltd | Chatting device, correctable bulletin board device, integrated communication equipment, teaching material evaluation system, scenario selection system, network connector and electronic mail transmitter |
JP2003256873A (en) * | 2002-03-05 | 2003-09-12 | Matsushita Electric Works Ltd | Merchandise pseudo experiencing system |
WO2004029905A1 (en) * | 2002-09-27 | 2004-04-08 | Ginganet Corporation | Remote education system, course attendance check method, and course attendance check program |
-
2004
- 2004-07-15 JP JP2004208232A patent/JP4651981B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08204834A (en) * | 1995-01-27 | 1996-08-09 | Kokusai Denshin Denwa Co Ltd <Kdd> | Education training device |
JP2001338077A (en) * | 2000-05-24 | 2001-12-07 | Digital Passage:Kk | Language lesson method through internet, system for the same and recording medium |
JP2002116997A (en) * | 2000-10-11 | 2002-04-19 | Matsushita Electric Ind Co Ltd | Chatting device, correctable bulletin board device, integrated communication equipment, teaching material evaluation system, scenario selection system, network connector and electronic mail transmitter |
JP2003256873A (en) * | 2002-03-05 | 2003-09-12 | Matsushita Electric Works Ltd | Merchandise pseudo experiencing system |
WO2004029905A1 (en) * | 2002-09-27 | 2004-04-08 | Ginganet Corporation | Remote education system, course attendance check method, and course attendance check program |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100786671B1 (en) | 2006-07-11 | 2007-12-21 | 성금순 | Online lecture method using virtual member |
JP2008268604A (en) * | 2007-04-20 | 2008-11-06 | Wao Corporation | Information processor and program |
JP2009300890A (en) * | 2008-06-16 | 2009-12-24 | Hitachi Information Academy Co Ltd | Remote education support device, remote education support method, and remote education support program |
KR101804632B1 (en) | 2015-10-02 | 2017-12-04 | 엘지전자 주식회사 | Apparatus for providing conversational agent service and operating method thereof |
JP6419924B1 (en) * | 2017-11-05 | 2018-11-07 | 株式会社ウーノラボ | Learning support system and learning support method |
JP2019086602A (en) * | 2017-11-05 | 2019-06-06 | 株式会社ウーノラボ | Learning support system and learning support method |
WO2019188076A1 (en) * | 2018-03-30 | 2019-10-03 | ソニー株式会社 | Information processing device, information processing method, and program |
US11315599B2 (en) | 2018-03-30 | 2022-04-26 | Sony Corporation | Information processing device and information processing method |
CN115983556A (en) * | 2022-12-08 | 2023-04-18 | 武汉猪猪乐园教育咨询有限公司 | Teacher course arrangement optimization method, system and storage medium |
CN115983556B (en) * | 2022-12-08 | 2023-09-29 | 北京布局未来教育科技有限公司 | Teacher course arrangement optimization method, system and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4651981B2 (en) | 2011-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109065055B (en) | Method, storage medium, and apparatus for generating AR content based on sound | |
US7149690B2 (en) | Method and apparatus for interactive language instruction | |
Roth | From gesture to scientific language | |
Kawas et al. | Improving real-time captioning experiences for deaf and hard of hearing students | |
Leander et al. | Speaking and writing: How talk and text interact in situated practices | |
Norrthon | To stage an overlap–The longitudinal, collaborative and embodied process of staging eight lines in a professional theatre rehearsal process | |
JP4651981B2 (en) | Education information management server | |
Rangan et al. | Thinking with an accent: Toward a new object, method, and practice | |
JP2014085998A (en) | Electronic note creation support device and program for electronic note creation support device | |
Wik | The Virtual Language Teacher: Models and applications for language learning using embodied conversational agents | |
KR102534275B1 (en) | Teminal for learning language, system and method for learning language using the same | |
LeBaron | Building communication: Architectural gestures and the embodiment of new ideas | |
JP7096626B2 (en) | Information extraction device | |
JP7130290B2 (en) | information extractor | |
JP4085015B2 (en) | STREAM DATA GENERATION DEVICE, STREAM DATA GENERATION SYSTEM, STREAM DATA GENERATION METHOD, AND PROGRAM | |
JP2006030513A5 (en) | ||
JP3930402B2 (en) | ONLINE EDUCATION SYSTEM, INFORMATION PROCESSING DEVICE, INFORMATION PROVIDING METHOD, AND PROGRAM | |
JP6656529B2 (en) | Foreign language conversation training system | |
Fadila et al. | Channeling multiliteracies in digital era: A case study of EFL student-made video project in vocational high school | |
O’Bryan | Where words fail: Storying audio-visual data | |
JP7049718B1 (en) | Language education video system | |
WO2022091230A1 (en) | Information extraction device | |
KR102659886B1 (en) | VR and AI Recognition English Studying System | |
Rangan et al. | Thinking with an Accent | |
JP6637917B2 (en) | Education support system and education support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070405 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070405 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101215 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |