JP2004061783A

JP2004061783A - Language teaching system

Info

Publication number: JP2004061783A
Application number: JP2002219028A
Authority: JP
Inventors: Morihisa Nakajima; 中嶋　盛久
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-07-29
Filing date: 2002-07-29
Publication date: 2004-02-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a language teaching system enabling even a learner in a remote place to receive a lesson of the same level as a group learning class in a highly realistic atmosphere using three-dimensional pictures. <P>SOLUTION: In the language learning system, a group learning class is constituted of a server 1, a teacher's computer 2, learner's computers 3-1, 3-2, ... , 3-8 or the like, and they are connected to learner's computer 3-11, 3-12, ... prepared in a remote place via a WAN, a private line, the Internet NT or the like to constitute a virtual language system VLS serving as a logical classroom. The server 1 stores a computer graphic or actually taken three-dimensional human video S-1, a computer graphic or actually taken three-dimensional background video S-2 or the like to be used as a teaching material. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】本発明は語学教育装置に係り、特に多人数で同時に演習可能な教科または教材で、教育者及び学習者同士あるいは学習者同士が仮想空間上で実世界シミュレートを体験することにより、実世界での教育効果の向上をはかるようにした語学教育装置に関するものである。
【０００２】
【従来の技術】従来の語学教育装置では教室内に多数の据え置き型のＣＲＴ表示装置とヘッドフォンを設け、この表示装置に２次元画面を表示し、ヘッドフォン等からの音声で学習者に問題を提示してコンピュータが回答、採点するという、学習者の暗記能力向上を主眼においたシステムが一般的であり、実世界における雰囲気に比べて臨場感に欠けているのが実情である。
【０００３】
【発明が解決しようとする課題】このように従来技術による語学教育装置で、あらかじめ定められたシナリオ通りの教材を受ける学習、及びあらかじめ定められたシナリオのない自由会話のような演習では、実世界に比べて臨場感に欠けるため、教育結果を即戦力に結びつけるという観点においてはコミュニケーション等の教育効果が限定的なものになっている。
【０００４】
また、教室より遠隔地に所在する学習者は、教育実施場所となる教室まで出張しなければならず、教室に出張しなければ同レベルの教育受講の機会を逸することになり、出張すれば受講のための費用がかさむことになる。
【０００５】
従来技術では、学習及び演習結果を点数として管理することが一般的であり、過程をふまえた問題点分析の機能が不足している。
【０００６】
現状の語学教育分野において、３次元映像を利用した装置は一般に存在していないが、仮想現実の環境における学習又は演習過程を評価する機能の要求が高まっている。
【０００７】
従来技術において、３次元の仮想現実の環境を実現する語学教育システムは存在していないが、この３次元の語学教育システムの使用中は教育者及び学習者ともに、ヘッドマウントディスプレイ及びヘッドフォンにより実世界から隔離された状態であるため、仮想現実の環境内で教育者から学習者への指示等を伝達する手段が必要となる。
【０００８】
従来の語学教育におけるコミュニケーション訓練は、教育者と学習者が同じ部屋に集まって実施しているだけであり、教育者が学習者の立場で、逆に学習者が教育者の立場に立って行うことがなかったので、立場が常に一方的なものとなり、臨場感を高めることができなかった。
【０００９】
従来技術では、３次元映像を使用した仮想実現の環境下での語学教育装置は存在していないが、臨場感をより高めるために教育者及び学習者をコンピュータグラフィックによる現実の人間により近い映像として関連付けて登録する機能が必須であり、このような機能の提供が要求されている。
【００１０】
従って本発明の目的は前記の課題を解決した語学教育装置を提供することである。
【００１１】
【課題を解決するための手段】本発明の原理構成を図１に示す。図１において１はサーバ、２は教育者用コンピュータ、３−１、３−２・・・３−ｎは学習者用コンピュータ、４はマイク付ヘッドフォン、５はヘッドマウントディスプレイ、ＮＴはＷＡＮ、専用線、インターネット等のネットワーク、ＶＬＳは仮想語学装置、Ｓ−１は３次元人物映像、Ｓ−２は３次元背景映像である。
【００１２】
本発明の前記目的は下記（１）〜（５）により達成することができる。
【００１３】
（１）ネットワークにより接続された教育者用コンピュータと、学習者用コンピュータと、サーバにより構成された語学教育装置において、教育者用コンピュータには、メニュー画面を受信表示するメニュー画面受信表示手段と、サーバからソフトウェアをダウンロードするダウンロード手段と、ヘッドマウントディスプレイに３次元映像を出力制御するヘッドマウントディスプレイ制御手段と割込処理を行う割込処理手段を具備し、学習者用コンピュータには、メニュー画面を受信表示するメニュー画面受信表示手段と、サーバからソフトウェアをダウンロードするダウンロード手段と、ヘッドマウントディスプレイに３次元映像を出力制御するヘッドマウントディスプレイ制御手段と、割込処理を行う割込処理手段を具備し、サーバには、仮想現実の環境を実現するための３次元映像を出力する仮想現実環境実現手段と、メニュー画面を制御するメニュー画面制御手段と、教育者又は学習者から入力されたログインＩＤにもとづき、教育者又は学習者に対応したメニュー画面を出力制御するログインＩＤ・映像関連手段と、３次元映像を管理する３次元映像管理手段と、要求されたシナリオを選択管理するシナリオ管理手段と、メッセージの削除、編集、発信を行うメッセージ削除・編集・発信制御手段を具備し、複数の学習者に対してヘッドマウントディスプレイ制御手段により３次元映像及び音声による仮想現実の環境で語学教育を実施することを可能としたことを特徴とする語学教育装置。
【００１４】
（２）前記（１）の語学教育装置において、サーバに学習の履歴を記録又は再生する学習履歴記録再生手段を設け、学習記録された選択されたときの学習内容を巻き戻し又は早送りを含む前記学習履歴記録再生手段で再生し、又は模範解答付きで再生することを特徴とする語学教育装置。
【００１５】
（３）前記（１）の語学教育装置において、教育者用のコンピュータに割込処理手段を設け、教育者からのメッセージを個々の学習者又は学習者全員に伝達することを特徴とする語学教育装置。
【００１６】
（４）前記（１）の語学教育装置において、サーバに仮想現実空間において体験を共有する体験共有手段を設け、教育者は任意の学習者と同じ視点で学習者の行動を共有体験し、逆に教育者の行動を同じ視点で学習者が共有体験できることを特徴とする語学教育装置。
【００１７】
（５）前記（１）の語学教育装置において、サーバに仮想現実の環境を使用する教育者又は学習者を、この語学教育装置に登録されるコンピュータグラフィックの映像と関連付けて登録、変更又は解除する３次元映像管理手段を設け、前記教育者又は学習者を前記コンピュータグラフィックの映像として表示することを特徴とする語学教育装置。
【００１８】
本発明により下記の作用効果を奏することができる。
【００１９】
（１）３次元の仮想現実の環境下で教育または訓練を実施することにより、現実世界により近い臨場感のある体験が可能となり、教育効果を即戦力として活用可能となる。また学習者が遠隔地にいても、集合型教室の学習者と同等レベルの語学教育を受けることができるので、同等の教育効果が期待でき、教育費用の削減にも効果が期待できる。
【００２０】
（２）学習または演習効果だけでなく、結果にたどり着くまでの過程を再現し、評価することができるため、教育等の結果をフィードバックし、教材の適正化を迅速に実施可能となる。
【００２１】
（３）本語学教育装置の使用中は教育者及び学習者ともに、ヘッドマウントディスプレイ及びヘッドフォンにより実世界から隔離された状態であるが、教育者及び学習者に情報を伝達するため、３次元画像上にメッセージをテロップ表示することができる。また音声によってメッセージの割込みを実施、使用者にメッセージを伝達することができる。
【００２２】
（４）教育者が任意の学習者と同じ視点で学習者の行動を共有体験できるので、教育者が学習者の改善すべき点等を正確にチェックすることができる。逆に学習者が教育者の行動を同じ視点で共有体験できるので、教育者と他の学習者とのやりとりを共有することが可能となり、学習者が自己の学習に参考とすべき点を認識することができ、いずれの場合も学習効果を高めることができる。
【００２３】
（５）本語学教育装置で提供できる仮想現実の環境内でコミュニケーションする際に、教育者及び又は学習者を登録されているコンピュータグラフィックの映像と関連付けて登録、変更できるので、より臨場感を増すことができ、学習効果が向上できる。
【００２４】
【発明の実施の形態】本発明の概略を図１により説明する。本発明においては、サーバ１、教育者用コンピュータ２、学習者用コンピュータ３−１、３−２・・・３−８等により集合型教室を構成するとともに、これらをＷＡＮ、専用線、インターネットＮＴ等を経由して遠隔地に設けられた学習者用コンピュータ３−１１、３−１２・・・と接続し、論理的な教室である仮想語学装置ＶＬＳを構成する。
【００２５】
サーバ１には、コンピュータグラフィックまたは実写による３次元人物映像Ｓ−１、コンピュータグラフィックまたは実写による３次元背景映像Ｓ−２（図１ではマーケットの映像）等を保持し、教材として使用する。
【００２６】
教育者及び学習者はステレオ用のマイク付ヘッドフォン４と、３次元映像を表示するヘッドマウント・ディスプレイ５を使用して、サーバ１より出力される３次元映像にもとづき語学教育を行うものである。
【００２７】
本発明の一実施の形態を図２〜図７にもとづき説明する。図２は本発明の実施の形態、図３は本発明における画面遷移図、図４は本発明における動作フローチャート、図５は本発明におけるメニュー画面説明図（その１）、図６は本発明におけるメニュー画面説明図（その２）、図７は本発明におけるメニュー画面説明図（その３）である。
【００２８】
図２において、他図と同一部は同符号を付し、１はサーバ、２は教育者用コンピュータ、３は学習者用コンピュータ、４はマイク付ヘッドフォン、５はヘッドマウント・ディスプレイ、１０はＣＰＵ、１１は仮想現実環境実現手段、１２はメニュー画面制御手段、１３はログインＩＤ・映像関連手段、１４は３次元映像管理手段、１５はシナリオ選択管理手段、１６はメッセージ削除・編集・発信制御手段、１７は体験共有手段、１８は学習履歴記録再生手段、１９は外部記憶装置、２０はＣＰＵ、２１はメニュー画面受信表示制御装置、２２はヘッド・マウントディスプレイ制御手段、２３は割込処理手段、２４は仮想現実環境移動割込処理手段、２５はダウンロード手段、２６は外部記憶手段、３０はＣＰＵ、３１はメニュー画面受信表示制御手段、３２はヘッドマウントディスプレイ制御手段、３３は割込処理手段、３４は仮想現実環境移動割込処理手段、３５はダウンロード手段、３６は外部記憶装置である。
【００２９】
サーバ１は本発明の語学教育装置において使用する複数の３次元映像を保持して教育者の要求にもとづき学習者に送出したり、教育者のログインＩＤや学習者のログインＩＤにもとづきメニュー画面を出力するものであり、ＣＰＵ１０、仮想現実環境実現手段１１、メニュー画面制御手段１２、ログインＩＤ・映像関連手段１３、３次元映像管理手段１４、シナリオ選択管理手段１５、メッセージ削除・編集・発信制御手段１６、体験共有手段１７、学習履歴記録再生手段１８を有し、外部記憶装置１９が接続されている。
【００３０】
なお前記仮想現実環境実現手段１１は、ＣＰＵ１０をこのような手段として動作させるソフトウェアを図示省略した主記憶に保持させることにより得られる機能を示したものであり、メニュー画面制御手段１２〜学習履歴記録再生手段１８も同様である。
【００３１】
仮想現実環境実現手段１１は、シナリオ選択管理手段１５が外部記憶装置１９より選択抽出したシナリオや、コンピュータグラフィックによる３次元人物映像Ｓ−１、コンピュータグラフィックまたは実写による３次元背景映像Ｓ−２等の仮想現実世界での学習及び演習イメージを、教育者用コンピュータ２、学習者用コンピュータ３に送出するものである。
【００３２】
メニュー画面制御手段１２は、図５〜図７に示すメニュー画面を教育者用コンピュータ２あるいは学習者用コンピュータ３からの指示により選択的に読出してこれを送出するものである。
【００３３】
ログインＩＤ・映像関連手段１３は、教育者または学習者が自己のコンピュータの起動時において投入するＩＤを解読して、教育者用コンピュータに対してはそれに対応したメニュー画面を出力し、学習者用コンピュータに対してはそれに対応したメニュー画面を出力し、それに応じた制御を行うものである。なお教育者用コンピュータ２に対しては、このログインＩＤの解読にもとづき、図５のトップメニュー画面Ｍ０において、全項目１〜５が出力表示される。しかし学習者用コンピュータに対してはトップメニュー画面Ｍ０において○印の付加された項目１、２、５のみ表示され、項目３、４は表示されない。
【００３４】
３次元映像管理手段１４は、この語学教育装置にキャラクタの如きコンピュータグラフィック映像を登録したり、仮想現実の環境を使用する教育者または学習者をこのコンピュータグラフィック映像と関連付けて登録、変更、解除するものである。
【００３５】
シナリオ選択管理手段１５は、教育者が学習者に適した学習用のシナリオを指示されたとき、これに応じて指示されたシナリオを外部記憶装置１９より読出すものである。この読出したシナリオは、仮想現実環境実現手段１１により所定の学習者のコンピュータに対して出力される。
【００３６】
メッセージ削除・編集・発信制御手段１６は、教育者から学習者に対してメッセージを発信するとき、このメッセージを編集したり、発信したり、すでに発信ずみのメッセージを削除する制御を行うものである。
【００３７】
体験共有手段１７は、仮想空間内で例えば教育者が学習者と同じ視点で学習者の行動を共有体験したり、逆に教育者の行動を同じ視点で学習者が共有体験できるものである。
【００３８】
学習履歴記録再生手段１８は、学習した教材に、学習日時と、学習者名を記録するとともに、教材の早送り巻戻し機能を有する再生手段であり、学習した教材によっては模範解答を用意しておく。
【００３９】
外部記憶装置１９は、本発明の語学教育装置が必要とするソフトウエアや各種データを保持するものであり、例えば仮想現実環境用のデータや、キャラクタの如きコンピュータグラフィック映像等が格納されている。
【００４０】
教育者用コンピュータ２は、教育者が使用してシナリオを選択したり、メッセージを作成出力したり、共有体験を設定したり、記録再生指示を行ったり、教育者、学習者を登録映像に対応設定するものであり、ＣＰＵ２０、メニュー画面受信表示制御手段２１、ヘッドマウントディスプレイ制御手段２２、割込処理手段２３、仮想現実環境移動割込処理手段２４、ダウンロード手段２５を有し、外部記憶装置２６が接続されている。
【００４１】
メニュー画面受信表示制御手段２１は、起動時におけるログインＩＤをサーバ１が識別して、教育者用コンピュータ２に対応した、図５に示すトップメニュー画面Ｍ０を出力して、教育者がこれにもとづき選択、処理等を行ったとき、これに対応した動作を行うものである。
【００４２】
このメニュー画面受信表示制御手段２１は、ＣＰＵ２０をこのような手段として動作させるソフトウェアを図示省略した主記憶に保持させることにより得られる機能を示したものであり、ヘッドマウントディスプレイ制御手段２２〜ダウンロード手段２６も同様である。
【００４３】
ヘッドマウントディスプレイ制御手段２２は、サーバ１から出力された仮想現実環境の３次元映像データ、３次元の音データを受信して３次元映像データはヘッドマウントディスプレイに出力し、３次元の音データはマイク付ヘッドフォンに出力し、３次元の仮想現実環境を再現するものである。
【００４４】
割込処理手段２３は、メッセージ配信または共有体験の設定等における割込処理を行うものであり、机上に設置されるＣＲＴや液晶の如き表示装置にもとづき実施するものである。
【００４５】
仮想現実環境移動割込処理手段２４は、３次元の仮想現実環境での移動又は割込に対する処理を行うものであり、例えば学習者が学習か演習（自習のこと）を選択するものであり、キーボードあるいはマウス等により指示を行うものである。この機能は学習者が使用する場合が多いので学習者用コンピュータには必要なものであるが、教育者用コンピュータと学習者用コンピュータとは基本的に同一機能で構成されているので、このような手段を有するものである。
【００４６】
ダウンロード手段２５は、サーバ１からソフトウェアまたはデータをダウンロードするものである。教育者用コンピュータ２、学習者用コンピュータ３には基本ソフトウェア（ＯＳ）のみを格納し、学習または各種設定を実施するとき、サーバ１と直接通信するか、またはソフトウェア又はデータをサーバ１からダウンロードして実行するものである。
【００４７】
外部記憶装置２６は、使用頻度の大きいデータを保持するもので、例えばサーバ１側から送出された、図３に示す如き、トップメニュー画面、教育者、学習者設定画面、シナリオ選択画面、メッセージ選択画面、共有設定画面、記録再生指示画面等を一時保持するものである。
【００４８】
学習者用コンピュータ３は、学習者が使用して仮想現実環境を実現して臨場感の高い学習雰囲気を得るものであり、ＣＰＵ３０、メニュー画面受信表示制御手段３１、ヘッドマウントディスプレイ制御手段３２、割込処理手段３３、仮想現実環境移動割込処理手段３４、ダウンロード手段３５等を有し、外部記憶装置３６が接続されている。
【００４９】
学習者用コンピュータ３は、教育者用コンピュータ２と基本的に同機能であり、学習者用コンピュータ３のメニュー画面受信表示制御手段３１は教育者用コンピュータ２のメニュー画面受信表示制御手段２１と対応し、ヘッドマウントディスプレイ制御手段３１はヘッドマウントディスプレイ制御手段２２と対応し、割込処理手段３３は割込処理手段２３と対応し、仮想現実環境移動割込処理手段３４は仮想現実環境移動割込処理手段２４と対応し、ダウンロード手段３５はダウンロード手段２５と対応し、これらは同機能であるので詳細な説明は省略する。
【００５０】
本発明の動作について、図４に示すフローチャートにもとづき説明する。
【００５１】
Ｓ０．学習の開始に先立ち、教育者または学習者は自己の教育者用コンピュータまたは学習者用コンピュータの電源投し、ログインＩＤを行う。これらのログインＩＤがサーバ１のログインＩＤ・映像関連手段１３に伝達され、教育者用コンピュータ２には、図５に示す項目１「教育者、学習者設定画面へ」〜項目５「記録再生指示画面へ」の５項目全体が表示されたトップメニュー画面Ｍ０が出力され、表示される。また学習者用コンピュータ３１には、図５に示すトップメニュー画面Ｍ０より項目３「メッセージ選択画面へ」と項目４「共有体験設定画面へ」が削除された項目１、２、５の３つの項目が表示されたトップメニュー画面が、ログインＩＤ・映像関連手段１３により出力される。これらのトップメニュー画面は、教育者用コンピュータまたは学習者用コンピュータにおいて選択制御が行われるとそれに対応して遷移するが、通常はこれらのトップメニュー画面は各コンピュータの表示面に出力された状態にある。
【００５２】
このトップメニュー画面Ｍ０が出力された状態で、教育者は項目１「教育者、学習者設定画面へ」を、例えばキーボードにより選択する。これによりサーバ１のメニュー画面制御手段１２が外部記憶装置１９に保持された、図５に示す、教育者、学習者設定画面Ｍ１を読出し、これを教育者用コンピュータ２の図示省略した表示部に表示する。例えば学習者Ａを登録映像４に設定するとき、学習者Ａと登録映像４を選択し、登録キーをタッチすれば、シナリオにおける学習者Ａを、キャラクタ画像の如き登録映像４を置換して表示することができる。このような学習者設定を学習開始前に実施する。
【００５３】
Ｓ１．教育者及び学習者はヘッドマウントディスプレイ及びマイク付ヘッドフォンの装着を行い、その電源をオンにする。
【００５４】
Ｓ２．教育者は、トップメニュー画面Ｍ０より項目２「シナリオ選択画面へ」を選択する。これによりメニュー画面制御手段１２が、外部記憶装置１９より、図５に示す、シナリオ選択画面Ｍ２を読み出して教育者用コンピュータ２に送出する。教育者用コンピュータ２では、メニュー画面受信表示制御手段２１がこれを受信表示制御する。教育者はこのシナリオ選択画面Ｍ２より開始を指示してシナリオ選択を学習者に応じて行う。また教育者も参加するシナリオであればその選択を行う。このように学習者に応じたシナリオを選択したのち、終了を指示すると、トップメニュー画面Ｍ０が再び表示される。
【００５５】
Ｓ３．教育者が学習状態を記録すべきであると判断したとき、図５に示すシナリオ選択画面Ｍ２において「記録する」という項目を選択する。これにより、学習履歴記録再生手段１８により、学習者毎に、シナリオ番号と記録日時が記録されることになる。
【００５６】
Ｓ４．このように記録状態でシナリオが学習者に送出されると、ヘッドアップディスプレイ制御手段３２によりバーチャル環境での映像が出力され、学習開始となる。
【００５７】
Ｓ５．その後バーチャル環境での学習が終了される。
【００５８】
Ｓ６．そのとき記録も終了されることになる。
【００５９】
Ｓ７．ところで前記Ｓ３において記録すると選択しない場合は、選択されたシナリオが学習者に出力されバーチャル環境での学習が開始される。
【００６０】
Ｓ８．その後バーチャル環境での学習が終了される。
【００６１】
このように記録された学習状態を例えば学習者が再生したいとき、トップメニュー画面Ｍ０の項目５「記録再生指示画面へ」を選択する。これによりサーバ１の学習履歴記録再生手段１８が動作して、外部記憶装置１９より、図７に示す記録再生指示画面Ｍ５−１を読出し、これを学習者に送る。学習者用コンピュータ３ではこれをメニュー画面受信表示制御手段３２が受信して、図示省略した表示部に表示する。
【００６２】
学習者はこれをみてシナリオ・記録時等より再生したいシナリオを選択すると、これがサーバ１より出力され、図７の記録再生画面Ｍ５−２に示す如く、再生される。なおこの再生画面は外人と会話中の学習を示している。再生が終了すれば記録再生指示画面Ｍ５−１に戻る。そして記録の再生は学習中でなければ可能である。
【００６３】
学習中に、同一の視点から体験させるため教育者が共有体験をした方がよいと判断したとき、この共有設定は随時実施可能である。この共有設定に際して、教育者は、図５に示すトップメニュー画面より項目４「共有体験設定画面へ」を選択する。これにより図７に示す共有設定画面（能動的体験設定）Ｍ４−１が教育者用コンピュータ２の表示部に出力される。この図面は、例えば教育者用コンピュータ２を使用する教育者１の体験を学習者１、２、３の３名に体験させたい場合、共有者として学習者１、２、３を選択し、開始を指示する。これにより学習者１、２、３は教育者１と同じ視点で体験することができる。
【００６４】
ところで教育者１が学習者と同じ視点で体験したい場合は、図７の共有設定画面Ｍ４−１の受動を選択する。これにより図７に示す共有設定画面（受動的体験設定）Ｍ４−２が出力される。教育者１は自分が共有体験したい相手として例えば学習者２を選択すると、これが選択され、開始と選択すると教育者１が学習者２のみと同席状態の同一視点での体験を共有することができる。その後能動を選択すれば再び図７の共有設定画面Ｍ４−１に戻る。
【００６５】
なお学習中に共有体験の設定を実施する場合には、先に該当者に対してメッセージを伝えておく方が親切である。
【００６６】
学習の途中に教育者から学習者にメッセージを伝達したい場合は、教育者用コンピュータ２に表示されているトップメニュー画面Ｍ０より項目３「メッセージ選択画面へ」を選択する。これによりサーバ１のメッセージ削除・編集・発信制御手段１６が動作して、外部記憶装置１９より、図６に示すメッセージ選択画面Ｍ３−１を出力し、これを教育者用コンピュータ２の表示部に表示する。
【００６７】
教育者は、これより登録、変更、参照のいずれか１つの項目を選択すれば、教育者用コンピュータ２にサーバ１から図６に示すメッセージ編集画面Ｍ３−２が伝達、表示される。そしてこれにもとづき編集中のメッセージ番号、メッセージを映像（テロップ）で伝達するのか音声で伝達するのかを示す伝達手段、枠Ｍ内に示されるメッセージ内容、例えば「教育者Ａからの指示です。学習を中断します。ヘッドマウントディスプレイ及びヘッドフォンを外して下さい。」を記入する。
【００６８】
これら所定の入力が完了すると教育者は完了項目を選択する。これにより今度はメッセージ発信画面Ｍ３−３がサーバ１から伝達され、表示される。
【００６９】
教育者はこの画面Ｍ３−３より通知先とメッセージ番号を入力し、発信項目を選択する。これにより割込処理手段２３が発信処理を行い、通知先の学習者用コンピュータにおいてヘッドマウントディスプレイ制御手段３２により学習者にメッセージが伝達される。
【００７０】
図３はメニュー画面の遷移図を示す。そして斜線部分は教育者用コンピュータ２にのみ表示されるものであり、学習者用コンピュータ３には表示されないものである。
【００７１】
例えばトップメニュー画面Ｍ０における選択状態により、教育者用コンピュータでは、教育者、学習者設定画面Ｍ１、シナリオ選択画面Ｍ２、メッセージ選択画面Ｍ３−１、共有設定画面Ｍ４−１、記録再生指示画面Ｍ５−１のいずれかが表示可能であるが、学習者用コンピュータでは教育者、学習者設定画面Ｍ１、シナリオ選択画面Ｍ２、記録再生指示画面Ｍ５−１のいずれかのみが表示可能であること、また記録再生指示画面Ｍ５−１において終了が選択されるときトップメニュー画面Ｍ０に戻ること、記録再生指示画面Ｍ５−１において再生が選択されるとき記録再生画面Ｍ５−２が表示されること、記録再生画面Ｍ５−２において終了が選択されるとき記録再生指示画面Ｍ５−１に戻ること等が示されている。
【００７２】
【発明の効果】本発明により下記の効果を奏することができる。
【００７３】
（１）３次元の仮想現実の環境下で教育または訓練を実施することにより、現実世界により近い臨場感のある体験が可能となり、教育効果を即戦力として活用可能となる。また学習者が遠隔地にいても、集合型教室の学習者と同等レベルの語学教育を受けることができるので、同等の教育効果が期待でき、教育費用の削減にも効果が期待できる。
【００７４】
（２）学習または演習結果だけでなく、結果にたどり着くまでの過程を再現し、評価することができるため、教育等の結果をフィードバックし、教材の適正化を迅速に実施可能となる。
【００７５】
（３）本語学教育装置の使用中は教育者及び学習者ともに、ヘッドマウントディスプレイ及びヘッドフォンにより実世界から隔離された状態であるが、教育者及び学習者に情報を伝達するため、３次元画像上にメッセージをテロップ表示することができる。また音声によってメッセージの割込みを実施、使用者にメッセージを伝達することができる。
【００７６】
（４）教育者が任意の学習者と同じ視点で学習者の行動を共有体験できるので、教育者が学習者の改善すべき点等を正確にチェックすることができる。逆に学習者が教育者の行動を同じ視点で共有体験できるので、教育者と他の学習者とのやりとりを共有することが可能となり、学習者が自己の学習に参考とすべき点を認識することができ、いずれの場合も学習効果を高めることができる。
【００７７】
（５）本語学教育装置で提供できる仮想現実の環境内でコミュニケーションする際に、教育者及び又は学習者を登録されているコンピュータグラフィックの映像と関連付けて登録、変更できるので、より臨場感を増すことができ、学習効果が向上できる。
【図面の簡単な説明】
【図１】本発明の原理構成図である。
【図２】本発明の実施の形態である。
【図３】本発明におけるメニュー画面遷移図である。
【図４】本発明における動作フローチャートである。
【図５】本発明におけるメニュー画面説明図（その１）である。
【図６】本発明におけるメニュー画面説明図（その２）である。
【図７】本発明におけるメニュー画面説明図（その３）である。
【符号の説明】
１　サーバ
２　教育者用コンピュータ
３　学習者用コンピュータ
４　マイク付ヘッドフォン
５　ヘッドマウントディスプレイ
１０　ＣＰＵ
１１　仮想現実環境実現手段
１２　メニュー画面制御手段
１３　ログインＩＤ・映像関連手段
１４　３次元映像管理手段
１５　シナリオ選択管理手段
１６　メッセージ削除・編集・発信制御手段
１７　体験共有手段
１８　学習履歴記録再生手段
１９　外部記憶装置[0001]
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a language teaching device, and more particularly to a subject or teaching material that can be practiced by a large number of people at the same time, in which educators and learners or learners experience a real world simulation in a virtual space. The present invention relates to a language teaching device that improves the educational effect in the real world.
[0002]
2. Description of the Related Art In a conventional language teaching apparatus, a large number of stationary CRT display devices and headphones are provided in a classroom, a two-dimensional screen is displayed on the display device, and problems are presented to a learner by sounds from headphones or the like. In general, a system that focuses on improving the learner's memorization ability, in which a computer answers and scores, is generally lacking in the sense of presence compared to the atmosphere in the real world.
[0003]
As described above, in the language learning apparatus according to the prior art, learning such as receiving learning materials according to a predetermined scenario and exercises such as free conversation without a predetermined scenario are performed in the real world. Because of the lack of realism, the educational effect of communication and the like is limited from the viewpoint of linking the educational result to immediate ability.
[0004]
In addition, learners who are located far from the classroom must travel to the classroom where the education is to be conducted, and if they do not travel to the classroom, they will miss the opportunity to take the same level of education. The costs for attending the course will increase.
[0005]
In the prior art, it is common to manage the learning and exercise results as scores, and the function of problem analysis based on the process is lacking.
[0006]
In the current field of language education, there is generally no device using three-dimensional video, but there is an increasing demand for a function of evaluating a learning or exercise process in a virtual reality environment.
[0007]
In the prior art, there is no language education system for realizing a three-dimensional virtual reality environment. However, during the use of this three-dimensional language education system, both the educator and the learner can use the head-mounted display and headphones to realize the real world. Because it is isolated from the environment, means for transmitting instructions from the educator to the learner in a virtual reality environment is required.
[0008]
Traditionally, communication training in language education is conducted only by the educator and the learner gathering in the same room, and the educator is the learner and the learner is the educator. Because of this, his position was always one-sided, and he was unable to enhance his presence.
[0009]
In the prior art, there is no language teaching device in a virtual realization environment using three-dimensional images. However, in order to further enhance the sense of reality, educators and learners are converted into images closer to real people by computer graphics. A function of associating and registering is indispensable, and provision of such a function is required.
[0010]
Accordingly, an object of the present invention is to provide a language teaching device that solves the above-mentioned problems.
[0011]
FIG. 1 shows the principle configuration of the present invention. In FIG. 1, 1 is a server, 2 is a computer for an educator, 3-1, 3-2... 3-n is a computer for a learner, 4 is a headphone with a microphone, 5 is a head mounted display, NT is a WAN, and is dedicated. A line, a network such as the Internet, VLS is a virtual language device, S-1 is a three-dimensional person image, and S-2 is a three-dimensional background image.
[0012]
The above object of the present invention can be achieved by the following (1) to (5).
[0013]
(1) In a language education apparatus configured by a computer for an educator, a computer for a learner, and a server connected by a network, a menu screen reception display means for receiving and displaying a menu screen on the computer for the educator; A download unit for downloading software from a server, a head-mounted display control unit for controlling output of a three-dimensional image to a head-mounted display, and an interrupt processing unit for performing an interrupt process are provided. It comprises a menu screen receiving and displaying means for receiving and displaying, a downloading means for downloading software from a server, a head mounted display controlling means for controlling output of a three-dimensional image to a head mounted display, and an interrupt processing means for performing an interrupt processing. On the server A virtual reality environment realizing means for outputting a three-dimensional image for realizing a virtual reality environment, a menu screen controlling means for controlling a menu screen, and an educator or a learner based on a login ID input from an educator or learner. Login ID / video-related means for controlling the output of a menu screen corresponding to the learner, three-dimensional video management means for managing three-dimensional video, scenario management means for selecting and managing a requested scenario, and deleting and editing messages , Equipped with a message deletion / editing / transmission control means for transmitting, enabling head-mounted display control means for a plurality of learners to conduct language education in a virtual reality environment using three-dimensional video and audio. A language teaching device characterized by that:
[0014]
(2) In the language education apparatus of the above (1), the server is provided with a learning history recording / reproducing means for recording or reproducing the learning history in the server, and includes rewinding or fast-forwarding the learning content selected and recorded. A language education apparatus characterized by being reproduced by learning history recording / reproduction means or reproduced with a model answer.
[0015]
(3) In the language education apparatus according to the above (1), an interrupt processing means is provided in a computer for an educator, and a message from the educator is transmitted to individual learners or all the learners. apparatus.
[0016]
(4) In the language education device of (1), the server is provided with an experience sharing means for sharing experiences in a virtual reality space, and the educator experiences the behavior of the learner from the same viewpoint as any learner, and A language education device characterized by that learners can share and experience the behavior of educators from the same viewpoint.
[0017]
(5) In the language teaching device of (1), an educator or a learner who uses a virtual reality environment for a server is registered, changed, or released in association with a computer graphic image registered in the language teaching device. A language education apparatus comprising a three-dimensional image management means, wherein the educator or the learner is displayed as an image of the computer graphic.
[0018]
According to the present invention, the following effects can be obtained.
[0019]
(1) By carrying out education or training in a three-dimensional virtual reality environment, a more realistic experience closer to the real world is possible, and the educational effect can be used as immediate skill. Also, even if the learner is in a remote place, the same level of language education as that of the learners in the collective classroom can be received, so the same educational effect can be expected, and the effect of reducing educational costs can be expected.
[0020]
(2) Not only the effect of learning or exercise but also the process of reaching the result can be reproduced and evaluated, so that the result of education and the like can be fed back, and the teaching material can be quickly optimized.
[0021]
(3) While using the language teaching apparatus, both the educator and the learner are isolated from the real world by the head-mounted display and the headphones. However, to transmit information to the educator and the learner, a three-dimensional image is used. The message can be displayed as a telop on the top. In addition, a message can be interrupted by voice and the message can be transmitted to the user.
[0022]
(4) Since the educator can share and experience the behavior of the learner from the same viewpoint as any learner, the educator can accurately check points to be improved by the learner. Conversely, since the learner can experience the educator's actions from the same viewpoint, it is possible to share the exchange between the educator and other learners and recognize the points that the learners should refer to for their own learning In each case, the learning effect can be enhanced.
[0023]
(5) When communicating in a virtual reality environment that can be provided by the present language teaching device, an educator and / or a learner can be registered and changed in association with a registered computer graphic image, thereby increasing the sense of reality. And the learning effect can be improved.
[0024]
DESCRIPTION OF THE PREFERRED EMBODIMENTS The outline of the present invention will be described with reference to FIG. In the present invention, a collective classroom is configured by the server 1, the educator's computer 2, the learner's computers 3-1, 3-2,. Are connected to the learner's computers 3-11, 3-12,... Provided at remote locations via a virtual language device VLS which is a logical classroom.
[0025]
The server 1 holds a computer graphic or a live-action three-dimensional person image S-1, a computer graphic or a live-action three-dimensional background image S-2 (in FIG. 1, a market image) and the like, and uses them as teaching materials.
[0026]
The educator and the learner use the headphones 4 with a microphone for stereo and the head-mounted display 5 for displaying a three-dimensional image to perform language education based on the three-dimensional image output from the server 1.
[0027]
An embodiment of the present invention will be described with reference to FIGS. 2 is an embodiment of the present invention, FIG. 3 is a screen transition diagram in the present invention, FIG. 4 is an operation flowchart in the present invention, FIG. 5 is an explanatory diagram of a menu screen in the present invention (part 1), and FIG. FIG. 7 is an explanatory view of a menu screen (part 2), and FIG. 7 is an explanatory view of a menu screen (part 3) in the present invention.
[0028]
2, the same parts as those in the other figures are denoted by the same reference numerals, 1 is a server, 2 is an educator's computer, 3 is a learner's computer, 4 is a headphone with a microphone, 5 is a head mounted display, and 10 is a CPU. , 11 is a virtual reality environment realizing means, 12 is a menu screen controlling means, 13 is a login ID / video related means, 14 is a three-dimensional video managing means, 15 is a scenario selection managing means, and 16 is a message deleting / editing / transmitting controlling means. , 17 are experience sharing means, 18 is learning history recording and reproducing means, 19 is an external storage device, 20 is a CPU, 21 is a menu screen reception display control device, 22 is a head mount display control means, 23 is an interrupt processing means, 24 is a virtual reality environment movement interrupt processing means, 25 is a download means, 26 is an external storage means, 30 is a CPU, 31 is a menu screen reception table Control means, a head mounted display control means 32, 33 is interrupt processing means, the 34 virtual reality environment moving interruption processing means 35 is downloading means, 36 is an external storage device.
[0029]
The server 1 holds a plurality of three-dimensional images used in the language education apparatus of the present invention and sends them to the learner based on the educator's request, or displays a menu screen based on the educator's login ID or the learner's login ID. CPU 10, virtual reality environment realizing means 11, menu screen controlling means 12, login ID / video related means 13, three-dimensional video managing means 14, scenario selecting managing means 15, message deleting / editing / transmitting controlling means 16, an experience sharing unit 17, and a learning history recording / reproducing unit 18, and an external storage device 19 is connected.
[0030]
The virtual reality environment realizing means 11 shows a function obtained by storing software for operating the CPU 10 as such means in a main memory (not shown). The same applies to the reproducing means 18.
[0031]
The virtual reality environment realizing means 11 includes a scenario selected and extracted from the external storage device 19 by the scenario selection managing means 15 and a three-dimensional human image S-1 by computer graphic, a three-dimensional background image S-2 by computer graphic or actual shooting, and the like. The learning and exercise images in the virtual real world are sent to the educator computer 2 and the learner computer 3.
[0032]
The menu screen control means 12 selectively reads out the menu screens shown in FIGS. 5 to 7 according to an instruction from the educator's computer 2 or the learner's computer 3 and sends out them.
[0033]
The login ID / video related means 13 decodes the ID that the educator or the learner enters when starting up his / her computer, outputs a menu screen corresponding to the educator's computer to the educator's computer, A menu screen corresponding to the output is output to the computer, and control is performed according to the menu screen. Note that all items 1 to 5 are output and displayed on the educator's computer 2 on the top menu screen M0 in FIG. 5 based on the decoding of the login ID. However, for the learner's computer, only items 1, 2, and 5 with a circle are displayed on the top menu screen M0, and items 3 and 4 are not displayed.
[0034]
The three-dimensional video management unit 14 registers a computer graphic image such as a character in the language teaching apparatus, or registers, changes, and releases an educator or a learner who uses a virtual reality environment in association with the computer graphic image. Things.
[0035]
When the educator is instructed on a learning scenario suitable for the learner, the scenario selection management means 15 reads the instructed scenario from the external storage device 19 in response to the instruction. The read scenario is output by the virtual reality environment realizing means 11 to a computer of a predetermined learner.
[0036]
The message deletion / editing / transmission control means 16 controls the editing, transmission, and deletion of already transmitted messages when the educator transmits a message to the learner. .
[0037]
The experience sharing means 17 allows the educator, for example, to experience the behavior of the learner from the same viewpoint as the learner in the virtual space, or to allow the learner to experience the behavior of the educator from the same viewpoint.
[0038]
The learning history recording / reproducing unit 18 is a reproducing unit that records the learning date and time and the learner's name on the learned teaching material, and has a function of fast-forwarding and rewinding the learning material. Depending on the learned learning material, a model answer is prepared. .
[0039]
The external storage device 19 holds software and various data required by the language education apparatus of the present invention, and stores, for example, data for a virtual reality environment, computer graphic images such as characters, and the like.
[0040]
The educator's computer 2 is used by the educator to select a scenario, create and output a message, set a sharing experience, instruct recording and playback, and support educators and learners with registered videos. The external storage device 26 includes a CPU 20, a menu screen reception display control unit 21, a head mounted display control unit 22, an interruption processing unit 23, a virtual reality environment movement interruption processing unit 24, and a download unit 25. Is connected.
[0041]
The menu screen reception display control means 21 outputs the top menu screen M0 shown in FIG. 5 corresponding to the educator's computer 2 by the server 1 by identifying the login ID at the time of start-up, and the educator selects based on this. , Processing, etc., the corresponding operation is performed.
[0042]
The menu screen reception display control means 21 indicates a function obtained by storing software that causes the CPU 20 to operate as such means in a main memory (not shown). 26 is also the same.
[0043]
The head-mounted display control unit 22 receives the three-dimensional video data and the three-dimensional sound data of the virtual reality environment output from the server 1, outputs the three-dimensional video data to the head-mounted display, and outputs the three-dimensional sound data. It is output to headphones with a microphone and reproduces a three-dimensional virtual reality environment.
[0044]
The interrupt processing unit 23 performs an interrupt process in setting a message distribution or a sharing experience, and is performed based on a display device such as a CRT or a liquid crystal installed on a desk.
[0045]
The virtual reality environment movement interruption processing means 24 performs processing for movement or interruption in a three-dimensional virtual reality environment. For example, the learner selects learning or exercise (self-study). Instructions are given by a keyboard or a mouse. Since this function is often used by learners, it is necessary for the learner's computer.However, the educator's computer and the learner's computer are basically configured with the same function. It has various means.
[0046]
The download unit 25 downloads software or data from the server 1. The educator's computer 2 and the learner's computer 3 store only basic software (OS), and communicate with the server 1 directly or download software or data from the server 1 when learning or performing various settings. And execute it.
[0047]
The external storage device 26 holds frequently used data. For example, a top menu screen, an educator, a learner setting screen, a scenario selection screen, and a message selection screen transmitted from the server 1 as shown in FIG. , A sharing setting screen, a recording / playback instruction screen, and the like.
[0048]
The learner's computer 3 is used by the learner to realize a virtual reality environment to obtain a highly realistic learning atmosphere. The learner's computer 3 includes a CPU 30, a menu screen reception display control means 31, a head mounted display control means 32, And an external storage device 36 connected thereto.
[0049]
The learner's computer 3 basically has the same function as the educator's computer 2, and the menu screen reception display control means 31 of the learner's computer 3 corresponds to the menu screen reception display control means 21 of the educator's computer 2. The head-mounted display control means 31 corresponds to the head-mounted display control means 22, the interruption processing means 33 corresponds to the interruption processing means 23, and the virtual reality environment movement interruption processing means 34 corresponds to the virtual reality environment movement interruption. Corresponding to the processing unit 24, the download unit 35 corresponds to the download unit 25, and they have the same function, and thus detailed description is omitted.
[0050]
The operation of the present invention will be described based on the flowchart shown in FIG.
[0051]
S0. Prior to the start of learning, the educator or learner turns on his or her educator computer or learner computer and performs a login ID. These login IDs are transmitted to the login ID / video related means 13 of the server 1, and the educator's computer 2 displays items 1 "to educator / learner setting screen" to item 5 "recording / playback instruction" shown in FIG. A top menu screen M0 displaying all five items “to screen” is output and displayed. The learner's computer 31 has three items, items 1, 2, and 5, in which item 3 “to the message selection screen” and item 4 “to the shared experience setting screen” are deleted from the top menu screen M0 shown in FIG. The displayed top menu screen is output by the login ID / video related means 13. When the selection control is performed on the educator's computer or the learner's computer, these top menu screens transition in response to the selection control. However, these top menu screens are usually output on the display surface of each computer.
[0052]
With the top menu screen M0 output, the educator selects item 1 “To educator, learner setting screen” using, for example, a keyboard. Thereby, the menu screen control means 12 of the server 1 reads the educator / learner setting screen M1 shown in FIG. 5 held in the external storage device 19, and displays it on the display unit (not shown) of the educator computer 2. indicate. For example, when the learner A is set as the registered video 4, if the learner A and the registered video 4 are selected and the registration key is touched, the learner A in the scenario is displayed by replacing the registered video 4 such as a character image. can do. Such a learner setting is performed before learning starts.
[0053]
S1. The educator and the learner wear the head-mounted display and the headphones with the microphone, and turn on the power.
[0054]
S2. The educator selects item 2 “to the scenario selection screen” from the top menu screen M0. As a result, the menu screen control means 12 reads the scenario selection screen M2 shown in FIG. 5 from the external storage device 19 and sends it to the educator computer 2. In the educator's computer 2, the menu screen reception display control means 21 controls reception display of the menu screen. The educator instructs the start from the scenario selection screen M2 and selects a scenario according to the learner. If the educator also participates in the scenario, select it. After selecting the scenario according to the learner and instructing the end, the top menu screen M0 is displayed again.
[0055]
S3. When the educator determines that the learning state should be recorded, the educator selects the item “record” on the scenario selection screen M2 shown in FIG. As a result, the learning history recording / reproducing means 18 records the scenario number and the recording date and time for each learner.
[0056]
S4. When the scenario is sent to the learner in the recording state as described above, the head-up display control means 32 outputs an image in a virtual environment, and the learning starts.
[0057]
S5. Thereafter, the learning in the virtual environment is terminated.
[0058]
S6. At that time, the recording is also terminated.
[0059]
S7. If recording is not selected in S3, the selected scenario is output to the learner, and learning in the virtual environment is started.
[0060]
S8. Thereafter, the learning in the virtual environment is terminated.
[0061]
When the learner wants to reproduce the learning state recorded in this way, for example, the item 5 “to the recording / reproduction instruction screen” of the top menu screen M0 is selected. As a result, the learning history recording / reproducing means 18 of the server 1 operates to read the recording / reproducing instruction screen M5-1 shown in FIG. 7 from the external storage device 19 and send it to the learner. In the learner's computer 3, this is received by the menu screen reception display control means 32 and displayed on a display unit (not shown).
[0062]
When the learner sees this and selects a scenario to be reproduced at the time of scenario / recording or the like, this is output from the server 1 and reproduced as shown in a recording / reproducing screen M5-2 in FIG. Note that this playback screen shows learning during conversation with a foreigner. When the reproduction is completed, the screen returns to the recording / reproduction instruction screen M5-1. Reproduction of a record is possible unless learning is in progress.
[0063]
During the learning, if the educator determines that it is better to have a shared experience in order to experience from the same viewpoint, this sharing setting can be implemented at any time. At the time of this sharing setting, the educator selects item 4 “to the sharing experience setting screen” from the top menu screen shown in FIG. Thereby, the sharing setting screen (active experience setting) M4-1 shown in FIG. 7 is output to the display unit of the educator's computer 2. This drawing shows that, for example, when three learners 1, 2, and 3 want to experience the experience of the educator 1 using the educator's computer 2, the learners 1, 2, and 3 are selected as the sharers, and are started. Instruct. Thereby, learners 1, 2, and 3 can experience from the same viewpoint as educator 1.
[0064]
When the educator 1 wants to experience from the same viewpoint as the learner, the passive is selected on the sharing setting screen M4-1 in FIG. As a result, a sharing setting screen (passive experience setting) M4-2 shown in FIG. 7 is output. When the educator 1 selects, for example, the learner 2 as the partner who wants to share the experience, the educator 1 selects this. . After that, if "active" is selected, the screen returns to the sharing setting screen M4-1 in FIG. 7 again.
[0065]
When setting the sharing experience during learning, it is kinder to send a message to the relevant person first.
[0066]
When a message is to be transmitted from the educator to the learner during the learning, the item 3 “to the message selection screen” is selected from the top menu screen M0 displayed on the educator's computer 2. As a result, the message deletion / editing / transmission control means 16 of the server 1 operates to output the message selection screen M3-1 shown in FIG. 6 from the external storage device 19, and displays this on the display unit of the educator computer 2. indicate.
[0067]
When the educator selects any one of the items of registration, change, and reference, the message editing screen M3-2 shown in FIG. 6 is transmitted from the server 1 to the educator computer 2 and displayed. Based on this, the number of the message being edited, the transmission means indicating whether the message is transmitted by video (telop) or by voice, the content of the message shown in the frame M, for example, "Instruction from educator A. Learning. Please remove the head mounted display and headphones. "
[0068]
When these predetermined inputs are completed, the educator selects a completed item. As a result, the message transmission screen M3-3 is transmitted from the server 1 and displayed.
[0069]
The educator inputs a notification destination and a message number from this screen M3-3, and selects a transmission item. As a result, the interrupt processing unit 23 performs a transmission process, and a message is transmitted to the learner by the head-mounted display control unit 32 in the learner's computer of the notification destination.
[0070]
FIG. 3 shows a transition diagram of the menu screen. The hatched portions are displayed only on the educator's computer 2 and are not displayed on the learner's computer 3.
[0071]
For example, the educator, learner setting screen M1, scenario selection screen M2, message selection screen M3-1, sharing setting screen M4-1, recording / playback instruction screen M5-1 are displayed on the educator's computer according to the selection state on the top menu screen M0. Can be displayed, but only one of the educator, the learner setting screen M1, the scenario selection screen M2, and the recording / reproducing instruction screen M5-1 can be displayed on the learner's computer. Returning to the top menu screen M0 when the end is selected on the instruction screen M5-1, displaying the recording / reproduction screen M5-2 when the reproduction is selected on the recording / reproduction instruction screen M5-1, and recording / reproduction screen M5- 2 indicates that the screen returns to the recording / reproduction instruction screen M5-1 when the end is selected.
[0072]
According to the present invention, the following effects can be obtained.
[0073]
(1) By carrying out education or training in a three-dimensional virtual reality environment, a more realistic experience closer to the real world is possible, and the educational effect can be used as immediate skill. Also, even if the learner is in a remote place, the same level of language education as that of the learners in the collective classroom can be received, so the same educational effect can be expected, and the effect of reducing educational costs can be expected.
[0074]
(2) Not only the learning or exercise results but also the process leading up to the results can be reproduced and evaluated, so that the results of education and the like can be fed back and the teaching materials can be quickly optimized.
[0075]
(3) While using the language teaching apparatus, both the educator and the learner are isolated from the real world by the head-mounted display and the headphones. However, to transmit information to the educator and the learner, a three-dimensional image is used. The message can be displayed as a telop on the top. In addition, a message can be interrupted by voice and the message can be transmitted to the user.
[0076]
(4) Since the educator can share and experience the behavior of the learner from the same viewpoint as any learner, the educator can accurately check points to be improved by the learner. Conversely, since the learner can experience the educator's actions from the same viewpoint, it is possible to share the exchange between the educator and other learners and recognize the points that the learners should refer to for their own learning In each case, the learning effect can be enhanced.
[0077]
(5) When communicating in a virtual reality environment that can be provided by the present language teaching device, an educator and / or a learner can be registered and changed in association with a registered computer graphic image, thereby increasing the sense of reality. And the learning effect can be improved.
[Brief description of the drawings]
FIG. 1 is a principle configuration diagram of the present invention.
FIG. 2 is an embodiment of the present invention.
FIG. 3 is a menu screen transition diagram in the present invention.
FIG. 4 is an operation flowchart according to the present invention.
FIG. 5 is an explanatory view (1) of a menu screen in the present invention.
FIG. 6 is an explanatory view (2) of a menu screen according to the present invention.
FIG. 7 is an explanatory view (3) of a menu screen in the present invention.
[Explanation of symbols]
1 server
2 Educator computer
3 Computer for learners
4 Headphones with microphone
5 Head mounted display
10 CPU
11 Virtual Reality Environment Realization Means
12 Menu screen control means
13 Login ID / Video related means
14 3D video management means
15 Scenario selection management means
16 Message deletion / editing / transmission control means
17 Experience sharing means
18 Learning history recording and playback means
19 External storage device

Claims

In an educator computer connected by a network, a learner computer, and a language education device configured by a server,
Educator computers include
Menu screen reception display means for receiving and displaying the menu screen;
Download means for downloading software from a server;
A head-mounted display control means for controlling the output of the three-dimensional image to the head-mounted display; and an interrupt processing means for performing an interrupt process.
Learner computers include:
Menu screen reception display means for receiving and displaying the menu screen;
Download means for downloading software from a server;
Head mounted display control means for controlling output of a three-dimensional image to the head mounted display;
An interrupt processing means for performing an interrupt process;
The server has
Virtual reality environment realizing means for outputting a three-dimensional image for realizing a virtual reality environment;
Menu screen control means for controlling the menu screen;
A login ID / video-related means for controlling output of a menu screen corresponding to the educator or the learner based on the login ID inputted from the educator or the learner;
Three-dimensional video management means for managing three-dimensional video,
Scenario management means for selecting and managing the requested scenario;
Equipped with message deletion / editing / transmission control means for deleting, editing and transmitting messages.
A language education apparatus characterized in that it is possible to implement language education in a virtual reality environment using three-dimensional video and audio for a plurality of learners using a head-mounted display control means.

2. The language education apparatus according to claim 1, wherein the server is provided with learning history recording / reproducing means for recording / reproducing a learning history in the server, and the learning history recording / reproducing includes rewinding or fast-forwarding the learning content selected and recorded. A language education apparatus characterized by being reproduced by means or reproduced with a model answer.

2. The language education apparatus according to claim 1, wherein an interrupt processing means is provided in a computer for the educator, and a message from the educator is transmitted to individual learners or all the learners.

2. The language education apparatus according to claim 1, wherein the server is provided with experience sharing means for sharing the experience in the virtual reality space, and the educator shares and experiences the behavior of the learner from the same viewpoint as an arbitrary learner. A language education device that allows learners to share behaviors from the same viewpoint.

3. The three-dimensional image management system according to claim 1, wherein an educator or a learner who uses a virtual reality environment for the server is registered, changed, or released in association with a computer graphic image registered in the language education device. Means for displaying the educator or the learner as an image of the computer graphic.