JP2019152761A - Foreign language learning support system, foreign language learning support method and foreign language learning support program - Google Patents
Foreign language learning support system, foreign language learning support method and foreign language learning support program Download PDFInfo
- Publication number
- JP2019152761A JP2019152761A JP2018038085A JP2018038085A JP2019152761A JP 2019152761 A JP2019152761 A JP 2019152761A JP 2018038085 A JP2018038085 A JP 2018038085A JP 2018038085 A JP2018038085 A JP 2018038085A JP 2019152761 A JP2019152761 A JP 2019152761A
- Authority
- JP
- Japan
- Prior art keywords
- data
- content
- user
- foreign language
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明の実施形態は、外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムに関する。 Embodiments described herein relate generally to a foreign language acquisition support system, a foreign language acquisition support method, and a foreign language acquisition support program.
英語などの外国語の習得において、一般的に、以下の仕組みが実施されている。
・生徒の現在のレベルに応じた学習内容のアレンジなどの教材の工夫
・熟練の講師やトレーナーによるコミュニケーションなどの教師の工夫
・外国語オンリーの環境を作ったり、会話の機会を増やしたりするなどの環境の工夫
語学学習方法に関して、コンピュータプログラムを利用して共同学習及びコミュニケーションのバーチャル環境を作り出し、言語の種類と語学レベルとに基づき、外国語能力に制限されることも、語学レベルの不一致といったコミュニケーション上の障害もなく、初級から上級レベルまで、上記言語の単語、文法、語法などを学習可能とすることによって、語学学習者の上記言語の会話、聞き取り、読み書きの能力を高める技術が知られている(例えば、特許文献1参照)。
In general, the following mechanisms are used to acquire foreign languages such as English.
・ Education of teaching materials such as arrangement of learning contents according to the current level of students ・ Teaching of teachers such as communication by skilled instructors and trainers ・ Create a foreign language-only environment, increase conversation opportunities, etc. Contriving the environment For language learning methods, create a virtual environment for collaborative learning and communication using a computer program. Based on the type of language and language level, it is restricted to foreign language ability, and communication such as language level mismatch. There is a technology that improves the language learner's ability to speak, listen, and read and write in the above language by enabling students to learn words, grammar, and grammar in the above language from beginner to advanced level without any obstacles. (For example, refer to Patent Document 1).
英語などの外国語の習得において実施されている仕組みは、いずれも外国語を、その外国語を母国語とするネイティブに似せて話せるように、生徒に努力をさせるタイプのものである。この仕組みは、絶対に到達できない場所に可能な限り近づくために、生徒に頑張らせるような行為であり、費用対効果が非常に低い。
上記事情に鑑み、本発明は、ユーザに、ネイティブの学習過程と同じ過程で、外国語を学習させることができる外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムを提供することを目的とする。
All of the mechanisms implemented in the acquisition of foreign languages such as English are of the type that encourages students to speak a foreign language to resemble the native language of the foreign language. This mechanism is an act that encourages students to work as close as possible to a place that is never reachable, and is very cost-effective.
In view of the above circumstances, the present invention provides a foreign language acquisition support system, a foreign language acquisition support method, and a foreign language acquisition support program that allow a user to learn a foreign language in the same process as a native learning process. With the goal.
本発明の一態様は、バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとを記憶する記憶部と、前記記憶部に記憶された前記バーチャルリアリティ素材データと前記シナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するコンテンツ生成用データ生成部と、前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出する導出部とを備え、前記コンテンツ生成用データ生成部は、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成する、外国語習得支援システムである。 One aspect of the present invention is a storage unit that stores virtual reality material data that is data for creating an environment by virtual reality, and scenario material data that is a story that a user experiences in an environment created by virtual reality; Content generation for generating data for generating content that is data for generating content for allowing the user to learn a foreign language based on the virtual reality material data and the scenario material data stored in the storage unit Based on biometric information acquired while the user is experiencing the content and the data generation unit, the user derives a personality growth level that is a sensitivity growth level corresponding to the foreign language A data generation unit for content generation. , Further based on the personality growth frequency, to generate the next content generation for the data, it is a foreign language learning support system.
本発明の一態様は、上記の外国語習得支援システムであって、前記コンテンツ生成用データに基づいて、前記ユーザへ提供するバーチャルリアリティコンテンツを生成するバーチャルリアリティコンテンツ生成部を備える。 One aspect of the present invention is the foreign language acquisition support system described above, which includes a virtual reality content generation unit that generates virtual reality content to be provided to the user based on the content generation data.
本発明の一態様は、上記の外国語習得支援システムであって、前記記憶部は、バーチャルリアリティ素材データと、シナリオ素材データとを複数記憶し、前記コンテンツ生成用データ生成部は、前記導出部が導出した前記人格成長度数に基づいて、前記記憶部に記憶されている複数のバーチャルリアリティ素材データと、複数のシナリオ素材データとから、前記ユーザへ提供するバーチャルリアリティ素材データと、シナリオ素材データとを抽出し、抽出したバーチャルリアリティ素材データとシナリオ素材データとに基づいて、コンテンツ生成用データを生成する。 One aspect of the present invention is the foreign language acquisition support system, wherein the storage unit stores a plurality of virtual reality material data and scenario material data, and the content generation data generation unit is the derivation unit. Based on the personality growth degree derived from the virtual reality material data stored in the storage unit and a plurality of scenario material data, virtual reality material data provided to the user, scenario material data, , And content generation data is generated based on the extracted virtual reality material data and scenario material data.
本発明の一態様は、上記の外国語習得支援システムであって、前記導出部は、前記人格成長度数に応じた補助器具を使用した前記ユーザが、前記コンテンツを体験している間に取得される生体情報に基づいて、人格成長度数を導出する。 One aspect of the present invention is the foreign language acquisition support system described above, wherein the derivation unit is acquired while the user using the auxiliary device according to the personality growth degree is experiencing the content. The personality growth frequency is derived based on the biological information.
本発明の一態様は、上記の外国語習得支援システムであって、前記導出部は、前記ユーザが、前記コンテンツを体験している間に、撮像された動画と、録音された音声とに基づいて、人格成長度数を導出する。 One aspect of the present invention is the foreign language acquisition support system described above, wherein the derivation unit is based on a moving image captured and sound recorded while the user is experiencing the content. Deriving the personality growth rate.
本発明の一態様は、上記の外国語習得支援システムであって、前記導出部は、前記ユーザが、前記動画と前記音声とを視聴している間に取得される生体情報に基づいて、人格成長度数を導出する。 One aspect of the present invention is the foreign language acquisition support system, wherein the derivation unit is based on biometric information acquired while the user is viewing the video and the audio. Deriving the growth frequency.
本発明の一態様は、コンピュータが実行する外国語習得支援方法であって、バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップとを有する、外国語習得支援方法である。 One aspect of the present invention is a foreign language acquisition support method executed by a computer, which is virtual reality material data that is data for creating an environment by virtual reality, and a story that a user experiences in an environment created by virtual reality And generating the content generation data, which is data for generating content for allowing the user to learn a foreign language, based on the scenario material data, and the user is experiencing the content. Based on the biometric information acquired in the meantime, the user derives the personality growth level that is the sensitivity growth level corresponding to the foreign language, and further based on the personality growth level, for the next content generation Foreign language acquisition support method comprising the step of generating data It is.
コンピュータに、バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップとを実行させる、外国語習得支援プログラムである。 Based on virtual reality material data, which is data for creating an environment with virtual reality, and scenario material data, which is a story that the user experiences in the environment created by virtual reality, the user is taught a foreign language. Generating content generation data that is data for generating content to be generated, and based on biometric information acquired while the user is experiencing the content, the user A foreign language acquisition support program that executes a step of deriving a personality growth level which is a growth level of sensibility corresponding to words and a step of generating data for the next generation of content based further on the personality growth level .
本発明の実施形態によれば、ユーザに、ネイティブの学習過程と同じ過程で、外国語を学習させることができる外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムを提供できる。 According to the embodiment of the present invention, it is possible to provide a foreign language acquisition support system, a foreign language acquisition support method, and a foreign language acquisition support program that allow a user to learn a foreign language in the same process as a native learning process.
次に、本実施形態の外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
Next, the foreign language acquisition support system, foreign language acquisition support method, and foreign language acquisition support program of this embodiment will be described with reference to the drawings. Embodiment described below is only an example and embodiment to which this invention is applied is not restricted to the following embodiment.
Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiments, and the repetitive description will be omitted.
Further, “based on XX” in the present application means “based on at least XX”, and includes a case based on another element in addition to XX. Further, “based on XX” is not limited to the case where XX is directly used, but also includes the case where it is based on an operation or processing performed on XX. “XX” is an arbitrary element (for example, arbitrary information).
(実施形態)
(外国語習得支援システム)
図1は、実施形態の外国語習得支援システム10の一例を示す図である。
実施形態の外国語習得支援システム10は、コンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、補助器具350と、センサー400と、出力端末300aとを備える。コンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300aとの間は、インターネットなどのネットワーク50を介して、有線又は無線で接続される。コンテンツ出力装置200と、出力端末300との間は、無線LANなどのネットワークを介して接続される。
コンテンツ出力装置200と、出力端末300と、補助器具350と、センサー400とは、外国語教室などの施設60に設置される。以下、外国語の一例として、英語の場合について説明を続ける。
(Embodiment)
(Foreign language acquisition support system)
FIG. 1 is a diagram illustrating an example of a foreign language
The foreign language
The
ユーザ(生徒)に、英語ネイティブで第二の人生を送ると仮定した場合に、家庭環境、習得方向性、好みなどの要望について、アンケートや、ヒアリングが行われる。外国語習得支援システム10の操作者は、アンケートや、ヒアリングの結果を、コンテンツ生成サーバ100へ入力する。
コンテンツ生成サーバ100は、操作者が入力したアンケートや、ヒアリングの結果に基づいて、バーチャルリアリティ(VR: virtual reality)素材データと、シナリオ素材データとを選択する。バーチャルリアリティ素材データと、シナリオ素材データとは、それぞれ、事前に様々なシチュエーションを想定して、多数用意されている。
コンテンツ生成サーバ100は、選択したバーチャルリアリティ素材データとシナリオ素材データとから、人生再現コンテンツ生成用データを生成する。ここで、バーチャルリアリティ素材データは、バーチャルリアリティによって作り出される素材(環境)を表すデータである。バーチャルリアリティとは、コンピュータを用いて人工的な環境を作り出し、ユーザの五感を通してあたかもそこにいるかのように感じさせる技術であり、仮想現実、人工現実感とも呼ばれる。バーチャルリアリティの一例は、ユーザに、幼児期からの人生を、再体験させるための環境である。シナリオ素材データは、バーチャルリアリティによって作り出される素材(環境)でユーザに、外国語(英語)を使用して体験させるストーリーの素材を表すデータである。人生再現コンテンツ生成用データは、ユーザに、幼児期からの人生を再体験させるためのコンテンツを生成するためのデータであり、ユーザIDと、バーチャルリアリティ素材データと、そのシナリオ素材データと、ユーザIDと、レッスンの日時情報と、講師IDとを含む。コンテンツ生成サーバ100は、生成した人生再現コンテンツ生成用データを記憶する。
When it is assumed that the user (student) is going to have a second life in English, questionnaires and interviews are conducted regarding requests such as home environment, learning direction, and preferences. The operator of the foreign language
The
The
英語のレッスンは、施設60で行われる。英語のレッスンの開始に先立って、コンテンツ出力装置200を起動させる。コンテンツ出力装置200は、ネットワーク50を経由して、コンテンツ生成サーバ100と接続する。コンテンツ出力装置200は、コンテンツ生成サーバ100に、レッスンを受けるユーザの人生再現コンテンツ生成用データを要求する。コンテンツ生成サーバ100は、コンテンツ出力装置200が要求したユーザの人生再現コンテンツ生成用データを、コンテンツ出力装置200へ送信する。コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データは、ネットワーク50を経由して、コンテンツ出力装置200へ送信される。
English lessons are held at
コンテンツ出力装置200は、コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データを受信し、受信した人生再現コンテンツ生成用データから、バーチャルリアリティコンテンツ(以下「VRコンテンツ」という)と、講師用台本とを生成する。VRコンテンツは、実際に、ユーザがバーチャルリアリティによって作り出される環境で、見たり聞いたりするグラフィックや、サウンドである。講師用台本は、講師が、レッスンの進行に伴って、ユーザに確認するために随時使用する。講師用台本は、シナリオ素材データに基づいて、タイムライン、台詞原稿、アクション指示などが記載されている。コンテンツ出力装置200は、生成したVRコンテンツを出力端末300へ送信する。講師は、コンテンツ出力装置200が生成した講師用台本を取得する。
出力端末300は、コンテンツ出力装置200が送信したVRコンテンツを受信する。出力端末300は、バーチャルリアリティヘッドセット、ヘッドマウントディスプレイ(Head Mounted Display: HMD)などのウェアラブルコンピュータ(wearable computer)によって実現される。出力端末300は、受信したVRコンテンツを実行(再生)する。出力端末300を装着したユーザは、バーチャルリアリティによって作り出される環境で、グラフィックを見たり、サウンド聞いたり、物に触ったり、食べ物を味わったり、においを感じたりする。講師は、コンテンツ出力装置200から取得した講師用台本にしたがって、ユーザにアクション指示などを行う。
The
The
ユーザは、出力端末300を装着し、出力端末300がVRコンテンツを実行する。ユーザは、バーチャルリアリティによって作り出される環境の認知や、講師から指示を受けることによって、幼児期からの人生を再体験する。ユーザに、幼児期からの人生を再体験させる場合に、講師は、視覚的効果や、対話の他に、こどもの時代に特有の行動制限を物理的に再現させるために、ユーザに補助器具の使用を指示する。ここで、こどもの時代に特有の行動制限には、身長が低いこと、力が弱いこと、お金を持っていないことなどが含まれる。また、ユーザに、幼児期からの人生を再体験させる場合に、講師は、料理の味に応じて認識される感覚である味覚や、冷たい物を触った場合に知覚される感覚である触覚などを再現あるいは付与する補助器具を併用することを指示する場合もある。このように、ユーザに、補助器具を併用させることによって、ユーザが幼児期からの人生を再体験する効果を高めることができる。
The user wears the
出力端末300は、脳波センサー、脈拍センサーなど計測装置が実装され、実装された脳波センサー、脈拍センサーなどの計測装置によって、ユーザが、幼児期からの人生を再体験している間と再体験後の脳波、脈拍などの生体情報が取得される。出力端末300は、取得したユーザの脳波、脈拍などの生体情報を、コンテンツ生成サーバ100へ送信する。
センサー400は、ユーザが、幼児期からの人生を再体験している間と再体験後の反応結果を取得し、取得した反応結果を、コンテンツ生成サーバ100へ送信する。具体的には、センサー400は、撮像装置、マイクロフォンなどを含む。センサー400は、ユーザが、幼児期からの人生を再体験している間と再体験後に動画を撮像するとともに、音声を録音し、撮像した動画と、録音した音声とを含む反応結果を、コンテンツ生成サーバ100へ送信する。コンテンツ生成サーバ100は、センサー400が送信した反応結果を記憶する。
The
The
また、講師は、ユーザが、幼児期からの人生を再体験している間に、応答できていたか、応答できていた場合に、その応答の反応速度などの主観的な評価である講師判断結果を作成する。講師が作成した講師判断結果は、コンテンツ生成サーバ100へ入力される。
出力端末300aは、レッスンを受けたユーザが、レッスンの内容を反芻するために使用する。コンテンツ生成サーバ100は、レッスンの終了後、所定の周期で、出力端末300aへアラームを鳴らす情報を送信する。出力端末300aは、コンテンツ生成サーバ100が送信したアラームを鳴らす情報を受信し、受信したアラームを鳴らす情報にしたがって、ユーザへ、レッスン内容を反芻することを通知する。ユーザは、レッスン内容を反芻する場合には、反芻用の動画と音声とを再生する操作を行う。出力端末300aに対して、反芻用の動画と音声とを再生する操作が行われた場合、出力端末300aは、動画と音声とを再生する情報である再生情報を、コンテンツ生成サーバ100へ送信する。コンテンツ生成サーバ100は、出力端末300aが送信した再生情報を受信し、受信した再生情報に応じて、動画と音声とを表す情報を、出力端末300aへ送信する。
In addition, if the instructor was able to respond or responded while re-experiencing life from early childhood, the result of instructor judgment is a subjective evaluation such as the response speed of the response. Create The instructor determination result created by the instructor is input to the
The
ユーザは、出力端末300aを装着する。出力端末300aが動画と音声とを再生することで、ユーザは、レッスン時の体験を呼び起こしたり、反芻したりする。
出力端末300aは、脳波センサー、脈拍センサーなど計測装置が実装され、実装された脳波センサー、脈拍センサーなどの計測装置によって、ユーザが、動画と音声と視聴することによって、レッスン時の体験を呼び起こしている間の脳波、脈拍などの生体情報が取得される。出力端末300aは、取得したユーザの脳波、脈拍などの生体情報を、コンテンツ生成サーバ100へ送信する。
コンテンツ生成サーバ100は、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、講師から取得した講師判断結果と、出力端末300aが送信した生体情報とに基づいて、英語で対応する感性の成長レベルである人格成長度数を導出する。コンテンツ生成サーバ100は、導出した人格成長度数に基づいて、バーチャルリアリティ素材データと、シナリオ素材データとを選択する。コンテンツ生成サーバ100は、選択したバーチャルリアリティ素材データと、シナリオ素材データとから、(次回の)人生再現コンテンツ生成用データを生成する。
以下、外国語習得支援システム10を構成するコンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、出力端末300aとについて、説明する。
The user wears the
The
The
Hereinafter, the
(コンテンツ生成サーバ100)
図2は、実施形態の外国語習得支援システム10に含まれるコンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、出力端末300aとの一例を示すブロック図である。図2を参照して、コンテンツ生成サーバ100について説明する。
コンテンツ生成サーバ100は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。
コンテンツ生成サーバ100は、例えば、通信部110と、入力部120と、情報処理部130と、記憶部140とを備える。
通信部110は、通信モジュールによって実現される。通信部110はネットワーク50を介して、外部の通信装置と通信する。通信部110は、例えば無線LAN(Local Area Network)、有線LAN、ブルートゥース(Bluetooth)(登録商標)又はLTE(Long Term Evolution)(登録商標)などの通信方式で通信してもよい。通信部110は、コンテンツ出力装置200が送信した人生再現コンテンツ生成用データを要求する信号である人生再現コンテンツ生成用データ要求を受信し、受信した人生再現コンテンツ生成用データ要求を、情報処理部130へ出力する。通信部110は、人生再現コンテンツ生成用データ要求に対して、情報処理部130が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、コンテンツ出力装置200へ送信する。また、通信部110は、センサー400が送信した反応結果を受信し、受信した反応結果を、情報処理部130へ出力する。また、通信部110は、出力端末300が送信した生体情報を受信し、受信した生体情報を、情報処理部130へ出力する。
また、通信部110は、情報処理部130が出力したアラームを鳴らす情報を、出力端末300aへ送信する。また、通信部110は、出力端末300aが送信した動画再生情報を受信し、受信した動画再生情報を、情報処理部130へ出力する。また、通信部110は、情報処理部130が出力する動画を表す情報を、出力端末300aへ送信する。また、通信部110は、出力端末300aが送信する生体情報を受信し、受信した生体情報を、情報処理部130に出力する。
(Content generation server 100)
FIG. 2 is a block diagram illustrating an example of the
The
The
The communication unit 110 is realized by a communication module. The communication unit 110 communicates with an external communication device via the
In addition, the communication unit 110 transmits information for sounding the alarm output from the
入力部120は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。入力部120は、入力装置を用いて入力された情報を、情報処理部130へ出力する。入力部120は、入力装置をコンテンツ生成サーバ100に接続するためのインタフェースであってもよい。この場合、入力部120は、入力装置に入力された入力信号から入力データ(例えば、コンテンツ生成サーバ100に対する指示を示す指示情報)を生成し、コンテンツ生成サーバ100に入力する。
具体的には、入力部120には、ユーザの初期データが入力され、入力された初期データは、情報処理部130へ出力される。ここで、初期データの一例は、ユーザへのアンケートやヒアリングを通じて取得される。具体的には、ユーザに、英語ネイティブで第二の人生を送ると仮定した場合に、家庭環境、習得方向性、好みなどの要望について、アンケートやヒアリングが行われる。入力部120は、アンケートやヒアリングの結果を、初期データとして取得する。例えば、家庭環境の例として、千葉県在住、3LDKマンションに住む家庭、二人のこども、男性、父親はIT企業勤務で年収800万、8時に家を出て22時に帰宅、母親は専業主婦、趣味はスマホでディズニーツムツムと料理、地域のママさんコミュニティに積極参加で交流多めなどの情報が取得される。また、習得方向性の例として、海外駐在での日常生活に支障がない程度の意志疎通が当面の目標であることを示す情報と、その先は仕事における会議で日本語と同じ品質で自身のビジネストークができることを目指すことを示す情報とが取得される。また、好みの例として、好きな食べ物を示す情報が取得される。
また、入力部120には、講師が作成した講師判断結果が入力され、入力された講師判断結果は、情報処理部130へ出力される。
The input unit 120 is configured using an input device such as a touch panel, a mouse, and a keyboard. The input unit 120 outputs information input using the input device to the
Specifically, user initial data is input to the input unit 120, and the input initial data is output to the
In addition, the instructor determination result created by the instructor is input to the input unit 120, and the input instructor determination result is output to the
記憶部140は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部140の一部または全部は、コンテンツ生成サーバ100の一部として設けられる場合に代えて、NAS(Network Attached Storage)や外部のストレージサーバなど、コンテンツ生成サーバ100のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部140には、情報処理部130により実行されるプログラムと、入力部120が出力した初期データと、センサー400が送信した反応結果と、VR素材データDB150と、シナリオ素材データDB160と、人格成長度判定リスト170と、人生再現コンテンツ生成用データDB180と、動画DB190とが記憶される。
The
VR素材データDB150は、バーチャルリアリティによって作り出される素材(環境)を表すデータであるバーチャルリアリティ素材データを複数記憶する。具体的には、バーチャルリアリティ素材データは、幼児期からの成長過程に応じて、人間が体験すると想定される環境を作り出すためのデータである。例えば、VR素材データの一例は、子供部屋を作り出すためのデータ、台所を作り出すためのデータ、公園を作り出すためのデータ、お店を作り出すためのデータである。
シナリオ素材データDB160は、バーチャルリアリティによって作り出される素材(環境)でユーザに、外国語(英語)を使用して体験させるストーリーの素材を表すデータであるシナリオ素材データを複数記憶する。
人格成長度判定リスト170は、英語で対応する感性の成長レベルである人格成長度数を導出するために使用するリストである。人格成長度判定リスト170は、人格成長度を定性的に分析し、分析結果を、生体情報と、音声と、動画と、講師の講師判断結果との各々について、定義したものである。例えば、人格成長度数は、成長度数1、成長度数2、・・・に分類される。ここで、成長度数1は、言葉は正確ではないが、意思は伝わるレベルである。成長度数2は、一つの単語であれば、ある程度正確に表現できるが、二つの単語は繋げることができないレベルである。成長度数が、成長度数1から増加するにしたがって、英語で対応する感性の成長レベルは高くなる。
人生再現コンテンツ生成用データDB180は、人生再現コンテンツ生成用データを記憶する。人生再現コンテンツ生成用データは、前述したように、バーチャルリアリティ素材データと、そのシナリオ素材データと、ユーザIDと、レッスンの日時情報と、講師IDとを含む。
動画DB190は、出力端末300が送信した反応結果に含まれる動画と音声とを、ユーザIDと関連付けて記憶する。
The VR
The scenario material data DB 160 stores a plurality of scenario material data, which are materials (situations) created by virtual reality and that represent the material of a story that a user can experience using a foreign language (English).
The personality growth
The life reproduction content
The moving
情報処理部130は、例えば、CPU(Central Processing Unit)などのプロセッサが記憶部140に格納されたプログラムを実行することにより実現される機能部(以下、ソフトウェア機能部と称する)である。なお、情報処理部130の全部または一部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部130は、例えば、取得部132と、生成部134と、導出部136と、処理部138とを備える。
取得部132は、入力部120が出力した初期データを取得し、取得した初期データを、記憶部140に出力するとともに、生成部134へ出力する。また、取得部132は、通信部110が出力する人生再現コンテンツ生成用データ要求を取得し、取得した人生再現コンテンツ生成用データ要求に基づいて、記憶部140に記憶されている人生再現コンテンツ生成用データDB180に含まれる人生再現コンテンツ生成用データのうち、人生再現コンテンツ生成用データ要求に含まれるユーザIDに該当する人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、通信部110へ出力する。
また、取得部132は、通信部110が出力する生体情報を取得し、取得した生体情報を、導出部136へ出力する。また、取得部132は、通信部110が出力する反応結果を取得し、取得した反応結果を、導出部136へ出力する。また、取得部132は、入力部120が出力した講師判断結果を取得し、取得した講師判断結果を、生成部134へ出力する。
また、取得部132は、通信部110が出力する出力端末300aが送信した生体情報を取得し、取得した生体情報を、導出部136へ出力する。また、取得部132は、通信部110が出力した再生情報を取得し、取得した再生情報を、処理部138へ出力する。
The
The
The
Further, the
In addition, the
生成部134は、取得部132が出力した初期データを取得し、取得した初期データに基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。VR素材データDB150に含まれる複数のバーチャルリアリティ素材データの各々には、条件検索で使用するキーワードが予め設定されている。生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データからヒットするバーチャルリアリティ素材データを抽出する。
また、シナリオ素材データDB160に含まれる複数のシナリオ素材データの各々には、条件検索で使用するキーワードが予め設定されている。生成部134は、シナリオ素材データDB160に含まれるシナリオ素材データからヒットするシナリオ素材データを抽出する。
生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データとに基づいて、人生再現コンテンツ生成用データを生成する。生成部134は、生成した人生再現コンテンツ生成用データを、記憶部140の人生再現コンテンツ生成用データDB180に記憶する。
The
In addition, keywords used in the condition search are set in advance in each of the plurality of scenario material data included in the scenario material data DB 160. The
The
導出部136は、入力部120が出力する講師判断結果と、取得部132が出力する出力端末300が送信した生体情報と出力端末300aが送信した生体情報とのいずれか一方又は両方と、反応結果とを取得し、取得した講師判断結果と、生体情報と、反応結果とに基づいて、人格成長度数を導出する。具体的には、導出部136には、英語ネイティブの生体情報が記憶されている。導出部136は、取得部132が出力した出力端末300が送信した生体情報と出力端末300aが送信した生体情報とのいずれか一方又は両方と、記憶している英語ネイティブの生体情報とを比較し、比較結果と、講師判断結果と、反応結果とに基づいて、人格成長度数を導出する。この場合、導出部136は、取得部132が出力した出力端末300が送信した生体情報と出力端末300aが送信した生体情報とのいずれか一方又は両方と、記憶している英語ネイティブの生体情報との類似度を導出し、導出した類似度に基づいて、人格成長度数を導出する。例えば、導出部136は、生体情報として、脳波が使用された場合には、導出部136は、活性化している箇所の類似度を算出し、導出した類似度に基づいて、人格成長度数を導出してもよい。導出部136は、導出した人格成長度数を示す情報を生成部134へ出力する。
The
生成部134は、導出部136が出力した人格成長度数を示す情報を取得し、取得した人格成長度数に基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データから、人格成長度数に合ったVR素材データを抽出する。生成部134は、シナリオ素材データDB160に含まれる複数のシナリオ素材データから、人格成長度数に合ったシナリオ素材データを抽出する。生成部134は、抽出したVR素材データと、シナリオ素材データとに基づいて、(次回の)人生再現コンテンツ生成用データを生成する。生成部134は、生成した人生再現コンテンツ生成用データを、記憶部140に記憶する。
処理部138は、レッスンが終了してから、所定の周期で、アラームを鳴らす情報を生成し、生成したアラームを鳴らす情報を、通信部110へ出力する。処理部138は、通信部110が出力した再生情報に含まれるユーザIDに基づいて、記憶部140の動画DB190から、そのユーザIDに関連付けて記憶されている動画と音声とを取得する。処理部138は、取得した動画と音声とを表す情報を、通信部110へ出力する。
The
The
(コンテンツ出力装置200)
図2を参照して、コンテンツ出力装置200について説明する。
コンテンツ出力装置200は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータなどの装置によって実現される。
コンテンツ出力装置200は、例えば、通信部210と、情報処理部230と、記憶部240とを備える。
通信部210は、通信モジュールによって実現される。通信部210はネットワーク50を介して、外部の通信装置と通信する。通信部210は、例えば無線LAN、有線LAN、ブルートゥース又はLTEなどの通信方式で通信してもよい。通信部210は、情報処理部230が出力した人生再現コンテンツ生成用データ要求を、コンテンツ生成サーバ100へ送信する。また、通信部210は、送信した人生再現コンテンツ生成用データ要求に対して、コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データを受信し、受信した人生再現コンテンツ生成用データを、情報処理部230へ出力する。
また、通信部210は、情報処理部230が出力したVRコンテンツを、出力端末300へ送信する。
(Content Output Device 200)
The
The
The
The
Further, the
記憶部240は、例えば、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部240の一部または全部は、コンテンツ出力装置200の一部として設けられる場合に代えて、NASや外部のストレージサーバなど、コンテンツ出力装置200のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部240には、情報処理部230により実行されるプログラムが記憶される。
The
情報処理部230は、例えば、CPUなどのプロセッサが記憶部240に格納されたプログラムを実行することにより実現されるソフトウェア機能部である。なお、情報処理部230の全部または一部は、LSI、ASIC、またはFPGAなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部230は、例えば、取得部232と、生成部234とを備える。
取得部232は、人生再現コンテンツ生成用データ要求を生成し、生成した人生再現コンテンツ生成用データ要求を、通信部210へ出力する。人生再現コンテンツ生成用データ要求には、レッスンを受けるユーザのユーザIDが含まれる。また、取得部232は、通信部210へ出力した人生再現コンテンツ生成用データ要求に対して、通信部210が出力する人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、生成部234へ出力する。
The
The
The
生成部234は、取得部232が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データに含まれるバーチャルリアリティ素材データと、シナリオ素材データとに基づいて、VRコンテンツと、講師用台本とを生成する。生成部234は、生成したVRコンテンツを、通信部210へ出力する。生成部234は、生成した講師用台本を、講師へ提供する。具体的には、生成部234は、講師用台本を表す情報を、通信部210へ出力し、通信部210は、生成部234が出力した講師用台本を表す情報を、講師が所持する端末装置(図示なし)へ送信するようにしてもよい。また、生成部234は、講師用台本を表す情報を、画像形成装置へ出力し、画像形成装置は、生成部234が出力した講師用台本を印刷するようしてもよい。そして、講師は、印刷された講師用台本を取得する。
The
(出力端末300)
図2を参照して、出力端末300について説明する。
出力端末300は、バーチャルリアリティヘッドセット、ヘッドマウントディスプレイなどのウェアラブルコンピュータによって実現される。
出力端末300は、例えば、通信部310と、情報処理部330と、記憶部340とを備える。
通信部310は、通信モジュールによって実現される。通信部310はネットワーク50を介して、外部の通信装置と通信する。通信部310は、例えば無線LAN、有線LAN、ブルートゥース又はLTEなどの通信方式で通信してもよい。通信部310は、コンテンツ出力装置200が送信したVRコンテンツを受信し、受信したVRコンテンツを、情報処理部330へ出力する。また、通信部310は、情報処理部330が出力したユーザIDを含む生体情報を、コンテンツ生成サーバ100へ送信する。
(Output terminal 300)
The
The
The
The
記憶部340は、例えば、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部340の一部または全部は、出力端末300の一部として設けられる場合に代えて、NASや外部のストレージサーバなど、出力端末300のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部340には、情報処理部330により実行されるプログラムが記憶される。
The
情報処理部330は、例えば、CPUなどのプロセッサが記憶部340に格納されたプログラムを実行することにより実現されるソフトウェア機能部である。なお、情報処理部330の全部または一部は、LSI、ASIC、またはFPGAなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部330は、例えば、取得部332と、処理部338とを備える。
取得部332は、通信部310が出力したVRコンテンツを取得し、取得したVRコンテンツを処理部338へ出力する。また、取得部332は、ユーザが、幼児期からの人生を再体験している間の脳波、脈拍などの生体情報を取得することによって、レッスン状況のモニタリングを行い、ユーザIDとともに、取得した生体情報を通信部310へ出力する。
処理部338は、取得部332が出力したVRコンテンツを取得し、取得したVRコンテンツを実行することによって、バーチャルリアリティによって、環境を作り出す。
The
The
The
The
(出力端末300a)
図2を参照して、出力端末300aについて説明する。
出力端末300aは、バーチャルリアリティヘッドセット、ヘッドマウントディスプレイなどのウェアラブルコンピュータによって実現される。
出力端末300aは、例えば、通信部310aと、情報処理部330aと、記憶部340aとを備える。
通信部310aは、出力端末300の通信部310を適用できる。ただし、通信部310aは、コンテンツ生成サーバ100が送信したアラームを鳴らす情報を受信し、受信したアラームを鳴らす情報を、情報処理部330aへ出力する。また、通信部310aは、情報処理部330aが出力した動画再生情報を取得し、取得した動画再生情報を、コンテンツ生成サーバ100へ送信する。また、通信部310aは、コンテンツ生成サーバ100が送信した動画を表す情報を受信し、受信した動画を表す情報を、情報処理部330aへ出力する。また、通信部310aは、情報処理部330aが出力した生体情報を、コンテンツ生成サーバ100へ送信する。
(
The
The
The
The communication unit 310a can apply the
記憶部340aは、出力端末300の記憶部340を適用できる。ただし、記憶部340aには、情報処理部330aにより実行されるプログラムが記憶される。
情報処理部330aは、出力端末300の情報処理部330を適用できる。ただし、情報処理部330aは、例えば、取得部332aと、処理部338aとを備える。
取得部332aは、出力端末300の取得部332を適用できる。ただし、取得部332aは、通信部310aが出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報を、処理部338aへ出力する。また、取得部332aは、ユーザが、動画と、音声とを視聴することによって、レッスン時の体験を呼び起こしている間の脳波、脈拍などの生体情報が取得することによって、モニタリングを行い、取得した生体情報を通信部310aへ出力する。
処理部338aは、出力端末300の処理部338を適用できる。ただし、処理部338aは、取得部332aが出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報にしたがって、ユーザへ、レッスン内容を反芻することを通知する。処理部338aは、ユーザが、動画と音声とを再生する操作を行った場合に、動画再生情報を作成し、作成した動画再生情報を、通信部310aへ出力する。動画再生情報には、ユーザIDが含まれる。
The
The information processing unit 330a of the
The
The
(外国語習得支援システムの動作)
以下、外国語習得支援システム10の動作について、図3−図5を参照して説明する。
図3は、実施形態の外国語習得支援システム10の動作の一例(その1)を示すシーケンス図である。
図4は、実施形態の外国語習得支援システム10の動作の一例を示すデータフロー図である。
図5は、実施形態の外国語習得支援システム10の動作の一例(その2)を示すシーケンス図である。
(ステップS101)
コンテンツ生成サーバ100の取得部132は、入力部120が出力する初期データを取得する。図4に示されるように、取得部132は、初期データとして、家庭環境d01と習得方向性d02と好みd03とを取得する。図3に戻り、説明を続ける。
(ステップS102)
コンテンツ生成サーバ100の生成部134は、初期データを用いて条件解析を行い、条件解析結果に基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。また、生成部134は、初期データに含まれる習得方向性で指定される目標に応じて、全てのレッスンが完了するまでの総レッスン数や、総時間数などを、予め概算する。ここで概算された総レッスン数と、総時間数とに基づいて、ユーザに対して実行されるVRコンテンツの全体量が決まる。しかし、レッスン数や、総時間数は、ユーザ自身の才能や努力などによって異なってくるため、参考値である。図4に示されるように、生成部134は、初期データに基づいて、条件解析を行う。生成部134は、条件解析結果d04に基づいて、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データと、シナリオ素材データDB160に含まれる複数のシナリオ素材データとを参照し、条件検索を行う。図3に戻り、説明を続ける。
(Operation of foreign language acquisition support system)
Hereinafter, the operation of the foreign language
FIG. 3 is a sequence diagram illustrating an example (part 1) of the operation of the foreign language
FIG. 4 is a data flow diagram illustrating an example of the operation of the foreign language
FIG. 5 is a sequence diagram illustrating an example (part 2) of the operation of the foreign language
(Step S101)
The
(Step S102)
The
(ステップS103)
コンテンツ生成サーバ100の生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データからヒットするバーチャルリアリティ素材データを抽出し、シナリオ素材データDB160に含まれる複数のシナリオ素材データからヒットするシナリオ素材データを抽出する。生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データとに基づいて、人生再現コンテンツ生成用データを生成する。生成部134は、生成した人生再現コンテンツ生成用データを、記憶部140に記憶する。図4に示されるように、生成部134は、VR素材データDB150に含まれる複数のVR素材データからヒットするVR素材データd05を抽出し、シナリオ素材データDB160に含まれる複数のシナリオ素材データからヒットするシナリオ素材データd06を抽出する。生成部134は、抽出したVR素材データと、シナリオ素材データとを、編集することによって、人生再現コンテンツ生成用データを生成する。図3に戻り、説明を続ける。
(ステップS104)
コンテンツ出力装置200とコンテンツ生成サーバ100との間で、接続処理が行われる。
(ステップS105)
コンテンツ出力装置200の取得部232は、人生再現コンテンツ生成用データ要求を作成し、作成した人生再現コンテンツ生成用データ要求を通信部210へ出力する。通信部210は、取得部232が出力した人生再現コンテンツ生成用データ要求を、コンテンツ生成サーバ100へ送信する。
(Step S103)
The
(Step S104)
Connection processing is performed between the
(Step S105)
The
(ステップS106)
コンテンツ生成サーバ100の通信部110は、コンテンツ出力装置200が送信した人生再現コンテンツ生成用データ要求を受信し、受信した人生再現コンテンツ生成用データ要求を、取得部132へ出力する。取得部132は、通信部110が出力した人生再現コンテンツ生成用データ要求を取得し、取得した人生再現コンテンツ生成用データ要求に基づいて、記憶部140の人生再現コンテンツ生成用データDB180に記憶されている複数の人生再現コンテンツ生成用データのうち、人生再現コンテンツ生成用データ要求に含まれるユーザIDに該当する人生再現コンテンツ生成用データを取得する。取得部132は、取得した人生再現コンテンツ生成用データを通信部110へ出力する。通信部110は、取得部132が出力した人生再現コンテンツ生成用データを、コンテンツ出力装置200へ送信する。
(ステップS107)
コンテンツ出力装置200の通信部210は、コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データを受信し、受信した人生再現コンテンツ生成用データを、取得部232へ出力する。取得部232は、通信部210が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、生成部234へ出力する。生成部234は、取得部232が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データに基づいて、VRコンテンツと、講師用台本を生成する。図4に示されるように、VRコンテンツは、グラフィックd07と、サウンドd08とを含む。また、講師用台本は、シナリオd09と、補助器具利用指定d10とから構成される。さらに、シナリオd09には、タイムラインd11と、原稿d12と、アクション指示d13とが記載されている。補助器具利用指定d10には、アクション指示d13が記載されている。図3に戻り、説明を続ける。
(Step S106)
The communication unit 110 of the
(Step S107)
The
(ステップS108)
コンテンツ出力装置200の生成部234は、生成したVRコンテンツを通信部210へ出力する。通信部210は、生成部234が出力したVRコンテンツを取得し、取得したVRコンテンツを、出力端末300へ送信する。
(ステップS109)
コンテンツ出力装置200の生成部234は、講師へ、生成した講師用台本を提供する。
(ステップS110)
出力端末300は、コンテンツ出力装置200が送信したVRコンテンツを受信し、受信したVRコンテンツを実行(再生)することによって、バーチャルリアリティで環境を作り出す。バーチャルリアリティで環境が作り出されることによってレッスンが開始される。ここで、レッスンの進め方について説明する。
ユーザは、講師の指示にしたがって、出力端末300と、必要に応じて、補助器具(身体能力を制限し、こどもに近づけるための器具)とを付ける。ユーザは、出力端末300を動作させ、バーチャルリアリティで作り出される環境に入ることによって、レッスンが開始される。バーチャルリアリティを採用することによって、現実に重ねて表示を出す拡張現実(AR)の技術を採用するよりも、第二の人生体験を再現するための没入感を高くできる。
(Step S108)
The
(Step S109)
The
(Step S110)
The
The user attaches the
バーチャルリアリティで作り出される環境で、講師は、講師の分身となるキャラクターであるアバターとして表示される。以下、バーチャルリアリティで作り出される環境で表示される講師の分身を、講師アバターという。講師アバターは、シナリオの進行状況に合わせて、決められたアクションを行う。講師は、ユーザが見ている環境をモニタリングし、シナリオの進行を操作する。すなわち、講師は、講師用台本に則り、タイミングを見謀りながらシナリオを進める。講師アバターは、シナリオの進行状況に合わせて、ユーザとやり取りを行う。具体的には、講師は、補助器具の使用などの補足説明が必要な場面では、ユーザへ、メッセージを表示したり、指示を出したりすることによって、ユーザと随時コミュニケーションを図る。講師用台本に記載されているシナリオ(台本)の中身を具体的に例示する。
00:01 おもちゃ箱からぬいぐるみを出す
00:05 「いない、いない、ばあ!」を三回繰り返す
00:05−00:12 補助器具マッスルアームを強度6で併用
ただし、ユーザへの事前タイミング提示はしない
講師が参画することで調整が加味されたレッスンにおけるユーザ体験そのものを「人生再現コンテンツ」と呼ぶ。
In an environment created with virtual reality, the instructor is displayed as an avatar, which is a character that is a part of the instructor. Hereinafter, the instructor's alternation displayed in an environment created by virtual reality is referred to as an instructor avatar. The teacher avatar performs a predetermined action according to the progress of the scenario. The instructor monitors the environment the user is viewing and manipulates the progress of the scenario. That is, the instructor proceeds with the scenario according to the instructor's script while keeping in mind the timing. The lecturer avatar interacts with the user according to the progress of the scenario. Specifically, the lecturer communicates with the user at any time by displaying a message or giving an instruction to the user when a supplementary explanation such as the use of an auxiliary device is necessary. The contents of the scenario (script) described in the instructor script will be specifically exemplified.
00:01 Take out the stuffed animal from the toy box. 00:05 Repeat “No, no, no!” Three times. 00: 05-00: 12 Auxiliary muscle arm is used at strength 6. No The user experience in a lesson that is adjusted with the participation of the instructor is called “life reproduction content”.
(ステップS111)
出力端末300は、レッスン状況をモニタリングする。具体的には、出力端末300の取得部332は、ユーザが、幼児期からの人生を再体験している間の脳波、脈拍などの生体情報を取得することによって、レッスン状況のモニタリングを行う。また、センサー400は、レッスン状況をモニタリングする。具体的には、センサー400は、ユーザが、幼児期からの人生を再体験している間と再体験後の反応結果を取得する。図4に示されるように、出力端末300は脳波などの生体情報を取得し、センサー400は動画d14を撮像し、音声d15を録音することによってモニタリングする。図3に戻り、説明を続ける。
(ステップS112)
出力端末300は、レッスンを終了し、レッスン状況のモニタリングを終了する。センサー400は、レッスン状況のモニタリングを終了する。図5へ移行し、説明を続ける。
(ステップS113)
出力端末300の取得部332は、ユーザIDとともに、取得した生体情報を、通信部310へ出力する。通信部310は、取得部332が出力した生体情報(ユーザIDを含む)を、コンテンツ生成サーバ100へ送信する。
(ステップS114)
センサー400は、撮像した動画と、録音した音声と、ユーザIDとを含む反応結果を、コンテンツ生成サーバ100へ送信する。
(Step S111)
The
(Step S112)
The
(Step S113)
The
(Step S114)
The
(ステップS115)
コンテンツ生成サーバ100の処理部138は、アラームを鳴らす情報を生成し、生成したアラームを鳴らす情報を、通信部110へ出力する。通信部110は、処理部138が出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報を、出力端末300aへ送信する。
(ステップS116)
出力端末300aの通信部310aは、コンテンツ生成サーバ100が送信したアラームを鳴らす情報を受信し、受信したアラームを鳴らす情報を、取得部332aへ出力する。取得部332aは、通信部310aが出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報を、処理部338aへ出力する。処理部338aは、取得部332aが出力したアラームを鳴らす情報にしたがって、アラームを鳴らす。ここでは、ユーザが、アラームに応じて、出力端末300aに対して、動画と音声とを再生する操作を行った場合について説明を続ける。ユーザが、出力端末300aに対して、動画と音声とを再生する操作を行わなかった場合、処理を終了する。処理部338aは、ユーザが、動画と音声とを再生する操作を行った場合、再生情報を作成し、作成した再生情報を、通信部310aへ出力する。通信部310aは、処理部338aが出力した再生情報を、コンテンツ生成サーバ100aへ送信する。
(Step S115)
The
(Step S116)
The communication unit 310a of the
(ステップS117)
コンテンツ生成サーバ100の通信部110は、出力端末300aが送信した再生情報を受信し、受信した再生情報を、取得部132へ出力する。取得部132は、通信部110が出力した再生情報を取得し、取得した再生情報を、処理部138へ出力する。処理部138は、取得部132が出力した再生情報を取得し、取得した再生情報に含まれるユーザIDに基づいて、記憶部140の動画DB190から、ヒットする動画と音声とを取得する。処理部138は、取得した動画と音声とを表す情報を、通信部110へ出力する。通信部110は、処理部138が出力した動画と音声とを表す情報を取得し、取得した動画と音声とを表す情報を、出力端末300aへ送信する。
(ステップS118)
出力端末300aの通信部310aは、コンテンツ生成サーバ100が送信した動画と音声とを表す情報を受信し、受信した動画と音声とを表す情報を、取得部332aへ出力する。取得部332aは、通信部310aが出力した動画と音声とを表す情報を取得し、取得した動画と音声とを表す情報を処理部338aへ出力する。処理部338aは、取得部332aが出力した動画と音声とを表す情報を取得し、取得した動画と音声とを表す情報を再生する。
(Step S117)
The communication unit 110 of the
(Step S118)
The communication unit 310a of the
(ステップS119)
出力端末300aは、レッスン状況をモニタリングする。具体的には、出力端末300aの取得部332aは、ユーザが、動画と音声とを視聴することによって、幼児期からの人生を再体験している間の脳波、脈拍などの生体情報を取得することによって、レッスン状況のモニタリングを行う。
(ステップS120)
出力端末300aは、レッスンを終了し、レッスン状況のモニタリングを終了する。
(ステップS121)
出力端末300aの取得部332aは、ユーザIDとともに、取得した生体情報を、通信部310aへ出力する。通信部310aは、取得部332aが出力した生体情報(ユーザIDを含む)を、コンテンツ生成サーバ100aへ送信する。
(Step S119)
The
(Step S120)
The
(Step S121)
The
(ステップS122)
コンテンツ生成サーバ100の通信部110は、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、出力端末300aが出力した生体情報とを受信する。通信部110は、受信した生体情報と反応結果とを、取得部132へ出力する。取得部132は、通信部110が出力した生体情報と反応結果とを取得し、取得した生体情報と反応結果とを、導出部136へ出力する。
また、コンテンツ生成サーバ100の入力部120には、講師判断結果が入力される。入力部120に入力された講師判断結果は、導出部136へ出力される。
導出部136は、入力部120が出力する講師判断結果と、取得部132が出力する生体情報と反応結果とを取得し、取得した講師判断結果と、生体情報と、反応結果とに基づいて、人格成長度数を導出する。図4に示されるように、動画d14と、音声d15と、脳波d16などの生体情報と、講師判断結果d17とに基づいて、人格成長度数d18が導出される。
(Step S122)
The communication unit 110 of the
The instructor determination result is input to the input unit 120 of the
The
さらに、レッスン回数、受けたレッスンの時間数、ユーザに対して実行されるVRコンテンツの全体量に対する消化率などの習得・経過状況d19と、ユーザや講師からのバーチャルリアリティによって作り出される環境の変更、シナリオの変更などのアレンジ要望d20とが取得されてもよい。ここで、アレンジ要望d20は、非定型のテキストデータであり、もっとこうして欲しい、ああして欲しいなどの捉えどころが難しい情報である。習得・経過状況d19と、アレンジ要望d20とは、施設60の端末装置(図示なし)で、一次保存される。
端末装置に一時保存された習得・経過状況d19と、レッスンのアレンジ要望d20とは、コンテンツ生成サーバ100の入力部120に入力される。入力部120は、入力された習得・経過状況d19を、生成部134へ出力する。生成部134は、導出部136が出力した人格成長度数を示す情報と、入力部120が出力した習得・経過状況d19とを取得し、取得した人格成長度数と、習得・経過状況d19とに基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。
生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データからヒットするバーチャルリアリティ素材データを抽出する。生成部134は、シナリオ素材データDB160に含まれるシナリオ素材データからヒットするシナリオ素材データを抽出する。生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データと、レッスンのアレンジ要望d20に基づいて、(次回の)人生再現コンテンツ生成用データを生成する。
具体的には、生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データとのいずれか一方又は両方を、矛盾しない範囲で、アレンジ要望d20に基づいて、変更、編集を行う。例えば、生成部134は、バーチャルリアリティ素材データを昼の部屋を表すデータから夕方の部屋を表すデータへ変えたり、シナリオ素材データを一人で遊ぶことを表すデータから友達と遊ぶことを表すデータへ編集したりする。
In addition, learning and progress status d19 such as the number of lessons, the number of lessons taken, the digestion rate for the total amount of VR content executed for the user, and the environment change created by the virtual reality from the user and the instructor, An arrangement request d20 such as a scenario change may be acquired. Here, the arrangement request d20 is atypical text data, and is information that is difficult to grasp, such as wanting to do this more or wanting to do it. The learning / progress status d19 and the arrangement request d20 are temporarily stored in the terminal device (not shown) of the
The learning / progress status d19 temporarily stored in the terminal device and the lesson arrangement request d20 are input to the input unit 120 of the
The
Specifically, the
図3−図5を用いた外国語習得支援システム10の動作の説明では、出力端末300が送信した生体情報と出力端末300aが送信した生体情報との両方を用いて人格成長度数を導出する場合について説明したが、この限りでない。例えば、ステップS114の後にステップS122へ移行し、出力端末100aが送信した生体情報を使用せず、出力端末300が送信した生体情報を使用して人格成長度数を導出してもよい。その場合、図5のステップS122では、コンテンツ生成サーバ100の通信部110は、出力端末300が送信した生体情報と、センサー400が送信した反応結果とを受信する。通信部110は、受信した生体情報と反応結果とを、取得部132へ出力する。取得部132は、通信部110が出力した生体情報と反応結果とを取得し、取得した生体情報と反応結果とを、導出部136へ出力する。
また、コンテンツ生成サーバ100の入力部120には、講師判断結果が入力される。入力部120に入力された講師判断結果は、導出部136へ出力される。
導出部136は、入力部120が出力する講師判断結果と、取得部132が出力する生体情報と反応結果とを取得し、取得した講師判断結果と、生体情報と、反応結果とに基づいて、人格成長度数を導出する。
In the description of the operation of the foreign language
The instructor determination result is input to the input unit 120 of the
The
ここで、実施形態の人格成長度と一般的な習熟度との違いについて説明する。
人格成長度は、生活経験を通じてネイティブに話すことができる自身の新たな人格の形成度合を示す尺度であり、語学として英語を学習した成果を測る習熟度とは性質が全く異なる。人格成長度を導入することによって、学習した内容や文法を覚えて使用するのではなく、あらゆる物事を英語で捉えて英語で対応する感性の成長レベルを評価できる。
人格成長度判定リスト170には、こどもが生活経験を通じて少しずつコミュニケーションに言葉を使うようになっていく過程に則り設計した基準指標のリストが記載されている。人格成長度が低いレベルの場合、コミュニケーションは可能だが、ユーザが発する言葉が言語として成り立っていない状態も含まれる。人格成長度が中レベルの場合、ユーザが、自分の行動範囲内でやりたいことを英語で伝えることができる状態が含まれる。人格成長度が高レベルに達すると、大人の生活に必要なコミュニケーションにおけるインプットとアウトプットとして、ユーザは、自然に英語を使う状態になる。
Here, the difference between the personality growth level of the embodiment and the general proficiency level will be described.
Personality growth is a measure of the degree of formation of a new personality that can be spoken natively through life experiences, and is completely different from proficiency in measuring the results of learning English as a language. By introducing personality growth, it is possible to assess the growth level of sensibility that can be handled in English by capturing everything in English rather than remembering and using learned content and grammar.
The personality growth
人格成長度は経験を通じて高まっていき、その成長度における活動範囲、行動内容に合わせて限られた範囲内であればネイティブと同レベルの自然な英会話コミュニケーションが可能である。つまり、外国語習得支援システムは、ネイティブとして英会話できる素養である人格を、最低限の生活範囲で最初に身に着けた上で、その活用範囲を成長と共に広げていく人生経験型アプローチを採用する。
実施形態の外国語習得支援システムは、「英会話」を言語として学習し、ネイティブに近づけようとする習熟度方式とはベクトルが異なる。外国語習得支援システムの場合、人格成長の過程で経験した内容に依存する。このため、外国語習得支援システムの場合、普通に英会話を学習すれば知っているような場面や正しい文法を知らなかったり、ビジネスシーンで求められる大人の言い回しを知らなかったり、といった逆転現象が起きる場合がある。しかし、外国語習得支援システムの場合、ユーザは、経験すればすぐに理解し、ネイティブの観点で自身に取り入れることができる素養が作られるため、ネイティブの観点で、正しい文法や、大人の言い回しを取り入れることができる。
The personality growth level increases through experience, and natural English communication at the same level as native speakers is possible as long as it is within a limited range according to the scope of activity and the content of action. In other words, the foreign language acquisition support system adopts a life-experience-based approach that first develops a personality that is a native English conversation with a minimum range of life, and then expands its range of use with growth. .
The foreign language acquisition support system of the embodiment is different in vector from the proficiency level method of learning “English conversation” as a language and trying to approach the native language. In the case of a foreign language acquisition support system, it depends on what is experienced in the process of personality development. For this reason, in the case of a foreign language acquisition support system, a reversal phenomenon occurs, such as when you normally learn English conversation, you do not know the correct grammar, or do not know the adult phrase required in the business scene There is a case. However, in the case of a foreign language acquisition support system, users will be able to understand immediately as they experience it, and to develop a knowledge that can be incorporated into themselves from a native point of view, so correct grammar and adult phrases from a native point of view. Can be incorporated.
前述した実施形態では、コンテンツ出力装置200と、出力端末300との間が、無線で接続される場合について説明したがこの例に限られない。例えば、コンテンツ出力装置200と、出力端末300とが、有線で接続されてもよい。
前述した実施形態では、バーチャルリアリティ素材データとシナリオ素材データとが、それぞれ、事前に様々なシチュエーションを想定して、多数用意されている場合について説明したがこの例に限られない。例えば、バーチャルリアリティ素材データと、シナリオ素材データとのいずれか一方又は両方が、随時追加されてもよい。このように構成することによって、あらゆる場面に対応できるラインナップを揃えることができる。
前述した実施形態では、コンテンツ生成サーバ100が、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、講師から取得した講師判断結果と、出力端末300aが送信した生体情報とに基づいて、人格成長度数を導出する場合について説明したが、この例に限られない。例えば、コンテンツ生成サーバ100は、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、講師から取得した講師判断結果と、出力端末300aが送信した生体情報との少なくとも一つに基づいて、人格成長度数を導出するようにしてもよい。
前述した実施形態では、コンテンツ生成サーバ100が、初期データとして、家庭環境d01と、習得方向性d02と、好みd03とを取得する場合について説明したが、この例に限られない。例えば、家庭環境d01と習得方向性d02と好みd03とのうち、少なくとも一つであってもよいし、職種、取得期間などが取得されてもよい。
前述した実施形態では、講師判断結果が、コンテンツ生成サーバ100の入力部120に入力される場合について説明したが、この例に限られない。例えば、講師判断結果が、講師が保持する端末装置から、コンテンツ生成サーバ100へ送信されてもよい。
In the above-described embodiment, the case where the
In the embodiment described above, a case has been described in which a large number of virtual reality material data and scenario material data are prepared in advance assuming various situations in advance, but the present invention is not limited to this example. For example, one or both of virtual reality material data and scenario material data may be added at any time. By configuring in this way, it is possible to prepare a lineup that can be used in all situations.
In the above-described embodiment, the
In the above-described embodiment, the case where the
In the above-described embodiment, the case where the lecturer determination result is input to the input unit 120 of the
実施形態の外国語習得支援システムによれば、外国語習得支援システムは、バーチャルリアリティ素材データと、シナリオ素材データとを記憶する記憶部と、記憶部に記憶されたバーチャルリアリティ素材データとシナリオ素材データとに基づいて、ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するコンテンツ生成用データ生成部と、コンテンツを、ユーザが体験している間に取得される生体情報に基づいて、ユーザが、外国語で対応する感性の成長レベルである人格成長度数を導出する導出部とを備え、コンテンツ生成用データ生成部は、人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成する。
このように構成することによって、バーチャルリアリティ素材データとシナリオ素材データとに基づいて生成される、ユーザに外国語を習得させるためのコンテンツを、ユーザが体験している間に取得される生体情報に基づいて、ユーザが、外国語で対応する感性の成長レベルである人格成長度数を導出できる。このため、この人格成長度数に基づいて、ユーザに外国語を習得させるための次回のコンテンツを生成することによって、ユーザに、乳児の時代から英語環境での生活を早回しで体験させることで、ネイティブの学習過程と同じ過程で、外国語を学習させることができる。ユーザは、英語を話すネイティブとしての自分自身を新しく作り出すことができる。
According to the foreign language acquisition support system of the embodiment, the foreign language acquisition support system includes a storage unit that stores virtual reality material data and scenario material data, and virtual reality material data and scenario material data stored in the storage unit. Based on the above, the content generation data generation unit for generating content generation data, which is data for generating content for allowing the user to learn a foreign language, and the content is acquired while the user is experiencing And a derivation unit for deriving a personality growth level which is a growth level of sensitivity corresponding to a foreign language based on the biometric information, and the content generation data generation unit is further based on the personality growth level, Next generation data is generated.
By configuring in this way, the content that is generated based on the virtual reality material data and the scenario material data and that allows the user to learn a foreign language is converted into biometric information acquired while the user is experiencing it. Based on this, the user can derive the personality growth level which is the growth level of sensitivity corresponding to the foreign language. For this reason, by generating the next content to make the user learn a foreign language based on this personality growth degree, by letting the user experience life in an English environment from the early days of infants, Students can learn foreign languages in the same process as the native learning process. The user can create a new English-speaking native.
また、講師判断結果と生体情報と反応結果とを、コンテンツ生成サーバ100へフィードバックすることによって、コンテンツ生成サーバ100は、フィードバックされた情報に基づいて、人格成長度数をアップデートできる。この仕組みを、一か月などの所定の期間の間、ユーザは、生活に深く入り込む形で繰り返し実施する。すなわち、ユーザは、早回しに第二の仮想英語ネイティブ人生を送ることで、生活経験を通じてネイティブに話すことができる自身の新たな人格を作ることができる。
さらに、導出部は、ユーザが、コンテンツを体験している間に、撮像された動画と、録音された音声とを視聴している間に取得される生体情報に基づいて、人格成長度数を導出する。
このように構成することによって、バーチャルリアリティ素材データとシナリオ素材データとに基づいて生成される、ユーザに外国語を習得させるためのコンテンツを、ユーザが体験している間に取得される生体情報と、ユーザが、コンテンツを体験している間に、撮像された動画と、録音された音声とを視聴している間に取得される生体情報とに基づいて、ユーザが、外国語で対応する感性の成長レベルである人格成長度数を導出できる。この人格成長度数に基づいて、ユーザに外国語を習得させるためのコンテンツを生成することによって、ユーザに、乳児の時代から英語環境での生活を早回しで体験させることで、ネイティブの学習過程と同じ過程で、外国語を学習させることができる。ユーザは、英語を話すネイティブとしての自分自身を新しく作り出すことができる。
さらに、そのコンテンツを再度体験できることによって、人格成長度を定着させ、維持できる。
Further, by feeding back the instructor determination result, the biological information, and the reaction result to the
Furthermore, the deriving unit derives the personality growth degree based on the biometric information acquired while the user is viewing the captured video and the recorded audio while experiencing the content. To do.
By configuring in this way, biometric information acquired based on virtual reality material data and scenario material data, which is acquired while the user is experiencing content for making the user learn a foreign language, Sensitivity that the user responds in a foreign language based on the captured video and the biometric information acquired while viewing the recorded audio while the user is experiencing the content The personality growth frequency that is the growth level of can be derived. Based on this personality growth rate, by generating content for the user to learn a foreign language, by letting the user experience life in an English environment from an early age, the native learning process In the same process, you can learn a foreign language. The user can create a new English-speaking native.
Furthermore, by being able to experience the content again, it is possible to establish and maintain personality growth.
以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、上述したコンテンツ生成サーバ100、コンテンツ出力装置200、出力端末300、コンテンツ生成サーバ100a、出力端末300aは、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
As mentioned above, although embodiment was described, these embodiment was shown as an example and is not intending limiting the range of invention. These embodiments can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the scope of the invention. These embodiments are included in the scope and gist of the invention, and at the same time, are included in the invention described in the claims and the equivalents thereof.
Note that the
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM. The “computer-readable recording medium” includes a storage device such as a hard disk built in the computer system.
さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、FPGA(Field Programmable Gate Array)である。
Furthermore, the “computer-readable recording medium” may include a medium that dynamically holds a program for a short time. What holds the program dynamically for a short time is, for example, a communication line when the program is transmitted via a network such as the Internet or a communication line such as a telephone line.
In addition, the “computer-readable recording medium” may include a medium that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client. The program may be for realizing a part of the functions described above. Further, the program may be a program that can realize the above-described functions in combination with a program already recorded in the computer system. The program may be realized using a programmable logic device. The programmable logic device is, for example, an FPGA (Field Programmable Gate Array).
なお、上述のコンテンツ生成サーバ100、コンテンツ出力装置200、出力端末300、コンテンツ生成サーバ100a、出力端末300aは内部にコンピュータを有している。そして、上述したコンテンツ生成サーバ100、コンテンツ出力装置200、出力端末300、コンテンツ生成サーバ100a、出力端末300aの各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
The
Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
10…外国語習得支援システム、50…ネットワーク、100…コンテンツ生成サーバ、110…通信部、120…入力部、130…情報処理部、132…取得部、134…生成部、136…導出部、138…処理部、140…記憶部、150…VR素材データDB、160…シナリオ素材データDB、170…人格成長度判定リスト、180…人生再現コンテンツ生成用データDB、190…動画DB、200…コンテンツ出力装置、210…通信部、230…情報処理部、232…取得部、234…生成部、140…記憶部、300、300a…出力端末、310、310a…通信部、330、330a…情報処理部、332、332a…取得部、338、338a…処理部、340、340a…記憶部、350…補助器具、400…センサー
DESCRIPTION OF
Claims (8)
前記記憶部に記憶された前記バーチャルリアリティ素材データと前記シナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するコンテンツ生成用データ生成部と、
前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出する導出部と
を備え、
前記コンテンツ生成用データ生成部は、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成する、外国語習得支援システム。 A storage unit that stores virtual reality material data that is data for creating an environment by virtual reality and scenario material data that is a story that the user experiences in the environment created by virtual reality;
Content generation for generating data for generating content that is data for generating content for allowing the user to learn a foreign language based on the virtual reality material data and the scenario material data stored in the storage unit A data generation unit,
A derivation unit for deriving a personality growth level that is a growth level of sensibility corresponding to the foreign language based on biometric information acquired while the user is experiencing the content; and
The content generation data generation unit is a foreign language learning support system that generates data for next content generation based further on the personality growth degree.
を備える、請求項1に記載の外国語習得支援システム。 The foreign language learning support system according to claim 1, further comprising: a virtual reality content generation unit that generates virtual reality content to be provided to the user based on the content generation data.
前記コンテンツ生成用データ生成部は、前記導出部が導出した前記人格成長度数に基づいて、前記記憶部に記憶されている複数のバーチャルリアリティ素材データと、複数のシナリオ素材データとから、前記ユーザへ提供するバーチャルリアリティ素材データと、シナリオ素材データとを抽出し、抽出したバーチャルリアリティ素材データとシナリオ素材データとに基づいて、コンテンツ生成用データを生成する、請求項1又は請求項2に記載の外国語習得支援システム。 The storage unit stores a plurality of virtual reality material data and scenario material data,
The content generation data generation unit, from the plurality of virtual reality material data stored in the storage unit and the plurality of scenario material data, to the user based on the personality growth degree derived by the derivation unit The foreign reality according to claim 1 or 2, wherein virtual reality material data to be provided and scenario material data are extracted, and content generation data is generated based on the extracted virtual reality material data and scenario material data. Language acquisition support system.
バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、
前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、
前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップと
を有する、外国語習得支援方法。 A foreign language acquisition support method executed by a computer,
Based on virtual reality material data, which is data for creating an environment by virtual reality, and scenario material data, which is a story to be experienced by the user in an environment created by virtual reality, to allow the user to learn a foreign language Generating content generation data, which is data for generating content;
Deriving a personality growth level, which is a sensitivity growth level corresponding to the foreign language, based on biometric information acquired while the user is experiencing the content;
A foreign language acquisition support method, further comprising: generating data for next content generation based on the personality growth degree.
バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、
前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、
前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップと
を実行させる、外国語習得支援プログラム。 On the computer,
Based on virtual reality material data, which is data for creating an environment by virtual reality, and scenario material data, which is a story to be experienced by the user in an environment created by virtual reality, to allow the user to learn a foreign language Generating content generation data, which is data for generating content;
Deriving a personality growth level, which is a sensitivity growth level corresponding to the foreign language, based on biometric information acquired while the user is experiencing the content;
A foreign language acquisition support program for executing the step of generating data for the next generation of content based further on the personality growth degree.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038085A JP2019152761A (en) | 2018-03-02 | 2018-03-02 | Foreign language learning support system, foreign language learning support method and foreign language learning support program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038085A JP2019152761A (en) | 2018-03-02 | 2018-03-02 | Foreign language learning support system, foreign language learning support method and foreign language learning support program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019152761A true JP2019152761A (en) | 2019-09-12 |
Family
ID=67946159
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018038085A Pending JP2019152761A (en) | 2018-03-02 | 2018-03-02 | Foreign language learning support system, foreign language learning support method and foreign language learning support program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019152761A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116312971A (en) * | 2023-05-15 | 2023-06-23 | 之江实验室 | Cognitive training material generation method, cognitive training method, device and medium |
-
2018
- 2018-03-02 JP JP2018038085A patent/JP2019152761A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116312971A (en) * | 2023-05-15 | 2023-06-23 | 之江实验室 | Cognitive training material generation method, cognitive training method, device and medium |
CN116312971B (en) * | 2023-05-15 | 2023-08-29 | 之江实验室 | Cognitive training material generation method, cognitive training method, device and medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dalim et al. | Using augmented reality with speech input for non-native children's language learning | |
Rogerson-Revell | Computer-assisted pronunciation training (CAPT): Current issues and future directions | |
Wood et al. | Robot-mediated interviews-how effective is a humanoid robot as a tool for interviewing young children? | |
Bunglowala et al. | Nonverbal communication: An integral part of teaching learning process | |
Teófilo et al. | Exploring virtual reality to enable deaf or hard of hearing accessibility in live theaters: A case study | |
Cano et al. | Towards a methodology for user experience assessment of serious games with children with cochlear implants | |
Ockey et al. | Web-based virtual environments for facilitating assessment of L2 oral communication ability | |
Holland et al. | How to use apps clinically in the treatment of aphasia | |
Hu et al. | Storytelling agents with personality and adaptivity | |
Abbott et al. | Learning difference and digital technologies: a literature review of research involving children and young people using assistive technologies 2007-2010 | |
Pennington et al. | Using robot-assisted instruction to teach students with intellectual disabilities to use personal narrative in text messages | |
Rummukainen et al. | Audio quality evaluation in virtual reality: multiple stimulus ranking with behavior tracking | |
Sekimoto et al. | A phenomenology of the racialized tongue: Embodiment, language, and the bodies that speak | |
Van Amelsvoort et al. | Using non-verbal cues to (automatically) assess children’s performance difficulties with arithmetic problems | |
Stecker | Using virtual reality to assess auditory performance | |
Fukushima | EmoTan: enhanced flashcards for second language vocabulary learning with emotional binaural narration | |
Milne et al. | Designing and evaluating interactive agents as social skills tutors for children with autism spectrum disorder | |
JP2019152761A (en) | Foreign language learning support system, foreign language learning support method and foreign language learning support program | |
Naylor | " Old Poems Have Heart": Teenage Students Reading Early Modern Poetry. | |
Brata et al. | Hanasu: Interactive Japanese language m-learning application to support listening and speaking exercise | |
MacCutcheon et al. | Second language vocabulary level is related to benefits for second language listening comprehension under lower reverberation time conditions | |
Zimina et al. | Robot-assistant behaviour analysis for robot-child interactions | |
Doumanis | Evaluating humanoid embodied conversational agents in mobile guide applications | |
Carvalho et al. | Investigating and Comparing the Perceptions of Voice Interaction in Digital Games: Opportunities for Health and Wellness Applications | |
Harris | How effective are print-based comprehension models for reading and assessing multimodal texts? |