JP2019152761A - Foreign language learning support system, foreign language learning support method and foreign language learning support program - Google Patents

Foreign language learning support system, foreign language learning support method and foreign language learning support program Download PDF

Info

Publication number
JP2019152761A
JP2019152761A JP2018038085A JP2018038085A JP2019152761A JP 2019152761 A JP2019152761 A JP 2019152761A JP 2018038085 A JP2018038085 A JP 2018038085A JP 2018038085 A JP2018038085 A JP 2018038085A JP 2019152761 A JP2019152761 A JP 2019152761A
Authority
JP
Japan
Prior art keywords
data
content
user
foreign language
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018038085A
Other languages
Japanese (ja)
Inventor
渡辺 真太郎
Shintaro Watanabe
真太郎 渡辺
松下 正樹
Masaki Matsushita
正樹 松下
古川 洋
Hiroshi Furukawa
洋 古川
真之 松永
Masayuki Matsunaga
真之 松永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2018038085A priority Critical patent/JP2019152761A/en
Publication of JP2019152761A publication Critical patent/JP2019152761A/en
Pending legal-status Critical Current

Links

Images

Abstract

To enable a user to learn in a learning process as the same process of a native speaker.SOLUTION: A foreign language learning support system includes: a storage section for storing virtual reality material data which is data to create an environment by virtual reality and scenario material data which is a story enabling a user to experience in the environment created by the virtual reality; a data generation section for content generation for generating data for content generation which is data to generate a content for enabling the user to learn a foreign language on the basis of the virtual reality material data and scenario material data stored in the storage section; and a derivation section for deriving a personality growth degree which is a sensitivity growth level of the user responding with the foreign language on the basis of biological information acquired while the user experiences the content. The data generation section for content generation generates the data for content generation further on the basis of the personality growth degree.SELECTED DRAWING: Figure 2

Description

本発明の実施形態は、外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムに関する。   Embodiments described herein relate generally to a foreign language acquisition support system, a foreign language acquisition support method, and a foreign language acquisition support program.

英語などの外国語の習得において、一般的に、以下の仕組みが実施されている。
・生徒の現在のレベルに応じた学習内容のアレンジなどの教材の工夫
・熟練の講師やトレーナーによるコミュニケーションなどの教師の工夫
・外国語オンリーの環境を作ったり、会話の機会を増やしたりするなどの環境の工夫
語学学習方法に関して、コンピュータプログラムを利用して共同学習及びコミュニケーションのバーチャル環境を作り出し、言語の種類と語学レベルとに基づき、外国語能力に制限されることも、語学レベルの不一致といったコミュニケーション上の障害もなく、初級から上級レベルまで、上記言語の単語、文法、語法などを学習可能とすることによって、語学学習者の上記言語の会話、聞き取り、読み書きの能力を高める技術が知られている(例えば、特許文献1参照)。
In general, the following mechanisms are used to acquire foreign languages such as English.
・ Education of teaching materials such as arrangement of learning contents according to the current level of students ・ Teaching of teachers such as communication by skilled instructors and trainers ・ Create a foreign language-only environment, increase conversation opportunities, etc. Contriving the environment For language learning methods, create a virtual environment for collaborative learning and communication using a computer program. Based on the type of language and language level, it is restricted to foreign language ability, and communication such as language level mismatch. There is a technology that improves the language learner's ability to speak, listen, and read and write in the above language by enabling students to learn words, grammar, and grammar in the above language from beginner to advanced level without any obstacles. (For example, refer to Patent Document 1).

特開2004−4679号公報JP 2004-4679 A

英語などの外国語の習得において実施されている仕組みは、いずれも外国語を、その外国語を母国語とするネイティブに似せて話せるように、生徒に努力をさせるタイプのものである。この仕組みは、絶対に到達できない場所に可能な限り近づくために、生徒に頑張らせるような行為であり、費用対効果が非常に低い。
上記事情に鑑み、本発明は、ユーザに、ネイティブの学習過程と同じ過程で、外国語を学習させることができる外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムを提供することを目的とする。
All of the mechanisms implemented in the acquisition of foreign languages such as English are of the type that encourages students to speak a foreign language to resemble the native language of the foreign language. This mechanism is an act that encourages students to work as close as possible to a place that is never reachable, and is very cost-effective.
In view of the above circumstances, the present invention provides a foreign language acquisition support system, a foreign language acquisition support method, and a foreign language acquisition support program that allow a user to learn a foreign language in the same process as a native learning process. With the goal.

本発明の一態様は、バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとを記憶する記憶部と、前記記憶部に記憶された前記バーチャルリアリティ素材データと前記シナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するコンテンツ生成用データ生成部と、前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出する導出部とを備え、前記コンテンツ生成用データ生成部は、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成する、外国語習得支援システムである。   One aspect of the present invention is a storage unit that stores virtual reality material data that is data for creating an environment by virtual reality, and scenario material data that is a story that a user experiences in an environment created by virtual reality; Content generation for generating data for generating content that is data for generating content for allowing the user to learn a foreign language based on the virtual reality material data and the scenario material data stored in the storage unit Based on biometric information acquired while the user is experiencing the content and the data generation unit, the user derives a personality growth level that is a sensitivity growth level corresponding to the foreign language A data generation unit for content generation. , Further based on the personality growth frequency, to generate the next content generation for the data, it is a foreign language learning support system.

本発明の一態様は、上記の外国語習得支援システムであって、前記コンテンツ生成用データに基づいて、前記ユーザへ提供するバーチャルリアリティコンテンツを生成するバーチャルリアリティコンテンツ生成部を備える。   One aspect of the present invention is the foreign language acquisition support system described above, which includes a virtual reality content generation unit that generates virtual reality content to be provided to the user based on the content generation data.

本発明の一態様は、上記の外国語習得支援システムであって、前記記憶部は、バーチャルリアリティ素材データと、シナリオ素材データとを複数記憶し、前記コンテンツ生成用データ生成部は、前記導出部が導出した前記人格成長度数に基づいて、前記記憶部に記憶されている複数のバーチャルリアリティ素材データと、複数のシナリオ素材データとから、前記ユーザへ提供するバーチャルリアリティ素材データと、シナリオ素材データとを抽出し、抽出したバーチャルリアリティ素材データとシナリオ素材データとに基づいて、コンテンツ生成用データを生成する。   One aspect of the present invention is the foreign language acquisition support system, wherein the storage unit stores a plurality of virtual reality material data and scenario material data, and the content generation data generation unit is the derivation unit. Based on the personality growth degree derived from the virtual reality material data stored in the storage unit and a plurality of scenario material data, virtual reality material data provided to the user, scenario material data, , And content generation data is generated based on the extracted virtual reality material data and scenario material data.

本発明の一態様は、上記の外国語習得支援システムであって、前記導出部は、前記人格成長度数に応じた補助器具を使用した前記ユーザが、前記コンテンツを体験している間に取得される生体情報に基づいて、人格成長度数を導出する。   One aspect of the present invention is the foreign language acquisition support system described above, wherein the derivation unit is acquired while the user using the auxiliary device according to the personality growth degree is experiencing the content. The personality growth frequency is derived based on the biological information.

本発明の一態様は、上記の外国語習得支援システムであって、前記導出部は、前記ユーザが、前記コンテンツを体験している間に、撮像された動画と、録音された音声とに基づいて、人格成長度数を導出する。   One aspect of the present invention is the foreign language acquisition support system described above, wherein the derivation unit is based on a moving image captured and sound recorded while the user is experiencing the content. Deriving the personality growth rate.

本発明の一態様は、上記の外国語習得支援システムであって、前記導出部は、前記ユーザが、前記動画と前記音声とを視聴している間に取得される生体情報に基づいて、人格成長度数を導出する。   One aspect of the present invention is the foreign language acquisition support system, wherein the derivation unit is based on biometric information acquired while the user is viewing the video and the audio. Deriving the growth frequency.

本発明の一態様は、コンピュータが実行する外国語習得支援方法であって、バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップとを有する、外国語習得支援方法である。   One aspect of the present invention is a foreign language acquisition support method executed by a computer, which is virtual reality material data that is data for creating an environment by virtual reality, and a story that a user experiences in an environment created by virtual reality And generating the content generation data, which is data for generating content for allowing the user to learn a foreign language, based on the scenario material data, and the user is experiencing the content. Based on the biometric information acquired in the meantime, the user derives the personality growth level that is the sensitivity growth level corresponding to the foreign language, and further based on the personality growth level, for the next content generation Foreign language acquisition support method comprising the step of generating data It is.

コンピュータに、バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップとを実行させる、外国語習得支援プログラムである。   Based on virtual reality material data, which is data for creating an environment with virtual reality, and scenario material data, which is a story that the user experiences in the environment created by virtual reality, the user is taught a foreign language. Generating content generation data that is data for generating content to be generated, and based on biometric information acquired while the user is experiencing the content, the user A foreign language acquisition support program that executes a step of deriving a personality growth level which is a growth level of sensibility corresponding to words and a step of generating data for the next generation of content based further on the personality growth level .

本発明の実施形態によれば、ユーザに、ネイティブの学習過程と同じ過程で、外国語を学習させることができる外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムを提供できる。   According to the embodiment of the present invention, it is possible to provide a foreign language acquisition support system, a foreign language acquisition support method, and a foreign language acquisition support program that allow a user to learn a foreign language in the same process as a native learning process.

実施形態の外国語習得支援システム10の一例を示す図である。It is a figure showing an example of foreign language acquisition support system 10 of an embodiment. 実施形態の外国語習得支援システム10に含まれるコンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、出力端末300aとの一例を示すブロック図である。It is a block diagram which shows an example of the content production | generation server 100, the content output device 200, the output terminal 300, and the output terminal 300a which are contained in the foreign language acquisition assistance system 10 of embodiment. 実施形態の外国語習得支援システム10の動作の一例(その1)を示すシーケンス図である。It is a sequence diagram which shows an example (the 1) of operation | movement of the foreign language acquisition assistance system 10 of embodiment. 実施形態の外国語習得支援システム10の動作の一例(その2)を示すシーケンス図である。It is a sequence diagram which shows an example (the 2) of operation | movement of the foreign language acquisition assistance system 10 of embodiment. 実施形態の外国語習得支援システム10の動作の一例を示すデータフロー図である。It is a data flow figure showing an example of operation of foreign language acquisition support system 10 of an embodiment.

次に、本実施形態の外国語習得支援システム、外国語習得支援方法および外国語習得支援プログラムを、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づく」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づく」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
Next, the foreign language acquisition support system, foreign language acquisition support method, and foreign language acquisition support program of this embodiment will be described with reference to the drawings. Embodiment described below is only an example and embodiment to which this invention is applied is not restricted to the following embodiment.
Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiments, and the repetitive description will be omitted.
Further, “based on XX” in the present application means “based on at least XX”, and includes a case based on another element in addition to XX. Further, “based on XX” is not limited to the case where XX is directly used, but also includes the case where it is based on an operation or processing performed on XX. “XX” is an arbitrary element (for example, arbitrary information).

(実施形態)
(外国語習得支援システム)
図1は、実施形態の外国語習得支援システム10の一例を示す図である。
実施形態の外国語習得支援システム10は、コンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、補助器具350と、センサー400と、出力端末300aとを備える。コンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300aとの間は、インターネットなどのネットワーク50を介して、有線又は無線で接続される。コンテンツ出力装置200と、出力端末300との間は、無線LANなどのネットワークを介して接続される。
コンテンツ出力装置200と、出力端末300と、補助器具350と、センサー400とは、外国語教室などの施設60に設置される。以下、外国語の一例として、英語の場合について説明を続ける。
(Embodiment)
(Foreign language acquisition support system)
FIG. 1 is a diagram illustrating an example of a foreign language acquisition support system 10 according to an embodiment.
The foreign language learning support system 10 of the embodiment includes a content generation server 100, a content output device 200, an output terminal 300, an auxiliary instrument 350, a sensor 400, and an output terminal 300a. The content generation server 100, the content output device 200, and the output terminal 300a are connected by wire or wireless via a network 50 such as the Internet. The content output device 200 and the output terminal 300 are connected via a network such as a wireless LAN.
The content output device 200, the output terminal 300, the auxiliary instrument 350, and the sensor 400 are installed in a facility 60 such as a foreign language classroom. Hereinafter, as an example of a foreign language, the description of the case of English will be continued.

ユーザ(生徒)に、英語ネイティブで第二の人生を送ると仮定した場合に、家庭環境、習得方向性、好みなどの要望について、アンケートや、ヒアリングが行われる。外国語習得支援システム10の操作者は、アンケートや、ヒアリングの結果を、コンテンツ生成サーバ100へ入力する。
コンテンツ生成サーバ100は、操作者が入力したアンケートや、ヒアリングの結果に基づいて、バーチャルリアリティ(VR: virtual reality)素材データと、シナリオ素材データとを選択する。バーチャルリアリティ素材データと、シナリオ素材データとは、それぞれ、事前に様々なシチュエーションを想定して、多数用意されている。
コンテンツ生成サーバ100は、選択したバーチャルリアリティ素材データとシナリオ素材データとから、人生再現コンテンツ生成用データを生成する。ここで、バーチャルリアリティ素材データは、バーチャルリアリティによって作り出される素材(環境)を表すデータである。バーチャルリアリティとは、コンピュータを用いて人工的な環境を作り出し、ユーザの五感を通してあたかもそこにいるかのように感じさせる技術であり、仮想現実、人工現実感とも呼ばれる。バーチャルリアリティの一例は、ユーザに、幼児期からの人生を、再体験させるための環境である。シナリオ素材データは、バーチャルリアリティによって作り出される素材(環境)でユーザに、外国語(英語)を使用して体験させるストーリーの素材を表すデータである。人生再現コンテンツ生成用データは、ユーザに、幼児期からの人生を再体験させるためのコンテンツを生成するためのデータであり、ユーザIDと、バーチャルリアリティ素材データと、そのシナリオ素材データと、ユーザIDと、レッスンの日時情報と、講師IDとを含む。コンテンツ生成サーバ100は、生成した人生再現コンテンツ生成用データを記憶する。
When it is assumed that the user (student) is going to have a second life in English, questionnaires and interviews are conducted regarding requests such as home environment, learning direction, and preferences. The operator of the foreign language acquisition support system 10 inputs a questionnaire or a hearing result to the content generation server 100.
The content generation server 100 selects virtual reality (VR) material data and scenario material data based on a questionnaire input by the operator and a result of the hearing. A large number of virtual reality material data and scenario material data are prepared in advance assuming various situations.
The content generation server 100 generates life reproduction content generation data from the selected virtual reality material data and scenario material data. Here, the virtual reality material data is data representing a material (environment) created by the virtual reality. Virtual reality is a technology that creates an artificial environment using a computer and makes it feel as if it is present through the user's five senses. It is also called virtual reality or artificial reality. An example of virtual reality is an environment for allowing a user to re-experience life from an early age. The scenario material data is data (environment) created by virtual reality and represents data of a story that allows the user to experience using a foreign language (English). The life reproduction content generation data is data for generating content for allowing the user to re-experience life from an early age. The user ID, the virtual reality material data, the scenario material data, and the user ID And lesson date / time information and an instructor ID. The content generation server 100 stores the generated life reproduction content generation data.

英語のレッスンは、施設60で行われる。英語のレッスンの開始に先立って、コンテンツ出力装置200を起動させる。コンテンツ出力装置200は、ネットワーク50を経由して、コンテンツ生成サーバ100と接続する。コンテンツ出力装置200は、コンテンツ生成サーバ100に、レッスンを受けるユーザの人生再現コンテンツ生成用データを要求する。コンテンツ生成サーバ100は、コンテンツ出力装置200が要求したユーザの人生再現コンテンツ生成用データを、コンテンツ出力装置200へ送信する。コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データは、ネットワーク50を経由して、コンテンツ出力装置200へ送信される。   English lessons are held at facility 60. Prior to the start of the English lesson, the content output device 200 is activated. The content output device 200 is connected to the content generation server 100 via the network 50. The content output apparatus 200 requests the content generation server 100 for data for generating the life reproduction content of the user who takes the lesson. The content generation server 100 transmits the user life reproduction content generation data requested by the content output device 200 to the content output device 200. The life reproduction content generation data transmitted by the content generation server 100 is transmitted to the content output device 200 via the network 50.

コンテンツ出力装置200は、コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データを受信し、受信した人生再現コンテンツ生成用データから、バーチャルリアリティコンテンツ(以下「VRコンテンツ」という)と、講師用台本とを生成する。VRコンテンツは、実際に、ユーザがバーチャルリアリティによって作り出される環境で、見たり聞いたりするグラフィックや、サウンドである。講師用台本は、講師が、レッスンの進行に伴って、ユーザに確認するために随時使用する。講師用台本は、シナリオ素材データに基づいて、タイムライン、台詞原稿、アクション指示などが記載されている。コンテンツ出力装置200は、生成したVRコンテンツを出力端末300へ送信する。講師は、コンテンツ出力装置200が生成した講師用台本を取得する。
出力端末300は、コンテンツ出力装置200が送信したVRコンテンツを受信する。出力端末300は、バーチャルリアリティヘッドセット、ヘッドマウントディスプレイ(Head Mounted Display: HMD)などのウェアラブルコンピュータ(wearable computer)によって実現される。出力端末300は、受信したVRコンテンツを実行(再生)する。出力端末300を装着したユーザは、バーチャルリアリティによって作り出される環境で、グラフィックを見たり、サウンド聞いたり、物に触ったり、食べ物を味わったり、においを感じたりする。講師は、コンテンツ出力装置200から取得した講師用台本にしたがって、ユーザにアクション指示などを行う。
The content output device 200 receives the life reproduction content generation data transmitted from the content generation server 100, and from the received life reproduction content generation data, a virtual reality content (hereinafter referred to as “VR content”), a lecturer script, Is generated. VR content is actually graphics and sounds that a user sees and hears in an environment created by virtual reality. The instructor script is used by the instructor from time to time to confirm with the user as the lesson progresses. The instructor script includes a timeline, a script manuscript, an action instruction, and the like based on scenario material data. The content output device 200 transmits the generated VR content to the output terminal 300. The instructor obtains the instructor script generated by the content output device 200.
The output terminal 300 receives the VR content transmitted by the content output device 200. The output terminal 300 is realized by a wearable computer such as a virtual reality headset or a head-mounted display (HMD). The output terminal 300 executes (reproduces) the received VR content. A user wearing the output terminal 300 sees graphics, listens to sounds, touches things, tastes food, or feels smell in an environment created by virtual reality. The instructor gives an action instruction to the user in accordance with the instructor script acquired from the content output device 200.

ユーザは、出力端末300を装着し、出力端末300がVRコンテンツを実行する。ユーザは、バーチャルリアリティによって作り出される環境の認知や、講師から指示を受けることによって、幼児期からの人生を再体験する。ユーザに、幼児期からの人生を再体験させる場合に、講師は、視覚的効果や、対話の他に、こどもの時代に特有の行動制限を物理的に再現させるために、ユーザに補助器具の使用を指示する。ここで、こどもの時代に特有の行動制限には、身長が低いこと、力が弱いこと、お金を持っていないことなどが含まれる。また、ユーザに、幼児期からの人生を再体験させる場合に、講師は、料理の味に応じて認識される感覚である味覚や、冷たい物を触った場合に知覚される感覚である触覚などを再現あるいは付与する補助器具を併用することを指示する場合もある。このように、ユーザに、補助器具を併用させることによって、ユーザが幼児期からの人生を再体験する効果を高めることができる。   The user wears the output terminal 300, and the output terminal 300 executes the VR content. The user re-experiences life from early childhood by recognizing the environment created by virtual reality and receiving instructions from the instructor. In order for users to re-experience life from early childhood, in addition to visual effects and dialogue, the instructor will allow the user to use assistive devices to physically reproduce the behavioral limitations inherent in the child's age. Instruct use. Here, behavior restrictions specific to the age of children include short stature, weakness, and lack of money. In addition, when the user re-experiences life from early childhood, the instructor is able to recognize the taste that is perceived according to the taste of cooking, the tactile that is perceived when touching a cold object, etc. In some cases, it is instructed to use an auxiliary device that reproduces or imparts the above. In this way, by allowing the user to use the auxiliary device together, the effect of the user re-experiencing life from early childhood can be enhanced.

出力端末300は、脳波センサー、脈拍センサーなど計測装置が実装され、実装された脳波センサー、脈拍センサーなどの計測装置によって、ユーザが、幼児期からの人生を再体験している間と再体験後の脳波、脈拍などの生体情報が取得される。出力端末300は、取得したユーザの脳波、脈拍などの生体情報を、コンテンツ生成サーバ100へ送信する。
センサー400は、ユーザが、幼児期からの人生を再体験している間と再体験後の反応結果を取得し、取得した反応結果を、コンテンツ生成サーバ100へ送信する。具体的には、センサー400は、撮像装置、マイクロフォンなどを含む。センサー400は、ユーザが、幼児期からの人生を再体験している間と再体験後に動画を撮像するとともに、音声を録音し、撮像した動画と、録音した音声とを含む反応結果を、コンテンツ生成サーバ100へ送信する。コンテンツ生成サーバ100は、センサー400が送信した反応結果を記憶する。
The output terminal 300 is equipped with a measuring device such as an electroencephalogram sensor and a pulse sensor, and the user is re-experiencing life from early childhood and after being re-experienced by the implemented measuring device such as an electroencephalogram sensor and a pulse sensor. Biological information such as brain wave and pulse is obtained. The output terminal 300 transmits the acquired biological information such as the brain wave and pulse of the user to the content generation server 100.
The sensor 400 acquires a reaction result while the user is re-experiencing life from an early age and after the re-experience, and transmits the acquired reaction result to the content generation server 100. Specifically, the sensor 400 includes an imaging device, a microphone, and the like. The sensor 400 captures a video while the user re-experiences life from early childhood and after re-experience, records voice, and displays a reaction result including the captured video and the recorded voice as content. It transmits to the generation server 100. The content generation server 100 stores the reaction result transmitted by the sensor 400.

また、講師は、ユーザが、幼児期からの人生を再体験している間に、応答できていたか、応答できていた場合に、その応答の反応速度などの主観的な評価である講師判断結果を作成する。講師が作成した講師判断結果は、コンテンツ生成サーバ100へ入力される。
出力端末300aは、レッスンを受けたユーザが、レッスンの内容を反芻するために使用する。コンテンツ生成サーバ100は、レッスンの終了後、所定の周期で、出力端末300aへアラームを鳴らす情報を送信する。出力端末300aは、コンテンツ生成サーバ100が送信したアラームを鳴らす情報を受信し、受信したアラームを鳴らす情報にしたがって、ユーザへ、レッスン内容を反芻することを通知する。ユーザは、レッスン内容を反芻する場合には、反芻用の動画と音声とを再生する操作を行う。出力端末300aに対して、反芻用の動画と音声とを再生する操作が行われた場合、出力端末300aは、動画と音声とを再生する情報である再生情報を、コンテンツ生成サーバ100へ送信する。コンテンツ生成サーバ100は、出力端末300aが送信した再生情報を受信し、受信した再生情報に応じて、動画と音声とを表す情報を、出力端末300aへ送信する。
In addition, if the instructor was able to respond or responded while re-experiencing life from early childhood, the result of instructor judgment is a subjective evaluation such as the response speed of the response. Create The instructor determination result created by the instructor is input to the content generation server 100.
The output terminal 300a is used by a user who has taken a lesson to refute the contents of the lesson. The content generation server 100 transmits information for sounding an alarm to the output terminal 300a at a predetermined cycle after the lesson ends. The output terminal 300a receives the information that sounds the alarm transmitted from the content generation server 100, and notifies the user that the lesson content is rebutted according to the received information that sounds the alarm. When the user refutes the lesson content, the user performs an operation to reproduce the reciprocal moving image and sound. When the output terminal 300a is operated to reproduce the video and audio for rumination, the output terminal 300a transmits reproduction information, which is information for reproducing the video and audio, to the content generation server 100. . The content generation server 100 receives the reproduction information transmitted by the output terminal 300a, and transmits information representing a moving image and sound to the output terminal 300a according to the received reproduction information.

ユーザは、出力端末300aを装着する。出力端末300aが動画と音声とを再生することで、ユーザは、レッスン時の体験を呼び起こしたり、反芻したりする。
出力端末300aは、脳波センサー、脈拍センサーなど計測装置が実装され、実装された脳波センサー、脈拍センサーなどの計測装置によって、ユーザが、動画と音声と視聴することによって、レッスン時の体験を呼び起こしている間の脳波、脈拍などの生体情報が取得される。出力端末300aは、取得したユーザの脳波、脈拍などの生体情報を、コンテンツ生成サーバ100へ送信する。
コンテンツ生成サーバ100は、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、講師から取得した講師判断結果と、出力端末300aが送信した生体情報とに基づいて、英語で対応する感性の成長レベルである人格成長度数を導出する。コンテンツ生成サーバ100は、導出した人格成長度数に基づいて、バーチャルリアリティ素材データと、シナリオ素材データとを選択する。コンテンツ生成サーバ100は、選択したバーチャルリアリティ素材データと、シナリオ素材データとから、(次回の)人生再現コンテンツ生成用データを生成する。
以下、外国語習得支援システム10を構成するコンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、出力端末300aとについて、説明する。
The user wears the output terminal 300a. As the output terminal 300a reproduces the moving image and the sound, the user evokes or refutes the lesson experience.
The output terminal 300a is equipped with a measuring device such as an electroencephalogram sensor and a pulse sensor, and the user can wake up the lesson experience by viewing the video and audio with the measuring device such as the electroencephalogram sensor and the pulse sensor. Biological information such as an electroencephalogram and a pulse during the period is acquired. The output terminal 300 a transmits the acquired biological information such as the brain wave and pulse of the user to the content generation server 100.
The content generation server 100 responds in English based on the biological information transmitted by the output terminal 300, the reaction result transmitted by the sensor 400, the instructor determination result acquired from the instructor, and the biological information transmitted by the output terminal 300a. Deriving the personality growth frequency that is the growth level of sensibility. The content generation server 100 selects virtual reality material data and scenario material data based on the derived personality growth degree. The content generation server 100 generates (next) life reproduction content generation data from the selected virtual reality material data and scenario material data.
Hereinafter, the content generation server 100, the content output device 200, the output terminal 300, and the output terminal 300a constituting the foreign language learning support system 10 will be described.

(コンテンツ生成サーバ100)
図2は、実施形態の外国語習得支援システム10に含まれるコンテンツ生成サーバ100と、コンテンツ出力装置200と、出力端末300と、出力端末300aとの一例を示すブロック図である。図2を参照して、コンテンツ生成サーバ100について説明する。
コンテンツ生成サーバ100は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータ等の装置によって実現される。
コンテンツ生成サーバ100は、例えば、通信部110と、入力部120と、情報処理部130と、記憶部140とを備える。
通信部110は、通信モジュールによって実現される。通信部110はネットワーク50を介して、外部の通信装置と通信する。通信部110は、例えば無線LAN(Local Area Network)、有線LAN、ブルートゥース(Bluetooth)(登録商標)又はLTE(Long Term Evolution)(登録商標)などの通信方式で通信してもよい。通信部110は、コンテンツ出力装置200が送信した人生再現コンテンツ生成用データを要求する信号である人生再現コンテンツ生成用データ要求を受信し、受信した人生再現コンテンツ生成用データ要求を、情報処理部130へ出力する。通信部110は、人生再現コンテンツ生成用データ要求に対して、情報処理部130が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、コンテンツ出力装置200へ送信する。また、通信部110は、センサー400が送信した反応結果を受信し、受信した反応結果を、情報処理部130へ出力する。また、通信部110は、出力端末300が送信した生体情報を受信し、受信した生体情報を、情報処理部130へ出力する。
また、通信部110は、情報処理部130が出力したアラームを鳴らす情報を、出力端末300aへ送信する。また、通信部110は、出力端末300aが送信した動画再生情報を受信し、受信した動画再生情報を、情報処理部130へ出力する。また、通信部110は、情報処理部130が出力する動画を表す情報を、出力端末300aへ送信する。また、通信部110は、出力端末300aが送信する生体情報を受信し、受信した生体情報を、情報処理部130に出力する。
(Content generation server 100)
FIG. 2 is a block diagram illustrating an example of the content generation server 100, the content output device 200, the output terminal 300, and the output terminal 300a included in the foreign language acquisition support system 10 of the embodiment. The content generation server 100 will be described with reference to FIG.
The content generation server 100 is realized by a device such as a personal computer, a server, a smartphone, a tablet computer, or an industrial computer.
The content generation server 100 includes, for example, a communication unit 110, an input unit 120, an information processing unit 130, and a storage unit 140.
The communication unit 110 is realized by a communication module. The communication unit 110 communicates with an external communication device via the network 50. The communication unit 110 may perform communication using a communication method such as a wireless local area network (LAN), a wired LAN, Bluetooth (registered trademark), or LTE (Long Term Evolution) (registered trademark). The communication unit 110 receives a life reproduction content generation data request, which is a signal for requesting life reproduction content generation data transmitted by the content output device 200, and receives the received life reproduction content generation data request as the information processing unit 130. Output to. The communication unit 110 acquires the life reproduction content generation data output by the information processing unit 130 in response to the life reproduction content generation data request, and transmits the acquired life reproduction content generation data to the content output device 200. . In addition, the communication unit 110 receives the reaction result transmitted by the sensor 400 and outputs the received reaction result to the information processing unit 130. In addition, the communication unit 110 receives the biological information transmitted by the output terminal 300 and outputs the received biological information to the information processing unit 130.
In addition, the communication unit 110 transmits information for sounding the alarm output from the information processing unit 130 to the output terminal 300a. In addition, the communication unit 110 receives the moving image reproduction information transmitted from the output terminal 300 a and outputs the received moving image reproduction information to the information processing unit 130. Further, the communication unit 110 transmits information representing the moving image output by the information processing unit 130 to the output terminal 300a. In addition, the communication unit 110 receives the biological information transmitted from the output terminal 300 a and outputs the received biological information to the information processing unit 130.

入力部120は、タッチパネル、マウス及びキーボード等の入力装置を用いて構成される。入力部120は、入力装置を用いて入力された情報を、情報処理部130へ出力する。入力部120は、入力装置をコンテンツ生成サーバ100に接続するためのインタフェースであってもよい。この場合、入力部120は、入力装置に入力された入力信号から入力データ(例えば、コンテンツ生成サーバ100に対する指示を示す指示情報)を生成し、コンテンツ生成サーバ100に入力する。
具体的には、入力部120には、ユーザの初期データが入力され、入力された初期データは、情報処理部130へ出力される。ここで、初期データの一例は、ユーザへのアンケートやヒアリングを通じて取得される。具体的には、ユーザに、英語ネイティブで第二の人生を送ると仮定した場合に、家庭環境、習得方向性、好みなどの要望について、アンケートやヒアリングが行われる。入力部120は、アンケートやヒアリングの結果を、初期データとして取得する。例えば、家庭環境の例として、千葉県在住、3LDKマンションに住む家庭、二人のこども、男性、父親はIT企業勤務で年収800万、8時に家を出て22時に帰宅、母親は専業主婦、趣味はスマホでディズニーツムツムと料理、地域のママさんコミュニティに積極参加で交流多めなどの情報が取得される。また、習得方向性の例として、海外駐在での日常生活に支障がない程度の意志疎通が当面の目標であることを示す情報と、その先は仕事における会議で日本語と同じ品質で自身のビジネストークができることを目指すことを示す情報とが取得される。また、好みの例として、好きな食べ物を示す情報が取得される。
また、入力部120には、講師が作成した講師判断結果が入力され、入力された講師判断結果は、情報処理部130へ出力される。
The input unit 120 is configured using an input device such as a touch panel, a mouse, and a keyboard. The input unit 120 outputs information input using the input device to the information processing unit 130. The input unit 120 may be an interface for connecting the input device to the content generation server 100. In this case, the input unit 120 generates input data (for example, instruction information indicating an instruction for the content generation server 100) from the input signal input to the input device, and inputs the input data to the content generation server 100.
Specifically, user initial data is input to the input unit 120, and the input initial data is output to the information processing unit 130. Here, an example of initial data is acquired through a questionnaire or interviews with the user. Specifically, when it is assumed that the user will have a second life in English, a questionnaire and interviews are conducted regarding requests such as home environment, learning direction, and preferences. The input unit 120 acquires a questionnaire or a hearing result as initial data. For example, as an example of the home environment, living in Chiba, a family living in a 3LDK apartment, two children, a man, a father working for an IT company, annual income of 8 million, leaving home at 8 o'clock and returning home at 22 o'clock, a mother as a full-time housewife, My hobbies are using smartphones to get information on Disney Tsum Tsum and cooking, and participating in the local mom community. In addition, as an example of the direction of acquisition, information indicating that the immediate goal is to have a level of communication that does not impede daily life when you are stationed overseas. Information indicating that the business talk is aimed to be acquired is acquired. As an example of preference, information indicating favorite food is acquired.
In addition, the instructor determination result created by the instructor is input to the input unit 120, and the input instructor determination result is output to the information processing unit 130.

記憶部140は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部140の一部または全部は、コンテンツ生成サーバ100の一部として設けられる場合に代えて、NAS(Network Attached Storage)や外部のストレージサーバなど、コンテンツ生成サーバ100のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部140には、情報処理部130により実行されるプログラムと、入力部120が出力した初期データと、センサー400が送信した反応結果と、VR素材データDB150と、シナリオ素材データDB160と、人格成長度判定リスト170と、人生再現コンテンツ生成用データDB180と、動画DB190とが記憶される。   The storage unit 140 is realized by, for example, a random access memory (RAM), a read only memory (ROM), a hard disk drive (HDD), a flash memory, or a hybrid storage device in which a plurality of these are combined. Instead of the case where part or all of the storage unit 140 is provided as a part of the content generation server 100, a processor of the content generation server 100 such as a NAS (Network Attached Storage) or an external storage server via the network 50 may be used. It may be realized by an accessible external device. The storage unit 140 includes a program executed by the information processing unit 130, initial data output from the input unit 120, a reaction result transmitted by the sensor 400, a VR material data DB 150, a scenario material data DB 160, and personality growth. A degree determination list 170, a life reproduction content generation data DB 180, and a moving image DB 190 are stored.

VR素材データDB150は、バーチャルリアリティによって作り出される素材(環境)を表すデータであるバーチャルリアリティ素材データを複数記憶する。具体的には、バーチャルリアリティ素材データは、幼児期からの成長過程に応じて、人間が体験すると想定される環境を作り出すためのデータである。例えば、VR素材データの一例は、子供部屋を作り出すためのデータ、台所を作り出すためのデータ、公園を作り出すためのデータ、お店を作り出すためのデータである。
シナリオ素材データDB160は、バーチャルリアリティによって作り出される素材(環境)でユーザに、外国語(英語)を使用して体験させるストーリーの素材を表すデータであるシナリオ素材データを複数記憶する。
人格成長度判定リスト170は、英語で対応する感性の成長レベルである人格成長度数を導出するために使用するリストである。人格成長度判定リスト170は、人格成長度を定性的に分析し、分析結果を、生体情報と、音声と、動画と、講師の講師判断結果との各々について、定義したものである。例えば、人格成長度数は、成長度数1、成長度数2、・・・に分類される。ここで、成長度数1は、言葉は正確ではないが、意思は伝わるレベルである。成長度数2は、一つの単語であれば、ある程度正確に表現できるが、二つの単語は繋げることができないレベルである。成長度数が、成長度数1から増加するにしたがって、英語で対応する感性の成長レベルは高くなる。
人生再現コンテンツ生成用データDB180は、人生再現コンテンツ生成用データを記憶する。人生再現コンテンツ生成用データは、前述したように、バーチャルリアリティ素材データと、そのシナリオ素材データと、ユーザIDと、レッスンの日時情報と、講師IDとを含む。
動画DB190は、出力端末300が送信した反応結果に含まれる動画と音声とを、ユーザIDと関連付けて記憶する。
The VR material data DB 150 stores a plurality of virtual reality material data, which are data representing materials (environments) created by virtual reality. Specifically, the virtual reality material data is data for creating an environment assumed to be experienced by humans according to the growth process from the early childhood. For example, one example of VR material data is data for creating a child's room, data for creating a kitchen, data for creating a park, and data for creating a shop.
The scenario material data DB 160 stores a plurality of scenario material data, which are materials (situations) created by virtual reality and that represent the material of a story that a user can experience using a foreign language (English).
The personality growth degree determination list 170 is a list used for deriving the personality growth degree, which is a sensitivity growth level corresponding to English. The personality growth degree determination list 170 qualitatively analyzes the personality growth degree, and defines the analysis results for each of the biological information, the sound, the moving image, and the instructor determination result of the instructor. For example, the personality growth degree is classified into growth degree 1, growth degree 2,. Here, the growth degree 1 is a level at which the intention is transmitted although the word is not accurate. The growth degree 2 is a level at which one word can be accurately expressed to some extent, but two words cannot be connected. As the growth frequency increases from the growth frequency 1, the growth level of the sensitivity corresponding to English increases.
The life reproduction content generation data DB 180 stores life reproduction content generation data. As described above, the life reproduction content generation data includes virtual reality material data, scenario material data, a user ID, lesson date information, and an instructor ID.
The moving image DB 190 stores the moving image and sound included in the reaction result transmitted by the output terminal 300 in association with the user ID.

情報処理部130は、例えば、CPU(Central Processing Unit)などのプロセッサが記憶部140に格納されたプログラムを実行することにより実現される機能部(以下、ソフトウェア機能部と称する)である。なお、情報処理部130の全部または一部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部130は、例えば、取得部132と、生成部134と、導出部136と、処理部138とを備える。
取得部132は、入力部120が出力した初期データを取得し、取得した初期データを、記憶部140に出力するとともに、生成部134へ出力する。また、取得部132は、通信部110が出力する人生再現コンテンツ生成用データ要求を取得し、取得した人生再現コンテンツ生成用データ要求に基づいて、記憶部140に記憶されている人生再現コンテンツ生成用データDB180に含まれる人生再現コンテンツ生成用データのうち、人生再現コンテンツ生成用データ要求に含まれるユーザIDに該当する人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、通信部110へ出力する。
また、取得部132は、通信部110が出力する生体情報を取得し、取得した生体情報を、導出部136へ出力する。また、取得部132は、通信部110が出力する反応結果を取得し、取得した反応結果を、導出部136へ出力する。また、取得部132は、入力部120が出力した講師判断結果を取得し、取得した講師判断結果を、生成部134へ出力する。
また、取得部132は、通信部110が出力する出力端末300aが送信した生体情報を取得し、取得した生体情報を、導出部136へ出力する。また、取得部132は、通信部110が出力した再生情報を取得し、取得した再生情報を、処理部138へ出力する。
The information processing unit 130 is a functional unit (hereinafter referred to as a software functional unit) realized by a processor such as a CPU (Central Processing Unit) executing a program stored in the storage unit 140, for example. Note that all or part of the information processing unit 130 may be realized by hardware such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), or FPGA (Field-Programmable Gate Array). It may be realized by a combination of a unit and hardware.
The information processing unit 130 includes, for example, an acquisition unit 132, a generation unit 134, a derivation unit 136, and a processing unit 138.
The acquisition unit 132 acquires the initial data output from the input unit 120, and outputs the acquired initial data to the storage unit 140 and also to the generation unit 134. In addition, the acquisition unit 132 acquires the life reproduction content generation data request output from the communication unit 110, and based on the acquired life reproduction content generation data request, the life reproduction content generation data stored in the storage unit 140 is acquired. Of the life reproduction content generation data included in the data DB 180, the life reproduction content generation data corresponding to the user ID included in the life reproduction content generation data request is acquired, and the acquired life reproduction content generation data is communicated. Output to the unit 110.
Further, the acquisition unit 132 acquires the biological information output by the communication unit 110 and outputs the acquired biological information to the derivation unit 136. Further, the acquisition unit 132 acquires the reaction result output from the communication unit 110 and outputs the acquired reaction result to the derivation unit 136. In addition, the acquisition unit 132 acquires the lecturer determination result output by the input unit 120 and outputs the acquired lecturer determination result to the generation unit 134.
In addition, the acquisition unit 132 acquires the biological information transmitted from the output terminal 300 a output from the communication unit 110 and outputs the acquired biological information to the derivation unit 136. Further, the acquisition unit 132 acquires the reproduction information output from the communication unit 110 and outputs the acquired reproduction information to the processing unit 138.

生成部134は、取得部132が出力した初期データを取得し、取得した初期データに基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。VR素材データDB150に含まれる複数のバーチャルリアリティ素材データの各々には、条件検索で使用するキーワードが予め設定されている。生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データからヒットするバーチャルリアリティ素材データを抽出する。
また、シナリオ素材データDB160に含まれる複数のシナリオ素材データの各々には、条件検索で使用するキーワードが予め設定されている。生成部134は、シナリオ素材データDB160に含まれるシナリオ素材データからヒットするシナリオ素材データを抽出する。
生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データとに基づいて、人生再現コンテンツ生成用データを生成する。生成部134は、生成した人生再現コンテンツ生成用データを、記憶部140の人生再現コンテンツ生成用データDB180に記憶する。
The generation unit 134 acquires the initial data output by the acquisition unit 132, and performs a condition search on the VR material data DB 150 and the scenario material data DB 160 based on the acquired initial data. In each of the plurality of virtual reality material data included in the VR material data DB 150, keywords used in the condition search are set in advance. The generation unit 134 extracts virtual reality material data hit from a plurality of virtual reality material data included in the VR material data DB 150.
In addition, keywords used in the condition search are set in advance in each of the plurality of scenario material data included in the scenario material data DB 160. The generation unit 134 extracts scenario material data hit from the scenario material data included in the scenario material data DB 160.
The generation unit 134 generates life reproduction content generation data based on the extracted virtual reality material data and scenario material data. The generation unit 134 stores the generated life reproduction content generation data in the life reproduction content generation data DB 180 of the storage unit 140.

導出部136は、入力部120が出力する講師判断結果と、取得部132が出力する出力端末300が送信した生体情報と出力端末300aが送信した生体情報とのいずれか一方又は両方と、反応結果とを取得し、取得した講師判断結果と、生体情報と、反応結果とに基づいて、人格成長度数を導出する。具体的には、導出部136には、英語ネイティブの生体情報が記憶されている。導出部136は、取得部132が出力した出力端末300が送信した生体情報と出力端末300aが送信した生体情報とのいずれか一方又は両方と、記憶している英語ネイティブの生体情報とを比較し、比較結果と、講師判断結果と、反応結果とに基づいて、人格成長度数を導出する。この場合、導出部136は、取得部132が出力した出力端末300が送信した生体情報と出力端末300aが送信した生体情報とのいずれか一方又は両方と、記憶している英語ネイティブの生体情報との類似度を導出し、導出した類似度に基づいて、人格成長度数を導出する。例えば、導出部136は、生体情報として、脳波が使用された場合には、導出部136は、活性化している箇所の類似度を算出し、導出した類似度に基づいて、人格成長度数を導出してもよい。導出部136は、導出した人格成長度数を示す情報を生成部134へ出力する。   The derivation unit 136 includes one or both of the instructor determination result output from the input unit 120, the biological information transmitted from the output terminal 300 output from the acquisition unit 132 and the biological information transmitted from the output terminal 300a, and the reaction result. And the personality growth degree is derived based on the obtained lecturer determination result, biometric information, and reaction result. Specifically, the derivation unit 136 stores English native biological information. The deriving unit 136 compares one or both of the biological information transmitted by the output terminal 300 output from the acquiring unit 132 and the biological information transmitted by the output terminal 300a with the stored native English biological information. The personality growth degree is derived based on the comparison result, the lecturer determination result, and the reaction result. In this case, the derivation unit 136 includes one or both of the biological information transmitted from the output terminal 300 output from the acquisition unit 132 and the biological information transmitted from the output terminal 300a, and the stored native English biological information. The degree of personality growth is derived based on the derived degree of similarity. For example, when the electroencephalogram is used as the biological information, the deriving unit 136 calculates the similarity of the activated part and derives the personality growth frequency based on the derived similarity. May be. The deriving unit 136 outputs information indicating the derived personality growth degree to the generating unit 134.

生成部134は、導出部136が出力した人格成長度数を示す情報を取得し、取得した人格成長度数に基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データから、人格成長度数に合ったVR素材データを抽出する。生成部134は、シナリオ素材データDB160に含まれる複数のシナリオ素材データから、人格成長度数に合ったシナリオ素材データを抽出する。生成部134は、抽出したVR素材データと、シナリオ素材データとに基づいて、(次回の)人生再現コンテンツ生成用データを生成する。生成部134は、生成した人生再現コンテンツ生成用データを、記憶部140に記憶する。
処理部138は、レッスンが終了してから、所定の周期で、アラームを鳴らす情報を生成し、生成したアラームを鳴らす情報を、通信部110へ出力する。処理部138は、通信部110が出力した再生情報に含まれるユーザIDに基づいて、記憶部140の動画DB190から、そのユーザIDに関連付けて記憶されている動画と音声とを取得する。処理部138は、取得した動画と音声とを表す情報を、通信部110へ出力する。
The generation unit 134 acquires information indicating the personality growth frequency output by the deriving unit 136, and performs a condition search on the VR material data DB 150 and the scenario material data DB 160 based on the acquired personality growth frequency. The generation unit 134 extracts VR material data suitable for the personality growth degree from a plurality of virtual reality material data included in the VR material data DB 150. The generation unit 134 extracts scenario material data suitable for the personality growth degree from a plurality of scenario material data included in the scenario material data DB 160. The generation unit 134 generates (next) life reproduction content generation data based on the extracted VR material data and scenario material data. The generation unit 134 stores the generated life reproduction content generation data in the storage unit 140.
The processing unit 138 generates information for sounding the alarm at a predetermined cycle after the lesson ends, and outputs the information for sounding the generated alarm to the communication unit 110. Based on the user ID included in the reproduction information output from the communication unit 110, the processing unit 138 acquires the moving image and sound stored in association with the user ID from the moving image DB 190 of the storage unit 140. The processing unit 138 outputs information representing the acquired moving image and audio to the communication unit 110.

(コンテンツ出力装置200)
図2を参照して、コンテンツ出力装置200について説明する。
コンテンツ出力装置200は、パーソナルコンピュータ、サーバ、スマートフォン、タブレットコンピュータ又は産業用コンピュータなどの装置によって実現される。
コンテンツ出力装置200は、例えば、通信部210と、情報処理部230と、記憶部240とを備える。
通信部210は、通信モジュールによって実現される。通信部210はネットワーク50を介して、外部の通信装置と通信する。通信部210は、例えば無線LAN、有線LAN、ブルートゥース又はLTEなどの通信方式で通信してもよい。通信部210は、情報処理部230が出力した人生再現コンテンツ生成用データ要求を、コンテンツ生成サーバ100へ送信する。また、通信部210は、送信した人生再現コンテンツ生成用データ要求に対して、コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データを受信し、受信した人生再現コンテンツ生成用データを、情報処理部230へ出力する。
また、通信部210は、情報処理部230が出力したVRコンテンツを、出力端末300へ送信する。
(Content Output Device 200)
The content output apparatus 200 will be described with reference to FIG.
The content output device 200 is realized by a device such as a personal computer, a server, a smartphone, a tablet computer, or an industrial computer.
The content output device 200 includes, for example, a communication unit 210, an information processing unit 230, and a storage unit 240.
The communication unit 210 is realized by a communication module. The communication unit 210 communicates with an external communication device via the network 50. The communication unit 210 may communicate with a communication method such as a wireless LAN, a wired LAN, Bluetooth, or LTE. The communication unit 210 transmits the life reproduction content generation data request output from the information processing unit 230 to the content generation server 100. Further, the communication unit 210 receives the life reproduction content generation data transmitted by the content generation server 100 in response to the transmitted life reproduction content generation data request, and transmits the received life reproduction content generation data to the information processing unit. 230.
Further, the communication unit 210 transmits the VR content output from the information processing unit 230 to the output terminal 300.

記憶部240は、例えば、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部240の一部または全部は、コンテンツ出力装置200の一部として設けられる場合に代えて、NASや外部のストレージサーバなど、コンテンツ出力装置200のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部240には、情報処理部230により実行されるプログラムが記憶される。   The storage unit 240 is realized by, for example, a RAM, a ROM, an HDD, a flash memory, or a hybrid storage device in which a plurality of these are combined. Instead of being provided as a part of the content output device 200, a part or all of the storage unit 240 is an external device that can be accessed via the network 50 by the processor of the content output device 200, such as a NAS or an external storage server. May be realized. The storage unit 240 stores a program executed by the information processing unit 230.

情報処理部230は、例えば、CPUなどのプロセッサが記憶部240に格納されたプログラムを実行することにより実現されるソフトウェア機能部である。なお、情報処理部230の全部または一部は、LSI、ASIC、またはFPGAなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部230は、例えば、取得部232と、生成部234とを備える。
取得部232は、人生再現コンテンツ生成用データ要求を生成し、生成した人生再現コンテンツ生成用データ要求を、通信部210へ出力する。人生再現コンテンツ生成用データ要求には、レッスンを受けるユーザのユーザIDが含まれる。また、取得部232は、通信部210へ出力した人生再現コンテンツ生成用データ要求に対して、通信部210が出力する人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、生成部234へ出力する。
The information processing unit 230 is a software function unit that is realized by a processor such as a CPU executing a program stored in the storage unit 240, for example. Note that all or part of the information processing unit 230 may be realized by hardware such as LSI, ASIC, or FPGA, or may be realized by a combination of a software function unit and hardware.
The information processing unit 230 includes, for example, an acquisition unit 232 and a generation unit 234.
The acquisition unit 232 generates a life reproduction content generation data request, and outputs the generated life reproduction content generation data request to the communication unit 210. The life reproduction content generation data request includes the user ID of the user who takes the lesson. Further, the acquisition unit 232 acquires the life reproduction content generation data output by the communication unit 210 in response to the life reproduction content generation data request output to the communication unit 210, and the acquired life reproduction content generation data is The data is output to the generation unit 234.

生成部234は、取得部232が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データに含まれるバーチャルリアリティ素材データと、シナリオ素材データとに基づいて、VRコンテンツと、講師用台本とを生成する。生成部234は、生成したVRコンテンツを、通信部210へ出力する。生成部234は、生成した講師用台本を、講師へ提供する。具体的には、生成部234は、講師用台本を表す情報を、通信部210へ出力し、通信部210は、生成部234が出力した講師用台本を表す情報を、講師が所持する端末装置(図示なし)へ送信するようにしてもよい。また、生成部234は、講師用台本を表す情報を、画像形成装置へ出力し、画像形成装置は、生成部234が出力した講師用台本を印刷するようしてもよい。そして、講師は、印刷された講師用台本を取得する。   The generation unit 234 acquires the life reproduction content generation data output by the acquisition unit 232, and based on the virtual reality material data and the scenario material data included in the acquired life reproduction content generation data, VR content, Generate a teacher script. The generation unit 234 outputs the generated VR content to the communication unit 210. The generation unit 234 provides the generated instructor script to the instructor. Specifically, the generation unit 234 outputs information representing the instructor script to the communication unit 210, and the communication unit 210 has terminal information that the instructor possesses information representing the instructor script output from the generation unit 234. You may make it transmit to (not shown). The generation unit 234 may output information representing the instructor script to the image forming apparatus, and the image forming apparatus may print the instructor script output from the generation unit 234. Then, the instructor obtains the printed instructor script.

(出力端末300)
図2を参照して、出力端末300について説明する。
出力端末300は、バーチャルリアリティヘッドセット、ヘッドマウントディスプレイなどのウェアラブルコンピュータによって実現される。
出力端末300は、例えば、通信部310と、情報処理部330と、記憶部340とを備える。
通信部310は、通信モジュールによって実現される。通信部310はネットワーク50を介して、外部の通信装置と通信する。通信部310は、例えば無線LAN、有線LAN、ブルートゥース又はLTEなどの通信方式で通信してもよい。通信部310は、コンテンツ出力装置200が送信したVRコンテンツを受信し、受信したVRコンテンツを、情報処理部330へ出力する。また、通信部310は、情報処理部330が出力したユーザIDを含む生体情報を、コンテンツ生成サーバ100へ送信する。
(Output terminal 300)
The output terminal 300 will be described with reference to FIG.
The output terminal 300 is realized by a wearable computer such as a virtual reality headset or a head mounted display.
The output terminal 300 includes, for example, a communication unit 310, an information processing unit 330, and a storage unit 340.
The communication unit 310 is realized by a communication module. The communication unit 310 communicates with an external communication device via the network 50. The communication unit 310 may communicate with a communication method such as a wireless LAN, a wired LAN, Bluetooth, or LTE. The communication unit 310 receives the VR content transmitted by the content output device 200 and outputs the received VR content to the information processing unit 330. In addition, the communication unit 310 transmits biometric information including the user ID output by the information processing unit 330 to the content generation server 100.

記憶部340は、例えば、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部340の一部または全部は、出力端末300の一部として設けられる場合に代えて、NASや外部のストレージサーバなど、出力端末300のプロセッサがネットワーク50を介してアクセス可能な外部装置により実現されてもよい。記憶部340には、情報処理部330により実行されるプログラムが記憶される。   The storage unit 340 is realized by, for example, a RAM, a ROM, an HDD, a flash memory, or a hybrid storage device in which a plurality of these are combined. A part or all of the storage unit 340 is realized by an external device accessible by the processor of the output terminal 300 via the network 50, such as a NAS or an external storage server, instead of being provided as a part of the output terminal 300. May be. The storage unit 340 stores a program executed by the information processing unit 330.

情報処理部330は、例えば、CPUなどのプロセッサが記憶部340に格納されたプログラムを実行することにより実現されるソフトウェア機能部である。なお、情報処理部330の全部または一部は、LSI、ASIC、またはFPGAなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部330は、例えば、取得部332と、処理部338とを備える。
取得部332は、通信部310が出力したVRコンテンツを取得し、取得したVRコンテンツを処理部338へ出力する。また、取得部332は、ユーザが、幼児期からの人生を再体験している間の脳波、脈拍などの生体情報を取得することによって、レッスン状況のモニタリングを行い、ユーザIDとともに、取得した生体情報を通信部310へ出力する。
処理部338は、取得部332が出力したVRコンテンツを取得し、取得したVRコンテンツを実行することによって、バーチャルリアリティによって、環境を作り出す。
The information processing unit 330 is a software function unit that is realized by a processor such as a CPU executing a program stored in the storage unit 340, for example. Note that all or part of the information processing unit 330 may be realized by hardware such as LSI, ASIC, or FPGA, or may be realized by a combination of a software function unit and hardware.
The information processing unit 330 includes, for example, an acquisition unit 332 and a processing unit 338.
The acquisition unit 332 acquires the VR content output from the communication unit 310 and outputs the acquired VR content to the processing unit 338. In addition, the acquisition unit 332 monitors the lesson status by acquiring biological information such as brain waves and pulses while the user re-experiences life from the early childhood, and acquires the acquired biological information together with the user ID. Information is output to the communication unit 310.
The processing unit 338 acquires the VR content output by the acquisition unit 332 and executes the acquired VR content, thereby creating an environment by virtual reality.

(出力端末300a)
図2を参照して、出力端末300aについて説明する。
出力端末300aは、バーチャルリアリティヘッドセット、ヘッドマウントディスプレイなどのウェアラブルコンピュータによって実現される。
出力端末300aは、例えば、通信部310aと、情報処理部330aと、記憶部340aとを備える。
通信部310aは、出力端末300の通信部310を適用できる。ただし、通信部310aは、コンテンツ生成サーバ100が送信したアラームを鳴らす情報を受信し、受信したアラームを鳴らす情報を、情報処理部330aへ出力する。また、通信部310aは、情報処理部330aが出力した動画再生情報を取得し、取得した動画再生情報を、コンテンツ生成サーバ100へ送信する。また、通信部310aは、コンテンツ生成サーバ100が送信した動画を表す情報を受信し、受信した動画を表す情報を、情報処理部330aへ出力する。また、通信部310aは、情報処理部330aが出力した生体情報を、コンテンツ生成サーバ100へ送信する。
(Output terminal 300a)
The output terminal 300a will be described with reference to FIG.
The output terminal 300a is realized by a wearable computer such as a virtual reality headset or a head mounted display.
The output terminal 300a includes, for example, a communication unit 310a, an information processing unit 330a, and a storage unit 340a.
The communication unit 310a can apply the communication unit 310 of the output terminal 300. However, the communication part 310a receives the information which sounds the alarm which the content production | generation server 100 transmitted, and outputs the information which sounds the received alarm to the information processing part 330a. In addition, the communication unit 310a acquires the moving image reproduction information output from the information processing unit 330a, and transmits the acquired moving image reproduction information to the content generation server 100. Further, the communication unit 310a receives information representing the moving image transmitted by the content generation server 100, and outputs the information representing the received moving image to the information processing unit 330a. In addition, the communication unit 310 a transmits the biological information output from the information processing unit 330 a to the content generation server 100.

記憶部340aは、出力端末300の記憶部340を適用できる。ただし、記憶部340aには、情報処理部330aにより実行されるプログラムが記憶される。
情報処理部330aは、出力端末300の情報処理部330を適用できる。ただし、情報処理部330aは、例えば、取得部332aと、処理部338aとを備える。
取得部332aは、出力端末300の取得部332を適用できる。ただし、取得部332aは、通信部310aが出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報を、処理部338aへ出力する。また、取得部332aは、ユーザが、動画と、音声とを視聴することによって、レッスン時の体験を呼び起こしている間の脳波、脈拍などの生体情報が取得することによって、モニタリングを行い、取得した生体情報を通信部310aへ出力する。
処理部338aは、出力端末300の処理部338を適用できる。ただし、処理部338aは、取得部332aが出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報にしたがって、ユーザへ、レッスン内容を反芻することを通知する。処理部338aは、ユーザが、動画と音声とを再生する操作を行った場合に、動画再生情報を作成し、作成した動画再生情報を、通信部310aへ出力する。動画再生情報には、ユーザIDが含まれる。
The storage unit 340 of the output terminal 300 can be applied to the storage unit 340a. However, the storage unit 340a stores a program executed by the information processing unit 330a.
The information processing unit 330a of the output terminal 300 can be applied to the information processing unit 330a. However, the information processing unit 330a includes, for example, an acquisition unit 332a and a processing unit 338a.
The acquisition unit 332a of the output terminal 300 can be applied to the acquisition unit 332a. However, the acquisition unit 332a acquires information for sounding the alarm output from the communication unit 310a, and outputs the information for sounding the acquired alarm to the processing unit 338a. In addition, the acquisition unit 332a performs monitoring by acquiring biometric information such as brain waves and pulses while the user is awakening the lesson experience by viewing the video and audio. The biological information is output to the communication unit 310a.
The processing unit 338 of the output terminal 300 can be applied to the processing unit 338a. However, the processing unit 338a acquires information that sounds the alarm output from the acquisition unit 332a, and notifies the user that the lesson content is rebutted according to the acquired information that sounds the alarm. When the user performs an operation of reproducing a moving image and sound, the processing unit 338a creates moving image reproduction information, and outputs the created moving image reproduction information to the communication unit 310a. The moving image reproduction information includes a user ID.

(外国語習得支援システムの動作)
以下、外国語習得支援システム10の動作について、図3−図5を参照して説明する。
図3は、実施形態の外国語習得支援システム10の動作の一例(その1)を示すシーケンス図である。
図4は、実施形態の外国語習得支援システム10の動作の一例を示すデータフロー図である。
図5は、実施形態の外国語習得支援システム10の動作の一例(その2)を示すシーケンス図である。
(ステップS101)
コンテンツ生成サーバ100の取得部132は、入力部120が出力する初期データを取得する。図4に示されるように、取得部132は、初期データとして、家庭環境d01と習得方向性d02と好みd03とを取得する。図3に戻り、説明を続ける。
(ステップS102)
コンテンツ生成サーバ100の生成部134は、初期データを用いて条件解析を行い、条件解析結果に基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。また、生成部134は、初期データに含まれる習得方向性で指定される目標に応じて、全てのレッスンが完了するまでの総レッスン数や、総時間数などを、予め概算する。ここで概算された総レッスン数と、総時間数とに基づいて、ユーザに対して実行されるVRコンテンツの全体量が決まる。しかし、レッスン数や、総時間数は、ユーザ自身の才能や努力などによって異なってくるため、参考値である。図4に示されるように、生成部134は、初期データに基づいて、条件解析を行う。生成部134は、条件解析結果d04に基づいて、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データと、シナリオ素材データDB160に含まれる複数のシナリオ素材データとを参照し、条件検索を行う。図3に戻り、説明を続ける。
(Operation of foreign language acquisition support system)
Hereinafter, the operation of the foreign language acquisition support system 10 will be described with reference to FIGS.
FIG. 3 is a sequence diagram illustrating an example (part 1) of the operation of the foreign language acquisition support system 10 according to the embodiment.
FIG. 4 is a data flow diagram illustrating an example of the operation of the foreign language acquisition support system 10 according to the embodiment.
FIG. 5 is a sequence diagram illustrating an example (part 2) of the operation of the foreign language acquisition support system 10 according to the embodiment.
(Step S101)
The acquisition unit 132 of the content generation server 100 acquires initial data output from the input unit 120. As illustrated in FIG. 4, the acquisition unit 132 acquires the home environment d01, the learning direction d02, and the preference d03 as initial data. Returning to FIG. 3, the description will be continued.
(Step S102)
The generation unit 134 of the content generation server 100 performs condition analysis using the initial data, and performs a condition search on the VR material data DB 150 and the scenario material data DB 160 based on the condition analysis result. In addition, the generation unit 134 roughly estimates the total number of lessons and the total number of hours until all lessons are completed according to the target specified by the learning direction included in the initial data. The total amount of VR content to be executed for the user is determined based on the total number of lessons and the total number of hours estimated here. However, the number of lessons and the total number of hours are reference values because they vary depending on the user's own talents and efforts. As illustrated in FIG. 4, the generation unit 134 performs condition analysis based on the initial data. Based on the condition analysis result d04, the generation unit 134 performs a condition search by referring to a plurality of virtual reality material data included in the VR material data DB 150 and a plurality of scenario material data included in the scenario material data DB 160. Returning to FIG. 3, the description will be continued.

(ステップS103)
コンテンツ生成サーバ100の生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データからヒットするバーチャルリアリティ素材データを抽出し、シナリオ素材データDB160に含まれる複数のシナリオ素材データからヒットするシナリオ素材データを抽出する。生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データとに基づいて、人生再現コンテンツ生成用データを生成する。生成部134は、生成した人生再現コンテンツ生成用データを、記憶部140に記憶する。図4に示されるように、生成部134は、VR素材データDB150に含まれる複数のVR素材データからヒットするVR素材データd05を抽出し、シナリオ素材データDB160に含まれる複数のシナリオ素材データからヒットするシナリオ素材データd06を抽出する。生成部134は、抽出したVR素材データと、シナリオ素材データとを、編集することによって、人生再現コンテンツ生成用データを生成する。図3に戻り、説明を続ける。
(ステップS104)
コンテンツ出力装置200とコンテンツ生成サーバ100との間で、接続処理が行われる。
(ステップS105)
コンテンツ出力装置200の取得部232は、人生再現コンテンツ生成用データ要求を作成し、作成した人生再現コンテンツ生成用データ要求を通信部210へ出力する。通信部210は、取得部232が出力した人生再現コンテンツ生成用データ要求を、コンテンツ生成サーバ100へ送信する。
(Step S103)
The generation unit 134 of the content generation server 100 extracts virtual reality material data that is hit from a plurality of virtual reality material data included in the VR material data DB 150, and a scenario that is hit from a plurality of scenario material data included in the scenario material data DB 160. Extract material data. The generation unit 134 generates life reproduction content generation data based on the extracted virtual reality material data and scenario material data. The generation unit 134 stores the generated life reproduction content generation data in the storage unit 140. As shown in FIG. 4, the generation unit 134 extracts VR material data d05 that is hit from a plurality of VR material data included in the VR material data DB 150, and hits from a plurality of scenario material data included in the scenario material data DB 160. Scenario material data d06 to be extracted. The generation unit 134 generates life reproduction content generation data by editing the extracted VR material data and scenario material data. Returning to FIG. 3, the description will be continued.
(Step S104)
Connection processing is performed between the content output device 200 and the content generation server 100.
(Step S105)
The acquisition unit 232 of the content output apparatus 200 creates a life reproduction content generation data request, and outputs the created life reproduction content generation data request to the communication unit 210. The communication unit 210 transmits the life reproduction content generation data request output from the acquisition unit 232 to the content generation server 100.

(ステップS106)
コンテンツ生成サーバ100の通信部110は、コンテンツ出力装置200が送信した人生再現コンテンツ生成用データ要求を受信し、受信した人生再現コンテンツ生成用データ要求を、取得部132へ出力する。取得部132は、通信部110が出力した人生再現コンテンツ生成用データ要求を取得し、取得した人生再現コンテンツ生成用データ要求に基づいて、記憶部140の人生再現コンテンツ生成用データDB180に記憶されている複数の人生再現コンテンツ生成用データのうち、人生再現コンテンツ生成用データ要求に含まれるユーザIDに該当する人生再現コンテンツ生成用データを取得する。取得部132は、取得した人生再現コンテンツ生成用データを通信部110へ出力する。通信部110は、取得部132が出力した人生再現コンテンツ生成用データを、コンテンツ出力装置200へ送信する。
(ステップS107)
コンテンツ出力装置200の通信部210は、コンテンツ生成サーバ100が送信した人生再現コンテンツ生成用データを受信し、受信した人生再現コンテンツ生成用データを、取得部232へ出力する。取得部232は、通信部210が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データを、生成部234へ出力する。生成部234は、取得部232が出力した人生再現コンテンツ生成用データを取得し、取得した人生再現コンテンツ生成用データに基づいて、VRコンテンツと、講師用台本を生成する。図4に示されるように、VRコンテンツは、グラフィックd07と、サウンドd08とを含む。また、講師用台本は、シナリオd09と、補助器具利用指定d10とから構成される。さらに、シナリオd09には、タイムラインd11と、原稿d12と、アクション指示d13とが記載されている。補助器具利用指定d10には、アクション指示d13が記載されている。図3に戻り、説明を続ける。
(Step S106)
The communication unit 110 of the content generation server 100 receives the life reproduction content generation data request transmitted by the content output device 200 and outputs the received life reproduction content generation data request to the acquisition unit 132. The acquisition unit 132 acquires the life reproduction content generation data request output from the communication unit 110, and is stored in the life reproduction content generation data DB 180 of the storage unit 140 based on the acquired life reproduction content generation data request. Life reproduction content generation data corresponding to the user ID included in the life reproduction content generation data request is acquired from the plurality of life reproduction content generation data. The acquisition unit 132 outputs the acquired life reproduction content generation data to the communication unit 110. The communication unit 110 transmits the life reproduction content generation data output by the acquisition unit 132 to the content output device 200.
(Step S107)
The communication unit 210 of the content output apparatus 200 receives the life reproduction content generation data transmitted by the content generation server 100 and outputs the received life reproduction content generation data to the acquisition unit 232. The acquisition unit 232 acquires the life reproduction content generation data output from the communication unit 210, and outputs the acquired life reproduction content generation data to the generation unit 234. The generation unit 234 acquires the life reproduction content generation data output from the acquisition unit 232, and generates VR content and a lecturer script based on the acquired life reproduction content generation data. As shown in FIG. 4, the VR content includes a graphic d07 and a sound d08. The instructor script is composed of a scenario d09 and an auxiliary equipment use designation d10. Furthermore, the scenario d09 includes a timeline d11, a document d12, and an action instruction d13. In the auxiliary equipment use designation d10, an action instruction d13 is described. Returning to FIG. 3, the description will be continued.

(ステップS108)
コンテンツ出力装置200の生成部234は、生成したVRコンテンツを通信部210へ出力する。通信部210は、生成部234が出力したVRコンテンツを取得し、取得したVRコンテンツを、出力端末300へ送信する。
(ステップS109)
コンテンツ出力装置200の生成部234は、講師へ、生成した講師用台本を提供する。
(ステップS110)
出力端末300は、コンテンツ出力装置200が送信したVRコンテンツを受信し、受信したVRコンテンツを実行(再生)することによって、バーチャルリアリティで環境を作り出す。バーチャルリアリティで環境が作り出されることによってレッスンが開始される。ここで、レッスンの進め方について説明する。
ユーザは、講師の指示にしたがって、出力端末300と、必要に応じて、補助器具(身体能力を制限し、こどもに近づけるための器具)とを付ける。ユーザは、出力端末300を動作させ、バーチャルリアリティで作り出される環境に入ることによって、レッスンが開始される。バーチャルリアリティを採用することによって、現実に重ねて表示を出す拡張現実(AR)の技術を採用するよりも、第二の人生体験を再現するための没入感を高くできる。
(Step S108)
The generation unit 234 of the content output device 200 outputs the generated VR content to the communication unit 210. The communication unit 210 acquires the VR content output by the generation unit 234, and transmits the acquired VR content to the output terminal 300.
(Step S109)
The generation unit 234 of the content output device 200 provides the generated instructor script to the instructor.
(Step S110)
The output terminal 300 receives the VR content transmitted by the content output device 200 and executes (reproduces) the received VR content, thereby creating an environment with virtual reality. Lessons are started by creating an environment with virtual reality. Here, I will explain how to proceed with the lesson.
The user attaches the output terminal 300 and auxiliary equipment (apparatus for limiting physical ability and approaching a child) as necessary according to the instruction of the lecturer. The user starts the lesson by operating the output terminal 300 and entering an environment created with virtual reality. By adopting virtual reality, it is possible to increase the immersive feeling for reproducing the second life experience, rather than adopting augmented reality (AR) technology that displays the image in reality.

バーチャルリアリティで作り出される環境で、講師は、講師の分身となるキャラクターであるアバターとして表示される。以下、バーチャルリアリティで作り出される環境で表示される講師の分身を、講師アバターという。講師アバターは、シナリオの進行状況に合わせて、決められたアクションを行う。講師は、ユーザが見ている環境をモニタリングし、シナリオの進行を操作する。すなわち、講師は、講師用台本に則り、タイミングを見謀りながらシナリオを進める。講師アバターは、シナリオの進行状況に合わせて、ユーザとやり取りを行う。具体的には、講師は、補助器具の使用などの補足説明が必要な場面では、ユーザへ、メッセージを表示したり、指示を出したりすることによって、ユーザと随時コミュニケーションを図る。講師用台本に記載されているシナリオ(台本)の中身を具体的に例示する。
00:01 おもちゃ箱からぬいぐるみを出す
00:05 「いない、いない、ばあ!」を三回繰り返す
00:05−00:12 補助器具マッスルアームを強度6で併用
ただし、ユーザへの事前タイミング提示はしない
講師が参画することで調整が加味されたレッスンにおけるユーザ体験そのものを「人生再現コンテンツ」と呼ぶ。
In an environment created with virtual reality, the instructor is displayed as an avatar, which is a character that is a part of the instructor. Hereinafter, the instructor's alternation displayed in an environment created by virtual reality is referred to as an instructor avatar. The teacher avatar performs a predetermined action according to the progress of the scenario. The instructor monitors the environment the user is viewing and manipulates the progress of the scenario. That is, the instructor proceeds with the scenario according to the instructor's script while keeping in mind the timing. The lecturer avatar interacts with the user according to the progress of the scenario. Specifically, the lecturer communicates with the user at any time by displaying a message or giving an instruction to the user when a supplementary explanation such as the use of an auxiliary device is necessary. The contents of the scenario (script) described in the instructor script will be specifically exemplified.
00:01 Take out the stuffed animal from the toy box. 00:05 Repeat “No, no, no!” Three times. 00: 05-00: 12 Auxiliary muscle arm is used at strength 6. No The user experience in a lesson that is adjusted with the participation of the instructor is called “life reproduction content”.

(ステップS111)
出力端末300は、レッスン状況をモニタリングする。具体的には、出力端末300の取得部332は、ユーザが、幼児期からの人生を再体験している間の脳波、脈拍などの生体情報を取得することによって、レッスン状況のモニタリングを行う。また、センサー400は、レッスン状況をモニタリングする。具体的には、センサー400は、ユーザが、幼児期からの人生を再体験している間と再体験後の反応結果を取得する。図4に示されるように、出力端末300は脳波などの生体情報を取得し、センサー400は動画d14を撮像し、音声d15を録音することによってモニタリングする。図3に戻り、説明を続ける。
(ステップS112)
出力端末300は、レッスンを終了し、レッスン状況のモニタリングを終了する。センサー400は、レッスン状況のモニタリングを終了する。図5へ移行し、説明を続ける。
(ステップS113)
出力端末300の取得部332は、ユーザIDとともに、取得した生体情報を、通信部310へ出力する。通信部310は、取得部332が出力した生体情報(ユーザIDを含む)を、コンテンツ生成サーバ100へ送信する。
(ステップS114)
センサー400は、撮像した動画と、録音した音声と、ユーザIDとを含む反応結果を、コンテンツ生成サーバ100へ送信する。
(Step S111)
The output terminal 300 monitors the lesson status. Specifically, the acquisition unit 332 of the output terminal 300 monitors lesson status by acquiring biological information such as brain waves and pulses while the user re-experiences life from an early childhood. The sensor 400 monitors the lesson status. Specifically, the sensor 400 acquires a reaction result while the user re-experiences life from an early age and after the re-experience. As shown in FIG. 4, the output terminal 300 acquires biological information such as an electroencephalogram, and the sensor 400 monitors the moving image d14 by recording it and recording the sound d15. Returning to FIG. 3, the description will be continued.
(Step S112)
The output terminal 300 ends the lesson and ends lesson status monitoring. The sensor 400 ends the lesson status monitoring. Shifting to FIG. 5, the description is continued.
(Step S113)
The acquisition unit 332 of the output terminal 300 outputs the acquired biological information to the communication unit 310 together with the user ID. The communication unit 310 transmits the biometric information (including the user ID) output by the acquisition unit 332 to the content generation server 100.
(Step S114)
The sensor 400 transmits a reaction result including the captured moving image, the recorded sound, and the user ID to the content generation server 100.

(ステップS115)
コンテンツ生成サーバ100の処理部138は、アラームを鳴らす情報を生成し、生成したアラームを鳴らす情報を、通信部110へ出力する。通信部110は、処理部138が出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報を、出力端末300aへ送信する。
(ステップS116)
出力端末300aの通信部310aは、コンテンツ生成サーバ100が送信したアラームを鳴らす情報を受信し、受信したアラームを鳴らす情報を、取得部332aへ出力する。取得部332aは、通信部310aが出力したアラームを鳴らす情報を取得し、取得したアラームを鳴らす情報を、処理部338aへ出力する。処理部338aは、取得部332aが出力したアラームを鳴らす情報にしたがって、アラームを鳴らす。ここでは、ユーザが、アラームに応じて、出力端末300aに対して、動画と音声とを再生する操作を行った場合について説明を続ける。ユーザが、出力端末300aに対して、動画と音声とを再生する操作を行わなかった場合、処理を終了する。処理部338aは、ユーザが、動画と音声とを再生する操作を行った場合、再生情報を作成し、作成した再生情報を、通信部310aへ出力する。通信部310aは、処理部338aが出力した再生情報を、コンテンツ生成サーバ100aへ送信する。
(Step S115)
The processing unit 138 of the content generation server 100 generates information for sounding the alarm and outputs the information for sounding the generated alarm to the communication unit 110. The communication unit 110 acquires information for sounding the alarm output from the processing unit 138, and transmits the information for sounding the acquired alarm to the output terminal 300a.
(Step S116)
The communication unit 310a of the output terminal 300a receives the information that sounds the alarm transmitted by the content generation server 100, and outputs the information that sounds the received alarm to the acquisition unit 332a. The acquisition unit 332a acquires information for sounding the alarm output from the communication unit 310a, and outputs the information for sounding the acquired alarm to the processing unit 338a. The processing unit 338a sounds an alarm according to the information for sounding the alarm output from the acquisition unit 332a. Here, the case where the user performs an operation of reproducing the moving image and the sound on the output terminal 300a in response to the alarm will be described. When the user does not perform an operation for reproducing the moving image and the sound on the output terminal 300a, the process ends. When the user performs an operation of reproducing a moving image and sound, the processing unit 338a creates reproduction information and outputs the created reproduction information to the communication unit 310a. The communication unit 310a transmits the reproduction information output from the processing unit 338a to the content generation server 100a.

(ステップS117)
コンテンツ生成サーバ100の通信部110は、出力端末300aが送信した再生情報を受信し、受信した再生情報を、取得部132へ出力する。取得部132は、通信部110が出力した再生情報を取得し、取得した再生情報を、処理部138へ出力する。処理部138は、取得部132が出力した再生情報を取得し、取得した再生情報に含まれるユーザIDに基づいて、記憶部140の動画DB190から、ヒットする動画と音声とを取得する。処理部138は、取得した動画と音声とを表す情報を、通信部110へ出力する。通信部110は、処理部138が出力した動画と音声とを表す情報を取得し、取得した動画と音声とを表す情報を、出力端末300aへ送信する。
(ステップS118)
出力端末300aの通信部310aは、コンテンツ生成サーバ100が送信した動画と音声とを表す情報を受信し、受信した動画と音声とを表す情報を、取得部332aへ出力する。取得部332aは、通信部310aが出力した動画と音声とを表す情報を取得し、取得した動画と音声とを表す情報を処理部338aへ出力する。処理部338aは、取得部332aが出力した動画と音声とを表す情報を取得し、取得した動画と音声とを表す情報を再生する。
(Step S117)
The communication unit 110 of the content generation server 100 receives the reproduction information transmitted by the output terminal 300a, and outputs the received reproduction information to the acquisition unit 132. The acquisition unit 132 acquires the reproduction information output from the communication unit 110 and outputs the acquired reproduction information to the processing unit 138. The processing unit 138 acquires the reproduction information output by the acquisition unit 132, and acquires a hit video and audio from the video DB 190 of the storage unit 140 based on the user ID included in the acquired reproduction information. The processing unit 138 outputs information representing the acquired moving image and audio to the communication unit 110. The communication unit 110 acquires information representing the moving image and sound output from the processing unit 138, and transmits the information representing the acquired moving image and sound to the output terminal 300a.
(Step S118)
The communication unit 310a of the output terminal 300a receives the information indicating the moving image and the sound transmitted from the content generation server 100, and outputs the received information indicating the moving image and the sound to the acquisition unit 332a. The acquisition unit 332a acquires information representing the moving image and sound output from the communication unit 310a, and outputs information representing the acquired moving image and sound to the processing unit 338a. The processing unit 338a acquires information representing the moving image and sound output from the obtaining unit 332a, and reproduces information representing the acquired moving image and sound.

(ステップS119)
出力端末300aは、レッスン状況をモニタリングする。具体的には、出力端末300aの取得部332aは、ユーザが、動画と音声とを視聴することによって、幼児期からの人生を再体験している間の脳波、脈拍などの生体情報を取得することによって、レッスン状況のモニタリングを行う。
(ステップS120)
出力端末300aは、レッスンを終了し、レッスン状況のモニタリングを終了する。
(ステップS121)
出力端末300aの取得部332aは、ユーザIDとともに、取得した生体情報を、通信部310aへ出力する。通信部310aは、取得部332aが出力した生体情報(ユーザIDを含む)を、コンテンツ生成サーバ100aへ送信する。
(Step S119)
The output terminal 300a monitors the lesson status. Specifically, the acquisition unit 332a of the output terminal 300a acquires biological information such as an electroencephalogram and a pulse while the user re-experiences life from an early childhood by watching a video and audio. To monitor the lesson status.
(Step S120)
The output terminal 300a ends the lesson and ends the monitoring of the lesson status.
(Step S121)
The acquisition unit 332a of the output terminal 300a outputs the acquired biological information together with the user ID to the communication unit 310a. The communication unit 310a transmits the biometric information (including the user ID) output by the acquisition unit 332a to the content generation server 100a.

(ステップS122)
コンテンツ生成サーバ100の通信部110は、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、出力端末300aが出力した生体情報とを受信する。通信部110は、受信した生体情報と反応結果とを、取得部132へ出力する。取得部132は、通信部110が出力した生体情報と反応結果とを取得し、取得した生体情報と反応結果とを、導出部136へ出力する。
また、コンテンツ生成サーバ100の入力部120には、講師判断結果が入力される。入力部120に入力された講師判断結果は、導出部136へ出力される。
導出部136は、入力部120が出力する講師判断結果と、取得部132が出力する生体情報と反応結果とを取得し、取得した講師判断結果と、生体情報と、反応結果とに基づいて、人格成長度数を導出する。図4に示されるように、動画d14と、音声d15と、脳波d16などの生体情報と、講師判断結果d17とに基づいて、人格成長度数d18が導出される。
(Step S122)
The communication unit 110 of the content generation server 100 receives the biological information transmitted from the output terminal 300, the reaction result transmitted from the sensor 400, and the biological information output from the output terminal 300a. The communication unit 110 outputs the received biological information and reaction result to the acquisition unit 132. The acquisition unit 132 acquires the biological information and the reaction result output from the communication unit 110, and outputs the acquired biological information and the reaction result to the derivation unit 136.
The instructor determination result is input to the input unit 120 of the content generation server 100. The instructor determination result input to the input unit 120 is output to the derivation unit 136.
The derivation unit 136 acquires the instructor determination result output from the input unit 120, the biological information and the reaction result output from the acquisition unit 132, and based on the acquired instructor determination result, the biological information, and the reaction result, Deriving personality growth frequency. As shown in FIG. 4, the personality growth degree d18 is derived based on the moving image d14, the sound d15, the biological information such as the brain wave d16, and the lecturer determination result d17.

さらに、レッスン回数、受けたレッスンの時間数、ユーザに対して実行されるVRコンテンツの全体量に対する消化率などの習得・経過状況d19と、ユーザや講師からのバーチャルリアリティによって作り出される環境の変更、シナリオの変更などのアレンジ要望d20とが取得されてもよい。ここで、アレンジ要望d20は、非定型のテキストデータであり、もっとこうして欲しい、ああして欲しいなどの捉えどころが難しい情報である。習得・経過状況d19と、アレンジ要望d20とは、施設60の端末装置(図示なし)で、一次保存される。
端末装置に一時保存された習得・経過状況d19と、レッスンのアレンジ要望d20とは、コンテンツ生成サーバ100の入力部120に入力される。入力部120は、入力された習得・経過状況d19を、生成部134へ出力する。生成部134は、導出部136が出力した人格成長度数を示す情報と、入力部120が出力した習得・経過状況d19とを取得し、取得した人格成長度数と、習得・経過状況d19とに基づいて、VR素材データDB150と、シナリオ素材データDB160とに対して、条件検索を行う。
生成部134は、VR素材データDB150に含まれる複数のバーチャルリアリティ素材データからヒットするバーチャルリアリティ素材データを抽出する。生成部134は、シナリオ素材データDB160に含まれるシナリオ素材データからヒットするシナリオ素材データを抽出する。生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データと、レッスンのアレンジ要望d20に基づいて、(次回の)人生再現コンテンツ生成用データを生成する。
具体的には、生成部134は、抽出したバーチャルリアリティ素材データと、シナリオ素材データとのいずれか一方又は両方を、矛盾しない範囲で、アレンジ要望d20に基づいて、変更、編集を行う。例えば、生成部134は、バーチャルリアリティ素材データを昼の部屋を表すデータから夕方の部屋を表すデータへ変えたり、シナリオ素材データを一人で遊ぶことを表すデータから友達と遊ぶことを表すデータへ編集したりする。
In addition, learning and progress status d19 such as the number of lessons, the number of lessons taken, the digestion rate for the total amount of VR content executed for the user, and the environment change created by the virtual reality from the user and the instructor, An arrangement request d20 such as a scenario change may be acquired. Here, the arrangement request d20 is atypical text data, and is information that is difficult to grasp, such as wanting to do this more or wanting to do it. The learning / progress status d19 and the arrangement request d20 are temporarily stored in the terminal device (not shown) of the facility 60.
The learning / progress status d19 temporarily stored in the terminal device and the lesson arrangement request d20 are input to the input unit 120 of the content generation server 100. The input unit 120 outputs the input acquisition / progress status d19 to the generation unit 134. The generation unit 134 acquires the information indicating the personality growth level output from the deriving unit 136 and the acquired / elapsed situation d19 output from the input unit 120, and based on the acquired personality growth level and the acquired / elapsed state d19. Then, a condition search is performed on the VR material data DB 150 and the scenario material data DB 160.
The generation unit 134 extracts virtual reality material data hit from a plurality of virtual reality material data included in the VR material data DB 150. The generation unit 134 extracts scenario material data hit from the scenario material data included in the scenario material data DB 160. The generation unit 134 generates (next) life reproduction content generation data based on the extracted virtual reality material data, scenario material data, and lesson arrangement request d20.
Specifically, the generation unit 134 changes or edits one or both of the extracted virtual reality material data and scenario material data within a consistent range based on the arrangement request d20. For example, the generation unit 134 changes the virtual reality material data from data representing a room in the day to data representing a room in the evening, or edits the scenario material data from data representing playing alone to data representing playing with friends. To do.

図3−図5を用いた外国語習得支援システム10の動作の説明では、出力端末300が送信した生体情報と出力端末300aが送信した生体情報との両方を用いて人格成長度数を導出する場合について説明したが、この限りでない。例えば、ステップS114の後にステップS122へ移行し、出力端末100aが送信した生体情報を使用せず、出力端末300が送信した生体情報を使用して人格成長度数を導出してもよい。その場合、図5のステップS122では、コンテンツ生成サーバ100の通信部110は、出力端末300が送信した生体情報と、センサー400が送信した反応結果とを受信する。通信部110は、受信した生体情報と反応結果とを、取得部132へ出力する。取得部132は、通信部110が出力した生体情報と反応結果とを取得し、取得した生体情報と反応結果とを、導出部136へ出力する。
また、コンテンツ生成サーバ100の入力部120には、講師判断結果が入力される。入力部120に入力された講師判断結果は、導出部136へ出力される。
導出部136は、入力部120が出力する講師判断結果と、取得部132が出力する生体情報と反応結果とを取得し、取得した講師判断結果と、生体情報と、反応結果とに基づいて、人格成長度数を導出する。
In the description of the operation of the foreign language acquisition support system 10 using FIGS. 3 to 5, the personality growth degree is derived using both the biological information transmitted from the output terminal 300 and the biological information transmitted from the output terminal 300 a. However, this is not the case. For example, the process proceeds to step S122 after step S114, and the personality growth degree may be derived using the biological information transmitted by the output terminal 300 without using the biological information transmitted by the output terminal 100a. In that case, in step S122 of FIG. 5, the communication unit 110 of the content generation server 100 receives the biological information transmitted by the output terminal 300 and the reaction result transmitted by the sensor 400. The communication unit 110 outputs the received biological information and reaction result to the acquisition unit 132. The acquisition unit 132 acquires the biological information and the reaction result output from the communication unit 110, and outputs the acquired biological information and the reaction result to the derivation unit 136.
The instructor determination result is input to the input unit 120 of the content generation server 100. The instructor determination result input to the input unit 120 is output to the derivation unit 136.
The derivation unit 136 acquires the instructor determination result output from the input unit 120, the biological information and the reaction result output from the acquisition unit 132, and based on the acquired instructor determination result, the biological information, and the reaction result, Deriving personality growth frequency.

ここで、実施形態の人格成長度と一般的な習熟度との違いについて説明する。
人格成長度は、生活経験を通じてネイティブに話すことができる自身の新たな人格の形成度合を示す尺度であり、語学として英語を学習した成果を測る習熟度とは性質が全く異なる。人格成長度を導入することによって、学習した内容や文法を覚えて使用するのではなく、あらゆる物事を英語で捉えて英語で対応する感性の成長レベルを評価できる。
人格成長度判定リスト170には、こどもが生活経験を通じて少しずつコミュニケーションに言葉を使うようになっていく過程に則り設計した基準指標のリストが記載されている。人格成長度が低いレベルの場合、コミュニケーションは可能だが、ユーザが発する言葉が言語として成り立っていない状態も含まれる。人格成長度が中レベルの場合、ユーザが、自分の行動範囲内でやりたいことを英語で伝えることができる状態が含まれる。人格成長度が高レベルに達すると、大人の生活に必要なコミュニケーションにおけるインプットとアウトプットとして、ユーザは、自然に英語を使う状態になる。
Here, the difference between the personality growth level of the embodiment and the general proficiency level will be described.
Personality growth is a measure of the degree of formation of a new personality that can be spoken natively through life experiences, and is completely different from proficiency in measuring the results of learning English as a language. By introducing personality growth, it is possible to assess the growth level of sensibility that can be handled in English by capturing everything in English rather than remembering and using learned content and grammar.
The personality growth degree determination list 170 includes a list of reference indicators designed in accordance with the process in which children gradually use words for communication through their life experiences. When the personality growth level is low, communication is possible, but the state where the words spoken by the user are not realized as a language is also included. When the personality growth level is at a medium level, a state in which the user can communicate in English what he wants to do within his / her range of action is included. When the personality growth level reaches a high level, the user naturally uses English as input and output in communication necessary for adult life.

人格成長度は経験を通じて高まっていき、その成長度における活動範囲、行動内容に合わせて限られた範囲内であればネイティブと同レベルの自然な英会話コミュニケーションが可能である。つまり、外国語習得支援システムは、ネイティブとして英会話できる素養である人格を、最低限の生活範囲で最初に身に着けた上で、その活用範囲を成長と共に広げていく人生経験型アプローチを採用する。
実施形態の外国語習得支援システムは、「英会話」を言語として学習し、ネイティブに近づけようとする習熟度方式とはベクトルが異なる。外国語習得支援システムの場合、人格成長の過程で経験した内容に依存する。このため、外国語習得支援システムの場合、普通に英会話を学習すれば知っているような場面や正しい文法を知らなかったり、ビジネスシーンで求められる大人の言い回しを知らなかったり、といった逆転現象が起きる場合がある。しかし、外国語習得支援システムの場合、ユーザは、経験すればすぐに理解し、ネイティブの観点で自身に取り入れることができる素養が作られるため、ネイティブの観点で、正しい文法や、大人の言い回しを取り入れることができる。
The personality growth level increases through experience, and natural English communication at the same level as native speakers is possible as long as it is within a limited range according to the scope of activity and the content of action. In other words, the foreign language acquisition support system adopts a life-experience-based approach that first develops a personality that is a native English conversation with a minimum range of life, and then expands its range of use with growth. .
The foreign language acquisition support system of the embodiment is different in vector from the proficiency level method of learning “English conversation” as a language and trying to approach the native language. In the case of a foreign language acquisition support system, it depends on what is experienced in the process of personality development. For this reason, in the case of a foreign language acquisition support system, a reversal phenomenon occurs, such as when you normally learn English conversation, you do not know the correct grammar, or do not know the adult phrase required in the business scene There is a case. However, in the case of a foreign language acquisition support system, users will be able to understand immediately as they experience it, and to develop a knowledge that can be incorporated into themselves from a native point of view, so correct grammar and adult phrases from a native point of view. Can be incorporated.

前述した実施形態では、コンテンツ出力装置200と、出力端末300との間が、無線で接続される場合について説明したがこの例に限られない。例えば、コンテンツ出力装置200と、出力端末300とが、有線で接続されてもよい。
前述した実施形態では、バーチャルリアリティ素材データとシナリオ素材データとが、それぞれ、事前に様々なシチュエーションを想定して、多数用意されている場合について説明したがこの例に限られない。例えば、バーチャルリアリティ素材データと、シナリオ素材データとのいずれか一方又は両方が、随時追加されてもよい。このように構成することによって、あらゆる場面に対応できるラインナップを揃えることができる。
前述した実施形態では、コンテンツ生成サーバ100が、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、講師から取得した講師判断結果と、出力端末300aが送信した生体情報とに基づいて、人格成長度数を導出する場合について説明したが、この例に限られない。例えば、コンテンツ生成サーバ100は、出力端末300が送信した生体情報と、センサー400が送信した反応結果と、講師から取得した講師判断結果と、出力端末300aが送信した生体情報との少なくとも一つに基づいて、人格成長度数を導出するようにしてもよい。
前述した実施形態では、コンテンツ生成サーバ100が、初期データとして、家庭環境d01と、習得方向性d02と、好みd03とを取得する場合について説明したが、この例に限られない。例えば、家庭環境d01と習得方向性d02と好みd03とのうち、少なくとも一つであってもよいし、職種、取得期間などが取得されてもよい。
前述した実施形態では、講師判断結果が、コンテンツ生成サーバ100の入力部120に入力される場合について説明したが、この例に限られない。例えば、講師判断結果が、講師が保持する端末装置から、コンテンツ生成サーバ100へ送信されてもよい。
In the above-described embodiment, the case where the content output device 200 and the output terminal 300 are wirelessly connected has been described. However, the present invention is not limited to this example. For example, the content output device 200 and the output terminal 300 may be connected by wire.
In the embodiment described above, a case has been described in which a large number of virtual reality material data and scenario material data are prepared in advance assuming various situations in advance, but the present invention is not limited to this example. For example, one or both of virtual reality material data and scenario material data may be added at any time. By configuring in this way, it is possible to prepare a lineup that can be used in all situations.
In the above-described embodiment, the content generation server 100 includes the biological information transmitted from the output terminal 300, the reaction result transmitted from the sensor 400, the lecturer determination result acquired from the lecturer, and the biological information transmitted from the output terminal 300a. Based on the above, the case of deriving the personality growth frequency has been described, but the present invention is not limited to this example. For example, the content generation server 100 includes at least one of the biological information transmitted by the output terminal 300, the reaction result transmitted by the sensor 400, the instructor determination result acquired from the instructor, and the biological information transmitted by the output terminal 300a. Based on this, the personality growth degree may be derived.
In the above-described embodiment, the case where the content generation server 100 acquires the home environment d01, the learning direction d02, and the preference d03 as initial data has been described. However, the present invention is not limited to this example. For example, at least one of the home environment d01, the learning direction d02, and the preference d03 may be acquired, and the occupation type, the acquisition period, and the like may be acquired.
In the above-described embodiment, the case where the lecturer determination result is input to the input unit 120 of the content generation server 100 has been described. However, the present invention is not limited to this example. For example, the lecturer determination result may be transmitted to the content generation server 100 from a terminal device held by the lecturer.

実施形態の外国語習得支援システムによれば、外国語習得支援システムは、バーチャルリアリティ素材データと、シナリオ素材データとを記憶する記憶部と、記憶部に記憶されたバーチャルリアリティ素材データとシナリオ素材データとに基づいて、ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するコンテンツ生成用データ生成部と、コンテンツを、ユーザが体験している間に取得される生体情報に基づいて、ユーザが、外国語で対応する感性の成長レベルである人格成長度数を導出する導出部とを備え、コンテンツ生成用データ生成部は、人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成する。
このように構成することによって、バーチャルリアリティ素材データとシナリオ素材データとに基づいて生成される、ユーザに外国語を習得させるためのコンテンツを、ユーザが体験している間に取得される生体情報に基づいて、ユーザが、外国語で対応する感性の成長レベルである人格成長度数を導出できる。このため、この人格成長度数に基づいて、ユーザに外国語を習得させるための次回のコンテンツを生成することによって、ユーザに、乳児の時代から英語環境での生活を早回しで体験させることで、ネイティブの学習過程と同じ過程で、外国語を学習させることができる。ユーザは、英語を話すネイティブとしての自分自身を新しく作り出すことができる。
According to the foreign language acquisition support system of the embodiment, the foreign language acquisition support system includes a storage unit that stores virtual reality material data and scenario material data, and virtual reality material data and scenario material data stored in the storage unit. Based on the above, the content generation data generation unit for generating content generation data, which is data for generating content for allowing the user to learn a foreign language, and the content is acquired while the user is experiencing And a derivation unit for deriving a personality growth level which is a growth level of sensitivity corresponding to a foreign language based on the biometric information, and the content generation data generation unit is further based on the personality growth level, Next generation data is generated.
By configuring in this way, the content that is generated based on the virtual reality material data and the scenario material data and that allows the user to learn a foreign language is converted into biometric information acquired while the user is experiencing it. Based on this, the user can derive the personality growth level which is the growth level of sensitivity corresponding to the foreign language. For this reason, by generating the next content to make the user learn a foreign language based on this personality growth degree, by letting the user experience life in an English environment from the early days of infants, Students can learn foreign languages in the same process as the native learning process. The user can create a new English-speaking native.

また、講師判断結果と生体情報と反応結果とを、コンテンツ生成サーバ100へフィードバックすることによって、コンテンツ生成サーバ100は、フィードバックされた情報に基づいて、人格成長度数をアップデートできる。この仕組みを、一か月などの所定の期間の間、ユーザは、生活に深く入り込む形で繰り返し実施する。すなわち、ユーザは、早回しに第二の仮想英語ネイティブ人生を送ることで、生活経験を通じてネイティブに話すことができる自身の新たな人格を作ることができる。
さらに、導出部は、ユーザが、コンテンツを体験している間に、撮像された動画と、録音された音声とを視聴している間に取得される生体情報に基づいて、人格成長度数を導出する。
このように構成することによって、バーチャルリアリティ素材データとシナリオ素材データとに基づいて生成される、ユーザに外国語を習得させるためのコンテンツを、ユーザが体験している間に取得される生体情報と、ユーザが、コンテンツを体験している間に、撮像された動画と、録音された音声とを視聴している間に取得される生体情報とに基づいて、ユーザが、外国語で対応する感性の成長レベルである人格成長度数を導出できる。この人格成長度数に基づいて、ユーザに外国語を習得させるためのコンテンツを生成することによって、ユーザに、乳児の時代から英語環境での生活を早回しで体験させることで、ネイティブの学習過程と同じ過程で、外国語を学習させることができる。ユーザは、英語を話すネイティブとしての自分自身を新しく作り出すことができる。
さらに、そのコンテンツを再度体験できることによって、人格成長度を定着させ、維持できる。
Further, by feeding back the instructor determination result, the biological information, and the reaction result to the content generation server 100, the content generation server 100 can update the personality growth degree based on the fed back information. The user repeatedly performs this mechanism for a predetermined period such as one month, in a form that goes deep into life. That is, the user can make his / her new personality that can speak natively through his / her life experience by sending the second virtual English native life quickly.
Furthermore, the deriving unit derives the personality growth degree based on the biometric information acquired while the user is viewing the captured video and the recorded audio while experiencing the content. To do.
By configuring in this way, biometric information acquired based on virtual reality material data and scenario material data, which is acquired while the user is experiencing content for making the user learn a foreign language, Sensitivity that the user responds in a foreign language based on the captured video and the biometric information acquired while viewing the recorded audio while the user is experiencing the content The personality growth frequency that is the growth level of can be derived. Based on this personality growth rate, by generating content for the user to learn a foreign language, by letting the user experience life in an English environment from an early age, the native learning process In the same process, you can learn a foreign language. The user can create a new English-speaking native.
Furthermore, by being able to experience the content again, it is possible to establish and maintain personality growth.

以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
なお、上述したコンテンツ生成サーバ100、コンテンツ出力装置200、出力端末300、コンテンツ生成サーバ100a、出力端末300aは、コンピュータで実現するようにしてもよい。その場合、各機能ブロックの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録する。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、CPUが実行することで実現してもよい。ここでいう「コンピュータシステム」とは、OS(Operating System)や周辺機器などのハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
As mentioned above, although embodiment was described, these embodiment was shown as an example and is not intending limiting the range of invention. These embodiments can be implemented in various other forms, and various omissions, replacements, changes, and combinations can be made without departing from the scope of the invention. These embodiments are included in the scope and gist of the invention, and at the same time, are included in the invention described in the claims and the equivalents thereof.
Note that the content generation server 100, the content output device 200, the output terminal 300, the content generation server 100a, and the output terminal 300a described above may be realized by a computer. In that case, a program for realizing the function of each functional block is recorded on a computer-readable recording medium. The program recorded on the recording medium may be read by a computer system and executed by the CPU. The “computer system” here includes hardware such as an OS (Operating System) and peripheral devices.
The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM. The “computer-readable recording medium” includes a storage device such as a hard disk built in the computer system.

さらに「コンピュータ読み取り可能な記録媒体」とは、短時間の間、動的にプログラムを保持するものを含んでいてもよい。短時間の間、動的にプログラムを保持するものは、例えば、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線である。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、FPGA(Field Programmable Gate Array)である。
Furthermore, the “computer-readable recording medium” may include a medium that dynamically holds a program for a short time. What holds the program dynamically for a short time is, for example, a communication line when the program is transmitted via a network such as the Internet or a communication line such as a telephone line.
In addition, the “computer-readable recording medium” may include a medium that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client. The program may be for realizing a part of the functions described above. Further, the program may be a program that can realize the above-described functions in combination with a program already recorded in the computer system. The program may be realized using a programmable logic device. The programmable logic device is, for example, an FPGA (Field Programmable Gate Array).

なお、上述のコンテンツ生成サーバ100、コンテンツ出力装置200、出力端末300、コンテンツ生成サーバ100a、出力端末300aは内部にコンピュータを有している。そして、上述したコンテンツ生成サーバ100、コンテンツ出力装置200、出力端末300、コンテンツ生成サーバ100a、出力端末300aの各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
The content generation server 100, the content output device 200, the output terminal 300, the content generation server 100a, and the output terminal 300a described above have a computer inside. The processes of the content generation server 100, the content output device 200, the output terminal 300, the content generation server 100a, and the output terminal 300a are stored in a computer-readable recording medium in the form of a program. The above processing is performed by the computer reading and executing the program.
Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
The program may be for realizing a part of the functions described above.
Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

10…外国語習得支援システム、50…ネットワーク、100…コンテンツ生成サーバ、110…通信部、120…入力部、130…情報処理部、132…取得部、134…生成部、136…導出部、138…処理部、140…記憶部、150…VR素材データDB、160…シナリオ素材データDB、170…人格成長度判定リスト、180…人生再現コンテンツ生成用データDB、190…動画DB、200…コンテンツ出力装置、210…通信部、230…情報処理部、232…取得部、234…生成部、140…記憶部、300、300a…出力端末、310、310a…通信部、330、330a…情報処理部、332、332a…取得部、338、338a…処理部、340、340a…記憶部、350…補助器具、400…センサー DESCRIPTION OF SYMBOLS 10 ... Foreign language acquisition support system, 50 ... Network, 100 ... Content generation server, 110 ... Communication part, 120 ... Input part, 130 ... Information processing part, 132 ... Acquisition part, 134 ... Generation part, 136 ... Derivation part, 138 ... Processing unit, 140 ... Storage unit, 150 ... VR material data DB, 160 ... Scenario material data DB, 170 ... Personal growth determination list, 180 ... Life reproduction content generation data DB, 190 ... Movie DB, 200 ... Content output Device 210 ... Communication unit 230 ... Information processing unit 232 ... Acquisition unit 234 ... Generation unit 140 ... Storage unit 300, 300a ... Output terminal 310, 310a ... Communication unit 330, 330a ... Information processing unit 332, 332a ... acquisition unit, 338, 338a ... processing unit, 340, 340a ... storage unit, 350 ... auxiliary device, 400 ... set Sir

Claims (8)

バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとを記憶する記憶部と、
前記記憶部に記憶された前記バーチャルリアリティ素材データと前記シナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するコンテンツ生成用データ生成部と、
前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出する導出部と
を備え、
前記コンテンツ生成用データ生成部は、前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成する、外国語習得支援システム。
A storage unit that stores virtual reality material data that is data for creating an environment by virtual reality and scenario material data that is a story that the user experiences in the environment created by virtual reality;
Content generation for generating data for generating content that is data for generating content for allowing the user to learn a foreign language based on the virtual reality material data and the scenario material data stored in the storage unit A data generation unit,
A derivation unit for deriving a personality growth level that is a growth level of sensibility corresponding to the foreign language based on biometric information acquired while the user is experiencing the content; and
The content generation data generation unit is a foreign language learning support system that generates data for next content generation based further on the personality growth degree.
前記コンテンツ生成用データに基づいて、前記ユーザへ提供するバーチャルリアリティコンテンツを生成するバーチャルリアリティコンテンツ生成部
を備える、請求項1に記載の外国語習得支援システム。
The foreign language learning support system according to claim 1, further comprising: a virtual reality content generation unit that generates virtual reality content to be provided to the user based on the content generation data.
前記記憶部は、バーチャルリアリティ素材データと、シナリオ素材データとを複数記憶し、
前記コンテンツ生成用データ生成部は、前記導出部が導出した前記人格成長度数に基づいて、前記記憶部に記憶されている複数のバーチャルリアリティ素材データと、複数のシナリオ素材データとから、前記ユーザへ提供するバーチャルリアリティ素材データと、シナリオ素材データとを抽出し、抽出したバーチャルリアリティ素材データとシナリオ素材データとに基づいて、コンテンツ生成用データを生成する、請求項1又は請求項2に記載の外国語習得支援システム。
The storage unit stores a plurality of virtual reality material data and scenario material data,
The content generation data generation unit, from the plurality of virtual reality material data stored in the storage unit and the plurality of scenario material data, to the user based on the personality growth degree derived by the derivation unit The foreign reality according to claim 1 or 2, wherein virtual reality material data to be provided and scenario material data are extracted, and content generation data is generated based on the extracted virtual reality material data and scenario material data. Language acquisition support system.
前記導出部は、前記人格成長度数に応じた補助器具を使用した前記ユーザが、前記コンテンツを体験している間に取得される生体情報に基づいて、人格成長度数を導出する、請求項1から請求項3のいずれか一項に記載の外国語習得支援システム。   The derivation unit derives a personality growth degree based on biometric information acquired while the user using the auxiliary device according to the personality growth degree is experiencing the content. The foreign language acquisition support system according to claim 3. 前記導出部は、前記ユーザが、前記コンテンツを体験している間に、撮像された動画と、録音された音声とに基づいて、人格成長度数を導出する、請求項1から請求項4のいずれか一項に記載の外国語習得支援システム。   The said derivation | leading-out part derives | leads-out the personality growth degree based on the imaged moving image and the recorded audio | voice while the said user is experiencing the said content. The foreign language acquisition support system described in the above item. 前記導出部は、前記ユーザが、前記動画と前記音声とを視聴している間に取得される生体情報に基づいて、人格成長度数を導出する請求項5に記載の外国語習得支援システム。   The foreign language acquisition support system according to claim 5, wherein the deriving unit derives a personality growth degree based on biometric information acquired while the user is viewing the moving image and the audio. コンピュータが実行する外国語習得支援方法であって、
バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、
前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、
前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップと
を有する、外国語習得支援方法。
A foreign language acquisition support method executed by a computer,
Based on virtual reality material data, which is data for creating an environment by virtual reality, and scenario material data, which is a story to be experienced by the user in an environment created by virtual reality, to allow the user to learn a foreign language Generating content generation data, which is data for generating content;
Deriving a personality growth level, which is a sensitivity growth level corresponding to the foreign language, based on biometric information acquired while the user is experiencing the content;
A foreign language acquisition support method, further comprising: generating data for next content generation based on the personality growth degree.
コンピュータに、
バーチャルリアリティによって環境を作り出すためのデータであるバーチャルリアリティ素材データと、バーチャルリアリティによって作り出された環境でユーザに体験させるストーリーであるシナリオ素材データとに基づいて、前記ユーザに外国語を習得させるためのコンテンツを生成するためのデータであるコンテンツ生成用データを生成するステップと、
前記コンテンツを、前記ユーザが体験している間に取得される生体情報に基づいて、前記ユーザが、前記外国語で対応する感性の成長レベルである人格成長度数を導出するステップと、
前記人格成長度数にさらに基づいて、次回のコンテンツ生成用データを生成するステップと
を実行させる、外国語習得支援プログラム。
On the computer,
Based on virtual reality material data, which is data for creating an environment by virtual reality, and scenario material data, which is a story to be experienced by the user in an environment created by virtual reality, to allow the user to learn a foreign language Generating content generation data, which is data for generating content;
Deriving a personality growth level, which is a sensitivity growth level corresponding to the foreign language, based on biometric information acquired while the user is experiencing the content;
A foreign language acquisition support program for executing the step of generating data for the next generation of content based further on the personality growth degree.
JP2018038085A 2018-03-02 2018-03-02 Foreign language learning support system, foreign language learning support method and foreign language learning support program Pending JP2019152761A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018038085A JP2019152761A (en) 2018-03-02 2018-03-02 Foreign language learning support system, foreign language learning support method and foreign language learning support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018038085A JP2019152761A (en) 2018-03-02 2018-03-02 Foreign language learning support system, foreign language learning support method and foreign language learning support program

Publications (1)

Publication Number Publication Date
JP2019152761A true JP2019152761A (en) 2019-09-12

Family

ID=67946159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018038085A Pending JP2019152761A (en) 2018-03-02 2018-03-02 Foreign language learning support system, foreign language learning support method and foreign language learning support program

Country Status (1)

Country Link
JP (1) JP2019152761A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312971A (en) * 2023-05-15 2023-06-23 之江实验室 Cognitive training material generation method, cognitive training method, device and medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312971A (en) * 2023-05-15 2023-06-23 之江实验室 Cognitive training material generation method, cognitive training method, device and medium
CN116312971B (en) * 2023-05-15 2023-08-29 之江实验室 Cognitive training material generation method, cognitive training method, device and medium

Similar Documents

Publication Publication Date Title
Dalim et al. Using augmented reality with speech input for non-native children's language learning
Rogerson-Revell Computer-assisted pronunciation training (CAPT): Current issues and future directions
Wood et al. Robot-mediated interviews-how effective is a humanoid robot as a tool for interviewing young children?
Bunglowala et al. Nonverbal communication: An integral part of teaching learning process
Teófilo et al. Exploring virtual reality to enable deaf or hard of hearing accessibility in live theaters: A case study
Cano et al. Towards a methodology for user experience assessment of serious games with children with cochlear implants
Ockey et al. Web-based virtual environments for facilitating assessment of L2 oral communication ability
Holland et al. How to use apps clinically in the treatment of aphasia
Hu et al. Storytelling agents with personality and adaptivity
Abbott et al. Learning difference and digital technologies: a literature review of research involving children and young people using assistive technologies 2007-2010
Pennington et al. Using robot-assisted instruction to teach students with intellectual disabilities to use personal narrative in text messages
Rummukainen et al. Audio quality evaluation in virtual reality: multiple stimulus ranking with behavior tracking
Sekimoto et al. A phenomenology of the racialized tongue: Embodiment, language, and the bodies that speak
Van Amelsvoort et al. Using non-verbal cues to (automatically) assess children’s performance difficulties with arithmetic problems
Stecker Using virtual reality to assess auditory performance
Fukushima EmoTan: enhanced flashcards for second language vocabulary learning with emotional binaural narration
Milne et al. Designing and evaluating interactive agents as social skills tutors for children with autism spectrum disorder
JP2019152761A (en) Foreign language learning support system, foreign language learning support method and foreign language learning support program
Naylor " Old Poems Have Heart": Teenage Students Reading Early Modern Poetry.
Brata et al. Hanasu: Interactive Japanese language m-learning application to support listening and speaking exercise
MacCutcheon et al. Second language vocabulary level is related to benefits for second language listening comprehension under lower reverberation time conditions
Zimina et al. Robot-assistant behaviour analysis for robot-child interactions
Doumanis Evaluating humanoid embodied conversational agents in mobile guide applications
Carvalho et al. Investigating and Comparing the Perceptions of Voice Interaction in Digital Games: Opportunities for Health and Wellness Applications
Harris How effective are print-based comprehension models for reading and assessing multimodal texts?