JP2005321443A - Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon - Google Patents

Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon Download PDF

Info

Publication number
JP2005321443A
JP2005321443A JP2004137296A JP2004137296A JP2005321443A JP 2005321443 A JP2005321443 A JP 2005321443A JP 2004137296 A JP2004137296 A JP 2004137296A JP 2004137296 A JP2004137296 A JP 2004137296A JP 2005321443 A JP2005321443 A JP 2005321443A
Authority
JP
Japan
Prior art keywords
pronunciation
learner terminal
moving image
lecture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004137296A
Other languages
Japanese (ja)
Inventor
Makiko Matsumi
眞生子 松見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ace Inc
ACE Co Ltd
Original Assignee
Ace Inc
ACE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ace Inc, ACE Co Ltd filed Critical Ace Inc
Priority to JP2004137296A priority Critical patent/JP2005321443A/en
Publication of JP2005321443A publication Critical patent/JP2005321443A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a pronunciation learning support method, a learner terminal, a processing program, and a recording medium with the program recorded thereon capable of transmitting and receiving, in real time between learner terminals connected via a communication network, a pronunciation teaching material wherein a pronounced voice and a required action for the pronunciation are visually and aurally synchronized and presented. <P>SOLUTION: The learner terminal in this invention comprises: an input device 11 so composed as to be capable of receiving prescribed input from a user; a pronunciation teaching material extracting section 12 so composed as to be capable of performing two-way communication via the communication network; a data decode section 13 for decoding voice data and moving image data; a voice data output section 14 for outputting the decoded voice data; a moving image data output section 15 for making the output of the voice data and synchronized moving image data correspond to each other and displaying them on one screen; and a video input device 16 for generating, by photographing the user performing repeat pronunciation, photographic data including voice data, front mouth moving image, and mouth oblique view moving image. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体に関し、詳しくは、通信網上の任意の領域にレクチュアとユーザのそれぞれの学習者端末が配置されて、外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,発音の際の口もとの様子を撮影した口もと正面動画像と,口もと斜視動画像との各データを有する動画像データと、を含む発音教材を所定のレクチュア学習者端末から配信してユーザ学習者端末にて受信して再生することで、外国語発音の短期集中習得を支援するための発音学習支援方法、並びにその実施に直接使用される発音学習支援学習者端末、この学習者端末に導入して使用される発音学習支援処理プログラム、該プログラムを記録した記録媒体に係わる。   The present invention relates to a pronunciation learning support method, a learner terminal, a processing program, and a recording medium on which the program is recorded. Specifically, each learner terminal of a lecture and a user is arranged in an arbitrary area on a communication network. An animation moving image showing the voice data corresponding to the predetermined pronunciation of the foreign language, the utterance action necessary for the pronunciation utterance, and the required breath flow sequentially displayed and changed on the central vertical half-sectional view of the mouth portion. , User learning by delivering pronunciation teaching material including moving image data having each data of the mouth frontal moving image and the mouth perspective moving image from a predetermined lecture learner terminal. Pronunciation learning support method for supporting short-term intensive acquisition of pronunciation in foreign languages by receiving and playing at the terminal, and pronunciation learning support learner's end directly used for its implementation , Pronunciation learning support processing program used by introducing into the learner terminal, according to a recording medium recording the program.

近年、社会の急速な拡大により、グローバルコミュニケーションの必要性が増大し、外国語の習得が重要となっている。しかしながら、外国語の学習において、正確な発音を習得することが重要であるにもかかわらず、例えば、母語にはない口の動きを身に付けることが必要となることはあまり認知されておらず、外国語のリピート発音学習にあたり依然として、聴覚的に外国語の発音を耳から音のみ聴かせるものや、外国語の発音を学習者の母国語に無理やり当てはめて置き換えて示すもの等が多くある。   In recent years, with the rapid expansion of society, the need for global communication has increased, and the acquisition of foreign languages has become important. However, despite the importance of learning accurate pronunciation in foreign language learning, for example, it is not widely recognized that it is necessary to acquire mouth movements that are not found in the mother tongue. There are still many foreign language repeat pronunciation learnings, such as those in which the foreign language pronunciation is audibly heard only from the ear, or the foreign language pronunciation is replaced with the learner's native language.

そこで、本願発明者は、以下に示す特許文献1のとおり、外国語の学習にあたり、学習者に、発音による音のみならず、この発音に必要な口もとの動作及び舌、歯、息遣い等の動作についてそれぞれ複雑に関連する所要動作を同期連携させて同一画面上に同時に提示させることで、学習者に外国語の正しい発音を的確に提示する発明を創作するに至っている。   Therefore, the inventor of the present application, as described in Patent Document 1 shown below, in learning a foreign language, the learner is not limited to the sound generated by the pronunciation but also the movement of the mouth and the movement of the tongue, teeth, breathing, etc. necessary for this pronunciation. As a result, it is possible to create an invention that accurately presents the correct pronunciation of the foreign language to the learner by simultaneously presenting on the same screen the required actions related to each of them in a synchronized manner.

特願2003−362428号Japanese Patent Application No. 2003-362428

ここで、特許文献1に開示した発明は、学習者に聴覚的及び視覚的に外国語の発音を同時に提示することで、学習者のリピート発音の学習を最適に支援するものであるが、学習者に提示する発音教材が、事前に作成された所定のデータのみを用いたオンデマンドで行われるものであって、例えば、教師の発音の様子をリアルタイムに提供可能なものではなかった。   Here, the invention disclosed in Patent Document 1 optimally supports the learner's learning of repeat pronunciation by simultaneously presenting the pronunciation of the foreign language to the learner both auditorily and visually. The pronunciation teaching material presented to the teacher is performed on demand using only predetermined data created in advance, and for example, the pronunciation of the teacher cannot be provided in real time.

また、性別、年齢層等の異なる様々な発音教材を作成するためには、その正確な発音を為す教師を数多く集める必要があり、学習者と、この学習者が学習対象とする言語を母語とする教師とでは、異なる生活圏で生活している場合が多いことからも、その発音教材の作成には大変なコストがかかるものであった。   In addition, in order to create various pronunciation materials with different genders, age groups, etc., it is necessary to gather a large number of teachers who can make accurate pronunciations. Because teachers who live in different areas of life often have to create pronunciation teaching materials, it was very expensive.

さらに、事前に収録された発音教材のみを用いた発音の学習では、その発音教材に基づき学習者が口を動かしても、そのリピート発音の動作が正しいものであるか否かは学習者自らが標準発音を為す発音教材と比較して行うことしかできず、自己満足に陥り易く、リアルタイム性と双方向性を持ち、客観的に学習者の発音を正しく評価することはできなかった。   Furthermore, in pronunciation learning using only pre-recorded pronunciation materials, even if the learner moves his / her mouth based on the pronunciation material, the learner himself decides whether the repeat pronunciation is correct. It could only be done in comparison with pronunciation teaching materials that make standard pronunciations, and it was easy to be satisfied with self-satisfaction, and had real-time characteristics and bidirectionality, and could not objectively evaluate learner's pronunciation objectively.

ここにおいて、本発明が解決すべき主要な目的は、次のとおりである。   Here, the main objects to be solved by the present invention are as follows.

即ち、本発明の第1の目的は、発音の学習にあたり、発音の音と所要の発音動作とを視覚的・聴覚的に同期対応させて示す発音教材を、学習者から任意に選択設定されて通信網を介して接続されたレクチュアとユーザ学習者端末間でリアルタイムに送受信することを可能とする発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体を提供せんとするものである。   In other words, the first object of the present invention is that, when learning pronunciation, a learning material that shows the pronunciation sound and the required pronunciation operation in a visual and auditory manner in synchronization with each other is arbitrarily selected and set by the learner. A pronunciation learning support method that enables real-time transmission / reception between a lecture and a user learner terminal connected via a communication network, a learner terminal, a processing program, and a recording medium storing the program It is.

本発明の第2の目的は、映像入力デバイスにより撮影した撮影データをレクチュアとユーザ学習者端末間において相互に双方向に配信することで、ユーザのリピート発音の際の発声動作の客観的な正しい評価をリアルタイムに行うことを可能とする発音学習支援方法、学習者端末及び処理プログラム並びに該プログラムを記録した記録媒体を提供せんとするものである。   The second object of the present invention is to objectively correct the utterance operation during repeat pronunciation of the user by distributing the captured data captured by the video input device bidirectionally between the lecture and the user learner terminal. It is intended to provide a pronunciation learning support method, a learner terminal, a processing program, and a recording medium on which the program is recorded, which enables evaluation in real time.

本発明の他の目的は、明細書、図面、特に特許請求の範囲の各請求項の記載から、自ずと明らかになろう。   Other objects of the present invention will become apparent from the specification, drawings, and particularly the description of each claim.

まず、本発明方法においては、予め、レクチュア学習者端末において、所定のアニメーション動画像を事前に蓄積しておくとともに、発音教材毎に当該発音教材のレクチュアの少なくとも性別、年齢の情報と当該レクチュア学習者端末のアドレス情報を含む発音教材情報をユーザ学習者端末に公開しておき、まず、ユーザ学習者端末から、ユーザにより性別と年齢に基づき任意に選択設定された発音教材情報中のアドレス情報に該当するレクチュア学習者端末に接続要求し、次いで、当該接続要求に基づき当該レクチュア学習者端末と当該ユーザ学習者端末との間で双方向通信を確立した後に、当該レクチュア学習者端末において、蓄積したアニメーション動画像の示す発音に対応するレクチュアの当該発音時の様子を撮影することで、音声データと口もと正面動画像と口もと斜視動画像とを有した撮影データを生成し、当該撮影データを当該アニメーション動画像と同期対応させて、発音教材としてユーザ学習者端末にリアルタイムに配信する一方、当該ユーザ学習者端末において、当該発音教材の受信と並行して、当該発音教材に対応するユーザのリピート発音時の様子を撮影することで撮影データを生成し、当該撮影データをレクチュア学習者端末にリアルタイムに送信して、引続き、当該レクチュア学習者端末と当該ユーザ学習者端末のそれぞれにおいて、当該発音教材と当該撮影データとをデコードし、音声データの再生と同期対応させて、当該発音教材と当該撮影データ中の動画像データを同一画面上に対照可能に同時並列に表示再生する、という特徴的構成手法を講じる。   First, in the method of the present invention, predetermined animation moving images are accumulated in advance at a lecture learner terminal, and at least gender and age information of the lecture of the pronunciation teaching material and the lecture learning for each pronunciation teaching material. The pronunciation learning material information including the address information of the learner terminal is disclosed to the user learner terminal, and first, the address information in the pronunciation learning material information arbitrarily selected and set by the user based on the gender and age from the user learner terminal The connection request is made to the corresponding lecturer learner terminal, and then the two-way communication is established between the lecture learner terminal and the user learner terminal based on the connection request. By shooting the state of the lecture corresponding to the pronunciation indicated by the animation video, Data, a front moving image of the mouth and a perspective moving image of the mouth, and the shooting data is synchronized with the animation moving image and distributed to the user learner terminal in real time as a pronunciation teaching material, In the user learner terminal, in parallel with the reception of the pronunciation learning material, shooting data is generated by shooting the user's repeat pronunciation corresponding to the pronunciation learning material, and the shooting data is transferred to the lecture learner terminal. In real time, the pronunciation learning material and the shooting data are decoded at each of the lecture learner terminal and the user learner terminal, and the pronunciation learning material and the shooting data are synchronized with the reproduction of the audio data. A characteristic configuration method is provided in which moving image data in captured data is displayed and reproduced simultaneously and in parallel on the same screen. That.

また、本発明端末においては、ユーザ学習者端末を利用するユーザからの所定の入力を受付け可能に構成されて、通信網上に複数公開された発音教材毎に設定されて当該発音教材のレクチュアの少なくとも性別、年齢の情報と当該発音教材を配信するレクチュア学習者端末のアドレス情報とを含む発音教材情報から、当該ユーザにより性別と年齢に基づき任意に選択設定された入力を受付けたときに、当該発音教材情報中のアドレス情報に基づく発音教材の要求信号を出力する入力デバイスと、通信網を介してレクチュア学習者端末とリアルタイムにデータを送受信して双方向通信可能に構成されるとともに、要求信号に基づき該当するレクチュア学習者端末に接続要求し、当該レクチュア学習者端末から発音教材を受信する発音教材抽出部と、音声データと動画像データとをデコードするデータデコード部と、当該データデコード部にてデコードされた音声データを出力する音声データ出力部と、当該データデコード部にてデコードされて音声データの出力と同期された動画像データをそれぞれ対応させて一画面上に表示出力する動画像データ出力部と、ユーザのリピート発音時の様子を撮影することで、音声データと口もと正面動画像と口もと斜視動画像とを有した撮影データを生成し、当該撮影データをデータデコード部に出力するとともに、双方向通信が確立されたレクチュア学習者端末にリアルタイムに送信可能に発音教材抽出部に出力する映像入力デバイスと、を具備させる、という特徴的構成手段を講じる。   Further, the terminal of the present invention is configured to accept a predetermined input from a user who uses the user learner terminal, and is set for each of the pronunciation teaching materials published on the communication network, and the lecture materials of the pronunciation teaching materials are set. When receiving input arbitrarily selected and set by the user based on gender and age from pronunciation teaching material information including at least gender and age information and address information of a lecturer learner terminal that delivers the pronunciation teaching material, An input device that outputs a request signal for pronunciation teaching materials based on the address information in the pronunciation teaching material information, and is configured to be capable of bidirectional communication by transmitting and receiving data to and from the lecturer learner terminal in real time via a communication network. A pronunciation teaching material extraction unit that requests connection to the corresponding lecturer learner terminal based on the lexical learner terminal and receives the pronunciation teaching material from the lecture lecturer terminal A data decoding unit that decodes audio data and moving image data, an audio data output unit that outputs audio data decoded by the data decoding unit, and an output of audio data decoded by the data decoding unit; A moving image data output unit for displaying and outputting synchronized moving image data on a single screen, and shooting a user's repeat sound, capturing voice data, a front moving image and a mouth perspective moving image And a video input device that outputs the photographic data to the data decoding unit and outputs the photographic data to the pronunciation learning material extraction unit so that it can be transmitted in real time to the lecturer learner terminal for which bidirectional communication has been established. The characteristic constituent means is provided.

一方、本発明プログラムにおいては、レクチュア学習者端末に、所定のアニメーション動画像を事前に蓄積させる処理手順を実行させておくとともに、発音教材毎に当該発音教材のレクチュアの少なくとも性別、年齢の情報と当該レクチュア学習者端末のアドレス情報を含む発音教材情報をユーザ学習者端末に公開させる処理手順を実行させておき、ユーザ学習者端末に、ユーザにより性別と年齢に基づき任意に選択設定された発音教材情報中のアドレス情報に該当するレクチュア学習者端末に接続要求させる処理手順を実行させ、当該接続要求に基づき当該レクチュア学習者端末とユーザ学習者端末とに、双方向通信を確立させる処理手順を実行させた後に、当該レクチュア学習者端末に、蓄積させたアニメーション動画像の示す発音に対応するレクチュアの当該発音時の様子を撮影することで、音声データと口もと正面動画像と口もと斜視動画像とを有した撮影データを生成させる処理手順と、当該撮影データを当該アニメーション動画像と同期対応させて、発音教材としてユーザ学習者端末にリアルタイムに配信させる処理手順と、を順次実行させる一方、当該ユーザ学習者端末に、当該発音教材の受信させる処理手順と並行して、当該発音教材に対応するユーザのリピート発音時の様子を撮影させることで撮影データを生成させる処理手順と、当該撮影データをレクチュア学習者端末にリアルタイムに送信させる処理手順と、を順次実行させ、引続き、当該レクチュア学習者端末とユーザ学習者端末のそれぞれに、当該発音教材と当該撮影データとをデコードさせる処理手順と、音声データの再生と同期対応させて、当該発音教材と当該撮影データ中の動画像データを同一画面上に対照可能に同時並列に表示再生させる処理手順と、を順次実行させる、という特徴的構成手順を講じる。   On the other hand, in the program of the present invention, the lecture learner terminal is caused to execute a processing procedure for accumulating predetermined animation moving images in advance, and for each pronunciation teaching material, at least gender and age information of the lecture of the pronunciation teaching material A pronunciation teaching material arbitrarily selected and set by the user based on gender and age, by executing a processing procedure for making the user learning terminal information disclosed to the user learning terminal information including address information of the lecture learner terminal. Execute a processing procedure for requesting a connection to the lecture learner terminal corresponding to the address information in the information, and establish a two-way communication between the lecture learner terminal and the user learner terminal based on the connection request After that, the lecture learner's terminal will be able to respond to the pronunciation indicated by the accumulated animation video. By capturing the state of the lecture when it is pronounced, a processing procedure for generating shooting data having audio data, a front moving image of the mouth, and a moving video of the mouth and a perspective motion image of the mouth, and the shooting data are synchronized with the animation moving image. And a processing procedure for distributing the pronunciation learning material to the user learner terminal in real time, while corresponding to the pronunciation learning material in parallel with the processing procedure for causing the user learner terminal to receive the pronunciation learning material. The processing procedure for generating shooting data by shooting the state of the user repeating pronunciation and the processing procedure for transmitting the shooting data to the lecture learner terminal in real time are sequentially executed, and the lecture learner continues. A processing procedure for decoding the pronunciation teaching material and the shooting data to the terminal and the user learner terminal, respectively. And a processing procedure for displaying and reproducing the pronunciation teaching material and the moving image data in the captured data simultaneously in parallel so that they can be contrasted on the same screen in synchronization with the reproduction of the audio data. Take configuration steps.

他方、本発明記録媒体においては、本発明プログラムにおける各処理手順を実践する手続をコンピュータ読取可能に実録する、という特徴的構成手続を講じる。   On the other hand, in the recording medium of the present invention, a characteristic configuration procedure is performed in which a procedure for practicing each processing procedure in the program of the present invention is recorded in a computer-readable manner.

さらに、具体的詳細に述べると、当該課題の解決では、本発明が次に列挙する上位概念から下位概念に亙る新規な特徴的構成手法、手段、手順又は手続を採用することにより、前記目的を達成するよう為される。   More specifically, in order to solve the problem, the object is achieved by adopting a novel characteristic configuration method, means, procedure or procedure from the superordinate concept to the subordinate concept that the present invention enumerates. It is made to achieve.

即ち、本発明方法の第1の特徴は、通信網上の任意の領域にレクチュアとユーザのそれぞれの学習者端末が配置されて、外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,前記発音の際の口もとの様子を撮影した口もと正面動画像と,口もと斜視動画像との各データを有する動画像データと、を含む発音教材を所定の前記レクチュア学習者端末から配信して前記ユーザ学習者端末にて受信して再生することで、前記外国語発音の短期集中習得を支援するための発音学習支援方法であって、予め、前記レクチュア学習者端末において、所定の前記アニメーション動画像を事前に蓄積しておくとともに、前記発音教材毎に当該発音教材の前記レクチュアの少なくとも性別、年齢の情報と当該レクチュア学習者端末のアドレス情報を含む発音教材情報を前記ユーザ学習者端末に公開しておき、まず、前記ユーザ学習者端末から、前記ユーザにより前記性別と前記年齢に基づき任意に選択設定された前記発音教材情報中の前記アドレス情報に該当する前記レクチュア学習者端末に接続要求し、次いで、当該接続要求に基づき当該レクチュア学習者端末と当該ユーザ学習者端末との間で双方向通信を確立した後に、当該レクチュア学習者端末において、蓄積した前記アニメーション動画像の示す前記発音に対応する前記レクチュアの当該発音時の様子を撮影することで、前記音声データと前記口もと正面動画像と前記口もと斜視動画像とを有した撮影データを生成し、当該撮影データを当該アニメーション動画像と同期対応させて、前記発音教材として前記ユーザ学習者端末にリアルタイムに配信する一方、当該ユーザ学習者端末において、当該発音教材の受信と並行して、当該発音教材に対応する前記ユーザのリピート発音時の様子を撮影することで前記撮影データを生成し、当該撮影データを前記レクチュア学習者端末にリアルタイムに送信して、引続き、当該レクチュア学習者端末と当該ユーザ学習者端末のそれぞれにおいて、当該発音教材と当該撮影データとをデコードし、前記音声データの再生と同期対応させて、当該発音教材と当該撮影データ中の前記動画像データを同一画面上に対照可能に同時並列に表示再生してなる、発音学習支援方法の構成採用にある。   That is, the first feature of the method of the present invention is that the learner terminals of the lecture and the user are arranged in an arbitrary area on the communication network, the voice data corresponding to the predetermined pronunciation of the foreign language, and the pronunciation utterance. Animated video showing the necessary vocalization and the required flow of breath in sequence on the mouth part center vertical half-sectional schematic diagram, and the frontal video of the mouth that captured the state of the mouth during the pronunciation And a moving image data having each data of the mouth-squinted moving image, the pronunciation learning material including the data is received from the predetermined learner terminal, and is received and played back by the user learner terminal. A pronunciation learning support method for supporting short-term intensive acquisition of word pronunciation, in which the predetermined animation moving image is accumulated in advance in the lecture learner terminal, and For each sound teaching material, pronunciation material information including at least gender and age information of the lecture of the pronunciation learning material and address information of the lecture learner terminal is disclosed to the user learner terminal. First, the user learner terminal To the lecture learner terminal corresponding to the address information in the pronunciation learning material information arbitrarily selected and set based on the gender and the age by the user, and then based on the connection request, the lecture learning After establishing the two-way communication between the learner terminal and the user learner terminal, the lecture learner terminal photographs the state of the lecture corresponding to the pronunciation indicated by the accumulated animation moving image Thus, the photographic data having the audio data, the front moving image of the mouth, and the perspective moving image of the mouth. Is generated in synchronization with the animation moving image and distributed in real time as the pronunciation learning material to the user learner terminal, while the user learning terminal is concurrently receiving the pronunciation learning material. The shooting data is generated by shooting the user's repeat pronunciation corresponding to the pronunciation teaching material, the shooting data is transmitted to the lecture learner terminal in real time, and then the lecture learner terminal And the user learning terminal, the pronunciation teaching material and the shooting data are decoded, and the pronunciation data and the moving image data in the shooting data are displayed on the same screen in synchronization with the reproduction of the audio data. The pronunciation learning support method is configured to display and play back simultaneously in parallel.

また、本発明端末の第1の特徴は、外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,口もと正面動画像と,口もと斜視動画像とのデータを有する動画像データと、を含む発音教材を所定のレクチュア学習者端末から通信網を介して配信してユーザ学習者端末にて受信して再生するための当該通信網上の任意の領域に配置された学習者端末であって、当該ユーザ学習者端末を利用するユーザからの所定の入力を受付け可能に構成されて、前記通信網上に複数公開された前記発音教材毎に設定されて当該発音教材のレクチュアの少なくとも性別、年齢の情報と当該発音教材を配信する前記レクチュア学習者端末のアドレス情報とを含む発音教材情報から、当該ユーザにより前記性別と前記年齢に基づき任意に選択設定された入力を受付けたときに、当該発音教材情報中の前記アドレス情報に基づく前記発音教材の要求信号を出力する入力デバイスと、前記通信網を介して前記レクチュア学習者端末とリアルタイムにデータを送受信して双方向通信可能に構成されるとともに、前記要求信号に基づき該当する前記レクチュア学習者端末に接続要求し、当該レクチュア学習者端末から前記発音教材を受信する発音教材抽出部と、前記音声データと前記動画像データとをデコードするデータデコード部と、当該データデコード部にてデコードされた前記音声データを出力する音声データ出力部と、当該データデコード部にてデコードされて前記音声データの出力と同期された前記動画像データをそれぞれ対応させて一画面上に表示出力する動画像データ出力部と、前記ユーザのリピート発音時の様子を撮影することで、前記音声データと前記口もと正面動画像と前記口もと斜視動画像とを有した撮影データを生成し、当該撮影データを前記データデコード部に出力するとともに、前記双方向通信が確立された前記レクチュア学習者端末にリアルタイムに送信可能に前記発音教材抽出部に出力する映像入力デバイスと、を具備してなる、発音学習支援学習者端末の構成採用にある。   The first feature of the terminal of the present invention is that the voice data corresponding to the predetermined pronunciation of the foreign language, the utterance operation necessary for the pronunciation utterance, and the required breath flow are schematically shown in the mouth portion center vertical half-sectional view. A pronunciation teaching material including animation moving images that are sequentially displayed and changed in the above, moving image data including data on the front of the mouth and moving images of the perspective of the mouth is transmitted from a predetermined lecture learner terminal via a communication network. A learner terminal arranged in an arbitrary area on the communication network for distribution and reception and reproduction at the user learner terminal, and receiving a predetermined input from a user using the user learner terminal The lecturer who is configured to be accepted and is set for each of the pronunciation teaching materials published on the communication network and distributes at least gender and age information of the pronunciation teaching materials and the pronunciation teaching materials When the input arbitrarily selected by the user based on the gender and the age is received from the pronunciation teaching material information including the address information at the end, the pronunciation teaching material based on the address information in the pronunciation teaching material information is received. An input device that outputs a request signal, and the lecture learner terminal that is configured to be capable of bidirectional communication by transmitting and receiving data in real time with the lecture learner terminal via the communication network, and corresponding to the request signal based on the request signal A pronunciation teaching material extraction unit that receives the pronunciation teaching material from the lecture learner terminal, a data decoding unit that decodes the audio data and the moving image data, and the data decoded by the data decoding unit An audio data output unit for outputting audio data, and the audio data decoded by the data decoding unit; A moving image data output unit for displaying and outputting the moving image data synchronized with the output of the image on a single screen, and shooting the state of the user during the repeat sounding, whereby the audio data and the front of the mouth Generation of shooting data having a moving image and a perspective moving image of the mouth, outputting the shooting data to the data decoding unit, and enabling real-time transmission to the lecture learner terminal where the bidirectional communication is established The pronunciation learning support learner terminal is configured to include a video input device that outputs to the pronunciation teaching material extraction unit.

本発明端末の第2の特徴は、上記本発明端末の第1の特徴における前記学習者端末が、前記発音教材中の、少なくとも事前に作成された所定の前記アニメーション動画像を蓄積する発音教材蓄積部を具備し、前記発音教材抽出部が、前記入力デバイスにて前記レクチュアからの入力に基づき生成した前記発音教材情報を、前記通信網を介して前記ユーザ学習者端末に公開するとともに、前記映像入力デバイスにて前記発音教材蓄積部中の所定の前記アニメーション動画像の示す前記発音に対応させて生成した前記撮影データを、当該アニメーション動画像とそれぞれ同期対応させて、前記発音教材として前記双方向通信を確立した前記ユーザ学習者端末にリアルタイムに配信可能に構成されてなる、発音学習支援学習者端末の構成採用にある。   A second feature of the terminal of the present invention is that the learner terminal according to the first feature of the terminal of the present invention stores at least the predetermined animation moving image created in advance in the pronunciation teaching material. The pronunciation learning material extraction unit publishes the pronunciation learning material information generated based on the input from the lecture by the input device to the user learner terminal via the communication network, and the video The shooting data generated corresponding to the pronunciation indicated by the predetermined animation moving image in the pronunciation teaching material storage unit in the input device is synchronized with the animation moving image, respectively, and the bidirectional teaching material is used as the pronunciation teaching material. The pronunciation learning support learner terminal is configured to be distributed in real time to the user learner terminal that has established communication.

一方、本発明プログラムの第1の特徴は、通信網上の任意の領域にレクチュアとユーザのそれぞれの学習者端末が配置されて、外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,口もと正面動画像と,口もと斜視動画像との各データを有する動画像データと、を含む発音教材を所定の前記レクチュア学習者端末から配信させて前記ユーザ学習者端末にて受信し再生させることで、前記外国語発音の短期集中習得を支援するための、前記レクチュア学習者端末と前記ユーザ学習者端末とに導入して使用される発音学習支援処理プログラムであって、前記レクチュア学習者端末に、所定の前記アニメーション動画像を事前に蓄積させる処理手順を実行させておくとともに、前記発音教材毎に当該発音教材の前記レクチュアの少なくとも性別、年齢の情報と当該レクチュア学習者端末のアドレス情報を含む発音教材情報を前記ユーザ学習者端末に公開させる処理手順を実行させておき、前記ユーザ学習者端末に、前記ユーザにより前記性別と前記年齢に基づき任意に選択設定された前記発音教材情報中の前記アドレス情報に該当する前記レクチュア学習者端末に接続要求させる処理手順を実行させ、当該接続要求に基づき当該レクチュア学習者端末と前記ユーザ学習者端末とに、双方向通信を確立させる処理手順を実行させた後に、当該レクチュア学習者端末に、蓄積させた前記アニメーション動画像の示す前記発音に対応する前記レクチュアの当該発音時の様子を撮影することで、前記音声データと前記口もと正面動画像と前記口もと斜視動画像とを有した撮影データを生成させる処理手順と、当該撮影データを当該アニメーション動画像と同期対応させて、前記発音教材として前記ユーザ学習者端末にリアルタイムに配信させる処理手順と、を順次実行させる一方、当該ユーザ学習者端末に、当該発音教材の受信させる処理手順と並行して、当該発音教材に対応する前記ユーザのリピート発音時の様子を撮影させることで前記撮影データを生成させる処理手順と、当該撮影データを前記レクチュア学習者端末にリアルタイムに送信させる処理手順と、を順次実行させ、引続き、当該レクチュア学習者端末と前記ユーザ学習者端末のそれぞれに、当該発音教材と当該撮影データとをデコードさせる処理手順と、前記音声データの再生と同期対応させて、当該発音教材と当該撮影データ中の前記動画像データを同一画面上に対照可能に同時並列に表示再生させる処理手順と、を順次実行させてなる、発音学習支援処理プログラムの構成採用にある。   On the other hand, the first feature of the program of the present invention is that the learner terminals of the lecture and the user are arranged in an arbitrary area on the communication network, the voice data corresponding to a predetermined pronunciation of the foreign language, and the pronunciation utterance Animated video showing the required vocalization and the required breathing flow on the mouth part center vertical half-schematic half-schematic diagram in sequence, the mouth frontal video and the mouth perspective video In order to support the short-term intensive acquisition of the pronunciation of the foreign language by distributing and generating pronunciation teaching material including the moving image data from the predetermined lecture learner terminal and receiving and reproducing it at the user learner terminal, A pronunciation learning support processing program used by being introduced to the lecture learner terminal and the user learner terminal, wherein the predetermined animation is applied to the lecture learner terminal. A processing procedure for accumulating images in advance is executed, and the pronunciation teaching material information including at least gender and age information of the lecture of the pronunciation teaching material and address information of the lecture learner terminal for each pronunciation teaching material is stored in the user The processing procedure to be disclosed to the learner terminal is executed, and the user learner terminal corresponds to the address information in the pronunciation teaching material information arbitrarily selected and set based on the sex and the age by the user. The lecture learning terminal is made to execute a processing procedure for making a connection request, and based on the connection request, the lecturing learner terminal and the user learner terminal are made to execute a processing procedure for establishing bidirectional communication. The lecturer corresponding to the pronunciation indicated by the animation moving image stored in the person terminal By photographing the state at the time of sound, a processing procedure for generating shooting data having the voice data, the mouth front moving image and the mouth perspective moving image, and synchronizing the shooting data with the animation moving image. And a processing procedure for delivering the pronunciation learning material to the user learner terminal in real time in order, while the user learning terminal receives the pronunciation learning material in parallel with the processing procedure for receiving the pronunciation learning material. The processing procedure for generating the shooting data by shooting the state of the corresponding user's repeat pronunciation and the processing procedure for transmitting the shooting data to the lecture learner terminal in real time are sequentially executed, and subsequently, The pronunciation learning material and the shooting data are decoded on the lecture learner terminal and the user learner terminal, respectively. And a processing procedure for displaying and reproducing the pronunciation teaching material and the moving image data in the captured data simultaneously and in parallel on the same screen in synchronization with the reproduction of the audio data. In this way, the pronunciation learning support processing program is adopted.

他方、本発明記録媒体の第1の特徴は、上記本発明プログラムの第1の特徴における各処理手順をコンピュータ読取可能に実録してなる、発音学習支援処理プログラムを記録した記録媒体の構成採用にある。   On the other hand, the first feature of the recording medium of the present invention is to adopt the configuration of the recording medium on which the pronunciation learning support processing program is recorded, in which each processing procedure in the first feature of the present invention program is recorded in a computer-readable manner. is there.

本発明によれば、外国語の発音の学習にあたり、ユーザにより任意に選択設定されて双方向に接続した、例えば、語学教師が利用するレクチュア学習者端末から、通信網を介してリアルタイムにユーザ学習者端末に、発音に必要な所定の口の動作等を示すことが可能となり、また、ユーザのリピート発音時の口の様子を撮影し、その撮影データをレクチュア学習者端末に送信することで、ユーザの発音の客観的な評価をリアルタイムに行うことが可能となる。   According to the present invention, in learning pronunciation of a foreign language, user learning can be performed in real time via a communication network from a lecturer learner terminal that is arbitrarily selected and set by a user and connected bidirectionally, for example, used by a language teacher. It is possible to show the movement of the predetermined mouth necessary for pronunciation on the person's terminal, and by photographing the state of the mouth at the time of the user's repeat pronunciation and sending the photographing data to the lecturer learner terminal, Objective evaluation of the user's pronunciation can be performed in real time.

また、通信網を介して発音教材をリアルタイムに配信可能としたことにより、教師が利用するレクチュア学習者端末の設置位置が限定されず、世界中、どこからでも、どこに対してでも配信することができ、また、1台のレクチュア学習者端末から、一括して複数のユーザ学習者端末に対して発音教材を配信することが可能となり、ユーザは、学習したい言語を使用する国で実際に生活する教師や、自分の性別、年齢に近い教師等をレクチュアとして任意に選択することが可能となる。   In addition, by making it possible to distribute pronunciation teaching materials in real time via a communication network, the location of the lecturer learner's terminal used by the teacher is not limited and can be distributed from anywhere in the world to anywhere. In addition, it is possible to deliver pronunciation teaching materials to a plurality of user learner terminals from a single lecture learner terminal, and the user can be a teacher who actually lives in the country where the language he / she wants to learn is used. In addition, it is possible to arbitrarily select a teacher who is close to his / her gender and age as a lecture.

以下、本発明の実施の形態につき、添付図面を参照しつつ、端末例並びにこれに対応する方法例を説明し、これに引続き、その方法例を具現化するためのプログラム例及び記録媒体例を説明する。   Embodiments of the present invention will be described below with reference to the accompanying drawings, examples of terminals and examples of methods corresponding thereto, and subsequently, examples of programs and examples of recording media for implementing the examples of methods. explain.

(端末例)
まず、図1は、本発明の端末例に係る学習者端末の構成を適用ネットワーク構成と共に示す図である。なお、本図では、本発明を適用する学習者端末α1,α2,α3,α4,…を、最も一般的なCPU(Central Processing Unit)とメモリを搭載したパーソナルコンピュータとした適用形態を例に挙げている。
(Device example)
First, FIG. 1 is a diagram illustrating a configuration of a learner terminal according to a terminal example of the present invention together with an applied network configuration. In this figure, an application form in which the learner terminals α1, α2, α3, α4,... To which the present invention is applied is the most general personal computer equipped with a CPU (Central Processing Unit) and a memory is taken as an example. ing.

同図に示すように、本端末例に係る学習者端末α1,α2,α3,α4,…は、インターネット等の通信網N上の任意の領域に配置されて、この通信網Nを介して、例えば、テレビ会議等のライブストリーミング配信が可能となるように相互に接続されることで、リアルタイム性と双方向性を備えた遠隔学習の一形態として構築されるものであり、このとき、通信網N上に配置されたストリーミングデータ等を中継する所定のサーバ(図示しない)等を介して接続されても構わない。   As shown in the figure, the learner terminals α1, α2, α3, α4,... According to this terminal example are arranged in an arbitrary area on the communication network N such as the Internet, and through this communication network N, For example, it is constructed as a form of remote learning with real-time properties and bidirectionality by being connected to each other so that live streaming distribution such as video conferencing is possible. It may be connected via a predetermined server (not shown) or the like that relays streaming data or the like arranged on N.

なお、本端末例において通信網Nを介して受信し再生する発音教材は、外国語の所定の発音に対応した音声データと、同時にこの発音に必要な鼻腔、口腔、歯、舌及び顎の発声動作と所要の息の流れについて口内部分中央垂直片半断面模式図上で順次変化して示すアニメーション動画像と,発音の際の口もとの挙動変化の様子を示す口もと正面動画像と,口もと斜視動画像とのデータを有する動画像データと、を含むものとする。   Note that the pronunciation teaching material received and reproduced via the communication network N in this terminal example is voice data corresponding to a predetermined pronunciation of a foreign language, and at the same time, utterances of the nasal cavity, oral cavity, teeth, tongue and jaw necessary for this pronunciation. An animated moving image showing the movement and required breath flow in the mouth part center vertical half-schematic schematic diagram in sequence, mouth frontal moving image showing how the mouth behaves during pronunciation, and a mouth perspective video And moving image data having data with an image.

このアニメーション動画像は、唇の使い方、歯の位置・開き方、顎の使い方、舌の位置、息の流れを順次変化させて示すものであり、例えば、息の流れについては、鼻腔、口腔、歯、舌及び顎の動作と対応させて、矢印等で順次変化させて示すとよく、発音教材は、事前に作成された所定発音を示すこのアニメーション動画像の示す発音に対応するレクチュアの発音時の様子を撮影して生成されてリアルタイムに配信された、音声データと口もと正面動画像と口もと斜視動画像とを同期対応させて再生しユーザに示すものである。   This animated video shows how to use the lips, how to open and open the teeth, how to use the chin, the position of the tongue, and the flow of breath. For example, for the flow of breath, the nasal cavity, oral cavity, Corresponding to the movements of teeth, tongue and jaw, it is better to show them by sequentially changing with arrows etc., and the pronunciation teaching material is used for the pronunciation of the lecture corresponding to the pronunciation indicated by this animation moving image showing the predetermined pronunciation created in advance. The voice data, the front moving image of the mouth and the moving moving image of the mouth are reproduced in synchronization with each other and are shown to the user.

ここで、発音教材を再生する学習者端末α1,α2,α3,α4,…は、キーボードやマウス等であってユーザからの入力を受付ける入力デバイス11と、通信網Nを介して所望の発音教材を抽出する発音教材抽出部12と、再生するデータをデコードするデータデコード部13と、デコードされたデータを再生する音声データ出力部14と動画像データ出力部15と、を具備して構成される。   Here, the learner terminals α1, α2, α3, α4,... That reproduce the pronunciation teaching materials are a keyboard, a mouse, and the like, and an input device 11 that receives input from the user and a desired pronunciation teaching material via the communication network N. A pronunciation teaching material extracting unit 12 for extracting the data, a data decoding unit 13 for decoding the data to be reproduced, an audio data output unit 14 for reproducing the decoded data, and a moving image data output unit 15 .

さらに、学習者端末α1,α2,α3,α4,…は、カメラとマイク等を有してレクチュア又はユーザを撮影し撮影データを生成して、この撮影データを発音教材抽出部12とデータデコード部13とにそれぞれ送信、再生可能に出力する映像入力デバイス16を具備し、この映像入力デバイス16は、レクチュア又はユーザの発音時の口もとの様子を撮影することで、音声データと口もと正面動画像と口もと斜視動画像とを有した撮影データを生成可能に構成されるものとし、他に、メモリ等で構成されて、例えば、発音教材をバッファする機能を有した発音教材蓄積部17を具備して構成されても構わない。   Further, the learner terminals α1, α2, α3, α4,... Have a camera, a microphone, etc., shoot a lecture or user, generate shooting data, and use the shooting data as a pronunciation teaching material extraction unit 12 and a data decoding unit. 13 is provided with a video input device 16 that transmits and reproduces the video, and the video input device 16 captures the voice data, the front moving image of the mouth, It is configured to be able to generate shooting data having a mouth-smooth moving image, and further includes a pronunciation teaching material storage unit 17 that is configured by a memory or the like and has a function of buffering pronunciation teaching materials, for example. It may be configured.

このうち、まず、入力デバイス11は、発音教材毎に設定されて通信網N上に複数公開された、レクチュアの少なくとも性別、年齢の情報とこの発音教材の配信元となる、例えば、レクチュア学習者端末α1の通信網N上の位置を示すアドレス情報を含む発音教材情報群の中から、ユーザにより性別と年齢に基づき任意に選択設定された一の発音教材情報の入力を受付けたときには、この発音教材情報に基づき、該当する発音教材の要求信号を発音教材抽出部12に出力するよう構成される。   Among these, first, the input device 11 is set for each pronunciation teaching material and published on the communication network N, and the information of at least gender and age of the lecture and the distribution source of the pronunciation teaching material, for example, a lecturer learner When an input of one pronunciation teaching material information arbitrarily selected and set based on gender and age from the pronunciation teaching material information group including address information indicating the position of the terminal α1 on the communication network N is received. Based on the teaching material information, a request signal for the corresponding pronunciation teaching material is output to the pronunciation teaching material extraction unit 12.

また、発音教材抽出部12は、入力デバイス11から入力した要求信号に基づき、該当する学習者端末α1,α2,α3,α4,…に接続要求するよう構成されて、例えば、ユーザ学習者端末α2,α3,α4,…のそれぞれのユーザにより選択設定された発音教材情報中の、発音教材の配信元として指定されたレクチュア学習者端末α1に接続要求を行うよう構成される。   The pronunciation learning material extraction unit 12 is configured to request connection to the corresponding learner terminals α1, α2, α3, α4,... Based on the request signal input from the input device 11, for example, the user learner terminal α2. , Α3, α4,... Are configured to make a connection request to the lecturer learner terminal α1 designated as the pronunciation teaching material distribution source in the pronunciation teaching material information selected and set by each user.

さらに、発音教材抽出部12は、接続要求して所定の認証等を実施した後に、レクチュア学習者端末α1と、ユーザ学習者端末α2,α3,α4,…のそれぞれとの間で、例えば、テレビ会議等の専用的な双方向通信を確立し、レクチュア学習者端末α1から配信した発音教材を、ユーザ学習者端末α2,α3,α4,…にてリアルタイムに受信するよう構成されて、これにより、発音教材情報に基づき所望の発音教材の抽出をなすことが可能となる。   Furthermore, after the pronunciation teaching material extraction unit 12 requests connection and performs predetermined authentication or the like, between the lecture learner terminal α1 and each of the user learner terminals α2, α3, α4,. Establishing dedicated two-way communication such as conferences, the pronunciation learning material delivered from the lecturer learner terminal α1 is configured to be received in real time by the user learner terminals α2, α3, α4,. It is possible to extract a desired pronunciation teaching material based on the pronunciation teaching material information.

なお、この発音教材抽出部12は、例えば、パケット単位で発音教材を受信したときに、画像表示可能となるパケットデータを受信するまで一時的に発音教材蓄積部17にパケットデータを貯めて行き、所定量のパケットデータを貯めた後に、この発音教材蓄積部17中のパケットデータを読み出してデータデコード部13への送出が可能となるよう、発音教材蓄積部17に随時データを入出力可能に接続されて、バッファリング管理可能に構成されるとよい。   The pronunciation learning material extraction unit 12 temporarily stores the packet data in the pronunciation learning material storage unit 17 until receiving packet data that can display an image when the pronunciation learning material is received in units of packets, for example. After storing a predetermined amount of packet data, it is connected so that data can be input / output to the pronunciation teaching material storage unit 17 at any time so that the packet data in the pronunciation teaching material storage unit 17 can be read and sent to the data decoding unit 13 It is preferable that the buffering management is possible.

ここで、発音教材蓄積部17は、蓄積したパケットデータが読み出された後に、これらパケットを消去するようにして、所要のメモリサイズを最小とすることも可能であるが、これに限定されず、受信した発音教材を蓄積することで、配信された時刻に限定されないオンデマンドによる発音教材の随時再生が可能となるようにしても構わない。   Here, the pronunciation teaching material storage unit 17 can erase the packets after the stored packet data is read out to minimize the required memory size, but is not limited thereto. In addition, by accumulating the received pronunciation teaching material, it may be possible to reproduce the pronunciation teaching material on demand without being limited to the delivered time.

また、データデコード部13は、音声データと動画像データとを同期対応させてそれぞれ音声データ出力部14と動画像データ出力部15とで再生可能に出力するよう構成されて、例えば、発音教材抽出部12にて発音教材を抽出したときには、発音教材中の音声データと動画像データとをそれぞれ同期対応させて再生可能にデコードするものである。   Further, the data decoding unit 13 is configured to output the audio data and the moving image data in a synchronous manner so that the audio data and the moving image data can be reproduced by the audio data output unit 14 and the moving image data output unit 15, respectively. When the pronunciation material is extracted by the unit 12, the audio data and the moving image data in the pronunciation material are decoded so as to be reproducible in synchronization with each other.

加えて、映像入力デバイス16は、ユーザ学習者端末α2,α3,α4,…のユーザの口もとを撮影して、ユーザのリピート発音時の音声を録音した音声データと、発音教材中の動画像データに対応する口もと正面動画像と口もと斜視動画像とを有した撮影データを生成して、この撮影データをデータデコード部13を介して音声データ出力部14と動画像データ出力部15とに出力可能に構成されるものとする。   In addition, the video input device 16 shoots the user's mouth of the user learner terminals α2, α3, α4,... And records the voice data when the user repeats the sound and the moving image data in the pronunciation teaching material. Shoot data having a front moving image and a throat perspective moving image corresponding to the image data can be generated, and the captured data can be output to the audio data output unit 14 and the moving image data output unit 15 via the data decoding unit 13. It shall be comprised.

したがって、動画像データ出力部15は、音声データ出力部14における音声データの出力と同期対応させて、発音教材中のアニメーション動画像と口もと正面動画像と口もと斜視動画像と、さらに、発音教材に対応させてユーザのリピート発音の様子を撮影した撮影データ中の口もと正面動画像と口もと斜視動画像とを、同一画面上にそれぞれ同期対応させてユーザにより対照可能に同時並列に表示することが可能となる。   Therefore, the moving image data output unit 15 synchronizes with the output of the audio data in the audio data output unit 14 to generate the animation moving image, the mouth front moving image, the mouth perspective moving image in the pronunciation teaching material, and the pronunciation teaching material. Corresponding images can be displayed simultaneously in parallel on the same screen so that the front moving image and front moving image of the mouth in the captured data that captures the user's repeat pronunciation can be synchronized on the same screen. It becomes.

なお、データデコード部13は、音声データと動画像データとをそれぞれ同期対応させて再生可能にデコードすることに加えて、入力デバイス11からレクチュア又はユーザにより任意に入力された発音教材の再生開始や再生停止、一時停止、繰り返し、所定表示領域の拡大等の再生制御又は再生処理に関する実行命令が通知されたときには、これらの実行命令に対して事前に設定された対応する制御及び処理を実行するように構成されるとよい。   Note that the data decoding unit 13 decodes the audio data and the moving image data so that the audio data and the moving image data can be played back in synchronization with each other, in addition to starting playback of the pronunciation teaching material arbitrarily input from the input device 11 by the lecture or the user. When an execution command related to playback control or playback processing such as playback stop, pause, repeat, enlargement of a predetermined display area is notified, the corresponding control and processing set in advance for these execution commands are executed. It is good to be configured.

さらに、映像入力デバイス16は、生成した撮影データを、双方向通信が確立された、例えば、レクチュア学習者端末α1とユーザ学習者端末α2とでリアルタイムに送受信可能となるように発音教材抽出部12に出力するよう構成される。   Furthermore, the video input device 16 can transmit and receive the generated shooting data in real time between the lecture learner terminal α1 and the user learner terminal α2, for example, in which bidirectional communication has been established. Configured to output.

このとき、発音教材抽出部12は、例えば、ユーザ学習者端末α2にて撮影した撮影データを、双方向通信が確立されたレクチュア学習者端末α1と、あるいは、同時に双方向通信を確立したユーザ学習者端末α3,α4,…とに、別途解説等を加えて送信することも可能となり、レクチュア又はユーザ学習者端末α1,α2,α3,α4,…は、それぞれ同様に構成されて、発音教材の配信及び受信が共に可能となるよう構成されることが望ましく、これにより、ユーザのなす発音に対して客観的な評価が可能となる。   At this time, the pronunciation learning material extraction unit 12 uses, for example, the captured data captured by the user learner terminal α2 with the lecturer learner terminal α1 in which the bidirectional communication is established, or the user learning in which the bidirectional communication is established at the same time. The user terminals α3, α4,... Can be transmitted with additional explanations, and the lecture or user learner terminals α1, α2, α3, α4,. It is desirable to be able to deliver and receive both, thereby enabling objective evaluation of the pronunciation made by the user.

一方、発音教材を配信するレクチュア学習者端末α1は、発音教材蓄積部17に、発音教材中の、少なくとも事前に作成された所定のアニメーション動画像を蓄積して構成されて、また、発音教材抽出部12が、入力デバイス11にてレクチュアからの入力を受付けて生成した発音教材情報を、通信網Nを介して1以上のユーザ学習者端末α2,α3,α4,…に公開するよう構成される。   On the other hand, the lecturer learner terminal α1 that distributes the pronunciation learning material is configured by accumulating at least a predetermined animation moving image created in advance in the pronunciation learning material storage unit 17 and extracting the pronunciation learning material. The unit 12 is configured to publish the pronunciation teaching material information generated by receiving the input from the lecture by the input device 11 to one or more user learner terminals α2, α3, α4,. .

このとき、発音教材抽出部12は、さらに、レクチュア学習者端末α1の映像入力デバイス16にて、所定のアニメーション動画像の示す発音に対応させて生成した撮影データを、このアニメーション動画像とそれぞれ同期対応させることにより、発音教材とすることで、この発音教材を双方向通信が確立されたユーザ学習者端末α2,α3,α4,…の1以上にリアルタイムに配信可能に構成されたときには、発音教材として所定のアニメーション動画像とともにリアルタイムに撮影した撮影データを、ユーザ学習者端末α2,α3,α4,…に配信することが可能となる。   At this time, the pronunciation teaching material extraction unit 12 further synchronizes the shooting data generated by the video input device 16 of the lecture learner terminal α1 in correspondence with the pronunciation indicated by the predetermined animation moving image with the animation moving image. When the pronunciation teaching material is configured so that it can be distributed in real time to one or more of the user learner terminals α2, α3, α4,. As described above, it is possible to distribute shooting data shot in real time together with a predetermined animation moving image to the user learner terminals α2, α3, α4,.

また、レクチュア学習者端末α1の発音教材抽出部12は、アニメーション動画像と撮影データとを同期対応させて双方向通信を確立したユーザ学習者端末α2,α3,α4,…とに送信するとともに、レクチュア学習者端末α1内のデータデコード部13に送出することで、この発音教材をレクチュア学習者端末α1内で再生出力するとともに、併せて、ユーザ学習者端末α2,α3,α4,…から送信された撮影データを同期対応させて再生するようにするとよい。   The pronunciation learning material extraction unit 12 of the lecture learner terminal α1 transmits the animation moving image and the shooting data to the user learner terminals α2, α3, α4,. By sending the data to the data decoding unit 13 in the lecture learner terminal α1, the pronunciation learning material is reproduced and output in the lecture learner terminal α1, and is also transmitted from the user learner terminals α2, α3, α4,. It is recommended that the recorded data be reproduced in synchronization.

したがって、例えば、レクチュア学習者端末α1とユーザ学習者端末α2とはともに、相互に送受信した、レクチュア学習者端末α1にて生成した撮影データを含む発音教材と、この発音教材に対応させてユーザ学習者端末α2にて生成した撮影データとを、一画面上で対照可能に、かつ、リアルタイムに表示再生することが可能となる。   Therefore, for example, both the lecture learner terminal α1 and the user learner terminal α2 are both transmitted and received, and the pronunciation learning material including the shooting data generated at the lecture learner terminal α1, and the user learning corresponding to the pronunciation learning material The photographing data generated by the person terminal α2 can be displayed and reproduced in real time so that it can be contrasted on one screen.

なお、このとき、音声データ出力部14は、例えば、入力デバイス11にてレクチュア又はユーザの任意入力を受付けて、データデコード部13にて切り替える等により、レクチュア学習者端末α1で生成した発音教材中の音声データと、ユーザ学習者端末α2で受信した発音教材に対応させて生成した撮影データ中の音声データと、の音声出力は、それぞれ任意に切り替えて再生可能に構成されてもよく、また、双方同時に再生させて対照可能となるようにしてもよい。   At this time, the audio data output unit 14 accepts a lecture or user's arbitrary input by the input device 11 and switches it by the data decoding unit 13, for example, in the pronunciation teaching material generated by the lecture learner terminal α1. And the audio output of the shooting data generated in correspondence with the pronunciation learning material received by the user learner terminal α2 may be configured to be arbitrarily switched and reproducible, Both may be played back simultaneously so that they can be contrasted.

また、例えば、ユーザ学習者端末α2の映像入力デバイス16を、リピート発音時の音声データの収録をせずに、口もと正面動画像と口もと斜視動画像とのみを撮影して、これを撮影データとして生成可能に構成されても構わず、音声データを収録するか否かを入力デバイス11を介してユーザから任意に入力可能となるように構成されても構わない。   Further, for example, the video input device 16 of the user learner terminal α2 captures only the front moving image of the mouth and the perspective moving image of the mouth without recording the sound data at the time of repeat pronunciation, and uses this as shooting data. It may be configured so that it can be generated, or it may be configured so that it can be arbitrarily input from the user via the input device 11 whether or not audio data is to be recorded.

さらに、レクチュア学習者端末α1とユーザ学習者端末α2,α3,α4,…とは、1対1の接続に限定されず、1対複数であっても構わず、この場合、レクチュア又はユーザ学習者端末α1,α2,α3,α4,…のそれぞれに搭載された動画像データ出力部15は、発音教材と、それぞれの画面表示領域が許す範囲の任意端末数分の撮影データを同期対応させて一画面上に再生するようにしても構わない。   Furthermore, the lecture learner terminal α1 and the user learner terminals α2, α3, α4,... Are not limited to one-to-one connections, and may be one-to-multiple. The moving image data output unit 15 mounted on each of the terminals α1, α2, α3, α4,... Synchronizes the pronunciation teaching material with the shooting data for an arbitrary number of terminals within the range allowed by each screen display area. You may make it reproduce | regenerate on a screen.

[表示再生例]
次に、図2は、画面(表示インタフェース)の表示再生例であり、例えば、発音教材をレクチュア学習者端末α1からユーザ学習者端末α2に配信した場合のレクチュア学習者端末α1の表示インタフェース1を説明する。
[Display playback example]
Next, FIG. 2 is a display reproduction example of the screen (display interface). For example, the display interface 1 of the lecture learner terminal α1 when the pronunciation learning material is distributed from the lecture learner terminal α1 to the user learner terminal α2 is shown. explain.

同図に示すように、表示インタフェース1中に、音声データとともに順次所定の挙動変化を示すアニメーション動画像2と、双方向通信を確立したレクチュア及びユーザ学習者端末α1,α2のそれぞれにて撮影した口もと正面動画像3a,3bと口もと正面斜視動画像4a,4bとを表示するものとする。   As shown in the figure, in the display interface 1, an animation moving image 2 that sequentially shows a predetermined behavior change along with audio data, and a lecture and user learner terminals α1 and α2 that have established two-way communication were respectively photographed. It is assumed that the mouth front moving images 3a and 3b and the mouth front perspective moving images 4a and 4b are displayed.

さらに、表示インタフェース1中には、再生のON/OFF、一時停止、繰り返し等の切り替えボタンをレクチュアから視覚的に確認可能に表示し、入力デバイス11を通じて再生のコントロールを受付け可能とする再生コントロールスイッチ表示部5と、発音教材の内容等の発音教材情報を表示する発音教材情報表示部6を具備するようにしても構わない。   Further, in the display interface 1, a switch button for switching ON / OFF, pause, repeat, etc. of playback is displayed so that it can be visually confirmed from the lecture, and a playback control switch that can accept playback control through the input device 11 You may make it comprise the display part 5 and the pronunciation teaching material information display part 6 which displays pronunciation teaching material information, such as the content of the pronunciation teaching material.

ここで、アニメーション動画像2は、レクチュア学習者端末α1の発音教材蓄積部17に蓄積された所定の動画像であり、レクチュア学習者端末α1で撮影した口もと正面動画像3aと口もと斜視動画像4aは、この所定のアニメーション動画像2に対応させて撮影し発音教材として配信することにより、例えば、この発音教材の受信を希望したユーザ学習者端末α2に配信することで、レクチュア学習者端末α1からユーザ学習者端末α2へリアルタイムに発音教材を配信することが可能となる。   Here, the animation moving image 2 is a predetermined moving image accumulated in the pronunciation learning material accumulating unit 17 of the lecture learner terminal α1, and the mouth front moving image 3a and the mouth oblique perspective image 4a photographed by the lecture learner terminal α1. Is photographed in correspondence with the predetermined animation moving image 2 and distributed as pronunciation teaching materials, for example, by delivering to the user learner terminal α2 who wished to receive the pronunciation teaching materials, from the lecturer learner terminal α1. It is possible to deliver pronunciation teaching materials to the user learner terminal α2 in real time.

また、口もと正面動画像3bと口もと斜視動画像4bとは、ユーザ学習者端末α2の映像入力デバイス16にてユーザのリピート発音時に撮影した撮影データであり、発音教材を受信したユーザ学習者端末α2から、ユーザ学習者端末α2のユーザの口もとを撮影した撮影データを送信し、この撮影データをレクチュア学習者端末α1にてリアルタイムに受信することで、発音教材と同期対応させて再生するものである。   The mouth front moving image 3b and the mouth squint moving image 4b are photographing data taken at the user's repeat pronunciation by the video input device 16 of the user learner terminal α2, and the user learner terminal α2 receiving the pronunciation teaching material. Then, the photographing data obtained by photographing the user's mouth of the user learner terminal α2 is transmitted, and the photographing data is received in real time by the lecture learner terminal α1, thereby being reproduced in synchronization with the pronunciation teaching material. .

一方、このときユーザ学習者端末α2にて表示する表示インタフェース1は、レクチュア学習者端末α1から受信した発音教材中のアニメーション動画像2と口もと正面動画像3aと口もと斜視動画像4aと、ユーザ学習者端末α2に具備する映像入力デバイス16にて撮影した撮影データ中の口もと正面動画像3bと口もと斜視動画像4bとであり、それぞれユーザ学習者端末α2のユーザにより対照可能に表示されるとよい。   On the other hand, the display interface 1 displayed on the user learner terminal α2 at this time includes the animation moving image 2 in the pronunciation teaching material received from the lecturer learner terminal α1, the mouth front moving image 3a, the mouth perspective moving image 4a, and the user learning. The mouth moving image 3b and the mouth perspective moving image 4b in the shooting data captured by the video input device 16 included in the learner terminal α2 may be displayed so that they can be contrasted by the user of the user learner terminal α2. .

したがって、レクチュア学習者端末α1とユーザ学習者端末α2とで表示する表示インタフェース中の内容は、同一のものでよく、ユーザ学習者端末α2においても、表示インタフェース1と同様の表示がなされるものであるが、それぞれの表示の配置は異なるものであっても構わない。   Therefore, the contents in the display interface displayed on the lecture learner terminal α1 and the user learner terminal α2 may be the same, and the same display as that on the display interface 1 is performed on the user learner terminal α2. However, the arrangement of each display may be different.

また、例えば、表示インタフェース1では、レクチュアとユーザ両者を撮影した口もと正面動画像3a,3bと口もと斜視動画像4a,4bとを同時並列させて対照可能に表示再生するものについて説明したものの、レクチュア学習者端末α1又はユーザ学習者端末α2により生成したどちらか一方の撮影データのみを選択再生するようにしても構わず、このとき選択再生は、入力デバイス11にてレクチュア又はユーザからの選択入力を受付けるようにするとよい。   Further, for example, in the display interface 1, the description has been given of the case where the front moving images 3 a, 3 b and the mouth perspective moving images 4 a, 4 b taken from both the lecture and the user are displayed in parallel and displayed in a contrastable manner. Only one of the shooting data generated by the learner terminal α1 or the user learner terminal α2 may be selectively reproduced. At this time, the selective reproduction is performed by selecting input from the lecture or the user by the input device 11. It is good to accept.

(方法例)
次に、以上のように構成された端末例に係るレクチュア又はユーザ学習者端末α1,α2,α3,α4,…により実施される方法例を説明する。
図3は、本発明の方法例に係る発音学習支援方法を説明するためのシーケンスチャートである。なお、本方法例においては、例えば、レクチュア学習者端末α1から、ユーザ学習者端末α2,α3,α4,…のうちの任意に双方向通信が確立されたユーザ学習者端末α2に発音教材を配信するものとして説明する。
(Example method)
Next, an example of a method implemented by the lecture or user learner terminals α1, α2, α3, α4,... According to the terminal example configured as described above will be described.
FIG. 3 is a sequence chart for explaining the pronunciation learning support method according to the method example of the present invention. In this method example, for example, the pronunciation learning material is distributed from the lecture learner terminal α1 to the user learner terminal α2 in which two-way communication is arbitrarily established among the user learner terminals α2, α3, α4,. It will be described as being.

同図に示すように、本方法例においては、発音教材配信の事前の準備として、発音教材毎に、例えば、所定の発音教材を配信するレクチュア学習者端末α1において、発音教材蓄積部17に所定のアニメーション動画像2を事前に蓄積しておく(ST01)とともに、このレクチュア学習者端末α1を使用するレクチュアの少なくとも性別、年齢の情報と、このレクチュア学習者端末α1の通信網N上の位置を示すアドレス情報と、を含む発音教材情報を、ユーザ学習者端末α2,α3,α4,…から通信網Nを介して確認可能に公開しておく(ST02)。   As shown in the figure, in this method example, as a preparation in advance for pronunciation teaching material distribution, for example, in a lecturer learner terminal α1 that distributes predetermined pronunciation teaching materials for each pronunciation teaching material, the pronunciation teaching material storage unit 17 is predetermined. (ST01), information on at least gender and age of the lecture using this lecture learner terminal α1, and the position of the lecture learner terminal α1 on the communication network N are stored. The pronunciation teaching material information including the address information to be shown is disclosed in such a manner that it can be confirmed from the user learner terminals α2, α3, α4,... Via the communication network N (ST02).

このようにして発音教材毎に設定された発音教材情報が通信網N上で公開された状態において、例えば、ユーザ学習者端末α2は、通信網N上に公開された複数の発音教材情報群の中から、ユーザの性別や年齢に近いレクチュアによる発音教材等を示す任意に選択設定された発音教材情報の指定をこのユーザから入力デバイス11にて受付けて、この発音教材情報中のアドレス情報に該当する発音教材を配信するレクチュア学習者端末α1に接続要求する(ST11)ことで、所望の発音教材の要求を為す。   In the state in which the pronunciation teaching material information set for each pronunciation teaching material is disclosed on the communication network N in this way, for example, the user learner terminal α2 has a plurality of pronunciation teaching material information groups disclosed on the communication network N. From the user, the input device 11 accepts designation of the pronunciation teaching material information that is arbitrarily selected and set to indicate the pronunciation teaching material by the user's gender or age-related lecture, and corresponds to the address information in the pronunciation teaching material information A request for a desired pronunciation teaching material is made by requesting connection to the lecturer learner terminal α1 that distributes the pronunciation teaching material to be played (ST11).

このST11の接続要求の後に、この接続要求に基づき所定の認証等を経てレクチュア学習者端末α1とユーザ学習者端末α2との間で双方向通信を確立した(ST12)後に、レクチュア学習者端末α1において、発音教材蓄積部17中の所定のアニメーション動画像2に対応させた、レクチュア学習者端末α1のレクチュアの発音時の様子を撮影し、音声データと口もと正面動画像3aと口もと斜視動画像4aとを有した撮影データを生成する(ST21)。   After the connection request in ST11, bidirectional communication is established between the lecture learner terminal α1 and the user learner terminal α2 through predetermined authentication based on the connection request (ST12), and then the lecture learner terminal α1. , The state of the lecture learner terminal α1 corresponding to the predetermined animation moving image 2 in the pronunciation teaching material storage unit 17 is photographed, and the voice data, the front moving image 3a and the mouth perspective moving image 4a are photographed. Shooting data having the above is generated (ST21).

続いて、ST21にて生成した撮影データを、このアニメーション動画像2と同期対応させて発音教材としてユーザ学習者端末α2にリアルタイムに配信する(ST22)一方、ユーザ学習者端末α2にてこの発音教材を受信する(ST23)ことにより、ユーザ学習者端末α2において、所望の発音教材を抽出することができる。   Subsequently, the shooting data generated in ST21 is synchronized with the animation moving image 2 and distributed in real time to the user learner terminal α2 as a pronunciation learning material (ST22), while the pronunciation learning material is transmitted to the user learner terminal α2. (ST23), the user learner terminal α2 can extract a desired pronunciation teaching material.

なお、発音教材を受信したユーザ学習者端末α2において、ST23の発音教材の受信と並行して、少なくとも受信した発音教材に対応するリピート発音時の口もと正面動画像3bと口もと斜視動画像4bとを含む撮影データを生成し(ST24)、以下に続くユーザ学習者端末α2内での再生に加えて、この撮影データをレクチュア学習者端末α1等に送信するようにした場合には、ST24の撮影データの生成と同時にリアルタイムにこの撮影データをレクチュア学習者端末α1に送信する(ST25)ようにしても構わない。   At the user learner terminal α2 that has received the pronunciation teaching material, at the same time as receiving the pronunciation teaching material in ST23, at least the mouth front moving image 3b and the mouth perspective motion image 4b at the time of repeat pronunciation corresponding to the received pronunciation teaching material are displayed. In the case where the captured image data is generated (ST24) and the captured data is transmitted to the lecture learner terminal α1 in addition to the following reproduction in the user learner terminal α2, the captured image data of ST24 Simultaneously with the generation of the image data, the photographing data may be transmitted to the lecture learner terminal α1 in real time (ST25).

したがって、以降、レクチュア学習者端末α1とユーザ学習者端末α2とはともに、発音教材と、ユーザ学習者端末α2のST24にて生成した撮影データとを、それぞれ搭載されたデータデコード部13にてデコードし(ST3a,ST3b)、音声データ出力部14と動画像データ出力部15とに同期対応させて再生する(ST4a,ST4b)。   Therefore, thereafter, both the lecture learner terminal α1 and the user learner terminal α2 decode the pronunciation teaching material and the shooting data generated in ST24 of the user learner terminal α2 by the respective data decoding units 13 mounted therein. (ST3a, ST3b), and playback is performed in synchronization with the audio data output unit 14 and the moving image data output unit 15 (ST4a, ST4b).

ここで、ST4a,ST4bに示した発音教材と撮影データの再生は、レクチュア又はユーザ学習者端末α1,α2のそれぞれにおいて、音声データの再生に同期対応させて、一画面上の、例えば、表示インタフェース1上にアニメーション動画像2と口もと正面動画像3a,3bと口もと斜視動画像4a,4bとをレクチュア又はユーザにより対照可能となるよう同時並列に表示するようにする。   Here, the reproduction of the pronunciation teaching material and the shooting data shown in ST4a and ST4b is synchronized with the reproduction of the audio data in each of the lecture or user learner terminals α1 and α2, for example, on a screen, for example, a display interface The animation moving image 2, the mouth front moving images 3a and 3b, and the mouth perspective moving images 4a and 4b are displayed on 1 simultaneously and in parallel so that they can be contrasted by the lecture or the user.

なお、レクチュア学習者端末α1におけるST21に示した撮影データの生成からST4aに示した再生と、ユーザ学習者端末α2におけるST23に示した発音教材の受信からST4bに示した再生までの過程は、本方法例が撮影データをリアルタイムかつ双方向に送受信するものであるため、いずれの処理も並列して継続的に実施するものであり、適宜所要時間繰り返し実施するようにするとよい。   The process from the generation of the shooting data shown in ST21 in the lecture learner terminal α1 to the reproduction shown in ST4a and the reception of the pronunciation teaching material shown in ST23 in the user learner terminal α2 to the reproduction shown in ST4b are as follows. Since the method example is to transmit and receive photographing data in real time and bidirectionally, both processes are continuously performed in parallel, and may be repeatedly performed as necessary.

また、レクチュア学習者端末α1におけるST21の撮影データの生成は、発音教材蓄積部17に事前に蓄積された複数のアニメーション動画像2中から、レクチュア又はユーザによる選択を入力デバイス11にて受付けて、ここで選択されたアニメーション動画像2と対応させて撮影データを生成するようにするとよい。   In addition, the generation of shooting data of ST21 in the lecturer learner terminal α1 is performed by receiving the selection by the lecturer or the user from the plurality of animation moving images 2 accumulated in advance in the pronunciation teaching material accumulation unit 17, using the input device 11. Shooting data may be generated in correspondence with the animation moving image 2 selected here.

(プログラム例及び記録媒体例)
続いて、以上に説明した方法例の実施に際し、レクチュア及びユーザ学習者端末α1,α2,α3,α4,…に導入して使用される発音学習支援処理プログラムの例と、当該発音学習支援処理プログラムを記録した記録媒体の例とを説明する。
(Program example and recording medium example)
Subsequently, in the implementation of the method example described above, examples of pronunciation learning support processing programs introduced and used in the lecture and user learner terminals α1, α2, α3, α4,... And the pronunciation learning support processing program An example of a recording medium on which is recorded will be described.

ここで、以上の端末例及び方法例の説明から明らかなように、本発明におけるレクチュア又はユーザ学習者端末α1,α2,α3,α4,…は、共にコンピュータの基本機能を具備しているため、本発明で実現しようとする所要の機能は、ソフトウェア・プログラムにより構成することができる。   Here, as is clear from the description of the above terminal examples and method examples, the lecture or user learner terminals α1, α2, α3, α4,... In the present invention both have the basic functions of a computer. The required function to be realized by the present invention can be configured by a software program.

即ち、所要の発音学習支援処理プログラムを構成するに際しては、(A)発音教材の配信元となるレクチュア学習者端末α1に、所定のアニメーション動画像2を事前に蓄積させる処理手順を実行させておくとともに、(B)発音教材情報をユーザ学習者端末α2,α3,α4,…に事前に公開しておく処理手順と、(C)ユーザ学習者端末α2,α3,α4,…に、ユーザにより性別と年齢に基づき任意に選択設定された発音教材情報中のアドレス情報に基づき、該当するレクチュア学習者端末α1に接続要求させる処理手順と、を実行させるための記述を、当該処理プログラムに具備させる。   That is, when configuring a required pronunciation learning support processing program, (A) a processing procedure for pre-accumulating a predetermined animation moving image 2 in a lecture learner terminal α1 as a distribution source of pronunciation teaching materials is executed. And (B) a processing procedure for preliminarily disclosing pronunciation teaching material information to user learner terminals α2, α3, α4,..., And (C) gender by user according to user learner terminals α2, α3, α4,. And a processing procedure for causing the corresponding lecturer learner terminal α1 to make a connection request based on the address information in the pronunciation teaching material information arbitrarily selected and set based on the age.

さらに、(C)の接続要求に基づきレクチュア学習者端末α1と、例えば、ユーザ学習者端末α2とに、双方向通信を確立させる処理手順と、(D)レクチュア学習者端末α1に、蓄積させた所定のアニメーション動画像2の示す発音に対応するレクチュアの発音時の様子を撮影することで、音声データと口もと正面動画像3aと口もと斜視動画像4aとを有した撮影データを生成させる処理手順と、(E)この撮影データをアニメーション動画像2と同期対応させて、発音教材としてユーザ学習者端末α2にリアルタイムに配信させる処理手順と、を実行させるための記述を、当該処理プログラムに具備させる。   Furthermore, based on the connection request in (C), a process procedure for establishing bidirectional communication between the lecture learner terminal α1 and, for example, the user learner terminal α2, and (D) stored in the lecture learner terminal α1. A processing procedure for generating shooting data having sound data, a front moving image 3a at the mouth, and a moving image at the mouth perspective by shooting the state of the lecture corresponding to the pronunciation indicated by the predetermined animation moving image 2; (E) The processing program is provided with a description for executing the processing procedure for causing the shooting data to be distributed to the user learner terminal α2 in real time as the pronunciation teaching material in synchronization with the animation moving image 2.

続けて、(F)ユーザ学習者端末α2に、発音教材の受信させる処理手順と、(G)(F)の受信させる処理手順と並行させて、発音教材に対応するユーザのリピート発音時の様子を撮影させることで撮影データを生成させる処理手順と、(H)この撮影データをレクチュア学習者端末α1にリアルタイムに送信させる処理手順と、を実行させるための記述を、当該処理プログラムに具備させる。   Continuously, (F) the user learner terminal α2 receives the pronunciation teaching material in parallel with the processing procedures (G) and (F) to receive the user corresponding to the pronunciation teaching material during repeat pronunciation. The processing program is provided with a description for executing a processing procedure for generating shooting data by shooting and (H) a processing procedure for transmitting the shooting data to the lecture learner terminal α1 in real time.

引続き、(I)レクチュア学習者端末α1とユーザ学習者端末α2のそれぞれに、発音教材とユーザ学習者端末α2にて生成させた撮影データとをデコードさせる処理手順と、(J)音声データを再生させる処理手順と、(K)(J)の処理手順と同期対応させて、発音教材とこの撮影データ中の動画像データを同一画面上に対照可能に同時並列に表示再生させる処理手順と、を実行させるための記述を、当該処理プログラムに具備させる。   Subsequently, (I) a processing procedure for causing each of the lecture learner terminal α1 and the user learner terminal α2 to decode the pronunciation teaching material and the shooting data generated by the user learner terminal α2, and (J) reproducing the audio data And a processing procedure for displaying and reproducing the pronunciation teaching material and the moving image data in the captured data simultaneously in parallel on the same screen in synchronization with the processing procedures of (K) and (J). A description for execution is provided in the processing program.

なお、上記発音学習支援処理プログラムを記録した記録媒体を構成する場合には、任意の記録媒体に、当該発音学習支援処理プログラムにおける(A)〜(K)の各処理手順をコンピュータ読取可能に実録すればよい。   When a recording medium recording the pronunciation learning support processing program is configured, each processing procedure (A) to (K) in the pronunciation learning support processing program is recorded in an arbitrary recording medium in a computer-readable manner. do it.

以上、本発明の実施の形態につき、その端末例、並びにこれに対応する方法例、プログラム例及び記録媒体例を挙げて説明したが、本発明は必ずしも上述した手段、手法、手順及び手続にのみ限定されるものではなく、前述した効果を有する範囲内において、適宜、変更実施することが可能なものである。   As described above, the exemplary embodiment of the present invention has been described with reference to the terminal example, the corresponding method example, the program example, and the recording medium example. The present invention is not limited, and can be appropriately changed within the range having the above-described effects.

例えば、本実施形態例では、発音教材毎に設定された発音教材情報として、少なくとも、レクチュアの性別、年齢の情報とレクチュア学習者端末α1のアドレス情報を有するようにしたが、この発音教材を配信する所定の時刻等の情報を有するようにすることで、例えば、レクチュア学習者端末α1に、所定の時刻に接続要求する等により、ユーザの所望の発音教材を所定の時刻に抽出することが可能となる。   For example, in this embodiment, at least the gender and age information of the lecture and the address information of the lecture learner terminal α1 are included as the pronunciation teaching information set for each pronunciation teaching material. By having information such as a predetermined time to be performed, it is possible to extract a user's desired pronunciation teaching material at a predetermined time, for example, by requesting connection to the lecture learner terminal α1 at a predetermined time It becomes.

本発明の端末例に係る学習者端末の構成を適用ネットワーク構成と共に示す図である。It is a figure which shows the structure of the learner terminal which concerns on the example of a terminal of this invention with an applied network structure. 同上した学習者端末における画面(表示インタフェース)の表示再生例である。It is a display reproduction example of the screen (display interface) in the learner terminal same as the above. 本発明の方法例に係る発音学習支援方法を説明するためのシーケンスチャートである。It is a sequence chart for demonstrating the pronunciation learning assistance method which concerns on the example of a method of this invention.

符号の説明Explanation of symbols

α1,α2,α3,α4…発音学習支援学習者端末(レクチュア又はユーザ学習者端末)
1…表示インタフェース
2…アニメーション動画像
3a,3b…口もと正面動画像
4a,4b…口もと斜視動画像
5…再生コントロールスイッチ表示部
6…発音教材情報表示部
11…入力デバイス
12…発音教材抽出部
13…データデコード部
14…音声データ出力部
15…動画像データ出力部
16…映像入力デバイス
17…発音教材蓄積部
N…通信網
α1, α2, α3, α4 ... Pronunciation learning support learner terminal (lecture or user learner terminal)
DESCRIPTION OF SYMBOLS 1 ... Display interface 2 ... Animation moving image 3a, 3b ... Mouth front moving image 4a, 4b ... Mouth perspective moving image 5 ... Playback control switch display part 6 ... Pronunciation teaching material information display part 11 ... Input device 12 ... Pronunciation teaching material extraction part 13 ... Data decoding unit 14 ... Audio data output unit 15 ... Moving image data output unit 16 ... Video input device 17 ... Sound pronunciation teaching material storage unit N ... Communication network

Claims (5)

通信網上の任意の領域にレクチュアとユーザのそれぞれの学習者端末が配置されて、外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,前記発音の際の口もとの様子を撮影した口もと正面動画像と,口もと斜視動画像との各データを有する動画像データと、を含む発音教材を所定の前記レクチュア学習者端末から配信して前記ユーザ学習者端末にて受信して再生することで、前記外国語発音の短期集中習得を支援するための発音学習支援方法であって、
予め、前記レクチュア学習者端末において、
所定の前記アニメーション動画像を事前に蓄積しておくとともに、前記発音教材毎に当該発音教材の前記レクチュアの少なくとも性別、年齢の情報と当該レクチュア学習者端末のアドレス情報を含む発音教材情報を前記ユーザ学習者端末に公開しておき、
まず、前記ユーザ学習者端末から、前記ユーザにより前記性別と前記年齢に基づき任意に選択設定された前記発音教材情報中の前記アドレス情報に該当する前記レクチュア学習者端末に接続要求し、
次いで、当該接続要求に基づき当該レクチュア学習者端末と当該ユーザ学習者端末との間で双方向通信を確立した後に、
当該レクチュア学習者端末において、
蓄積した前記アニメーション動画像の示す前記発音に対応する前記レクチュアの当該発音時の様子を撮影することで、前記音声データと前記口もと正面動画像と前記口もと斜視動画像とを有した撮影データを生成し、
当該撮影データを当該アニメーション動画像と同期対応させて、前記発音教材として前記ユーザ学習者端末にリアルタイムに配信する一方、
当該ユーザ学習者端末において、
当該発音教材の受信と並行して、当該発音教材に対応する前記ユーザのリピート発音時の様子を撮影することで前記撮影データを生成し、
当該撮影データを前記レクチュア学習者端末にリアルタイムに送信して、
引続き、当該レクチュア学習者端末と当該ユーザ学習者端末のそれぞれにおいて、
当該発音教材と当該撮影データとをデコードし、
前記音声データの再生と同期対応させて、当該発音教材と当該撮影データ中の前記動画像データを同一画面上に対照可能に同時並列に表示再生する、
ことを特徴とする発音学習支援方法。
Lecture and user learner terminals are arranged in any area on the communication network, and voice data corresponding to a predetermined pronunciation of a foreign language, utterance operation necessary for utterance and the required flow of breath In the mouth part center vertical one half cross-sectional schematic display animation moving image showing the mouth, the front moving image that captured the state of the mouth at the time of pronunciation, and the mouth perspective motion image Pronunciation for supporting short-term intensive acquisition of the foreign language pronunciation by delivering a pronunciation teaching material including moving image data from a predetermined lecture learner terminal and receiving and playing it at the user learner terminal A learning support method,
In advance, in the lecture learner terminal,
Predetermined animation moving images are stored in advance, and pronunciation teaching material information including at least sex and age information of the lecture of the pronunciation teaching material and address information of the lecture learner terminal for each pronunciation teaching material is stored in the user Open it to the learner ’s terminal,
First, from the user learner terminal, a connection request is made to the lecture learner terminal corresponding to the address information in the pronunciation teaching material information arbitrarily selected and set based on the gender and the age by the user,
Then, after establishing bidirectional communication between the lecture learner terminal and the user learner terminal based on the connection request,
In the lecture learner terminal,
Shooting state of the lecture corresponding to the pronunciation indicated by the accumulated animation moving image is generated to generate shooting data having the audio data, the front moving image of the mouth and the perspective moving image of the mouth And
While the shooting data is synchronized with the animation moving image and delivered to the user learner terminal in real time as the pronunciation teaching material,
In the user learner terminal,
In parallel with the reception of the pronunciation teaching material, the shooting data is generated by shooting the user's repeat pronunciation corresponding to the pronunciation teaching material,
Send the shooting data to the lecture learner terminal in real time,
Subsequently, in each of the lecture learner terminal and the user learner terminal,
Decode the pronunciation teaching material and the shooting data,
In synchronization with the playback of the audio data, the pronunciation teaching material and the moving image data in the shooting data are displayed and reproduced simultaneously and in parallel on the same screen.
A pronunciation learning support method characterized by that.
外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,口もと正面動画像と,口もと斜視動画像とのデータを有する動画像データと、を含む発音教材を所定のレクチュア学習者端末から通信網を介して配信してユーザ学習者端末にて受信して再生するための当該通信網上の任意の領域に配置された学習者端末であって、
当該ユーザ学習者端末を利用するユーザからの所定の入力を受付け可能に構成されて、前記通信網上に複数公開された前記発音教材毎に設定されて当該発音教材のレクチュアの少なくとも性別、年齢の情報と当該発音教材を配信する前記レクチュア学習者端末のアドレス情報とを含む発音教材情報から、当該ユーザにより前記性別と前記年齢に基づき任意に選択設定された入力を受付けたときに、当該発音教材情報中の前記アドレス情報に基づく前記発音教材の要求信号を出力する入力デバイスと、
前記通信網を介して前記レクチュア学習者端末とリアルタイムにデータを送受信して双方向通信可能に構成されるとともに、前記要求信号に基づき該当する前記レクチュア学習者端末に接続要求し、当該レクチュア学習者端末から前記発音教材を受信する発音教材抽出部と、
前記音声データと前記動画像データとをデコードするデータデコード部と、
当該データデコード部にてデコードされた前記音声データを出力する音声データ出力部と、
当該データデコード部にてデコードされて前記音声データの出力と同期された前記動画像データをそれぞれ対応させて一画面上に表示出力する動画像データ出力部と、
前記ユーザのリピート発音時の様子を撮影することで、前記音声データと前記口もと正面動画像と前記口もと斜視動画像とを有した撮影データを生成し、当該撮影データを前記データデコード部に出力するとともに、前記双方向通信が確立された前記レクチュア学習者端末にリアルタイムに送信可能に前記発音教材抽出部に出力する映像入力デバイスと、を具備する、
ことを特徴とする発音学習支援学習者端末。
An animation moving image showing the voice data corresponding to the predetermined pronunciation of the foreign language, the utterance action necessary for the pronunciation utterance, and the required breath flow sequentially displayed and changed on the central vertical half-sectional view of the mouth portion. , A pronunciation teaching material including moving image data including data of a front moving image of a mouth and a moving image of a throat is received from a predetermined learner terminal via a communication network and received by a user learner terminal. A learner terminal arranged in an arbitrary area on the communication network for reproduction,
It is configured to be able to accept a predetermined input from a user who uses the user learner terminal, and is set for each of the pronunciation teaching materials published on the communication network, and at least the gender and age of the pronunciation teaching material lecture The pronunciation teaching material when receiving the input arbitrarily selected and set based on the gender and the age by the user from the pronunciation teaching material information including the information and the address information of the lecture learner terminal that delivers the pronunciation learning material An input device that outputs a request signal for the pronunciation teaching material based on the address information in the information;
The lecture learner terminal is configured to be capable of bidirectional communication by transmitting and receiving data to and from the lecture learner terminal in real time via the communication network, and requesting connection to the lecture learner terminal corresponding to the request signal. A pronunciation teaching material extraction unit for receiving the pronunciation teaching material from a terminal;
A data decoding unit for decoding the audio data and the moving image data;
An audio data output unit for outputting the audio data decoded by the data decoding unit;
A moving image data output unit that displays the output on one screen in association with each of the moving image data decoded by the data decoding unit and synchronized with the output of the audio data;
By shooting the user's state of repeat sounding, shooting data having the voice data, the mouth front moving image and the mouth perspective moving image is generated, and the shooting data is output to the data decoding unit. And a video input device that outputs to the pronunciation learning material extraction unit so that it can be transmitted in real time to the lecture learner terminal where the bidirectional communication is established,
Pronunciation learning support learner terminal characterized by that.
前記学習者端末は、
前記発音教材中の、少なくとも事前に作成された所定の前記アニメーション動画像を蓄積する発音教材蓄積部を具備し、
前記発音教材抽出部は、
前記入力デバイスにて前記レクチュアからの入力に基づき生成した前記発音教材情報を、前記通信網を介して前記ユーザ学習者端末に公開するとともに、前記映像入力デバイスにて前記発音教材蓄積部中の所定の前記アニメーション動画像の示す前記発音に対応させて生成した前記撮影データを、当該アニメーション動画像とそれぞれ同期対応させて、前記発音教材として前記双方向通信を確立した前記ユーザ学習者端末にリアルタイムに配信可能に構成される、
ことを特徴とする請求項2に記載の発音学習支援学習者端末。
The learner terminal
A pronunciation teaching material storage unit that stores at least the predetermined animation moving image created in advance in the pronunciation teaching material,
The pronunciation teaching material extraction unit
The pronunciation teaching material information generated based on the input from the lecture by the input device is disclosed to the user learner terminal via the communication network, and a predetermined in the pronunciation teaching material storage unit by the video input device. The shooting data generated in correspondence with the pronunciation indicated by the animation moving image is synchronized with the animation moving image in synchronization with the user learner terminal that has established the bidirectional communication as the pronunciation teaching material in real time. Configured to be deliverable,
The pronunciation learning support learner terminal according to claim 2, wherein:
通信網上の任意の領域にレクチュアとユーザのそれぞれの学習者端末が配置されて、外国語の所定の発音に対応した音声データと、当該発音発声時に必要な発声動作と所要の息の流れとを口内部分中央垂直片半断面模式図上で順次表示変化して示すアニメーション動画像と,口もと正面動画像と,口もと斜視動画像との各データを有する動画像データと、を含む発音教材を所定の前記レクチュア学習者端末から配信させて前記ユーザ学習者端末にて受信し再生させることで、前記外国語発音の短期集中習得を支援するための、前記レクチュア学習者端末と前記ユーザ学習者端末とに導入して使用される発音学習支援処理プログラムであって、
前記レクチュア学習者端末に、
所定の前記アニメーション動画像を事前に蓄積させる処理手順を実行させておくとともに、前記発音教材毎に当該発音教材の前記レクチュアの少なくとも性別、年齢の情報と当該レクチュア学習者端末のアドレス情報を含む発音教材情報を前記ユーザ学習者端末に公開させる処理手順を実行させておき、
前記ユーザ学習者端末に、
前記ユーザにより前記性別と前記年齢に基づき任意に選択設定された前記発音教材情報中の前記アドレス情報に該当する前記レクチュア学習者端末に接続要求させる処理手順を実行させ、
当該接続要求に基づき当該レクチュア学習者端末と前記ユーザ学習者端末とに、双方向通信を確立させる処理手順を実行させた後に、
当該レクチュア学習者端末に、
蓄積させた前記アニメーション動画像の示す前記発音に対応する前記レクチュアの当該発音時の様子を撮影することで、前記音声データと前記口もと正面動画像と前記口もと斜視動画像とを有した撮影データを生成させる処理手順と、
当該撮影データを当該アニメーション動画像と同期対応させて、前記発音教材として前記ユーザ学習者端末にリアルタイムに配信させる処理手順と、を順次実行させる一方、
当該ユーザ学習者端末に、
当該発音教材の受信させる処理手順と並行して、当該発音教材に対応する前記ユーザのリピート発音時の様子を撮影させることで前記撮影データを生成させる処理手順と、
当該撮影データを前記レクチュア学習者端末にリアルタイムに送信させる処理手順と、を順次実行させ、
引続き、当該レクチュア学習者端末と前記ユーザ学習者端末のそれぞれに、
当該発音教材と当該撮影データとをデコードさせる処理手順と、
前記音声データの再生と同期対応させて、当該発音教材と当該撮影データ中の前記動画像データを同一画面上に対照可能に同時並列に表示再生させる処理手順と、を順次実行させる、
ことを特徴とする発音学習支援処理プログラム。
Lecture and user learner terminals are arranged in any area on the communication network, and voice data corresponding to a predetermined pronunciation of a foreign language, utterance operation necessary for utterance and the required flow of breath Predetermined pronunciation teaching material including animated moving images that sequentially display and change on the center vertical vertical half-section diagram of the mouth portion, moving image data having each data of the front moving image of the mouth and the moving image of the perspective view of the mouth The lecture learner terminal and the user learner terminal for supporting short-term intensive acquisition of the pronunciation of the foreign language by distributing from the lecture learner terminal and receiving and reproducing the user learner terminal A pronunciation learning support processing program introduced and used in
In the lecture learner terminal,
Producing a processing procedure for storing the predetermined animation moving image in advance and including at least sex and age information of the lecture of the pronunciation material and address information of the lecture learner terminal for each pronunciation material The processing procedure for making the learning material information disclosed to the user learner terminal is executed,
In the user learner terminal,
Causing the user to make a connection request to the lecture learner terminal corresponding to the address information in the pronunciation learning material information arbitrarily selected and set based on the gender and the age by the user;
After causing the lecture learner terminal and the user learner terminal to establish a bidirectional communication based on the connection request,
In the lecture learner terminal,
Shooting data including the voice data, the front moving image of the mouth and the perspective moving image of the mouth by shooting the state of the lecture corresponding to the pronunciation indicated by the accumulated animation moving image. A processing procedure to generate,
While sequentially processing the shooting data in synchronization with the animation moving image and delivering the pronunciation learning material to the user learner terminal in real time,
In the user learner terminal,
In parallel with the processing procedure for receiving the pronunciation teaching material, a processing procedure for generating the shooting data by shooting the user's repeat pronunciation corresponding to the pronunciation teaching material,
A processing procedure for transmitting the shooting data to the lecture learner terminal in real time is sequentially executed,
Subsequently, each of the lecture learner terminal and the user learner terminal,
A processing procedure for decoding the pronunciation teaching material and the shooting data;
In synchronization with the playback of the audio data, the pronunciation teaching material and the moving image data in the shooting data are sequentially displayed in parallel on the same screen so that the video data can be contrasted and played back sequentially.
A pronunciation learning support processing program characterized by that.
請求項4に記載の発音学習支援処理プログラムにおける各処理手順をコンピュータ読取可能に実録してなる、
ことを特徴とする発音学習支援処理プログラムを記録した記録媒体。
Each processing procedure in the pronunciation learning support processing program according to claim 4 is recorded in a computer-readable manner.
The recording medium which recorded the pronunciation learning assistance processing program characterized by this.
JP2004137296A 2004-05-06 2004-05-06 Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon Pending JP2005321443A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004137296A JP2005321443A (en) 2004-05-06 2004-05-06 Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004137296A JP2005321443A (en) 2004-05-06 2004-05-06 Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon

Publications (1)

Publication Number Publication Date
JP2005321443A true JP2005321443A (en) 2005-11-17

Family

ID=35468806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004137296A Pending JP2005321443A (en) 2004-05-06 2004-05-06 Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon

Country Status (1)

Country Link
JP (1) JP2005321443A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009537850A (en) * 2006-05-16 2009-10-29 深チン大学 How to learn pronunciation by a computer that can be applied to various languages
JP2012073299A (en) * 2010-09-27 2012-04-12 Panasonic Corp Language training device
JP2013012262A (en) * 2011-06-28 2013-01-17 Pioneer Electronic Corp Synchronous reproduction apparatus and synchronous reproduction method
JP2013061369A (en) * 2011-09-12 2013-04-04 Kyoto Univ Information processing device, information processing system, and program
JP2015145938A (en) * 2014-02-03 2015-08-13 山本 一郎 Video/sound recording system for articulation training
JP2015145939A (en) * 2014-02-03 2015-08-13 山本 一郎 Video/sound recording system for articulation training

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009537850A (en) * 2006-05-16 2009-10-29 深チン大学 How to learn pronunciation by a computer that can be applied to various languages
JP2012073299A (en) * 2010-09-27 2012-04-12 Panasonic Corp Language training device
JP2013012262A (en) * 2011-06-28 2013-01-17 Pioneer Electronic Corp Synchronous reproduction apparatus and synchronous reproduction method
JP2013061369A (en) * 2011-09-12 2013-04-04 Kyoto Univ Information processing device, information processing system, and program
JP2015145938A (en) * 2014-02-03 2015-08-13 山本 一郎 Video/sound recording system for articulation training
JP2015145939A (en) * 2014-02-03 2015-08-13 山本 一郎 Video/sound recording system for articulation training

Similar Documents

Publication Publication Date Title
US20040080609A1 (en) Video editing system, video editing method, recording/reproducing method of visual information, apparatus therefor, and communication system
JP2002202941A (en) Multimedia electronic learning system and learning method
JP2005321443A (en) Pronunciation learning support method, learner terminal, processing program, and recording medium with the program recorded thereon
JP2005524867A (en) System and method for providing low bit rate distributed slide show presentation
JP2006030513A (en) Education support device and education information managing server
CN114402276A (en) Teaching system, viewing terminal, information processing method, and program
JP3569278B1 (en) Pronunciation learning support method, learner terminal, processing program, and recording medium storing the program
Smith et al. Low-latency networked music collaborations: does “good enough” do enough good?
DE19960544A1 (en) Controllable doll providing interaction with user
KR101198091B1 (en) Method and system for learning contents
JP4725918B2 (en) Program image distribution system, program image distribution method, and program
KR101822026B1 (en) Language Study System Based on Character Avatar
JP2006163269A (en) Language learning apparatus
JP2021086145A (en) Class system, viewing terminal, information processing method, and program
JP2021006894A (en) Content distribution server, content generation device, education terminal, content distribution program and education program
JP2008032787A (en) Language learning system and program for language learning system
JP2005338510A (en) Lecturer&#39;s terminal apparatus, trainee&#39;s terminal apparatus and server apparatus in remote teaching system
JP5777233B1 (en) Movie generation apparatus and movie generation method
JP6802264B2 (en) Display device, output device, and information display method
JP2013150095A (en) Content distribution system and content distribution method
JP6766228B1 (en) Distance education system
KR101640410B1 (en) Multiple digital interacting method and system
JP6410346B2 (en) Remote communication device and program
JP6727388B1 (en) Class system, viewing terminal, information processing method and program
US20210082452A1 (en) System and Method for Talking Avatar

Legal Events

Date Code Title Description
RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20060411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060510

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100316