JP2008164701A - Language learning system, and program for language learning - Google Patents
Language learning system, and program for language learning Download PDFInfo
- Publication number
- JP2008164701A JP2008164701A JP2006351370A JP2006351370A JP2008164701A JP 2008164701 A JP2008164701 A JP 2008164701A JP 2006351370 A JP2006351370 A JP 2006351370A JP 2006351370 A JP2006351370 A JP 2006351370A JP 2008164701 A JP2008164701 A JP 2008164701A
- Authority
- JP
- Japan
- Prior art keywords
- rhythm sound
- text data
- rhythm
- teacher terminal
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033764 rhythmic process Effects 0.000 claims abstract description 118
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 30
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 30
- 238000013500 data storage Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000463 material Substances 0.000 abstract description 37
- 238000000034 method Methods 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Electrophonic Musical Instruments (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、語学学習システム及び語学学習用プログラムに係り、特に、チャンツ学習用のテキストに最適なリズム音を選択して、効果的なチャンツ学習を行い得る語学学習システム及び語学学習用プログラムに関する。 The present invention relates to a language learning system and a language learning program, and more particularly, to a language learning system and a language learning program that can perform effective chants learning by selecting an optimal rhythm sound for a chant learning text.
大学や高校等の語学教育で使用される語学学習システムとして、従来はLL(Language Laboratory)システムが多く用いられていたが、近年ではCALL(Computer Assisted Language Learning)システムと呼ばれる、ネットワーク接続されたパーソナルコンピュータ(以下、PCと略記する。)を用いた語学学習システムが用いられるようになっている。 As a language learning system used in language education at universities, high schools, etc., the LL (Language Laboratory) system has been widely used in the past. However, in recent years, a network-connected personal called a CALL (Computer Assisted Language Learning) system has been used. A language learning system using a computer (hereinafter abbreviated as PC) is used.
CALLシステムによる語学学習システムでは、教師側のPCが、例えば教師の操作に従って複数の学習者側のPCを制御可能なように構成されている。そして、教師側のPCは、教授/学習用の映像、静止画、音声等のマルチメディアデータの教材データを、学習者全員のPC又は選択した学習者のPCに送信することができる。このようにして、各学習者は、各自のPCで受信した教材データを用いて語学の学習を行うことができる。 The language learning system using the CALL system is configured such that the teacher-side PC can control a plurality of learner-side PCs, for example, according to the operation of the teacher. Then, the teacher's PC can transmit teaching material data of multimedia data such as teaching / learning video, still image, and voice to all the learners' PCs or the selected learner's PCs. In this way, each learner can learn a language using teaching material data received by his / her PC.
この語学学習システムでは、教師及び学習者それぞれのPCに、ヘッドホン部とマイクロホン部とを備えたヘッドセットを接続し、教師及び学習者がこのヘッドセットを装着して教授/学習を行うのが一般的である。すなわち、語学学習システムは、ヘッドセットの装着者自らが発声した音声をマイクロホン部で集音し、各自のPCでデジタル音声データに変換処理して通信相手先のPCに送信すると共に、通信相手先のPCから送信されたデジタル音声データを各自のPCで受信して音声に変換し、この音声をヘッドホン部で聴くことで語学会話の練習を行うことができる(例えば、特許文献1参照)。 In this language learning system, a headset having a headphone unit and a microphone unit is connected to each PC of a teacher and a learner, and the teacher and the learner wear this headset to perform teaching / learning. Is. In other words, the language learning system collects the sound uttered by the headset wearer himself / herself by the microphone unit, converts it into digital voice data by each PC, and transmits it to the communication partner PC. The digital voice data transmitted from each PC can be received and converted into voice by each PC, and language conversation can be practiced by listening to the voice through the headphone unit (for example, see Patent Document 1).
上記の語学学習システムにおいては、教師が発声した音声を、学習者が装着したヘッドセットから即時的に聴かせるだけでなく、学習者が学習したい音声教材データを選択して繰り返し再生しながら発音を練習したり、自分の声を録音したりして個別に学習を行うことが可能なものもある。 In the above language learning system, not only the voice uttered by the teacher can be heard immediately from the headset worn by the learner, but also the voice teaching material data that the learner wants to learn is selected and played back repeatedly. There are also things that you can practice individually or record your own voice to learn individually.
この発音練習の一手法として、「チャンツ」と呼ばれる語学練習方法が知られている。このチャンツとは、一定のリズム音に合わせて単語や文章を口ずさむ語学練習方法のことであり、チャンツを利用したチャンツ語学学習教材が市販されてもいる。学習者は、このチャンツ語学学習教材を用いて、リズミカルな音楽やリズム音を聴きながら、教材テキストに記載された単語や文章をリズムに合わせて発声し、単語の暗記、アクセントやイントネーションの習得を行うものである。 A language practice method called “Chants” is known as one method of pronunciation practice. This chant is a language practice method that utters words and sentences according to a certain rhythm sound. Chants language learning materials using chants are also commercially available. Learners can learn words and sentences written in the textbooks in accordance with the rhythm while listening to rhythmic music and rhythm sounds, and learn words, accents and intonations. Is what you do.
このようなチャンツ学習は、上述した語学学習システムにも応用されており、出願人は、チャンツ学習機能を搭載した語学学習システムを開発して市場に投入している。具体的に、この語学学習システムでは、教師用PCに、ドラム音やベース音等による一定のリズム音をMIDI(Musical Instrument Digital Interface)データとして複数種類格納すると共に、教師の操作により、所望のリズム音を所望のテンポで再生させるよう選択して学習者用PCに送出し、各学習者は、各自の学習者用PCでそのリズム音を受信して再生させながら、語学教材の発声練習を繰り返し行うというものである。
しかしながら、上述したチャンツ語学学習教材は、予めCD(Compact Disc)等に録音された音楽(リズム音)と専用のテキスト教材との組み合わせによるチャンツ学習を前提としたものであり、学習者が専用のテキスト教材以外のテキストを用いた場合に、CDに録音された音楽やリズム音とマッチしたチャンツ学習ができるとは限らない。 However, the above-mentioned learning materials for the Chants language are based on the premise that the learning is based on a combination of music (rhythm sounds) recorded on a CD (Compact Disc) or the like and a dedicated text material. When texts other than text materials are used, it is not always possible to learn chants that match music or rhythm sounds recorded on a CD.
また、上述した、出願人が市場投入している語学学習システムにおけるチャンツ学習機能は、教師が、リズム音の種類及びテンポを所望に変えることは可能であるものの、リズム音と教材として用いるテキストとは関連付けがされていないため、テキストの文章や単語に最適なリズム音の選択は、教師自身の事前のトライアルにより決定することになるため、テキストを変える毎に煩雑な選択作業が発生し、教師に負担を強いることが問題であった。 In addition, the above-described chants learning function in the language learning system marketed by the applicant allows the teacher to change the rhythm sound type and tempo as desired, but the rhythm sound and the text to be used as teaching materials. Since there is no association, the selection of the optimal rhythm sound for a sentence or word in the text is determined by the teacher's own prior trial, so a complicated selection work occurs each time the text is changed. It was a problem to impose a burden on.
本発明は、上記問題に鑑みてなされたものであり、その目的は、発音練習に用いるテキストを任意に入力した場合であっても、そのテキストに最も適したリズム音を簡便に選択することができる、語学学習システム及び語学学習用プログラムを提供することである。 The present invention has been made in view of the above problems, and its purpose is to easily select the rhythm sound most suitable for the text even when the text used for pronunciation practice is arbitrarily input. It is to provide a language learning system and a language learning program.
本発明は、上記の課題を解決するために、以下の[1]及び[2]の手段を提供するものである。
[1] 教師用端末と、ヘッドホン部及びマイクロホン部を備えたヘッドセット、並びに表示モニタがそれぞれ接続された複数の学習者用端末とがネットワークを介して接続された語学学習システムであって、
前記教師用端末は、
複数種類のリズム音と各リズム音のピッチパターンとを記憶したリズム音記憶手段と、
テキストデータを入力するテキストデータ入力手段と、
前記入力したテキストデータを格納するテキストデータ格納手段と、
前記入力したテキストデータを音声合成処理して音声合成データを生成する音声合成処理手段と、
前記生成した音声合成データのピッチパターンを抽出するピッチパターン抽出手段と、
前記抽出した音声合成データのピッチパターンと、前記リズム音記憶手段に記憶された複数種類のリズム音それぞれのピッチパターンとを照合して、最もピッチ間隔の狭いリズム音を選択するリズム音選択手段と、
前記選択したリズム音のテンポを指定するテンポ指定手段と、
前記選択したリズム音を前記指定したテンポで再生リズム音として再生するリズム音再生手段と、
前記再生リズム音を前記複数の学習者用端末に配信するリズム音配信手段とを備え、
前記複数の学習者用端末のそれぞれは、
前記教師用端末のテキストデータ格納手段に格納されたテキストデータを取得するテキストデータ取得手段と、
前記取得したテキストデータを前記表示モニタに表示させるテキストデータ表示手段と、
前記教師用端末のリズム音配信手段から配信された再生リズム音を受信するリズム音受信手段と、
前記受信した再生リズム音を前記ヘッドセットのヘッドホン部から出力させるリズム音出力手段と、
を備えた語学学習システム。
[2] 複数種類のリズム音及び各リズム音のピッチパターンを記憶したリズム音記憶手段、並びにテキストデータ格納手段を備えた教師用端末と、ヘッドホン部及びマイクロホン部を備えたヘッドセット、並びに表示モニタがそれぞれ接続された複数の学習者用端末とがネットワークを介して接続された語学学習システムにおける、前記教師用端末が実行するための教師用端末制御プログラムと、前記複数の学習者用端末それぞれが実行するための学習者用端末制御プログラムとからなる語学学習用プログラムであって、
前記教師用端末制御プログラムが、
入力されたテキストデータを前記テキストデータ格納手段に格納するテキストデータ格納ステップと、
前記入力されたテキストデータを音声合成処理して音声合成データを生成する音声合成処理ステップと、
前記生成した音声合成データのピッチパターンを抽出するピッチパターン抽出ステップと、
前記抽出した音声合成データのピッチパターンと、前記リズム音記憶手段に記憶された複数種類のリズム音それぞれのピッチパターンとを照合して、最もピッチ間隔の狭いリズム音を選択するリズム音選択ステップと、
前記選択したリズム音のテンポを決定するテンポ決定ステップと、
前記選択したリズム音を前記決定したテンポで再生リズム音として再生するリズム音再生ステップと、
前記再生リズム音を前記複数の学習者用端末に配信するリズム音配信ステップとを前記教師用端末に実行させ、
前記複数の学習者用端末それぞれの学習者用端末制御プログラムが、
前記教師用端末のテキストデータ格納手段に格納されたテキストデータを取得するテキストデータ取得ステップと、
前記取得したテキストデータを前記表示モニタに表示させるテキストデータ表示ステップと、
前記教師用端末制御プログラムのリズム音配信ステップにより配信された再生リズム音を受信するリズム音受信ステップと、
前記受信した再生リズム音を前記ヘッドセットのヘッドホン部から出力させるリズム音出力ステップと、
を前記複数の学習者用端末のそれぞれに実行させるための語学学習用プログラム。
The present invention provides the following means [1] and [2] to solve the above problems.
[1] A language learning system in which a teacher terminal, a headset including a headphone unit and a microphone unit, and a plurality of learner terminals each connected to a display monitor are connected via a network,
The teacher terminal is
Rhythm sound storage means for storing a plurality of types of rhythm sounds and pitch patterns of each rhythm sound;
Text data input means for inputting text data;
Text data storage means for storing the input text data;
Speech synthesis processing means for generating speech synthesis data by performing speech synthesis processing on the input text data;
Pitch pattern extraction means for extracting a pitch pattern of the generated speech synthesis data;
Rhythm sound selection means for selecting the rhythm sound having the narrowest pitch interval by collating the extracted pitch pattern of the voice synthesis data with the pitch patterns of each of a plurality of types of rhythm sounds stored in the rhythm sound storage means; ,
Tempo designating means for designating the tempo of the selected rhythm sound;
Rhythm sound reproducing means for reproducing the selected rhythm sound as a reproduced rhythm sound at the specified tempo;
Rhythm sound distribution means for distributing the reproduced rhythm sound to the plurality of learner terminals,
Each of the plurality of learner terminals is
Text data acquisition means for acquiring text data stored in the text data storage means of the teacher terminal;
Text data display means for displaying the acquired text data on the display monitor;
A rhythm sound receiving means for receiving a reproduced rhythm sound distributed from the rhythm sound distributing means of the teacher terminal;
Rhythm sound output means for outputting the received reproduction rhythm sound from the headphone unit of the headset;
Language learning system with
[2] Rhythm sound storage means storing a plurality of types of rhythm sounds and pitch patterns of each rhythm sound, a teacher terminal including a text data storage means, a headset including a headphone section and a microphone section, and a display monitor In a language learning system in which a plurality of learner terminals connected to each other are connected via a network, a teacher terminal control program to be executed by the teacher terminal, and each of the plurality of learner terminals A language learning program comprising a learner's terminal control program for execution,
The teacher terminal control program is
A text data storage step of storing the input text data in the text data storage means;
A speech synthesis processing step of generating speech synthesis data by performing speech synthesis processing on the input text data;
A pitch pattern extraction step of extracting a pitch pattern of the generated speech synthesis data;
A rhythm sound selection step of selecting the rhythm sound having the narrowest pitch interval by comparing the extracted pitch pattern of the speech synthesis data with the pitch patterns of the plurality of types of rhythm sounds stored in the rhythm sound storage means; ,
A tempo determination step for determining the tempo of the selected rhythm sound;
A rhythm sound reproduction step of reproducing the selected rhythm sound as a reproduction rhythm sound at the determined tempo;
Causing the teacher terminal to execute a rhythm sound distribution step of distributing the reproduced rhythm sound to the plurality of learner terminals;
A learner terminal control program for each of the plurality of learner terminals,
A text data acquisition step of acquiring text data stored in the text data storage means of the teacher terminal;
A text data display step for displaying the acquired text data on the display monitor;
A rhythm sound receiving step for receiving the reproduced rhythm sound distributed by the rhythm sound distribution step of the teacher terminal control program;
A rhythm sound output step for outputting the received playback rhythm sound from a headphone section of the headset;
A language learning program for causing each of the plurality of learner terminals to execute the program.
本発明によれば、発音練習に用いるための任意のテキストデータを入力することにより、予め保有している複数種類のリズム音の中からこのテキストデータに最適なリズム音を自動的に選択することができるため、任意のテキストによる適切なチャンツ学習を行い得る、語学学習システム環境を提供することができる。 According to the present invention, by inputting arbitrary text data to be used for pronunciation practice, an optimum rhythm sound for this text data can be automatically selected from a plurality of types of rhythm sounds that are held in advance. Therefore, it is possible to provide a language learning system environment that can perform appropriate chants learning using any text.
以下、本発明を実施するための最良の形態について、好ましい実施例を示して詳細に説明する。 Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to preferred embodiments.
図1に、本発明の実施例である語学学習システムの基本的なシステム構成を示す。同図において、語学学習システム1は、教師用端末101と、学習者用端末102−1〜102−nと、教材データが多数格納されており、教師用端末101や学習者用端末102−1〜102−nからの読み出し制御により所望の教材データを読み出すことが可能な教材サーバ103とが、ネットワーク104を介してそれぞれ接続され構成されている。そして、同図には、教師bが教師用端末101を使用し、学習者a1〜a3が学習者用端末102−1〜102−3それぞれを使用している様子が図示されており、他の学習者の図示は省略している。
FIG. 1 shows a basic system configuration of a language learning system that is an embodiment of the present invention. In the figure, the language learning system 1 stores a
同図において、教材サーバ103には、教材データやテキストデータファイルを格納するための教材フォルダ103aと、各学習者に公開する教材データ等を格納するための公開フォルダ103bと、授業の際に配布して使用させる教材データ等を格納するための配布フォルダ103cと、チャンツ学習に用いる複数種類のMIDIファイルを格納するためのMIDIフォルダ103dとが格納されたデータベースDBが設けられている。
In the figure, the learning
なお、本実施例においては、教師用端末101と、学習者用端末102−1〜102−nとを総称して端末と称することもある。そして、各端末には、不図示ではあるが、キーボード及びマウスが接続されている。
In this embodiment, the
次に、図2に端末の概略の内部構成を表したブロック図を示す。同図に示すように、端末は、後述するアプリケーションソフトウェア(以下、ソフトウェアと略記する。)を除き、基本的には同一の構成を有している。同図に示すように、端末は、ソフトウェアを実行するための不図示のCPU(Central Processing Unit)を備えた制御部201と、ソフトウェアや各種データを記憶するためのメモリ部202と、ハードディスクやDVD(Digital Versatile Disc)等により、ソフトウェア、各学習者が発声した音声を録音した音声録音データファイルや教材データ等を記録するための記録部203と、当該端末をネットワーク104に接続させるためのネットワークインターフェース(I/F)部204と、後述するモニタ210を接続するためのモニタI/F部205と、デジタル音声信号処理を実行するための音声データ処理部206と、カメラやスキャナ等のオプション装置を接続するための外部I/F部207とを備えている。そして、上記ブロック201〜207は、それぞれバス208に同図のごとく接続されている。
Next, FIG. 2 is a block diagram showing a schematic internal configuration of the terminal. As shown in the figure, the terminal basically has the same configuration except for application software (hereinafter abbreviated as software) which will be described later. As shown in the figure, the terminal includes a
そして、上記各端末には、教師b及び学習者a1〜anが操作するタッチパネル211を備えて、制御部201によるソフトウェアの実行に基づいた表示をするモニタ210がモニタI/F部205に接続されると共に、ヘッドホン部及びマイクロホン部(いずれも不図示)を備えたヘッドセット209が音声データ処理部206に接続されている。
Each of the terminals includes a
なお、教師用端末101の音声データ処理部206には、デジタル音声信号処理された音声データをアナログ音声信号に変換して出力するためのアナログ音声出力端子が具備されているのが望ましい。
Note that the audio data processing unit 206 of the
前記のソフトウェアとして、教師用端末101には教師用端末制御ソフトウェアが、学習者用端末102−1〜102−nそれぞれには学習者用端末制御ソフトウェアがそれぞれインストールされており、これらのソフトウェアが一体的に語学学習用ソフトウェアとして構成されている。
As the software, teacher terminal control software is installed in the
以上の構成を有する各端末においては、語学学習システム1の起動時に、予め記録部203に記録されたソフトウェアがメモリ部202に読み出され、制御部201によって初期化処理を実行した後、教師bや学習者a1〜anのタッチパネル211の操作に従って、制御部201がバス208に接続された各ブロックを制御する。
In each terminal having the above-described configuration, when the language learning system 1 is started up, the software previously recorded in the
なお、各端末は、一般的に普及しているPCを用いて構成することができる。この場合、音声データ処理部206はサウンドカード、外部I/F部207はUSB(Universal Serial Bus)やIEEE1394シリアルバス等の高速通信インターフェースが適用可能である。
Each terminal can be configured by using a PC that is generally popular. In this case, the sound data processing unit 206 is applicable to a sound card, and the external I /
本発明の実施例である語学学習システム1におけるチャンツ学習は、教師bが教師用端末101を操作することにより、教材サーバ103のデータベースDBのMIDIフォルダ103dに格納された複数のチャンツ学習用のMIDIファイルの中から、所望のテキストに最適なリズム音のMIDIファイルを選択し、教師bが指定したテンポで演奏(再生)して学習者用端末102−1〜102−nにマルチキャスト配信する。そして、学習者用端末102−1〜102−nは、それぞれ受信した再生リズム音をヘッドセット209のヘッドホン部から出力し、学習者a1〜anは、その再生リズム音に合わせてテキストの発声の練習を行うという学習形態である。
The chant learning in the language learning system 1 according to the embodiment of the present invention is performed by the teacher b operating the
以下、本実施例である語学学習システム1における、各端末の制御部201によるソフトウェアの実行に基づく処理動作について説明する。
Hereinafter, processing operations based on execution of software by the
<教師用端末のチャンツ学習に関する動作>
まず、教師用端末101におけるチャンツ学習に関する動作について、図3のフローチャートを併せ参照して説明する。教師用端末101に接続されたモニタ210には、制御部201による教師用端末制御ソフトウェアの実行により、図5に示すGUI(Graphical User Interface)画面501が表示される。なお、同図のGUI画面501の内、チャンツ学習の操作に関する部分であるGUI画面502の拡大図を図6に示す。
<Operations related to teacher's terminal chants learning>
First, an operation related to chants learning in the
教師bは、モニタ210に表示されたGUI画面502を見ながら、タッチパネル211から学習者用PCボタン602を選択する。学習者用PCボタン602が選択されると、学習者用PCボタン602の表示の下方にプルダウンリスト603が表示される。プルダウンリスト603には、各種のAV(Audio Visual)機器のボタンとチャンツ学習ボタン604(リズムBOXボタン)とが表示されるので、教師bは、チャンツ学習ボタン604をタッチパネル211より選択する。
The teacher b selects the
チャンツ学習ボタン604が選択されると、制御部201は、図4に示すテキスト取込画面401をGUI画面501上に表示させる。なお、テキスト取込画面401は、タッチパネル211からの操作により移動可能である。
When the
教師bは、テキスト入力部402に、キーボードを用いてチャンツ学習に用いるべき単語や文章を原文テキストとして打ち込む。または、マウスを用いて予め教師用端末101の記録部203に格納されたテキストデータファイルや、教材サーバ103のデータベースDBの教材フォルダ103aに格納されたテキストデータファイルを教師用端末101のメモリ部202にダウンロードしたものを別ウィンドウとして開き、そのウィンドウからチャンツ学習で用いるべき単語や文章のテキストデータを貼り付けたりして、原文テキストを入力する。
The teacher b inputs, into the
さらに、ネットワーク104にインターネットが接続されている場合は、所望のホームページに掲載された著作権フリーのテキストを使用することもできる。この場合は、教師用端末101が起動したブラウザ上で所望のテキストをドラッグしてテキスト入力部402に貼り付けることができる。また、外部I/F部207にスキャナを接続してテキストが記載された書面をスキャンし、公知のテキスト認識変換ソフトウェアを用いてテキストデータに変換してテキスト入力部402に貼り付けることもできる。以上のようにして貼り付けたテキストを、キーボードやマウスを用いて編集して原文テキストを作成することができる。
Furthermore, when the Internet is connected to the
上記のようにして、テキスト入力部402に原文テキストを入力(ステップS301)した後、教師bは、タッチパネル211から言語選択部403で1つの言語を選択する。教師用端末制御ソフトウェアには音声合成エンジンが組み込まれており、日本語及び所定の外国語の音声合成処理が可能である。本実施例においては、教師bは、タッチパネル211から、言語選択部403のうちEnglishのラジオボタンを選択して更にOKボタン404を選択する。
As described above, after the original text is input to the text input unit 402 (step S301), the teacher b selects one language from the
OKボタン404が選択されると、テキスト入力部402の原文テキストは、教材サーバ103のデータベースDBの配布フォルダ103cにテキストデータファイルとしてアップロードされる。
When the
一方、教師用端末101の制御部201は、音声合成エンジンを実行し、テキスト入力部402に入力された原文テキストを言語選択部403で選択された言語により音声合成処理を行って音声合成データを生成する(ステップS302)。ここで、音声合成エンジンは、TTS(Text To Speech)とも称される公知技術を適用することができる。このTTSにより、原文テキストからMIDI形式、Windows(登録商標)標準のWAV形式、MP3形式のような音声合成データに変換する。本実施例では、TTSにより原文テキストからMIDI形式の音声合成データに変換する。
On the other hand, the
次に、制御部201は、生成した合成音声データからピッチパターンを抽出する(ステップS303)。ピッチは、語学におけるイントネーションに相当するものであり、音声合成データの音の高低、すなわち周波数の高低を表すものである。ピッチパターンの抽出技術は公知の方法を採用することができるため、ここでは詳細の説明を省略する。
Next, the
次に、制御部201は、教材サーバ103のデータベースDBのMIDIフォルダ103dに格納された複数種類のMIDIファイルをネットワーク104越しに参照し、合成音声データから抽出したピッチパターンと複数のMIDIファイルそれぞれのリズム音のピッチパターンとをパターンマッチング等の方法で比較し、最もピッチ間隔の狭い類似したリズム音のMIDIファイルを選択して、そのMIDIデータを教師用端末101のメモリ部202にダウンロードする(ステップS304)。なお、MIDIフォルダ103dに格納されている複数種類のMIDIファイルのそれぞれは、リズム音のMIDIデータとそのリズム音のピッチパターンとで構成されている。そして、複数種類のリズム音は、8ビート、ボサノバ、テクノ等、チャンツ学習に好適なリズム音が採用されている。
Next, the
選択されたMIDIデータがメモリ部202にダウンロードされると、制御部201は、教師用端末制御ソフトウェアに組み込まれたMIDIプレーヤを起動し、ダウンロードしたMIDIデータをMIDIプレーヤに供給する(ステップS305)。そして、MIDIプレーヤは演奏(再生)速度を設定する。例えば、この演奏速度を、MIDI規格で定義された演奏速度で表現した場合における初期値100とする。次に、MIDIプレーヤは演奏速度を設定した後、リズム音の名称、例えばダウンロードしたMIDIデータの名称と設定された演奏速度とを、教師用端末制御ソフトウェア側にリターンし、制御部201の制御によりGUI画面502の表示部609に表示する。
When the selected MIDI data is downloaded to the
教師bは、タッチパネル211から早送りボタン606や巻き戻しボタン605を選択して、演奏速度を変化させることができる。具体的には、早送りボタン606が選択されると、例えば、演奏速度を5だけ増加させて表示部609に表示している演奏速度を更新する。また、巻き戻しボタン605が選択されると、例えば、演奏速度を5だけ減少させて表示部609に表示している演奏速度を更新する。また、早送りボタン606や巻き戻しボタン605を一定時間以上選択し続けると、その選択している時間内において5ずつ連続して変化する。
The teacher b can change the performance speed by selecting the
教師bは、所望の演奏速度に変更した後に再生ボタン607を選択する。再生ボタン607が選択されると、MIDIプレーヤは、MIDIデータを指定された演奏速度で演奏を開始する。但し、この時点では、教師用端末101のみでMIDIデータが演奏されているだけであり、演奏されたリズム音は教師bのヘッドセット209でのみ聴くことができる。
The teacher b selects the
なお、演奏速度の変更は、リズム音の演奏を実行している最中でも可能であり、上記の場合と同様に、例えば、早送りボタン606が選択されると演奏速度を5増加して表示を更新し、巻き戻しボタン605が選択されると演奏速度を5減少させて表示を更新する。そして、表示を更新して一時演奏を停止した後、新しく設定された演奏速度で続きの部分からの演奏を開始する。
Note that the performance speed can be changed even while the rhythm sound is being performed. For example, when the fast-
教師bは、ヘッドセット209のヘッドホン部から出力されたリズム音を聴きながらリズム音の種類や演奏速度を確認し、学習者用端末102−1〜102−nへの再生リズム音の配信を行うための出力ON/OFFボタン610をタッチパネル211から選択する。
The teacher b confirms the type and performance speed of the rhythm sound while listening to the rhythm sound output from the headphone unit of the
出力ON/OFFボタン610が選択されると、教師用端末101の制御部201は、ネットワークI/F部204を介して、学習者用端末102−1〜102−nに対して音声配信開始コマンドを送信し、それに引き続き、MIDIプレーヤで演奏している再生リズム音を学習者用端末102−1〜102−nにマルチキャスト配信する。配信を停止する場合は、再度、出力ON/OFFボタン610を選択して音声配信終了コマンドを送信した後、再生リズム音のマルチキャスト配信を停止してMIDIプレーヤの実行を終了させる。また、教師bが停止ボタン608を選択した場合は、マルチキャスト配信は停止せずMIDIプレーヤの演奏のみが停止する。これにより、一時的な演奏の中止を行うことができる。
When the output ON /
<学習者用端末のチャンツ学習に関する動作>
次に、学習者用端末102−1〜102−nの各端末におけるチャンツ学習に関する動作を説明する。学習者用端末102−1〜102−nそれぞれに接続されたモニタ210には、制御部201による学習者端末用制御ソフトウェアの実行により、図7に示すGUI画面701が表示される。
<Operations related to learner's chants learning>
Next, operations related to chants learning in each of the learner terminals 102-1 to 102-n will be described. A
まず、学習者a1〜anの各人は、各自の端末に接続されたモニタ210に表示されたGUI画面701の授業教材メニュー702をタッチパネル211より選択し、教材サーバ103のデータベースDBの配布フォルダ103cに格納されている原文テキストのテキストデータファイルを選択する。授業教材メニュー702のテキストデータファイルが選択されると、教材サーバ103から学習者側の端末にテキストデータファイルが配信され、これを受信した端末は、GUI画面701の原文表示部706にテキストデータファイルの原文テキストを表示させる。
First, each of the learners a1 to an selects the lesson
学習者用端末102−1〜102−nは、教師用端末101から送信された音声配信開始コマンドを受信すると、それまで実行していた教材データの再生等の動作を停止し、操作が禁止される。そして、教師用端末101からマルチキャスト配信された再生リズム音を受信すると、これを学習者a1〜anがそれぞれ装着したヘッドセット209のヘッドホン部から出力する。そして、各学習者は、ヘッドセット209から聞こえるリズム音に合わせて、原文表示部706に表示された原文テキストの発音練習を行う。
When the learner terminals 102-1 to 102-n receive the voice distribution start command transmitted from the
なお、本実施例で用いたMIDIデータは演奏情報を有しているだけであり、Windows(登録商標)で標準として使われているWAV形式のファイル等に比べてデータ量が少ない。また、MIDI規格では演奏を繰り返し行うよう指定したMIDIデータを作成することが容易であるので、短いフレーズを繰り返すようなリズム音のMIDIデータを構成すれば、より少ないデータ量となるばかりでなく、授業時間の許す限り無制限にリズム音を演奏してチャンツ学習を続けることができる。 Note that the MIDI data used in this embodiment has only performance information and has a smaller data amount than a WAV format file or the like used as a standard in Windows (registered trademark). In addition, since it is easy to create MIDI data designated to repeat a performance in the MIDI standard, if MIDI data of a rhythm sound that repeats a short phrase is configured, not only will the data amount be reduced, As long as class hours allow, you can continue to learn chants by playing rhythm sounds indefinitely.
<学習者用端末のチャンツ学習に関する録音の動作>
学習者a1〜anは、各自の発音練習の際の発声を録音して保存したり、教師側に提出したりすることもできる。学習者a1〜anは、チャンツ学習を行っている最中に、GUI画面701の録音ボタン708をタッチパネル211から選択する。録音ボタン708が選択されると、その学習者が発声した声はヘッドセット209のマイクロホン部で集音され、音声データ処理部206でデジタル変換処理されてメモリ部202に記憶される。そして、その学習者が停止ボタン709を押して録音を終了すると、メモリ部202に記憶された音声データが年日時分をファイル名とした音声録音データファイルとして記録部203に保存される。このようにして各学習者は、チャンツ学習を行いながら、各自の発音練習の際の発声を録音して残すことができる。
<Recording operations related to learning of chants on learner terminals>
The learners a1 to an can record and save their utterances during their pronunciation practice or submit them to the teacher. The learners a1 to an select the
そして、記録部203に保存された音声録音データファイルは、通常の音声教材データを使用した学習と同様に、教師側に提出したり回収したりする。例えば、録音を終了した後、学習者a1〜anが提出ボタン710を押すと、学習者用端末制御ソフトウェアを実行する制御部201は、記録部203に保存された音声録音データファイルの名称(年日時分)に学習者のログインした名称を追記して、教材サーバ103に送信する。そして、教材サーバ103は音声録音データファイルを受信し、例えば、「¥竹田¥英会話II¥回収」のように、現在の教師名のフォルダの下の現在の授業のフォルダの下の回収用フォルダに格納する。
Then, the voice recording data file stored in the
また、教師用端末101側で、一斉回収ボタンを押した場合は、教師用端末101は、学習者用端末102−1〜102−nに対して、音声録音データファイルを提出させる提出依頼コマンドを送信し、この提出依頼コマンドを受信した学習者用端末102−1〜102−nは、各端末の音声録音データファイルを教師用端末101に配信する。これにより、教師bは、授業中に回収した音声録音データファイルを教師側端末101で再生して確認したり、授業が終了した後に回収した音声録音データファイルを持ち帰ることができる。
In addition, when the
以上詳述したように、本実施例による語学学習システムによれば、教師側端末の簡単な操作によって、任意に作成した原文テキストとこのテキストに最適なリズム音とを学習者用端末に供給することができる。また、リズム音のテンポは教師により自在に設定することができる。そして、各学習者は、学習者用端末に配信された最適な再生リズム音を聴きながら配布された原文テキストを見て、効果的なチャンツ学習法による発声練習を行うことができる。 As described above in detail, according to the language learning system according to the present embodiment, an arbitrarily created original text and an optimal rhythm sound for this text are supplied to the learner's terminal by a simple operation of the teacher side terminal. be able to. The rhythm sound tempo can be freely set by the teacher. Each learner can practice utterance by an effective chants learning method by looking at the original text distributed while listening to the optimal reproduction rhythm sound distributed to the learner's terminal.
なお、本実施例では、教師用端末101と教材サーバ103とを別の端末とした例について説明したが、教材サーバ103のデータベースDBを教師用端末101の記録部203に設けるようにしてもよい。このようにすることで、システム構成がより簡易的になり、コストの面でも有利である。
In this embodiment, an example in which the
また、本実施例では、タッチパネル211を備えたモニタ210を用いて、教師や学習者が操作を行う例を示したが、入力手段はこれに限定されず、マウス等のポインティングデバイス、キーボード、操作盤等、他の入力手段を用いてもよい。
In this embodiment, an example in which a teacher or a learner performs an operation using the
また、本実施例では図示していないが、学習者a1〜anが装着しているヘッドセット209ではなく、例えば、教室内に設置されたルームスピーカから再生リズム音を出力させたい場合は、学習者用PCボタン602の代わりにメインモニタボタン611を選択する。その場合は、教師用端末101は、MIDIプレーヤで演奏している再生リズム音をマルチキャスト配信するのではなく、アナログ音声信号として出力して教師用端末101が制御するAVセレクタやアンプを介してルームスピーカから出力することができる。
In addition, although not shown in the present embodiment, for example, if it is desired to output a playback rhythm sound from a room speaker installed in the classroom instead of the
さらにまた、本実施例ではMIDIプレーヤを教師用端末101に備え、教師用端末101で演奏した再生リズム音を学習者用端末102−1〜102−nに配信する例を示したが、他の実施例として、各学習者用端末側にMIDIプレーヤを備えることも可能である。その場合は、MIDIデータの選択、演奏開始/終了、演奏速度の指定を教師用端末101から制御したり、また教師bが許可した場合は、各学習者が自在にMIDIデータの選択、演奏開始/終了、演奏速度の指定を行って、学習者各自の能力や学習の進捗状況に合わせたテンポで練習したりすることもできる。
Furthermore, in the present embodiment, an example in which a MIDI player is provided in the
本発明は、教師用端末と複数の学習者用端末とをネットワークを介して接続した語学学習システムにおけるチャンツ学習において特に有用である。 The present invention is particularly useful in chants learning in a language learning system in which a teacher terminal and a plurality of learner terminals are connected via a network.
1 語学学習システム
101 教師用端末
102−1〜102−n 学習者用端末
103 教材サーバ
103a 教材フォルダ
103b 公開フォルダ
103c 配布フォルダ
103d MIDIフォルダ
104 ネットワーク
201 制御部
202 メモリ部
203 記録部
204 ネットワークI/F部
205 モニタI/F部
206 音声データ処理部
207 外部I/F部
208 バス
209 ヘッドセット
210 モニタ
211 タッチパネル
a1〜an 学習者
b 教師
DB データベース
DESCRIPTION OF SYMBOLS 1
Claims (2)
前記教師用端末は、
複数種類のリズム音と各リズム音のピッチパターンとを記憶したリズム音記憶手段と、
テキストデータを入力するテキストデータ入力手段と、
前記入力したテキストデータを格納するテキストデータ格納手段と、
前記入力したテキストデータを音声合成処理して音声合成データを生成する音声合成処理手段と、
前記生成した音声合成データのピッチパターンを抽出するピッチパターン抽出手段と、
前記抽出した音声合成データのピッチパターンと、前記リズム音記憶手段に記憶された複数種類のリズム音それぞれのピッチパターンとを照合して、最もピッチ間隔の狭いリズム音を選択するリズム音選択手段と、
前記選択したリズム音のテンポを指定するテンポ指定手段と、
前記選択したリズム音を前記指定したテンポで再生リズム音として再生するリズム音再生手段と、
前記再生リズム音を前記複数の学習者用端末に配信するリズム音配信手段とを備え、
前記複数の学習者用端末のそれぞれは、
前記教師用端末のテキストデータ格納手段に格納されたテキストデータを取得するテキストデータ取得手段と、
前記取得したテキストデータを前記表示モニタに表示させるテキストデータ表示手段と、
前記教師用端末のリズム音配信手段から配信された再生リズム音を受信するリズム音受信手段と、
前記受信した再生リズム音を前記ヘッドセットのヘッドホン部から出力させるリズム音出力手段と、
を備えた語学学習システム。 A language learning system in which a teacher terminal, a headset including a headphone unit and a microphone unit, and a plurality of learner terminals each connected to a display monitor are connected via a network,
The teacher terminal is
Rhythm sound storage means for storing a plurality of types of rhythm sounds and pitch patterns of each rhythm sound;
Text data input means for inputting text data;
Text data storage means for storing the input text data;
Speech synthesis processing means for generating speech synthesis data by performing speech synthesis processing on the input text data;
Pitch pattern extraction means for extracting a pitch pattern of the generated speech synthesis data;
Rhythm sound selection means for selecting the rhythm sound having the narrowest pitch interval by collating the extracted pitch pattern of the voice synthesis data with the pitch patterns of each of a plurality of types of rhythm sounds stored in the rhythm sound storage means; ,
Tempo designating means for designating the tempo of the selected rhythm sound;
Rhythm sound reproducing means for reproducing the selected rhythm sound as a reproduced rhythm sound at the specified tempo;
Rhythm sound distribution means for distributing the reproduced rhythm sound to the plurality of learner terminals,
Each of the plurality of learner terminals is
Text data acquisition means for acquiring text data stored in the text data storage means of the teacher terminal;
Text data display means for displaying the acquired text data on the display monitor;
A rhythm sound receiving means for receiving a reproduced rhythm sound distributed from the rhythm sound distributing means of the teacher terminal;
Rhythm sound output means for outputting the received reproduction rhythm sound from the headphone unit of the headset;
Language learning system with
前記教師用端末制御プログラムが、
入力されたテキストデータを前記テキストデータ格納手段に格納するテキストデータ格納ステップと、
前記入力されたテキストデータを音声合成処理して音声合成データを生成する音声合成処理ステップと、
前記生成した音声合成データのピッチパターンを抽出するピッチパターン抽出ステップと、
前記抽出した音声合成データのピッチパターンと、前記リズム音記憶手段に記憶された複数種類のリズム音それぞれのピッチパターンとを照合して、最もピッチ間隔の狭いリズム音を選択するリズム音選択ステップと、
前記選択したリズム音のテンポを決定するテンポ決定ステップと、
前記選択したリズム音を前記決定したテンポで再生リズム音として再生するリズム音再生ステップと、
前記再生リズム音を前記複数の学習者用端末に配信するリズム音配信ステップとを前記教師用端末に実行させ、
前記複数の学習者用端末それぞれの学習者用端末制御プログラムが、
前記教師用端末のテキストデータ格納手段に格納されたテキストデータを取得するテキストデータ取得ステップと、
前記取得したテキストデータを前記表示モニタに表示させるテキストデータ表示ステップと、
前記教師用端末制御プログラムのリズム音配信ステップにより配信された再生リズム音を受信するリズム音受信ステップと、
前記受信した再生リズム音を前記ヘッドセットのヘッドホン部から出力させるリズム音出力ステップと、
を前記複数の学習者用端末のそれぞれに実行させるための語学学習用プログラム。 Rhythm sound storage means storing a plurality of types of rhythm sounds and pitch patterns of each rhythm sound, a teacher terminal equipped with text data storage means, a headset equipped with a headphone unit and a microphone unit, and a display monitor are connected to each other In a language learning system in which a plurality of learner terminals are connected via a network, a teacher terminal control program to be executed by the teacher terminal and each of the plurality of learner terminals to be executed Language learning program consisting of a terminal control program for learners of
The teacher terminal control program is
A text data storage step of storing the input text data in the text data storage means;
A speech synthesis processing step of generating speech synthesis data by performing speech synthesis processing on the input text data;
A pitch pattern extraction step of extracting a pitch pattern of the generated speech synthesis data;
A rhythm sound selection step of selecting the rhythm sound having the narrowest pitch interval by comparing the extracted pitch pattern of the speech synthesis data with the pitch patterns of the plurality of types of rhythm sounds stored in the rhythm sound storage means; ,
A tempo determination step for determining the tempo of the selected rhythm sound;
A rhythm sound reproduction step of reproducing the selected rhythm sound as a reproduction rhythm sound at the determined tempo;
Causing the teacher terminal to execute a rhythm sound distribution step of distributing the reproduced rhythm sound to the plurality of learner terminals;
A learner terminal control program for each of the plurality of learner terminals,
A text data acquisition step of acquiring text data stored in the text data storage means of the teacher terminal;
A text data display step for displaying the acquired text data on the display monitor;
A rhythm sound receiving step for receiving the reproduced rhythm sound distributed by the rhythm sound distribution step of the teacher terminal control program;
A rhythm sound output step for outputting the received playback rhythm sound from a headphone section of the headset;
A language learning program for causing each of the plurality of learner terminals to execute the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006351370A JP4716192B2 (en) | 2006-12-27 | 2006-12-27 | Language learning system and language learning program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006351370A JP4716192B2 (en) | 2006-12-27 | 2006-12-27 | Language learning system and language learning program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008164701A true JP2008164701A (en) | 2008-07-17 |
JP4716192B2 JP4716192B2 (en) | 2011-07-06 |
Family
ID=39694341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006351370A Expired - Fee Related JP4716192B2 (en) | 2006-12-27 | 2006-12-27 | Language learning system and language learning program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4716192B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739870B (en) * | 2009-12-03 | 2012-07-04 | 深圳先进技术研究院 | Interactive language learning system and method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0822238A (en) * | 1994-07-08 | 1996-01-23 | Mitsubishi Jimu Kikai Hanbai Kk | Language training system effectively utilizing quadruple time characteristic of english |
JPH10116020A (en) * | 1996-10-14 | 1998-05-06 | Kenzo Nakada | Method for learning foreign language by voice and teaching material for learning foreign language by voice used for the method |
JP2001042758A (en) * | 1999-08-04 | 2001-02-16 | Kenzo Nakada | Voice of foreign language learning method and voice of foreign language learning materials to be used for the method |
JP2004054063A (en) * | 2002-07-22 | 2004-02-19 | Toshiba Corp | Method and device for basic frequency pattern generation, speech synthesizing device, basic frequency pattern generating program, and speech synthesizing program |
WO2005005006A1 (en) * | 2003-07-09 | 2005-01-20 | Sony Computer Entertainment Europe Ltd | Timing offset tolerant karaoke game |
JP2005172858A (en) * | 2003-12-05 | 2005-06-30 | Nariko Matsuda | Method for providing language learning material, and language learning material |
JP2006195091A (en) * | 2005-01-12 | 2006-07-27 | Yamaha Corp | Performance lesson terminal |
-
2006
- 2006-12-27 JP JP2006351370A patent/JP4716192B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0822238A (en) * | 1994-07-08 | 1996-01-23 | Mitsubishi Jimu Kikai Hanbai Kk | Language training system effectively utilizing quadruple time characteristic of english |
JPH10116020A (en) * | 1996-10-14 | 1998-05-06 | Kenzo Nakada | Method for learning foreign language by voice and teaching material for learning foreign language by voice used for the method |
JP2001042758A (en) * | 1999-08-04 | 2001-02-16 | Kenzo Nakada | Voice of foreign language learning method and voice of foreign language learning materials to be used for the method |
JP2004054063A (en) * | 2002-07-22 | 2004-02-19 | Toshiba Corp | Method and device for basic frequency pattern generation, speech synthesizing device, basic frequency pattern generating program, and speech synthesizing program |
WO2005005006A1 (en) * | 2003-07-09 | 2005-01-20 | Sony Computer Entertainment Europe Ltd | Timing offset tolerant karaoke game |
JP2005172858A (en) * | 2003-12-05 | 2005-06-30 | Nariko Matsuda | Method for providing language learning material, and language learning material |
JP2006195091A (en) * | 2005-01-12 | 2006-07-27 | Yamaha Corp | Performance lesson terminal |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739870B (en) * | 2009-12-03 | 2012-07-04 | 深圳先进技术研究院 | Interactive language learning system and method |
Also Published As
Publication number | Publication date |
---|---|
JP4716192B2 (en) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11727904B2 (en) | Network musical instrument | |
US11908339B2 (en) | Real-time synchronization of musical performance data streams across a network | |
US9601029B2 (en) | Method of presenting a piece of music to a user of an electronic device | |
KR20070095332A (en) | System and method for music score capture and synthesized audio performance with synchronized presentation | |
JP2011085641A (en) | Language learning support system and language learning support method | |
JP2003228279A (en) | Language learning apparatus using voice recognition, language learning method and storage medium for the same | |
KR100894866B1 (en) | Piano tuturing system using finger-animation and Evaluation system using a sound frequency-waveform | |
JP2003323104A (en) | Language learning system | |
JP4716192B2 (en) | Language learning system and language learning program | |
KR20030065259A (en) | Apparatus and method of learnning languages by sound recognition and sotring media of it | |
JP2008032788A (en) | Program for creating data for language teaching material | |
JP5193654B2 (en) | Duet part singing system | |
JP6957069B1 (en) | Learning support system | |
WO2023153033A1 (en) | Information processing method, program, and information processing device | |
JP7503870B1 (en) | Music production support program, music production support device, music production support method, and music playback device | |
Pestova | Models of interaction: performance strategies in works for piano and live electronics | |
JP2004334164A (en) | System for learning pronunciation and identification of english phonemes "l" and "r" | |
Wilson | An Autoethnography on Film Composition Practice: Integrating Virtual Instruments and the Live Performance Realisation within the DAW | |
Sharma | Learning Indian Music through Technological Tools | |
Fowler | Cue Next Scene: An Album of New Works for Trumpet and Interactive Electronics for the Intermediate Trumpeter | |
Wright | 11 ICT and the music curriculum | |
Hayes et al. | Using ICT to enhance the learning of music | |
Wright | ICT and the music curriculum: Music and ICT | |
Walker | 10 In search of a child's musical imagination | |
Wendt | The Influence of Modern Recording Technology on Trumpet Pedagogy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110317 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4716192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |