JP2005283807A - Group participation adaptive karaoke recording system - Google Patents

Group participation adaptive karaoke recording system Download PDF

Info

Publication number
JP2005283807A
JP2005283807A JP2004095567A JP2004095567A JP2005283807A JP 2005283807 A JP2005283807 A JP 2005283807A JP 2004095567 A JP2004095567 A JP 2004095567A JP 2004095567 A JP2004095567 A JP 2004095567A JP 2005283807 A JP2005283807 A JP 2005283807A
Authority
JP
Japan
Prior art keywords
recording
data
karaoke
sound
singing section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004095567A
Other languages
Japanese (ja)
Other versions
JP4229446B2 (en
Inventor
Masaki Oka
昌樹 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2004095567A priority Critical patent/JP4229446B2/en
Publication of JP2005283807A publication Critical patent/JP2005283807A/en
Application granted granted Critical
Publication of JP4229446B2 publication Critical patent/JP4229446B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a karaoke recording system which is suitably adaptive to group participation and shortens a use time to give no trouble to others by enabling each user to speedily indicate favorite sound-recording data and easily and distinctly know whose user singing is included in the sound recording data and efficiently and discriminatingly writing soudn recording data by users to a portable recording medium. <P>SOLUTION: The karaoke recording system is provided with sound input interfaces of two systems for acquiring a sound signal and based upon singing section data and non-singing section data set corresponding to each karaoke musical piece, sound signals of karaoke accompaniment music and a microphone input voice are acquired in the singing section during a performance of the specified karaoke musical piece. In the non-singing section, on the other hand, only the sound signal of the karaoke accompaniment music is acquired and when a voice indication with which a user indicates writing is received in the non-singing section, control is so carried out that the voice indication is classified by characteristics of voiceprint data of the voice indication and respective sound recording data are managed by the classifications. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、カラオケ伴奏音楽と利用者によるマイク入力音声とを混合し、カラオケ楽曲毎の録音データを作成し、その録音データを可搬型記録媒体へ書き込みを行うためのカラオケ録音システムに関し、さらに詳しくは、グループ参加者に好適に対応したカラオケ録音システムに関する。   The present invention relates to a karaoke recording system for mixing karaoke accompaniment music and a microphone input voice by a user, creating recording data for each karaoke piece, and writing the recording data to a portable recording medium. Relates to a karaoke recording system suitable for group participants.

最近、カラオケ店舗などでは、オプショナルサービスとして、カラオケ演奏装置から音響出力されるカラオケ伴奏音楽と、その音楽に合わせて歌唱するマイク入力音声とを混合して録音し、CD−RやDVDなどの適宜な可搬型録音媒体に書き込み(録音)できるカラオケ録音サービスを提供しているところがある。このようなサービスを行うためには、可搬型記録媒体用の録音装置が必要であり、具体的には、CD−RレコーダやDVDレコーダなどが必要であり、カラオケ演奏装置とは別体で構成したり、最近では、カラオケ演奏装置内にレコーダが組み込まれているものもある。書き込みの手順としては、カラオケ伴奏音楽とマイク入力音声の音響信号を混合して録音データを形成し、所定の記録部に記録した後、例えば、CD−Rレコーダを利用して記録された録音データをCD−DA規格のPCMデータ形式となるように変換してCD−Rに書き込むものである。   Recently, at a karaoke store or the like, as an optional service, karaoke accompaniment music output from a karaoke performance device and microphone input voice singing along with the music are mixed and recorded, and a CD-R, DVD, or the like is appropriately recorded. There is a place that provides a karaoke recording service that can be written (recorded) on a portable recording medium. In order to perform such a service, a recording device for a portable recording medium is required. Specifically, a CD-R recorder, a DVD recorder, or the like is required, which is configured separately from the karaoke performance device. Recently, some recorders are incorporated in karaoke performance apparatuses. As a writing procedure, recording data is formed by mixing the karaoke accompaniment music and the sound signal of the microphone input sound, recording the data in a predetermined recording unit, and then recording the data using a CD-R recorder, for example. Is converted into a CD-DA standard PCM data format and written to a CD-R.

従来、このような録音サービスに関連して様々な技術が想到された。例えば、特許文献1では、アルバム毎に割り当てた適宜な可搬型記録媒体に、録音する楽曲を自在に選択できるカラオケ録音装置が開示されている。また、特許文献2では、カラオケ伴奏音楽のみを録音した場合、作成された録音済みCD−Rはそのままカラオケ用途に再使用できるため、著作権法上違法となるという問題に対応し、著作権を考慮して伴奏音楽のみが不正に録音されることを防止できるカラオケ録音装置が開示されている。   Conventionally, various techniques have been conceived in connection with such a recording service. For example, Patent Document 1 discloses a karaoke recording apparatus that can freely select music to be recorded on an appropriate portable recording medium assigned to each album. In Patent Document 2, when only karaoke accompaniment music is recorded, the recorded CD-R can be reused as it is for karaoke purposes, so that it is illegal under the copyright law. In consideration of this, a karaoke recording apparatus that can prevent only accompaniment music from being illegally recorded is disclosed.

ところで、通常、カラオケ楽曲には前奏・間奏・後奏など、歌唱者が歌唱しない演奏区間(非歌唱区間)があるが、従来ではカラオケ楽曲の演奏を通して伴奏音楽とマイク入力音声とを録音し、非歌唱区間においてもマイク入力された音声は録音される。歌唱中であれば、マイク入力されるマイク入力音声によって周囲の雑音、例えば同伴者の雑談などは録音されていたとしてもマイク入力音声によってかき消されるため、録音された音声を聞いても気にはならない。しかし、非歌唱区間に録音されたマイク入力音声が無用な雑音となるといった不都合が生じるため、特許文献3では、非歌唱区間にマイク入力される雑音を排除して録音できる技術が想到された。
特開2002−287777号公報 特開2003−167592号公報 特開2002−182665号公報
By the way, karaoke music usually has a performance section (non-singing section) that the singer does not sing, such as prelude, interlude, and follower, but conventionally, accompaniment music and microphone input sound are recorded through the performance of karaoke music, The voice input by the microphone is recorded even in the non-singing section. If you are singing, the microphone input voice that is input to the microphone will erase the surrounding noise, such as the accompanying chat, even if it is recorded. Don't be. However, since there is a problem that the microphone input sound recorded in the non-singing section becomes useless noise, Patent Document 3 has conceived a technique capable of recording by eliminating the noise input into the non-singing section.
JP 2002-287777 A Japanese Patent Laid-Open No. 2003-167582 JP 2002-182665 A

しかしながら、従来では、グループ参加者すなわち複数の利用者が一緒に録音サービスを受ける場合に好適に対応したカラオケ録音システムがなかった。したがって、従来は、グループ参加のそれぞれの利用者が個別にCD−Rを作りたい場合には、個別に録音システム利用しなければならず、何回も録音システムの起動と終了を繰り返す必要があった。あるいは、グループ参加の利用者が一緒に同じ録音システムを起動して利用した場合は、複数の利用者録音データが混在しているため、各録音データに対し、誰が歌唱したのかが一見しただけでは分かり難く、CD−Rへの書き込み指示に手間がかかってしまった。
このような現状では、録音システムの利用が不便であるばかりか、どうしてもシステムの利用時間が長くなってしまい、利用の順番を待っている他の利用者にとっては大変な迷惑となるといった不都合が生じてしまった。
However, conventionally, there has been no karaoke recording system suitable for a case where a group participant, that is, a plurality of users, receives a recording service together. Therefore, conventionally, when each user who participates in a group wants to make a CD-R individually, the recording system must be used individually, and it has been necessary to repeatedly start and end the recording system many times. It was. Or, when users who participate in a group start up and use the same recording system together, multiple user recording data are mixed, so it is not easy to see who sang for each recording data. It was difficult to understand, and it took time to write to the CD-R.
Under such circumstances, not only is the use of the recording system inconvenient, but the use time of the system inevitably becomes long, causing inconvenience that it becomes a great inconvenience for other users waiting for the use order. I have.

そこで、本発明は、上記問題や不都合を解消するために想到されたもので、すなわち、グループ参加者に好適に対応し、各利用者が気に入った録音データを速やかに指示できると共に、どの利用者が歌唱した録音データなのかが容易かつ明瞭に分かり、さらに、利用者毎の録音データを効率よく区分して可搬型記録媒体に書き込めるようにすることで利用時間を短縮でき、他の利用者に迷惑を及ぼさないカラオケ録音システムの提供を課題とする。   Therefore, the present invention has been conceived to solve the above problems and inconveniences. That is, the present invention is suitable for group participants and can promptly specify the recording data that each user likes, and which user You can easily and clearly understand the recorded data that was sung, and by dividing the recorded data for each user efficiently and writing it to a portable recording medium, the usage time can be shortened, allowing other users to The issue is to provide a karaoke recording system that does not cause inconvenience.

上記課題を鑑み、本発明者は、音響信号を取得するための二系統の音響入力インタフェイスを設け、所定のカラオケ楽曲の演奏中、各カラオケ楽曲に対応して設定された歌唱区間データと非歌唱区間データに基づいて、歌唱区間ではカラオケ伴奏音楽およびマイク入力音声の音響信号を取得させ、一方、非歌唱区間ではカラオケ伴奏音楽のみの音響信号を取得させ、かつ、非歌唱区間において、利用者が書き込みを指示する音声指示を受けた場合、当該音声指示の声紋データの特性をもって区分し、その区分毎に各録音データを管理するように制御させることで、上記課題を解決できることを見出し、本発明のグループ参加者対応カラオケ録音システムを想到した。   In view of the above problems, the present inventor has provided two sound input interfaces for acquiring sound signals, and during the performance of a predetermined karaoke song, the singing section data set in correspondence with each karaoke song and the non-song Based on the singing section data, the karaoke accompaniment music and the sound signal of the microphone input sound are acquired in the singing section, while the non-singing section only acquires the acoustic signal of the karaoke accompaniment music, and the user in the non-singing section When receiving a voice instruction for instructing writing, it is found that the above-mentioned problem can be solved by classifying according to the characteristics of the voiceprint data of the voice instruction and controlling each recording data for each classification. An inventive karaoke recording system for group participants has been conceived.

すなわち、請求項1記載の発明は、グループ参加の利用者に対応し、当該マイク入力音声を録音するためのカラオケ録音システムであって、
(ア)カラオケ伴奏音楽の音響信号を取得するための第1音響入力インタフェイスと、
(イ)マイク入力音声の音響信号を取得するための第2音響入力インタフェイスと、
(ウ)当該第1および第2音響入力インタフェイスから取得したカラオケ伴奏音楽およびマイク入力音声の音響信号を混合してカラオケ楽曲毎の録音データを形成し、当該録音データを所定の記録部へ記録するための録音制御手段と、
(エ)前記所定の記録部へ記録された録音データの内容を利用者に対して表示するための表示手段と、
(オ)当該録音データを所定の可搬型記録媒体に書き込むための書込手段と、
(カ)前記マイク入力音声から声紋データを抽出すると共に、複数の声紋データ同士の特性を比較照合するための声紋照合手段と、
(キ)これら各手段を統括的に制御する中央制御手段とを備え、
(ク)前記中央制御手段は、所定のカラオケ楽曲の演奏中、前記録音制御手段に対して、各カラオケ楽曲に対応して設定された歌唱区間データと非歌唱区間データに基づき、前記歌唱区間では第1および第2音響入力インタフェイスからの音響信号を取得させ、前記非歌唱区間では第1音響入力インタフェイスからのみ音響信号を取得させるように制御し、
(ケ)また、前記中央制御手段は、所定のカラオケ楽曲の演奏中、前記声紋照合手段および前記録音制御手段に対して、前記非歌唱区間において、前記第2音響入力インタフェイスから任意の利用者の前記書き込みを指示する音声指示を受けた場合、当該音声指示の声紋データの特性をもって当該カラオケ楽曲の録音データを区分して記録させると共に、前記表示手段に対して、必要時に、当該区分情報を付帯させて当該録音データを表示させるように制御することを特徴とする。
That is, the invention according to claim 1 is a karaoke recording system for recording a microphone input sound corresponding to a group participating user,
(A) a first acoustic input interface for acquiring an acoustic signal of karaoke accompaniment music;
(A) a second acoustic input interface for acquiring an acoustic signal of the microphone input voice;
(C) The karaoke accompaniment music acquired from the first and second sound input interfaces and the sound signal of the microphone input sound are mixed to form recording data for each karaoke piece, and the recording data is recorded in a predetermined recording unit. Recording control means for
(D) display means for displaying to the user the content of the recorded data recorded in the predetermined recording unit;
(E) a writing means for writing the recording data to a predetermined portable recording medium;
(F) Voiceprint collation means for extracting voiceprint data from the microphone input voice and comparing and collating characteristics of a plurality of voiceprint data;
(G) a central control means for comprehensively controlling these means,
(H) The central control means, while playing a predetermined karaoke piece, based on the singing section data and the non-singing section data set corresponding to each karaoke piece for the recording control means, The acoustic signal is acquired from the first and second acoustic input interfaces, and the non-singing section is controlled to acquire the acoustic signal only from the first acoustic input interface,
(G) Further, the central control means, with respect to the voiceprint matching means and the recording control means, during the performance of a predetermined karaoke piece, can be selected from the second acoustic input interface in the non-singing section. When the voice instruction for instructing the writing is received, the recording data of the karaoke music piece is divided and recorded with the characteristics of the voice print data of the voice instruction, and the classification information is set to the display means when necessary. It is characterized in that control is performed so that the recorded data is displayed as ancillary.

また、請求項2記載の発明は、請求項1記載のカラオケ録音システムにおいて、
(コ)さらに、前記中央制御手段は、所定のカラオケ楽曲の演奏中、前記声紋照合手段および前記録音制御手段に対し、前記非歌唱区間において、前記第2音響入力インタフェイスから任意の利用者の前記書き込みを指示する音声指示を受けた場合、前記書込手段に対して、必要時に、前記区分された各録音データを当該区分毎に一括して所定の可搬型記録媒体に書き込むように制御することを特徴とする。
The invention according to claim 2 is the karaoke recording system according to claim 1,
(K) Further, the central control means, with respect to the voiceprint collation means and the recording control means, during the performance of a predetermined karaoke piece of music in the non-singing section from the second sound input interface. When receiving a voice instruction for instructing the writing, the writing unit is controlled to write the divided recording data into a predetermined portable recording medium in a batch for each division when necessary. It is characterized by that.

本発明の請求項1記載のカラオケ録音システムによれば、非歌唱区間にマイク入力される書き込みの音声指示は排除して録音できると共に、歌唱中に満足行く歌唱ができていると判断できるタイミングで書き込み要否を指示できるため、後から試聴するという手間もなく、また、音声指示というように、カラオケ演奏中にマイクから指示ができるため、利便性が非常に高く、さらに、声紋照合手段が録音データを音声指示の声紋データの特性をもって区分するため、区分された各録音データの一覧が表示された場合、各録音データに対し、誰の書き込み希望の範疇に入っているのかが一見して容易かつ明瞭に分かるなど、システムの利用時間を短縮でき、他の利用者に迷惑を及ぼさないなどといった効果を奏する。   According to the karaoke recording system of the first aspect of the present invention, it is possible to record while eliminating the voice instruction of writing input to the non-singing section, and at the timing at which it can be determined that a satisfactory singing can be performed during the singing. Since it is possible to instruct whether writing is necessary, there is no need to audition later, and since it is possible to instruct from the microphone during karaoke performance, such as voice instruction, it is very convenient, and the voiceprint matching means uses recorded data Are classified according to the characteristics of the voice print data of the voice instruction, and when a list of each recorded data is displayed, it is easy to see who is in the category of desired writing for each recorded data. The system usage time can be shortened, such as being clearly understood, and effects such as not causing trouble to other users are achieved.

さらに、本発明の請求項2記載のカラオケ録音システムによれば、請求項1記載のカラオケ録音システムにおいて、中央制御手段が書込手段に対して、区分毎に一括して各録音データを可搬型記録媒体に書き込むように制御するため、区分された各録音データをそれぞれ必要とする可搬型記録媒体毎に効率良く書き込むことができるなど、システムの利用時間をさらに短縮できるといった効果を奏する。   Further, according to the karaoke recording system according to claim 2 of the present invention, in the karaoke recording system according to claim 1, the central control means collectively stores each recording data for each section with respect to the writing means. Since control is performed so as to write to the recording medium, it is possible to efficiently write the divided recording data for each portable recording medium that is required, thereby further reducing the system usage time.

以下、本発明のグループ参加者対応カラオケ録音システムについて、最適な実施例を挙げ、請求項1記載の(ア)から(ケ)の構成および請求項2記載の(コ)の構成について詳述する。   BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with regard to the karaoke recording system for group participants according to the present invention, an optimal example will be given, and the configurations of (a) to (ke) according to claim 1 and the configuration of (co) according to claim 2 will be described in detail. .

図1は本発明の一実施例におけるカラオケ録音システムのブロック構成図である。本実施例のカラオケ録音システム(1)は、主にカラオケ演奏装置から構成されており、このカラオケ演奏装置は、全体の動作を制御する中央制御手段(10)やカラオケ伴奏音楽を演奏するための演奏データ(24)や映像データ(25)が記録されているハードディスク(HDD:11)などの記録手段にて主に構成されている。そして、中央制御手段(10)には、ハードディスク(11)の他、RAM(12)、音源(シンセサイザ:6)、ミキサ(エフェクタ:7)、ボーカルアダプタ(14)、MPEGデコーダ(15)、合成回路(16)、CD−Rレコーダ(書込手段:2)などが接続されている。   FIG. 1 is a block diagram of a karaoke recording system in an embodiment of the present invention. The karaoke recording system (1) of the present embodiment is mainly composed of a karaoke performance device. This karaoke performance device is used to perform central control means (10) for controlling the overall operation and karaoke accompaniment music. It is mainly composed of recording means such as a hard disk (HDD: 11) in which performance data (24) and video data (25) are recorded. The central control means (10) includes a hard disk (11), RAM (12), sound source (synthesizer: 6), mixer (effector: 7), vocal adapter (14), MPEG decoder (15), synthesis A circuit (16), a CD-R recorder (writing means: 2) and the like are connected.

ここで、各構成要素について少し説明する。先ず、中央制御手段(10)は、リモコン装置(3)にて楽曲のIDコードが入力されると、これを操作入力処理手段(22)が検出し、カラオケ楽曲のリクエストであるとしてシーケンサ(21)に伝達する。このシーケンサ(21)は、主に、楽曲シーケンサ、歌詞シーケンサおよび文字パターン作成手段からなり、楽曲のIDコードで識別される演奏データを、ハードディスク(11)の演奏データ(24)から読み出す。次に、音源(6)は中央制御手段(10)が実行するシーケンサ(21)の処理によって入力された楽曲IDに対応した演奏データに応じて音響信号を形成する。形成された音響信号はミキサ(7)に入力され、このミキサ(7)は音源(6)が発生した音響信号とA/Dコンバータ(13)を介して入力されたマイク(5)からのマイク入力音声信号を適当なバランスでミキシングする。そして、ミキシングされたデジタル音声信号はサウンドシステム(SS:8)に入力される。このサウンドシステム(8)はD/Aコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ(9)からカラオケ伴奏音楽とマイク入力音声を放音する。   Here, each component will be described a little. First, when the ID code of the music is input by the remote control device (3), the central control means (10) detects this by the operation input processing means (22), and the sequencer (21 ). This sequencer (21) mainly comprises a music sequencer, a lyrics sequencer, and a character pattern creation means, and reads out performance data identified by the ID code of the music from the performance data (24) of the hard disk (11). Next, the sound source (6) forms an acoustic signal according to the performance data corresponding to the music ID input by the processing of the sequencer (21) executed by the central control means (10). The formed acoustic signal is input to the mixer (7). The mixer (7) is a microphone from the acoustic signal generated by the sound source (6) and the microphone (5) input via the A / D converter (13). Mix the input audio signal with an appropriate balance. The mixed digital audio signal is input to the sound system (SS: 8). This sound system (8) includes a D / A converter and a power amplifier, converts an input digital signal into an analog signal and amplifies it, and emits karaoke accompaniment music and microphone input sound from the speaker (9). .

また、ハードディスク(11)に記録されている映像データ(25)は、MPEG2形式にエンコードされており、中央制御手段(10)が実行する背景映像再生手段(図示省略)により再生処理を行い、これを読み出してMPEGデコーダ(15)に入力する。このMPEGデコーダ(15)は、入力されたMPEGデータをNTSCの映像信号に変換して合成回路(16)に入力し、この合成回路(16)は背景映像の映像信号上に歌詞テロップや採点表示などのOSDを合成し、合成された映像信号はディスプレイ装置(表示手段:4)に表示される。   The video data (25) recorded on the hard disk (11) is encoded in the MPEG2 format, and is subjected to playback processing by background video playback means (not shown) executed by the central control means (10). Are input to the MPEG decoder (15). The MPEG decoder (15) converts the input MPEG data into an NTSC video signal and inputs it to the synthesis circuit (16). The synthesis circuit (16) displays lyrics telop and scoring on the background video signal. The synthesized video signal is displayed on a display device (display means: 4).

次に、音響入力インタフェイスと録音制御手段について述べる。音響入力インタフェイスは二系統設定されており、所定のカラオケ楽曲の演奏中、第1音響入力インタフェイス(19)は演奏データに応じた音響信号を取得し、また、第2音響入力インタフェイス(20)はマイク入力音声の音響信号を取得する。録音制御手段(18)は、これら入力された音響信号を混合し、PCMデータ変換した後に録音データとし、これをRAM(12)の録音データ記録部(28)に記録する。なお、本実施例では、各録音データに対応した楽曲IDコードも楽曲IDコード記録部(27)に記録される。   Next, the sound input interface and recording control means will be described. Two sound input interfaces are set, and during the performance of a predetermined karaoke piece, the first sound input interface (19) acquires sound signals corresponding to the performance data, and the second sound input interface ( 20) obtains an acoustic signal of the microphone input voice. The recording control means (18) mixes these input acoustic signals, converts them to PCM data, and uses them as recording data, which is recorded in the recording data recording section (28) of the RAM (12). In this embodiment, the music ID code corresponding to each recording data is also recorded in the music ID code recording unit (27).

そして、この時、中央制御手段(10)は、録音制御手段(18)に対して、各カラオケ楽曲に対応して設定された歌唱区間データと非歌唱区間データに基づき、歌唱区間では第1および第2音響入力インタフェイスからの音響信号を取得させ、非歌唱区間では第1音響入力インタフェイスからのみ音響信号を取得するように制御する。また、中央制御手段(10)は、声紋照合手段(17)および録音制御手段(18)に対して、非歌唱区間において、第2音響入力インタフェイス(20)から音声指示を受けた場合、RAM(12)の所定領域において、声紋照合手段(17)の解析による当該音声指示の声紋データの特性をもって声紋データ記録部(26)利用者の声紋データを記録し、これに対応させて録音データ記録部(28)に録音データを記録させる。同時に、ディスプレイ装置(4)に対しては、必要時に、当該区分情報を付帯させて当該録音データを表示させるように制御する。   At this time, the central control means (10), with respect to the recording control means (18), based on the singing section data and the non-singing section data set corresponding to each karaoke piece, Control is performed so that an acoustic signal is acquired from the second acoustic input interface, and the acoustic signal is acquired only from the first acoustic input interface in the non-singing section. When the central control means (10) receives a voice instruction from the second sound input interface (20) in the non-singing section to the voiceprint matching means (17) and the recording control means (18), the central control means (10) In the predetermined area of (12), the voiceprint data recording unit (26) records the voiceprint data of the user with the characteristics of the voiceprint data of the voice instruction analyzed by the voiceprint matching means (17), and records the recorded data in correspondence with this. The recording data is recorded in the section (28). At the same time, the display device (4) is controlled to display the recorded data by adding the classification information when necessary.

本発明における声紋照合技術に関しては従来公知のもので良く、本実施例の声紋照合手段(17)は、マイク入力音声から声紋データを抽出すると共に、複数の声紋データ同士の特性を比較照合するものである。具体的には、例えば、マイク入力された音声信号からノイズ成分を除去して音声分析を行った後、仮名情報およびフォルマント情報として声紋データを抽出・照合する。仮名情報とは、例えば、書き込みを指示する音声指示として「かきこみ」という言葉の仮名文字列言葉が音声で入力された場合に、「か」、「き」、「こ」、「み」の4文字を示す文字列の一語一語を音声認識してコード情報に変換されたものである。また、フォルマント情報とは声道の共振周波数に関する特異値で、一人一人固有の声紋に対応した情報で、フォルマントレベル、フォルマント中心周波数、フォルマント帯域幅等として抽出されるものである。そして、音声指示する書き込みの指示が発せられた際、このような方法により、声紋データの特性の違いから利用者を区別できる。   The voiceprint matching technique according to the present invention may be a conventionally known voiceprint matching means. The voiceprint matching means (17) of the present embodiment extracts voiceprint data from the microphone input voice and compares and matches the characteristics of a plurality of voiceprint data. It is. Specifically, for example, after noise components are removed from a voice signal input from a microphone and voice analysis is performed, voiceprint data is extracted and collated as kana information and formant information. The kana information is, for example, “ka”, “ki”, “ko”, “mi” when a kana character string word “kakikomi” is inputted by voice as a voice instruction for instructing writing. Each word of a character string indicating a character is voice-recognized and converted into code information. Formant information is a singular value related to the resonance frequency of the vocal tract and is information corresponding to each individual voiceprint, and is extracted as formant level, formant center frequency, formant bandwidth, and the like. Then, when a writing instruction for giving a voice instruction is issued, the user can be distinguished from the difference in the characteristics of the voiceprint data by such a method.

図2は、上記ディスプレイ装置を表示手段とし、区分された各録音データの一覧表示例を示す画面(D)であるが、この画面(D)は、所定の手順で録音が終了したタイミングで自動的に表示されたり、適時、利用者の指示により表示されるものである。この画面(D)には、シリアル番号表記(30)と、曲名表記(31)と、歌唱者表記(32)と、CD−Rへの焼き付け(書き込み)指示者表記(33)などが掲載されている。これらの表記は、当該指示者表記(33)の区分に基づきソートされて表示されているため、各録音データについて、誰の書き込み希望の範疇に入っているのかが一見して容易かつ明瞭に分かる。なお、通常は、歌唱者と音声指示した利用者とが同一人物であるが、本発明はこれに限定されず、任意の歌唱者の歌唱を他の利用者がその録音を希望する場合には、歌唱者と音声指示した利用者が必ずしも同一人物でなくても構わない。また、本実施例では、歌唱者や指示者の区分は利用者毎に「A」、「B」、「C」、「D」といった記号にて表記されているが、本発明はこれに限定されず、利用者ID管理をしているシステムでは、記号の代わりに利用者の氏名やニックネームをそのまま表記させても構わない。   FIG. 2 is a screen (D) showing an example of a list display of each recorded data using the display device as a display means. This screen (D) is automatically displayed at the timing when recording is completed in a predetermined procedure. It is displayed automatically or in a timely manner according to a user instruction. On this screen (D), serial number notation (30), song title notation (31), singer notation (32), CD-R burning (writing) instructor notation (33), etc. are posted. ing. Since these notations are sorted and displayed based on the category of the instructor notation (33), it is easy and clear at a glance who is in the desired writing category for each recording data. . Normally, the singer and the user who voiced the instruction are the same person, but the present invention is not limited to this, and when other users wish to record any singer's song. The user who voiced the singer does not necessarily have to be the same person. Further, in this embodiment, the singer and the indicator are indicated by symbols such as “A”, “B”, “C”, and “D” for each user, but the present invention is not limited to this. Instead, in a system that manages user IDs, the user's name and nickname may be written as they are instead of symbols.

中央制御手段(10)は、音声指示を受けた録音データに関しては、CR−Rレコーダ(書込手段:2)に対して、例えば、利用者が上記区分された各録音データの一覧表示を見た後、利用者による書き込み実行が指示されたタイミングで、各録音データを指示者表記(33)区分に基づき、その区分毎に一括して所定のCD−Rに書き込むように制御する。この書き込み制御とは、具体的には、録音データ記録部(28)に録音データを記録する際、当該データに書き込みマーキングデータを付与し、このマーキングデータがあるものに限り、録音データを書き込みインタフェイス(23)へ送付したり、あるいは、書き込みインタフェイス(23)に送付後、CD−Rレコーダ(2)の書き込み機能を動作させたりするための制御である。   The central control means (10), with respect to the recording data for which the voice instruction has been received, for example, the user sees the list display of each of the divided recording data for the CR-R recorder (writing means: 2). After that, at the timing when the user has instructed to execute writing, the recording data is controlled to be written to a predetermined CD-R collectively for each section based on the instructor notation (33) section. More specifically, this writing control means that when recording data is recorded in the recording data recording section (28), write marking data is given to the data, and the recording data is written to the recording data as long as the marking data exists. This is control for operating the writing function of the CD-R recorder (2) after sending it to the face (23) or after sending it to the writing interface (23).

なお、本実施例では、区分毎に一括して各録音データを自動的に書き込むように構成されているが、本発明はこれに限定されず、各録音データについて、本発明では、誰の書き込み希望の範疇に入っているのかが一見して容易かつ明瞭に分かるため、例えば、利用者が区分された各録音データの一覧表示を見ながら、再度、あらためて書き込み指示をしても構わない。   In the present embodiment, each recording data is automatically written in a batch for each section. However, the present invention is not limited to this, and in the present invention, no one writes for each recording data. Since it can be easily and clearly understood at first glance whether the user is in the desired category, for example, the user may give another write instruction while viewing the list display of each recorded data.

以下、図3に示す録音制御および音声指示に基づく区分のメカニズム概念図に基づき、本発明の請求項1記載の(ク)および(ケ)の構成について、さらに詳述する。   Hereinafter, based on the conceptual diagram of the mechanism of classification based on the recording control and the voice instruction shown in FIG. 3, the configurations of (K) and (K) described in claim 1 of the present invention will be described in more detail.

先ず、(a)に示すように、所定のカラオケ楽曲の歌唱区間情報(歌唱区間データと非歌唱区間データ)に基づき、歌唱区間と非歌唱区間が設定される。本実施例では、歌唱区間と非歌唱区間を設定するためにカラオケ装置における歌詞テロップの表示の有無と歌詞文字の色変わり時間を検出する方式を採用している。すなわち、歌詞テロップが表示している状態にある場合を歌唱区間とし、非表示状態にある場合を非歌唱区間とする。あるいは、歌詞テロップは歌詞文字列を行表示した後、歌唱を開始するタイミングでその歌詞文字列を左から右方向へ色変えていく表現によって表示されるため、この歌詞テロップが所定時間変化しない区間を非歌唱区間としてもよい。   First, as shown in (a), a singing section and a non-singing section are set based on singing section information (singing section data and non-singing section data) of a predetermined karaoke piece. In this embodiment, in order to set a singing section and a non-singing section, a method of detecting the presence / absence of display of lyrics telop and the color change time of lyrics characters in the karaoke apparatus is adopted. That is, a case where the lyrics telop is displayed is set as a singing section, and a case where the lyrics telop is not displayed is set as a non-singing section. Alternatively, the lyrics telop is displayed with an expression that changes the color of the lyric character string from left to right at the timing of starting singing after displaying the lyric character string in a row. May be a non-singing section.

なお、本発明における歌唱区間と非歌唱区間の設定はこれらに限定されず、例えば、歌詞シーケンサが付帯する各カラオケ楽曲における歌詞文字列の表示順番と、その表示・消去タイミング、表示した文字列の色変わり開始・終了タイミングなどを記述した歌詞描出データを利用してもよい。さらに、演奏データに付帯する区間データを利用する方式も考えられる。この区間データとは、前奏・1番の歌唱区間・間奏・2番の歌唱区間・間奏・…・後奏というように、各演奏区間を示すデータをその楽曲の演奏時系列に対応付けしたデータであり、MIDIデータ中に任意に設定でき、これを取得すれば歌唱区間と非歌唱区間を検出することができる。   In addition, the setting of the singing section and the non-singing section in the present invention is not limited to these, for example, the display order of the lyrics character string in each karaoke song attached to the lyrics sequencer, its display / erase timing, and the displayed character string Lyrics rendering data describing the start / end timing of color change may be used. Furthermore, a method of using section data incidental to performance data is also conceivable. This section data is data in which data indicating each performance section is associated with the performance time series of the song, such as prelude, first singing section, interlude, second singing section, interlude,. It can be arbitrarily set in the MIDI data, and if this is acquired, the singing section and the non-singing section can be detected.

所定のカラオケ楽曲の演奏中は、(b)に示すように、第1音響入力インタフェイスからは、歌唱区間および非歌唱区間を問わず、カラオケ伴奏音楽の音響信号が録音用に取得される。そして、(c)に示すように、第2音響入力インタフェイスからは、歌唱区間においては、マイク入力音声の音響信号が録音用に取得され、一方、(d)に示すように、非歌唱区間においては、利用者の音声指示を非録音で受け付ける。この録音と非録音との切り替えは、例えば、音響信号を録音データとして記録するための回路と音声分析するための回路を物理的に切り替えたり、あるいは、音響信号に対し、ソフト的に録音用プログラムや音声分析用プログラムによる処理を選択するものである。そして、(e)に示すように、マイク入力音声から非歌唱区間において音声指示を受けた場合は、(f)に示すように、上記声紋照合手段を用いて、その声紋データの特性により録音データを区分する。   During the performance of a predetermined karaoke piece, as shown in (b), the sound signal of karaoke accompaniment music is acquired for recording from the first sound input interface regardless of the singing section and the non-singing section. And as shown in (c), from the second acoustic input interface, in the singing section, the sound signal of the microphone input voice is acquired for recording, while as shown in (d), the non-singing section In, the voice instruction of the user is accepted without recording. This switching between recording and non-recording is performed by, for example, physically switching between a circuit for recording an acoustic signal as recording data and a circuit for analyzing a sound, or a software recording program for an acoustic signal. And processing by a voice analysis program. Then, as shown in (e), when a voice instruction is received from a microphone input voice in a non-singing section, as shown in (f), the recorded voice data is recorded according to the characteristics of the voiceprint data using the voiceprint matching means. Is divided.

上記実施例は、カラオケ演奏装置と可搬型記録媒体への書込手段(CD−Rレコーダ)とが1対1に対応した形態であったが、本発明はこれに限定されず、例えば、図4に示すように、集中管理方式のカラオケ録音システムであっても構わない。本実施例では、カラオケ店舗内の各客室にカラオケ演奏装置(P)が設置され、これらのカラオケ演奏装置(P)には録音制御手段が内蔵されており、店舗内LAN(L)によってCD−Rレコーダ(R)を付帯する集中管理用サーバ(S)に接続されている。各カラオケ演奏装置(P)では録音データが形成され、所定の記録部に録音ファイル形式で記録されている。利用者の書き込みの指示を受けた録音データに対してダンプ要求(書込手段への録音データの転送指令)操作を行うと、録音データは集中管理用サーバ(S)に転送される。集中管理用サーバ(S)は、どこのカラオケ演奏装置(P)からどんな録音データが転送されてきたのかを管理しながらCD−Rレコーダ(R)をもって録音データを書き込む。   In the above embodiment, the karaoke performance device and the portable recording medium writing means (CD-R recorder) correspond to each other on a one-to-one basis, but the present invention is not limited to this. As shown in FIG. 4, it may be a centralized management type karaoke recording system. In this embodiment, a karaoke performance device (P) is installed in each guest room in the karaoke store, and these karaoke performance devices (P) have built-in recording control means. It is connected to a central management server (S) accompanying the R recorder (R). In each karaoke performance device (P), recorded data is formed and recorded in a recording file format in a predetermined recording section. When a dump request (recording data transfer command to the writing means) is performed on the recording data that has been instructed to be written by the user, the recording data is transferred to the central management server (S). The central management server (S) writes the recorded data with the CD-R recorder (R) while managing what kind of recorded data has been transferred from which karaoke performance device (P).

なお、集中管理方式のカラオケ録音システムとしては、この他、複数台のCD−Rレコーダと、それぞれのCD−Rレコーダを制御するための複数の集中管理用サーバがある形態でもよいし、一台の集中管理用サーバに複数台のCD−Rレコーダが接続される形態であってもよい。勿論、集中管理用サーバを介さず、CD−Rレコーダ自体に集中管理用サーバと同様の制御機能が組み込まれていても構わない。   In addition, the centralized management type karaoke recording system may include a plurality of CD-R recorders and a plurality of centralized management servers for controlling the respective CD-R recorders. A plurality of CD-R recorders may be connected to the central management server. Of course, the control function similar to that of the central management server may be incorporated in the CD-R recorder itself without using the central management server.

以上、詳述したように、本発明のグループ参加者対応カラオケ録音システムによれば、音響信号を取得するための二系統の音響入力インタフェイスを設け、非歌唱区間において利用者が書き込みを指示する音声指示を受けた場合、当該音声指示の声紋データの特性をもって区分し、その区分毎に各録音データを管理するように制御させることで、グループ参加者に好適に対応し、各利用者が気に入った録音データを速やかに指示できると共に、どの利用者が歌唱した録音データなのかが容易かつ明瞭に分かり、また、利用者毎の録音データを効率よく区分して可搬型記録媒体に書き込めるようにすることで利用時間を短縮でき、他の利用者に迷惑を及ぼさない。   As described above in detail, according to the karaoke recording system for group participants of the present invention, two sound input interfaces for acquiring sound signals are provided, and the user instructs writing in the non-singing section. When a voice instruction is received, it is classified according to the characteristics of the voiceprint data of the voice instruction, and each recording data is controlled to be managed for each division, so that it is suitable for group participants and each user likes. In addition to promptly specifying the recorded data, it is easy and clear to identify which user sang the recorded data, and the recorded data for each user can be efficiently divided and written to a portable recording medium. Therefore, the usage time can be shortened and other users are not inconvenienced.

本発明の一実施例におけるカラオケ録音システムのブロック構成図。The block block diagram of the karaoke recording system in one Example of this invention. 区分された各録音データの一覧表示例。List display example of each recorded data. 録音制御および音声指示に基づく区分のメカニズム概念図。The conceptual diagram of the mechanism of the division based on recording control and voice instructions. 集中管理方式のカラオケ録音システムの構成図。The block diagram of the centralized management system karaoke recording system.

符号の説明Explanation of symbols

1 カラオケ録音システム
2 書込手段
4 表示手段
10 中央制御手段
11 ハードディスク
12 RAM
17 声紋照合手段
18 録音制御手段
19 第1音響入力インタフェイス
20 第2音響入力インタフェイス
26 利用者声紋データ
28 録音データ
DESCRIPTION OF SYMBOLS 1 Karaoke recording system 2 Writing means 4 Display means 10 Central control means 11 Hard disk 12 RAM
17 Voiceprint matching means 18 Recording control means 19 First acoustic input interface 20 Second acoustic input interface 26 User voiceprint data 28 Recording data

Claims (2)

グループ参加の利用者に対応し、当該マイク入力音声を録音するためのカラオケ録音システムであって、
(ア)カラオケ伴奏音楽の音響信号を取得するための第1音響入力インタフェイスと、
(イ)マイク入力音声の音響信号を取得するための第2音響入力インタフェイスと、
(ウ)当該第1および第2音響入力インタフェイスから取得したカラオケ伴奏音楽およびマイク入力音声の音響信号を混合してカラオケ楽曲毎の録音データを形成し、当該録音データを所定の記録部へ記録するための録音制御手段と、
(エ)前記所定の記録部へ記録された録音データの内容を利用者に対して表示するための表示手段と、
(オ)当該録音データを所定の可搬型記録媒体に書き込むための書込手段と、
(カ)前記マイク入力音声から声紋データを抽出すると共に、複数の声紋データ同士の特性を比較照合するための声紋照合手段と、
(キ)これら各手段を統括的に制御する中央制御手段とを備え、
(ク)前記中央制御手段は、所定のカラオケ楽曲の演奏中、前記録音制御手段に対して、各カラオケ楽曲に対応して設定された歌唱区間データと非歌唱区間データに基づき、前記歌唱区間では第1および第2音響入力インタフェイスからの音響信号を取得させ、前記非歌唱区間では第1音響入力インタフェイスからのみ音響信号を取得させるように制御し、
(ケ)また、前記中央制御手段は、所定のカラオケ楽曲の演奏中、前記声紋照合手段および前記録音制御手段に対して、前記非歌唱区間において、前記第2音響入力インタフェイスから任意の利用者の前記書き込みを指示する音声指示を受けた場合、当該音声指示の声紋データの特性をもって当該カラオケ楽曲の録音データを区分して記録させると共に、前記表示手段に対して、必要時に、当該区分情報を付帯させて当該録音データを表示させるように制御することを特徴とするカラオケ録音システム。
It is a karaoke recording system for recording the microphone input sound corresponding to the user participating in the group,
(A) a first acoustic input interface for acquiring an acoustic signal of karaoke accompaniment music;
(A) a second acoustic input interface for acquiring an acoustic signal of the microphone input voice;
(C) The karaoke accompaniment music acquired from the first and second sound input interfaces and the sound signal of the microphone input sound are mixed to form recording data for each karaoke piece, and the recording data is recorded in a predetermined recording unit. Recording control means for
(D) display means for displaying to the user the content of the recorded data recorded in the predetermined recording unit;
(E) a writing means for writing the recording data to a predetermined portable recording medium;
(F) Voiceprint collation means for extracting voiceprint data from the microphone input voice and comparing and collating characteristics of a plurality of voiceprint data;
(G) a central control means for comprehensively controlling these means,
(H) The central control means, based on singing section data and non-singing section data set corresponding to each karaoke piece for the recording control means during the performance of a predetermined karaoke piece, The acoustic signal is acquired from the first and second acoustic input interfaces, and the non-singing section is controlled to acquire the acoustic signal only from the first acoustic input interface,
(G) In addition, the central control means is configured so that an arbitrary user from the second sound input interface is in the non-singing section with respect to the voiceprint matching means and the recording control means during the performance of a predetermined karaoke piece. When the voice instruction for instructing the writing is received, the recording data of the karaoke music piece is divided and recorded with the characteristics of the voice print data of the voice instruction, and the classification information is set to the display means when necessary. A karaoke recording system, wherein the recording data is controlled to be attached and displayed.
(コ)さらに、前記中央制御手段は、所定のカラオケ楽曲の演奏中、前記声紋照合手段および前記録音制御手段に対し、前記非歌唱区間において、前記第2音響入力インタフェイスから任意の利用者の前記書き込みを指示する音声指示を受けた場合、前記書込手段に対して、必要時に、前記区分された各録音データを当該区分毎に一括して所定の可搬型記録媒体に書き込むように制御することを特徴とする請求項1記載のカラオケ録音システム。
(K) Further, the central control means, with respect to the voiceprint collation means and the recording control means, during the performance of a predetermined karaoke piece of music in the non-singing section from the second sound input interface. When receiving a voice instruction for instructing the writing, the writing unit is controlled to write the divided recording data into a predetermined portable recording medium in a batch for each division when necessary. The karaoke recording system according to claim 1.
JP2004095567A 2004-03-29 2004-03-29 Karaoke recording system for group participants Expired - Lifetime JP4229446B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004095567A JP4229446B2 (en) 2004-03-29 2004-03-29 Karaoke recording system for group participants

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004095567A JP4229446B2 (en) 2004-03-29 2004-03-29 Karaoke recording system for group participants

Publications (2)

Publication Number Publication Date
JP2005283807A true JP2005283807A (en) 2005-10-13
JP4229446B2 JP4229446B2 (en) 2009-02-25

Family

ID=35182274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004095567A Expired - Lifetime JP4229446B2 (en) 2004-03-29 2004-03-29 Karaoke recording system for group participants

Country Status (1)

Country Link
JP (1) JP4229446B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008216402A (en) * 2007-02-28 2008-09-18 Daiichikosho Co Ltd Karaoke system
JP2008233320A (en) * 2007-03-19 2008-10-02 Daiichikosho Co Ltd On-vehicle karaoke system provided with function of voice selection for music piece
CN109903745A (en) * 2017-12-07 2019-06-18 北京雷石天地电子技术有限公司 A kind of method and system generating accompaniment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008216402A (en) * 2007-02-28 2008-09-18 Daiichikosho Co Ltd Karaoke system
JP2008233320A (en) * 2007-03-19 2008-10-02 Daiichikosho Co Ltd On-vehicle karaoke system provided with function of voice selection for music piece
CN109903745A (en) * 2017-12-07 2019-06-18 北京雷石天地电子技术有限公司 A kind of method and system generating accompaniment
CN109903745B (en) * 2017-12-07 2021-04-09 北京雷石天地电子技术有限公司 Method and system for generating accompaniment

Also Published As

Publication number Publication date
JP4229446B2 (en) 2009-02-25

Similar Documents

Publication Publication Date Title
JP4493604B2 (en) Karaoke system with performance guide function
US8253006B2 (en) Method and apparatus to automatically match keys between music being reproduced and music being performed and audio reproduction system employing the same
JP4926756B2 (en) Karaoke sound effect output system
JP4229446B2 (en) Karaoke recording system for group participants
JP2008076678A (en) Karaoke singing assist system
JP2006276547A (en) Karaoke system
Hamilton Hip-Hop Music Education: Engaging Students in Black Culture Creation and Social Justice Advocacy
JP2006208963A (en) Karaoke system
JP2006276548A (en) Karaoke system
JP4366212B2 (en) Karaoke recording system
JP2005316154A (en) Karaoke recording system coping with group participants
JP4516943B2 (en) Karaoke singing assistance system
JP5193654B2 (en) Duet part singing system
JP4994890B2 (en) A karaoke device that allows you to strictly compare your recorded singing voice with a model song
JP6587459B2 (en) Song introduction system in karaoke intro
JP3974069B2 (en) Karaoke performance method and karaoke system for processing choral songs and choral songs
JP2006337702A (en) Karaoke service method and karaoke system
JP4169345B2 (en) Karaoke recording system
JP2013003430A (en) Karaoke device
JP4229445B2 (en) Karaoke performance device with recording service restriction function
JP4244013B2 (en) Karaoke recording system
JP2008209639A (en) Karaoke sound effect output system
JP2005242059A (en) Karaoke player with ascending sort display and uploading function for sound-recording file
JP4033200B2 (en) Electronic music equipment
KR100510600B1 (en) Learning system of song using the internet

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060326

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080819

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081201

R150 Certificate of patent or registration of utility model

Ref document number: 4229446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111212

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121212

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131212

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250