JP3294526B2 - Karaoke equipment - Google Patents

Karaoke equipment

Info

Publication number
JP3294526B2
JP3294526B2 JP08304097A JP8304097A JP3294526B2 JP 3294526 B2 JP3294526 B2 JP 3294526B2 JP 08304097 A JP08304097 A JP 08304097A JP 8304097 A JP8304097 A JP 8304097A JP 3294526 B2 JP3294526 B2 JP 3294526B2
Authority
JP
Japan
Prior art keywords
data
karaoke
music
video
processing means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08304097A
Other languages
Japanese (ja)
Other versions
JPH10282972A (en
Inventor
浩 三野
正夫 豊澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP08304097A priority Critical patent/JP3294526B2/en
Priority to US09/048,600 priority patent/US6077084A/en
Priority to CA002233443A priority patent/CA2233443C/en
Priority to TW087104711A priority patent/TW460835B/en
Priority to EP98302553A priority patent/EP0869475B1/en
Priority to DE69810685T priority patent/DE69810685T2/en
Priority to AT98302553T priority patent/ATE231274T1/en
Priority to CN98109691.3A priority patent/CN1115641C/en
Publication of JPH10282972A publication Critical patent/JPH10282972A/en
Priority to HK99101242A priority patent/HK1016314A1/en
Priority to US09/490,649 priority patent/US6139329A/en
Application granted granted Critical
Publication of JP3294526B2 publication Critical patent/JP3294526B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、カラオケ伴奏音
楽をスピーカーから鳴らすとともに、その音楽の進行に
合わせた歌詞画像と音楽のムードに合わせた背景映像と
をディスプレイに表示するカラオケ装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a karaoke apparatus that plays karaoke accompaniment music from a speaker, and displays on a display a lyrics image corresponding to the progress of the music and a background image corresponding to the mood of the music.

【0002】[0002]

【従来の技術】[Prior art]

===通信カラオケの出現直前の主流技術=== カラオケ装置はコンテンツ(カラオケソフト)の形式に
よっていくつかの種類がある。代表的な1つはレーザー
カラオケ(商品名)と呼ばれるタイプである。このタイ
プでは、コンテンツはつぎのように制作されて蓄積メデ
ィアに記録される。カラオケ伴奏音楽は実際に演奏して
録音する(オーディオ信号を記録する)。また、その楽
曲の雰囲気に合せてムード映像を制作・編集するととも
に、そのムード映像にその楽曲の歌詞画像を楽曲の進行
と合うようにあらかじめ付加しておく。これを楽曲専用
の歌詞付きムード映像と呼ぶことにする。蓄積メディア
としては、レーザーディスク(商品名)と呼ばれる光学
式アナログビデオディスクが用いられる。カラオケ伴奏
音楽のアナログオーディオ信号と楽曲専用歌詞付きムー
ド映像のアナログビデオ信号とをそれぞれ適宜に変調し
て重畳したコンポジット信号を光学式アナログビデオデ
ィスクに記録する。そのようなディスクを大量に複製
し、多数のカラオケ装置に配付して装填する。カラオケ
装置のビデオディスクプレーヤーで希望曲が入ったディ
スクの所定トラックを再生することで、その楽曲の伴奏
音楽がスピーカーから鳴り出し、同時にCRTディスプ
レイに楽曲専用の歌詞付きムード映像が音楽の進行に合
せて表示される。
=== Mainstream Technology Just Before Appearance of Communication Karaoke === There are several types of karaoke devices depending on the type of content (karaoke software). A typical one is a type called laser karaoke (product name). In this type, content is produced and recorded on a storage medium as follows. The karaoke accompaniment music is actually played and recorded (audio signal is recorded). In addition, a mood video is produced and edited according to the atmosphere of the music, and a lyric image of the music is added to the mood video in advance so as to match the progress of the music. This is called a mood image with lyrics for music. As a storage medium, an optical analog video disk called a laser disk (trade name) is used. A composite signal in which an analog audio signal of karaoke accompaniment music and an analog video signal of a mood image with lyrics for music are appropriately modulated and superimposed is recorded on an optical analog video disk. A large number of such disks are copied and distributed to a number of karaoke apparatuses for loading. By playing a predetermined track of the disk containing the desired music on the video disk player of the karaoke apparatus, the accompaniment music of the music starts to be heard from the speaker, and at the same time, the mood image with the lyrics dedicated to the music is displayed on the CRT display as the music progresses. Is displayed.

【0003】べつの典型的なカラオケ装置では、ビデオ
CDとして規格化されているディジタル蓄積メディアを
用いる(そもそもビデオCD規格はカラオケCD規格と
してスタートした発展版である)。コンテンツの制作プ
ロセスは前記レーザーカラオケタイプと基本的に同じで
ある。つまり、カラオケ伴奏音楽は実際に演奏して録音
するとともに、各楽曲専用の歌詞付きムード映像を制作
・編集する。そしてMPEG1規格に従って、カラオケ
伴奏音楽のオーディオ信号をディジタル圧縮符号化する
とともに、楽曲専用歌詞付きムード映像のビデオ信号を
ディジタル圧縮符号化し、それらオーディオデータとビ
デオデータとを多重化して楽曲単位でビデオCDに記録
する。そのようなディスクを大量に複製し、多数のカラ
オケ装置に配付して装填する。カラオケ装置のCD−R
OMプレーヤーで希望曲が入ったディスクの所定トラッ
クを再生することで、その楽曲のオーディオデータおよ
びビデオデータがデコードされて、カラオケ伴奏音楽が
スピーカーから鳴り出し、同時にCRTディスプレイに
楽曲専用の歌詞付きムード映像が音楽の進行に合せて表
示される。
[0003] Another typical karaoke device uses digital storage media that has been standardized as a video CD (the video CD standard is an advanced version of the karaoke CD standard in the first place). The content creation process is basically the same as the laser karaoke type. In other words, the karaoke accompaniment music is actually performed and recorded, and at the same time, a mood image with lyrics for each song is produced and edited. In accordance with the MPEG1 standard, the audio signal of the karaoke accompaniment music is digitally compressed and coded, the video signal of the mood video with the lyrics dedicated to the music is digitally compressed and coded, and the audio data and the video data are multiplexed to produce a video CD in music units. To record. A large number of such disks are copied and distributed to a number of karaoke apparatuses for loading. Karaoke device CD-R
When the OM player plays a predetermined track of the disc containing the desired music, the audio data and video data of the music are decoded, and the karaoke accompaniment music starts to sound from the speaker, and at the same time, the mood image with the lyrics dedicated to the music is displayed on the CRT display. Is displayed according to the progress of the music.

【0004】===通信カラオケ=== 最近の主流は周知の通信カラオケである。これはカラオ
ケ伴奏音楽を発生させる仕組みが前記の2つのタイプと
大きく異なる。一般的な通信カラオケ用の音楽ソフト
は、MIDI楽器やパソコンによるDTM(Desktop Mu
sic )という技法を使って制作され、MIDI規格に従
ったデータ形式で音楽を記述したものである。よく知ら
れているように、MIDIデータはオーディオ信号をデ
ィジタル化したデータではなく、シンセサイザーを時系
列的に制御して音楽のオーディオ信号を生成するための
制御データ列である。
=== Communication Karaoke === A recent mainstream is a well-known communication karaoke. This is very different from the above two types in the mechanism for generating karaoke accompaniment music. Music software for general communication karaoke is DTM (Desktop Mu
sic), which describes music in a data format according to the MIDI standard. As is well known, MIDI data is not data obtained by digitizing an audio signal, but a control data sequence for controlling a synthesizer in a time-series manner to generate a music audio signal.

【0005】ある楽器編成で収録されたカラオケ伴奏音
楽をディジタル圧縮符号化したディジタルオーディオデ
ータ(DAデータと記す)と、ほぼ同様な楽器編成を模
してシンセサイザーにより同じカラオケ伴奏音楽を生成
する場合のMIDIデータとを比較すると、データ量の
面ではMIDIデータの方が圧倒的に小さい。ただシン
セサイザーで現実感のある人声コーラスを合成するのは
困難なため、人が歌ったコーラスをディジタル録音した
PCMデータを作成し、伴奏音楽MIDIデータに同期
するように付属させている楽曲が多い。両方の合計でも
データ量は充分に小さい。
Digital audio data (hereinafter, referred to as DA data) obtained by digitally compressing and encoding karaoke accompaniment music recorded in a certain musical instrument organization, and synthesizing the same karaoke accompaniment music by a synthesizer to simulate almost the same musical instrument organization. When compared with MIDI data, MIDI data is overwhelmingly smaller in terms of data amount. However, since it is difficult to synthesize a realistic human voice chorus using a synthesizer, there are many songs that create PCM data that digitally records a chorus sung by a human and synchronize with the accompaniment music MIDI data. . The data amount is small enough in both cases.

【0006】ところで、MIDIデータを主体としてカ
ラオケ伴奏音楽を表現し、これに人声コーラスなどのデ
ィジタル録音データ(PCMデータ)を部分的に付加す
る仕組みを含めて、この形式のデータのことをカラオケ
生成データと表記する。このカラオケ生成データにはさ
らに歌詞描出データが付属している。歌詞描出データと
は、カラオケ伴奏音楽の進行と同期して歌詞をスーパー
インポーズ表示するためのグラフィックス処理用のデー
タであり、表示する歌詞文字列、表示レイアウト、表示
シーケンス、歌唱時機指示などの表現情報を含んでい
る。
[0006] By the way, MIDI data is mainly used to represent karaoke accompaniment music, and data of this format including karaoke chorus and other digital recording data (PCM data) is partially described. Notated as generated data. The karaoke generation data further includes lyrics rendering data. Lyric rendering data is data for graphics processing for superimposing and displaying lyrics in synchronization with the progress of karaoke accompaniment music, and includes lyrics character strings to be displayed, display layouts, display sequences, and singing timing instructions. Contains expression information.

【0007】カラオケ生成データはきわめて小さなデー
タ量でカラオケ伴奏音楽を表現できるので(付属する歌
詞描出データも充分に少量である)、1万曲を超す規模
のカラオケデータベースでも小型で安価なパソコン用ハ
ードディスク装置を蓄積メディアとして利用できて実用
的である。またデータ量が小さいという同じ理由で、電
話回線網などのディジタル通信メディアを利用して、広
域に分散して運用されている多数のカラオケ端末装置に
対して新曲のカラオケソフト(カラオケ生成データと歌
詞描出データ)をホスト装置から配信する方式の通信カ
ラオケシステムが容易に構築できた。
Since the karaoke generation data can express the karaoke accompaniment music with a very small data amount (the attached lyrics depiction data is also sufficiently small), a small and inexpensive personal computer hard disk for a karaoke database of more than 10,000 songs. The device can be used as a storage medium and is practical. Also, for the same reason that the data volume is small, new karaoke software (Karaoke generation data and lyrics) can be transmitted to a large number of karaoke terminals that are operated over a wide area using digital communication media such as a telephone line network. A communication karaoke system of a system for distributing drawing data) from a host device could be easily constructed.

【0008】なお通信カラオケシステムでも、膨大な数
の既存の楽曲についてはパッケージメディアを利用して
いるのが普通である。つまり既存楽曲のカラオケソフト
(カラオケ生成データと歌詞描出データ)を記録したC
D−ROMを大量複製しておき、カラオケ端末装置の出
荷時点で装置のCD−ROMプレーヤーに前記のカラオ
ケソフトのディスクを収納しておく。そのディスクに含
まれていなかった新たな楽曲のカラオケソフトを補充す
る手段として通信システムを利用している。
[0008] Even in a communication karaoke system, package media is usually used for a huge number of existing music pieces. In other words, C that records karaoke software (karaoke generation data and lyrics rendering data) of existing songs
A large number of D-ROMs are duplicated, and the karaoke software disk is stored in a CD-ROM player of the karaoke terminal device at the time of shipment. A communication system is used as a means for replenishing karaoke software for a new song not included in the disc.

【0009】通信カラオケの端末装置にて、ある楽曲の
カラオケ生成データを処理してカラオケ伴奏音楽を発音
させるとき、対応する歌詞描出データを同期処理し、音
楽の進行に合せてリアルタイムで歌詞画像を描画生成し
て、ディスプレイに表示させる。歌詞の表示だけではつ
まらないので、背景に適当な動画を映し出している。背
景映像はビデオCDなどに記録されており、端末装置内
のCD−ROMプレーヤーで再生する。最初に説明した
ように、パッケージメディアを使った2つのタイプのカ
ラオケ装置では、実際に演奏して録音したカラオケ伴奏
音楽と、その楽曲の雰囲気に合せて制作・編集された楽
曲専用の歌詞付きムード映像とがセットになっていた。
しかし通信カラオケでは楽曲専用の歌詞付きムード映像
はない。適当な長さで区分された大量の映像を共用映像
データベースとしてビデオCDなどのメディアに蓄えて
おき、楽曲に合せて適当に選択した映像を再生する。楽
曲データベースの曲数がたとえば1万曲で、その合計の
演奏時間がたとえば1万×4分であるとしても、共用映
像データベースにそのような長時間分の動画映像が用意
されているのではなく、楽曲の合計演奏時間の数百分の
1ほどの再生時間の映像しかないのが普通である。共用
映像データベースでは、たとえば5分ほどの長さで映像
が区分されており、各区分映像は固有の映像IDで区別
される。ある楽曲を演奏するときに、映像データベース
からどの映像を選択するのかを決める方式にはいくつか
のアルゴリズムが考え出されている。できるだけそれぞ
れの楽曲の雰囲気にあった映像が歌詞の背景映像に選出
されるように、映像データベースにおける各映像の分類
の仕方や、各楽曲と映像の対応付けの仕組みに工夫をこ
らしている。
[0009] When a karaoke accompaniment music is generated by processing karaoke generation data of a certain music in a communication karaoke terminal device, the corresponding lyric rendering data is synchronously processed and lyric images are generated in real time in accordance with the progress of the music. Generate a drawing and display it on the display. Displaying the lyrics is not enough. The background image is recorded on a video CD or the like, and is reproduced by a CD-ROM player in the terminal device. As described at the beginning, two types of karaoke devices using package media include a karaoke accompaniment music that is actually played and recorded, and a mood with lyrics specifically created and edited according to the mood of the music. The video was set as a set.
However, there is no lyrics-only mood video for online karaoke. A large amount of videos divided by an appropriate length are stored in a media such as a video CD as a shared video database, and the video selected appropriately according to the music is reproduced. Even if the number of songs in the music database is, for example, 10,000, and the total playing time is, for example, 10,000 × 4 minutes, the shared video database does not provide such a long moving image. Usually, there is only a video having a reproduction time of about one hundredth of the total playing time of the music. In the shared video database, video is divided into, for example, about 5 minutes in length, and each divided video is distinguished by a unique video ID. Several algorithms have been devised for deciding which video to select from the video database when playing a certain song. The method of classifying each video in the video database and the mechanism of associating each music with the video are devised so that the video that matches the atmosphere of each music is selected as the background video of the lyrics as much as possible.

【0010】また通信カラオケシステムは、全国的な規
模で広く配置された膨大な数のカラオケ端末装置と事業
者が運営するホスト装置とが通信回線で結合された大規
模なコンピュータ・ネットワークであり、音声情報や文
字映像情報あるいは動画情報などを取り扱うマルチメデ
ィア・システムでもある。そこで新曲ソフトをすばやく
供給するという特徴に加えて、ネットワーク資源を利用
したさまざまな応用機能を実現している。たとえば、通
信カラオケ事業者がホスト装置を通じて各端末装置の運
用記録を集信したり、各端末装置の機能点検をしたり、
運用記録と契約内容とに基づいて個別の端末装置をリモ
ート制御するなど、カラオケ業務と直結したきわめて有
用で高度な運用システムや保守管理システムを実現して
いる。さらには、カラオケ演奏と直接的には関係しない
ものの、カラオケの利用環境と結びついた新たな娯楽サ
ービスや情報サービスがいろいろと考え出され、ネット
ワーク資源を高度に利用したインテリジェント・エンタ
ーテイメント・システムといえるような進化の道を歩ん
でいる。
[0010] The communication karaoke system is a large-scale computer network in which a huge number of karaoke terminal devices widely arranged on a nationwide scale and host devices operated by a business operator are connected by a communication line. It is also a multimedia system that handles audio information, textual video information, or moving image information. Therefore, in addition to the feature of quickly supplying new song software, various application functions using network resources are realized. For example, a communication karaoke company collects operation records of each terminal device through a host device, checks the function of each terminal device,
It realizes an extremely useful and advanced operation system and maintenance management system directly connected to the karaoke business, such as remote control of individual terminal devices based on operation records and contract contents. Furthermore, although not directly related to karaoke performance, various entertainment and information services linked to the karaoke usage environment have been conceived, and it can be said that this is an intelligent entertainment system that makes extensive use of network resources. On an evolutionary path.

【0011】[0011]

【発明が解決しようとする課題】MIDIデータでシン
セサイザーを制御して作り出すカラオケ伴奏音楽は、一
流の演奏家が実際に演奏してディジタル録音した伴奏音
楽のDAデータの再生音に比べると、音楽としての品質
や雰囲気および音質は相当に劣ると言わざるを得ない。
楽曲のジャンルや楽器編成によっては、この差は決定的
なマイナス要因となり、歌い手および聞き手の評価は著
しく低くなる。
The karaoke accompaniment music created by controlling the synthesizer with MIDI data is compared with the DA data of accompaniment music that is digitally recorded by a leading performer as music. The quality, atmosphere, and sound quality of the sound are inferior.
Depending on the genre of the song or the composition of the instrument, this difference is a decisive negative factor, and the singer and listener's evaluation is significantly lower.

【0012】また、歌いながら歌詞の背景に表示される
映像を見ることは、とくに聞き手にとって大きな楽しみ
である。歌われている内容と映し出される映像の内容の
調和具合を楽しむことは、カラオケ愛好者にとっての娯
楽要素の大きな1つである。通信カラオケでは、共用映
像データベースの映像を適当に使い回ししながら背景映
像を選出しているので、楽曲内容と映像内容の極端なミ
スマッチを避けるための工夫をしても、楽曲専用の歌詞
付きムード映像を使うものに比べて大きく見劣りする。
[0012] Also, watching a video displayed on the background of the lyrics while singing is a great pleasure especially for the listener. Enjoying the harmony between the content being sung and the content of the projected image is one of the entertainment elements for karaoke enthusiasts. In communication karaoke, the background video is selected while appropriately using the video from the shared video database, so even if you try to avoid an extreme mismatch between the music content and the video content, the mood with lyrics only for the music It is greatly inferior to those that use video.

【0013】オーディオおよびビデオの冗長度圧縮や伝
送に関するディジタル信号処理技術は急速に進歩してお
り、録音した高品質のカラオケ伴奏音楽と楽曲専用の歌
詞付きムード映像とをたとえばMPEGオーディオ・ビ
デオデータの形式で伝送する通信カラオケシステムを構
築することは、技術的にあまり問題はなくなってきた。
Digital signal processing technology relating to audio and video redundancy compression and transmission is advancing rapidly, and high-quality recorded karaoke accompaniment music and mood video with lyrics dedicated to music can be converted into, for example, MPEG audio / video data. The construction of a communication karaoke system for transmission in a format has become less technically problematic.

【0014】しかし、望ましい楽器編成でカラオケ伴奏
音楽を実際に演奏して収録することは、MIDI主体で
カラオケ生成データを制作するのに比べてはるかにコス
トがかかるし時間もかかる。つぎつぎと生み出される新
しい楽曲のすべてについて遅滞なく高品質なカラオケ伴
奏音楽を演奏して収録することは、ソフト提供者(カラ
オケ事業者)にとって大きな負担である。ソフト提供者
にとってさらに大きな負担になるのが、楽曲専用の歌詞
付きムード映像の制作である。それぞれの歌の内容にあ
ったシナリオを作成して、短編の無声映画を撮影して編
集するわけであり、これは大変な作業である。毎月数十
曲ほど生まれる新曲について楽曲専用歌詞付きムード映
像を遅滞なく制作するのは簡単なことではなく、現状の
通信カラオケのような新曲配信スピードを維持すること
はきわめて難しい。
However, actually performing and recording karaoke accompaniment music with a desired musical composition is much more expensive and time-consuming than producing karaoke generation data mainly using MIDI. Playing and recording high-quality karaoke accompaniment music without delay for all new songs that are created one after another places a great burden on software providers (karaoke providers). An even greater burden on software providers is the production of mood videos with lyrics specifically for songs. Creating a scenario that suits the content of each song, shooting and editing a short silent movie, is a daunting task. It is not easy to produce a mood video with lyrics dedicated to songs for new songs that are born about several tens of songs every month without delay, and it is extremely difficult to maintain the speed of delivery of new songs like current communication karaoke.

【0015】この発明は前述した従来の問題点に鑑みな
されたもので、その目的は、新曲配信を遅滞なく行うこ
とと、高品質なカラオケ伴奏音楽および各楽曲の内容に
よく調和した楽曲専用ムード映像を提供することとを、
高い次元で両立させることにある。
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described conventional problems, and has as its object to deliver new songs without delay and to provide a high-quality karaoke accompaniment music and a music-only mood that is in harmony with the contents of each song. To provide the video,
It is to balance at a high level.

【0016】[0016]

【課題を解決するための手段】この発明に係るカラオケ
装置は、つぎの事項(a)〜(j)により特定されるも
のである。 (a)AVデータ復号処理手段、音楽生成処理手段、歌
詞描出処理手段、制御手段を備え、データベースより各
種データを読みとって再生するカラオケ装置である。 (b)データベースには、カラオケAVデータ、カラオ
ケ生成データ、カラオケ生成データに対応した映像借用
台本データ、カラオケAVデータおよびカラオケ生成デ
ータに対応した歌詞描出データを備える。 (c)カラオケAVデータは、カラオケ伴奏音楽をディ
ジタル圧縮符号化したオーディオデータと、ムード映像
をディジタル圧縮符号化したビデオデータが多重化され
ている。 (d)カラオケ生成データは、音楽生成処理手段を制御
してカラオケ伴奏音楽を生成するためのデータである。 (e)映像借用台本データは、借用しようとするカラオ
ケAVデータのビデオデータの識別情報を時系列的に表
現したデータである。 (f)AVデータ復号処理手段は、カラオケAVデータ
を復号処理し、映像単独再生モードにおいてはビデオデ
ータのみを復号出力する。 (g)音楽生成処理手段は、カラオケ生成データに基づ
いてカラオケ伴奏音楽を生成する。 (h)歌詞描出処理手段は、歌詞描出データに基づいて
歌詞画像を出力する。 (i)制御手段は、リクエストされた楽曲のカラオケA
Vデータがデータベースに登録されている場合、リクエ
ストされた楽曲のカラオケAVデータと歌詞描出データ
を取り出して、AVデータ復号処理手段と歌詞描出処理
手段とにより同期的に処理を行わせる。 (j)制御手段は、リクエストされた楽曲のカラオケA
Vデータがデータベースに登録されていなくてカラオケ
生成データが登録されている場合、リクエストされた楽
曲のカラオケ生成データと歌詞描出データおよび映像借
用台本データを取り出して、音楽生成処理手段と歌詞描
出処理手段および映像単独再生モードでのAVデータ復
号処理手段により同期的に処理を行わせる。
A karaoke apparatus according to the present invention is specified by the following items (a) to (j). (A) A karaoke apparatus that includes AV data decoding processing means, music generation processing means, lyrics depiction processing means, and control means, and reads and reproduces various data from a database. (B) The database includes karaoke AV data, karaoke generation data, video borrow script data corresponding to the karaoke generation data, karaoke AV data, and lyrics rendering data corresponding to the karaoke generation data. (C) In the karaoke AV data, audio data obtained by digitally compressing and encoding karaoke accompaniment music and video data obtained by digitally compressing and encoding a mood video are multiplexed. (D) Karaoke generation data is data for controlling music generation processing means to generate karaoke accompaniment music. (E) The video borrowing script data is data expressing identification information of video data of the karaoke AV data to be borrowed in a time-series manner. (F) The AV data decoding processing means decodes the karaoke AV data and decodes and outputs only the video data in the video independent reproduction mode. (G) The music generation processing means generates karaoke accompaniment music based on the karaoke generation data. (H) The lyrics rendering processing means outputs a lyrics image based on the lyrics rendering data. (I) The control means controls the karaoke A of the requested music.
When the V data is registered in the database, the karaoke AV data and the lyrics rendering data of the requested music are extracted, and the AV data decoding processing means and the lyrics rendering processing means perform the processing synchronously. (J) The control means performs karaoke A of the requested music.
If the V data is not registered in the database but the karaoke generation data is registered, the karaoke generation data, the lyrics rendering data and the video borrow script data of the requested music are taken out, and the music generation processing means and the lyrics rendering processing means are taken out. In addition, processing is performed synchronously by AV data decoding processing means in the video independent playback mode.

【0017】以下に詳しく説明するように、この発明の
実施の形態としては、つぎの各技術的事項(1)〜
(9)が含まれている。 (1)大容量のディジタル蓄積メディアに多数の楽曲に
ついてのカラオケAVデータやカラオケ生成データや歌
詞描出データおよびこれらの管理データなどを集約して
なるデータベースが構築されている。
As will be described in detail below, the embodiments of the present invention include the following technical items (1) to (1).
(9) is included. (1) A database in which karaoke AV data, karaoke generation data, lyric rendering data, and management data for many pieces of music are integrated in a large-capacity digital storage medium is constructed.

【0018】(2)前記カラオケAVデータは、カラオ
ケ伴奏音楽をディジタル圧縮符号化した各楽曲単位のオ
ーディオデータと、各楽曲に合わせた内容のムード映像
をディジタル圧縮符号化した各楽曲単位のビデオデータ
とを多重化したデータである。前記ムード映像には楽曲
の歌詞画像は含まれていない。
(2) The karaoke AV data is composed of audio data of each music unit obtained by digitally compressing and encoding karaoke accompaniment music, and video data of each music unit obtained by digitally compressing and encoding a mood image corresponding to each music. And multiplexed data. The mood video does not include a lyric image of a song.

【0019】(3)各楽曲の前記カラオケ生成データ
は、シンセサイザーを制御してそれぞれの楽曲のカラオ
ケ伴奏音楽を生成するためのデータを主体とする。
(3) The karaoke generation data for each music is mainly data for controlling a synthesizer to generate karaoke accompaniment music for each music.

【0020】(4)前記歌詞描出データは、カラオケ伴
奏音楽の進行と同期して歌詞をスーパーインポーズ表示
するためのデータであり、表示する歌詞文字列、表示レ
イアウト、表示シーケンス、歌唱時機指示などの表現情
報を含んでいる。
(4) The lyrics rendering data is data for superimposing and displaying lyrics in synchronization with the progress of the karaoke accompaniment music, and includes a character string to be displayed, a display layout, a display sequence, a singing timing instruction, and the like. Contains expression information.

【0021】(5)前記データベースにアクセスして任
意のデータを取り出す手段を含んだデータベース管理手
段と、前記カラオケAVデータを復号化してカラオケ伴
奏音楽とムード映像とをオーディオ再生系およびビデオ
再生系から同期出力するAVデータ復号処理手段と、前
記カラオケ生成データに基づいてシンセサイザーを制御
して生成した音楽を主体にしたカラオケ伴奏音楽を前記
オーディオ再生系から出力する音楽生成処理手段と、前
記歌詞描出データに基づいて前記ビデオ再生系の画面に
歌詞画像を順次表示する歌詞描出処理手段とを備える。
(5) A database management means including means for accessing the database and extracting arbitrary data, and decoding the karaoke AV data to convert karaoke accompaniment music and mood video from an audio reproduction system and a video reproduction system. AV data decoding processing means for synchronous output, music generation processing means for outputting from the audio reproduction system karaoke accompaniment music mainly composed of music generated by controlling a synthesizer based on the karaoke generation data, and the lyrics rendering data Lyrics rendering processing means for sequentially displaying lyrics images on the video playback system screen based on the

【0022】(6)前記AVデータ復号処理手段は、前
記カラオケAVデータ中のビデオデータのみを部分的に
再生する映像単独再生モードの実行手段を含んでおり、
このモードにより指定楽曲の前記ムード映像中の指定パ
ートを前記ビデオ再生系から出力する。
(6) The AV data decoding processing means includes an execution means of a video single reproduction mode for partially reproducing only video data in the karaoke AV data,
In this mode, the designated part in the mood video of the designated music is output from the video reproduction system.

【0023】(7)前記カラオケ生成データの各楽曲に
ついては、前記カラオケAVデータの各楽曲の前記ムー
ド映像を部分的に借用して背景映像を編集するために、
借用しようとする複数の映像パートの識別情報を時系列
に表現した映像借用台本データが作成されており、その
台本データが該当楽曲の前記カラオケ生成データと対応
づけて前記データベースに登録されている。
(7) For each song in the karaoke generation data, the background image is edited by partially borrowing the mood image of each song in the karaoke AV data.
Video borrowing script data expressing the identification information of a plurality of video parts to be borrowed in time series is created, and the script data is registered in the database in association with the karaoke generation data of the corresponding music.

【0024】(8)リクエストされた楽曲のカラオケA
Vデータが前記データベースに登録されている場合、リ
クエスト楽曲の前記カラオケAVデータと前記歌詞描出
データとを取り出して、前記AVデータ復号処理手段と
前記歌詞描出処理手段とにより同期的に処理する。
(8) Karaoke A for requested music
When the V data is registered in the database, the karaoke AV data and the lyrics rendering data of the requested music are taken out, and are synchronously processed by the AV data decoding processing means and the lyrics rendering processing means.

【0025】(9)リクエストされた楽曲のカラオケA
Vデータが前記データベースに登録されていなくて前記
カラオケ生成データが登録されている場合、リクエスト
楽曲の前記カラオケ生成データと前記歌詞描出データお
よび前記映像借用台本データとを取り出して、前記音楽
生成処理手段と前記歌詞描出処理手段および前記映像単
独再生モードの前記AVデータ復号処理手段とにより同
期的に処理する。
(9) Karaoke A for requested music
When the V data is not registered in the database and the karaoke generation data is registered, the karaoke generation data, the lyrics rendering data and the video borrow script data of the requested music are taken out, and the music generation processing means is extracted. And the lyrics depiction processing means and the AV data decoding processing means in the video independent playback mode.

【0026】以上の要件を備えたカラオケ装置におい
て、前記データベースのディジタル蓄積メディアとして
再生専用の光ディスクを用い、このディスクに前記カラ
オケAVデータとそれに対応する前記歌詞描出データを
記録する構成を採れる。この場合、前記光ディスクに前
記カラオケ生成データとそれに対応する前記歌詞描出デ
ータおよび前記台本データも記録できる。また、前記デ
ータベースのディジタル蓄積メディアには読み書き自在
な蓄積メディアも含めておき、ディジタル通信メディア
を通じて送られてくる前記カラオケ生成データとそれに
対応する前記歌詞描出データおよび前記台本データを前
記読み書き自在な蓄積メディアに書き込む構成を採れ
る。さらに、前記データベースのディジタル蓄積メディ
アとして書き換え可能な光ディスクを含めることもでき
る。
In the karaoke apparatus having the above requirements, a configuration is adopted in which a read-only optical disk is used as the digital storage medium of the database, and the karaoke AV data and the lyrics rendering data corresponding thereto are recorded on this disk. In this case, the karaoke generation data and the corresponding lyrics rendering data and script data can be recorded on the optical disc. Also, the digital storage medium of the database includes a readable and writable storage medium, and the karaoke generation data transmitted through a digital communication medium and the corresponding lyrics rendering data and the script data are stored in the readable and writable storage. A configuration for writing to media can be adopted. Further, a rewritable optical disk may be included as a digital storage medium for the database.

【0027】[0027]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

===装置の制御系の中枢=== この発明の一実施例によるカラオケ装置の概略構成を図
1に示している。CPU1・RAM2・ROM3・HD
D(ハードディスクドライブ)4などを中心とするコン
ピュータがこの装置を統一的に制御するとともに、各種
のデータ処理の役割も担っている。装置の本体には表示
器とキーボードなどを含むユーザインタフェース用の操
作パネル5があり、またリモコン送信器6に対応したリ
モコン受信器7も付属している。操作パネル5やリモコ
ン受信器7はユーザIF(インタフェース)プロセッサ
8および周辺IF(インタフェース)回路9を介してC
PU1のバスに結合されている。カラオケ利用者は本体
の操作パネル5やリモコン送信器6により選曲などの各
種操作入力を行い、その操作内容や操作入力に対する装
置の応答情報や各種の案内情報が操作パネル5に表示さ
れる。また、CPU1は周辺IF回路9およびモデム1
0を介して通信回線網に接続され、この装置は通信カラ
オケシステムの端末装置としても機能する。
=== Center of Control System of Apparatus === A schematic configuration of a karaoke apparatus according to an embodiment of the present invention is shown in FIG. CPU1, RAM2, ROM3, HD
A computer such as a D (hard disk drive) 4 controls this device in a unified manner, and also plays a role in various data processing. The main body of the apparatus has an operation panel 5 for a user interface including a display and a keyboard, and a remote control receiver 7 corresponding to a remote control transmitter 6 is also attached. The operation panel 5 and the remote control receiver 7 are connected via a user IF (interface) processor 8 and a peripheral IF (interface) circuit 9 to C.
It is coupled to the bus of PU1. The karaoke user performs various operation inputs such as music selection using the operation panel 5 or the remote control transmitter 6 of the main body, and the operation contents, response information of the apparatus to the operation input, and various guidance information are displayed on the operation panel 5. Further, the CPU 1 includes the peripheral IF circuit 9 and the modem 1
0 is connected to a communication line network, and this device also functions as a terminal device of a communication karaoke system.

【0028】===MPEGタイプとMIDIタイプ=
== カラオケのコンテンツはもっぱらDVD(ディジタルビ
デオディスク)プレーヤー11内のDVDに蓄積されて
おり、また一部のコンテンツはHDD4にも蓄積されて
いる。この装置におけるカラオケコンテンツには、情報
表現の仕組みが大きく異なるMPEGタイプとMIDI
タイプの2種類がある。
=== MPEG Type and MIDI Type =
== Karaoke content is exclusively stored on the DVD in the DVD (digital video disc) player 11, and a part of the content is also stored on the HDD 4. Karaoke contents in this device include MPEG type and MIDI, which have very different information expression mechanisms.
There are two types.

【0029】MPEGタイプのコンテンツはカラオケA
Vデータと歌詞描出データからなる。カラオケAVデー
タは、実際に演奏されて録音されたカラオケ伴奏音楽を
ディジタル圧縮符号化した各楽曲単位のオーディオデー
タと、各楽曲の雰囲気に合せて制作・編集されたムード
映像をディジタル圧縮符号化したビデオデータとを多重
化したデータであり、そのデータ形式はMPEG規格に
従っている。歌詞描出データは、カラオケ伴奏音楽の進
行と同期して歌詞をスーパーインポーズ表示するための
グラフィック処理用のデータであり、表示する歌詞文字
列、表示レイアウト、表示シーケンス、歌唱時機指示な
どの表現情報を含んでいる。
MPEG type content is karaoke A
It consists of V data and lyrics rendering data. The karaoke AV data is obtained by digitally compressing karaoke accompaniment music that has been actually played and recorded, and digitally compressing and encoding audio data for each song and mood video produced and edited according to the atmosphere of each song. This is data multiplexed with video data, and its data format conforms to the MPEG standard. Lyric rendering data is data for graphic processing for superimposing and displaying lyrics in synchronization with the progress of karaoke accompaniment music, and expressive information such as the character string to be displayed, display layout, display sequence, and singing timing instructions. Contains.

【0030】MPEGタイプ楽曲のデータ記録形式とし
ては、たとえば前記カラオケAVデータの直前に前記歌
詞描出データを記録したり、あるいは歌詞描出データだ
けを多数曲分集めて記録する。または、カラオケAVデ
ータに対して歌詞描出データを多重化して記録すること
も可能である。
As the data recording format of the MPEG type music, for example, the lyrics rendering data is recorded immediately before the karaoke AV data, or only the lyrics rendering data is collected and recorded for a number of songs. Alternatively, lyrics rendering data can be multiplexed with karaoke AV data and recorded.

【0031】MIDIタイプのコンテンツは、シンセサ
イザー22を制御してカラオケ伴奏音楽の合成音を生成
するMIDIデータと、その伴奏音楽に部分的に付加す
る人声コーラスなどのディジタル録音データ(PCMデ
ータ)と、歌詞描出データと、映像借用台本データのセ
ットである。このデータセットの記録形式は従来の通信
カラオケシステムと同じでもよいし、べつの形式を採用
してもよい。なお、カラオケ伴奏音楽のもととなるMI
DIデータとPCMデータのセットをカラオケ生成デー
タと称する。
The MIDI type content includes MIDI data for controlling the synthesizer 22 to generate a synthesized sound of karaoke accompaniment music, and digital recording data (PCM data) such as a human voice chorus partially added to the accompaniment music. , Lyrics rendering data and video borrowing script data. The recording format of this data set may be the same as that of the conventional communication karaoke system, or another format may be adopted. In addition, MI which is the source of karaoke accompaniment music
The set of DI data and PCM data is called karaoke generation data.

【0032】歌詞描出データは、カラオケ伴奏音楽の進
行と同期して歌詞をスーパーインポーズ表示するための
グラフィック処理用のデータであり、表示する歌詞文字
列、表示レイアウト、表示シーケンス、歌唱時機指示な
どの表現情報を含んでいる。
The lyrics rendering data is data for graphic processing for superimposing and displaying lyrics in synchronization with the progress of the karaoke accompaniment music, and includes a character string to be displayed, a display layout, a display sequence, a singing timing instruction, and the like. Contains expression information.

【0033】映像借用台本データは、前記カラオケAV
データ(MPEGタイプ・コンテンツの主要素)の各楽
曲の前記ムード映像を部分的に借用して背景映像を編集
するために、借用しようとする複数の映像パートの識別
情報を時系列に表現したデータである。これについては
後で詳しく説明する。
The video borrowed script data is stored in the karaoke AV
In order to edit a background video by partially borrowing the mood video of each music piece of data (the main element of the MPEG type content), data representing chronologically identifying information of a plurality of video parts to be borrowed It is. This will be described in detail later.

【0034】===カラオケデータベース=== DVDドライブ13により再生される複数枚のDVDを
主要なディジタル蓄積メディアとし、またHDD4を補
助的なディジタル蓄積メディアとして、前記のMPEG
タイプおよびMIDIタイプの膨大な曲数のカラオケコ
ンテンツのデータベースが構築されており、CPU1が
中心となってデータベースを管理している。この実施例
で用いているDVDは再生専用の光ディスク(DVD−
ROM)であり、データを記録したディスクが大量に複
製され、本カラオケ装置のDVDドライブ13に装填さ
れる。
=== Karaoke Database === A plurality of DVDs reproduced by the DVD drive 13 are used as main digital storage media, and the HDD 4 is used as an auxiliary digital storage medium, and the above-mentioned MPEG is used.
A database of karaoke contents of an enormous number of songs of type and MIDI type is constructed, and the database is managed mainly by the CPU 1. The DVD used in this embodiment is a read-only optical disk (DVD-
ROM), and a large number of disks on which data is recorded are copied and loaded into the DVD drive 13 of the karaoke apparatus.

【0035】カラオケコンテンツには1万曲にも及ぶ既
存楽曲があり、それに加えて毎月数十曲ほどのペースで
新規楽曲が生み出される。新規楽曲については前述のM
IDIタイプで制作され、カラオケ事業者が運営するホ
スト装置から各カラオケ装置に通信カラオケシステムの
ネットワークを通じて配信される。カラオケ装置では、
ホスト装置から配信されてきたMIDIタイプの新規楽
曲データをHDD4に蓄積し、データベースのインデッ
クスファイルにその新規楽曲の管理レコードを追加す
る。
In the karaoke content, there are as many as 10,000 existing songs, and in addition, new songs are generated at a rate of about several tens of songs every month. For new songs,
It is produced in the IDI type, and is distributed from the host device operated by the karaoke company to each karaoke device through the network of the communication karaoke system. In karaoke equipment,
The new music data of the MIDI type distributed from the host device is stored in the HDD 4, and a management record of the new music is added to the index file of the database.

【0036】既存楽曲については、MPEGタイプで制
作した楽曲と、MIDIタイプで制作した楽曲とがあ
り、複数枚のDVDに適宜に区分けして収録してある。
コンスタントな人気のあるスタンダード曲など、高品質
な音と適切なムード映像が求められる楽曲についてはM
PEGタイプで制作する。もちろんMPEGタイプの制
作コストは高い。リクエストの少ない古い楽曲や人気の
将来性が不透明な新しめの楽曲などについてはMIDI
タイプで制作する。MIDIタイプは、カラオケ生成デ
ータの制作コストが安いし、楽曲専用のムード映像は制
作しないので、MPEGタイプに比べてはるかに安価で
ある。
As for existing music, there are music produced by the MPEG type and music produced by the MIDI type, which are appropriately divided and recorded on a plurality of DVDs.
For songs that require high-quality sound and appropriate mood images, such as constant popular standard songs,
Produce in PEG type. Of course, the production cost of the MPEG type is high. MIDI for old songs with few requests and new songs whose popularity is uncertain
Produce by type. The MIDI type is much cheaper than the MPEG type because the production cost of the karaoke generation data is low and the mood video dedicated to the music is not produced.

【0037】なお、新たなコンテンツを収録した新たな
DVDタイトルを追加配付する場合に、古いDVDタイ
トルにはMIDIタイプで収録していた楽曲でも、その
後に人気が出たのでMPEGタイプで制作しなおして収
録することも問題にはならない。
When a new DVD title containing new content is additionally distributed, even a song recorded in the old DVD title in the MIDI type has become popular thereafter, so it has to be re-produced in the MPEG type. There is no problem with recording.

【0038】CPU1はカラオケデータベースを管理す
るために、HDD4にインデックスファイルを作成し、
その内容を適宜に更新する。インデックスファイルに
は、楽曲IDをキーとする各楽曲ごとの管理レコードが
集約されている。各楽曲の管理レコードには、該当楽曲
のデータがMPEGタイプなのかMIDIタイプなのか
が分かる情報と、その楽曲データの格納場所を示す情報
とが含まれる。もちろん楽曲のタイトル・歌手名・作曲
者・作詞者など、意図に応じたさまざまな属性情報を管
理レコードに記入しておくことができる。
The CPU 1 creates an index file in the HDD 4 to manage the karaoke database,
Update the contents as appropriate. In the index file, management records for each song using the song ID as a key are collected. The management record of each song includes information that indicates whether the data of the song is of the MPEG type or the MIDI type, and information indicating the storage location of the song data. Of course, various attribute information according to the intention, such as the title of the music, the name of the singer, the composer, the lyricist, etc., can be entered in the management record.

【0039】DVDドライブ13に装填される複数枚の
DVDタイトルのそれぞれのヘッダーには管理情報が記
録されている。ヘッダー管理情報には、それぞれのディ
スクに何がどの位置に収録されているのかが集約的に記
述されている。CPU1はイニシャル処理の1つの作業
として、DVDドライブ13に装填されている各DVD
タイトルのヘッダー管理情報を読み取り、その内容に基
づいて前述のインデックスファイルを作成する。また前
述したように、ホスト装置から配信されてきたMIDI
タイプの新規楽曲データをHDD4に蓄積し、データベ
ースのインデックスファイルにその新規楽曲の管理レコ
ードを追加する。
Management information is recorded in the header of each of a plurality of DVD titles loaded in the DVD drive 13. The header management information collectively describes what is recorded on each disk and at which position. The CPU 1 executes each of the DVDs loaded in the DVD drive 13 as one operation of the initial processing.
The header management information of the title is read, and the aforementioned index file is created based on the content. Also, as described above, the MIDI distributed from the host device is used.
The new music data of the type is stored in the HDD 4, and the management record of the new music is added to the index file of the database.

【0040】前記カラオケデータベースのディジタル蓄
積メディアとしては、再生専用のDVDやHDDだけで
なく、その他のさまざまなメディアを用いることができ
る。たとえば、DVD−RAMと呼ばれる書き換え可能
な光ディスク、DVD−Rと呼ばれる追記型の光ディス
ク、光磁気ディスク、ミニディスク(MD)、ICメモ
リなどの利用が考えられる。通信システムによりホスト
装置から配信されてくるMIDIタイプの楽曲データ
は、HDD4以外の書き込み可能なメディアに蓄積して
もよいのは言うまでもない。また、充分な通信速度を確
保できるのであれば、MPEGタイプのデータをホスト
装置から多数のカラオケ装置に配信して、たとえばDV
D−RAMに蓄積することも可能である。
As the digital storage medium of the karaoke database, not only a read-only DVD or HDD but also various other media can be used. For example, use of a rewritable optical disk called a DVD-RAM, a write-once optical disk called a DVD-R, a magneto-optical disk, a mini disk (MD), an IC memory, and the like can be considered. It goes without saying that MIDI-type music data distributed from the host device by the communication system may be stored in a writable medium other than the HDD 4. Also, if a sufficient communication speed can be ensured, MPEG-type data is distributed from the host device to a number of karaoke devices, for example, a DV format.
It is also possible to store in the D-RAM.

【0041】===MPEGタイプのデータ処理系==
= DVDコントローラ12がDVDプレーヤー11の各部
を統一的に制御する。コントローラ12は周辺IF回路
32を介してCPU1に結合されており、CPU1から
の指示通りにプレーヤー11を動作させる。DVDドラ
イブ13はディスクチェンジャー式の複数台のドライブ
を並設したもので、あるディスクの再生動作から別のデ
ィスクの再生動作にほとんど瞬間的に切替可能である。
DVDドライブ13の出力はまず復調・誤り訂正回路1
4で処理されて、MPEGデコーダ15に入力される。
また復調・誤り訂正回路14のビットストリーム出力を
周辺IF回路32を介してCPU1のバスに導く経路も
ある。
=== MPEG Type Data Processing System ==
= The DVD controller 12 controls each unit of the DVD player 11 in a unified manner. The controller 12 is connected to the CPU 1 via the peripheral IF circuit 32, and operates the player 11 as instructed by the CPU 1. The DVD drive 13 has a plurality of disk changer-type drives arranged side by side, and can switch almost instantaneously from a reproducing operation of one disk to a reproducing operation of another disk.
First, the output of the DVD drive 13 is a demodulation / error correction circuit 1
4 and input to the MPEG decoder 15.
There is also a path for guiding the bit stream output of the demodulation / error correction circuit 14 to the bus of the CPU 1 via the peripheral IF circuit 32.

【0042】MPEGタイプのある楽曲のデータ(カラ
オケAVデータおよび歌詞描出データ)を再生するよう
にCPU1からDVDコントローラ12に指示が来る
と、コントローラ12の制御によりプレーヤー11はつ
ぎのように動作する。指定された楽曲データが含まれた
ディスクをDVDドライブ13で再生し、まずその楽曲
の歌詞描出データを読み取ってMPEGデコーダ15経
由でグラフィックス回路20に渡し、つぎにその楽曲の
カラオケAVデータを再生してMPEGデコーダ15に
入力する。カラオケAVデータはMPEGデコーダ15
でオーディオデータとビデオデータに分離され、それぞ
れオーディオ信号処理回路18とビデオ信号処理回路1
6で復号化処理されて、DA変換器19からカラオケ伴
奏音楽のアナログ信号が出力され、それに同期してDA
変換器17からムード映像のアナログ信号が出力され
る。これらの処理と同期してグラフィックス回路20に
よって前記歌詞描出データが処理されて、DA変換器1
9から出力されるカラオケ伴奏音楽の進行に合せて変化
する歌詞画像のグラフィックスデータが生成される。こ
のようにしてDVDプレーヤー11からAVコントロー
ラ27に向けてカラオケ伴奏音楽のオーディオ信号A1
とムード映像のビデオ信号V1と歌詞画像のグラフィッ
クスデータG1とが出力される。オーディオ信号A1は
ミキシングアンプ28でマイク30からの歌唱オーディ
オ信号とともに増幅され、カラオケ伴奏音楽と利用者の
歌唱音がスピーカーシステム29から発音される。同時
に、ビデオ信号V1によるムード映像がディスプレイ3
1に表示されるとともに、グラフィックスデータG1に
よる歌詞画像が同じディスプレイ31にスーパーインポ
ーズ表示される。
When an instruction is issued from the CPU 1 to the DVD controller 12 so as to reproduce the data of the music of the MPEG type (karaoke AV data and lyrics rendering data), the control of the controller 12 causes the player 11 to operate as follows. The disc containing the designated music data is reproduced by the DVD drive 13, firstly, the lyrics rendering data of the music is read and passed to the graphics circuit 20 via the MPEG decoder 15, and then the karaoke AV data of the music is reproduced. And input it to the MPEG decoder 15. Karaoke AV data is MPEG decoder 15
The audio signal processing circuit 18 and the video signal processing circuit 1 separate audio data and video data, respectively.
6, the analog signal of the karaoke accompaniment music is output from the DA converter 19, and the DA signal is synchronized therewith.
The converter 17 outputs an analog signal of mood video. The lyrics drawing data is processed by the graphics circuit 20 in synchronization with these processes, and the DA converter 1
The graphics data of the lyric image that changes in accordance with the progress of the karaoke accompaniment music output from 9 is generated. Thus, the audio signal A1 of the karaoke accompaniment music is transmitted from the DVD player 11 to the AV controller 27.
And the video signal V1 of the mood video and the graphics data G1 of the lyrics image are output. The audio signal A1 is amplified by the mixing amplifier 28 together with the singing audio signal from the microphone 30, and the karaoke accompaniment music and the singing sound of the user are emitted from the speaker system 29. At the same time, the mood image by the video signal V1 is displayed on the display 3.
1 and the lyrics image based on the graphics data G1 is superimposed and displayed on the same display 31.

【0043】===MIDIタイプのデータ処理系==
= リクエスト曲を受け付けたCPU1は、インデックスフ
ァイル中の該当楽曲のレコードを取得し、その楽曲がM
IDIタイプで登録されていることが分かった場合、そ
の楽曲データがHDD4に蓄積されているのかDVDド
ライブ13に蓄積されているのかを認知し、HDD4ま
たはDVDドライブ13から該当楽曲の一連のデータを
読み取ってRAM2の作業エリアに書き込む。楽曲デー
タがDVDドライブ13に蓄積されている場合は、CP
U1は周辺IF回路32を通じてDVDコントローラ1
2に指示を出し、該当のDVDタイトルの該当箇所を再
生させて、復調・誤り訂正回路14を経た再生信号を周
辺IF回路32を通じて取り込み、RAM2の作業エリ
アに書き込む。
=== MIDI type data processing system ==
= Receiving the requested song, the CPU 1 acquires the record of the song in the index file, and
When it is found that the music data is registered as the IDI type, it is recognized whether the music data is stored in the HDD 4 or the DVD drive 13, and a series of data of the music is read from the HDD 4 or the DVD drive 13. Read and write to the work area of RAM2. When the music data is stored in the DVD drive 13, the CP
U1 is the DVD controller 1 through the peripheral IF circuit 32.
2, the corresponding portion of the DVD title is reproduced, the reproduced signal that has passed through the demodulation / error correction circuit 14 is fetched through the peripheral IF circuit 32, and written into the work area of the RAM 2.

【0044】前述したように、MIDIタイプの楽曲デ
ータは、シンセサイザー22を制御してカラオケ伴奏音
楽の合成音を生成するMIDIデータと、その伴奏音楽
に部分的に付加する人声コーラスなどのディジタル録音
データ(PCMデータ)と、歌詞描出データと、映像借
用台本データのセットである。RAM2の作業エリアに
展開したデータのうち、MIDIデータはMIDIプロ
セッサ23に渡し、PCMデータはPCMデコーダ21
に渡し、歌詞描出データはグラフィックス回路24に渡
し、映像借用台本データは周辺IF32を通じてDVD
コントローラ12に渡す。
As described above, the MIDI type music data includes MIDI data for controlling the synthesizer 22 to generate a synthesized sound of karaoke accompaniment music, and digital recording such as a human voice chorus partially added to the accompaniment music. It is a set of data (PCM data), lyrics rendering data, and video borrow script data. Among the data expanded in the work area of the RAM 2, the MIDI data is passed to the MIDI processor 23, and the PCM data is transmitted to the PCM decoder 21.
The lyrics rendering data is passed to the graphics circuit 24, and the video borrowed script data is passed through the peripheral IF 32 to the DVD.
Transfer to controller 12.

【0045】MIDIプロセッサ22が与えられたMI
DIデータに従ってシンセサイザー22とエフェクター
25を制御することで、MIDIデータで表現されたカ
ラオケ伴奏音楽のアナログオーディオ信号がDA変換器
26から生み出される。このカラオケ伴奏音楽の生成処
理と同期してPCMデコーダ21にて人声コーラスなど
のPCMデータが復号化され、その出力がエフェクター
25でカラオケ伴奏音楽と混合され、人声コーラスなど
が付帯したカラオケ伴奏音楽のアナログオーディオ信号
A2がDA変換器26からAVコントローラ27に向け
て出力される。この音楽生成処理と同期してグラフィッ
クス回路24が渡された歌詞描出データを処理すること
で、DA変換器26から出力されるカラオケ伴奏音楽の
進行に合せて変化する歌詞画像のグラフィックスデータ
G2が生成される。
The MI provided by the MIDI processor 22 is
By controlling the synthesizer 22 and the effector 25 according to the DI data, an analog audio signal of the karaoke accompaniment music expressed by the MIDI data is generated from the DA converter 26. In synchronization with the karaoke accompaniment music generation processing, PCM data such as a human voice chorus is decoded by the PCM decoder 21 and its output is mixed with the karaoke accompaniment music by the effector 25, and a karaoke accompaniment accompanied by a human voice chorus is provided. An analog audio signal A2 of music is output from the DA converter 26 to the AV controller 27. The graphics circuit 24 processes the passed lyrics rendering data in synchronization with the music generation processing, so that the graphics data G2 of the lyrics image that changes in accordance with the progress of the karaoke accompaniment music output from the DA converter 26. Is generated.

【0046】このようにしてDA変換器26から出力さ
れるカラオケ伴奏音楽のオーディオ信号A2と、グラフ
ィックス回路24から出力される歌詞画像のグラフィッ
クスデータG2がAVコントローラ27に供給される。
AVコントローラ27もCPU1により制御されて信号
経路が切り換えられており、オーディオ信号A2がミキ
シングアンプ28で増幅されてスピーカーシステム29
に供給され、シンセサイザー22により作り出されたカ
ラオケ伴奏音楽がスピーカーから鳴り出す。同時に、グ
ラフィックスデータG2による歌詞画像がディスプレイ
27にスーパーインポーズ表示される。
Thus, the audio signal A2 of the karaoke accompaniment music output from the DA converter 26 and the graphics data G2 of the lyrics image output from the graphics circuit 24 are supplied to the AV controller 27.
The signal path of the AV controller 27 is also switched under the control of the CPU 1, and the audio signal A 2 is amplified by the mixing amplifier 28 and the speaker system 29 is amplified.
, And the karaoke accompaniment music created by the synthesizer 22 sounds from the speaker. At the same time, the lyrics image based on the graphics data G2 is superimposed and displayed on the display 27.

【0047】なお以上では、グラフィックスデータG2
による歌詞画像の背景に何が表示されるのかは説明して
いない。ここまで説明したMIDIタイプの楽曲の再生
処理中にDVDプレーヤー11から出力されるビデオ信
号V1がAVコントローラ27を通じてディスプレイ3
1に表示されるが、この映像が前記の歌詞画像の背景映
像となる。この背景映像がDVDタイトル中からどのよ
うに選ばれて出力されるのかが、MIDIタイプの楽曲
データに含まれている映像借用台本データに規定されて
いる。このことについて以下に詳しく説明する。
In the above, the graphics data G2
Does not explain what is displayed on the background of the lyric image. The video signal V1 output from the DVD player 11 during the reproduction process of the MIDI type music described above is displayed on the display 3 via the AV controller 27.
1, this image is the background image of the lyrics image. How this background video is selected and output from the DVD title is defined in the video borrow script data included in the MIDI type music data. This will be described in detail below.

【0048】===背景借用台本データ=== DVDドライブ13に装填されている複数枚のDVDタ
イトルの全体で、たとえば5千曲分のMPEGタイプの
コンテンツが収録されているとする。それら各楽曲には
それぞれ専用のムード映像がカラオケAVデータの形で
記録されている。各楽曲のムード映像の平均の収録時間
をたとえば4分とすると、全体では5千×4分の映像デ
ータが存在することになる。この膨大な映像データを借
用することで、MIDIタイプ楽曲の演奏時の背景映像
を作り出す。
=== Background Borrow Script Data === It is assumed that the entire DVD title loaded in the DVD drive 13 contains MPEG-type content for, for example, 5,000 songs. In each of these songs, a dedicated mood video is recorded in the form of karaoke AV data. Assuming that the average recording time of the mood video of each music piece is, for example, 4 minutes, 5,000 × 4 minutes of video data exists in total. By borrowing this enormous amount of video data, a background video at the time of playing the MIDI type music is created.

【0049】MPEGタイプの各楽曲のムード映像には
前述のように歌詞画像は含まれていないので、これを他
の楽曲用の背景映像として借用することができる。また
各楽曲のムード映像はMPEGオーディオ・ビデオデー
タの形式でディスクに記録されており、1曲分のムード
映像はたとえばチャプターという概念で複数のパートに
区分されており、各映像パートはたとえばチャプター番
号という概念のパートIDで区別される。
As described above, the mood video of each song of the MPEG type does not include a lyric image, and can be borrowed as a background video for another song. The mood video of each music is recorded on a disc in the form of MPEG audio / video data, and the mood video of one music is divided into a plurality of parts by the concept of chapters, for example. Is distinguished by the part ID of the concept.

【0050】DVDコントローラ12は映像単独再生モ
ードでプレーヤー11を動作させる制御手段を備えてい
る。映像単独再生モードとは、DVDタイトルに記録さ
れているカラオケAVデータ中のビデオデータのみを部
分的に再生して出力する動作である。CPU1からDV
Dコントローラ12に対して映像単独再生モードの動作
指令を与え、かつ楽曲IDとパートIDを与えると、プ
レーヤー11では指定楽曲のムード映像中の指定パート
だけを再生してDA変換器17から出力する。
The DVD controller 12 has control means for operating the player 11 in the video independent playback mode. The video-only playback mode is an operation in which only video data in karaoke AV data recorded in a DVD title is partially played back and output. DV from CPU1
When an operation command of the video independent reproduction mode is given to the D controller 12 and a music ID and a part ID are given, the player 11 reproduces only the designated part in the mood video of the designated music and outputs it from the DA converter 17. .

【0051】MIDIタイプの楽曲データに含まれてい
る映像借用台本データとは、MPEGタイプ楽曲のカラ
オケAVデータのムード映像を部分的に借用して背景映
像を編集するために、借用しようとする複数の映像パー
トの識別情報を時系列に表現したもので、楽曲IDとパ
ートIDのセットを複数セット時系列に並べたデータ列
である。MIDIタイプ楽曲を演奏するときに、その楽
曲データに含まれる映像借用台本データに従ってDVD
プレーヤー11が映像単独再生モードで動作し、その動
作によって順次出力されるビデオ信号V1が、グラフィ
ックス信号G2による歌詞画像の背景映像としてディス
プレイ31に表示される。
The video borrow script data included in the MIDI type music data is a plurality of borrowed characters to be borrowed in order to partially borrow the mood video of the karaoke AV data of the MPEG type music and edit the background video. Is a data sequence in which a plurality of sets of music IDs and part IDs are arranged in chronological order. When playing a MIDI type song, the DVD is played according to the video borrow script data included in the song data.
The player 11 operates in the video single reproduction mode, and the video signal V1 sequentially output by the operation is displayed on the display 31 as the background video of the lyrics image based on the graphics signal G2.

【0052】以上詳しく説明した動作の流れを図2のフ
ローチャートに整理しているので参照されたい。なお、
楽曲と対応付けされていない共用映像をMPEGビデオ
データの形式で適当なDVDタイトルとして記録してデ
ータベース化しておき(それをDVDドライブ13に装
填しておく)、その共用映像データベースをMIDIタ
イプ楽曲の演奏時の背景映像に使う機能を追加すればよ
り望ましい。
The flow of the operation described in detail above is arranged in the flowchart of FIG. In addition,
The shared video that is not associated with the music is recorded as an appropriate DVD title in the form of MPEG video data and is converted into a database (the DVD is loaded into the DVD drive 13), and the shared video database is stored as MIDI type music. It is more desirable to add a function to be used for background images during performance.

【0053】[0053]

【発明の効果】この発明によれば、新曲配信を遅滞なく
行うことと、高品質なカラオケ伴奏音楽および各楽曲の
内容によく調和した楽曲専用ムード映像を提供すること
とを、高い次元で両立させることができる。つまり、コ
ンスタントな人気のあるスタンダード曲など、高品質な
音と適切なムード映像が求められる楽曲については、実
際に演奏したカラオケ伴奏音楽と楽曲専用に制作した歌
詞無しムード映像とを前記カラオケAVデータの形式で
用意する。このコンテンツの制作コストは高い。一方、
リクエストの少ない古い楽曲や人気の将来性が不透明な
新しめの楽曲、できるだけ早く補充する新曲などについ
ては、シンセサイザーを制御してカラオケ伴奏音楽を生
成するためのMIDIのようなデータ形式で制作する。
この形式のカラオケ生成データの制作コストが安いし、
楽曲専用のムード映像は制作しないので、制作が容易で
安価である。とくに後者のタイプの楽曲を演奏するとき
には前者のタイプのムード映像を巧みに借用して表示す
るので、きわめて合理的である。いずれのタイプも楽曲
の進行と合せて、歌詞描出データに基づいて歌詞画像が
リアルタイムにディスプレイに描画される。
According to the present invention, it is possible to deliver a new song without delay and to provide a high-quality karaoke accompaniment music and a mood image dedicated to the song that is in harmony with the content of each song at a high level. Can be done. In other words, for songs that require high-quality sound and an appropriate mood image, such as a constant popular standard song, the karaoke AV data includes the karaoke accompaniment music actually played and the lyrics-free mood image produced specifically for the song. Prepare in the format. The cost of producing this content is high. on the other hand,
Old songs that have few requests, new songs whose popularity is uncertain, and new songs that will be replenished as soon as possible are produced in a data format such as MIDI for controlling a synthesizer to generate karaoke accompaniment music.
The production cost of this format of karaoke generation data is low,
The production of mood videos dedicated to music is not done, so production is easy and inexpensive. In particular, when performing the latter type of music, the former type of mood image is skillfully borrowed and displayed, which is extremely reasonable. In each case, the lyrics image is drawn on the display in real time based on the lyrics rendering data in accordance with the progress of the music.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の一実施例によるカラオケ装置の概略
構成ブロック図である。
FIG. 1 is a schematic block diagram of a karaoke apparatus according to an embodiment of the present invention.

【図2】同上実施例装置の基本動作の流れを示したフロ
ーチャートである。
FIG. 2 is a flowchart showing a flow of a basic operation of the apparatus of the embodiment.

【符号の説明】[Explanation of symbols]

1 CPU 4 ハードディスクドライブ 11 DVDプレーヤー 1 CPU 4 Hard disk drive 11 DVD player

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G10K 15/04 302 G10H 1/00 G11B 27/34 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int. Cl. 7 , DB name) G10K 15/04 302 G10H 1/00 G11B 27/34

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 つぎの事項(a)〜(j)により特定さ
れるカラオケ装置。(a)AVデータ復号処理手段、音
楽生成処理手段、歌詞描出処理手段、制御手段を備え、
データベースより各種データを読みとって再生するカラ
オケ装置である。 (b)データベースには、カラオケAVデータ、カラオ
ケ生成データ、カラオケ生成データに対応した映像借用
台本データ、カラオケAVデータおよびカラオケ生成デ
ータに対応した歌詞描出データを備える。 (c)カラオケAVデータは、カラオケ伴奏音楽をディ
ジタル圧縮符号化したオーディオデータと、ムード映像
をディジタル圧縮符号化したビデオデータが多重化され
ている。 (d)カラオケ生成データは、音楽生成処理手段を制御
してカラオケ伴奏音楽を生成するためのデータである。 (e)映像借用台本データは、借用しようとするカラオ
ケAVデータのビデオデータの識別情報を時系列的に表
現したデータである。 (f)AVデータ復号処理手段は、カラオケAVデータ
を復号処理し、映像単独再生モードにおいてはビデオデ
ータのみを復号出力する。 (g)音楽生成処理手段は、カラオケ生成データに基づ
いてカラオケ伴奏音楽を生成する。 (h)歌詞描出処理手段は、歌詞描出データに基づいて
歌詞画像を出力する。 (i)制御手段は、リクエストされた楽曲のカラオケA
Vデータがデータベースに登録されている場合、リクエ
ストされた楽曲のカラオケAVデータと歌詞描出データ
を取り出して、AVデータ復号処理手段と歌詞描出処理
手段とにより同期的に処理を行わせる。 (j)制御手段は、リクエストされた楽曲のカラオケA
Vデータがデータベースに登録されていなくてカラオケ
生成データが登録されている場合、リクエストされた楽
曲のカラオケ生成データと歌詞描出データおよび映像借
用台本データを取り出して、音楽生成処理手段と歌詞描
出処理手段および映像単独再生モードでのAVデータ復
号処理手段により同期的に処理を行わせる。
1. A karaoke apparatus specified by the following items (a) to (j). (A) AV data decoding processing means, music generation processing means, lyrics rendering processing means, control means,
This is a karaoke device that reads and plays back various data from a database. (B) The database includes karaoke AV data, karaoke generation data, video borrow script data corresponding to the karaoke generation data, karaoke AV data, and lyrics rendering data corresponding to the karaoke generation data. (C) In the karaoke AV data, audio data obtained by digitally compressing and encoding karaoke accompaniment music and video data obtained by digitally compressing and encoding a mood video are multiplexed. (D) Karaoke generation data is data for controlling music generation processing means to generate karaoke accompaniment music. (E) The video borrowing script data is data expressing identification information of video data of the karaoke AV data to be borrowed in a time-series manner. (F) The AV data decoding processing means decodes the karaoke AV data, and decodes and outputs only the video data in the video independent reproduction mode. (G) The music generation processing means generates karaoke accompaniment music based on the karaoke generation data. (H) The lyrics rendering processing means outputs a lyrics image based on the lyrics rendering data. (I) The control means controls the karaoke A of the requested music.
When the V data is registered in the database, the karaoke AV data and the lyrics rendering data of the requested music are extracted, and the AV data decoding processing means and the lyrics rendering processing means perform the processing synchronously. (J) The control means controls the karaoke A of the requested music.
If the V data is not registered in the database but the karaoke generation data is registered, the karaoke generation data, the lyrics rendering data and the video borrow script data of the requested music are taken out, and the music generation processing means and the lyrics rendering processing means are taken out. In addition, processing is performed synchronously by AV data decoding processing means in the video independent playback mode.
【請求項2】 データベースのディジタル蓄積メディア
には再生専用光ディスクを用いる請求項1に記載のカラ
オケ装置。
2. The karaoke apparatus according to claim 1, wherein a read-only optical disk is used as the digital storage medium for the database.
【請求項3】 データベースのディジタル蓄積メディア
には書き換え可能な光ディスクを用いる請求項1に記載
のカラオケ装置。
3. The karaoke apparatus according to claim 1, wherein a rewritable optical disk is used as the digital storage medium for the database.
【請求項4】 データベースのディジタル蓄積メディア
には読み書き自在な蓄積メディアを用いる請求項1〜3
のいずれかに記載のカラオケ装置。
4. A readable and writable storage medium is used as a digital storage medium for a database.
A karaoke device according to any one of the above.
JP08304097A 1997-04-01 1997-04-01 Karaoke equipment Expired - Fee Related JP3294526B2 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP08304097A JP3294526B2 (en) 1997-04-01 1997-04-01 Karaoke equipment
US09/048,600 US6077084A (en) 1997-04-01 1998-03-26 Karaoke system and contents storage medium therefor
CA002233443A CA2233443C (en) 1997-04-01 1998-03-27 Karaoke system and contents storage medium therefor
TW087104711A TW460835B (en) 1997-04-01 1998-03-30 Karaoke system and contents storage medium therefor
DE69810685T DE69810685T2 (en) 1997-04-01 1998-04-01 Karaoke system
AT98302553T ATE231274T1 (en) 1997-04-01 1998-04-01 KARAOKE SYSTEM
EP98302553A EP0869475B1 (en) 1997-04-01 1998-04-01 A karaoke system
CN98109691.3A CN1115641C (en) 1997-04-01 1998-04-01 Karaoke system and contents storage medium therefor
HK99101242A HK1016314A1 (en) 1997-04-01 1999-03-24 A karaoke system
US09/490,649 US6139329A (en) 1997-04-01 2000-01-24 Karaoke system and contents storage medium therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08304097A JP3294526B2 (en) 1997-04-01 1997-04-01 Karaoke equipment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002051786A Division JP3983568B2 (en) 2002-02-27 2002-02-27 A karaoke device that partially uses the music-specific mood video for the background video of other music

Publications (2)

Publication Number Publication Date
JPH10282972A JPH10282972A (en) 1998-10-23
JP3294526B2 true JP3294526B2 (en) 2002-06-24

Family

ID=13791109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08304097A Expired - Fee Related JP3294526B2 (en) 1997-04-01 1997-04-01 Karaoke equipment

Country Status (1)

Country Link
JP (1) JP3294526B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865109B (en) * 2005-05-18 2012-06-13 日本Tmt机械株式会社 Driving mechanism for transverse moving device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904227B1 (en) 1999-02-15 2005-06-07 Nec Corporation Device and method for editing video and/or audio data recorded in a disc storage medium
KR20000073402A (en) * 1999-05-10 2000-12-05 윤재환 Karaoke system having a function for reproducing MPEG data and the method thereof
KR20010002804A (en) * 1999-06-17 2001-01-15 윤재환 Karaoke system having a Digital Versatile Disk and operation method for the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1865109B (en) * 2005-05-18 2012-06-13 日本Tmt机械株式会社 Driving mechanism for transverse moving device

Also Published As

Publication number Publication date
JPH10282972A (en) 1998-10-23

Similar Documents

Publication Publication Date Title
US6139329A (en) Karaoke system and contents storage medium therefor
JP3503958B2 (en) Omnibus karaoke performance device
US5827990A (en) Karaoke apparatus applying effect sound to background video
JP2007025570A (en) Karaoke sound-recording and editing device performing cut and paste editing on the basis of lyrics character
JP3294526B2 (en) Karaoke equipment
JP2000156049A (en) Audio medium and medium reproducing device
JP3194884B2 (en) Karaoke device content recording medium
JP3983568B2 (en) A karaoke device that partially uses the music-specific mood video for the background video of other music
JP3010936B2 (en) Music player
JPH1195761A (en) Karaoke machine
JPH10154380A (en) Storage medium, reproducing device of storage medium and reproducing method thereof
JP4563549B2 (en) Editing apparatus, method, and recording medium
JP3320056B2 (en) Karaoke video playback device
JP3529246B2 (en) Karaoke video playback device
JP3349589B2 (en) Karaoke playback device
JP2504264B2 (en) Audio device with video synthesis function
JP3926432B2 (en) Karaoke equipment
JP2003066975A (en) Karaoke apparatus
JP3941616B2 (en) Distribution method of online karaoke system
JP3381508B2 (en) Karaoke equipment
JPH04190397A (en) 'karaoke' (instrumental accompaniment) data recording medium and 'karaoke' (instrumental accompaniment) performing device
JP4060278B2 (en) Karaoke equipment
JP3000571U (en) Audio device with video synthesis function
JP2003108155A (en) Audiovisual amusement system intermittently reproducing long-story video together with karaoke performance
JP3908058B2 (en) Karaoke device characterized by background video selection system

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080405

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090405

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100405

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110405

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees