JP2004294888A - Music reproducing apparatus and program - Google Patents

Music reproducing apparatus and program Download PDF

Info

Publication number
JP2004294888A
JP2004294888A JP2003088719A JP2003088719A JP2004294888A JP 2004294888 A JP2004294888 A JP 2004294888A JP 2003088719 A JP2003088719 A JP 2003088719A JP 2003088719 A JP2003088719 A JP 2003088719A JP 2004294888 A JP2004294888 A JP 2004294888A
Authority
JP
Japan
Prior art keywords
music
video
video data
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003088719A
Other languages
Japanese (ja)
Inventor
Tatsuji Kawai
竜次 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2003088719A priority Critical patent/JP2004294888A/en
Publication of JP2004294888A publication Critical patent/JP2004294888A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily obtain cooperative relation between video and a musical piece even when video data used for video reproduction accompanying music reproduction are updated or added and so on. <P>SOLUTION: A video file is divided into video property information and MPEG2 video data and the video property information contains a genre code and a plurality of pieces of musical piece specification information. Musical piece specification information is further divided into a music number, a term of validity, and a priority level. When a karaoke musical piece is played, the name of a file of video data having the number of the music to be played as musical piece specification information is retrieved and the retrieved video data are used to display background video. Consequently, even when, for example, only the video data are updated or added, video reproduction based upon the updated or added video data is easily realized as the existent musical piece is reproduced. Namely, no alterations is necessary on the musical piece data side. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、楽曲を演奏する際に、その内容にマッチした画像を表示する機能を有する音楽再生装置に関する。
【0002】
【従来の技術】
従来より、楽曲を演奏する際に、その楽曲の内容にマッチした画像を表示する機能を有する音楽再生装置が知られており、その代表的なものとしてカラオケ装置が挙げられる。一般的な通信カラオケ装置においては、通信手段としてのモデムを内臓し、配信センタから次々に配信される新譜楽曲データを取り込み、カラオケ楽曲として提供することができる。
【0003】
一方で、背景映像に関しては、通信カラオケ装置の周辺機器として背景映像再生の専用装置を接続し、同装置に対して通信カラオケ装置から楽曲毎のジャンル情報等を送信し、楽曲のジャンルに適合した映像出力を得ると共に、通信カラオケ装置本体において生成した字幕映像と合成した上で、モニタに出力するものが多かった(例えば、特許文献1参照。)。
【0004】
【特許文献1】
特公平7−108025号公報
【0005】
【発明が解決しようとする課題】
このような背景映像再生のアルゴリズムには様々なものがあり、また、通信カラオケ装置本体と、背景映像再生の装置を一体化したものも登場しているが、楽曲データと異なり、映像データは配信による更新・追加が不可能であるものが大半であった。これは、楽曲データに対し、映像データの容量が非常に大きく、モデムによる通信では転送不可能であること、同じく容量の問題からハードディスク装置に保持することが難しいことによる。
【0006】
しかし、近年、ハードディスク装置の大容量化と、ADSL等ブロードバンドと呼ばれる高速の通信手段の普及によって、楽曲データと同様に映像データを配信することが現実的に可能となりつつある。そのため、背景映像をも配信によって更新・追加が可能な通信カラオケ装置が登場しつつあるが、大容量のハードディスク装置と、高速な通信手段が利用可能となっても、カラオケ楽曲のコンテンツ数に比して、背景映像のコンテンツ数が遥かに少なく、したがって従来通り大多数の楽曲においてはジャンルを用いたマッチングによる背景映像の再生に頼らざるを得ない点はこれまで通りである。
【0007】
ただし、カラオケ楽曲の数万にも上るコンテンツ全体からすれば少数ではあるが、楽曲固有に作成された専用の映像を、順次配信していくことによって、コンテンツの充実を図ることは可能になるのであり、これらは特に人気のある曲目、アニメなど映像文化との結びつきの強い曲目、歌手本人の映像を使用するようなプロモーション効果として利用される。また、ジャンルを用いたマッチング用に準備された汎用性のある背景映像も、繰り返し再生されていく内に次第に古臭く感じられるものであり、こうした背景映像を暫時入れ替えて行くことで、背景映像の内容に新鮮さを保つことが可能になる。
【0008】
このように、背景映像を配信可能とした通信カラオケ装置においては、従来通り多数の楽曲データを配信する一方で、それよりは遥かに少数の映像データを配信することで、効果的な運用を図ることになるが、楽曲データと映像データの配信量に開きが大きく、まったく非対称であることから、その連携に問題を生じることが予想される。
【0009】
従来、背景映像の配信が不可能であった旧来の通信カラオケ装置においては、固定量の映像データ群に対し、この全ての映像データ群を全ての楽曲データ群と結びつけるための膨大なデータ量のインデックスデータを保持するのが通常であった。このインデックスデータは、映像データの群体に対し、映像内容のジャンル毎に準備しておき、楽曲の再生に際しては、その楽曲のジャンルに応じたインデックスを閲覧し、インデックスに登録された映像データのいずれかを選び、これを再生するといった利用がなされる。ところが、背景映像を配信可能とした通信カラオケ装置においては、楽曲データと共に映像データも追加・更新されるのであり、このようなインデックスを用いて楽曲データと映像データの連携を図る方法には問題がある。また、映像データが追加・更新される毎にインデックスデータも追加・更新するとすれば、インデックスデータはデータ量が膨大でああり且つインデックスデータを全て送信する必要があるため、通信費が嵩むという問題がある。
【0010】
なお、これまでの説明では背景映像を配信にてカラオケ装置側へ送る場合を例示して説明したが、例えばCD−ROMやDVD−ROM等の記憶媒体を介して映像データの更新・追加を行う場合であっても同様の問題が生じる。
そこで、音楽再生に伴って映像再生を行う場合に用いる映像データの更新・追加等があっても、容易に映像と楽曲との連携関係を図れるようにすることを目的とする。
【0011】
【課題を解決するための手段及び発明の効果】
(1)上述した問題点を解決するためになされた請求項1に係る音楽再生装置は、楽曲データを記憶しておく楽曲データ記憶手段と、その楽曲データ記憶手段に記憶されている楽曲データに基づいて楽曲再生を行う楽曲再生手段と、映像データを記憶しておく映像データ記憶手段と、その映像データ記憶手段に記憶されている映像データに基づいて映像再生を行う映像再生手段とを備えており、映像再生手段が、楽曲再生手段による楽曲再生に伴って映像再生を行う。このような音楽再生装置としては、例えば請求項8に示すように、楽曲再生手段がカラオケ曲を再生し、映像再生手段が背景映像を再生するカラオケ装置として実現することができる。もちろん、楽曲がカラオケ曲ではなく通常の音楽曲であるような装置であってもよい。
【0012】
このような音楽再生装置において、映像データ記憶手段は、映像データに対応して当該映像データが再生されるべき対応楽曲を指定する情報(楽曲指定情報)を記憶しており、さらに、楽曲再生手段による楽曲再生に際して、当該楽曲を楽曲指定情報中において対応楽曲として指定している映像データを検索する検索手段を備えている。そして、映像再生手段は、検索手段の検索結果に基づいて映像データを再生する。
【0013】
なお、映像データに対応した楽曲指定情報の記憶の仕方としては、映像データ中に楽曲指定情報を含めてもよいし、また映像データと楽曲指定情報との対応関係を示すインデックステーブルの形式で映像データに付随させて記憶していても良い。
【0014】
このように、映像データ記憶手段が映像データに対応する楽曲指定情報を記憶し、楽曲再生手段による楽曲再生に際して、当該楽曲を楽曲指定情報中において対応楽曲として指定している映像データを検索するようにしたため、例えば映像データを更新・追加した場合であってもその映像データと対応する楽曲指定情報を追加・更新するので、既存の楽曲の再生に伴って、更新・追加した映像データによる映像再生が容易に実現できる。楽曲から映像を指定する従来方法では、例えばある楽曲再生に伴ってその楽曲専用の映像を再生させようとした場合、インデックス情報と映像データの両方あるいは楽曲データと映像データの両方を更新・追加しなくてはならないため、仮に映像データのみを更新したいと考えた場合であっても両者を更新等しなくてはならず、非効率的である。それに対して本発明の場合には、両方を変更・更新する必要がなく効率的である。このように、音楽再生に伴って映像再生を行う場合に用いる映像データの更新・追加等があっても、容易に映像と楽曲との連携関係を図れ、また楽曲データ・映像データを外部の配信センタから配信可能とした例えば通信カラオケ装置等に適用した場合であれば通信費が嵩むことがなくなる。
【0015】
(2)映像再生手段が映像再生に用いる映像データを決定する手法としては、例えば次に示す2つが挙げられる。
まずは、請求項2に示すように、予めインデックス情報を作成して記憶しておく手法である。つまり、映像データは楽曲指定情報を有し、インデックス情報生成手段が、映像データ記憶手段に記憶されている全ての映像データの楽曲指定情報を抽出し、映像データと楽曲データとの対応関係を示すインデックス情報を生成し、そのインデックス情報をインデックス情報記憶手段に記憶しておく。そして、検索手段が、そのインデックス情報記憶手段に記憶されているインデックス情報に基づいて映像再生に用いる映像データを決定するのである。このインデックス情報の生成は、例えば請求項3に示すように、映像データ記憶手段内における映像データの更新又は追加の度に行うことが考えられる。
【0016】
このようにすれば、インデックス情報のみを検索するだけで映像データの決定ができるため、決定に要する処理時間の低減が図れる。また楽曲データ・映像データを外部の配信センタから配信可能とした例えば通信カラオケ装置等に適用した場合であれば、インデックス情報自体は装置内で生成されるため通信が不要となり、通信費が嵩むことがない。
【0017】
一方、このようなインデックス情報を生成せず、請求項4に示すように、映像再生時にリアルタイムに検索しても良い。つまり、映像データは楽曲指定情報を有し、検索手段は、楽曲再生手段による楽曲再生に伴って映像再生を行う必要が生じた場合、映像データ記憶手段に記憶されている映像データの楽曲指定情報を検索し、映像再生手段は、その検索結果に基づいて、楽曲指定情報中において楽曲再生手段による楽曲再生の対象曲が対応楽曲として指定されている映像データの再生を行うのである。インデックス情報を予め生成しておいた方が確かに検索は高速化されるが、例えばCPUの高機能化によって必要時にリアルタイムに検索しても実用上問題ないのであれば、あえてインデックス情報を生成しなくてもよい。
【0018】
(3)ところで、楽曲と映像は必ず1対1の関係になくてはならないわけではなく、1対多(複数)であってもよい。つまり、複数の映像データの楽曲指定情報中において同じ曲が対応楽曲として指定されていてもよい。その場合、例えば最終的に映像再生に用いる映像データを決定するにあたり、例えばランダムに選択してもよいが、請求項5に示すようにしてもよい。つまり、楽曲指定情報に、当該情報の含められている映像データが対応楽曲に用いられる際の優先順位情報も含めておく。そして、検索手段が、楽曲再生手段による楽曲再生の対象となる楽曲を前記楽曲指定情報中において対応楽曲として指定している映像データが複数存在する場合には、その優先順位情報も加味して映像再生に用いる映像データを決定するのである。例えば最も優先順位が高いものを選択する、といったことである。
【0019】
(4)また、請求項6に示すように、楽曲指定情報に、当該情報の含められている映像データが対応楽曲に用いられることを許可する有効期限を示す情報も含めておき、検索手段が、その有効期限情報も加味して映像再生に用いる映像データを決定するようにしてもよい。これは、同じ曲に同じ内容の映像データが繰り返し再生される状態が続くと、次第に古臭く感じられていくため、背景映像を暫時入れ替えて行くことで背景映像の内容に新鮮さを保つための工夫である。例えば有効期限内であればその映像データを使用しても良いが、有効期限を過ぎるとその映像データは対応する楽曲については使用しないようにするのである。なお、映像データ自体をどのような楽曲に対しても使用しない、ということを意味するのではなく、対応楽曲毎に有効期限を異ならせれば、ある楽曲Aについては有効期限を過ぎているため使用しないが、別の楽曲Bについては有効期限内であるため使用する、といったことも当然可能である。
【0020】
(5)例えば上記(4)のように有効期限によって映像データの使用可否を判断した場合、楽曲指定情報に基づくだけでは映像再生に用いる映像データを決定できないことも考えられる。そこで、請求項7に示すようにすることも考えられる。つまり、映像データ中に、当該映像データに基づく映像再生がされるべき対応楽曲のジャンルを示す情報(ジャンル情報)も含めておく。そして、検索手段は、楽曲再生手段による楽曲再生の対象となる楽曲を楽曲指定情報中において対応楽曲として指定しており、且つ有効期限情報によって示された有効期限内の映像データが存在しない場合には、ジャンル情報に基づいて映像再生に用いる映像データを決定するのである。楽曲指定情報の場合には、楽曲と映像とをタイトにマッチングさせるものであるが、このジャンル情報の場合は、相対的に「ゆるやかな」マッチングである。このような両系統のマッチング手法を持つことで、映像と楽曲との連携関係をより適切に図ることができる。
【0021】
また、請求項1〜8の何れかに記載の音楽再生装置における映像再生手段及び検索手段をコンピュータにて実現する場合、例えばコンピュータで実行するプログラムとして備えることができる。このようなプログラムは、例えばフレキシブルディスク、光磁気ディスク、CD−ROM、ハードディスク、ROM、RAM等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして実行したり、ネットワークを介してロードして実行することにより、映像再生手段としての機能を実現できる。
【0022】
【発明の実施の形態】
以下、本発明が適用された実施例について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施例に何ら限定されることなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
【0023】
[カラオケ装置及びその周辺機器の構成]
図1は、本実施例の通信カラオケ装置1の構成及び稼働時の周辺機器の構成を示すブロック図である。
本実施例の通信カラオケ装置1は、通信カラオケ装置1全体の制御を司るCPU14、及びこのCPU14に接続された以下の各部、すなわち曲の予約操作などを行うための操作パネル10、画像情報等を映像化するための映像処理部11、MPEG2映像データの再生手段となるMPEGデコーダ12、カラオケ演奏用の楽曲データ(図2参照)や映像データ(図3参照)その他各種データを記憶しているハードディスク(HDD)13、システムプログラムや各種の設定に必要な設定データなどを記憶しておくメモリ15、LANインターフェース16、USBインターフェイス17、MIDIデータ(楽曲データ)に基づく演奏再生を行うMIDI音源部18、MIDI音源部18による再生音及び利用者(歌唱者)の歌声をミキシングする等して適宜音声処理を施す音声処理部19を備えている。
【0024】
音声処理部19はアンプ20と接続されており、音声処理部19から出力された音声情報に係る電気信号はアンプ20によって増幅等されてスピーカ22に出力され、このスピーカ22から伴奏曲及び利用者(歌唱者)の歌声等が発せられる。また、利用者(歌唱者)の歌声等はマイクロフォン(以下、単にマイクと称す。)23を介して音声処理部19に入力される。また、映像処理部11は背景画及び歌詞等を表示するモニタ26と接続されている。また、LANインターフェース16は、LANケーブルを介して接続されたADSLモデム27によって、インターネット30を経由した配信センタ50との通信を行うことができる。また、USBインターフェイス17は、オプションとして例えばDVD−ROMドライブ24を接続することが可能になっている。
【0025】
ここで、操作パネル10は、利用者によって操作されるものであり、任意の曲の選択、演奏音の音程の調整、演奏と歌との音量バランスの調整、その他エコー、音量、トーンなど各種調整を行うためのスイッチ・ボタン類を有している。
また、ハードディスク13には、楽曲データや画像情報などのコンテンツデータなどが記憶されている。そして、操作パネル10の操作部を介して曲が選択されると、CPU14は、楽曲データや画像情報をハードディスク13から呼び出して、映像処理部11およびMIDI音源部18に同期させて出力するようになっている。
【0026】
CPU14から出力されるMIDIデータは、MIDI音源部18においてアナログの演奏音信号に変換された後、音声処理部19へ送られ、マイク23を介して入力される利用者の歌唱音信号と適度な割合でミキシングされる。そして、このミキシングされた歌唱音信号と演奏音信号はアンプ20へ送られて電気的に増幅される。さらに、アンプ20からスピーカ22に出力され音声及び演奏音となってスピーカ22から外部へ出力される。
【0027】
一方、映像処理部11は、CPU14の制御の下、CPU14によってハードディスク13から読み出された画像情報(歌詞データ)に基づいて歌詞映像の再生を行うものである。CPU14によりハードディスク13から読み出された画像情報(背景画データ)は、MPEGデコーダ12によって背景映像として再生された後に映像処理部11によって歌詞映像と合成され、モニタ26へ出力される。これによって、モニタ26の画面に背景映像とともに歌詞テロップが表示される。
【0028】
なお、これらCPU14が実行する処理のためのソフトウェアもハードディスク13に格納されている。
このような構成のため、利用者は、モニタ26に表示される歌詞テロップを参照しながら、スピーカ22より流れるカラオケ演奏にあわせ、マイク23を使って歌唱できるようになっている。
【0029】
なお、本実施例においては、ハードディスク13が「楽曲データ記憶手段」、「映像データ記憶手段」及び「インデックス情報記憶手段」に相当し、CPU14及びMIDI音源部18が「楽曲再生手段」に相当し、CPU14及びMPEGデコーダ12が「映像再生手段」に相当する。また、CPU14は「検索手段」、「インデックス情報生成手段」にも相当する。さらに、操作パネル10が「指定手段」に相当する。
【0030】
[楽曲データの形式]
図2は、ハードディスク13内部に収録される楽曲データの形式を示す説明図である。
楽曲データは、曲目毎のコンテンツとして1楽曲1ファイルとして収録され、ハードディスク13内の/songディレクトリにまとめられており(図2(a)参照)、この楽曲データはインターネット30等を経由して配信センタ50から配信が可能である。そのファイル名にはその楽曲の曲番号そのものが付与されており、操作パネル10に対するユーザ操作による選曲(選曲番号の入力)によって、演奏すべき楽曲データの入ったファイルを特定できるようになっている。
【0031】
楽曲データの内部は、楽曲属性情報と、MIDI楽音データ/テキスト字幕データに分かれている(図2(b)参照)。楽音データと字幕データは、CPU14が再生ソフトウェアを用いてMIDI音源部18及び映像処理部11を制御することによりカラオケ楽曲演奏を行うものであるが、カラオケ装置において一般的な実装様態であるため、詳しい説明は行わない。
【0032】
一方、楽曲属性情報は、さらに楽曲名、歌手名、ジャンルコードなどに分かれている。図2(b)に示す例の場合には、曲番号555の楽曲データファイル(s000555.sng)は、楽曲名「まっ赤な男の子」、歌手名「歌美謡子」、ジャンルコード「6」となっており、本通信カラオケ装置1の運用上規定されているジャンルコード表(図2(c)参照)に従い、そのジャンルは「ナツメロ」であることがわかる。
【0033】
[映像データの形式]
図3は、ハードディスク13内部に収録される映像データの形式を示す説明図である。
映像データは、数十秒〜数分程度のコンテンツとして1映像1ファイルとして収録され、ハードディスク13の/videoディレクトリにまとめられており(図3(a)参照)、この楽曲データはインターネット30等を経由して配信センタ50から配信が可能である。。そのファイル名には、管理番号としての連番が振られているが、この管理番号自体には楽曲等との関係を示す意味はない。
【0034】
映像ファイルの内部は、映像属性情報と、MPEG2映像データの2つに分かれている(図3(b)参照)。MPEG2映像データは、MPEG規格による圧縮映像データであり、MPEGデコーダ12(図1参照)に送り込まれることによって、撮影・編集時の映像を再生できるものである。
【0035】
図3(b)に示すように、映像属性情報は、さらにジャンルコードと、複数の楽曲指定情報とが格納されており、楽曲指定情報は可変個数であるために楽曲指定情報数nの項目がある。
楽曲指定情報はさらに、曲番号、有効期限、優先順位とに分かれており、図3の例によれば、映像データファイルv00123.vobに収録された映像は、ジャンルコード[5]のアニメであり、曲番号[105番]での再生が所望されており、その有効期限は[2003/01/01]〜[2004/03/10]であり、優先順位は[9]となっている。
【0036】
この場合、この映像ファイルは、有効期限の範囲内であれば、曲番号105番においては優先順位9の最高順位で再生されることを示している。同時に、ジャンルコードが5のアニメであることから、有効期限に関係なく、ジャンル方式によって楽曲と映像をマッチングさせる場合には、適合ジャンルの楽曲であれば選択される可能性もあることを示している。
【0037】
この映像属性情報のジャンルコードには無効な値[0]を取ることも可能としており、[0]が指定されていれば、ジャンル方式での再生選択は発生しないため、楽曲指定情報による固有楽曲に完全に特化した映像とすることができるものである。
【0038】
また、楽曲指定情報は上述したように複数存在することができるが、このことにより、楽曲と映像を多対1の関係とすることも可能になっている。つまり、1つの映像を複数の曲に用いることができる。
[通信カラオケ装置1の動作説明]
図4は、通信カラオケ装置1にて実行される通信処理の概要を示すフローチャートである。
【0039】
通信カラオケ装置1は所定時間(例えば24時間)毎などの定期的サイクルにおいて通信処理を開始し(D01)、配信センタ50とのネットワーク接続を行って(D02)、配信センタ50より、新規に制作された楽曲データ及び映像データを取得する(D03)。この通信によるデータ配信処理については、既に一般的な実装態様であるため、特に詳しい説明を行わない。
【0040】
新規のデータを全て取得し終えると、配信センタ50との接続を切断する(D04)。その後、映像ファイルの配信を受けたか否か、つまり、配信データ中に、図3で示した映像データが含まれていたか否かの判断を行う(D05)。映像ファイルの配信を受けていなければ(D05:NO)、本通信処理を終了する(D08)。一方、映像ファイルの配信を受けていれば(D05:YES)、インデックスファイル2種の自動生成処理、すなわちジャンル映像インデックスファイルの生成処理(D06)及び曲番指定インデックスファイルの生成処理(D07)を行う。これらの自動生成処理の詳細については、図5、図7のフローチャートを参照して詳しく説明する。
【0041】
図5は、図4のD06にて実行されるジャンル映像インデックスの自動生成処理の詳細を示すフローチャートである。また、図6は、本処理によって生成されるジャンル映像インデックスの形式を示している。
ジャンル映像インデックスの生成処理が開始すると(E01)、まず、ハードディスク13内にある古いインデックスファイルを消去し(E02)、新しい空のインデックスファイルを作成する(E03)。
【0042】
次に、E04〜E08のループ処理において、多数の映像ファイルを格納したディレクトリ(/videoディレクトリ)について、全ての映像ファイルを検索・処理する。この/videoディレクトリ内には、通信カラオケ装置1の製品出荷段階から既に多数の映像ファイルが格納されていると共に、先の通信処理において新規に追加または更新された映像ファイルが含まれているものである。映像ファイルの形式については既に説明した通りである。
【0043】
E04〜E08のループ内処理において映像ファイルを1つ選択すると、映像ファイルのヘッダ部、すなわち図3における映像属性情報を読み出す(E05)。映像属性情報に書かれたジャンルコード1〜6に応じて、図6に示したジャンル映像インデックスデータ中のジャンル1〜6のいずれかのファイル名リストに、同ファイルのファイル名を記載し、件数をインクリメント(+1)する(E06)。この処理によって、映像ファイルがジャンル映像インデックスに登録されたことになる。また、先に説明したように、ジャンルコードが無効な「0」を示す場合があるが、この場合はE06の処理が実質的に行われることなく、ジャンルインデックスには登録されない。
【0044】
ファイル名の登録処理(E06)を終えると、次の映像ファイルの処理に進み(E07)、全映像ファイルについて同様の処理を終えるまで繰り返す(E08)。全映像ファイルの処理を終えると、ジャンル映像インデックスの生成処理は終了する(E09)。
【0045】
図7は、図4のD07にて実行される曲番指定映像インデックスの自動生成処理の詳細を示すフローチャートである。また、図8は、本処理によって生成される曲番指定映像インデックスの形式を示している。
曲番指定映像インデックスの生成処理が開始すると(G01)、まず、ハードディスク13内にある古いインデックスファイルを消去し(G02)、新しい空のインデックスファイルを作成する(G03)。
【0046】
次に、G04〜G08のループ処理において、多数の映像ファイルを格納したディレクトリ(/videoディレクトリ)について、全ての映像ファイルを検索・処理する。
G04〜G08のループ内処理において映像ファイルを1つ選択すると、映像ファイルのヘッダ部、すなわち図3における映像属性情報を読み出す(G05)。次に、映像属性情報の先頭に、データサイズと、ファイル名を付け加えた後に、インデックスデータに書き加える処理を行う(G06)。言い換えれば、映像ファイルのファイル名と共に、そのファイルの先頭にある属性情報だけを、曲番指定映像インデックスファイルに収集する処理を行うものである。この処理によって、当該映像ファイルが曲番指定映像インデックスに登録されたことになる。
【0047】
上記登録処理(G06)を終えると、次の映像ファイルの処理に進み(G07)、全映像ファイルについて同上の処理を終えるまで繰り返す(G08)。全映像ファイルの処理を終えると、曲番指定映像インデックスの生成処理は終了する(G09)。
【0048】
なお、この図7に示す曲番指定映像インデックスの自動生成処理が、「インデックス情報生成手段」としての処理に相当する。
以上、図4〜図8を用いて、通信カラオケ装置1が通信による映像データの配信を受け、2種類のインデックスデータを装置内で生成する動作について説明した。
【0049】
次に、図9のフローチャートに基づき、上記生成された2種のインデックスデータと、楽曲データと、映像データとがどのように用いられてカラオケ楽曲演奏が実行されるかを説明する。
図9に示した演奏処理は、操作パネル10に対するユーザによるパネル操作の発生によって開始され(I01)、曲番号が入力されるのを待つ(I02)。曲番号が入力されて曲番号に応じた楽曲データを読込むと(I03)、I04〜I09の処理において曲番指定映像インデックスの検索を行う。図8にそのデータ形式を示したように曲番指定映像インデックスには楽曲指定情報が格納されており、また楽曲指定情報中には、図3に示すように曲番号が格納されているため、その中にユーザから受け付けた曲番号と一致するものが存在するかどうかをチェックし(I05)、一致する曲番号が存在しなければ(I05:NO)、次のデータに進む(I08)。
【0050】
曲番号が一致するのであれば(I05:YES)、CPU14が参照するカレンダ(図示せず)を用いて現在日付がその曲番号と共に楽曲指定情報に格納されている有効期限(図3参照)内であるかどうかをチェックする(I06)。そして、有効期限内であれば(I06:YES)、そのデータ中に含まれている(映像)ファイル名(図8参照)を選択候補としてメモリ15内の選択候補バッファに追加する(I07)。一方、現在日付が有効期限内になければ(I06:NO)、選択候補には加えず、I08へ移行する。
【0051】
このように、I04〜I09の処理において、曲番号指定映像インデックスをチェックし、選択された楽曲を個別に指定している映像データのファイル名を抽出する。もちろん、この抽出結果がゼロである可能性もある。
そこで、I10においては選択候補バッファが空(つまり、選択候補がゼロ)か否かを判断し、選択候補がゼロである場合には(I10:YES)、I11に分岐し、今後はジャンル映像インデックスを用いた映像選択アルゴリズムに切り替える。このI11においては、図6に示したジャンル映像インデックスデータ内から、I02にて受け付けた楽曲のジャンルコードに応じたリストを選び、リスト内から映像ファイル名をランダムに選択する処理を行う。
【0052】
一方、I10において、選択候補が1以上ある場合には(I10:NO)、その選択候補中から優先順位値が最も高い映像ファイル名を選択する、2次抽出を行う(I12)。この優先順位値とは、図3において示した楽曲指定情報中の優先順位の項目に記載された値のことである。
【0053】
このように、I11におけるジャンル映像インデックスを用いた映像選択、またはI12における曲番指定映像インデックスを用いた映像選択の、2種の映像選択方法のいずれかによって選出された映像ファイルは、I13において再生が開始され、映像信号としてMPEGデコーダ12より映像処理部11へ出力される。
【0054】
また、I14においては、ユーザ選曲された楽曲の楽音と字幕テキストの再生も開始される。これらデータの再生処理の詳細については、一般的な実装態様であるため説明を省略する。
I14での楽曲の再生が開始されると、I15において楽曲の再生終了(又は操作パネル10に対するユーザによる停止操作)を待機し、楽曲再生が終了すると、I16において演奏処理は終了する。そして、次曲を待機することとなる。
【0055】
なお、図9のI04〜I09の処理が「検索手段」としての処理に相当する。
[実施例の効果]
(a)本実施例の通信カラオケ装置1によれば、カラオケ楽曲の演奏に際して、ハードディスク13内に記憶された曲番指定映像インデックスデータ中から、演奏する曲の番号を楽曲指定情報として持つ映像データのファイル名を検索し、その検索された映像データを用いて背景映像を表示するようにしている。そのため、例えば映像データを更新・追加した場合であっても、既存の楽曲の再生に伴って、更新・追加した映像データによる映像再生が容易に実現できる。楽曲データ側から映像データ側を指定する従来方法では、例えばある楽曲再生に伴ってその楽曲専用の映像を再生させようとした場合、インデックス情報と映像データの両方あるいは楽曲データと映像データの両方を更新・追加しなくてはならないため、仮に映像データのみを更新したいと考えた場合であっても両者を更新等しなくてはならず、非効率的である。それに対して本実施例の場合には、両方を変更・更新する必要がなく効率的である。このように、音楽再生に伴って映像再生を行う場合に用いる映像データの更新・追加等があっても、容易に映像と楽曲との連携関係を図れ、また本実施例では楽曲データ・映像データを配信センタ50から配信するようにしているが、その配信すべきデータ量が相対的に減るため通信費が嵩むことがなくなる。
【0056】
(b)また、図9に示すように、ジャンル映像による映像選択方法と、曲番号指定による固有の映像選択方法との両方の映像選択アルゴリズムを備えている。そのため、映像データを両者に共通のものとすることも、共通しない完全な曲番号固有のものとすることも、映像データの制作時に自由に決定でき、映像コンテンツの有効利用を図ることができる。
【0057】
(c)また、曲番号指定による固有の映像選択においては、その指定情報に有効期限と優先順位とを持たせているため、例えば人気のある楽曲について一定期間のみタイアップした映像を使用し、人気の収束と共に通常のジャンルによるマッチング映像に戻る、といった運用が可能になる。
【0058】
[別実施例]
(1)上記実施例では、映像データの配信があった場合に曲番指定映像インデックスデータ及びジャンル映像インデックスデータを生成してハードディスク13に格納するようにした。このようにすれば、そのインデックスデータのみを検索するだけで映像データの決定ができるため、決定に要する処理時間の低減が図れる。但し、このようなインデックスデータを生成せず、映像データを検索する必要が生じた場合にリアルタイムで検索する手法も採用可能である。
【0059】
つまり、図3に示すような映像データをハードディスク13に格納しておき、検索時には、その映像データ中の映像属性情報を順番に検索していくようにしても実現可能である。もちろん、上記実施例のようなインデックスデータを予め生成しておく場合に比べれば相対的に検索に要する時間は増加するが、CPU14の高機能化によって実用上問題ない検索時間になるのであれば、あえてインデックス情報を生成しなくてもよい。
【0060】
(2)上記実施例では、いわゆる通信カラオケシステムとして、配信センタ50から通信カラオケ装置1へ映像データを配信するようにしたが、例えばCD−ROMやDVD−ROM等の記憶媒体を介して映像データの更新・追加を行う場合であっても同様に実現でき、同様の効果を得ることができます。
【0061】
また、カラオケ装置以外であっても、音楽再生に伴って映像再生を行う場合に用いる映像データの更新・追加等が発生するような音楽再生装置であれば、同様に適用できる。
(3)上記実施例では、図3に示すように、映像データ中に楽曲指定情報が含まれており、それに基づいて曲番指定映像インデックスデータを生成していたが、例えば映像データとは別に、映像データのファイル名と楽曲指定情報との対応関係を示すデータを配信センタ50から通信カラオケ装置1に配信してもよい。つまり、つまり、上記実施例では通信カラオケ装置1内で生成している曲番指定映像インデックスデータのような形式のデータを配信するのである。
【0062】
但し、上記実施例のような映像データ中に楽曲指定情報を含めて配信した方が、以下の点で好ましい。例えば、通信カラオケシステムにおいて、全国の通信カラオケ装置に対して、まず曲番指定映像インデックスデータを配信し、次いで10個の映像データを配信するような場合を考える。個々のカラオケ装置毎に通信状況は異なるのが当然であるため、10個全ての映像データを取得完了した装置もあれば、2つしか取得していない装置も発生し得る。この場合、後者のカラオケ装置においては、曲番指定映像インデックスデータに新しく配信される予定の10個の映像データが登録されているにもかかわらず実際には2個の映像データしか受信していないため、実際の映像再生に際して映像データが見つからないという不具合を生じることになる。それでは、例えば10個の映像データを配信し終えたところで、改めて対応関係情報を配信すればよいようにも思えるが、高速回線とはいえ映像データの配信には長時間を要するのであり、配信を終えた映像データが個別に利用可能でなければ、映像データを時節に応じて更新可能であるという折角の利点が減じてしまう。したがって、このような観点で、上記実施例のような映像データ中に楽曲指定情報を含めて配信する手法は利点がある。
【図面の簡単な説明】
【図1】実施例の通信カラオケ装置1の構成及び稼働時の周辺機器の構成を示すブロック図である。
【図2】実施例の通信カラオケ装置1のハードディスク13内部に収録される楽曲データの形式を示す説明図である。
【図3】ハードディスク13内部に収録される映像データの形式を示す説明図である。
【図4】通信カラオケ装置1にて実行される通信処理の概要を示すフローチャートである。
【図5】図4のD06にて実行されるジャンル映像インデックスの自動生成処理の詳細を示すフローチャートである
【図6】図5の処理によって生成されるジャンル映像インデックスの形式を示す説明図である。
【図7】図4のD07にて実行される曲番指定映像インデックスの自動生成処理の詳細を示すフローチャートである。
【図8】図7の処理によって生成される曲番指定映像インデックスの形式を示す説明図である。
【図9】実施例の通信カラオケ装置1にて実行されるカラオケ演奏処理を示すフローチャートである。
【符号の説明】
1…通信カラオケ装置、10…操作パネル、11…映像処理部、12…MPEGEデコーダ、13…ハードディスク、14…CPU、15…メモリ、16…LANインターフェース、17…USBインターフェイス、18…MIDI音源部、19…音声処理部、20…アンプ、22…スピーカ、23…マイクロフォン、24…DVD−ROMドライブ、26…モニタ、27…ADSLモデム、30…インターネット、50…配信センタ。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a music reproducing apparatus having a function of displaying an image that matches the content of a music piece when the music piece is played.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a music reproducing apparatus having a function of displaying an image matching the content of a music piece when playing the music piece has been known, and a karaoke apparatus is a typical example thereof. In a general communication karaoke apparatus, a modem as communication means is built in, and new music piece data distributed one after another from a distribution center can be taken in and provided as karaoke music.
[0003]
On the other hand, as for the background video, a dedicated device for reproducing the background video is connected as a peripheral device of the communication karaoke device, and genre information and the like for each music are transmitted from the communication karaoke device to the device, and the genre of the music is adapted. In many cases, a video output is obtained, combined with a caption video generated in the communication karaoke apparatus main body, and then output to a monitor (for example, see Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent Publication No. 7-108025
[0005]
[Problems to be solved by the invention]
There are various algorithms for such background video playback, and some have integrated the communication karaoke device itself and the background video playback device, but unlike music data, video data is distributed. In most cases, updating / adding was impossible. This is because the video data has a very large capacity with respect to the music data and cannot be transferred by communication using a modem, and it is also difficult to hold the music data in the hard disk device due to the capacity problem.
[0006]
However, in recent years, with the increase in the capacity of the hard disk drive and the spread of high-speed communication means called broadband such as ADSL, it has become practically possible to distribute video data as well as music data. For this reason, communication karaoke devices that can update and add background images by distribution are also emerging, but even if large-capacity hard disk devices and high-speed communication means become available, the number of karaoke songs will be smaller than the number of karaoke songs. The number of contents of the background video is much smaller, and therefore, as in the past, the majority of music pieces have to rely on the reproduction of the background video by matching using the genre.
[0007]
However, it is possible to enrich the content by sequentially distributing dedicated videos created unique to the song, although it is a small number of the tens of thousands of karaoke songs as a whole. Yes, these are used as promotional effects such as the use of particularly popular songs, songs with strong ties to image culture such as animation, and images of the singer himself. In addition, versatile background videos prepared for genre-based matching can also gradually feel old-fashioned as they are repeatedly played back. It is possible to keep fresh.
[0008]
As described above, in the communication karaoke apparatus capable of distributing the background video, effective operation is achieved by distributing a large number of music data as usual, but distributing a much smaller number of video data. However, since the distribution amount of the music data and the video data has a large difference and is completely asymmetric, it is expected that a problem will occur in the coordination.
[0009]
Conventionally, in a conventional communication karaoke apparatus in which background video could not be distributed, a huge amount of data for linking all video data groups to all music data groups was used for a fixed amount of video data groups. It was usual to hold index data. This index data is prepared for a group of video data for each genre of video content, and when reproducing a music, an index corresponding to the genre of the music is browsed, and any of the video data registered in the index is read. Is used, and this is reproduced. However, in a communication karaoke apparatus capable of distributing background video, video data is added / updated together with music data, and there is a problem in a method of linking music data and video data using such an index. is there. Also, if index data is added / updated every time video data is added / updated, the communication cost increases because the amount of index data is enormous and all index data needs to be transmitted. There is.
[0010]
In the above description, the case where the background video is transmitted to the karaoke apparatus side by distribution has been described as an example. However, for example, update / addition of video data is performed via a storage medium such as a CD-ROM or a DVD-ROM. Even in this case, a similar problem occurs.
Therefore, it is an object of the present invention to easily establish a cooperative relationship between a video and a music piece even when video data used for performing video reproduction along with music reproduction is updated or added.
[0011]
Means for Solving the Problems and Effects of the Invention
(1) A music reproducing apparatus according to claim 1, which has been made to solve the above-mentioned problems, includes a music data storage unit for storing music data, and a music data stored in the music data storage unit. Music reproduction means for reproducing music based on the video data, video data storage means for storing video data, and video reproduction means for reproducing video based on the video data stored in the video data storage means. The video playback means performs video playback along with music playback by the music playback means. Such a music reproducing device can be realized as a karaoke device in which a music reproducing device reproduces a karaoke song and a video reproducing device reproduces a background video, for example. Of course, the device may be such that the music is not a karaoke song but a normal music song.
[0012]
In such a music reproducing apparatus, the video data storage means stores information (song specifying information) for specifying the corresponding music to be reproduced in correspondence with the video data. When the music is played back by the user, there is provided a search means for searching for video data in which the music is designated as the corresponding music in the music designation information. Then, the video reproduction means reproduces the video data based on the search result of the search means.
[0013]
As a method of storing the music designation information corresponding to the video data, the music designation information may be included in the video data, or the video data may be stored in an index table format indicating the correspondence between the video data and the music designation information. It may be stored together with the data.
[0014]
In this way, the video data storage means stores the music designation information corresponding to the video data, and when the music reproduction means reproduces the music, the video data specifying the music as the corresponding music in the music designation information is searched. Therefore, for example, even if the video data is updated / added, the music designation information corresponding to the video data is added / updated. Can be easily realized. In the conventional method of specifying a video from a song, for example, if an attempt is made to reproduce a video dedicated to the song along with the reproduction of a song, both the index information and the video data or both the song data and the video data are updated / added. Therefore, even if it is desired to update only the video data, both must be updated, which is inefficient. On the other hand, in the case of the present invention, there is no need to change or update both of them, and it is efficient. In this way, even if the video data used for playing the video along with the music playback is updated or added, the cooperative relationship between the video and the music can be easily achieved, and the music data / video data can be distributed externally. If the present invention is applied to, for example, a communication karaoke apparatus which can be distributed from the center, the communication cost does not increase.
[0015]
(2) As a method of determining video data to be used for video reproduction by the video reproduction means, for example, the following two methods are available.
First, as described in claim 2, there is a method in which index information is created and stored in advance. That is, the video data has song designation information, and the index information generation unit extracts the song designation information of all the video data stored in the video data storage unit, and indicates the correspondence between the video data and the song data. Index information is generated, and the index information is stored in the index information storage unit. Then, the search means determines video data to be used for video playback based on the index information stored in the index information storage means. The generation of the index information may be performed every time the video data is updated or added in the video data storage means.
[0016]
With this configuration, the video data can be determined only by searching for the index information alone, so that the processing time required for the determination can be reduced. Also, if the present invention is applied to, for example, a communication karaoke device or the like in which music data and video data can be distributed from an external distribution center, communication becomes unnecessary because index information itself is generated in the device, thereby increasing communication costs. There is no.
[0017]
On the other hand, without generating such index information, a search may be performed in real time at the time of video reproduction, as described in claim 4. In other words, the video data has music designation information, and the search means, when it is necessary to perform video playback along with music playback by the music playback means, the music designation information of the video data stored in the video data storage means Is searched, and the video reproducing means reproduces the video data in which the music to be reproduced by the music reproducing means is specified as the corresponding music in the music specifying information based on the search result. If index information is generated in advance, the search speed will be increased. However, if there is no practical problem even if the search is performed in real time when necessary due to the enhancement of the CPU, the index information is generated. It is not necessary.
[0018]
(3) By the way, the music and the video do not necessarily have to be in a one-to-one relationship, and may be one-to-many (plural). That is, the same song may be designated as the corresponding song in the song designation information of a plurality of video data. In that case, for example, when deciding finally video data to be used for video reproduction, the video data may be selected, for example, at random, but may be set forth in claim 5. That is, the music designation information also includes priority information when the video data including the information is used for the corresponding music. If the search means includes a plurality of pieces of video data specifying the music to be played by the music playing means as the corresponding music in the music specifying information, the search means considers the priority order information and takes the video into account. The video data used for reproduction is determined. For example, the one with the highest priority is selected.
[0019]
(4) Further, as described in claim 6, the music designation information also includes information indicating an expiration date for permitting the video data including the information to be used for the corresponding music, and the search means is provided. The video data used for video reproduction may be determined in consideration of the expiration date information. The idea is to keep the background video content fresh by replacing the background video for a while, because if the same song is repeatedly played back with the same content of video data, it will gradually feel old-fashioned. It is. For example, the video data may be used within the expiration date, but after the expiration date, the video data is not used for the corresponding music. It does not mean that the video data itself is not used for any music, but if the expiration date is made different for each corresponding music, a certain music A is used because the expiration date has passed. However, it is naturally possible to use another song B because it is within the expiration date.
[0020]
(5) For example, when the availability of video data is determined based on the expiration date as in the above (4), it is conceivable that the video data to be used for video playback cannot be determined only based on the music designation information. In view of this, it is conceivable to make the configuration shown in claim 7. That is, information (genre information) indicating the genre of the corresponding music piece to be reproduced based on the video data is also included in the video data. Then, the search means specifies the music to be played by the music playing means as the corresponding music in the music designation information, and when there is no video data within the expiration date indicated by the expiration date information, Determines video data to be used for video reproduction based on genre information. In the case of the music designation information, the music and the video are tightly matched, but in the case of the genre information, the matching is relatively “loose”. By having such a matching method of both systems, it is possible to more appropriately establish a cooperative relationship between the video and the music.
[0021]
In the case where the video playback unit and the search unit in the music playback device according to any one of claims 1 to 8 are realized by a computer, the video playback unit and the search unit can be provided as, for example, a program executed by the computer. Such a program is recorded on a computer-readable recording medium such as a flexible disk, a magneto-optical disk, a CD-ROM, a hard disk, a ROM, and a RAM, and is loaded and executed on a computer as necessary. The function as a video reproducing means can be realized by loading and executing the program through the interface.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments to which the present invention is applied will be described with reference to the drawings. It should be noted that the embodiments of the present invention are not limited to the following examples, and can take various forms as long as they belong to the technical scope of the present invention.
[0023]
[Configuration of Karaoke Apparatus and Peripheral Equipment]
FIG. 1 is a block diagram showing the configuration of the communication karaoke apparatus 1 of the present embodiment and the configuration of peripheral devices during operation.
The communication karaoke apparatus 1 according to the present embodiment includes a CPU 14 that controls the entire communication karaoke apparatus 1, and the following units connected to the CPU 14, that is, an operation panel 10 for performing a song reservation operation and the like, image information, and the like. A video processing unit 11 for visualization, an MPEG decoder 12 as a means for reproducing MPEG2 video data, a hard disk storing music data for karaoke performance (see FIG. 2), video data (see FIG. 3) and other various data (HDD) 13, a memory 15 for storing system programs and setting data necessary for various settings, a LAN interface 16, a USB interface 17, a MIDI sound source section 18 for playing back music based on MIDI data (song data), Mixing the sound reproduced by the MIDI sound source section 18 and the singing voice of the user (singer) And a voice processing unit 19 for performing equal as appropriate audio processing.
[0024]
The audio processing unit 19 is connected to the amplifier 20, and the electric signal related to the audio information output from the audio processing unit 19 is amplified and output by the amplifier 20 to the speaker 22, and the accompaniment music and the user The singing voice of (singer) is emitted. The singing voice of the user (singer) is input to the audio processing unit 19 via a microphone (hereinafter, simply referred to as a microphone) 23. The video processing unit 11 is connected to a monitor 26 that displays a background image, lyrics, and the like. The LAN interface 16 can communicate with the distribution center 50 via the Internet 30 by the ADSL modem 27 connected via a LAN cable. The USB interface 17 can be connected to, for example, a DVD-ROM drive 24 as an option.
[0025]
Here, the operation panel 10 is operated by the user, and allows selection of an arbitrary song, adjustment of the pitch of the performance sound, adjustment of the volume balance between the performance and the song, and other various adjustments such as echo, volume, and tone. Switches and buttons for performing the operation.
The hard disk 13 stores music data, content data such as image information, and the like. Then, when a song is selected via the operation unit of the operation panel 10, the CPU 14 calls up song data and image information from the hard disk 13 and outputs the data in synchronization with the video processing unit 11 and the MIDI sound source unit 18. Has become.
[0026]
The MIDI data output from the CPU 14 is converted into an analog performance sound signal in the MIDI sound source section 18, sent to the audio processing section 19, and converted into an appropriate singing sound signal of the user through the microphone 23. Mixing at a ratio. Then, the mixed singing sound signal and performance sound signal are sent to the amplifier 20 and are electrically amplified. Further, the sound is output from the amplifier 20 to the speaker 22 and is output as voice and performance sound from the speaker 22 to the outside.
[0027]
On the other hand, the video processing unit 11 reproduces a lyrics video based on image information (lyrics data) read from the hard disk 13 by the CPU 14 under the control of the CPU 14. The image information (background image data) read from the hard disk 13 by the CPU 14 is reproduced as a background image by the MPEG decoder 12, combined with the lyrics image by the image processing unit 11, and output to the monitor 26. As a result, the lyrics telop is displayed on the screen of the monitor 26 together with the background video.
[0028]
The software for the processing executed by the CPU 14 is also stored in the hard disk 13.
With such a configuration, the user can sing using the microphone 23 in accordance with the karaoke performance played from the speaker 22 while referring to the lyrics telop displayed on the monitor 26.
[0029]
In the present embodiment, the hard disk 13 corresponds to a “song data storage unit”, a “video data storage unit”, and an “index information storage unit”, and the CPU 14 and the MIDI sound source unit 18 correspond to a “song reproduction unit”. , The CPU 14 and the MPEG decoder 12 correspond to “video playback means”. The CPU 14 also corresponds to “search means” and “index information generation means”. Further, the operation panel 10 corresponds to “designating means”.
[0030]
[Song data format]
FIG. 2 is an explanatory diagram showing the format of music data recorded in the hard disk 13.
The music data is recorded as one music and one file as contents for each music, and is collected in the / song directory in the hard disk 13 (see FIG. 2A), and the music data is distributed via the Internet 30 or the like. Distribution is possible from the center 50. The music number itself of the music is given to the file name, and a file containing music data to be played can be specified by music selection (input of music selection number) by a user operation on the operation panel 10. .
[0031]
The inside of the music data is divided into music attribute information and MIDI musical sound data / text subtitle data (see FIG. 2B). The music data and the subtitle data are used for performing karaoke music performance by controlling the MIDI sound source section 18 and the video processing section 11 by the CPU 14 using reproduction software. No detailed explanation is given.
[0032]
On the other hand, the music attribute information is further divided into a music name, a singer name, a genre code, and the like. In the case of the example shown in FIG. 2B, the music data file (s000555.sng) of the music number 555 is composed of a music name “Maru-Red Boy”, a singer name “Utami Yoko”, and a genre code “6”. According to the genre code table (see FIG. 2C) specified for the operation of the communication karaoke apparatus 1, it can be seen that the genre is "jujube".
[0033]
[Video data format]
FIG. 3 is an explanatory diagram showing the format of video data recorded in the hard disk 13.
The video data is recorded as one video and one file as content of several tens of seconds to several minutes, and is collected in the / video directory of the hard disk 13 (see FIG. 3A). The distribution can be performed from the distribution center 50 via the Internet. . Although a serial number is assigned to the file name as a management number, the management number itself has no meaning indicating a relationship with a music or the like.
[0034]
The inside of the video file is divided into two pieces, video attribute information and MPEG2 video data (see FIG. 3B). The MPEG2 video data is compressed video data according to the MPEG standard, and can be played back at the time of shooting / editing by being sent to the MPEG decoder 12 (see FIG. 1).
[0035]
As shown in FIG. 3B, the video attribute information further stores a genre code and a plurality of pieces of music designation information. is there.
The song designation information is further divided into a song number, an expiration date, and a priority. According to the example of FIG. 3, the video data file v00123. The video recorded in the vob is an animation of the genre code [5], which is desired to be reproduced at the music number [105], and whose expiration date is [2003/01/01] to [2004/03/2004]. 10], and the priority is [9].
[0036]
In this case, if the video file is within the validity period, it is shown that the music file is reproduced at the highest priority of the ninth priority at the music number 105. At the same time, since the genre code is an animation of 5, regardless of the expiration date, if the music and the video are matched by the genre method, it is possible that the music of the matching genre may be selected. I have.
[0037]
It is also possible to take an invalid value [0] for the genre code of this video attribute information. If [0] is specified, the reproduction selection in the genre method does not occur. The video can be completely specialized.
[0038]
As described above, a plurality of pieces of music designation information can exist, and this makes it possible to establish a many-to-one relationship between music and video. That is, one video can be used for a plurality of songs.
[Description of operation of communication karaoke apparatus 1]
FIG. 4 is a flowchart illustrating an outline of a communication process performed by the communication karaoke apparatus 1.
[0039]
The communication karaoke apparatus 1 starts a communication process in a regular cycle such as every predetermined time (for example, every 24 hours) (D01), establishes a network connection with the distribution center 50 (D02), and newly produces the content from the distribution center 50. The obtained music data and video data are acquired (D03). Since the data distribution processing by this communication is already a general implementation mode, it will not be described in detail.
[0040]
When all the new data has been obtained, the connection with the distribution center 50 is disconnected (D04). Thereafter, it is determined whether or not the distribution of the video file has been received, that is, whether or not the distribution data includes the video data shown in FIG. 3 (D05). If the distribution of the video file has not been received (D05: NO), the communication processing is terminated (D08). On the other hand, if the distribution of the video file has been received (D05: YES), the automatic generation processing of two types of index files, that is, the generation processing of the genre video index file (D06) and the generation processing of the song number designation index file (D07), Do. Details of these automatic generation processes will be described in detail with reference to the flowcharts of FIGS.
[0041]
FIG. 5 is a flowchart showing details of the genre video index automatic generation processing executed in D06 of FIG. FIG. 6 shows the format of a genre video index generated by this processing.
When the genre video index generation process starts (E01), first, the old index file in the hard disk 13 is deleted (E02), and a new empty index file is created (E03).
[0042]
Next, in the loop processing of E04 to E08, all the video files are searched and processed for a directory (/ video directory) storing a large number of video files. In the / video directory, a large number of video files are already stored from the stage of product shipment of the communication karaoke apparatus 1, and video files newly added or updated in the previous communication processing are included. is there. The format of the video file is as described above.
[0043]
When one video file is selected in the in-loop processing of E04 to E08, the header part of the video file, that is, the video attribute information in FIG. 3 is read (E05). According to the genre codes 1 to 6 written in the video attribute information, the file name of the same file is described in any one of the genre 1 to 6 file name lists in the genre video index data shown in FIG. Is incremented (+1) (E06). By this processing, the video file is registered in the genre video index. Further, as described above, the genre code may indicate invalid “0”, but in this case, the process of E06 is not substantially performed, and the genre code is not registered in the genre index.
[0044]
When the file name registration process (E06) is completed, the process proceeds to the process of the next video file (E07), and is repeated until the same process is completed for all video files (E08). When the processing of all video files is completed, the genre video index generation processing ends (E09).
[0045]
FIG. 7 is a flowchart showing details of the automatic generation process of the music number designated video index executed in D07 of FIG. FIG. 8 shows the format of the music number designation video index generated by this processing.
When the process of generating the song number designation video index starts (G01), first, the old index file in the hard disk 13 is deleted (G02), and a new empty index file is created (G03).
[0046]
Next, in the loop processing of G04 to G08, all video files are searched and processed for a directory (/ video directory) storing a large number of video files.
When one video file is selected in the in-loop processing of G04 to G08, the header part of the video file, that is, the video attribute information in FIG. 3 is read (G05). Next, after adding the data size and the file name to the head of the video attribute information, a process of writing the index data is performed (G06). In other words, the process of collecting only the attribute information at the head of the video file together with the file name of the video file into the music number designated video index file is performed. By this processing, the video file is registered in the music number designated video index.
[0047]
Upon completion of the registration process (G06), the process proceeds to the process of the next video file (G07), and the process is repeated until the same process is completed for all video files (G08). When the processing of all the video files is completed, the process of generating the music number designated video index is completed (G09).
[0048]
Note that the automatic generation process of the music number designated video index shown in FIG. 7 corresponds to a process as “index information generating means”.
The operation in which the communication karaoke apparatus 1 receives distribution of video data by communication and generates two types of index data in the apparatus has been described above with reference to FIGS.
[0049]
Next, how the two types of index data, the music data, and the video data thus generated are used to perform a karaoke music performance will be described with reference to the flowchart of FIG.
The performance process shown in FIG. 9 is started when a user performs a panel operation on the operation panel 10 (I01), and waits for the input of a music number (I02). When the music number is input and the music data corresponding to the music number is read (I03), the music number designated video index is searched in the processing of I04 to I09. As shown in FIG. 8, the song number designation video index stores song designation information as shown in FIG. 8, and the song designation information contains song number as shown in FIG. It is checked whether or not there is a song number matching the song number received from the user (I05). If there is no matching song number (I05: NO), the process proceeds to the next data (I08).
[0050]
If the song numbers match (I05: YES), the current date is used together with the song number within the expiration date (see FIG. 3) stored in the song designation information using a calendar (not shown) referenced by the CPU 14. Is checked (I06). If it is within the expiration date (I06: YES), the (video) file name (see FIG. 8) included in the data is added to the selection candidate buffer in the memory 15 as a selection candidate (I07). On the other hand, if the current date is not within the expiration date (I06: NO), the process proceeds to I08 without adding to the selection candidate.
[0051]
As described above, in the processing of I04 to I09, the music number designated video index is checked, and the file name of the video data that individually designates the selected music is extracted. Of course, this extraction result may be zero.
Therefore, in I10, it is determined whether or not the selection candidate buffer is empty (that is, the selection candidate is zero). If the selection candidate is zero (I10: YES), the process branches to I11, and the genre image index will be determined in the future. Is switched to the video selection algorithm using. At I11, a process is performed to select a list corresponding to the genre code of the music accepted at I02 from the genre video index data shown in FIG. 6 and randomly select a video file name from the list.
[0052]
On the other hand, if there is one or more selection candidates in I10 (I10: NO), secondary extraction is performed to select the video file name having the highest priority value from the selection candidates (I12). This priority value is a value described in the priority item in the music designation information shown in FIG.
[0053]
As described above, the video file selected by one of the two video selection methods of the video selection using the genre video index in I11 or the video selection using the music number designation video index in I12 is reproduced in I13. Is started and output from the MPEG decoder 12 to the video processing unit 11 as a video signal.
[0054]
At I14, the reproduction of the music and the subtitle text of the music selected by the user is also started. The details of the data reproduction processing are common implementations, and thus description thereof is omitted.
When the reproduction of the music in I14 is started, the reproduction of the music is stopped in I15 (or a stop operation by the user on the operation panel 10), and when the reproduction of the music is completed, the performance process ends in I16. Then, it waits for the next song.
[0055]
Note that the processing of I04 to I09 in FIG. 9 corresponds to the processing as “search means”.
[Effects of Embodiment]
(A) According to the communication karaoke apparatus 1 of the present embodiment, when performing a karaoke song, video data having the number of the song to be played as song designation information from the song number designation video index data stored in the hard disk 13 , And a background image is displayed using the searched image data. Therefore, for example, even when the video data is updated / added, the video reproduction using the updated / added video data can be easily realized with the reproduction of the existing music. In the conventional method of specifying the video data side from the music data side, for example, when an attempt is made to reproduce a video dedicated to the music along with the reproduction of a certain music, both the index information and the video data or both the music data and the video data are Since it is necessary to update and add, even if only the video data is to be updated, both must be updated, which is inefficient. On the other hand, in the case of the present embodiment, there is no need to change / update both of them, so that it is efficient. As described above, even when the video data used for performing the video playback along with the music playback is updated or added, the cooperation between the video and the music can be easily achieved. Is distributed from the distribution center 50, but since the amount of data to be distributed is relatively reduced, the communication cost does not increase.
[0056]
(B) Also, as shown in FIG. 9, the image processing apparatus has both a video selection method based on a genre video and a video selection algorithm specific to a song number. Therefore, it is possible to freely determine the video data to be common to both, or to make the video data unique to a complete music number that is not common, and it is possible to freely determine the video data at the time of producing the video data.
[0057]
(C) Also, in the selection of a unique video by specifying a song number, since the specified information has an expiration date and a priority, for example, a video obtained by tying up a popular song only for a certain period is used. With the convergence of popularity, it becomes possible to return to the matching video in the usual genre.
[0058]
[Another embodiment]
(1) In the above-described embodiment, when the video data is distributed, the music number designated video index data and the genre video index data are generated and stored in the hard disk 13. With this configuration, the video data can be determined only by searching for the index data alone, so that the processing time required for the determination can be reduced. However, it is also possible to adopt a method of searching in real time when it is necessary to search for video data without generating such index data.
[0059]
That is, video data as shown in FIG. 3 is stored in the hard disk 13, and at the time of search, video attribute information in the video data is searched in order. Of course, the time required for the search is relatively increased as compared with the case where the index data is generated in advance as in the above-described embodiment. It is not necessary to generate index information.
[0060]
(2) In the above-described embodiment, the video data is distributed from the distribution center 50 to the communication karaoke apparatus 1 as a so-called communication karaoke system, but the video data is distributed via a storage medium such as a CD-ROM or a DVD-ROM. The same effect can be obtained even when updating / adding a file.
[0061]
In addition, the present invention can be similarly applied to a music reproducing apparatus other than the karaoke apparatus, as long as video data used for performing video reproduction along with music reproduction is updated / added.
(3) In the above embodiment, as shown in FIG. 3, the music piece designation information is included in the video data, and the music number designation video index data is generated based on the music piece designation information. Alternatively, data indicating the correspondence between the file name of the video data and the music designation information may be distributed from the distribution center 50 to the communication karaoke apparatus 1. That is, in the above-described embodiment, data in a format such as song number designation video index data generated in the communication karaoke apparatus 1 is distributed.
[0062]
However, it is preferable to distribute the music data including the music designation information as in the above-described embodiment in the following points. For example, in a communication karaoke system, a case is considered in which music number designated video index data is first delivered to communication karaoke devices nationwide, and then 10 video data are delivered. It is natural that the communication situation is different for each karaoke device, so that some devices have completed acquisition of all ten video data, and some devices have acquired only two. In this case, in the latter karaoke apparatus, although ten pieces of video data to be newly distributed are registered in the song number designation video index data, only two pieces of video data are actually received. This causes a problem that video data cannot be found during actual video reproduction. Then, for example, when it is finished to distribute 10 video data, it may seem that the correspondence information should be distributed again. However, even though it is a high-speed line, it takes a long time to distribute the video data. If the finished video data is not individually available, the advantage of being able to update the video data according to time is reduced. Therefore, from such a viewpoint, there is an advantage in the method of distributing the music data including the music designation information as in the above-described embodiment.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a communication karaoke apparatus 1 according to an embodiment and a configuration of peripheral devices during operation.
FIG. 2 is an explanatory diagram showing a format of music data recorded in a hard disk 13 of the communication karaoke apparatus 1 of the embodiment.
FIG. 3 is an explanatory diagram showing a format of video data recorded in a hard disk 13;
FIG. 4 is a flowchart illustrating an outline of a communication process performed by the communication karaoke apparatus 1.
FIG. 5 is a flowchart illustrating details of a genre video index automatic generation process executed in D06 of FIG. 4;
FIG. 6 is an explanatory diagram showing a format of a genre video index generated by the processing of FIG. 5;
FIG. 7 is a flowchart showing details of a process of automatically generating a music number designated video index executed in D07 of FIG. 4;
8 is an explanatory diagram showing a format of a music number designation video index generated by the processing of FIG. 7;
FIG. 9 is a flowchart showing a karaoke performance process executed by the communication karaoke apparatus 1 of the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Communication karaoke apparatus, 10 ... Operation panel, 11 ... Video processing part, 12 ... MPEGE decoder, 13 ... Hard disk, 14 ... CPU, 15 ... Memory, 16 ... LAN interface, 17 ... USB interface, 18 ... MIDI sound source part, 19: Audio processing unit, 20: Amplifier, 22: Speaker, 23: Microphone, 24: DVD-ROM drive, 26: Monitor, 27: ADSL modem, 30: Internet, 50: Distribution center.

Claims (9)

楽曲データを記憶しておく楽曲データ記憶手段と、
その楽曲データ記憶手段に記憶されている楽曲データに基づいて楽曲再生を行う楽曲再生手段と、
映像データを記憶しておく映像データ記憶手段と、
その映像データ記憶手段に記憶されている映像データに基づいて映像再生を行う映像再生手段と、
を備え、前記映像再生手段は、前記楽曲再生手段による楽曲再生に伴って映像再生を行う音楽再生装置であって、
前記映像データ記憶手段は、前記映像データに対応して当該映像データが再生されるべき対応楽曲を指定する情報(以下、楽曲指定情報と称す。)を記憶し、さらに、前記楽曲再生手段による楽曲再生に際して、当該楽曲を前記楽曲指定情報中において対応楽曲として指定している映像データを検索する検索手段を備え、
前記映像再生手段は、前記検索手段の検索結果に基づいて映像データを再生する
音楽再生装置。
Music data storage means for storing music data;
Music playback means for playing music based on music data stored in the music data storage means,
Video data storage means for storing video data;
Video playback means for playing back video based on video data stored in the video data storage means,
Wherein the video playback unit is a music playback device that plays back video along with music playback by the music playback unit,
The video data storage unit stores information (hereinafter, referred to as song designation information) for specifying a corresponding song for which the video data is to be reproduced in correspondence with the video data. At the time of reproduction, a search means for searching for video data specifying the music as a corresponding music in the music designation information,
The music playback device is a music playback device that plays back video data based on a search result of the search unit.
請求項1に記載の音楽再生装置において、
前記映像データは、前記楽曲指定情報を有し、
さらに、
前記映像データ記憶手段に記憶されている全ての映像データの楽曲指定情報を抽出し、映像データと楽曲データとの対応関係を示すインデックス情報を生成するインデックス情報生成手段と、
前記インデックス情報生成手段によって生成されたインデックス情報を記憶しておくインデックス情報記憶手段と、
を備え、
前記検索手段は、前記インデックス情報記憶手段に記憶されているインデックス情報に基づいて映像再生に用いる映像データを決定する
音楽再生装置。
The music playback device according to claim 1,
The video data has the music designation information,
further,
Index information generating means for extracting music designation information of all video data stored in the video data storage means, and generating index information indicating a correspondence between the video data and the music data,
Index information storage means for storing the index information generated by the index information generation means,
With
The music reproducing device, wherein the search unit determines video data to be used for video reproduction based on the index information stored in the index information storage unit.
請求項2に記載の音楽再生装置において、
前記インデックス情報生成手段は、
前記映像データ記憶手段内における映像データの更新又は追加の度に、前記インデックス情報の生成を行う
音楽再生装置。
The music reproducing device according to claim 2,
The index information generating means includes:
A music reproducing apparatus for generating the index information every time video data is updated or added in the video data storage means.
請求項1に記載の音楽再生装置において、
前記映像データは、前記楽曲指定情報を有し、
前記検索手段は、前記楽曲再生手段による楽曲再生に伴って映像再生を行う必要が生じた場合、前記映像データ記憶手段に記憶されている映像データの楽曲指定情報を検索し、
前記映像再生手段は、その検索結果に基づいて、前記楽曲指定情報中において前記楽曲再生手段による楽曲再生の対象曲が対応楽曲として指定されている映像データの再生を行う
音楽再生装置。
The music playback device according to claim 1,
The video data has the music designation information,
The search means, when it is necessary to perform video playback along with music playback by the music playback means, searches for music designation information of video data stored in the video data storage means,
The music reproducing device, wherein the video reproducing means reproduces, based on the search result, video data in which the music to be reproduced by the music reproducing means is specified as a corresponding music in the music specifying information.
請求項1〜4の何れかに記載の音楽再生装置において、
前記楽曲指定情報には、当該情報の含められている映像データが前記対応楽曲に用いられる際の優先順位情報も含められており、
前記検索手段は、前記楽曲再生手段による楽曲再生の対象となる楽曲を前記楽曲指定情報中において対応楽曲として指定している映像データが複数存在する場合には、前記優先順位情報も加味して映像再生に用いる映像データを決定する
音楽再生装置。
The music playback device according to any one of claims 1 to 4,
The music designation information also includes priority information when video data including the information is used for the corresponding music,
The search means, when there is a plurality of video data specifying a music to be played back by the music playing means as the corresponding music in the music specifying information, the video is also taken into consideration with the priority information. A music playback device that determines video data used for playback.
請求項1〜5の何れかに記載の音楽再生装置において、
前記楽曲指定情報には、当該情報の含められている映像データが前記対応楽曲に用いられることを許可する有効期限を示す情報も含められており、
前記検索手段は、前記有効期限情報も加味して映像再生に用いる映像データを決定する
音楽再生装置。
The music playback device according to any one of claims 1 to 5,
The song designation information also includes information indicating an expiration date that permits the video data including the information to be used for the corresponding song,
A music playback device, wherein the search means determines video data to be used for video playback in consideration of the expiration date information.
請求項6に記載の音楽再生装置において、
前記映像データ中には、当該映像データに基づく映像再生がされるべき対応楽曲のジャンルを示す情報(以下、ジャンル情報と称す。)も含められており、
前記検索手段は、前記楽曲再生手段による楽曲再生の対象となる楽曲を前記楽曲指定情報中において対応楽曲として指定しており、且つ前記有効期限情報によって示された有効期限内の映像データが存在しない場合には、前記ジャンル情報に基づいて映像再生に用いる映像データを決定する
音楽再生装置。
The music playback device according to claim 6,
The video data also includes information (hereinafter, referred to as genre information) indicating a genre of a corresponding music piece to be reproduced based on the video data,
The search unit specifies a song to be played by the song playback unit as a corresponding song in the song designation information, and there is no video data within the expiration date indicated by the expiration date information In such a case, a music playback device that determines video data to be used for video playback based on the genre information.
請求項1〜7の何れかに記載の音楽再生装置において、
前記楽曲はカラオケ曲であり、前記映像は背景映像であると共に、前記楽曲データ記憶手段に記憶されたカラオケ曲を指定する指定手段を備える
音楽再生装置。
The music playback device according to claim 1,
A music reproducing apparatus, wherein the music is a karaoke music, the video is a background video, and the music reproducing apparatus further includes a specification unit for specifying a karaoke music stored in the music data storage unit.
請求項1〜8の何れかに記載の音楽再生装置における前記映像再生手段及び検索手段としてコンピュータを機能させるためのプログラム。A program for causing a computer to function as the video playback unit and the search unit in the music playback device according to claim 1.
JP2003088719A 2003-03-27 2003-03-27 Music reproducing apparatus and program Pending JP2004294888A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003088719A JP2004294888A (en) 2003-03-27 2003-03-27 Music reproducing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003088719A JP2004294888A (en) 2003-03-27 2003-03-27 Music reproducing apparatus and program

Publications (1)

Publication Number Publication Date
JP2004294888A true JP2004294888A (en) 2004-10-21

Family

ID=33402773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003088719A Pending JP2004294888A (en) 2003-03-27 2003-03-27 Music reproducing apparatus and program

Country Status (1)

Country Link
JP (1) JP2004294888A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225379A (en) * 2007-03-15 2008-09-25 Daiichikosho Co Ltd Music and video reproducer such that musical piece for viewing continued part of vide product is specified
WO2009130833A1 (en) * 2008-04-23 2009-10-29 三菱電機株式会社 Content reproduction device and program
JP2010210746A (en) * 2009-03-09 2010-09-24 Nikon Systems Inc Image music reproduction device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008225379A (en) * 2007-03-15 2008-09-25 Daiichikosho Co Ltd Music and video reproducer such that musical piece for viewing continued part of vide product is specified
WO2009130833A1 (en) * 2008-04-23 2009-10-29 三菱電機株式会社 Content reproduction device and program
JP2010210746A (en) * 2009-03-09 2010-09-24 Nikon Systems Inc Image music reproduction device

Similar Documents

Publication Publication Date Title
JP3680749B2 (en) Automatic composer and automatic composition program
JP3662969B2 (en) Karaoke system
JPH0774854A (en) Karaoke system and karaoke device
JP3482339B2 (en) Karaoke device that combines and displays promotional images during a performance
JP3315333B2 (en) Karaoke equipment
JP2004294888A (en) Music reproducing apparatus and program
JP2004178496A (en) Data structure of multimedia file, file delivery method, file delivery device, and program
JP3529254B2 (en) Karaoke equipment
WO2007004699A1 (en) Digestization device, digestization system, digestization program product, and computer-readable recording medium containing the digestization program
JPH1195761A (en) Karaoke machine
JP3349589B2 (en) Karaoke playback device
JP3294526B2 (en) Karaoke equipment
JP3320056B2 (en) Karaoke video playback device
JPH08306124A (en) Automatic identification device of storage medium, method and device for automatic identification of music cd and method and device for reproducing storage medium
JP3180703B2 (en) Image supply device
JP4173294B2 (en) Background video selection system for karaoke equipment
JP3696924B2 (en) Video karaoke device and communication karaoke system
JP4016447B2 (en) Video playback device
JP3381508B2 (en) Karaoke equipment
JPH06130982A (en) Music reproducing device
JP3194884B2 (en) Karaoke device content recording medium
JP3941616B2 (en) Distribution method of online karaoke system
JP2000181469A (en) Karaoke device characterized by function of reproducing bgm in nonuse period
JP2004279756A (en) Device and program for using content related to sound or musical sound
JPH11275268A (en) Karaoke device and system therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080417

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080527