JP2009157215A - マルチメディアデータ再生装置 - Google Patents

Abstract

【課題】ユーザー操作に対してマルチメディアデータの再生を連動させることができるマルチメディアデータ再生装置を提供する。
【解決手段】マルチメディアデータ再生装置は、挿入用音源データを予め含むマルチメディアデータを取得するマルチメディアデータ取得部と、外部から操作信号を受信する受信部と、前記受信部が受信した前記操作信号に基づいて前記挿入用音源データを再生して挿入用音源を再生する挿入用音源データ処理部と、前記挿入用音源データに基づいて前記マルチメディアデータをミキシングするとともに、前記挿入用音源を挿入して出力するマルチメディアデータ出力部とを有する。
【選択図】図２Ａ

Description

本発明は、マルチメディアデータ再生装置に関する。

従来の技術として、効果音再生操作専用のスイッチを備え、マルチメディアデータ再生中にスイッチ操作に基づいて効果音を重畳して再生するマルチメディア再生装置がある（例えば、特許文献１参照）。

このマルチメディアデータ再生装置は、マルチメディアデータ再生装置を遠隔操作する複数のスイッチおよび効果音再生操作専用のスイッチを備えたリモコンと、複数の種類の効果音データとスイッチ操作を対応付けるアサイン情報とが格納される記憶部と、カラオケ用の伴奏や字幕等を含むマルチメディアデータを再生するとともに、効果音再生操作専用のスイッチ操作およびアサイン情報に基づいて所定の効果音データを同時に再生する制御部とを有する。このことより、マルチメディアデータのコンテンツに合わせて効果音の種類を選択できるとともに、マルチメディアデータの再生中の所望のタイミングに効果音を再生することができる。
特開平１０−７８７８３号公報

しかし、従来のマルチメディア再生装置によると、マルチメディアデータの再生とユーザー操作による効果音の再生とはそれぞれ独立して実行されており、それぞれの音声はミキシングして出力されているため、マルチメディアデータとユーザー操作による効果音との間に関連がなく、マルチメディアデータの再生とユーザー操作を連動させることはできない。

したがって、本発明の目的は、ユーザー操作に対してマルチメディアデータの再生を連動させることができるマルチメディアデータ再生装置を提供することにある。

本発明の一態様は、挿入用音源データを予め含むマルチメディアデータを取得するマルチメディアデータ取得部と、外部から操作信号を受信する受信部と、前記受信部が受信した前記操作信号に基づいて前記挿入用音源データを再生して挿入用音源を再生する挿入用音源データ処理部と、前記挿入用音源データに基づいて前記マルチメディアデータをミキシングするとともに、前記挿入用音源を挿入して出力するマルチメディアデータ出力部とを有することを特徴とするマルチメディアデータ再生装置を提供する。

また、本発明の他の態様は、挿入用音源データを予め含むマルチメディアデータを取得するマルチメディアデータ取得部と、外部から操作信号を受信する受信部と、前記操作信号に基づいて前記挿入用音源データを再生して挿入用音源を再生する挿入用音源データ処理部と、前記操作信号に基づいて装置制御情報を生成し、前記マルチメディアデータに挿入する装置制御情報処理部と、前記挿入用音源データに基づいて前記マルチメディアデータをミキシングするとともに、前記挿入用音源を挿入して出力するマルチメディアデータ出力部とを有することを特徴とするマルチメディアデータ再生装置を提供する。

本発明に係るマルチメディアデータ再生装置によれば、ユーザー操作に対してマルチメディアデータの再生を連動させることができる。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係るマルチメディアデータ再生システムの概要を示す。図１において、Ｓ１〜Ｓ１７ｂは機器間を伝送されるデータを示している。

（マルチメディアデータ再生システム１の概要）
第１の実施の形態に係るマルチメディアデータ再生システム１は、スピーカーを有するロボット等のアミューズメント機器５２、並びに照明装置としての照明５４、ＭＩＤＩ音源５６等の外部装置の動作を制御する装置制御情報、および入力デバイス１０Ａの操作に基づいて挿入用音源を再生する挿入用音源データを所定の領域に予め含むマルチメディアデータを取得する再生装置１０（マルチメディア再生装置）と、挿入用音源の制御や再生装置１０の操作に用いられる入力デバイス１０Ａと、再生装置１０が取得したマルチメディアデータから装置制御情報を抽出して所定の外部装置に供給するコンバーター２０と、再生装置１０が取得したマルチメディアデータ中の音データを音声再生装置及び／又は音声再生装置を有する表示装置４０に供給するアンプ３０と、コンバーター２０から受け取った装置制御情報に応じて所定の動作を実行するアミューズメント機器５２、照明５４、ＭＩＤＩ音源５６等の複数の外部装置とを備える。なお、アンプ３０に接続されたスピーカー、アミューズメント機器５２に設けられたスピーカー、および表示装置４０に設けられたスピーカーは、再生装置１０の出力可能な音声チャンネル数に対応した数を有するか、または、再生装置１０の出力する音声チャンネルを受信可能な入力端子を有するものとする。

第１の実施の形態に係るマルチメディアデータは、グラフィックデータ、画像データ（動画データ及び／又は静止画データ）、音データ（例えば、ドルビーデジタル又はＳＰＤＩＦ）、テキストデータ、所定の制御情報（一例として、ＨＤ ＤＶＤ規格に準拠した制御情報）、及び所定の挿入用音源データ（一例として、ＨＤ ＤＶＤ規格に準拠したエフェクトオーディオデータ）を含む。また、マルチメディアデータは、複数の表示プレーンにより構成することができる。一例として、マルチメディアデータは、ビデオ画像（動画データ及び音データを含む）用の表示プレーンと、ピクチャーインピクチャー用のコメンタリ表示プレーンと、テキストデータ用の字幕表示プレーンと、装置制御情報を含むことができるグラフィックス表示プレーンと、カーソル表示用の表示プレーンとを有する。

そして、マルチメディアデータは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＨＤ ＤＶＤ等の光ディスク等の蓄積メディアとしての記録媒体６０、リムーバブルハードディスク等の磁気記録媒体又は半導体記録媒体等の記録媒体６２、及び／又はインターネット、ＬＡＮ、ＷＡＮ、デジタル放送網等のネットワーク７０を介して再生装置１０と通信可能に接続するサーバー６４に格納される。

再生装置１０は、記録媒体６０、記録媒体６２、又はサーバー６４からマルチメディアデータを受け取る（Ｓ１、Ｓ３、Ｓ５ａ）。再生装置１０は、受け取ったマルチメディアデータから外部装置の動作を制御する装置制御情報をコンバーター２０が受け取り可能に供給するか否かを動的に決定すると共に、決定結果に基づいて装置制御情報を動的にマルチメディアデータに挿入する。また、入力デバイス１０Ａの操作内容に従って装置制御情報を動的に生成してマルチメディアデータに挿入することもできる。また、入力デバイス１０Ａの操作内容に従って、マルチメディアデータ再生中の任意のタイミングで、マルチメディアデータから取得した挿入用音源データを挿入用音源として再生する。そして、再生装置１０は、装置制御情報、および挿入用音源を挿入したマルチメディアデータをコンバーター２０に供給する（Ｓ７）。なお、再生装置１０は、マルチメディアデータに含まれている音データおよび挿入用音源をアンプ３０に供給することもできる（Ｓ１５）。

一例として、再生装置１０は、ユーザ等の指示を含む入力デバイス１０Ａから再生装置１０に供給される指示に応じて、装置制御情報をコンバーター２０に読み取り可能に供給するか否かを決定する。そして、コンバーター２０に供給するマルチメディアデータの所定の領域に動的に挿入する。ここで、「動的」とは、一例として、再生装置１０が所定のマルチメディアデータを再生（又は放映）中に、当該マルチメディアの再生（又は放映）の途中において当該マルチメディアデータの再生（又は放映）の進行を妨げないことを指す。

例えば、再生装置１０がマルチメディアデータを再生中において、装置制御情報をコンバーター２０に読み取り可能にマルチメディアデータに挿入する状態と、装置制御情報をコンバーター２０に読み取り可能にマルチメディアデータに挿入しない状態とを切り替える場合、再生装置１０は、再生中のマルチメディアデータを停止及び／又は巻き戻し等を実施せずに、２つの状態の切替を行う。

コンバーター２０は、マルチメディアデータから装置制御情報を抽出し、抽出した装置制御情報を所定の外部装置に対応した装置制御情報に変換して供給する（Ｓ１０、Ｓ１２）。外部装置（例えば、人形、アクチュエータを含むロボット等のアミューズメント機器５２、照明５４等）は、受け取った装置制御情報に基づいて、所定の動作を実行する。

なお、コンバーター２０は、装置制御情報を抽出しない場合であっても、マルチメディアデータをＨＤＴＶ等の表示装置４０に供給する（Ｓ９）。また、アンプ３０は、音データを表示装置４０に供給して音データを表示装置４０から出力させる（Ｓ１７ａ）。アンプ３０は、音データをコンバーター２０に供給して（Ｓ１７ｂ）、コンバーター２０が音データを表示装置４０に供給してもよい。

コンバーター２０、アミューズメント機器５２、照明５４、及びＭＩＤＩ音源５６の構成および動作については、第２の実施の形態においてさらに詳しく説明する。

（再生装置１０の構成）
図２Ａは、本発明の第１の実施の形態に係る再生装置の機能構成の一例を示す。

第１の実施の形態に係る再生装置１０は、マルチメディアデータを取得するマルチメディアデータ取得部１００と、マルチメディアデータ取得部１００が取得したマルチメディアデータに対して所定のデータ処理を施すデータ処理部１１０と、マルチメディアデータをコンバーター２０及びアンプ３０に供給するマルチメディアデータ出力部１２０と、ユーザ等の指示又は外部からの指示としての入力デバイス１０Ａからの操作信号を受信する受信部１３０と、任意のデータを格納可能な不揮発性の内部記憶装置１４０とを有する。

マルチメディアデータ取得部１００は、記録媒体６０、記録媒体６２、又はサーバー６４からマルチメディアデータを取得する。ここで、記録媒体６０は、一例として、ＨＤ ＤＶＤ規格に準拠した光ディスク記録媒体を用いることができる。この場合、マルチメディアデータもＨＤ ＤＶＤ規格に準拠したデータ構成を有する。マルチメディアデータ取得部１００は、取得したマルチメディアデータをデータ処理部１１０に供給する。また、マルチメディアデータ取得部１００は、一時的にデータを記憶するファイルキャッシュ１００Ａを有し、ファイルキャッシュ１００Ａに、挿入用音源データとしてのエフェクトオーディオ１００ａと、装置制御情報としてのマークアップファイル１００ｂおよびスクリプトファイル１００ｃと、後述する操作テーブル１００ｄと、演奏テーブル１００ｅとを記憶する。

なお、本実施の形態に係るマルチメディアデータは、外部装置を一意に識別する外部装置識別子としての外部装置ＩＤに対応付けて、当該外部装置ＩＤで識別される外部装置の動作を制御する装置制御情報をマークアップファイル１００ｂおよびスクリプトファイル１００ｃをデータ処理部で実行することにより表示用データ領域中に含めることができる。装置制御情報は、例えば、ロボット等のアミューズメント機器５２に所定のタイミングにおいて所定の動作を実行させる情報、照明５４に所定のタイミングにおいて点滅等の所定の動作を実行させる情報、ＭＩＤＩ音源５６に所定のタイミングにおいて所定の音源の音声を出力させる動作を実行させる情報等を示す。なお、装置制御情報は、音声信号（例えば、ドルビーデジタル又はＳＰＤＩＦ）としてマルチメディアデータに記録してもよい。

データ処理部１１０は、マルチメディアデータ取得部１００から受け取ったマルチメディアデータにデコード処理等を施す。そして、データ処理部１１０は、デコードされたマルチメディアデータの音声データを再生するとともに、受信部１３０から入力される挿入命令とエフェクトオーディオ１００ａに基づいて挿入用音源を再生する。

また、データ処理部１１０は、デコードされたマルチメディアデータの映像データ中の複数の表示プレーンを重畳すると共に、マークアップファイル１００ｂおよびスクリプトファイル１００ｃを実行することにより表示用データ領域に装置制御情報を動的に挿入する。また、データ処理部１１０は、受信部１３０から入力される生成命令に基づいてマルチメディアデータに予め含まれるマークアップファイル１００ｂおよびスクリプトファイル１００ｃを動的に呼び出して装置制御情報を生成することもできる。

一例として、データ処理部１１０は、マルチメディアデータの表示用データ領域の下端、又は左端に装置制御情報を挿入する。更に、装置制御情報を、タイトルタイムラインに同期して動的に生成して、表示用データ領域に挿入することもできる。

データ処理部１１０は、挿入用音源を含む音声データ、および装置制御情報を含む映像データをマルチメディアデータ出力部１２０に供給する。

マルチメディアデータ出力部１２０は、マルチメディアデータの音声データが複数のチャンネルを有する場合に各チャンネルの音量バランスを調整するとともに、任意のチャンネルに挿入用音源を挿入する。そして、装置制御情報を含む映像データとともにコンバーター２０及び／又はアンプ３０に供給する。

受信部１３０は、入力デバイス１０Ａの操作に基づく操作信号を受信し、データ処理部１１０に対して挿入用音源データの挿入命令、装置制御情報の挿入命令、および装置制御情報の生成命令を出力する。

内部記憶装置１４０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性の大容量記憶装置であり、任意のデータを記憶できる。

なお、マルチメディアデータは、１つのタイトルにつき、複数のコンテンツデータ（例えば、音楽データ、映像データ、字幕データ等）を含んで構成されるが、ここでタイトルタイムラインとは、各コンテンツデータが、当該コンテンツデータを含むマルチメディアデータの再生開始からの時間（例えば、１／６０秒毎）で規定されるすべてのコンテンツデータに共通の時間単位である。タイトルタイムラインは、例えば、装置内の基準タイマーの時間を利用して決定される。なお、タイマーは、マルチメディアデータの巻き戻し、早送り、及び／又はスキップ等の操作に応じて、再びマルチメディアデータの再生が開始するときに、所定の時間にセットされる。

なお、本実施の形態に係る再生装置１０は、一例として、ＨＤ ＤＶＤ規格に準拠したＨＤ ＤＶＤプレーヤーである。また、再生装置１０は、ＨＤ ＤＶＤプレーヤーだけではなく、ＣＤ−ＲＯＭ再生装置、ＤＶＤ−ＲＯＭ再生装置、デジタルビデオプレーヤー等の記録媒体再生装置、又は、家庭用ゲーム機、携帯電話端末若しくはＰｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ（ＰＤＡ）等の携帯情報端末により構成することもできる。

図２Ｂは、本発明の第１の実施の形態に係る再生装置の機能構成の詳細例を示す。

データ処理部１１０は、音声データを複数のチャンネルに分離して再生するマルチチャンネルストリーム処理部１１０Ａと、マルチメディアデータから取得したエフェクトオーディオ１００ａを受信部１３０から入力される挿入命令に基づいて再生するエフェクトオーディオデータ処理部１１０Ｂと、受信部１３０から入力される生成命令に基づいてマークアップファイル１００ｂおよびスクリプトファイル１００ｃを呼び出して装置制御情報を生成する装置制御情報処理部１１０Ｃと、受信部１３０から入力される命令を各部へ入力する信号処理部１１０Ｄとを有する。

マルチメディアデータ出力部１２０は、マルチチャンネルストリーム処理部１１０Ａから受信する音声データをチャンネルごとに音量調整し、エフェクトオーディオデータ処理部１１０Ｂから受信する挿入用音声データをマルチチャンネルストリームの任意のチャンネルに挿入するミキサー部１２０Ａを有する。ここでは、一例として「Ｃｈ３」の音声データをミュートして、エフェクトオーディオの音声データを挿入している。

図３は、本発明の第１の実施の形態に係る操作テーブルの構成の一例を示す。

操作テーブル１００ｄは、一例として、ミキサー部１２０Ａにおいてミュートするチャンネルを指定する「ミュートＣｈ」と、エフェクトオーディオデータ処理部１１０Ｂがファイルキャッシュ１００Ａのエフェクトオーディオ１００ａから読み込むエフェクトオーディオを指定する「エフェクト１」〜「エフェクト３」と、入力デバイス１０Ａの操作内容に合わせてアミューズメント機器５２のロボット３を制御するように装置制御情報処理部１１０Ｃと対応付けた「制御ロボ」と、入力デバイスに設けられたスイッチとエフェクトオーディオデータ処理部１１０Ｂの動作とを対応付けた「ボタン１」〜「ボタン３」とを有する。

また、操作テーブル１００ｄは、他の例として、ミキサー部１２０Ａにおいてミュートするチャンネルを指定する「ミュートＣｈ」と、エフェクトオーディオデータ処理部１１０Ｂがファイルキャッシュ１００Ａのエフェクトオーディオ１００ａから読み込むエフェクトオーディオを指定する「エフェクト１」〜「エフェクト５」と、入力デバイス１０Ａの操作内容に合わせてＭＩＤＩ音源５６を制御するように装置制御情報処理部１１０Ｃと対応付けた「制御ＭＩＤＩ」と、入力デバイス１０Ａに設けられたスイッチとエフェクトオーディオデータ処理部１１０Ｂの動作とを対応付けた「ボタン１」〜「ボタン５」とを有する。

図４は、本発明の第１の実施の形態に係る再生装置の画面表示例を示す。

楽器選択メニュー４００は、入力デバイスの対応したスイッチを操作することで表示画面４０Ａに表示される選択メニューであり、ユーザーが演奏できる楽器を選択するための楽器４０２ａおよび４０２ｂと、楽器４０２ａまたは４０２ｂを選択するための選択枠４０１とを有する。例えば、「ドラムス」である楽器４０２ａを選択して、入力デバイス１０Ａを操作することでドラムの音声が出力されるとともに、アミューズメント機器５２のドラマーの人形が動作する。

図５は、本発明の第１の実施の形態に係る再生装置の画面表示例を示す。

操作説明メニュー４１１は、図４において、例えば、楽器４０２ａが選択されることで、マルチメディアデータが再生されると表示画面４０Ａに表示される説明メニューであり、マルチメディアデータの内容を表示するマルチメディア映像４１０と、入力デバイス１０Ａに設けられたスイッチと挿入用音声との対応付けを説明する操作説明メニューとを有する。

（動 作）
以下に、本発明の第１の実施の形態に関する動作を各図を参照しつつ説明する。

入力デバイス１０Ａにより所定のスイッチ、例えば、入力デバイス１０Ａに設けられた「楽器演奏」スイッチ（図示せず）を操作すると、図４に示す楽器選択メニュー４００が表示される。

次に、ユーザーによって所望の楽器、例えば、「ドラムス」楽器４０２ａが選択枠４０１で選択されることにより、データ処理部１１０は、図３に示す操作テーブル１００ｄの設定名「ドラムス」のテーブルを取得し、エフェクトオーディオデータ処理部１１０Ｂは、テーブルに従って「バスドラム」、「スネア」、「シンバル」のエフェクトオーディオをエフェクトオーディオ１００ａから取得する。また、信号処理部１１０Ｄは、入力デバイス１０Ａの「ボタン１」〜「ボタン３」の操作をエフェクトオーディオデータ処理部１１０Ｂの「エフェクト１」〜「エフェクト３」にそれぞれ対応づける。

また、マルチメディアデータ出力部１２０は、操作テーブル１００ｄに従ってミキサー部１２０Ａのチャンネル「Ｃｈ３」をミュートし、エフェクトオーディオデータ処理部１１０Ｂからの入力を「Ｃｈ３」から出力するように設定する。

次に、ユーザーによって入力デバイス１０Ａの再生ボタン（図示せず）が操作されることにより、マルチメディアデータの再生がスタートし、マルチメディアデータ取得部１００は、記録媒体６０、記録媒体６２、又はサーバー６４からマルチメディアデータを取得して、ストリームデータである映像データと音声データとをデータ処理部１１０に入力して処理し始める。また、マルチメディアデータ取得部１００は、マルチメディアデータに含まれるエフェクトオーディオ、マークアップファイル、スクリプトファイル、操作テーブルをファイルキャッシュ１００Ａに一時的に格納する。

データ処理部１１０は、マルチメディアデータの映像データおよび音声データをデコードし、マルチメディアデータ出力部１２０から出力するように処理するとともに、マークアップファイル１００ｂおよびスクリプトファイル１００ｃとを予め定められたタイトルタイムに同期して処理し、映像データに装置制御信号を挿入する。

以上の動作を実行した時点で、表示画面４０Ａには図５に示すマルチメディア映像４１０が表示され、表示装置４０、アミューズメント機器５２、又はアンプ３０からマルチメディアデータの音声データに関する音声が出力されている。

次に、ユーザーの入力デバイス１０Ａの操作に伴い、操作信号が受信部１３０に入力され、操作信号はデータ処理部１１０へと入力される。入力デバイス１０Ａの「ボタン１」〜「ボタン３」の操作に対応して、信号処理部１１０Ｄは、エフェクトオーディオデータ処理部１１０Ｂを動作させて「バスドラム」、「スネア」、および「シンバル」を再生させる。

（第１の実施の形態の効果）
第１の実施の形態に係るマルチメディアデータ再生システム１によれば、入力デバイス１０Ａのユーザー操作に対応してマルチメディアデータの再生方法を連動させることができる。つまり、例えば、再生中のマルチメディアデータのコンテンツがバンド演奏であった場合に、ユーザーが希望するパートの音声出力のみをミュートしてコンテンツを再生し、入力デバイス１０Ａの操作に基づいてユーザーが希望するパートのエフェクトオーディオを音声として出力することができる。

［第２の実施の形態］
（コンバーター２０の構成）
図６は、本発明の第２の実施の形態に係るコンバーターの機能構成の一例を示す。なお、以下の説明において、第１の実施の形態と同一の構成および機能を有する部分については共通の符号を付している。

第２の実施の形態に係るコンバーター２０は、装置制御情報を含むマルチメディアデータを取得するデータ取得部２００と、同期信号を検出する同期信号検出部２１０と、同期信号に基づいてマルチメディアデータから装置制御情報を抽出する制御情報抽出処理部２２０と、制御情報抽出処理部２２０が抽出した装置制御情報を格納する制御情報格納部２３０と、制御情報格納部２３０が格納している装置制御情報を解析する制御情報解析部２４０と、制御情報解析部２４０の解析結果に応じて、装置制御情報の外部装置識別子に対応する外部装置に装置制御情報を出力する装置制御情報出力部２５０と、マルチメディアデータを表示装置４０及び／又はアミューズメント機器５２に出力するデータ出力部２６０とを有する。

データ取得部２００は、再生装置１０のマルチメディアデータ出力部１２０が出力した装置制御情報を含むマルチメディアデータを取得する。そして、データ取得部２００は、取得したマルチメディアデータを、制御情報抽出処理部２２０に供給する。

同期信号検出部２１０は、コンポーネント入力端子（図示しない）からの同期信号の有無を検出する。同期信号検出部２１０は、一例として、マルチメディアデータの下端を表示する水平同期信号を検出する。また、同期信号検出部２１０は、コンポーネント映像信号の輝度成分又はＨＤＭＩの映像信号に基づいて同期信号を検出することもできる。更に、同期信号検出部２１０は、出力解像度がＳＤ解像度である場合、コンポジット映像信号に基づいて同期信号を検出することもできる。同期信号検出部２１０は、検出した同期信号を制御情報抽出処理部２２０に供給する。

制御情報抽出処理部２２０は、同期信号検出部２１０から受け取った同期信号に基づいて、マルチメディアデータの所定の領域に含まれている装置制御情報を抽出する。一例として、制御情報抽出処理部２２０は、水平同期信号に応じて、装置制御情報を抽出する。装置制御情報の抽出は、例えば輝度値に閾値を設けることで抽出され、水平方向に１ピクセルずつ明（Ｏｎ）または暗（Ｏｆｆ）信号を抽出する。つまり、１ピクセルが１ビットとなり、装置制御情報は映像信号の解像度が１９２０×１０８０の場合、最大１９２０ピクセル×１ビットで、１９２０ビットの情報を１フレームにおいて抽出することができる。

また、制御情報抽出処理部２２０は、マルチメディアデータから装置制御情報を抽出した後、装置制御情報が含まれている表示用データの領域を単色データ（例えば、白色又は黒色、若しくは最大の輝度成分又は最小の輝度成分）に置き換えることもできる。これにより、マルチメディアデータがアンダースキャンされた場合において、表示装置４０等に表示されるマルチメディアデータのちらつき等を抑制できる。なお、制御情報抽出処理部２２０は、マルチメディアデータをアンダースキャンしない場合には、表示用データの領域を単色データ等に置き換えずにマルチメディアデータをデータ出力部２６０に供給することもできる。

なお、制御情報抽出処理部２２０は、表示用データ領域の装置制御情報が含まれている領域、又は当該領域から所定の範囲内の走査線上の輝度又は色を抽出して、抽出した輝度又は色を用いて装置制御情報が含まれている表示用データの領域を単色データ又は抽出した色に置き換えることもできる。制御情報抽出処理部２２０は、所定の処理を施したマルチメディアデータ又は所定の処理を施していないマルチメディアデータをデータ出力部２６０に供給する。また、制御情報抽出処理部２２０は、抽出した装置制御情報が制御対象としている外部装置の外部装置ＩＤに対応付けて、当該装置制御情報を制御情報格納部２３０に格納する。

制御情報格納部２３０は、装置制御情報を外部装置ＩＤに対応付けて格納する。制御情報解析部２４０は、制御情報格納部２３０が格納している装置制御情報を解析して、装置制御情報出力部２５０に供給する。具体的に、制御情報解析部２４０は、制御情報を解析して、当該装置制御情報に対応する外部装置ＩＤで識別される外部装置（例えば、表示装置４０、アミューズメント機器５２、照明５４等）を識別すると共に、この外部装置ＩＤに対応付けて制御情報格納部２３０が格納している装置制御情報を取得する。そして、制御情報解析部２４０は、取得した装置制御情報を装置制御情報出力部２５０から外部装置ＩＤで識別した外部装置に出力させる。装置制御情報出力部２５０は、複数の外部装置のそれぞれに装置制御情報を出力する。

なお、装置制御情報出力部２５０は、照明制御用信号を出力するＤＭＸ信号出力部としての機能を有する。すなわち、マルチメディアデータには、照明５４の動作を制御する装置制御情報として、ＤＭＸ信号が含まれる。ＤＭＸ信号は、例えば、照明５４の調光出力信号を含む。係る場合において、装置制御情報出力部２５０は、複数の外部装置ＩＤのそれぞれに対応する複数の外部装置のそれぞれに、複数の外部装置のそれぞれ用の装置制御情報を出力する。例えば、装置制御情報出力部２５０は、ロボット等のアミューズメント機器５２にはアミューズメント機器用の装置制御情報を出力すると同時に、照明５４にはＤＭＸ信号を出力する。

また、マルチメディアデータ再生システム１は、外部装置として、ＭＩＤＩ規格に準拠する電子楽器等のＭＩＤＩ音源５６を含む。係る場合において、マルチメディアデータには、電子楽器の動作を制御する装置制御情報が含まれる。そして、係る場合、装置制御情報出力部２５０は、ＭＩＤＩ信号出力部としての機能を有する。

データ出力部２６０は、表示装置４０及び／又はアミューズメント機器５２にマルチメディアデータを出力する。そして、表示装置４０はマルチメディアデータをユーザに視覚及び／又は視聴可能に出力する。また、アミューズメント機器５２は、音声再生部（例えば、スピーカー）を有し、受け取ったマルチメディアデータに含まれる音データをユーザに視聴可能に出力する。

（マルチメディアデータの一例）
図７は、本発明の第２の実施の形態に係るマルチメディアデータの構成の一例を示す。

第２の実施の形態に係るマルチメディアデータは、一例としてＨＤ ＤＶＤ規格に対応する映像データである。そして、映像データとしてのマルチメディアデータは、一例として、ビデオ画像（動画データ及び音データを含む）用の表示プレーン６１０と、ピクチャーインピクチャー用のコメンタリ表示プレーン６１２と、テキストデータ用の字幕用の表示プレーン６１４と、装置制御情報（例えば、装置制御情報８００）を含むことができるグラフィックス表示プレーン６１６と、カーソル表示用の表示プレーン（図示しない）とを有する。すなわち、本実施の形態に係る画像６００は、アドバンスドコンテンツに対応する映像データである。

そして、再生装置１０のデータ処理部１１０は、表示プレーン６１０と表示プレーン６１２と表示プレーン６１４とメタデータとしての表示プレーン６１６とをそれぞれ重畳して画像６００を生成する。そして、データ処理部１１０は、画像６００に対して装置制御情報を動的に挿入する。データ処理部１１０は、一例として、所定のプログラム処理により表示プレーン６１６に装置制御信号８００を描画することにより、装置制御情報をフレーム単位で挿入することができる。

したがって、本実施の形態においては、データ処理部１１０が、メタデータを利用して装置制御情報を動的にマルチメディアデータに挿入できるので、マルチメディアデータを転送するインターフェースがＨＤ ＤＶＤ規格によらないコンバーター２０であっても、マルチメディアデータのデータ転送を定義できる。また、データ処理部１１０は、メタデータを利用して出力可否情報を動的にマルチメディアデータに挿入するので、コンバーター２０が複数の外部装置を連動して制御する場合でもＭＩＤＩケーブルのように最大チャネル数を考慮することを要せず、同時制御を容易に実現できる。

（装置制御情報の挿入の詳細）
図８は、本発明の第２の実施の形態に係る装置制御情報のマルチメディアデータへの挿入方法の一例を示す。

まず、マルチメディアデータとしての画像６００は、例えば、実際に画像が表示される領域６００ｂと、アンダースキャンされた場合に表示される領域である領域６００ｃと、ＨＤ ＤＶＤの規格により情報を書き込むことが制限されている領域である領域６００ｄとを含む。領域６００ｂ及び領域６００ｃが、一例として、表示用データ領域として定義される。そして、領域６００ｄの下端６００ａには装置制御情報が予め記録されている。

例えば、データ処理部１１０は、画像６００の下端６００ａとしての最下部のライン（一例として、上端から１０８０番目のライン）に、装置制御情報を示す一定長の線分（例えば、線分８００、８０２、８０４、８０６）を描画することにより、画像６００に装置制御情報を動的に挿入する。

また、図８（ｂ）を参照すると、本実施の形態の他の例においては、データ処理部１１０は、画像６０２の左端６０２ａに１ピクセル分の長さを有する線分８０８、線分８１０を描画することにより、画像６００に装置制御情報を挿入することもできる。

本実施の形態において、データ処理部１１０は、一例として、ＨＤ ＤＶＤ規格におけるグラフィックス描画機能、及びＤｒａｗｉｎｇ ＡＰＩ又はマークアップ言語を用いて外部装置の動作の実行の決定ができるので、ＨＤ ＤＶＤ用のマルチメディアデータとしてのコンテンツと、外部装置との間の同期を容易にとることができる。

（線分の描画方法の記述）
図９（ａ）及び（ｂ）は、本発明の第２の実施の形態に係る線分の描画方法の記述の例である。

データ処理部１１０は、図９（ａ）に示すようなマークアップファイル８１２、又は図９（ｂ）に示すようなスクリプトファイル８１４に基づいて、図９の上記説明における画像６００又は画像６０２に線分を描画する。また、データ処理部１１０は、再生装置１０が所定のグラフィックエンジンを更に有する場合、グラフィックエンジンに線分の描画を分担させることができる。なお、装置制御情報は、ＨＤ ＤＶＤ規格で規定されたマークアップファイル又はスクリプトファイルを用いてマルチメディアデータに含めることができるので、コンテンツ作成者が容易に装置制御情報を編集でき、マルチメディアデータと外部装置とが連携するコンテンツを短時間で作製できる。

また、データ処理部１１０は、入力デバイス１０Ａの操作内容に基づいて画像６００又は画像６０２に線分を描画するか否かを選択できる。なお、データ処理部１１０は、マークアップファイル８１２又はスクリプトファイル８１４を用いずに、マルチメディアデータに直接、装置制御情報を出力するか否かの情報を埋め込むこともできる。

（動 作）
以下に、本発明の第２の実施の形態に関する動作を各図を参照しつつ説明する。

図４における楽器選択メニュー４００において所望の楽器、例えば、「ドラムス」楽器４０２ａが選択枠４０１で選択されることにより、データ処理部１１０は、図３に示す操作テーブル１００ｄの設定名「ドラムス」のテーブルを取得し、エフェクトオーディオデータ処理部１１０Ｂは、テーブルに従って「バスドラム」、「スネア」、「シンバル」のエフェクトオーディオをエフェクトオーディオ１００ａから取得する。また、装置制御情報処理部１１０Ｃは、テーブルに従ってアミューズメント機器５２のロボット３を入力デバイス１０Ａの操作に対応づける。また、信号処理部１１０Ｄは、入力デバイス１０Ａの「ボタン１」〜「ボタン３」の操作をエフェクトオーディオデータ処理部１１０Ｂの「エフェクト１」〜「エフェクト３」にそれぞれ対応づける。

また、マルチメディアデータ出力部１２０は、操作テーブル１００ｄに従ってミキサー部１２０Ａのチャンネル「Ｃｈ３」をミュートし、エフェクトオーディオデータ処理部１１０Ｂからの入力を「Ｃｈ３」から出力するように設定する。

次に、ユーザーによって入力デバイス１０Ａの再生ボタン（図示せず）が操作されることにより、マルチメディアデータの再生がスタートし、マルチメディアデータ取得部１００は、記録媒体６０、記録媒体６２、又はサーバー６４からマルチメディアデータを取得して、ストリームデータである映像データと音声データとをデータ処理部１１０に入力して処理し始める。また、マルチメディアデータ取得部１００は、マルチメディアデータに含まれるエフェクトオーディオ、マークアップファイル、スクリプトファイル、操作テーブルをファイルキャッシュ１００Ａに一時的に格納する。

データ処理部１１０は、マルチメディアデータの映像データおよび音声データをデコードし、マルチメディアデータ出力部１２０から出力するように処理するとともに、マークアップファイル１００ｂおよびスクリプトファイル１００ｃとを予め定められたタイトルタイムに同期して処理し、映像データに装置制御信号を挿入する。

以上の動作を実行した時点で、表示画面４０Ａには図５に示すマルチメディア映像４１０が表示され、表示装置４０、アミューズメント機器５２、又はアンプ３０からマルチメディアデータの音声データに関する音声が出力されている。

次に、ユーザーの入力デバイス１０Ａの操作内容に伴い、操作信号が受信部１３０に入力され、操作信号はデータ処理部１１０へと入力される。入力デバイス１０Ａの「ボタン１」〜「ボタン３」の操作に対応して、信号処理部１１０Ｄは、エフェクトオーディオデータ処理部１１０Ｂを動作させて「バスドラム」、「スネア」、および「シンバル」を再生させるとともに、装置制御情報処理部１１０Ｃを動作させて動的にマークアップファイルおよびスクリプトファイルを呼び出し、装置制御情報を動的に生成することで、映像データに対して装置制御情報を挿入する。

（第２の実施の形態の効果）
上記した第２の実施の形態によると、再生中のマルチメディアデータのコンテンツがバンド演奏であった場合に、ユーザーが希望するパートの音声出力のみをミュートしてコンテンツを再生し、また、マルチメディアデータに含まれる装置制御情報に基づいて動作するアミューズメント機器５２、例えば、楽器を演奏する人形等のユーザーが希望するパートの動作のみを停止させて他のパートを動作させることができる上に、入力デバイス１０Ａの操作に基づいてユーザーが希望するパートのエフェクトオーディオを音声として出力することができ、操作に基づいてユーザーが希望するパートの人形を動作させることができる。また、人形を動作させると同時にＭＩＤＩ音源５６を動作させてもよい。この場合、エフェクトオーディオを使用せずに音声を出力することもできる。

［第３の実施の形態］
図１０は、本発明の第３の実施の形態に係る演奏テーブルの構成の一例を示す。

演奏テーブル１００ｅは、一例として、ユーザーが演奏したマルチメディアデータのタイトルやトラックタイトル等を記述する演奏タイトルと、ユーザーが操作した履歴としてのタイムラインと、ユーザーのエフェクトオーディオに対する操作内容を示すエフェクトオーディオ操作情報と、ユーザーの装置制御情報装置に対する操作内容を示す装置制御情報とを有する。
（動 作）
以下に、本発明の第３の実施の形態に関する動作を各図を参照しつつ説明する。

データ処理部１１０は、ユーザーが入力デバイス１０Ａを操作することで、受信部１３０に入力される操作信号を記憶する。例えば、ユーザーの演奏中、入力デバイス１０Ａの「ボタン１」〜「ボタン３」の操作に対応して、信号処理部１１０Ｄは、エフェクトオーディオデータ処理部１１０Ｂを動作させて「バスドラム」、「スネア」、および「シンバル」を再生させるとともに、その操作情報を演奏テーブル１００ｅに対し書き込む。また、入力デバイス１０Ａの「ボタン１」〜「ボタン３」の操作に対応して、装置制御情報処理部１１０Ｃを動作させて動的にマークアップファイルおよびスクリプトファイルを生成し、映像データに対して装置制御情報を挿入するとともに、その装置制御情報を挿入する操作情報を演奏テーブル１００ｅに書き込む。

タイトルの再生が終了すると、データ処理部１１０は、演奏テーブル１００ｅをファイルキャッシュ１００Ａに保存する。また、再生装置１０の使用を終了する場合は、演奏テーブル１００ｅをファイルキャッシュ１００Ａから内部記憶装置１４０に保存する。

ファイルキャッシュ１００Ａ、または内部記憶装置１４０に保存された演奏テーブル１００ｅは、ユーザー操作により読み出すことが可能で、読み出された演奏テーブル１００ｅは、データ処理部１１０において対応するマルチメディアデータとともに再生することができる。つまり、ユーザーが入力デバイス１０Ａを操作した内容を再現することができる。

（第３の実施の形態の効果）
上記した第３の実施の形態によると、再生中のマルチメディアデータのコンテンツがバンド演奏であった場合に、入力デバイス１０Ａの操作に基づいてユーザーが希望するパートのエフェクトオーディオを音声として出力することができ、操作に基づいてユーザーが希望するパートの人形を動作させることができるとともに、それらの操作内容を演奏テーブル１００ｅとして記憶することができ、また、演奏テーブル１００ｅを用いて操作内容を再現することができる。

また、演奏テーブル１００ｅは、エフェクトオーディオの再生および装置制御信号の生成を指示するための情報であるため、実際のエフェクトオーディオを録音したり、装置制御信号を記録したりするだけの記憶容量を必要としない。

［その他の実施の形態］
本発明の他の実施の形態においては、演奏テーブル１００ｅは、マルチメディアデータ取得部１００によってネットワーク７０を介してサーバー６４と通信し、サーバー６４に対してアップロードして保存することもできる。サーバー６４に保存された演奏テーブル１００ｅは、同一内容のマルチメディアデータとともに再生できるため、他の再生装置を用いて演奏内容を再現することができる。また、演奏テーブル１００ｅをユーザーの演奏と同時にストリーミング等で図１に示すサーバー６４にアップロードする構成としてもよい（Ｓ５ｂ）。こうすることで、同一内容のマルチメディアデータがセットされた他の再生装置に対して、ストリーミングすることにより遠隔操作することができるようになる。操作内容は、タイムラインに同期されるのでマルチメディアデータの再生に対する遅延が生じない。なお、以上に述べた内容は一例であり、ユーザーの操作は演奏に限定しない。

以上、本発明の実施の形態を説明したが、上記に記載した実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。

本発明の第１の実施の形態に係るマルチメディアデータ再生システムの概要を示す。 本発明の第１の実施の形態に係る再生装置の機能構成の一例を示す。 本発明の第１の実施の形態に係る再生装置の機能構成の詳細例を示す。 発明の第１の実施の形態に係る操作テーブルの構成の一例を示す。 本発明の第１の実施の形態に係る再生装置の画面表示例を示す。 本発明の第１の実施の形態に係る再生装置の画面表示例を示す。 本発明の第２の実施の形態に係るコンバーターの機能構成の一例を示す。 本発明の第２の実施の形態に係るマルチメディアデータの構成の一例を示す。 本発明の第２の実施の形態に係る装置制御情報のマルチメディアデータへの挿入方法の一例を示す。 図９（ａ）及び（ｂ）は、本発明の第２の実施の形態に係る線分の描画方法の記述の例である。 本発明の第３の実施の形態に係る演奏テーブルの構成の一例を示す。

符号の説明

１…マルチメディアデータ再生システム、１０…再生装置、１０Ａ…入力デバイス、２０…コンバーター、３０…アンプ、４０Ａ…表示画面、４０…表示装置、５２…アミューズメント機器、５４…照明、５６…音源、６０…記録媒体、６２…記録媒体、６４…サーバー、７０…ネットワーク、１００…マルチメディアデータ取得部、１００Ａ…ファイルキャッシュ、１００ａ…エフェクトオーディオ、１００ｂ…マークアップファイル、１００ｃ…スクリプトファイル、１００ｄ…操作テーブル、１００ｅ…演奏テーブル、１１０…データ処理部、１１０Ａ…マルチチャンネルストリーム処理部、１１０Ｂ…エフェクトオーディオデータ処理部、１１０Ｃ…装置制御情報処理部、１１０Ｄ…信号処理部、１２０…マルチメディアデータ出力部、１２０Ａ…ミキサー部、１３０…受信部、１４０…内部記憶装置、２００…データ取得部、２１０…同期信号検出部、２２０…制御情報抽出処理部、２３０…制御情報格納部、２４０…制御情報解析部、２５０…装置制御情報出力部、２６０…データ出力部、４００…楽器選択メニュー、４０１…選択枠、４０２ａ…楽器、４０２ｂ…楽器、４１０…マルチメディア映像、４１１…操作説明メニュー、６００…画像、６００ａ…下端、６００ｂ…領域、６００ｃ…領域、６００ｄ…領域、６０２…画像、６０２ａ…左端、６１０…表示プレーン、６１２…コメンタリ表示プレーン、６１６…グラフィックス表示プレーン、８００…装置制御信号、８０８…線分、８１０…線分、８１２…マークアップファイル、８１４…スクリプトファイル

Claims (8)

1. 挿入用音源データを予め含むマルチメディアデータを取得するマルチメディアデータ取得部と、
   外部から操作信号を受信する受信部と、
   前記受信部が受信した前記操作信号に基づいて前記挿入用音源データを再生して挿入用音源を再生する挿入用音源データ処理部と、
   前記挿入用音源データに基づいて前記マルチメディアデータをミキシングするとともに、前記挿入用音源を挿入して出力するマルチメディアデータ出力部とを有することを特徴とするマルチメディアデータ再生装置。
2. 挿入用音源データを予め含むマルチメディアデータを取得するマルチメディアデータ取得部と、
   外部から操作信号を受信する受信部と、
   前記操作信号に基づいて前記挿入用音源データを再生して挿入用音源を再生する挿入用音源データ処理部と、
   前記操作信号に基づいて装置制御情報を生成し、前記マルチメディアデータに挿入する装置制御情報処理部と、
   前記挿入用音源データに基づいて前記マルチメディアデータをミキシングするとともに、前記挿入用音源を挿入して出力するマルチメディアデータ出力部とを有することを特徴とするマルチメディアデータ再生装置。
3. 前記挿入用音源データ処理部は、前記マルチメディアデータのタイトルタイムに関連づけて、前記操作信号、および前記挿入用音源データの設定を記憶することを特徴とする請求項１または２に記載のマルチメディア再生装置。
4. 前記装置制御情報処理部は、前記マルチメディアデータのタイトルタイムに関連づけて、前記操作信号に基づいて生成された前記装置制御情報を記憶することを特徴とする請求項２に記載のマルチメディア再生装置。
5. 前記挿入用音源データ処理部は、記憶した前記操作信号、および前記挿入用音源データの設定を読み込んで、前記タイトルタイムに基づいて前記マルチメディアデータとともに再生することを特徴とする請求項３に記載のマルチメディア再生装置。
6. 前記装置制御情報処理部は、記憶した前記装置制御情報を読み込んで、前記タイトルタイムに基づいて前記マルチメディアデータとともに再生することを特徴とする請求項４に記載のマルチメディア再生装置。
7. 前記マルチメディアデータ取得部は、取得する前記マルチメディアデータに関連づけられた前記操作信号、前記挿入用音源データ、および前記挿入用音源データのうち少なくとも１つをネットワークを介して外部から取得することを特徴とする請求項３に記載のマルチメディアデータ再生装置。
8. 前記マルチメディアデータ取得部は、取得する前記マルチメディアデータに関連づけられた前記装置制御情報をネットワークを介して外部から取得することを特徴とする請求項４に記載のマルチメディアデータ再生装置。

Images