JP2011155532A - 体感効果再生装置 - Google Patents

Abstract

【課題】コンテンツ制作者の意向やエフェクトの特性を考慮し、違和感のないエフェクトの特殊再生を実現する体感効果再生装置を提供する。
【解決手段】体感効果再生装置１は、コンテンツに同期した体感効果メタデータを復号するメタデータ復号部１５と、メタデータ復号部１５で復号された体感効果メタデータに基づいて、体感機器である周辺機器１０を制御する制御部１６とを備える。制御部１６は、体感効果メタデータに含まれる特殊再生制限情報に基づき、体感効果メタデータに記述された体感効果に関する特殊再生を制御する。ここで、特殊再生とは再生速度の変化を伴う特殊な再生とする。
【選択図】図１

Description

本発明は、映像及び／又は音声のコンテンツと連動して体感機器を動作させ、臨場感の高いコンテンツ視聴を実現するための体感効果再生装置に関するものであり、特に、コンテンツの特殊再生時における体感効果の再生制御を行う体感効果再生装置に関する。

近年、映像及び／又は音声のコンテンツと連動して、照明、振動、香りなどの体感効果（エフェクト）を提示することにより、臨場感の高いコンテンツ視聴を実現する方法が提案されている。

例えば、特許文献１には、画像表示装置に表示される画像に連動して視聴環境照明を制御することによって、高い臨場感が得られる照明制御方法が開示されている。また、特許文献２には、映像／音声コンテンツと連動した振動エフェクトの特殊再生において、特殊再生モードに対応した重み付けを振動情報に与える振動体感再生装置が開示されている。

また、体感効果を記述するメタデータの検討も進められており、国際標準化団体であるＭＰＥＧ（Moving Picture Experts Group）では、照明、振動、香りなどの各種エフェクトを記述するためのメタデータの規格化が進められている（非特許文献１を参照）。

特開２０００−１７３７８３号公報 特開２００７−３２４８２９号公報

"Working Draft of ISO/IEC 23005 Sensory Information"、[online]、２００９年４月、［平成２１年９月２９日検索］、インターネット <URL: http://www.chiariglione.org/mpeg/working_documents/mpeg-v/pt3.zip>

コンテンツの視聴時には、しばしば、早送りや早戻しなどの特殊再生が行われる。しかしながら、体感効果の特殊再生では、再生速度が速い場合にすべてのエフェクトを時間的に短縮して提示すると、映像とエフェクトの対応関係が分かりにくくなるなど、違和感を感じてコンテンツ全体の内容の把握が困難になる場合があった。

また、例えばこのエフェクトは比較的重要でないため特殊再生時には省略しても構わないといったコンテンツ制作者の意向や、例えば香りエフェクトは拡散に時間がかかるといったエフェクトの特性によっては、エフェクトの特殊再生を制限したい場面があるものの、特許文献１，２や非特許文献１をはじめとする従来の技術ではそのような制限を行うことができなかった。

すなわち、従来の技術では、特殊再生がコンテンツ視聴側からの要求により開始される再生であるため、特殊再生時にエフェクトを実行するか否かのコンテンツ制作者側の意向を反映することができず、また、特殊再生が再生速度の変化を伴う再生であるため、特殊再生の時にエフェクトの特性に拘わらずそのエフェクトが実行されてしまう。

本発明は、上述のような実状に鑑みてなされたものであって、コンテンツ制作者の意向やエフェクトの特性を考慮し、違和感のないエフェクトの特殊再生を実現する体感効果再生装置を提供することを、その目的とする。

上記課題を解決するために、本発明の第１の技術手段は、映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する体感効果再生装置であって、前記コンテンツに同期した体感効果メタデータを復号するメタデータ復号部と、前記メタデータ復号部で復号された前記体感効果メタデータに基づいて前記体感機器を制御する制御部とを備え、前記制御部は、前記体感効果メタデータに含まれる特殊再生制限情報に基づき、前記体感効果メタデータに記述された体感効果に関する特殊再生を制御し、前記特殊再生は、再生速度の変化を伴う特殊な再生とすることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記特殊再生制限情報は、前記特殊再生を禁止することを示す情報を含むことを特徴としたものである。
第３の技術手段は、第１の技術手段において、前記特殊再生制限情報は、前記特殊再生を制限しないことを示す情報を含むことを特徴としたものである。

第４の技術手段は、第１の技術手段において、前記特殊再生制限情報は、前記特殊再生の実行中における、前記体感効果メタデータに記述されたエフェクトを提示する提示処理を禁止することを示す情報を含むことを特徴としたものである。

第５の技術手段は、第１の技術手段において、前記特殊再生制限情報は、前記特殊再生の実行中に、前記体感効果メタデータに記述されたエフェクトの代替となる代替処理を行うことを示す情報を含むことを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記代替処理は、ディスプレイ上に前記体感効果メタデータに記述されたエフェクトに対応する文字を表示する処理とすることを特徴としたものである。
第７の技術手段は、第５の技術手段において、前記代替処理は、ディスプレイ上に前記体感効果メタデータに記述されたエフェクトに対応するアイコンを表示する処理とすることを特徴としたものである。
第８の技術手段は、第５の技術手段において、前記代替処理は、あらかじめ決められたエフェクトを提示する処理とすることを特徴としたものである。
第９の技術手段は、第５の技術手段において、前記代替処理は、映像及び／又は音声から生成したエフェクトを提示する処理とすることを特徴としたものである。
第１０の技術手段は、第５の技術手段において、前記代替処理は、映像及び／又は音声を加工する処理とすることを特徴としたものである。
第１１の技術手段は、第５の技術手段において、前記代替処理は、前記体感効果メタデータに記述されたエフェクトとは種別の異なるエフェクトを提示する処理とすることを特徴としたものである。

本発明に係る体感効果再生装置によれば、体感効果メタデータに付与された特殊再生制限情報に基づいて、その体感効果提示時の特殊再生や特殊再生時のその体感効果の提示処理を制御するようにしたため、コンテンツ制作者の意向やエフェクトの特性を考慮した、違和感の無いエフェクトの特殊再生を実現することができる。

本発明の一実施形態に係る体感効果再生装置の概略構成例を示す機能ブロック図である。 図１のメタデータ復号部から出力される体感効果メタデータの例である。 特殊再生制限情報の一覧を示した図である。 体感効果メタデータのＥＳ（Elementary Stream）パケット、ＰＥＳ（Packetized Elementary Stream）パケット、ＴＳ（Transport Stream）パケットの関係を示した図である。 ＰＥＳパケットヘッダの構成を示した図である。 ＴＳパケットヘッダの構成を示した図である。 本発明の一実施形態に係る体感効果再生装置の他の概略構成例を示す機能ブロック図である。

本発明に係る体感効果再生装置は、映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する（再生させる）装置であり、例えば、テレビ装置、若しくはテレビ装置やモニタ装置に接続されたレコーダやプレーヤなどに、体感機器が接続されて構成される。以下、本発明に係る体感効果再生装置について、図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る体感効果再生装置の概略構成例を示す機能ブロック図である。
図１で例示する体感効果再生装置１は、周辺機器１０、光ディスク１１の駆動装置、データ分離部１２、映像復号部１３、音声復号部１４、メタデータ復号部１５、制御部１６、操作部１７、ディスプレイ１８、及びスピーカ１９を備える。なお、周辺機器１０、光ディスク１１の駆動装置、ディスプレイ１８、及びスピーカ１９などは、体感効果再生装置１の本体の外部に接続されていてもよい。

周辺機器１０は、臨場感を与えるような体感を視聴者に提示する１又は複数の体感機器であり、照明装置、振動発生装置、香り発生装置などが挙げられる。光ディスク１１としては、例えばＢＤ（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）などが挙げられる。また、光ディスク１１の代わりに磁気ディスクや半導体の不揮発性メモリなどの可搬メディアを採用してもよい。

データ分離部１２は、光ディスク１１の駆動装置が光ディスク１１から読み出した、体感効果を含む映像コンテンツの多重化データに対して逆多重化処理を行い、映像データを映像復号部１３へ、音声データを音声復号部１４へ、体感効果メタデータをメタデータ復号部１５へ出力する。映像復号部１３、音声復号部１４は、それぞれ映像データ、音声データを復号し、ディスプレイ１８、スピーカ１９へ出力する。メタデータ復号部１５は、コンテンツに同期した体感効果メタデータを復号し、制御部１６へ出力する。

光ディスク１１の記録フォーマットには、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １３８１８−１）で規定されているＴＳ（Transport Stream）を用いることができる。この場合、データ分離部１２では、ＴＳパケットに記述されているＰＩＤ（Packet Identification）に基づき、映像ＴＳ、音声ＴＳ、及びメタデータＴＳに分離し、メディア（映像／音声／メタデータ）ごとのＰＥＳ（Packetized Elementary Stream）パケットを生成する。さらに、データ分離部１２では、ＰＥＳパケットからＥＳ（Elementary Stream）を生成し、映像ＥＳを映像復号部１３へ、音声ＥＳを音声復号部１４へ、メタデータＥＳをメタデータ復号部１５へ出力する。

映像ＥＳの符号化には、ＭＰＥＧ−４ Ｖｉｓｕａｌ（ＩＳＯ／ＩＥＣ １４４９６−２）やＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／Ｈ．２６４等の符号化方式を用いることができる。映像復号部１３で復号された映像データは、ディスプレイ１８に表示される。

音声ＥＳの符号化には、ＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ １３８１８−７）や、ＭＰＥＧ−４ ＡＡＣ（ＩＳＯ／ＩＥＣ １４４９６−３）等の符号化方式を用いることができる。音声復号部１４で復号された音声データは、スピーカ１９に出力される。

メタデータＥＳの符号化には、非特許文献１で挙げたＭＰＥＧ−Ｖ Ｓｅｎｓｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＩＳＯ／ＩＥＣ ２３００５−３）等、ＸＭＬ（Extensible Markup Language）ベースの記述形式を用いることができる。ＸＭＬで記述されたメタデータは、テキスト形式のＥＳとして符号化してもよいし、ＭＰＥＧ−７ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １５９３８−１）で規定されるバイナリフォーマット（ＢｉＭ）を用い、バイナリ形式のＥＳとして符号化してもよい。メタデータ復号部１５で復号された（ここでは、ＸＭＬのパース処理も含むものとする）体感効果メタデータは、制御部１６に出力される。

次に、制御部１６の動作について説明する。
制御部１６は、メタデータ復号部１５で復号された体感効果メタデータに記述されたエフェクトに応じて周辺機器１０を制御する。そして、本発明の主たる特徴として、制御部１６は、体感効果メタデータに付与された特殊再生制限情報に基づいて、その体感効果メタデータに記述された体感効果に関する特殊再生を制御する。

ここで、特殊再生とは、再生速度の変化を伴う特殊な再生とする。特殊再生は、主に操作部１７からのユーザ操作で要求され、図示しないコンテンツ制御部により、ディスプレイ１８やスピーカ１９、映像復号部１３や音声復号部１４、データ分離部１２、及び光ディスク１１の駆動装置のうち必要な部位を制御することで実行され、ディスプレイ１８やスピーカ１９で視聴できるようになる。そして、要求された特殊再生の内容としては、特殊再生の種類や再生の速度などの特殊再生の度合い、より具体的には、通常再生、早送り再生、早戻し再生、一時停止等の再生モードのうち、どの再生モードが要求されたのかを示す情報が挙げられる。つまり、特殊再生としては、再生速度が１より大きな倍率、例えば１．５倍、２倍、５倍、２０倍などの速度での早送り／早戻し再生や、再生速度が１倍より小さなスロー再生やコマ送り／コマ戻し再生、一時停止時の動作が適用できる。また、１倍速での戻し再生についても特殊再生と取り扱ってよい。

また、特殊再生制限情報としては、映像（及び／又は音声）及び／又は体感効果についての特殊再生の禁止等の制限を示す情報が挙げられる。そして、このような情報に基づき特殊再生を制御することは、（ｉ）体感効果メタデータが示すエフェクトを提示する際のコンテンツ特殊再生を禁止するか否か等、特殊再生自体を上述のコンテンツ再生制御部を介して制御することや、（ｉｉ）体感効果メタデータが示すエフェクトを提示するか否か等（つまり周辺機器１０で再生させるか否か等）、特殊再生時のエフェクト提示処理自体を制御することを指す。なお、体感効果がコンテンツ再生に同期するなど連動して臨場感を与えるためのものであって、体感効果も特殊再生される対象となることから、上記（ｉｉ）の制御、つまりコンテンツ特殊再生時に限ったエフェクト提示処理の制御についても、特殊再生を制御していると言える。

このように、制御部１６は、メタデータ復号部１５より出力された体感効果メタデータ内の特殊再生制限情報と、操作部１７より出力される再生モードの情報とに基づき、周辺機器１０への出力を制御したり、ディスプレイ１８やスピーカ１９への出力の禁止等を上述のコンテンツ再生制御部を介して制御したりすることになる。また、特殊再生の要求は、操作部１７によるユーザ操作に基づきなされる以外にも、タイマなどを使用して自動的にコンテンツ再生側である体感効果再生装置１が実行することでなされてもよい。

次に、体感効果メタデータ及びそこに含まれる特殊再生制限情報について、図２を参照しながら具体的に説明する。図２は、メタデータ復号部１５から出力される体感効果メタデータの一例を示す図である。図２で例示する体感効果メタデータ２には、提示する各種エフェクト２１〜２５が時間（ｓｉ：ｐｔｓ）順に記述されている。

照明エフェクト２１は、時刻１００（ｓｉ：ｐｔｓ＝“１００”）より１０秒間（ｄｕｒａｔｉｏｎ＝“１０”）、緑色（ｃｏｌｏｒ＝“＃００ＦＦ００”）の照明（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＬｉｇｈｔＴｙｐｅ”）を強度２０％（ｉｎｔｅｎｓｉｔｙ＝“０．２”）で点灯させることを示している。他の照明エフェクト２２，２５についても記述された値が違うだけである。

同様に、振動エフェクト２３は、時刻２００より５秒間、強度５０％で振動（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＶｉｂｒａｔｉｏｎＴｙｐｅ”）を発生させることを示している。同様に、香りエフェクト２４は、時刻３００より１０秒間、強度１０％でバラ（ｓｃｅｎｔ＝“：ＳＣＥＮＴ：ｒｏｓｅ”）の香り（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＳｃｅｎｔＴｙｐｅ”）を発生させることを示している。

そして、各エフェクト２１〜２５には、特殊再生制限情報（ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ）が指定されている。より具体的には、エフェクト２１，２２，２３，２４，２５に対してそれぞれ０，２，０，１，０の値が指定されている。なお、値が０の場合、特殊再生制限情報の記述を省略してもよい。

ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅは、エフェクト単位（図２の＜Ｅｆｆｅｃｔ＞・・・＜／Ｅｆｆｅｃｔ＞単位）に付与が可能な属性であって、同じ種類（ｘｓｉ：ｔｙｐｅの値が同じ）のエフェクトであっても異なる値を取ることができ、逆に種類の異なるエフェクトに対して同じ値を取ることもできる。

次に、制御部１６で実行される、図２の特殊再生制限情報に基づいた制御について、図３を参照しながら説明する。図３は、特殊再生制限情報であるｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅの一覧を示した図である。図３の特殊再生制限情報一覧３は、体感効果再生装置１の内部、例えば制御部１６の内部に記憶されたテーブルであって、体感効果メタデータ内のｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅの値に応じた処理方法を参照するために用いるテーブルの一例である。制御部１６は、特殊再生が要求されたときには、体感効果メタデータの特殊再生制御情報（ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ）を読み出し、その値から特殊再生制限情報一覧３を参照してその定義を得て、その定義に従った特殊再生制御を行うことになる。

特殊再生制限情報一覧３で示す定義の例について説明する。ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“０”は、エフェクトの特殊再生の制限が無いことを示している。ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“１”は、指定された区間において、特殊再生を禁止することを示している。ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“２”は、指定された区間において、特殊再生は許可するが記述されたエフェクトの特殊再生中の提示は禁止することを示している。ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“３”は、指定された区間において、特殊再生中のエフェクトの代替提示を許可すること、つまり記述されたエフェクトの代替処理を特殊再生中に実行すること、を示している。

ここで、エフェクトの代替処理としては、次の（１）〜（５）等、種々の処理が考えられる。
（１）ディスプレイ１８に、記述されたエフェクトに対応する文字及び／又はアイコンを表示する。例えば「照明」、「振動」、「香り」、「風」等の文字を表示するなどが挙げられる。
（２）あらかじめ決められたエフェクト、すなわちデフォルトエフェクトを提示する。例えば、色変化、フラッシュ、フェード等を含む複雑な照明効果の場合、特殊再生時には忠実に、記述されたエフェクトを再現するのではなく、あらかじめ定められた輝度又は色の照明で代用する。

（３）映像及び／又は音声から自動生成したエフェクトを提示する。例えば、高速再生の場合、すべての画像フレームをディスプレイ１８に表示できない場合があるため、実際に表示した画像フレームからエフェクトを自動生成し提示する。自動生成の方法としては、既存の技術を用いた所定の生成方法を採用すればよく、あくまで代替処理であるためどのような生成方法を採用しても生成でき、ディスプレイ１８やスピーカ１９などで再生できればよい。なお、ここで自動生成されるエフェクトも、周辺機器１０で再生するものであってもよい。
（４）映像及び／又は音声を加工する。例えば、振動効果の特殊再生時には、振動発生装置を用いるのではなく、振動方向に合わせてディスプレイ１８の映像を揺らすことや、音量の大小を短い周期で変えることなどで代用する。
（５）記述されたエフェクトとは種別の異なるエフェクトを提示する。例えば、振動エフェクトが体感効果メタデータに記述されていた場合には、効果音のエフェクトで代用する。

また、特殊再生をそのまま実行したまま、特殊再生時のエフェクトだけを一時的に停止することもできる。そのため、特殊再生中にエフェクトの再生が停止されたときにも上述したような代替処理を実行するように構成することもできる。例えば、ユーザが、音声のミュート時のようにミュート表示を行うのと同様に、一時的にエフェクトのみをＯＦＦにする操作を行った場合、ディスプレイ１８上にそのエフェクトを示すような文字及び／又はアイコンを一時停止していることが分かるように表示する。このような制御のためには、特殊再生時には代替処理Ａを行い、エフェクト再生が一時停止されたときには代替処理Ｂ（この例では文字及び／アイコンの表示処理）を行うといった情報を、特殊再生制限情報として記述しておけばよい。

図２の例では、照明エフェクト２２は、通常再生時には時刻１００から１０秒間、コンテンツの再生に連動して再生される。しかし、照明エフェクト２２にはｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“２”が記述されているため、特殊再生は実行されるが、制御部１６が周辺機器１０を稼動させないことで、特殊再生時のそのエフェクトの提示を禁止する。

また、香りエフェクト２４は、通常再生時には時刻３００から１０秒間、コンテンツの再生に連動して再生される。また、香りエフェクト２４にはｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“１”が記述されているため、特殊再生要求時には、制御部１６が上述のコンテンツ再生制御部を制御して特殊再生そのものを禁止する。従って、仮に、ユーザが操作部１７におけるリモコン等で早送りや早戻し等の特殊再生を要求した場合であっても、通常再生のままであって特殊再生は実行されず、エフェクト（この例では香りエフェクト）も通常再生時と同様に再生される。なお、このときディスプレイ１８上に特殊再生禁止である旨のメッセージ等を表示するなどすることで、特殊再生が禁止されていることをユーザに示すようにしてもよい。

また、エフェクト２１，２３，２５についてはｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“０”が記述されているため、エフェクトの特殊再生の制限が無い。従って、特殊再生が要求されたときに、通常再生時と同様に上述のコンテンツ再生制御部が映像・音声の特殊再生を実行すると共に、制御部１６が周辺機器１０を制御することで、体感効果メタデータに記述のエフェクトの再生も映像・音声の再生に連動するように実行する。

図２では、代替処理を実行する例を挙げていないが、同様にエフェクトにｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“３”を記述しておけば、制御部１６であらかじめ定められた代替処理、例えば上記（１）〜（５）のいずれかを、制御部１６が基本的に上述のコンテンツ再生制御部を介して制御して実行する。一方で、エフェクトにｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ＝“”を記述しておくか、ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ自体を記述しなければ、制御部１６は特殊再生時に（通常再生時も同様）、要求される再生速度でエフェクトを再生（提示）すればよい。

主に特殊再生時について説明したが、通常再生時には、ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅの値に拘わらず、体感効果メタデータに記述されたエフェクトをすべて提示すればよい。そのため通常再生時には、制御部１６は、ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅの値や特殊再生制限情報一覧３を参照せずにそのままエフェクトを提示するよう制御すればよい。このように、体感効果再生装置１は、特殊再生制限情報を通常再生時には参照せず特殊再生時にのみ参照すればよい。

但し、代替処理（代替提示の許可）については、特殊再生時だけでなく通常再生時にも利用可能である。従って、代替処理が記述されている場合を考慮する体感効果再生装置１では、通常再生時にもｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅの値や特殊再生制限情報一覧３を参照し、制御部１６が代替処理については常に実行するよう制御する構成にしておくこともできる。

以上、図３の例では、特殊再生制限情報として、（ａ）特殊再生を制限しないことを示す情報、（ｂ）特殊再生を禁止することを示す情報、（ｃ）特殊再生の実行中における記述のエフェクトを提示する提示処理を禁止することを示す情報、（ｄ）特殊再生の実行中に記述のエフェクトの代替となる代替処理を行うことを示す情報（より具体的には代替処理（１）〜（５）のいずれかの情報）、を挙げた。そして、図３の例では、情報（ａ）〜（ｄ）のいずれか１つの特殊再生制限情報を含むか、若しくは特殊再生制限情報を含まないか、といったルールのもとで制御を行った場合を挙げた。この代わりに、情報（ａ）〜（ｄ）のうちのいずれか２つや３つのみの情報を用いて、それらのうち１つの特殊再生制限情報が含まれるか含まれないか、といったルールのもとで制御を行ってもよい。また、情報（ａ）〜（ｄ）のうちのいずれか１つのみの情報を用いて、その１つの特殊再生制限情報が含まれるか含まれないか、といったルールのもとで制御を行ってもよい。

また、図２では、特殊再生制限情報が体感効果におけるエフェクト単位で付与され、特殊再生の制御もエフェクト単位で行った例を挙げた。このようにエフェクトごとに付与しておくことで、制御部１６が、コンテンツ制作者の意向やエフェクトの特性を考慮した違和感の無いエフェクトの特殊再生をいずれのエフェクトに対しても実行することができる。

しかし、ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ属性は、エフェクト単位に限らず、エフェクト群単位、あるいはメタデータ単位のいずれの単位で記述することもできる。すなわち、ｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅ属性は、図２におけるＥｆｆｅｃｔ要素の属性やＳＥＭ要素の属性として、また図示しないＧｒｏｕｐＯｆＥｆｆｅｃｔ要素の属性として記述可能である。どの要素の属性として特殊再生制限情報を記述するかは、コンテンツ制作者が決めればよく、例えば或るＧｒｏｕｐＯｆＥｆｆｅｃｔ要素の属性として記述することで、照明エフェクトと音声エフェクトとで構成されるエフェクトのグループ（つまり同時に提示する複数のエフェクトでなる体感効果）に対して、一括して特殊再生を禁止したりそのグループの代替処理を実行させたりすることなども可能になる。

また、図２の例では体感効果メタデータとして照明、振動、香りで臨場感を体感させるデータのみを挙げたが、これに限定されるものではなく、体感効果メタデータは例えば効果音、風、温度、イオン、霧等で臨場感を体感させるデータであってもよい。その場合、周辺機器１０として、それぞれ効果音発生装置、送風機、エアコンディショナー、イオン発生装置、霧発生装置を備えておけばよい。

以上説明したように、体感効果再生装置１では、特殊再生の制限を示す情報を体感効果メタデータ内に記述し、それを解読できるように構成しておくことによって、コンテンツ制作者の意向やエフェクトの特性を考慮した体感効果の再生が実現できる。特に、メタデータ内に記述された特殊再生制限情報に基づいた特殊再生制御が可能なため、コンテンツ制作者（＝メタデータ制作者）の意向、例えばこの照明エフェクトは高速に再生すると明滅等が激しくなるため特殊再生時には省略すべきといった意向を、反映することができる。また、例えば拡散に時間がかかる香りエフェクトなどについては、通常再生時には実行する一方で、特殊再生時に実行しないように制限することができる。

また、上述の例では、特殊再生制限情報をメタデータＥＳに記述し、特殊再生時の体感効果の再生制御を実現したが、ＭＰＥＧ−２トランスポートストリームにおけるＰＥＳパケットやＴＳパケットに記述してもよい。このような例、すなわち特殊再生制限情報としてＰＥＳパケットやＴＳパケットに記述した例について、図４〜図６を参照しながら説明する。

まず、体感効果メタデータのＥＳパケット、ＰＥＳパケット、ＴＳパケットの関係について、図４を参照して説明する。図４で示す関係４のように、各エフェクト（ＥＳパケット）４１はＰＥＳヘッダが付加されてＰＥＳパケット４２を構成し、さらにＰＥＳパケット４２は、所定の長さに分割されＴＳヘッダが付加されＴＳパケット４３を構成する。図４の構成では、１つのエフェクトが１つのＰＥＳパケットに（例えば、照明エフェクト２１のメタデータＥＳが１つのＰＥＳパケットに）格納されているが、これに限らず、１つのエフェクトが複数のＰＥＳパケットに格納されていてもよい。

図５は、ＰＥＳパケットヘッダの構成を示した図である。図５で例示するＰＥＳパケットヘッダ５には、シンタックス、それに対応するビット数、及びニーモニックが記述されている。シンタックスには、図３の特殊再生制限情報一覧３における０，１，２，３の４つの値のいずれかを示すために２ビットのｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅが規定されている。このように、特殊再生制限情報は、ＰＥＳパケットヘッダに所定ビット数（図３の場合２ビット）のフラグとして記述可能である。

図６は、ＴＳパケットヘッダの構成を示した図である。図６で例示するＴＳパケットヘッダ６には、シンタックス、それに対応するビット数、及びニーモニックが記述されている。シンタックスには、図３の特殊再生制限情報一覧３における０，１，２，３の４つの値のいずれかを示すために２ビットのｔｒｉｃｋ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｍｏｄｅが規定されている。このように、特殊再生制限情報は、ＴＳパケットヘッダに所定ビット数（図３の場合２ビット）のフラグとして記述可能である。

また、上述した図１の構成例では、映像データ、音声データ、及びメタデータ（体感効果を含む）が多重化され光ディスク１１に記録されているものを再生対象として説明したが、体感効果メタデータ本体は通信回線等を介して映像・音声コンテンツの再生時に取得する構成を採用してもよい。このような構成例を、図７を参照して説明する。図７は、本発明の一実施形態に係る体感効果再生装置の他の概略構成例を示す機能ブロック図である。

図７で例示する体感効果再生装置７は、体感効果メタデータを取得するために、図１の構成に加えて、蓄積部７１に接続されたサーバ７２に接続可能なようにネットワークアダプタ等を備えており、また、取得制御を含めた全体の制御を行う制御部７３が制御部１６の代わりに設けられている。この構成では、光ディスク１１には、ＵＲＩ（Uniform Resource Identifier）等、体感効果メタデータ本体の場所を示すメタデータのみを多重化しておけばよい。

制御部７３は、メタデータ復号部１５より出力されたメタデータが示す体感効果メタデータ本体のＵＲＩに基づき、サーバ７２に体感効果メタデータを要求する。サーバ７２は、その要求を受信し、蓄積部７１に記録されているデータのうち、その要求に対応する体感効果メタデータを検索して制御部７３に送信する。

また、図７では、光ディスク１１内にコンテンツ及び体感効果メタデータ本体の場所情報が格納され、蓄積部７１に体感効果メタデータが蓄積された例を挙げたが、コンテンツや体感効果メタデータの取得方法としては様々な方法が採用できる。

例えば、体感効果再生装置は、コンテンツと体感効果メタデータとを双方、放送波として受信するように構成してもよい。また、体感効果再生装置は、放送波としてコンテンツ及び体感効果メタデータの場所情報を受信し、サーバ７２を介して蓄積部７１や光ディスク１１等の記録メディアから体感効果メタデータを取得するように構成することも可能である。また、体感効果再生装置は、コンテンツと体感効果メタデータの双方を、ビデオオンデマンドで若しくはＩＰ（Internet Protocol）放送などで、サーバ７２及び蓄積部７１のような外部サーバ及び蓄積部から取得するように構成することができる。そのとき、コンテンツ及び体感効果メタデータ本体の場所情報を最初に取得して、体感効果メタデータ本体は必要なときに別途外部サーバ及び蓄積部から取得するようにしてもよい。

また、特殊再生制限情報一覧３のようなテーブルは、体感効果再生装置７内に格納しておけばよいが、体感効果メタデータと共に、サーバ７２から取得したり上述した様々な取得方法で取得したりするようにしてもよい。

１，７…体感効果再生装置、２…体感効果メタデータ、３…特殊再生制限情報一覧、４…体感効果メタデータのＥＳパケットとＰＥＳパケットとＴＳパケットの関係、５…ＰＥＳパケットヘッダ、６…ＴＳパケットヘッダ、１０…周辺機器、１１…光ディスク、１２…データ分離部、１３…映像復号部、１４…音声復号部、１５…メタデータ復号部、１６，７３…制御部、１７…操作部、１８…ディスプレイ、１９…スピーカ、２１，２２，２５…照明エフェクト、２３…振動エフェクト、２４…香りエフェクト、４１…エフェクト（ＥＳパケット）、４２…ＰＥＳパケット、４３…ＴＳパケット、７１…蓄積部、７２…サーバ。

Claims (11)

1. 映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する体感効果再生装置であって、
   前記コンテンツに同期した体感効果メタデータを復号するメタデータ復号部と、
   前記メタデータ復号部で復号された前記体感効果メタデータに基づいて前記体感機器を制御する制御部とを備え、
   前記制御部は、前記体感効果メタデータに含まれる特殊再生制限情報に基づき、前記体感効果メタデータに記述された体感効果に関する特殊再生を制御し、
   前記特殊再生は、再生速度の変化を伴う特殊な再生とすることを特徴とする体感効果再生装置。
2. 前記特殊再生制限情報は、前記特殊再生を禁止することを示す情報を含むことを特徴とする請求項１に記載の体感効果再生装置。
3. 前記特殊再生制限情報は、前記特殊再生を制限しないことを示す情報を含むことを特徴とする請求項１に記載の体感効果再生装置。
4. 前記特殊再生制限情報は、前記特殊再生の実行中における、前記体感効果メタデータに記述されたエフェクトを提示する提示処理を禁止することを示す情報を含むことを特徴とする請求項１に記載の体感効果再生装置。
5. 前記特殊再生制限情報は、前記特殊再生の実行中に、前記体感効果メタデータに記述されたエフェクトの代替となる代替処理を行うことを示す情報を含むことを特徴とする請求項１に記載の体感効果再生装置。
6. 前記代替処理は、ディスプレイ上に前記体感効果メタデータに記述されたエフェクトに対応する文字を表示する処理とすることを特徴とする請求項５に記載の体感効果再生装置。
7. 前記代替処理は、ディスプレイ上に前記体感効果メタデータに記述されたエフェクトに対応するアイコンを表示する処理とすることを特徴とする請求項５に記載の体感効果再生装置。
8. 前記代替処理は、あらかじめ決められたエフェクトを提示する処理とすることを特徴とする請求項５に記載の体感効果再生装置。
9. 前記代替処理は、映像及び／又は音声から生成したエフェクトを提示する処理とすることを特徴とする請求項５に記載の体感効果再生装置。
10. 前記代替処理は、映像及び／又は音声を加工する処理とすることを特徴とする請求項５に記載の体感効果再生装置。
11. 前記代替処理は、前記体感効果メタデータに記述されたエフェクトとは種別の異なるエフェクトを提示する処理とすることを特徴とする請求項５に記載の体感効果再生装置。

Images