JP2019193163A - コンテンツ出力装置 - Google Patents

Abstract

【課題】音声が再生される位置に基づいて、映像の表示態様を変えることが可能なコンテンツ出力装置を提供すること。【解決手段】１又は複数のオブジェクトの音声と、映像とを含むコンテンツを出力するコンテンツ出力装置であって、前記映像を表示画面に表示する表示部と、前記オブジェクトの音声に対応づけられた空間位置情報が前記コンテンツに含まれている場合に、当該空間位置情報に基づいて音声を出力する音声出力部と、制御部と、を備え、前記制御部は、前記空間位置情報を前記表示部における表示位置情報に変換し、前記表示画面に表示される映像のうち、前記表示位置情報に基づいて前記映像の表示態様を変える、ことを特徴とする。【選択図】図１

Description

本発明は、コンテンツ出力装置に関する。

近年、コンテンツの映像の高画質化が進む中、音声も多チャンネルによる高音質化が進んでいる。しかし、多チャンネルによる高音質化に関しては、コンテンツ制作者はスピーカの配置を気にする必要があり、また、スピーカの配置がコンテンツ制作者の想定と異なると、ユーザはコンテンツ制作者の意図した通りの体験が得られないという問題があった。

そこで、物体（オブジェクト）に対して音を定位させる技術が提案されている。例えば、映像情報と音声情報を入力し、入力された映像情報から動き物体を検出し、その動き物体を音源として音像を定位する音声情報生成装置が提案されている（例えば、特許文献１参照）。

オブジェクトに音声が関連付けられることにより、音声は、アンプなどの再生機器側でオブジェクトの位置や動きの情報に基づいてスピーカの位置や数に合わせたレンダリングを行われた上で再生される。したがって、コンテンツ制作者もユーザも、スピーカの配置を気にする必要がない。

特開２００５−２９５１８１号公報

しかし、例えばテレビジョン受像装置のように、スピーカの数が限られている場合は、オブジェクトに音が定位されていても、ユーザに対して没入感や、立体感、臨場感といった感覚を与えることが困難であるという問題があった。

上記事情に鑑み、本発明は、音声が再生される位置に基づいて、映像の表示態様を変えることが可能なコンテンツ出力装置を提供することを目的とする。

上述した課題を解決するために、本発明のコンテンツ出力装置は、
１又は複数のオブジェクトの音声と、映像とを含むコンテンツを出力するコンテンツ出力装置であって、
前記映像を表示画面に表示する表示部と、
前記オブジェクトの音声に対応づけられた空間位置情報が前記コンテンツに含まれている場合に、当該空間位置情報に基づいて音声を出力する音声出力部と、
制御部と、
を備え、
前記制御部は、
前記空間位置情報を前記表示部における表示位置情報に変換し、
前記表示画面に表示される映像のうち、前記表示位置情報に基づいて前記映像の表示態様を変える、
ことを特徴とする。

本発明のコンテンツ出力装置によれば、オブジェクトの音声に対応づけられた空間位置情報に基づいて映像の表示態様を変えることができる。このようにすることで、映像によって、ユーザに対して没入感、立体感、臨場感といった感覚を与えることが可能となる。

第１実施形態におけるコンテンツ出力装置の機能構成を説明するための図である。 第１実施形態におけるコンテンツ処理部の機能構成を説明するための図である。 第１実施形態におけるパラメータ情報のデータ構成の一例を示した図である。 第１実施形態におけるコンテンツ変換処理を説明するための動作フロー図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第２実施形態におけるパラメータ情報のデータ構成の一例を示した図である。 第２実施形態における動作例を説明するための図である。 第３実施形態におけるパラメータ情報のデータ構成の一例を示した図である。 第３実施形態におけるコンテンツ変換処理を説明するための動作フロー図である。 第３実施形態における動作例を説明するための図である。 第３実施形態における動作例を説明するための図である。 第３実施形態における動作例を説明するための図である。 第４実施形態におけるパラメータ情報のデータ構成の一例を示した図である。 第４実施形態におけるコンテンツ変換処理を説明するための動作フロー図である。 第４実施形態における動作例を説明するための図である。 第５実施形態におけるコンテンツ出力装置の機能構成を説明するための図である。 第５実施形態における動作例を説明するための図である。 第５実施形態における動作例を説明するための図である。 第６実施形態におけるコンテンツ出力装置の機能構成を説明するための図である。 第６実施形態における動作例を説明するための図である。 第６実施形態における動作例を説明するための図である。 第６実施形態における動作例を説明するための図である。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本願発明のコンテンツ出力装置について説明する。

［１．第１実施形態］
［１．１ 機能構成］
図１は、コンテンツ出力装置１０の機能構成を説明するための図である。コンテンツ出力装置１０は、例えば、テレビジョン受像装置等であるが、他にもコンピュータや、カーナビゲーション、大型ディスプレイ、スクリーンといった表示装置であってもよい。また、プロジェクタのような投影型の表示装置であってもよい。

図１に示すように、本実施形態のコンテンツ出力装置１０は、制御部１００と、コンテンツ入力部１１０と、コンテンツ処理部１２０と、映像出力部１３０と、音声出力部１４０と、操作部１５０と、通信部１６０と、記憶部１７０と、座標変換部１８０とを備えて構成されている。

制御部１００は、コンテンツ出力装置１０の全体を制御するための機能部である。制御部１００は、各種プログラムを読み出して実行することにより各種機能を実現しており、例えば１又は複数の演算装置（例えばＣＰＵ（Central Processing Unit））により構成されている。

コンテンツ入力部１１０は、コンテンツ出力装置１０で出力するコンテンツのデータを入力する機能部である。コンテンツのデータは、例えば、放送信号や映像信号によって入力され、コンテンツ入力部１１０は、入力された放送信号や映像信号をコンテンツ処理部１２０へ出力する。コンテンツ入力部１１０は、例えば、ユーザが所望するチャネルの周波数から、放送信号を受信するためのチューナに接続されている。なお、コンテンツ入力部１１０は、ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray（登録商標） Disc）などの記録媒体を再生し、映像信号を出力する再生装置と接続されていてもよい。

コンテンツ処理部１２０は、コンテンツ入力部１１０で入力されたデータをデコード処理し、各機能部に出力するための機能部である。コンテンツ処理部１２０の概略を図２に示す。図２に示すように、コンテンツ処理部１２０は、出力制御部１２２と、ＴＳＤＥＭＵＸ部１２４と、映像デコード部１２６と、音声デコード部１２８とを含んで構成されている。

コンテンツ入力部１１０により入力されたデータは、ＴＳＤＥＭＵＸ部１２４において各ＴＳに分離され、各機能部に出力される。例えば、映像ＴＳは映像デコード部１２６に、音声ＴＳは音声デコード部１２８にそれぞれ出力される。

そして、映像デコード部１２６は、映像ＴＳから映像データを復号し、記憶部１７０に出力する。出力された映像データは、映像データ１７２１として記憶される。また、音声デコード部１２８は、音声ＴＳから音声データを復号し、記憶部１７０に出力する。出力された音声データは、オーディオオブジェクトデータ１７２２として記憶される。このオーディオオブジェクトデータ１７２２は、音声の波形を示す情報であるオーディオデータ１７２３と、空間位置情報１７２４とが含まれている。

コンテンツに含まれるオーディオオブジェクトデータ１７２２は、１つであってもよいし、複数であってもよい。なお、本実施形態の説明の都合上、コンテンツにはオーディオオブジェクトデータ１７２２が１つ含まれている場合について説明する。

オーディオオブジェクトデータ１７２２は、コンテンツに含まれる音声を、音声の波形の情報（オーディオデータ１７２３）と、音声に関する情報であるメタデータとを含めたオブジェクトとして表現したデータである。メタデータとは、オーディオデータ１７２３に対応づけられた情報である。本実施形態では、メタデータには、オーディオデータ１７２３を再生する位置（以下、「再生位置」という）を示す情報である空間位置情報１７２４が含まれることとして説明する。なお、メタデータには、音量の変化の情報や、音声の特徴を示した属性情報等の情報が含まれていてもよい。

メタデータに含まれる空間位置情報１７２４は、例えば、オーディオデータを再生する空間（以下、「再生空間」という）におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれの値によって再生位置を示した３次元の座標（以下、「空間位置座標」という）である。この場合において、Ｘ軸の値はユーザから見た左右の位置を示し、Ｙ軸の値はユーザから見た上下の位置を示し、Ｚ軸の値はユーザから見た奥行きの位置を示す。

例えば、再生空間が、Ｘ軸の値として０から２００を取り、Ｙ軸の値として０から１００を取り、Ｚ軸の値として０から１００を取るとする。このとき、空間位置座標がＸ＝０、Ｙ＝５０、Ｚ＝０で示される場所は、ユーザの左前方である。また、空間位置座標が、Ｘ＝２００、Ｙ＝５０、Ｚ＝１００で示される場所は、ユーザの右後方である。

また、コンテンツの再生時点によってオーディオデータ１７２３の再生位置が変わってもよい。この場合は、空間位置情報１７２４として、再生時点と空間位置座標とを対応づけたリストを記憶する。このようにすることで、リストを参照することで、再生時点における空間位置座標を求めることができる。また、再生時点がリストにない場合は、リストに基づいて補間計算をすることにより、空間位置座標を求めることができる。なお、空間位置情報１７２４は、リストによる表現方法でなくてもよく、コンテンツの再生時点を変数とした数式で表してもよいし、初期位置と、初速度と、加速度とのデータによって表してもよい。このように、空間位置情報は、オーディオデータ１７２３の再生位置が特定できれば、どのような方法で表現しても構わない。

出力制御部１２２は、映像出力部１３０を制御して映像を出力し、音声出力部１４０を制御して音声を出力する。なお、本実施形態では、出力制御部１２２は、空間位置情報１７２４に基づきオーディオデータ１７２３を音声出力部１４０から出力する制御を行う。

例えば、空間位置情報が空間位置座標によって表されている場合は、出力制御部１２２は、空間位置座標が示す位置にオーディオデータ１７２３が出力されるように音声出力部１４０を制御する。また、空間位置情報がリストや数式や量によって表わされている場合は、出力制御部１２２は、オーディオデータ１７２３の再生位置を算出し、算出した位置にオーディオデータ１７２３が出力されるように音声出力部１４０を制御する。このようにすることで、コンテンツ出力装置１０は、ユーザに対して、オーディオデータ１７２３を知覚させる場所を制御することが可能となる。

映像出力部１３０は、映像データを表示装置に出力する機能部である。表示装置としては、ＬＣＤや、有機ＥＬディスプレイ等の表示装置が含まれる。また、本実施形態における表示装置は、表示画面を複数の領域に分割し、領域内の入力画像に基づきバックライト光源の輝度（バックライトレベル）を制御するローカルディミングを行う。映像出力部１３０は、ローカルディミングを行う位置や範囲、ローカルディミングを行う領域におけるバックライトレベルの情報を含む制御信号を受信し、制御信号に基づいてローカルディミングを実行する。

音声出力部１４０は、音声を接続された音声出力装置に出力する機能部である。音声出力装置としては、有線／無線で接続されたスピーカやイヤホンが含まれる。

操作部１５０は、ユーザからの操作入力を受け付ける機能部である。例えば、コンテンツ出力装置１０の本体に設けられたボタンであったり、無線で操作可能なリモコン装置であったりする。

通信部１６０は、ネットワークに接続し、他の装置と通信を行う機能部である。例えば、有線／無線ＬＡＮを利用したり、３Ｇ／ＬＴＥ／５Ｇといった携帯電話網を利用したりして通信を行う。

記憶部１７０は、コンテンツ出力装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１７０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。

また、記憶部１７０には、コンテンツ１７２と、パラメータ情報１７４とが記憶される。コンテンツ１７２には、映像デコード部１２６から出力された映像データ１７２１と、音声デコード部１２８から出力されたオーディオオブジェクトデータ１７２２とが記憶される。

パラメータ情報１７４は、表示態様の設定（パラメータ）を記憶した情報である。なお、本実施形態における表示態様とは、映像出力部１３０におけるコンテンツの出力のされ方であり、ユーザからの見え方をいう。本実施形態では、コンテンツ出力装置１０は、映像データ１７２１の所定の領域のコントラストを変更して色の差異を強調したり、映像出力部１３０のバックライトレベル（輝度）を変更して映像を明るくしたりして、表示態様を変える。

パラメータ情報１７４には、例えば、図３に示すように、表示態様の設定項目であるパラメータ名（例えば、「補正範囲」）と、設定項目に対する設定値を示すパラメータ値（例えば、「２０」）とが記憶される。

本実施形態では、パラメータ情報１７４には、以下のパラメータの設定が記憶される。
（１）補正範囲
制御部１００が映像データ１７２１に対してコントラストを変更するフィルタを適用する領域や、映像出力部１３０が映像データ１７２１を出力しているときにローカルディミングを行う領域（以下、「補正領域」という）の範囲（大きさ）を設定する。例えば、補正範囲が「２０」であれば、制御部１００は、補正領域として、表示位置座標の各軸の値から２０を引いた座標と、表示位置座標の各軸の値に２０を加えた座標とを対角とする、表示位置座標を中心とした矩形領域を生成する。なお、制御部１００は、補正領域として、表示位置座標を中心とした、半径２０ドットの円を生成してもよい。

ここで、フィルタとは、制御部１００が、映像データ１７２１に変更を加えることで、映像データ１７２１に対して所定の効果を与える処理をいう。また、表示位置座標とは、映像出力部１３０が映像データを出力する表示装置の空間（以下、「表示空間」という）における位置を表す情報（以下、「表示位置情報」という）を座標で表現したものであって、空間位置座標に対応する座標をいう。空間位置情報から表示位置情報への変換は、座標変換部１８０が行う。

（２）コントラストフィルタ
制御部１００が映像データ１７２１の補正領域に対して加えるコントラストレベルの量（適用量）を設定する。例えば、パラメータ値が「１０」であれば、映像データ１７２１のうち、補正領域のコントラストレベルを１０上げる。

（３）バックライトレベル
映像出力部１３０が映像データ１７２１を出力しているときに、映像出力部１３０がローカルディミングを行う際のバックライトレベルを設定する。バックライトレベルを変更することで、明るさが変更される。なお、ローカルディミングを行う領域は、補正領域と略同一の領域又は補正領域を含む領域である。例えば、バックライトレベルが５であれば、ローカルディミングを行う範囲におけるバックライトレベルを５にする。

なお、設定可能なパラメータの種類や、設定可能なパラメータ値の数値の範囲は、制御部１００が映像データ１７２１に対して適用可能なフィルタや、映像出力部１３０が制御可能な機能や性能に基づく。また、パラメータ情報１７４は、コンテンツ出力装置１０に予め記憶されてもよいし、ユーザによって設定されてもよい。

図３に示したパラメータ情報１７４は、表示位置座標の各軸の値から２０を引いた座標と、表示位置座標の各軸の値に２０を加えた座標とを対角とする矩形領域を補正領域とすることを示している。また、補正領域に対して、コントラストフィルタを適用することでコントラストレベルを１０上げて、バックライトレベルが５上げることで、映像出力部１３０に出力される映像の表示態様を変えることが設定されていることを示している。

座標変換部１８０は、再生空間上の位置を示す空間位置情報を、表示空間上の位置を示す表示位置情報に変換する機能部である。例えば、座標変換部１８０は、空間位置情報に基づいて空間位置座標を算出し、空間位置座標に対応する表示位置座標に変換する。ここで、空間位置座標が３次元で表示位置座標が２次元である場合は、次元を１つ減らし、空間位置座標の各軸の値に所定の係数を掛けて、表示位置座標の各軸において取り得る範囲の値に変換する。

座標変換部１８０の具体的な変換の処理を、図５を参照して説明する。図５（ａ）は再生空間を示した図で、Ｘ軸は０〜２００の値を、Ｙ軸は０〜１００の値を、Ｚ軸は０〜１００の値をそれぞれ取ることとする。また、図５（ｂ）は表示空間を示した図で、Ｘ軸は０〜１９１９の値を、Ｙ軸は０〜１０７９の値をそれぞれ取ることとする。なお、以降の説明において、再生空間における座標を（Ｘ軸の値，Ｙ軸の値，Ｚ軸の値）と記載し、映像出力部１３０における座標を（Ｘ軸の値，Ｙ軸の値）と記載する。したがって、空間位置座標は（０，０，０）から（２００，１００，１００）の何れかの座標となり、表示座標は（０，０）から（１９１９，１０７９）の何れかの座標となる。

はじめに、座標変換部１８０は、空間位置座標から表示位置座標のＸ軸の値を求める。ここで表示空間のＸ軸の値の最大値は１９１９であり、再生空間のＸ軸の値の最大値である２００の約９．６倍である。したがって、座標変換部１８０は、表示位置座標のＸ軸の値を、空間位置座標のＸ軸の値に９．６を掛けることで求める。なお、空間位置座標のＸ軸の値が２００のとき、２００に９．６を掛けると１９２０となり、表示位置座標のＸ軸の値の最大値を超えるので、この場合は表示位置座標のＸ軸の値の最大値である１９１９に値を丸める。

つづいて、表示位置座標のＹ軸の値を求める。ここで、再生空間のＹ軸は下から上に向かって値が大きくなり、表示空間のＹ軸は上から下に向かって値が大きくなる。そこで、表示位置座標のＹ軸の値は、表示位置座標のＹ軸の値の最大値に１を足した１０８０から空間位置座標のＹ軸の値に１０．８を掛けた値を引くことで求める。なお、空間位置座標のＹ軸の値が０のときは１０８０となり、表示位置座標のＹ軸の値の最大値を超えるので、この場合は表示位置座標のＹ軸の値の最大値である１０７９に値を丸める。

座標変換部１８０が、図５（ａ）の位置Ｂ１００の空間位置座標（１０，１０，１０）を表示位置座標に変換する場合は、座標変換部１８０は、表示位置座標のＸ軸の値として、空間位置座標のＸ軸の値である１０に９．６を掛けた９６を算出する。また、座標変換部１８０は、表示位置座標のＹ軸の値として、１０８０から空間位置座標のＹ軸の値である１０に１０．８を掛けた１０８を引いた９７２を算出する。すなわち、座標変換部１８０は、空間位置座標（１０，１０，１０）を、表示位置座標（９６，９７２）に変換する。なお、表示位置座標（９６，９７２）は、図５（ｂ）の位置Ｂ１１０に対応する。

また、コンテンツの再生時点によってオーディオデータ１７２３の再生位置が異なる場合は、座標変換部１８０は空間位置情報からコンテンツの再生時点における空間位置座標を求めてから、空間位置座標を表示位置座標へ変換する。

［１．２ コンテンツ変換処理の流れ］
つづいて、図４を参照して、本実施形態におけるコンテンツ出力装置１０のコンテンツ変換処理の流れについて説明する。コンテンツ変換処理は、コンテンツ出力装置１０がコンテンツを出力するときに、逐次実行する処理である。

はじめに、座標変換部１８０は、空間位置情報１７２４を読み出して、表示位置情報に変換する（ステップＳ１０２）。変換された表示位置情報は、制御部１００に出力される。

つづいて、制御部１００は、映像データ１７２１にフィルタを適用することで、映像データ１７２１を補正する（ステップＳ１０４）。ここで、制御部１００は、ステップＳ１０２において座標変換部１８０から出力された表示位置情報と、パラメータ情報１７４に記憶された補正範囲の値とから、補正領域を生成する。例えば、表示位置情報が表示位置座標（１１０，９０）で、補正範囲が「２０」である場合は、制御部１００は、表示位置座標の各軸の値から２０を引いた座標（９０，７０）と、２０を加えた座標（１３０，１１０）を対角とし、表示位置座標を中心とした矩形領域を補正領域として生成する。

また、制御部１００は、パラメータ情報１７４から、適用するフィルタ及びフィルタの適用量を読み出してフィルタを適用する。例えば、パラメータ情報１７４に、パラメータ名「コントラストフィルタ」について、パラメータ値「１０」が記憶されていた場合は、制御部１００は、映像データ１７２１の補正領域に対して、コントラストレベルを１０加えるフィルタを適用する。

つづいて、出力制御部１２２は、ステップＳ１０４で補正された映像データ１７２１を映像出力部１３０に出力し、オーディオオブジェクトデータ１７２２を音声出力部１４０に出力することにより、コンテンツを出力する（ステップＳ１０６）。

つづいて、制御部１００は、映像出力部１３０が映像を出力する表示装置のバックライトレベルを変更する（ステップＳ１０８）。例えば、制御部１００は、ステップＳ１０２で座標変換部１８０から出力された表示位置情報と、パラメータ情報１７４に記憶されている補正範囲とバックライトレベルの値とを含む制御信号を映像出力部１３０へ送信する。制御信号を受信した映像出力部１３０は、表示位置情報と補正範囲とに基づく領域について、バックライトレベルを変更するローカルディミングを実行する。

［１．３ 動作例］
本実施形態における動作例を、図を参照して説明する。なお、動作例の説明において、オーディオオブジェクトデータ１７２２として、鳥のオーディオオブジェクトデータが記憶されているものとする。また、パラメータ情報１７４として、図３に示したパラメータ情報が記憶されているものとする。

はじめに、図５を参照して、空間位置情報である空間位置座標を、表示位置情報である表示位置座標に変換する処理について説明する。図５（ａ）は、オーディオオブジェクトデータ１７２２に含まれる空間位置座標を再生空間上に示した図であり、図５（ｂ）は、空間位置座標を表示位置座標に変換して表示空間上に示した図である。

図５（ａ）は、オーディオデータ１７２３の再生位置が、空間位置情報１７２４に基づいて、コンテンツの再生時点によって移動する様子を表した図である。具体的には、オーディオデータ１７２３の再生位置は、矢印Ｐ１００に沿って、左下奥の位置Ｂ１００から、位置Ｂ１０１、位置Ｂ１０２、位置Ｂ１０３、位置Ｂ１０４を経由して、右上手前の位置Ｂ１０５に移動する。

ここで、位置Ｂ１００の空間位置座標は（１０，１０，１０）である。座標変換部１８０は、位置Ｂ１００の空間位置座標を、表示位置座標である（９６，９７２）に変換する。同様にして、座標変換部１８０は、位置Ｂ１０１の空間位置座標（５０，３０，３０）を、表示位置座標（４８０，７５６）に変換し、位置Ｂ１０２の空間位置座標（７０，５０，５０）を、表示位置座標（６７２，５４０）に変換し、位置Ｂ１０３の空間位置座標（９０，４０，８０）を、表示位置座標（８６４，６４８）に変換し、位置Ｂ１０４の空間位置座標（１３０，７０，６０）を、表示位置座標（１２４８，３２４）に変換し、位置Ｂ１０５の空間位置座標（１６０，９０，９０）を、表示位置座標（１５３６，１０８）に変換する。

図５（ｂ）は、表示位置座標に変換した座標を表示空間に示した図である。ここで、図５（ａ）の位置Ｂ１００は図５（ｂ）の位置Ｂ１１０に対応する。同様に、図５（ａ）の位置Ｂ１０１は図５（ｂ）の位置Ｂ１１１に、図５（ａ）の位置Ｂ１０２は図５（ｂ）の位置Ｂ１１２に、図５（ａ）の位置Ｂ１０３は図５（ｂ）の位置Ｂ１１３に、図５（ａ）の位置Ｂ１０４は図５（ｂ）の位置Ｂ１１４に、図５（ａ）の位置Ｂ１０５は図５（ｂ）の位置Ｂ１１５にそれぞれ対応する。このように、再生位置が左下奥から右上手前へ移動するといった空間位置情報は、座標変換部１８０によって、左下から右上への移動といった表示位置情報に変換される。

図６は、表示空間上に位置Ｂ１１２及びパラメータ情報１７４に記憶された補正範囲から生成される補正領域Ｅ１１２を示した図である。本実施形態では、制御部１００は、表示位置座標と補正範囲とから２つの座標を求め、その２つの座標を対角とする矩形領域を補正領域として生成する。ここで、位置Ｂ１１２の表示位置座標である（６７２，５４０）と、補正範囲のパラメータ値は「２０」とから、表示位置座標（６７２，５４０）の各軸の値から２０を引いた座標である（６５２，５２０）が求められる。また、表示位置座標（６７２，５４０）の各軸の値から２０を足した座標である（６９２，５６０）が求められる。したがって、制御部１００は、位置Ｂ１１２に基づく補正領域を、補正領域Ｅ１１２とする。なお、制御部１００は、位置Ｂ１１２以外の表示位置座標についても、同様にして補正領域を生成する。

つづいて、図７を参照して、フィルタの適用及びバックライトレベルの変更について説明する。図７（ａ）は、空間位置情報１７２４に基づく表示位置座標が図５（ｂ）の位置Ｂ１１０である場合であって、表示態様を変えないときに映像出力部１３０によって出力される映像である。図７（ｂ）は、空間位置情報１７２４に基づく表示位置座標が図５（ｂ）の位置Ｂ１１０である場合であって、表示態様を変えたときに映像出力部１３０によって出力される映像である。図７（ａ）と比べ図７（ｂ）は、補正領域の表示態様が変わっている。表示態様を変える方法としては、例えばコントラストフィルタを適用することでコントラストを強調したり、バックライトレベルを変更することにより輝度が変更したりする。バックライトレベルを変更する場合は、例えば、ローカルディミングの技術を利用することにより補正領域の部分だけバックライトレベルが上がった状態となればよい。また、コントラストフィルタと、バックライトレベルの変更とは併せて適用されてもよい。

また、図７（ｃ）〜図７（ｇ）は、空間位置情報１７２４に基づく表示位置座標が図５（ｂ）の位置Ｂ１１１〜位置Ｂ１１５である場合に、表示態様を変えたときに映像出力部１３０によって出力される映像である。このように空間位置情報１７２４に基づいて表示態様を変えることにより、オーディオデータが再生される位置と連動して、映像の輝度や、コントラストを変更することができる。

なお、説明の都合上、空間位置情報１７２４のうち６地点におけるコンテンツ出力装置１０の動作例を示したが、それ以外の地点においても、同様に空間位置座標に基づいて映像の表示態様を変える。すなわち、図５（ａ）の矢印Ｐ１００で示すようにオーディオデータ１７２３の再生位置が移動することに伴って、補正領域も連動して変わる。

また、コンテンツにオーディオオブジェクトデータ１７２２が複数存在する場合は、コンテンツ出力装置１０は、オーディオオブジェクトデータ１７２２毎に、空間位置座標に基づいて映像の表示態様を変える処理を行う。例えば、コンテンツに２つのオーディオオブジェクトデータ１７２２が含まれる場合は、コンテンツ出力装置１０は、補正領域が２箇所生成し、それぞれの補正領域の表示態様を変える。

また、本実施形態では、映像データ１７２１にコントラストフィルタを適用することとして説明したが、コントラストフィルタ以外のフィルタを適用しても構わないことは勿論である。例えば、本実施形態では輝度の変更をローカルディミングによって実現することとして説明したが、映像データ１７２１に明るさや輝度を変更するフィルタを適用することで実現してもよい。

なお、本実施形態では、制御部１００は、表示位置情報と補正範囲とから補正領域を生成することとして説明したが、表示位置情報と補正範囲とから補正領域を特定してもよい。この場合は、ステップＳ１０４では制御部１００は、特定された補正領域に対してフィルタを適用する。また、ステップＳ１０８で、制御部１００は、生成又は特定した補正領域の情報とバックライトレベルの値とを含んだ制御信号を、出力制御部１３０に送信してもよい。

本実施形態によれば、オーディオオブジェクトデータが含まれるコンテンツを出力する場合に、音声と連動して、映像の表示態様を変えることができる。このようにすることで、没入感、立体感、臨場感を向上させた映像を、ユーザに提供することが可能となる。

［２．第２実施形態］
第２実施形態は、第１実施形態と異なり、映像に対して適用するフィルタや、バックライトレベルの変更の有無を選択することが可能な実施形態である。

本実施形態のコンテンツ出力装置の機能構成は、第１実施形態と略同一だが、パラメータ情報１７４の図を図３から図８に置き換える。本実施形態のパラメータ情報１７４は、パラメータ名と、パラメータ値に加え、フィルタの適用有無や、バックライトレベルの変更の有無を示す補正有無（例えば、「する」）を記憶する。

補正有無には「する」または「しない」の何れかが記憶される。補正有無として「する」と記憶されたフィルタの適用及びバックライトレベルの変更のみが、コンテンツ出力装置１０によって行われる。なお、パラメータのうち「補正範囲」はフィルタの適用やバックライトレベルの変更に関するパラメータではないため、補正有無には何も記憶しない。

図８の例では、パラメータ情報１７４には、フィルタとしてコントラストフィルタは適用しないが、ぼかしフィルタを適用することを示している。また、バックライトレベルの変更をしないことを示している。なお、ぼかしフィルタは、補正領域以外の領域の映像をぼかすことで表示態様を変えるフィルタであり、特定のパラメータ値を取らないフィルタである。

なお、コントラストフィルタとバックライトレベルの補正有無を「する」とし、ぼかしフィルタの補正有無を「しない」とすると、第１実施形態と同じ表示態様となる。このように、補正有無によって表示態様を設定することが可能である。補正有無はコンテンツ出力装置１０に予め記憶されていてもよいし、ユーザによって変更可能であってもよい。

コンテンツ変換処理は第１実施形態と略同一だが、ステップＳ１０４の映像データの補正及びステップＳ１０８のバックライトレベルの変更は、パラメータ情報１７４に基づいて実行する。例えば、図８の例では、ステップＳ１０４においては、制御部１００は、映像データ１７２１に対して、ぼかしフィルタを適用するが、コントラストフィルタは適用しない。また、ステップＳ１０８においては、制御部１００は映像出力部１３０に対して制御信号を送信しない。

本実施形態における動作例を図９に示す。なお、オーディオオブジェクトデータ１７２２として、鳥のオーディオオブジェクトデータが記憶されているものとする。また、パラメータ情報１７４として、図８に示したパラメータ情報が記憶されているものとする。

図９（ａ）は表示態様を変えない場合において映像出力部１３０から出力される映像である。また、図９（ｂ）〜図９（ｇ）は表示態様を変える場合において、映像出力部１３０から出力される映像である。このように、表示態様を変える場合には、補正領域以外の領域がぼかされた映像が出力される。

本実施形態によれば、補正有無によって表示態様を設定することが可能である。例えば、ユーザが補正有無を設定することにより、ユーザが所望する方法により、表示態様を変えることが可能となる。

［３．第３実施形態］
第３実施形態は、第１実施形態と異なり、空間位置情報に基づいて、コンテンツ出力装置１０が、フィルタの適用量やバックライトレベルといったパラメータ値を生成する実施形態である。

本実施形態のコンテンツ出力装置１０の機能構成は、第１実施形態と略同一だが、パラメータ情報１７４の図を図３から図１０に置き換える。本実施形態のパラメータ情報１７４は、パラメータ名と、パラメータ範囲を記憶する。また、パラメータ範囲には、パラメータ値として用いる値の下限値であるパラメータ最小値（例えば、「５」）と、パラメータ値として用いる値の上限値であるパラメータ最大値（例えば、「３０」）とが記憶される。パラメータ範囲は、コンテンツ出力装置１０に予め記憶されていてもよいし、ユーザによって変更可能であってもよい。

なお、本実施形態では、フィルタの適用量やバックライトレベルといったパラメータ値は、パラメータ範囲に記憶されたパラメータ最小値からパラメータ最大値の間に含まれる値から、空間位置座標のＺ軸の値に基づいて生成されることとして説明する。

本実施形態のコンテンツ変換処理は第１実施形態の図４を図１１に置き換えたものである。なお、第１実施形態と同一の処理については、同一の符号を付し、説明を省略する。

はじめに、座標変換部１８０が空間位置情報を表示位置情報に変換したら（ステップＳ１０２）、つづいて、制御部１００は、空間位置情報とパラメータ情報１７４とに基づき、補正範囲を生成する（ステップＳ３０２）。例えば、制御部１００は、空間位置情報のＺ軸の値とパラメータ情報１７４に記憶されたパラメータ範囲とから、補正範囲のパラメータ値を生成する。このとき、空間位置座標のＺ軸の値が０の場合は、補正範囲のパラメータ最小値を補正範囲のパラメータ値とし、空間位置座標のＺ軸の値が１００の場合は、補正範囲のパラメータ最大値を補正範囲のパラメータ値とする。また、空間位置座標のＺ軸の値が０又は１００以外の場合は、パラメータ最小値とパラメータ最大値とを補間して算出した値を、補正範囲のパラメータ値として生成する。このようにすることで、オーディオオブジェクトの再生位置が手前であるほど、補正範囲の値が大きくなり、補正領域が広くなる。

つづいて、制御部１００は、フィルタのパラメータ値を生成する（ステップＳ３０４）。例えば、制御部１００は、ステップＳ３０２と同様に、空間位置情報のＺ軸の値とパラメータ情報１７４に記憶されたパラメータ範囲とから、パラメータ値を生成する。このようにすることで、オーディオオブジェクトの再生位置が手前であるほど、フィルタの適用量が大きくなる。

また、映像データを補正及びコンテンツの出力をしたら（ステップＳ１０４→ステップＳ１０６）、制御部１００は、つづいて、バックライトレベルの値を生成する（ステップＳ３０６）。例えば、制御部１００は、ステップＳ３０２と同様に、空間位置情報のＺ軸の値とパラメータ情報１７４に記憶されたパラメータ範囲とから、バックライトレベルのパラメータ値を生成する。このようにすることで、オーディオオブジェクトの再生位置が手前であるほど、バックライトレベルの値が大きくなる。

つづいて、映像出力部１３０は、ステップＳ１０２で座標変換部１８０から出力された表示位置情報と、ステップＳ３０２で生成された補正範囲と、ステップＳ３０６で生成されたバックライトレベルとを含んだ制御情報に基づき、バックライトレベルの変更を行う（ステップＳ１０８）。

本実施形態の動作例を、図を参照して説明する。図１２は、鳥のオーディオオブジェクトデータ１７２２に含まれる空間位置情報１７２４を再生空間上に示した図であり、図１２（ａ）は、図５（ａ）と同じ図である。また、図１２（ｂ）は図１２（ａ）を変形した図であり、ＹＺ平面が正面となるように記載した図である。図１２（ａ）の位置Ｂ１００は、図１２（ｂ）の位置Ｂ１２０と対応する。同様に、図１２（ａ）の位置Ｂ１０１は図１２（ｂ）の位置Ｂ１２１と、図１２（ａ）の位置Ｂ１０２は図１２（ｂ）の位置Ｂ１２２と、図１２（ａ）の位置Ｂ１０３は図１２（ｂ）の位置Ｂ１２３と、図１２（ａ）の位置Ｂ１０４は図１２（ｂ）の位置Ｂ１２４と、図１２（ａ）の位置Ｂ１０５は図１２（ｂ）の位置Ｂ１２５と、それぞれ対応する。

図１２（ｂ）に示すように、オーディオデータ１７２３の再生位置が位置Ｂ１２０から位置Ｂ１２３に移動することにより、再生位置は手前に移動する。そして、オーディオデータ１７２３の再生位置が位置Ｂ１２３から位置Ｂ１２５に移動することにより、再生位置は奥に移動する。

図１３は、位置Ｂ１２０から位置Ｂ１２５の空間位置座標と、パラメータ情報１７４に記憶されたパラメータ範囲とに基づいて、制御部１００が生成したパラメータ値を表形式で示した図である。例えば、空間位置座標が（１０，１０，１０）である行は、位置Ｂ１２０におけるパラメータ値を表している。このように、図１３の空間位置座標と、図１２（ｂ）に記載された空間位置座標は対応する。

図１３に示すように、位置Ｂ１２０から位置Ｂ１２３にかけて、空間位置座標のＺ軸の値が大きくなることに対応して補正範囲の値は大きくなり、コントラストレベルやバックライトレベルは高くなる。一方で、位置Ｂ１２３から位置Ｂ１２５にかけては、空間位置座標のＺ軸の値が小さくなることに対応して補正範囲の値は小さくなり、コントラストレベルやバックライトレベルは低くなる。

図１４を参照して、映像出力部１３０によって出力される映像の例を説明する。図１４（ａ）は、オーディオデータ１７２３の再生位置がＢ１２０である場合に、表示態様を変えないときに映像出力部１３０によって出力される映像である。図１４（ｂ）は、オーディオデータ１７２３の再生位置が位置Ｂ１２０である場合に、表示態様を変えたときに映像出力部１３０によって出力される映像である。図１４（ａ）と比べ図１４（ｂ）は、補正領域に対してコントラストフィルタが適用され、ローカルディミングによりバックライトレベルが上がった状態で出力される。

また、図１４（ｃ）〜図１４（ｇ）は、オーディオデータ１７２３の再生位置が位置Ｂ１２１〜位置Ｂ１２５である場合において、表示態様を変えたときに映像出力部１３０によって出力される映像である。このように、オーディオデータの再生位置が手前であるほど、補正領域が広く、また、コントラストレベルやバックライトレベルが高くなる。

なお、本実施形態では、パラメータ値として、空間位置座標のＺ軸の値が大きいほど、パラメータ最大値が生成されることとして説明したが、このような生成方法でなくても構わない。例えば、パラメータ値として、Ｚ軸の値が再生空間における中間の値に近いほどパラメータ最大値が生成され、Ｚ軸の値が再生空間における最小値又は最大値に近いほどパラメータ最小値が生成されるようにしてもよい。このようにすることで、再生空間における中間の位置で再生される音声ほどパラメータ値が大きくなり、手前又は奥の位置で再生される音声ほどパラメータ値が小さくなる。

なお、本実施形態では、制御部１００は、パラメータ最小値とパラメータ最大値とから、パラメータ値を生成することとして説明したが、パラメータ最小値とパラメータ最大値とから、パラメータ値を特定してもよい。

本実施形態によれば、コンテンツ出力装置１０は、オーディオオブジェクトが手前に存在するか、奥に存在するかといった情報に基づいて、表示態様を変えることが可能となる。このようにすることで、コンテンツ出力装置１０は、映像出力部１３０が出力する映像の立体感をより高めることが可能となる。

また、ユーザによってパラメータ範囲が指定されることにより、コンテンツ出力装置１０は、ユーザが適切と考えられる表示態様で、映像を出力することが可能となる。

［４．第４実施形態］
第４実施形態は、第３実施形態に対して、更にオーディオデータ１７２３の音圧の変更を行う実施形態である。

本実施形態のコンテンツ出力装置の機能構成は、第３実施形態と略同一だが、パラメータ情報１７４の図を図１０から図１５に置き換える。本実施形態では、コントラストフィルタ及びバックライトレベルのパラメータに加えて、音圧のパラメータを追加する点において異なる。また、音圧のパラメータ値は、空間位置座標のＺ軸の値に基づいて生成されることとして説明する。

本実施形態のコンテンツ変換処理は第３実施形態の図１１を図１６に置き換えたものである。なお、第３実施形態と同一の処理については、同一の符号を付し説明を省略する。

コンテンツ変換処理において映像データの補正をしたら（ステップＳ１０４）、つづいて制御部１００は、空間位置座標のＺ値に基づき音圧のパラメータ値を生成する（ステップＳ４０２）。パラメータ値の生成は、ステップＳ３０２と同様に、空間位置情報のＺ軸の値とパラメータ情報１７４に記憶されたパラメータ範囲とから、制御部１００が、パラメータ値を生成する。このようにすることで、オーディオオブジェクトの再生位置が手前であるほど、音圧のパラメータが大きくなる。

つづいて、制御部１００は、音圧のパラメータ値に基づき、オーディオデータ１７２３を補正する（ステップＳ４０４）。このようにすることで、ステップＳ１０６において制御部１００が補正した映像データ１７２１と、ステップＳ４０４において制御部１００が補正したオーディオデータ１７２３とが、ステップＳ１０６において出力される。

図１７は、図１２（ｂ）に示した位置Ｂ１２０から位置Ｂ１２５の空間位置座標と、パラメータ情報１７４に記憶されたパラメータ範囲とに基づいて、制御部１００が生成したパラメータ値を表形式で示した図である。図１７に示すように、位置Ｂ１２０から位置Ｂ１２３にかけて、空間位置座標のＺ軸の値が大きくなることに対応して音圧は大きくなる。一方で、位置Ｂ１２３から位置Ｂ１２５にかけては、空間位置座標のＺ軸の値が小さくなることに対応して音圧が小さくなる。このように、空間位置座標のＺ軸の値に対応して、オーディオデータ１７２３の音圧が変更される。

なお、第３実施形態と同様に、音圧のパラメータ値の生成方法として、例えば、Ｚ軸の値が再生空間における中間の値に近いほどパラメータ最大値が生成され、Ｚ軸の値が再生空間における最小値又は最大値に近いほどパラメータ最小値が生成されるようにしてもよい。また、音圧のパラメータ値は、音圧のパラメータ最小値と音圧のパラメータ最大値とから、特定されてもよい。

本実施形態によれば、コンテンツ出力装置１０は、空間位置座標に基づいて、オーディオデータの音圧を変更することができる。このようにすることで、例えば、音声出力部１４０が左右に配置されたスピーカで、奥行方向に音声を出力できない場合であっても、音圧によって、音声の立体感をユーザに知覚させやすくなる。

［５．第５実施形態］
第５実施形態は、第１実施形態とは異なり、空間位置座標が有効座標範囲外である場合は、表示態様を変えない実施形態である。

本実施形態のコンテンツ出力装置１２の機能構成は第１実施形態の図１を図１８に置き換えたものである。なお、第１実施形態と同一の機能部については、同一の符号を付し、説明を省略する。

本実施形態のコンテンツ出力装置１２は、コンテンツ出力装置１２の記憶部１７０に、更に有効座標範囲情報１７６を記憶されている点が異なる。有効座標範囲情報１７６は、表示態様を変える場合における空間位置座標の範囲（有効座標範囲）である。例えば、有効座標範囲情報１７６として、「（１０，１０，１０）−（１９０，９０，９０）」が記憶される。この場合、空間位置座標が（１０，１０，１０）である場合や、（１００，５０，５０）である場合は、コンテンツ出力装置１２は、表示態様を変える。一方で、空間位置座標が（１０，９，１０）である場合や、（１００，９１，５０）である場合は、コンテンツ出力装置１２は、表示態様を変えない。

コンテンツ変換処理においては、ステップＳ１０４の映像データの補正の処理では、制御部１００は、有効座標範囲情報１７６を読み出し、空間位置座標が有効座標範囲の範囲内であるか否かを判定する。空間位置座標が有効座標範囲内である場合は、制御部１００は、映像データ１７２１の補正領域に対してフィルタを適用する。

また、ステップＳ１１０のバックライトレベルの変更の処理では、制御部１００は、有効座標範囲情報１７６を読み出し、空間位置座標が有効座標範囲内であるか否かを判定する。空間位置座標が有効座標範囲内である場合は、制御部１００は、映像出力部１３０に対して制御信号を送信する。

図を参照して、本実施形態の動作例を説明する。図１９は、鳥のオーディオデータの再生位置である位置Ｂ５００、位置Ｂ５０１、位置Ｂ５０２、位置Ｂ５０３、位置Ｂ５０４、位置Ｂ５０５と、有効座標範囲Ｒ５００とを、再生空間上に示した図である。なお、有効座標範囲Ｒ５００は、（１０，１０，１０）−（１９０，９０，９０）の範囲であるとする。

ここで、位置Ｂ５００の空間位置座標は（５，５，５）であり、有効座標範囲Ｒ５００の範囲外である。したがって、オーディオデータ１７２３の再生位置が位置Ｂ５００であるときは、コンテンツ出力装置１２は表示態様を変えずに、映像データ１７２１を映像出力部１３０から出力する。また、位置Ｂ５０１の空間位置座標は（５０，３０，３０）であり、有効座標範囲Ｒ５００の範囲内である。したがって、オーディオデータ１７２３の再生位置が位置Ｂ５０１であるときは、コンテンツ出力装置１２は表示態様を変えて、映像データ１７２１を映像出力部１３０から出力する。このようにして、オーディオデータ１７２３の再生位置に応じて、表示態様変えたり、変えなかったりする。

なお、図１９に示した位置Ｂ５０２の空間位置座標（７０，５０，５０）と、位置Ｂ５０３の空間位置座標（９０，４０，８０）と、位置Ｂ５０４の空間位置座標（１３０，７０，６０）とは、有効座標範囲Ｒ５００の範囲内である。しかし、位置Ｂ５０５の空間位置座標（１９５，９５，９５）は、有効座標範囲Ｒ５００の範囲外である。したがって、位置Ｂ５００及び位置Ｂ５０５の空間位置座標は、有効座標範囲Ｒ５００の範囲外であり、コンテンツ出力装置１２は表示態様を変えない。

図２０は、映像出力部１３０によって出力される映像の例である。図２０（ａ）はオーディオデータ１７２３の再生位置が位置Ｂ５００である場合に映像出力部１３０によって出力される映像である。同様に、図２０（ｂ）は再生位置が位置Ｂ５０１である場合に、図２０（ｃ）は再生位置が位置Ｂ５０２である場合に、図２０（ｄ）は再生位置が位置Ｂ５０３である場合に、図２０（ｅ）は再生位置が位置Ｂ５０４である場合に、図２０（ｆ）は再生位置が位置Ｂ５０５である場合に、映像出力部１３０によって出力される映像である。

ここで、位置Ｂ５００は有効座標範囲Ｒ５００の範囲外である。したがって、図２０（ａ）に示すように、コンテンツ出力装置１２は、映像データ１７２１に対するコントラストフィルタの適用や、ローカルディミングによる輝度の変更といった表示態様の変更は行わない。同様に、位置Ｂ５０５は有効座標範囲Ｒ５００の範囲外であるため、図２０（ｆ）に示すように、コンテンツ出力装置１２は、映像データ１７２１に対する表示態様の変更を行わない。一方で、位置Ｂ５０１、位置Ｂ５０２、位置Ｂ５０３、位置Ｂ５０４は有効座標範囲Ｒ５００の範囲内であるため、図２０（ｂ）〜図２０（ｅ）に示すように、コンテンツ出力装置１２は、映像データ１７２１に対して表示態様を変更する。

本実施形態によれば、有効座標範囲を適切に設定することで、例えば、コンテンツ出力装置１２は、空間位置座標が再生空間の端に近い音声や、映像の外から発せられているような音声に対しては、表示態様を変えない。このようにすることで、背景として配置されたオーディオオブジェクトによって、表示態様が変わってしまうことを避けることが可能となる。

［６．第６実施形態］
第６実施形態は、第１実施形態と異なり、オーディオオブジェクトデータに設定された属性情報に基づいて、表示態様を変えたり変えなかったりする実施形態である。

本実施形態のコンテンツ出力装置１４の機能構成は第１実施形態の図１を図２１に置き換えたものである。なお、第１実施形態と同一の機能部については、同一の符号を付し、説明を省略する。

本実施形態のコンテンツ出力装置１４は、コンテンツ出力装置１０と比べて、記憶部１７０について、オーディオオブジェクトデータ１７２２に属性情報１７２５が更に記憶され、また、補正対象属性情報１７８が更に記憶される点が異なる。

属性情報１７２５は、メタデータに含まれる情報であり、オーディオオブジェクトデータ１７２２に関する属性である。例えば、属性情報１７２５として、音声の種類が記憶される。また、音声の性質や特徴が記憶されてもよい。属性情報１７２５は、コンテンツ制作者によって記憶される。

また、補正対象属性情報１７８には、表示態様を変える対象となるオーディオオブジェクトデータ１７２２が含む属性である。補正対象属性情報１７８は、コンテンツ出力装置１０に予め記憶されていてもよいし、ユーザによって変更可能であってもよい。

コンテンツ変換処理においては、ステップＳ１０６の映像データ補正の処理では、制御部１００は、補正対象属性情報１７８を読み出し、補正対象属性情報１７８に記憶された属性に、属性情報１７２５として記憶された属性が含まれるか否かを判定する。補正対象属性情報１７８に記憶された属性に、属性情報１７２５として記憶された属性が含まれる場合は、制御部１００は、映像データ１７２１にフィルタを適用する。

また、ステップＳ１１０のバックライトレベルの変更の処理では、制御部１００は、補正対象属性情報１７８を読み出し、補正対象属性情報１７８に記憶された属性に、属性情報１７２５として記憶された属性が含まれるか否かを判定する。補正対象属性情報１７８に記憶された属性に、属性情報１７２５として記憶された属性が含まれる場合は、制御部１００は、映像出力部１３０に対して制御信号を送信する。

図を参照して、本実施形態の動作例を説明する。図２２（ａ）は、鳥のオーディオデータ１７２３の再生位置Ａ６００と、猫のオーディオデータ１７２３の再生位置Ａ６０１と、犬のオーディオデータ１７２３の再生位置Ａ６０２と、セミのオーディオデータ１７２３の再生位置Ａ６０４とを、再生空間に示した図である。また、図２２（ｂ）は、図２２（ａ）を変形させて、ＹＺ平面を正面になるように記載した図である。

図２３（ａ）は、オーディオオブジェクトデータ１７２２に含まれる空間位置情報１７２４である空間位置座標と、属性情報１７２５とを表形式で示した図である。ここでは、属性情報１７２５には、音声の種類が記憶されることとして説明する。例えば、空間位置座標が（１０，１０，１０）であるオーディオオブジェクトデータ１７２２は、音声の種類が「鳥」であるオーディオオブジェクトデータ１７２２であることを示す。

図２３（ｂ）は、補正対象属性情報１７８の例を示した図である。この図では、オーディオオブジェクトデータ１７２２のうち、属性が「猫」又は「犬」であるオーディオオブジェクトデータ１７２２に基づいて、映像の表示態様を変えることを示す。

図２４は、図２３（ａ）に示したオーディオオブジェクトデータ１７２２と、図２３（ｂ）に示した補正対象属性情報１７８に基づき、表示態様を変えた場合において、映像出力部１３０から出力される映像を示した図である。ここで、補正領域Ｅ６０１は、図２３（ａ）に含まれるオーディオオブジェクトデータ１７２２のうち、属性情報が「猫」であるオーディオオブジェクトデータ１７２２の空間位置座標である（５０，３０，５０）に基づく補正領域である。また、補正領域Ｅ６０２は、図２３（ａ）に含まれるオーディオオブジェクトデータ１７２２のうち、属性情報が「犬」であるオーディオオブジェクトデータ１７２２の空間位置座標である（１２０，２０，８０）に基づく補正領域である。このように、特定のオーディオオブジェクトデータ１７２２に基づいて映像の表示態様を変えることが可能である。

本実施形態によれば、コンテンツに複数のオーディオオブジェクトデータ１７２２が含まれている場合であっても、特定のオーディオオブジェクトデータ１７２２に基づいて、表示態様を変えることが可能である。

また、ユーザが表示態様を変える対象となるオーディオオブジェクトデータ１７２２を選択することが可能である。さらに、予め表示態様を変える対象となるオーディオオブジェクトデータ１７２２の属性を決めておくことで、コンテンツ制作者が、表示態様を変えるためのオーディオオブジェクトデータ１７２２を作成することが可能となる。

［７．変形例］
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。また、コンテンツ変換処理のフローについては、上述した説明以外であっても、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを省略したりしても構わない。

また、上述した実施形態は、それぞれの実施形態を組み合わせて実行することができることは勿論である。例えば、第３実施形態と第６実施形態とを組み合わせて実行することで、コンテンツ出力装置は、特定のオーディオオブジェクトデータに対して、パラメータ値を変動させながら、表示態様を変えることが可能となる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disc Drive）等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ、ＭＯ（Magneto Optical Disc）、ＭＤ（Mini Disc）、ＣＤ（Compact Disc）、ＢＤ等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

１０、１２、１４ コンテンツ出力装置
１００ 制御部
１１０ コンテンツ入力部
１２０ コンテンツ処理部
１２２ 出力制御部
１２４ ＴＳＤＥＭＵＸ部
１２６ 映像デコード部
１２８ 音声デコード部
１３０ 映像出力部
１４０ 音声出力部
１５０ 操作部
１６０ 通信部
１７０ 記憶部
１７２ コンテンツ
１７２１ 映像データ
１７２２ オーディオオブジェクトデータ
１７２３ オーディオデータ
１７２４ 空間位置情報
１７２５ 属性情報
１７４ パラメータ情報
１７６ 有効座標範囲情報
１７８ 補正対象属性情報

Claims (7)

1. １又は複数のオブジェクトの音声と、映像とを含むコンテンツを出力するコンテンツ出力装置であって、
   前記映像を表示画面に表示する表示部と、
   前記オブジェクトの音声に対応づけられた空間位置情報が前記コンテンツに含まれている場合に、当該空間位置情報に基づいて音声を出力する音声出力部と、
   制御部と、
   を備え、
   前記制御部は、
   前記空間位置情報を前記表示部における表示位置情報に変換し、
   前記表示画面に表示される映像のうち、前記表示位置情報に基づいて前記 映像の表示態様を変える、
   ことを特徴とするコンテンツ出力装置。
2. 前記空間位置情報は、再生空間上の空間位置座標が含まれており、
   前記制御部は、
   前記空間位置座標を前記表示部における表示位置座標に変換し、
   前記表示画面に表示される映像のうち、前記表示位置座標が含まれる領域の前記映像の表示態様を変える、
   ことを特徴とする請求項１に記載のコンテンツ出力装置。
3. 前記制御部は、
   前記空間位置情報から表示態様を変える領域の範囲を生成し、
   前記表示画面に表示される映像のうち、前記表示位置座標を中心とする前記生成された範囲の前記映像の表示態様を変える、
   ことを特徴とする請求項２に記載のコンテンツ出力装置。
4. 前記制御部は、前記空間位置情報から前記オブジェクトの音圧を生成し、
   前記音声出力部は、前記音圧にしたがって音声を出力する、
   ことを特徴とする請求項１から３の何れか一項に記載のコンテンツ出力装置。
5. 前記制御部は、前記表示位置情報により生成される領域の映像の明るさ及び／又はコントラストを変更することにより表示態様を変えることを特徴とする請求項１から４の何れか一項に記載のコンテンツ出力装置。
6. 前記制御部は、前記表示位置情報により生成される領域以外の映像の表示態様を変えることを特徴とする請求項１から５の何れか一項に記載のコンテンツ出力装置。
7. 前記制御部は、
   前記オブジェクトの属性に基づいてオブジェクトを特定し、
   前記特定されたオブジェクトの空間位置情報を前記表示部における表示位置情報に変換する
   ことを特徴とする請求項１から６の何れか一項に記載のコンテンツ出力装置。