JP2013172229A - 立体映像制御装置、立体映像制御方法、およびプログラム - Google Patents

Abstract

【課題】観察者に与える不快感を軽減しつつ、立体映像の立体感を強調できる立体映像制御装置、立体映像制御方法、およびプログラムを提供すること。
【解決手段】入力映像ａにおける立体感を制御する立体映像制御装置ＡＡは、オブジェクト抽出部１０、位置関係制御部２０、およびフィルタ処理部３０を備える。オブジェクト抽出部１０は、入力映像ａ中のオブジェクトを抽出する。位置関係制御部２０は、オブジェクト抽出部１０により抽出されたオブジェクトについて、入力映像ａにおける位置や形状を制御する。フィルタ処理部３０は、位置関係制御部２０によりオブジェクトの位置や形状を制御された入力映像ａの各画素の画素値に対して、奥行き情報に基づいてフィルタ処理を施す。
【選択図】図１

Description

本発明は、立体映像における立体感を制御する立体映像制御装置、立体映像制御方法、およびプログラムに関する。

従来の平面的な映像表示に対して、立体映像表示は、飛び出し感や奥行き感（以降では、「飛び出し感」および「奥行き感」を含めて「立体感」と呼ぶこととする）により観察者に高い迫力を与えることができる。一方で、立体映像表示は、観察者に対してあくまで擬似的に、映像を立体的に知覚させるため、不適切な立体映像表示を行うと、観察者に不快感を与えてしまうおそれがある。

そこで、左眼用映像および右眼用映像を組合せてなる立体映像における立体感を制御する技術が提案されている（例えば、特許文献１参照）。特許文献１に示されている技術では、奥行き情報を用いて、被写界深度の範囲内でオブジェクトの視差量を制御する。これによれば、各オブジェクトの被写界深度の範囲内で立体感を制御することができ、観察者に与える不快感を軽減できる。

特開２０１１−１６０３０２号公報

しかしながら、特許文献１に示されている技術では、オブジェクトの視差量の制御を被写界深度の範囲内で行うという制約があるため、強調できる立体感には限界があり、観察者に対して十分な迫力を与えることができない場合があった。

そこで、特許文献１に示されている技術において、オブジェクトの視差量の制御を被写界深度の範囲を超えて行うことが考えられる。しかしながら、この場合には、単に視差量が大きくなるだけであり、観察者に不快感を与えてしまうおそれがあった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、観察者に与える不快感を軽減しつつ、立体映像の立体感を強調できる立体映像制御装置、立体映像制御方法、およびプログラムを提供することを目的とする。

本発明者らは、上述の目的を達成すべく鋭意検討を行った。その結果、立体映像の画素のうち、奥の方にある画素をぼかすことで、立体映像の立体感を強調できることを見出し、本発明を完成させるに至った。

（１） 本発明は、立体映像（例えば、図１、６の入力映像ａに相当）における立体感を制御する立体映像制御装置（例えば、図１の立体映像制御装置ＡＡや、図６の立体映像制御装置ＢＢに相当）であって、前記立体映像と、当該立体映像の各画素の奥行きの度合いを示す奥行き情報（例えば、図１、６の奥行き情報ｂに相当）と、に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御する位置関係制御手段（例えば、図１、６の位置関係制御部２０に相当）と、前記位置関係制御手段により得られる結果画像（例えば、図１、６の視差量変更後入力映像αに相当）の各画素の画素値に対して、前記奥行き情報に基づいてフィルタ処理を施すフィルタ処理手段（例えば、図１のフィルタ処理部３０や、図６のフィルタ処理部３０Ａに相当）と、を備えることを特徴とする立体映像制御装置を提案している。

この発明によれば、立体映像における立体感を制御する立体映像制御装置に位置関係制御手段を設けた。そして、この位置関係制御手段により、立体映像と、立体映像の各画素の奥行きの度合いを示す奥行き情報と、に基づいて、立体映像におけるオブジェクトの位置や形状を制御することとした。

このため、（１）の立体映像制御装置は、位置関係制御手段により、立体映像について、オブジェクトの視差量を制御できる。したがって、オブジェクトの視差量を、被写界深度の範囲内で制御することで、オブジェクトの被写界深度の範囲内で立体感を制御することができ、オブジェクトの被写界深度ボケを制御できるので、観察者に与える不快感を軽減できる。

また、この発明によれば、立体映像制御装置にフィルタ処理手段を設けた。そして、このフィルタ処理手段により、位置関係制御手段により得られる結果画像の各画素の画素値に対して、奥行き情報に基づいてフィルタ処理を施すこととした。

このため、（１）の立体映像制御装置は、オブジェクトの視差量を制御して立体感を制御した立体映像について、フィルタ処理手段により、フィルタ処理を施すことができる。したがって、立体感を制御した立体映像の画素のうち奥の方にある画素の画素値に対してフィルタ処理を施すことで、立体感を制御した立体映像の画素のうち、奥の方にある画素をぼかすことができ、立体感を強調できる。

以上によれば、（１）の立体映像制御装置は、観察者に与える不快感を軽減しつつ、立体映像の立体感を強調できる。

（２） 本発明は、（１）の立体映像制御装置について、前記位置関係制御手段は、前記立体映像および前記奥行き情報に加えて、奥行きを制御する度合いを示す奥行き感制御強度（例えば、図１、６の奥行き感制御強度ｃに相当）に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御することを特徴とする立体映像制御装置を提案している。

この発明によれば、（１）の立体映像制御装置において、位置関係制御手段により、立体映像および奥行き情報に加えて、奥行きを制御する度合いを示す奥行き感制御強度に基づいて、立体映像におけるオブジェクトの位置や形状を制御することとした。

このため、（２）の立体映像制御装置は、奥行き感制御強度を調節することで、立体映像におけるオブジェクトの位置や形状を制御する上限を設定して、オブジェクトの被写界深度の範囲内で立体感を制御できる。

（３） 本発明は、（１）または（２）の立体映像制御装置について、前記立体映像および前記奥行き情報に基づいて、当該立体映像中のオブジェクトを抽出するオブジェクト抽出手段（例えば、図１、６のオブジェクト抽出部１０に相当）を備え、前記位置関係制御手段は、前記オブジェクト抽出手段により抽出されたオブジェクトについて、前記立体映像における位置や形状を制御することを特徴とする立体映像制御装置を提案している。

この発明によれば、（１）または（２）の立体映像制御装置にオブジェクト抽出手段を設けた。そして、このオブジェクト抽出手段により、立体映像および奥行き情報に基づいて、立体映像中のオブジェクトを抽出することとした。また、位置関係制御手段により、オブジェクト抽出手段により抽出されたオブジェクトについて、立体映像における位置や形状を制御することとした。

このため、（３）の立体映像制御装置は、オブジェクトを立体映像の中から抽出できるので、オブジェクトの位置や形状をより的確に制御できる。したがって、オブジェクトの被写界深度の範囲内で立体感をより的確に制御できる。

（４） 本発明は、（１）〜（３）のいずれかの立体映像制御装置について、前記フィルタ処理手段は、前記奥行き情報と、奥行きを制御する度合いを示す奥行き感制御強度と、に基づいて、フィルタ強度（例えば、図４、７のフィルタ強度ｅに相当）を画素ごとに決定するフィルタ強度決定手段（例えば、図４のフィルタ強度決定部３１や、図７のフィルタ強度決定部３１Ａに相当）と、前記フィルタ強度決定手段により決定されたフィルタ強度に基づいてフィルタを設計するフィルタ設計手段（例えば、図４、７のフィルタ設計部３２に相当）と、前記フィルタ設計手段により設計されたフィルタを用いて、前記位置関係制御手段により得られる結果画像（例えば、図４、７の視差量変更後入力映像αに相当）の画素ごとにディジタルフィルタ処理を施すディジタルフィルタ処理手段（例えば、図４、７のディジタルフィルタ処理部３３に相当）と、を備えることを特徴とする立体映像制御装置を提案している。

この発明によれば、（１）〜（３）のいずれかの立体映像制御装置において、前記フィルタ処理手段に、フィルタ強度決定手段、フィルタ設計手段、およびディジタルフィルタ処理手段を設けた。そして、フィルタ強度決定手段により、奥行き情報と、奥行きを制御する度合いを示す奥行き感制御強度と、に基づいて、フィルタ強度を画素ごとに決定することとした。また、フィルタ設計手段により、フィルタ強度決定手段により決定されたフィルタ強度に基づいてフィルタを設計することとした。また、ディジタルフィルタ処理手段により、フィルタ設計手段により設計されたフィルタを用いて、位置関係制御手段により得られる結果画像の画素ごとにディジタルフィルタ処理を施すこととした。

このため、（４）の立体映像制御装置は、奥行き感制御強度を調節することで、立体感を強調する度合いを制御できる。

（５） 本発明は、（４）の立体映像制御装置について、前記フィルタ強度決定手段（例えば、図４のフィルタ強度決定部３１に相当）は、前記位置関係制御手段により得られる結果画像の全ての画素の奥行きの平均値を求めて奥行きの基準とし、当該基準より奥または手前にある各画素に対して、当該基準からの奥行き距離に応じて前記フィルタ強度を決定することを特徴とする立体映像制御装置を提案している。

この発明によれば、（４）の立体映像制御装置において、フィルタ強度決定手段により、位置関係制御手段により得られる結果画像の全ての画素の奥行きの平均値を求めて奥行きの基準とし、この基準より奥または手前にある各画素に対して、この基準からの奥行き距離に応じてフィルタ強度を決定することとした。

このため、（５）の立体映像制御装置は、立体映像の中での平均的な奥行きを有する画素を基準として、この画素からの奥行き距離が長い画素ほど、ぼかすことができる。

（６） 本発明は、（４）の立体映像制御装置について、前記フィルタ強度決定手段（例えば、図７のフィルタ強度決定部３１Ａに相当）は、予め定められた閾値を奥行きの基準とし、当該基準より奥または手前にある各画素に対して、当該基準からの奥行き距離に応じて前記フィルタ強度を決定することを特徴とする立体映像制御装置を提案している。

この発明によれば、（４）の立体映像制御装置において、フィルタ強度決定手段により、予め定められた閾値を奥行きの基準とし、この基準より奥または手前にある各画素に対して、この基準からの奥行き距離に応じてフィルタ強度を決定することとした。

このため、（６）の立体映像制御装置は、予め定められた奥行きを有する画素を基準として、この画素からの奥行き距離が長い画素ほど、ぼかすことができる。

（７） 本発明は、（４）〜（６）のいずれかの立体映像制御装置について、前記フィルタ設計手段は、前記フィルタ強度決定手段により決定されたフィルタ強度に基づいて、予め定められた複数種類のフィルタの中から１つを選択することで、前記フィルタの設計を行うことを特徴とする立体映像制御装置を提案している。

この発明によれば、（４）〜（６）のいずれかの立体映像制御装置において、フィルタ設計手段により、フィルタ強度決定手段により決定されたフィルタ強度に基づいて、予め定められた複数種類のフィルタの中から１つを選択することで、フィルタの設計を行うこととした。

このため、（７）の立体映像制御装置は、画素ごとに、ディジタルフィルタ処理に用いるフィルタの設計を、予め定められた複数種類のフィルタの中からフィルタ強度に応じて１つ選択して、実現できる。

（８） 本発明は、位置関係制御手段（例えば、図１、６の位置関係制御部２０に相当）およびフィルタ処理手段（例えば、図１のフィルタ処理部３０や、図６のフィルタ処理部３０Ａに相当）を備え、立体映像（例えば、図１、６の入力映像ａに相当）における立体感を制御する立体映像制御装置（例えば、図１の立体映像制御装置ＡＡや、図６の立体映像制御装置ＢＢに相当）における立体映像制御方法であって、前記位置関係制御手段が、前記立体映像と、当該立体映像の各画素の奥行きの度合いを示す奥行き情報（例えば、図１、６の奥行き情報ｂに相当）と、に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御する第１のステップと、前記フィルタ処理手段が、前記位置関係制御手段により得られる結果画像（例えば、図１、６の視差量変更後入力映像αに相当）の各画素の画素値に対して、前記奥行き情報に基づいてフィルタ処理を施す第２のステップと、を備えることを特徴とする立体映像制御方法を提案している。

この発明によれば、位置関係制御手段により、立体映像と、立体映像の各画素の奥行きの度合いを示す奥行き情報と、に基づいて、立体映像におけるオブジェクトの位置や形状を制御することとした。また、フィルタ処理手段により、位置関係制御手段により得られる結果画像の各画素の画素値に対して、奥行き情報に基づいてフィルタ処理を施すこととした。このため、上述した効果と同様の効果を奏することができる。

（９） 本発明は、位置関係制御手段（例えば、図１、６の位置関係制御部２０に相当）およびフィルタ処理手段（例えば、図１のフィルタ処理部３０や、図６のフィルタ処理部３０Ａに相当）を備え、立体映像（例えば、図１、６の入力映像ａに相当）における立体感を制御する立体映像制御装置（例えば、図１の立体映像制御装置ＡＡや、図６の立体映像制御装置ＢＢに相当）における立体映像制御方法を、コンピュータに実行させるためのプログラムであって、前記位置関係制御手段が、前記立体映像と、当該立体映像の各画素の奥行きの度合いを示す奥行き情報（例えば、図１、６の奥行き情報ｂに相当）と、に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御する第１のステップと、前記フィルタ処理手段が、前記位置関係制御手段により得られる結果画像（例えば、図１、６の視差量変更後入力映像αに相当）の各画素の画素値に対して、前記奥行き情報に基づいてフィルタ処理を施す第２のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、プログラムをコンピュータに実行させることで、位置関係制御手段により、立体映像と、立体映像の各画素の奥行きの度合いを示す奥行き情報と、に基づいて、立体映像におけるオブジェクトの位置や形状を制御することとした。また、フィルタ処理手段により、位置関係制御手段により得られる結果画像の各画素の画素値に対して、奥行き情報に基づいてフィルタ処理を施すこととした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、観察者に与える不快感を低減しつつ、立体映像の立体感を強調できる。

本発明の第１実施形態に係る立体映像制御装置の構成を示すブロック図である。 前記立体映像制御装置が備える位置関係制御部の動作を説明するための図である。 前記立体映像制御装置が備える位置関係制御部の動作を説明するための図である。 前記立体映像制御装置が備えるフィルタ処理部の構成を示すブロック図である。 前記立体映像制御装置が備えるフィルタ強度決定部の動作を説明するための図である。 本発明の第２実施形態に係る立体映像制御装置の構成を示すブロック図である。 前記立体映像制御装置が備えるフィルタ処理部の構成を示すブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［立体映像制御装置ＡＡの構成および動作］
図１は、本発明の第１実施形態に係る立体映像制御装置ＡＡの構成を示すブロック図である。立体映像制御装置ＡＡは、両眼視差を利用した立体映像における立体感を制御する。この立体映像制御装置ＡＡは、オブジェクト抽出部１０、位置関係制御部２０、およびフィルタ処理部３０を備える。

オブジェクト抽出部１０は、入力映像ａと、奥行き情報ｂと、を入力とする。ここで、入力映像ａとは、左眼用映像および右眼用映像による立体映像のことである。また、奥行き情報ｂとは、左眼用映像における各画素の奥行きの度合いを示す情報と、右眼用映像における各画素の奥行きの度合いを示す情報と、を含むもののことであり、例えばＤｅｐｔｈ ｍａｐを用いることができる。

このオブジェクト抽出部１０は、入力映像ａと奥行き情報ｂとに基づいて、左眼用映像および右眼用映像のそれぞれについて、オブジェクトを抽出するとともに、背景領域を決定する。そして、左眼用映像におけるオブジェクトを識別する情報と、右眼用映像におけるオブジェクトを識別する情報と、をオブジェクト識別情報ｄとして出力する。

位置関係制御部２０は、入力映像ａと、奥行き情報ｂと、奥行き感制御強度ｃと、オブジェクト識別情報ｄと、を入力とする。ここで、奥行き感制御強度ｃとは、奥行きを制御する度合いを示す情報のことである。

この位置関係制御部２０は、入力映像ａと奥行き情報ｂと奥行き感制御強度ｃとオブジェクト識別情報ｄとに基づいて、オブジェクト抽出部１０により抽出されたオブジェクトについて、入力映像ａにおける位置や形状を制御して、視差量変更後入力映像αおよび視差量変更後奥行き情報βを出力する。

具体的には、位置関係制御部２０は、まず、入力映像ａと奥行き情報ｂとオブジェクト識別情報ｄと奥行き感制御強度ｃとに基づいて、オブジェクト抽出部１０で抽出された左眼用映像における各オブジェクトの奥行きと、オブジェクト抽出部１０で抽出された右眼用映像における各オブジェクトの奥行きと、について、奥行き感制御強度ｃに応じて奥行きの制御量を決定する。次に、決定した奥行きの制御量に基づいて、入力映像ａに含まれる左眼用映像における各オブジェクトと、入力映像ａに含まれる右眼用映像における各オブジェクトと、について位置や形状を制御して、視差量変更後入力映像αとして出力する。また、上述のオブジェクトの位置や形状の制御に併せて、奥行き情報ｂを更新して、視差量変更後奥行き情報βとして出力する。

これによれば、入力映像ａについて、奥行き感制御強度ｃに応じて幾何変換処理が施され、その結果、入力映像ａの奥行きが制御されて、視差量の変更された立体映像として視差量変更後入力映像αが出力されることになる。また、奥行き情報ｂについて、入力映像ａに対する幾何変換処理による視差量の変更に応じて奥行き情報ｂが更新されて、視差量の変更された立体映像における各画素の奥行きの度合いを示す情報として視差量変更後奥行き情報βが出力されることになる。なお、上述のオブジェクトの位置や形状の制御には、例えばアフィン変換を用いることができる。

位置関係制御部２０によるオブジェクトの位置や形状の制御について、図２、３を用いて説明する。図２は、入力映像ａの左眼用映像の奥行きを制御した場合のイメージを示し、図３は、入力映像ａの奥行きを制御した視差量変更後入力映像αの左眼用映像のイメージを示している。

図２において、カメラＬは、左眼用映像を生成する撮像装置であり、カメラＲは、右眼用映像を生成する撮像装置であり、これらカメラＬ、Ｒで生成された映像により上述の入力映像ａが生成されるものとする。また、左眼用映像における奥行き情報ｂで示される奥行きに存在するオブジェクトの位置や形状を、奥行き感制御強度ｃに応じて位置関係制御部２０により制御した結果、図２に示すように、オブジェクトが「制御前」の位置から「制御後」の位置に移動したものとする。

これによれば、位置関係制御部２０による制御によって、カメラＬから見た場合、オブジェクトは右手前に移動したことになる。すると、カメラＬで生成された左眼用映像では、図３に示すように、位置関係制御部２０による制御前と比べて、オブジェクトの位置が右方向に変化するとともに、オブジェクトの大きさが大きくなる。

図１に戻って、フィルタ処理部３０は、視差量変更後入力映像αと、視差量変更後奥行き情報βと、奥行き感制御強度ｃと、を入力とする。フィルタ処理部３０は、視差量変更後入力映像αの各画素の画素値に対して、視差量変更後奥行き情報βと奥行き感制御強度ｃとに基づいてフィルタ処理を施し、立体感の制御された立体映像として出力映像Ｘを出力する。このフィルタ処理部３０は、図４に示すように、フィルタ強度決定部３１、フィルタ設計部３２、およびディジタルフィルタ処理部３３を備える。

フィルタ強度決定部３１は、視差量変更後奥行き情報βと、奥行き感制御強度ｃと、を入力とする。このフィルタ強度決定部３１は、視差量変更後奥行き情報βと奥行き感制御強度ｃとに基づいて、視差量変更後入力映像αの全ての画素の奥行きの平均値を求めて奥行きの基準とし、この基準より奥にある各画素に対して、この基準からの奥行き距離に応じてフィルタ強度ｅを決定し、出力する。

具体的には、まず、視差量変更後奥行き情報βに基づいて、視差量変更後入力映像αの全ての画素の奥行きの平均値Ｌ_１（図５参照）を求める。次に、求めた奥行きの平均値Ｌ_１を基準として、この奥行きの平均値Ｌ_１と、この基準からフィルタ強度を決定する画素までの奥行き距離Ｄ_１（図５参照）と、奥行き感制御強度ｃで示される奥行き感制御強度係数Ｃ（ただし、Ｃは、Ｃ≦１を満たす任意の数）と、に基づいて、以下の数式（１）に示すフィルタ強度を決定し、フィルタ強度ｅとして出力する。

フィルタ設計部３２は、視差量変更後奥行き情報βと、フィルタ強度ｅと、を入力とする。このフィルタ設計部３２は、視差量変更後奥行き情報βとフィルタ強度ｅとに基づいて、全パスに対してフィルタ強度ｅだけ通過域を絞った通過域を有するディジタルフィルタｆを設計する。

以下に、ディジタルフィルタの一例として、ゼロから以下の数式（２）に示す値までを通過域とするローパスフィルタを設計する場合を説明する。

この場合、設計するフィルタの希望特性Ｂ（ω）は、以下の数式（３）で表される。この希望特性Ｂ（ω）を逆フーリエ変換することで、フィルタ強度ｅに応じた通過域を有するローパスフィルタを設計できる。

ディジタルフィルタ処理部３３は、視差量変更後入力映像αと、ディジタルフィルタｆと、を入力とする。このディジタルフィルタ処理部３３は、ディジタルフィルタｆを用いて、視差量変更後入力映像αの画素ごとにディジタルフィルタ処理を施し、出力映像Ｘとして出力する。このディジタルフィルタ処理によれば、視差量変更後入力映像αの画素のうち、フィルタ強度決定部３１により定められた奥行きの基準より奥に存在する各画素に対して、奥行き感制御強度ｃと、奥行きの基準からフィルタ処理を施す画素までの奥行き距離と、に応じてフィルタ処理が施されることになる。このため、奥行きの基準から奥に行くに従って、画素の被写界深度ボケが大きくなることになる。

なお、上述のディジタルフィルタ処理には、例えば、ローパスフィルタ（高周波成分除去）やエッジ平滑化フィルタやバンドパスフィルタを用いたり、被写界深度ボケを表現するために用いられる画像処理を用いたりすることができる。

以上の立体映像制御装置ＡＡによれば、以下の効果を奏することができる。

立体映像制御装置ＡＡは、位置関係制御部２０により、入力映像ａに含まれる左眼用映像における各オブジェクトと、入力映像ａに含まれる右眼用映像における各オブジェクトと、について位置や形状を制御する。このため、入力映像ａについて、この入力映像ａに含まれるオブジェクトの視差量を制御できる。したがって、オブジェクトの視差量を、被写界深度の範囲内で制御することで、オブジェクトの被写界深度の範囲内で立体感を制御することができ、オブジェクトの被写界深度ボケを制御できるので、観察者に与える不快感を軽減できる。

また、立体映像制御装置ＡＡは、位置関係制御部２０により入力映像ａの立体感を制御して生成した視差量変更後入力映像αの各画素のうち奥の方にある画素の画素値に対して、フィルタ処理部３０によりフィルタ処理を施す。このため、入力映像ａの立体感を制御して生成した視差量変更後入力映像αの画素のうち、奥の方にある画素をぼかすことができ、立体感を強調できる。

以上によれば、立体映像制御装置ＡＡは、観察者に与える不快感を軽減しつつ、入力映像ａの立体感を強調できる。

また、立体映像制御装置ＡＡは、位置関係制御部２０によるオブジェクトの位置や形状の制御を、奥行きを制御する度合いを示す奥行き感制御強度ｃに基づいて行う。このため、奥行き感制御強度ｃを調節することで、オブジェクトの位置や形状を制御する上限を設定して、オブジェクトの被写界深度の範囲内で立体感を制御できる。

また、立体映像制御装置ＡＡは、オブジェクト抽出部１０により、入力映像ａに含まれる左眼用映像および右眼用映像のそれぞれについて、オブジェクトを抽出する。そして、オブジェクト抽出部１０によりオブジェクトを抽出した結果を用いて、位置関係制御部２０により、入力映像ａにおけるオブジェクトの位置や形状を制御する。このため、位置関係制御部２０において、オブジェクトの位置や形状を的確に制御できるので、オブジェクトの被写界深度の範囲内で立体感をより的確に制御できる。

また、立体映像制御装置ＡＡは、フィルタ処理部３０によるフィルタ処理を、奥行きを制御する度合いを示す奥行き感制御強度ｃに基づいて行う。このため、奥行き感制御強度ｃを調節することで、立体感を強調する度合いを制御できる。

また、立体映像制御装置ＡＡは、フィルタ強度決定部３１により、視差量変更後入力映像αの全ての画素の奥行きの平均値を求めて奥行きの基準とし、この基準より奥にある各画素に対して、この基準からの奥行き距離に応じてフィルタ強度ｅを決定する。このため、視差量変更後入力映像αの中での平均的な奥行きを有する画素を基準として、この画素からの奥行き距離が長い画素ほど、ぼかすことができる。

＜第２実施形態＞
［立体映像制御装置ＢＢの構成および動作］
図６は、本発明の第２実施形態に係る立体映像制御装置ＢＢの構成を示すブロック図である。立体映像制御装置ＢＢは、図１に示した本発明の第１実施形態に係る立体映像制御装置ＡＡとは、フィルタ処理部３０の代わりにフィルタ処理部３０Ａを備える点が異なる。なお、立体映像制御装置ＢＢにおいて、立体映像制御装置ＡＡと同一構成要件については、同一符号を付し、その説明を省略する。

フィルタ処理部３０Ａは、視差量変更後入力映像αと、視差量変更後奥行き情報βと、奥行き感制御強度ｃと、に加えて基準奥行き情報ｇを入力とする点が、図１のフィルタ処理部３０と異なる。ここで、基準奥行き情報ｇとは、画素の奥行きに関する閾値を示す情報のことである。

このフィルタ処理部３０Ａは、視差量変更後入力映像αの各画素の画素値に対して、視差量変更後奥行き情報βと奥行き感制御強度ｃと基準奥行き情報ｇとに基づいてフィルタ処理を施し、立体感の制御された立体映像として出力映像Ｘを出力する。フィルタ処理部３０Ａは、図７に示すように、フィルタ強度決定部３１Ａ、フィルタ設計部３２、およびディジタルフィルタ処理部３３を備える。

フィルタ強度決定部３１Ａは、視差量変更後奥行き情報βと、奥行き感制御強度ｃと、に加えて基準奥行き情報ｇを入力とする点が、図４のフィルタ強度決定部３１と異なる。このフィルタ強度決定部３１Ａは、基準奥行き情報ｇにより示される予め定められた奥行きに関する閾値Ｌ_２を基準とし、この基準より奥にある各画素に対して、この基準からの奥行き距離に応じてフィルタ強度ｅを決定し、出力する。

具体的には、まず、基準奥行き情報ｇにより示される奥行きに関する閾値Ｌ_２を基準として、この奥行きの閾値Ｌ_２と、この基準からフィルタ強度を決定する画素までの奥行き距離Ｄ_２と、奥行き感制御強度ｃで示される奥行き感制御強度係数Ｃと、に基づいて、以下の数式（４）に示すフィルタ強度を決定し、フィルタ強度ｅとして出力する。

このため、ディジタルフィルタ処理部３３によるディジタルフィルタ処理によれば、視差量変更後入力映像αの画素のうち、予め定められた奥行きの基準より奥に存在する各画素に対して、奥行き感制御強度ｃと、奥行きの基準からフィルタ処理を施す画素までの奥行き距離と、に応じてフィルタ処理が施されることになる。

以上の立体映像制御装置ＢＢによれば、立体映像制御装置ＡＡが奏することのできる上述の効果と同様の効果を奏することができる。

ただし、立体映像制御装置ＡＡは、視差量変更後入力映像αの中での平均的な奥行きを有する画素を基準として、この基準より奥にある画素ほど、ぼかすものである。これに対して、立体映像制御装置ＢＢは、基準が予め定められており、この画素より奥にある画素ほど、ぼかすものである。

なお、本発明の立体映像制御装置ＡＡや立体映像制御装置ＢＢの処理を、コンピュータ読み取り可能な記録媒体に記憶し、記録媒体に記録されたプログラムを立体映像制御装置ＡＡや立体映像制御装置ＢＢに読み込ませ、実行することによって、本発明を実現できる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した立体映像制御装置ＡＡや立体映像制御装置ＢＢから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を立体映像制御装置ＡＡや立体映像制御装置ＢＢにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第１実施形態に係る立体映像制御装置ＡＡと、上述の第２実施形態に係る立体映像制御装置ＢＢと、が立体感を制御する立体映像は、両眼視差を利用した立体映像としたが、これに限らない。

また、上述の第１実施形態に係る立体映像制御装置ＡＡは、フィルタ強度決定部３１により定められた奥行きの基準より奥に存在する各画素に対して、フィルタ処理を施すこととしたが、これに限らない。例えば、フィルタ強度決定部３１により定められた奥行きの基準より手前に存在する各画素に対して、フィルタ処理を施すこととしてもよいし、フィルタ強度決定部３１により定められた奥行きの基準より奥に存在する各画素と、手前に存在する各画素と、に対してフィルタ処理を施すこととしてもよい。

また、上述の第２実施形態に係る立体映像制御装置ＢＢは、基準奥行き情報ｇにより示される予め定められた奥行きの基準より奥に存在する各画素に対して、フィルタ処理を施すこととしたが、これに限らない。例えば、基準奥行き情報ｇにより示される予め定められた奥行きの基準より手前に存在する各画素に対して、フィルタ処理を施すこととしてもよいし、基準奥行き情報ｇにより示される予め定められた奥行きの基準より奥に存在する各画素と、手前に存在する各画素と、に対してフィルタ処理を施すこととしてもよい。

また、上述の第１実施形態に係る立体映像制御装置ＡＡと、上述の第２実施形態に係る立体映像制御装置ＢＢとは、フィルタ設計部３２により、数式（１）や数式（４）に示す演算を行ってフィルタを設計することとしたが、これに限らない。例えば、予め複数種類のフィルタを記憶しておき、フィルタ強度を決定する画素ごとに、奥行きの基準と、この基準からフィルタ強度を決定する画素までの奥行き距離と、奥行き感制御強度係数Ｃと、に基づいて上述の複数種類のフィルタの中から１つを選択するものとしてもよい。

また、上述の各実施形態では、位置関係制御部２０によるオブジェクトの位置や形状の制御と、フィルタ処理部３０によるフィルタ処理と、に同一の奥行き感制御強度ｃを用いることとしたが、これに限らず、互いに異なる奥行き感制御強度を用いることとしてもよい。

１０・・・オブジェクト抽出部
２０・・・位置関係制御部
３０、３０Ａ・・・フィルタ処理部
３１、３１Ａ・・・フィルタ強度決定部
３２・・・フィルタ設計部
３３・・・ディジタルフィルタ処理部
ＡＡ、ＢＢ・・・立体映像制御装置

Claims (9)

1. 立体映像における立体感を制御する立体映像制御装置であって、
   前記立体映像と、当該立体映像の各画素の奥行きの度合いを示す奥行き情報と、に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御する位置関係制御手段と、
   前記位置関係制御手段により得られる結果画像の各画素の画素値に対して、前記奥行き情報に基づいてフィルタ処理を施すフィルタ処理手段と、を備えることを特徴とする立体映像制御装置。
2. 前記位置関係制御手段は、前記立体映像および前記奥行き情報に加えて、奥行きを制御する度合いを示す奥行き感制御強度に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御することを特徴とする請求項１に記載の立体映像制御装置。
3. 前記立体映像および前記奥行き情報に基づいて、当該立体映像中のオブジェクトを抽出するオブジェクト抽出手段を備え、
   前記位置関係制御手段は、前記オブジェクト抽出手段により抽出されたオブジェクトについて、前記立体映像における位置や形状を制御することを特徴とする請求項１または２に記載の立体映像制御装置。
4. 前記フィルタ処理手段は、
   前記奥行き情報と、奥行きを制御する度合いを示す奥行き感制御強度と、に基づいて、フィルタ強度を画素ごとに決定するフィルタ強度決定手段と、
   前記フィルタ強度決定手段により決定されたフィルタ強度に基づいてフィルタを設計するフィルタ設計手段と、
   前記フィルタ設計手段により設計されたフィルタを用いて、前記位置関係制御手段により得られる結果画像の画素ごとにディジタルフィルタ処理を施すディジタルフィルタ処理手段と、を備えることを特徴とする請求項１から３のいずれかに記載の立体映像制御装置。
5. 前記フィルタ強度決定手段は、前記位置関係制御手段により得られる結果画像の全ての画素の奥行きの平均値を求めて奥行きの基準とし、当該基準より奥または手前にある各画素に対して、当該基準からの奥行き距離に応じて前記フィルタ強度を決定することを特徴とする請求項４に記載の立体映像制御装置。
6. 前記フィルタ強度決定手段は、予め定められた閾値を奥行きの基準とし、当該基準より奥または手前にある各画素に対して、当該基準からの奥行き距離に応じて前記フィルタ強度を決定することを特徴とする請求項４に記載の立体映像制御装置。
7. 前記フィルタ設計手段は、前記フィルタ強度決定手段により決定されたフィルタ強度に基づいて、予め定められた複数種類のフィルタの中から１つを選択することで、前記フィルタの設計を行うことを特徴とする請求項４から６のいずれかに記載の立体映像制御装置。
8. 位置関係制御手段およびフィルタ処理手段を備え、立体映像における立体感を制御する立体映像制御装置における立体映像制御方法であって、
   前記位置関係制御手段が、前記立体映像と、当該立体映像の各画素の奥行きの度合いを示す奥行き情報と、に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御する第１のステップと、
   前記フィルタ処理手段が、前記位置関係制御手段により得られる結果画像の各画素の画素値に対して、前記奥行き情報に基づいてフィルタ処理を施す第２のステップと、を備えることを特徴とする立体映像制御方法。
9. 位置関係制御手段およびフィルタ処理手段を備え、立体映像における立体感を制御する立体映像制御装置における立体映像制御方法を、コンピュータに実行させるためのプログラムであって、
   前記位置関係制御手段が、前記立体映像と、当該立体映像の各画素の奥行きの度合いを示す奥行き情報と、に基づいて、当該立体映像におけるオブジェクトの位置や形状を制御する第１のステップと、
   前記フィルタ処理手段が、前記位置関係制御手段により得られる結果画像の各画素の画素値に対して、前記奥行き情報に基づいてフィルタ処理を施す第２のステップと、をコンピュータに実行させるためのプログラム。

Images