JP2015076776A - 立体視画像処理装置、立体視画像処理方法及びプログラム - Google Patents

Abstract

【課題】妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる立体視画像処理装置、立体視画像処理方法及びプログラムを提供する。
【解決手段】本発明の立体視画像処理装置は、入力される立体視画像における視差量を算出する視差量算出部と、視差量に基づいて、立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部とを備える。
【選択図】図１

Description

本発明は、立体視画像を表示する立体視画像処理装置、立体視画像処理方法及びプログラムに関する。

人間の脳は、一定の間隔を持った２つの目により得られる画像の違いから、３次元空間を把握する画像処理の機能を有している。左右の眼による異なる視点から得られる画像中の対応点のずれを視差（あるいは両眼視差）と呼び、視差を手掛かりの一つとして対象物の位置関係を立体的に把握している。このことを利用して、右眼用画像を右眼に対して表示し、左眼用画像を左眼に対して表示する手段を設けて、右眼用画像、左眼用画像として視差を設けた画像を提示することにより、人間の脳に対して立体視画像を知覚させることが可能である。
すなわち、立体視画像とは、右眼と左眼それぞれに視差を形成する異なる画像を視覚させることによって、観察者に立体感を知覚させる画像である。

立体視画像では、左右の眼における視差の量（以下、視差量と示す）が、人間が立体視を快適に観察できる視差量（以下、視差量閾値と示す）に対して大きくなるにつれ、徐々に立体視画像が観察者の眼にとってより手前側に知覚される。視差量が視差量閾値を超えて大きくなると、立体視画像が観察者の眼の近傍で知覚され、観察者にとって非常に見辛い画像となり、観察者が眼に疲労を覚える原因となりうる。

そのため、作成した立体視画像が視差量の大きい部分を有する場合、観察者の疲労を軽減することを目的として、右眼用画像及び左眼用画像の各々を修正することが行われている。従来においては、右眼用画像及び左眼用画像の修正として、以下に示す２つの処理が作成者の手作業によって一般的に行われている。
（１）当該部分の視差量が小さくなるように画像を修正する。
（２）当該部分に視線が向かないように当該部分の鮮鋭度、明度、色、彩度などの画像特徴を調整する。

また、立体視画像においては、立体視画像内で注視するべきオブジェクト（以下、注視オブジェクトと呼ぶ）の前面に、注視オブジェクトより大きな視差量を有し、観察者の注視オブジェクトに対する注意力を分散させるオブジェクト（以下、妨害オブジェクトと呼ぶ）が存在する場合、注視オブジェクトが注視し辛くなる特徴を持つ。すなわち、妨害オブジェクトが大きな視差量を有する場合、注視オブジェクトより前面に飛び出して観察されるため、注視オブジェクトより妨害オブジェクトに注意が向くことになる。

このような場合にも、上述した右眼用画像及び左眼用画像の修正と同様に、以下に示す２つの処理が作成者の手作業によって一般的に行われている。
（１）妨害オブジェクトの視差量が小さくなるように画像を修正する。
（２）妨害オブジェクトに視線が向かないように当該妨害オブジェクトの鮮鋭度、明度、色、彩度などの画像特徴を調整する。

立体視画像の立体感に起因する観察者の疲労を軽減するため、オブジェクトの視差量を調整する技術がある。
例えば、ディスプレイ面における立体画像の表示が所定時間継続すると、立体画像の最大視差量が閾値以内になるように画像を調整する機能を有する立体画像表示装置がある（例えば特許文献１参照）。
また、短時間で激しく視差量が変化する場合、一定時間内の視差量の変化が閾値を超えないように、画像の視差量を調整する３次元映像生成装置及び３次元映像生成方法がある（例えば特許文献２参照）。

特開２００４−２０７７７３号公報 特開２０１１−１２４９４１号公報

しかしながら、上述した特許文献１および特許文献２では、注視オブジェクトの前面に妨害オブジェクトが存在する場合において、妨害オブジェクトが視差量閾値を超えた視差量を有する部分の当該視差量の調整を行っている。すなわち、特許文献１および特許文献２では、妨害オブジェクトに対して、視差量閾値を超えた視差量を有する部分の視差量が視差量閾値以内となるように調整を行っている。
このため、特許文献１および特許文献２においては、調整した妨害オブジェクトの形状が歪むことで画像の立体感が乏しくなり、調整後の立体視画像が知覚させる立体感に関して、その歪んだ立体形状に観察者が違和感を覚えるという問題がある。

本発明は、このような事情に鑑みてなされたもので、妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる立体視画像処理装置、立体視画像処理方法及びプログラムを提供することを目的とする。

この発明は上述した課題を解決するためになされたもので、本発明の立体視画像処理装置は、入力される立体視画像における視差量を算出する視差量算出部と、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部とを備えることを特徴とする。

本発明の立体視画像処理装置は、前記対象オブジェクトの前記画像特徴量を前記画像特徴量調整値に対応して調整し、当該対象オブジェクトと他のオブジェクトとのコントラストが補正された立体視画像を生成する画像特徴量調整部をさらに備えることを特徴とする。

本発明の立体視画像処理装置は、前記画像特徴量は、オブジェクトの不透明度、透明度、明度、鮮鋭度を含む特徴量のいずれか一つ、あるいはその組合せであることを特徴とする。

本発明の立体視画像処理装置は、前記対象オブジェクトが、他のオブジェクトを観察するユーザの注意力を分散させる妨害オブジェクトであり、前記画像特徴量調整値算出部が、
前記対象オブジェクトと他のオブジェクトとのコントラストを低下させ、当該対象オブジェクトへのユーザの注目を低下させる前記画像特徴量調整値を算出することを特徴とする。

本発明の立体視画像処理方法は、視差量算出部が、入力される立体視画像における視差量を算出する視差量算出過程と、画像特徴量調整値算出部が、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出過程とを含むことを特徴とする。

本発明のプログラムは、立体視画像処理をコンピュータに実行させるプログラムであって、前記コンピュータを、入力される立体視画像における視差量を算出する視差量算出手段、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出手段として機能させるためのプログラムである。

本発明によれば、対象オブジェクトの画像特徴量を、対象オブジェクトの視差量に対応して求めた画像特徴量調整値により調整し、対象オブジェクトと他のオブジェクトとのコントラストを制御できるため、容易に妨害オブジェクトと、注視オブジェクトとのコントラストを低下させることができる。このため、本発明によれば、妨害オブジェクトが注視オブジェクトの前面に存在した場合においても、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの注目度を低下させて注視対象オブジェクトの見辛さを軽減することができる。

図１は、本発明の一実施形態による立体視画像処理装置の構成例を示す概略ブロック図である。 視差量Ｓと立体視画像を構成する各画素の飛び出し量Ｚ₋及び引っ込み量Ｚ_＋との関係を説明する図である。 ２次元画像及びこの２次元画像の奥行き画像から視差量を求める処理を説明する図である。 ２次元画像である左眼用画像と右眼用画像とから視差量を求める処理を説明する図である。 視差量と不透明度係数との対応関係を示すグラフの一例である。 本発明の一実施形態における画像処理装置により補正された、立体視画像における右眼用画像と左眼用画像を示す図である。 妨害オブジェクトの不透明度を低下させ、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる処理の動作例を示すフローチャートである。

本発明は、立体視画像の構成要素であるオブジェクトの過度な大きさの視差量に基づく、観察者の立体視画像の見辛さを、オブジェクト間のコントラストを調整することにより軽減するものである。すなわち、本発明は、立体視画像におけるオブジェクト間のコントラストを、各オブジェクトの画像特徴量を制御することで調整し、立体視画像の見辛さを軽減する。画像特徴量は、コントラストに影響を与える画像の特徴量であり、例えば鮮鋭度、明度、不透明度（あるいは透明度）などの画像の特性を示すパラメータである。

例えば、立体視画像を構成するオブジェクトにおいて、注視したいオブジェクト（以下、注視オブジェクトと示す）の前面に、監視者による注視オブジェクトの注視を阻害する（観察者の注視オブジェクトに対する注意力を分散させ、注視オブジェクトに対する注視を妨害する）オブジェクト（以下、妨害オブジェクトと示す）が存在する場合、妨害オブジェクトに対する監視者の注目を低下させる必要がある。このため、注視オブジェクトを含む他のオブジェクトに対して、妨害オブジェクトのコントラストを低下させることにより、妨害オブジェクトに対する監視者の注目を低下させる。妨害オブジェクトに対する監視者の注目が低下することにより、注視オブジェクトに対する観察者の注視の程度を向上させることができ、注視オブジェクトに対する妨害オブジェクトの妨害の程度が軽減され、立体視画像の見辛さを低減させることができる。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施形態による立体視画像処理装置の構成例を示す概略ブロック図である。この図１において、立体視画像処理装置は、立体視画像入力部１と、視差量算出部２と、画像特徴量調整値算出部３と、画像特徴量調整部４と、立体視画像出力部５と、データベース６との各々を備えている。また、本実施形態における立体視画像は、撮像された実写画像、あるいはコンピュータグラフィックにより生成したコンピュータグラフィック画像（以下、ＣＧ画像と示す）のいずれでも良い。以下の説明においては、立体視画像がＣＧ画像であるものとして説明する。

立体視画像入力部１は、外部装置（不図示）から、ＣＧ画像である立体視画像のデータを入力し、視差量算出部２に対して出力する。
また、立体視画像入力部１は、外部装置から供給された立体視画像のデータを、データベース６に対して書き込んで記憶させる。
ここで、立体視画像は、２次元画像と、この２次元画像の各画素の奥行きを示す深度分布を示す奥行き画像とを含む画像データである。２次元画像のデータは、画像特徴量として画素の不透明度（透明度）、明度、鮮鋭度などを含んでいる。
また、立体視画像は、右眼用の２次元画像である右眼用画像と、左眼用の２次元画像である左眼用画像とを含む画像データでも良い。右眼用画像及び左眼用画像の各々のデータは、画像特徴量として画素の不透明度（透明度）、明度、鮮鋭度などを含んでいる。

視差量算出部２は、立体視画像入力部１より供給された立体視画像から、視差量の算出を行う（詳細は後述）。

図２は、視差量Ｓと立体視画像を構成する各画素の飛び出し量Ｚ₋及び引っ込み量Ｚ_＋との関係を説明する図である。図２において、位置２３０は観察者の左眼の位置を示している。位置２２０は観察者の右眼の位置を示している。スクリーン２４０は、観察者が立体視画像を観察しているスクリーンである。

位置２００は引っ込み量Ｚ_＋のオブジェクト（画素）の観察者の観察における位置を示している。引っ込み量Ｚ_＋は、スクリーン２４０の表示面に対して観察者と反対側の空間における、スクリーン２４０の表示面からの距離を示している。すなわち、引っ込み量Ｚ_＋は、観察者がスクリーン２４０の後方に引っ込んで、オブジェクトが観察される、スクリーン２４０の表示面からの深さ位置を示している。

位置２１０は飛び出し量Ｚ₋のオブジェクト（画素）の観察者の観察における位置を示している。飛び出し量Ｚ₋は、スクリーン２４０の表示面に対して観察者側の空間における、スクリーン２４０の表示面からの距離を示している。すなわち、飛び出し量Ｚ₋は、観察者がスクリーン２４０の前方に飛び出して、オブジェクトが観察される、スクリーン２４０の表示面からの深さ位置を示している。

位置２１２は、観察者の位置２３０にある左眼が位置２００において画像を認識する際、スクリーン２４０に表示される画像の位置を示している。
また、位置２１２は、観察者の位置２２０にある右眼が位置２１０において画像を認識する際、スクリーン２４０に表示される画像の位置を示している。

位置２１３は、観察者の位置２３０にある左眼が位置２１０において画像を認識する際、スクリーン２４０に表示される画像の位置を示している。
また、位置２１３は、観察者の位置２２０にある右眼が位置２００において画像を認識する際、スクリーン２４０に表示される画像の位置を示している。

視差量Ｓは、例えば、観察者が位置２００において画像を認識した際、スクリーン２４０の表示面における左眼で観察する画像の位置２１２と、スクリーン２４０の表示面における右眼で観察する画像の位置２１３との、スクリーン２４０の表示面上の距離を示している。
距離Ｌは、スクリーン２４０の表示面と観察者の眼との距離を示している。また、距離ＩＰＤは、観察者の右眼と左眼との間隔を示す距離である。

上述した奥行き画像における飛び出し量Ｚ₋及び引っ込み量Ｚ_＋と、距離Ｌと、距離ＩＰＤとにより、下記（１）式と（２）とを用いて、立体視画像における画素単位の視差量Ｓを求める。
Ｓ＝（Ｚ₋×ＩＰＤ／Ｌ）−Ｚ₋ …（１）
Ｓ＝（Ｚ_＋×ＩＰＤ／Ｌ）＋Ｚ_＋ …（２）
上記（１）式は、画像がスクリーン２４０の表示面から観察者側の空間に飛び出した位置に見える場合における視差量Ｓを求める式である。
一方、（２）式は、画像がスクリーン２４０の表示面から観察者と反対側の空間に飛び出した位置に見える場合における視差量Ｓを求める式である。

図１に戻り、視差量算出部２は、例えば、立体視画像が２次元画像とこの２次元画像の深度分布を示す奥行き画像の際、上述した（１）式あるいは（２）式を用いて、立体視画像における画素の視差量Ｓを算出する。視差量算出部１２０は、画素の奥行きを示す情報が奥行き画像における飛び出し量Ｚ₋の場合、（１）式により画素の視差量Ｓを算出する。

一方、視差量算出部１２０は、画素の奥行きを示す情報が奥行き画像における引っ込み量Ｚ_＋の場合、（２）式により画素の視差量Ｓを算出する。
また、上述した（１）式及び（２）式は、データベース６に予め書き込まれて記憶されている。したがって、視差量算出部１２０は、データベース６から（１）式及び（２）式を読み出して、視差量の算出を行う。

図３は、２次元画像及びこの２次元画像の奥行き画像から視差量を求める処理を説明する図である。
図３（ａ）は、立体視画像における２次元画像３００を示している。２次元画像３００は、各画素の階調度を示す画像データである。図３（ａ）において、オブジェクト３０１は、注視オブジェクトの画素の階調度を示している。また、オブジェクト３０２は、妨害オブジェクトの画素の階調度を示している。

図３（ｂ）は、立体視画像における２次元画像の各画素の深度分布を示す奥行き画像３１０を示している。奥行き画像３１０は、各画素の深度を階調度で示す画像データである。例えば、画素の深度は、飛び出し量Ｚ₋と引っ込み量Ｚ_＋とを階調度０から階調度２５６の範囲内で対応付けて示しており、上述した（１）式及び（２）式による視差量Ｓの算出に用いられる。図３（ｂ）において、オブジェクト３１１は、注視オブジェクトの深度の階調度を示している。また、オブジェクト３１２は、妨害オブジェクトの画素毎の深度の階調度を示している。

図３（ｃ）は、（１）式及び（２）の各々を用いて画素毎に得られた、左眼及び右眼での観察における視差量Ｓを示す視差量分布画像３２０を示している。視差量分布画像３２０は、各画素の視差量を階調度で示す画像データである。図３（ｃ）において、オブジェクト３２１は、注視オブジェクトの視差量Ｓの階調度を示している。また、オブジェクト３２２は、妨害オブジェクトの画素毎の視差量Ｓの階調度を示している。

図１に戻り、視差量算出部１２０は、例えば、立体視画像が奥行き画像を持たない左眼用画像と右眼用画像とである場合、左眼用画像と右眼用画像との間でステレオマッチングによる対応点検出を行なって、立体視画像における画素単位の視差量Ｓを算出する。

図４は、２次元画像である左眼用画像と右眼用画像とから視差量を求める処理を説明する図である。
図４（ａ）は、右眼用画像４００を示している。右眼用画像４００は、各画素の階調度を示す画像データである。図４（ａ）において、オブジェクト４０１は、右眼用画像４００における注視オブジェクトの画素の階調度を示している。また、オブジェクト４０２は、右眼用画像４００における妨害オブジェクトの画素の階調度を示している。

図４（ｂ）は、左眼用画像４１０を示している。左眼用画像４１０は、各画素の階調度を示す画像データである。図４（ｂ）において、オブジェクト４１１は、左眼用画像４１０における注視オブジェクトの画素の階調度を示している。また、オブジェクト４０２は、左眼用画像４１０における妨害オブジェクトの画素毎の階調度を示している。

図４（ｃ）は、左眼用画像と右眼用画像との間でステレオマッチングによる対応点検出を行なって得られた、左眼及び右眼での観察における視差量Ｓを示す視差量分布画像４２０を示している。視差量分布画像４２０は、図３（ｃ）と同様に、各画素の視差量を階調度で示す画像データである。図４（ｃ）において、オブジェク４２１は、注視オブジェクトの視差量Ｓの階調度を示している。また、オブジェクト３４２は、妨害オブジェクトの画素毎の視差量Ｓの階調度を示している。

図１に戻り、画像特徴量調整値算出部３は、視差量算出部１２０の求めた視差量の大きさに基づいて、画像特徴量の調整に用いる調整値を求める。画像特徴量の調整値は、透明度（あるいは不透明度）係数、明度係数、鮮鋭度係数のいずれか、あるいは組み合わせである。

一般に、図３あるいは図４などにおいて、観察者が注視オブジェクトを観察する際、妨害オブジェクトが注視オブジェクトの前面にある場合、妨害オブジェクトの立体視における形状（特に、スクリーンから監視者側に飛び出した形状）が原因となり、妨害オブジェクトに対して注意が向けられて、観察者が注視オブジェクトを見辛く感じる。ここで、妨害オブジェクトと妨害オブジェクトの背景とのコントラストが小さいほど、注視オブジェクトの見辛さが軽減されることが従来からわかっている。

このため、本実施形態においては、上述したような観察者（人間）の視覚特性に基づいて、妨害オブジェクトと当該背景にある注視オブジェクトを含むオブジェクトとのコントラストが小さくなるように、コントラストを変更させる画像特徴量を調整する。この画像特徴量は、すでに説明したように、妨害オブジェクトの不透明度（あるいは透明度）、妨害オブジェクトの明度、妨害オブジェクトの鮮鋭度である。

画像特徴調整値算出部３は、不透明度（あるいは明度または鮮鋭度）を調整する、不透明度係数（あるいは明度係数または鮮鋭度係数）を、画素毎に算出する。不透明度係数、明度係数及び鮮鋭度係数は、画像特徴量である不透明度、明度、鮮鋭度の各々を調整するための画像特徴量調整値である。
この算出した係数により、それぞれ対応する画像特徴量を画素毎に調整することにより、妨害オブジェクトに対する監視者の注目を低減させ、注視オブジェクトに対する見辛さを軽減することができる。本実施形態においては、視差量の範囲として視差量「−１」から「−２．０」まで、−０．１単位で視差量を変化させ、視差量の変化毎に見辛さが視差量が「−１」と同程度に低減できる不透明度係数を、複数の観察者に関させて、観察者が認識する見辛さの程度を集計する実験により求めている。ここで、視差量の範囲における視差量「−１」は、背景技術で説明した視差量閾値と同等である。

図５は、視差量と不透明度係数との対応関係を示すグラフの一例である。図５において、縦軸が不透明度係数を示し、横軸が視差量を示している。不透明度係数は、不透明度に乗ずる係数であり、視差量が「−１」の場合には不動明度係数が「１」であり、不透明度はそのままの数値である。しかしながら、視差量が「−２」以上の場合には不動明度係数が「０」となり、不透明度は「０」となり、完全に透明となる。

すなわち、負の視差量の絶対値が増加するに従い、妨害オブジェクトの透明度が上がり、妨害オブジェクトと、注視オブジェクトを含む背景のオブジェクトとのコントラストを相対的に低下させることになる。
妨害オブジェクトの視差量が「−（負）」である場合、スクリーン２４０から妨害オブジェクトが観察者側に飛び出した状態で、観察者に観察されていることになる。

ここで、視差量の単位は視差角を用いているが、視差量を表す単位は、画素数、表示面上の長さ、表示サイズにおける表示面上の長さの割合、など一般的に視差量として用いられるいかなる単位でも良い。
この不透明度係数は、妨害オブジェクトにおける画素毎に求められ、画素毎の不動明度が調整されることになる。

図５における視差量の範囲は、複数の観察者に対し、妨害オブジェクトの視差量を変化させつつ、注視オブジェクトと妨害オブジェクトとを観察させて求めている。すなわち、注視オブジェクトの前面における妨害オブジェクトの存在により、注視オブジェクトが見辛いと感じ始める視差量（−１．０度）から、注視オブジェクトが全く見えなくなる視差量（−２．０）の範囲が決められている。

図１に戻り、データベース６には、図５に示すグラフにおける視差量と不透明度係数との対応関係を示す実験式、あるいは実験式から求めた視差量と不透明度係数との対応関係を示すテーブルが予め書き込まれて記憶されている。

画像特徴調整値算出部３は、データベース６に視差量と不透明度係数との対応関係を示す実験式が記憶されている場合、データベース６から実験式を読み出し、視差量を実験式に代入して、不透明度係数を算出する。
一方、画像特徴調整値算出部３は、データベース６に視差量と不透明度係数との対応関係を示すテーブルが記憶されている場合、データベース６のテーブルから、視差量に対応して記憶されている不透明度係数を読み出すことにより、不透明度係数を算出する。

画像特徴量調整部４は、画像特徴調整値算出部３が求めた係数により、対応する画像特徴量を調整する。以下、不透明度係数によりコントラストを調整する処理について説明する。画像特徴量調整部４は、画像特徴調整値算出部３が画素毎に求めた不透明度係数を、妨害オブジェクトの対応する画素各々の不透明度に対して乗算し、妨害オブジェクトにおける画素毎の不透明度を調整する。

ここで、画像特徴量調整部４は、以下の（３）式により、画素の不透明度の調整の演算を行い、補正した不透明度を求める。
Ａ’＝ｒ×Ａ …（３）
上記（３）式において、Ａは補正前の不透明度であり、Ａ’が補正後の不透明度であり、ｒが不透明度係数である。すなわち、画像特徴量調整部４は、画素の不透明度Ａに対して、この画素に対応して求めた不透明度係数ｒを乗算することで、補正後の透明度Ａ’を求めている。

上述した例においては、妨害オブジェクトにおける画素の不透明度を、不透明度係数により調整することで、妨害オブジェクトと、この妨害オブジェクトの背景とのコントラストを低下させる処理を説明した。すなわち、コントラストを制御する画像特徴量を不透明度している。
また、他の例として、コントラストを制御する画像特徴量を明度としても良い。図５における視差量と不透明度係数との関係と同様に、視差量と明度係数との対応関係を示すテーブルを生成する。

すなわち、視差量の範囲として視差量「−１」から「−２．０」まで、−０．１単位で視差量を変化させ、視差量の変化毎に見辛さが視差量が「−１」と同程度に低減できる明度係数を、複数の観察者に関させて、観察者が認識する見辛さの程度を集計する実験により求める。この視差量の範囲は、不透明度係数の算出により説明した方法と同様に求められている。

明度係数は、例えば、明度（すなわち、階調度）に乗ずる係数であり、視差量が「−１」の場合には明度係数が「１」であり、明度はそのままの数値である。しかしながら、視差量が「−２」以上の場合には明度係数が「０」となり、明度（階調度）は「０」となり、完全に黒色となる。すなわち、負の視差量の絶対値が増加するに従い、明度が低下して、妨害オブジェクトと、注視オブジェクトを含む背景のオブジェクトとのコントラストを低下させることになる。

また、他の例として、コントラストを制御する画像特徴量を鮮鋭度としても良い。図５における視差量と不透明度係数との関係と同様に、視差量とこの視差量に対応する鮮鋭度係数との対応関係を示すテーブルを生成する。すなわち、視差量の範囲として視差量「−１」から「−２．０」まで、−０．１単位で視差量を変化させ、視差量の変化毎に見辛さが視差量が「−１」と同程度に低減できる鮮鋭度係数を、実験により求める。この視差量の範囲は、不透明度係数の算出により説明した方法と同様に求められている。

鮮鋭度係数は、例えば、妨害オブジェクトと妨害オブジェクトの背景との境界ラインから、この境界ラインの接線に対して垂直方向に配列した、妨害オブジェクト側及び背景側各々の画素数である。鮮鋭度の補正は、画素毎に、鮮鋭度係数として設定されている画素数単位で、階調度の平均化を行い、鮮鋭度を低下させて、コントラストを低減することになる。

したがって、視差量が「−１」の場合には鮮鋭度係数が「０」であり、鮮鋭度はそのままの数値である。しかしながら、視差量が「−２」以上の場合には、例えば鮮鋭度係数が「１０」となり、妨害オブジェクトと妨害オブジェクトの背景との境界ラインから、各々１０画素ずつ、すなわち２０画素の階調度が平均化され、妨害オブジェクトと妨害オブジェクトの背景との境界はぼやけ、鮮鋭度が低下する。すなわち、負の視差量の絶対値が増加するに従い、鮮鋭度が低下して、妨害オブジェクトと、注視オブジェクトを含む背景のオブジェクトとのコントラストを低下させることになる。

立体視画像出力部５は、画像特徴量調整部４が、所定のオブジェクトの画像特徴量を調整した、例えば妨害オブジェクトの不透明度を調整した立体視画像を出力する。

図６は、本発明の一実施形態における画像処理装置により補正された、立体視画像における右眼用画像と左眼用画像を示す図である。図６（ａ）は、外部装置から入力された立体視画像における２次元画像６００である。この図６（ａ）において、オブジェクト６４０は注視オブジェクトを示し、オブジェクト６５０は妨害オブジェクトを示している。
図６（ｂ）は、立体視画像の深度分布を示す奥行き画像から求めた視差量分布画像６１０である。オブジェクト６４５は、注視オブジェクトの視差量を階調度で示す画像データである。オブジェクト６６０は、妨害オブジェクトの視差量を階調度で示す画像データである。

図６（ｃ）は、立体視画像出力部５が出力する、不透明度が補正された左眼用画像６３０である。この図６（ｃ）において、オブジェクト６９０は注視オブジェクトであり、オブジェクト６８０は妨害オブジェクトである。オブジェクト６８０は、不透明度が低下して透明に近くなっている。
図６（ｄ）は、立体視画像出力部５が出力する、不透明度が補正された右眼用画像６２０である。この図６（ｄ）において、オブジェクト７００は注視オブジェクトであり、オブジェクト６７０は妨害オブジェクトである。オブジェクト６７０は、不透明度が低下して透明に近くなっている。

次に、図１及び図７を用いて本実施形態による画像処理装置において、妨害オブジェクトの不透明度を低下させ、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる処理の動作を説明する。図７は、妨害オブジェクトの不透明度を低下させ、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる処理の動作例を示すフローチャートである。

ステップＳ１：
立体視画像入力部１は、外部装置から立体視画像が供給され、供給された立体視画像を視差量算出部２に対して出力する。
また、立体視画像入力部１は、供給された立体視画像をデータベース６に書き込んで記憶させる。

ステップＳ２：
視差量算出部２は、立体視画像入力部１から立体視画像が供給されると、立体視画像における視差量分布画像を生成する。
例えば、立体視画像が２次元画像とこの２次元画像の奥行き画像とである場合、視差量算出部２は、データベース６から（１）式及び（２）式を読み出す。
そして、視差量算出部２は、画素毎に深度が飛び出し量Ｚ₋あるいは引っ込み量Ｚ_＋のいずれであるかの判定を行い、飛び出し量Ｚ₋の場合に（１）式を用い、引っ込み量Ｚ_＋の場合に（２）式を用い、画素毎に視差量Ｓを算出する。

ステップＳ３：
画像特徴調整値算出部３は、データベース６から視差量Ｓに対して設定されている調整閾値を読み出す。
そして、画像特徴調整値算出部３は、妨害オブジェクトの視差量Ｓが調整閾値を超えているか否かの判定を行う。この調整閾値は、すでに説明した図５の視差量の範囲における「−１」、つまり視差量の範囲の下限値（視差量の絶対値において）である視差量閾値である。

このとき、画像特徴調整値算出部３は、妨害オブジェクトの画素毎の視差量Ｓが調整閾値を超えているか否かの判定を行う。
画像特徴調整値算出部３は、妨害オブジェクトにおいて、視差量Ｓが調整閾値を超えている画素が検出された場合、処理をステップＳ４に進める。一方、画像特徴調整値算出部３は、妨害オブジェクトにおいて、視差量Ｓが調整閾値を超えている画素が検出されない場合、処理を終了する。

このとき、画像特徴量調整値算出部３は、妨害オブジェクト内の画素の視差量Ｓが調整閾値を超えていると判定した場合、調整閾値を超えたと判定した画素の視差量Ｓと、この画素の位置情報とを対応させ、検出される毎に、データベース６に順次書き込んで記憶させる。
そして、画像特徴量調整値算出部３は、妨害オブジェクト内の画素全てに対して、視差量Ｓと調整閾値との比較が終了した時点で、処理をステップＳ４へ進める。

このとき、立体視画像入力部１は、妨害オブジェクトとして付加された識別情報を、各オブジェクトを描画する際に外部装置（不図示）から受け取り、オブジェクトが妨害オブジェクトか否かの判定を行う。この識別情報は、妨害オブジェクトであるか否かを示す情報であり、監視者がオブジェクト単位のメタデータとして、妨害オブジェクトに対して予め付与している。
もしくは、妨害オブジェクトの設定は、監視者がスクリーン２４０の画面上で表示されている立体視画像におけるオブジェクトを選択して行ってもよい。この場合、立体視画像入力部１は、監視者に選択された画像の座標が含まれる領域において輪郭抽出を行い、抽出された輪郭内の画素群を妨害オブジェクトとして認識する。
そして、立体視画像入力部１は、抽出した妨害オブジェクトの位置情報を、画像特徴調整値算出部３へ出力する。
これにより、画像特徴調整値算出部３は、立体視画像入力部１から供給される妨害オブジェクトの位置情報により、すでに述べたように、妨害オブジェクト内の画素の視差量Ｓが調整閾値を超えているか否かの判定を、妨害オブジェクト内の画素毎に順次行う。

また、妨害オブジェクトの設定は、立体視画像入力部１がスクリーン２４０の画面上で表示されている立体視画像において、最も観察者側に飛び出したオブジェクトを選択するように構成しても良い。立体視画像入力部１は、最も観察者側に飛び出した画素の座標が含まれる領域の輪郭抽出を行い、抽出された輪郭内の画素群を妨害オブジェクトとして認識する。

そして、立体視画像入力部１は、抽出した妨害オブジェクトの位置情報を、画像特徴調整値算出部３へ出力する。
これにより、画像特徴調整値算出部３は、立体視画像入力部１から供給される妨害オブジェクトの位置情報により、すでに述べたように、妨害オブジェクト内の画素の視差量Ｓが調整閾値を超えているか否かの判定を行う。

ステップＳ４：
画像特徴調整値算出部３は、データベース６から視差量Ｓと画像特徴量の一つである不透明度係数との対応を示す実験式を読み出す。
そして、画像特徴調整値算出部３は、データベース６に記憶されている、調整閾値を超えたと判定した画素の視差量Ｓと、この画素の位置情報とを読み出す。

画像特徴調整値算出部３は、画素の視差量Ｓを読み出した実験式に代入して、この画素の不透明度に乗算する不透明度係数を算出する。
画像特徴調整値算出部３は、調整閾値を超えたと判定した画素の視差量Ｓをデータベース６から順次読み出し、この画素の不透明度係数を算出して、調整閾値を超えたと判定した画素毎に対応させて、算出した不透明度係数をデータベース６に対して書き込んで記憶させる。

ステップＳ５：
次に、画像特徴量調整部４は、調整閾値を超えたと判定した画素の不透明度を、この画素の位置情報に対応させて、データベース６に記憶されている立体視画像における画像特徴量から読み出す。
また、画像特徴量調整部４は、不透明度を読み出した画素の不透明度係数を、この画素の位置情報に対応させて、データベース６から読み出す。

そして、画像特徴量調整部４は、（３）式に示すように、画素の不透明度に対し、不透明度係数を乗算し、補正した不透明度を算出する。
画像特徴量調整部４は、データベース６において、対応する画素の不透明度に対して、補正した不透明度を上書きすることにより、不透明度の変更を行う。上述した不透明度を補正する処理を、データベース６に記憶されている、調整閾値を超えたと判定した画素の全てに対して行う。

次に、立体視画像出力部５は、データベース６に記憶されている補正後の立体視画像を外部装置に対して出力し、図７に示すフローチャートに示す、立体視画像に対するコントラスト調整の処理を終了する。

上述した本実施形態によれば、注視オブジェクトの前に妨害オブジェクトが配置している状態において、妨害オブジェクトの画像特徴量である不透明度を調整することにより、注視オブジェクトと妨害オブジェクトとのコントラストを視差量に応じて低下させることが可能となり、監視者の注視オブジェクトの見辛さを低減させることができる。
すなわち、本実施形態によれば、妨害オブジェクトの視差量に応じて、コントラストを低下させることにより、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの監視者に対する注目度を低下させて、注視対象オブジェクトの見辛さを軽減する。

また、本実施形態においては、注視オブジェクトと妨害オブジェクトとのコントラストを低下させるため、制御する画像特徴量を不透明度としている。
しかしながら、他に明度あるいは鮮鋭度といった画像特徴量を制御し、注視オブジェクトと妨害オブジェクトとのコントラストを低下させる構成としても良い。

この構成により、すでに述べた実施形態と同様に、注視オブジェクトの前に妨害オブジェクトが配置している状態において、注視オブジェクトと妨害オブジェクトとのコントラストを視差量に応じて低下させることが可能となり、監視者の注視オブジェクトの見辛さを低減させることができる。すなわち、すでに述べた実施形態と同様に、妨害オブジェクトの視差量に応じて、コントラストを低下させることにより、妨害オブジェクトの立体感に関する違和感を軽減しながら、妨害オブジェクトの監視者に対する注目度を低下させて、注視対象オブジェクトの見辛さを軽減する。

また、図１における立体視画像処理装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより立体視画像の描画処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイルであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…立体視画像入力部
２…視差量算出部
３…画像特徴量調整値算出部
４…画像特徴量調整部
５…立体視画像出力部
６…データベース

Claims (6)

1. 入力される立体視画像における視差量を算出する視差量算出部と、
   前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出部と
   を備えることを特徴とする立体視画像処理装置。
2. 前記対象オブジェクトの前記画像特徴量を前記画像特徴量調整値に対応して調整し、当該対象オブジェクトと他のオブジェクトとのコントラストが補正された立体視画像を生成する画像特徴量調整部をさらに備える
   ことを特徴とする請求項１に記載の立体視画像処理装置。
3. 前記画像特徴量は、オブジェクトの不透明度、透明度、明度、鮮鋭度を含む特徴量のいずれか一つ、あるいはその組合せであることを特徴とする請求項１または請求項２に記載の立体視画像処理装置。
4. 前記対象オブジェクトが、他のオブジェクトを観察するユーザの注意力を分散させる妨害オブジェクトであり、
   前記画像特徴量調整値算出部が、
   前記対象オブジェクトと他のオブジェクトとのコントラストを低下させ、当該対象オブジェクトへのユーザの注目を低下させる前記画像特徴量調整値を算出する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の立体視画像処理装置。
5. 視差量算出部が、入力される立体視画像における視差量を算出する視差量算出過程と、
   画像特徴量調整値算出部が、前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出過程と
   を含むことを特徴とする立体視画像処理方法。
6. 立体視画像処理をコンピュータに実行させるプログラムであって、
   前記コンピュータを、
   入力される立体視画像における視差量を算出する視差量算出手段、
   前記視差量に基づいて、前記立体視画像内の任意の対象オブジェクトと他のオブジェクトとのコントラストを変化させるため、当該対象オブジェクトの画像特徴量を調整する画像特徴量調整値を算出する画像特徴量調整値算出手段
   として機能させるためのプログラム。

Images