JP2012044383A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】立体表示に適さない画像をより精度よく検出できるようにする。
【解決手段】視差分布特徴量生成部２２と視差両方向特徴量生成部２３は、立体表示用の入力画像の視差の検出結果に基づいて、視差の分布を示す視差分布特徴量、および視差の検出の確からしさを示す視差両方向特徴量を生成する。平坦度特徴量生成部２４と輝度差特徴量生成部２５は、入力画像に基づいて、入力画像の各領域の平坦さの度合いを示す平坦度特徴量、および入力画像の各領域の輝度差を示す輝度差特徴量を生成する。判定部２６は、各特徴量が所定の条件を満たすか否かを判定することで、入力画像が立体表示に適した画像であるか否かを判定する。本発明は、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、立体表示に適さない画像を精度よく検出できるようにした画像処理装置および方法、並びにプログラムに関する。

従来、互いに視差を有する一対の画像を用いて立体画像を表示する技術が知られている。立体画像の表示は、左眼用の画像がユーザの左眼で観察され、右眼用の画像がユーザの右眼で観察されるように行なわれる。

ところで、立体画像を表示する場合に、左眼用と右眼用の画像上の被写体の視差が大き過ぎると、表示された立体画像が非常に見づらくなり、視聴しているユーザの眼が疲れてしまうことがある。そこで、立体画像が見づらい場合に、立体画像の視差調整を行なって、立体画像をより見易い画像に変換する技術が提案されている（例えば、特許文献１参照）。

特開２０１０−６２７６７号公報

しかしながら、立体表示に適しているとはいえない画像のなかには、例えば左眼用と右眼用の画像のそれぞれに全く異なる被写体がある場合など、視差調整だけでは対応できないものもあり、全ての立体画像をユーザが視聴し易い画像に変換することは困難であった。そのため、適宜、立体表示用の画像のなかから、立体表示に適したものだけを抽出して表示したりするために、立体表示に適さない画像を検出する技術が求められている。

本発明は、このような状況に鑑みてなされたものであり、立体表示に適さない画像を精度よく検出することができるようにするものである。

本発明の一側面の画像処理装置は、左眼入力画像と右眼入力画像とからなる立体表示用の入力画像に基づいて、前記左眼入力画像と前記右眼入力画像の視差を検出する視差検出手段と、前記視差の検出結果を用いて、所定の特徴量を生成する第１の特徴量生成手段と、前記特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定する判定手段とを備える。

前記第１の特徴量生成手段には、前記入力画像の各領域における前記視差の検出の確からしさを示す視差両方向特徴量を前記特徴量として生成させることができる。

画像処理装置には、前記入力画像に基づいて、前記入力画像の各領域の画素の画素値の平坦さの度合いを示す平坦度特徴量を生成する第２の特徴量生成手段をさらに設け、前記判定手段には、前記視差両方向特徴量および前記平坦度特徴量が所定の条件を満たすか否かを判定させることで、前記入力画像が立体表示に適した画像であるか否かを判定させることができる。

前記判定手段には、前記入力画像の領域ごとに、前記視差両方向特徴量および前記平坦度特徴量が所定の条件を満たすか否かを判定させ、前記領域ごとの判定結果に基づいて、前記入力画像が立体表示に適した画像であるか否かを判定させることができる。

画像処理装置には、前記左眼入力画像と前記右眼入力画像の各領域における輝度値の差を示す輝度差特徴量を生成する第２の特徴量生成手段をさらに設け、前記判定手段には、前記視差両方向特徴量および前記輝度差特徴量が所定の条件を満たすか否かを判定させることで、前記入力画像が立体表示に適した画像であるか否かを判定させることができる。

前記視差検出手段には、前記左眼入力画像の各画素の前記右眼入力画像との視差を示す左眼視差マップと、前記右眼入力画像の各画素の前記左眼入力画像との視差を示す右眼視差マップとを前記視差の検出結果として生成させ、前記第１の特徴量生成手段には、前記左眼視差マップと前記右眼視差マップのうちの一方のマップ上の画素を注目画素として、前記注目画素の位置と前記注目画素により示される視差により特定される、前記注目画素に対応する他方のマップの画素を特定画素として特定させるとともに、前記特定画素の位置と前記特定画素により示される視差により特定される、前記特定画素に対応する前記一方のマップの画素が、前記注目画素と一致するか否かを判定させ、その判定結果に基づいて前記視差両方向特徴量を生成させることができる。

画像処理装置には、前記視差の検出結果を用いて、前記入力画像における各被写体の視差の分布を示す視差分布特徴量を生成する第２の特徴量生成手段をさらに設け、前記判定手段には、前記視差分布特徴量に基づいて、前記入力画像の視差のレンジが予め定めた視差の範囲内にあるか否かを判定させることで、前記入力画像が立体表示に適しているか否かをさらに判定させ、前記視差分布特徴量に基づく判定結果と、前記視差両方向特徴量に基づく判定結果とを用いて、前記入力画像が立体表示に適した画像であるか否かの最終的な判定を行なわせることができる。

本発明の一側面の画像処理方法またはプログラムは、左眼入力画像と右眼入力画像とからなる立体表示用の入力画像に基づいて、前記左眼入力画像と前記右眼入力画像の視差を検出し、前記視差の検出結果を用いて、所定の特徴量を生成し、前記特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定するステップを含む。

本発明の一側面においては、左眼入力画像と右眼入力画像とからなる立体表示用の入力画像に基づいて、前記左眼入力画像と前記右眼入力画像の視差が検出され、前記視差の検出結果が用いられて、所定の特徴量が生成され、前記特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かが判定される。

本発明の一側面によれば、立体表示に適さない画像を精度よく検出することができる。

本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。 立体表示処理を説明するフローチャートである。 視差両方向特徴量の生成について説明する図である。 平坦度特徴量の生成について説明する図である。 立体表示に適した視差の範囲について説明する図である。 立体表示処理を説明するフローチャートである。 立体表示処理を説明するフローチャートである。 立体表示処理を説明するフローチャートである。 立体表示処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［画像処理装置の構成］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。

この画像処理装置１１は、外部から入力された立体表示用の入力画像が立体表示に適した画像であるか否かを判定し、その判定結果に応じて、入力画像をそのまま表示したり、ユーザにアラート（警告）を発したりするものである。

具体的には、画像処理装置１１では、左眼用と右眼用の画像が全く異なる入力画像、左眼用や右眼用の画像に、撮影者の指や強い光が入ってしまった入力画像、被写体の視差のレンジが広すぎる入力画像などが、立体表示に適さない画像として検出される。

例えば、左眼用と右眼用の画像が全く異なる入力画像とは、視差の検出範囲を超えるほど被写体の視差が大きすぎる画像である。また、左眼用や右眼用の画像に、撮影者の指や強い光が入ってしまった入力画像とは、例えば左眼用と右眼用の一方の画像に撮影者の指などが写っている入力画像や、画像上にフレアが生じ、左眼用と右眼用の画像で大きな輝度差がある入力画像などである。

画像処理装置１１は、入力画像から複数の特徴量を抽出して、それらの特徴量に基づいて左眼用と右眼用の入力画像を比較し、入力画像が立体表示に適しているか否かを判定する。なお、以下、立体表示用の入力画像を構成する一対の画像のうち、ユーザの左眼で観察されるように表示される左眼用の画像を左眼入力画像Ｌとも称し、ユーザの右眼で観察されるように表示される右眼用の画像を右眼入力画像Ｒとも称することとする。

画像処理装置１１は、視差検出部２１、視差分布特徴量生成部２２、視差両方向特徴量生成部２３、平坦度特徴量生成部２４、輝度差特徴量生成部２５、判定部２６、画像処理部２７、および表示部２８から構成される。

視差検出部２１は、入力された入力画像に基づいて、左眼入力画像Ｌと右眼入力画像Ｒの視差を画素ごとに検出し、その検出結果を視差分布特徴量生成部２２、および視差両方向特徴量生成部２３に供給する。

視差分布特徴量生成部２２は、視差検出部２１から供給された視差の検出結果に基づいて、入力画像における各被写体の視差の分布を示す視差分布特徴量を生成し、判定部２６に供給する。視差両方向特徴量生成部２３は、視差検出部２１から供給された視差の検出結果に基づいて、入力画像の各領域における視差検出結果の信頼度を示す視差両方向特徴量を生成し、判定部２６に供給する。

平坦度特徴量生成部２４は、入力された入力画像に基づいて、入力画像における各領域の平坦さの度合いを示す平坦度特徴量を生成し、判定部２６に供給する。ここで、入力画像における平坦さとは、入力画像上の空間方向に対する画素の画素値の変化の少なさをいう。輝度差特徴量生成部２５は、入力された入力画像に基づいて、左眼入力画像Ｌと右眼入力画像Ｒの各領域の輝度差を示す輝度差特徴量を生成し、判定部２６に供給する。

判定部２６は、視差分布特徴量生成部２２、視差両方向特徴量生成部２３、平坦度特徴量生成部２４、および輝度差特徴量生成部２５から供給された、視差分布特徴量、視差両方向特徴量、平坦度特徴量、および輝度差特徴量に基づいて、入力画像が立体表示に適した画像であるか否かを判定する。判定部２６は、入力画像が立体表示に適した画像であるか否かの判定結果を画像処理部２７に供給する。

画像処理部２７は、判定部２６からの判定結果に応じて、入力された入力画像を表示部２８に表示させたり、表示部２８にアラートを表示させたりする。表示部２８は、所定の表示方式に従って、画像処理部２７から供給された画像を立体表示する。

［立体表示処理の説明］
ところで、ユーザが画像処理装置１１を操作して入力画像の再生を指示すると、画像処理装置１１は、立体表示処理を開始して指定された入力画像を立体表示する。以下、図２のフローチャートを参照して、画像処理装置１１による立体表示処理について説明する。

ステップＳ１１において、視差検出部２１は、入力された再生対象の入力画像に基づいて、入力画像の視差検出を行ない、その検出結果を視差分布特徴量生成部２２、および視差両方向特徴量生成部２３に供給する。

例えば、視差検出部２１は左眼入力画像Ｌを基準として、ＤＰ（Dynamic Programing）マッチングにより、左眼入力画像Ｌの各画素の右眼入力画像Ｒとの視差を検出し、その検出結果を示す視差マップを生成する。同様に、視差検出部２１は右眼入力画像Ｒを基準として、ＤＰマッチングにより右眼入力画像Ｒの各画素の左眼入力画像Ｌとの視差を検出し、その検出結果を示す視差マップを生成する。

ステップＳ１２において、視差両方向特徴量生成部２３は、視差検出部２１から供給された視差の検出結果に基づいて視差両方向特徴量を生成し、判定部２６に供給する。

例えば、図３に示すように視差両方向特徴量生成部２３には、左眼入力画像Ｌの各画素の右眼入力画像Ｒとの視差を示す視差マップＤＭＬと、右眼入力画像Ｒの各画素の左眼入力画像Ｌとの視差を示す視差マップＤＭＲが供給される。

なお、図３において、１つの四角形は視差マップ上の１つの画素を表しており、画素内の数字は視差を示している。また、図３では、左眼入力画像Ｌと右眼入力画像Ｒの視差の方向は横方向であるものとし、図中、右方向を正の方向とし、左方向が負の方向であるものとする。

したがって、例えば視差マップＤＭＬ上の画素Ｇ１１内の数値「−１」は、その画素Ｇ１１と同じ位置にある左眼入力画像Ｌの画素から見た、右眼入力画像Ｒの視差が図中、左方向に１画素であることを示している。すなわち、画素Ｇ１１と同じ位置にある左眼入力画像Ｌの画素に表示される被写体は、右眼入力画像Ｒにおいて、視差マップＤＭＲ上の画素Ｇ１２と同じ位置の画素に表示されることを示している。

まず、視差両方向特徴量生成部２３は、これから得ようとする、左眼入力画像Ｌの各画素の右眼入力画像Ｒとの視差の検出の確からしさを示す両方向判定マップＨＭＬの所定の画素を注目画素とする。

そして、視差両方向特徴量生成部２３は、注目画素と同じ位置にある視差マップＤＭＬ上の画素（以下、処理対象画素とも称する）が示す視差に基づいて、その処理対象画素に対応する視差マップＤＭＲ上の画素を特定する。

ここで、処理対象画素に対応する画素とは、視差マップＤＭＲ上において、処理対象画素と同じ位置にある画素から、処理対象画素が示す視差の方向に、その視差の大きさだけ離れた位置にある画素をいう。したがって、例えば、視差マップＤＭＬ上の画素Ｇ１１が処理対象画素であれば、画素Ｇ１１に対応する画素は、視差マップＤＭＲ上において、画素Ｇ１１と同じ位置の画素から、図中、左方向（負の方向）に１画素だけ離れた位置にある画素Ｇ１２となる。

視差両方向特徴量生成部２３は、処理対象画素に対応する視差マップＤＭＲ上の画素を特定すると、特定された画素が示す視差に基づいて、その画素に対応する視差マップＤＭＬ上の画素を特定し、その結果得られた画素が処理対象画素と一致するか否かを判定する。なお、このような判定処理を以下、両方向判定とも称する。

視差両方向特徴量生成部２３は両方向判定を行なうと、その判定結果に基づいて注目画素の画素値を定める。具体的には、両方向判定の結果、特定された視差マップＤＭＬ上の画素が処理対象画素であった場合、注目画素の画素値は「１」とされ、特定された視差マップＤＭＬ上の画素が処理対象画素でなかった場合、注目画素の画素値は「０」とされる。

視差両方向特徴量生成部２３は、両方向判定マップＨＭＬの画素を順次、注目画素として両方向判定を行い、両方向判定マップＨＭＬの各画素の画素値を求めていくことで、両方向判定マップＨＭＬを生成する。

例えば、処理対象画素が画素Ｇ１１である場合、画素Ｇ１１が示す視差は「−１」であるから、画素Ｇ１１に対応する視差マップＤＭＲ上の画素は画素Ｇ１２となる。これに対して、画素Ｇ１２が示す視差は「＋１」であるから、画素Ｇ１２に対応する視差マップＤＭＬ上の画素は画素Ｇ１１となり、画素Ｇ１２に対応する画素は処理対象画素と一致することになる。したがって、処理対象画素が画素Ｇ１１である場合、画素Ｇ１１と同じ位置にある両方向判定マップＨＭＬの画素の画素値は「１」となる。

この場合、画素Ｇ１１と同じ位置の左眼入力画像Ｌ上の画素と、その画素と同じ被写体が表示される右眼入力画像Ｒの画素の位置関係は、画素Ｇ１１に対応する画素Ｇ１２と同じ位置の右眼入力画像Ｒ上の画素と、その画素と同じ被写体が表示される左眼入力画像Ｌの画素の位置関係と等しいことになる。このことは、画素Ｇ１１の視差の検出結果が確からしいことを示しているということができる。

これに対して、処理対象画素が視差マップＤＭＬ上の画素Ｇ１３である場合、画素Ｇ１３が示す視差は「−１」であるから、画素Ｇ１３に対応する視差マップＤＭＲ上の画素は画素Ｇ１４となる。これに対して、画素Ｇ１４が示す視差は「＋２」であるから、画素Ｇ１４に対応する視差マップＤＭＬ上の画素は画素Ｇ１３の図中、右側に隣接する画素となり、画素Ｇ１４に対応する画素は処理対象画素と一致しないことになる。したがって、処理対象画素が画素Ｇ１３である場合、画素Ｇ１３と同じ位置にある両方向判定マップＨＭＬの画素の画素値は「０」となる。この場合、画素Ｇ１１の場合とは反対に、画素Ｇ１３の視差の検出結果は確からしくない、つまり信頼度が低いことを示しているということができる。

このようにして両方向判定マップＨＭＬを生成すると、次に視差両方向特徴量生成部２３は、両方向判定マップＨＭＬの場合と同様の処理を行なって、右眼入力画像Ｒの各画素の左眼入力画像Ｌとの視差の検出の確からしさを示す両方向判定マップＨＭＲを生成する。

そして、両方向判定マップＨＭＬと両方向判定マップＨＭＲが得られると、視差両方向特徴量生成部２３は、これらの両方向判定マップからブロック両方向判定マップを生成する。すなわち、視差両方向特徴量生成部２３は、両方向判定マップＨＭＬと両方向判定マップＨＭＲの論理積を求めることで、これらの両方向判定マップを統合する。

具体的には、両方向判定マップＨＭＬと両方向判定マップＨＭＲの同じ位置の画素の画素値の論理積が求められ、その結果得られた値が、統合後の両方向判定マップにおける、それらの画素と同じ位置にある画素の画素値とされる。換言すれば、両方向判定マップＨＭＬと両方向判定マップＨＭＲの同位置の画素の画素値がともに「１」である場合、統合後の両方向判定マップの画素の画素値は「１」とされ、それ以外の場合には、統合後の両方向判定マップの画素の画素値は「０」とされる。

さらに、視差両方向特徴量生成部２３は、このようにして得られた統合後の両方向判定マップを、いくつかの画素からなるブロックに分割し、各ブロック内の画素の画素値の総和を求め、求めた総和を画素の画素値とするブロック両方向判定マップを生成する。すなわち、ブロック両方向判定マップの各画素の画素値は、その画素に対応する統合後の両方向判定マップ上のブロックに属す全画素の画素値の総和を示している。

このようにして得られたブロック両方向判定マップは、入力画像の各領域における視差検出結果の確からしさの度合いを示している。視差両方向特徴量生成部２３は、ブロック両方向判定マップが生成されると、生成されたブロック両方向判定マップを視差両方向特徴量として判定部２６に供給する。

図２のフローチャートに戻り、ステップＳ１２において視差両方向特徴量が生成されると、処理はステップＳ１３に進む。

ステップＳ１３において、平坦度特徴量生成部２４は、入力された入力画像に基づいて平坦度特徴量を生成し、判定部２６に供給する。

例えば、平坦度特徴量生成部２４は、図４に示すように、入力画像を構成する左眼入力画像Ｌ上の注目する画素を注目画素とし、注目画素を中心とする所定の大きさのブロックを注目ブロックＬｉとする。また、平坦度特徴量生成部２４は、左眼入力画像Ｌ上において、注目ブロックから図中、横方向にｍ画素（但し、図中、右方向を正の方向として、−５≦ｍ≦５）だけ離れた位置にある、注目ブロックと同じ大きさのブロックをブロックＬ（ｉ＋ｍ）とする。そして、平坦度特徴量生成部２４は、注目ブロックＬｉとブロックＬ（ｉ＋ｍ）とのマッチングを行なう。

ここで、注目ブロックＬｉとブロックＬ（ｉ＋ｍ）とのマッチングでは、同じ位置にある画素の画素値の差分絶対値和などが評価値として算出される。すなわち、平坦度特徴量生成部２４は、注目ブロックＬｉを図中、横方向に±５画素だけ移動させながら、移動後のブロックと注目ブロックとの差分絶対値和を評価値として算出していく。なお、図４において、注目ブロックＬｉを移動させていく方向、つまり図中、横方向は、左眼入力画像Ｌと右眼入力画像Ｒとの視差の方向である。

このようにして、各ブロックＬ（ｉ＋ｍ）（但し、−５≦ｍ≦５）とのマッチングを行い、ブロックＬ（ｉ＋ｍ）の評価値が得られると、平坦度特徴量生成部２４は、得られた評価値のなかから、値が小さい順に３つの評価値を選択する。そして、平坦度特徴量生成部２４は、選択した３つの評価値のうちの最大値と最小値の差を求め、評価値のレンジとする。すなわち、各ブロックＬ（ｉ＋ｍ）の評価値のうちの最小のものと３番目に小さいものとの差が、評価値のレンジとして算出される。

平坦度特徴量生成部２４は、左眼入力画像Ｌ上の各画素を順次、注目画素として、各画素について評価値のレンジを求めると、それらの評価値のレンジに対する閾値判定を行なって、平坦度判定マップを生成する。

具体的には、平坦度特徴量生成部２４は、左眼入力画像Ｌ上の所定の画素の評価値のレンジが予め定めた閾値以下である場合、その画素は平坦な画素であるとして、その画素と同じ位置にある平坦度判定マップの画素の画素値を「１」とする。これに対して、平坦度特徴量生成部２４は、左眼入力画像Ｌ上の所定の画素の評価値のレンジが閾値より大きい場合、その画素と同じ位置にある平坦度判定マップの画素の画素値を、平坦でないことを示す値「０」とする。

左眼入力画像Ｌの各画素の評価値は、その画素を中心とする注目ブロックと、その画素近傍のブロックとの差分であるから、それらのブロックの類似の度合いが高いほど、評価値は小さくなる。したがって、評価値のレンジが小さいほど、注目ブロック中心の画素近傍は、平坦な絵柄であるということができる。

このようにして得られた平坦度判定マップの各画素の画素値は、その画素と同じ位置にある左眼入力画像Ｌの画素近傍が平坦であるか否かを示している。なお、注目ブロックとの差分を求める左眼入力画像Ｌ上のブロックの探索範囲を広くすると、繰り返しパターンの絵柄も検出されてしまい、精度よく平坦であるかを判定できなくなってしまうので、ブロックの探索範囲は数画素程度の範囲とされることが望ましい。

次に、平坦度特徴量生成部２４は、得られた平坦度判定マップからブロック平坦度判定マップを生成する。具体的には、平坦度特徴量生成部２４は、平坦度判定マップをいくつかの画素からなるブロックに分割し、各ブロック内の画素の画素値の総和を求め、求めた総和を画素の画素値とするブロック平坦度判定マップを生成する。すなわち、ブロック平坦度判定マップの各画素の画素値は、その画素に対応する平坦度判定マップ上のブロックに属す全画素の画素値の総和を示している。

このようにして得られたブロック平坦度判定マップは、左眼入力画像Ｌの各領域における平坦さの度合いを示している。

さらに、平坦度特徴量生成部２４は、左眼入力画像Ｌのブロック平坦度判定マップを生成する処理と同様の処理を行なって、右眼入力画像Ｒのブロック平坦度判定マップを生成する。そして、平坦度特徴量生成部２４は、左眼入力画像Ｌのブロック平坦度判定マップと、右眼入力画像Ｒのブロック平坦度判定マップとを、平坦度特徴量として判定部２６に供給する。

図２のフローチャートの説明に戻り、平坦度特徴量が生成されると、処理はステップＳ１３からステップＳ１４へと進む。

ステップＳ１４において、輝度差特徴量生成部２５は、入力された入力画像に基づいて輝度差特徴量を生成し、判定部２６に供給する。

具体的には、輝度差特徴量生成部２５は、入力画像を構成する左眼入力画像Ｌと右眼入力画像Ｒの同じ位置にある画素の輝度値の差分絶対値を求め、求めた差分絶対値を画素の画素値とする輝度差マップを生成する。すなわち、輝度差マップの画素の画素値は、その画素と同じ位置にある、左眼入力画像Ｌの画素と右眼入力画像Ｒの画素との輝度値の差分絶対値を示している。

さらに、輝度差特徴量生成部２５は、輝度差マップをいくつかの画素からなるブロックに分割し、各ブロック内の画素の画素値の総和を求め、求めた総和を画素の画素値とするブロック輝度差マップを生成する。すなわち、ブロック輝度差マップの各画素の画素値は、その画素に対応する輝度差マップ上のブロックに属す全画素の画素値の総和を示している。

輝度差特徴量生成部２５は、このようにして得られたブロック輝度差マップを、輝度差特徴量として判定部２６に供給する。なお、輝度差マップ上のブロックに属す画素の画素値の平均値、つまり輝度の差分の平均値がブロック輝度差マップの画素の画素値とされてもよい。

ステップＳ１５において、視差分布特徴量生成部２２は、視差検出部２１から供給された視差の検出結果に基づいて視差分布特徴量を生成し、判定部２６に供給する。

例えば、視差分布特徴量生成部２２は、視差の検出結果として供給された視差マップＤＭＬを用いて、視差マップの画素の画素値のヒストグラムを生成し、視差分布特徴量とする。視差分布特徴量としてのヒストグラムは、入力画像における各被写体の視差の分布を示している。なお、このヒストグラムは、視差マップＤＭＲが用いられて生成されてもよいし、視差マップＤＭＬと視差マップＤＭＲの両方が用いられて生成されてもよい。

ステップＳ１６において、判定部２６は、視差両方向特徴量生成部２３乃至輝度差特徴量生成部２５から供給された、視差両方向特徴量、平坦度特徴量、および輝度差特徴量を用いて、エラー判定マップを生成する。

具体的には、判定部２６は、視差両方向特徴量としてのブロック両方向判定マップ、輝度差特徴量としてのブロック輝度差マップ、並びに平坦度特徴量としての左眼入力画像Ｌのブロック平坦度判定マップ、および右眼入力画像Ｒのブロック平坦度判定マップの同じ位置にある画素を、処理対象画素として選択する。

なお、ブロック両方向判定マップ、ブロック輝度差マップ、およびブロック平坦度判定マップの生成時において、両方向判定マップ、輝度差マップ、および平坦度判定マップは、同じ位置関係で同じ大きさのブロックに分割されるものとする。したがって、処理対象画素とされる各画素の画素値は、各マップの対応するブロックについての平坦度や輝度差等を示す値とされる。

判定部２６は、ブロック両方向判定マップ、ブロック輝度差マップ、およびブロック平坦度判定マップの各処理対象画素が、以下の第１条件、または第２条件の何れかを満足するか否かを判定する。そして、判定部２６は、処理対象画素が第１条件または第２条件の何れかを満たす場合、その処理対象画素に対応する入力画像の領域（ブロック）は、立体表示に適さない領域であるとする。

ここで、第１条件が満たされるとは、次式（１）乃至式（３）が成立することである。

lum_diff(i)＞thl ・・・（１）

flatL(i)＞thfかつflatR(i)＜thf
または
flatL(i)＜thfかつflatR(i)＞thf
・・・（２）

bidir(i)＜thb ・・・（３）

なお、式（１）において、lum_diff(i)は、ブロック輝度差マップの処理対象画素の画素値を示しており、thlは予め定められた閾値を示している。

また、式（２）において、flatL(i)およびflatR(i)は、それぞれ左眼入力画像Ｌおよび右眼入力画像Ｒのブロック平坦度判定マップの処理対象画素の画素値を示しており、thfは予め定められた閾値を示している。

さらに、式（３）において、bidir(i)は、ブロック両方向判定マップの処理対象画素の画素値を示しており、thbは予め定められた閾値を示している。

したがって、第１条件が満たされるとは、ブロック輝度差マップの処理対象画素の画素値が閾値thlより大きく、左眼入力画像Ｌまたは右眼入力画像Ｒの何れか一方のみのブロック平坦度判定マップの処理対象画素の画素値が閾値thfより大きく、ブロック両方向判定マップの処理対象画素の画素値が閾値thbより小さいことである。

ここで、処理対象画素の画素値bidir(i)が閾値thbより小さいとは、処理対象画素に対応する入力画像の領域では、左眼入力画像Ｌから見た右眼入力画像Ｒの視差の検出結果と、右眼入力画像Ｒから見た左眼入力画像Ｌの視差の検出結果とが一致しない画素が多いということである。つまり、処理対象画素に対応する入力画像の領域は、高い視差検出精度が得られない領域である。

したがって、上述した式（１）と式（３）が成立する場合、左眼入力画像Ｌと右眼入力画像Ｒにおける処理対象画素に対応する領域は、互いに異なる明るさで、かつ異なる被写体の画像が含まれている領域である可能性が高い。また、式（２）が成立する場合、処理対象画素に対応する左眼入力画像Ｌまたは右眼入力画像Ｒの何れか一方のみの領域が平坦な領域である。

そのため、第１条件が満たされる場合、処理対象画素に対応する入力画像の領域は、左眼入力画像Ｌと右眼入力画像Ｒが全く異なる画像である領域であるか、または左眼入力画像Ｌと右眼入力画像Ｒの何れか一方のみに撮影者の指や強い光等が写り込んでしまった領域である可能性が高い。つまり、第１条件が満たされる場合、処理対象画素に対応する入力画像の領域は、立体表示に適していない可能性が高い。

また、上述した第２条件が満たされるとは、式（１）および式（３）が成立し、かつ次式（４）が成立することである。

flatL(i)＞thfかつflatR(i)＞thf ・・・（４）

すなわち、第２条件が満たされるとは、ブロック輝度差マップの処理対象画素の画素値が閾値thlより大きく、左眼入力画像Ｌと右眼入力画像Ｒの両方のブロック平坦度判定マップの処理対象画素の画素値が閾値thfより大きく、ブロック両方向判定マップの処理対象画素の画素値が閾値thbより小さいことである。

ここで、両方のブロック平坦度判定マップの処理対象画素の画素値が閾値thfより大きいことは、左眼入力画像Ｌと右眼入力画像Ｒの処理対象画素に対応する領域が、ともに平坦な領域であることを示している。

したがって、第２条件が満たされる場合、処理対象画素に対応する入力画像の領域は、次の何れかである可能性が高い。すなわち、左眼入力画像Ｌと右眼入力画像Ｒが全く異なる画像である領域であるか、または左眼入力画像Ｌと右眼入力画像Ｒの両方に、撮影者の指や強い光等が写り込んでおり、互いに明るさの異なる領域である可能性が高い。これらの領域は、立体表示には適していない。

なお、左眼入力画像Ｌと右眼入力画像Ｒのほぼ同じ位置の領域に、同じ被写体の画像が表示されるが、それらの領域がともに平坦であるため、それらの領域間の視差が検出できない場合がある。この場合、入力画像が立体表示に適さないと判定されるべきではないが、そのような領域では少なくとも式（１）が成立しないため、第１条件も第２条件も満たされず、立体表示に不適切であると判定されることはない。

判定部２６は、ブロック両方向判定マップ、ブロック輝度差マップ、およびブロック平坦度判定マップの画素ごとに、それらの画素が第１条件または第２条件の何れかを満足するか否かの判定を行なう。そして、判定部２６は、それらの画素ごとの判定結果に基づいて、エラー判定マップを生成する。

具体的には、判定部２６は、処理対象画素について、第１条件または第２条件の何れかが満たされる場合、その処理対象画素と同じ位置にあるエラー判定マップの画素の画素値を、立体表示に不適切であることを示す値「１」とする。また、判定部２６は、処理対象画素について、第１条件および第２条件の何れも満たされない場合、その処理対象画素と同じ位置にあるエラー判定マップの画素の画素値を、立体表示に適切であることを示す値「０」とする。このようにして得られたエラー判定マップの画素の画素値は、その画素に対応する入力画像の領域が、立体表示に適しているか否かを示している。

ステップＳ１７において、判定部２６は、生成したエラー判定マップを用いて、入力画像に対するエラー判定を行い、入力画像が全体として立体表示に適した画像であるか否かを判定する。

例えば、判定部２６は、エラー判定マップの各画素の画素値の総和を求め、求められた総和が予め定めた閾値以上である場合、入力画像が立体表示に適していないと判定する。エラー判定マップの画素の画素値は、その画素に対応する入力画像の領域が立体表示に適しているか否かを示しているので、エラー判定マップの各画素の画素値の総和は、入力画像全体における立体表示用の画像としての適切さの度合いを示している。つまり、画素値の総和が大きいほど、入力画像は立体表示には適していないことになる。

ステップＳ１８において、判定部２６は、視差分布特徴量生成部２２から供給された視差分布特徴量に基づいて、入力画像に対するエラー判定を行なう。すなわち、入力画像が立体表示に適した画像であるか否かが判定される。

例えば、判定部２６は、視差分布特徴量として供給されたヒストグラムに基づいて、入力画像における被写体の視差のレンジを求める。ここで、ヒストグラムは、入力画像における視差の範囲をビンとし、各ビンの頻度値を示すものである。つまり入力画像における視差の分布を示すものである。

判定部２６は、ヒストグラムに示される視差の分布から、その分布全体の面積の２％の面積となる両端の裾野部分を除去し、裾野部分が除去された分布における視差の最小値から最大値までの範囲を、入力画像における被写体の視差のレンジとする。

すなわち、入力画像の全画素の集合から、視差が大きい上位２％の視差の画素と、視差が小さい下位２％の視差の画素とが除外され、それらの画素が除外された集合に属する画素の視差の最小値から最大値までの範囲が、視差のレンジとされる。

さらに、判定部２６は、求めた視差のレンジが、予め定めた所定の視差の範囲内であるか否かを判定し、レンジが所定の視差の範囲内である場合、入力画像が立体表示に適した画像であるとする。すなわち、視差のレンジを構成する、視差の最大値と最小値とが、予め定めた所定の視差の範囲内の値である場合、入力画像が立体表示に適した画像であるとされる。

例えば、視差のレンジが所定の視差の範囲を超えてしまう場合、被写体ごとの視差に差がありすぎて、ユーザが入力画像を視聴すると疲れてしまうので、そのような入力画像は、立体表示に適さない画像であるとされる。

なお、予め定めた所定の視差の範囲は、ユーザが入力画像を快適に視聴できる視差の範囲とされ、この視差の範囲は、ユーザから表示部２８の表示画面までの想定視聴距離や、表示部２８の表示画面のサイズなどから予め求めておくことが可能である。

例えば、図５に示すように、入力画像が表示される表示部２８の表示画面ＤＳ１１から図中、横方向に視聴距離Ｌｓだけ離れた位置で、ユーザが入力画像を視聴しているとする。また、ユーザの左右の眼は、それぞれ視点ＶＬと視点ＶＲに位置し、視点ＶＬから視点ＶＲまでの距離、つまりユーザの左右の眼の間隔はｄｅであるとする。

さらに、入力画像上で最も視差が大きい被写体が定位する位置、つまりその立体映像が生じる位置を示す点を点ＴＡとし、その被写体の左眼入力画像Ｌと右眼入力画像Ｒのそれぞれにおける表示位置を点ＨＡＬおよび点ＨＡＲとする。また、視点ＶＬおよび点ＴＡを結ぶ直線と、視点ＶＲおよび点ＴＡを結ぶ直線とがなす角を視差角αｍａｘとする。

同様に、入力画像上で最も視差が小さい被写体が定位する位置を示す点を点ＴＩとし、その被写体の左眼入力画像Ｌと右眼入力画像Ｒのそれぞれにおける表示位置を点ＨＩＬおよび点ＨＩＲとする。また、視点ＶＬおよび点ＴＩを結ぶ直線と、視点ＶＲおよび点ＴＩを結ぶ直線とがなす角を視差角αｍｉｎとする。

さらに以下では、入力画像上の任意の被写体について、その被写体の視差角をαとし、被写体の定位位置から視点ＶＬ（または視点ＶＲ）までの図中、横方向の距離をＬｄとする。例えば、被写体の定位位置が点ＴＡであれば、視差角αはαｍａｘである。

図５に示す視聴条件で、ユーザが表示画面ＤＳ１１上の入力画像を視聴する場合、一般的にユーザが快適に入力画像を視聴するには、以下の式（５）が成立する必要がある。

｜α−β｜≦１°＝（Π／１８０） ・・・（５）

すなわち、入力画像上の各被写体の視差角αが、β−（Π／１８０）≦α≦β＋（Π／１８０）を満足する必要がある。この式（５）から、視差角αｍｉｎがβ−（Π／１８０）であり、視差角αｍａｘがβ＋（Π／１８０）であることが分かる。

また、式（５）が成立するための、ユーザから被写体の定位位置までの距離Ｌｄの範囲は、次のようにして求めることができる。

すなわち、ユーザから被写体の定位位置までの距離Ｌｄは、視差角αとユーザの左右の眼の距離ｄｅとの関係から次式（６）により求まる。

Ｌｄ＝ｄｅ／２ｔａｎ（α／２） ・・・（６）

この式（６）から、次式（７）が成立すれば、ユーザが快適に入力画像を視聴することができることが分かる。

ｄｅ／２ｔａｎ（αｍａｘ／２）≦Ｌｄ≦ｄｅ／２ｔａｎ（αｍｉｎ／２）
・・・（７）

ここで、視差角αｍｉｎ＝β−（Π／１８０）であり、視差角αｍａｘ＝β＋（Π／１８０）である。また、これらの視差角αを求めるのに必要となる見込み角βは、視聴距離Ｌｓとユーザの左右の眼の距離ｄｅとから求まる。すなわち、図５において、視聴距離Ｌｓと見込み角βの関係から次式（８）が成立するので、この式（８）を変形して式（９）とすれば見込み角βが求まる。

（ｄｅ／２）／Ｌｓ＝ｔａｎ（β／２） ・・・（８）

β＝２ｔａｎ^−１（ｄｅ／２Ｌｓ） ・・・（９）

このように、ユーザが快適に入力画像を視聴することができるような、ユーザから被写体の定位位置までの距離Ｌｄが分かれば、この距離Ｌｄから、ユーザが快適に入力画像を視聴することができる被写体の視差の範囲が求まる。

例えば、表示部２８が４６Ｖ型の表示装置であり、視聴距離Ｌｓが1.7mである場合、ユーザから各被写体の定位位置までの距離Ｌｄが0.5mから1.5mの範囲内であれば、ユーザは快適に入力画像を視聴することができる。この距離Ｌｄの範囲を視差に置き換えると−５６画素から５５画素程度の範囲となる。

図２のフローチャートの説明に戻り、ステップＳ１８において、視差分布特徴量に基づいて、入力画像が立体表示に適した画像であるか否かが判定されると、処理はステップＳ１９に進む。

ステップＳ１９において、判定部２６は、ステップＳ１７で行なわれたエラー判定マップを用いた判定の結果と、ステップＳ１８で行なわれた視差分布特徴量に基づく判定の結果とから、入力画像が立体表示に適した画像であるか否かの最終的な判定を行なう。そして判定部２６は、入力画像が立体表示に適した画像であるか否かの最終的な判定結果を、画像処理部２７に供給する。

具体的には、判定部２６は、エラー判定マップを用いた判定の結果と、視差分布特徴量に基づく判定の結果との両方が、立体表示に適した画像である旨の判定結果である場合、入力画像が立体表示に適した画像であると判定する。したがって、エラー判定マップを用いた判定の結果と、視差分布特徴量に基づく判定の結果との少なくとも一方が、立体表示に適した画像でない旨の判定結果である場合、入力画像は立体表示に適した画像でないと判定される。

ステップＳ２０において、画像処理部２７は、判定部２６からの判定結果が、入力画像が立体表示に適した画像である旨の判定結果であるか否かを判定する。

ステップＳ２０において、立体表示に適した画像である旨の判定結果でないと判定された場合、ステップＳ２１において、画像処理部２７は、表示部２８に再生しようとする入力画像は立体表示に適していない旨のアラートを表示させる。

そしてステップＳ２２において、画像処理部２７は、ユーザの指示に応じた表示を行い、立体表示処理は終了する。

例えば、表示部２８にアラートが表示されたときに、ユーザが画像処理装置１１を操作して、入力画像の再生の中止を指示した場合、画像処理部２７は入力画像を表示部２８に表示させない。また、例えばアラートが表示されたときに、ユーザが画像処理装置１１を操作して、入力画像をそのまま表示するように指示した場合、画像処理部２７は、入力された入力画像をそのまま表示部２８に供給し、立体表示させる。

さらに例えば、画像処理部２７が、ユーザの指示に応じて、入力された入力画像を構成する、左眼入力画像Ｌまたは右眼入力画像Ｒの一方のみを表示部２８に供給して、表示させるようにしてもよい。ここで、左眼入力画像Ｌと右眼入力画像Ｒの何れを表示させるかは、例えばブロック平坦度判定マップに基づいて、定められるようにしてもよい。

具体的には、左眼入力画像Ｌのブロック平坦度判定マップの各画素の画素値の総和が、右眼入力画像Ｒのブロック平坦度判定マップの各画素の画素値の総和よりも小さい場合、左眼入力画像Ｌがより平坦でないので、左眼入力画像Ｌが表示部２８に表示される。これは、入力画像を構成する一対の画像のうち、より平坦な方の画像には、撮影者の指などが含まれている可能性が高いので、平坦でない画像の方が、より表示に適しているからである。なお、このような場合、画像処理部２７は、判定部２６から供給されるブロック平坦度判定マップを用いて、左眼入力画像Ｌと右眼入力画像Ｒの何れを表示させるかを決定する。

また、画像処理部２７が、ユーザの指示に応じて、左眼入力画像Ｌまたは右眼入力画像Ｒの一方のみを用いた２Ｄ／３Ｄ変換により、立体表示用の一対の入力画像を生成して表示部２８に供給し、表示させるようにしてもよい。

具体的には、左眼入力画像Ｌまたは右眼入力画像Ｒのうち、より平坦でない方の画像、すなわちブロック平坦度判定マップの各画素の画素値の総和がより小さい画像が選択される。例えば、左眼入力画像Ｌが選択されたとすると、画像処理部２７は、左眼入力画像Ｌを左眼用の画像とするとともに、左眼入力画像Ｌを所定の距離だけシフトさせた画像を、新たな右眼入力画像Ｒとして生成する。そして、画像処理部２７は、左眼入力画像Ｌと新たに生成した右眼入力画像Ｒとからなる入力画像を表示部２８に供給し、立体表示させる。

なお、左眼入力画像Ｌと右眼入力画像Ｒのうち、より表示に適した画像の特定方法の一例として、ブロック平坦度判定マップを用いる場合について説明したが、その他、両方向判定マップＨＭＬと両方向判定マップＨＭＲを用いて、より表示に適した画像を特定するようにしてもよい。

また、左眼入力画像Ｌを基準として生成されたエラー判定マップと、右眼入力画像Ｒを基準として生成されたエラー判定マップとが用いられて、より表示に適した画像が特定されるようにしてもよい。この場合、例えば、左眼入力画像Ｌと右眼入力画像Ｒのうち、エラー判定マップの各画素の画素値の総和がより小さい方の画像が、より表示に適した画像として選択される。

これに対して、ステップＳ２０において、立体表示に適した画像である旨の判定結果であると判定された場合、ステップＳ２３において、画像処理部２７は、入力された入力画像を表示部２８に供給して、立体表示させ、立体表示処理は終了する。

以上のようにして、画像処理装置１１は、入力画像から視差両方向特徴量、平坦度特徴量、輝度差特徴量、および視差分布特徴量を抽出し、それらの特徴量が所定の条件を満たすか否かにより、入力画像が立体表示に適した画像であるかを判定する。このように、入力画像から抽出した特徴量を用いて、入力画像が立体表示に適しているかを判定することで、立体表示に適さない画像を精度よく検出することができる。

また、入力画像が立体表示に適していない場合にはアラートを表示して、ユーザの指示に応じた表示を行なうことで、ユーザが立体表示に適さない映像を視聴する機会を減らし、ユーザの眼の疲労や不快感を軽減させることができる。

〈第２の実施の形態〉
［立体表示処理の説明］
なお、以上においては、特徴量ごとに閾値判定を行うことで、各特徴量が所定の条件を満たすか否かを判定し、その判定結果から入力画像が立体表示に適しているかを判定すると説明したが、各特徴量からなるベクトルを用いて、特徴量が所定の条件を満たすか否かを判定するようにしてもよい。

そのような場合、例えば立体表示に適している画像と、立体表示に適していない画像とが、サンプル画像として複数用意され、それらのサンプル画像が複数のブロックに分割されるとともに、各ブロックの特徴ベクトルが求められる。

ここで、特徴ベクトルとは、サンプル画像について求められた、ブロック両方向判定マップ、ブロック輝度差マップ、左眼入力画像Ｌのブロック平坦度判定マップ、および右眼入力画像Ｒのブロック平坦度判定マップの処理対象のブロックに対応する画素の画素値を並べて得られるベクトルである。つまり、各マップの同じ位置の画素の画素値を要素とする４次元のベクトルである。また、より詳細には、サンプル画像のブロックごとに、そのブロックが立体表示に適しているか否かのラベル付けが予めなされている。

このようにして、複数のサンプル画像の各ブロックの特徴ベクトルが求められると、それらの特徴ベクトルに対してクラスタリングが行なわれる。すなわち、複数の特徴ベクトルが、立体表示に適したブロックの特徴ベクトルからなるクラスタと、立体表示に適さないブロックの特徴ベクトルからなるクラスタとに分けられる。そして、それらの２つのクラスタについて、クラスタに属す特徴ベクトルの代表値が求められる。例えば、代表値は、クラスタに属す特徴ベクトルの重心値などとされる。

判定部２６には、以上のようにして求められた、立体表示に適したブロックの特徴ベクトルからなるクラスタの代表値（以下、正解代表値と称する）と、立体表示に適していないブロックの特徴ベクトルからなるクラスタの代表値（以下、エラー代表値と称する）とが予め記録されている。そして、判定対象の入力画像のブロックの特徴ベクトルが、正解代表値とエラー代表値の何れに近いかにより、立体表示に適しているか否かが判定される。

以上のように、正解代表値とエラー代表値とを用いた判定が行なわれる場合、画像処理装置１１は、図６に示す立体表示処理を行う。以下、図６のフローチャートを参照して、画像処理装置１１による立体表示処理について説明する。

なお、ステップＳ５１乃至ステップＳ５５の処理は、図２のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。

ステップＳ５５の処理が行われると、判定部２６には、視差両方向特徴量、輝度差特徴量、および平坦度特徴量が供給される。換言すれば、ブロック両方向判定マップ、ブロック輝度差マップ、左眼入力画像Ｌのブロック平坦度判定マップ、および右眼入力画像Ｒのブロック平坦度判定マップが供給される。

ステップＳ５６において、判定部２６は、視差両方向特徴量、平坦度特徴量、および輝度差特徴量から得られる特徴ベクトルを用いて、エラー判定マップを生成する。

例えば判定部２６は、ブロック両方向判定マップ、ブロック輝度差マップ、左眼入力画像Ｌのブロック平坦度判定マップ、および右眼入力画像Ｒのブロック平坦度判定マップの同じ位置にある画素を処理対象画素とし、処理対象画素の画素値を並べて特徴ベクトルとする。そして、判定部２６は、予め記録している正解代表値およびエラー代表値のそれぞれと、特徴ベクトルとのユークリッド距離を求める。

さらに、判定部２６は、処理対象画素の特徴ベクトルと正解代表値との距離が、特徴ベクトルとエラー代表値との距離よりも短い場合、その処理対象画素に対応する入力画像の領域は、立体表示に適しているとする。逆に、判定部２６は処理対象画素の特徴ベクトルと正解代表値との距離よりも、特徴ベクトルとエラー代表値との距離が短い場合、その処理対象画素に対応する入力画像の領域は、立体表示に適していないとする。

判定部２６は、ブロック両方向判定マップ、ブロック輝度差マップ、およびブロック平坦度判定マップの画素ごとに、それらの画素に対応する入力画像の領域が、立体表示に適しているか否かの判定を行なう。そして、判定部２６は、それらの画素ごとの判定結果に基づいて、エラー判定マップを生成する。

具体的には、判定部２６は、処理対象画素について、特徴ベクトルがエラー代表値よりも正解代表値との距離がより短い場合、その処理対象画素と同じ位置にあるエラー判定マップの画素の画素値を、立体表示に適切であることを示す値「０」とする。また、判定部２６は、処理対象画素について、特徴ベクトルが正解代表値よりもエラー代表値との距離がより短い場合、その処理対象画素と同じ位置にあるエラー判定マップの画素の画素値を、立体表示に不適切であることを示す値「１」とする。

ステップＳ５７において、判定部２６は、生成したエラー判定マップを用いて、入力画像に対するエラー判定を行い、入力画像が全体として立体表示に適した画像であるか否かを判定する。

例えば、判定部２６は、エラー判定マップの各画素の画素値の総和を求め、求められた総和が予め定めた閾値以上である場合、入力画像が立体表示に適していないと判定する。エラー判定マップの画素の画素値は、その画素に対応する入力画像の領域が立体表示に適しているか否かを示しているので、エラー判定マップの各画素の画素値の総和は、入力画像全体における立体表示用の画像としての適切さの度合いを示している。つまり、画素値の総和が大きいほど、入力画像は立体表示には適していないことになる。

入力画像全体に対するエラー判定が行われると、その後、ステップＳ５８乃至ステップＳ６３の処理が行われて立体表示処理は終了するが、これらの処理は図２のステップＳ１８乃至ステップＳ２３の処理と同様であるので、その説明は省略する。

このようにして、画像処理装置１１は、特徴ベクトルと、正解代表値およびエラー代表値との距離に基づいて、入力画像の各領域が立体表示に適しているか否かを判定する。このように、特徴ベクトルと、正解代表値およびエラー代表値との比較により立体表示に適しているか否かの判定を行なうことで、より簡単かつ迅速に判定処理を行うことができる。

〈変形例１〉
［立体表示処理の説明］
なお、以上においては、入力画像が立体表示に適していない場合にはアラートが表示されると説明したが、アラートが表示されずに、入力画像が視聴に適した画像となるように適宜、信号処理され、その結果得られた画像が表示されるようにしてもよい。

例えば、入力画像が立体表示に適していないと判定された場合、３次元の画像ではなく、２次元の画像が表示されるようにしてもよい。そのような場合、例えば、図７に示す立体表示処理が行われる。

以下、図７のフローチャートを参照して、画像処理装置１１による立体表示処理について説明する。なお、ステップＳ９１乃至ステップＳ１００の処理は、図２のステップＳ１１乃至ステップＳ２０の処理と同様であるので、その説明は省略する。

但し、ステップＳ９９において、判定部２６から画像処理部２７に、立体表示に適した画像でない旨の判定結果が供給される場合には、その判定結果とともにブロック平坦度判定マップも供給されるものとする。

ステップＳ１００において、入力画像が立体表示に適していない画像であると判定された場合、ステップＳ１０１において、画像処理部２７は、入力された入力画像を構成する左眼入力画像Ｌと右眼入力画像Ｒのうちの一方を表示部２８に供給し、２次元表示させる。表示部２８は、画像処理部２７から供給された画像を２次元表示して、立体表示処理は終了する。すなわち、２次元の入力画像が表示部２８に表示される。

例えば、ステップＳ１００において、立体表示に適していないと判定された場合、画像処理部２７は、左眼入力画像Ｌと右眼入力画像Ｒのうち、ブロック平坦度判定マップの各画素の画素値の総和がより小さい画像を、より平坦でない画像として特定する。

そして、画像処理部２７は、入力された左眼入力画像Ｌと右眼入力画像Ｒのうち、より平坦でない方の画像を、表示部２８に供給して表示させる。上述したように、左眼入力画像Ｌと右眼入力画像Ｒのうち、より平坦な方の画像には、撮影者の指などが写り込んでいる可能性があるので、より平坦でない方の画像を表示部２８に表示させたほうが、より見映えのよい画像を提示することができる。

なお、左眼入力画像Ｌと右眼入力画像Ｒのうちの何れを表示させるかは、ブロック平坦度判定マップではなく、両方向判定マップやエラー判定マップが用いられて、選択されるようにしてもよい。

これに対して、ステップＳ１００において、入力画像が立体表示に適していると判定された場合、ステップＳ１０２において、画像処理部２７は、入力された入力画像を表示部２８に供給して立体表示させ、立体表示処理は終了する。

このようにして、画像処理装置１１は、入力画像が立体表示に適していないと判定された場合、入力画像を構成する左眼入力画像Ｌと右眼入力画像Ｒのうちの何れか一方を、２次元表示する。これにより、ユーザに入力画像を提示しつつ、立体表示に適さない画像を表示することにより生じるユーザの眼の疲労を防止することができる。

〈変形例２〉
［立体表示処理の説明］
また、入力画像が立体表示に適していないと判定された場合に、入力画像を構成する左眼入力画像Ｌと右眼入力画像Ｒのうちの一方から、互いに視差を有する一対の画像が生成され、立体表示されるようにしてもよい。そのような場合、図８に示す立体表示処理が行われる。

以下、図８のフローチャートを参照して、画像処理装置１１による立体表示処理について説明する。なお、ステップＳ１３１乃至ステップＳ１４０の処理は、図２のステップＳ１１乃至ステップＳ２０の処理と同様であるので、その説明は省略する。

但し、ステップＳ１３９において、判定部２６から画像処理部２７に、立体表示に適した画像でない旨の判定結果が供給される場合には、その判定結果とともにブロック平坦度判定マップも供給されるものとする。

ステップＳ１４０において、入力画像が立体表示に適していない画像であると判定された場合、ステップＳ１４１において、画像処理部２７は、入力された入力画像を構成する左眼入力画像Ｌと右眼入力画像Ｒのうちの一方を用いて、立体表示用の画像を生成する。

すなわち、画像処理部２７は、左眼入力画像Ｌと右眼入力画像Ｒのうち、ブロック平坦度判定マップの各画素の画素値の総和がより小さい画像を、より平坦でない画像として特定する。そして、画像処理部２７は、入力された左眼入力画像Ｌと右眼入力画像Ｒのうち、より平坦でない方の画像を用いて、互いに視差を有する一対の画像を生成する。

例えば、より平坦でない方の画像が左眼入力画像Ｌであったとすると、画像処理部２７は、左眼入力画像Ｌを左眼用の画像とするとともに、左眼入力画像Ｌを所定方向に所定距離だけシフトさせた画像を、新たな右眼入力画像Ｒとして生成する。そして、画像処理部２７は、左眼入力画像Ｌと新たに生成した右眼入力画像Ｒとからなる入力画像を表示部２８に供給する。

なお、左眼入力画像Ｌと右眼入力画像Ｒのうちのどちらを立体表示用の画像の生成に用いるかは、ブロック平坦度判定マップではなく、両方向判定マップやエラー判定マップが用いられて定められるようにしてもよい。

ステップＳ１４２において、表示部２８は、画像処理部２７から供給された左眼入力画像Ｌと右眼入力画像Ｒに基づいて、入力画像を立体表示し、立体表示処理は終了する。

これに対して、ステップＳ１４０において、入力画像が立体表示に適していると判定された場合、ステップＳ１４３において、画像処理部２７は、入力された入力画像を表示部２８に供給して立体表示させ、立体表示処理は終了する。

このようにして、画像処理装置１１は、入力画像が立体表示に適していないと判定された場合、入力画像を構成する左眼入力画像Ｌと右眼入力画像Ｒのうちの一方を用いて、他方の画像を新たに生成し、得られた一対の画像に基づいて入力画像を立体表示する。これにより、より立体表示に適した画像を表示させることができ、ユーザの眼の疲労を軽減させることができる。

〈変形例３〉
［立体表示処理の説明］
また、入力画像が立体表示に適していないと判定された場合に、適宜、入力画像の視差調整を行い、視差調整後の入力画像を立体表示させるようにしてもよい。そのような場合、図９に示す立体表示処理が行われる。

以下、図９のフローチャートを参照して、画像処理装置１１による立体表示処理について説明する。なお、ステップＳ１７１乃至ステップＳ１８０の処理は、図２のステップＳ１１乃至ステップＳ２０の処理と同様であるので、その説明は省略する。

但し、ステップＳ１７９において、判定部２６から画像処理部２７に、立体表示に適した画像でない旨の判定結果が供給される場合には、その判定結果とともに視差分布特徴量も供給されるものとする。

ステップＳ１８０において、入力画像が立体表示に適していない画像であると判定された場合、ステップＳ１８１において、画像処理部２７は、視差分布特徴量に基づいて、入力画像の視差の補正が可能であるか否かを判定する。

例えば、画像処理部２７は、ステップＳ１７８の処理で得られた入力画像における被写体の視差のレンジが、予め定められた、補正が可能な視差の範囲内であるか否かを判定し、レンジが所定の視差の範囲内である場合、視差の補正が可能であると判定する。ここで、視差の補正が可能な視差の範囲は、ステップＳ１７８において判定に用いられる、立体表示に適した視差の範囲を含む範囲とされる。

ステップＳ１８１において、視差の補正が可能でないと判定された場合、ステップＳ１８２において、表示部２８はエラー表示を行なって立体表示処理は終了する。例えば、画像処理部２７は、入力画像が立体表示できない旨のメッセージを表示部２８に表示させる。

これに対して、ステップＳ１８１において、視差の補正が可能であると判定された場合、ステップＳ１８３において、画像処理部２７は、入力された左眼入力画像Ｌと右眼入力画像Ｒのうちの一方を所定方向に所定距離だけシフトさせて、入力画像の視差を補正する。例えば、視差の補正は、補正後の入力画像の視差のレンジが、予め定めた立体表示に適した視差の範囲内となるように行なわれる。

そして、ステップＳ１８４において、画像処理部２７は、視差が補正された入力画像を表示部２８に供給して立体表示させ、立体表示処理は終了する。

また、ステップＳ１８０において、入力画像が立体表示に適していると判定された場合、ステップＳ１８５において、画像処理部２７は、入力された入力画像を表示部２８に供給して立体表示させ、立体表示処理は終了する。

このようにして、画像処理装置１１は、必要に応じて入力画像の視差を補正し、補正後の入力画像を立体表示する。これにより、より適切な視差の画像を表示させることができ、ユーザの眼の疲労を軽減させることができる。

なお、以上においては、入力画像が静止画像である場合を例として説明したが、入力画像が動画像である場合も、上述した処理と同様の処理により、再生対象の入力画像が立体表示に適しているか否かを判定することができる。

例えば、入力画像が動画像である場合、複数フレームからなる区間ごとに立体表示に適しているか否かの判定を行なうことができる。すなわち、注目する区間の各フレームについて、そのフレームが立体表示に適しているか否かが判定され、所定数以上のフレームが立体表示に適していないと判定された場合に、その区間は立体表示に適していないとされる。例えば、１つのフレームでも立体表示に適していないと判定されれば、区間全体として立体表示に適していないとされてもよいし、半分以上のフレームが立体表示に適していないと判定された場合に、区間全体として立体表示に適していないとされてもよい。

さらに、入力画像が動画像である場合に、動画像を構成する全フレームに対して立体表示に適しているか否かの判定を行い、それらの判定結果に基づいて、最終的に入力画像が立体表示に適しているか否かが判定されてもよい。また、入力画像の最初の数フレームが用いられて、立体表示に適しているか否かが判定されてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 画像処理装置， ２１ 視差検出部， ２２ 視差分布特徴量生成部， ２３ 視差両方向特徴量生成部， ２４ 平坦度特徴量生成部， ２５ 輝度差特徴量生成部， ２６ 判定部， ２７ 画像処理部， ２８ 表示部

Claims (9)

1. 左眼入力画像と右眼入力画像とからなる立体表示用の入力画像に基づいて、前記左眼入力画像と前記右眼入力画像の視差を検出する視差検出手段と、
   前記視差の検出結果を用いて、所定の特徴量を生成する第１の特徴量生成手段と、
   前記特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定する判定手段と
   を備える画像処理装置。
2. 前記第１の特徴量生成手段は、前記入力画像の各領域における前記視差の検出の確からしさを示す視差両方向特徴量を前記特徴量として生成する
   請求項１に記載の画像処理装置。
3. 前記入力画像に基づいて、前記入力画像の各領域の画素の画素値の平坦さの度合いを示す平坦度特徴量を生成する第２の特徴量生成手段をさらに備え、
   前記判定手段は、前記視差両方向特徴量および前記平坦度特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定する
   請求項２に記載の画像処理装置。
4. 前記判定手段は、前記入力画像の領域ごとに、前記視差両方向特徴量および前記平坦度特徴量が所定の条件を満たすか否かを判定し、前記領域ごとの判定結果に基づいて、前記入力画像が立体表示に適した画像であるか否かを判定する
   請求項３に記載の画像処理装置。
5. 前記左眼入力画像と前記右眼入力画像の各領域における輝度値の差を示す輝度差特徴量を生成する第２の特徴量生成手段をさらに備え、
   前記判定手段は、前記視差両方向特徴量および前記輝度差特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定する
   請求項２に記載の画像処理装置。
6. 前記視差検出手段は、前記左眼入力画像の各画素の前記右眼入力画像との視差を示す左眼視差マップと、前記右眼入力画像の各画素の前記左眼入力画像との視差を示す右眼視差マップとを前記視差の検出結果として生成し、
   前記第１の特徴量生成手段は、前記左眼視差マップと前記右眼視差マップのうちの一方のマップ上の画素を注目画素として、前記注目画素の位置と前記注目画素により示される視差により特定される、前記注目画素に対応する他方のマップの画素を特定画素として特定するとともに、前記特定画素の位置と前記特定画素により示される視差により特定される、前記特定画素に対応する前記一方のマップの画素が、前記注目画素と一致するか否かを判定し、その判定結果に基づいて前記視差両方向特徴量を生成する
   請求項２に記載の画像処理装置。
7. 前記視差の検出結果を用いて、前記入力画像における各被写体の視差の分布を示す視差分布特徴量を生成する第２の特徴量生成手段をさらに備え、
   前記判定手段は、前記視差分布特徴量に基づいて、前記入力画像の視差のレンジが予め定めた視差の範囲内にあるか否かを判定することで、前記入力画像が立体表示に適しているか否かをさらに判定し、前記視差分布特徴量に基づく判定結果と、前記視差両方向特徴量に基づく判定結果とを用いて、前記入力画像が立体表示に適した画像であるか否かの最終的な判定を行なう
   請求項２に記載の画像処理装置。
8. 左眼入力画像と右眼入力画像とからなる立体表示用の入力画像に基づいて、前記左眼入力画像と前記右眼入力画像の視差を検出する視差検出手段と、
   前記視差の検出結果を用いて、所定の特徴量を生成する特徴量生成手段と、
   前記特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定する判定手段と
   を備える画像処理装置の画像処理方法であって、
   前記視差検出手段が前記視差を検出し、
   前記特徴量生成手段が前記特徴量を生成し、
   前記判定手段が前記特徴量に基づいて、前記入力画像が立体表示に適した画像であるか否かを判定する
   ステップを含む画像処理方法。
9. 左眼入力画像と右眼入力画像とからなる立体表示用の入力画像に基づいて、前記左眼入力画像と前記右眼入力画像の視差を検出し、
   前記視差の検出結果を用いて、所定の特徴量を生成し、
   前記特徴量が所定の条件を満たすか否かを判定することで、前記入力画像が立体表示に適した画像であるか否かを判定する
   ステップを含む処理をコンピュータに実行させるプログラム。

Images