JP2012138787A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】奥行情報の信頼度に応じた最適な信号処理により立体視可能な画像信号を生成する構成を実現する。
【解決手段】２次元画像に基づいて３次元画像表示に適用する左眼用画像や右眼用画像を生成する構成において、画像信号の領域単位の奥行情報や奥行信頼度情報を入力または生成し、これらの情報に基づいて画像変換の制御を実行する。２次元画像信号を構成する画像領域単位の奥行情報と奥行情報の信頼度を入力または生成し、例えばこれらの情報に基づいて、２Ｄ画像を３Ｄ画像に変換する変換処理態様を変更する。あるいは視差強調信号の適用レベルの制御等を実行する。これらの処理により２次元画像の奥行情報や奥行信頼度に応じた最適な画像変換が可能となる。
【選択図】図１

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行してステレオ視（立体視）に対応した両眼視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する装置および方法について従来から様々な提案がなされている。２次元画像に基づいて生成された両眼視差画像は、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される。これらの左眼用画像と右眼用画像のペアによって構成される両眼視差画像を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

このような画像の生成や表示処理に関して開示した従来技術は、その手法に基づいて例えば以下のようなカテゴリに分類できる。
（Ａ）時間軸方向の複数の２次元画像から３次元画像を生成する手法
（ａ１）時間軸方向に２枚以上の画像を撮像し、その内の２画像で左右ペアの代用とする手法
（ａ２）時間軸方向に２枚以上の画像を撮像し、画像内の物体の動きベクトルを求め、手前の物体ほど見かけの動きが速く、動いた距離が大きい事などを利用し前後関係を推定したりして、背景と主要被写体の分離等を行いレンダリングする手法

（Ｂ）単一の２次元画像から３次元画像を生成する手法
（ｂ１）１枚の画像を左右画像生成のため、所定量だけ水平方向にずらし、画像が浮き上がったように知覚させる手法
（ｂ２）１枚の画像のみから、エッジやカラー、輝度、ヒストグラム等で構図（シーン）解析を行い、奥行きを推定しレンダリングする手法
（ｂ３）１枚の画像のみから、周波数成分やエッジ成分等を用いて左右視差成分を抽出しレンダリングする手法

（Ｃ）２次元画像と奥行情報から３次元画像を生成する手法
（ｃ１）１枚の画像の他に、測拒センサを用いたり、フォーカスの異なる複数の画像から演算したりする方法で奥行情報を取得し、その奥行情報で、２次元画像を主体的に利用して空間幾何学的にレンダリングする手法
（ｃ２）１枚の画像の他に、測拒センサを用いたり、フォーカスの異なる複数の画像から演算したりする方法で奥行情報を取得し、前述の単一の２次元画像から３次元画像を生成する方法を主体として、あくまでも補助的に奥行情報を用いて３次元画像を生成する手法

２次元画像から３次元画像を生成する手法として、従来技術として提案されている手法を文明すると例えば上記のように分類できる。

（ａ１）時間軸方向に２枚以上の画像を撮像し、その内の２画像で左右ペアの代用とする手法
この手法については、例えば、特許文献１（特開平９−１０７５６２号公報）に記載がある。この特許文献１は、水平方向に動きがある動画像に対する画像処理構成を開示している。具体的には左眼用画像または右眼用画像の一方に原画像を出力し、他方にはフィールド単位で遅延させた画像を出力する構成である。このような画像出力制御により、水平に移動する物体を背景よりも手前に知覚させるものである。

（ａ２）時間軸方向に２枚以上の画像を撮像し、画像内の物体の動きベクトルを求め、手前の物体ほど見かけの動きが速く、動いた距離が大きい事などを利用し前後関係を推定したりして、背景と主要被写体の分離等を行いレンダリングする手法
この手法については、例えば、特許文献２（特開２０００−２６１８２８号公報）、特許文献３（特開平９−１６１０７４号公報）、特許文献４（特開平８−３３１６０７号公報）に記載がある。これらの特許文献には、時間軸での複数の画像からブロックマッチング等の手法を用いて奥行きを推定し、左右視差画像を生成する方法を提案している。

（ｂ１）１枚の画像を左右画像生成のため、所定量だけ水平方向にずらし、画像が浮き上がったように知覚させる手法
この手法については、例えば特許文献５（特開平８−３０８０６号公報）に記載がある。この特許文献５は、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。

また、上記項目（ｂ１）と、
（ｂ２）１枚の画像のみから、エッジやカラー、輝度、ヒストグラム等で構図（シーン）解析を行い、奥行きを推定しレンダリングする手法
これらの手法を開示した従来技術として特許文献６（特開平１０−５１８１２号公報）がある。この特許文献６は、画像を複数の視差算出領域に分割し、各領域に おいて画像の特徴量から擬似的な奥行きを算出し、奥行きに基づいて左眼用画像と右眼用 画像を反対方向に水平シフトする方法を提案している。

また、上記項目（ｂ２）の手法については、特許文献７（特開２００５−１５１５３４号公報）にも記載がある。特許文献７は、画像の構造を比較的単純な有限の構造（構図）モデルに当てはめる構成を提案し、不自然な奥行きの発生を抑制する構成を開示している。

さらに、（ｂ３）１枚の画像のみから、周波数成分やエッジ成分等を用いて左右視差成分を抽出しレンダリングする手法については、特許文献８（特開２０１０−６３０８３号公報）に開示されている。特許文献８は、微分信号を原画像に加算、もしくは減算することにより左右視差画像を生成する方法を提案している。

また、（ｃ１）１枚の画像の他に、測拒センサを用いたり、フォーカスの異なる複数の画像から演算したりする方法で奥行情報を取得し、その奥行情報で、２次元画像を主体的に利用して空間幾何学的にレンダリングする手法については特許文献９（特開２００９−２９６２７２号公報）に記載がある。特許文献９は測拒センサを用いて奥行情報を取得し、３次元画像データを取得する方法を提案している。

特開平９−１０７５６２号公報 特開２０００−２６１８２８号公報 特開平９−１６１０７４号公報 特開平８−３３１６０７号公報 特開平８−３０８０６号公報 特開平１０−５１８１２号公報 特開２００５−１５１５３４号公報 特開２０１０−６３０８３号公報 特開２００９−２９６２７２号公報

上述したように、２次元画像から３次元画像を生成する手法として様々な手法が提案されている。しかし、これまでに提案されている手法には例えば以下の問題点がある。

上記の手法（ａ１）は、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。
手法（ａ２）は、静止画や動きの少ない画像に対しては、動きベクトルが求められず、画像中の物体の前後関係を正しく推定できず、正しい視差を付けることができない。

手法（ｂ１）は、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。
手法（ｂ２）は、画像の特徴量から擬似的な奥行きを推定するが、推定は画面前方にある物体の先鋭度が高い、輝度が高い、彩度が高いなどの仮定に基づいており、必ずしも正しい推定が行われるとは限らない。また、１枚の画像から詳細な奥行きを検出することは難しく、構図でない部分、たとえば、樹木の枝や電線、髪の毛のような微細な構造に対する奥行きの推定を行うことは容易ではない。このため、奥行き推定を誤った部分に対しては誤った視差が与えられてしまう。また、有限の構造（構図）では全ての構造（構図）をカバーする事はできないので本質的な解決にはならない。
手法（ｂ３）は、もともと２次元画像内の周波数成分（特に高周波成分）を用いているだけで、実際の奥行とは相関が低い事も多く、画像内に不自然な奥行感を発生させてしまう。

手法（ｃ１）は、現在の技術では画像内の全ての画素毎の正確な奥行（距離）の測定はできず（精度が低く）、その奥行情報を用いた方法では不自然な視差を発生させてしまう。
手法（ｃ２）は、奥行情報を補助的に用いるだけで、手法（ｂ１）〜（ｂ３）と本質的に変わらない。

簡単にまとめると奥行情報を用いない変換方法では、奥行の推定しかできないので、多くのケースで誤りが生じ、高品質な左右視差画像を生成することができないという問題が発生する。

また、現在の技術水準では、測拒センサ等を用いても１画素単位の分解能で正確な奥行情報を取得することは非常に困難であり、その正確でない奥行情報を主体的に用いる幾何学的２Ｄ−３Ｄ変換方法では高品質な左右視差画像を生成することができない。

以上のように、２次元画像のみから左右視差画像を生成する場合も２次元画像から奥行情報を推定して左右視差画像を生成する場合も、測定した奥行情報と２次元画像から幾何学的に左右視差画像を生成する場合も、何らかの技術的課題があり、奥行情報に大きく画像品質が左右され、現在の技術では高品位な立体感を持つ左右視差画像を生成することはできない。

すなわち、誤りを持った奥行情報を用いた左右視差画像生成では、生成する画像の中に、間違った視差量が付加され、あり得ない視差が付いてしまったり、現実と遠近感が狂っている（誤っている）部分が生じ、立体視した時に不自然さや違和感となる。低品位の左右視差画像を用いた立体画像は不自然さを感じて快適に視聴できないばかりか、眼精疲労を生じさせてしまうことが知られている。

本発明は、例えばこれらの問題を解決し、測定または推定された奥行き情報の誤りに起因する誤った立体感の発生を抑制した高品質な左右視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することにある。

本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記２次元画像信号を構成する画像領域単位の奥行情報を入力または生成する奥行情報出力部と、
前記奥行情報出力部の出力する奥行情報の信頼度を入力または生成する奥行情報信頼度出力部と、
前記画像入力部から出力される画像信号と、前記奥行情報出力部の出力する奥行情報と、前記奥行情報信頼度出力部の出力する奥行情報信頼度を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、入力画像信号に対する画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成であり、
前記画像変換に際して、前記奥行情報と前記奥行情報信頼度を変換制御データとして適用した変換処理を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記奥行情報信頼度が予め既定した閾値以上であり信頼度が高いと判定した場合は、前記奥行情報を主体的に適用した画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記奥行情報信頼度が予め既定した閾値未満であり信頼度が低いと判定した場合は、前記奥行情報を利用しない画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号に対する輝度微分信号を特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記奥行情報信頼度が予め既定した第１閾値未満であり第２閾値以上であり、信頼度が中程度であると判定した場合は、前記奥行情報を補助的に利用した幾何学的でない画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の空間的な特徴量を抽出し、抽出特徴量を適用した視差強調成分を算出する視差強調成分算出部と、前記奥行情報と前記奥行情報信頼度に基づく前記視差強調成分の調整を実行する成分量制御部と、前記成分量制御部の出力である成分量の調整された視差強調成分を適用した入力画像に対する画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する視差画像生成部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記奥行情報信頼度に基づく前記奥行情報の重み付けを実行して重み付け設定奥行情報を生成する奥行制御部と、前記奥行制御部の出力である重み設定奥行情報を適用した入力画像に対する画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する視差画像生成部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成した変換画像を表示する表示部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、撮像部を有し、前記画像変換部は前記撮像部の撮像画像を入力して処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成した変換画像を記録する記憶部を有する。

さらに、本発明の第２の側面は、
画像処理装置において画像変換処理を実行する画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
奥行情報出力部が、前記２次元画像信号を構成する画像領域単位の奥行情報を入力または生成する奥行情報出力ステップと、
奥行情報信頼度出力部が、前記奥行情報出力部の出力する奥行情報の信頼度を入力または生成する奥行情報信頼度出力ステップと、
画像変換部が、前記画像入力部から出力される画像信号と、前記奥行情報出力部の出力する奥行情報と、前記奥行情報信頼度出力部の出力する奥行情報信頼度を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを実行し、
前記画像変換ステップは、入力画像信号に対する画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行い、前記画像変換に際して、前記奥行情報と前記奥行情報信頼度を変換制御データとして適用した変換処理を実行する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像変換処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
奥行情報出力部に、前記２次元画像信号を構成する画像領域単位の奥行情報を入力または生成させる奥行情報出力ステップと、
奥行情報信頼度出力部に、前記奥行情報出力部の出力する奥行情報の信頼度を入力または生成させる奥行情報信頼度出力ステップと、
画像変換部に、前記画像入力部から出力される画像信号と、前記奥行情報出力部の出力する奥行情報と、前記奥行情報信頼度出力部の出力する奥行情報信頼度を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを実行させ、
前記画像変換ステップにおいては、入力画像信号に対する画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせ、前記画像変換に際して、前記奥行情報と前記奥行情報信頼度を変換制御データとして適用した変換処理を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、奥行情報の信頼度に応じた最適な信号処理により立体視可能な画像信号を生成する構成が実現される。具体的には、２次元画像に基づいて３次元画像表示に適用する左眼用画像や右眼用画像を生成する構成において、画像信号の領域単位の奥行情報や奥行信頼度情報を入力または生成し、これらの情報に基づいて画像変換の制御を実行する。２次元画像信号を構成する画像領域単位の奥行情報と奥行情報の信頼度を入力または生成し、例えばこれらの情報に基づいて、２Ｄ画像を３Ｄ画像に変換する変換処理態様を変更する。あるいは視差強調信号の適用レベルの制御等を実行する。これらの処理により２次元画像の奥行情報や奥行信頼度に応じた最適な画像変換が可能となる。

本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の画像処理装置の実行する処理について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の一構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の一構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の一構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部内に設定される成分量制御部の一構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部内に設定される奥行制御部の一構成例について説明する図である。 本発明の一実施例に係る画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行する動画像に対する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の実行する動画像に対する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．画像処理装置の構成例について
２．奥行情報出力部の処理について
３．奥行情報信頼度出力部の処理について
４．画像変換部の構成と処理について
５．成分量制御部の処理について
６．奥行制御部の処理について
７．視差画像生成部の処理について
８．幾何学的視差画像生成部の処理について
９．画像表示装置に関連した処理について
１０．画像変換部の処理シーケンスについて
１１．画像変換部の処理シーケンスについて（動画）
１２．その他の実施例について

［１．画像処理装置の構成例について］
図１および図２はそれぞれ本発明の画像処理装置の一実施例を示す図である。
図１および図２に示すように、本発明の画像処理装置１００の前段に、画像処理装置１００の処理対象となる画像を入力する入力装置としてディジタルカメラ等の撮像装置５１を示し、後段に、画像処理装置１００における処理画像を出力する出力装置として３Ｄテレビ等の表示装置５２を記載している。

これら画像の入力装置、出力装置は、撮像装置、表示装置のみに限らず、光磁気メモリや固体メモリ等の記録装置等、さまざまな装置が設定可能である。すなわち、画像処理装置１００の前後に構成される装置は特定されるものでなく、必要な情報の入出力が可能な構成であればよい。
また、画像処理装置１００自身が撮像装置と一体となった構成としてもよいし、３Ｄテレビ等の表示装置と一体となった構成としてもよい。

図１および図２に示す画像処理装置の構成要素は同じであり、接続構成のみが異なっている。まず、図１を参照して画像処理装置１００の構成と処理について説明する。
図１に示す画像処理装置１００は、画像入力部１０１において、各種の撮像装置から出力される２次元画像（２Ｄ画像）としての静止画像データや、動画像データを受け取り、画像処理装置１００内のデータ処理部で処理可能な内部データ形式に変換する。ここで、内部データ形式とは、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のデータ等である。内部データ形式は、後段の画像変換部１０４で処理可能なデータ形式であればどのような形式でも構わない。

奥行情報出力部１０２は、画像入力部１０１から入力する画像信号に対応した奥行情報を外部から入力、または内部で生成して画像変換部１０４に出力する。奥行情報出力部１０２が入力あるいは生成する奥行情報は、入力画像信号と相対的な位置関係が対応し、各画素がどの程度の奥行きを有しているかを決めることが可能な情報であればよい。詳細は後述する。

奥行情報信頼度出力部１０３は、奥行情報出力部１０２が出力する奥行情報に対応した奥行情報信頼度を外部から入力、または内部で生成して画像変換部１０４に出力する。奥行情報信頼度情報１０３は、奥行情報と相対的な位置関係が対応し、各画素の奥行情報がどの程度の信頼度を有しているかを判断することが可能な情報であればよい。詳細は後述する。

画像変換部１０４は、画像入力部１０１から入力する２次元画像（２Ｄ画像）、奥行情報出力部１０２から入力する奥行情報、奥行情報信頼度出力部１０３から入力する信頼度情報を適用して、入力画像である２次元画像（２Ｄ画像）を３次元画像表示に適用する３次元画像（３Ｄ画像）に変換する処理を行う。なお、この処理を本明細書では２Ｄ−３Ｄ変換処理と呼ぶ。画像変換部１０４は、入力画像である２次元画像（２Ｄ画像）の画像変換を行い、左眼用画像と右眼用画像すなわち両眼視差画像を生成する処理を行う。詳しくは後述する。

画像変換部１０４から出力された画像データは画像出力部１０５で出力に適したフォーマットに変換され出力される。処理の一例としては解像度変換やＪＰＥＧやＭＰＥＧ等のコーデック変換である。

［２．奥行情報出力部の処理について］
次に、奥行情報出力部１０２の処理について詳細に説明する。前述の通り奥行情報出力部１０２は、外部から奥行情報を入力して出力するか、あるいは内部で生成して出力する処理を行う。

奥行情報出力部１０２が入力あるいは生成する奥行情報は、入力画像信号と相対的な位置関係が対応し、各画素がどの程度の奥行き（例えばカメラからの距離）を有しているかを決めることが可能な情報であればよい。奥行情報は、例えば、撮像した位置から無限遠までを画素毎に８ｂｉｔ（０から１２７）で表した値である。ただしデータ形式は１例であり特定するものでない。

入力画像の画素数と奥行情報の画素数は、理想的には画素毎の奥行情報を持つ１対１のデータ設定とすることが望ましい。ただし１対１の関係になくても構わず、複数画素からなるブロック対応の奥行情報としてもよい。また、入力画像サイズを縮小したサイズ、すなわち、あるエリアに対し１つの奥行情報を設定した構成としてもよい。縮小画像の各画素対応の奥行情報に基づいて適切な補間処理を適用することで、元画像としての拡大画像の各画素単位の奥行情報を算出できる。

また、動画像の場合は入力画像信号とフレーム数において１対１の関係とした奥行情報の算出は必須ではない。すなわち複数フレーム、例えば２フレームや４フレーム単位で１つの共通の奥行情報を利用する構成としてもよい。

外部から奥行情報を入力する場合の奥行情報の取得方法は特定するものではない。例えば、市販のレンジスキャナ等の測拒センサを用いて奥行情報を取得する方法や、画像撮像時に画像信号を撮像するカメラをもう１台（計２台）を用いて撮像し、ステレオ法を用いて奥行情報を取得する方法、その他、フォーカスの異なる複数の画像から演算で奥行情報を取得する方法などが利用できる。

また、奥行情報出力部１０２は、奥行情報を画像処理装置１００の外部から入力するのではなく、画像入力部１０１が入力する２次元画像としての入力画像信号を用いて内部で生成してもよい。２次元画像から距離情報を得る方法としては、例えば、下記文献に記載の手法を適用可能である。すなわち、Ａ．Ｓａｘｅｎａらが"Ｍａｋｅ３Ｄ： Ｌｅａｒｎｉｎｇ ３−Ｄ Ｓｃｅｎｅ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ａ Ｓｉｎｇ ｌｅ Ｓｔｉｌｌ Ｉｍａｇｅ"（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔ ｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ （ ＰＡＭＩ）， ２００８．）で発表した方法や、特開２００５−１５１５３４号公報で公知されている方法などである。

これらの文献に記載した方法を用いることで、奥行情報出力部１０２は、２次元画像としての入力画像信号を用いて奥行情報を生成して画像変換部に出力することができる。
なお、このような構成とする場合、画像処理装置１００は図２に示すような設定とする。すなわち、奥行情報出力部１０２は、画像入力部１０１を介して画像を入力し、入力画像に基づいて奥行情報を生成し、生成した奥行情報を画像変換部１０４に出力する構成となる。

［３．奥行情報信頼度出力部の処理について］
次に、奥行情報信頼度出力部１０３の処理例について詳細に説明する。前述の通り奥行情報信頼度出力部１０３は、外部から奥行情報の信頼度（以下、信頼度情報と呼ぶ）を入力して出力するか、あるいは内部で生成して出力する処理を行う。

信頼度情報は、奥行情報と相対的な位置関係が対応し、各画素の奥行情報がどの程度の信頼度を有しているかを判断することが可能な情報であればよい。例えば信頼度情報は、完全に信頼できる（７）〜全く信頼できない（０）までを画素毎に設定した３ビット情報［（１１１）＝７］〜［（０００）＝０］で表した値とする。ただしデータ形式は１例であり特定するものでない。

信頼度情報と奥行情報とのデータ対応関係についても、理想的には奥行情報毎の１対１の対応データを持つ設定が望ましい。ただし１対１の関係になくても構わず、奥行情報をあるエリアで分割したそれぞれに対する信頼度を示すような縮小したサイズの場合もある。または、１画像に１つの信頼度情報の場合もある。また、画素やエリアの信頼度情報と１画像全体での信頼度情報を別に持つなどの場合もある。

また、動画像の場合は入力画像や奥行情報のフレーム数において１対１の関係になくてもよい。すなわち複数フレーム、例えば２フレームや４フレーム単位で１つの共通の信頼度情報を利用する構成としてもよい。

外部から信頼度情報を入力する場合の信頼度情報の取得（生成）方法としては様々な設定が可能であり、特定するものではない。例えば、外部から奥行情報を入力する場合、奥行情報を生成する時に同時に生成されるのが一般的である。撮像時の場合は、レンズポジション（ズーム位置）やＡＦ（オートフォーカス）、撮像機器のシーン推定や設定によるシーン設定などの情報も加味して演算、推定する方法などが利用できる。なお、ここでいう同時とは、画像処理装置１００に入力する前という広義の意味で用いている。このような構成とする場合、画像処理装置１００は図１に示すように、信頼度情報は画像処理装置１００の外部から入力される構成となる。外部から入力された奥行情報のフォーマットが内部で用いるフォーマットと異なる場合にはここでフォーマットを変換して出力する。

信頼度情報を、外部からの入力はなく内部で推定する場合は、推定する時に、奥行情報と２次元画像、画像に付随するメタデータ等を用いる。２次元画像の周波数成分や構図解析の結果を加味したり、メタデータ（ズーム位置等の撮像条件）を加味して演算して推定する方法が利用できる。

まず、奥行情報だけから信頼度を推定する方法の一例を説明する。
（３−１．特異点（ｏｕｔｌｉｅｒ）の検出に基づく信頼度の推定手法）
奥行情報の各データ（奥行値）を平面に並べてみると、ある画素だけ周辺の奥行値と異なっている場合がある。実際にその画素だけ奥行が異なる場合もあるが、奥行情報の取得もしくは推定の誤りによる場合の方が圧倒的に多い。そのため、周辺と異なるレベルの奥行値を示すデータを特異点として扱い、信頼度を低下させる必要がある。その処理方法の一例を示す。

図３に示すように、ある注目画素（もしくはエリア）の奥行値の左右上下２個づつの奥行値を用いる。図３に示すように注目画素（目的座標）を中心として５×５＝２５個の奥行値がある。中心座標を除く２４個の平均値を求め、目的座標の奥行値と比較する。平均値から５％以上異なる値の場合は、ｏｕｔｌｉｅｒ（特異点）として扱い、その座標の奥行値の信頼度を１下げる。（例として信頼度は最大７から最低０）

注目画素（目的座標）の奥行値と中心座標を除く２４個の奥行値の平均値との差が１０％以上の場合は、信頼度（７〜０）の値を２下げ、１５％以上の場合は３下げるなどして信頼度を割り当てていく。周辺と目的座標の奥行値の遠近の極性（撮影者の意図する中心距離を０として遠方を＋、近方を−とした場合の正負）が真逆の場合は、いきなり信頼度を７下げて最低ランクの０に位置づける。
また、全画面に相当する奥行値の個数に対し、特異点の割合が５％以上の場合は、１枚の画像に対する信頼度を１下げる。１０％、１５％と特異点の割合が増えるに従い、１枚の画像に対する信頼度も２、３と下げ幅を増やしていく。
このように、特異点の分布状況の解析処理によって各奥行の信頼度を推定することができる。

（３−２．奥行値のダイナミックレンジ等による信頼度の推定手法）
次に、奥行情報だけから信頼度を推定するもう１つの方法について説明する。
奥行値の設定として、画素あるいはブロック単位の８ビットデータの奥行情報を設定した場合について説明する。ディスプレイ面（ジャストフォーカス位置、撮影者の意図する中心距離）を０とし、無限遠を１２７、カメラ位置を−１２８にした場合を例に説明する。

１画像全体での奥行値の最大値と最小値の差（ダイナミックレンジ）が極端に小さい場合、すなわち遠近差が極端に小さい場合、奥行情報の間違いの可能性が高い場合が多い。このように、１画像全体での奥行値の最大値と最小値の差（ダイナミックレンジ）が既定の閾値以下である場合には、その画像の奥行情報の信頼度を低く設定する。なお、この画像に設定された奥行情報が仮に正しい奥行情報だったとしても、ほとんど同じ距離に被写体が存在し、奥行値を用いた３次元表示画像を生成しても、２次元画像と同じような画像が生成されることになり、３次元画像表示用の画像を生成するメリットが小さい。

１画像全体での奥行値の最大値と最小値の差（ダイナミックレンジ）を算出して信頼度を設定する処理方法の一例について説明する。まず処理対象画像に設定された奥行値の最大値と最小値を求める。奥行値の範囲は、１２７（無限遠）〜−１２８（カメラ位置）とする。最小値と最大値の差が５０しかない場合、信頼度［完全に信頼できる（７）〜全く信頼できない（０）］の値を７下げて最低ランクに下げる。差が、７５，１００，１５０と広がるに付け、下げる量を減らしランクアップさせる。１枚の画像としての信頼度を独立させない場合は、画素の信頼度を一律下げるなどして対応する。

なお、最大値と最小値の差（ダイナミックレンジ）を算出するのではなく、最大値の値だけで、同様な処理をする設定としてもよい。例えば、処理対象画像の奥行値の最大値が既定閾値以下である場合には、信頼度を低下させる処理を行う。これは、背景側の奥行が十分ない場合であり、３次元画像の生成を行っても十分な立体感を想起させる画像にならないからである。

処理対象画像に設定された奥行値の最小値が正の値である場合や、最大値が負の値である場合にも、不自然な奥行情報である可能性が高い。このような場合にも、１枚の画像に対する信頼度を７下げて最低とする。
なお、奥行値は、距離に対してリニアである必要はなく、目的の距離付近のダイナミックレンジを広くしたり、背景側のレンジを広くしたりするなど、非線形であってもよい。

（３−３．２次元画像データやメタデータを利用した信頼度の推定方法）
次に、２次元画像データやメタデータを利用した信頼度の推定方法について説明する。
まず、処理対象となる２次元画像の構図解析を行う。エッジ検出等を行い、被写体領域と背景領域を分離する。被写体領域の奥行値の平均と背景領域の奥行値の平均を求める。なお、境界付近は除外して求める。複数の被写体の場合は個々平均化してもよい。本例でも奥行値の設定はディスプレイ面（ジャストフォーカス位置、撮影者の意図する中心距離）を０とし、無限遠を１２７、カメラ位置を−１２８にした場合を例に説明する。

被写体と背景の奥行値の差が５０以上ない場合には十分な距離差がないものと判断し１枚の画像に対する信頼度［完全に信頼できる（７）〜全く信頼できない（０）］のランクを７下げて最低ランクとする。

また被写体領域、背景領域、それぞれの範囲のみの奥行値の最大値、最小値を求め、前述した特異点やダイナミックレンジの手法の閾値を変えて対応させればよい。例えば、被写体部の奥行値であれば、最大、最小値は０付近に集中し、ダイナミックレンジ（最大値と最小値の差分）は狭くなるはずなので、５０より大きい場合では、信頼度を７下げる。逆に背景部の奥行値は、０付近にはならずプラスの大きな値になるはずであり、たとえば＋５０より小さい奥行値の場合は信頼度を７下げるなどの対応をとる。

また、被写体と背景の境界付近は奥行値の判断を間違えると画質への影響が目立ってしまうので、信頼度を３から４程度下げる処理、場合によっては７下げるなどの処理を行って全く信用しない設定とすることが無難である。

前述の特異点による信頼度低下方法においても、２次元画像の解析により、フォーカスの合っている部分や、被写体の部分を区別できる場合は、その部分の特異点に対する重み付けを大きくするなどして、被写体部での特異点に対する信頼度低下をより大きくする方法を用いることもできる。

なお、撮像装置に顔検出機能を有する場合、撮影画像データのメタデータとして顔の位置座標が記録されている場合がある。このような画像から奥行きを推定する場合には、顔の大きさから被写体距離の特定が容易になる。このような顔情報を用いた奥行情報は高精度になるため、信頼度が高いと判断することが可能である。

また、処理対象画像のメタデータにズーム倍率が記録されていれば、顔検出結果と合わせて、人物撮影の場合、画像に占める割合が異常でないかなど、構図解析の精度が向上する。また、屋内／屋外の情報や、最近のカメラの機能として搭載されている撮影時のシーン解析の結果（ポートレート、風景、夜景、逆光、マクロ等）がメタデータに記録されていれば、構図解析と信頼度の判断をより正確にすることが可能である。このように画像に付属するメタデータを用いることで、奥行情報の信頼度を推定することが可能となる。

奥行情報信頼度出力部１０３は、上述したように、２次元画像としての入力画像信号、奥行情報等を用いて信頼度情報を生成して画像変換部１０４に出力することができる。なお、このように入力画像に基づく信頼度算出を実行する場合、画像処理装置１００は図２に示すように、奥行情報信頼度出力部１０３が、画像入力部１０１を介して画像を入力し、また奥行情報出力部１０２を介して、もしくは外部から奥行情報を入力し、これらの入力データに基づいて信頼度情報を生成し、生成した信頼度情報を画像変換部１０４に出力する。

［４．画像変換部の構成と処理について］
次に、図１、図２に示す画像処理装置１００の画像変換部１０４の実行する処理の詳細について説明する。
（４−１．画像変換部の第１実施例について）
図４を参照して、画像変換部１０４の１実施例について説明する。
図４に示す画像変換部１０４は、３種類の画像変換方法を実行する第１〜第３の２Ｄ−３Ｄ変換部２０２〜２０４を並列に有する。
処理対象画像の奥行情報信頼度に応じて、これら３つの第１〜第３の２Ｄ−３Ｄ変換部２０２〜２０４における変換画像のいずれかを選択、または合成して出力画像を生成する。

なお、以下に説明する実施例では、処理対象画像となる１画像全体での信頼度に応じて、処理を切り替える設定として説明するが、画素毎、あるいは複数画素からなるブロック単位の信頼度に応じて、画素単位あるいはブロック単位で処理を切り替える設定としてもよい。

入力画像前処理部２０１は、画像入力部１０１から処理対象画像の画像信号を入力して各２Ｄ−３Ｄ変換部２０２〜２０４へ画像信号を出力する。
第１の２Ｄ−３Ｄ変換部２０２は、奥行情報出力部１０２の出力する奥行情報を主体的に利用し、２次元画像を奥行情報から幾何学的に演算し、３次元画像表示に適用する左眼用画像と右眼用画像からなる左右視差画像を生成する。すなわち、奥行情報に基づく幾何学的２Ｄ−３Ｄ変換処理を実行する。

２Ｄ画像と奥行情報から幾何学的、すなわち座標変換や射影により左右視差画像を生成する方法については既に一般的であり特に説明しないが、例えば、先に説明した特許文献９（特開２００９−２９６２７２号公報）にも原理と変換方法が記述されており、第１の２Ｄ−３Ｄ変換部２０２では、例えばこれらの方法を適用して奥行情報を主体的に適用した幾何学的２Ｄ−３Ｄ変換処理を実行する。

第２の２Ｄ−３Ｄ変換部２０３は、奥行情報出力部１０２の出力する奥行情報を補助的に利用して、処理対象画像として入力する２次元画像を３次元画像表示に適用する左眼用画像と右眼用画像からなる左右視差画像を生成する。すなわち、奥行情報を補助的に利用した幾何学的でない変換を実行する。

基本的には、構図解析を用いる方法や、エッジ成分、周波数成分等を用いる方法など奥行情報を適用せずに２次元画像を３次元画像表示に適用する左眼用画像と右眼用画像からなる左右視差画像を生成する。例えば、先に説明した特許文献８（特開２０１０−６３０８３号公報）には、周波数成分を用いた左右視差画像の生成方法が記述されており、第２の２Ｄ−３Ｄ変換部２０３では、例えばこれらの方法を適用して奥行情報を用いずに左右視差画像を生成する。さらに、奥行情報出力部１０２の出力する奥行情報を利用して視差量や効果のレベルを微調整する。

第３の２Ｄ−３Ｄ変換部２０４は、奥行情報出力部１０２の出力する奥行情報を全く利用せずに、処理対象画像として入力する２次元画像のみから３次元画像表示に適用する左眼用画像と右眼用画像からなる左右視差画像を生成する。

具体的には、上述の構図解析を用いる方法や、エッジ成分、周波数成分等を用いる方法などを適用する。先に説明した特許文献８（特開２０１０−６３０８３号公報）に記載の周波数成分を用いた左右視差画像の生成方法を適用してもよい。第３の２Ｄ−３Ｄ変換部２０４では、例えばこれらの方法を適用して奥行情報を用いない２Ｄ−３Ｄ変換処理を実行する。

それぞれの２Ｄ−３Ｄ変換部２０２〜２０４で生成した左右視差画像は画像選択部２０５に入力される。一方、奥行情報信頼度出力部１０３からは、処理対象画像である２次元画像に設定された奥行情報の信頼度情報も画像選択部２０５に入力される。

画像選択部２０５は、信頼度情報（一例として信頼度高７から信頼度低０）に応じて、例えば、以下の画像選択処理により出力画像の選択を実行する。
信頼度が６以上であれば、第１の２Ｄ−３Ｄ変換部２０２の生成した奥行情報を適用した幾何学的変換による左右視差画像を選択する。
信頼度が２以下であれば第３の２Ｄ−３Ｄ変換部２０４の生成した奥行情報を利用しない変換で求めた左右視差画像を選択する。
信頼度が６〜２の範囲の場合は、第２の２Ｄ−３Ｄ変換部２０３の生成した奥行情報を補助的に利用した幾何学的でない２Ｄ−３Ｄ変換により生成した左右視差画像を選択する。

なお、上述の処理例では、処理対象となる画像全体の信頼度情報に基づいて処理を選択する例を説明したが、例えば画素単位あるいはブロック単位の信頼度を利用した画素やブロック単位の選択処理を実行する構成としてもよい。
この場合には、各画素またはブロック単位の信頼度に応じて、各画素またはブロック単位で、第１〜第３の２Ｄ−３Ｄ変換部の出力を所定の割合で重み付けしてブレンドするといった処理を実行して出力画像を生成する。
また図４に示す画像変換部では、２Ｄ−３Ｄ変換部の実行する処理態様を３つの種類とした例を説明したが、３種に限定するものでなく、２種や４種以上の変換方法を設定して、奥行情報の信頼度に応じて出力を選択する構成としてもよい。

画像選択部２０５から出力された画像データは、出力画像後処理部２０６に入力され、後段の画像出力部に適した画像データ形式へ変換される。なお、出力画像後処理部２０６は、必須構成ではなく、後段の画像出力部が解釈可能であれば省略した構成も可能である。

（４−２．画像変換部の第２実施例について）
図４を参照して説明した画像変換部１０４は、奥行情報の信頼度に応じて、異なる２Ｄ−３Ｄ変換処理により生成した画像を選択、または合成する処理を実行していた。画像変換部の構成は、この図４に示す構成に限らず、例えば図５に示す構成としてもよい。

図５は、本発明の画像変換部のもう１つの実施例を示すブロック図である。先に説明した図４の画像変換部１０４の構成では、３種の画像変換方法が完全に独立して並列に存在し、例えば画像全体の奥行情報信頼度に応じて処理を切り替える設定としていた。

図５に示す画像変換部３１０は、図４に示す処理構成と異なり、並列に異なる２Ｄ−３Ｄ変換処理を行う必要がない。図５に示す画像変換部３００は、処理対象となる２次元画像の空間的な特徴量を抽出し（視差強調成分）、その視差強調成分を用いて、３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。

すなわち、入力２次元画像に対して、視差強調成分を適用した異なる強調処理を施すという処理によりＬＲ画像を生成する。なお、この視差強調成分を適用したＬＲ画像生成処理については、例えば特許文献８（特開２０１０−６３０８３号公報）に記載がある。特許文献８に記載の処理について簡単に説明する。まず、処理対象となる２次元画像の入力画像信号を微分した信号を視差強調成分として抽出する。すなわち、画像変換部に入力された画像データを輝度信号をとクロマ信号に分離し、輝度、クロマ信号それぞれに対する微分信号（Ｈ）を生成する。具体的には、画像の輝度、クロマ信号を水平方向に入力して、入力信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。その後、微分信号（Ｈ）を非線形的に変換して、最終的な視差強調信号（Ｅ）を得ている。
この視差強調信号（Ｅ）とオリジナルの入力画像信号Ｓを用いて、左右視差画像としてのＲ画像とＬ画像信号の各画像信号Ｒ、Ｌを、以下の式によって生成する。
Ｒ＝Ｓ−Ｅ
Ｌ＝Ｓ＋Ｅ
このようにオリジナル画像信号に対して、視差強調信号（Ｅ）の加算または減算によって３次元画像表示に適用するＬ画像とＲ画像を生成する。

図５に示す画像変換部３１０の処理について説明する。
入力画像前処理部３１１は、画像入力部１０１からの入力画像信号を視差強調成分算出部３１２に出力する。
視差強調成分算出部３１２は、左右視差画像を生成するための視差強調成分を抽出し、成分量制御部３１５へ出力する。前述したように視差強調成分とは、例えば特許文献８（特開２０１０−６３０８３号公報）に記載の構成を適用する場合には、画像信号の微分信号（Ｈ）となる。その他の成分情報を利用する構成としてもよい。

成分量制御部３１５は、処理対象画像に対する処理画素単位で視差強調成分を入力し、入力した視差強調成分量に対して微調整を行う。特許文献８（特開２０１０−６３０８３号公報）に記載の方法を適用する場合、成分量制御部３１５は、微分信号（Ｈ）を非線形的に変換して、最終的な視差強調信号（Ｅ）を算出する処理を行う。
その後、視差画像生成部３１６は、左右視差画像としての左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。

図５に示す画像変換部３１０の奥行補間部３１３は、奥行情報出力部１０２の出力する奥行情報を入力する。奥行補間部３１３は、奥行情報出力部１０２の出力する奥行情報を処理対象画像である２次元画像の各画素対応の情報に設定する。入力画像の画素と１対１対応でない場合には、例えばＢｉ Ｃｕｂｉｃ法などの補間方法により、各画素位置の奥行情報を算出し、成分量制御部３１５へ出力する。

成分量制御部３１５は、視差成分量の微調整を実行する。
例えば、特許文献８（特開２０１０−６３０８３号公報）に記載の構成を適用する場合、視差強調信号（Ｅ）とオリジナルの入力画像信号（Ｓ）を用いて、左右視差画像としてのＲ画像とＬ画像信号の各画像信号Ｒ、Ｌは、以下の式によって生成される。
Ｒ＝Ｓ−Ｅ
Ｌ＝Ｓ＋Ｅ
成分量制御部３１５は、各画素対応の奥行値に基づいて、大きな視差を設定する場合はＥを大きく、視差を小さく設定する場合はＥを小さくする調整を実行する。
この調整処理によって視差成分量の微調整を実行する。

すなわち、奥行値に応じて、視差強調信号（Ｅ）の大きさを変えてやれば、視差量の微調整が可能となる。すなわち、非線形変換前に、微分信号（Ｈ）に予め設定した規則に則った係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御し、微分信号の補正信号である補正微分信号（Ｈ'）を生成するように変更する。その後、補正微分信号（Ｈ'）を非線形的に変換して、最終的な視差強調信号（Ｅ）を得るようにする。

なお、上記の処理例は、特許文献８（特開２０１０−６３０８３号公報）に記載の構成を適用した場合の処理例であるが、他の方法の場合でも、成分量制御部で、２Ｄ画像から抽出した視差成分量（特徴量）に奥行値に応じたゲインをかける方法により、視差量の微調整は可能である。

本発明ではさらに、処理対象画像に対応して取得または算出された奥行情報の信頼度情報を加味した処理を行う。
奥行情報信頼度出力部１０３から入力される信頼度情報は、信頼度補間部３１４へ入力される。信頼度補間部３１４は、信頼度情報についても画素対応の奥行情報と１対１の情報とする処理を行う。例えばＢｉ Ｃｕｂｉｃ法などの補間方法により、各画素位置の信頼度情報を算出する。

各画素対応の信頼度情報は、成分量制御部３１５へ出力される。成分量制御部３１５は、信頼度情報に基づいて視差成分量に対して乗算するゲイン量を設定する。奥行き値が信頼できない場合のゲイン値０から信頼できる場合のゲイン値１までを設定する。成分量制御部３１５は、視差成分量に対しこのゲイン値をさらに乗算すれば、奥行が信頼できない場合は視差強調成分量を減らし、無理に視差成分を付けないようにすることが可能となる。

すなわち、特許文献８（特開２０１０−６３０８３号公報）に記載の構成を適用した場合、奥行値の信頼度に応じて、視差強調信号（Ｅ）の大きさを変えることで視差量の微調整を行う。非線形変換前に、微分信号（Ｈ）に、信頼度情報に基づいて算出した係数（ゲイン係数）を乗じることで、微分信号の振幅値を制御し、微分信号の補正信号である補正微分信号（Ｈ'）を生成するように変更する。その後、補正微分信号（Ｈ'）を非線形的に変換して、最終的な視差強調信号（Ｅ）を得るようにする。

この特許文献８（特開２０１０−６３０８３号公報）に記載の構成以外の構成を採用した場合でも、成分量制御部３１５において、２Ｄ画像から抽出した視差成分量に奥行値の信頼度に応じたゲインを乗算する方法により、視差量の微調整は可能である。なお、成分量制御部３１５の構成例については図７を用いて後述する。

成分量制御部３１５で最終的に求められたある画素での視差強調成分は、視差画像生成部３１６へ出力される。視差画像生成部３１６では、入力画像前処理部３１１から出力された２次元画像と成分量制御部３１５から入力する視差強調成分を利用して左右視差画像を生成し、出力画像後処理部３１７に出力する。

視差画像生成部３１６の実行する処理は、特許文献８（特開２０１０−６３０８３号公報）に記載の構成を適用した場合、入力画像前処理部３１１から入力する２次元画像信号（Ｓ）、成分量制御部３１５から入力する視差強調信号（Ｅ）を用いて、左右視差画像としてのＲ画像とＬ画像信号の各画像信号Ｒ、Ｌを、以下の式によって生成する処理となる。
Ｒ＝Ｓ−Ｅ
Ｌ＝Ｓ＋Ｅ
ただし、ここで、視差強調信号（Ｅ）は奥行き情報の信頼度に応じて調整された値となる。

（４−３．画像変換部の第３実施例について）
図６は、本発明の画像変換部のもう１つの実施例を示すブロック図である。図6に示す画像変換部３２０も、図５を参照して説明した画像変換部と同様、図４に示す処理構成と異なり、並列に異なる２Ｄ−３Ｄ変換処理を行う必要がない。
図５を参照して説明した画像変換部３１０は、奥行情報を補助的に用いる構成であったが、図６に示す画像変換部３２０は、奥行情報を主体的に用いる（２次元画像からは奥行は推定しない）場合の構成例である。

図６に示す画像変換部３２０の処理について説明する。
図６に示す画像変換部３２０の奥行補間部３２２は、奥行情報出力部１０２の出力する奥行情報を入力する。奥行補間部３２２は、奥行情報出力部１０２の出力する奥行情報を処理対象画像である２次元画像の各画素対応の情報に設定する。入力画像の画素と１対１対応でない場合には、例えばＢｉ Ｃｕｂｉｃ法などの補間方法により、各画素位置の奥行情報を算出し、奥行制御部３２４へ出力する。

奥行情報信頼度出力部１０３から入力される信頼度情報は、信頼度補間部３２３へ入力される。信頼度補間部３２３は、信頼度情報についても画素対応の奥行情報と１対１の情報とする処理を行う。例えばＢｉ Ｃｕｂｉｃ法などの補間方法により、各画素位置の信頼度情報を算出する。各画素対応の信頼度情報は、奥行制御部３２４出力される。

奥行制御部３２４は、入力画像前処理部３２１から処理対象画像の各画素データを入力し、処理画素に対応する奥行情報と信頼度情報をそれぞれ奥行補間部３２２と信頼度補間部３２３から入力する。
奥行制御部３２４は、入力された奥行情報に対して信頼度情報を用いて奥行（視差量）の増減を行う。一例として、信頼度情報を信頼できない場合のゲイン値０から信頼できる場合のゲイン値１までと仮定し、視差量に対しこのゲイン値をさらに乗算するなどして、信頼できない場合は視差量を減らし、無理に視差を付けないようにする。

奥行制御部３２４で最終的に求められたある画素での奥行（視差量）は、幾何学的視差画像生成部３２５へ出力される。幾何学的視差画像生成部３２５では、入力画像前処理部３２１から出力された２次元画像と、奥行制御部３２４から入力する視差量に基づいて幾何学的に左右視差画像を生成し、出力画像後処理部３２６に出力する。

なお、画像変換部の構成例について、図４、図５、図６の３種類について説明したが、いずれの構成においても、出力画像は、左右視差画像を生成する時に、左右視差画像同時生成、左眼用画像だけ、右眼用画像だけの３種類の中から選択可能である。

［５．成分量制御部の処理について］
次に、図５に示す第２実施例に係る画像変換部３１０内に設定された成分量制御部３１５の実行する処理について詳細に説明する。
図７は、成分量制御部３１５の一実施例の構成を示すブロック図である。成分量制御部３１５では、入力された視差強調成分信号の振幅値を、同じく入力した奥行情報、信頼度情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行情報とその信頼度情報は入力画像信号のある１画素に対応した視差強調成分１画素毎に、１つの値を有する状態で入力されるものとして説明していく。

成分量制御部３１５に入力されたある画素の奥行情報Ｄは、ゲイン係数算出部３５１に入力され、後段の処理のため、奥行情報Ｄに予め設定した関数ｆ（ｘ）を用いて０から１までのある値のゲイン係数βに変換され成分量調整部３５３に出力される。
β＝ｆ（Ｄ）

同様に、成分量制御部３１５に入力されたある画素の信頼度情報Ｓは、ゲイン係数算出部３５２に入力され、後段の処理のため、信頼度情報Ｓに予め設定した関数ｇ（ｘ）を用いて０から１までのある値のゲイン係数γに変換され成分量調整部３５３に出力される。
γ＝ｇ（Ｓ）

成分量調整部３５３は、視差強調成分算出部３１２からある画素の視差強調成分αを入力し、奥行情報ゲイン係数β、信頼度情報ゲイン係数γとを用いて、最終的な視差強調成分α'を以下の式で変換して出力する。
α'＝α×β×γ

ここでゲイン係数値は便宜上０〜１としたが、ある統一されたルールに従っていればよく、この範囲に特定するものではない。
また、関数ｆ（ｘ），ｇ（ｘ）は、様々な設定が利用可能である。
関数ｆ（ｘ）、ｇ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝Ａ×ｘ（ただしＡは定数）
ｇ（ｘ）＝Ｂ×ｘ（ただしＢは定数）
上記式に示されるような線形一次関数を用いる。Ａ、Ｂは予め設定した定数であり、様々な値に設定可能である。
また、ゲイン係数算出部における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。

また一例として、ゲイン値を用いるのではなく、信頼度が低い奥行情報の場合には、その奥行情報を使用せず、その画素の近傍の奥行情報を用いて、単純に平均値を求めたり、縦、横、斜め方向の相関を求め、相関の強いものだけを選択して平均値を求めるなどの方法で値を算出し、オリジナルの奥行値と差し換えて視差強調成分を調整するなどの手法もある。

［６．奥行制御部の処理について］
次に、先に図６を参照して説明した第３実施例に係る画像変換部３２０の内部に設定される奥行制御部３２４の実行する処理について詳細に説明する。
図８は、奥行制御部３２４の一実施例の構成を示すブロック図である。奥行制御部３２４では、奥行補間部３２２から入力された奥行情報の振幅値を、信頼度補間部３２３から同じく入力した信頼度情報を基に、その振幅値を制御する。
なお、以下に説明する実施例では、奥行情報とその信頼度情報は、奥行情報の１データ毎に、１つの値を有する状態で入力されるものとして説明していく。

奥行制御部３２４に入力されたある画素の信頼度情報Ｓは、ゲイン係数算出部３７１に入力され、後段の処理のため、信頼度情報Ｓに予め設定した関数ｇ（ｘ）を用いて０から１までのある値のゲイン係数γに変換され奥行調整部３７２に出力される。
γ＝ｇ（Ｓ）

奥行制御部３２４に入力されたある画素の奥行情報Ｄは、信頼度情報ゲイン係数γとを用いて、最終的な奥行情報Ｄ'を以下の式で変換して出力する。
Ｄ'＝Ｄ×γ

ここでゲイン係数値は便宜上０〜１としたが、ある統一されたルールに従っていればよく、この範囲に特定するものではない。
また、ｆ（ｘ），ｇ（ｘ）は、様々な設定が利用可能である。
関数ｇ（ｘ）の一例としては、例えば、
ｇ（ｘ）＝Ｂ×ｘ（ただしＢは定数）
上記式に示されるような線形一次関数を用いる。Ｂは予め設定した定数であり、様々な値に設定可能である。
また、ゲイン係数算出部における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。

また一例として、ゲイン値を用いるのではなく、信頼度が低い奥行情報の場合には、その奥行情報を使用せず、その画素の近傍の奥行情報を用いて、単純に平均値を求めたり、縦、横、斜め方向の相関を求め、相関の強いものだけを選択して平均値を求めるなどの方法で値を算出し、オリジナルの奥行値と差し換えて奥行値を調整するなどの手法もある。

［７．視差画像生成部の処理について］
次に図５を参照して説明した第２実施例に係る画像変換部３１０内の視差画像生成部３１６の処理について説明する。
視差画像生成部３１６は、処理対象となるオリジナルの２次元入力画像と、この画像から生成した空間的な特徴量、すなわち、成分量制御部３１５から入力する視差強調成分信号を適用して左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を生成する処理を行う。

視差画像生成部３１６は、オリジナルの２次元入力画像と視差強調成分を用いて、例えば先に説明した特許文献８（特開２０１０−６３０８３号公報）に記載の構成を適用した場合、入力画像前処理部３１１から入力する２次元画像信号（Ｓ）、成分量制御部３１５から入力する視差強調信号（Ｅ）を用いて、左右視差画像としてのＲ画像とＬ画像信号の各画像信号Ｒ、Ｌを、以下の式によって生成する処理となる。
Ｒ＝Ｓ−Ｅ
Ｌ＝Ｓ＋Ｅ

［８．幾何学的視差画像生成部の処理について］
次に図６に示す第３実施例に係る画像変換部３２０の内部に構成される幾何学的視差画像生成部３２５の処理について説明する。
幾何学的視差画像生成部３２５は、オリジナルの２次元入力画像と、この画像に対応する奥行情報を用いて幾何学的演算で左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を生成する処理を行う。
幾何学的視差画像生成部３２５は、オリジナルの２次元入力画像と奥行情報を用いる方法を適用して左眼用画像（Ｌ画像）と、右眼用画像（Ｒ画像）を生成する。ただし、適用する奥行き情報は、信頼度に応じて制御された値となる。

［９．画像表示装置に関連した処理について］
図１、図２に示す本発明の画像処理装置の出力は、図１，２に示す表示装置５２において表示される。最終的に画像表示を実行する表示装置の表示方式としては、例えば以下の種類がある。
（１）左眼用画像と右眼用画像を時間分割で交互に出力する方式
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。（時間的にＬＲ画像を切り替える方式）
（２）左眼用画像と右眼用画像を空間的に分離して同時出力する方式
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。
例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。（空間的にＬＲ画像を切り替える方式）

図１、図２に記載した画像処理装置１００において、上記の様々な方式に従った画像表示を実行する表示装置に出力するデータ生成処理例について説明する。

まず、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間的に分割して交互出力する方式である場合の画像変換部の処理例について説明する。

この時分割画像表示方式の場合、画像変換部は、入力画像データの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像と右眼用画像を各フレーム毎に切り替えて生成して出力する。なお、具体的な処理シーケンスについては、後段でフローチャート（図１５）を参照して説明する。

画像変換部１０４は、入力する画像データの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）としフレーム毎に変換設定を切り替えるように制御して出力する。出力画像は、図１、図２に示す画像出力部１０５を介して画像表示装置５２に左眼用画像と右眼用画像が時間分割で交互出力される。
この方式では、画像変換部１０４は、各フレームに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。すなわち１系統の画像データを出力する。

次に、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を空間的に分割して交互出力する方式である場合の画像変換部の処理例について説明する。
この空間分割画像表示方式の場合、画像変換部１０４は、入力画像データの各ライン（ラインｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像と右眼用画像を各ライン毎に切り替えて生成して出力する。なお、具体的な処理シーケンスについては、後段でフローチャート（図１４）を参照して説明する。

画像変換部１０４は、入力する画像データの奇数ラインと偶数ラインをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）としてライン毎に変換設定を切り替えるように制御されながら出力する。出力画像は、画像出力部１０５を介して画像表示装置５２に左眼用画像と右眼用画像が空間分割で交互出力される。
この方式では、画像変換部１０４は、各ラインに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。

［１０．画像変換部の処理シーケンスについて］
次に、図９以下のフローチャートを参照して本発明の画像処理装置において実行する画像変換処理のシーケンスについて説明する。

（１０−１．図４に示す第１実施例の画像変換部を適用した処理シーケンス）
まず、図４に示す画像変換部を適用した処理シーケンスについて、図９〜図１１に示すフローチャートを参照して説明する。
図９に示すフローチャートを参照して、図４に示す第１実施例の画像変換部を適用した処理シーケンスの一実施例について説明する。
信頼度情報は、処理対象とする入力２次元画像の１枚単位とした設定や、画像の画素単位やブロック単位等の領域（エリア）単位とした設定等が可能である。

まず、ステップＳ１０１において、撮像装置において通常通りの画像の撮像が行われる。奥行情報が撮像時に生成される場合はそれを用い、生成されない場合は推定により奥行情報を生成する。撮像時の条件や、推定により入力画像に画像または領域単位の信頼度情報を生成する。なお、本例では、信頼度情報は、奥行情報が、
（ａ）完全に信頼できる
（ｂ）ある程度信頼できる
（ｃ）上記（ａ），（ｂ）以外＝信頼できない
これらの３値であるとする。
なお、これらの区別は、信頼度情報を予め規定した閾値によって区分することで実行可能である。

奥行情報が完全に信頼できる場合は、ステップＳ１０２の判定がＹｅｓとなり、ステップＳ１０３に進み、奥行情報主体（幾何学的）の２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第１の２Ｄ−３Ｄ変換部２０２の処理に相当する処理である。

奥行情報が信頼できない場合は、ステップＳ１０２とステップＳ１０４の判定がＮｏとなり、ステップＳ１０６に進み、奥行情報を全く使用しない２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第３の２Ｄ−３Ｄ変換部２０４の処理に相当する処理である。

奥行情報がある程度しか信頼できない場合は、ステップＳ１０２の判定がＮｏ、ステップＳ１０４の判定がＹｅｓとなり、ステップＳ１０５に進み、奥行情報を補助的に使用する２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第２の２Ｄ−３Ｄ変換部２０３の処理に相当する処理である。

奥行情報の信頼度に応じて、ステップＳ１０３、Ｓ１０５、Ｓ１０６のいずれかの２Ｄ−３Ｄ変換処理が実行された後、ステップＳ１０７において未処理データの有無が判定される。未処理データがある場合は、未処理データに対してステップＳ１０１以下の処理を実行する。ステップＳ１０７において、すべてのデータに対する処理が終了したと判定されると処理を終了する。

図１０は信頼度情報の判断が２値である場合の処理シーケンスを説明するフローチャートである。すなわち、信頼度情報は、奥行情報が、
（ａ）完全に信頼できる
（ｂ）上記（ａ）以外＝完全に信頼できるとは言えない
これらの２値であるとする。
このフローに従った処理は、例えば奥行情報の信頼度が高い場合が多い際に適した処理である。

まず、ステップＳ２０１において、撮像装置において通常通りの画像の撮像が行われる。奥行情報が撮像時に生成される場合はそれを用い、生成されない場合は推定により奥行情報を生成する。撮像時の条件や、推定により入力画像に画像または領域単位の信頼度情報を生成する。なお、本例では、信頼度情報は、奥行情報が、
（ａ）完全に信頼できる
（ｂ）上記（ａ）以外＝完全に信頼できるとは言えない
これらの２値である。
なお、これらの区別は、信頼度情報を予め規定した閾値によって区分することで実行可能である。

奥行情報が完全に信頼できる場合は、ステップＳ２０２の判定がＹｅｓとなり、ステップＳ２０３に進み、奥行情報主体（幾何学的）の２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第１の２Ｄ−３Ｄ変換部２０２の処理に相当する処理である。

奥行情報が完全に信頼できると言えない場合は、ステップＳ２０２の判定がＮｏとなり、ステップＳ２０４に進み、奥行情報を全く使用しない２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第３の２Ｄ−３Ｄ変換部２０４の処理に相当する処理である。

奥行情報の信頼度に応じて、ステップ２０３、Ｓ２０４のいずれかの２Ｄ−３Ｄ変換処理が実行された後、ステップＳ２０５において未処理データの有無が判定される。未処理データがある場合は、未処理データに対してステップＳ２０１以下の処理を実行する。ステップＳ２０５において、すべてのデータに対する処理が終了したと判定されると処理を終了する。

図１１は、図１０と同様、信頼度情報の判断が２値である場合のフローチャートチャートである。本処理例では、信頼度情報は、奥行情報が、
（ａ）ある程度、信頼できる
（ｂ）上記（ａ）以外＝ある程度信頼できるとは言えない
これらの２値であるとする。
このフローに従った処理は、例えば奥行情報の信頼度が低い場合が多い際に適した処理である。

まず、ステップＳ３０１において、撮像装置において通常通りの画像の撮像が行われる。奥行情報が撮像時に生成される場合はそれを用い、生成されない場合は推定により奥行情報を生成する。撮像時の条件や、推定により入力画像に画像または領域単位の信頼度情報を生成する。なお、本例では、信頼度情報は、奥行情報が、
（ａ）ある程度、信頼できる
（ｂ）上記（ａ）以外＝ある程度信頼できるとは言えない
これらの２値である。
なお、これらの区別は、信頼度情報を予め規定した閾値によって区分することで実行可能である。

奥行情報がある程度信頼できる場合は、ステップＳ３０２の判定がＹｅｓとなり、ステップＳ３０３に進み、奥行情報を補助的に使用した幾何学的でない２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第２の２Ｄ−３Ｄ変換部２０３の処理に相当する処理である。

奥行情報がある程度、信頼できると言えない場合は、ステップＳ３０２の判定がＮｏとなり、ステップＳ３０４に進み、奥行情報を全く使用しない２Ｄ−３Ｄ変換処理を行い、左右視差画像を生成する。図４の画像変換部１０４の第３の２Ｄ−３Ｄ変換部２０４の処理に相当する処理である。

奥行情報の信頼度に応じて、ステップ３０３、Ｓ３０４のいずれかの２Ｄ−３Ｄ変換処理が実行された後、ステップＳ３０５において未処理データの有無が判定される。未処理データがある場合は、未処理データに対してステップＳ３０１以下の処理を実行する。ステップＳ３０５において、すべてのデータに対する処理が終了したと判定されると処理を終了する。

（１０−２．図５に示す第２実施例の画像変換部を適用した処理シーケンス）
次に、図５に示す第２実施例画像変換部を適用した処理シーケンスについて、図１２に示すフローチャートを参照して説明する。

図１２に示すフローに従った画像変換処理は、図５に示す画像変換部３１０を適用した場合の処理に対応する。すなわち、変換方式そのものを切り替えるのではなく、２次元画像のみから３次元画像を生成する場合で、信頼度情報を適用して変換パラメータを調整する場合のフローチャートチャートの１例である。

まず、ステップＳ４０１において、撮像装置において通常通りの画像の撮像が行われる。奥行情報が撮像時に生成される場合はそれを用い、生成されない場合は推定により奥行情報を生成する。撮像時の条件や、推定により入力画像に画像または領域単位の信頼度情報を生成する。

ステップＳ４０２において、撮影画像である２次元画像の空間的、周波数的特徴から、視差強調成分を抽出する。例えば前述した特許文献８（特開２０１０−６３０８３号公報）に記載された構成を適用する場合は、処理対象となる２次元画像の入力画像信号の微分信号を視差強調成分として抽出する。

ステップＳ４０３において、奥行情報による視差強調成分の補正を行う。この処理は、例えば、図７を参照して説明した成分量制御部３１５のゲイン係数算出部３５１の処理に対応する。ゲイン係数算出部３５１は、奥行情報Ｄに予め設定した関数ｆ（ｘ）を用いて０から１までのある値のゲイン係数βに変換され成分量調整部３５３に出力する。
β＝ｆ（Ｄ）
ステップＳ４０３では、例えばこの処理によって、奥行情報に基づく視差強調成分の補正を行う。

次に、ステップＳ４０４において、信頼度情報による視差強調成分の補正を行う。この処理は、例えば、図７を参照して説明した成分量制御部３１５のゲイン係数算出部３５２の処理に対応する。ゲイン係数算出部３５２は、信頼度情報Ｓに予め設定した関数ｇ（ｘ）を用いて０から１までのある値のゲイン係数γに変換され成分量調整部３５３に出力する。
γ＝ｇ（Ｓ）
ステップＳ４０４では、例えばこの処理によって、奥行の信頼度情報による視差強調成分の補正を行う。

ステップＳ４０５では、補正された視差強調成分を適用して、２次元画像と視差強調成分から左右視差画像を生成する。なお、適用する最終的な視差強調成分α'は例えば以下の式で変換した値となる。
α'＝α×β×γ

ステップＳ４０６では、未処理データの有無が判定される。未処理データがある場合は、未処理データに対してステップＳ４０１以下の処理を実行する。ステップＳ４０６において、すべてのデータに対する処理が終了したと判定されると処理を終了する。

（１０−３．図６に示す第３実施例の画像変換部を適用した処理シーケンス）
次に、図６に示す第３実施例の画像変換部を適用した処理シーケンスについて、図１３に示すフローチャートを参照して説明する。

図１３に示すフローに従った画像変換処理は、図６に示す画像変換部３２０を適用した場合の処理に対応する。すなわち、変換方式そのものを切り替えるのではなく、２次元画像のみから３次元画像を生成する場合で、信頼度情報を適用して変換パラメータを調整する場合のフローチャートチャートの１例である。
奥行情報に対して信頼度情報を加味して、信頼度の低い奥行情報は、周囲の奥行情報の平均値で差し換える等の処理を行い変換に用いる最終奥行情報を生成する。その後、その最終奥行情報と２次元画像から、幾何学的に演算し、左右視差画像を生成する。

まず、ステップＳ５０１において、撮像装置において通常通りの画像の撮像が行われる。奥行情報が撮像時に生成される場合はそれを用い、生成されない場合は推定により奥行情報を生成する。撮像時の条件や、推定により入力画像に画像または領域単位の信頼度情報を生成する。

ステップＳ５０２において、奥行情報と信頼度情報から変換用奥行情報を生成する。この処理は、先に、図６を参照して説明した画像変換部３２０の奥行制御部３２４の処理に相当する。

奥行制御部３２４は、入力された奥行情報に対して信頼度情報を用いて奥行（視差量）の増減を行う。一例として、信頼度情報を信頼できない場合のゲイン値０から信頼できる場合のゲイン値１までと仮定し、視差量に対しこのゲイン値をさらに乗算するなどして、信頼できない場合は視差量を減らし、無理に視差を付けないようにする。

ステップＳ５０３では、ステップＳ５０２において求めた変換用奥行情報を適用して左右視差画像を生成する。この処理は、図７を参照して説明した幾何学的視差画像生成部３２５幾何学的の処理に対応する。視差画像生成部３２５では、入力画像前処理部３２１から出力された２次元画像と、奥行制御部３２４から入力する視差量に基づいて幾何学的に左右視差画像を生成し、出力画像後処理部３２６に出力する。

ステップＳ５０４では、未処理データの有無が判定される。未処理データがある場合は、未処理データに対してステップＳ５０１以下の処理を実行する。ステップＳ５０４において、すべてのデータに対する処理が終了したと判定されると処理を終了する。

［１１．画像変換部の処理シーケンスについて（動画）］
処理対象画像が動画像である場合、画像処理装置は、表示装置の表示方式に応じた左眼用画像と右眼用画像の動画像を生成することが必要となる。
先に項目［９．画像表示装置に関連した処理について］において説明したように、動画像の表示方式としては、大きく分けて以下の２種類がある。
（ａ）動画像の構成フレームの１フレームを例えばライン単位で左眼用画像と右眼用画像に分割した空間分割方式、
（ｂ）フレーム単位で左眼用画像と右眼用画像に分割した時分割方式、
画像処理装置は、これらの表示方式に応じて出力画像を生成することが必要となる。
以下、これらの各方式に対応した動画像に対する処理について図１４と図１５に示すフローチャートを参照して説明する。

（１１−１．表示装置が空間分割方式の場合の処理例について）
まず、表示装置が空間分割方式の場合の処理例について、図１４に示すフローチャートを参照して説明する。
図１４に示すフローチャートは、動画像を構成する１フレームの画像処理において、ライン単位で左眼用画像と右眼用画像を生成する場合の処理である。表示装置にあわせて、ライン交互に左眼画像、右眼画像を生成する。なお、各ラインの左眼画像、右眼画像の生成処理は、先の項目［１０．画像変換部の処理シーケンスについて］において説明した処理に従った画像生成を行う。

図１４に示すフローのステップＳ６０１において、処理画像のライン単位で左眼用画像を生成するラインであるか否かを判定する。なお、例えば奇数ライン左眼用、偶数ラインは右眼用画像等、予め設定された情報に従って判定する。
具体的には、例えば、画像処理装置の出力する画像表示装置の表示方式と、画像変換部内に設けられたラインカウンタの値に従って判断することができる。ラインカウンタは、入力画像のライン番号に対応する値を保持するカウンタである。

画像表示装置の出力方式が例えば、前述の空間分割出力方式の場合には、画像変換部はラインカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち偶数ラインまたは奇数ラインのいずれかのみにおいて左眼用画像を出力するように制御を行う。ラインカウンタの値に従って左眼用画像を出力すると判断した場合は、左眼用画像生成ステップに進む。一方、ラインカウンタの値により左眼用画像出力のラインでないと判断した場合には次の条件分岐ステップに進む。

左眼用画像の生成ラインである場合は、ステップＳ６０２に進み、入力２次元画像に基づいて左眼用画像の生成処理を実行する。この処理は、先に［１０．画像変換部の処理シーケンスについて］において説明した処理に従った画像生成において、左眼用画像の生成パラメータを適用した処理として実行する。

ステップＳ６０１において、左眼用画像の生成ラインでないと判定されると、ステップＳ６０３に進み、右眼用画像の生成ラインであるか否かを判定する。右眼用画像の生成ラインである場合は、ステップＳ６０４に進み、入力２次元画像に基づいて右眼用画像の生成処理を実行する。この処理は、先に［１０．画像変換部の処理シーケンスについて］において説明した処理に従った画像生成において、右眼用画像の生成パラメータを適用した処理として実行する。

ステップＳ６０５において、未処理ラインの有無を判定し、未処理ラインがある場合はステップＳ６０１に戻り、未処理ラインに対する処理を実行する。
ステップＳ６０５において、未処理ラインがないと判定すると処理を終了する。

（１１−２．表示装置が時分割方式の場合の処理例について）
次に、表示装置が時分割方式の場合の処理例について、図１５に示すフローチャートを参照して説明する。
図１５に示すフローチャートは、動画像を構成する１フレームの画像処理において、フレーム単位で左眼用画像と右眼用画像を生成する場合の処理である。表示装置にあわせて、フレーム交互に左眼画像、右眼画像を生成する。なお、各フレームの左眼画像、右眼画像の生成処理は、先の項目［１０．画像変換部の処理シーケンスについて］において説明した処理に従った画像生成を行う。

図１５のフローに示すステップＳ７０１において、奥行情報と信頼度情報の更新処理の要否について判定する。これは、フレームの変更に伴って、奥行情報と信頼度情報の更新処理が必要であるか否かを判定する処理である。奥行情報、信頼度情報の更新は、例えば１フレーム単位、あるいは２フレーム単位、４フレーム単位等、予め設定した情報に従って行なう。更新する場合は、ステップＳ７０１の条件分岐ステップの判定はＹｅｓとなり、ステップＳ７０２において更新処理を実行してステップＳ７０３に進む。更新不要の場合は、ステップＳ７０２の更新処理を実行することなくステップＳ７０３に進む。

ステップＳ７０３において、処理画像のフレーム単位で左眼用画像を生成するフレームであるか否かを判定する。この判定処理は予め設定された情報に従って判定する。
具体的には、例えば、画像処理装置の出力する画像表示装置の表示方式と、画像変換部内に設けられたフレームカウンタの値に従って判断することができる。フレームカウンタは、入力画像のフレーム番号に対応する値を保持するカウンタである。

画像表示装置の出力方式が例えば、前述の時分割出力方式の場合には、画像変換部はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、左眼用画像生成ステップに進む。一方、フレームカウンタの値により左眼用画像出力のフレームでないと判断した場合には次の条件分岐ステップに進む。

左眼用画像の生成フレームである場合は、ステップＳ７０４に進み、入力２次元画像に基づいて左眼用画像の生成処理を実行する。この処理は、先に［１０．画像変換部の処理シーケンスについて］において説明した処理に従った画像生成において、左眼用画像の生成パラメータを適用した処理として実行する。

ステップＳ７０３において、左眼用画像の生成フレームでないと判定されると、ステップＳ７０５に進み、右眼用画像の生成フレームであるか否かを判定する。右眼用画像の生成フレームである場合は、ステップＳ７０６に進み、入力２次元画像に基づいて右眼用画像の生成処理を実行する。この処理は、先に［１０．画像変換部の処理シーケンスについて］において説明した処理に従った画像生成において、右眼用画像の生成パラメータを適用した処理として実行する。

ステップＳ７０７において、未処理フレームの有無を判定し、未処理フレームがある場合はステップＳ７０１に戻り、未処理フレームに対する処理を実行する。
ステップＳ７０７において、未処理フレームがないと判定すると処理を終了する。

［１２．その他の実施例について］
上述した実施例は図１、図２を参照して説明したように、例えば撮像装置の撮影画像を入力し、表示装置に対して生成画像を出力する構成例として説明した。
しかし、本発明の画像処理装置は、例えば図１６に示すように、画像処理装置５００の内部に表示部５０１を持つ構成としてもよい。
また、図１７に示すように、画像処理装置５２０の内部に撮像部５２１を備えた例えばカメラであってもよい。
さらに、図１８に示すように、画像処理装置５４０内部で生成した画像データを記録する記憶部５４１を備えた構成としてもよい。記憶部５４１は例えばフラッシュメモリやハードディスク、ＤＶＤ、ブルーレイディスク（ＢＤ）などによって構成可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、奥行情報の信頼度に応じた最適な信号処理により立体視可能な画像信号を生成する構成が実現される。具体的には、２次元画像に基づいて３次元画像表示に適用する左眼用画像や右眼用画像を生成する構成において、画像信号の領域単位の奥行情報や奥行信頼度情報を入力または生成し、これらの情報に基づいて画像変換の制御を実行する。２次元画像信号を構成する画像領域単位の奥行情報と奥行情報の信頼度を入力または生成し、例えばこれらの情報に基づいて、２Ｄ画像を３Ｄ画像に変換する変換処理態様を変更する。あるいは視差強調信号の適用レベルの制御等を実行する。これらの処理により２次元画像の奥行情報や奥行信頼度に応じた最適な画像変換が可能となる。

５１ 撮像装置
５２ 表示装置
１００ 画像処理装置
１０１ 画像入力部
１０２ 奥行情報出力部
１０３ 奥行情報信頼度出力部
１０４ 画像変換部
１０５ 画像出力部
２０１ 入力画像前処理部
２０２〜２０４ ２Ｄ−３Ｄ変換部
２０５ 画像選択部
２０６ 出力画像後処理部
３１０ 画像変換部
３１１ 入力画像前処理部
３１２ 視差強調成分算出部
３１３ 奥行補間部
３１４ 信頼度補間部
３１５ 成分量制御部
３１６ 視差画像生成部
３１７ 出力画像後処理部
３２０ 画像変換部
３２１ 入力画像前処理部
３２２ 奥行補間部
３２３ 信頼度補間部
３２４ 奥行制御部
３２５ 幾何学的視差画像生成部
３２６ 出力画像後処理部
３５１ ゲイン係数算出部
３５２ ゲイン係数算出部
３５３ 成分量調整部
３７１ ゲイン係数算出部
３７２ 奥行調整部
５０１ 表示部
５２１ 撮像部
５４１ 記憶部

Claims (12)

1. ２次元画像信号を入力する画像入力部と、
   前記２次元画像信号を構成する画像領域単位の奥行情報を入力または生成する奥行情報出力部と、
   前記奥行情報出力部の出力する奥行情報の信頼度を入力または生成する奥行情報信頼度出力部と、
   前記画像入力部から出力される画像信号と、前記奥行情報出力部の出力する奥行情報と、前記奥行情報信頼度出力部の出力する奥行情報信頼度を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
   前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
   前記画像変換部は、入力画像信号に対する画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成であり、
   前記画像変換に際して、前記奥行情報と前記奥行情報信頼度を変換制御データとして適用した変換処理を実行する画像処理装置。
2. 前記画像変換部は、
   前記奥行情報信頼度が予め既定した閾値以上であり信頼度が高いと判定した場合は、前記奥行情報を主体的に適用した画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する請求項１に記載の画像処理装置。
3. 前記画像変換部は、
   前記奥行情報信頼度が予め既定した閾値未満であり信頼度が低いと判定した場合は、前記奥行情報を利用しない画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する請求項１に記載の画像処理装置。
4. 前記画像変換部は、
   入力画像信号に対する輝度微分信号を特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う請求項３に記載の画像処理装置。
5. 前記画像変換部は、
   前記奥行情報信頼度が予め既定した第１閾値未満であり第２閾値以上であり、信頼度が中程度であると判定した場合は、前記奥行情報を補助的に利用した幾何学的でない画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する請求項１に記載の画像処理装置。
6. 前記画像変換部は、
   入力画像信号の空間的な特徴量を抽出し、抽出特徴量を適用した視差強調成分を算出する視差強調成分算出部と、
   前記奥行情報と前記奥行情報信頼度に基づく前記視差強調成分の調整を実行する成分量制御部と、
   前記成分量制御部の出力である成分量の調整された視差強調成分を適用した入力画像に対する画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する視差画像生成部を有する請求項１に記載の画像処理装置。
7. 前記画像変換部は、
   前記奥行情報信頼度に基づく前記奥行情報の重み付けを実行して重み付け設定奥行情報を生成する奥行制御部と、
   前記奥行制御部の出力である重み設定奥行情報を適用した入力画像に対する画像変換処理により、入力２次元画像から左眼用画像または右眼用画像を生成する処理を実行する視差画像生成部を有する請求項１に記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   前記画像変換部の生成した変換画像を表示する表示部を有する請求項１に記載の画像処理装置。
9. 前記画像処理装置は、さらに、
   撮像部を有し、前記画像変換部は前記撮像部の撮像画像を入力して処理を実行する請求項１に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記画像変換部の生成した変換画像を記録する記憶部を有する請求項１に記載の画像処理装置。
11. 画像処理装置において画像変換処理を実行する画像処理方法であり、
    画像入力部が、２次元画像信号を入力する画像入力ステップと、
    奥行情報出力部が、前記２次元画像信号を構成する画像領域単位の奥行情報を入力または生成する奥行情報出力ステップと、
    奥行情報信頼度出力部が、前記奥行情報出力部の出力する奥行情報の信頼度を入力または生成する奥行情報信頼度出力ステップと、
    画像変換部が、前記画像入力部から出力される画像信号と、前記奥行情報出力部の出力する奥行情報と、前記奥行情報信頼度出力部の出力する奥行情報信頼度を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
    画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを実行し、
    前記画像変換ステップは、入力画像信号に対する画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行い、前記画像変換に際して、前記奥行情報と前記奥行情報信頼度を変換制御データとして適用した変換処理を実行する画像処理方法。
12. 画像処理装置において画像変換処理を実行させるプログラムであり、
    画像入力部に、２次元画像信号を入力させる画像入力ステップと、
    奥行情報出力部に、前記２次元画像信号を構成する画像領域単位の奥行情報を入力または生成させる奥行情報出力ステップと、
    奥行情報信頼度出力部に、前記奥行情報出力部の出力する奥行情報の信頼度を入力または生成させる奥行情報信頼度出力ステップと、
    画像変換部に、前記画像入力部から出力される画像信号と、前記奥行情報出力部の出力する奥行情報と、前記奥行情報信頼度出力部の出力する奥行情報信頼度を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
    画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを実行させ、
    前記画像変換ステップにおいては、入力画像信号に対する画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせ、前記画像変換に際して、前記奥行情報と前記奥行情報信頼度を変換制御データとして適用した変換処理を実行させるプログラム。

Images