JP2010063083A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】簡易な信号処理により立体視可能な画像信号を生成する。
【解決手段】入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号あるいは輝度微分信号を非線形変換して生成した信号を入力画像信号に対して加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組とする。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。
【選択図】図１

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行してステレオ視（立体視）に対応した両眼視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する装置および方法について従来から様々な提案がなされている。２次元画像に基づいて生成された両眼視差画像は、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される。これらの左眼用画像と右眼用画像のペアによって構成される両眼視差画像を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

このような画像の生成や表示処理に関して開示した従来技術には以下のようなものがある。
例えば、特許文献１は水平方向に動きがある動画像に対する画像処理構成を開示している。具体的には左眼用画像または右眼用画像の一方に原画像を出力し、他方にはフィールド単位で遅延させた画像を出力する構成である。このような画像出力制御により、水平に移動する物体を背景よりも手前に知覚させるものである。

また、特許文献２は、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
また、特許文献３は、画像を複数の視差算出領域に分割し、各領域において画像の特徴量から擬似的な奥行きを算出し、奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトする方法を提案している。

また、特許文献４には、特許文献３と同様にして、画像の特徴量から算出される遅延量に基づいて、左眼用画像と右眼用画像の水平遅延量を変化させながら、水平遅延量に制限を与えることにより必要以上に網膜像差が生じないようにすることで眼の疲労度を防ぐ提案がなされている。
さらに、特許文献５には、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法が提案されている。
ところで、上記の従来技術には以下に示すような問題がある。

特許文献１に記載の画像変換装置では、水平方向に一定の速度で動く物体に対してのみ良好な立体視が可能である。複数の動被写体が写っているような画像や、複雑な動きが含まれる画像においては両眼視差が正しく設定されず、不自然な位置に物体が配置されたり、網膜像差が大きくなりすぎるために立体視が成立しなくなることが考えられる。
また、特許文献２に記載の画像変換装置では、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。

特許文献３、および特許文献４に記載の画像変換装置では、画像の特徴量から擬似的な奥行きを推定するが、推定は画面前方にある物体の先鋭度が高い、輝度が高い、彩度が高いなどの仮定に基づいており、必ずしも正しい推定が行われるとは限らない。このため、奥行き推定を誤った物体に対しては誤った網膜像差が与えられるため、誤った位置に配置されてしまう。

特許文献５に記載の画像変換装置は、画像の構造を比較的単純な有限の構造に当てはめる構成であり、不自然な奥行きが発生することは抑制される。しかしながら、上記の全ての従来手法に共通する問題であるが、生成された両眼視差画像には、比較的大きな網膜像差が発生する。この両眼視差画像は、立体表示装置を利用して立体表示されるが、一般的には偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、または液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式など、立体視用の特殊な眼鏡を装着して画像を観察する立体表示装置が利用される。

大きな網膜像差を与えられた両眼視差画像を見る場合、このような立体視用の眼鏡をかけた状態では網膜像差に従った立体感を知覚することが出来る。しかし、眼鏡をはずした状態で、画面をみると左右の画像が大きく重なった２重の画像が見えてしまい、通常の２次元画像として観察することはできない。つまり、これら従来の画像変換装置により変換された画像は、眼鏡をかけた状態でしか鑑賞することができなかった。

また、大きな網膜像差は、観察者の疲れにも影響すると考えられる。例えば特許文献６には、左眼と右眼の画像が大きくずれている場合には、現実世界での見え方に対して、輻輳角の制御と水晶体の調整に矛盾が生じ、この矛盾が両眼視差を用いた立体視における疲労に繋がっているとの記述がある。

また、特許文献３、特許文献４、および特許文献５に記載の画像変換装置では、画像から擬似的な奥行きを推定しているが、１枚の画像から詳細な奥行きを検出することは難しく、たとえば、樹木の枝や電線、髪の毛のような微細な構造に対する奥行きの推定を行うことは容易ではない。従って、これらの微細な被写体に立体感を持たせることはできなかった。

特開平９−１０７５６２号公報 特開平８−３０８０６号公報 特開平１０−５１８１２号公報 特開２０００−２０９６１４号公報 特開２００５−１５１５３４号公報 特開平６−１９４６０２号公報

本発明は、例えば上記の問題を解決し、奥行き推定の誤りにより誤った立体感の発生を抑制し、左右の画像が合成された場合に原画像、または原画像に近い画像を復元可能とする。すなわち、立体視対応の眼鏡をはずした状態では通常の２次元画像として鑑賞することが可能であり、かつ観察者の疲労の少ない両眼視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することにある。

本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成である画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を非線形変換して生成した信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号のエッジ領域を検出するエッジ領域検出部と、前記エッジ領域検出部が検出したエッジ領域について前記特徴量を低減させる特徴量修正を行うエンハンス制御部と、前記エンハンス制御部において生成した修正特徴量を適用し、エッジ領域の強調処理レベルを低下させた強調処理を施す画像合成部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の肌色領域を検出する肌色領域検出部と、前記肌色領域検出部が検出した肌色領域について前記特徴量を低減させる特徴量修正を行うエンハンス制御部と、前記エンハンス制御部において生成した修正特徴量を適用し、肌色領域の強調処理レベルを低下させた強調処理を施す画像合成部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を第１の特徴量として設定し、入力画像信号の輝度信号に対して前記第１の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の輝度信号として生成し、入力画像信号の色差微分信号を抽出し、該色差微分信号を第２の特徴量として設定し、入力画像信号の色差信号に対して前記第２の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の色差信号として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を第１の特徴量として設定し、入力画像信号の輝度信号に対して前記第１の特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の輝度信号の組として生成し、入力画像信号の色差微分信号を抽出し、該色差微分信号を第２の特徴量として設定し、入力画像信号の色差信号に対して前記第２の特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の色差信号の組として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、生成する左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成した画像を表示する画像表示部を有する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である。

さらに、本発明の第２の側面は、
２次元画像信号を入力する画像入力部と、
前記画像入力部から出力される画像信号を入力して、立体視を実現するための左眼用画像または右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、
左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定とした左眼用画像と右眼用画像を生成する処理を行う構成である画像処理装置にある。

さらに、本発明の第３の側面は、
画像処理装置における画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
画像変換部が、前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを有し、
前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行うステップである画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
画像変換部に、前記画像入力部から出力される画像信号を入力させて、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを有し、
前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせるステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、画像変換部が入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号、あるいは輝度微分信号を非線形変換して生成した信号を特徴量とする。入力画像信号に対してこの特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。

本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像入力部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像入力部の一処理例として、入力画像が静止画像である場合の処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像入力部の一処理例として、入力画像が動画像である場合の処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する画像信号に対する非線形変換処理の一例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．本発明の画像処理装置の第１実施例
１−１．本発明の画像処理装置の構成と処理の概要
１−２．本発明の画像処理装置の生成する左右眼用画像の構成と出力例
１−３．本発明の画像処理装置の生成する左右眼用画像の網膜像差について
１−４．本発明の画像処理装置の画像変換部の処理シーケンスについて
２．特定画像領域の検出と制御処理を含む本発明の画像処理装置の第２実施例
３．色差信号に対応する左右眼用画像信号を生成する本発明の画像処理装置の第３実施例
４．画像表示部を持つ画像処理装置の構成例

［１．本発明の画像処理装置の第１実施例］
まず、図１以下を参照して本発明の画像処理装置の第１実施例について説明する。

（１−１．本発明の画像処理装置の構成と処理の概要）
図１は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部２が対応していればどのような色空間でも構わない。

画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部１３０の処理データに適合している場合、例えば、Ｙ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０は、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

なお、色空間変換部１２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、画像変換部１３０の処理データに適合し、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。例えば輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）を用いてもよい。

色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。画像変換部１３０は、後述する処理によって左眼用と右眼用の両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

画像変換部１３０から出力されたビデオデータは、色空間逆変換部１４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間から出力画像フォーマットに従った色空間へ変換される。このとき、出力画像フォーマットがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間逆変換部１４０は、色空間の変換を行わずに出力する。このように図１には、色空間変換部１２０、色空間逆変換部１４０を有する構成を示しているが、これらの構成は、必須構成ではなく、省略した構成も可能である。

色空間逆変換部１４０から出力されたビデオデータは、画像出力部１５０に入力される。画像出力部１５０は、画像変換部１３０で変換された両眼視差画像を表示して立体視を実現することが可能な外部接続した立体表示装置において受信可能なビデオデータに変換して出力する。

なお、本実施例においては、静止画像を入力した場合、画像入力部１１０においてビデオデータに変換する方法を記載しているが、この方法に限らず、１枚の静止画像から２枚の左眼用画像と右眼用画像に変換し、２枚の静止画像として例えばメモリカードなどにファイル出力する構成にしても構わない。

図２は、画像入力部１１０の一実施例の構成を示すブロック図である。画像入力部１１０は、静止画像ファイルなどを入力するためのメモリカードインタフェース１１１、映像機器を直接接続するためのＵＳＢインタフェース１１２、ビデオ信号を入力するためのビデオインタフェース１１３、フレームメモリ１１４、デコーダ１１５、ビデオ出力部１１６で構成されている。

画像入力部１１０における処理の一例として、静止画像を入力する場合の処理シーケンスに関して図３に示すフローチャートを参照して説明する。

ステップＳ１０１において、画像入力部１１０は、静止画像の入力を開始する。
ステップＳ１０２において、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ１０４に進み、メモリカードが挿入されていない場合にはステップ１０３に進む。

ステップＳ１０３では、画像入力部１１０は、ＵＳＢインタフェース１１２に静止画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ１０５に進み、ＵＳＢ機器が接続されていない場合には、画像入力処理を終了する。

ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。

ステップＳ１０４において、画像入力部１１０は、メモリカードに記録されている静止画像ファイルから画像データを読み込む。この際、メモリカード内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。

ステップＳ１０５では、画像入力部１１０は、ＵＳＢインタフェースに接続された外部機器から静止画像データを読み込む。このとき、外部機器内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。

ステップＳ１０６では、画像入力部１１０は、ステップＳ１０４、またはステップＳ１０５において読み込まれた静止画像データをフレームメモリ１１４に記憶する。

ステップＳ１０７において、画像入力部１１０は、図示しない制御部によりフレームメモリ１１４から静止画像データを読み出す。このとき、読み出しアドレスはステップＳ１０６において記憶された画像データの先頭を示す。

ステップＳ１０８において、画像入力部１１０は、静止画像のデコード処理を行う。静止画像データは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定されたフォーマットに従って画像圧縮されていることが一般的であるため、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドの画像データを復元する。

ステップＳ１０９では、画像入力部１１０は、デコードされた静止画像データをビデオデータの１フレームとして出力する。ここで、ビデオデータのフォーマットは、画像出力部１５０で出力されるフォーマットに従う。つまり、画像出力部１５０においてＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度、６０フレーム毎秒のビデオデータとして出力される場合には、図示しない制御部においてＨＤ解像度、６０フレーム毎秒のビデオ同期信号を生成し、この信号の有効領域内に静止画像を貼り付けて出力する。

ステップＳ１１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像入力処理を終了する。画像出力処理が終了していない場合には、ステップＳ１１１に進む。

ステップＳ１１１において、画像入力部１１０は、フレームメモリ１１４の読み出しアドレスを初期化し、ステップＳ１０６で記憶した静止画像データの先頭を示すようにする。ステップＳ１１１のアドレス初期化が終了すると、ステップＳ１０７に進み、以降、ステップＳ１０７〜ステップＳ１１１の処理を繰り返す。

このようにして、画像入力部１１０は、静止画像が入力された場合には、同じ画像が連続したビデオデータへの変換を行う。

次に、画像入力部１１０における処理の一例として、動画像を入力する場合の処理シーケンスに関して図４に示すフローチャートを参照して説明する。

ステップＳ２０１において、画像入力部１１０は、動画像の入力を開始する。
ステップＳ２０２において、画像入力部１１０は、ビデオインタフェース１１３にビデオ信号が入力されているかを確認し、ビデオインタフェースから動画像データを入力するかどうかを判断する。ビデオ信号が入力されている場合にはステップＳ２０５に進み、ビデオ信号が入力されていない場合にはステップＳ２０３に進む。

ステップＳ２０３では、画像入力部は、ＵＳＢインタフェース１１２に動画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から動画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ２０６に進み、ＵＳＢ機器が接続されていない場合にはステップＳ２０４に進む。

ステップＳ２０４では、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから動画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ２０７に進み、メモリカードが挿入されていない場合には、画像入力処理を終了する。

ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。

ステップＳ２０５において、画像入力部１１０は、ビデオインタフェース１１３からビデオデータを読み込む。ビデオインタフェース１１３は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＨＤＳＤＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などのデジタルビデオ伝送方式で伝送されるビデオ信号や、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式、コンポーネント方式などのアナログビデオ伝送方式で伝送されるビデオ信号が入力される。ビデオインタフェース１１３は、アナログビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換した後、図示しないＡ／Ｄ変換器によりデジタル信号に変換する。一方、デジタルビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換する。

ステップＳ２０６において、画像入力部１１０は、ＵＳＢインタフェース１１２に接続された外部機器から動画像データを読み込む。このとき、外部機器内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。

ステップＳ２０７では、画像入力部１は、メモリカードに記録されている動画像ファイルから画像データを読み込む。この際、メモリカード内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。

ここで、ＵＳＢインタフェース１１２を介して入力される動画像データや、メモリカードに記録されている動画像データは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定された動画像圧縮方式により圧縮されたストリームデータである。このような圧縮方式は、フレームメモリを用いたデコード処理を要するため、ステップＳ２０８では、これらのストリームデータをフレームメモリ１１４に記憶する。

ステップＳ２０９において、画像入力部１は、図示しない制御部によりフレームメモリ１１４から動画像データを読み出す。

ステップＳ２１０において、画像入力部１１０は、動画像のデコード処理を行う。前述の通り、フレームメモリ１１４に記憶されている動画像データは、ＭＰＥＧなどで圧縮されたストリームデータであるので、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドのビデオデータを復元する。

ステップＳ２１１では、ビデオ出力部１１６は、ビデオインタフェース１１３から出力されるビデオデータ、または、デコーダ１１５から出力されるビデオデータのいずれかを内部データ形式によりビデオ出力する。

図５は、画像変換部１３０の一実施例の構成を示すブロック図である。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。画像変換部１３０は、微分器１３１、非線形変換部１３２、および画像合成部１３３から構成される。

微分器１３１は、画像変換部１３０に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。

非線形変換部１３２は、微分器１３１から出力される微分信号を非線形的に変換し、視差強調信号［ｅｎｈ］を生成して出力する。

図６は、非線形変換部１３２において実行する非線形変換処理の一例を示している。横軸が、微分器１３１からの入力信号であり輝度微分信号である。縦軸が、非線形変換部１３２における非線形変換処理後の出力を示している。非線形変換部１３２は、入力された微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号［ｅｎｈ］（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^β
上記式に示されるような指数関数を用いる。βは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部１３２における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

画像合成部１３３は、非線形変換部１３２から出力される視差強調信号［ｅｎｈ］と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。

なお、図５に点線で示すように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力して、画像合成部１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。

画像合成部１３３は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号［ｅｎｈ］を適用して左眼用画像と、右眼用画像を生成する処理を行う。

図７は、画像合成部１３３において実行する画像合成処理の概念を示している。図７には、上から順に、
（ａ）入力信号
（ｂ）微分信号
（ｃ）右眼用画像信号
（ｄ）左眼用画像信号
これらの各信号を示している。

（ａ）入力信号は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号は、（ａ）入力信号の微分結果である。この微分信号は、図５に示す画像変換部１３０の微分器１３１において生成される信号である。
微分器１３１の生成する微分信号は、図に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）右眼用画像信号、（ｄ）左眼用画像信号は、図５に示す画像変換部１３０の画像合成部１３３において生成する信号である。画像合成部１３３は、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３２において非線形変換した結果（非線形変換部１３２の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）とする。
画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を受け取り、例えば以下の（式１）により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
・・・・・（式１）
ここで、画像合成部１３３は、（式１）のように左眼用画像信号（Ｌｅｆｔ）と右眼用画像信号（Ｒｉｇｈｔ）の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。

すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ
このような信号の組み合わせとしてもよい。
あるいは、
Ｒｉｇｈｔ＝Ｓ
Ｌｅｆｔ＝Ｓ＋Ｅ
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。なお、網膜像差と奥行き知覚との関係については、図１２以下を参照して後段で説明する。

なお、前述したように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力（図５の点線）して、画像合成１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。この場合は、上記の視差強調信号［ｅｎｈ（Ｅ）］は微分信号に置き換えられる。

このように、画像合成部１３３は、入力画像信号の空間的な特徴量を抽出して入力画像信号に対して前記特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。特徴量は、入力画像信号の輝度微分信号、あるいはその非線形変換処理によって生成する視差強調信号である。

図７（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、（ａ）入力信号から、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を減算して生成した信号である。
（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、図７（ｃ）右眼用画像信号に示すように以下のような信号特性（ｃ１）〜（ｃ３）を持つ信号として生成される。
（信号特性）
（ｃ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｃ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｃ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

また、図７（ｄ）左眼用画像信号（Ｌｅｆｔ）は、（ａ）入力信号に、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を加算して生成した信号である。
（ｄ）左眼用画像信号（Ｌｅｆｔ）は、図７（ｄ）左眼用画像信号に示すように以下のような信号特性（ｄ１）〜（ｄ３）を持つ信号として生成される。
（信号特性）
（ｄ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｄ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｄ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

画像合成部１３３は、上述したように、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３２において非線形変換した結果（非線形変換部１３２の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

なお、画像合成部１３３は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する１フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

また、変換対象となる入力信号が動画であれば、動画を構成する各フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。ただし、動画像の場合は、最終的に画像表示を実行する画像出力部１５０（図１参照）や表示装置の制御方式に従って、右眼用画像信号と左眼用画像信号の生成態様を変更する設定としてもよい。以下、図８以下を参照して変換対象となる入力信号が動画像（ビデオデータ）である場合の画像合成部１３３の実行する複数の処理例について説明する。

まず、変換対象となる入力信号が動画像（ビデオデータ）の場合の画像合成部１３３の実行する基本的な処理例について図８を参照して説明する。図８に示す処理例は、画像合成部１３３が、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）のすべてについて、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を生成して出力する処理例である。

画像合成部１３３は、図８に示す（ａ）入力画像フレームのすべてのフレームについて、（ａ）入力画像フレームの輝度信号と、（ｂ）微分画像信号の非線形変換結果である視差強調信号とを合成して、図８に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成して出力する。この場合、画像合成部１３３は、２系統のビデオ信号を出力する。

合成処理は、例えば先に説明した式（式１）に従って行われる。すなわち、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

図８に示す基本処理例では、画像合成部１３３は、全てのフレームに対応する右眼用画像と、左眼用画像の２系統のビデオ信号を出力する。これらの２系統の信号を受領した画像出力部１５０（図１参照）は、立体視を実現する表示装置にこれらのデータを出力する。表示装置は、立体視を実現する各種の表示方式に従って出力制御を行う。表示装置の表示方式とは、例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式、あるいは、液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式などである。表示装置は、画像合成部１３３の生成した２系統のビデオ信号を利用して上記いずれかの表示方式に従った画像を表示する。

（１−２．本発明の画像処理装置の生成する左右眼用画像の構成と出力例）
画像表示方式が予め決定されている場合は、画像合成部１３３が、各画像出力方式に応じた出力画像信号を生成して出力する設定とすることができる。以下、図９〜図１１を参照して、３つの異なる表示方式に応じた画像合成部１３３の処理例について説明する。

最終的に画像表示を実行する表示装置の表示方式は以下の３種類である。
（１）左眼用画像と右眼用画像を時間分割で交互に出力する方式（図９）
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。
（２）左眼用画像と右眼用画像を時間分割で交互に出力する方式において出力フレームレートを高速とした方式（図１０）
これは、図９と同様の時間分割方式であるが、出力フレームレートを高速化した方式である。
（３）左眼用画像と右眼用画像を空間的に分離して同時出力する方式（図１１）
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。

まず、図９を参照して、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３３の処理例について説明する。

この画像表示方式の場合、画像合成部１３３は、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）を各フレーム毎に切り替えて生成して出力する。

入力するビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）として設定して出力する。出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

画像合成部１３３は、このような時間分割方式の立体表示装置に出力するため、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）に対する画像合成処理をフレーム単位で左眼用画像と右眼用画像を切り替えて実行する。すなわち、図９（ｃ），（ｄ）に示すように、左眼用画像（Ｌｅｆｔ）の合成と、右眼用画像（Ｒｉｇｈｔ）の合成をフレーム単位で交互に実施して出力する。

図９に示す例では、フレームｎでは、右眼用画像を先に説明した式（式１）に従って生成する。すなわち、図９（ａ）入力信号のフレームｎのビデオデータの輝度レベルを（Ｓ）とし、図９（ｂ）に示すフレームｎの微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ

次のフレームｎ＋１では、左眼用画像を先に説明した式（式１）に従って生成する。すなわち、図９（ａ）入力信号のフレームｎ＋１のビデオデータの輝度レベルを（Ｓ）とし、図９（ｂ）に示すフレームｎ＋１の微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

以降、フレームｎ＋２では右眼用画像、フレームｎ＋３では左眼用画像、以下、交互に各フレーム毎に右眼用画像と左眼用画像を、前述の式１に従った画像合成処理によって生成して出力する。この方式では、画像合成部１３３は、各フレームに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。すなわち１系統のビデオデータを出力する。

出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

図１０は、図９と同様、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３３の処理例である。ただし、この処理例は、図９に示す処理と異なり、入力ビデオデータの各フレームに対して、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を前述の式１に従った合成処理により合成して出力する。

画像出力を行う表示装置においては、入力ビデオデータの２倍のフレームレートで、左眼用画像と右眼用画像を時間分割に交互出力する。

この処理では、画像合成部１３３は、図１０に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。さらに、次のフレーム、すなわち、（ａ）入力画像のフレームｎ＋１とその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。

このようにして１つのフレームから左眼用画像と右眼用画像を生成する。１フレームから生成した２枚の画像、すなわち、右眼用画像と左眼用画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。

画像出力部１５０は、表示装置において、図１０（ａ）に示す入力画像のフレームレートの２倍のフレームレートで表示されるように出力する。なお、この表示タイミングに併せて画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉も同期して制御する。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるようにする。この方式では、画像合成部１３３は、１系統の入力ビデオデータの２倍のフレームレートのビデオデータを出力する。

図１１は、空間分割方式の立体表示装置に対して出力する場合の画像合成部１３３の処理例を示している。空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示される方式である。すなわち、メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１１（ｃ）に示す右眼用画像のみが観察され、左眼には図１１（ｄ）に示す左眼用画像のみが観察される。

この処理では、画像合成部１３３は、図１１に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。

さらに、画像合成部１３３は、図１１に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する。画像合成部１３３は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成して出力する。

図１１に示す（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の有効領域（黒ライン以外の画像表示部）を連結して生成した画像である。すなわち、（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の各ラインデータを交互に含む画像である。画像合成部１３３は、このようにして（ｄ）両眼視差画像を生成して出力する。この方式では、画像合成部１３３は、入力画像と同一フレームレートの１系統のビデオデータを出力する。

画像出力部１５０は、空間分割方式の立体表示装置に対して、図１１に示す（ｄ）両眼視差画像を出力表示する。空間分割方式の立体表示装置は前述したように、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタが設定されている。ユーザは偏光フィルタ方式によるメガネで観察する。メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１１（ｃ）に示す右眼用画像のみが観察され、左眼には図１１（ｄ）に示す左眼用画像のみが観察される。

図８〜図１１を参照して説明した右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、先に説明した式（式１）に従って生成される画像である。すなわち、下式に従って、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）が生成される。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
ただし、Ｓは入力信号、Ｅは、入力信号Ｓの微分信号Ｄを非線形変換した視差強調信号である。なお、先に説明したように、視差強調信号Ｅは、入力信号Ｓの微分信号Ｄの非線形変換のみならず、線形変換信号を施して得られる信号でもよい。

（１−３．本発明の画像処理装置の生成する左右眼用画像の網膜像差について）
このような右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成して、これらの画像を観察者の右眼と左眼で観察することにより奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。本発明の画像処理装置１００において生成する右眼用画像と左眼用画像の網膜像差について、以下、図１２〜図１５を参照して説明する。なお、以下において、図１２〜図１４では、微分信号Ｄに対する非線形変換処理を省略し、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を入力信号Ｓと、入力信号Ｓの微分信号Ｄを適用して以下の式に従って生成したと仮定して説明する。
Ｒｉｇｈｔ＝Ｓ−Ｄ
Ｌｅｆｔ＝Ｓ＋Ｄ

図１２は、微分信号の加減算により発生する網膜像差を説明する図である。ここでは、説明を簡単にするために、入力信号として、１次元の正弦波信号が入力された場合に、左眼用の信号と右眼用の信号がどのように生成されるかを示した。図の水平軸は、画像の水平方向の画素位置を表しており、垂直軸は、画素の輝度レベルを表している。

入力信号Ｓを以下の式（式２）で表す。
Ｓ＝ｓｉｎωｘ・・・（式２）
このとき、微分信号Ｄは、以下の式（式３）で表される。
Ｄ＝ｃｏｓωｘ・・・（式３）

このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式４）、（式５）で表される。

これらの式、（式４）、（式５）から、左眼信号Ｌは、入力信号Ｓに対してπ／４だけ位相が進み、右眼信号Ｒは、入力信号Ｓに対してπ／４だけ位相が遅れている。つまり、左眼信号Ｌは、入力信号よりも振幅が√２倍で、角周波数ωで決まる周期の１／８だけ水平左方向にずれた信号であり、右眼信号Ｒは、同様に、振幅が√２倍で、周期の１／８だけ水平右方向にずれた信号となっている。このように、左眼信号Ｌと右眼信号Ｒの間ではπ／２だけの位相差が発生し、この位相差が網膜像差として知覚され、奥行きを感じることが出来る。

上述の通り、網膜像差は、角周波数ωに依存して変化する。図１３は、図１２と比較して、入力信号の角周波数が１／２になった場合の波形を示している。図からわかる通り、網膜像差は図１２の場合の２倍になっており、両眼立体視した場合には、図１２の入力信号に比較して奥に知覚される。

また、図１４は、図１２と比較して、入力信号の角周波数が２倍になった場合の波形を示している。図からわかる通り、網膜像差は図１２の場合の１／２になっており、両眼立体視した場合には、図１２の入力信号に比較して手前に知覚される。

さらに、微分信号Ｄの振幅を制御した場合の波形を図１５に示す。図１５は、微分信号Ｄに２倍の増幅を施した場合を示しているが、より一般化するため、制御した微分信号Ｆを式（式６）で示す。
Ｆ＝ｋｃｏｓωｘ・・・（式６）
ここで、ｋは正の実数である。
なお、上記のＦは、微分信号Ｄに対する変換処理によって生成した前述の視差強調信号Ｅに相当する。

このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式７）、式（式８）で表される。

ここで、αは０〜π／２の範囲にあり、以下の式（式９）で表される。

上記式（式９）において、微分信号の増幅値ｋを大きくするとαは大きくなるため、入力信号Ｓと左眼信号Ｌ、および右眼信号Ｒとの位相差は大きくなる。従って、左眼信号Ｌと右眼信号Ｒの位相差も大きくなり、網膜像差が大きく知覚される。この結果、両眼立体視した場合にはより奥にあるように知覚されるようになる。

このように、本発明の画像処理装置１００の生成する右眼用画像と左眼用画像は、画像の空間周波数に応じて網膜像差が変化し、空間周波数の高い領域ほど網膜像差が小さくなり、空間周波数の低い領域ほど網膜像差が大きくなるような画像である。このような画像が人間の右眼、および左眼に分離して提示された場合、人間は、網膜像差の小さい領域を手前に、網膜像差の大きい領域を奥に知覚する。

しかしながら、本発明の画像処理装置１００は、上述の通り、単に局所的な空間周波数に応じた処理を行っており、画像中の個々の被写体に対してもエッジ部とテクスチャ部では異なる網膜像差が与えられている。従って、観察者は網膜像差からのみでは正確な奥行きを知覚出来ないため、画像の絵画的な特徴（構図、物体の前後関係、空間周波数）や、運動視差などを手掛かりとして、画像の大局的な奥行きは人間がこれらの画像情報から類推して知覚することが出来ると考えられる。

また、上述のとおり、主に画像のエッジ部に対して網膜像差を発生させるようにしているため、樹木の枝や電線、髪の毛といった微細な構造にも網膜像差を与えることができるため、微細な被写体の立体感を表現することも可能である。

本発明の画像処理装置は、このような特性を利用して、画像の局所的な変調処理を施すだけで、自然な立体視を実現できる両眼視差画像の生成構成を実現している。

さらに、本発明の画像処理装置は、右眼用画像（Ｒｉｇｈｔ）と左眼用画像（Ｌｅｆｔ）を先に説明した式（式１）に従って生成している。すなわち、入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成している。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。

従って、例えば、図９、または図１０を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。すなわち、入力の２次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。

また、図１１に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の１画素を知覚できなくなる程度の距離から観察する場合には垂直方向の２画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。一方、人間の網膜像差に対する視力は、通常視力の１０倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。

このように、本発明の画像処理装置によって生成される画像は、立体表示装置を用いて表示を行うことにより、立体視用のメガネを装着した場合には立体知覚が可能であり、立体視用のメガネを非装着の場合には、変換を施していない元の２次元画像として知覚することが可能となる。

（１−４．本発明の画像処理装置の画像変換部の処理シーケンスについて）
次に、図１６に示すフローチャートを参照して、本発明の一実施例に係る画像処理装置１００の画像変換部１３０の実行する処理のシーケンスについて説明する。なお、図１６に示すフローチャートは入力画像が動画像（ビデオデータ）である場合の処理である。

ステップＳ４０１において、微分器１３１（図５参照）は、画像変換部１３０に入力されるビデオデータのうち輝度信号に対して微分処理を行う。すなわち、図７（ａ）入力信号の微分処理により図７（ｂ）微分信号を生成する。

ステップＳ４０２では、非線形変換部１３２（図５参照）が、微分器１３１から出力される微分信号に対して非線形変換処理を行う。この非線形変換処理は、例えば図６に示すようなグラフに対応した非線形変換処理である。

ステップＳ４０３以下の処理は画像合成部１３３の処理である。画像合成部１３３内の制御部は、ステップＳ４０３において、現在の入力フレームに対する左眼用画像の合成を行うかどうかを判断する。この判断処理は、画像処理装置１００の出力する画像表示装置の表示方式と、画像合成部１３３内に設けられたフレームカウンタの値に従って判断する。フレームカウンタは、入力画像フレームのフレーム番号に対応する値を保持するカウンタである。

画像表示装置の出力方式が図９に示す時間分割出力方式の場合には、画像合成部１３３はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち図９に示す時間分割出力方式の場合には、偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、ステップＳ４０４に進む。一方、フレームカウンタの値により右眼用画像出力のフレームであると判断した場合にはステップＳ４０５に進む。

また、図９に示す時間分割出力方式以外の場合、すなわち、図１０に示す２倍のフレームレートによる時間分割出力方式、または、図１１に示す空間分割出力方式、あるいは、画像表示装置側で、図８に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３３は、全ての入力フレームに対して左眼用画像を合成すると判断してステップＳ４０４に進む。

ステップＳ４０４では、画像合成部１３３は、先に説明した式（式１）に従って左眼用画像（Ｌｅｆｔ）を生成する。すなわち、図７に示すように、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

一方、ステップＳ４０３において、現在の入力フレームに対する左眼用画像の合成を行わないと判定した場合は、ステップＳ４０５に進み、現在の入力フレームに対する右眼用画像を生成する。すなわち、図７に示すように、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
の合成を行う。

ステップＳ４０４において左眼用画像の生成を終了すると、ステップＳ４０６において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像処理装置の出力方式が図９に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップＳ４０７に進む。

また、図９に示す時間分割出力方式以外の場合、すなわち、図１０に示す２倍のフレームレートによる時間分割出力方式、または、図１１に示す空間分割出力方式、あるいは、画像表示装置側で、図８に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３３は、全ての入力フレームに対して右眼用画像を合成すると判断してステップＳ４０５に進む。ステップＳ４０５の処理はすでに説明した通り、前述した式（式１）に従った右眼用画像の生成処理である。

ステップＳ４０７では、画像合成部１３３の制御部は、画像の縮小処理を行うかどうかを判断する。画像処理装置の出力形式が図１１に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップＳ４０８に進む。画像処理装置の出力形式が図１１に示す空間分割出力方式以外の場合、すなわち、図８に示す左眼用画像、右眼用画像の同時出力方式、図９に示す時間分割出力方式、または、図１０に示す２倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップＳ４１０に進む。

ステップＳ４０８〜Ｓ４０９において、画像合成部１３３は、先に図１１を参照して説明したように図１１に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する（Ｓ４０８）。さらに、画像合成部１３３は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成する（Ｓ４０９）。

ステップＳ４１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像変換処理を終了する。画像出力処理が終了していない場合には、ステップＳ４１１に進む。

ステップＳ４１１では、フレームカウントをインクリメントし、ステップＳ４０１に進み、以降、ステップＳ４０１〜ステップＳ４１０の処理を繰り返す。

以上、説明の通り、本発明の一実施例の画像処理装置によれば、２次元画像データを入力とし、画像の特徴量、すなわち輝度変化部分であるエッジ部を抽出して、エッジ部の画像態様を変更すことで擬似的な右眼用画像と左眼用画像を生成する構成である。この構成より、立体表示装置において好適な両眼視差画像を生成することが可能となる。

さらに、本発明による画像処理装置では、図７に示すように、図７（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図７（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号と左眼用画像信号を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。

このように、加算信号は、入力信号に等しくなる、またはほぼ等しくなる設定である。従って、立体表示装置に表示した画像をユーザが見る場合に、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となる。すなわち、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像変換装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

［２．特定画像領域の検出と制御処理を含む本発明の画像処理装置の第２実施例］
次に、本発明の画像処理装置の第２実施例として、特定画像領域の検出を行い、検出情報に基づいて画像領域の特徴に応じた強調処理制御を行う画像処理装置の例について説明する。上述した第１実施例の画像処理装置１００は、図５に示す画像変換部１３０において、輝度信号の微分信号を生成して、入力信号に対して、微分信号を加算、または減算することで、右眼用画像と左眼用画像を生成していた。

この処理によって生成した右眼用画像と左眼用画像は、図７に示すように信号のエッジ周辺において原信号の振幅を超えるオーバーシュートやアンダーシュートが発生する傾向がある。このオーバーシュートやアンダーシュートは、観察画像の不自然さを発生させる要因となる。

また、人間は肌色の階調に敏感であるとされており、例えば業務用ビデオカメラなどでは、肌色領域の輪郭強調処理を弱めるスキントーンディテールと呼ばれる機能が搭載されている場合がある。図５に示した画像変換部では、原信号の高域強調を伴うため、立体視した場合に肌色領域のしわやあれなどが強調されてしまう問題がある。

以下に説明する第２実施例は、これらの問題を解決するため、処理対象となる入力画像からエッジ領域や肌色領域を検出し、エッジ周辺や肌色領域では視差強調信号の寄与を小さくする処理を行う。この処理によって、エッジ領域におけるオーバーシュートやアンダーシュートの発生を低減し、また肌をなめらかに表現することが可能となる。

本実施例に係る画像処理装置の全体構成は、図１に示す画像処理装置１００と同様の構成である。すなわち画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、色空間変換部１２０に入力する。

色空間変換部１２０は、入力信号から輝度信号と色差信号を生成し、画像変換部１３０に出力する。画像変換部１３０は、輝度信号と色差信号を用いて左右眼用画像を生成する。画像変換部１３０が生成した左右眼用画像は、色空間逆変換部１４０に入力され、出力信号に応じた信号に変換され、画像出力部１５０を介して表示部に出力される。

本実施例２では、画像変換部１３０の構成が、先の実施例１において説明した図５の構成とは異なる構成を持つ。実施例２における画像変換部１３０の構成について、図１７を参照して説明する。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

図１７に示すように、本実施例の画像変換部１３０は、微分器１３１、非線形変換部１３２、画像合成部１３３、エッジ領域検出部１３４、肌色領域検出部１３５、およびエンハンス制御部１３６を有する。

微分器１３１は、先の実施例１において図５を参照して説明した微分器１３１と同様、画像変換部１３０に入力される画像信号、例えばビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。

非線形変換部１３２も、先の実施例１において図５を参照して説明した非線形変換部１３２と同様、微分器１３１から出力される微分信号を非線形的に変換し、視差強調信号として出力する。

画像合成部１３３も、先の実施例１において図５を参照して説明した画像合成部１３３と同様、非線形変換部１３２から出力される視差強調信号と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。

エッジ領域検出部１３４は、画像変換部１３０に入力されたビデオデータからエッジ領域と平坦領域を識別するエッジ領域識別信号を生成して出力する。具体的には、例えば入力ビデオ信号から各画素の輝度信号を取り出し、輝度信号の周囲領域における平坦度合を得るため周辺領域における分散値を算出して、算出した分散値を画素対応のエッジ領域識別信号として出力する。分散値の値に応じてエッジ領域であるか平坦領域であるかを判別することができる。なお、エッジ領域検出部１３４が算出して出力する信号は、分散値に限らず、エッジ領域と平坦領域を判別することが可能な信号であればよい。

肌色領域検出部１３５は、画像変換部１３０に入力されたビデオデータから肌色領域を識別する肌色領域識別信号を生成して出力する。具体的には、例えば入力ビデオ信号から色差信号を取り出し、色差信号と予め設定した閾値との比較に基づいて人物の肌色の領域を検出し、肌色として認識された画素を［１］、非肌色の画素を［０］とする設定とした画素対応の肌色領域識別信号を出力する。

肌色領域検出部１３５の入力する色差信号は、（Ｃｂ，Ｃｒ）、または（Ｕ，Ｖ）などの色差信号であり、肌色領域検出部１３５は入力する色差信号に対応する肌色判別用の閾値データを保持し、閾値データと入力色差信号との比較を画素単位で実行して、各画素が肌色であるか否かを判定する。

なお、肌色領域検出部１３５における肌色の検出は、上述のような単純な色差信号と閾値との比較処理で実現可能であるが、この方法に限定するものではなく、顔検出や人体検出技術を用いて、より正確に肌色領域を検出する方法を用いても良い。

エンハンス制御部１３６は、非線形変換部１３２から出力される視差強調信号［ｅｎｈ（Ｅ）］、エッジ領域検出部１３４から出力されるエッジ領域識別信号（例えば分散値）、および肌色領域検出部１３５から出力される肌色領域識別信号（例えば［０］，［１］の識別信号）を受け取り、エッジ領域識別信号と肌色領域識別信号に応じて視差強調信号［ｅｎｈ（Ｅ）］に対してゲイン制御処理を行う。

エッジ領域検出部１３４から出力されるエッジ領域識別信号である分散値は、エッジなどの輝度変化の大きい領域では大きく、平坦な領域では小さくなる信号である。

先に説明したように、第１実施例の図５に示す構成を持つ画像変換部１３０は、図７に示した通り、信号のエッジ周辺において原信号の振幅を超えるオーバーシュートやアンダーシュートが発生する傾向にある。この問題を解決するため、本実施例においては、画素値の変化が少ない平坦な領域では視差強調信号の寄与を大きくし、画素値の変化が大きいエッジ周辺では視差強調信号の寄与を小さくすることにより、オーバーシュート、アンダーシュートの発生を低減する。従って、エンハンス制御部１３６は、以下のような反比例式（式１０）により与えられるエッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］を計算し、視差強調信号に乗ずることで視差強調信号の寄与を制御する。

上記式（式１０）において、
ｖａｒは１で正規化した分散値であり、
ａは比例定数である。
ｖａｒが０でない場合には、エッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］は、最大値［１］でクリッピングされる。ｖａｒが０の場合には、エッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］は［１］になる。エッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］は、上記式による変換に限定するものではなく、平坦な領域では大きくなり、エッジ周辺で小さくなるような特性を持つ変換を実現するものであれば上記式と異なる変換式を適用してもよい。

肌色領域検出部１３５から出力される肌色領域識別信号は、肌色の領域のみで［１］となる信号である。人間は肌色の階調に敏感であるとされており、業務用ビデオカメラなどでは、肌色領域の輪郭強調処理を弱めるスキントーンディテールと呼ばれる機能が搭載されている場合がある。先に説明したように、第１実施例の図５に示す構成を持つ画像変換部１３０は、原信号の高域強調を伴うため、立体視した場合に肌色領域のしわやあれなどが強調されてしまう問題がある。この問題を解決するため、本実施例においては、肌色領域では視差強調信号の寄与を小さくすることにより、肌の肌理がなめらかに表現されるようにする。従って、エンハンス制御部１３６は、以下のような反比例式（式１１）により与えられる肌色対応ゲイン量［ｇａｉｎ_ｓｋｉｎ］を計算し、視差強調信号に乗ずることで視差強調信号の寄与を制御する。

上記式（式１１）において、
ｓｋｉｎ_ｉは、画素位置ｉにおける肌色識別信号であり、
ｂは比例定数である。
このように、肌色対応ゲイン量［ｇａｉｎ_ｓｋｉｎ］は、周囲ｎ画素の肌色識別信号の平均値に反比例し、最大値１でクリッピングされる。ここで、肌色対応ゲイン量［ｇａｉｎ_ｓｋｉｎ］は、上記式による変換に限定するものではなく、肌色領域で小さくなるような変換を実現するものであれば上記式と異なる変換式を適用してもよい。

エンハンス制御部１３６は、下記の式（式１２）に示すとおり、上記の式（式１０）により与えられるエッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］と、上記の式（式１１）により与えられる肌色対応ゲイン量［ｇａｉｎ_ｓｋｉｎ］を、非線形変換部１３２から入力する視差強調信号［ｅｎｈ］に乗算することによりゲイン制御された修正視差強調信号［ｅｎｈ'］を出力する。

上記の修正視差強調信号［ｅｎｈ'］の算出は、各画素単位で実行され、各画素対応のエッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］と、肌色対応ゲイン量［ｇａｉｎ_ｓｋｉｎ］に基づいて各画素単位で修正視差強調信号［ｅｎｈ'］を算出する。

このように、図１７に示す画像変換部１３０のエンハンス制御部１３６は、修正視差強調信号［ｅｎｈ'］を算出し、修正視差強調信号［ｅｎｈ'］を画像合成部１３３に出力する。

画像合成部１３３の処理は、先に説明した実施例１の画像合成部１３３の処理と同様の処理である。画像合成部１３３は、エンハンス制御部１３６から出力される修正視差強調信号［ｅｎｈ'］と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。

画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］に対して画像領域単位で修正（エンハンス制御）した修正視差強調信号［ｅｎｈ'（Ｅ'）］を受け取り、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ＋Ｅ'

ここで、画像合成部１３３は、左眼用画像信号（Ｌｅｆｔ）と右眼用画像信号（Ｒｉｇｈｔ）の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ'
Ｌｅｆｔ＝Ｓ
このような信号の組み合わせとしてもよい。
あるいは、
Ｒｉｇｈｔ＝Ｓ
Ｌｅｆｔ＝Ｓ＋Ｅ'
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。

本実施例では、図１７を参照して説明したように、画像変換部１３０に、エッジ領域検出部１３４、肌色領域検出部１３５、エンハンス制御部１３６を設定し、入力画像の画像特徴に応じて修正視差強調信号［ｅｎｈ'］を算出する構成としている。

エンハンス制御部１３６は、例えばエッジ領域では、非線形変換部１３２から入力する視差強調信号［ｅｎｈ（Ｅ）］に小さなエッジ対応ゲイン量［ｇａｉｎ_ｆｌａｔ］を乗算する。

エンハンス制御部１３６は、この処理により、エッジ領域では平面領域に比較して小さな値となる修正視差強調信号［ｅｎｈ'（Ｅ'）］を生成する。この処理によって、画像合成部１３３で出力される左眼用画像と右眼用画像において、エッジ周辺に発生するオーバーシュート、およびアンダーシュートを抑制し、立体視において良好な画質を得ることが可能となる。さらに、エッジ周辺のみにおいて視差強調信号［ｅｎｈ（Ｅ）］の寄与を下げることにより、画像全体の視差量を維持することができるため、全体の奥行き感には大きな影響はない。

また、図１７に示す画像変換部１３０は、上述の通り、肌色領域検出部１３５で検出された肌色領域に対して非線形変換部１３２から入力する視差強調信号［ｅｎｈ（Ｅ）］に小さな肌色対応ゲイン量［ｇａｉｎ_ｓｋｉｎ］を乗算する。

エンハンス制御部１３６は、肌色領域では、その他の領域に比較して小さな値となる修正視差強調信号［ｅｎｈ'（Ｅ'）］を生成する。この処理により、画像合成部１３３で出力される左眼用画像と右眼用画像において、人物の顔などの肌色領域でのしわやあれなどの強調を抑えることができ、立体視において良好な画質を得ることが可能となる。

［３．色差信号に対応する左右眼用画像信号を生成する本発明の画像処理装置の第３実施例］
次に、本発明の画像処理装置の第３実施例として、色差信号に対応する左右眼用画像信号を生成する画像処理装置の構成について説明する。

本実施例に係る画像処理装置の全体構成は、図１に示す画像処理装置１００と同様の構成である。すなわち画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、色空間変換部１２０に入力する。

色空間変換部１２０は、入力信号から輝度信号と色差信号を生成し、画像変換部１３０に出力する。画像変換部１３０は、輝度信号と色差信号を用いて左右眼用画像を生成する。画像変換部１３０が生成した左右眼用画像は、色空間逆変換部１４０に入力され、出力信号に応じた信号に変換され、画像出力部１５０を介して表示部に出力される。

本実施例３では、画像変換部１３０の構成が、先の実施例１において説明した図５の構成とは異なる構成を持つ。実施例２における画像変換部１３０の構成について、図１８を参照して説明する。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

図１８に示すように、本実施例の画像変換部１３０は、微分器１３１、非線形変換部１３２、画像合成部１３３、色差信号微分器１３７、および第２画像合成部１３８を有する。微分器１３１、非線形変換部１３２、画像合成部１３３は、図５を参照して説明したと同様の処理を行う。これらの処理についての説明は省略する。

色差信号微分器１３７は、画像変換部１３０に入力されたビデオデータから色差信号（Ｃｂ，Ｃｒ）または（Ｕ，Ｖ）を取り出し、色差信号各々に対する微分信号を生成する。微分信号の生成は、微分器１３１による輝度信号に対する微分信号の生成と同様であり、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。

第２画像合成部１３８は、
（ａ）色差信号微分器１３７から出力される色差信号の微分信号［Ｄｃ］、
（ｂ）画像変換部１３０に入力されたビデオデータの色差信号［Ｃ］、
（ｃ）微分器１３１から出力される輝度信号の微分信号、
（ｄ）非線形変換部１３２から出力される視差強調信号［ｅｎｈ（Ｅ）］、
これらの各信号を入力する。
第２画像合成部１３８は、これらの信号を受け取り、ビデオデータを構成する各フレーム画像の色差信号と、色差信号の微分信号を合成し、左眼用画像と右眼用画像の色差信号を生成する処理を行う。具体的には、第２画像合成部１３８は、色差信号の微分信号［Ｄｃ］と、ビデオデータの色差信号［Ｃ］を以下の式（式１３）により合成し、左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］を生成する。

上記式（式１３）において、
色差信号Ｃは、色差信号のいずれかのチャンネル（ＣｂまたはＣｒ）、あるいは（ＵまたはＶ）を表している。
微分信号Ｄｃは、色差信号Ｃを微分したものである。
また、Ｄｙは輝度信号の微分信号、
ｅｎｈは視差強調信号を表している。

なお、画像変換部１３０に入力される色差信号が（Ｃｂ，Ｃｒ）であれば、第２画像合成部１３８は、色差信号Ｃｂに対応する左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］と、色差信号Ｃｒに対応する左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］とを生成する。
また、画像変換部１３０に入力される色差信号が（Ｕ，Ｖ）であれば、第２画像合成部１３８は、色差信号Ｕに対応する左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］と、色差信号Ｖに対応する左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］とを生成する。

上記式（式１３）の合成式は、輝度信号の視差強調信号［ｅｎｈ］と微分信号［Ｄｙ］の比［ｅｎｈ／Ｄｙ］によって強調量を決める設定である。すなわち、
左眼用画像の色差信号［Ｌｅｆｔ_ｃ］は、視差強調信号［ｅｎｈ］と微分信号［Ｄｙ］の比［ｅｎｈ／Ｄｙ］に対する色差信号の微分信号Ｄｃの乗算値［Ｄｃ×（ｅｎｈ／Ｄｙ）］を元の色差信号Ｃに加算して生成する。
右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］は、視差強調信号［ｅｎｈ］と微分信号［Ｄｙ］の比［ｅｎｈ／Ｄｙ］に対する色差信号の微分信号Ｄｃの乗算値［Ｄｃ×（ｅｎｈ／Ｄｙ）］を元の色差信号Ｃから減算して生成する。

なお、上記式（式１３）の合成式は、本実施例における第２画像合成部１３８の実行する合成処理の一例に過ぎず、第２画像合成部１３８は、左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］の各々を、色差信号とその微分信号の加算処理と減算処理によって生成すれば、上記式以外の合成処理を実行してもよい。

このように、本実施例の画像処理装置では、図１８に示す画像変換部１３０によって、色差信号の微分信号を生成して、元の色差信号と合成する処理を行って、左眼用画像の色差信号［Ｌｅｆｔ_ｃ］と右眼用画像の色差信号［Ｒｉｇｈｔ_ｃ］の各々を生成する。この構成により、彩度の高い被写体の境界付近で発生する疑色や色にじみを抑制することが可能となる。さらに、輝度信号の視差強調信号と微分信号の比によって強調量を決めることにより、輝度信号と同程度のエンハンスを実現することが可能となる。

図１８に示す画像変換部１３０の処理についてまとめて説明する。
図１８に示す画像変換部１３０の微分器１３１、非線形変換部１３２、画像合成部１３３の処理は、前述の実施例１と同様の処理である。すなわち、微分器１３１が入力画像信号の輝度微分信号を抽出し、非線形変換部１３２において微分信号の非線形変換を実行し、この結果を第１の特徴量として設定する。画像合成部１３３は、入力画像信号の輝度信号に対してこの第１の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の輝度信号として生成する。

図１８に示す画像変換部１３０の色差信号微分器１３７と第２画像合成部１３８の処理は以下の処理となる。色差信号微分器１３７は、入力画像信号の色差微分信号を抽出し、この色差微分信号を第２の特徴量として設定する。第２画像合成部１３８は、入力画像信号の色差信号に対して第２の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の色差信号として生成する。

このような処理によって、左眼用画像と右眼用画像の輝度信号と色差信号が得られる。なお、上述の処理によって、左眼用画像と右眼用画像の輝度信号と色差信号を生成して出力する構成としてもよいが、上述の特徴量を用いた加算または減算処理によって左眼用画像、または右眼用画像の一方の眼用画像の輝度信号と色差信号のみを生成して、入力画像信号に処理を加えない非変換信号を変換信号と異なる眼用の画像として設定して出力する構成としてもよい。

［４．画像表示部を持つ画像処理装置の構成例］
図１に示す画像処理装置は、画像表示部を持たない画像処理装置として説明した。しかし、画像表示部を持つ画像処理装置として構成してもよい。図１９は、画像表示部を持つ画像処理装置の一実施例を示す図である。

画像表示装置３００は、画像入力部３１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータや、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）、あるいは（Ｙ，Ｕ，Ｖ）などの信号からなるビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部３２が対応していればどのような色空間でも構わない。

画像入力部３１０から出力されたビデオデータは、色空間変換部３２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部の処理対象とするデータ、例えばＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部３２０、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部２は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

ここで、色空間変換部３２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。

色空間変換部３２０から出力されたビデオデータは、画像変換部３３０に入力される。画像変換部３３０は、先に説明した処理によって左眼用と右眼用の両眼視差画像を生成し、画像表示部３５０の形式に従ってこれらの画像を合成して出力する。

画像変換部３３０から出力されたビデオデータは、色空間逆変換部３４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間からＲ，Ｇ，Ｂ色空間へ変換される。

色空間逆変換部３４０から出力されたビデオデータは、画像表示部３５０に入力される。画像表示部３５０は、画像出力部と表示部とを兼ね備えた構成であり、以下に示す立体表示方式（時間分割方式または空間分割方式）のいずれかの方式よって画像表示を行う。

（時間分割方式）
時間分割方式の立体表示方法においては、入力されるビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像、および右眼用画像（または、右眼用画像、および左眼用画像）と認識し、ユーザが装着する液晶シャッタ方式によるメガネを制御して、左眼と右眼に映像が時間的に交互に提示されるようにする。この表示方式では、画像表示部３５０は、左眼用画像、および右眼用画像の出力切り替えタイミングを、鑑賞者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させる設定として制御する。

（空間分割方式）
空間分割方式の立体表示方法においては、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示されるようにする。

以上、説明の通り、本発明による画像処理装置によれば、２次元画像データを入力とし、画像の特徴量から擬似的に右眼用画像と左眼用画像を生成することにより、両眼視差を利用した立体表示を行うことが可能である。さらに、本発明による画像処理装置によれば、左眼用画像と右眼用画像を加算したときに入力画像と等価となるように画像変換を行うことにより、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となり、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像表示装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

なお、これまで複数の実施例について説明してきたが、各実施例を組み合わせた構成としてもよい。すなわち上述の実施例１〜３や画像表示部を有する画像処理装置の各々についての任意の組み合わせ、例えば実施例２と実施例３を組み合わせた機能を持つ画像処理装置など、各実施例の有する機能を併せ持つ画像処理装置を構成することが可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、画像変換部が入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号、あるいは輝度微分信号を非線形変換して生成した信号を特徴量とする。入力画像信号に対してこの特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。

１００ 画像処理装置
１１０ 画像入力部
１１１ メモリカードインタフェース
１１２ ＵＳＢインタフェース
１１３ ビデオインタフェース
１１４ フレームメモリ
１１５ デコーダ
１１６ ビデオ出力部
１２０ フレームメモリ
１３０ 画像変換部
１３１ 微分器
１３２ 非線形変換部
１３３ 画像合成部
１３４ エッジ領域検出部
１３５ 肌色領域検出部
１３６ エンハンス制御部
１３７ 色差信号微分器
１３８ 第２画像合成部
１４０ 色空間逆変換部
１５０ 画像出力部
３００ 画像処理装置
３１０ 画像入力部
３２０ フレームメモリ
３３０ 画像変換部
３４０ 色空間逆変換部
３５０ 画像表示部

Claims (20)

1. ２次元画像信号を入力する画像入力部と、
   前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
   前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
   前記画像変換部は、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成である画像処理装置。
2. 前記画像変換部は、
   入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である請求項１に記載の画像処理装置。
3. 前記画像変換部は、
   入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う構成である請求項１に記載の画像処理装置。
4. 前記画像変換部は、
   入力画像信号の輝度微分信号を抽出し、該輝度微分信号を非線形変換して生成した信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像として生成する処理を行う構成である請求項１に記載の画像処理装置。
5. 前記画像変換部は、
   入力画像信号のエッジ領域を検出するエッジ領域検出部と、
   前記エッジ領域検出部が検出したエッジ領域について前記特徴量を低減させる特徴量修正を行うエンハンス制御部と、
   前記エンハンス制御部において生成した修正特徴量を適用し、エッジ領域の強調処理レベルを低下させた強調処理を施す画像合成部を有する請求項１に記載の画像処理装置。
6. 前記画像変換部は、
   入力画像信号の肌色領域を検出する肌色領域検出部と、
   前記肌色領域検出部が検出した肌色領域について前記特徴量を低減させる特徴量修正を行うエンハンス制御部と、
   前記エンハンス制御部において生成した修正特徴量を適用し、肌色領域の強調処理レベルを低下させた強調処理を施す画像合成部を有する請求項１に記載の画像処理装置。
7. 前記画像変換部は、
   入力画像信号の輝度微分信号を抽出し、該輝度微分信号を第１の特徴量として設定し、入力画像信号の輝度信号に対して前記第１の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の輝度信号として生成し、
   入力画像信号の色差微分信号を抽出し、該色差微分信号を第２の特徴量として設定し、入力画像信号の色差信号に対して前記第２の特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像の色差信号として生成し、
   入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である請求項１に記載の画像処理装置。
8. 前記画像変換部は、
   入力画像信号の輝度微分信号を抽出し、該輝度微分信号を第１の特徴量として設定し、入力画像信号の輝度信号に対して前記第１の特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の輝度信号の組として生成し、
   入力画像信号の色差微分信号を抽出し、該色差微分信号を第２の特徴量として設定し、入力画像信号の色差信号に対して前記第２の特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の色差信号の組として生成する処理を行う構成である請求項１に記載の画像処理装置。
9. 前記画像変換部は、
   動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である請求項１に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、
    前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である請求項９に記載の画像処理装置。
11. 前記画像変換部は、
    動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である請求項１に記載の画像処理装置。
12. 前記画像変換部は、
    動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、
    生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である請求項１に記載の画像処理装置。
13. 前記画像変換部は、
    生成する左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である請求項１に記載の画像処理装置。
14. 前記画像処理装置は、さらに、
    前記画像変換部の生成した画像を表示する画像表示部を有する構成である請求項１〜１３いずれかに記載の画像処理装置。
15. 前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である請求項１４に記載の画像処理装置。
16. 前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である請求項１５に記載の画像処理装置。
17. 前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である請求項１４に記載の画像処理装置。
18. ２次元画像信号を入力する画像入力部と、
    前記画像入力部から出力される画像信号を入力して、立体視を実現するための左眼用画像または右眼用画像を生成して出力する画像変換部と、
    前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
    前記画像変換部は、
    左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定とした左眼用画像と右眼用画像を生成する処理を行う構成である画像処理装置。
19. 画像処理装置における画像処理方法であり、
    画像入力部が、２次元画像信号を入力する画像入力ステップと、
    画像変換部が、前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
    画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを有し、
    前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行うステップである画像処理方法。
20. 画像処理装置において画像処理を実行させるプログラムであり、
    画像入力部に、２次元画像信号を入力させる画像入力ステップと、
    画像変換部に、前記画像入力部から出力される画像信号を入力させて、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
    画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを有し、
    前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせるステップであるプログラム。