JP2012120057A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】簡易な信号処理により立体視可能な画像信号を生成し、かつ過度な高域強調を低減する。
【解決手段】入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号に対する輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算／減算した信号を左眼用画像と右眼用画像の信号とする。さらに入力画像信号あるいは生成した左／右眼用画像信号に対する低域通過フィルタによるフィルタリング処理を行う。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となり、特徴量として生成される微分信号に基づく過度な高域強調が低減された自然な画像を生成できる。
【選択図】図５

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行してステレオ視（立体視）に対応した両眼視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する装置および方法について従来から様々な提案がなされている。２次元画像に基づいて生成された両眼視差画像は、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される。これらの左眼用画像と右眼用画像のペアによって構成される両眼視差画像を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

このような画像の生成や表示処理に関して開示した従来技術には以下のようなものがある。
例えば、特許文献１は水平方向に動きがある動画像に対する画像処理構成を開示している。具体的には左眼用画像または右眼用画像の一方に原画像を出力し、他方にはフィールド単位で遅延させた画像を出力する構成である。このような画像出力制御により、水平に移動する物体を背景よりも手前に知覚させるものである。

また、特許文献２は、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
また、特許文献３は、画像を複数の視差算出領域に分割し、各領域において画像の特徴量から擬似的な奥行きを算出し、奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトする方法を提案している。

また、特許文献４には、特許文献３と同様にして、画像の特徴量から算出される遅延量に基づいて、左眼用画像と右眼用画像の水平遅延量を変化させながら、水平遅延量に制限を与えることにより必要以上に網膜像差が生じないようにすることで眼の疲労度を防ぐ提案がなされている。
さらに、特許文献５には、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法が提案されている。
ところで、上記の従来技術には以下に示すような問題がある。

特許文献１に記載の画像変換装置では、水平方向に一定の速度で動く物体に対してのみ良好な立体視が可能である。複数の動被写体が写っているような画像や、複雑な動きが含まれる画像においては両眼視差が正しく設定されず、不自然な位置に物体が配置されたり、網膜像差が大きくなりすぎるために立体視が成立しなくなることが考えられる。
また、特許文献２に記載の画像変換装置では、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。

特許文献３、および特許文献４に記載の画像変換装置では、画像の特徴量から擬似的な奥行きを推定するが、推定は画面前方にある物体の先鋭度が高い、輝度が高い、彩度が高いなどの仮定に基づいており、必ずしも正しい推定が行われるとは限らない。このため、奥行き推定を誤った物体に対しては誤った網膜像差が与えられるため、誤った位置に配置されてしまう。

特許文献５に記載の画像変換装置は、画像の構造を比較的単純な有限の構造に当てはめる構成であり、不自然な奥行きが発生することは抑制される。しかしながら、上記の全ての従来手法に共通する問題であるが、生成された両眼視差画像には、比較的大きな網膜像差が発生する。この両眼視差画像は、立体表示装置を利用して立体表示されるが、一般的には偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、または液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式など、立体視用の特殊な眼鏡を装着して画像を観察する立体表示装置が利用される。

大きな網膜像差を与えられた両眼視差画像を見る場合、このような立体視用の眼鏡をかけた状態では網膜像差に従った立体感を知覚することが出来る。しかし、眼鏡をはずした状態で、画面をみると左右の画像が大きく重なった２重の画像が見えてしまい、通常の２次元画像として観察することはできない。つまり、これら従来の画像変換装置により変換された画像は、眼鏡をかけた状態でしか鑑賞することができなかった。

また、大きな網膜像差は、観察者の疲れにも影響すると考えられる。例えば特許文献６には、左眼と右眼の画像が大きくずれている場合には、現実世界での見え方に対して、輻輳角の制御と水晶体の調整に矛盾が生じ、この矛盾が両眼視差を用いた立体視における疲労に繋がっているとの記述がある。

また、特許文献３、特許文献４、および特許文献５に記載の画像変換装置では、画像から擬似的な奥行きを推定しているが、１枚の画像から詳細な奥行きを検出することは難しく、たとえば、樹木の枝や電線、髪の毛のような微細な構造に対する奥行きの推定を行うことは容易ではない。従って、これらの微細な被写体に立体感を持たせることはできなかった。

これらの課題を解決する構成として本出願人は、特許文献７（特開２０１０−６３０８３）を出願した。この特許文献７は、入力画像に含まれる空間的な特徴量を抽出し、抽出した特徴量を用いた入力画像に対する変換処理により左眼用画像または右眼用画像を生成する構成を開示している。この特許文献７の構成においては、特徴量の抽出手段として微分器等のハイパスフィルタを用い、ハイパスフィルタを強くかけることで立体感の強調を実現している。
しかしながら、この特許文献７に開示した構成では、ハイパスフィルタに起因する高域強調が発生し画像が不自然となる場合があるという新たな課題が発生する。

特開平９−１０７５６２号公報 特開平８−３０８０６号公報 特開平１０−５１８１２号公報 特開２０００−２０９６１４号公報 特開２００５−１５１５３４号公報 特開平６−１９４６０２号公報 特開２０１０−６３０８３号公報

本発明は、例えば上記の問題を解決し、奥行き推定の誤りにより誤った立体感の発生を抑制し、左右の画像が合成された場合に原画像、または原画像に近い画像を復元可能とする。すなわち、立体視対応の眼鏡をはずした状態では通常の２次元画像として鑑賞することが可能であり、かつ観察者の疲労の少ない両眼視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することにある。

さらに、本発明は、立体感の強調の結果生じる、微分器等のハイパスフィルタに起因する高域強調を抑制し、より自然で、かつ観察者の疲労の少ない両眼視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することにある。

本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成であり、
前記画像変換部は、さらに、
前記特徴量の抽出前の前処理として入力画像信号に対する低域通過フィルタによるフィルタリング処理、
または生成した左眼用画像と右眼用画像に対する後処理として低域通過フィルタによるフィルタリング処理または画像縮小処理、
上記フィルタリング処理または画像縮小処理の少なくともいずれかの処理を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号、または入力画像信号に対する前記低域通過フィルタによるフィルタリング処理後の信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号、または入力画像信号に対する前記低域通過フィルタによるフィルタリング処理後の信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号、または入力画像信号に対する前記低域通過フィルタによるフィルタリング処理後の信号の輝度微分信号を抽出し、該輝度微分信号を非線形変換して生成した信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、生成する左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成した画像を表示する画像表示部を有する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である。

さらに、本発明の第２の側面は、
画像処理装置における画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
画像変換部が、前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを有し、
前記画像変換ステップにおいて、
入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行い、さらに、
前記特徴量の抽出前の前処理として入力画像信号に対する低域通過フィルタによるフィルタリング処理、
または生成した左眼用画像と右眼用画像に対する後処理として低域通過フィルタによるフィルタリング処理または画像縮小処理、
上記フィルタリング処理または画像縮小処理の少なくともいずれかの処理を実行する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
画像変換部に、前記画像入力部から出力される画像信号を入力させて、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを有し、
前記画像変換ステップにおいて、
入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせ、さらに、
前記特徴量の抽出前の前処理として入力画像信号に対する低域通過フィルタによるフィルタリング処理、
または生成した左眼用画像と右眼用画像に対する後処理として低域通過フィルタによるフィルタリング処理または画像縮小処理、
上記フィルタリング処理または画像縮小処理の少なくともいずれかの処理を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、簡易な信号処理により立体視可能な画像信号を生成し、かつ過度な高域強調を低減する構成が実現される。

具体的には、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号に対する輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算／減算した信号を左眼用画像と右眼用画像の信号とする。さらに入力画像信号あるいは生成した左／右眼用画像信号に対する低域通過フィルタによるフィルタリング処理を行う。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となり、特徴量として生成される微分信号に基づく過度な高域強調が低減された自然な画像を生成できる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。

本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像入力部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像入力部の一処理例として、入力画像が静止画像である場合の処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像入力部の一処理例として、入力画像が動画像である場合の処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する画像信号に対する非線形変換処理の一例について説明する図である。 低域通過フィルタを持たない画像変換部の生成する信号例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の生成する信号例であり、低域通過フィルタを有する画像変換部の生成する信号例について説明する図である。 低域通過フィルタを有する画像変換部と低域通過フィルタを持たない画像変換部の生成する信号の比較例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は以下の項目に従って行う。
１．本発明の画像処理装置の第１実施例について
１−１．本発明の画像処理装置の構成と処理の概要
１−２．本発明の画像処理装置の生成する左右眼用画像の構成と出力例
１−３．本発明の画像処理装置の生成する左右眼用画像の網膜像差について
１−４．本発明の画像処理装置の画像変換部の処理シーケンスについて
２．本発明の画像処理装置のその他の実施例について
２−１．画像合成部の後段に低域通過フィルタを設定した実施例（実施例２）
２−２．微分器前段と、画像合成部の後段の双方に低域通過フィルタを設定した実施例（実施例３）
２−３．画像合成部の後段に画像縮小部を設定した実施例（実施例４）
３．画像表示部を持つ画像処理装置の構成例

［１．本発明の画像処理装置の第１実施例について］
まず、図１以下を参照して本発明の画像処理装置の第１実施例について説明する。

（１−１．本発明の画像処理装置の構成と処理の概要）
図１は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部２が対応していればどのような色空間でも構わない。

画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部１３０の処理データに適合している場合、例えば、Ｙ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０は、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

なお、色空間変換部１２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、画像変換部１３０の処理データに適合し、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。例えば輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）を用いてもよい。

色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。画像変換部１３０は、後述する処理によって左眼用と右眼用の両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

画像変換部１３０から出力されたビデオデータは、色空間逆変換部１４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間から出力画像フォーマットに従った色空間へ変換される。このとき、出力画像フォーマットがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間逆変換部１４０は、色空間の変換を行わずに出力する。このように図１には、色空間変換部１２０、色空間逆変換部１４０を有する構成を示しているが、これらの構成は、必須構成ではなく、省略した構成も可能である。

色空間逆変換部１４０から出力されたビデオデータは、画像出力部１５０に入力される。画像出力部１５０は、画像変換部１３０で変換された両眼視差画像を表示して立体視を実現することが可能な外部接続した立体表示装置において受信可能なビデオデータに変換して出力する。

なお、本実施例においては、静止画像を入力した場合、画像入力部１１０においてビデオデータに変換する方法を記載しているが、この方法に限らず、１枚の静止画像から２枚の左眼用画像と右眼用画像に変換し、２枚の静止画像として例えばメモリカードなどにファイル出力する構成にしても構わない。

図２は、画像入力部１１０の一実施例の構成を示すブロック図である。画像入力部１１０は、静止画像ファイルなどを入力するためのメモリカードインタフェース１１１、映像機器を直接接続するためのＵＳＢインタフェース１１２、ビデオ信号を入力するためのビデオインタフェース１１３、フレームメモリ１１４、デコーダ１１５、ビデオ出力部１１６で構成されている。

画像入力部１１０における処理の一例として、静止画像を入力する場合の処理シーケンスに関して図３に示すフローチャートを参照して説明する。

ステップＳ１０１において、画像入力部１１０は、静止画像の入力を開始する。
ステップＳ１０２において、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ１０４に進み、メモリカードが挿入されていない場合にはステップ１０３に進む。

ステップＳ１０３では、画像入力部１１０は、ＵＳＢインタフェース１１２に静止画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ１０５に進み、ＵＳＢ機器が接続されていない場合には、画像入力処理を終了する。

ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。

ステップＳ１０４において、画像入力部１１０は、メモリカードに記録されている静止画像ファイルから画像データを読み込む。この際、メモリカード内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。

ステップＳ１０５では、画像入力部１１０は、ＵＳＢインタフェースに接続された外部機器から静止画像データを読み込む。このとき、外部機器内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。

ステップＳ１０６では、画像入力部１１０は、ステップＳ１０４、またはステップＳ１０５において読み込まれた静止画像データをフレームメモリ１１４に記憶する。

ステップＳ１０７において、画像入力部１１０は、図示しない制御部によりフレームメモリ１１４から静止画像データを読み出す。このとき、読み出しアドレスはステップＳ１０６において記憶された画像データの先頭を示す。

ステップＳ１０８において、画像入力部１１０は、静止画像のデコード処理を行う。静止画像データは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定されたフォーマットに従って画像圧縮されていることが一般的であるため、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドの画像データを復元する。

ステップＳ１０９では、画像入力部１１０は、デコードされた静止画像データをビデオデータの１フレームとして出力する。ここで、ビデオデータのフォーマットは、画像出力部１５０で出力されるフォーマットに従う。つまり、画像出力部１５０においてＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度、６０フレーム毎秒のビデオデータとして出力される場合には、図示しない制御部においてＨＤ解像度、６０フレーム毎秒のビデオ同期信号を生成し、この信号の有効領域内に静止画像を貼り付けて出力する。

ステップＳ１１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像入力処理を終了する。画像出力処理が終了していない場合には、ステップＳ１１１に進む。

ステップＳ１１１において、画像入力部１１０は、フレームメモリ１１４の読み出しアドレスを初期化し、ステップＳ１０６で記憶した静止画像データの先頭を示すようにする。ステップＳ１１１のアドレス初期化が終了すると、ステップＳ１０７に進み、以降、ステップＳ１０７〜ステップＳ１１１の処理を繰り返す。

このようにして、画像入力部１１０は、静止画像が入力された場合には、同じ画像が連続したビデオデータへの変換を行う。

次に、画像入力部１１０における処理の一例として、動画像を入力する場合の処理シーケンスに関して図４に示すフローチャートを参照して説明する。

ステップＳ２０１において、画像入力部１１０は、動画像の入力を開始する。
ステップＳ２０２において、画像入力部１１０は、ビデオインタフェース１１３にビデオ信号が入力されているかを確認し、ビデオインタフェースから動画像データを入力するかどうかを判断する。ビデオ信号が入力されている場合にはステップＳ２０５に進み、ビデオ信号が入力されていない場合にはステップＳ２０３に進む。

ステップＳ２０３では、画像入力部は、ＵＳＢインタフェース１１２に動画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から動画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ２０６に進み、ＵＳＢ機器が接続されていない場合にはステップＳ２０４に進む。

ステップＳ２０４では、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから動画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ２０７に進み、メモリカードが挿入されていない場合には、画像入力処理を終了する。

ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。

ステップＳ２０５において、画像入力部１１０は、ビデオインタフェース１１３からビデオデータを読み込む。ビデオインタフェース１１３は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＨＤＳＤＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などのデジタルビデオ伝送方式で伝送されるビデオ信号や、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式、コンポーネント方式などのアナログビデオ伝送方式で伝送されるビデオ信号が入力される。ビデオインタフェース１１３は、アナログビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換した後、図示しないＡ／Ｄ変換器によりデジタル信号に変換する。一方、デジタルビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換する。

ステップＳ２０６において、画像入力部１１０は、ＵＳＢインタフェース１１２に接続された外部機器から動画像データを読み込む。このとき、外部機器内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。

ステップＳ２０７では、画像入力部１は、メモリカードに記録されている動画像ファイルから画像データを読み込む。この際、メモリカード内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。

ここで、ＵＳＢインタフェース１１２を介して入力される動画像データや、メモリカードに記録されている動画像データは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定された動画像圧縮方式により圧縮されたストリームデータである。このような圧縮方式は、フレームメモリを用いたデコード処理を要するため、ステップＳ２０８では、これらのストリームデータをフレームメモリ１１４に記憶する。

ステップＳ２０９において、画像入力部１は、図示しない制御部によりフレームメモリ１１４から動画像データを読み出す。

ステップＳ２１０において、画像入力部１１０は、動画像のデコード処理を行う。前述の通り、フレームメモリ１１４に記憶されている動画像データは、ＭＰＥＧなどで圧縮されたストリームデータであるので、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドのビデオデータを復元する。

ステップＳ２１１では、ビデオ出力部１１６は、ビデオインタフェース１１３から出力されるビデオデータ、または、デコーダ１１５から出力されるビデオデータのいずれかを内部データ形式によりビデオ出力する。

図５は、画像変換部１３０の一実施例の構成を示すブロック図である。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。画像変換部１３０は、低域通過フィルタ（ＬＰＦ）１３１、微分器１３２、非線形変換部１３３、および画像合成部１３４から構成される。

なお、先に説明した本出願人の先の特許出願である特許文献７（特開２０１０−６３０８３号公報）には、図５に示す画像変換部１３０の低域通過フィルタ（ＬＰＦ）１３１を持たない画像変換部構成を開示している。本発明の画像変換部１３０は、その構成に低域通過フィルタ（ＬＰＦ）１３１を追加した点が異なっている。

低域通過フィルタ（ＬＰＦ）１３１は、画像変換部１３０に入力されたビデオデータから輝度信号を取り出し、ＬＰＦによるフィルタリング処理により輝度信号の高域成分を除去した信号を生成して微分器１３２に出力する。具体的には、例えば画像信号の輝度信号を水平方向に入力して低域通過フィルタ処理を行う。低域通過フィルタとしては例えば水平方向３ＴＡＰのＦＩＲフィルタが適用可能である。
なお、低域通過フィルタ（ＬＰＦ）１３１を追加することによる効果については後段で詳細に説明する。

微分器１３２は、低域通過フィルタ（ＬＰＦ）１３１の出力する高域成分の除去された輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。

非線形変換部１３３は、微分器１３２から出力される微分信号を非線形的に変換し、視差強調信号［ｅｎｈ］を生成して出力する。

図６は、非線形変換部１３３において実行する非線形変換処理の一例を示している。横軸が、微分器１３２からの入力信号であり輝度微分信号である。なお、ここでは低域通過フィルタ（ＬＰＦ）１３１によるフィルタリング処理後の輝度微分信号である。
縦軸が、非線形変換部１３３における非線形変換処理後の出力を示している。非線形変換部１３３は、入力された微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号［ｅｎｈ］（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^β
上記式に示されるような指数関数を用いる。βは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部１３３における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

画像合成部１３４は、非線形変換部１３３から出力される視差強調信号［ｅｎｈ］と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。

なお、図５に点線で示すように、非線形変換部１３３の変換処理を省略し、微分器１３２の生成した微分信号を画像合成部１３４に直接入力して、画像合成部１３４が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。

画像合成部１３４は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号［ｅｎｈ］を適用して左眼用画像と、右眼用画像を生成する処理を行う。

図７〜図９を参照して、画像変換部１３０の実行する信号処理について具体的な信号の例を適用して説明する。
なお、先に説明したように本出願人の先の特許出願である特許文献７（特開２０１０−６３０８３号公報）に記載の構成は、図５に示す画像変換部１３０の低域通過フィルタ（ＬＰＦ）１３１を省略した構成である。

本発明の構成は、低域通過フィルタ（ＬＰＦ）１３１を追加した点が異なる構成であり、この構成の違いによる効果を、より理解しやすくするため、図７〜図９に以下の信号例を示している。
（１）図７：低域通過フィルタ（ＬＰＦ）１３１のない構成における各信号の例（特許文献７（特開２０１０−６３０８３号公報）に記載の構成）
（２）図８：低域通過フィルタ（ＬＰＦ）１３１のある構成における各信号の例（本発明の図５の構成）
（３）図９：低域通過フィルタ（ＬＰＦ）１３１のある構成とない構成の信号比較例

まず、図７を参照して、特許文献７（特開２０１０−６３０８３号公報）に記載の構成、すなわち、低域通過フィルタ（ＬＰＦ）１３１のない構成における信号例について説明する。
図７には、上から順に、
（ａ）入力信号
（ｂ）微分信号
（ｃ）右眼用画像信号
（ｄ）左眼用画像信号
これらの各信号を示している。

（ａ）入力信号は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号は、（ａ）入力信号の微分結果である。図７に示す例は、図５に示す画像変換部１３０の低域通過フィルタ（ＬＰＦ）１３１のない構成に対応する信号例であり、（ｂ）微分信号は、（ａ）入力信号を、ＬＰＦを介さずに直接、微分器１３２において微分した信号である。

微分器１３２の生成する微分信号は、図に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）右眼用画像信号、（ｄ）左眼用画像信号は、図５に示す画像変換部１３０中のＬＰＦ１３１を省略した構成における画像合成部１３４において生成される信号である。画像合成部１３４は、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３３において非線形変換した結果（非線形変換部１３３の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

図７（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号に示すように、（ａ）入力信号の輝度変化領域２０１，２０２が、（ｃ）右眼用画像信号では輝度変化領域２１１，２１２に示すように右方向に移動し、（ｄ）左眼用画像信号では輝度変化領域２１３，２１４に示すように左方向に移動している。

このような輝度変化領域の移動により、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号には視差が発生する。すなわち、（ｃ）右眼用画像信号を右眼にのみ観察させ、（ｄ）左眼用画像信号を左眼のみに観察させる画像表示を実行することで、視差のある画像の観察が実現され、観察者は奥行感のある３次元画像として認識することができる。

しかし、この図７に示す信号は、入力輝度信号に対する微分信号、すなわち微分器（ハイパスフィルタ）に起因する高域強調が発生し画像が不自然となる場合がある。という新たな課題が発生する。
例えば、図７に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号に示すように、輝度変化領域２１１〜２１４の高低差、すなわち輝度変化量は、（ａ）入力信号の輝度変化領域２０１，２０２の高低差に比較して大きくなっている。これが高域強調の一例であり、元々の（ａ）入力信号より、輝度差が大きく設定されてしまい、不自然な画像となることがある。

本発明は、この問題を解決するものであり、この問題の解決のために図５に示す画像変換部１３０に低域通過フィルタ（ＬＰＦ）１３１を設けたものである。

低域通過フィルタ（ＬＰＦ）１３１を設けた場合の信号例を図８に示す。
図８には、上から順に、
（ａ）入力信号
（ａ２）低域通過フィルタ通過後の入力信号
（ｂ）微分信号
（ｃ）右眼用画像信号
（ｄ）左眼用画像信号
これらの各信号を示している。

図８の（ａ）入力信号は、図７（ａ）と同様の入力信号であり、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

図８の（ａ２）低域通過フィルタ通過後の入力信号は、（ａ）入力信号に対して低域通過フィルタ（ＬＰＦ）１３１による処理を行った信号である。低域通過フィルタ（ＬＰＦ）１３１による処理により、輝度変化領域が滑らかな変化領域に変更される。
すなわち、（ａ）入力信号の輝度変化領域２０１，２０２は、（ａ２）低域通過フィルタ通過後の入力信号では、変化率の抑えられたなだらかな輝度変化領域２２１，２２２として設定される。

図８の（ｂ）微分信号は、（ａ２）低域通過フィルタ通過後の入力信号に対する微分結果である。微分器１３２の生成する微分信号は、図に示すとおり、（ａ２）低域通過フィルタ通過後の入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、輝度変化が負になる領域Ｂにおいて負の値をとる。

図８に示す（ｂ）微分信号は、（ａ２）低域通過フィルタ通過後の入力信号に対する微分結果である。この微分信号は、図７（ｂ）の微分信号に比較して、高低差が小さいものとなる。これらの比較信号は図９（ｂ）に示す通りである。
図９（ｂ）〜（ｄ）は、
低域通過フィルタ（ＬＰＦ）１３１のある構成に対応する信号例を実線、
低域通過フィルタ（ＬＰＦ）１３１のない構成に対応する信号例を点線、
で示している。

（ｃ）右眼用画像信号、（ｄ）左眼用画像信号は、図５に示す画像変換部１３０画像合成部１３４において生成される信号である。画像合成部１３４は、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３３において非線形変換した結果（非線形変換部１３３の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

図８に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号においても、図７を参照して説明したと同様、（ａ）入力信号の輝度変化領域２０１，２０２が、（ｃ）右眼用画像信号では輝度変化領域２３１，２３２に示すように右方向に移動し、（ｄ）左眼用画像信号では輝度変化領域２３３，２３４に示すように左方向に移動している。

このような輝度変化領域の移動により、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号には視差（網膜像差）が発生する。（ｃ）右眼用画像信号を右眼にのみ観察させ、（ｄ）左眼用画像信号を左眼のみに観察させる画像表示を実行することで、視差のある画像の観察が実現され、観察者は奥行感のある３次元画像として認識することができる。

この図８に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号は、図７に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号に比較して微分器（ハイパスフィルタ）に起因する高域強調が抑制され画像の不自然さが減少する。

前述したように、図９の（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号には、
低域通過フィルタ（ＬＰＦ）１３１のある構成に対応する信号例を実線、
低域通過フィルタ（ＬＰＦ）１３１のない構成に対応する信号例を点線、
で示している。

図９の（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号の実線（ＬＰＦあり）と、点線（ＬＰＦなし）を比較する。
点線（ＬＰＦなし）の輝度変化領域の高低差、すなわち輝度変化量は、（ａ）入力信号の輝度変化領域の高低差、すなわち輝度変化量に比較して大きくなっている。
一方、実線（ＬＰＦあり）の輝度変化領域の高低差は点線（ＬＰＦなし）よりも小さくなり、（ａ）入力信号の輝度変化領域の高低差、すなわち輝度変化量により近い設定となっている。

これは、図９（ｂ）微分信号に示すように、
低域通過フィルタ（ＬＰＦ）通過後の入力信号に対する微分結果（実線）が、ＬＰＦなしの入力信号に対する微分結果（点線）に比較して、高低差が小さく設定される結果である。
この結果、本発明の低域通過フィルタ（ＬＰＦ）を利用した構成では、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号が、過度な高域強調が抑制され、入力信号に近い輝度変化を持つ信号となる。

図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図８（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）とする。
画像合成部１３４は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ａ２）低域通過フィルタ通過後の入力信号に対する（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］を受け取り、例えば以下の（式１）により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
・・・・・（式１）
ここで、画像合成部１３４は、（式１）のように左眼用画像信号（Ｌｅｆｔ）と右眼用画像信号（Ｒｉｇｈｔ）の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。

すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ
このような信号の組み合わせとしてもよい。
あるいは、
Ｒｉｇｈｔ＝Ｓ
Ｌｅｆｔ＝Ｓ＋Ｅ
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。なお、網膜像差と奥行き知覚との関係については、後段で説明する。

なお、前述したように、非線形変換部１３３の変換処理を省略し、微分器１３２の生成した微分信号を画像合成部１３４に直接入力（図５の点線）して、画像合成１３４が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。この場合は、上記の視差強調信号［ｅｎｈ（Ｅ）］は微分信号に置き換えられる。

このように、画像合成部１３４は、入力画像信号の空間的な特徴量を抽出して入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。特徴量は、例えば入力画像信号に対する低域通過フィルタ（ＬＰＦ）による処理信号の輝度微分信号、あるいはその非線形変換処理によって生成する視差強調信号である。

図８（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、
（ａ）入力信号から、
（ａ２）低域通過フィルタ通過後の入力信号に対する（ｂ）微分信号の非線形変換により生成した視差強調信号［ｅｎｈ（Ｅ）］、
を減算した信号である。

（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、図８（ｃ）右眼用画像信号に示すように以下のような信号特性（ｃ１）〜（ｃ３）を持つ信号として生成される。
（信号特性）
（ｃ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｃ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｃ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

また、図８（ｄ）左眼用画像信号（Ｌｅｆｔ）は、
（ａ）入力信号に、
（ａ２）低域通過フィルタ通過後の入力信号に対する（ｂ）微分信号を非線形変換した視差強調信号［ｅｎｈ（Ｅ）］、
を加算した信号である。

（ｄ）左眼用画像信号（Ｌｅｆｔ）は、図８（ｄ）左眼用画像信号に示すように以下のような信号特性（ｄ１）〜（ｄ３）を持つ信号として生成される。
（信号特性）
（ｄ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｄ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｄ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

画像合成部１３４は、上述したように、（ａ）入力信号と、（ａ２）低域通過フィルタ通過後の入力信号に対する（ｂ）微分信号を非線形変換部１３３において非線形変換した結果（非線形変換部１３３の出力）である視差強調信号［ｅｎｈ］とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

なお、画像合成部１３４は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する１フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

また、変換対象となる入力信号が動画であれば、動画を構成する各フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。ただし、動画像の場合は、最終的に画像表示を実行する画像出力部１５０（図１参照）や表示装置の制御方式に従って、右眼用画像信号と左眼用画像信号の生成態様を変更する設定としてもよい。以下、図１０以下を参照して変換対象となる入力信号が動画像（ビデオデータ）である場合の画像合成部１３４の実行する複数の処理例について説明する。

まず、変換対象となる入力信号が動画像（ビデオデータ）の場合の画像合成部１３４の実行する基本的な処理例について図１０を参照して説明する。図１０に示す処理例は、画像合成部１３４が、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）のすべてについて、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を生成して出力する処理例である。

画像合成部１３４は、図１０に示す（ａ）入力画像フレームのすべてのフレームについて、（ａ）入力画像フレームの輝度信号と、（ｂ）微分画像信号の非線形変換結果である視差強調信号とを合成して、図１０に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成して出力する。この場合、画像合成部１３４は、２系統のビデオ信号を出力する。

合成処理は、例えば先に説明した式（式１）に従って行われる。すなわち、図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

図１０に示す基本処理例では、画像合成部１３４は、全てのフレームに対応する右眼用画像と、左眼用画像の２系統のビデオ信号を出力する。これらの２系統の信号を受領した画像出力部１５０（図１参照）は、立体視を実現する表示装置にこれらのデータを出力する。表示装置は、立体視を実現する各種の表示方式に従って出力制御を行う。表示装置の表示方式とは、例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式、あるいは、液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式などである。表示装置は、画像合成部１３４の生成した２系統のビデオ信号を利用して上記いずれかの表示方式に従った画像を表示する。

（１−２．本発明の画像処理装置の生成する左右眼用画像の構成と出力例）
画像表示方式が予め決定されている場合は、画像合成部１３４が、各画像出力方式に応じた出力画像信号を生成して出力する設定とすることができる。以下、図１１〜図１３を参照して、３つの異なる表示方式に応じた画像合成部１３４の処理例について説明する。

最終的に画像表示を実行する表示装置の表示方式は以下の３種類である。
（１）左眼用画像と右眼用画像を時間分割で交互に出力する方式（図１１）
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。
（２）左眼用画像と右眼用画像を時間分割で交互に出力する方式において出力フレームレートを高速とした方式（図１２）
これは、図１１と同様の時間分割方式であるが、出力フレームレートを高速化した方式である。
（３）左眼用画像と右眼用画像を空間的に分離して同時出力する方式（図１３）
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。

まず、図１１を参照して、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３４の処理例について説明する。

この画像表示方式の場合、画像合成部１３４は、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）を各フレーム毎に切り替えて生成して出力する。

入力するビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）として設定して出力する。出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

画像合成部１３４は、このような時間分割方式の立体表示装置に出力するため、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）に対する画像合成処理をフレーム単位で左眼用画像と右眼用画像を切り替えて実行する。すなわち、図１１（ｃ），（ｄ）に示すように、左眼用画像（Ｌｅｆｔ）の合成と、右眼用画像（Ｒｉｇｈｔ）の合成をフレーム単位で交互に実施して出力する。

図１１に示す例では、フレームｎでは、右眼用画像を先に説明した式（式１）に従って生成する。すなわち、図１１（ａ）入力信号のフレームｎのビデオデータの輝度レベルを（Ｓ）とし、図１１（ｂ）に示すフレームｎに対する低域通過フィルタ（ＬＰＦ）による処理信号に対する微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
なお、

次のフレームｎ＋１では、左眼用画像を先に説明した式（式１）に従って生成する。すなわち、図１１（ａ）入力信号のフレームｎ＋１のビデオデータの輝度レベルを（Ｓ）とし、図１１（ｂ）に示すフレームｎ＋１の低域通過フィルタ（ＬＰＦ）による処理信号に対する微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

以降、フレームｎ＋２では右眼用画像、フレームｎ＋３では左眼用画像、以下、交互に各フレーム毎に右眼用画像と左眼用画像を、前述の式１に従った画像合成処理によって生成して出力する。この方式では、画像合成部１３４は、各フレームに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。すなわち１系統のビデオデータを出力する。

出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

図１２は、図１１と同様、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３４の処理例である。ただし、この処理例は、図１１に示す処理と異なり、入力ビデオデータの各フレームに対して、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を前述の式１に従った合成処理により合成して出力する。

画像出力を行う表示装置においては、入力ビデオデータの２倍のフレームレートで、左眼用画像と右眼用画像を時間分割に交互出力する。

この処理では、画像合成部１３４は、図１２に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。さらに、次のフレーム、すなわち、（ａ）入力画像のフレームｎ＋１とその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。

このようにして１つのフレームから左眼用画像と右眼用画像を生成する。１フレームから生成した２枚の画像、すなわち、右眼用画像と左眼用画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。

画像出力部１５０は、表示装置において、図１２（ａ）に示す入力画像のフレームレートの２倍のフレームレートで表示されるように出力する。なお、この表示タイミングに併せて画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉も同期して制御する。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるようにする。この方式では、画像合成部１３４は、１系統の入力ビデオデータの２倍のフレームレートのビデオデータを出力する。

図１３は、空間分割方式の立体表示装置に対して出力する場合の画像合成部１３４の処理例を示している。空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示される方式である。すなわち、メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１３（ｃ）に示す右眼用画像のみが観察され、左眼には図１３（ｄ）に示す左眼用画像のみが観察される。

この処理では、画像合成部１３４は、図１３に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとフレームｎに対する低域通過フィルタ（ＬＰＦ）処理信号に対する（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。

さらに、画像合成部１３４は、図１３に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する。画像合成部１３４は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成して出力する。

図１３に示す（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の有効領域（黒ライン以外の画像表示部）を連結して生成した画像である。すなわち、（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の各ラインデータを交互に含む画像である。画像合成部１３４は、このようにして（ｄ）両眼視差画像を生成して出力する。この方式では、画像合成部１３４は、入力画像と同一フレームレートの１系統のビデオデータを出力する。

画像出力部１５０は、空間分割方式の立体表示装置に対して、図１３に示す（ｄ）両眼視差画像を出力表示する。空間分割方式の立体表示装置は前述したように、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタが設定されている。ユーザは偏光フィルタ方式によるメガネで観察する。メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１３（ｃ）に示す右眼用画像のみが観察され、左眼には図１３（ｄ）に示す左眼用画像のみが観察される。

図１０〜図１３を参照して説明した右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、先に説明した式（式１）に従って生成される画像である。すなわち、下式に従って、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）が生成される。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
ただし、Ｓは入力信号、Ｅは、入力信号Ｓのフレームｎに対する低域通過フィルタ（ＬＰＦ）による処理信号の微分信号Ｄを非線形変換した視差強調信号である。なお、先に説明したように、視差強調信号Ｅは、入力信号Ｓの微分信号Ｄの非線形変換のみならず、線形変換信号を施して得られる信号でもよい。

（１−３．本発明の画像処理装置の生成する左右眼用画像の網膜像差について）
このような右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成して、これらの画像を観察者の右眼と左眼で観察することにより奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。本発明の画像処理装置１００において生成する右眼用画像と左眼用画像の網膜像差について、以下、図１４〜図１７を参照して説明する。

なお、網膜像差は、先に図７，図８を参照して簡単に説明したように、輝度変化領域が（ｃ）左眼用画像信号と（ｄ）右眼用画像信号とでずれが発生することに起因している。以下では、この原理について数式を参照して説明する。なお、以下の説明では、理解を容易にするため低域通過フィルタ（ＬＰＦ）による処理は省略したものとして説明する。また、以下の説明において、図１４〜図１６では、微分信号Ｄに対する非線形変換処理を省略し、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を入力信号Ｓと、入力信号Ｓに対する低域通過フィルタ（ＬＰＦ）による処理信号の微分信号Ｄを適用して以下の式に従って生成したと仮定して説明する。
Ｒｉｇｈｔ＝Ｓ−Ｄ
Ｌｅｆｔ＝Ｓ＋Ｄ

図１４は、微分信号の加減算により発生する網膜像差を説明する図である。ここでは、説明を簡単にするために、入力信号として、１次元の正弦波信号が入力された場合に、左眼用の信号と右眼用の信号がどのように生成されるかを示した。図の水平軸は、画像の水平方向の画素位置を表しており、垂直軸は、画素の輝度レベルを表している。

入力信号Ｓを以下の式（式２）で表す。
Ｓ＝ｓｉｎωｘ・・・（式２）
このとき、微分信号Ｄは、以下の式（式３）で表される。
Ｄ＝ｃｏｓωｘ・・・（式３）

このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式４）、（式５）で表される。

これらの式、（式４）、（式５）から、左眼信号Ｌは、入力信号Ｓに対してπ／４だけ位相が進み、右眼信号Ｒは、入力信号Ｓに対してπ／４だけ位相が遅れている。つまり、左眼信号Ｌは、入力信号よりも振幅が√２倍で、角周波数ωで決まる周期の１／８だけ水平左方向にずれた信号であり、右眼信号Ｒは、同様に、振幅が√２倍で、周期の１／８だけ水平右方向にずれた信号となっている。このように、左眼信号Ｌと右眼信号Ｒの間ではπ／２だけの位相差が発生し、この位相差が網膜像差として知覚され、奥行きを感じることが出来る。

上述の通り、網膜像差は、角周波数ωに依存して変化する。図１５は、図１４と比較して、入力信号の角周波数が１／２になった場合の波形を示している。図からわかる通り、網膜像差は図１４の場合の２倍になっており、両眼立体視した場合には、図１４の入力信号に比較して奥に知覚される。

また、図１６は、図１４と比較して、入力信号の角周波数が２倍になった場合の波形を示している。図からわかる通り、網膜像差は図１４の場合の１／２になっており、両眼立体視した場合には、図１４の入力信号に比較して手前に知覚される。

さらに、微分信号Ｄの振幅を制御した場合の波形を図１７に示す。図１７は、微分信号Ｄに２倍の増幅を施した場合を示しているが、より一般化するため、制御した微分信号Ｆを式（式６）で示す。
Ｆ＝ｋｃｏｓωｘ・・・（式６）
ここで、ｋは正の実数である。
なお、上記のＦは、微分信号Ｄに対する変換処理によって生成した前述の視差強調信号Ｅに相当する。

このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式７）、式（式８）で表される。

ここで、αは０〜π／２の範囲にあり、以下の式（式９）で表される。

上記式（式９）において、微分信号の増幅値ｋを大きくするとαは大きくなるため、入力信号Ｓと左眼信号Ｌ、および右眼信号Ｒとの位相差は大きくなる。従って、左眼信号Ｌと右眼信号Ｒの位相差も大きくなり、網膜像差が大きく知覚される。この結果、両眼立体視した場合にはより奥にあるように知覚されるようになる。

このように、本発明の画像処理装置１００の生成する右眼用画像と左眼用画像は、画像の空間周波数に応じて網膜像差が変化し、空間周波数の高い領域ほど網膜像差が小さくなり、空間周波数の低い領域ほど網膜像差が大きくなるような画像である。このような画像が人間の右眼、および左眼に分離して提示された場合、人間は、網膜像差の小さい領域を手前に、網膜像差の大きい領域を奥に知覚する。

しかしながら、本発明の画像処理装置１００は、上述の通り、単に局所的な空間周波数に応じた処理を行っており、画像中の個々の被写体に対してもエッジ部とテクスチャ部では異なる網膜像差が与えられている。従って、観察者は網膜像差からのみでは正確な奥行きを知覚出来ないため、画像の絵画的な特徴（構図、物体の前後関係、空間周波数）や、運動視差などを手掛かりとして、画像の大局的な奥行きは人間がこれらの画像情報から類推して知覚することが出来ると考えられる。

また、上述のとおり、主に画像のエッジ部に対して網膜像差を発生させるようにしているため、樹木の枝や電線、髪の毛といった微細な構造にも網膜像差を与えることができるため、微細な被写体の立体感を表現することも可能である。

本発明の画像処理装置は、このような特性を利用して、画像の局所的な変調処理を施すだけで、自然な立体視を実現できる両眼視差画像の生成構成を実現している。

さらに、本発明の画像処理装置は、右眼用画像（Ｒｉｇｈｔ）と左眼用画像（Ｌｅｆｔ）を先に説明した式（式１）に従って生成している。すなわち、入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成している。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。

従って、例えば、図１１、または図１２を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。すなわち、入力の２次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。

また、図１３に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の１画素を知覚できなくなる程度の距離から観察する場合には垂直方向の２画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。一方、人間の網膜像差に対する視力は、通常視力の１０倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。

このように、本発明の画像処理装置によって生成される画像は、立体表示装置を用いて表示を行うことにより、立体視用のメガネを装着した場合には立体知覚が可能であり、立体視用のメガネを非装着の場合には、変換を施していない元の２次元画像として知覚することが可能となる。

（１−４．本発明の画像処理装置の画像変換部の処理シーケンスについて）
次に、図１８に示すフローチャートを参照して、本発明の一実施例に係る画像処理装置１００の画像変換部１３０の実行する処理のシーケンスについて説明する。なお、図１８に示すフローチャートは入力画像が動画像（ビデオデータ）である場合の処理である。

ステップＳ４０１において、低域通過フィルタ１３１（図５参照）は、画像変換部１３０に入力されるビデオデータのうち輝度信号に対して低域通過フィルタ処理を行う。例えば図８（ａ）入力信号に対する低域通過フィルタ処理により図８（ａ２）の信号、すなわち低域通過フィルタによる処理信号を生成する。

次に、ステップＳ４０２において。微分器１３２（図５参照）は、低域通過フィルタによる処理信号に対して微分処理を行う。すなわち、図８（ａ２）の低域通過フィルタによる処理信号の微分処理により図８（ｂ）微分信号を生成する。

ステップＳ４０３では、非線形変換部１３３（図５参照）が、微分器１３２から出力される微分信号に対して非線形変換処理を行う。この非線形変換処理は、例えば図６に示すようなグラフに対応した非線形変換処理である。

ステップＳ４０４以下の処理は画像合成部１３４の処理である。画像合成部１３４内の制御部は、ステップＳ４０４において、現在の入力フレームに対する左眼用画像の合成を行うかどうかを判断する。この判断処理は、画像処理装置１００の出力する画像表示装置の表示方式と、画像合成部１３４内に設けられたフレームカウンタの値に従って判断する。フレームカウンタは、入力画像フレームのフレーム番号に対応する値を保持するカウンタである。

画像表示装置の出力方式が図１１に示す時間分割出力方式の場合には、画像合成部１３４はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち図１１に示す時間分割出力方式の場合には、偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、ステップＳ４０５に進む。一方、フレームカウンタの値により右眼用画像出力のフレームであると判断した場合にはステップＳ４０６に進む。

また、図１１に示す時間分割出力方式以外の場合、すなわち、図１２に示す２倍のフレームレートによる時間分割出力方式、または、図１３に示す空間分割出力方式、あるいは、画像表示装置側で、図１０に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３４は、全ての入力フレームに対して左眼用画像を合成すると判断してステップＳ４０５に進む。

ステップＳ４０５では、画像合成部１３４は、先に説明した式（式１）に従って左眼用画像（Ｌｅｆｔ）を生成する。すなわち、図８に示すように、図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

一方、ステップＳ４０４において、現在の入力フレームに対する左眼用画像の合成を行わないと判定した場合は、ステップＳ４０６に進み、現在の入力フレームに対する右眼用画像を生成する。すなわち、図８に示すように、図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
の合成を行う。

ステップＳ４０５において左眼用画像の生成を終了すると、ステップＳ４０７において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像処理装置の出力方式が図１１に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップＳ４０８に進む。

また、図１１に示す時間分割出力方式以外の場合、すなわち、図１２に示す２倍のフレームレートによる時間分割出力方式、または、図１３に示す空間分割出力方式、あるいは、画像表示装置側で、図１０に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３４は、全ての入力フレームに対して右眼用画像を合成すると判断してステップＳ４０６に進む。ステップＳ４０６の処理はすでに説明した通り、前述した式（式１）に従った右眼用画像の生成処理である。

ステップＳ４０８では、画像合成部１３４の制御部は、画像の縮小処理を行うかどうかを判断する。画像処理装置の出力形式が図１３に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップＳ４０９に進む。画像処理装置の出力形式が図１３に示す空間分割出力方式以外の場合、すなわち、図１０に示す左眼用画像、右眼用画像の同時出力方式、図１１に示す時間分割出力方式、または、図１２に示す２倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップＳ４１１に進む。

ステップＳ４０９〜Ｓ４１０において、画像合成部１３４は、先に図１３を参照して説明したように図１３に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する（Ｓ４０９）。さらに、画像合成部１３４は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成する（Ｓ４１０）。

ステップＳ４１１では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像変換処理を終了する。画像出力処理が終了していない場合には、ステップＳ４１２に進む。

ステップＳ４１２では、フレームカウントをインクリメントし、ステップＳ４０１に進み、以降、ステップＳ４０１〜ステップＳ４１１の処理を繰り返す。

以上、説明の通り、本発明の一実施例の画像処理装置によれば、２次元画像データを入力とし、画像の特徴量、すなわち輝度変化部分であるエッジ部を抽出して、エッジ部の画像態様を変更すことで擬似的な右眼用画像と左眼用画像を生成する構成である。この構成より、立体表示装置において好適な両眼視差画像を生成することが可能となる。

さらに、本発明による画像処理装置では、図８に示すように、図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号［ｅｎｈ］の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号と左眼用画像信号を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。

このように、加算信号は、入力信号に等しくなる、またはほぼ等しくなる設定である。従って、立体表示装置に表示した画像をユーザが見る場合に、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となる。すなわち、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像変換装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

［２．本発明の画像処理装置のその他の実施例について］
（２−１．画像合成部の後段に低域通過フィルタを設定した実施例（実施例２））
先に図５を参照して説明した画像変換部１３０において、低域通過フィルタ（ＬＰＦ）１３１は、微分器１３２の前段に構成していた。
低域通過フィルタ（ＬＰＦ）１３１の位置は、この図５に示す設定に限らず、その他の位置に設定してもよい。

例えば図１９に示すような設定が可能である。
図１９に示す画像変換部１３０は、図１に示す画像処理装置１００における画像変換部１３０の変形例を示す図である。
図１９に示す画像変換部１３０は、先の実施例において説明した図５に示す画像変換部１３０の構成と異なり、低域通過フィルタ（ＬＰＦ）１３５が画像合成部１３４の出力部に設定された構成を持つ。

この構成では、画像合成部の出力信号に対して、低域通過フィルタ（ＬＰＦ）１３５による高域低減処理が施される。この処理によっても、微分器１３２による微分信号に起因する高域強調信号を低減させる効果を奏することが可能であり、出力画像の不自然さを解消または低減することができる。

この構成において、画像合成部１３４の出力は図７に示す（ｃ）左目用画像信号と、（ｄ）右眼用画像信号である。図１９に示す低域通過フィルタ（ＬＰＦ）１３５は、この図７に示す（ｃ）左目用画像信号と、（ｄ）右眼用画像信号に対してフィルタリング処理を施す。
この処理によって、微分器１３２による微分信号の加減算に基づく高域強調信号を低減させ、出力画像の不自然さを解消または低減することができる。

（２−２．微分器前段と、画像合成部の後段の双方に低域通過フィルタを設定した実施例（実施例３））
さらに、低域通過フィルタを微分器前段と、画像合成部の後段の双方に設定してもよい。
図２０を参照してこの実施例について説明する。

図２０に示す画像変換部１３０は、図１に示す画像処理装置１００における画像変換部１３０の変形例を示す図である。
図２０に示す画像変換部１３０は、先の実施例において説明した図５に示す画像変換部１３０の構成と同様、低域通過フィルタ（ＬＰＦ）１３１が微分器１３２の前段に設けられている。さらに、もう１つの低域通過フィルタ（ＬＰＦ）１３５が画像合成部１３４の後段に設定されている。

この構成においても、微分器１３２による微分信号に起因する高域強調信号を低減させる効果を奏することが可能であり、出力画像の不自然さを解消または低減することができる。

（２−３．画像合成部の後段に画像縮小部を設定した実施例（実施例４））
さらに、低域通過フィルタの代わりに画像合成部の後段に画像縮小部を設定することでも、同様の効果、すなわち微分器の微分信号に起因する高域強調信号の影響を低減することができる。

この実施例について図２１を参照して説明する。
図２１に示す画像変換部１３０は、図１に示す画像処理装置１００における画像変換部１３０の変形例を示す図である。
図２１に示す画像変換部１３０は、画像合成部１３４の出力部に画像縮小部１３６を設定した構成を持つ。

この構成では、画像合成部１３４の出力信号に対して、画像縮小部１３６が画像縮小処理を実行する。画像の縮小処理においては、一般的に振幅特性は低域通過フィルタと同様の特性を示すため、画像縮小処理を入れることにより、低域通過フィルタと同様の効果を示すことができる。

従って、図２１に示すように、画像合成部１３４の出力信号に対して、画像縮小部１３６が画像縮小処理を実行することで、微分器１３２による微分信号に起因する高域強調信号を低減させる効果を奏することが可能であり、出力画像の不自然さを解消または低減することができる。

［３．画像表示部を持つ画像処理装置の構成例］
図１に示す画像処理装置は、画像表示部を持たない画像処理装置として説明した。しかし、画像表示部を持つ画像処理装置として構成してもよい。図２２は、画像表示部を持つ画像処理装置の一実施例を示す図である。

画像表示装置３００は、画像入力部３１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータや、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）、あるいは（Ｙ，Ｕ，Ｖ）などの信号からなるビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部３２が対応していればどのような色空間でも構わない。

画像入力部３１０から出力されたビデオデータは、色空間変換部３２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータが画像変換部の処理対象とするデータ、例えばＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部３２０、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部２は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

ここで、色空間変換部３２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。

色空間変換部３２０から出力されたビデオデータは、画像変換部３３０に入力される。画像変換部３３０は、先に説明した処理によって左眼用と右眼用の両眼視差画像を生成し、画像表示部３５０の形式に従ってこれらの画像を合成して出力する。

画像変換部３３０から出力されたビデオデータは、色空間逆変換部３４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間からＲ，Ｇ，Ｂ色空間へ変換される。

色空間逆変換部３４０から出力されたビデオデータは、画像表示部３５０に入力される。画像表示部３５０は、画像出力部と表示部とを兼ね備えた構成であり、以下に示す立体表示方式（時間分割方式または空間分割方式）のいずれかの方式よって画像表示を行う。

（時間分割方式）
時間分割方式の立体表示方法においては、入力されるビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像、および右眼用画像（または、右眼用画像、および左眼用画像）と認識し、ユーザが装着する液晶シャッタ方式によるメガネを制御して、左眼と右眼に映像が時間的に交互に提示されるようにする。この表示方式では、画像表示部３５０は、左眼用画像、および右眼用画像の出力切り替えタイミングを、鑑賞者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させる設定として制御する。

（空間分割方式）
空間分割方式の立体表示方法においては、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示されるようにする。

以上、説明の通り、本発明による画像処理装置によれば、２次元画像データを入力とし、画像の特徴量から擬似的に右眼用画像と左眼用画像を生成することにより、両眼視差を利用した立体表示を行うことが可能である。さらに、本発明による画像処理装置によれば、左眼用画像と右眼用画像を加算したときに入力画像と等価となるように画像変換を行うことにより、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となり、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像表示装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、簡易な信号処理により立体視可能な画像信号を生成し、かつ過度な高域強調を低減する構成が実現される。

具体的には、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号に対する輝度微分信号、あるいは輝度微分信号の非線形変換信号を入力画像信号に対して加算／減算した信号を左眼用画像と右眼用画像の信号とする。さらに入力画像信号あるいは生成した左／右眼用画像信号に対する低域通過フィルタによるフィルタリング処理を行う。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となり、特徴量として生成される微分信号に基づく過度な高域強調が低減された自然な画像を生成できる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。

１００ 画像処理装置
１１０ 画像入力部
１１１ メモリカードインタフェース
１１２ ＵＳＢインタフェース
１１３ ビデオインタフェース
１１４ フレームメモリ
１１５ デコーダ
１１６ ビデオ出力部
１２０ フレームメモリ
１３０ 画像変換部
１３１ 低域通過フィルタ
１３２ 微分器
１３３ 非線形変換部
１３４ 画像合成部
１３４ エッジ領域検出部
１３５ 低域通過フィルタ
１３６ 画像縮小部
３００ 画像処理装置
３１０ 画像入力部
３２０ フレームメモリ
３３０ 画像変換部
３４０ 色空間逆変換部
３５０ 画像表示部

Claims (15)

1. ２次元画像信号を入力する画像入力部と、
   前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
   前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
   前記画像変換部は、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成であり、
   前記画像変換部は、さらに、
   前記特徴量の抽出前の前処理として入力画像信号に対する低域通過フィルタによるフィルタリング処理、
   または生成した左眼用画像と右眼用画像に対する後処理として低域通過フィルタによるフィルタリング処理または画像縮小処理、
   上記フィルタリング処理または画像縮小処理の少なくともいずれかの処理を実行する画像処理装置。
2. 前記画像変換部は、
   入力画像信号の輝度微分信号、または入力画像信号に対する前記低域通過フィルタによるフィルタリング処理後の信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である請求項１に記載の画像処理装置。
3. 前記画像変換部は、
   入力画像信号の輝度微分信号、または入力画像信号に対する前記低域通過フィルタによるフィルタリング処理後の信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う構成である請求項１に記載の画像処理装置。
4. 前記画像変換部は、
   入力画像信号の輝度微分信号、または入力画像信号に対する前記低域通過フィルタによるフィルタリング処理後の信号の輝度微分信号を抽出し、該輝度微分信号を非線形変換して生成した信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像として生成する処理を行う構成である請求項１に記載の画像処理装置。
5. 前記画像変換部は、
   動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である請求項１に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、
   前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である請求項５に記載の画像処理装置。
7. 前記画像変換部は、
   動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である請求項１に記載の画像処理装置。
8. 前記画像変換部は、
   動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、
   生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である請求項１に記載の画像処理装置。
9. 前記画像変換部は、
   生成する左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である請求項１に記載の画像処理装置。
10. 前記画像処理装置は、さらに、
    前記画像変換部の生成した画像を表示する画像表示部を有する構成である請求項１〜９いずれかに記載の画像処理装置。
11. 前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である請求項１０に記載の画像処理装置。
12. 前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である請求項１１に記載の画像処理装置。
13. 前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である請求項１０に記載の画像処理装置。
14. 画像処理装置における画像処理方法であり、
    画像入力部が、２次元画像信号を入力する画像入力ステップと、
    画像変換部が、前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
    画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを有し、
    前記画像変換ステップにおいて、
    入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行い、さらに、
    前記特徴量の抽出前の前処理として入力画像信号に対する低域通過フィルタによるフィルタリング処理、
    または生成した左眼用画像と右眼用画像に対する後処理として低域通過フィルタによるフィルタリング処理または画像縮小処理、
    上記フィルタリング処理または画像縮小処理の少なくともいずれかの処理を実行する画像処理方法。
15. 画像処理装置において画像処理を実行させるプログラムであり、
    画像入力部に、２次元画像信号を入力させる画像入力ステップと、
    画像変換部に、前記画像入力部から出力される画像信号を入力させて、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
    画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを有し、
    前記画像変換ステップにおいて、
    入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせ、さらに、
    前記特徴量の抽出前の前処理として入力画像信号に対する低域通過フィルタによるフィルタリング処理、
    または生成した左眼用画像と右眼用画像に対する後処理として低域通過フィルタによるフィルタリング処理または画像縮小処理、
    上記フィルタリング処理または画像縮小処理の少なくともいずれかの処理を実行させるプログラム。