JP2012142800A - 画像処理装置及び画像処理方法、並びにコンピューター・プログラム - Google Patents

Abstract

【課題】合成前の画像を用いずに、立体視用合成画像の視差調整を行なう。
【解決手段】立体視用合成画像を視点毎のＲＧＢ画素データに分離する視点分離処理をまず行ない、続いて、分離した視点毎の画素データをそれぞれ所望の視差量だけ水平方向に移動させて視差調整を行ない、その後、視点毎のＲＧＢ画素データを再合成して、視差調整した立体視用合成画像を得る。視点毎に分離した画素データの視差調整を行なうときには、立体視用合成画像が持つ水平方向の周期性を考慮して、各視点の画素データを４画素ずつ（若しくは４の倍数の画素数ずつ）水平方向に移動させる。
【選択図】 図１

Description

本発明は、見る人が裸眼で立体視できる画像信号を処理する画像処理装置及び画像処理方法、並びにコンピューター・プログラムに係り、特に、複数の方向から写した視差画像を合成した立体視用合成画像の視差調整を行なう画像処理装置及び画像処理方法、並びにコンピューター・プログラムに関する。

左右の眼に視差のある画像を表示することで、観察者に立体的に見える３Ｄ画像を提示することができる。３Ｄ画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。

例えば、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備えた３Ｄ眼鏡の組み合わせからなる時分割立体画像表示システムは、既に普及している（例えば、特許文献１を参照のこと）。しかしながら、同時に視聴する人数分だけ３Ｄ眼鏡を揃える必要がある、普段から眼鏡を掛けている人はさらにその上に３Ｄ眼鏡を掛けなければならない、長時間視聴すると目が疲れ易い、見る人の視点移動に合わせて見える画像が変化する、といった不便が指摘されている。付言すれば、携帯ディスク再生装置などの携帯型情報機器上で３Ｄ画像を楽しみたいときに、シャッター眼鏡まで持ち運ぶのは面倒である。

そこで、３Ｄ眼鏡が不要、すなわち裸眼で立体画像を提示できる裸眼３Ｄ画像技術の研究開発が期待されている。複数の方向すなわち多視点から対象物を撮影した画像を取得し、これら複数の画像の各画素を離散的に配置して１枚の合成画像を形成すると、裸眼で見る人に立体画像を知覚させることができる。例えば、実写立体画像を表示する際に、ディスプレイ面から手前方向に飛び出した近景領域の画質劣化を防ぐ立体画像表示装置について提案がなされている（例えば、特許文献２を参照のこと）。

立体視できる画像は、基本的には、対象物を左眼用カメラ及び右眼用カメラでそれぞれ実写した左眼用画像、右眼用画像からなる実写２視点画像である。これに対し、４視点、８視点という具合に視点数を増やし、より多くの方向から写した視差画像を合成した立体視用合成画像は、正面だけでなくより広い視点から自然な立体映像を見ることができるようになる。通常、立体視用合成画像は、アレイ状に配置した複数のカメラ（多視点カメラ）で得られる多視点の実写画像からなる。

立体視用合成画像を立体視する際、画像を観察するユーザー毎に、好ましいと感じる立体感はまちまちである。そこで、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法や（例えば、特許文献３を参照のこと）、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法（例えば、特許文献４を参照のこと）、ゲームにおいて立体感を調整する手法（例えば、特許文献５を参照のこと）などが提案されている。しかしながら、これらの手法はいずれも、複数の画像から生成された立体視用画像を保存し、生成した立体視用画像を表示できるのみであり、立体感を変更したくても変更することができない。

また、複数の画像に対して立体視表示のための３次元処理を行なって立体視用画像を生成するとともに、指示された立体感となるように３次元処理を行なう画像表示方法について提案がなされている（例えば、特許文献６を参照のこと）。しかしながら、この画像表示方法は、立体視用画像の元となる複数の画像の各々に対して視差量の調整を行なってから合成して、立体感を調整した立体視用画像を得るものであり、要するに、立体感を調整するには、元となる（すなわち、合成する前の）複数の画像のデータが必要であり、また、視差量の調整処理の際には視点数分だけのフレーム・メモリーを装備しなければならない。付言するならば、この画像表示装置は、静止画のみを扱い、また、左眼用画像と右眼用画像のみからなる２視点画像に特化して立体感の調整を行なうもので、３視点以上の画像からなる立体視用合成画像の処理を行なうものではない。

特開２０１０−２１７３１号公報 特開２０１０−２２６５００号公報 特開２００４−１２９１８６号公報 特開平１０−９０８１４号公報 特開平９−１９２３４９号公報 特開２０１０−２３７４１０号公報

本発明の目的は、複数の方向から写した視差画像を合成した立体視用合成画像の視差調整を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本発明のさらなる目的は、合成前の画像を用いずに、立体視用合成画像の視差調整を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の発明は、
複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を、前記所定の規則的なパターンに従って、前記視差画像毎の画素データに分離する視点分離部と、
前記の分離された前記視差画像毎の画素データを、調整したい視差量に基づいて決定される画素数だけ、それぞれ移動させる視差調整部と、
前記視差調整部が移動させた後の前記視差画像毎の画素データを合成して、視差調整した後の立体視用合成画像を生成する画像合成部と、
を具備する画像処理装置である。

本願の請求項２に記載の発明によれば、請求項１に記載の画像処理装置の視差調整部は、前記所定の規則的なパターンが持つ周期性に基づいて決定される画素数単位で、前記の分離された前記視差画像毎の画素データをそれぞれ移動させて視差を調整するように構成されている。

本願の請求項３に記載の発明によれば、請求項１に記載の画像処理装置は、画像合成部が生成した立体視用合成画像から規定のサイズを切り出すとともに、視差として対応するすべてのデータが存在しない画素領域にマスクを掛けるマスク処理部をさらに備えている。

また、本願の請求項４に記載の発明は、
複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を、前記所定の規則的なパターンに従って、前記視差画像毎の画素データに分離する視点分離ステップと、
前記の分離された前記視差画像毎の画素データを、調整したい視差量に基づいて決定される画素数だけ、それぞれ移動させる視差調整ステップと、
前記視差調整ステップで移動させた後の前記視差画像毎の画素データを合成して、視差調整した後の立体視用合成画像を生成する画像合成ステップと、
を有する画像処理方法である。

また、本願の請求項５に記載の発明は、
複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を、前記所定の規則的なパターンに従って、前記視差画像毎の画素データに分離する視点分離部、
前記の分離された前記視差画像毎の画素データを、調整したい視差量に基づいて決定される画素数だけ、それぞれ移動させる視差調整部、
前記視差調整部が移動させた後の前記視差画像毎の画素データを合成して、視差調整した後の立体視用合成画像を生成する画像合成部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項５に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項５に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像処理装置と同様の作用効果を得ることができる。

本発明によれば、合成前の画像を用いずに、立体視用合成画像の視差調整を行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピューター・プログラムを提供することができる。

本発明によれば、元の視点すべての画像データを使用してシフトする必要はなく、視点数が増大しても、各視点画像を合成した最終的な１枚の立体視用合成画像だけあれば、視差調整を行なうことができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、立体視用画像の視差調整を行なう画像処理装置の機能的構成を模式的に示した図である。 図２は、立体視用合成画像を視点分離処理し、視点毎の画素データに視差調整を行なった後に再合成して、立体視用合成画像の視差調整を行なう方法を説明するための図である。立体視用合成画像の隣接する２水平ラインを示した図である。 図３は、図２に示した２水平ラインに対して視点分離処理を行なった結果を示した図である。 図４Ａは、図３に示した視点分離後の各視点の画像データに対して視点の間隔が広がる方向に視差調整を行なった様子を示した図である。 図４Ｂは、図４Ａに示した、画面全体が飛び出すように見えるよう視差調整した後の各視点の画像データを再合成した結果を示した図である。 図５Ａは、図３に示した視点分離後の各視点の画像データに対して視点の間隔が狭まる方向に視差調整を行なった様子を示した図である。 図５Ｂは、図５Ａに示した、画面全体が奥に行くように見えるよう視差調整した後の各視点の画像データを再合成した結果を示した図である。 図６Ａは、視点分離して視点の間隔が広がる方向に移動させた視差調整を行なった各視差画像を重ね合わせて、画面全体が飛び出すように見えるよう視差調整した立体視用合成画像を生成する様子を簡素化して示した図である。 図６Ｂは、視点分離して視点の間隔が狭まる方向に移動させた視差調整を行なった各視差画像を重ね合わせて、画面全体が奥に行くように見えるよう視差調整した立体視用合成画像を生成する様子を簡素化して示した図である。 図７Ａは、バリアと視点との位置関係を保つための、合成画像における画素配置を示した図である。 図７Ｂは、バリアと視点の位置関係が崩れてしまうマスク処理結果を例示した図である。 図７Ｃは、バリアと視点の位置関係を保つためのマスク処理結果を例示した図である。 図８は、視点１〜４の４視点からなる多視点カメラで被写体を撮影している様子を示した図である。 図９は、裸眼ディスプレイと視点との関係を模式的に示した図である。 図１０Ａは、視点１のカメラで撮影した視差画像を示した図である。 図１０Ｂは、視点１のカメラで撮影した視差画像から所定の規則に従って画素データを抽出する様子を示した図である。 図１１Ａは、視点２のカメラで撮影した視差画像を示した図である。 図１１Ｂは、視点２のカメラで撮影した視差画像から所定の規則に従って画素データを抽出する様子を示した図である。 図１２Ａは、視点３のカメラで撮影した視差画像を示した図である。 図１２Ｂは、視点３のカメラで撮影した視差画像から所定の規則に従って画素データを抽出する様子を示した図である。 図１３Ａは、視点４のカメラで撮影した視差画像を示した図である。 図１３Ｂは、視点４のカメラで撮影した視差画像から所定の規則に従って画素データを抽出する様子を示した図である。 図１４は、各視差画像から抜き出した画素成分を重ね合わせて生成される、４視点裸眼ディスプレイに適した立体視用合成画像を示した図である。 図１５Ａは、それぞれの視点の間隔が広がる方向に、各視差画像１〜４をそれぞれ水平方向に移動させて、画面全体が飛び出すように見えるように立体視用合成画像の視差調整を行なう様子を示した図である。 図１５Ｂは、それぞれの視点の間隔が狭まる方向に、各視差画像１〜４をそれぞれ水平方向に移動させて、画面全体が奥に行くように見えるように立体視用合成画像の視差調整を行なう様子を示した図である。 図１６Ａは、２視点画像から４視点画像に多視点変換処理する仕組みを説明するための図である。 図１６Ｂは、２視点画像から４視点画像に多視点変換処理する仕組みを説明するための図である。

以下、図面を参照しながら本発明の実施形態について詳細に説明する。

多視点の画像の各画素を所定の規則的なパターンで離散的に配置して１枚の合成画像を形成すると、裸眼で見る人に立体画像を知覚させることができる。基本的な立体視用合成画像は、対象物を左眼用カメラ及び右眼用カメラでそれぞれ実写した左眼用画像、右眼用画像からなる実写２視点画像である。これに対し、４視点、８視点という具合に視点数を増やし、より多くの方向から写した視差画像を合成することで、正面だけでなくより広い視点から自然な立体映像を見ることができるようになる。

立体視用合成画像は、基本的には、アレイ状に配置した複数のカメラ（多視点カメラ）で得られる多視点の実写画像からなる。図８には、視点１（ＲＲ）、視点２（Ｒ）、視点３（Ｌ）、視点４（ＬＬ）の４視点からなる多視点カメラで被写体を撮影している様子を示している。以下の説明では、多視点カメラの配置は図８の通りとする。

４視点の裸眼ディスプレイを使用し、３Ｄ映像を視聴するためには、４視点の視差画像から４視点用の立体視用合成画像をディスプレイに表示する必要がある。図９には、裸眼ディスプレイと視点との関係を模式的に示している。図９中の数字は、通し番号１〜４を持つ各視点のカメラで撮影した画像データであることを示している。多視点の画像の各画素を離散的に配置して合成することで、立体視用合成画像を得ることができる。図示のように、１、２、３、４の順で配置された各カメラの実写画像の各画素を、同図中のバリアを介することで、見える順番が左右入れ替わる。このため、ディスプレイの画面上では、左から視点1（ＲＲ）、視点２（Ｒ）、視点３（Ｌ）、視点４（ＬＬ）の順で、各視点画像の画素が配置されていく。各視点画像の画素を離散的に配置する規則は、各視点のカメラな配置や、使用するバリアの構成などに依存するが、周期的なパターンとなる。図９に示す例では、画像の各水平ライン上で、４画素毎に同じ画素の配置パターンが繰り返されるという周期性がある（後述）。

なお、立体視用合成画像の元となるすべての視差画像が、現実のカメラで撮影された実写画像である必要はない。例えば、図８において、中央の視点２、３の２個のみを現実のカメラとし、視点２に配置されたカメラで実写した画像に対して擬似３Ｄ変換を適用することで、視点２の左側である視点１に外挿される擬似的なカメラから写した外挿画像を生成するとともに、視点３の右側である視点４に外挿される擬似的なカメラから写した外挿画像を生成して、合計で４視点の視差画像とすることができる。

ここで、擬似３Ｄ変換は、例えば１視点分の画像データから被写体の奥行き（視差）の情報を求め、疑似的に多視点の画像を生成する処理である。図１６には、擬似３Ｄ生成を用いて２視点画像から４視点画像に多視点変換処理する仕組みを模式的に示している。

図１６Ａにおいて、「Ｌ」、「Ｒ」はそれぞれ実在する左眼用カメラ、右眼用カメラであり、各々のカメラから、左眼用並びに右眼用の実写画像Ｌ、Ｒをそれぞれ得ることができる。左眼用カメラで実写した左眼用画像Ｌに対して擬似３Ｄ変換を適用することで、上記の左眼用カメラＬに外挿される擬似的なカメラから写した外挿画像「（ＬＬ）Ｌｅｆｔ−Ｌｅｆｔ」、並びに、左眼用カメラＬに内挿される擬似的なカメラから写した内挿画像「（ＬＲ）Ｌｅｆｔ−Ｒｉｇｈｔ」を得ることができる。同様に、右眼用カメラで実写した左眼用画像Ｒに対して擬似３Ｄ変換を適用することで、上記の右眼用カメラＲに外挿される擬似的なカメラから写した外挿画像「（ＲＲ）Ｒｉｇｈｔ−Ｒｉｇｈｔ」、並びに、右眼用カメラＲに内挿される擬似的なカメラから写した内挿画像「（ＲＬ）Ｒｉｇｈｔ−Ｌｅｆｔ」を得ることができる。

左右２台のカメラで実写した各２次元画像に擬似３Ｄ生成を適用すると、このように、２つの外挿画像ＬＬ、ＲＲ及び２つの内挿画像を加えた６視点を生成することができる。但し、２台の擬似的な内挿カメラから取得される内挿画像ＬＲ、ＲＬは、左右の視差が逆転するおそれがあることから、後段の立体画像の作成には使用せず、破棄する（図１６Ｂを参照のこと）。したがって、カメラ２台の実写画像から４台分のカメラ視点を生成することができる。そして、実写２視点画像Ｌ、Ｒに、左右の外挿画像ＬＬ、ＲＲを加えた多視点の画像の各画素を離散的に配置して１枚の合成画像を形成することにより、多視点変換することができる。

図９に示した規則に従って４視点の視差画像の各画素を所定の規則的なパターンに従って離散的に配置して、立体視用合成画像を合成する方法について、図１０〜図１４を参照しながら説明する。

１画素は、ＲＧＢの３色の色成分からなる（周知）。隣接する視点カメラで取得した各視差画像の対応画素からＲ、Ｇ、Ｂの各成分を交互に抜き出して合成することで、立体視用合成画像を得ることができる。

図１０Ａには、視点１のカメラで撮影した視差画像を、４×４画素だけ示している。但し、視点１の視差画像は、視点２のカメラで撮影した実写画像から擬似３Ｄ変換して得られる外挿画像であってもよい。各画素はＲ、Ｇ、Ｂの３つの色成分からなり、添え字は画素位置を表している。同図中の配色は、色成分の階調ではなく、視点位置を識別するものとする（以下、同様）。また、図１０Ｂには、立体視用の４視点画像を合成するために、この視差画像から、所定の規則に従って抽出した画素データを示している。同図に示すように、視点１のカメラで撮影した視差画像の１水平ライン上で、最左端の画素から順に、Ｒ成分、Ｇ成分、Ｂ成分、成分抜き出しなし、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで水平方向に繰り返す。また、その直後の１水平ライン上で、最左端の画素から順に、Ｂ成分、成分抜き出しなし、Ｒ成分、Ｇ成分、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで繰り返す。そして、この隣接する２水平ライン単位で周期性がある抜き出しパターンを垂直方向に繰り返す。

また、図１１Ａには、視点２のカメラで撮影した視差画像を、４×４画素だけ示している。各画素はＲ、Ｇ、Ｂの３つの色成分からなり、添え字は画素位置を表している。同図中の配色は、色成分の階調ではなく、視点位置を識別するものとする（以下、同様）。また、図１１Ｂには、立体視用の４視点画像を合成するために、この視差画像から、所定の規則に従って抽出した画素データを示している。同図に示すように、視点２のカメラで撮影した視差画像の１水平ライン上で、最左端の画素から順に、Ｇ成分、Ｂ成分、成分抜き出しなし、Ｒ成分、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで水平方向に繰り返す。また、その直後の１水平ライン上で、最左端の画素から順に、成分抜き出しなし、Ｒ成分、Ｇ成分、Ｂ成分、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで繰り返す。そして、この隣接する２水平ライン単位で周期性がある抜き出しパターンを垂直方向に繰り返す。

また、図１２Ａには、視点３のカメラで撮影した視差画像を、４×４画素だけ示している。各画素はＲ、Ｇ、Ｂの３つの色成分からなり、添え字は画素位置を表している。同図中の配色は、色成分の階調ではなく、視点位置を識別するものとする（以下、同様）。また、図１２Ｂには、立体視用の４視点画像を合成するために、この視差画像から、所定の規則に従って抽出した画素データを示している。同図に示すように、視点３のカメラで撮影した視差画像の１水平ライン上で、最左端の画素から順に、Ｂ成分、成分抜き出しなし、Ｒ成分、Ｇ成分、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで水平方向に繰り返す。また、その直後の１水平ライン上で、最左端の画素から順に、Ｒ成分、Ｇ成分、Ｂ成分、成分抜き出しなし、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで繰り返す。そして、この隣接する２水平ライン単位で周期性がある抜き出しパターンを垂直方向に繰り返す。

また、図１３Ａには、視点４のカメラで撮影した視差画像を、４×４画素だけ示している。但し、視点４の視差画像は、視点３のカメラで撮影した実写画像から擬似３Ｄ変換して得られる外挿画像であってもよい。各画素はＲ、Ｇ、Ｂの３つの色成分からなり、添え字は画素位置を表している。同図中の配色は、色成分の階調ではなく、視点位置を識別するものとする（以下、同様）。また、図１３Ｂには、立体視用の４視点画像を合成するために、この視差画像から、所定の規則に従って抽出した画素データを示している。同図に示すように、視点４のカメラで撮影した視差画像の１水平ライン上で、最左端の画素から順に、成分抜き出しなし、Ｒ成分、Ｇ成分、Ｂ成分、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで水平方向に繰り返す。また、その直後の１水平ライン上で、最左端の画素から順に、Ｇ成分、Ｂ成分、成分抜き出しなし、Ｒ成分、という隣接する４画素単位で周期性がある抜き出しパターンを、水平ラインの最右端に到達するまで繰り返す。そして、この隣接する２水平ライン単位で周期性がある抜き出しパターンを垂直方向に繰り返す。

そして、図１０Ｂ、図１１Ｂ、図１２Ｂ、図１３Ｂに示したように各視差画像から抜き出した画素成分を重ね合わせることによって、図１４に示すような、各視点１〜４から立体視できる、４視点裸眼ディスプレイに適した立体視用合成画像を得ることができる。この立体視用合成画像は、水平方向には４画素毎の周期性があり、垂直方向には２ライン毎の周期性がある。立体視用合成画像が持つ周期性は、各視点のカメラな配置や、使用するバリアの構成などに依存する。但し、水平方向に視点数（又はその倍数）に相当する画素数毎の周期性を持つように、バリアを構成することが、各視差画像のデータを効率的に利用することになるものと思料する。

図１０Ｂ、図１１Ｂ、図１２Ｂ、図１３Ｂに示した各視差画像１〜４は、同一の被写体を互いに異なる位置すなわち視点１〜４から撮影することにより取得したものであるから、これらを重ね合わせた場合、各視差画像に含まれる被写体は視差を持っている。したがって、図１４に示した合成画像を立体視表示することにより、被写体を４視点で立体視することができる。ところが、［背景技術］の欄でも述べたように、ユーザー毎に好ましいと感じる立体感はまちまちである。このため、ユーザーからの視差量の調整の指示などに応じて、立体視用合成画像の視差調整を行なう必要がある。

視差調整は、図１０Ｂ、図１１Ｂ、図１２Ｂ、図１３Ｂに示した各視差画像１〜４の視差量を変更することにより実現する。ディスプレイ画面の中心を通過する垂直ラインを基準位置とした場合、各視差画像１〜４の視差量の変更量は、この基準位置から水平方向へ移動させた画素数で表わされる。

図１５には、立体視用合成画像の視差調整を行なう様子を示している。図示のように、各視差画像１〜４をそれぞれ水平方向に所定画素数ずつ移動させると、視差量が大きくなるため、合成画像の立体感が増す。但し、図面を見易くするために、各視差画像１〜４の垂直位置を異ならせるとともに、画像の移動量を強調して描いている。図１５Ａに示すように、それぞれの視点の間隔が広がる方向に、各視差画像を水平方向に移動させることにより、画面全体が飛び出すように見えるようになる（立体感が増す）。以下では、これを画素の「プラス方向」の移動と表現する。逆に、図１５Ｂに示すように、それぞれの視点の間隔が狭まる方向に、各視差画像を水平方向に移動させることにより、画面全体が奥に行くように見えるようになる（立体感が減る）。以下では、これを画素の「マイナス方向」の移動と表現する。

特許文献６では、指示された立体感となるように３次元処理を行なう画像表示方法について提案がなされている（前述）。この画像表示方法は、２視点の立体視用画像を扱うものであるが、元の視差画像をそれぞれ水平方向に移動させて視差調整を行なってから、合成処理して立体視用画像を得るものである。このため、視差調整には、元となる複数の視差画像のデータがすべて必要であるとともに、視差調整のために視差画像の数だけのフレーム・メモリーも必要である。本実施形態のように４視点からなる立体視画像にこの画像表示方法を適用するとしても、元の画像のすべてのデータが必要であることや、視差画像の数だけフレーム・メモリーが必要であることに変わりはない。

これに対し、本発明者らは、立体視用合成画像の視差調整をより簡素に行なう方法について提案する。この方法は、立体視用合成画像を視点毎のＲＧＢ画素データに分離する視点分離処理をまず行ない、続いて、分離した視点毎の画素データをそれぞれ所望の視差量だけ水平方向に移動させて視差調整を行ない、その後、視点毎のＲＧＢ画素データを再合成することによって実現し、合成前の画像を用いずに、視差調整した立体視用合成画像を得る。このような視差調整方法によれば、視点数が増大しても、各視点画像を合成した最終的な１枚の立体視用合成画像だけあれば、視差調整を行なうことができる。

ここで、立体視用合成画像における各視点の画素データの配置パターンには、水平方向には４画素毎に繰り返される周期性があり、垂直方向には２ライン毎に繰り返される周期性があることは既に述べた（図１４を参照のこと）。視点毎に分離した画素データの視差調整を行なうときには、立体視用合成画像が持つ画素データの配置パターンが４画素毎に繰り返されるという周期性を考慮すると、各視点の画素データを４画素ずつ（若しくは４の倍数の画素数ずつ）水平方向に移動させるようにすればよいことを理解できよう。

図２には、立体視用合成画像の隣接する２水平ラインを示している。但し、紙面サイズの都合上、水平ラインの左端から２０画素目までを描いている。また、図３には、図２に示した２水平ラインの各画素から、視点１〜４の各々の画素データに分離した様子を示している。例えば、視点１の画素データの１ライン目は、最左端の画素から順に、Ｒ成分、Ｇ成分、Ｂ成分、成分抜き出しなし、という隣接する４画素単位で周期性があるパターンとなり、２ライン目は、最左端の画素から順に、Ｂ成分、成分抜き出しなし、Ｒ成分、Ｇ成分、という隣接する４画素単位で周期性があるパターンとなる（図１０Ｂを参照のこと）。

図１５Ａを参照しながら既に説明したように、それぞれの視点の間隔が広がる方向に、各視差画像を水平方向に移動させることにより、画面全体が飛び出すように見えるようになる（立体感が増す）。図４Ａには、視点２（Ｒ）、視点３（Ｌ）、視点４（ＬＬ）の各画素データを、最左端すなわち視点１（ＲＲ）に対してそれぞれ４画素、８画素、１２画素ずつプラス方向（右側）に移動させて、面全体が飛び出すように見えるように視差調整した様子を示している。そして、図４Ｂには、視差調整した後の各視点の画像データを再合成した結果を示している。

また、図１５Ｂを参照しながら既に説明したように、それぞれの視点の間隔が狭まる方向に、各視差画像を水平方向に移動させることにより、画面全体が奥に行くように見えるようになる（立体感が減る）。図５Ａには、視点１（ＲＲ）、視点２（Ｒ）、視点３（Ｌ）の各画素データを、視点４（ＬＬ）に対してそれぞれ１２画素、８画素、４画素ずつマイナス方向（右側）に移動させて、面全体が奥に行くように見えるように視差調整した様子を示している。そして、図５Ｂには、視差調整した後の各視点の画像データを再合成した結果を示している。

また、視点分離して視差調整を行なった各視差画像は、画素データを４画素ずつ（若しくは、４の倍数の画素数ずつ）水平方向（プラス方向又はマイナス方向）に移動させている。このため、再合成した直後の立体視画像は、左右の両端において視差として対応するすべてのデータが存在しない画素の領域が生じる、という問題がある。例えば、図４Ｂ並びに図５Ｂを参照すると、最左端から１２画素目までは、視差として対応するすべてのデータが存在しない画素が存在し、１３画素目以降にならないとデータ落ちした画素はなくならない。また、図示しないが、視差調整後の立体視画像の最右端から１２画素目までも、視差として対応するすべてのデータが存在しない画素が存在する。また、視差調整した後の視差画像を合成した直後は、水平サイズが４×３画素だけ拡張している。そこで、再合成した立体視用合成画像を規定のサイズに切り出すとともに、視差として対応するすべてのデータが存在しない左右両端の画素領域にマスクを掛けるマスク処理を施して、画像の品質を保つようにする。

図１には、本発明者らが提案する方法により立体視用画像の視差調整を行なう画像処理装置１０の機能的構成を模式的に示している。

視点分離及び視差調整部１１は、複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を入力すると、合成時において各視差画像を離散的に配置する規則的なパターンに従って、視差画像１〜４毎のＲＧＢ画素データに分離する。視点分離された各視差画像１〜４は、図２に示した通りである。分離された各視差画像１〜４毎に配設されたＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）に一時的に格納される。

また、視点分離及び視差調整部１１には、視差制御信号が入力される。視差制御信号は、分離した視差画像毎の画素データを水平方向に移動させる画素数を指示する信号である。移動させる画素数は、例えばユーザーから入力される視差量に基づいて決定される値である。図１５Ａ並びに図１５Ｂを参照しながら既に説明したように、それぞれの視点の間隔が広がる方向に、各視差画像を水平方向に移動させることにより、画面全体が飛び出すように見えるようになる（立体感が増す）。逆に、それぞれの視点の間隔が狭まる方向に、各視差画像を水平方向に移動させることにより、画面全体が奥に行くように見えるようになる（立体感が減る）。

各視差画像を離散的に配置する規則的なパターンは、周期性を持つ。上述した例では、立体視用合成画像には、水平方向には４画素毎の周期性があり、垂直方向には２ライン毎の周期性がある。視差調整のために画素データを移動させる画素数は、この周期性を考慮して決定することとし、４画素を水平方向の移動量の単位とする。例えば、視点分離及び視差調整部１１は、中心となる視点２及び視点３についての水平方向の移動量をそれぞれ−２Ｎ、２Ｎとし、視点２及び視点３に外挿される各視点１、４の水平方向の移動量をそれぞれ−６Ｎ、６Ｎとして、視差調整を行なう。図４は、Ｎ＝１とした場合の視差調整した例である。

続いて、画像合成部１２は、視点分離及び視差調整部１１で視差調整を行なった後の各視点１〜４の画素データを、上記と同じ規則的なパターンに従って離散的に配置して合成して、視差調整した後の立体視用合成画像を生成する。

画像合成部１２から出力される立体視用合成画像は、各視点の画素データを４画素ずつ（若しくは、４の倍数の画素数ずつ）水平方向に移動させて再合成したものであることから、水平サイズが４×３画素だけ（若しくは、４の倍数×３画素だけ）拡張している。例えば、１９２０×１０８０画素からなるフルハイビジョン画像の場合、再合成した直後の水平サイズは１９２０＋１２（＝１９３２）画素である。また、左右の両端からそれぞれ１２画素目までは、視差として対応するすべてのデータが存在しない低品質の画素領域である。

図６Ａには、視点分離し、図４Ａに示したように視点の間隔が広がる方向に移動させた各視差画像を、図４Ｂに示したように重ね合わせて、画面全体が飛び出すように見えるよう視差調整した立体視用合成画像を生成する様子を簡素化して示している。視差として対応するすべてのデータが存在するのは、中央の１９０８画素幅の範囲である。

また、図６Ｂには、視点分離し、図５Ａに示したように視点の間隔が狭まる方向に移動させた各視差画像を、図５Ｂに示したように重ね合わせて、画面全体が奥に行くように見えるよう視差調整した立体視用合成画像を生成する様子を簡素化して示している。視差として対応するすべてのデータが存在するのは、中央の１９０８画素幅の範囲である。

そこで、マスク処理部１３は、まず、１９３２画素幅の再合成した直後の１９３２画素幅の合成画像から１９２０画素をハイビジョン仕様の立体画像として切り出す。そして、マスク処理部１３は、左右の両端にそれぞれ存在する、視差として対応するすべてのデータが存在しない画素領域にマスクを掛けて、合計で規格通りの１９２０幅の合成画像を成形する。

そして、最終段のディザー処理部１４は、入力画像と出力画像の階調数の相違により発生するバンディングを低減するための処理を行なう。通常、入力画像が２４ビットであるのに対し、出力画像は１８ビットである。

ここで、図８に示した多視点カメラの配置とすると、バリアと視点との位置関係を保つためには、ディスプレイ面に出力される最上ラインの左端の画素には視点１（ＲＲ）のＲ成分が入るように配置されるようにしなければならない（図７Ａを参照のこと）。

図７Ｂには、マスク処理部１３が、図４Ｂ若しくは図６Ａに示したような、視点毎に水平方向に移動する間隔を４画素とした場合の合成画像について、単純に合成画像の中心を基準として、左右の両端からそれぞれ６画素だけ切り落として１９２０画素幅に成形し、さらに、視差として対応するすべてのデータが存在しない左右の６画素ずつにマスクを掛けている場合を例示している。この場合、ディスプレイ面に出力される最上ラインの左端の画素では、本来は視点１のＲ成分が見えなければいけないにも拘らず、視点３のＲ成分が来るため、バリアと視点との関係が崩れてしまう。このような現象を、以下では「視点ずれ」と呼ぶことにする。

図４Ｂ若しくは図６Ａに示したような、視点毎に水平方向に移動する間隔を４画素とした場合、視点ずれを解消するには（言い換えれば、ディスプレイ面に出力される最上ラインの左端の画素で本来は視点１のＲ成分が見えるようにするには）、１９３２画素幅の合成画像のうち左端から４番目又は８番目の画素からディスプレイ画面への出力を開始するようにすればよい。図７Ｃには、左端から４番目の画素からディスプレイ画面への出力を開始して、視点ずれを抑制する例を示している。左端から４番目の画素からディスプレイ画面への出力を開始すると、右端から９番目の画素が１９２０画素幅の終端となり、右端から８番目以降はディスプレイ画面には出力されない領域となる。また、左端から５画面の画素でディスプレイ画面への出力を開始してから、さらに８画素目までは視差として対応するすべてのデータが存在しないので、この８画素幅の領域にマスクを掛ける。他方、右端でも、左右のバランスを考慮して、ディスプレイ画面への出力が終了する手前から８画素目以降にマスクを掛ける。このため、ＲＧＢすべて（視差として対応するすべてのデータ）が揃っている４画素分もマスクされることになる。図７Ｃに示す例によれば、視点ずれはなくなるが、上左端を本来位置よりもマイナス方向に２画素だけ移動した位置にするため、視点２と視点３の中心は保てない。

また、図示しないが、左端から８番目の画素からディスプレイ画面への出力を開始すると、右端から５番目の画素が１９２０画素幅の終端となり、右端から４番目以降はディスプレイ画面には出力されない領域となる。また、右端から４画面の画素でディスプレイ画面への出力の終端となる手前の８画素目までは視差として対応するすべてのデータが存在しないので、この８画素幅の領域にマスクを掛ける。他方、左端でも、左右のバランスを考慮して、ディスプレイ画面への出力が終了する手前から８画素目以降にマスクを掛ける。このため、ＲＧＢすべて（視差として対応するすべてのデータ）が揃っている４画素分もマスクされることになる。この場合も、視点ずれはなくなるが、上左端を本来位置よりもプラス方向に２画素だけ移動した位置にするため、視点２と視点３の中心は保てない。

要するに、プラス方向（画面全体が飛び出す方向）、並びに、マイナス方向（画面全体が奥に行く方向）に、画素データを４画素単位で移動させると、視差調整自体はできるが、視点の中心を保つことができない場合がある。また、画素データを４画素単位で移動させると、ディスプレイ画面に出力を開始する位置を調整し、マスク領域を多くとる必要がある。視点の中心位置を保つには、画素データを８画素単位で移動させる必要がある。視差調整のために画素データを移動させる移動量と、マスクされる画素数、中心位置を保てるか否かを以下に表にまとめておく。

上述したように、図１に示した画像処理装置１０によれば、元の視点すべての画像データを使用してシフトする必要はなく、視点数が増大しても、各視点画像を合成した最終的な１枚の立体視用合成画像だけあれば、視差調整を行なうことができる。なお、図１に示した画像処理装置１０と同様の、立体視用合成画像の視差調整処理を、コンピューター上で実行するコンピューター・プログラムによっても実現することができる。

以上、特定の実施形態を参照しながら、本発明について詳細に説明してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本発明に係る画像処理回路は、例えば携帯ディスク再生装置などの携帯型情報機器に好適に適用することができるが、勿論、裸眼３Ｄ映像を表示出力するその他のさまざまな情報機器にも同様に適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

１０…画像処理装置
１１…視点分離及び視差調整部
１２…画像合成部
１３…ディザー処理部

Claims (5)

1. 複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を、前記所定の規則的なパターンに従って、前記視差画像毎の画素データに分離する視点分離部と、
   前記の分離された前記視差画像毎の画素データを、調整したい視差量に基づいて決定される画素数だけ、それぞれ移動させる視差調整部と、
   前記視差調整部が移動させた後の前記視差画像毎の画素データを合成して、視差調整した後の立体視用合成画像を生成する画像合成部と、
   を具備する画像処理装置。
2. 前記視差調整部は、前記所定の規則的なパターンが持つ周期性に基づいて決定される画素数単位で、前記の分離された前記視差画像毎の画素データをそれぞれ移動させて視差を調整する、
   請求項１に記載の画像処理装置。
3. 前記画像合成部が生成した立体視用合成画像から規定のサイズを切り出すとともに、視差として対応するすべてのデータが存在しない画素領域にマスクを掛けるマスク処理部をさらに備える、
   請求項１に記載の画像処理装置。
4. 複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を、前記所定の規則的なパターンに従って、前記視差画像毎の画素データに分離する視点分離ステップと、
   前記の分離された前記視差画像毎の画素データを、調整したい視差量に基づいて決定される画素数だけ、それぞれ移動させる視差調整ステップと、
   前記視差調整ステップで移動させた後の前記視差画像毎の画素データを、前記所定の規則的なパターンに従って離散的に配置して合成して、視差調整した後の立体視用合成画像を生成する画像合成ステップと、
   を有する画像処理方法。
5. 複数の視差画像の各画素を所定の規則的なパターンで離散的に配置して合成された立体視用合成画像を、前記所定の規則的なパターンに従って、前記視差画像毎の画素データに分離する視点分離部、
   前記の分離された前記視差画像毎の画素データを、調整したい視差量に基づいて決定される画素数だけ、それぞれ移動させる視差調整部、
   前記視差調整部が移動させた後の前記視差画像毎の画素データを、前記所定の規則的なパターンに従って離散的に配置して合成して、視差調整した後の立体視用合成画像を生成する画像合成部、
   としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。