JP2006115246A - 立体表示のための画像処理プログラム、画像処理装置および立体表示システム - Google Patents

Abstract

【課題】 様々な立体表示デバイス間での画像コンテンツのポータビリティを高めることができるようにした画像処理プログラムを提供する。
【解決手段】 画像処理プログラムは、立体表示デバイスを用いた複数視点からの立体像観察を可能とする立体画像を生成する、コンピュータ上で動作する画像処理プログラムであって、第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータおよび該第１のパラメータに対応した第１の立体画像を取得する第１のステップＳ１０１，Ｓ１０２と、第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得する第２のステップＳ１０３と、第１の立体画像と第１および第２のパラメータとに基づいて、第２のパラメータに対応した第２の立体画像を生成する第３のステップＳ１０４とを有する。
【選択図】 図１

Description

本発明は、立体表示のための画像を生成する画像処理プログラム、画像処理システムおよびこれらを備えた立体表示装置に関するものである。

立体表示デバイスは、レンチキュラ素子、パララックスステレオグラム、インテグラルフォト等の偏向光学素子を構成素子として含み、２視点もしくはそれ以上の多視点からの立体観察を可能とする。このような立体表示デバイスでは、画面分割方式や時分割方式で各視点に対応する画像を表示し、各画像からの光を各視点に導く。

また、立体表示のための画像データ（画像コンテンツ）をデジタル放送網やインターネット等の通信網を介して配信するサービスが提案されている。画像を配信する際に、３次元空間の奥行きデータや相当数の多視点画像群を含むデータを配信すれば、後述する任意視点画像生成処理を利用することによりユーザの手元でユーザの所有する立体表示デバイスに合わせた合成画像（これについては後述する）を生成することもできる。このため、立体表示デバイスで規定された画素配列方式、視点数その他のパラメータないし仕様（以下、これらをまとめて立体表示パラメータという）によって変化する立体像の視差量の大小を気にすることなく画像データの配信を行うことができる。

ここで、任意視点画像生成処理とは、２つ以上の視点画像を入力し、入力された視点画像とは異なる視点に対応する画像を生成する処理のことである。任意視点画像生成処理には、３次元モデルを用いる手法もあるが、３次元モデルを用いない任意視点画像生成処理はイメージベースドレンダリング処理とも呼ばれ、近年盛んに研究されている。代表的な例として、Seizらは２つの視点画像から抽出した対応関係により生成した３次元空間の奥行きデータを用いてワーピング処理を行い、中間視点の画像を生成している（非特許文献１）。

但し、通信網の効率的な利用を考えると、各シーンの３次元空間奥行きデータや多視点画像群をそのまま配信するのは非常に冗長であり、非効率となる。このため、画面分割方式の立体表示デバイスの場合、ある特定の立体表示デバイスに適合するように合成画像（立体画像）を生成し、この合成画像を配信する方がより現実的である。

ここで、合成画像とは、立体表示デバイスを用いて立体像を提示するための最終的な画像データの形である。合成画像の例を図３に示す（詳しくは実施例中にて説明する）。図３には、５視点の合成画像の例を示している。

また、図３に示すように、ディスプレイの各画素が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素によって構成される場合に、観察面（視点が並んだ面）での色ずれを防止するために、隣接したＲ，Ｇ，Ｂのサブ画素が異なる視点画像を表示する方法がある（特許文献１参照）。

さらに、レンチキュラレンズを各レンズ部の母線方向が垂直方向に並ぶように配置したり、パララクスバリアの開口を垂直方向に直線上に並べたりした場合には、提示される立体像の水平方向の像解像度が低下してしまう。このため、レンチキュラレンズを各レンズ部の母線方向が斜め方向に延びるように配置したり、バリア開口を垂直および水平方向において適度に分散するように配置したり（特許文献２参照）することによって、像解像度の低下を抑制している。

このように、合成画像に求められる画素配列は、立体表示デバイスの視点数によって異なるだけでなく、視点数が同じでも立体表示デバイスの構成や表示方式といった立体表示パラメータによって異なる。
特開昭５７−１１５９２号公報（第２頁右上欄１２行〜第４頁右下欄１６行、第１図〜第３図等） 特開平９−２３６７７７号公報（段落００２０〜００２４、図２等） Steven M.Seitz,C. R. Dyer, View Morphing, Proc. SIGGRAPH 96,pp. 21-30,1996)

しかしながら、従来は、特定の立体表示デバイスのために生成された合成画像を別の立体表示パラメータが異なる立体表示デバイスで観察する手法が提案されていない。このため、特定の立体表示デバイス用に生成、配信された画像コンテンツは、該特定の立体表示デバイスでしか観察することができず、このような状況では、立体表示パラメータの異なる立体表示デバイス間での画像コンテンツのポータビリティがきわめて低い。

本発明は、様々な立体表示デバイス間での画像コンテンツのポータビリティを高めることができるようにした画像処理プログラム、画像処理装置および立体表示システムを提供することを目的の１つとしている。

上記の目的を達成するために、１つの観点としての本発明の画像処理プログラムは、立体表示デバイスを用いた立体像観察を可能とする立体画像（合成画像）を生成する、コンピュータ上で動作する画像処理プログラムであって、第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータおよび該第１のパラメータに対応した第１の立体画像を取得する第１のステップと、第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得する第２のステップと、第１の立体画像と第１および第２のパラメータとに基づいて、第２のパラメータに対応した第２の立体画像（合成画像や多視点画像群）を生成する第３のステップとを有する。

また、他の観点としての本発明の画像処理装置は、立体表示デバイスを用いた立体像観察を可能とする立体画像を生成する画像処理装置であって、第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータ、該第１のパラメータに対応した第１の立体画像、および第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得するデータ取得部と、第１の立体画像と第１および第２のパラメータとに基づいて、第２のパラメータに対応した第２の立体画像を生成する画像生成部とを有する。

そして、該画像処理装置と、第２の立体画像を出力（表示又は印刷）して複数視点に立体像を提示する立体表示デバイスとにより立体表示システムを構成することも可能である。

本発明によれば、ある立体表示デバイスに対応した立体画像から、立体表示パラメータが異なる他の立体表示デバイスに対応した立体画像を生成することができる。したがって、立体画像の元となる画像コンテンツのポータビリティを高めることができる。

以下、本発明の実施例について図面を参照しながら説明する。

本実施例では、第１の立体ディスプレイ（第１の立体表示デバイス）に対応した画素配列を有する第１の合成画像（第１の立体画像）を、第２の立体ディスプレイ（第２の立体表示デバイス）のデバイス特性を示す立体表示パラメータに合った第２の合成画像（第２の立体画像）に変換して立体像を提示させる立体表示システムの構成について説明する。

ここでは、第１の立体ディスプレイの視点数（および視点間隔）と第２の立体ディスプレイの視点数（および視点間隔）とが同じである場合について説明する。また、本実施例の立体表示デバイスは、各視点に対応した画像（視点画像）を構成する画素（視点画素）を所定の順序でマトリクス状に配置した合成画像を同一画面内に表示することにより、複数視点からの立体像の観察を可能とする、いわゆる画面分割方式の表示デバイスである。

図１２は、本実施例の立体表示システムの構成を示すブロック図である。図１２において、１２０１は外部とのデータの入出力部であり、第１の合成画像を入力したり、変換した第２の合成画像を出力したりする。また、合成画像の画素配列パラメータに関する情報がファイルデータとして与えられる場合には、該入出力部１２０１を通じて入力される。この入出力部１２０１は、磁気ディスク、光ディスク、半導体メモリ等の記録メディアに対してデータの読み書きを行うドライブユニットにより構成される。また、入出力部１２０１を、ネットワークに接続される通信ポート、デジタル放送や無線交信によるデータ送受信を行うチューナ、アンテナ、受信機、送信機等によって構成してもよい。

１２０２は画像処理装置であり、入力された第１の合成画像を本システムの第２の立体表示デバイスを用いて立体像を提示するための第２の合成画像に変換し、映像信号として第２の立体表示デバイスに送る。画像処理装置１２０２は、例えば汎用のパーソナルコンピュータにより構成される。

２次元ディスプレイ１２０３は、液晶パネル（ＬＣＤ）等の表示素子により構成される。画像処理装置１２０２は、２次元ディスプレイ１２０３上での表示を通じて、ユーザから対話的に合成画像変換や立体表示のために必要な情報を取得したり、該情報の取得をアシストしたりする。また、このディスプレイ１２０３には、画像処理部１２０２での処理状況や各種操作メニューも表示される。

１２０４は操作入力部であり、マウスやキーボード、ジョイスティック等により構成される。ユーザは、２次元ディスプレイ１２０３上に表示されたメニュー画像を見ながら、機能を選択したりデータの入出力を行わせたりすることができる。なお、２次元ディスプレイ１２０３をタッチパネル等により構成し、操作入力部として機能させるようにしてもよい。

１２０５は第２の立体表示デバイスとしての立体ディスプレイであり、変換後の第２の合成画像を表示するＬＣＤやブラウン管等の表示素子１２０５ａと、該表示素子１２０５ａの各画素（各視点画素）からの光を所定の視点１２０５ｃに向かわせ、立体像を提示する表示光学系１２０５ｂとによって構成されている。

この立体ディスプレイ１２０５については、特開平１０−２３２６６５号公報にて提案されているように、２次元ディスプレイと３次元ディスプレイとして兼用してもよい。この場合、合成画像のみ３次元表示し、合成画像以外のデータは２次元表示する等、任意の使い分けを行うことができる。

１２０６は別の第２の立体表示デバイスとしてのプリンタであり、画像処理部１２０２で変換された合成画像を印刷する。プリンタ１２０６は、紙やフィルム等の通常媒体に限らず、レンチキュラシートやインテグラルフォトシート等、立体像を観察するための偏向光学素子に印刷することもできる。また、プリンタ１２０６として、合成画像をホログラム情報に変換して立体情報を印刷する、ホログラフィックステレオグラムプリンタ等、立体画像印刷を目的としたプリンタにより構成してもよい。なお、プリンタ１２０６としては、上記偏向光学素子と重ねることによって立体観察ができる紙等に印刷を行うプリンタであってもよい。

１２０７はインターネット等のネットワークである。画像処理装置１２０２は、後述するデータベース１２０８から合成画像や他の立体表示デバイスの立体表示パラメータデータを該ネットワーク１２０７を介して取得することができる。

データベース１２０８には、入力ソースとなる合成画像データファイルや、合成画像の画素配列方式、視点数、視点間隔、視差量等、特に画面分割方式の各種立体表示デバイスに対応する立体表示パラメータのデータを、所定のキーワードに関連付けて保存している。操作入力部１２０４からキーワード入力とともに上記データのダウンロードを指示することにより、画像処理装置１２０２は目的のデータを取り込むことができる。

１２０９は第１の立体表示デバイスとしての立体ディスプレイであり、前述したように、立体表示パラメータが第２の立体表示デバイス（立体ディスプレイ１２０５およびプリンタ１２０６）とは異なるものである。

次に、画像処理装置１２０２の構成について説明する。１２０２１はＣＰＵ等、本画像処理装置全体の制御を司るコントローラである。

１２０２２は大容量記憶装置であり、入力された第１の合成画像や立体表示パラメータデータを保存したり、変換後の第２の合成画像を保存したりする。この記憶装置１２０２２は、ハードディスク等により構成されている。

１２０２３は主記憶装置であり、ＲＡＭ等で構成される。この主記憶装置１２０２３は、入力された第１の合成画像や立体表示パラメータデータを展開したり、変換過程における中間生成画像である多視点画像群（これについては後述する）を一時的に記憶したりすることができる。また、変換後の第２の合成画像データを表示したり大容量記憶装置１２０２２に記憶したり入出力部１２０１から出力したりする前に、一時的に記憶する機能も有する。

図１には、本実施例の合成画像の変換処理プログラムのフローチャートを示している。このプログラムは、画像処理装置１２０２（コンピュータとしてのコントローラ１２０２１）において実行される。

ステップ（以下、Ｓと記す）１０１は第１の合成画像（以下、入力合成画像という）を入力するステップである。入力合成画像は、本実施例の第２の立体表示デバイス１２０５，１２０６とは立体表示パラメータが異なる他の画面分割方式の立体ディスプレイ１２０９用に生成された画像データである。

ここで、図３に、合成画像の代表的な画素配列を示す。図３において、３０２は合成画像の全体を示し、３０１はその一部分を示す。前述したように、合成画像とは、立体表示デバイスを用いて立体像を提示するための最終的な画像データの形である。図３において、１〜５の番号が付されたマスは、該番号の視点に対応した視点画像を表示するための視点画素（サブ画素）であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素によって１画素３０３が構成されている。図中において同一色で色分けされたストライプ領域には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のうち同一色用のサブ画素が配置されている。但し、１画素内の３つのサブ画素は、互いに異なる視点画像を表示する。すなわち、図３に示す例では、合成画像は、それぞれ５視点画素からなる３色のストライプ画像が水平方向に循環的に配列されることにより構成されている。

なお、このような合成画像を生成するためには、予め水平方向一方から他方に所定間隔で視点を移動しながら複数の画像（視点画像）を撮影やコンピュータグラフィクス（ＣＧ）等により生成する。図３中の１〜５の番号は、この撮影又は生成順、すなわち視点の番号を示す。そして、これら複数の視点画像を上述した画素配列を持った画像データに変換することにより、合成画像が生成される。また、図３には、５視点の合成画像を示しているが、２〜４視点又は６視点以上の合成画像でもよい。

次にＳ１０２では、入力合成画像に対応する第１の立体表示デバイスにおける立体表示パラメータ（以下、単に入力合成画像の立体表示パラメータという）を取得するステップである。立体表示パラメータは、入力合成画像に対応する第１の立体ディスプレイ１２０９の画素配列方式、視点数、画像サイズ、視点間隔、視点画像間の視差分布範囲（最大視差量）が含まれる。視点間隔は、入力合成画像を生成する元となった各視点画像を撮影する際の撮影基線長に対応する。また、視差分布は、入力合成画像を構成する任意の２視点を基準として得られる。その他、立体表示パラメータに、撮影装置の焦点距離、撮像光軸の輻輳の有無等、各シーンの視差分布の判別に有用な情報も含まれる。

通常、合成画像を構成する多視点画像群の視点位置は、平行視もしくは輻輳視のカメラ配置により撮影される。平行視とは、カメラの光軸に垂直な面内に移動軌跡を持つカメラの撮影光軸方向が互いに平行である場合である。また、輻輳視とは、あるオブジェクト上に注視点を設定し、カメラの撮影光軸方向が常に該注視点を向くようにその位置を移動させながら複数の視点画像を撮影する場合である。

なお、画素配列方式については、その配列順序を特定できるテーブルデータでもよいし、数式や部分パターンのデータでもよい。

図２には、Ｓ１０２において立体表示パラメータを取得する手順を示している。まず、Ｓ２０１において、入力合成画像のデータに、立体表示パラメータを含むファイルヘッダがあるか否かを確認する。立体表示パラメータを含むファイルヘッダがある場合には、Ｓ２０２において、該ファイルヘッダを参照し、立体表示パラメータを取得する。画素配列テーブルが直接得られる場合には、視点数、画像サイズの情報は該画素配列テーブルから得られることから、省略してもよい。

ファイルヘッダに立体表示パラメータが含まれていない場合でも、対象となる立体表示デバイス名等をキーワードとしてヘッダ情報に含ませた立体表示パラメータのデータベースもしくはデータファイルを生成しておき、合成画像データファイルの読み込み時に該ファイルヘッダ中のキーワードに基づき、上記データベースもしくはデータファイル中から対応する立体表示パラメータを呼び出し、取得するようにしてもよい。データファイルやデータベースは、記憶メディアや端末の固定記憶領域、若しくは図１に示したネットワーク１２０７上のデータベース１２０８に保有されていていればよい。

立体表示パラメータを含むファイルヘッダが存在しない場合には、Ｓ２０３において、ユーザが入力合成画像に対応する立体表示パラメータを入力操作部１２０４を通じて入力する。例えば、立体表示パラメータを示す数値を直接入力したり、画素配列方式に関しては、その配列パターンを入力したり、配列を表す数式を入力したり、２次元ディスプレイ部１２０３に表示された画素配列の候補から該当する画素配列を選択したりする。具体的には、図３のような画素配置を示す画素配列パターン又はその全体を類推可能とする部分パターン、数式等を入力する。また、立体表示デバイスの製造誤差を補正するピッチ合わせに関連する変倍情報等がある場合には、必要に応じて入力する。

次にＳ１０３では、出力される第２の合成画像（以下、出力合成画像という）に対応する第２の立体表示デバイスにおける立体表示パラメータ（以下、単に出力合成画像の立体表示パラメータという）を入力するステップである。この立体表示パラメータにも、入力合成画像の立体表示パラメータと同様に、出力合成画像に対応する第２の立体表示デバイス１２０５，１２０６の画素配列方式、視点数、画像サイズ、視点画像間の視差分布範囲等が含まれる。

なお、実際に全てのパラメータをユーザが直接入力することは煩雑であるので、立体表示パラメータを含んだデータファイルを入出力部１２０１から入力したり、ユーザが出力対象の立体表示デバイス名等のキーワードを入力し、このキーワードをヘッダ情報に含む立体表示パラメータデータをデータベース等から読み出したりするとよい。

また、本画像処理装置１２０２がプラグアンドプレイ機能を有している場合には、第２の立体表示デバイス１２０５，１２０６から立体表示パラメータ自体もしくはデータベースから立体表示パラメータを取得するのに必要なキーワード情報を取得するようにしてもよい。キーワード情報のみが得られる場合には、該キーワード情報を用いてデータベースを検索し、該当する立体表示デバイスに対応する立体表示パラメータを取得する。

次にＳ１０４は、入力合成画像を出力合成画像に変換するステップである。具体的には、入力合成画像と、該入力合成画像に対応する立体表示パラメータと、出力合成画像に対応する立体表示パラメータとに基づいて、出力合成画像を生成する。

本実施例においては、前述したように、入力合成画像および出力合成画像（つまりは第１および第２の立体表示デバイス）の視点数および視点間隔が同じであり、視点数および視点間隔の変更に伴う視差分布調整、すなわち立体感の調整は行わないものとして説明する。つまり、主として画素配列の変更のみを行う場合について説明する。

図４には、合成画像の変換例を示している。図４において、４０１は変換前の合成画像（入力合成画像）の一部分の画素配列を示しており、該画素配列は図３に示したものと同一である。４０２は、変換後の合成画像データ（出力合成画像）の一部分の画素配列を示している。

ここで画素配列４０１を持つ入力合成画像は、背景技術の欄でも説明した、いわゆる斜めレンチキュラ素子を用いた立体表示デバイス用の５視点合成画像の代表例である。これに対し、画素配列４０２を持つ出力合成画像は、レンズ母線方向が画面の横方向に対して直交する通常のレンチキュラ素子を用いた立体表示デバイス用の５視点合成画像の代表例である。

入力合成画像では、実際の空間上で１画素を構成する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素を、ディスプレイ上の異なる画素内に配置するようにしているが、出力合成画像では、実際の空間上で１画素を構成する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素を、ディスプレイ上の同じ画素内に配置するようにしている。すなわち第２の合成画像データは、図６に示すように、各色のサブ画素のみが集まった赤（Ｒ）レイヤー６０１、緑（Ｇ）レイヤー６０２および青（Ｂ）レイヤー６０３を１サブ画素分ずつずらして重ねたものに相当する。

画面分割立体表示方式においては、本実施例に挙げた以外にも、立体表示デバイスの特性（立体表示パラメータ）に応じた様々な画素配列を持つ合成画像のバリエーションが考えられるが、変換前後の合成画像の組み合わせは任意でよい。

図５には、合成画像の変換手順を示している。Ｓ５０１では、図１のＳ１０１で入力した入力合成画像を多視点画像群に変換する処理を行う。

ここで、図３の４０１の画素配列を持った合成画像を視点ごとに注目して見てみると、図７（ａ）に示すように、合成画像７０１上での各視点画像（ここでは第１視点に対応するＲ，Ｇ，Ｂの視点画像を示す）７０２は、該合成画像が生成される際の画素欠落によって画素情報（画素の色情報や輝度情報）を失った、まばらなサンプリングによる画像とみなすことができる。

Ｓ５０１では、まず３色のサブ画素が同一平面内に配置されている視点画像７０２を、図７（ｂ）に示すように、ＲＧＢ各色のレイヤーに分ける。７０３はＲ画素のレイヤー、７０４はＧ画素のレイヤー、７０５はＢ画素のレイヤーである。

ここで、合成画像７０１上での１つの視点画像７０２を、各色レイヤー７０３〜７０５に分離しただけでは、各色レイヤーにおいて当該視点の各色のサブ画素がまばらに存在し、分離前に他の視点のサブ画素が存在した部分の画素情報が欠落している。そこで、視点ごとにおよび色レイヤーごとに欠落画素を補間して欠落画素のない視点画像を作る処理がＳ５０１での多視点画像データへの変換処理である。

欠落画素情報を補間した結果を図７（ｃ）に示す。７０６は第１視点のＲ画素レイヤー、７０７は第１視点のＧ画素レイヤー、７０８は第１視点のＢ画素レイヤーを表す。こうしてまず、第１視点の視点画像の補間生成を行い、順次、他の視点の視点画像についても補間生成を行う。

補間手法については、単純には各色レイヤーで補間を行う方法が考えられる。例えば、図８に示すように、補間すべきサブ画素８０１の近傍に存在する１又は複数のサブ画素８０２のデータを用い、最近傍補間法、線形補間法、キュービックコンボリューション法等の補間手法を用いて補間を行う。補間処理の際に、相関の強い異なる色レイヤー上の画素情報を輝度情報として参照してもよい。

ここではさらに、色情報と輝度情報の分離を利用した補間手法について説明する。図１１には、該補間手法を用いた処理手順を示す。

Ｓ１１０１は色補間ステップであり、上述した色レイヤーごとの画素補間を行う。すなわち、図７（ｂ）に示した、合成画像から分離した各視点画像の各色レイヤーにおいて欠落している画素を、その近傍の同色、同一視点の画素の情報に基づいて予測補間を行い、図７（ｃ）のようにＲＧＢの全画素の情報（ＲＧＢ信号）を復元する。

Ｓ１１０２は輝度生成ステップである。ここでは、各視点画像について、合成画像上にてＲ，Ｇ，Ｂの各色成分のデータとして分布している画素情報から色キャリア成分を除去し、ＲＧＢ各成分の輝度情報を混合して輝度成分Ｙを算出する。

Ｓ１１０３は輪郭強調ステップである。ここでは、Ｓ１１０２において生成された各視点の輝度画像の水平および垂直方向において、近傍画素間の差分（微分情報）を輪郭成分として算出した後、その輪郭成分を元の各視点の輝度画像に加算することにより輪郭強調を行う。

Ｓ１１０４は輪郭強調色成分を生成する処理である。ここでは、Ｓ１１０１により生成された各視点の色補間画像とＳ１１０３により生成された各視点の輪郭強調輝度画像とを合成して、輪郭強調されたＲＧＢ信号からなる画像を生成する。

色補間画像と輪郭強調輝度画像との合成は、まず色補間画像に対して色差変換を行い、色情報と輝度情報とに分離する。色差変換については、例えばＹＣｒＣｂ変換を行い、色情報と輝度情報に分離する。なお、色差変換については、輝度情報と色情報にＲＧＢ信号を分離する手法であれば、ＹＵＶ変換のような他の任意の分離方法を用いてもよい。

次に、色差変換により分離された色補間画像の輝度情報と輪郭強調輝度画像とを置き換える。そして、色補間画像の色差成分ＣｒＣｂと置き換えられた輝度成分Ｙとを用いて原色変換を行い、ＲＧＢ成分の画像を得る。これにより、各色レイヤーでの単純な補間処理を行った場合と同様に、図７（ｃ）に示すようなＲＧＢ信号からなる視点ごとの画像（多視点画像群）が得られる。

なお、ここでは、合成画像から多視点画像群への変換処理における各視点画像内における欠落画素の補間方法として、単純に各色レイヤーで補間を行う方法と、色情報と輝度情報の分離を行う補間方法とについて説明したが、欠落画素の補間方法として、さらにインテリジェントな任意の補間方法を用いてもよい。例えば、色情報の補間の際に、輝度情報から生成したエッジ画像を補間の制御情報として用いるような手法を用いてもよい。

さらに、相互に隣接する視点の視点画像における視差量を考慮して、該隣接する視点画像内の近傍座標の画素情報を利用した補間処理を行ってもよい。これらの補間方法を用いることにより、多視点画像ひいては出力合成画像の画質を向上させることができる。

図２２に、隣接する視点画像内の視差を考慮した近傍座標の画素情報を利用した補間の例を示す。ここでは、隣接視点画像内の近傍座標の画素情報を視差情報を利用してマップ化し、該マップを用いて補間を行う。

２２０１は合成画像を構成する多視点画像群のうち、ある視点の理想的な（欠落画素のない）視点画像であり、２２０２は視点画像２２０１の視点に隣接する視点の理想的な視点画像である。２２０３および２２０４は、合成画像から生成された、上記視点画像２２０１，２２０２のそれぞれに対応した補間処理前の視点画像であり、欠落画素を含んでいる。なお、例として、視点画像２２０３を第１視点の画像（第１視点画像）、視点画像２２０４を第２視点の画像（第２視点画像）とする。視点画像２２０３，２２０４において、内側が白色の画素が合成画像から得られる画素であり、内側が黒（灰）色の画素が合成画像上で欠落していて、補間が必要な画素であるとする。

つまり、合成画像を分解することにより、理想的には２２０１および２２０２のような視点画像群を得るのが目的ではあるが、画素欠落により、補間処理の前には２２０３および２２０４のように画素情報の欠落した視点画像群しか得られない。

２２０５は視差マップであり、欠落画素を含む視点画像２２０３，２２０２間の個々の画素の視差量情報を示している。ここでは、隣接視点画像間の視差マップが隣接視点画像間のマッチングにより既に得られているとして説明する。

なお、視差マップについては、欠落画素を含む視点画像間において大きなテンプレートを用いたり、縮小した画像間でその大まかな形状を見るマッチングを実施したりすることにより、良好な視差マップを得ることができる。

そして、視差マップ上の各画素は、各画素の視差量情報を表す２次元ベクトル情報を持つ。図の視差マップ２２０５においては、その濃淡がベクトルの大きさを表しているとする。すなわち、階調が低い（暗い）ほど遠くに位置し、階調が高い（明るい）ほど近い位置を表しているとする。

２２０６は第２視点画像２２０４を視差マップ２２０５の各画素の視差量情報を用いて、第１視点画像２２０３の視点で見えるべき画素位置へと全ての画素をマップした画像（以下、第１視点マップ画像という）である。該第１視点マップ画像２２０６上のベクトルは、マップによる画素の移動、つまり個々の画素の視差ベクトルを表す。

２２０７は第２視点画像２２０４をマップすることにより生成した第２視点マップ画像２２０６の画素情報により、第１視点画像２２０３を補間して生成した補間視点画像である。該補間視点画像２２０７は、より多くの隣接視点画像内の視差を考慮した画素情報補間を行うことによって、第１視点画像２２０３に対して相対的に欠落画素を減少させることができる。

さらに、補間視点画像２２０７の残りの欠落画素については、上述した視点画像内での補間処理を実施することによって補間を行う。このように、視差を考慮した隣接視点画像内の近傍座標の画素情報を利用することにより、合成画像内でのより多くの画素情報を多視点画像群への変換に利用することができ、より現実に忠実な補間処理を行うことが可能となる。また、視差マップが自動生成されることにより、手動で対応点を入力せずに済ませることができる。但し、補助的に手動で対応点を入力してもよい。なお、入力される合成画像が動画像である場合には、隣接するフレームの情報を補間に用いてもよい。

次に、図５のＳ５０２では、マルチプレックス処理を行う。マルチプレックス処理は、Ｓ５０１で得られた多視点画像群を入力として、出力合成画像を生成する処理である。なお、実質的なマルチプレックス処理に加えて、必要に応じてピッチ調整処理も行う。

出力合成画像の画素配列については、図１のＳ１０３において取得されている。また、ピッチ調整処理を行う場合には、同様に出力合成画像の立体表示パラメータの取得時にピッチ調整パラメータを取得（入力）しておく必要がある。

図９に、多視点画像群から生成される出力合成画像を示す。９０１から９０５は入力となる多視点画像群であり、９０１は第５視点の視点画像、９０２は第４視点の視点画像、９０３は第３視点の視点画像、９０４は第２視点の視点画像、９０５は第１視点の視点画像である。９０６はマルチプレックス処理により生成された出力合成画像である。

合成画像の画素配列については、例えば、レンズ母線方向が画面の横方向に対して垂直なレンチキュラ素子を用いた印刷（立体プリント）による立体表示デバイスを対象とした合成画像を生成する場合には、図９に示すように、各視点の画素とそれを構成するサブ画素とが同一位置に配置されたものとなる。

このため、多視点画像群を構成する各視点画像の同一座標の画素を、視点配列に従って、隣接画素として配列するように合成画像を生成する。具体的には、各視点画像を、１画素（３サブ画素）ごとに垂直方向に延びる短冊状の画素ストライプに分解し、これら画素ストライプを第１〜第５視点の順とは逆の順で循環的に水平方向に並べる。

一方、合成画像をディスプレイ表示する場合には、大部分のディスプレイのピクセルは水平方向に並んだ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのサブ画素により１画素が構成されるので、上述した印刷と同様に、画素（３サブ画素）を最小単位としてマルチプレックス処理を行うと、各視点において色ずれが発生してしまい、良好な立体像観察が行えなくなる。このため、上記大部分のディスプレイを対象とする場合、サブ画素単位で視点画像を変化させ、各視点画像の同一座標のサブ画素を、視点配列に従って、隣接サブ画素として配列するように合成画像を合成する。

さらに、マルチプレックス処理による特定方向における提示立体像の解像度劣化を、背景技術で説明したような斜めレンチキュラ配置若しくは斜めバリア開口配置により軽減する場合には、合成画像の水平画素ラインごとに、第１視点の画素（又はサブ画素）の位置が変化するマトリクス配置とする。図３に示した合成画像３０１は、このような画素配列を持つ合成画像の一例である。

以上説明した画素配置のうちどの画素配置で出力合成画像を生成するかは、Ｓ１０３で取得した出力合成画像の立体表示パラメータにより決定される。

ここでは、レンズ母線方向が画面の横方向に対して垂直なレンチキュラ素子からなるレンチキュラシートを利用した、５視点画像群からなる立体プリント用合成画像を多視点画像群から生成する手順を例として示す。

まず、多視点画像群を構成する各視点画像の同一座標の画素を視点配列に従い、隣接画素として配列するように立体ストライプ画像を合成する。

j番目の視点のピクセル値をPjmn(但し、m、nはそれぞれ水平、垂直方向の画素配列のインデックス)としたときのj番目の視点画像のデータは、以下のような2次元画素配列で表される。

多視点画像の合成は、それぞれの視点の画像を、１画素ラインごとに垂直方向に延びる短冊状に分解して画素ストライプとし、視点順序とは逆の順に水平方向に並べることにより行う。したがって、合成後の画像は以下に示すようなストライプ合成画像となる。

本実施例においては、５視点の多視点画像からの画像合成を行うため、

となる。

但し、上記配列は空間中で第１視点が右端、第５視点が左端の位置関係に対応する画像をあらわす。ここで、視点配列順と逆順に画素ストライプを並べるのは、レンチキュラ素子によって観察をする際に、レンズ部の1ピッチ内で画像が左右逆に観察されるためである。

このようなストライプ合成画像は、元の多視点画像群の各視点画像がH×ｖのサイズのN視点画像である場合、Ｘ（＝Ｎ×Ｈ）×ｖのサイズとなる。H×ｖのサイズの合成画像を生成する場合には、あらかじめ視点画像を、Ｈ／Ｎ×ｖに圧縮しておくか、サンプリングピッチをNとして視点画像から1画素ラインずつ取り出すかする。画素ラインをN画素おきに取り出す場合には、エイリアジングの影響を軽減するために、あらかじめ視点画像にスムージングを行っておく。

出力合成画像がカラーフィルタ配列を考慮したモザイク画像の場合には、入力される視点画像のサイズを出力サイズと同じサイズにし、出力合成画像を構成する視点画素に対応する視点画像から該視点画素と同一座標の画素を抽出することにより合成画像を生成する。

図１０は、多視点画像群から合成画像を生成する様子を説明する図である。１００１は多視点画像群を構成する第１視点画像であり、１００２は出力合成画像である。出力合成画像１００２の画素配列中で第１視点に対応する視点インデックスを持つ画素を、第１視点画像中の同一座標の画素からサンプリングする。同様にして第２視点画像、第３視点画像…と画素をサンプリングする視点画像を順に変更していくことにより、出力合成画像の画素情報を埋めていき、最終的に全ての画素情報を有する合成画像を生成していく。

本実施例においては、説明を簡単にするために、入力される多視点画像群（視点画像）のサイズを出力合成画像のサイズに合わせてスケール変換を行った後に画素サンプリングを行う場合について説明したが、実際にはスケール変換を行わずに、入力画像と出力画像間のサイズ差を考慮して直接サンプリングを行ってもよい。

なお、生成した出力合成画像に対して、必要な場合にはピッチ調整処理を行う。ピッチ調整処理は、レンチキュラ素子やパララックスバリア等の光学素子と、立体ディスプレイを構成するＬＣＤ等の表示素子とのパターン周期のずれによるモアレの発生を抑制するために行う。パターン周期にずれが無い場合には、処理を行う必要が無いためピッチ調整処理は省略される。ピッチ調整処理は、具体的には、ずれを調整するために出力合成画像に変倍処理を行う。変倍処理は、双線形補間などにより行う。

以上のような合成画像変換処理を行うことにより、第１の立体表示デバイス１２０９に対応した入力合成画像から、第２の立体表示デバイス１２０５，１２０６のデバイス特性（立体表示パラメータ）に合った出力合成画像を生成することができる。そして、該出力合成画像を立体ディスプレイ１０２５に表示したり、プリンタ１２０６で印刷したりすることにより、観察者に良好な立体像を提示することができる。

実施例１では、入力合成画像と出力合成画像とで視点数が同じ場合の変換処理について説明したが、本実施例２では、入力合成画像の視点数よりも出力合成画像の視点数が少ない場合の変換処理について説明する。なお、本実施例に係る立体表示システムの構成は、実施例１と同様である。

本実施例での合成画像の変換手順のうち、Ｓ１０１（入力合成画像の入力ステップ）、Ｓ１０２（入力合成画像の立体表示パラメータ取得ステップ）およびＳ１０３(出力合成画像の立体表示パラメータ取得ステップ）については実施例１と同様であるが、入力合成画像、入力合成画像の立体表示パラメータおよび出力合成画像の立体表示パラメータに基づいて入力合成画像を出力合成画像に変換するＳ１０４（合成画像変換ステップ）は実施例１と異なる。

本実施例のＳ１０４での処理は図１３に示すような手順で行われる。Ｓ１３０１では、実施例１と同様に、入力合成画像を、該入力合成画像の視点数と同じ数の視点画像（多視点画像群）に変換する。

次に、Ｓ１３０２は、入力合成画像から生成された多視点画像群のうち、出力合成画像を生成するための視点画像を選択するステップである。本実施例では、入力合成画像の視点数よりも出力合成画像の視点数が少ないので、まず多視点画像群から出力合成画像の視点数に応じた任意の視点画像を選択する。

図１４には、７視点を有する入力合成画像から５視点の視点画像を選択する例を示す。図中の点線は、各視点画像内の視差量情報から類推される視点の移動軌跡であり、直線若しくは曲線上に形成される。また、丸印は、各視点画像に対応する相対的な視点位置を示す。

視点の移動軌跡および各視点画像の相対的な視点位置の情報は、マッチング等の多視点画像の視差量情報等から推定される。

また、入力合成画像の立体表示パラメータに含まれる視差分布範囲、撮影基線長や撮像装置の焦点距離、カメラ輻輳の有無等も相対的な視点位置の推定の際に利用される。

図１４において、（ａ）は入力合成画像の視点（７視点）である。（ｂ）から（ｅ）は、入力合成画像の視点から、出力合成画像の視点（５視点）を選択する代表例を示している。７視点から５視点を選択する場合、組み合わせの原理により、２１の視点選択例が考えられるが、良好な立体像を得るためには、視点間の距離は等間隔であることが好ましい。このため、実際的に有用な組み合わせとしては、（ｂ）か、（ｃ）若しくは（ｃ）の対称配置が好ましい。このように、各視点画像間の視差量を考慮して、出力合成画像を生成するための視点画像を入力合成画像から生成された多視点画像群から選択する。

Ｓ１３０３のマルチプレックス処理は、実施例１のＳ５０３と同様である。本実施例においてもＳ１３０１において、多視点画像内の欠落画素補間を適切に行うことにより、マルチプレックス処理が円滑に実施できる。

以上説明したように、出力合成画像（第２の立体表示デバイス）の視点数が、入力合成画像（第１の立体表示デバイス）の視点数よりも少ない場合であっても、入力合成画像から生成される多視点画像群から適切に任意の視点画像を選択して、良好な立体像の提示が可能な出力合成画像を生成することができる。

実施例１では、入力合成画像と出力合成画像とで視点数が同じ場合の変換処理について説明したが、本実施例３では、入力合成画像の視点数よりも出力合成画像の視点数が多い場合の変換処理について説明する。なお、本実施例に係る立体表示システムの構成は、実施例１と同様である。

本実施例での合成画像の変換手順のうち、Ｓ１０１（入力合成画像の入力ステップ）、Ｓ１０２（入力合成画像の立体表示パラメータ取得ステップ）およびＳ１０３(出力合成画像の立体表示パラメータ取得ステップ）については実施例１と同様であるが、入力合成画像、入力合成画像の立体表示パラメータおよび出力合成画像の立体表示パラメータに基づいて入力合成画像を出力合成画像に変換するＳ１０４（合成画像変換ステップ）は実施例１と異なる。

本実施例のＳ１０４での処理は図１５に示すような手順で行われる。まず、Ｓ１５０１では、実施例１と同様に、入力合成画像から多視点画像群を生成する。

Ｓ１５０２では、出力合成画像の視点位置を入力合成画像の視点位置を基準として決定する。具体的には、入力合成画像の視点に加え、足りない視点を決定する。

図１６には、（ａ）に示す７視点の入力合成画像の視点位置を基準にとして９視点位置を選択および決定する例を示す。図中の点線は視点の移動軌跡を、丸印は入力合成画像の視点の相対的な位置を示す。また、二重丸印は、新規に生成が必要と決定された視点位置である。

図１６の（ｂ）および（ｃ）は、決定された出力合成画像の視点位置である。（ｂ）および（ｃ）においては、入力合成画像の視点位置に対して２視点を外挿した例を示しているが、新規に追加する視点位置は任意の位置でよい。但し、良好な立体感を得ることを考えた場合、出力合成画像の各視点位置は等間隔である方が好ましい。

Ｓ１５０３では、入力合成画像から生成された多視点画像群に基づいて、Ｓ１５０２で決定された出力合成画像の視点位置のうち新規に決定された視点位置に対応する新規視点画像を生成する。この処理により、出力合成画像の生成に必要な数の視点画像を含む多視点画像群が準備される。

多視点画像を入力とする任意視点画像の生成手法としては、背景技術の欄でも触れたように、イメージベースドレンダリングと呼ばれる技術がある。具体的には、入力多視点画像群から画像シーンのデプスもしくは視差分布情報を算出し、該デプスもしくは視差分布情報を利用し、入力多視点画像群の個々の画素を新たな（任意の）視点位置で観察したときに適切となる画面内位置にマップすることにより、新規な任意視点画像を生成することができる（例えば、特開２００３−２０９８５８号公報参照）。

また、任意視点画像を生成する方法には、入力多視点画像群の各視点画像内に存在する個々のオブジェクトのモデル情報を抽出し、該オブジェクトモデルを用いてＣＧ空間にシーンを構築することにより、ＣＧ上の仮想カメラを任意の位置に想定することで新規な任意視点画像を生成することのできる、イメージベースドモデリングとＣＧとを組み合わせた手法を用いてもよい。なお、本発明で用いる任意視点画像生成方法としては、入力合成画像を構成する多視点画像群を入力として、任意の視点に対応する視点画像を生成することのできる手法であれば、どのような手法を用いてもよい。

Ｓ１５０４では、実施例１と同様に、マルチプレックス処理を行う。ここでは、入力合成画像から生成された多視点画像群とＳ１５０３で生成された新規視点画像とを用いて出力合成画像を生成する。

以上説明したように、本実施例によれば、出力合成画像の視点数が入力合成画像の視点数より多い場合であっても、入力合成画像から生成された多視点画像群を入力として新規視点画像を生成し、所望の視点数を有する出力合成画像を生成することができる。

実施例３では、入力合成画像から生成された入力多視点画像群に任意視点画像生成手法により生成した新規視点画像を加えた多視点画像群から出力合成画像を生成したが、本実施例４では、入力合成画像から生成された多視点画像群の一部もしくは全部を任意視点画像生成手法によって生成した視点画像に置き換えて、第２の立体表示デバイスの視点数に対応した数の多視点画像群を用意し、出力合成画像を生成する。これにより、立体像の立体感や見えを調整した立体像を表示することができる。

ここでは、出力合成画像の視点数が入力合成画像の視点数より多く、かつ入力合成画像から生成した多視点画像群の一部を上述した任意視点画像生成処理手法により生成した新規視点画像によって置き換え、さらに該任意視点画像生成処理手法により生成した出力合成画像における新規な視点に対応した視点画像をこれに加えて、出力合成画像を生成する場合について説明する。なお、本実施例に係る立体表示システムの構成は、実施例１と同様である。また、入力合成画像から生成した多視点画像群の全てを任意視点画像生成処理手法により生成した新規視点画像によって置き換えるようにしてもよい。

本実施例での合成画像の変換手順のうち、Ｓ１０１（入力合成画像の入力ステップ）、Ｓ１０２（入力合成画像の立体表示パラメータ取得ステップ）およびＳ１０３(出力合成画像の立体表示パラメータ取得ステップ）については実施例１と同様であるが、入力合成画像、入力合成画像の立体表示パラメータおよび出力合成画像の立体表示パラメータに基づいて入力合成画像を出力合成画像に変換するＳ１０４（合成画像変換ステップ）は実施例１と異なる。

本実施例のＳ１０４での処理は、実施例３でも説明した図１５に示すような手順で行われる。まず、Ｓ１５０１では、実施例３と同様に、入力合成画像から多視点画像群を生成する。

但し、Ｓ１５０２では、出力合成画像の視点を決定する。ここでは、実施例３と異なり、入力合成画像から生成された入力多視点画像群のうち少なくとも１枚の視点画像を、任意視点画像生成手法により生成された新規視点画像と置き換えるため、入力多視点画像群内の視差量を調整して立体像の見えを良くするための新規な視点位置を決定する。

図１７には、説明を簡単にするために、入力合成画像と出力合成画像の視点数は同じであるが、提示される立体像の視差量を大きくするための新規視点画像を任意視点画像生成手法により生成し、該新規視点画像により入力合成画像から直接生成された多視点画像群の一部に置き換える場合の例を示す。図１７の（ａ）には、入力合成画像の視点位置を丸印で示す。点線は視点の移動軌跡を示す。

（ｂ）には、入力合成画像から生成された多視点画像群のうち中央の視点画像以外の入力視点画像を任意視点画像生成手法により生成された新規視点画像で置き換えた状態での視点位置を示す。新規視点を二重丸印で、元の視点位置（出力合成画像の生成には用いられない入力視点画像の視点）を点線丸印で示す。新規視点は、元の視点に比べて広い視点間隔を持つ。そして、これらの新規視点画像を用いた出力合成画像の生成により、元の多視点画像群のみから生成された出力立体画像に比べて、提示される立体像の視差量が強められる。

（ｃ）には、（ｂ）とは逆に、提示される視差量を弱める場合の新規視点位置の元の視点位置に対する関係を示している。

そして、本実施例では、図１７にて説明した入力視点画像の新規視点画像による置き換えに加えて、さらに新規視点画像を追加することにより、出力合成画像の視点数を入力合成画像の視点数より増加させる。図１８の（ａ），（ｃ）はそれぞれ入力合成画像の視点位置を、（ｂ），（ｄ）はそれぞれ、（ａ），（ｃ）の入力合成画像から変換した後の出力合成画像の視点位置を示している。また、（ａ）の視点位置は等間隔であるのに対し、（ｂ）の出力合成画像の視点位置が立体像の見えを調整するために不等間隔となっている。逆に、（ｃ）の入力合成画像の視点位置は不等間隔であったが、（ｄ）の出力合成画像の視点位置は等間隔に補正されている。

ここで、図１７では、合成画像の変換の前後において視点数が変わらず、かつ視点が等間隔である場合の例を説明した。また、図１８では、変換の前後で視点数が変化し、また視点の間隔についても等間隔から非等間隔とする場合および非等間隔から等間隔とする場合の例を示した。このように、入力視点画像の新規視点画像による置き換えおよび新規視点画像の追加を行う場合、合成画像の変換前後の視点数および視点位置等の条件はどのようなものであってもよい。

言い換えれば、新規視点画像の視点位置の決定には無限の可能性が考えられる。但し、立体像の見えを考慮した場合には、新規視点画像の視点を含めて出力合成画像の全視点が等間隔になるように決定されることが望ましい。

次に、Ｓ１５０３では、Ｓ１５０２で決定された新規視点に対応する新規視点画像を任意視点画像生成手法により生成する。任意視点画像生成手法は、実施例３で説明した手法と同様である。

Ｓ１５０４では、実施例１で説明したマルチプレックス処理を行う。

以上説明したように、本実施例によれば、入力合成画像から生成された入力多視点画像群の一部もしくは全部を任意視点画像生成手法により生成された新規視点画像で置き換えて出力合成画像を生成するので、表示される立体像の見えや立体感を調節した出力合成画像を生成することができる。

本実施例５では、ある画素配列を持つ画面分割方式立体表示デバイスに対応した入力合成画像から多視点画像群への変換を行い、該多視点画像群を出力することができる立体表示システムについて説明する。この場合、出力される多視点画像群が第２の立体画像に相当する。多視点画像群の出力が可能になることにより、これらを時系列的に出力して時分割方式立体ディスプレイで立体像を表示することができる。

図１９は本実施例の立体表示システムの構成を示している。該システムを構成する入出力部１７０１、画像処理装置１７０２、２次元ディスプレイ１７０３、操作入力部１７０４、プリンタ１７０６は、実施例１において説明した対応する構成要素１２０１〜１２０４，１２０６と同じものである。また、ネットワーク１７０７、データベース１７０８も実施例１で説明したもの（１２０７，１２０８）と同じものである。

１７０５は、第２の立体表示デバイスとしての時分割立体ディスプレイであり、２つの視点画像を時系列的に（交互に）表示するＬＣＤ等の２次元ディスプレイ１７０５に、観察者の左右の眼に２次元ディスプレイ１７０５ａからの光を交互に導くように２つの領域で遮光状態と透光状態とが交互に切り換わる液晶シャッタ１７０５ｂとを組み合わせたものである。

また、入力合成画像から１枚の視点画像を出力し、２次元ディスプレイ１７０３に２次元画像を表示したり、プリンタ１７０５で印刷したりしてもよい。

また、上記時分割立体ディスプレイ１７０５と観察者の頭部の位置を検出する装置とを組み合わせることにより、特開平７−１２９７９２号公報にて提案されている立体表示デバイスのように、頭部の移動、すなわち視点の移動に応じてその視点から見た立体画像を提示することができる。

図２０には、本実施例における画像変換手順を示している。Ｓ１９０１（入力合成画像の入力ステップ）およびＳ１９０２（入力画像生成パラメータ取得ステップ）については、実施例１のＳ１０１およびＳ１０２と同様である。

また、Ｓ１９０３（多視点画像生成ステップ）では、実施例１のＳ１０４におけるＳ５０１と同様の処理を行って多視点画像群を生成するが、この際に時分割立体ディスプレイ１７０５の立体表示パラメータである視点数（ここでは２つ）および視点間隔（左右の眼に対応する間隔）の情報を取得し、それに応じた２つの視点画像を生成（選択）する。そして、これら２視点画像を交互に時分割立体ディスプレイ１７０５に出力することにより、立体像を提示することができる。

本実施例６では、実施例５で説明した多視点画像群への変換処理において、上述した任意画像生成手法を用いて新規視点画像を生成し、入力合成画像から直接生成した視点画像を置き換えたり該多視点画像群に追加したりすることができる場合について説明する。これにより、実施例５で説明した時分割立体ディスプレイ１７０５における立体像の見えを変更することができる。また、時分割立体ディスプレイ１７０５と頭部位置の検出装置とを組み合わせた立体表示デバイスを用いる場合に、立体表示パラメータとして該検出装置からの頭部位置情報を取得して、任意の２視点に対応した視点画像を生成することもできる。生成した新規視点画像は、実施例５の２次元ディスプレイ１７０３に２次元画像として表示させたり、プリンタ１７０６で印刷したりすることもできる。なお、本実施例の構成は実施例５と同様である。

本実施例における画像変換手順を図２０に示す。このうち、Ｓ１９０１（入力合成画像の入力ステップ）、Ｓ１９０２（入力画像生成パラメータ取得ステップ）については実施例５と同じである。

但し、Ｓ１９０３では、図２１に示す処理を行う。図２１におけるＳ２００１（多視点画像への変換ステップ）、Ｓ２００２（変換後多視点画像の視点位置決定ステップ）およびＳ２００３（任意視点画像生成ステップ）は、実施例３における図１５のＳ１５０１〜Ｓ１５０３と同様である。そして、Ｓ２００３で生成された新規視点画像を出力する。

以上説明したように、上記各実施例によれば、ある立体表示デバイスの画素配列方式、視点数、提示視差量の大小等の該立体表示デバイスの仕様（立体表示パラメータ）に合った合成画像しか存在しない場合でも、該合成画像を入力として、別の仕様の立体表示デバイスに最適な合成画像もしくは多視点画像を生成することができる。

なお、上記各実施例から以下の発明も導くことができる。

１．任意の画素配列を持つ立体表示デバイス用の第１立体画像を別の画像配列を持つ立体表示デバイス用の第２立体画像に変換する処理を行う画像処理プログラム又は画像処理装置。

２．上記変換処理で、第２立体画像の視点数が第１立体画像の視点数よりも少ない場合に、第２立体画像の視点に対応した視点画像を選択し、出力立体画像を生成する画像処理プログラム又は画像処理装置。

３．上記変換処理で、欠落画素の補間に色情報と輝度情報の分離を利用した補間方法を用いた多視点画像への変換を行う画像処理プログラム又は画像処理装置。

４．上記変換処理で、欠落画素の補間にエッジ画像を補間の制御情報として用いる補間方法を用いて多視点画像への変換を行う画像処理プログラム又は画像処理装置。

５．上記変換処理で、欠落画素の補間に隣接する視点画像内の画素情報を用いる補間方法を利用した多視点画像への変換を行う画像処理プログラム又は画像処理装置。

６．上記変換処理で、欠落画素の補間に隣接するフレーム内の画素情報を用いた補間方法を利用した多視点画像への変換を行う画像処理プログラム又は画像処理装置。

７．上記変換処理で、第１立体画像の視点数より第２立体画像の視点数が多い場合に、新規視点画像を生成する任意視点画像生成処理を行い、該新規視点画像を用いて出力立体画像を生成する画像処理プログラム又は画像処理装置。

８．上記変換処理で、入力立体画像を構成する入力多視点画像に基づいて新規視点画像を生成する任意視点画像生成処理を行い、該新規生成画像で入力多視点画像の一部又は全部を置き換えて、立体像の見えを改善した出力立体画像を生成する画像処理プログラム又は画像処理装置。

９．上記任意視点画像生成処理で、同一な被写体部分を点対点の対応として表す対応点をマッチング処理により抽出し、視差マップを構築する画像処理プログラム又は画像処理装置。

本発明の実施例１〜４の立体表示システムにおける画像処理装置での処理を示すフローチャートである。 本発明の実施例１〜６の立体表示システムにおける画像処理装置での入力合成画像のパラメータを取得する手順を示したフローチャートである。 合成画像の一例を示す図である。 合成画像の変換の一例を示す図である。 本発明の実施例１〜４における合成画像変換処理を示すフローチャートである。 ＲＧＢの各レイヤーに分けた画像を示す図である。 視点画像における画素補間を説明する図である。 近傍画素情報を用いた画素補間方法を説明する図である。 マルチプレックス処理により生成される合成画像を示す図である。 実施例１〜４において、多視点画像群から合成画像を生成する様子を説明する図である。 ベイヤー配列補間技術を利用した補間処理手順を説明するブロック図である。 実施例１〜４の立体表示システムの構成を示すブロック図である。 実施例２における合成画像変換ステップの処理を示すフローチャートである。 実施例２における画像変換前後の視点位置の例を示す図である。 実施例３，４における合成画像変換ステップの処理を示すフローチャートである。 実施例３における画像変換前後の視点位置の例を示す図である。 実施例４における画像変換前後の視点位置の例を示す図である。 実施例４における画像変換前後の視点位置の他の例を示す図である。 実施例５，６の画像表示システムの構成を示すブロック図である。 実施例５，６における画像処理装置での処理を示すフローチャートである。 実施例６における画像変換ステップでの処理を示すフローチャートである。 実施例１における視差マップを用いた視点画像の生成を説明する図である。

符号の説明

４０１ 変換前の合成画像（入力合成画像）
４０２ 変換後の合成画像（出力合成画像）
９０１〜９０５ 多視点画像群
９０６ 出力合成画像
１２０１，１７０１ 入出力部
１２０２，１７０２ 画像処理装置
１２０３，１７０３ ２次元ディスプレイ
１２０４，１７０４ 操作入力部
１２０５，１７０５ 立体ディスプレイ
１２０６，１７０６ プリンタ
１２０７，１７０７ ネットワーク
１２０８ データベース

Claims (11)

1. 立体表示デバイスを用いた立体像観察を可能とする立体画像を生成する、コンピュータ上で動作する画像処理プログラムであって、
   第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータおよび該第１のパラメータに対応した第１の立体画像を取得する第１のステップと、
   第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得する第２のステップと、
   前記第１の立体画像と前記第１および第２のパラメータとに基づいて、前記第２のパラメータに対応した第２の立体画像を生成する第３のステップとを有することを特徴とする画像処理プログラム。
2. 前記第２の立体画像は、前記第１の立体画像に対して少なくとも画素配列が異なることを特徴とする請求項１に記載の画像処理プログラム。
3. 前記第１および第２のパラメータは、視点数、視点間隔、画素配列方式および視差量のうち少なくとも１つを含むことを特徴とする請求項１又は２に記載の画像処理プログラム。
4. 前記第３のステップにおいて、前記第２の立体画像を構成する画素のうち前記第１の立体画像に対応画素がない画素を生成する画素生成処理を行うことを特徴とする請求項１から３のいずれか１つに記載の画像処理プログラム。
5. 前記画素生成処理は、前記第１の立体画像を構成する画素の情報を用いた補間処理により行われることを特徴とする請求項４に記載の画像処理プログラム。
6. 前記第３のステップにおいて、前記第１の立体画像に基づいて該第１の立体画像の複数視点に対応する複数の視点画像を生成し、該複数の視点画像のうち少なくとも一部と前記第１および第２のパラメータとに基づいて前記第２の立体画像を生成することを特徴とする請求項１から５のいずれか１つに記載の画像処理プログラム。
7. 前記第３のステップにおいて、前記第１の立体画像に基づいて該第１の立体画像の複数視点に対応する複数の視点画像を生成し、かつ任意視点画像生成手法を用いて前記第２の立体画像の複数視点のうち前記第１の立体画像の視点に含まれない視点に対応する新規視点画像を生成し、前記複数の視点画像と前記新規視点画像と前記第１および第２のパラメータとに基づいて前記第２の合成画像を生成することを特徴とする請求項１から５のいずれか１つに記載の画像処理プログラム。
8. 前記第３のステップにおいて、前記複数の視点画像のうち少なくとも一部を、任意視点画像生成手法を用いて生成した新規視点画像で置換することを特徴とする請求項６又は７に記載の画像処理プログラム。
9. 請求項１から８のいずれか１つに記載の画像処理プログラムが動作するコンピュータ部と、
   前記第１の立体画像が入力される入力部と、
   前記第２の立体画像が出力される出力部とを有することを特徴とする画像処理装置。
10. 立体表示デバイスを用いた立体像観察を可能とする立体画像を生成する画像処理装置であって、
    第１の立体表示デバイスにおける立体表示に関するパラメータである第１のパラメータ、該第１のパラメータに対応した第１の立体画像、および第２の立体表示デバイスにおける立体表示に関するパラメータである第２のパラメータを取得するデータ取得部と、
    前記第１の立体画像と前記第１および第２のパラメータとに基づいて、前記第２のパラメータに対応した第２の立体画像を生成する画像生成部とを有することを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置と、
    前記第２の立体画像を出力する立体表示デバイスとを有することを特徴とする立体表示システム。
    

Images