JP2006229725A - 画像生成システム及び画像生成方法 - Google Patents

Abstract

【課題】３次元モデリングを行うことなく、複数の立体視対象画像から立体視用の多眼式立体画像を容易に低コストで生成する。
【解決手段】立体視対象物が異なる複数の立体視対象画像から立体視用の多眼式立体画像を生成する画像生成システム１００において、複数の立体視対象画像の各々は、立体視対象物を少なくとも３つ以上の異なる視点位置から見た画像により構成され、且つ、画像合成時の奥行きの情報を示す奥行き属性情報を有し、各立体視対象画像における同一視点方向の画像データを前記奥行き属性情報に基づいて嵌め込み合成して前記多眼式立体画像を生成する。
【選択図】図１

Description

本発明は、立体視用の画像を生成する画像生成システム及び画像生成方法に関する。

従来から、立体視用の画像として、左目視点からの画像と右目視点からの画像により作成される二眼式立体画像がよく知られている。これは、両視点から得られた画像を左右各々の目で分離して観察する方式であり、偏光メガネ方式、二色メガネ方式（アナグリフ）、頭部搭載型ディスプレイ（ＨＭＤ）方式、パララックスバリア方式など様々な方式が知られている。二眼式立体画像では、両眼の視差により立体感を得ることができるものの、観察者の視点が固定されていることが前提であり、視点の変化に応じて得られる画像が変化するものではないため、臨場感のある立体感を得ることはできない。

そこで、異なる３視点以上の視点位置で得られた視点画像を予め用意しておき、それらの中から観察者の視点に応じた視点画像を視覚可能な多眼式立体画像を用いることにより、より臨場感のある立体感を得ることができる。このような多眼式立体画像としては、インテグラルフォトグラフィが代表的である（例えば、非特許文献１参照。）。

最近では、広告やポスターなど告知目的として画像を用いる場合を代表例として、単一の撮影画像をそのまま用いるのではなく、別々に撮影された複数の撮影画像を組み合わせたり、撮影画像とコンピュータグラフィックスにより生成された画像を組み合わせたり、画像と文字情報を組み合わせたりして最終的に１枚の画像を制作することが一般的に広く行われている。同様のことを立体視用の画像に適用する場合、ＣＧ（Computer Graphics）ソフトウェアやＣＡＤ（Computer-Aided Design）ソフトウェアを用いて、複数の立体視対象画像の組み合わせを３次元モデリングする必要があった。
谷中一寿、外５名「Shade(TM)によるインテグラルフォトグラフィ画像の合成」３ＤImage Conference 2004, p.173-176

しかしながら、３次元モデリングを行う場合、複雑な座標計算など多量の演算処理を必要とし、処理システムに要するコストが高いという問題があった。また、多視点で得られた撮影画像はそのままでは３次元モデリングが行えないため、一旦、高度な画像処理技術を適用して３次元モデリング可能なデータ形式に変換する必要があり、１枚の立体視用の画像を容易に生成することができないという問題があった。

本発明の課題は、３次元モデリングを行うことなく、複数の立体視対象画像から立体視用の多眼式立体画像を容易に低コストで生成することである。

上記課題を解決するため、請求項１に記載の発明は、立体視対象物が異なる複数の立体視対象画像から立体視用の多眼式立体画像を生成する画像生成システムであって、
前記複数の立体視対象画像の各々は、立体視対象物を少なくとも３つ以上の異なる視点位置から見た画像により構成され、且つ、画像合成時の奥行きの情報を示す奥行き属性情報を有し、各立体視対象画像における同一視点方向の画像データを前記奥行き属性情報に基づいて嵌め込み合成して前記多眼式立体画像を生成する生成手段を備えることを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像生成システムにおいて、前記奥行き属性情報は、前記嵌め込み合成時に使用する画像部分を示す有効部及び当該合成時に除去する画像部分を示す無効部を識別する情報と、当該有効部についての相対的奥行き情報を含み、所定の画像構成単位毎に付与されていることを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像生成システムにおいて、前記多眼式立体画像に対する観察者の視点位置を設定する設定手段と、前記設定手段により設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成手段と、前記二眼式立体画像生成手段により生成された二眼式立体画像を表示する表示手段と、を備えることを特徴としている。

請求項４に記載の発明は、請求項３に記載の画像生成システムにおいて、前記表示手段により表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対し、個別に所定の幾何変換処理を施す幾何変換手段と、前記幾何変換処理に基づいて前記多眼式立体画像を再生成する再生成手段と、を備えることを特徴としている。

請求項５に記載の発明は、請求項３に記載の画像生成システムにおいて、前記表示手段により表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対する観察距離を個別に調整する調整手段と、前記調整手段による調整結果により得られる二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再生成する再生成手段と、を備えることを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像生成システムにおいて、前記再生成手段は、立体視対象画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記前記多眼式立体画像を再生成することを特徴としている。

請求項７に記載の発明は、請求項３〜６の何れか一項に記載の画像生成システムにおいて、前記表示手段は、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴としている。

請求項８に記載の発明は、請求項３〜７の何れか一項に記載の画像生成システムにおいて、前記表示手段は、左目には左目用画像、右目には右目用画像を視認させるための表示処理を行うことを特徴としている。

請求項９に記載の発明は、請求項１〜８の何れか一項に記載の画像生成システムにおいて、前記複数の立体視対象画像のうちの少なくとも１つは、文字情報を主体とする画像であることを特徴としている。

請求項１０に記載の発明は、立体視対象物が異なる複数の立体視対象画像から立体視用の多眼式立体画像を生成する画像生成方法であって、前記複数の立体視対象画像の各々は、立体視対象物を少なくとも３つ以上の異なる視点位置から見た画像により構成され、且つ、画像合成時の奥行きの情報を示す奥行き属性情報を有し、各立体視対象画像における同一視点方向の画像データを前記奥行き属性情報に基づいて嵌め込み合成して前記多眼式立体画像を生成することを特徴としている。

請求項１１に記載の発明は、請求項１０に記載の画像生成方法において、前記奥行き属性情報は、前記嵌め込み合成時に使用する画像部分を示す有効部及び当該合成時に除去する画像部分を示す無効部を識別する情報と、当該有効部についての相対的奥行き情報を含み、所定の画像構成単位毎に付与されていることを特徴としている。

請求項１２に記載の発明は、請求項１０又は１１に記載の画像生成方法において、前記多眼式立体画像に対する観察者の視点位置を設定する設定工程と、前記設定工程において設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成工程と、前記二眼式立体画像生成工程において生成された二眼式立体画像を表示する表示工程と、を含むことを特徴としている。

請求項１３に記載の発明は、請求項１２に記載の画像生成方法において、前記表示工程において表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対し、個別に所定の幾何変換処理を施す幾何変換工程と、前記幾何変換処理に基づいて前記多眼式立体画像を再生成する再生成工程と、を含むことを特徴としている。

請求項１４に記載の発明は、請求項１２に記載の画像生成方法において、前記表示工程において表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対する観察距離を個別に調整する調整工程と、前記調整工程による調整結果により得られる二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再生成する再生成工程と、を含むことを特徴としている。

請求項１５に記載の発明は、請求項１４に記載の画像生成方法において、前記再生成工程では、立体視対象画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記前記多眼式立体画像が再生成されることを特徴としている。

請求項１６に記載の発明は、請求項１２〜１５の何れか一項に記載の画像生成方法において、前記表示工程では、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴としている。

請求項１７に記載の発明は、請求項１２〜１６の何れか一項に記載の画像生成方法において、前記表示工程では、左目には左目用画像、右目には右目用画像を視認させるための表示処理が行われることを特徴としている。

請求項１８に記載の発明は、請求項１０〜１７の何れか一項に記載の画像生成方法において、前記複数の立体視対象画像のうちの少なくとも１つは、文字情報を主体とする画像であることを特徴としている。

本発明によれば、複数の立体視対象画像を奥行き属性情報に基づいて嵌め込み合成することにより、従来のように３次元モデリングを行うことなく、複数の立体視対象画像から容易に低コストで立体視用の多眼式立体画像を生成することが可能となる。

また、いったん３次元モデリングを経て多眼式立体画像を作成した場合についても、何らかの都合で調整の必要が生じた場合において、再度３次元モデリングを経ることなく容易に調整した多眼式立体画像を再生成できる。

また、最終生成物である多眼式立体画像を生成する前に、二眼式立体画像を表示してレイアウトや立体感を確認可能にしたことにより、多眼式立体画像を何度も作り直すことなく、自然な立体感を与え、且つ、立体視対象物の組み合わせに関して違和感のない多眼式立体画像を容易に生成することが可能となる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。

図１に、本発明の実施形態に係る画像生成システム１００の構成を示す。画像生成システム１００は、図１に示すように、画像処理装置１、ＣＧ・ＣＡＤ作成装置７、撮像装置８、印刷装置９により構成される。

画像処理装置１は、操作部２、表示部３、記憶装置４、外部インターフェイス５、制御部６により構成される。

操作部２は、文字入力キー、テンキー、カーソルキー及び各種機能キーを備えたキー入力装置や、マウス等のポインティングデバイスを備え、キー入力装置やポインティングデバイスの操作による操作信号を制御部６に出力する。また、操作部２がタッチパネルを備える構成としてもよい。この場合、操作部２のタッチパネルは、表示部３の表示ディスプレイを覆うように設けられ、電磁誘導式、磁気歪式、感圧式等の座標読み取り原理でタッチ指示された座標を検出し、検出した座標を位置信号として制御部６に出力する。

表示部３は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等の表示ディスプレイを備え、制御部６から入力される表示制御信号に従って所要の表示処理を行う。

記憶装置４は、ＨＤ（Hard Disc）等により構成されており、外部インターフェイス５を介して入力された画像や、制御部６で実行された画像処理結果等のデータを記憶する。

外部インターフェイス５は、画像処理装置１に接続された外部装置（ＣＧ・ＣＡＤ作成装置７、撮像装置８、印刷装置９）との間で、データの受け渡しを行う。

制御部６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等により構成される。ＣＰＵは、ＲＡＭの所定領域を作業領域として、ＲＯＭに記憶されている各種制御プログラムを実行し、画像処理装置１を構成する各部の動作を制御する。本実施形態において制御部６は、立体視対象物が異なる複数の立体視対象画像を嵌め込み合成して立体視用の多眼式立体画像を生成する多眼式立体画像生成処理（図５参照）を実行する。各立体視対象画像は、立体視対象物を複数（少なくとも３つ以上）の異なる視点位置から見た画像（以下、「多視点画像」と呼ぶ。）で構成される。なお、多眼式立体画像については後に図２〜図４を参照して詳細に説明する。

ＣＧ・ＣＡＤ作成装置７は、ＣＧ（Computer Graphics）又はＣＡＤ（Computer-Aided Design）により３次元データやレンダリングデータを作成する。

撮像装置８は、複数の異なる位置に配置されたカメラ（デジタルカメラ等）を有し、各カメラは撮影光軸を被写体（立体視対象物）の特定点に向けて同時に撮影し、撮影により得られた画像データを画像処理装置１に出力する。カメラの配置方法は、例えば、水平方向に一列に配置する方法、格子状又はハニカム状に等間隔に配置する方法等がある。撮像装置８での撮影により、撮像装置８が有するカメラの台数分の視点画像が取得され、その取得された各視点画像をカメラの配置に従って並べることにより多視点画像が得られる。また、図２に示すように、カメラを特定点に向けて配置せず、各カメラの光軸が平行になるように配置して撮影し、各視点方向の画像作成時に異なるカメラの撮影画像をピクセル毎に選択・補間する方法もある。

印刷装置９は、画像処理装置１で生成された画像を印刷出力するプリンタであり、インクジェットプリンタや熱昇華型プリンタ等により構成される。

なお、図１では、ＣＧ・ＣＡＤ作成装置７、撮像装置８及び印刷装置９が画像処理装置１に接続されている場合を示したが、必ずしも接続されている必要はない。例えば、ＣＧ・ＣＡＤ作成装置７、撮像装置８で得られた画像データをメモリカード等の記録媒体に記録し、画像処理装置１では、その記録媒体に記録された画像データを読み込んで画像処理を行うようにしてもよい。また、画像処理装置１で作成された印刷データをメモリカード等の記録媒体に記録し、印刷装置９において、その記録媒体に記録された印刷データを読み込んで印刷処理を行うようにしてもよい。

<多眼式立体画像>
次に、図２〜図４を参照して、多眼式立体画像について説明する。
多視点画像としては、例えば、図２に示すように、撮像装置８が有する複数台のカメラによる被写体（立体視対象物）の撮影により得られる画像や、ＣＧ・ＣＡＤ作成装置７においてＣＧ、ＣＡＤ等からレンダリングして得られる画像が含まれる。

図３（ａ）に、格子状に視点画像が配置された多視点画像と、当該多視点画像から生成される多視点再構成画像の一例を示す。図３（ａ）では、多視点再構成画像がＩＰ（Integral Photography）画像である例を示している。この多視点画像において、左側からｉ番目、上からｊ番目の視点位置を(i,j)、視点位置(i,j)での視点画像をＶ(i,j)、視点画像Ｖ(i,j)内の座標を（x,y）、視点画像Ｖ(i,j)の座標(x,y)におけるピクセル（画素）をＩ(i,j,x,y)とする。多視点画像が、水平方向にｍ枚、垂直方向にｎ枚からなる視点画像Ｖ(i,j)（i＝1,2,…,m、j＝1,2,…,n）から構成されているとすると、各視点画像Ｖ(i,j)の同一座標(x,y)のピクセルＩ(i,j,x,y)を、m×nピクセルから構成される矩形領域に寄せ集めることによって、多視点再構成画像内のピクセルｒ(x,y)が形成される。以下では、図３（ｂ）に示すように、多視点再構成画像内のピクセルｒ(x,y)を構成する各ピクセルＩ(i,j,x,y)を「サブピクセル」と呼ぶ。即ち、多視点再構成画像の各ピクセルは、水平方向にｍ個、垂直方向にｎ個に配置されたサブピクセルから構成される。ピクセルｒ(x,y)内の各サブピクセルＩ(i,j,x,y)は、視点位置(i,j)の並びに従って配置される。図３（ａ）では、各視点画像が、１８０×１８０画素から構成されているものとし、水平方向に９視点分（m＝9）、垂直方向に９視点分（n＝9）、即ち、９×９＝８１個の異なる視点画像から構成される多視点画像から１枚の多視点再構成画像（ＩＰ画像）が生成される例を示している。

なお、多視点再構成画像の各ピクセルを構成するサブピクセルの構成は、多視点画像を構成する視点画像の構成（m×n）に一致させる必要はない。例えば、ピクセル内のサブピクセルデータの間引き処理や、ピクセルの一部（中央部）のみを抽出することによって、m×nよりも小さい構成とすることが可能である。また、ピクセル内にサブピクセルデータを挿入することにより、m×nよりも大きい構成とすることが可能である。

次に、図４を参照して、プリント技術を用いたインテグラルフォトグラフィの原理について説明する。

図４に示すように、上側透明シートにはピンホールアレイが、下側透明シートには、多視点再構成画像としてのＩＰ画像が、それぞれ予めプリントされている。２枚の透明シートの間隔を一定に保つため、両透明シートの間に中間透明板が挿入されている。また、ＩＰ画像を照らすため、その下に光源（バックライト）が配置されている。これらが全体として「多眼式立体画像」を構成する。

観察者Ｈは、ピンホールアレイを通過してきた光を見るが、右目に入る光が、ＩＰ画像の点Ｑから出たのか、それとも３次元物体上の点Ｓから出たのか区別できない。同様に、左目に入る光が、ＩＰ画像の点Ｒから出たのか、それとも３次元物体上の点Ｓから出たのか区別できない。従って、両眼視差により、観察者Ｈには、あたかも点Ｓに物体があるように見える。このように、ＩＰ画像から立体視が可能となる。ＩＰ画像は、３次元物体上の点Ｓから放出される光の情報を視点方向毎に適切にピクセル座標に割り当てたサブピクセル（点Ｑ、点Ｒなど）により構成されている。

次に、本実施形態における動作について説明する。
本実施形態における動作として、図５のフローチャートを参照して、画像処理装置１において実行される多眼式立体画像生成処理について説明する。

本多眼式立体画像生成処理の処理対象である各立体視対象物の画像（立体視対象画像）には奥行き属性情報が付加されている。この奥行き属性情報は、嵌め込み合成時に使用する画像部分を示す有効部及び当該合成時に除去する画像部分を示す無効部を識別する情報（ステンシル値）と、当該有効部についての相対的奥行き情報（Ｚ値）を含み、所定の画像構成単位毎（例えば、画像領域毎又はピクセル毎又はサブピクセル毎）に付与されている。例えば、奥行き属性を０、１、２、…の複数段階で表し、無効部の奥行き属性を０、有効部の奥行き属性（Ｚ値）を１、２、…とすることができる。複数の立体視対象画像（多視点画像又は多視点再構成画像）の嵌め込み合成時には、奥行き属性の値が一番大きい立体視対象画像のサブピクセルが使用される。なお、全ての立体視対象画像が必ずしも多視点画像である必要がなく、一部の立体視対象画像については、奥行き属性情報を付加した通常の２次元画像（視点方向に対してピクセルデータが一定）であってもよい。

この奥行き属性情報は、ユーザによって操作部２の操作により設定されていてもよいし、画像処理装置１が自動的に設定するようにしてもよい。画像処理装置１が自動的に設定する場合、例えば、立体視対象画像の色情報等から背景部分を判定し、その部分の奥行き属性を０（無効部）とする。

多眼式立体画像生成処理では、まず、複数の立体視対象画像（多視点画像又は多視点再構成画像）の各々に対して、１枚の固有の座標空間を有するテンプレートに貼り付けるための条件（貼り付け条件）として、配置位置・方向・サイズ・変形条件等を表す幾何変換式及びそのパラメータが設定される（ステップＳ１ａ）。この貼り付け条件は、操作部２の操作により設定される。なお、ステップＳ１ａの貼り付け条件として適用される幾何変換式は、後に式（３）〜式（１４）に示す。

また、このとき、複数の立体視対象画像の多眼式立体画像の各々に対して、多眼式立体画像に対する視点位置が設定される（ステップＳ１ｂ）。ステップＳ１ｂにおける視点位置の設定は、操作部２の操作により設定されてもよいし、画像処理装置１に予め登録されている視点位置又は多視点画像データに予め登録されている視点位置を設定するようにしてもよい。

次いで、全ての立体視対象画像についてステップＳ１ａで個別に設定されたテンプレートに対する貼り付け条件と、ステップＳ１ｂで個別に設定された視点位置に基づいて、元の多視点画像の各視点から視認できる画像が変化しないように当該テンプレートに各立体視対象画像を貼り付けることによって各立体視対象画像の嵌め込み合成が行われ、合成された多視点画像が生成される（ステップＳ２ａ）。

ステップＳ２ａにおけるテンプレートへの貼り付けの際、ステップＳ１ａ及びＳ１ｂで設定された幾何変換式と視点位置に従って各立体視対象画像の２次元座標(x, y)が幾何変換され、また、立体視対象画像上の所定の位置を中心とした領域内のサブピクセルデータに対して空間的に拡大処理又は縮小処理を施すサブピクセルの拡大・縮小処理（図１１及び図１２参照）が行われる。

また、嵌め込み合成の際、全立体視対象画像において同一の座標、同一の視点方向の画像データ（サブピクセルデータ）については、奥行き属性情報に基づいて当該合成に使用する立体視対象画像のサブピクセルデータが決定される。具体的には、各立体視対象画像の中から有効部を抽出し、抽出された有効部の中から奥行き属性の値が最も大きい（最も視点寄りの手前に存在する）立体視対象画像のサブピクセルデータが選択される。例えば、図６に示すように、２つの異なる画像（画像Ａ及び画像Ｂ）を嵌め込み合成するものとする。画像Ａの球形部分の奥行き属性を２、背景部分の奥行き属性を０、画像Ｂ全体の奥行き属性を１とすると、有効部として画像Ａの球形部分及び画像Ｂ全体が抽出され、画像Ａの球形部分と画像Ｂの重なり部分は、奥行き属性の値が一番大きい画像Ａの球形部分のピクセルデータが選択されることになる。このように、テンプレート上の全座標のピクセルにおける全視点方向のサブピクセルに対して、使用するサブピクセルデータを決定することにより、嵌め込み合成画像が生成される。

ステップＳ２ａと同時に、ステップＳ１ａ及びＳ１ｂでの設定値に基づいて、ステップＳ２ａで生成される多視点画像から生成される多視点再構成画像に対する視点位置が設定され、その視点位置に基づいて左目の視点方向及び右目の視点方向が算出される（ステップＳ２ｂ）。図７（ａ）に示すように、両眼の中間点である視点位置が決定されると、左目と右目との距離（両眼間隔）が一定であれば、その視点位置に応じて左目の視点方向及び右目の視点方向が決定される。

次いで、多視点画像の中から、ステップＳ２ｂで算出された左目の視点方向及び右目の視点方向に対応する視点画像が、それぞれ、左目用画像及び右目用画像として選択される（ステップＳ３）。図７（ａ）の円形部分（点線）の拡大図を図７（ｂ）に示す。ステップＳ３では、図７（ｂ）に示すように、多視点再構成画像上で左目の視点方向にあるサブピクセルが属する視点画像が左目用画像として選択され、多視点再構成画像上で右目の視点方向にあるサブピクセルが属する視点画像が右目用画像として選択される。図８では、９×９個の視点画像から構成される多視点画像の中から、視点３５の画像、視点７５の画像が、それぞれ、左目用画像、右目用画像に選択された例を示している。

なお、多視点画像の中に、左目の視点方向及び／又は右目の視点方向に正確に一致する視点画像が存在しない場合、その視点方向の近傍に存在する複数の視点画像のピクセルデータを補間処理することによって左目用画像及び／又は右目用画像のピクセルデータを決定すればよい。

例えば、図９に示すように、多視点画像上において、左目の視点方向の近傍に、視点Ａ方向、視点Ｂ方向、視点Ｃ方向、視点Ｄ方向に対応するピクセルデータが存在するものとする。図９において、視点Ａ方向、視点Ｂ方向、視点Ｃ方向、視点Ｄ方向のピクセルデータを、それぞれ、Ｐａ、Ｐｂ、Ｐｃ、Ｐｄとすると、左目の視点方向のピクセルデータＰｌは、線形補間の場合、式（１）のように算出される。
Ｐｌ＝(１−ｒ)(１−ｓ)Ｐａ＋ｒ(１−ｓ)Ｐｂ＋(１−ｒ)ｓＰｃ＋ｒｓＰｄ （１）

ステップＳ３で左目用画像及び右目用画像が選択されると、これらの左目用画像及び右目用画像を用いて所定の方式により二眼式立体画像が生成され（ステップＳ４）、その生成された二眼式立体画像が表示部３に表示される（ステップＳ５）。ステップＳ４における二眼式立体画像の生成方式は、ステップＳ５での表示方式に従う。二眼式立体画像の表示方式については、後に図１３〜図１８を参照して説明する。

表示部３に表示された二眼式立体画像をユーザが目視で確認し、その二眼式立体画像のレイアウトや立体感が不適切であると判断されると（ステップＳ６；ＮＧ）、操作部２の操作により、立体視対象画像毎に個別に幾何変換パラメータ、観察距離等が調整されることによって、幾何変換式・パラメータ及び視点位置が再度設定され（ステップＳ１ａ、Ｓ１ｂ）、その設定された条件についてステップＳ２ａ、２ｂ〜Ｓ５の処理が繰り返される。ここで、観察距離とは、図７（ａ）に示すように、観察者の視点位置と多眼式立体画像との距離を示す。

操作部２の操作により、表示部３に表示された二眼式立体画像のレイアウトや立体感が適切であると判断された場合（ステップＳ６；ＯＫ）、これまでの幾何変換内容と観察距離等の調整に応じて、立体視対象画像毎に幾何変換パラメータや視点調整パラメータが算出される（ステップＳ７ａ）。

ステップＳ７ａで算出される「視点調整パラメータ」とは、特定の視点画像を観察するための視点方向角（多眼式立体画像に対する垂直方向と視点方向のなす角）を変化させるパラメータである。図７に示すように、観察距離の調整により、左目の視点方向及び右目の視点方向は変化し、観察される二眼式立体画像も変化する。例えば、図１０に示すように、ある多眼式立体画像において観察距離Ｌ１で二眼式立体画像１（図１０（ａ））が観察され、同じく観察距離Ｌ２で二眼式立体画像２（図１０（ｂ））が観察されたとする。図１０（ｃ）に示すように、観察距離Ｌ２で観察された二眼式立体画像２を観察距離Ｌ１で観察するためには、前記多眼式立体画像を構成する多視点再構成画像上の個々のサブピクセルに対して視点方向角を変化させて多眼式立体画像を再構成する必要がある。ここで、観察距離Ｌ１とは、例えば、図５の多眼式立体画像生成処理で最初に設定される観察距離であり、観察距離Ｌ２とは、ステップＳ６の目視確認によって調整された観察距離である。例えば、多眼式立体画像を構成する多視点再構成画像上のあるサブピクセルの視点方向角θをθ'＝ｋθに変換する場合、ｋが視点調整パラメータとなる。一般には、関数ｆによりθ'＝ｆ(θ,ｋ１,ｋ２,…)という変換が行われた場合、ｋ１、ｋ２、…が視点調整パラメータとなる。

ステップＳ７ａにおいて、幾何変換パラメータや視点調整パラメータが算出されると、その算出されたパラメータに基づいて、個々の立体視対象画像の多眼式立体画像が生成される（ステップＳ７ｂ）。ステップＳ７ｂでは、立体視対象画像毎に、ステップＳ７ａで算出された幾何変換パラメータ、視点調整パラメータに基づいて、各立体視対象画像の２次元座標(x, y)が幾何変換され、また、立体視対象画像（多視点再構成画像）上の所定の位置を中心とした領域内のサブピクセルデータに対して空間的に拡大処理又は縮小処理を施すサブピクセルの拡大・縮小処理が行われる。

サブピクセルの拡大・縮小処理は、例えば、図１１に示すように、多視点再構成画像のサブピクセルのサブピクセル中心からの距離を一定比率で伸縮させることにより実現される。即ち、サブピクセル中心を原点とした拡大処理又は縮小処理によりサブピクセルが再構成される。図１１では、視点方向２で視認されていた多視点再構成画像上のサブピクセル（図１１（ａ））を、サブピクセルの拡大処理により視点方向１で視認できるようにサブピクセルを再構成する（図１１（ｂ））場合を示している。

図１１に示すような多視点再構成画像のサブピクセルのサブピクセル中心からの距離の拡大処理又は縮小処理は以下のように実現される。

図１２において、多視点再構成画像の１ピクセルが、m×n個のサブピクセルから構成される矩形領域（図１２では、m＝n＝9）であるものとする。サブピクセル中心とは、多視点再構成画像のピクセル領域の中心位置（図１２では、ピクセル内の左から５番目、上から５番目）である。このサブピクセル中心を原点として、この原点からの相対位置（Δx、Δy）におけるサブピクセルのデータをＰ（Δx、Δy）とし、原点からの距離をｋ倍に変化（拡大処理ではｋ＞１、縮小処理では０＜ｋ＜１）させるときのサブピクセルのデータＰ'（Δx、Δy）は、式（２）のように表される。
Ｐ'（Δx、Δy）＝Ｐ（Δx/k、Δy/k） （２）
式（２）の右辺Ｐ（Δx/k、Δy/k）の値は、一般に、近接のサブピクセルのデータから補間によって算出される。図１２の例では、原点からの距離を１．３倍に拡大する場合を示しており、サブピクセルのデータは、近接する４つのサブピクセルのデータを用いて線形補間により算出される。

また、原点からの距離をｋ倍に縮小（０＜ｋ＜１）する場合、原点からの相対位置（Δx/k、Δy/k）がピクセル領域から外れてしまう場合は、例えば、以下のように、最も近接する周辺のデータで代用することが可能である。
Δx/k ＜ −(m−1)/2 の場合、Δx/k ← −(m−1)/2；
Δx/k ＞ ＋(m−1)/2 の場合、Δx/k ← ＋(m−1)/2；
Δy/k ＜ −(n−1)/2 の場合、Δy/k ← −(n−1)/2；
Δy/k ＞ ＋(n−1)/2 の場合、Δy/k ← ＋(n−1)/2.

ステップＳ７ｂにおいて立体視対象画像毎に視点調整・幾何調整された多眼式立体画像が生成されると、その生成された各多眼式立体画像の嵌め込み合成を行うことにより、調整された多眼式立体画像の生成、即ち、多眼式立体画像の再構成が行われ（ステップＳ８）、本多眼式立体画像生成処理が終了する。ステップＳ８における嵌め込み合成では、ステップＳ７ｂにおいて生成された全多眼式立体画像において同一の座標、同一の視点方向の画像データ（サブピクセルデータ）について、奥行き属性情報に基づいて当該合成に使用する多眼式立体画像のサブピクセルデータが決定される。

〈幾何変換〉
本実施形態において適用される幾何変換式を式（３）〜式（１４）に示す。ここでの幾何変換とは、２次元座標変換式による図形の変換の総称である。以下では、変換前の２次元座標を(x, y)、変換後の２次元座標を(x', y')とする。

〈二眼式立体画像の表示方式〉
次に、図１３〜図１８を参照して、二眼式立体画像の表示方式について説明する。
図５のステップＳ１〜Ｓ３に示したように、多眼式立体画像に対する観察距離を調整することにより、左目の視点方向及び右目の視点方向が決定され、その決定された両眼の視点方向に応じた左目用画像及び右目用画像が多視点画像から選択（又は補間）される。従って、図１３に示すように、観察距離（又は視点位置）の調整状況に応じて左目用画像及び右目用画像が切換えられるため、表示部３に表示される二眼式立体画像も、観察距離の調整状況に応じて切換えられる。

このとき、表示部３には、図１４に示すように、左目には左目用画像のみ、右目には右目用画像のみが視認できるような表示処理（即ち、左右の目にそれぞれ異なる画像を見せる表示処理）が行われる。以下、二眼式立体画像の表示方式について４つの具体例を挙げて説明する。

第１の方式は、偏光メガネ方式である。偏光メガネ方式は、図１５に示すように、左目用画像と右目用画像を、偏光メガネの偏光選択特性に対応した偏光特性で同時或いは時分割的に投影するものであり、観察者は、この投影された画像を、左目側と右目側で異なる偏光選択特性を有する偏光フィルタで作成された偏光メガネを通して見る。

第２の方式は、アナグリフ方式である。アナグリフ方式は、図１６に示すように、左目用画像と右目用画像を、色メガネの分光透過特性に対応した分光特性で同時或いは時分割的に投影するものであり、観察者は、この投影された画像を、左目側と右目側で異なる分光透過特性を有するカラーフィルタで作成された色メガネを通して見る。

第３の方式は、パララックスバリア方式である。パララックスバリア方式は、図１７に示すように、左目用のピクセル（サブピクセル）と右目用のピクセル（サブピクセル）を交互に配置した画像の手前に、パララックスバリアを配置することで、左目の視点方向からは左目用のピクセル、右目の視点方向からは右目用のピクセルを視認できるようにしたものである。

第４の方式は、レンチキュラー方式である。レンチキュラー方式は、図１８に示すように、左目用のピクセル（サブピクセル）と右目用のピクセル（サブピクセル）を交互に配置した画像の手前に、レンチキュラーレンズを配置することで、左目の視点方向からは左目用のピクセル、右目の視点方向からは右目用のピクセルを視認できるようにしたものである。

なお、以上の方式によらない簡便な方式としては、左目用画像と右目用画像を並べて配置し、観察者自身の視線制御（平行法又は交差法）により立体視する方法もある。平行法の場合は、視線の交絡を避けるための遮蔽板を用いてもよい。また、観察者自身の視線制御に頼らず、光ファイバ束によるライトガイドを用いてもよい。更に、表示装置として頭部搭載型ディスプレイ（ＨＭＤ）を用いて、左目付近で左目用画像を、右目付近で右目用画像を直接表示する方法なども考えられる。

以上のように、本実施形態の画像生成システム１００によれば、奥行き属性情報に基づいて各立体視対象画像を嵌め込み合成することにより、従来のように３次元モデリングを行うことなく、複数の立体視対象画像から容易に低コストで立体視用の１枚の多眼式立体画像を生成することが可能となる。

また、いったん３次元モデリングを経て多眼式立体画像を作成した場合についても、何らかの都合で調整の必要が生じた場合において、再度３次元モデリングを経ることなく容易に調整した多眼式立体画像を再生成できる。

更に、画像処理装置１での最終生成物である多眼式立体画像を生成する前に、二眼式立体画像を表示してレイアウトや立体感を確認可能にしたことにより、多眼式立体画像を何度も作り直すことなく、自然な立体感を与え、且つ、立体視対象物の組み合わせに関して違和感のない多眼式立体画像を容易に生成することが可能となる。

特に、複数の立体視対象画像のうち少なくとも１つを文字情報を主体とする画像とした場合、ボケの状況によってはその判読性に影響する恐れがあるが、本実施形態のように、二眼式立体画像を表示して、観察距離等を調整する手段を設けることにより、文字情報が含まれる画像においても容易に自然な立体感を与える多眼式立体画像を生成することが可能となる。

本発明の実施形態に係る画像生成システムの構成を示すブロック図。 各視点位置と被写体（立体視対象物）との位置関係を示す図。 多視点画像（視点位置の異なる複数の視点画像）から生成される多視点再構成画像（ａ）と、多視点再構成画像のピクセルを構成するサブピクセル（ｂ）を示す図。 インテグラルフォトグラフィの原理を説明するための図。 本実施形態の画像処理装置において実行される多眼式立体画像生成処理を示すフローチャート。 複数の立体視対象画像の嵌め込み合成を説明するための図。 左目用画像及び右目用画像を選択する方法を示す図。 二眼式立体画像生成のために多視点画像から選択される左目用画像及び右目用画像の一例を示す図。 近傍の視点画像のピクセルデータの補間処理によって算出される左目用画像（又は右目用画像）を示す図。 観察距離と二眼式立体画像と多眼式立体画像の関係を示す図。 多眼式立体画像の再構成の一例を示す図。 サブピクセル中心を原点としたサブピクセルの拡大・縮小処理を説明する図。 観察距離（又は視点位置）の調整による二眼式立体画像の切換えを示す図。 視覚選択の概念図。 偏光メガネ方式を用いた表示方式を示す図。 アナグリフ方式を用いた表示方式を示す図。 パララックスバリア方式を用いた表示方式を示す図。 レンチキュラー方式を用いた表示方式を示す図。

符号の説明

１ 画像処理装置
２ 操作部
３ 表示部
４ 記憶装置
５ 外部インターフェイス
６ 制御部
７ ＣＧ・ＣＡＤ作成装置
８ 撮像装置
９ 印刷装置
１００ 画像生成システム

Claims (18)

1. 立体視対象物が異なる複数の立体視対象画像から立体視用の多眼式立体画像を生成する画像生成システムであって、
   前記複数の立体視対象画像の各々は、立体視対象物を少なくとも３つ以上の異なる視点位置から見た画像により構成され、且つ、画像合成時の奥行きの情報を示す奥行き属性情報を有し、
   各立体視対象画像における同一視点方向の画像データを前記奥行き属性情報に基づいて嵌め込み合成して前記多眼式立体画像を生成する生成手段を備えることを特徴とする画像生成システム。
2. 前記奥行き属性情報は、前記嵌め込み合成時に使用する画像部分を示す有効部及び当該合成時に除去する画像部分を示す無効部を識別する情報と、当該有効部についての相対的奥行き情報を含み、所定の画像構成単位毎に付与されていることを特徴とする請求項１に記載の画像生成システム。
3. 前記多眼式立体画像に対する観察者の視点位置を設定する設定手段と、
   前記設定手段により設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成手段と、
   前記二眼式立体画像生成手段により生成された二眼式立体画像を表示する表示手段と、
   を備えることを特徴とする請求項１又は２に記載の画像生成システム。
4. 前記表示手段により表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対し、個別に所定の幾何変換処理を施す幾何変換手段と、
   前記幾何変換処理に基づいて前記多眼式立体画像を再生成する再生成手段と、
   を備えることを特徴とする請求項３に記載の画像生成システム。
5. 前記表示手段により表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対する観察距離を個別に調整する調整手段と、
   前記調整手段による調整結果により得られる二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再生成する再生成手段と、
   を備えることを特徴とする請求項３に記載の画像生成システム。
6. 前記再生成手段は、立体視対象画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記前記多眼式立体画像を再生成することを特徴とする請求項５に記載の画像生成システム。
7. 前記表示手段は、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴とする請求項３〜６の何れか一項に記載の画像生成システム。
8. 前記表示手段は、左目には左目用画像、右目には右目用画像を視認させるための表示処理を行うことを特徴とする請求項３〜７の何れか一項に記載の画像生成システム。
9. 前記複数の立体視対象画像のうちの少なくとも１つは、文字情報を主体とする画像であることを特徴とする請求項１〜８の何れか一項に記載の画像生成システム。
10. 立体視対象物が異なる複数の立体視対象画像から立体視用の多眼式立体画像を生成する画像生成方法であって、
    前記複数の立体視対象画像の各々は、立体視対象物を少なくとも３つ以上の異なる視点位置から見た画像により構成され、且つ、画像合成時の奥行きの情報を示す奥行き属性情報を有し、
    各立体視対象画像における同一視点方向の画像データを前記奥行き属性情報に基づいて嵌め込み合成して前記多眼式立体画像を生成することを特徴とする画像生成方法。
11. 前記奥行き属性情報は、前記嵌め込み合成時に使用する画像部分を示す有効部及び当該合成時に除去する画像部分を示す無効部を識別する情報と、当該有効部についての相対的奥行き情報を含み、所定の画像構成単位毎に付与されていることを特徴とする請求項１０に記載の画像生成方法。
12. 前記多眼式立体画像に対する観察者の視点位置を設定する設定工程と、
    前記設定工程において設定された視点位置に応じた二眼式立体画像を生成する二眼式立体画像生成工程と、
    前記二眼式立体画像生成工程において生成された二眼式立体画像を表示する表示工程と、
    を含むことを特徴とする請求項１０又は１１に記載の画像生成方法。
13. 前記表示工程において表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対し、個別に所定の幾何変換処理を施す幾何変換工程と、
    前記幾何変換処理に基づいて前記多眼式立体画像を再生成する再生成工程と、
    を含むことを特徴とする請求項１２に記載の画像生成方法。
14. 前記表示工程において表示された二眼式立体画像に基づいて、前記複数の立体視対象画像のうち任意の立体視対象画像の各々に対する観察距離を個別に調整する調整工程と、
    前記調整工程による調整結果により得られる二眼式立体画像を、他の観察距離で視覚できるように前記多眼式立体画像を再生成する再生成工程と、
    を含むことを特徴とする請求項１２に記載の画像生成方法。
15. 前記再生成工程では、立体視対象画像上の所定の位置を中心とした領域内の画素データに対して空間的に拡大処理又は縮小処理を施すことによって前記前記多眼式立体画像が再生成されることを特徴とする請求項１４に記載の画像生成方法。
16. 前記表示工程では、多眼式立体画像に対する視点位置の調整に応じて、当該調整された視点位置に応じた二眼式立体画像に切換えて表示することを特徴とする請求項１２〜１５の何れか一項に記載の画像生成方法。
17. 前記表示工程では、左目には左目用画像、右目には右目用画像を視認させるための表示処理が行われることを特徴とする請求項１２〜１６の何れか一項に記載の画像生成方法。
18. 前記複数の立体視対象画像のうちの少なくとも１つは、文字情報を主体とする画像であることを特徴とする請求項１０〜１７の何れか一項に記載の画像生成方法。

Images