JP2008085503A - 三次元画像処理装置、方法、プログラム及び三次元画像表示装置 - Google Patents

Abstract

【課題】立体画像に対し適正な画像処理を施すことが可能な三次元画像処理装置、方法、プログラム及び三次元画像表示装置を提供する。
【解決手段】立体表示部の特性を示した規定値パラメータから算出される変換情報に基づいて、立体表示部に表示された立体画像に関する観測値を示した観測値パラメータを、視点画像と同一次元へと変換し、この変換された変換済パラメータに基づいて、立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する。
【選択図】 図１

Description

本発明は、三次元画像処理装置、方法、プログラム及び三次元画像表示装置に関する。

裸眼式三次元画像表示方法として、二眼式や多眼式が知られている。いずれの方式も画像表示面にレンティキュラーシート（水平方向のみレンズ特性を有するかまぼこレンズのアレイ）や、パララックスバリア等の光線制御子を配し、左右眼に視差をもつ二次元画像を分離して見せることで、観察者に「立体画像（一方向からのみ立体を知覚できる画像）」を知覚させるものである。二眼式では２つの二次元画像が１方向の視点からの立体画像を知覚させるのみだが、多眼式では例えば４つの二次元画像が３方向の視点からの立体画像を知覚させることができる。すなわち、多眼式では、不連続ではあるが運動視差（事物が身体移動の逆方向に移動して見える現象）を観察者に提供することができる。

運動視差をより完全にし、立体画像を表示可能な技術として、ＩＰ（インテグラルフォトイメージング）方式が知られている（例えば、非特許文献１参照）。これは、立体写真の画素に相当するレンズアレイを用意し、この焦点距離にフィルムを置いて撮影を行い、撮影したフィルム上に撮影に用いたレンズアレイを置いて再生を行うものである。この方式から明らかなように、観察位置を限定することなく、フィルムの解像度が十分に高ければ、ホログラフィと同様に完全な空中像をも再生可能な理想的な方式である。

また、近年フィルムの代わりに液晶ディスプレイ（ＬＣＤ）等のフラットパネルディスプレイを用いたＩＩ（インテグラルイメージング）方式が用いられている。このＩＩ方式では、複数の視点（実現したい視差数分の視点）から、立体化したい対象を撮影した画像を用いて立体画像を具現化する画像（以下、多視点画像という）を作成する必要がある。多視点画像は、互いに異なる視点（視差）を有した複数のカメラ（例えば、実現したい視差数分だけカメラを横に並べたカメラアレイ）により撮影した各画像（以下、視点画像という）や、複数の視点からレンダリングしたＣＧ画像（視点画像）を複数用い、これら複数の視点画像（以下、視点画像群という）に含まれる各画素の位置（以下、画素位置という）が、所定の規約に基づいて一の画像上に写像されることで生成される。

ここで、視点画像群から多視点画像を生成するには、各視点画像に含まれた各画素の位置（以下、画素位置という）を三次元画像表示装置の特性に応じ、サブピクセル単位で特定の配置に並び替える必要がある。この理由は、ＩＩ方式では、ＩＰ方式と同様レンティキュラーシート等のレンズアレイを通して多視点画像の光線を再生するため、レンズアレイの光学的な特性に応じて、立体画像を表示するための画素位置が定まるためである。また、フラットパネルディスプレイの限られたピクセル数で多くの視差を実現するためには、通常とは異なるカラーフィルタ構成を用いる場合がある（例えば、特許文献１参照）。このような場合、多視点画像の各画素位置は、カラーフィルタの特性に応じて、サブピクセル単位で決定されることになる。

ところで、表示された立体画像に対し、ノイズ除去やブレンディング処理等の画像処理を施す場合がある。このような場合、立体画像にかかる複数の視点画像の夫々に対して所定の画像処理を施すことが行われている。

Ｍ．Ｇ．Ｌｉｐｐｍａｎｎ、"Ｌａ Ｐｈｏｔｏｇｒａｐｈｉｅ Ｉｎｔｅｇｒａｌｅ"Ｃｏｍｐｔｅｓ Ｒｅｎｄｕｓ Ａｃａｄｅｍｉｅ ｄｅｓ Ｓｃｉｅｎｃｅｓ、Ｖｏｌ．１４６、ｐｐ。４４６−４５１（１９０８）． 特開２００６−９８７７９号公報

しかしながら、上述したように多視点画像の生成には、三次元画像表示装置にかかるレンズアレイやカラーフィルタ等の特性に基づいて、各視点画像に含まれる画素を並び替える必要がある。そのため、上記従来技術では、画素位置の並び替えは考慮されておらず、単に視点画像の夫々に画像処理が施されているだけであるため、適正な画像処理が行われたとは言えず、表示される立体画像の品質の劣化を招く可能性がある。

以下、画像処理により立体画像の品質が劣化する場合を、額縁効果の低減を図った画像処理の例で説明する。ここで額縁効果とは、三次元画像表示装置の表示面の外縁部をまたいで立体画像が存在するような場合、具体的には、立体画像が表示領域内と表示領域外とにわたって存在するような場合、表示領域の外縁にて、立体画像が不連続的に消滅するため、その見え方に違和感が生じる現象である。このような場合、表示領域の外縁に近づくに従い、表示される立体画像を徐々に透明化し、表示領域外縁に到達するまでに完全に透明とするような処理を行うことで、違和感の減少が図られている。

上記画像処理を行う場合、表示領域の外縁から立体物までの距離を示すパラメータが重要な指標となる。これは、実際の表示領域の外縁からの距離に応じて、表示領域に表示する多視点画像の透過度を変化させる必要があるためである。上述したように、表示面に表示される多視点画像とは、三次元画像表示装置のレンズアレイやカラーパネル等の特性を考慮して、各視点画像に含まれた画素位置を並び替えることで生成された画像である。これを鑑みると、立体画像の観測者から見て表示領域上で隣り合う画素（或いは、サブピクセル単位での画素内に含まれる要素）は、並び替え前に、ある視点画像において隣り合っているとは限らない。また、同一の視点画像内に含まれているとも限らず、複数の視点画像に分散された状態で含まれる可能性もある。そのため、画素情報の並び替えを考慮せず、視点画像の夫々に対して画像処理を施しただけでは、適正な画像処理が行われたとは言えず、表示される立体画像の品質が劣化する可能性がある。

本発明は、上記に鑑みてなされたものであって、立体画像に対し適正な画像処理を施すことが可能な三次元画像処理装置、方法、プログラム及び三次元画像表示装置を提供することである。

上述した課題を解決し、目的を達成するために、本発明は、立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得手段と、前記表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得手段と、前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出手段と、前記算出された変換情報に基づいて、前記取得された観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換手段と、前記変換された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御手段と、を備える。

また、本発明は、立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得工程と、前記立体表示部に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得工程と、前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出工程と、前記算出された変換情報に基づいて、前記取得された観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換工程と、前記変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御工程と、を含む。

また、本発明は、三次元画像処理装置のコンピュータに、立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得機能と、前記立体表示部に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得機能と、前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出機能と、前記算出された変換情報に基づいて、前記観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換機能と、前記変換された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御機能と、を実現させる。

また、本発明は、立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得手段と、前記立体表示部に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得手段と、前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出手段と、前記算出された変換情報に基づいて、前記観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換手段と、前記変換された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御手段と、を備える。

本発明によれば、立体画像に関する観測値を示した観測値パラメータを視点画像と同じ次元に変換し、この変換された変換済パラメータに基づいて、立体画像の各画素位置に対応する視点画像への画像処理を視点画像毎に制御することが可能であるため、立体画像に対し適正な画像処理を施すことが可能となり、立体画像の品質を向上させることができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる三次元画像処理装置、方法、プログラム及び三次元画像表示装置の最良な実施の形態を詳細に説明する。

［第１の実施の形態］
図１は、本実施形態の三次元画像処理装置１００の構成を示すブロック図である。図１に示すように、三次元画像処理装置１００は、情報処理を行うＣＰＵ（Central Processing Unit）１、ＢＩＯＳ等を記憶した読み出し専用メモリであるＲＯＭ（Read Only Memory）２、各種データを書き換え可能に記憶する主記憶装置であるＲＡＭ（Random Access Memory）３、三次元画像のコンテンツ（視点画像群等）を格納するとともに、三次元画像処理プログラムを格納するＨＤＤ（Hard Disk Drive）４等から構成されている。

ＣＰＵ１は、ＨＤＤ４に格納された三次元画像処理プログラムに従って各種の演算処理を実行し三次元画像処理装置１００の各部を統括的に制御する。具体的に、ＣＰＵ１は、ＨＤＤ４に格納された複数の視点画像からなる視点画像群から一の多視点画像を生成し、後述する三次元画像表示装置２００に表示させる。以下、ＣＰＵ１が三次元画像処理プログラムに従って実行する本実施形態の特徴的な処理について説明する。

図２は、三次元画像処理装置１００の機能構成を示すブロック図である。図２に示すように、ＣＰＵ１が三次元画像処理プログラムに従って各部を制御することにより、観測値パラメータ取得部１１、規定値パラメータ取得部１２、変換情報算出部１３、観測値パラメータ変換部１４、画像処理制御部１５、画像処理条件設定部１６及び画像処理部１７が主記憶装置上に生成されるようになっている。

観測値パラメータ取得部１１は、三次元画像処理装置により生成した多視点画像が、後述する三次元画像表示装置で立体画像として表示された際に観測されるパラメータ（以下、観測値パラメータという）を取得する。ここで、観測値パラメータとは、例えば、後述する三次元表示装置の立体表示部上に表示される立体画像の大きさや位置、立体画像を構成する各画素の大きさや位置、（例えば、後述する立体表示部外縁との距離）等であって、観測により取得できる情報を意味する。

観測値パラメータの取得方法は、特に問わないものとするが、例えば、予め観測した観測値パラメータを不揮発性メモリ等の記憶手段に格納しておき、この記憶手段から観測値パラメータを取得するようにしてもよい。この場合、記憶手段は、表示を行う三次元画像表示装置に内蔵する態様としてもよく、この三次元画像表示装置とインターフェースを介して取得するようにしてもよい。

また、インターネット等のネットワークに接続可能な通信手段を介して、当該ネットワークに接続された外部のＤＢ（データベース）装置等から表示を行う三次元画像表示装置の観測値パラメータを取得する態様としてもよい。また、図示しないキーボード等の入力手段を介してユーザから入力させることで、取得する態様としてもよい。

ここで、三次元画像表示装置について説明する。図３は、三次元画像表示装置２００の全体構成を示した図である。三次元画像表示装置２００は、図示しない三次元画像処理装置１００から入力される多視点画像を表示する表示画面２１０と、表示画面２１０からの光線を制御するレンティキュラーシート等の光線制御子２２０とを備えている。表示画面２１０は、液晶パネル（ＬＣＤ）等の画像表示素子２１１とカラーフィルタ層２１２とを有している。以下、表示画面２１０及び光線制御子２２０を総称して、立体表示部２３０という。

画像表示素子２１１は、三次元画像処理装置１００から入力される多視点画像を表示する。この表示された多視点画像が、カラーフィルタ層２１２及び光線制御子２２０を通して観測されることで、観測者の目に多視点画像に応じた立体画像が視認可能に提供されるようになっている。なお、本実施形態では、三次元画像処理装置１００と三次元画像表示装置２００とを別体としたが、これに限らず、三次元画像処理装置１００を三次元画像表示装置２００が内蔵する態様としてもよい。

三次元画像表示装置２００で立体画像を表示した場合、実際には、立体表示部２３０の表示面上の空間（以下、光線空間という）に、多視点画像の光（以下、多視点画像光という）が表示されることになる。この時、画像表示素子２１１に表示された多視点画像に含まれる各画素位置と、光線空間に表示された多視点画像光の各画素位置とは、鏡像関係にあらず同じ位置に存在しない。この理由は、三次元画像表示装置２００の画像表示素子２１１上に、カラーフィルタ層２１２や光線制御子２２０等が重畳されているからであり、これら部材の特性により、画像表示素子２１１から発せられる光線の方向が変化するためである。

図４は、立体表示部２３０上での画素位置と、表示画面２１０上での画素位置との関係を示した図である。同図において、カラーフィルタ層２１２には、縦横比が３：１（３Ｐｐ：Ｐｐ）の画素が、横方向及び縦方向にそれぞれ直線状にマトリクス状に並び、各画素は同一行内で横方向にＲ（赤）、Ｇ（緑）、Ｂ（青）が交互に並ぶように配列されている。また、同一列内で縦方向にＲ（赤）、Ｇ（緑）、Ｂ（青）が交互に並ぶように配列されており、これら縦方向の３つのサブピクセルで一つの色が構成されている。このように縦に並んだ３つのサブピクセルが１レンズピッチ（図中Ｐｓ）に１８個並ぶことで１８視差を与える立体表示が可能となる。

ここで、立体表示部２３０上、即ち光線空間において、特定の位置Ｐに存在する一の画素が観測されたとする。このとき、位置Ｐに対応する表示画面２１０での画素は、３つのサブピクセルから構成されることになり、例えば、領域Ｐ'に存在する縦に並んだ３つのサブピクセルから構成される。なお、光線制御子２２０を通して観測される画素位置と、表示画面２１０上での画素位置との関係は、この図示例に限らないものとする。

図５は、表示画面２１０上でのサブピクセル単位の画素位置と視点画像群におけるサブピクセル単位の画素位置との関係を示した図である。表示画面２１０の領域Ｐ'に存在する３つのサブピクセルは、ｎ枚の視点画像からなる視点画像群のうち、視点画像ｍにおける横に隣り合う３つのサブピクセルから構成された場合を例示している（ｍ、ｎは整数、但しｍ＜ｎ）。ここでは、「視点画像ｍにおける横に隣り合う３つのサブピクセル」が、「表示画面２１０での縦に並んだ３つのサブピクセル（Ｒ、Ｇ、Ｂ）」に変換されている。

このように、視点画像に含まれるサブピクセル単位の各画素位置から、表示画面２１０に表示される画像、即ち多視点画像を構成するサブピクセル単位の各画素位置への写像は、カラーフィルタ層２１２及び光線制御子２２０の特性等に応じて定まる所定の規約に基づいて行われており、この規約に基づいて多視点画像が生成されることで、当該多視点画像の立体画像を観測者の目に提供できるようになっている。

なお、カラーフィルタ層２１２の配列は、図示例に限らないものとする。例えば、カラーフィルタ層２１２が特殊な配置をしている場合、各視点画像に含まれる一の画素は、そのＲＧＢ要素が夫々に分解され、表示画面２１０上において複数の画素に分かれた状態で観測される場合もある。

図１に戻り、規定値パラメータ取得部１２では、三次元画像表示装置が具備する、立体表示部２３０（カラーフィルタ層２１２、光線制御子２２０、画像表示素子２１１）の仕様や特性を示したパラメータ（以下、規定値パラメータという）を取得する。ここで、規定値パラメータとは、例えば、カラーフィルタ層の配置やサブピクセルの縦横の大きさ、光線制御子２２０のレンズピッチや焦点距離、画像表示素子２１１のサイズや解像度等であって、仕様等により予め定められた情報を意味する。

規定値パラメータの取得方法は、特に問わないものとするが、例えば、三次元表示装置の各部にかかる複数の規定値パラメータを不揮発性メモリ等の記憶手段に予め格納しておき、この記憶手段から、該当する規定値パラメータを取得するようにしてもよい。この場合、記憶手段は、三次元画像表示装置に内蔵される態様としてもよく、三次元画像表示装置とインターフェースを介して取得するようにしてもよい。また、規定値パラメータ自体が格納されていなくとも、三次元画像表示装置を構成する各部材の仕様書やスペック（以下、設計データという）を取得し、この設計データから算術演算、物理演算等を用いて規定値パラメータを算出して取得する態様としてもよい。

また、インターネット等のネットワークに接続可能な通信手段を介して、当該ネットワークに接続された外部のＤＢ（データベース）装置等から規定値パラメータを取得する態様としてもよい。例えば、上記光学部材の製造メーカが、Ｗｅｂサイトにて仕様書やスペックを公開しているような場合には、ネットワークを介して設計データを検索し、検索された設計データを用いて規定値パラメータを算出して取得することとしてもよい。また、図示しないキーボード等の入力手段を介してユーザから入力される設計データから、規定値パラメータを取得する態様としてもよい。

変換情報算出部１３は、規定値パラメータ取得部１２で取得された規定値パラメータに基づいて、視点画像群から多視点画像への生成に用いた写像の逆写像を示した変換情報を算出する。以下、変換情報算出部１３の動作原理を説明する。

ＩＩ方式の三次元画像表示装置では、立体画像を表示したい場合、規定値パラメータ取得部１２で取得された規定値パラメータ、具体的にはカラーフィルタ層２１２の構成と光線制御子２２０のレンズピッチとの関係から、立体画像を呈示するのに必要な視差数が決定される。視差数が決定すると、この視差数と規定値パラメータとにより、視点画像群を構成する視点画像の総数と、各視点画像の画像サイズが決定される。このようにして決定された視点画像群は、カメラアレイにより撮影されたり、ＣＧ処理によりレンダリングされたりすることで生成されることになる。

次いで、三次元画像表示装置を構成するカラーフィルタ層２１２や光線制御子２２０、画像表示素子２１１等の特性を示した観測値パラメータを用いて、実際のディスプレイパネルに表示すべき画像の生成手段が決定される。具体的には、上述したように、用意された視点画像群に含まれる各画素を、規定値パラメータにより定まる並び替えをサブピクセル単位で行うことで、表示すべき多視点画像が生成される。

つまり、三次元画像表示装置の規定値パラメータが定まると、視点画像群から多視点画像への画素位置の並び替え（変換）のための写像が一意に決まる訳である。これを逆に考えると、実際のディスプレイパネルに立体画像を呈示するために最終的に表示された多視点画像の画素位置におけるサブピクセル単位の画素が、視点画像群に含まれるどの視点画像のどの画素位置に元々存在していたかを導出するための逆写像を算出することができる。変換情報算出部１３では、この逆写像に相当する変換情報を規定値パラメータ取得部１２で取得された規定値パラメータを用いて算出する。

観測値パラメータ変換部１４は、変換情報算出部１３で算出された変換情報を用いて、観測値パラメータ１０で取得された観測値パラメータの値を変換（逆写像）する。つまり、変換情報算出部１３で算出された変換情報を用いて観測値パラメータ１０で取得された観測値パラメータを変換することで、観測値パラメータの次元（例えば、立体画像に含まれる各画素位置）を視点画像群の次元（例えば、各視点画像での画素位置）に変換する訳である。

なお、本実施形態では、表示面上に立体画像を表示した場合の画素位置を一例として説明したが、これに限定されるものではない。一般に、立体画像を表示した場合、その立体画像における画素（正確には立体空間における画像であるため、二次元的な画素とは概念が異なり、立体を構成する曲面における画素）が、視点画像群において、どこに相当するのか算出することができる。

画像処理制御部１５は、観測値パラメータ変換部１４で変換された観測値パラメータ及び規定値パラメータ取得部１２で取得された規定値パラメータに基づいて、ＨＤＤ５に格納された各視点画像に対する所定の画像処理手続きを制御する。

具体的には、規定値パラメータ取得部１２で取得された規定値パラメータにより決定される総視点数に基づき、その視点毎に、後段の画像処理条件設定部１６に観測値パラメータ変換部１４で変換されたパラメータを出力する。

図６は、画像処理制御部１５の動作を示したフローチャートである。まず、画像処理制御部１５は、視点数をカウントするカウンタＮを最初の視点（Ｎ＝０）とする初期設定を行った後（ステップＳ１１）、規定値パラメータにより決定された総視点数のうち、現在のカウンタ（視点）Ｎに対応する視点画像を画像処理の対象に設定する（ステップＳ１２）。

続いて、画像処理制御部１５は、画像処理対象となった視点Ｎの視点画像に関する情報と、観測値パラメータ変換部１４により変換されたパラメータ（以下、変換済パラメータという）、を画像処理条件設定部１６に出力する（ステップＳ１３）。

、
次いで、画像処理制御部１５は、画像処理部１７から入力される処理終了を通知する通知信号を待機し（ステップＳ１４；Ｎｏ）、通知信号が入力されると（ステップＳ１４；Ｙｅｓ）、ステップＳ１５の処理へと移行する。

ステップＳ１５において、画像処理制御部１５は、規定値パラメータにより決定された総視点数に関してステップＳ１２〜１４の処理を行ったか否かを判定する。ここで全ての視点に関して処理が終了していないと判定した場合には（ステップＳ１５；Ｎｏ）、画像処理制御部１５は、カウンタＮを１インクリメントすることで、次の視点へと変更し（ステップＳ１６）、ステップＳ１２の処理へと再び戻る。

一方、ステップＳ１５において、全ての視点に関して処理が終了したと判定した場合には（ステップＳ１５；Ｙｅｓ）、本処理を終了する。

図１に戻り、画像処理条件設定部１６は、画像処理制御部１５から入力される情報に基づいて、後段の画像処理部１７により実行される画像処理の処理条件（以下、画像処理条件という）を設定する。具体的には、画像処理制御部１５から処理対象となる視点画像に関する情報及び変換済パラメータを受け取ると、これらの情報に基づいて、処理対象となった視点画像に含まれる画素毎に適用する画像処理条件を設定する。

以下、図７を用いて、画像処理条件設定部１６が行う処理の例として、額縁効果軽減のための画像処理を施す場合を説明する。図７は、立体表示部２３０上での画素位置と、視点画像群におけるサブピクセル単位の画素位置との関係を示した図である。ここで、観測者により観測される立体表示部上（光線空間）における立体画像の画素位置を（ｘ、ｙ）で表す。また、画素位置（ｘ、ｙ）が観測値パラメータ変換部１４にて変換された後の画素位置を（ｘｍ１、ｙｍ１、ｃ１）、（ｘｍ２、ｙｍ２、ｃ２）、（ｘｍ３、ｙｍ３、ｃ３）で表す。ｘｍ１、ｙｍ２等は、視点画像ｍにおけるｘ、ｙ座標を意味しており、またｃ１、ｃ２、ｃ３は、その座標における画素のサブピクセルを意味する。例えば、視点画像がＲＧＢ２４ｂｉｔで表現されているような場合、サブピクセルはＲ：８ｂｉｔ、Ｇ：８ｂｉｔ、Ｂ：８ｂｉｔの三つが存在し、ｃ１、ｃ２、ｃ３は各サブピクセルに対応する。つまり、（ｘｍ１、ｙｍ１、ｃ１）は、視点画像ｍの（ｘｍ１、ｘｍ２）座標の画素に含まれるサブピクセルｃ１を意味している。

なお、この例では、説明を簡単にするため、同一の視点画像ｍに変換される例を示したが、これに限定されるものではない。一般的に、三次元画像表示装置において立体表示部２３０に表示された一の画素位置（ｘ、ｙ）は、観測値パラメータ変換部１４により、（ｘｍ１、ｙｍ１、ｃ１）、（ｘｎ２、ｙｎ２、ｃ２）、（ｘｌ３、ｙｌ３、ｃ３）といったように、夫々異なる視点画像ｍ、ｎ、ｌにわたって変換（逆写像）される。

ここで、額縁効果軽減のための画像処理として、立体表示部の表示領域外縁からの距離に応じて透明度を変える画像処理を行うものとする。この画像処理にかかる手続きを数式化すると、例えば、下記式（１）のように表すことができる。

ここで、ｄｉｓｔ（ｘ、ｙ）は、座標（ｘ、ｙ）に存在する画素の表示領域外縁からの距離（あるいは、立体表示部２３０に表示された画像縁からの距離）を図る関数である。また、Ａ、Ｂは任意の定数である。これらの値から求まる透明度αの値に基づいて、各視点画像に含まれる画素の透明度が変更される。なお、αが「０」の場合は完全に透明、「１」の場合は完全に不透明であるものとする。また、αの値が０又は１以外の場合には、座標（ｘ、ｙ）の画素の色をｃとすると、変換後のｃ'は背景色をｃ０として、ｃ'＝α×ｃ＋（１−α）×ｃ０のように表すことができる。

上述したように、立体表示部２３０で観測される画素の座標（ｘ、ｙ）は、視点画像において（ｘｍ１、ｙｍ１、ｃ１）、（ｘｍ２、ｙｍ２、ｃ２）、（ｘｍ３、ｙｍ３、ｃ３）の３つのサブピクセルで表されることになる。この場合、視点画像における各座標か表示領域外縁までの距離は、夫々ｄｉｓｔ（ｘｍ１、ｙｍ１）、ｄｉｓｔ（ｘｍ２、ｙｍ２）、ｄｉｓｔ（ｘｍ３、ｙｍ３）で求められる。しかしながら、立体表示部での１画素に対応する視点画像での３つサブピクセルの画素位置は夫々異なるため、これらの距離に基づいて画像処理を行うと、透明度は夫々異なる値となる。

そのため、画像処理条件設定部１６では、観測値パラメータとして取得された立体表示部上における１画素の表示領域外縁までの距離の、観測値パラメータ変換部１４による変換後の値を、当該１画素に対応する視点画像での３つのサブピクセルの表示領域外縁までの距離ｄとし、この距離を用いて、上記式（１）により視点画像における各画素の透明度αを算出する。

このように、画像処理条件設定部１６では、上記プロセスで生成（算出）したサブピクセル単位での画像処理条件（例えば、サブピクセルレベルでの畳み込み演算、フィルタリング等）を、後段の画像処理部１７に出力する。

なお、本実施形態では、画像処理の一例として額縁効果の軽減を図った透過処理を説明したが、これに限定されるものではなく、例えば、ノイズ除去フィルタ、ローパスフィルタ等の画像処理に対しても同様の処理が行われるものとする。

また、本実施形態では、画素或いはサブピクセル単位で独立して画像処理が可能な例を示したが、これに限定されるものではなく、例えば、特定の画素周辺の画素情報を用いて画像処理を行う場合でも同様の処理が行われるものとする。ただし、この場合、処理単位はサブピクセルレベルで行う必要がある。また、立体表示部２３０において観測される隣接する二つの画素は、同一の視点画像内に変換されるとは限らないため、画像処理として複数の視点画像に存在するサブピクセルの情報を用いることとしてもよい。

画像処理部１７は、画像処理条件設定部１６により設定された画像処理条件に基づいて、処理対象となった視点画像に対し、当該視点画像に含まれた画素毎に所定の画像処理を施す。

具体的に、画像処理部１７は、画像処理制御部１５又は画像処理条件設定部１６から入力される視点画像に関する情報に基づいて、処理対象となった視点画像をＨＤＤ４から取得する。画像処理部１７は、画像処理条件設定部１６により設定された画像処理条件に従って、取得した視点画像に含まれる画素毎に所定の画像処理を実行する。画像処理が終了すると、画像処理実行部１６２は、画像処理後の視点画像をＨＤＤ４に上書きし、画像処理制御部１５に処理の終了を通知する信号を出力する。

以上のように、本実施形態によれば、立体画像に関する観測値を示した観測値パラメータを視点画像と同じ次元に変換し、この変換された観測値パラメータと規定値パラメータとに基づいて、各視点画像に対する所定の画像処理を制御することが可能であるため、立体画像に対し適正な画像処理を施すことが可能となり、立体表示部に表示される立体画像の品質を向上させることができるという効果を奏する。

なお、本実施形態では、特定の視点画像に着目して画像処理の流れを説明したが、全ての視点画像に対しても同様の画像処理が行われるものとする。また、観測者が三次元画像表示装置を観測する位置を変更したり、複数の観測者により観測される場合には、立体画像を観測する位置（視点）が異なるため、観測される視点毎に同様の画像処理が行われるものとする。つまり、三次元画像表示装置が提供する全ての視差方向に対し、即ち、全ての視点画像に対して、同様の画像処理が行われるものとする。

［第２の実施形態］
次に、第２の実施形態の三次元画像処理装置について説明する。なお、上述した第１の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。

図８は、本実施形態における三次元画像処理装置１００の機能構成を示すブロック図である。図８に示すように、三次元画像処理装置１００は、ＣＰＵ１が三次元画像処理プログラムに従って各部を制御することにより、観測値パラメータ取得部１１、規定値パラメータ取得部１２、変換情報算出部１３、観測値パラメータ変換部１４、画像処理制御部１５、画像処理条件設定部１６、画像処理部１７、変換済パラメータ格納部１８及び変換済パラメータ取得部１９が主記憶装置上に生成されるようになっている。

本実施形態の観測値パラメータ変換部１４は、画像処理制御部１５から入力される要求信号に応じ、この要求信号にかかる観測値パラメータを変換情報に基づいて変換し、画像処理制御部１５に出力する。

変換済パラメータ格納部１８は、観測値パラメータ変換部１４により変換された観測値パラメータ（以下、変換済パラメータという）を、ＨＤＤ４の所定の記憶領域に格納する。なお、本実施形態では、変換済パラメータをＨＤＤ４に記憶する態様としたが、これに限らず、例えば、一時記憶領域であるＲＡＭ３に格納する態様としてもよいし、インターネット等のネットワークに接続されたコンピュータ上に格納する態様としてもよい。

変換済パラメータ取得部１９は、画像処理制御部１５から入力される要求信号に応じ、この要求信号で指示された変換済パラメータをＨＤＤ４から取得し、画像処理制御部１５に出力する。ここで、変換済パラメータ取得部１９は、画像処理制御部１５から指示された変換済パラメータをＨＤＤ４から取得できなかった場合、即ち、観測値パラメータ変換部１４により変換が行われていない変換済パラメータが要求された場合、取得不可を示す指示信号を画像処理制御部１５に出力する。

また、本実施形態の画像処理制御部１５は、変換済パラメータ取得部１９又は観測値パラメータ変換部１４から、変換済パラメータを受け取り、画像処理条件設定部１６及び画像処理部１７に対して上述した第１の実施形態と同様の制御を行う。

図９は、本実施形態の画像処理制御部１５の動作を示したフローチャートである。まず、画像処理制御部１５は、後段の画像処理条件設定部１６及び画像処理部１７での画像処理にかかる変換済パラメータを要求する要求信号を、変換済パラメータ取得部１９に出力する（ステップＳ２１）。

続いて、画像処理制御部１５は、変換済パラメータ取得部１９から変換済パラメータが入力されたか否かを判定し、変換済パラメータが入力された場合は（ステップＳ２２；Ｙｅｓ）、この変換済パラメータに基づいて、上述した第１の実施形態と同様に画像処理条件設定部１６及び画像処理部１７の制御を行い（ステップＳ２３）、本処理を終了する。

一方、ステップＳ２２において、取得不可を示す指示信号が入力された場合には（ステップＳ２２；Ｎｏ）、画像処理制御部１５は、変換済パラメータを要求する要求信号を観測値パラメータ変換部１４に出力する（ステップＳ２４）。そして、画像処理制御部１５は、観測値パラメータ変換部１４から変換済パラメータが入力されると（ステップＳ２５）、ステップＳ２３に移行し、上述した第１の実施形態と同様に画像処理条件設定部１６及び画像処理部１７の制御を行った後、本処理を終了する。

以上のように、本実施形態によれば、立体画像に関する観測値を示した観測値パラメータを視点画像と同じ次元に変換し、この変換された観測値パラメータと規定値パラメータとに基づいて、各視点画像に対する所定の画像処理を制御することが可能であるため、立体画像に対し適正な画像処理を施すことが可能となり、立体表示部に表示される立体画像の品質を向上させることができるという効果を奏する。また、記憶された変換済パラメータを再利用することができるため、不要な演算を省略することが可能となり、処理速度を向上させることができるという効果を奏する。

なお、本実施形態では、観測値パラメータ変換部１４により変換が行われていない変換済パラメータが要求された場合、変換済パラメータ格納部１８が、取得不可を示す指示信号を画像処理制御部１５に出力する態様としたが、これに限らないものとする。例えば、画像処理制御部１５から要求された変換済パラメータを、変換済パラメータ格納部１８が、観測値パラメータ変換部１４に要求しなおす態様としてもよい。

［第３の実施形態］
次に、第３の実施形態の三次元画像処理装置について説明する。なお、上述した第１の実施形態と同様の要素については、同一の符号を付し、その説明は適宜省略する。

図１０は、本実施形態における三次元画像処理装置１００の機能構成を示すブロック図である。図１０に示すように、三次元画像処理装置１００は、ＣＰＵ１が三次元画像処理プログラムに従って各部を制御することにより、観測値パラメータ取得部１１、規定値パラメータ取得部１２、変換情報算出部１３、観測値パラメータ変換部１４、画像処理制御部１５、画像処理条件設定部１６、画像処理部１７及び観測位置情報取得部２０が主記憶装置上に生成されるようになっている。

観測位置情報取得部２０は、三次元画像表示装置（立体表示部）を観測する観測者の観測位置を示した観測位置情報を取得する。ここで、観測位置情報とは、三次元画像表示装置と当該三次元画像表示装置の観測者との相対的又は絶対的な位置関係を示す情報であって、例えば、観測者の存在位置や、観測者の体の向き（例えば、視線方向）、観測者と三次元画像表示装置との間の距離等が含まれる。

ここで、観測位置情報の取得方法は特に問わないものとするが、例えば、ヘッドトラッキングシステムやアイトラッキングシステム等を用いて観測者の頭や目の位置を検出し、この検出結果から三次元画像表示装置との位置関係を観測位置情報として取得する態様としてもよい。また、カメラ等により観測者を撮影し、この撮影された画像を公知のコンピュータビジョン技術を用いて解析することで、観測位置情報を取得する態様としてもよい。また、観測者に発信器等を装着させ、この発信器から発せられた信号を検出することで、観測位置情報を取得する態様としてもよい。なお、三次元画像表示装置が存在する位置は、予め検知されているものとする。

本実施形態の観測値パラメータ変換部１４は、変換情報算出部１３で算出された変換情報と観測位置情報取得部２０で取得された観測位置情報とに基づいて、観測値パラメータ取得部１１で取得された観測値パラメータを変換する。以下、観測値パラメータ変換部１４の動作原理について説明する。

観測位置情報取得部２０により取得された観測位置情報から、観測者と三次元表示装置との位置関係が検出される。このとき、三次元表示装置の全ての方位からではなく、この観測者が存在する方位に立体画像の表示を限定することで、立体画像の画質向上が見込まれる。これは、観測者の存在する方向に立体画像を偏倚、具体的には立体画像を表示する光線空間の光束を観測者の存在する方向に偏倚させることができるからである。これにより、観測者の観測方向に特化して、立体表示部に表示される立体画像の表示密度を高密度（高解像度）にすることができる。

上記のように観測者が観測位置に応じて光線空間の密度を偏倚させる場合、三次元画像表示装置（立体表示部）自体の特性に加え、観測者が観測位置に応じた新たな変換情報を導出する必要がある。本実施形態の観測値パラメータ変換部１４では、観測位置情報によって立体画像を形成する光線空間を歪めるための写像（一般的には、１対１だけではなく、１対多、あるいは多対１の写像となりうる）を算出し、この写像に変換情報算出部１３で算出された変換情報を加味することで新たな変換情報を算出する。そして、この新たな変換情報を用いて観測値パラメータ取得部１１で取得された観測値パラメータの変換を行う。

具体的に、観測値パラメータ変換部１４は、観測位置情報取得部２０で取得された観測位置情報に基づいて、観測者と三次元表示装置との相対的な位置関係から得られるベクトルＶ（三次元表示装置から見た観測者の存在方向）を算出する。なお、変換情報算出部１３で算出される変換情報は、視域（立体画像を見ることができる領域）を広くとるという要請から、立体画像を表示する光線空間の光束は立体表示部に対し均一に配置されるよう規定されているものとする。

観測値パラメータ変換部１４は、変換情報算出部１３で算出された変換情報に基づいて、光線空間を形成する立体表示部から照射された多視点画像の光束のうち、ベクトルＶと略同等方向の光束に対応する多視点画像（視点画像）上の画素位置を特定し、当該画素位置に立体画像の画素位置を写像する新たな変換情報（以下、観測位置変換情報という）を算出する。そして観測値パラメータ変換部１４は、算出した観測位置変換情報により、観測値パラメータ取得部１１で取得された観測値パラメータを変換する。

ベクトルＶと略同等方向の光束は、以下のようなプロセスで判別することができる。例えば、立体表示部から照射される光束の進行方向をベクトルＷで表したとすると、ベクトルＶとベクトルＷとの内積（Ｖ・Ｗ＝｜Ｖ｜・｜Ｗ｜ｃｏｓθ）の関係を用いて、ベクトルＶとベクトルＷとのなす角θを算出し、θの値が所定の閾値よりも小さい場合に略同等と判別することができる。ただし、この手法に限定されるものではない。

上記の手法等によりベクトルＶと略同等方向を有した複数の光束（以下、光束群という）が得られた場合、これら光束群により立体画像を表示させるために、各視点画像に含まれる各画素位置を当該立体画像に含まれる各画素位置に結びつけるための写像は、観測値パラメータ取得部１１で取得された観測値パラメータを用いて算出することが可能である。ここで、算出された写像の逆写像が、上記した観測位置変換情報に相当する。

以上のように、本実施形態によれば、観測者の観測方向に応じて画像処理を行うことができるため、観測位置から観測した際の立体画像の品質を向上させることができるという効果を奏する。

なお、各視点画像に含まれる各画素位置を当該立体画像に含まれる各画素位置に結びつけるための写像は、予め算出しておくこととしてもよいし、その都度毎に算出する態様としてもよい。

また、ベクトルＶと略同等方向の光束群により表示される立体画像の表示密度は、特に問わないものとする。例えば、表示密度が均一となるよう観測位置変換情報で規定される態様としてもよいし、ベクトルＶとベクトルＷとのなす角θが大きくなるに比例して、表示密度が疎になるよう観測位置変換情報で規定される態様としてもよい。

また、画像処理制御部１５は、視点画像群において、観測者の観測位置に関係する画素についてのみ、画像処理が行われるよう制御する態様としてもよい。これにより、観測者の観測方向に影響のない部分での画像処理を省略することができるため、処理速度を向上させることができるという効果を奏する。

また、本実施形態では、観測位置変換情報を観測値パラメータ変換部１４が算出する態様としたが、これに限らず、例えば、観測位置情報取得部２０で取得された観測位置情報を変換情報算出部１３に入力し、この変換情報算出部１３により観測位置変換情報が算出される態様としてもよい。この場合、観測値パラメータ変換部１４は、変換情報算出部１３により算出された観測位置変換情報に基づいて、観測値パラメータの変換を行うことになる。

第１の実施形態の構成を示すブロック図である。 第１の実施形態の機能構成を示すブロック図である。 三次元画像表示装置の構成を示した図である。 画素位置の関係を示した図である。 画素位置の関係を示した図である。 第１の実施形態の画像処理制御部の動作を示したフローチャートである。 画素位置の関係を示した図である。 第２の実施形態の機能構成を示すブロック図である。 第２の実施形態の画像処理制御部の動作を示したフローチャートである。 第３の実施形態の機能構成を示すブロック図である。

符号の説明

１００ 三次元画像処理装置
１１ 観測値パラメータ取得部
１２ 規定値パラメータ取得部
１３ 変換情報算出部
１４ 観測値パラメータ変換部
１５ 画像処理制御部
１６ 画像処理条件設定部
１７ 画像処理部
１８ 変換済パラメータ格納部
１９ 変換済パラメータ取得部
２０ 観測位置情報取得部
２００ 三次元画像表示装置
２１０ 表示画面
２１１ 画像表示素子
２１２ カラーフィルタ層
２２０ 光線制御子
２３０ 立体表示部

Claims (14)

1. 立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得手段と、
   前記立体表示部上に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得手段と、
   前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出手段と、
   前記算出された変換情報に基づいて、前記取得された観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換手段と、
   前記変換された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御手段と、
   を備えたことを特徴とする三次元画像処理装置。
2. 前記観測値パラメータ変換手段により変換された変換済パラメータを格納する変換済パラメータ格納手段と、
   前記格納された変換済パラメータを取得する変換済パラメータ取得手段と、
   をさらに備え、
   前記画像処理制御手段は、前記観測値パラメータ変換手段により変換された変換済パラメータ及び／又は前記変換済パラメータ取得手段により取得された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御することを特徴とする請求項１に記載の三次元画像処理装置。
3. 前記立体画像を観測する観測者の観測位置を示した観測位置情報を取得する観測位置取得手段をさらに備え、
   前記観測値パラメータ変換手段は、前記変換情報と観測位置情報とに基づいて、前記観測値パラメータを前記観測位置に応じた値へと変換するとともに、前記視点画像と同一次元に変換し、
   前記画像処理制御手段は、前記変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御することを特徴とする請求項１又は２に記載の三次元画像処理装置。
4. 前記画像処理制御手段の制御に基づいて、前記各視点画像に含まれた画素毎の画像処理条件を設定する画像処理条件設定手段と、
   前記画像処理条件設定手段により設定された画像処理条件に基づいて、前記各視点画像に含まれた画素毎に画像処理を施す画像処理手段と、
   を備えたことを特徴とする請求項１〜３の何れか一項に記載の三次元画像処理装置。
5. 前記立体表示部は、前記多視点画像を表示する画像表示素子と、当該画像表示素子に重畳されるカラーフィルタ層と、前記画像表示素子からの光線を制御する光線制御子とを有し、
   前記規定値パラメータ取得手段は、前記画像表示素子、カラーフィルタ層及び光線制御子の何れか又は全ての特性を規定値パラメータとして取得することを特徴とする請求項１〜３の何れか一項に記載の三次元画像処理装置。
6. 前記光線制御子は、前記画像表示素子に重畳されたレンティキュラーシートであることを特徴とする請求項５に記載の三次元画像処理装置。
7. 前記観測値パラメータ取得手段は、前記立体表示部上に表示された立体画像の位置を取得することを特徴とする請求項１に記載の三次元画像処理装置。
8. 前記観測値パラメータ取得手段は、前記立体表示部上に表示された立体画像の当該立体表示部外縁までの距離を取得することを特徴とする請求項１又は７に記載の三次元画像処理装置。
9. 前記観測位置取得手段は、前記立体表示部と観測者との位置関係を取得することを特徴とする請求項３に記載の三次元画像処理装置。
10. 前記観測位置取得手段は、前記立体表示部に対する前記観測者の観測方向を取得することを特徴とする請求項３又は９に記載の三次元画像処理装置。
11. 前記観測位置取得手段は、前記立体表示部と観測者との距離を取得することを特徴とする請求項３、９、１０の何れか一項に記載の三次元画像処理装置。
12. 立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得工程と、
    前記立体表示部上に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得工程と、
    前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出工程と、
    前記算出された変換情報に基づいて、前記取得された観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換工程と、
    前記変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御工程と、
    を含むことを特徴とする三次元画像処理方法。
13. 三次元画像処理装置のコンピュータに、
    立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得機能と、
    前記立体表示部上に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得機能と、
    前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出機能と、
    前記算出された変換情報に基づいて、前記観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換機能と、
    前記変換された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御機能と、
    を実現させることを特徴とする三次元画像処理プログラム。
14. 立体表示部の特性に応じて複数の視点画像の各画素位置が写像された一の多視点画像の表示を行う三次元画像表示装置であって、
    前記立体表示部の特性を示した規定値パラメータを取得する規定値パラメータ取得手段と、
    前記立体表示部上に表示された立体画像に関する観測値を示した観測値パラメータを取得する観測値パラメータ取得手段と、
    前記取得された規定値パラメータに基づいて、前記写像の逆写像を示した変換情報を算出する変換情報算出手段と、
    前記算出された変換情報に基づいて、前記観測値パラメータを前記視点画像と同一次元に変換した、変換済パラメータを生成する観測値パラメータ変換手段と、
    前記変換された変換済パラメータに基づいて、前記立体画像の各画素位置に対応する前記視点画像への画像処理を視点画像毎に制御する画像処理制御手段と、
    を備えたことを特徴とする三次元画像表示装置。

Images