JP2013250757A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】３次元表示器に表示される３次元画像から２次元画像を得ること。
【解決手段】３次元表示器において３次元画像情報を入力して３次元画像を表示し、３次元表示器に入力される３次元画像情報に含まれる複数の２次元画像情報の中から、印刷対象となる２次元画像を示す２次元画像情報を決定する。
【選択図】図４

Description

本発明は、３次元画像を表示し、表示されている３次元画像を２次元画像として記録装置で記録可能にする画像処理装置、画像処理方法及びプログラムに関する。

３次元画像を表示することが可能な３次元表示器を有する画像処理装置にレーザプリンター等の所謂記録装置を接続し、３次元表示器で表示された３次元画像を２次元画像として記録装置を用いて紙媒体に記録したいといった潜在ニーズが有る。

特許文献１には３次元画像情報から、任意の視点から見た印刷用の２次元画像を得る技術が開示されている。具体的には、３次元画像情報から、任意の視点から見た２次元画像情報を生成して、生成した２次元画像情報が示す２次元画像を一般的なモニタである２次元表示器に表示する。そして、この表示に用いられた２次元画像情報を使用して印刷用の２次元画像を得る技術が開示されている。

特開平９−１８７０３７号公報

しかしながら、特許文献１は、３次元画像情報を用いているものの、あくまで２次元表示器に表示される２次元画像を印刷することが開示されているに過ぎない。すなわち、３次元表示器に表示される３次元画像を印刷用の２次元画像として得る手法が存在しておらず、例えばユーザーが３次元表示器に表示された３次元画像を確認しながら任意の２次元画像を印刷することができなかった。

本発明に係る画像処理装置は、３次元画像情報を入力して３次元画像を表示する３次元表示手段と、前記３次元表示手段に入力される３次元画像情報に含まれる複数の２次元画像情報の中から、印刷対象となる２次元画像を示す２次元画像情報を決定する決定手段とを備える。

本発明によれば、３次元表示器に表示された３次元画像を２次元画像として記録可能にすることが出来る。

本発明の一実施例に係る画像処理装置の一例を示す概略図である。 本発明の一実施例に係る表示器２をより詳細に説明する図である。 本発明の一実施例に係る多視点と撮影画像との関係を示す図である。 本発明の一実施例に係る画像処理装置の機能ブロックの一例を示す図である。 本発明の一実施例に係る多視点３次元画像を参照して２次元画像を印刷する処理の一例を示すフローチャートを示す図である。 本発明の一実施例に係る多視点３次元画像から所望する視点を選択する手順の一例を示す図である。 本発明の一実施例に係る選択された２次元画像のプレビュー表示例を示す図である。 本発明の一実施例に係る視点３の２次元記録画像信号の生成法の一例を示す図である。 本発明の実施例２に係る多視点３次元画像から所望する視点をユーザーに選択させる例を示す図である。 本発明の実施例３に係る多視点３次元画像から所望する２次元画像をユーザーに選択させる例を示す図である。 本発明の実施例４に係る多視点３次元画像から所望の視点を決定する処理の一例を示すフローチャートである。 本発明の実施例４に係る視点認識の原理を説明するための図である。 本発明の実施例４に係る視点認識処理の一例を示すフローチャートである。 本発明の実施例５に係る２次元画像表示の例を示す図である。 本発明の実施例６に係る２次元画像表示の例を示す図である。 一般的なパララックスバリア方式の３次元表示器の表示原理を説明するための図である。 本発明の実施例７に係るパララックスバリア表示画像の一例を示す図である。 本発明の実施例７に係る２次元記録画像信号の生成を説明する図である。

実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。

２次元画像は、表示器で表示されたり、プリンターなど記録されたりする、例えば人や風景などを表す２次元の画像そのものを示している。

３次元画像は、３次元表示器で表示される、例えば人や風景などを表す３次元の画像そのものを示している。すなわち、３次元画像は、視差を有する複数の２次元画像で構成される。例えば左目用および右目用の２つの２次元画像が交互に配置される画像である。

２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示・記録するための信号源を示している。

２次元記録画像信号は、２次元画像情報のうち、画像を記録するための信号源を示している。

次に、簡単に３次元表示器について説明する。３次元表示器は、３次元画像情報として、その表示器の１つの画面中に複数の２次元画像を示す複数の２次元画像情報を同時に表示している。具体的には、３次元表示器に表示される２次元画像は、少なくとも左目および右目の各視点から見た２枚以上の複数の２次元画像情報に基づいている。したがって、其の３次元表示器によって立体表示された３次元画像から、１つの視点における印刷用の２次元画像を得るには、上記する複数の２次元画像の情報の中から印刷すべき２次元画像情報の選択が求められることになる。

以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、画像処理装置を例に説明するが、これに限定されるものではない。

＜実施例１＞
図１は、実施例１の画像処理装置１の一例を示す概略図である。図１に於いて本実施例の画像処理装置１は一般的なパーソナルコンピュータ（以後ＰＣと称する）３を有し、ネットワーク回線１１０等から３次元画像情報等を、ネットワーク制御部９０を介して取得する。また画像処理装置１は、３次元画像情報に基づいた３次元画像を立体表示する為の表示器２を有する。また画像処理装置は、表示器２で表示された３次元画像からキーボード５０等を用いてユーザーが所望する視点から見た２次元画像を選択し、２次元画像をプリンター１００で印刷する。

ＰＣ３はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０で制御される。ＰＣ３は、３次元画像情報や本実施例に用いられるプログラム等を保持する記憶装置８０を有する。またＰＣ３は、本各種設定を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０及び、一時的な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０を有する。表示器２は、３次元画像を表示する３次元表示器３０を有する。また、表示器２は、３次元表示器の表示面にタッチパネル４０を有し、先のキーボード５０と同様にユーザーのＰＣ３への入力を可能にする。撮像装置２０は一般的表示器に装備された物で、ユーザーの位置を認識する為に３次元表示器３０の近傍に設けられている。

図２は、図１で示した表示器２をより詳細に説明する図である。図２（Ａ）に於いて３次元表示器３０として用いられるレンチキュラー多視点表示器は、液晶表示器３００とその全面にレンチキュラーレンズ３０１とを有する。更にその全面にタッチパネル４０を有し、画面中央部に撮像装置２０を有する。

図２（Ｂ）に、多視点の画像を表示する為の、各レンチキュラーレンズ３０１と相対位置が保証された各表示画素とを示す。図２（Ｂ）の３次元表示器３０は、ユーザーが６方向からこの３次元表示器３０を見た場合の３次元画像の表示を可能にする為、各１つのレンチキュラーレンズ内に画素３０２から画素３０３までの一続きの７つの表示画素を持つ。尚、３次元表示器３０は公知の技術で一般的に実現される物で、カラー表示可能であるが、説明を簡略化する為、本実施例での３次元表示器３０は単色表示可能であるものとし、また以後の図において表示画素の並びを１次元的に表現する。なお、以下で単に「視点」と述べる場合、３次元表示器３０の位置からみたユーザーの両目の位置のことを示し、１つの「視点」にはユーザーの右目用の画像と左目用の画像とが届けられる。

図２（Ｃ）と図２（Ｄ）に其々異なる視点１と視点４から人が見た場合に見える画素を示す。即ちレンチキュラーレンズ３０１の光学特性に依って、視点１のユーザーの右目では画素２のみが、視点１のユーザーの左目では画素１のみが見える。また、視点４のユーザーの右目では画素５のみが、視点４のユーザーの左目では画素４のみが見える。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書では説明を省略する。

図３は、上記６つの視点とその視点に対応する画像を表示する為に撮影した撮影画像との関係を示す図である。其々の視点ではユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像が撮影される。同一被写体を視点１から視点６まで連続的に３次元表示する為に、視点Ｎ（Ｎは１〜６のいずれかの整数）においてユーザーの左目に届けられる画像Ｎは、視点Ｎ−１におけるユーザーの右目に届けられる画像と同じである。これらの画像を示す２次元画像情報を分割して先のレンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すれば、図３で示す視点から被写体を見た際と同じ立体像を見る事が出来る。即ち図２（Ｃ）及び図２（Ｄ）で示す画素１は視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の１部であり、画素２は視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の１部である。また、画素４は視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の１部であり、画素５は視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の１部である。

図４は、実施例１の画像処理装置１の機能ブロックの一例を示す図である。画像処理装置は、３次元画像情報取得部４０１と、３次元画像表示部４０２と、２次元画像決定部４０３と、印刷制御部４０４とを有する。

３次元画像情報取得部４０１は、ＣＰＵ１０によって制御される。３次元画像情報取得部４０１は、記憶装置８０またはネットワーク制御部９０から３次元画像情報を取得する。３次元画像表示部４０２は、表示器２に対応する。３次元画像表示部４０２は、３次元画像情報取得部４０１で取得した３次元画像情報に基づいて、３次元画像を表示する。２次元画像決定部４０３は、ＣＰＵ１０によって制御され、タッチパネル４０、キーボード５０、または撮像装置２０を用いてユーザーが所望する２次元画像を決定する。詳細については後述する。印刷制御部４０４は、ＣＰＵ１０によって制御され、２次元画像決定部４０３にて決定された２次元画像を示す２次元画像情報から、当該２次元画像を印刷するための２次元記録画像信号を導出して、プリンター１００にて当該２次元画像を印刷するように制御する。

図５は本実施例による３次元画像表示部４０２が多視点３次元画像を表示している状態で、ユーザーが所望する２次元画像を印刷する際のフローを示すフローチャートである。このフローチャートは、ＣＰＵ１０がＲＯＭ６０または記憶装置８０に記憶されているプログラムをＲＡＭに展開し実行することで実現され、図１で示した各部は以下のフローチャートの処理に従って制御される。該フローチャートを用いて本実施例の処理の流れを詳説する。なお、多視点３次元画像とは、図３で示すように同一被写体を複数の視点から撮影して得られた複数の視点の３次元画像のことである。

３次元画像表示部４０２は、ステップＳ５００にて、一般の例えば撮影した３次元画像をアルバムとして閲覧できるアプリケーションプログラム等の実行に応じて、３次元画像を３次元表示器３０で３次元表示する。ステップＳ５０１では、ＣＰＵ１０が特定の方向（視点）から見た２次元画像の印刷要求があるか否かを判定する。ステップＳ５０１では、例えばＣＰＵ１０がアプリケーションプログラム中の印刷キー等をユーザーが選択した場合、２次元画像の印刷要求があると判定して処理はステップＳ５０２に分岐する。

本実施例においては、２次元画像を選択する前に、どの視点から見た場合の画像を印刷したいかを決定する処理が行われる。すなわち、２次元画像決定部４０３において、多視点３次元画像のうち、どの視点から見た画像を印刷対象とするかを決定する処理が行われる。

ステップＳ５０２は３次元画像表示部４０２に表示された多視点３次元画像から、２次元画像決定部４０３が特定の視点の３次元画像を決定するステップである。ステップＳ５０２で３次元画像表示部４０２は、タッチパネル４０の操作によるスクロールバーの移動に応じて前述の６視点を有する多視点３次元画像の各視点から見た３次元画像を順次３次元表示器３０の正面に表示させる。３次元表示する為の３次元画像情報は既定の規格に合致しているものとする。３次元画像表示部４０２は、記憶装置８０やＲＡＭ７０に保持され、３次元画像情報取得部４０１で取得された３次元画像情報の中から、必要に応じて図１の３次元表示器が有する表示用記憶素子（図示せず）に各視点の３次元画像情報を選択的に供給して表示を行う。

図６はユーザーが多視点３次元画像から所望する視点を選択する手順を説明する図である。３次元表示器３０の中央部の表示領域６００に表示する情報は、図２で説明した多視点３次元画像を表示するための３次元画像情報から特定の視点の３次元画像を表示するための３次元画像情報に切り替わる。すなわち、３次元表示器３０を正面から見た場合のみユーザーが３次元画像を見ることができるように、３次元画像表示部４０２は各視点から見た３次元画像を順次表示するように表示制御する。具体的には、画面下部に表示された視点選択ボタン６０１をタッチパネル４０の操作で矢印方向にスクロールする。すると、ボタン６０１の位置に応じて表示領域６００の領域に表示される情報が、視点６、視点５、視点４、視点３、視点２、視点１の順に３次元画像に切り替わる。

多視点３次元画像は１つのレンチキュラーレンズ内の各視点から見た３次元画像である。多視点３次元画像を表示する為には、多視点３次元画像を構成する全ての２次元画像情報を含む３次元画像情報６０３を表示する。しかし、処理がステップＳ５０２に分岐すると、視点選択ボタン６０１の位置に応じて、例えば、視点６用の３次元画像情報６０４が示す３次元画像を表示領域６００に表示する。視点６用の３次元画像情報６０４は、３次元表示器３０の略正面から見た場合に視点６の３次元画像を表示する為の情報に変更されている。すなわち、３次元画像表示部４０２は、レンチキュラーレンズの略中央部の画素位置に視点６の２次元画像情報６及び２次元画像情報７を表示し、他の画素位置は黒データに固定すれ。これにより、正面から見れば視点６の３次元画像が見え、それ以外の角度からは何も見えなくなる。つまり、ステップＳ５０２では、多視点３次元画像を示す３次元画像情報の一部を書き換えて、特定の視点の３次元画像を示す３次元画像情報に変更（あるいは生成）する処理が行われる。

従って視点選択ボタン６０１をユーザーが、矢印方向に移動させた場合、其の位置に応じて、表示する３次元画像情報を、視点６の３次元画像を表示する３次元画像情報６０４から他の視点を表示する３次元画像情報に変更する。これにより、視点選択ボタン６０１で指示された視点から見た３次元画像を順次表示出来る。また、特定された視点の３次元画像以外の３次元画像については表示されない処理（無効化処理）が施されているので、３次元表示器をユーザーが異なる角度で見ることによって所望する画像と異なる画像が印刷用の画像として選択されることを防止することができる。ユーザーはこの視点選択ボタン６０１をスクロールして、所望の視点からの３次元画像が表示された状態で画面右下の決定ボタン６０２を押下する。３次元画像決定部４０３がユーザーの決定ボタン６０２の押下をステップＳ５０３で検知した場合、視点特定がされて、印刷すべき視点の３次元画像が決定され、処理がステップＳ５０４に分岐する。決定ボタン６０２が押下されるまで、ステップＳ５０２の処理を繰り返す。

ここで図６を用いて３次元画像情報と２次元画像情報の関係について補足する。前述したように２次元画像情報は、２次元画像を表示するための信号源である。例えば、視点６の３次元画像のうち左目に対応する２次元画像を示す２次元画像情報６は、３次元表示器３０のレンチキュラーレンズと相対位置が保証された所定の画素位置に表示される画像データである。３次元画像情報には、これらの複数の２次元画像情報が含まれており、かつその各２次元画像情報が配置される相対位置を示す情報も含まれている。図６の例では、３次元画像情報は、符号６０３や符号６０４で示すデータ構造を表す情報のことである。なお、３次元画像情報や２次元画像情報には、上述した情報またはデータのほかにも、撮影時に得られる各種の情報など他の情報が含まれていても良い。

ステップＳ５０４では、２次元画像決定部４０３が、先の決定ボタン６０２で決定された視点での３次元画像から印刷すべき２次元画像情報を決める為に既定の設定をＲＯＭ６０から読み込む。ＲＯＭ６０には一般的な初期設定として、事前に１視点の３次元画像を２次元表示したり２次元印刷する際に、両目用の２種の２次元画像情報の内、右目用を用いるか、或いは左目用を用いるかを予め既定した設定が記憶されている。本実施例では、左目用を用いることが初期設定されているものとする。尚、本実施例では初期設定を用いる例について説明するが、３次元画像から２次元画像を決定する際に、ユーザーにその都度選択させても良い。

本実施例では左目用を用いる事が既定されている為、２次元画像情報特定処理の結果、ステップＳ５０５では、ステップＳ５０３で決定された視点の左目用の２次元画像をプレビュー表示する。

図７は選択された２次元画像のプレビュー表示の一例を示す図である。図６で説明した様に視点が選択された際には表示領域６００には其々左右の目に対応する２種類の２次元情報がストライプ状に表示されるが、ステップＳ５０５では更に其のうちの左目用の２次元画像情報のみを画面７００に表示する。

例えば、ステップＳ５０３で視点６が選択された場合、３次元画像情報７０２が示す様に各レンチキュラーレンズの略中央画素位置に画像データ６に対応する２次元画像情報のみを表示し、他は全て黒データに固定する。画面７００を略正面から見た場合、視点６の左目用の２次元画像のみが表示される。この場合、右目には何も見えない状態になり、奥行き感の無い２次元画像の表示がされることになる。

ユーザーは画面７００に表示された２次元画像を確認した後、印刷ボタン７０１を押下し、この押下を印刷制御部４０４がステップＳ５０６で検知した場合、ステップＳ５０６からステップＳ５０７に分岐して印刷の為の処理が行われる。

図８は例として視点３の３次元画像が選択され、左目用の画像３の２次元画像情報が決定されて、決定された２次元画像情報から２次元記録画像信号を生成するステップＳ５０７の処理過程の一例を説明する図である。ここで説明される処理は、印刷制御部４０４によって実行される。２次元画像情報３は図３で示す様に視点３の左目用に撮影された２次元画像を示す情報である。２次元画像情報３は、３次元画像情報として短冊状に分割された後、レンチキュラーレンズ８００、８０１及び８０２・・・内の相対位置が既定された液晶表示画素位置８０９、８１０及び８１１・・・で表示される。従って、レンチキュラーレンズ８００、８０１及び８０２・・・が十分小さい場合は良いが、其々レンチキュラーレンズの大きさに応じてレンズ内に分割される画素数が多くなると個々の画像が粗くなり、紙等に高密度で記録する場合は品質が低下する可能性がある。そこで、本実施例では、隣接する各レンチキュラーレンズｎ，ｎ＋１，ｎ＋２の２次元画像情報３に対応する位置の画素の画像データ３（ｎ），３（ｎ＋１），３（ｎ＋２）を用いる。そして、２次元画像情報３に対応する位置の画素の画像データ３（ｎ），３（ｎ＋１），３（ｎ＋２）の画素間に補間した値を適用した画像データを用いて高品位な２次元記録画像信号を生成する。

図８は所謂公知の線形補間処理を実施する例である。２次元画像情報３に対応する画素８０９と８１０との間に補間画素８０３、８０４、８０５、８０６、８０７及び８０８の２次元記録画像信号を生成する。補間画素の２次元記録画像信号は、補間元となる２次元画像情報３の其々の画素位置８０９及び８１０からの距離に応じて補間される。例えば、図８で示すように、２次元画像情報の画像データ３（ｎ）と３（ｎ＋１）を用いる式に従って２次元記録画像信号を生成する。尚、レンチキュラーレンズの大きさや記録装置の記録密度に応じて補間して生成する記録画素数は本実施例の６画素に限定されるものでも無く、補間方式も線形補間に限定されない事は述べるまでも無い。以上が、ステップＳ５０７において印刷制御部４０４が２次元記録画像信号を生成する処理である。

そしてステップＳ５０８では、印刷制御部４０４は、ステップＳ５０７で生成した２次元記録画像信号をプリンター１００に出力する。プリンター１００は受信した２次元記録画像信号に基づいて印刷処理を実行する。これによってプリンター１００はユーザーが指示した視点からの２次元画像を記録紙等の記録媒体上に記録することが可能になる。

以上、本実施例によれば、３次元表示された３次元画像を示す３次元画像情報からユーザーが指示した視点からの２次元画像を記録紙等の記録媒体上に記録する事が可能に成る。また、視点を特定する際に、他の視点に係る２次元画像情報を無効化することにより、ユーザーが所望する視点を確実に特定することができ、誤った視点の画像の印刷を防止することができる。また、印刷に用いる２次元記録画像信号を生成する際に、当該視点に対応する２次元画像情報の隣接した位置の画像データを用いて補間することによって高品位な２次元記録画像を生成することができ、高品位な２次元画像を記録することができる。

尚、図８を用いた説明では、ステップＳ５０３で決定された視点以外の位置（画素位置８０３〜８０８など）の画素値を補間した３次元画像情報を２次元記録画像信号とした。しかし、本発明はこれだけに限定されない。ステップＳ５０３で決定された視点以外の位置（画素位置８０３〜８０８など）の画素値を無視して、ステップＳ５０３で決定された視点の位置（画素位置８０９、８１０、８１１など）の画素値を並べた画像情報を２次元記録画像信号としても良い。

また、本実施例では、印刷のために３次元画像情報に基づいて２次元画像情報を生成したが、本発明は、３次元画像情報に基づいて処理対象となる２次元画像情報を生成する目的としては印刷に限られない。すなわち、３次元画像中の所望の２次元画像に対して画像処理を行うために、３次元画像情報に基づいて２次元画像情報を生成する場合にも本発明は適用可能である。

＜実施例２＞
次に、印刷対象となる視点の画像を決定する別の実施例を説明する。実施例１では、所望する視点の画像を決定する為の図５のステップＳ５０２で、図６に示す様に画面上で３次元表示器３０の正面から見える３次元の視点画像を順次視点を切り替えて表示させた例を説明した。実施例２では、図９に示すように同一画面９００中に選択可能な各視点の３次元画像をそれぞれ表示させる。即ち視点１の３次元画像９０１、視点２の３次元画像９０２、視点３の３次元画像９０３、視点４の３次元画像９０４、視点５の３次元画像９０５及び視点６の３次元画像９０６を表示領域内９００に表示させる。また、各３次元画像が表示される領域付近に表示した選択ボタン９０７をユーザーに選択させて所望する視点画像を決定する。尚、実施例１と同様に、表示する各視点の３次元画像を其々略正面から見た場合に立体画像として同時に見せる処理をする。すなわち、レンチキュラーレンズの中央部の表示画素位置に左右の眼で見える２次元画像情報対のみを表示し、他の画素位置は黒データに固定した３次元画像情報を表示して、正面以外の角度からは何も見えなくする。

実施例２の選択方法を用いることにより、同時に多視点の３次元画像を比較出来る為、選択がより容易に成る利点を有する。

＜実施例３＞
実施例２では、ユーザーが所望する視点の画像を選択する為の図５のステップＳ５０２について、実施例１とは異なる処理を、図９を用いて詳説した。すなわち、実施例２では、図９に示すように、同一画面９００中に選択可能な各視点の３次元画像を表示させてユーザーに所望する視点の３次元画像を選択させる例を説明した。実施例３では、図１０を用いて多視点３次元画像から所望する２次元画像をユーザーに選択させるための別の処理を詳説する。

実施例３では、先に説明したステップＳ５０４の処理、即ち２次元画像として左右どちらの目用の画像を用いるかの設定を、予め読み出す、またはユーザーに指定させることにより、その設定された目用の画像を２次元表示して、ユーザーに選択させる。すなわち、実施例１及び２では、ユーザーが視点を選択する際に３次元画像を表示していたが、実施例３では、ユーザーが視点を選択する際に２次元画像を表示する例を説明する。

図１０は、左目用の画像を用いる設定がされている場合の例を示している。視点１の左目用２次元画像９０１、視点２の左目用２次元画像９０２、視点３の左目用２次元画像９０３、視点４の左目用２次元画像９０４、視点５の左目用２次元画像９０５及び視点６の左目用２次元画像９０６を表示する。また、各２次元画像の表示領域付近に表示した選択ボタン９０７をユーザーに選択させて所望する視点の２次元画像を決定する。尚、表示する各視点の２次元画像をユーザーが略正面から見た場合に同時に見せる処理をする。すなわち、各レンチキュラーレンズの略中央部の画素位置に左の眼でのみ見える各視点の２次元画像情報のみを表示し、他の画素位置は黒データに固定した３次元画像情報を表示して正面以外の角度からは何も見えなくする。

実施例３の処理は３次元画像ではなく直接２次元画像をプレビューのように表示する。従って、より実際に印刷される画像に近い画像を見て選択出来る為、従来の印刷プレビューの様に、より正確な選択が出来る利点を有する。

＜実施例４＞
先の実施例１から３ではユーザーに所望する視点の３次元画像及び２次元画像を選択させる例について説明した。実施例４では、ユーザーの操作に依らず、自動でユーザーの所望する視点画像を特定する処理を説明する。

実施例４では、ユーザーが２次元印刷の意思表示を行った時点のユーザーを撮像装置２０で撮影する。その後、撮影した画像からユーザーの表示器３０に対する位置を認識して、ユーザーの表示器３０に対する視点を確定する。この確定したユーザーの視点から表示器３０を見た場合に表示される３次元画像をユーザーが所望する視点の３次元画像として決定する。

図１１は実施例４に係る処理を説明するフローチャートである。このフローチャートは、ＣＰＵ１０がＲＯＭ６０または記憶装置８０に記憶されているプログラムをＲＡＭに展開し実行することで実現される。先に図４で説明した実施例１と同じ処理は同じ番号で記述する。実施例４では、ステップＳ５０２の処理がステップＳ５１０の処理に変更されている。実施例１で説明した処理については説明を省略する。視点を認識する処理のステップＳ５１０を図１２及び図１３を用いて詳説する。図１２に視点認識の原理を示す。図１３に視点認識の処理ステップＳ５１０の詳細の処理フロー図を示す。２次元画像決定部４０３が、図１３に示す処理を実行する。図１３に於いてステップＳ１３１１において、２次元画像決定部４０３は撮像装置２０を制御して表示器３０の中央に設置された撮像装置２０で正面を撮影し、図１２の画像１２００を示す画像データを得る。この撮影画像１２００を示す画像データを図１のＲＡＭ７０に一時記憶しておき、ステップＳ１３１２において、２次元画像決定部４０３は公知のパターンマッチング顔認識技術でユーザーの顔の位置を特定する。一般に人の顔認識は横に並ぶ１対の目の存在に着目して容易にその重心位置を認識出来る。

図１２を用いて認識したユーザーの顔の位置からユーザーの視点を特定する原理を詳説する。一般に両目の視差を利用した３次元表示器は観察者が表示器から所定の距離Ｌｍ離れた位置で最も立体画像を良好に見る事が出来る。即ち、撮影されたユーザーは表示器３０から略この距離Ｌｍ離れた位置で撮影されたと推定することが出来る。従って、得られた撮影画像のユーザーの両目の間隔Ｌｉが標準的に８ｃｍだと想定して、ユーザーの位置の表示器中央からのズレＬｏを求める事が出来る。又図１２に於いて表示器３０の前Ｌｍの位置に示す仮想のライン１２０１上のユーザーの位置、即ち点Ｐから表示器３０の中央を目指す方向がユーザーの視点と言える。このようにしてズレＬｏを求める処理を、２次元画像決定部４０３はステップＳ１３１３において実行する。

多視点３次元表示器３０を点Ｐの位置から見た場合、予め撮影され、表示されたどの視点の３次元画像が最も良好に見えるかを判定することでユーザーが所望する視点の画像を決定することができる。

即ち表示器中央からのズレＬｏが正の値なら、視点１か、視点２か、視点３のいずれかであり、表示器中央からのズレＬｏが負の値なら、視点６か、視点５か、視点４のいずれかである。

図１２で図示するように、推定されたユーザーの位置Ｐと各表示されている３次元画像の視線が仮想のライン１２０１と交わる位置を比較して、ユーザーの位置Ｐに近い視線を求めれば、その視点に対応する画像が、ユーザーが所望する３次元画像と判定できる。尚距離Ｌ１は視点３と視点２を識別する閾値、Ｌ２は視点２と視点１を識別する閾値、距離−Ｌ１は視点４と視点５を識別する閾値、−Ｌ２は視点５と視点６を識別する閾値である。これらは、其々ライン１２０１と両視線が交わる中間点の表示器３０の中央からの距離とすることができる。

図１３に戻って説明を続ける。２次元画像決定部４０３は、ステップＳ１３１４でまずＬｏの符号を判定する。符号が正の場合すなわちＬｏが正の数である場合、ステップＳ１３１５に分岐する。ステップＳ１３１５でＬｏ＞Ｌ２ならば２次元画像決定部４０３はユーザーの視点を視点１に決定する（ステップＳ１３１９）。ステップＳ１３１５でＬｏ＞Ｌ２でなければ、ステップＳ１３１６に分岐する。ステップＳ１３１６でＬｏ＞Ｌ１ならば２次元画像決定部４０３は、ユーザーの視点を視点２に決定する（ステップＳ１３１８）。一方、ステップＳ１３１６でＬｏ≦Ｌ１ならば２次元画像決定部４０３は、ユーザーの視点を視点は３に決定する（ステップＳ１３１７）。

ステップＳ１３１４の判定で、Ｌｏの符号が負の場合すなわちＬｏが負の数あるいは０である場合、ステップＳ１３２０に分岐する。ステップＳ１３２０でＬｏ＜−Ｌ２ならば２次元画像決定部４０３は、ユーザーの視点を視点６に決定する（ステップＳ１３２４）。ステップＳ１３２０でＬｏ＜−Ｌ２でないならばステップＳ１３２１に分岐する。ステップＳ１３２１でＬｏ＜−Ｌ１ならば２次元画像決定部４０３は、ユーザーの視点を視点５に決定する（ステップＳ１３２３）。ステップＳ１３２１でＬｏ≧−Ｌ１ならば２次元画像決定部４０３はユーザーの視点を視点４に決定する（ステップＳ１３２２）。なお、図１２で示す撮影画像１２００の例ではユーザーの視点は視点２として決定される。

以上の処理により図１１のステップＳ５１０の視点認識処理でユーザーが所望する３次元画像が視点２として決定される。その後、２次元画像決定部４０３は、ステップＳ５０４で設定が左目用の２次元画像であれば、視点２の左目用画像を使って先の実施例同様に以降の処理を行う。

実施例４の処理によれば、実施例１から３で説明した処理に比べてユーザーの操作を不要とする為、操作性の優れた実施例と言える。

＜実施例５＞
実施例１では、先に図５及び図１１を用いてステップＳ５０５として３次元表示器３０で２次元画像を表示する例を詳説した。実施例５では上記ステップＳ５０５を２次元画像決定部４０３が実行する際の別の例を、図１４を用いて詳説する。先の実施例では左右の目用の２枚の２次元画像の内、一律に一方を選択して表示する例を説明した。実施例５では、図１４に示すように３次元表示器３０をその中央から左右に表示領域を２分する。すなわち、３次元表示器３０の表示領域を、第１の表示領域と第２の表示領域とに分割する。図１４で示す右反面の領域１４０は左目用の２次元画像情報を表示し、左半面の領域１４１は右目用の２次元画像情報を表示する。即ち視点１の画像を表示する場合、右反面の領域１４０は左目用の２次元画像情報１を表示し、左半面の領域１４１は右目用の２次元画像情報２を表示する。このように、実施例５では、ステップＳ５０４での設定に関わらず、左目用の２次元画像情報及び右目用の２次元画像情報の両方を表示する。このように表示処理することでユーザーが表示器３０全面に表示された２次元画像をどちらか一方の目のみで見る事に対する違和感を緩和する効果が得られる。

＜実施例６＞
図１５を用いて２次元画像決定部４０３が２次元画像を決定するために３次元表示器で２次元画像を表示する処理の別の例を詳説する。図１５は視点１における２次元画像を表示する例を示している。３次元画像情報１５０には２次元画像１を示す２次元画像情報１の情報が含まれ、他の画素位置は黒データに変更されている。また、実施例５のように左右に分割することなく、表示画面の全面に左目用の２次元画像１を表示する。一方、３次元画像情報１５１には２次元画像２を示す２次元画像情報２の情報が含まれ、他の画素位置は黒データに変更されている。また、実施例５のように左右に分割することなく、表示画面の全面に右目用の２次元画像２を表示する。図１５は画面の上から下にかけて時間軸が遷移する様子を示している。

即ち実施例６は、両目用の２次元画像を交互に動画像的に切り替えて表示する。実施例５では画面中央部で左右画面が不連続に切り替わる部分が目障りに成る画像が有るが、一般的に１秒間に３０画面程度の頻度で両画像を交互に表示すれば、残像の少ない表示器３０の場合、殆ど違和感無く両目で見ても２次元画像として見る事が出来る。尚、図１５に示す様に略正面から見て其々の目で見る事の出来る表示画素位置に２次元画像情報１及び２次元画像情報２を表示する事は述べるまでも無い。

＜実施例７＞
先の実施例は視差分割方式としてレンチキュラーレンズを用いた多視点３次元表示器を用いた実施例を詳説した。しかしながら、３次元表示器３０はレンチキュラーレンズを用いるものに限定されることなく他の３次元表示器を用いることも可能である。実施例７では、パララックスバリア方式の３次元表示器を用いる例について説明する。図１６に実施例７で用いるパララックスバリア方式の３次元表示器の表示原理を示す。例えば図１６に示すパララックスバリア方式の表示器３００は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮る為の光学的なバリア１６０を有する。

従って図１６に示す様に右目からは左目用画素はパララックスバリア１６０で光路が遮光され、逆に左目からは右目用画素はパララックスバリア１６０で光路が遮光される。その結果両目には両目の視点で撮影された異なる視点の画像が見える為、立体表示がなされる。

図１７を用いて、該パララックスバリア方式の３次元表示器を使った実施例を詳説する。図１７中液晶表示器３００は其々右目用表示画素１７０と左目用表示画素１７１とを隣接対として有している。視点１から見た３次元画像を表示する場合、３次元画像情報１７２は右目用画素位置に図３に示す画像２の２次元画像情報を、左目用画素位置に画像１の２次元画像情報を、其々短冊状に分解して表示すれば良い。ここで、多視点画像として図１７に示す様に各視点の３次元画像情報を有する場合、先のレンチキュラー方式の場合同様に、順次表示する３次元画像情報を切り替えて表示すれば、所望する視点の画像を選択することができる。また、２次元画像を表示或いは記録する際に用いる２次元画像情報も先の実施例同様に予め設定されたどちらかの目用の２次元画像情報を用いれば良い。２次元画像決定部４０３は、用いる３次元表示器の原理に応じて表示する２次元画像情報または３次元画像情報を選択して３次元表示器で表示する事が出来る。

すなわち、図６及び図９で説明した、視点を選択する際の各視点の３次元画像情報については３次元画像情報１７２や１７３を直接用いれば同様に実施が可能である。又図７、図１０、図１４及び図１５で説明した２次元画像を表示する際には左右どちらかの目用の画素の表示を有効にし、他方を黒データに固定すれば、同様に実施が可能である。

パララックスバリア方式の３次元表示器を用いた３次元表示器の例では同時に多視点３次元表示は出来ないが、画素密度の高い表示が可能であり、より２次元記録画像に近い高精細な画像を参照しながら所望する２次元画像を選択する事が出来る。

図１８を用いてパララックスバリア方式の３次元表示器を用いた場合、印刷制御部４０４が、２次元記録画像信号を生成する処理の例を詳説する。視点Ｎの３次元画像が選択されており、２次元画像情報は右目用が設定されているものとする。この場合、印刷制御部４０４は、視点Ｎの右目用の２次元画像情報から２次元記録画像信号１を生成する。

一般にパララックスバリア方式の３次元表示器は先のレンチキュラーレンズを用いた方式と異なり、表示器自体に液晶表示画素を拡大して表示する光学部材を持たない。従って、隣接する右目用の２次元画像情報１８０及び１８１は其々の表示画素位置間に左目用の表示画素を持つ為、被写体上でも表示１画素分離れた点の画像を表示している。その為、２次元記録画像信号を生成する際には、上記左目用画素位置に相当する位置の画像信号を補間処理で生成する。

印刷制御部４０４は、生成される２次元記録画像信号１は、右目用の２次元画像情報に対応する画素位置の画像データ１８２はそのまま右目用の２次元画像情報１８０から得られるデータを設定する。一方、２次元記録画像信号１の補間画素位置の画像データ１８３は、当該画素位置に隣接する右目用の２次元画像情報に対応する画素位置の画像データ１８０を設定する。即ち記録の際は右目用の２次元画像情報を重複して用いて生成する。

尚、パララックスバリア方式の３次元表示器の画素が粗い場合には、２次元記録画像信号２として図示する様に、隣接する右目用の２次元画像情報１８０及び１８１に対応する画素位置の画像データの平均値を、補間画素位置の画像データ１８４とする。

以上、パララックスバリア方式の３次元表示器を用いた実施例ではより高精細な２次元記録画像信号を生成する事が出来る。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. ３次元画像情報を入力して３次元画像を表示する３次元表示手段と、
   前記３次元表示手段に入力される３次元画像情報に含まれる複数の２次元画像情報の中から、印刷対象となる２次元画像を示す２次元画像情報を決定する決定手段と
   を備えることを特徴とする画像処理装置。
2. 複数の視点に対応する複数の３次元画像を前記３次元表示手段に表示させる表示制御手段をさらに備え、
   前記決定手段は、
   前記３次元表示手段に表示される前記複数の視点に対応する複数の３次元画像から、印刷対象となる視点の３次元画像を特定する視点特定手段と、
   前記視点特定手段により特定された３次元画像を構成する複数の２次元画像情報のうち、印刷対象となる２次元画像を示す２次元画像情報を特定する２次元画像情報特定手段とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記２次元画像情報特定手段は、予め設定された情報に従って、右目用または左目用のうち、いずれかの２次元画像情報を特定することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記３次元画像情報のうち、特定の視点に対応する３次元画像以外の３次元画像に対応する画像データを無効化することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記表示制御手段は、複数の視点に対応する３次元画像を前記３次元表示手段に順次表示させることを特徴とする請求項２から４のいずれかに記載の画像処理装置。
6. 前記表示制御手段は、複数の視点に対応する複数の３次元画像を前記３次元表示手段の表示領域内に併せて表示させることを特徴とする請求項２から４のいずれかに記載の画像処理装置。
7. 前記表示制御手段は、前記視点特定手段によって特定された３次元画像を示す３次元画像情報のうち、特定の視点に対応する３次元画像を構成する複数の２次元画像情報のうちのいずれか一方を前記３次元表示手段に表示させることを特徴する請求項２から６のいずれかに記載の画像処理装置。
8. 前記表示制御手段は、前記３次元表示手段の表示領域を分割し、第１の表示領域に、前記視点特定手段によって特定された３次元画像を示す３次元画像情報のうち、特定の視点に対応する３次元画像を構成する複数の２次元画像情報のうちのいずれか一方を表示させ、
   第２の表示領域に、該複数の２次元画像情報のうちの他方を表示させることを特徴とする請求項２から６のいずれかに記載の画像処理装置。
9. 前記表示制御手段は、前記視点特定手段によって特定された３次元画像を示す３次元画像情報のうち、特定の視点に対応する３次元画像を構成する複数の２次元画像情報を前記３次元表示手段に交互に表示させることを特徴する請求項２から６のいずれかに記載の画像処理装置。
10. 前記３次元表示手段の近傍に配置された撮像手段をさらに備え、
    前記視点特定手段は、３次元表示手段に対する前記撮像手段によって撮像されたユーザーの相対位置を判定することで、印刷対象となる視点を特定することを特徴とする請求項２から９のいずれかに記載の画像処理装置。
11. 前記決定手段で決定された２次元画像情報から、印刷用の２次元記録画像信号を生成する生成手段をさらに備えることを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 前記生成手段は、前記決定手段で決定された２次元画像情報の隣接する画素に対応するが画像データを用いて、当該隣接する画素間の画素の画像データを補間する補間手段をさらに備えることを特徴とする請求項１１に記載の画像処理装置。
13. 前記３次元表示手段は視差分割方式により前記３次元画像を表示することを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
14. ３次元画像情報を入力して３次元画像を表示する３次元表示手段を備えた画像処理装置における画像処理方法であって、
    前記３次元表示手段に入力される３次元画像情報に含まれる複数の２次元画像情報の中から、印刷対象となる２次元画像を示す２次元画像情報を決定する決定ステップを有することを特徴とする画像処理方法。
15. コンピュータを請求項１から１３のいずれかに記載の画像処理装置として機能させるためのプログラム。
16. ３次元画像情報を入力して視差を有する複数の２次元画像で構成される３次元画像を表示する３次元表示手段と、
    前記３次元表示手段に入力される３次元画像情報に含まれる複数の２次元画像情報の中から、処理対象となる２次元画像を示す２次元画像情報を決定する決定手段と
    を備えることを特徴とする画像処理装置。

Images