JP2015046695A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】複数のユーザーが、表示器から距離と角度が異なる複数の視点で、同じ３次元画像を立体視することが出来る画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】画像処理装置を、複数の視点方向に対応する複数の視点画像を表示することが可能な３次元表示手段と、視差画像を、該視差画像の画素位置に応じて複数の視点画像として表示させる制御手段とを有する画像処理装置とすることにより、複数のユーザーが、表示器から距離と角度が異なる複数の視点で、同じ３次元画像を立体視することが出来る。【選択図】図１０

Description

本発明は、３次元画像を表示する為の画像処理装置、画像処理方法及びプログラムに関する。

３次元表示器を用いて３次元画像を表示する手法が提案されている。この手法は、３次元表示器を用いて両眼の視差分だけ異なる２次元画像（視差画像）を表示する。この視差画像を３次元表示器から所定の距離だけ離れた視点位置で見る場合にユーザーは視差画像を立体的な３次元画像として知覚することになる。以下では、視差画像を表示することを３次元画像を表示するとも称する。

特許文献１にはレンチキュラーレンズに対する表示画素情報全体をずらすか、或いは中央を除く端部表示情報を任意の方向にずらしことで、多視点３次元表示器で表示する視野を全体的に移動する技術が開示されている。

特許第５１５６１１６号明細書

特許文献１で開示される技術では複数の視点を独立に異なる方向に移動する事は出来ない。このため、複数のユーザーが異なる視点位置で同じ３次元画像を立体視することができない。

本発明に係る画像処理装置は、複数の視点方向に対応する複数の視点画像を表示することが可能な３次元表示手段を有する画像処理装置であって、視差画像を、該視差画像の画素位置に応じて複数の視点画像として表示させる制御手段を有することを特徴とする。

本発明によれば、複数のユーザーが、表示器から距離と角度が異なる複数の視点で、同じ３次元画像を立体視することが出来る。

本発明の一実施例に係る画像処理装置の一例を示すブロック図である。 本発明の一実施例に係る多視点３次元表示装置をより詳細に説明する図である。 本発明の一実施例に係る視点と、多視点画像および単視点画像対との関係を示す図である。 本発明の一実施例に係る画像処理装置の機能ブロックの一例を示す図である。 距離Ｌでの視点表示例を示す図である。 本発明の一実施例に係る距離Ｌ以下の視点での表示原理を説明する図である。 本発明の一実施例に係る距離Ｌ以上の視点での表示原理を説明する図である。 本発明の一実施例に係る距離Ｌ以下の異なる視点での表示原理を説明する図である。 本発明の一実施例に係る表示画像が投影される例を示す図である。 本発明の一実施例に係る表示画像生成部で生成した画像例を示す図である。 本発明の一実施例に係る３次元画像表示処理のフローチャートを示す図である。 本発明の一実施例に係る表示画像生成処理のフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の機能ブロックの詳細例である。 本発明の一実施例に係る表示画像が投影される例を示す図である。 本発明の一実施例に係る表示画像生成部で生成した画像例を示す図である。 本発明の一実施例に係る表示画像生成処理のフローチャートを示す図である。 本発明の一実施例に係る表示画像が投影される例を示す図である。 本発明の一実施例における表示比率を示す図である。 本発明の一実施例に係る表示画像生成部で生成した画像例を示す図である。 本発明の一実施例に係る表示画像生成処理のフローチャートを示す図である。

実施例の説明に先立って、本明細書で用いる用語について簡単に説明する。２次元画像とは、表示器で表示したりプリンターで記録したりする、例えば人や図形などを表す１画面の２次元の画像そのものを示している。

３次元画像とは、３次元表示器で立体的に表示される、例えば人や図形など被写体を表す１画面の３次元の画像そのものを示している。例えば、３次元画像は、異なる位置から撮影した複数の２次元画像で構成される。例えば左目用と右目用の１組の２次元画像を既定の表示素子で表示し、その画像をユーザーが其々の目で独立に同時に見る事で３次元画像として知覚される。このように左目用画像及び右目用画像で構成される画像を総称して視差画像と称する。また、左目用画像のことを左目用の視差画像、右目用画像のことを右目用の視差画像とも称する。

ユーザー視点とは３次元表示器や被写体をユーザーが見る際の位置である。３次元表示器に対するユーザー視点は、左目用と右目用の左右一対の２次元画像がユーザーの両目に投影される位置である。左目用と右目用の左右一対の２次元画像がユーザーの両目に丁度投影される位置にユーザーがいる場合、ユーザーは表示されている画像を立体的な３次元画像として知覚することができる。なお、このように左右一対の２次元画像をユーザーが立体的な３次元画像として知覚できる視点を正視視点と呼ぶ。この正視視点では、一般的に人の目の間隔は約６５ｍｍの為、３次元表示器から投影される左目用と右目用の左右一対の２次元画像は互いに約６５ｍｍ離れて集光されている。

２次元画像情報または３次元画像情報は、上記の２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を示している。３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成る。この一対の２次元画像情報で示される画像を単視点画像対とも呼ぶ。なお、多視点画像情報は複数の視点におけるこれらの２次元画像情報または３次元画像情報の総称である。多視点画像情報は、カメラで撮影することで得られたり、或いは、コンピュータグラフィックス等で人工的に制作されることで得られる。

次に、多視点３次元画像を表示することが可能な３次元表示器について簡単に説明する。一般に、３次元表示器は、３次元画像情報に基づいて、その表示器の画面中に複数の２次元画像情報を同時に表示する。より具体的には、３次元表示器に表示される複数の２次元画像は、左目用の視差画像および右目用の視差画像の２枚の２次元画像を示す２次元画像情報に基づいている。そして３次元表示器においては、ユーザーの左右のそれぞれの目に独立して画像が投影されるように、対応する表示素子及びその周辺の光学部材に光学的な工夫が施されている。

以下、本発明を実施するための形態について図面を用いて説明する。本実施形態では、表示器の正面を中心に７つの視点から被写体を略連続的にかつ立体的にユーザーが見る事の出来る、８方向に独立に視差画像を表示可能な７視点３次元表示器を用いる画像処理装置を例に説明するが、これに限定されるものではない。なお、上記８方向に表示する各画像を視点画像と称し、其々の方向に向けて表示する画像として、画像１、画像２、画像３、画像４、画像５、画像６、画像７及び画像８と記述する。また、表示する１画面の画像を同じ視点方向に表示した場合、画像全体は表示器から所定の距離Ｌだけ離れた視点に集光する。なお、各視点において左（または右）目にその一部が投影される右（または左）目用画像を逆視画像と呼び、両方の目に逆視画像が投影される視点を逆視視点と呼ぶ。逆視視点では、奥行きが逆となる不自然な立体視がされることになる。

＜実施例１＞
図１は、本実施例に係る画像処理装置の一例を示すブロック図である。画像処理装置は一般的なパーソナルコンピュータ（以後ＰＣと称する）１を有し、ネットワーク回線１１０等から画像情報等をネットワーク制御部９０を介して入力する。また画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示することが可能な多視点３次元表示器３０を有する。

ＰＣ１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０と、記憶部８０と、操作入力部５０とを有する。ＰＣ１は、ＣＰＵ１０で制御される。記憶部８０は、３次元画像情報や本実施例に用いられるプログラム等を保持する。ＲＯＭ６０は、各種設定やプログラムを格納する。ＲＡＭ７０は、一時的な記憶部として機能する。３次元表示装置２は、撮像部２０と多視点３次元表示器３０とタッチパネル４０とを有する。３次元表示装置２は、３次元画像を表示する。タッチパネル４０は、多視点３次元表示器３０の表示面に配置され、表示した３次元画像を直接タッチして画像や表示された入力キーを選択すると共に、キーやマウスで構成する操作入力部５０と同様にユーザーからのＰＣへの各種の入力操作を可能にする。撮像部２０は一般的な表示器に装備された物で、ユーザーの位置やユーザーの動作を認識する為に多視点３次元表示器３０の正面に設けられている。

なお、上記の例では、画像処理装置が３次元表示装置２を含むものであるとして説明をしたが、画像処理装置はＰＣ１にのみ対応するものであってもよい。すなわち、画像処理装置は３次元表示装置２と接続される構成であってもよい。

図２は、図１で示した多視点３次元表示器３０をより詳細に説明する図である。図２（ａ）は、多視点３次元表示器３０の一例を示す図である。図２（ａ）で示す多視点３次元表示器に於いて多視点３次元表示器３０は、液晶表示器２００とその全面にレンチキュラーレンズ２０１とを有する。

図２（ｂ）は、図２（ａ）で示す多視点３次元表示器の一部を拡大した模式図である。図２（ｂ）は、レンチキュラーレンズ２０１と相対位置が保証された液晶表示素子２００とを示す。図２（ｂ）の多視点３次元表示器３０は、ユーザーが７方向からこの多視点３次元表示器３０を見た場合、７視点から見た被写体を立体表示可能にする工夫がなされている。すなわち、液晶表示器２００は、各１つのレンチキュラーレンズ２０１内に素子２０２から素子２０３までの一続きの８つの表示素子を持つ構成とする。レンチキュラーレンズ２０１による光学特性と表示素子の配置によって特定の視点位置から多視点３次元表示器３０を見たユーザーは、特定の表示素子の表示のみが見えることになる。尚、多視点３次元表示器３０は公知の技術で一般に実用化されている物を用いることができる。一般に多視点３次元表示器３０は、カラー表示可能であるが、説明を簡略化する為、本実施例での多視点３次元表示器３０は単色表示可能であるものとする。また、説明を簡便にする趣旨で、以後の図において表示素子や画素の並びを１次元的に表現するものとする。なお、１つの視点から見ているユーザーの目には８つの表示素子が表示する画像の内、其々左目用の画像と右目用の２つの画像が届けられることでユーザーは３次元画像を知覚することになる。

図２（ｃ）と図２（ｄ）は、其々異なる視点である視点１２と視点４５とからユーザーが見た場合に見える表示画素を示す。ここで視点１２とは、片方の目が視点１の位置にあり、他方の目が視点２の位置にある視点位置のことを示す。同様に、視点４５とは、片方の目が視点４の位置にあり、他方の目が視点５の位置にある視点位置のことを示す。本実施例では、図２（ｃ）に示すように、レンチキュラーレンズ２０１の光学特性に依って、視点１２の位置にいるユーザーの右目では画素２のみが、視点１２の位置にいるユーザーの左目では画素１のみが見える。従って、画素２と画素１とで一対の視差画像を表示すれば、視点１２の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。また、図２（ｄ）に示すように視点４５の位置にいるユーザーの右目では画素５のみが、視点４５の位置にいるユーザーの左目では画素４のみが見える。従って、画素４と画素５で１組の視差画像を表示すれば、視点４５の位置にいるユーザーは、視差画像を３次元画像として知覚することができる。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書では更なる説明を省略する。以下、ユーザーの左目が表示素子Ｍで表示する画像を見ることができ、かつ、右目が表示素子Ｎで表示する画像を見ることができる視点位置のこと“視点ＭＮ”と称する。

図３は、各視点と多視点画像または単視点画像対との関係を示す図である。図３（ａ）は、視点１２から視点７８までの７つの視点と、その視点に対応する多視点３次元画像として被写体３００を撮影した画像１から画像８の８種類の撮影画像との関係を示す図である。其々の視点ではユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像が撮影される。

なお、同一被写体３００を視点１２から視点７８で連続的に３次元表示する場合には、各視点ＭＮにおいてユーザーの左目に届けられる画像Ｍは、隣接する視点におけるユーザーの右目に届けられる画像と同じである。これらの各２次元画像情報を横方向に分割して先のレンチキュラーレンズ２０１と相対位置を保った液晶表示素子（画素）で表示すれば、図３（ａ）で示す各視点から被写体を見た際と同じ３次元画像を各視点において見る事が出来る。即ち図２（ｃ）及び図２（ｄ）で示す画素１は視点１２の左側で撮影した２次元画像（画像１）の１部を表示し、画素２は視点１２の右側で撮影した２次元画像（画像２）の１部を表示している。また、画素４は視点４５の左側で撮影した２次元画像（画像４）の１部を表示し、画素５は視点４５の右側で撮影した２次元画像（画像５）の１部を表示している。

図３（ｂ）は単視点３次元画像を表示する為の左目用画像と右目用画像と視点との関係を示す。図３（ａ）では７つの視点で見た画像を撮影することで得られる７視点の多視点３次元画像を示す３次元画像情報を生成する場合の例を説明した。図３（ｂ）では、１つの視点で見た画像を撮影することで得られる１視点の単視点３次元画像を示す３次元画像情報を生成する場合の例を示している。本実施例では、図３（ｂ）に示す単視点３次元画像を多視点３次元表示器３０を用いて重複して表示する例を説明する。これにより、多視点３次元表示器３０から角度と距離が異なる複数の視点において複数のユーザーが同じ被写体３００を同じ３次元画像として知覚することができる。なお、図３（ｂ）のような単視点の３次元画像、すなわち単視点の視差画像対のことを単視点視差画像とも称する。

＜画像処理装置の機能ブロック＞
図４は、本実施例の画像処理装置の画像処理機能の一例を示すブロック図である。画像処理装置は、３次元画像情報入力部４００と、表示画像生成部４０１と、３次元画像表示部４０２とを有する。

３次元画像情報入力部４００は、ネットワーク制御部９０やＵＳＢインターフェース等から３次元画像情報を入力する。３次元画像情報は、例えば図３に示すように、複数の撮影装置によって各視点の画像を撮影することによって得られるものである。あるいは、コンピュータによって各視点の画像が生成されることで得られるものであってもよい。３次元画像情報には、１つの視点から見える３次元画像である単視点３次元画像を表示するための視差の異なる左右の目用の視差画像の画像情報が含まれる。また、３次元画像情報には、７つの視点に対応する８種の２次元画像からなる多視点画像情報が含まれる。３次元画像情報入力部で入力された３次元画像情報は、必要に応じて記憶部８０で保持される。

表示画像生成部４０１は、操作入力部５０や３次元表示装置２のタッチパネル４０によって入力されたユーザーの指示に応じて、３次元画像情報入力部４００で入力された３次元画像情報から３次元表示器３０の各視点画像として表示する表示画像を生成する。本実施例の多視点３次元表示器３０は図２で説明したように、レンチキュラーレンズに対応して７つの視点の計８種類の画像を表示可能となっている。従って、表示画像生成部４０１は、３次元画像情報から８つの表示画像を生成することが可能である。表示画像は、多視点３次元表示器の各視点方向に対応する方向で表示される。

本実施例では、単視点３次元画像を示す３次元画像情報が３次元画像情報入力部４００で入力されるものとして説明する。すなわち、本実施例では図３（ｂ）で示す形態で撮影された画像を用いる例を説明する。しかしながら、例えば３次元画像情報入力部４００で多視点３次元画像情報が入力された場合、表示画像生成部４０１は、多視点３次元画像情報のうち、任意の視点の画像対（視差画像）を単視点画像情報として取得してもよい。例えば、予め設定されている視点（例えば中央の視点）を任意の視点の画像対として決定してもよい。そして、取得した単視点画像情報を用いて表示画像を生成してもよい。

本実施例においては、３次元表示装置２から距離と角度の異なる複数の視点位置でユーザーが同じ画像を立体視することが出来る様に、単視点画像情報から各視点方向に表示する表示画像を生成する。詳細については後述する。

３次元画像表示部４０２は多視点３次元表示器３０を含み、表示画像生成部４０１で生成された各視点画像を表示する。

図５は単視点画像情報を用いて単視点視差画像を構成する左目用画像及び右目用画像を視点画像として投影する例を示す図である。具体的には、同じ左目用画像を画像２と画像５の視点画像として表示し、同じ右目用画像を画像３と画像６の視点画像として表示する例を示している。すなわち、同一の視差画像を複数組、異なる視点画像として表示する例を示している。なお、図５の例では、後述するように多視点３次元表示器３０は視差画像の画素位置を考慮することなく、左目用画像を全て画像２及び画像５として表示し、同様に各画素位置を考慮することなく、右目用画像を全て画像３及び画像６として表示している。図５において楕円５０１と楕円５０２とは、左目用画像が集光される位置を示し、楕円５０３と楕円５０４とは、右目用画像が集光される位置を示している。従って多視点３次元表示器３０から既定の距離Ｌ離れた視点２３の左目は左目用画像の全体像が集光され、視点２３の右目には右目用画像の全体像が集光される。同様に多視点３次元表示器３０から既定の距離Ｌ離れた視点５６の左目には左目用画像の全体像が集光され、視点５６の右目には右目用画像の全体像が集光される。なお、距離Ｌは多視点３次元表示器３０の表示サイズや視角などによって決まり、一般的には多視点３次元表示器３０の表示サイズの３倍程度に設計される。

図６は、本実施例における、距離Ｌ以下に複数の正視視点を得る原理を詳説するための図である。本実施例では、単視点視差画像の画素位置を考慮して視点画像として表示する視差画像を決定する。なお、ある画素位置で表示される２次元画像情報のことを単に画素情報と称する。

本実施例では、単視点視差画像の内、左目用画像を表示する視点画像を、視差画像の画素位置に応じて変更する。例えば、多視点３次元表示器３０の左端部Ａに位置する、左目用画像の画素を示す画素情報を画像３の視点画像として投影する。また、左目用画像のうち、画素位置が右端部Ｃに位置する画素を示す画素情報を画像２の視点画像として投影する。なお、画素位置が左端部Ａから右端部Ｃの間の画素位置の画素情報は其々画素位置に応じて表示される。例えば、視点方向がより左方向の画素位置の画素情報はより右方向の画素位置の画素情報より右方向の視点方向に相対的に表示するように制御する。即ち、画素位置Ａから画素位置Ｂを経て画素位置Ｃに向けて、徐々に左目用画像を画像３から画像２に投影する。

同様に単視点視差画像の内、右目用画像を表示する視点画像も、その右目用画像の画素位置に応じて変更する。例えば、多視点３次元表示器３０の左端部Ａに位置する、右目用画像の画素を示す画素情報を画像４の視点画像として投影する。また、右目用画像のうち、画素位置が右端部Ｃに位置する画素を示す画素情報を画像３の視点画像として投影する。なお、画素位置が左端部Ａから右端部Ｃの間の画素位置の画素情報は其々画素位置に応じて表示される。例えば、視点方向がより左方向の画素位置の画素情報はより右方向の画素位置の画素情報より右方向の視点方向に相対的に表示するように制御する。即ち、画素位置Ａから画素位置Ｂを経て画素位置Ｃに向けて、徐々に右目用画像を画像４から画像３に投影する。

その結果、右目用と左目用の視差画像は共に既定距離Ｌより多視点３次元表示器３０に近い位置で画像全体がそれぞれ１点に集光する。従って、距離Ｌ以下に視点６０１が得られる事になる。

同様に、同じ単視点視差画像の内、左目用画像を画像６から画像５に向けて徐々に表示し、右目用画像を画像７から画像６に向けて徐々に表示すれば、視点６０１と略同じ距離に視点６０２が得られる。視点６０１と視点６０２においては、両目に其々同じ単視点視差画像が投影される。従って、多視点３次元表示器３０から異なる角度の複数の視点でユーザーが同時に同じ画像を立体視することが出来る。

図７は、本実施例における、距離Ｌより遠くに複数の正視視点を得る原理を詳説するための図である。

図７の例においても、単視点視差画像の内、左目用画像をその画素位置に応じて変更する。例えば、多視点３次元表示器３０の左端部Ａに位置する、左目用画像の画素を示す画素情報を画像２の視点画像として投影する。また、左目用画像のうち、画素位置が右端部Ｃに位置する画素を示す画素情報を画像３の視点画像として投影する。なお、画素位置が左端部Ａから右端部Ｃの間の画素位置の画素情報は其々画素位置に応じて表示される。例えば、視点方向がより左方向の画素位置の画素情報はより右方向の画素位置の画素情報より左方向の視点方向に相対的に表示するように制御する。即ち、画素位置Ａから画素位置Ｂを経て画素位置Ｃに向けて、徐々に画像２から画像３に投影する。

同様に単視点視差画像の内、右目用画像を表示する視点画像も、その右目用画像の画素位置に応じて変更する。例えば、多視点３次元表示器３０の左端部Ａに位置する、右目用画像の画素を示す画素情報を画像３の視点画像として投影する。また、右目用画像のうち、画素位置が右端部Ｃに位置する画素を示す画素情報を画像４の視点画像として投影する。なお、画素位置が左端部Ａから右端部Ｃの間の画素位置の画素情報は其々画素位置に応じて表示される。例えば、視点方向がより左方向の画素位置の画素情報はより右方向の画素位置の画素情報より左方向の視点方向に相対的に表示するように制御する。即ち、画素位置Ａから画素位置Ｂを経て画素位置Ｃに向けて、徐々に右目用画像を画像３から画像４に投影する。

その結果、右目用と左目用の視差画像は共に既定距離Ｌより多視点３次元表示器３０から遠い位置で画像全体がそれぞれ１点に集光する。従って、距離Ｌ以上の位置に視点７０１が得られる事になる。

同様に、同じ単視点視差画像の内、左目用画像を画像５から画像６に向けて徐々に表示し、右目用画像を画像６から画像７に向けて徐々に表示すれば、先の視点７０１と略同じ距離に視点７０２が得られる。視点７０１と視点７０２においては両目に其々同じ単視点視差画像が投影される。従って、多視点３次元表示器３０から異なる角度の複数の視点でユーザーが同時に同じ画像を立体視することが出来る。

図８は、本実施例における、異なる距離に複数の正視視点を得る原理を詳説するための図である。

図８の例においても、単視点視差画像の内、左目用画像をその画素位置に応じて変更する。例えば、多視点３次元表示器３０の左端部Ａに位置する、左目用画像の画素を示す画素情報を画像２の視点画像として投影する。また、左目用画像のうち、画素位置が右端部Ｃに位置する画素を示す画素情報を画像１の視点画像として投影する。なお、画素位置が左端部Ａから右端部Ｃの間の画素位置の画素情報は其々画素位置に応じて表示される。例えば、視点方向がより左方向の画素位置の画素情報はより右方向の画素位置の画素情報より右方向の視点方向に相対的に表示するように制御する。即ち、画素位置Ａから画素位置Ｂを経て画素位置Ｃに向けて、徐々に左目用画像を画像２から画像１に投影する。

同様に単視点視差画像の内、右目用画像を表示する視点画像も、その右目用画像の画素位置に応じて変更する。例えば、多視点３次元表示器３０の左端部Ａに位置する、右目用画像の画素を示す画素情報を画像３の視点画像として投影する。また、右目用画像のうち、画素位置が右端部Ｃに位置する画素を示す画素情報を画像２の視点画像として投影する。なお、画素位置が左端部Ａから右端部Ｃの間の画素位置の画素情報は其々画素位置に応じて表示される。例えば、視点方向がより左方向の画素位置の画素情報はより右方向の画素位置の画素情報より右方向の視点方向に相対的に表示するように制御する。即ち、画素位置Ａから画素位置Ｂを経て画素位置Ｃに向けて、徐々に画像３から画像２に投影する。

その結果、左目用と右目用の視差画像は共に既定距離Ｌより多視点３次元表示器３０に近い位置で画像全体がそれぞれ１点に集光する。従って、距離Ｌ以下の位置に視点８０１が得られる事になる。

同様に、同じ単視点視差画像の左目用画像の画素位置Ａから画素位置Ｃの間の画素情報を画像７から徐々に画像６、画像５、画像４及び画像３にずらして表示する。また、右目用画像の画素位置Ａから画素位置Ｃの間の画素情報を画像８から徐々に画像７、画像６、画像５及び画像４にずらして表示する。このように制御すると、先の視点８０１より多視点３次元表示器３０に近い位置に視点８０２が得られる。視点８０１と視点８０２の両目には其々同じ単視点視差画像が投影される。従って、多視点３次元表示器３０から異なる距離と角度の異なる複数の視点でユーザーが同時に同じ画像を立体視することが出来る。

図８に示すように、同一の視差画像を複数組表示する際に、視差画像の組毎に、視差画像の両端部の画素の表示方向の角度差が異なるように視点画像を表示させることで異なる距離の視点が得られる。

図８から明らかなように、視差画像の左端部Ａの画素情報を表示する方向と右端部Ｃの画素情報を表示する方向との角度差が大きいほど多視点３次元表示器３０に近い位置に視点が得られる。

上記の図６から図８を用いて説明した原理に従えば、多視点３次元表示器３０で既定される距離Ｌより近い視点や距離Ｌより遠い視点でユーザーが画像を立体視することができる複数の視点が得られる。また、視点１２に近い角度から視点７８に近い角度の範囲において任意にユーザーが画像を立体視出来る複数の視点が得られる。なお、後述するが、視点数が７以上で、正規の距離Ｌでの視点ＭＮで両目の間に他の視点画像の投影を挟むような３次元表示器を用いるとより多くの視点が同時に得られる。即ち正規の距離Ｌにおいて、Ｎ−Ｍ＞１となる正視視点ＭＮが得られる多視点３次元表示器で本実施例を適用すれば、より多くの視点が同時に得られる。すなわち、本実施例で説明する７視点３次元表示器は単なる例示に過ぎず、これに限られるものではない。

先の図８で視点８０１及び視点８０２が得られる原理を説明した。次に、本実施例の表示画像生成部４０１が視点８０１や視点８０２で得られるように各視点画像を生成する例を図９に示す。図９は、図８で説明した視点８０１及び視点８０２が得られる原理を本実施例で実現する場合の投影される視点画像を模式的に示す図である。

まず視点８０１を得る為の表示画像の生成に関して説明する。図６から図８を用いて異なる視点、異なる角度で複数の視点が得られる原理を詳説したが、実際の多視点３次元表示器３０の多視点数は有限である。従って、例えば左目用画像をその画素位置Ａから画素位置Ｃに向けて画素位置に応じて徐々に画像２から画像３に表示する事は難しい。

そこで、本実施例では、左端部の画素位置Ａから右端部の画素位置Ｂに向けて移動させる視点方向の角度（すなわち、必要とされる視点画像数）に応じて左目用画像または右目用画像を分割する。例えば、視点８０１の左目用画像については、画像２の視点画像から画像１の視点画像に向けて徐々に表示するように制御することが求められている。従って、必要とされる視点画像数は画像２と画像１の２つである。従って、視点８０１の左目用画像については、その左目用画像を２分割する。一方、視点８０２の左目用画像については、画像７の視点画像から画像３の視点画像に向けて徐々に表示するように制御することが求められている。従って、必要とされる視点画像数は、画像７、画像６、画像５、画像４、及び画像３の５つである。従って、視点８０２の左目用画像については、その左目用画像を５分割する。なお、視点８０１の左目用画像も視点８０２の左目用画像もいずれも同じ単視点視差画像を用いている場合には同じ画像である。そして、分割した左目用画像をその画素位置に応じて各視点画像として表示する。

例えば、視点８０１については、左目用画像の内、その画素位置が左端Ａから中央位置Ｂ迄の左側半分に位置する画素の画素情報を画像２として投影する。また、左目用画像の内、その画素位置が右端Ｃから中央位置Ｂ迄の右側半分に位置する画素の画素情報を画像１として投影する。同様に右目用画像の内、その画素位置が左端Ａから中央位置Ｂ迄の左側半分に位置する画素の画素情報を画像３として投影、左目用画像の内、その画素位置が右端Ｃから中央位置Ｂ迄の右側半分に位置する画素の画素情報を画像２として投影する。

次に、視点８０２について説明する。多視点３次元表示器３０の多視点数は有限であるので、左目用画像はその画素位置Ａから画素位置Ｃに向けて画素位置に応じて徐々に画像７から画像３に表示する事は出来ない。しかし、本実施例では、視点８０２を得る場合に左右の目用の視差画像は共に画像７から画像３及び画像８から画像５に向けて其々５視点方向に表示出来る。従って画素位置Ａから画素位置Ｃ迄の画素をその画素位置に応じて５分割して其々５視点方向に表示する。本実施例では表示する横方向の画素数は１０２４画素とする。従って、左右の目用の視差画像を其々約２０５画素に分割する。

図１０は本実施例の表示画像生成部４０１が生成する画像の例を模式的に示す図である。図１０は、図８で示すように、異なる距離および異なる角度で視点が得られるように表示画像を生成する例を示している。図１０では、左目用画像をその画素位置の中央部で２分割した画像１００１と、右目用画像をその画素位置の中央部で２分割した画像１００２とを示す。また、左目用画像をその画素位置で５等分割した画像１００３と、右目用画像をその画素位置で５等分割した画像１００４とを示す。これらの画像１００１から画像１００４は、いずれもその左端が多視点３次元表示器３０の左端Ａで表示され、右端が多視点３次元表示器３０の右端Ｃで表示される画像である。

また、図１０で示される画像１、画像２、画像３、画像４、画像５、画像６、画像７、画像８は、各視点方向に対応する視点画像である。そして、図１０では、其々の視点画像の表示する各画素位置の画素情報を１枚の画像として示している。例えば、図１０で示す画像１は、その左端が多視点３次元表示器３０の左端Ａのうちの視点画像である画像１として表示される画像である。また、画像１の右端は、多視点３次元表示器３０の右端Ｃのうちの視点画像である画像１として表示される。従って、例えば図１０の画像１の視点画像については、画素位置が右半分の画像として、左目用画像１００１のうちの右半分の画像を表示する。また、画像２の視点画像については、画素位置が左半分の画像として左目用画像１００１の左半分の画像を表示し、画素位置が右半分の画像として右目用画像の右半分の画像を表示する。また、画像３の視点画像については、画素位置が左半分の画像として、右目用画像の左半分の画像を表示し、画素位置が右から１／５の位置の画像として、左目用画像１００３の右から１／５の位置の画像を表示する。

視点８０１について着目すると、視点８０１で立体視するには、このように図１０で示すように、左目用画像の左側半分の画像を画像２、右側半分を画像１として投影し、右目用画像の左側半分の画像を画像３、右側半分を画像２として投影すればよい。

これは、各視点画像から見れば、画像１は、右半分に左目用画像を表示し、画像２は左半分に左目用画像の画像を表示し、右半分に右目用画像を表示する。また、画像３は左半分に右目用画像の画像を表示する。この結果、図９に示すような投影線が得られることになる。すなわち、視点８０１が得られることになる。

次に、視点８０２について着目する。視点８０２で立体視可能にする為には、５分割した左目用画像１００３の各画素位置の画像を、左端Ａから順に、画像７、画像６、画像５、画像４、画像３のそれぞれ対応する画素位置に視点画像として表示する。また、５分割した左目用画像１００４の各画素位置の画像を、左端Ａから順に、画像８、画像７、画像６、画像５、画像４のそれぞれ対応する画素位置に視点画像として表示する。これは、各視点画像から見れば、画像４、画像５、画像６及び画像７は其々分割された視差画像を対応する画素位置に１組ずつ表示していることを示している。また、左目用画像の右端部側の画素は画像３の対応する画素位置に、右目用画像の左端部側の画素は画像８の対応する画素位置に表示している事を示している。なお、同じ視点画像に左右の目用の視差画像を混在させて表示するが、画素位置が異なっているので、視点８０２では逆視画像には成らない。

以上説明した様に、本実施例の表示画像生成部４０１は所望する視点でユーザーに立体視させる為に単視点視差画像を構成する左目用画像と右目用画像とを其々画素位置に応じて分割する。そして分割した画像をそれぞれ対応する画素位置に含む、画像１から画像８の８種類の視点画像としての表示画像を生成する。なお、図１０に示す表示画像の生成例は、図８および図９で示す視点８０１及び視点８０２を得るための例であり、これに限定されるものではない。従って、所望の視点を得る際に用いられる視点画像の組み合わせに応じて左目用画像及び右目用画像を分割する数を変更してもよい。また、本例では、視点８０１及び視点８０２を得るために用いられる視点画像という表現を用いて説明したが、結果としてそれらの視点が得られればよく、必要とされる視点を必ずしも特定しなくてもよい。すなわち、単に左目用画像及び右目用画像を所定の数に分割し、分割した数に応じた視点画像の所定の画素位置に表示することにより、結果として任意の視点が得られる態様であってもよい。

図１１は本実施例による３次元表示処理の一例を示すフローチャートである。図１１に示す処理は、例えばＲＯＭ６０に格納されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。本実施例では、多視点３次元表示器３０において多視点画像情報に基づいて各視点画像として多視点の画像を表示するか、各視点画像に単視点の右目用画像及び左目用画像を重複して表示するかを切り替える例を説明する。本実施例では、各視点画像に単視点の右目用画像及び左目用画像を重複して表示する設定を第１の表示モードと称する。

ステップＳ１１０１において表示画像生成部４０１は、第１の表示モードか否かを判定する。この表示モードは、例えばユーザー指示によって設定されているものである。あるいは、タッチパネル４０や操作入力部５０を介してその都度ユーザーにモードを選択させてもよい。ステップＳ１１０１において表示画像生成部４０１は第１の表示モードではないと判定した場合、すなわち、多視点画像情報に基づいて各視点画像として多視点の画像を表示するモードであると判定した場合、ステップＳ１１０２に進む。ステップＳ１１１０２において表示画像生成部４０１は、３次元画像情報入力部４００から図３（ａ）で示すような、一般的な８種の多視点３次元画像（画像１から画像８）を入力する。この画像は其々隣り合う画像間に一定の視差を有する画像である。ステップＳ１１０３において表示画像生成部４０１は、ステップＳ１１０２で入力した各視点に対応する画像情報を、其々の視点画像の表示画像情報を記憶保持するビデオＲＡＭ（以降ＶＲＡＭと記述する）に書き込む。次にステップＳ１１０４において表示画像生成部４０１は画像表示が終了したかを判定し、終了していない場合にはステップＳ１１０２からステップＳ１１０３の処理を繰り返す。なお、ユーザー指示で表示が終了するまでステップＳ１１０２からステップＳ１１０３の処理を繰り返せば、動画の表示が可能である。

一方、ステップＳ１１０１において表示画像生成部４０１は第１の表示モードであると判定した場合、すなわち、各視点画像に単視点の右目用画像及び左目用画像を重複して表示するモードであると判定した場合、ステップＳ１１０５に進む。ステップＳ１１０５において表示画像生成部４０１は、３次元画像情報入力部４００から単視点画像情報を入力する。すなわち、表示画像生成部４０１は、単視点の左目用画像及び右目用画像を示す画像情報を取得する。ステップＳ１１０６において表示画像生成部４０１は、ステップＳ１１０５で入力された左目用画像と右目用画像とから、画像１から画像８の８種の視点画像として表示する表示画像を生成する。ステップＳ１１０６の表示画像生成処理については後述する。次に、ステップＳ１１０７において表示画像生成部４０１は、画像表示が終了したかを判定し、終了していない場合にはステップＳ１１０５からステップＳ１１０６の処理を繰り返す。なお、ユーザー指示で表示が終了するまでステップＳ１１０５からステップＳ１１０６の処理を繰り返せば、動画の表示が可能である。

なお、図１１の例では、第１のモードか否かによって処理を切り替える例を説明したが、これに限定されるものではない。例えば、Ｓ１１０１の判定処理を介することなく、Ｓ１１０５やＳ１１０６の処理を行ってもよい。

図１２は、図１１のステップＳ１１０６の表示画像生成処理の具体的な例の１つを示すフローチャートである。図１２の処理は、図８及び図９で示す視点８０１及び視点８０２を得る処理であり、図１０に示す表示画像を生成する処理とも言える。図１２においては、右目用画像及び左目用画像の横方向の画素位置をＸで示す。なお、先に説明したように、多視点３次元表示器３０の左端Ａから右端Ｃまでの画素数は１０２４であるものとして説明する。また、左目用画像及び右目用画像の解像度が多視点３次元表示器３０の表示サイズに対応していない場合には、適宜左目用画像及び右目用画像の解像度を変換するなどして多視点３次元表示器３０の画素数に適合させておくものとする。

ステップＳ１２０１において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置を左端のＡの画素位置としてＸ＝０に初期設定する。ステップＳ１２０２において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置が画面の左半分の場合、即ちＸが０から５１１であるかを判定する。画素位置が画面の左半分の場合、ステップＳ１２０３に進み表示画像生成部４０１は、左目用画像を画像２用ＶＲＡＭの対応する画素位置に出力し右目用画像を画像３用ＶＲＡＭの対応する画素位置に出力する。一方、ステップＳ１２０２において表示画像生成部４０１は、画素位置が画面の右半分の場合、即ちＸが５１２から１０２３の場合、ステップＳ１２０４に進む。ステップＳ１２０４において表示画像生成部４０１は、左目用画像を画像１用ＶＲＡＭの対応する画素位置に出力し右目用画像を画像２用ＶＲＡＭの対応する画素位置に出力する。このステップＳ１２０２からステップＳ１２０４の処理が後述するようにＸが１０２４になるまで、すなわち左目用画像及び右目用画像の左端から右端に処理が終わるまで繰り返すことで、図９で示す視点８０１で立体視することができる表示画像が生成される。

次のステップＳ１２０５からステップＳ１２１４は、図９で示す視点８０２で立体視することができる表示画像を生成する処理である。なお、本実施例では、視点８０１と視点８０２で用いられる左目用画像及び右目用画像は同じ画像情報に基づくものであるので、図１２のフローチャートも左目用画像及び右目用画像の画素位置に応じた処理になっている。従って、例えば視点８０１と視点８０２に異なる視点の単視点画像対の視差画像を表示させたい場合には、ステップＳ１２０２からステップＳ１２０４と、ステップＳ１２０５からステップＳ１２１４で用いられる視差画像が異なるものとなる。

フローチャートの説明を続ける。ステップ１２０５において、表示画像生成部４０１は、左目用画像及び右目用画像の画素位置Ｘが０から２０４であるかを判定する。画素位置Ｘが０から２０４である場合、ステップＳ１２０６で表示画像生成部４０１は、左目用画像を画像７用ＶＲＡＭの対応する画素位置に出力し、右目用画像を画像８用ＶＲＡＭの対応する画素位置に出力する。

ステップＳ１２０７において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置Ｘが２０５から４０９であるかを判定する。画素位置Ｘが２０５から４０９である場合、ステップＳ１２０８で表示画像生成部４０１は、左目用画像を画像６用ＶＲＡＭの対応する画素位置に出力し、右目用画像を画像７用ＶＲＡＭの対応する画素位置に出力する。

ステップＳ１２０９において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置Ｘが４１０から６１４であるかを判定する。画素位置Ｘが４１０から６１４である場合、ステップＳ１２１０で表示画像生成部４０１は、左目用画像を画像５用ＶＲＡＭの対応する画素位置に出力し、右目用画像を画像６用ＶＲＡＭの対応する画素位置に出力する。

ステップＳ１２１１において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置Ｘが６１５から８１９であるかを判定する。画素位置Ｘが６１５から８１９である場合、ステップＳ１２１２で表示画像生成部４０１は左目用画像を画像４用ＶＲＡＭの対応する画素位置に出力し、右目用画像を画像５用ＶＲＡＭの対応する画素位置に出力する。

ステップＳ１２１３において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置Ｘが８２０以上であるかを判定する。画素位置Ｘが８２０以上である場合、ステップＳ１２１４で表示画像生成部４０１は、左目用画像を画像３用ＶＲＡＭの対応する画素位置に出力し、右目用画像を画像４用ＶＲＡＭの対応する画素位置に出力する。

以上のように、ステップＳ１２０５からステップＳ１２１４の処理により、図９で示す視点８０２で立体視することができる表示画像を生成することができる。

ステップＳ１２１５において表示画像生成部４０１は、画素位置を１画素移動させ１０２４画素全ての画素位置の視差画像に対してステップＳＳ１２０２からステップＳ１２１５の処理を繰り返す。かかる処理により、図１０で示すような各視点画像として表示される表示画像が生成される。

なお、本実施例で例示する多視点３次元表示器３０は横方向のみに左目用画像及び右目用画像を表示する為、上記処理は同じ横方向の画素位置で縦方向の画素情報もＶＲＡＭに出力する。

図１３は、本実施例の画像処理装置の機能ブロックの詳細例を示す図である。記憶部８０は単視点画像情報１３００や多視点画像情報１３０１を画像情報格納部１２０８から読み出し、表示画像生成部４０１に入力する。一方、ユーザーが設定した表示モード１３１０が表示画像生成部４０１に入力される。表示画像生成部４０１は、前述の手順に従って生成した各視点方向への表示画像を其々画像１用ＶＲＡＭ１３０２から画像８用ＶＲＡＭ１３０３の８個のＶＲＡＭに書き込む。該ＶＲＡＭに記憶保持した画像情報は其々のＶＲＡＭに接続されたドライバー１３０４からドライバー１３０５に依って、一定周期で読み出され、画像表示を行う画像１用表示素子１３０６から画像８用表示素子１３０７を駆動して多視点３次元表示を行う。本実施例の３次元画像表示部４０２は各画像表示を担当する上記ＶＲＡＭと表示素子、及びドライバーから成る。

以上のとおり、本実施例では多視点３次元表示器３０に一対の左目用画像と右目用画像を所望する視点の数に等しい組数分、其々の視点と画素位置に応じて異なる視点方向の視点画像として表示させる。これにより、複数のユーザーが、同じ画像を異なる視点で立体視することが出来る。このように、所望する視点の多視点３次元表示器からの距離と多視点３次元表示器に対する角度に依って、左目用画像及び右目用画像の画素位置毎に表示する表示方向が異なる表示画像を生成する事が本実施例の特徴の一つである。

＜実施例２＞
実施例１では多視点３次元表示器３０に７視点３次元表示器を用いて８方向の視点画像を生成する例を説明した。本実施例では、図１４に示すように、１５視点３次元表示器３０を用いた場合の１６種の視点画像を生成する例を説明する。

この視点表示器は隣り合う視点画像間の視差が先の実施例の略１／２である。このため、実施例１では距離Ｌでの正視視点ＭＮがＮ＝Ｍ＋１であるところ、本実施例では、距離Ｌでの正視視点ＭＮはＮ＝Ｍ＋２となる。すなわち距離Ｌでは隣り合う視点画像が両目に集光されるのではなく、１つ間に視点画像を挟んだ２つの視点画像が両目に集光されることになる。このように、本実施例では、両目の間に他の視点画像の投影が可能である。例えば、視点１３、視点２４などが距離Ｌにおける正視視点となる。この表示器を用いて距離Ｌ以上の視点１４０１と距離Ｌ以下の視点１４０２及び距離Ｌの視点１４０３で立体視することが出来る例を説明する。

視点１４０１に着目する。この視点１４０１を得るためには、視点画像が上記の関係になっていることを考慮しつつ、実施例１で説明したように表示画像を生成すればよい。具体的には、左目用画像をその中央画素位置から２分し、左半分の画像を画像２、右半分の画像を画像３の視点画像の対応する画素位置にそれぞれ表示する。また、右目用画像をその中央画素位置から２分し、左半分の画像を画像４、右半分の画像を画像５の視点画像の対応する画素位置にそれぞれ表示する。これにより、視差画像は距離Ｌ以上の視点１４０１で逆視の影響を受ける事無く略画像全体を両目に投影できる。

次に、視点１４０２に着目する。この視点１４０２を得るためには、左目用画像をその中心画素位置から２分し、左半分の画像を画像８、右半分の画像を画像７の視点画像の対応する画素位置にそれぞれ表示する。また、右目用画像をその中央画素位置から２分し、左半分の画像を画像１０、右半分の画像を画像９との視点画像に対応する画素位置にそれぞれ表示する。これにより、視差画像は距離Ｌ以下の視点１４０２で逆視の影響を受ける事無く略画像全体を両目に投影できる。

次に視点１４０３に着目する。この視点１４０３を得るためには、左目用画像を画素位置に関わらず画像１３の視点画像として表示し、右目用画像を画素位置に関わらず画像１５の視点画像として表示する。これにより、視差画像は距離Ｌの視点１４０３で逆視の影響を受ける事無く略画像全体を両目に投影できる。

図１５は図１４に示す視点が得られるように生成した表示画像の例を示す。本実施例では視差画像を２分割して異なる方向に表示すれば多様な視点で立体視が可能に成る。図１５の例では、画像２は左半分に左目用画像の左半分の画像を表示する。画像３は右半分に左目用画像の右半分の画像を表示する。画像４は左半分に右目用画像の左半分の画像を表示する。画像５は右半分に右目用画像の右半分の画像を表示する。これらは図１４の視点１４０１で集光される。同様に画像７は右半分に左目用画像の右半分の画像を表示する。画像８は左半分に左目用画像の左半分の画像を表示する。画像９は右半分に右目用画像の右半分の画像を表示する。画像１０は左半分に右目用画像の左半分の画像を表示する。これらは図１４の視点１４０２で集光される。なお、画像１３は全面に左目用画像を表示し、画像１５は全面に右目用画像を表示する。その他の画像１、画像６、画像１１、画像１２、画像１４、及び画像１６の視点画像はダミーデータとして白データを表示する。ダミーデータを表示することにより逆視視点となる視点が生じるのを防止することができる。このように、視点数を増やし、必要に応じてダミーデータを表示することにより、逆視を防止して安定的な立体視をすることが可能となる。

図１６は、図１４に示す視点が得られるように表示画像を生成する処理を示すフローチャートである。図１６に示す処理は、例えばＲＯＭ６０に格納されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。なお、本実施例においても横方向の多視点３次元表示器３０の画素数は１０２４であるものとする。

ステップＳ１６０１において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置を左端のＡの画素位置としてＸ＝０に初期設定する。

ステップＳ１６０２において表示画像生成部４０１は、右目用画像及び左目用画像の画素位置Ｘが５１１以下であるかを判定する。画素位置Ｘが５１１以下の場合、表示画像生成部４０１はステップＳ１６０３に処理を進める。ステップＳ１６０３において表示画像生成部４０１は、左目用画像を画像２用ＶＲＡＭ及び画像８用ＶＲＡＭの対応する画素位置に出力する。また、ステップＳ１６０３において表示画像生成部４０１は、右目用画像を画像４用ＶＲＡＭ及び画像１０用ＶＲＡＭの対応する画素位置に出力する。

一方、ステップＳ１６０２において画素位置Ｘが５１１より大きい場合、表示画像生成部４０１はステップＳ１６０４に処理を進める。ステップＳ１６０４において表示画像生成部４０１は、左目用画像を画像３用ＶＲＡＭ及び画像７用ＶＲＡＭの対応する画素位置に出力する。また、ステップＳ１６０４において表示画像生成部４０１は、右目用画像を画像５用ＶＲＡＭ及び画像９用ＶＲＡＭの対応する画素位置に出力する。このステップＳ１６０３とステップＳ１６０４に依って、図１４の視点１４０１と視点１４０２で立体視が可能になる。

なお、画素位置Ｘに拘わらずステップＳ１６０５において表示画像生成部４０１は、左目用画像を画像１３用ＶＲＡＭに出力し、右目用画像を画像１５用ＶＲＡＭに出力する。また、ステップＳ１６０５において表示画像生成部４０１は、他の画像１、画像６、画像１１、画像１２、画像１４、及び画像１６用ＶＲＡＭに白データを出力する。ステップＳ１６０４によって図１４の視点１４０３で立体視が可能に成る。

本実施例は図６の視点６０１及び視点６０２、図７の視点７０１及び視点７０２、及び図８の視点８０１の様に、視差画像の両端部画素位置の画素情報を表示する両方向の角度差が最も少ない場合に、逆視の影響を受けにくくなる利点がある。つまり隣り合う視点画像、即ち、画像Ｋと画像Ｋ＋１の表示画像として生成して得られる視点では、両目に投影される画像として隣り合う視点画像が投影されてしまう場合がある。本実施例では、隣り合う視点画像を用いた視点を用いずに、さらに白データを出力する視点画像が挟まれるので、各視点において集光される際に逆視の影響を受けにくくなる利点を有する。本実施例は１５視点３次元表示器を用いる例を説明した。また、レンチキュラーレンズを用いた多視点３次元表示器を用いる場合を例に挙げて説明した。しかしながら、本実施例は、表示器から異なる複数の視点方向に対して異なる２次元画像を表示する表示器で有れば、いずれの表示器においても適用することができる。例えば、５７台のプロジェクターから構成され、異なる５６個の視点方向に５７種の画像を投影する事が出来る画面サイズ２００インチの表示器を用いると、より大勢のユーザーが広い空間内で同じ３次元画像を見る事が出来る。このような多視点３次元画像表示器の様に、小さい視差の視差画像を多くの視点画像として表示し、より広い視野で多視点３次元画像を表示することが出来る場合に本実施例を適用すれば、より有効である。また、多数の回折格子を使って２次元的多視点方向に多視点画像を表示出来る３次元表示器にも各実施例を適用することが可能である。

＜実施例３＞
実施例２は多視点表示器の視点数を多くする例を説明した。実施例３では、実施例１と同様に７視点３次元表示器を用いて隣り合う視点方向、即ち画像Ｋと画像Ｋ＋１に画像表示する別の態様について説明する。すなわち、本実施例では、視差画像が画像Ｋと画像Ｋ＋１とにおいて表示される例の別の態様について説明する。

本実施例では、視差画像の画素位置に応じて、隣り合う視点画像である画像Ｋと画像Ｋ＋１に一定比率で視差画像を分配して表示画像として生成する例を説明する。

図１７は、本実施例で得られる視点の原理を示す図であり、例えば図６で示す例と類似の図である。図１７の例では、視点１７０１が得られることを示している。先の実施例１で説明したように、視差画像の左端ＡからＣに向けて徐々に画像をずらすことで視点１７０１が得られる。本実施例では、図１７に示すような原理により近い表示画像を生成する手法について説明する。

図１８は、本実施例で用いる視差画像の画素位置に応じた配分率の一例を示す図である。本実施例でも横方向の画素数は１０２４であるものとする。図１８に示すように、本実施例では視差画像の画素位置を８つの領域に分割する。そして、各画素位置に応じて図１８に示す配分率で視差画像を分けて表示画像を生成する。図１７に示す例を用いると、図１８のＫは３である。よって、以下、Ｋ＝３である場合を例に挙げて説明する。図１８を参照すると、左目用画像の画素位置が左端Ａ付近の１２８画素は、１６画素中１画素を画像３に、残る１６画素中１５画素を画像４に配分する。このように制御することで、図１７に示す原理図に近い表示を行うことができる。一方、画素位置が中央部Ｂに近い画素位置Ｘ＝３４８からＸ＝６３９の２５６画素は左目用画像及び右目用画像の其々半分を画像３と画像４として表示する。これは７視点表示器を用いて隣接する画像Ｋと画像Ｋ＋１方向に表示する場合、約半分に間引かれた画像ではあるが、安定に立体視をすることが出来る。実施例１で説明した図９の視点８０１では、視点位置が少しでも左右どちらかにずれると安定に視差画像全体を見る事が出来ない場合がある。これに対して、本実施例では安定に立体視することが出来る。このように、本実施例は視差画像全体が集光し難い視点に有効である。

図１９は図１８で７区分に分割した画素位置Ｘ付近の画像３、画像４及び画像５の視点画像として左目用画像および右目用画像を図１８に示すテーブルに従って配分し、合成して表示画像を生成する例を示す図である。図１９中の１９０１は画像の左端Ａ点付近の画像３、画像４及び画像５の視点画像を示している。左目用画像の１６画素中１５画素が画像４の視点画像として生成される。右目用画像の１６画素中１５画素が画像５の視点画像のとして生成される。また、左目用画像及び右目用画像の互いに１６画素中１画素が其々画像３及び画像４の視点画像として生成される。画像３の視点画像は１６画素に１画素の割合で右目用画像を表示し、他の画素位置では白データを表示する。なお、１６画素中のどの画素を分配するかは適宜設定することができ、図１９に示す例に限られるものではない。

同様に画素位置Ｂ付近では１９０４で示す様に左目用画像は１画素置きに画像３と画像４の視点画像として表示される。右目用画像は１画素置きに画像４と画像５に表示される。従って視点１７０１がその中心から画像５の方向にずれれば約５０％に間引かれた視差画像を画像５と画像４とを用いて立体視可能であり、逆に画像３の方向にずれれば約５０％に間引かれた視差画像を画像４と画像５とを用いて立体視可能となる。

図２０は、図１８のＫが３の場合の表示画像処理のフローチャートを示す図である。図２０に示す処理は、例えばＲＯＭ６０に格納されたプログラムをＣＰＵ１０がＲＡＭ７０に一時的に読み出して実行することによって実現される。

ステップＳ２００１において表示画像生成部４０１は、左目用画像及び右目用画像の画素位置を左端のＡの画素位置としてＸ＝０に初期設定する。

ステップＳ２００２において表示画像生成部４０１は、画素位置Ｘが１２７画素以下であるかを判定する。画素位置Ｘが１２７画素以下である場合、ステップＳ２００３に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０１に示す様に、左目用画像の１６画素中１５画素を画像４用ＶＲＡＭに出力する。また、右目用画像の１６画素中１５画素を画像５用ＶＲＡＭに出力する。また、左目用画像の１６画素中１画素を画像３用ＶＲＡＭに出力し、右目用画像の１６画素中１画素を画像４用ＶＲＡＭに出力する。

ステップＳ２００４において表示画像生成部４０１は、画素位置Ｘが１２７＜Ｘ＜２５６であるかを判定する。画素位置Ｘが１２７＜Ｘ＜２５６である場合、ステップＳ２００５に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０２に示す様に、左目用画像の４画素中３画素を画像４用ＶＲＡＭに出力し、右目用画像の４画素中３画素を画像５用ＶＲＡＭに出力する。また、表示画像生成部４０１は、左目用画像の４画素中１画素を画像３用ＶＲＡＭに出力し、右目用画像の４画素中１画素を画像４用ＶＲＡＭに出力する。

ステップＳ２００６において表示画像生成部４０１は、画素位置Ｘが２５５＜Ｘ＜３８４であるかを判定する。画素位置Ｘが２５５＜Ｘ＜３８４である場合、ステップＳ２００７に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０３に示す様に、左目用画像の３画素中２画素を画像４用ＶＲＡＭに出力し、右目用画像の３画素中２画素を画像５用ＶＲＡＭに出力する。また、表示画像生成部４０１は、左目用画像の３画素中１画素を画像３用ＶＲＡＭに出力し、右目用画像の３画素中１画素を画像４用ＶＲＡＭに出力する。

ステップＳ２００８において表示画像生成部４０１は、画素位置Ｘが３８３＜Ｘ＜６４０であるかを判定する。画素位置Ｘが３８３＜Ｘ＜６４０である場合、ステップＳ２００９に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０４に示す様に、左目用画像の２画素中１画素を画像４用ＶＲＡＭに出力し、右目用画像の２画素中１画素を画像５用ＶＲＡＭに出力する。また、表示画像生成部４０１は、左目用画像の２画素中の他の１画素を画像３用ＶＲＡＭに出力し、右目用画像の２画素中の他の１画素を画像４用ＶＲＡＭに出力する。

ステップＳ２０１０において表示画像生成部４０１は、画素位置Ｘが６３９＜Ｘ＜７６８であるかを判定する。画素位置Ｘが６３９＜Ｘ＜７６８である場合、ステップＳ２０１１に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０５に示す様に、左目用画像の３画素中１画素を画像４用ＶＲＡＭに出力し、右目用画像の３画素中１画素を画像５用ＶＲＡＭに出力する。また、表示画像生成部４０１は、左目用画像の３画素中２画素を画像３用ＶＲＡＭに出力し、右目用画像の３画素中２画素を画像４用ＶＲＡＭに出力する。

ステップＳ２０１２において表示画像生成部４０１は、画素位置Ｘが７６７＜Ｘ＜８９６であるかを判定する。画素位置Ｘが７６７＜Ｘ＜８９６である場合、ステップＳ２０１３に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０６に示す様に、左目用画像の４画素中１画素を画像４用ＶＲＡＭに出力し、右目用画像の４画素中１画素を画像５用ＶＲＡＭに出力する。また、表示画像生成部４０１は、左目用画像の４画素中３画素を画像３用ＶＲＡＭに出力し、右目用画像の４画素中３画素を画像４用ＶＲＡＭに出力する。

ステップ２０１４において表示画像生成部４０１は、画素位置Ｘが８９５＜Ｘであるかを判定する。画素位置Ｘが８９５＜Ｘである場合、ステップＳ２０１５に進み表示画像生成部４０１は、図１８のテーブルに従って視差画像をＶＲＡＭに出力する。すなわち、表示画像生成部４０１は、図１９の１９０７に示す様に、左目用画像の１６画素中１画素を画像４用ＶＲＡＭに出力し、右目用画像の１６画素中１画素を画像５用ＶＲＡＭに出力する。また、表示画像生成部４０１は、左目用画像の１６画素中１５画素を画像３用ＶＲＡＭとして出力し、右目用画像の１６画素中１５画素を画像４用ＶＲＡＭに出力する。

ステップＳ２０１６では表示画像生成部４０１は、画素位置を１画素移動させ１０２４画素全ての画素位置の視差画像に対してステップＳ２００２からステップＳ２０１５の処理を繰り返す。以上の処理を全画素位置に渉って繰り返すことによって画像３、画像４及び画像５を表示画像として生成する。尚、各画像用のＶＲＡＭは初期値を白データで初期化している。従って、上記処理で画像データが出力されないＶＲＡＭは全て白データが表示される。

以上詳細に本実施例について説明したが、各画素位置やその合成比率は図示する例に限定されない。また、本実施例では視差画像を隣り合う視点画像、即ち画像Ｋと画像Ｋ＋１として表示する場合の例を示した。しかしながら、実施例１の図８の視点８０２のように、視差画像を３以上の視点画像に徐々に表示する形態に本実施例を適用してもよい。例えば実施例１では、画素位置に応じて画像Ｋ，画像Ｋ＋１及び画像Ｋ＋２に表示する場合、画素位置を３等分し、その画素位置に応じて其々画像Ｋ，画像Ｋ＋１及び画像Ｋ＋２に表示する例を説明した。しかしながら、本実施例のように、隣り合う画像Ｋと画像Ｋ＋１、及び隣り合う画像Ｋ＋１と画像Ｋ＋２との間で位置に応じた比率で画素を混合することも可能である。実施例１の視点では異なる方向から投影される分割された画像の切り替わりが不連続に成る場合が有り得るが、本実施例のように画素を混合することで、視点において視差画像が滑らかに繋がって立体視することが可能になる。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 複数の視点方向に対応する複数の視点画像を表示することが可能な３次元表示手段を有する画像処理装置であって、
   視差画像を、該視差画像の画素位置に応じて複数の視点画像として表示させる制御手段を有することを特徴とする画像処理装置。
2. 前記制御手段は、前記視差画像を構成する一対の画像のそれぞれを、それぞれの画像の画素位置に応じて複数の視点画像としてそれぞれ表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の視点画像として表示される視差画像は、それぞれ同一の画像データに基づくことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記視差画像の画素位置に対応する前記視点画像の画素位置に前記視差画像を表示させることを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記制御手段は、視差画像を、該視差画像の画素位置に応じて分割し、分割した画像を複数の視点画像として表示させることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 少なくとも１つの視点画像は、異なるサイズに分割された複数の視差画像を含むことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、視差画像を複数の領域に分割し、分割した領域の画素位置に応じた異なる比率の画素を視点画像に含めて表示させることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
8. 前記制御手段は、前記視差画像を表示させる場合に用いられる隣り合う視点画像の一方から他方に向けて前記比率を変更することを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、隣り合う視点画像を用いずに前記視差画像を表示させることを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記制御手段は、前記視差画像に対応する画素がない視点画像の画素にダミーデータを含めることを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記制御手段は、複数組の視差画像を、該視差画像の画素位置に応じて各組毎に異なる視点画像として表示させることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記制御手段は、前記視差画像の組毎に、視差画像の両端部の画素の表示方向の角度差が異なるように視点画像を表示させることを特徴とする請求項１１に記載の画像処理装置。
13. 前記制御手段は、前記視差画像を構成する一対の画像のうちの一方の画像の右端部の画素位置の画素の表示方向と左端部の画素位置の画素の表示方向との角度差が、他方の画像の右端部の画素位置の画素の表示方向と左端部の画素位置の画素の表示方向との角度差で等しくなるように視点画像を表示させることを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
14. 前記制御手段は、視差画像を構成する一対の画像を、一対の視点画像として表示させることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
15. 前記制御手段は、視差画像の画素位置が相対的に右の画素を、視差画像の画素位置が相対的に左の画素より左方向の視点画像として表示させることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
16. 前記制御手段は、視差画像の画素位置が相対的に右の画素を、視差画像の画素位置が相対的に左の画素より右方向の視点画像として表示させることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
17. 前記視差画像は、一対の左目用画像及び右目用画像を含むことを特徴とする請求項１から１６のいずれか一項に記載の画像処理装置。
18. 複数の視点方向に対応する複数の視点画像を表示することが可能な３次元表示手段を有する画像処理装置であって、
    視差画像を、該視差画像の画素位置に応じて複数の視点画像として表示させる制御工程を有することを特徴とする画像処理方法。
19. コンピュータを、請求項１から１７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。