JP2015119228A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】表示器に対するユーザーの視点およびユーザーの位置に関わらず、ユーザーが略正面から見た場合と実質的に同様な大きさで画像オブジェクトを連続的に立体視することを可能とする画像処理装置を提供する。【解決手段】この画像処理装置は、被写体に対して複数の視点における複数の２次元画像情報を入力する入力手段４００と、入力手段４００で入力した２次元画像情報から、複数の視点に応じて多視点の３次元画像を表示するための３次元画像情報を生成する生成手段４０１と、生成した複数の視点に応じた多視点の３次元画像を表示する３次元表示手段４０２と、を有し、生成手段４０１は、複数の視点に応じた２次元画像情報を、所定の表示倍率で拡大し、所定の表示範囲に基づいて前記３次元画像情報を生成する。【選択図】図１０

Description

本発明は、多視点３次元表示器で３次元画像情報を表示する画像処理装置、画像処理方法及およびプログラムに関する。

近年、角度を変えて撮影した画像を見る角度に応じて表示する多視点３次元表示器が提案されている。この多視点３次元表示器は、ユーザーが表示器を見る角度に応じて、画像オブジェクトの形状も実際にその角度から見た３次元形状として立体的に表示する。

一般的な多視点３次元表示器は、見る角度に応じて、その角度から見た実体と実質的に同様な３次元画像を表示することができる。しかしながら、表示器の表示面が平面であるため、この表示器に対するユーザーの視点の角度が鋭角になるほど、表示される画像オブジェクトは実体に比べてユーザーの目の配列方向(一般的に横方向)方向に縮小されたように見える。特許文献１は、表示される画像オブジェクトを異なる角度から見る際に、その角度から見える画面全体の遠近差を、視点から遠い表示画像の拡大率が他方より相対的に大きくなるよう補正して表示する２次元表示器を開示する。

特開２００９−７５８４２号公報

しかしながら、特許文献１の技術は、画面全体の縦横の歪みを補正するため、表示画像全体を縮小する必要があり、多視点３次元表示器に適用した場合、画像オブジェクト自体の大きさが縮小される。また、多視点表示器の各画面の遠近差を正確に補正するためには、全てのユーザーと表示器までの距離を含めた視点位置を検出する手段も必要となる。

本発明は、このような状況を鑑みて、表示器に対するユーザーの視点およびユーザーの位置に関わらず、ユーザーが略正面から見た場合と実質的に同様な大きさで画像オブジェクトを連続的に立体視することを可能とする画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明は、被写体に対して複数の視点における複数の２次元画像情報を入力する入力手段と、前記入力手段で入力した前記２次元画像情報から、前記複数の視点に応じて多視点の３次元画像を表示するための３次元画像情報を生成する生成手段と、前記生成した前記複数の視点に応じた前記多視点の前記３次元画像を表示する３次元表示手段と、を有し、前記生成手段は、前記複数の視点に応じた前記２次元画像情報を、所定の表示倍率で拡大し、所定の表示範囲に基づいて前記３次元画像情報を生成することを特徴とする。

本発明の画像処理装置によれば、例えば、表示器に対するユーザーの視点およびユーザーの位置に関わらず、ユーザーが略正面から見た場合と実質的に同様な大きさで画像オブジェクトを連続的に立体視することを可能にする画像処理装置を提供することができる。

本発明の一実施形態に係る画像処理装置の一例を示すブロック図である。 多視点３次元表示装置をより詳細に説明する図である。 視点と視差画像対との関係を示す図である。 画像処理装置の機能ブロックの一例を示す図である。 画像処理装置の機能ブロックの詳細例を示す図である。 表示画像情報を生成する処理のフローチャートである。 本視角θと倍率の関係を示す図である。 ユーザーの視点の違いによる多視点３次元画像の見え方を説明する図である。 表示画像情報を生成する処理を説明する為の画像例である。 表示情報生成部の処理画像例を説明する図である。 表示情報生成部の別処理画像例を説明する図である。 表示情報生成部の別実施例を説明する図である。 の表示情報生成部の別実施例の処理画像例を説明する図である。 本発明による各多視点画像の視角θと表示範囲と倍率の一例を示す表である。

以下、本発明を実施するための形態について図面などを参照して説明する。

（第１実施形態）
まず、本発明の第１実施形態に係る画像処理装置について説明する。本実施形態に係る３次元表示器は、３次元画像情報として、その表示器の画面中に複数の２次元画像情報を同時に表示している。具体的には、３次元表示器に表示される２次元画像は、ユーザーが複数の視点から、左目および右目のそれぞれで見た２枚の２次元画像情報を含む。本実施形態の表示器の表示素子およびその周辺の光学部材は、複数の目で見た場合に、立体的に見せるための光学的な工夫が施されている。本実施形態では、表示面に対し８つの方向から略連続的かつ立体的に被写体を見ることが可能な多視点３次元表示器に使用される画像処理装置を例に説明するが、これに限定されるものではない。

ここで、本実施形態の説明に先立って、本明細書で用いる用語について簡単に説明する。用語「２次元画像」は、表示器やプリンターで記録表示する、例えば、人や図形などを表す１画面の２次元の画像そのものを指す。また、用語「３次元画像」は、３次元表示器で立体的に表示される、例えば、人や図形などといった被写体を表す１画面の３次元の画像そのものを指す。例えば、３次元画像は、異なる位置から見た複数の２次元画像で構成され、左目用と右目用の一対の２次元画像を既定の表示素子で表示し、その画像を其々の目で見る事で得られる画像である。各２次元画像として表示される被写体に対する基準からの角度を視角と呼ぶ。用語「画像オブジェクト」は、２次元画像中、あるいは３次元画像中に存在する画像の一部、または特定の物体を指す。

用語「２次元画像情報」または「３次元画像情報」は、２次元画像または３次元画像を表示するための輝度信号や濃度信号等の信号源を含む。特に、３次元画像情報は、少なくとも左目用および右目用の一対の２次元画像情報から成り、これら画像対を視差画像対と呼ぶ。また、視差画像対が被写体と成す角度を視差角と呼び、２つの視点から見た各２次元画像の視角の差を表す。なお、３次元画像情報は、カメラで撮影したり、或いは、コンピュータグラフィックス等で人工的に作製される。

図１は、本実施形態に係る画像処理装置の一例を示すブロック図である。図１に示すように、本実施形態に係る画像処理装置は、画像情報等をネットワーク回線１１０等からネットワーク制御部９０を介して取得する一般的なパーソナルコンピュータ（以下、単に「ＰＣ」と称する）１を備える。また、画像処理装置は、少なくとも、３次元画像情報に基づいた３次元画像を立体表示する３次元表示装置２を備える。

ＰＣ１は、ＣＰＵ１０、ＲＯＭ６０、ＲＡＭ７０、記憶手段８０、操作入力部５５、およびネットワーク制御部（ネットワーク）９０を備える。ＣＰＵ１０は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称であり、ＰＣ１の動作を制御する制御部である。ＲＯＭ６０は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称であり、各種設定やプログラムを格納し、ＲＡＭ７０は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称であり、一時的な記憶手段として機能する記憶部である。記憶手段８０は、３次元画像情報や本実施形態に用いられるプログラム等を記憶し保持する。操作入力部５５は、マウスまたはタッチパッドなどの入力手段であり、ユーザーからＰＣ１への各種入力操作を可能にする。

３次元表示装置２は、３次元表示手段である多視点３次元表示器３０、タッチパネル４０、および撮像手段２０を備える。多視点３次元表示器３０は、３次元画像を表示する表示器である。また、タッチパネル４０は、３次元表示器の表示面に備えられ、表示した３次元画像に触れる（タッチする）ことで、画像や表示された入力キーを選択すると共に、操作入力部５５同様、ユーザーのＰＣへの各種の入力操作を可能にする。撮像手段２０は、一般的な表示器に通常備えられ、ユーザーの位置やユーザーの動作を認識するため、多視点３次元表示器３０の近傍に設けられている。

図２は、図１で示した３次元表示装置２をより詳細に説明する図である。図２（Ａ）は、３次元表示装置２の表示面の断面図である。図２（Ａ）に示すように、多視点３次元表示器３０は、液晶表示器３００と、その全面に設置されるレンチキュラーレンズ３０１とを有する。レンチキュラーレンズ３０１は、右目と左目で見える映像位置のずれ（人間の両眼視差）を利用して、画像を立体的に表示するレンズである。レンチキュラーレンズ３０１の表示面側には、タッチパネル４０が配置される。また、図２（Ａ）に示すように、本実施形態においては、撮像装置２０は、表示器３０の画面中央部に配置される。

図２（Ｂ）は、多視点の画像を表示するレンチキュラーレンズ３０１と相対位置が保証された各液晶表示画素とを示す図である。図２（Ｂ）に示す多視点３次元表示器３０は、この多視点３次元表示器３０に対し、７方向から多視点３次元画像を見ることができるよう、それぞれ１つのレンチキュラーレンズ内に画素３０２から画素３０３まで連続した８つの表示画素を有する。なお、多視点３次元表示器３０はカラー表示も可能であるが、説明を簡略化するため、本実施形態での多視点３次元表示器３０は単色表示を行う表示器とする。また、以後の図においても、表示素子や画素の並びを１次元的に表現する。なお、以下で単に「視点」と述べる場合、多視点３次元表示器３０に対するユーザーの位置を指し、１つの「視点」から見ているユーザーの目には、それぞれ右目用の画像と左目用の画像とが届けられる。

図２（Ｃ）および（Ｄ）は、異なる視点１および視点４からユーザーが見ることができる画素を示す図である。図２（Ｃ）に示すように、視点４のユーザーの右目には、画素５のみが、視点４のユーザーの左目には、画素４のみが見える。また、図２（Ｄ）に示すように、レンチキュラーレンズ３０１の光学特性により、視点１のユーザーの右目には、画素２のみが、視点１のユーザーの左目には、画素１のみが見える。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であり、本明細書ではさらなる説明を省略する。

図３は、７つの視点とその視点に合わせて多視点３次元画像を表示するために撮影する撮影画像との関係を示す図である。図３に示すように、多視点３次元画像表示器で表示する前に、各視点からユーザーの左右のそれぞれの眼で見た画像に相当する２つの２次元画像を撮影し、３次元画像情報を作製する。なお、多視点３次元表示器の光学特性に従い、各視角における２次元画像を作るため、通常、視角と視点は、略一致する。また、同一の被写体を視点１から視点７まで連続的に３次元表示する場合、視点Ｎ（Ｎは１〜７のいずれかの整数）においてユーザーの左目に届けられる画像Ｎは、視点Ｎ−１におけるユーザーの右目に届けられる画像と同一である。

これらの各２次元画像情報を横方向に分割して、レンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すると、図３で示す各視点から被写体を見た場合に近い立体像を見ることが可能となる。すなわち、図２（Ｃ）および（Ｄ）で示す画素１は、視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の１部であり、画素２は視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の１部である。また、画素４は視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の１部であり、画素５は視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の１部である。被写体は太い円柱３１０とこの円柱に接触する細く黒い円柱３１１で構成される物とする。

図４は、本実施形態の画像処理装置１の画像処理機能のブロックの一例を示す図である。図４を用いて、本実施形態に係る画像処理の概要を説明する。図４において、３次元画像情報入力部４００は、ネットワーク制御部９０等から７つの視点に対応する８種の２次元画像からなる３次元画像情報を入力し、必要に応じて記憶手段８０で記憶保持する。

画像情報生成部４０１は、３次元画像情報入力部４００で入力され、記憶手段８０で記憶保持した画像情報から視点に拘わらず、略同じ大きさで表示する為の表示画像情報を生成する。画像情報生成部４０１は、本実施形態において最も特徴として有する手段である。尚、画像情報生成部４０１で生成された表示の為の３次元画像情報は、多視点３次元画像表示部４０２により多視点３次元表示器３０で表示される。

図５は、本実施形態の画像処理装置１の画像処理機能ブロックの詳細例を示す図である。図５を用いて、本実施形態に係る画像処理ブロックの詳細を説明する。３次元画像情報入力部４００は、記憶手段８０で記憶保持された３次元画像情報５００から表示すべき３次元画像を構成する画像１(５０１)から画像８(５０２)の８種の２次元画像を順次画像情報生成部４０１に入力する。

画像情報生成部４０１は、順次入力される２次元画像に対し、表示すべき視点方向に応じて後述する所定の領域に拡大処理を実施する。ここで、拡大処理が実施される領域とは、入力される２次元画像の既定した基準位置から既定した範囲のことを指す。処理が実施された２次元画像情報を、それぞれ表示すべき視点の画像の表示を担当するビデオＲＡＭ（以降ＶＲＡＭと称す）に書き込む。

すなわち、視点１の左目用画像１（５０１）は、画像情報生成部４０１で所定の拡大処理が実施された後、画像１用のＶＲＡＭ５０３に書き込まれる。各ＶＲＡＭは、それぞれ多視点３次元表示器３０の１画面分の画素数分の容量を有し、接続された専用の表示ドライバーを用いて担当する液晶表示素子を表示駆動する。

画像１用ＶＲＡＭ５０３に書き込まれた表示画像情報は、ドライバー５０５によって、画像１用表示素子５０７が駆動され、同様に、画像８用ＶＲＡＭ５０４に書き込まれた表示画像情報は、ドライバー５０６によって、画像８用表示素子５０８が駆動される。画像１に対して、生成した表示画像情報を書き込む画像１用ＶＲＡＭ５０３と、該ＶＲＡＭの画像情報で画像１用表示素子５０７を駆動するドライバー５０５を一組とする画像表示部を、本実施形態では、８組備えることで多視点３次元画像表示部４０２が構成される。

画像情報生成部４０１は、随時３次元画像情報入力部４００から入力される３次元画像に対して、本実施形態の処理に従って表示の為の拡大処理を実施し、ＶＲＡＭを書き換えれば、表示する画像が動画である場合でも、本実施形態を適用することができる。

尚、本実施形態に係る処理を実施しない場合、画像情報生成部４０１は、入力された視点１の左目用画像１（５０１）から視点７の右目用画像８（５０２）をそのまま画像１用ＶＲＡＭ５０３から画像８用ＶＲＡＭ５０４に順次直接書き込むのみの処理となる。

図６は、本実施形態の画像情報生成部のフローを示す図である。図６を用いて本実施形態に係る画像情報生成部４０１の処理を詳細に説明する。まず、ステップＳ６００で、画像情報の生成を開始する。そして、ステップＳ６０１で、画像Ｎを読み込む。なお、本実施形態では、多視点３次元表示すべき８枚の２次元画像情報を順次画像１から読み込む。

次に、ステップＳ６０２で、実体表示をするか否かを判定する。すなわち、画像情報生成部４０１が読み込んだ画像Ｎに対して拡大処理を実施するか否かを判定する。拡大処理をせず、従来通りに表示をする場合（ＮＯ）、ステップＳ６０６に進み、読み込んだ画像Ｎ（Ｎは１から８）の画像情報をステップＳ６０６で直接画像Ｎ用ＶＲＡＭに出力される。一方、ステップＳ６０２で、実体表示をする場合（ＹＥＳ）、ステップＳ６０３に進み、ステップＳ６０１で読み込んだ画像Ｎの視覚に応じて表示倍率を設定する。

ここで、表示倍率設定について、図７を用いて説明する。図７は、多視点３次元画像表示器３０で表示し、各画像をユーザーに表示させるための視角θと、実際にユーザーがこの視角θで縮んで見る事の出来る表示画面の横幅の相対比率（ｃｏｓθ）の関係を示す。視角θ（の絶対値）が大きくなれば成るほど、見ることのできる画面の横幅の比率ｃｏｓθは、正面（θ＝０）から見た場合に比べて小さくなるため、それに反比例させて１／ｃｏｓθ倍の拡大処理を実施する。これにより、視角θがいかなる値であっても、相対的に実体の横方向の大きさを保って被写体を立体表示出来る。尚、表示器の画素数は、固定であるため、拡大表示する分、視角θ（の絶対値）が大きくなれば成るほど表示できる画像範囲は、ユーザーの視点に応じて横方向にｃｏｓθで示される率で狭くなる。

また、図１４に本発明実施例で用いる多視点３次元表示器３０における多視点の各画像の視角θと制限されて表示出来る表示画像範囲（ｃｏｓθ）および該表示画像範囲を拡大処理する倍率１／ｃｏｓθの一例を示す。尚、本実施形態では、隣り合う画像Ｎと画像Ｎ＋１の視角の差、すなわち視差角は、全て１０.８度とする。また、視点は、挟まれる両画像の視角の中央の為、視点１および７は、表示器に対して約３２度（視点７では−３２度）である。同様に、視点２および６は、表示器に対して約２２度（視点６では−２２度）、視点３および５は、表示器に対して約１１度（視点５では−１１度）である。そして、視点４は、表示器に対して０度である。なお、図１４に示す角度、表示範囲、表示倍率は、本実施形態の数値に限定することなく、任意に設定してもよい。

図６に戻って、ステップＳ６０１で読み込んだ各画像のそれぞれの視角θに応じて、ステップＳ６０３で、図１４から表示倍率を設定する。そして、ステップＳ６０４で、表示することのできる画像の範囲を設定した後、ステップＳ６０５で、これらの設定された表示範囲の画像情報を設定された表示倍率で拡大処理を行う。

ここで、本実施形態の多視点３次元表示器３０は、各視点画像を１９２０画素×１０８０画素で表示可能であり、各視点は、表示器に対して同じ水平面上である。このため、ステップＳ６０１で読み込んだ１９２０画素×１０８０画素の画像を拡大処理して表示するためには、該画像情報の内、水平方向の１９２０画素分の画像情報全てを表示することができない。従って、図１４に表示範囲として示すその一部を拡大処理して表示する。ステップＳ６０１で読み込んだ各画像において、具体的にどの部分を拡大処理するかは後述する。

なお、ステップＳ６０５の拡大処理は、本実施形態では、公知の横方向への１次元の線形補間処理を行う。この処理は、例えば、エッジ等のボケを防止した他の公知の全ての拡大処理方式が適用可能である。

各画像に対する処理が終了した表示画像情報を、ステップＳ６０６で画像Ｎ用のＶＲＡＭに１画面分出力して、各画像に対する表示画像情報を生成する。そして、ステップＳ６０７で、全ての視点用の８種の画像に対する処理が終了したか否かを判定し、全ての画像に対する処理が終了していない場合（ＮＯ）、ステップＳ６０１からステップＳ６０６の上述した処理を繰り返す。一方、ステップＳ６０７で視点７の右目用画像８の処理が終了した場合（ＹＥＳ）、全ての３次元表示画像情報の生成処理が終了し、ユーザーは、視点に拘わらず全て実体と略同じ横方向のサイズで画像オブジェクトを立体視することができる。

次に、図８を用いて、ユーザーの視点の違いによる多視点３次元画像の見え方について詳細に説明する。図３に示す被写体を多視点３次元表示器３０で表示した場合、図８（Ａ）に示すように、太い円柱８００は、表示器３０の中で、直径８０１の長さを有して表示される。多視点３次元表示器３０の略正面に位置する視点４のユーザーは、太い円柱８００を表示された直径８０１と略同じ長さの直径８０２として立体的に見ることができる。

多視点３次元表示器３０では円柱を他の視点に対しても同様に表示するために、先の視点４の場合と同様に、直径８０１の直径を有して表示している。しかしながら、図８（Ｂ）に示すように、多視点３次元表示器３０の略左４０度に位置する視点１では、多視点３次元表示器３０の表示面を約４０度の角度から斜めに見る。このため、円柱８０４の直径は、先の直径８０２に対して約８０％（ｃｏｓ４０度）に縮んだ、直径８０３の長さとして見える。

すなわち、表示器３０では、上述したように、画像１および画像２として視点１で表示する画像情報を、視点４の画像４および画像５と同じ被写体３１０を異なる向きから表示している。しかしながら、レンチキュラーレンズ３０１によって視線１から見える画像は平面形状の表示器３０を略４０度斜めから見ることになり、結果として、立体的には見えるが、その幅は、約横方向に７７％程度に縮んで見えることになる。このように、同じ被写体を立体的に３次元表示することはできるが、連続的に視点を変えて被写体を見た場合、視点に応じてその横方向の倍率が実際の被写体に比べて縮んで見えてしまう。

次に、図９は、本実施形態に係る画像情報生成部４０１の処理を説明するための画像１から画像８の画像例を示す。画像１(９０１)は、被写体のカメラを視点１の左目で見せるための画像で、画像２(９０２)は、同被写体を視点１の右目で見せるための画像である。同様に、視点２から視点７に対する左右の目用の画像を、画像３（９０３）から画像８（９０８）として示している。これらの８枚の画像情報を多視点３次元表示器３０で表示すれば、ユーザーは、視点１から視点７に渉って連続的に各視点の方向に従って被写体のカメラを立体的に見ることができる。

次に、図１０は、本実施形態に係る画像情報生成部４０１の処理画像例を説明する図である。図１０（Ａ）は、画像１および８に対する拡大処理の例である。図１４に従って図９に示す画像１および８の中央部を中心に７９％の表示画像範囲に対して拡大率１２７％で線形補間して生成した画像情報を画像１００１および１００８に示す。

同様に、図１０（Ｂ）は、画像２および７に対する拡大処理の例である。図１４に従って図９に示す画像２および７の中央部を中心に８９％の表示画像範囲に対して拡大率１１２％で線形補間して生成した画像情報を画像１００２および１００７に示す。

同様に、図１０（Ｃ）は、画像３および６に対する拡大処理の例である。図１４に従って図９に示す画像３および６の中央部を中心に９６％の表示画像範囲に対して拡大率１０４％で線形補間して生成した画像情報を画像１００３および１００６に示す。

図示しないが、図９に示す画像４および５に対しても同様に、その中央部９９．５％の範囲を１０１％に拡大処理し、それぞれの画像の表示を担当するＶＲＡＭに書き込む。なお、各視点で左右の目に届く画像は、それぞれ見える範囲と拡大率が異なるが、ユーザーが連続的に視点を移動させて多視点３次元表示画像を見る場合、より連続的で自然に同じ画像オブジェクトを立体視する事が可能に成る。

以上により、本実施形態によれば、表示器に対するユーザーの視点およびユーザーの位置に関わらず、ユーザーが略正面から見た場合と実質的に同様な大きさで画像オブジェクトを連続的に立体視することを可能にする画像処理装置を提供することができる。

（第２実施形態）
次に、第２実施形態に係る表示情報生成部４０１の処理画像例を、図１１を用いて説明する。一般的に、ユーザーは、多視点３次元表示器３０に表示された画像オブジェクトの左部を見たい場合、多視点３次元表示器３０の画面を左側から見る。すなわち、本実施形態では、第１実施形態と異なり、視点１については、画面中の画像オブジェクトの左の部分を、一方、視点７については、画面中の画像オブジェクトの右の部分を重視して表示する。

すなわち、図１１（Ａ）は、本実施形態における表示位置を視点に応じて変えた画像１および８に対する拡大処理を示す。図１４に従って図９に示す画像１を左端部から７９％の表示画像範囲に対して拡大率１２７％で線形補間して生成した画像情報を画像１１０１に示す。そして、図１４に従って図９に示す画像８を右端部から７９％の表示画像範囲に対して拡大率１２７％で線形補間して生成した画像情報を画像１１０８に示す。

同様に、図１１（Ｂ）は、画像２および７に対する拡大処理を示す。図１４に従って図９に示す画像２を左端部（第１の側の端部）から８９％の表示画像範囲に対して拡大率１１２％で線形補間して生成した画像情報を画像１１０２に示す。そして、図１４に従って図９に示す画像７を右端部（第２の側の端部）から８９％の表示画像範囲に対して拡大率１１２％で線形補間して生成した画像情報を画像１１０７に示す。

同様に、図１１（Ｃ）は、画像３および６に対する拡大処理を示す。図１４に従って図９に示す画像３を左端部から９６％の表示画像範囲に対して拡大率１０４％で線形補間して生成した画像情報を画像１１０３に示す。そして、図１４に従って図９に示す画像６を右端部から９６％の表示画像範囲に対して拡大率１０４％で線形補間して生成した画像情報を画像１１０６に示す。

図示しないが、図９に示す画像４および５に対しても同様に、拡大処理を行う。画像４については、左端部から９９．５％の範囲を１０１％に拡大処理し、画像５については、右端部から９９．５％の範囲を１０１％に拡大処理し、それぞれの画像の表示を担当するＶＲＡＭに書き込む。

以上により、本実施形態においても第１実施形態と同様に、表示器に対するユーザーの視点などに関わらず、ユーザーが略正面から見た場合と実質的に同様な大きさで画像オブジェクトを連続的に立体視することを可能にする画像処理装置を提供することができる。

（第３実施形態）
次に、第３実施形態に係る表示情報生成部４０１拡大処理について、図１２を用いて説明する。本実施形態では、読み込んだ画像に対して、画像の中央を優先して拡大処理を行うか、視点に応じた左右どちらかの端部を優先するかを選択する点が、他の実施形態と異なる。

図１２に示すフローについては、図６で説明した同じ処理には、同様のステップ番号とし、その説明を省略し、異なる点のみ説明する。本実施形態では、ステップＳ６０３で表示倍率を設定した後、ステップＳ６０４の表示範囲の設定を行わずに、ステップＳ６０５に進み、ステップＳ６０３で設定した表示倍率で拡大処理を行う。

そして、ステップＳ１２０１で、画像の表示範囲を、中央を優先した設定とする。次に、ステップＳ１２０２で、例えば、不図示の入力手段にて画像の中央を優先した設定のままか否かを判定（決定）する。また、入力手段を用いることなく、例えば、視点に応じて自動的に判定（決定）してもよい。中央を優先した設定のままである場合（ＹＥＳ）、ステップＳ１２０４に進む。一方、中央を優先しない場合（ＮＯ）、すなわち、画像の端部を優先する場合、ステップＳ１２０３に進み、表示位置の視点に応じて左右どちらかの端部を優先した表示範囲を設定する。

次に、ステップＳ１２０４で、ステップＳ６０５で拡大処理した画像を、中央優先設定または端部優先設定に応じて、表示領域をトリミングし、ステップＳ６０６で、画像表示のためのＶＲＡＭに出力する。そして、第１実施形態と同様に、全ての画像に対して上述の処理を行う。

次に、図９に示す画像１および画像８に対して、図１２に示すフローで拡大処理を実施した場合の表示例を、図１３を用いて説明する。まず、ステップＳ６０１で読み込んだ画像１の全体を、ステップＳ６０５で、ステップＳ６０３において１２７％に設定した表示倍率に拡大処理した画像が画像１３０１である。画像８についても、同様の拡大処理を行い、拡大処理した画像が画像１３０４である。

ここで、ステップＳ１２０２で中央優先設定のままにする場合、画像１および８にそれぞれ対応する拡大した画像１３０１および１３０４に対して、画像の中央部から図１４に示す表示範囲に基づいて表示領域をトリミングしてＶＲＡＭに出力する。そのときの画像は、それぞれ画像１３０２および１３０５である。

一方、ステップＳ１２０２で中央優先設定にせずステップＳ１２０３で端部優先に設定した場合、画像１および８にそれぞれ対応する拡大した画像１３０１および１３０４に対して、表示領域をトリミングする。すなわち、画像に対応する端部（画像１は左端部、画像８は右端部）から図１４に示す表示範囲に基づいて表示領域をトリミングしてＶＲＡＭに出力する。そのときの画像は、それぞれ画像１３０３および１３０６である。

以上、本実施形態によれば、多視点３次元表示器３０を、角度を有する視点１や視点７から立体視する場合であっても、その横方向のサイズを実体のサイズとして立体視することが可能である。すなわち、ユーザーの要望に応じた表示領域の画像オブジェクトに対して連続的に視点を異動させても、その横方向のサイズを実体のサイズに忠実に立体視することが可能である。従って、本実施形態においても第１実施形態と同様に、表示器に対するユーザーの視点などに関わらず、ユーザーが略正面から見た場合と実質的に同様な大きさで画像オブジェクトを連続的に立体視することを可能にする画像処理装置を提供することができる。

（その他の実施形態）
また、本発明は、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムや装置に供給し、システムや装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムを読み出して実行ことによっても実現される。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

４００ ２次元画像情報入力部
４０１ 画像情報生成部
４０２ 多視点３次元画像表示部

Claims (8)

1. 被写体に対して複数の視点における複数の２次元画像情報を入力する入力手段と、
   前記入力手段で入力した前記２次元画像情報から、前記複数の視点に応じて多視点の３次元画像を表示するための３次元画像情報を生成する生成手段と、
   前記生成した前記複数の視点に応じた前記多視点の前記３次元画像を表示する３次元表示手段と、
   を有し、
   前記生成手段は、前記複数の視点に応じた前記２次元画像情報を、所定の表示倍率で拡大し、所定の表示範囲に基づいて前記３次元画像情報を生成する
   ことを特徴とする画像処理装置。
2. 前記所定の表示範囲の基準となる所定の位置を、前記複数の視点に応じて決定する決定手段
   をさらに有し、
   前記生成手段は、前記決定手段により決定した前記所定の位置を基準に前記所定の表示範囲に基づいて前記３次元画像情報を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段が前記所定の位置を前記２次元画像情報の中央の位置と決定した場合、前記生成手段は、前記中央の位置を基準に前記３次元画像情報を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段が前記所定の位置を前記２次元画像情報の端部の位置と決定した場合、前記生成手段は、前記端部の位置を基準に前記３次元画像情報を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記２次元画像情報が前記被写体に対して第１の側の視点における２次元画像情報である場合、前記決定手段は、前記所定の位置を前記第１の側の端部の位置とし、前記生成手段は、前記第１の側の端部の位置を基準に前記３次元画像情報を生成する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記２次元画像情報が前記第１の側と異なる第２の側の視点における２次元画像情報である場合、前記決定手段は、前記所定の位置を前記第２の側の端部の位置とし、前記生成手段は、前記第２の側の端部の位置を基準に前記３次元画像情報を生成する
   ことを特徴とする請求項４に記載の画像処理装置。
7. 複数の２次元画像情報を入力する入力工程と、
   前記入力工程において入力した前記２次元画像情報から、複数の視点に応じて多視点の３次元画像を表示するための３次元画像情報を生成する生成工程と、
   前記生成した前記複数の視点に応じた前記多視点の前記３次元画像を表示する３次元表示工程と、
   を有し、
   前記生成工程において、前記複数の視点に応じて前記２次元画像情報を所定の表示倍率で拡大して前記３次元画像情報を生成する
   ことを特徴とする画像処理方法。
8. 請求項１〜６のいずれか１項に記載の手段としてコンピュータを機能させるためのプログラム。

Images