JP2014230027A - 画像表示装置に表示する画像を制御する装置、方法及びプログラム - Google Patents

Abstract

【課題】多視点画像データに係る被写体を３次元の形状として認識させるにはそのための３Ｄ画像表示器が必要であり、一般的な２Ｄ画像表示器では被写体を立体的な形状として認識することはできない。
【解決手段】画像表示装置に表示する画像を制御する装置であって、観察者の視点を検出する検出手段と、複数の２次元画像で構成される多視点画像の中から、前記検出手段で検出された観察者の視点に応じた２次元画像を、前記画像表示装置に表示する画像として選択する選択手段と、を備えたことを特徴とする。
【選択図】図６

Description

本発明は、観察者の視点に応じた画像を表示するための装置、方法及びプログラムに関する。

現在、両眼視差を利用して観察者に立体像を知覚させる３Ｄ画像表示技術が普及している。この技術は、被写体に関して両眼の視差の分だけ見え方の異なる２次元画像（視差画像）を左右それぞれの眼に別個に提示することにより立体像を知覚させる技術である。このような３Ｄ画像表示技術では、同一の被写体を複数の視点から撮像した互いに視差のある画像群のデータ（多視点画像データ）を３次元表示器に表示にすることにより、人物や図形等の被写体を立体的な形状として観察者に認識させることができる。

特開２００９-６９６８号公報

３Ｄ画像表示技術などの普及に伴い、上述した多視点画像データが広く流通することが予想される。しかしながら、多視点画像データに係る被写体を３次元の形状として認識させるにはそのための３Ｄ画像表示器が必要であり、一般的な２Ｄ画像表示器では被写体を立体的な形状として認識することはできない。

この点に関連し、例えば、観察者の視点を検出した上で、当該検出された特定の視点位置から立体モデルを仮想カメラで撮像した表示画像を生成することで、違和感のない２次元画像を表示する技術も提案されている（特許文献１）。

しかしながら、特許文献１の技術では、観察者の視点を検出し、該検出された視点から見た立体モデルを仮想カメラで撮像するという手順を踏むため、観察者の視点の変化に速やかに追従させた表示を行うことは困難である。

本発明に係る装置は、画像表示装置に表示する画像を制御する装置であって、観察者の視点を検出する検出手段と、複数の２次元画像で構成される多視点画像の中から、前記検出手段で検出された観察者の視点に応じた２次元画像を、前記画像表示装置に表示する画像として選択する選択手段と、を備えたことを特徴とする。

本発明によれば、多視点画像データを一般的な画像表示装置で表示する場合において、観察者が本来知覚するであろう感覚に近い感覚で、画像を表示することができる。

実施例１に係る画像処理を実行する画像処理システムの構成の一例を示すブロック図である。 ２Ｄ画像表示器の上面図である。 （ａ）は３Ｄ画像表示器の上面図であり、（ｂ）は（ａ）に示す上面図の一部を拡大した図である。 観察者の視点によって異なる画素が観察者の目に映ることを説明する図である。 実施例１における多視点画像の概念を説明する図である。 実施例１に係る画像処理システムにおける画像処理の流れを示すフローチャートである。 実施例１における多視点画像の一例を示す図である。 多視点画像の中から観察者視点に応じた１の２次元画像を選択する処理の詳細を示すフローチャートである。 観察者視点に応じた２次元画像を多視点画像の中から選択する様子を説明する図である。 実施例１における観察者視点と多視点画像を構成する各２次元画像との対応関係を示すテーブルの一例である。 観察者が正面から見た場合と左斜め約４０度から見た場合の見え方の違いを説明する図である。 実施例２における、２Ｄ画像表示器の表示画面を角度θの視点から見た際の見え方を説明する図である。 実施例２における、表示領域と拡大率の関係を示すテーブルの一例である。 実施例２に係る画像処理システムにおける画像処理の流れを示すフローチャートである。 加工処理の結果の一例を示す図である。 実施例３における多視点画像の概念を説明する図である。 実施例３における観察者視点と多視点画像を構成する各２次元画像との対応関係を示すテーブルの一例である。

最初に、本実施例の前提となる技術事項について簡単に説明する。

まず、３Ｄ画像表示技術における多視点３Ｄ画像は、被写体を異なる位置から撮影した互いに視差のある複数の２次元画像で構成される。例えば、左目用の画像と右目用の画像とからなる一対の２次元画像を既定の表示素子で表示し、それを左右それぞれの目で見ることで被写体が立体的に認識される。各２次元画像における、被写体と撮影手段との相対的な位置関係を画定する角度を視角と呼ぶ。

＜実施例１＞
図１は、本実施例に係る画像処理を実行する画像処理システムの構成の一例を示すブロック図である。

図１で示す画像処理システムは、パーソナルコンピュータ（ＰＣ）１００、プリンタ１１０、２Ｄ画像表示器１２０、及び３Ｄ画像表示器１３０で構成され、各装置がネットワーク１４０を介して接続されている。

ＰＣ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記憶手段１０４、入力手段１０５、ネットワークＩ／Ｆ１０６で構成される。ＣＰＵ１０１は、ＲＯＭ１０２のプログラム用ＲＯＭに記憶された、或いはハードディスク等の記憶手段１０５からＲＡＭ１０３にロードされたＯＳやアプリケーション等のプログラムを実行する。なお、ＯＳとはコンピュータ上で稼動するオペレーティングシステムの略語である。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。また、ＲＡＭ１０３には、２Ｄ画像表示器１２０及び３Ｄ画像表示器１３０に画像を表示させるためのビデオＲＡＭ（ＶＲＡＭ）も含まれる。入力手段１０５は、ユーザの入力操作を受け付けるためのキーボードやマウスであり、タッチパネル。ネットワークＩ／Ｆ１０６は、ネットワーク１４０に接続された他の機器との通信制御を行う。

２Ｄ画像表示器１２０は、被写体を２次元で表示する液晶モニタ等の画像表示装置である。本実施例に係る２Ｄ画像表示器１２０は、その表示面がいわゆるタッチパネルとなっており、画面上をユーザが直接タッチすることで各種入力操作をできるように（ＰＣ１００の入力手段１０５としても機能するように）構成される。また、２Ｄ画像表示機１２０は、観察者の位置（視点位置）や動作を認識する為の撮像手段１２１を備えている。図２は、２Ｄ画像表示器１２０の上面図であり、液晶表示部２０１、液晶表示部２０１の前面に配置されたタッチパネル２０２、観察者を画面の中央上部から撮影する撮像手段１２１してのＣＣＤカメラ２０３が示されている。本実施例では、入力された多視点３Ｄ画像の中から観察者の視点に最も近い視点で撮像された２次元画像が選択されて表示される。

３Ｄ画像表示器１３０は、被写体を立体的に表示する液晶モニタ等の画像表示装置であり、本実施例では、専用の眼鏡を必要としない裸眼方式のうちレンチキュラ方式の画像表示装置であるとする。図３の（ａ）は、３Ｄ画像表示器１３０の上面図であって、レンチキュラレンズ３０１と液晶表示部３００とが示されている。図３の（ｂ）は、図３の（ａ）に示す上面図の一部を拡大した図であり、レンチキュラレンズ３０１を構成する凸レンズ１個当たり８つの表示素子（画素）３０２が対応付けて配置されている様子が示されている。本実施例では、このようにレンチキュラレンズ３０１を構成する凸レンズの各々に対して８つの表示素子３０２を対応付けることで、観察者がこの３Ｄ画像表示器１３０を７つの異なる方向（視点）から見た場合の３次元画像の表示を可能にしている。そして、１つの「視点」から見ている観察者の目には右目用の画像と左目用の画像とがそれぞれ届けられる。なお、本実施例における３Ｄ画像表示器１３０は、説明を簡略化する為、カラー表示ではなくモノクロ表示とし、液晶表示素子や画素の並びを１次元で表現するものとする。

図４は、観察者の視点によって異なる画素が観察者の目に映ることを説明する図であり、（ａ）は斜め４５度から見た場合、（ｂ）は正面から見た場合にそれぞれ対応している。図４の（ａ）の場合、レンチキュラレンズ３０１の光学特性に依って、観察者の右目には番号２の画素のみが見え、左目には番号１の画素のみが見えることが分かる。同様に、図４の（ｂ）の場合には、観察者の右目には番号５の画素のみが見え、左目には番号４の画素のみが見えることが分かる。レンチキュラレンズによる３次元画像の表示は公知の原理であり、本明細書では更なる説明を省略する。

図５は、本実施例における多視点画像の概念を説明する図であり、７つの異なる視点（視点１〜視点７）と各視点に対応する２次元画像（３次元画像を表示する為に撮影された画像１から画像８の８種類の撮影画像）との関係を示している。図５における被写体は、互いに接する太さの違う２本の円柱（太い円柱５００と細い円柱５０１）である。視点１〜視点７の各視点では、観察者の左右それぞれの眼で見た画像に相当する一対の２次元画像が撮影される。なお、３Ｄ画像表示器１３０が有する光学特性に従って連続的に各視点における２次元画像を得る為、８種類の撮影画像の中で隣り合う画像の視角の中心と７つの視点の位置は略一致することになる。これは、視点Ｎ（Ｎは１〜７のいずれかの整数）において、観察者の左目に届けられる画像Ｎは、視点Ｎ−１における観察者の右目に届けられる画像と同じであることを意味している。

図６は、本実施例に係る画像処理システムにおける画像処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＰＣ１００の記憶手段１０４等からＲＡＭ１０３上に読み込んだ後に、ＣＰＵ１０１によって該プログラムを実行することによって実施される。

ステップ６０１において、ＰＣ１００は、同一の被写体を複数の視点から撮像した互いに視差のある画像群のデータ（多視点画像データ）を、ネットワーク１４０等を介して取得する。ここでは、図５における２本の円柱の代わりにデジタル１眼レフカメラを被写体とした画像１〜画像８の計８枚の２次元画像で構成される多視点画像データが取得されるものとする（図７を参照）。図７において、例えば画像１は観察者が視点１からカメラを見た場合の左目に表示される画像、画像２は観察者が同じく視点１からカメラを見た場合の右目に表示される画像である。同時に画像２は、観察者が視点２からカメラを見た場合の左目に表示される画像でもある。取得された多視点画像データは、記憶手段１０４に格納される。例えば、図７に示す各２次元画像の視角は、画像１：-３７．８度、画像２：-２７.０度、画像３：-１６．２度、画像４：-５．４度、画像５：５．４度、画像６：１６．２度、画像７：２７．０度、画像８：３７．８度である。なお、多視点画像データが業界標準等の所与の規格に従っている場合には、各２次元画像の視角は既知なものとして扱うことができる。多視点画像データが所与の規格に従っておらず、各２次元画像の視角が既知でない場合は、多視点画像データの付帯情報の一部に、各２次元画像の視角情報を含めておくこと等が考えられる。

ステップ６０２において、ＰＣ１００は、２Ｄ画像表示器１２０に対向している観察者を撮影した画像を取得する。詳細には、まず、２Ｄ画像表示器１２０に設けられた撮像手段１２１に対し、２Ｄ画像表示器１２０の正面の空間（観察者のいる空間）の撮影指示を行う。撮像手段１２１で撮影された画像はＰＣ１００に転送され、ＰＣ１００のＲＡＭ１０３に一時的に格納される。

ステップ６０３において、ＰＣ１００は、多視点画像の中から観察者視点に応じた１の２次元画像を選択する。詳細には、観察者を撮影した画像に対して顔認識処理を行って観察者視点を検出し、検出された観察者視点に最も近い視点で生成された２次元画像を、記憶手段１０４に格納されている多視点画像の各２次元画像の中から選択する。

図８は、多視点画像の中から観察者視点に応じた１の２次元画像を選択する処理の詳細を示すフローチャートである。

ステップ８０１において、ＰＣ１００は、観察者を撮影した画像に対して顔認識処理を行って、撮像画像内の観察者の位置を特定する。顔認識処理としては公知のパターンマッチング技術などがある。一般に、人の顔認識は横に並ぶ１対の目の存在に着目して容易にその重心位置を把握することができる。

ステップ８０２において、ＰＣ１００は、顔認識処理の結果に基づいて、観察者の位置Ｐと２Ｄ画像表示器１２０の画面中央を通る垂線（基線）とのズレＬｍを算出して、観察者が画面を見ている角度（観察者視点）を検出する。一般に観察者は、画像表示装置から所定の距離離れた位置で表示された画像を良好に見ることができる。そこで、本実施例では、２Ｄ画像表示器１２０からこの所定距離離れた位置Ｐに観察者が存在しているものと推定して、上述のズレＬｍを算出する。なお、所定距離は、２Ｄ画像表示器１２０の画面サイズに応じて予め定まる（例えば、画面の対角線の３倍）ものであり、記憶手段１０４等に記憶されている。そして、観察者の両目の間隔を、例えば成人の場合は標準的に８ｃｍとして、上述のズレＬｍは、以下の式（１）で算出する。
Ｌｍ＝８（ｃｍ）×Ｙ÷Ｘ ・・・式（１）
上記式（１）において、Ｘは撮影された画像上での観察者の両眼の間隔に対応する画素数、Ｙは両眼の中心の画面中央からのズレに対応する画素数である。

図９は、観察者視点に応じた２次元画像を多視点画像の中から選択する様子を説明する図である。図９において、２Ｄ画像表示器１２０から所定の距離だけ離れた位置を示す仮想のライン９００上の点Ｐに観察者が存在するとすれば、点Ｐから２Ｄ画像表示器１２０の中央を結ぶ直線と基線との成す角度が、観察者が画面を見ている角度となる。このようにして、観察者が２Ｄ画像表示器１２０の表示面をどの角度から見ているのかが特定される。

なお、予め所定の距離だけ離れた位置にいる人物の顔を撮影しておくことで、撮影された画像から得られる両目の間隔の画素数を用いて、２Ｄ画像表示器１２０から観察者までの距離をより正確に求めることが可能である。

続くステップ８０３〜ステップ８１７において、２Ｄ画像表示器１２０を点Ｐの位置から見た場合、入力された多視点画像を構成する各２次元画像のうちどの視角で撮影された画像が最も近いかを判定することで、観察者に提示すべき１の２次元画像を選択する。以下では、前述の図７に示すような、画像１〜画像８の計８つの２次元画像で構成される多視点画像の中から、観察者視点に最も近い１の２次元画像を選択する場合の処理について、詳しく説明する。なお、多視点画像を構成する２次元画像の数等に応じて、選択する処理の内容が適宜変わることは言うまでもない。

まず、ステップ８０３において、ＰＣ１００は、ステップ８０２で算出されたズレＬｍの値が０以上（Ｌｍが正の値或いは０）かどうかを判定する。算出されたズレＬｍの値が０以上であると判定された場合はステップ８０４に進む。一方、算出されたズレＬｍの値が０より小さいと判定された場合（Ｌｍが負の値の場合）はステップ８１１に進む。これにより以降の処理において、ズレＬｍが正の値であれば画像５〜画像８のいずれかが選択され、ズレＬｍが負の値であれば画像１〜４のいずれかが選択されることになる。なお、ズレＬｍの値が０であった場合に、本実施例ではステップ８０４に進むようにしているが、ステップ８１１に進むようにしてもよい。

ステップ８０４において、ＰＣ１００は、画像５〜画像８のうち視角が最も大きい画像８を、選択される２次元画像として設定する。

ステップ８０５において、ＰＣ１００は、ズレＬｍの値が閾値Ｌ１より大きいかどうかを判定する。ズレＬｍの値が閾値Ｌ１より大きい場合はステップ８０７に進む。一方、ズレＬｍの値が閾値Ｌ１より小さい場合はステップ８０６に進む。なお、図９から明らかなように、閾値Ｌ１は画像５と画像６とを選り分けるための閾値である。

ステップ８０６において、ＰＣ１００は、画像５〜画像８のうち視角が最も小さい画像５を、上記画像８に代えて、選択される２次元画像として設定する。

ステップ８０７において、ＰＣ１００は、ズレＬｍの値が閾値Ｌ２より大きいかどうかを判定する。ズレＬｍの値が閾値Ｌ２より大きい場合はステップ８０９に進む。一方、ズレＬｍの値が閾値Ｌ２より小さい場合はステップ８０８に進む。なお、図９から明らかなように、閾値Ｌ２は画像６と画像７とを選り分けるための閾値である。

ステップ８０８において、ＰＣ１００は、画像５〜画像８のうち視角が２番目に小さい画像６を、上記画像８に代えて、選択される２次元画像として設定する。

ステップ８０９において、ＰＣ１００は、ズレＬｍの値が閾値Ｌ３より大きいかどうかを判定する。ズレＬｍの値が閾値Ｌ３より大きい場合は本処理を抜ける。すなわち、これにより画像８が観察者に表示される２次元画像として決定されることになる。一方、ズレＬｍの値が閾値Ｌ３より小さい場合はステップ８１０に進む。なお、図９から明らかなように、閾値Ｌ３は画像７と画像８とを選り分けるための閾値である。

ステップ８１０において、ＰＣ１００は、画像５〜画像８のうち視角が２番目に大きい画像７を、上記画像８に代えて、選択される２次元画像として設定する。

ステップ８１１において、ＰＣ１００は、画像１〜画像４のうち視角が最も大きい画像１を、選択される２次元画像として設定する。

ステップ８１２において、ＰＣ１００は、ズレＬｍの値が閾値-Ｌ１より小さいかどうか（Ｌｍの絶対値が-Ｌ１の絶対値より大きいかどうか）を判定する。ズレＬｍの値が閾値-Ｌ１より小さい場合はステップ８１４に進む。一方、ズレＬｍの値が閾値-Ｌ１より大きい場合はステップ８１３に進む。なお、図９から明らかなように、閾値-Ｌ１は画像３と画像４とを選り分けるための閾値である。

ステップ８１３において、ＰＣ１００は、画像１〜画像４のうち視角が最も小さい画像４を、上記画像１に代えて、選択される２次元画像として設定する。

ステップ８１４において、ＰＣ１００は、ズレＬｍの値が閾値-Ｌ２より小さいかどうかを判定する。ズレＬｍの値が閾値-Ｌ２より小さい場合はステップ８１６に進む。一方、ズレＬｍの値が閾値-Ｌ２より大きい場合はステップ８１５に進む。なお、図９から明らかなように、閾値-Ｌ２は画像２と画像３とを選り分けるための閾値である。

ステップ８１５において、ＰＣ１００は、画像１〜画像４のうち視角が２番目に小さい画像３を、上記画像１に代えて、選択される２次元画像として設定する。

ステップ８１６において、ＰＣ１００は、ズレＬｍの値が閾値-Ｌ３より小さいかどうかを判定する。ズレＬｍの値が閾値-Ｌ３より小さい場合は本処理を抜ける。すなわち、これにより画像１が観察者に表示される２次元画像として決定されることになる。一方、ズレＬｍの値が閾値-Ｌ３より大きい場合はステップ８１７に進む。なお、図９から明らかなように、閾値-Ｌ３は画像１と画像２とを選り分けるための閾値である。

ステップ８１７において、ＰＣ１００は、画像１〜画像４のうち視角が２番目に大きい画像２を、上記画像１に代えて、選択される２次元画像として設定する。

なお、上記Ｌ１〜Ｌ３及び-Ｌ１〜-Ｌ３の各閾値は、ライン８００と各閾値を挟む２つの画像（Ｌ１であれば、画像５と画像６）の視角を示す２本の破線とが交わる位置の中間点である。つまり、上述の所定距離をDとすれば、各閾値は、
L1＝（Dtan5.4度＋Dtan16.2度）/2
L2＝（Dtan27度＋Dtan16.2度）/2
L3＝（Dtan27度＋Dtan37.8度）/2
といった値になる。

上述のとおり、推定された観察者の位置Ｐと、多視点画像の各２次元画像の視角を示す破線が上述の仮想ライン９００と交わる位置とを比較することにより、観察者の位置Ｐに最も近い視角の２次元画像が求められる。こうして求められた１つの２次元画像が、観察者が今見ている視点に最も近い視点で生成された画像として決定されることになる。図１０は、本実施例における観察者視点と多視点画像を構成する各２次元画像との対応関係を示すテーブルの一例である。このテーブルから、例えば、最も視角の小さい画像５が選択されるのは、観察者視点が０度以上１０．８度未満の場合であることが分かる。なお、図１０に示す対応関係は一例であり、多視点画像を構成する２次元画像の数や視角θに応じて、上記閾値の数やその値（すなわち、観察者視点の範囲）が変化するのはいうまでもない。

このようにして、入力された多視点画像の各２次元画像のうち、観察者視点に応じた１の２次元画像が選択される。

図６のフローチャートの説明に戻る。

ステップ６０４において、ＰＣ１００は、ステップ６０３で選択された２次元画像のデータをＶＲＡＭに書き込む。そして、ＶＲＡＭに書き込まれた２次元画像のデータが一定の周期で読み出され、２Ｄ画像表示器１２０に表示される。

ステップ６０５において、ＰＣ１００は、ユーザから表示を終了する旨の指示があるか否かを判定する。表示終了の指示がなければ、ステップ６０２に戻り、ステップ６０２〜ステップ６０４の処理を繰り返す。すなわち、観察者の撮影が再びなされ、観察者の視点位置が変化していれば、当該変化した視点位置に応じた２次元画像が改めて選択され、２Ｄ画像表示器１２０に表示されることになる。一方、表示終了の指示があれば、本処理を終える。

以上のような処理により、入力された多視点画像の中の１の２次元画像が、２Ｄ画像表示器１２０に対する観察者の視点に応じて表示される。

なお、本実施例では、２Ｄ画像表示器に設けられた撮像手段１２１で観察者を撮影してその視点を検出していたが、観察者の視点を検出する方法はこれに限られない。例えば、赤外線センサを用いて、２Ｄ画像表示装置に対向している観察者の位置を検知することによって、観察者の位置（視点）を検出するようにしてもよい。

このように本実施例によれば、入力された多視点画像を構成する各２次元画像の中から、観察者視点に応じた画像が選択され表示される。従来例と異なり、３次元モデルから観察者視点に応じた表示画像を生成することを要しない為、観察者の視点の変化に速やかに追従して表示することができる。これにより、観察者がその位置を変更したとしても、それに追従して遅滞なく表示画像を切り替えることができる。このため、例えば２Ｄ画像表示器の前を観察者が左右に移動すれば、その時々の視点に応じた２次元画像が瞬時に表示されるので、３Ｄ画像表示器で表示される立体像を見たときと同じような感覚で被写体を見ることができる。

＜実施例２＞
実施例１では、入力された多視点画像の中から観察者視点に応じた２次元画像を選択し、それをそのまま２Ｄ画像表示器に表示していた。次に、選択された２次元画像に対して観察者視点に応じた加工を施した上で２Ｄ画像表示器に表示する態様を、実施例２として説明する。なお、実施例１と共通する部分は省略ないしは簡略化し、ここでは差異点を中心に説明するものとする。

最初に、本実施例の前提となる、観察者の視点の違いによる被写体の見え方について説明する。

図１１は、前述の図５における２本の円柱５００及び５０１を撮影した画像を２Ｄ画像表示器１２０で表示し、それを観察者が正面から見た場合（視点４）と左斜め約４０度から見た場合（視点１）の見え方の違いを説明する図である。視点４から見た場合の図１１の（ａ）では、太い円柱５００は２Ｄ画像表示器１２０の画面１１００において、両矢印１１０１で示す直径で表示され、観察者にはそのまま円柱５００の直径として、すなわち、両矢印１１０３で示す太さに見える。一方、視点１から見た場合の図１１の（ｂ）では、同じ円柱５００の直径が、それに対して約８０％（cos４０度）に縮んで、すなわち、両矢印１１０４で示す太さに見える。

図１２は、２Ｄ画像表示器１２０の表示画面１１００を角度θの視点から見た際の見え方を説明する図である。地面に対して垂直な表示画面１１００に表示された２次元画像を観察者が角度θの視点で見た場合において、表示画面１１００の中心と視点とが地面に対して平行な平面上にある場合、被写体は横方向にcosθに縮んで見える。従って、同じ視点からその被写体を実際に見ているかの様に、本来と同じサイズで観察者が知覚できるようにするには、被写体を横方向に１/cosθ倍に拡大して表示してやればよい。なお、２Ｄ画像表示器１２０の表示画面内に収めるため、本実施例では選択された２次元画像の横方向の中央部からcosθ分の画像領域が表示領域となるように拡大し、その他の領域をトリミングしている。

図１３は、前述の図７の画像１〜画像８をどの視点から見ても本来のサイズで知覚されるようにするための表示領域と拡大率の関係を示すテーブルの一例であり、予め作成されたこのようなテーブルが記憶手段１０４等に記憶される。例えば、最も視角θが大きい画像１や画像８の場合、表示領域は７９．０％とした上で１２７％に拡大表示すればよいことが分かる。

図１４は、本実施例に係る画像処理システムにおける画像処理の流れを示すフローチャートである。

ステップ１４０１〜ステップ１４０３は、実施例1に係る図６のフローチャートのステップ６０１〜ステップ６０３と同じである。

すなわち、多視点画像データが取得されると（ステップ１４０１）、観察者の撮影がなされる（ステップ１４０２）。そして、観察者を撮像した画像に対する顔認識処理によって視点が検出され、検出された視点に最も近い位置に対応する２次元画像が選択される（ステップ１４０３）。

ステップ１４０４において、ＰＣ１００は、選択された１の２次元画像に応じた表示領域と拡大率を、上述のテーブルを参照して決定する。例えば、前述の図７で示した多視点３Ｄ画像の中の画像１が選択された場合、表示領域の中央部７９％の部分が１２７％に拡大されることになる。

ステップ１４０５において、ＰＣ１００は、ステップ１４０３で選択された２次元画像を、ステップ１４０４で決定された表示領域及び拡大率に基づいて加工する処理を行う。仮に、２Ｄ画像表示器１２０が、横１９２０画素＊縦１０８０画素の表示素子を持つとする。この場合、上述の図７の画像１或いは画像８であれば、画像の中央部１５１７画素＊１０８０画素に対して横方向に例えば線形補間処理によって１２７倍に拡大処理し、横１９２０画素＊縦１０８０画素の画像データに加工する。図１５は、加工処理の結果の一例を示す図であり、（ａ）は図７の画像１の拡大処理結果、同（ｂ）は図７の画像２の拡大処理結果、同（ｃ）は図３の拡大処理結果をそれぞれ示している。こうして加工された画像データＶＲＡMに書き込まれ、２Ｄ画像表示器１２０に表示される。

なお、本実施例は、選択された画像の横方向中央部を中心とした表示領域の下で拡大処理をする例について説明したが、これに限られない。例えば、画像１〜画像４は画像の右端を基準に、画像５〜画像８は画像の左端を基準とした表示領域にして拡大処理を行うようにしてもよい。さらには、ユーザが任意の表示領域を選択或いは設定するようにしてもよい。

本実施例によれば、本来の３Ｄ表示と同じようなサイズ感で観察者は被写体を見ることができる。

＜実施例３＞
実施例１における多視点画像データは、両眼の視差を利用して観察者に立体像を知覚させる３Ｄ画像表示技術で用いるための画像データで、被写体を中心として視点を異ならせた複数の２次元画像で構成されるものであった。次に、撮影手段を中心として視点を異ならせた複数の２次元画像で構成される多視点画像、すなわち、カメラを軸に回転させて一定の角度間隔で風景等を撮影する、所謂パノラマ画像を入力画像とする態様について、実施例３として説明する。なお、実施例１とは、被写体と撮影手段との関係が逆になっているのみで、本質的な内容は同じであるため、以下では差異点について説明するものとする。

図１６は、本実施例において入力される多視点画像（パノラマ画像）の概念を説明する図であり、８つの異なる視点（視点１〜視点８）と各視点に対応する２次元画像との関係を示している。図１６に示されるように、パノラマ画像は、図示されるような視角で各画像が撮影される。例えば、バイブレータ機能を有するカメラ付き携帯端末であれば、該バイブレータによって携帯端末の本体を震動させて一定方向に回転させながら一定の視角で被写体を撮影することで、パノラマ画像を容易に得ることができる。また、ジャイロセンサ等を搭載し、自らの姿勢を検知しながら撮影出来るビデオカメラ等で撮影した動画も、各シーン撮影時の視角情報或いはシーン間の相対視角情報を用いることで、同様に本発明を適用できる。

このようにして撮影された多視点画像データが入力された場合において、実施例１と同様、観察者の視点に応じた２次元画像を選択して表示することで、あたかもパノラマ画像を見ているような感覚を実現することができる。なお、この場合の観察者視点の情報は、観察者自身の頭部に装着したモーションセンサ等によって取得されることになる。

図１７は、本実施例における観察者視点と多視点画像を構成する各２次元画像との対応関係を示すテーブルの一例である。このテーブルから、例えば、最も視角の小さい画像５が選択されるのは、観察者視点が０度以上１８度未満の場合であることが分かる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 画像表示装置に表示する画像を制御する装置であって、
   観察者の視点を検出する検出手段と、
   複数の２次元画像で構成される多視点画像の中から、前記検出手段で検出された観察者の視点に応じた２次元画像を、前記画像表示装置に表示する画像として選択する選択手段と、
   を備えたことを特徴とする装置。
2. 前記多視点画像は、被写体を中心として視点を異ならせた複数の２次元画像で構成されることを特徴とする請求項１に記載の装置。
3. 前記多視点画像は、撮像手段を中心として視点を異ならせた複数の２次元画像で構成されることを特徴とする請求項１に記載の装置。
4. 前記検出手段は、前記画像表示装置の表示面に対向している観察者を撮影した画像に対して顔認識処理を行うことにより、当該観察者の視点を検出することを特徴とする請求項１又は２に記載の装置。
5. 前記検出手段は、前記画像表示装置の表示面に対向している観察者を赤外線センサで検知することにより、当該観察者の視点を検出することを特徴とする請求項１乃至３のいずれか１又は２に記載の装置。
6. 前記検出手段は、前記画像表示装置の表示面に対向している観察者が装着したモーションセンサにより、当該観察者の視点を検出することを特徴とする請求項３に記載の装置。
7. 前記選択手段は、前記多視点画像を構成する複数の２次元画像の中から、前記検出手段で検出された観察者の視点に最も近い視点で生成された２次元画像を、前記画像表示装置に表示する画像として選択することを特徴とする請求項１乃至６のいずれか１項に記載の装置。
8. 前記選択手段で選択された２次元画像の一部を拡大処理する拡大処理手段をさらに備えたことを特徴とする請求項１、２、４、５、７のいずれか１項に記載の装置。
9. 前記拡大処理手段は、前記検出手段で検出された観察者の視点に応じて、前記拡大処理における拡大率を異ならせることを特徴とする請求項８に記載の装置。
10. 画像表示装置に表示する画像を制御する方法であって、
    観察者の視点を検出する検出ステップと、
    複数の２次元画像で構成される多視点画像の中から、前記検出ステップで検出された観察者の視点に応じた２次元画像を、前記画像表示装置に表示する画像として選択する選択ステップと、
    を含むことを特徴とする方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の装置として機能させるためのプログラム。