JP2019133214A - 画像表示装置、該装置を含む映像表示システム、画像表示方法および画像表示用プログラム - Google Patents

Abstract

【課題】実写による多視点画像を用いながらも、被写体の３次元モデルを再構成する必要無しに、上下方向や水平方向を含む任意の方向に視点移動可能な画像表示装置を提供する。【解決手段】画像表示装置１００は、視点移動操作に追従して、異なる２つの方向に沿った２本の座標軸により位置特定される２次元配置を有する視点位置毎に被写体を撮影した複数の画像を切替え自在に表示可能であり、被写体を閲覧する際の注視点と当該視点位置との位置関係に基づき、視点位置が異なる複数の画像を射影変換する手段と、射影変換された複数の画像のうち、上記異なる２つの方向において空間的に隣接する画像同士を相互に関連付けることで、画像の空間配列構造を形成する手段と、２次元方向への視点移動操作を受け付けると、当該空間配列構造内において現在表示中の画像を、視点移動操作の向きに隣接する次の画像へと切り替えて表示する手段と、を備える。【選択図】図７

Description

本開示は、被写体をそれぞれ異なる視点位置から撮った多数の画像を含む多視点画像を映像化するための画像表示装置および該装置を含む映像表示システム、画像表示方法および画像表示用プログラムに関係する。

被写体を取り囲む様々な視点位置から被写体を閲覧可能な自由視点映像を表示するために、被写体をそれぞれ異なる視点位置から撮った多数の画像または視点位置を移動しながら撮った動画から多視点画像を生成し、この多視点画像を映像化する技術の開発が進められている。既に実用化されているバレットタイム（Ｂｕｌｌｅｔ Ｔｉｍｅ）等と呼ばれる撮影技術を用いる場合、被写体の周囲を取り巻く複数の撮像装置は、各撮像装置の光軸が被写体中の所定位置を通過するように配置される。そして、複数の撮像装置によって撮像された各画像を順に表示することで、各光軸の通過位置を回転中心として撮像対象の周囲を移動しながら撮影したような映像を表示可能となる。

ここで、各画像の撮影中に各撮像装置における光軸が回転中心から外れないようにするには、撮像装置の設置位置や光軸方向を何度も調整しながら撮影を行わなくてはならない。そこで、下記の特許文献１は、各撮像装置がそれぞれ撮像した各画像を変換処理することで、上記のような撮像装置の設置位置や光軸方向の調整作業を不要とする工夫を開示している。具体的には、撮像対象における注視位置を光軸が通過するように配置された場合における撮像装置により撮像される画像に変換することで撮像装置自体の設置位置や光軸方向の調整を不要としている。

多視点画像の映像化に応用可能な従来技術として、下記の特許文献２〜４は、多視点画像に含まれる複数の画像から被写体の３次元モデルを再構成する技術を開示している。具体的には、多視点画像に含まれる複数の画像間で対応付けを行い、画像毎にカメラの位置、向き、および被写体の三次元位置を推定した後に、画像間の相対的な視差に基づいて、被写体の３次元モデルを推定する演算を行っている。

特開２０１４−２３９３８４号公報 特開２００９−２３７８４５号公報 特開２０１２−１６０９３７号公報 特開２０１０−２５０４５２号公報

以上のように、特許文献１記載の技術を用いれば、被写体の周囲をめぐる複数の視点位置から撮影した画像群や映像を、あたかも三次元空間内のある１点が光軸上に乗り続けつつ撮影したかのような画像群や動画として変換可能となる。その上で、変換後の画像群や動画像フレームを連続して閲覧すると被写体が回転する３次元立体モデルとなったかのように見える効果があり、これは疑似３Ｄ画像と呼ばれる。ところで、従来のこのような多視点画像を映像化する際に入力される画像群や動画は、被写体に対して一次元の方向（例えば天空から見て被写体を中心に円周上）に沿って並ぶ複数の異なる視点位置で撮影される場合が一般的であった。また、このように撮影された多視点画像の表示も、特許文献１記載のように、入力された画像群や映像を、一次元方向に沿って視点を移動するように撮影した順番に時系列的に切り替えることが前提であった。

一方、通常、３次元コンピュータ・グラフィックス（３ＤＣＧ）映像中に表示された３次元モデルを閲覧する場合は、床面に直交する上下方向や床面に平行な水平方向を含むあらゆる方向に表示対象物を回転させて閲覧することが可能である。しかしながら、特許文献１記載の発明では、上述した疑似３Ｄ画像のように被写体を実際に撮影して得られる多視点画像に基づく自由視点映像を実現しようとする場合、上下方向や水平方向を含むあらゆる方向に視点を移動させることができない。

また、特許文献２〜４記載の発明では、被写体を実際に撮影して得られる多視点画像を用いて任意の３次元方向に視点移動可能な自由視点映像を実現しようとする場合、被写体の３次元モデルを推定する演算が必須となる。そのため、特許文献２〜４記載の発明では、被写体の３次元モデルを推定する際のモデル化誤差やモデル算出コストが増大した場合の対処が必要となるという課題が残る。

以上の問題点に鑑み、本開示に係る一つ以上の実施形態は、実写による多視点画像を用いながらも、被写体の３次元モデルを再構成する必要無しに、上下方向や水平方向を含む任意の２次元方向に視点移動可能な映像生成の仕組みを得ることを目的とする。

上記課題を解決するために、本開示の一つ以上の実施形態に係る画像表示装置は、被写体を見る視点を移動させる移動操作に追従して、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により２次元的に位置特定される視点位置毎に前記被写体を撮影した複数の画像を切替え自在に表示可能な画像表示装置であって、
前記被写体を閲覧する際の注視点と前記視点位置との位置関係に基づいて、異なる前記視点位置から撮った複数の前記画像を射影変換する射影変換部と、
前記視点位置が射影変換された複数の前記画像のうち、前記第１方向または前記第２方向において空間的に隣接する画像同士を相互に関連付けることで、前記画像の空間配列構造を形成する画像配列部と、
２次元方向への前記移動操作を受け付けると、前記空間配列構造内の前記画像のうち現在表示中の前記画像を、前記移動操作の向きにおいて隣接する次の前記画像へと切り替えて表示する表示部と、
を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする。

また、上記課題を解決するために、本開示の別の実施形態は、複数の方向に視点移動自在な被写体の表示を行う映像表示方法として実施可能であり、該方法は、
１台以上の撮像装置を移動させながら前記被写体を撮影することで、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により２次元的に位置特定される複数の異なる視点位置から、前記被写体を撮った複数の画像を出力するステップと、
前記被写体を閲覧する際の注視点と前記視点位置との位置関係に基づいて複数の前記画像を射影変換した上で、前記第１方向または前記第２方向において空間的に隣接する前記画像同士を相互に関連付けることで、前記画像の空間配列構造を形成するステップと、
前記被写体を画面表示する際の前記視点位置を前記第１方向または前記第２方向を含む複数の移動方向に沿って移動させるための移動操作を受け付けるたびに、前記空間配列構造内の複数の前記画像のうち、現在表示中の前記画像を、前記移動操作の向きにおいて隣接する次の前記画像へと切り替えて表示するステップと、
を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする。

また、上記課題を解決するために、本開示の別の実施形態は、画像表示装置のプロセッサに読み込まれ、実行された際に、複数の方向に視点移動自在な被写体の表示を前記画像表示装置に実行させるプロセッサ実行可能命令を含む映像表示用プログラムとして実施可能であり、該プログラムは、
１台以上の撮像装置を移動させながら前記被写体を撮影することで、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により２次元的に位置特定される複数の異なる視点位置から前記被写体を撮った複数の画像を受信するよう前記画像表示装置に指示する命令と、
前記被写体を閲覧する際の注視点と前記視点位置との位置関係に基づいて複数の前記画像を射影変換した上で、前記第１方向または前記第２方向において空間的に隣接する前記画像同士を相互に関連付けることで、前記画像の空間配列構造を前記画像表示装置のメモリ上に記憶させる命令と、
前記被写体を画面表示する際の前記視点位置を前記第１方向または前記第２方向を含む複数の移動方向に沿って移動させるための移動操作を受け付けるたびに、前記空間配列構造内の複数の前記画像のうち、現在表示中の前記画像を、前記移動操作の向きにおいて隣接する次の前記画像へと切り替えて表示するよう前記画像表示装置に指示する命令と、
を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする。

以上より、本開示に係る一つ以上の実施形態によれば、実写による多視点画像を用いながらも、被写体の３次元モデルを再構成する必要無しに、上下方向や水平方向を含む任意の２次元方向に視点移動可能な疑似３Ｄ画像を容易に生成可能な仕組みを実現することができる。

疑似３Ｄ画像を生成するための被写体を水平面内の様々な方位角度から撮影した画像を示す図である。 被写体に設定された注視点と被写体の周囲を囲むように水平面に沿って配置された複数のカメラとを真上から見た図である。 水平面上に配置されたカメラに加えて水平面と仰角を成す上方向と下方向から被写体を撮影するカメラを設けることで構成される３次元カメラ配置を示す図である。 ３次元配置された複数のカメラにより撮影された多視点画像に含まれる個々の画像を視点位置毎に示す図である。 幾つかの実施形態に係る映像表示システムの構成を示す図である。 第１の実施形態に従い、映像表示システムに含まれる画像表示装置の構成を示す図である。 第１の実施形態に従い、画像表示装置を構成する各機能部の詳細な構成と機能部間の関係を示す図である。 カメラ配列が取り付けられた状態のカメラ移動機構の様々な形態を示す図である。 視点位置が互いに異なる２つ以上のカメラを用いて注視点を算出する方法を説明する図である。 回転行列と位置ベクトルで定式化したカメラの位置および姿勢を、注視点を基準として補正する例を示す図である。 仮想空間内で注視点を取り囲むように定義された画像の円筒状の２次元配置を示す図である。 隣接画像同士を参照リンクで結合することで２次元的に構造化された状態の空間配列構造を示す図である。 画像の空間配列構造内での画像クラスタリング、隣接画像のペアの検出および画像間の視差角の算出について説明するための図である。 第１の実施形態に従い、多視点画像を入力として視点移動自在な疑似３Ｄ画像を表示するための処理の流れを示すフロー図である。 第１の実施形態に従い、多視点画像に含まれる複数の画像から画像配列構造を形成する処理の流れを示すフロー図である。 第２の実施形態に従い、多視点画像の生成のために、被写体の周囲を移動するカメラにより被写体を動画撮影する様子を示す図である。 第２の実施形態に従い、画像表示装置を構成する各機能部の詳細な構成と機能部間の関係を示す図である。 第２の実施形態に従い、多視点画像を入力として視点移動自在な疑似３Ｄ映像を表示するための処理の流れを示すフロー図である。

（疑似３Ｄ画像とその生成に用いる多視点画像の概要）
本開示に係る幾つかの実施形態を具体的に説明するのに先立って、本明細書にて後述する自由視点映像合成技術を理解するために重要な概念として、疑似３Ｄ画像とその生成に用いる多視点画像の概要から説明する。本開示に係る幾つかの実施形態は、被写体を実際に撮影して得られる多視点画像を用いて任意の２次元方向に視点移動可能な疑似３Ｄ画像を生成するために実施されるものである。これらの実施形態に従って実現される疑似３Ｄ画像では、実写による多視点画像を用いながらも、被写体の３次元モデルを再構成する必要無しに、上下方向や水平方向を含む任意の３次元方向に視点移動が可能である。

例えば、これらの実施形態によれば、以下のようにして実写による多視点画像を自由視点映像として表示する仕組みが実現される。まず、被写体を中心に様々な水平方向の角度や様々な高さから被写体を撮影した画像群を３次元空間内にて空間的に整理して２次元配置する。その上で、水平方向と高さ方向を含む一つ以上の方向に視点を移動させるために閲覧者が移動操作を行うと、視点移動方向において空間的に隣接した視点から撮影された次の画像へと表示画像を切り替える。このような仕組みにより、水平方向のみならず高さ方向への視点移動も実現可能となるので、実写による多視点画像を用いた自由視点映像でありながら、３ＤＣＧのような視点移動の自由度を提供するものである。

こうして、被写体を実写して得られる多視点画像を上記手順に従って適切に自由視点映像へと合成する技術を用いることができれば、視点を移動しても閲覧者は被写体に設定された注視点がブレない自由視点映像を表示することができる。その結果、閲覧者は、視点の移動中に違和感を覚えることなく自由視点映像を見ることが可能となる。つまり、閲覧者は、被写体の周囲をめぐるように視点位置を自由に移動しながら、３ＤＣＧを見ているような感覚で被写体を眺めることができるようになる。特に、任意の時刻に各撮像装置によって撮像された各画像を連続的に表示した場合には、その時刻で時間が停止している中で撮像対象の周囲を移動しながら撮影したような映像を表現することが可能となる。

次に、図１〜図４を参照しながら、疑似３Ｄ画像の生成に用いる多視点画像について具体的に説明する。説明の便宜上、まずは２次元的に撮影された多視点画像の例から図１および図２を用いて説明する。図１は、人物を被写体Ｔとして様々な視点位置からカメラにより撮影して得られる多視点画像ＩＭ（Ａ）を示す。図１に示す例において、撮影に用いられるカメラは、人物Ｔの周囲を床面に沿って移動しながら水平方向から人物Ｔを撮影するために水平な姿勢を保った状態で設置されている。このカメラが人物Ｔの周囲を周回するように水平な床面上を移動しながら様々な方位角度から被写体Ｔを撮影することで、方位角度が異なる複数の視点から撮影された複数の画像ｉｍ（１）〜ｉｍ（５）が得られる。

図２は、人物である被写体Ｔに設定された点ｗ（ｗ１，ｗ２）と被写体Ｔの周囲を囲むように水平面に沿って配置された複数のカメラＣ１１〜Ｃ１６とを真上から見た図である。図２に示す例では、人物である被写体Ｔを取り囲む６箇所の視点位置Ｐ１１〜Ｐ１６（不図示）にそれぞれ設置された６台のカメラＣ１１〜Ｃ１６を同時に用いて被写体Ｔを撮影する場合の例示的なカメラ配置が図示されている。６つの視点位置Ｐ１１〜Ｐ１６は、水平面上において、点ｗ（ｗ１，ｗ２）を中心として被写体Ｔを取り囲む周方向に沿って並んでいる。６台のカメラＣ１１〜Ｃ１６は、カメラＣ１１〜Ｃ１６の各々の光軸Ｌ１１〜Ｌ１６が被写体Ｔ中の所定位置ｗ（ｗ１，ｗ２）を通過するように配置される。そして、カメラＣ１１〜Ｃ１６によって撮像された各画像を順に表示することで、各光軸の通過位置ｗ（ｗ１，ｗ２）を回転中心として撮像対象（被写体Ｔ）の周囲を移動しながら撮影したような映像を表示可能となる。

カメラＣ１１〜Ｃ１６によって撮像された各画像を順に表示すると、閲覧者は、床面に沿って被写体Ｔの周囲を周回するように視点位置を移動しながら被写体Ｔ上に固定された点位置ｗ（ｗ１，ｗ２）を注視し続けているように感じる。従って、図２に示す点位置ｗ（ｗ１，ｗ２）は、多視点画像を撮影し、視点移動自在な自由視点映像に合成する際の注視点と呼ばれる。図２（ａ）には、被写体である人物Ｔを天頂方向から見た場合に人物Ｔの身体の中心軸上に設定された注視点ｗ１が図示されている。図２（ｂ）には、図２（ａ）には、被写体である人物Ｔを天頂方向から見た場合に人物Ｔの右耳の位置に設定された注視点ｗ２が図示されている。

図１および図２に示す例とは異なり、図３に示す例では、車両である被写体Ｔが置かれた床面ＦＬに沿った水平方向から被写体Ｔを撮影するためのカメラＣ２２およびＣ２５に加え、カメラＣ２１、Ｃ２３、Ｃ２４およびＣ２６が示されている。カメラＣ２１およびＣ２６は、床面ＦＬと平行な水平方向に対して正の仰角を成す上斜め方向から被写体Ｔを撮影するカメラである。また、カメラＣ２３およびＣ２４は、床面ＦＬと平行な水平方向に対して負の仰角を成す下斜め方向から被写体Ｔを撮影するカメラである。

図４は、図３に示すカメラ配置により、複数の異なる視点位置から床面ＦＬ上に置かれた車両である被写体Ｔを撮影して得られる３次元的な多視点画像ＩＭ（Ｂ）を示す。図４に表形式で示す複数の画像ｉｍ（ｘ，ｙ）（０≦ｘ≦４，０≦ｙ≦２）は、被写体Ｔを中心として床面に沿って周回するように視点位置を変化させながら、水平方向に加え、床面ＦＬに対して上斜め方向および下斜め方向からも被写体Ｔを撮影することにより得られたものである。つまり、図４に示す多視点画像ＩＭ（Ｂ）は、被写体Ｔを見る視点位置を床面ＦＬに沿って変化させるのみならず、床面ＦＬと直交する上下方向にも変化させながら撮影した複数の画像ｉｍ（ｘ，ｙ）により構成される。

図４に示すように、画像の２次元表形式で表された多視点画像ＩＭ（Ｂ）は、画像が縦に並んだ５つの列を含み、これら５つの列は、インデックスｘ＝１〜ｘ＝５にそれぞれ対応する。インデックスｘ＝１〜ｘ＝５は、被写体Ｔを中心として床面ＦＬに沿って周回するように視点位置を変化させた場合の５つの異なる視点方向から撮影した画像に対応する。また、画像の２次元表形式で表された多視点画像ＩＭ（Ｂ）は、上斜め方向から被写体Ｔを撮影するカメラＣ２１およびＣ２６（図３）によって被写体Ｔを撮影した最上段の画像（インデックスｙ＝２に対応）を含む。同様に、多視点画像ＩＭ（Ｂ）は、床面ＦＬと平行な水平方向から被写体Ｔを撮影するカメラＣ２２およびＣ２５（図３）によって被写体Ｔを撮影した中段の画像（インデックスｙ＝１に対応）を含む。同様に、多視点画像ＩＭ（Ｂ）は、下斜め方向から被写体Ｔを撮影するカメラＣ２３およびＣ２４（図３）によって被写体Ｔを撮影した最下段の画像（インデックスｙ＝０に対応）を含む。

すなわち、インデックスｘは、被写体Ｔを中心として床面ＦＬに沿って周回するように５通りに変化する視点方向に対応し、インデックスｙは、床面ＦＬと直交する上下方向に３通りに変化する視点の高さ位置に対応する。そして、多視点画像ＩＭ（Ｂ）を構成する複数の画像ｉｍ（ｘ，ｙ）（０≦ｘ≦４，０≦ｙ≦２）は、インデックスｘで識別される５通りの視点方向とインデックスｙで識別される３通りの視点の高さ位置の組み合わせに対応している。この場合、画像ｉｍ（ｘ，ｙ）は、空間内において視点位置Ｐ（ｘ，ｙ）から被写体Ｔに向けられたカメラによって撮影された画像である。視点位置Ｐ（ｘ，ｙ）もまた、インデックスｘで識別される５通りの視点方向とインデックスｙで識別される３通りの視点の高さ位置の組み合わせに対応している。

以上より、複数の画像ｉｍ（ｘ，ｙ）は、床面と平行な水平方向に変化するのみならず、床面と直交する上下方向にも変化する視点位置から３次元的に撮影された多視点画像ＩＭ（Ｂ）を構成することとなる。そして、上下方向や水平方向を含む任意の３次元方向に視点移動可能な疑似３Ｄ画像を実現するためには、図４に示す多視点画像ＩＭ（Ｂ）のように３次元的に撮影された多視点画像を入力として用いることが必要となる。また、図４に示す多視点画像ＩＭ（Ｂ）では、画像ｉｍ（ｘ，ｙ）に対応する視点位置Ｐ（ｘ，ｙ）は２つのインデックスｘとｙの組で識別される。従って、多視点画像ＩＭ（Ｂ）のように３次元的に撮影された多視点画像では、被写体Ｔを撮影する際の複数の視点位置Ｐは、互いに異なる２次元的な配置を有していることが必要となる。

以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。

（第１の実施形態）
以下、本開示に係る第１の実施形態に従い、多視点画像から視点移動自在な自由視点映像を合成するために用いられる例示的な映像表示システム１０について図５〜図１０を用いて説明する。図５に示す映像表示システム１０は、画像表示装置１００、制御部２００、操作受付部３００、ディスプレイ画面４００、強校正演算手段５００、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）および移動機構ＭＭを備える。撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）は、複数の異なる視点位置から被写体Ｔを撮った複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を多視点画像ＩＭとして画像表示装置１００に出力可能なＣ（ｋ）はカメラ等であってもよい。また、移動機構ＭＭは、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を所望の方向に移動させるための可動機構である。

画像表示装置１００は、強校正演算手段５００を経由して１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）と通信可能に接続されている。以下において詳しく後述するように、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）からの画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）は強校正演算手段５００に出力される。続いて、強校正演算手段５００にて画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）または他の手段（撮像装置に取り付けたモーション・センサなど）を用いて撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）の強校正が実行される。ここで、強校正とは、複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）の各々について、撮像装置の位置と姿勢を外部パラメータとして検出し、さらに、各撮像装置に固有の内部パラメータＦ（ｋ）を検出する処理である。強校正の入力として利用可能なデータとして、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）または各撮像装置に取り付けられたモーション・センサで実測した計測値などが含まれる。そして、この強校正の結果を表すパラメータと共に、画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）が強校正演算手段５００から画像表示装置１００に出力される。

幾つかの実施形態では、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）、移動機構ＭＭおよび強校正演算手段５００は、多視点画像ＩＭを撮影するために画像表示装置１００とは離れた遠隔地にあるスタジオ内に設けられ、通信網を介して画像表示装置１００と接続されていてもよい。また、別の実施形態では、強校正演算手段５００は、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）、移動機構ＭＭおよび画像表示装置１００から独立したサーバ装置（クラウド内で運用される仮想サーバを含む）により実現されてもよい。なお、この実施形態では、撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）の各々を強校正して求められた上記パラメータは、以下のような後処理がされたものであってもよい。

すなわち、本来の強校正が実行された後の処理として、撮像装置Ｃ（ｋ）を強校正して得られたパラメータに対して、対応する視点位置と画像を多視点画像ＩＭの中から発見する後処理が実行されるようにしてもよい。例えば、この後処理では、撮像装置Ｃ（ｋ）を強校正して得られたパラメータと一対一に対応する画像と視点位置が、ｉｍ（ｉ）およびＰ（ｉ）として特定される。なお、多視点画像ＩＭに含まれる画像のうち、上記パラメータとの対応付けができない画像は、後述する射影変換の対象とすることができないので、単に破棄される。以上を踏まえ、時刻ｔにおける撮像装置Ｃ（ｋ）を強校正して得られたパラメータが、画像ｉｍ（ｉ）および視点位置Ｐ（ｉ）と対応付けられた状態を３つ組＜ｔ，ｋ，ｉ＞で表す。

上記の強校正を実行することで、各々の撮像装置Ｃ（ｋ）の位置と姿勢を外部パラメータとして検出し、さらに後述する内部パラメータＦ（ｋ）を検出することができる。上記の強校正により得られる撮像装置Ｃ（ｋ）の位置は３次元空間に設置され、固定された撮像装置Ｃ（ｋ）の座標位置を表す３次元ベクトルτ（ｋ）で表される。強校正により得られる撮像装置Ｃ（ｋ）の姿勢は３次元空間に設置され、固定された撮像装置Ｃ（ｋ）の姿勢を表す回転行列Θ（ｋ）で表される。撮像装置Ｃ（ｋ）の内部パラメータは、内部パラメータ行列Ｆ（ｋ）により定義され、行列Ｆ（ｋ）は以下のように表される。

ここで、ｆ_ｋは、撮像装置Ｃ（ｋ）の焦点距離を表し、Ｕ_ｋおよびＶ_ｋは、撮像装置Ｃ（ｋ）が撮影した画像ｉｍ（ｉ）の画像中心の横座標と縦座標を表す。なお、＜ｔ，ｋ，ｉ＞と仮定すると、撮像装置Ｃ（ｋ）を強校正して得られた３次元ベクトルτ（ｋ）、回転行列Θ（ｋ）およびＦ（ｋ）は、対応する画像ｉｍ（ｉ）を射影変換部１２０により射影変換する際の変換行列を算出するために使用される。

なお、この実施形態では、画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）に対する強校正は撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）と画像表示装置１００の間に介在する強校正演算手段５００により実行されるとした。しかしながら、別の実施形態では、この強校正は、画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を受信した画像表示装置１００の内部において実行されてもよい。また、別の実施形態では、撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）は、極めて高精度な位置決めが可能な移動機構ＭＭや位置決め器具等を用いてレンズ方向と据え付け位置が固定され、その状態で多視点画像ＩＭが撮影されるようになっていてもよい。その場合は、強校正は不要となるので、撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）は、強校正演算手段５００を経由せずに画像データを画像ｉｍ（ｉ）として画像表示装置１００に出力可能に構成される。撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）において撮像した画像を強校正したデータを、強校正演算手段５００を経由せずに画像表示装置１００に出力するようにしてもよい。

制御部２００は、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）、移動機構ＭＭおよび画像表示装置１００と通信可能に接続されている。制御部２００は、撮像装置Ｃ（ｋ）の各々のシャッター・タイミングを制御するように構成される。また、制御部２００は、移動機構ＭＭによる撮像装置Ｃ（ｋ）の移動開始、移動中断および移動方向を制御する。また、制御部２００は、撮像装置Ｃ（ｋ）および移動機構ＭＭを用いて多視点画像ＩＭを撮影した後に、画像表示装置１００に対して、撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）から複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を受信して疑似３Ｄ画像の生成と表示を開始するように指示しても良い。

例示的な一実施形態では、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）が所定の方向に沿って配列されたｋ台のカメラから成るカメラ配列である場合、カメラ配列および当該カメラ配列を所望の方向に移動させる移動機構ＭＭは図８に示すように構成されてもよい。被写体Ｔが置かれた床面と平行となる向きを水平方向とすると、図８（ａ）および図８（ｂ）は、カメラＣ（１）〜Ｃ（５）の光軸方向およびカメラの配列方向が水平となるように構成した例を示す。図８（ａ）に示す例では、水平面内において被写体Ｔを中心として周回する周方向に沿ってカメラＣ（１）〜Ｃ（５）を配列することでカメラ配列が構成されている。図８（ｂ）に示す例では、水平面内において直線的にカメラＣ（１）〜Ｃ（５）を配列することでカメラ配列が構成されている。

図８（ａ）および図８（ｂ）に示す移動機構ＭＭは、このカメラ配列が載置された支持板を備え、支持板を床面と直交する上下方向に動かすことでカメラ配列を上下方向に移動させるように構成される。図８（ａ）および図８（ｂ）に示す例では、制御部２００は、支持板上に載置されたカメラ配列の上下方向への移動の開始と中断を移動機構ＭＭに指示することで、カメラ配列の上下方向における位置決め制御を行う。なお、図８（ａ）および図８（ｂ）に示す例では、カメラＣ（１）〜Ｃ（５）から成るカメラ配列が移動する方向である上下方向を第１方向（Ｄ１）として示している。

図８（ｃ）は、カメラＣ（１）〜Ｃ（５）の配列方向が床面に対して垂直な上下方向となるようにカメラ配列を構成した例を示す。図８（ｃ）に示す移動機構ＭＭは、上下方向に配列したカメラＣ（１）〜Ｃ（５）を取り付けた支持板を、水平面内において被写体Ｔを中心として周回する周方向に動かすように構成される。その結果、図８（ｃ）に示す移動機構ＭＭは、上下方向に配列したカメラＣ（１）〜Ｃ（５）を、水平面内において被写体Ｔを中心として周回する周方向に移動させる。図８（ｃ）に示す例では、制御部２００は、支持板に取り付けられたカメラ配列が上述した周回方向への移動の開始と中断を移動機構ＭＭに指示することで、カメラ配列の周回方向における位置決め制御を行う。なお、図８（ａ）および図８（ｃ）に示す例では、カメラＣ（１）〜Ｃ（５）から成るカメラ配列が、床面（水平面）に平行に被写体Ｔを中心とする周回軌道上を周回する方向である周方向を第２方向（Ｄ２）として示している。

以上のように、図８に示す例では、カメラの配列方向とカメラ配列の移動方向の何れか一方および他方を第１方向および第２方向としている。その結果、多視点画像ＩＭを構成する画像ｉｍ（ｉ）の各々は、第１方向（Ｄ１）に沿って位置を変えながら、同時に、第２方向（Ｄ２）に沿って位置を変化させつつ、複数の異なる視点位置で撮影されたものとなる。言い換えると、画像ｉｍ（ｉ）の各々は、第１方向（Ｄ１）における位置座標と第２方向（Ｄ２）における位置座標の組で表される２次元的な配置を有する視点位置にて撮影されたものとなる。

次に、図８に示した例を用いて制御部２００が移動機構ＭＭの動作と撮像装置Ｃ（ｋ）のシャッター・タイミングを制御することにより多視点画像ＩＭを構成する複数の画像ｉｍ（ｉ）を出力する例示的シナリオについて説明する。図８（ａ）に示す例では、被写体Ｔを撮影する複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）は、（被写体Ｔを中心とする周回軌道上を水平面に沿って周回する方向である）第２方向（Ｄ２）に沿った異なる位置に配列されている。そして、制御部２００は、１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を、第１方向（Ｄ１）における複数の異なる撮影位置に移動させるように移動機構ＭＭを制御する。撮像装置Ｃ（ｋ）が第１方向（Ｄ１）に沿って移動中に、制御部２００は、移動中の撮像装置Ｃ（ｋ）を制御して複数の異なる撮影位置でシャッターを作動させ、被写体Ｔを撮影する。これにより、第１方向（Ｄ１）における複数の異なる撮影位置で被写体Ｔを撮影して複数の画像ｉｍ（ｉ）を出力するように１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を制御する。

一方、図８（ｃ）に示す例では、被写体Ｔを撮影する複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）は、第１方向（Ｄ１）に沿った異なる位置に配列されている。そして、制御部２００は、１台以上の撮像装置Ｃ（ｋ）を、第２方向（Ｄ２）における複数の異なる撮影位置に移動させるように移動機構ＭＭを制御する。撮像装置Ｃ（ｋ）が第２方向（Ｄ２）に沿って移動中に、制御部２００は、移動中の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を制御して複数の異なる撮影位置でシャッターを作動させ、被写体Ｔを撮影する。これにより、第２方向（Ｄ２）における複数の異なる撮影位置で被写体Ｔを撮影して複数の画像ｉｍ（ｉ）を出力するように１台以上の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を制御する。

また、画像表示装置１００は、被写体Ｔを見る視点を移動させる移動操作に追従して、視点位置Ｐ（ｉ）（１≦ｉ≦Ｎ）の各々から被写体Ｔを撮影した複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を自在に切替えて表示するための装置である。また、操作受付部３００は、画像表示装置１００に接続され、疑似３Ｄ画像を閲覧するために映像表示システム１０を利用する利用者により操作される入力デバイスであってもよい。操作受付部３００は、被写体Ｔを画面表示する際の視点位置を一つ以上の移動方向に移動させるための２次元方向への移動操作を受け付ける。また、ディスプレイ画面４００は、画像表示装置１００が複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を自在に切替えて表示する際に表示画面として用いられる。

一例において、撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）の各々が一対一に対応する視点位置Ｐ（ｉ）は、撮像装置Ｃ（ｋ）が位置する位置座標と撮像装置Ｃ（ｋ）の光軸の向きを表す方向ベクトルの組み合わせにより特定されてもよい。ここで、撮像装置Ｃ（ｋ）が位置する位置座標は、視点位置Ｐ（ｉ）の空間内での配置を表している。また、例示的な一実施形態では、視点位置Ｐ（ｉ）は、第１方向（Ｄ１）と第２方向（Ｄ２）に沿った２つの座標軸を用いて２次元的な座標位置Ｐ（ｕ（ｉ），ｖ（ｉ））として表現されてもよい。つまり、この実施形態では、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））の空間内での配置は、第１方向（Ｄ１）における位置座標と第２方向（Ｄ２）における位置座標の組で特定される２次元的な配置であってもよい。この場合、映像表示システム１０は、２つの位置座標の組を用いて視点位置の２次元的な配置が特定される空間内において、第１方向（Ｄ１）と第２方向（Ｄ２）に沿って２次元的な視点の移動が可能な被写体の自由視点表示を行うように構成されてもよい。

（画像表示装置の構成）
次に、図６および図７を用いて画像表示装置１００の内部構成について説明する。一実施形態では、画像表示装置１００は、装置全体の制御と演算処理の実行のためにＣＰＵ１０１等のプロセッサを備えるコンピュータ装置として実現されてもよい。画像表示装置１００は、画像受信部１１０と、射影変換部１２０と、画像配列部１３０と、表示部１４０と、記憶部１５０と、画面出力インターフェース１６１と、入力インターフェース１６２と、を含んで構成される。画像受信部１１０、射影変換部１２０、画像配列部１３０、表示部１４０、記憶部１５０、画面出力インターフェース１６１および入力インターフェース１６２は、バス１７０を介して相互に通信可能である。

記憶部１５０は、例えば、データを記憶するメモリ等によって構成されてもよい。画像受信部１１０、射影変換部１２０、画像配列部１３０および表示部１４０は、画像表示装置１００のＣＰＵ（中央演算ユニット）１０１が記憶部１５０から読み出したプログラムを実行することで起動するプロセス、スレッドまたはソフトウェア・モジュールとして実現されてもよい。この場合、画像受信部１１０、射影変換部１２０、画像配列部１３０および表示部１４０を実現するためのプログラムは、ＣＰＵ１０１等のプロセッサにより実行可能な一連の命令を含んでいてもよい。

画面出力インターフェース１６１は、画像表示装置１００内の表示部１４０が画面表示すべきデータをディスプレイ画面４００に出力する際の出力インターフェースとして機能する。入力インターフェース１６２は、利用者による移動操作を受け付けた操作受付部３００から、移動操作の操作内容を符号化した信号を表示部１４０が受信するための入力インターフェースとして機能する。

画像受信部１１０は、複数の異なる２次元位置に配置された視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）から被写体Ｔを撮影した複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を受信して記憶部１５０内に記憶させるように構成される。具体的には、画像受信部１１０は、複数の視点位置Ｐ（ｉ）（１≦ｉ≦Ｎ）から被写体Ｔを撮った多視点画像ＩＭから複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を取得して記憶部１５０内の記憶エリア１８１（図７）に格納する。なお、複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）は、被写体Ｔ上に設定された注視点ｗを取り囲んで互いに異なる２次元配置を有する。

注視点ｗは、被写体Ｔ上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置である。すなわち、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）は、被写体Ｔの上に設定された注視点ｗを取り囲んで互いに異なる２次元配置を有する複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））から被写体Ｔを撮った画像となるように取得される。

画像受信部１１０は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を用いて強校正を実行することで撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）に関して得られるパラメータと共に複数の画像ｉｍ（１≦ｉ≦Ｎ）を強校正演算手段５００から受信するように構成されてもよい。その後に、画像受信部１１０は、上記パラメータと共に画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を射影変換部１２０に出力するように構成されてもよい。

なお、例示的な一実施形態によれば、上記のパラメータは、複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））のそれぞれにおいて画像ｉｍ（ｉ）を撮影したときの撮像装置Ｃ（ｋ）の位置と姿勢を少なくとも含んでもよい。複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を用いた強校正を実行して得られる撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）の上記パラメータを複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）と共に受信した後に、ワールド座標系内において注視点ｗを設定することが可能となる。

撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を強校正することで得られた３次元ベクトルτ（ｋ）、回転行列Θ（ｋ）およびＦ（ｋ）を受信した画像受信部１１０は、これらのパラメータを射影変換部１２０に出力する。さらに、＜ｔ，ｋ，ｉ＞と仮定するなら、射影変換部１２０は、画像受信部１１０から多視点画像ＩＭに含まれる複数の画像ｉｍ（ｉ）を受け取る。続いて、射影変換部１２０は、異なる視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）から撮った複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を射影変換する。この射影変換は、被写体Ｔを閲覧する際の注視点ｗと視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）との位置関係に基づいて実行される。

図７に示す例示的な実施形態では、射影変換部１２０は、補正部１２１、注視点決定部１２２、画像列取得部１２３、画像出力部１２４、抽出部１２５および光軸交点決定部１２６を含む。光軸交点決定部１２６は、補正部１２１および注視点決定部１２２からの演算要求に応じて演算を実行し、演算結果を補正部１２１および注視点決定部１２２に出力する。注視点決定部１２２は、画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）の射影変換に先立って注視点ｗの位置を算出する。補正部１２１、光軸交点決定部１２６、注視点決定部１２２、画像列取得部１２３および画像出力部１２４は、射影変換部１２０内部のバス１２７および内部インターフェースを介してバス１７０と通信可能に接続されている。

注視点決定部１２２は、画像ｉｍ（ｉ）の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））に関して射影変換を行う際の基準点として注視点ｗを被写体Ｔ上に設定する。以下、注視点決定部１２２が注視点ｗを決定するために実行する処理手順の詳細について図９を参照しながら説明する。図９には、視点位置Ｐ（１，１）から被写体Ｔを撮影して得られた画像ｉｍ（１，１）および視点位置Ｐ（１，２）から被写体Ｔを撮影して得られた画像ｉｍ（１，２）が示されている。

まず、注視点決定部１２２は、撮像装置の視点位置Ｐ（１，１）およびＰ（１，２）を、第１方向（Ｄ１）と第２方向（Ｄ２）にそれぞれ沿った２つの座標軸を含む２次元座標系の座標表現から３次元デカルト座標系の座標表現に変換する。３次元デカルト座標系表現への変換後の視点位置Ｐ（１，１）およびＰ（１，２）は、画像ｉｍ（１，１）およびｉｍ（１，２）を撮影した２台の撮像装置が位置する位置座標と当該撮像装置の光軸の向きを表す方向ベクトルを含む。

続いて、注視点決定部１２２は、画像ｉｍ（１，１）およびｉｍ（１，２）を撮影した２台の撮像装置の光軸の向きを表す方向ベクトルから当該撮像装置の姿勢を表す回転行列を求める。続いて、画像ｉｍ（１，１）およびｉｍ（１，２）を撮影した２台の撮像装置の３次元空間内での位置と姿勢から、上記２台の撮像装置の光軸の交点ｗ（１）を算出する。

さらに図９には、視点位置Ｐ（２，１）から被写体Ｔを撮影して得られた画像ｉｍ（２，１）および視点位置Ｐ（２，２）から被写体Ｔを撮影して得られた画像ｉｍ（２，２）が示されている。注視点決定部１２２は、画像ｉｍ（２，１）およびｉｍ（２，２）を撮影した２台の撮像装置についても、光軸が交わる交点の位置としてｗ（２）を算出する。さらに図９には、視点位置Ｐ（３，１）から被写体Ｔを撮影して得られた画像ｉｍ（３，１）および視点位置Ｐ（３，２）から被写体Ｔを撮影して得られた画像ｉｍ（３，２）が示されている。注視点決定部１２２は、画像ｉｍ（３，１）およびｉｍ（３，２）を撮影した２台の撮像装置についても、光軸が交わる交点の位置としてｗ（３）を算出する。最後に、注視点決定部１２２は、３個の交点ｗ１、ｗ２およびｗ３から成る交点群の重心の位置を図９に示す注視点Ｗ’として決定する。

以上のように、注視点決定部１２２は、３次元空間内に配置された２台以上の撮像装置から撮像装置のペアを選択する。例えば、注視点決定部１２２は、画像ｉｍ（１，１）およびｉｍ（１，２）を撮影した２台の撮像装置を第１のペアとして選択する。同様に、注視点決定部１２２は、画像ｉｍ（２，１）およびｉｍ（２，２）を撮影した２台の撮像装置を第２のペアとして選択する。同様に、注視点決定部１２２は、画像ｉｍ（３，１）およびｉｍ（３，２）を撮影した２台の撮像装置を第３のペアとして選択する。続いて、注視点決定部１２２は、撮像装置の３次元空間内での位置と姿勢から、上記のように選択したペア毎に２台の撮像装置の光軸の交点を算出し、これらの交点から成る交点群の重心を注視点として決定する。例えば、注視点決定部１２２は、光軸の交点ｗ１、ｗ２およびｗ３を算出し、光軸の交点ｗ１、ｗ２およびｗ３から成る交点群の重心Ｗ’を注視点として決定する。

補正部１２１は、射影変換部１２０による射影変換の実行過程において、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）および対応する複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）を補正するための第１の変換処理を行う。補正部１２１は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を、光軸が注視点ｗを通過するように配置された状態の撮像装置Ｃ’により撮像された場合の画像ｉｍ’に変換するように構成される。上記のような変換を実行することで、複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）から注視点ｗに向かって延びる複数の光軸Ｌ（ｉ）（１≦ｉ≦Ｎ）が全て注視点ｗで交差するようになる。

例示的な一実施形態では、補正部１２１は、図１０を用いて後述する方法により視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）を補正するための変換処理を実行してもよい。図１０を参照すると、視点位置Ｐ（ｕ（１），ｖ（１））およびＰ（ｕ（１），ｖ（１））にそれぞれ配置されたカメラＣ（１）およびＣ（２）により撮影された画像ｉｍ（１）およびｉｍ（２）を射影変換する様子が示されている。図９に示す例では、画像ｉｍ（１）およびｉｍ（２）に対する射影変換ために、以下の処理を実行する。

まず、補正部１２１は、撮像装置の視点位置Ｐ（ｕ（１），ｖ（１））およびＰ（ｕ（２），ｖ（２））を、第１方向（Ｄ１）と第２方向（Ｄ２）にそれぞれ沿った２つの座標軸を含む２次元座標系の座標表現から３次元デカルト座標系の座標表現に変換する。３次元デカルト座標系表現への変換後の視点位置Ｐ（ｕ（１），ｖ（１））およびＰ（ｕ（２），ｖ（２））は、画像ｉｍ（１）およびｉｍ（２）を撮影したカメラＣ（１）およびＣ（２）が位置する位置座標と当該撮像装置の光軸の向きを表す方向ベクトルを含む。続いて、補正部１２１は、カメラＣ（１）およびＣ（２）の光軸Ｌ（１）およびＬ（２）の向きを表す方向ベクトルからカメラＣ（１）およびＣ（２）の姿勢を表す回転行列を求める。

続いて、カメラＣ（１）およびＣ（２）の３次元空間内での位置と姿勢から、カメラＣ（１）およびＣ（２）の光軸Ｌ（１）およびＬ（２）の交点を算出する。続いて、補正部１２１は、カメラＣ（１）およびＣ（２）の光軸Ｌ（１）およびＬ（２）の交点を図１０に示す注視点ｗと一致させるためにカメラＣ（１）およびＣ（２）の３次元空間内での位置と姿勢に対して適用すべき第１の線形変換を特定する。カメラＣ（１）およびＣ（２）が撮影した画像ｉｍ（１）およびｉｍ（２）に対してこの第１の線形変換を適用することで、画像ｉｍ（１）およびｉｍ（２）を射影変換することができる。一実施形態によれば、この第１の線形変換は、カメラＣ（１）およびＣ（２）の姿勢を表す回転行列に対して乗算すべき別の回転行列を含んでもよい。また、この実施形態では、この第１の線形変換は、カメラＣ（１）およびＣ（２）の位置座標に対して乗算すべき変換行列を含んでもよい。

一例では、＜ｔ，ｋ，ｉ＞と仮定するならば、撮像装置Ｃ（ｋ）が撮影した画像ｉｍ（ｉ）に対して適用すべき第１の線形変換は、撮像装置Ｃ（ｋ）を強校正した結果から以下のように得られる射影変換行列Ｈ（ｉ）によって定式化されてもよい。

ここで、Ｆ（ｋ）およびＲ（ｋ）は、撮像装置Ｃ（ｋ）を強校正して得られた内部パラメータ行列と回転行列である。また、Ｒ’（ｉ）は、撮像装置（カメラ）Ｃ（ｋ）の光軸が注視点ｗの方向を向くように定義された回転行列である。上記のようにして得られる射影変換行列Ｈ（ｋ）を第１の線形変換として画像ｉｍ（ｉ）に適用することで、画像ｉｍ（ｉ）を射影変換することができる。

さらに別の一実施形態では、画像ｉｍ（ｉ）および対応する複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））を補正するための変換処理として、補正部１２１は、上述した第１の変換処理に加えて、第２の変換処理を実行してもよい。つまり、複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）からの複数の光軸Ｌ（ｉ）（１≦ｉ≦Ｎ）が全て注視点ｗで交差することとなるように第１の変換処理を適用した後に、以下のような第２の変換処理を実行してもよい。

例えば、＜ｔ，ｋ，ｉ＞と仮定し、注視点ｗを中心に被写体Ｔの周囲に配列された複数のカメラＣ（ｋ）（ｑ_ｓ≦ｋ≦ｑ_ｔ）について画像ｉｍ（ｉ）と視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））を補正する場合を考える。その上で、光軸Ｌ（ｉ）の長さが視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））から注視点ｗまでの直線距離で表されると定義する。その場合、補正部１２１は、光軸Ｌ（ｉ）の長さがカメラの配列方向に沿って全てのカメラＣ（ｋ）（ｑ_ｓ≦ｋ≦ｑ_ｔ）間で同一となるような第２の線形変換を第２の変換処理として実行してもよい。

画像ｉｍ（ｉ）および対応する視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））に対して上述した第１の変換処理に加えて、このような第２の変換処理を実行することで、以下のような効果が得られる。すなわち、補正部１２１による補正後の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（ｑ_ｓ≦ｉ≦ｑ_ｔ）は、注視点ｗを中心とする円形軌道上に並ぶこととなる。その結果、この円形軌道に沿って周回方向に視点が移動するように画像ｉｍ（ｉ）を切り替えて表示すると、以下のような自由視点映像を表示することができる。つまり、この自由視点映像を閲覧者が見ると、被写体Ｔ上の注視点ｗを注視しつつ被写体Ｔを取り囲む円形軌道上を周回しながら被写体Ｔを見ているような感覚を味わうことができる。

ところで、＜ｔ，ｋ，ｉ＞と仮定するならば、補正部１２１と注視点決定部１２２により実行される処理内容は、２つ以上の撮像装置Ｃ（ｋ）（Ｋ_ｓ≦ｋ≦Ｋ_ｔ）の光軸の交点を算出する演算を含む点で共通している。そこで、図７に示す例示的な実施形態では、射影変換部１２０の内部において、補正部１２１と注視点決定部１２２と共に光軸交点決定部１２６が設けられている。光軸交点決定部１２６は、注視点決定部１２２または補正部１２１からの要求に応じて、複数の撮像装置Ｃ（ｋ）（Ｋ_ｓ≦ｋ≦Ｋ_ｔ）の光軸が交わる交点を出力する。

例示的な一実施形態では、注視点決定部１２２または補正部１２１は、撮像装置Ｃ（ｋ）（Ｋ_ｓ≦ｋ≦Ｋ_ｔ）の各々の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（Ｋ_ｓ≦ｉ≦Ｋ_ｔ）を３次元デカルト座標系の座標表現に変換して光軸交点決定部１２６に出力する。光軸交点決定部１２６は、３次元デカルト座標表現の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（Ｋ_ｓ≦ｉ≦Ｋ_ｔ）を注視点決定部１２２または補正部１２１から受け取ると、光軸の交点を算出する処理を実行する。

例示的な一実施形態では、光軸交点決定部１２６は、撮影シーンの中央付近にある点位置のうち、２台以上の撮像装置Ｃ（ｋ）（ｋ＝１，２，…，Ｋ’）の光軸の何れにも近接する点位置を光軸の交点として算出してもよい。一例として、光軸交点決定部１２６は、まず、２台以上の撮像装置Ｃ（ｋ）（ｋ＝１，２，…，Ｋ’）の光軸Ｌ（１）、Ｌ（２）、…、Ｌ（Ｋ’）のそれぞれから任意の点位置までの法線ベクトルのノルムを計算する。続いて、上述した任意の点位置の中で、これらのノルムの２乗和が最小となる点位置を最小二乗法で求めることで光軸Ｌ（１）、Ｌ（２）、…、Ｌ（Ｋ’）の交点を決定することができる。

画像配列部１３０は、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）が射影変換された複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）のうち、第１方向（Ｄ１）または第２方向（Ｄ２）において空間的に隣接する画像同士を相互に関連付ける。これにより、画像配列部１３０は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を２次元的な双方向リストとして構造化して成る空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）（図７）を形成する。さらに、画像配列部１３０は、空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を記憶部１５０内の記憶エリア１８２（図７）に格納し、必要に応じて表示部１４０により随時読み出し可能な状態にしておく。

表示部１４０は、操作受付部３００から入力インターフェース１６２を経由して２次元方向への移動操作を受け付ける。移動操作を受け付けた表示部１４０は、空間配列構造ｉｍ＿ｍｅｓｈ（ｕ，ｖ）内の画像のうち、現在表示中の画像ｉｍ（ｕ１，ｖ１）を、移動操作の向きにおいて隣接する次の画像ｉｍ（ｘ２，ｙ２）へと切り替えて表示する。例示的な一実施形態では、表示部１４０は、受け付けた移動操作の向きが第１方向（Ｄ１）および第２方向（Ｄ２）の何れであるかを判定する。続いて、表示部１４０は、この判定の結果に応じて、空間配列構造ｉｍ＿ｍｅｓｈ（ｕ，ｖ）内の画像のうち現在表示中の画像ｉｍ（ｕ１，ｖ１）を、第１方向（Ｄ１）または第２方向（Ｄ２）に隣接する次の画像ｉｍ（ｕ２，ｖ２）へと切り替えて表示する。

例示的な一実施形態では、射影変換部１２０は、移動機構ＭＭにより移動中のカメラ配列により被写体Ｔの撮影を行う際に、カメラ間でのシャッター・タイミングのバラつきが多視点画像の品質に及ぼす悪影響を最小化するための処理を行ってもよい。図８（ａ）を参照して上述したように、被写体Ｔを撮影する複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）は、第２方向（Ｄ２）に沿った異なる位置に配列されている。そして、制御部２００は、１台以上の撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）を、第１方向（Ｄ１）における複数の異なる撮影位置に移動させるように移動機構ＭＭを制御する。撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）が第１方向（Ｄ１）に沿って移動中に、制御部２００は、移動中の撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）を制御してシャッターを作動させ、第１方向（Ｄ１）における複数の異なる撮影位置で被写体Ｔを撮影する。

しかし、＜ｔ，ｋ，ｉ＞と仮定するならば、撮像装置Ｃ（ｋ）の配列が第１方向（Ｄ１）に沿って移動中に、撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）間でシャッター・タイミングの同期がとれていないと、以下の不都合が生じる。すなわち、画像ｉｍ（ｉ）に対応する視点位置Ｐ（ｉ）が撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）間でバラついてしまう。特に、図８（ａ）に示す例では、この視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））のバラつきは、撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）の配列が移動する方向である第１方向（Ｄ１）に沿って生じる。同様の理由により、図８（ｃ）に示す例においても、撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）間でシャッター・タイミングの同期がとれていないと、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））が撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）間でバラついてしまう。図８（ｃ）に示す例では、この視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））のバラつきは、撮像装置Ｃ（ｋ）（ｋ＝ｋ１，ｋ２，…）の配列が移動する方向である第２方向（Ｄ２）に沿って生じる。

この問題に対処するために、射影変換部１２０は、画像列取得部１２３と、画像出力部１２４と、抽出部１２５と、を含んで構成される。ここで、複数の撮像装置Ｃ（ｋ）の配列方向が第２方向（Ｄ２）であり、配列の移動方向が第１方向（Ｄ１）であると仮定すると、画像列取得部１２３、抽出部１２５および画像出力部１２４は以下のような処理を実行する。

画像列取得部１２３は、互いに異なる２次元配置を有する視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）で撮った複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）の中から、第２方向に沿って視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））が並んでいる画像列を取得する。また、抽出部１２５は、第２方向において互いに異なる位置にある撮像装置Ｃ（１）〜Ｃ（Ｋ）間のシャッター・タイミングが同期していた場合におけるシャッター時刻と最も近い時刻に撮影された２以上の画像を、各々の画像列から抽出する。

画像出力部１２４は、抽出部１２５が抽出した２以上の画像を、第２方向における複数の異なる位置から被写体Ｔを撮影して得られた複数の画像として、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））の射影変換のために出力する。このような一連の処理が実行されることで、移動中のカメラ配列に含まれるカメラ間でのシャッター・タイミングのバラつきが多視点画像の品質に及ぼす悪影響を最小化することが可能となる。

画像列取得部１２３、画像出力部１２４および抽出部１２５により上記のように実行される処理過程をより具体的に例示すると、例えば、以下のようなシナリオに沿って処理が実行される。画像列取得部１２３は、互いに異なる２次元配置を有する視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））で撮った複数の画像ｉｍ（ｉ）の中から、第２方向（Ｄ２）に沿って視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））が並んでいる画像列ｉｍ＿ａｒｒを取得する。続いて、抽出部１２５は、画像列取得部１２３から画像列ｉｍ＿ａｒｒを受け取ると、以下の条件を満足する２以上の画像ｉｍ（ｓ（ｉ））（２≦ｉ≦Ｒ）を、画像列ｉｍ＿ａｒｒから抽出する。

すなわち、第２方向（Ｄ２）に沿って配列された撮像装置Ｃ（ｋ）間のシャッター・タイミングが同期していた場合におけるシャッター時刻と最も近い時刻に撮影された２以上の画像が画像ｉｍ（ｓ（ｉ））（２≦ｉ≦Ｓ）として抽出される。抽出部１２５が画像列ｉｍ＿ａｒｒの中から抽出した２以上の画像ｉｍ（ｓ（ｉ））（２≦ｉ≦Ｓ）は、画像出力部１２４へと出力される。最後に、画像出力部１２４は、２以上の画像ｉｍ（ｓ（ｉ））（２≦ｉ≦Ｓ）を、第２方向（Ｄ２）における複数の異なる位置から被写体Ｔを撮影して得られた複数の画像として、視点位置の射影変換のために出力する。

上記のように異なる視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））（１≦ｉ≦Ｎ）から撮った複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を射影変換した結果は、射影変換部１２０から画像配列部１３０に出力される。画像配列部１３０は、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））が射影変換された複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成するために、図７に示す画像群構成部１３０ａを有する。また、図7に示す画像群構成部１３０ａは、クラスタ分別部１３１、隣接画像選別部１３２、紐付け処理部１３３および座標系設定部１３４を含んで構成される。画像群構成部１３０ａは、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））および対応する複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成する。

以下、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））が射影変換された複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を受け取った画像配列部１３０が実行する処理の具体例を図１１〜図１３を参照しながら説明する。図１１〜図１３に示す例は、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））が射影変換された複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成する例示的な方法を示す。

図１１〜図１３に示す実施形態では、複数の撮像装置Ｃ（１）〜Ｃ（Ｋ）の配列は、図８（ａ）に示すカメラ配列として構成され、このカメラ配列を用いて複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）が撮影されていると想定する。つまり、この実施形態では、カメラ配列を構成する撮像装置Ｃ（１）〜Ｃ（Ｋ）は、第２方向（Ｄ２）に沿って配列され、被写体Ｔ上の注視点ｗを中心に被写体Ｔを円形に取り囲んで周回する周方向を第２方向（Ｄ２）としている。また、この実施形態では、複数の撮像装置Ｃ（１）〜Ｃ（Ｋ）の配列は、水平面（床面）に垂直な方向である第１方向（Ｄ１）に沿って移動しながら被写体Ｔを連続的に撮影するものとする。

なお、上記のような構成のカメラ配列と撮影方法で多視点画像ＩＭを生成し、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）として構造化した結果、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）は、以下のような円筒面に沿った２次元配置状態となる。すなわち、図１１に示すように、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）は、被写体Ｔ上に設定された注視点ｗを上下方向に通る直線ＡＸを中心軸とした円筒形の面（空間的に整理した画像の配置面）に沿って２次元的に配置されるものとする。つまり、射影変換後の複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成した結果、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）がどのような曲面上に整列されることとなるかは、どのような構成のカメラ配列と撮影方法で多視点画像ＩＭを生成したかに依存して決まる。また、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）がどのような曲面上に整列されることとなるかは、射影変換部１２０がどのようなアルゴリズムで個々の画像ｉｍ（ｉ）の射影変換を実行するかにも依存する。

この場合、注視点ｗを通る中心軸を有する円筒面が存在する座標系を、以下の第１方向（Ｄ１）と第２方向（Ｄ２）に沿った２本の座標軸を有するものとして定義してもよい。すなわち、被写体Ｔが置かれた床面に直交する方向を第１方向（Ｄ１）とし、図１１に示す円筒面の周方向に対する接線方向を向いて第１方向（Ｄ１）と直交する方向を第２方向（Ｄ２）とする。つまり、第２方向（Ｄ２）は、注視点ｗを通る中心軸ＡＸから一定の半径を有する円形軌道上を周回する方向を向いている。

上記のような想定の下で、画像群構成部１３０ａが備える座標系設定部１３４は、被写体Ｔの水平面と直交する方向を第１方向（Ｄ１）に設定する。さらに、座標系設定部１３４は、第１方向（Ｄ１）に直交する方向として、注視点ｗを中心に被写体Ｔを円形に取り囲んで当該水平面に沿って周回する方向を第２方向（Ｄ２）に設定する。

図１１に示す例では、第１方向（Ｄ１）における最上段に位置する画像グループは、第２方向（Ｄ２）に沿った周回軌道上に配列されたｋ個の画像ｐ（０，１）〜ｐ（０，ｋ（１））から構成される。図１１に示す例では、第１方向（Ｄ１）における上から２段目に位置する画像グループは、第２方向（Ｄ２）に沿った周回軌道上に配列されたｋ個の画像ｐ（１，１）〜ｐ（１，ｋ（２））から構成される。図１１に示す例では、第１方向（Ｄ１）における最下段に位置する画像グループは、第２方向（Ｄ２）に沿った周回軌道上に配列されたｋ個の画像ｐ（２，１）〜ｐ（２，ｋ（３））から構成される。

続いて、画像群構成部１３０ａは、視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））に対応する複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を、仮想空間内で２次元的な双方向リストとなるように構造化する（図１２参照）。すなわち、図１２に示すように、画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から成る２次元的な双方向リストを形成するために、画像群構成部１３０ａは、第１方向（Ｄ１）と第２方向（Ｄ２）にて隣接する画像同士を参照リンクで結合する。例えば、画像群構成部１３０ａは、図１１に示す仮想空間内で互いの２次元的な位置関係が所定の幾何学的条件を満たす画像同士を空間的に隣接する画像同士として相互に関連付けてもよい。これにより、複数の異なる２次元的な視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））から撮影され、射影変換がされた複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から２次元的な空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）が構成される。

以下、画像群構成部１３０ａにより視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））を有する画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から２次元的な空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を構成するまでの手順の具体例について、図１２および図１３を参照しながら説明する。まず、画像群構成部１３０ａが備えるクラスタ分別部１３１は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を、複数のクラスタ（例えば、図１３に示すクラスタｇ１〜ｇ６）に分別処理する。

図１３に示す例では、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）は、第１方向（Ｄ１）と第２方向（Ｄ２）にそれぞれ沿った２つの座標軸を含む２次元座標系内に配置されている。そして、複数のクラスタ（例えば、図１３に示すクラスタｇ１〜ｇ６）は、第１方向（Ｄ１）に沿って所定間隔で配列されている。このクラスタ分別処理により、画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））は、クラスタｇ１に属する画像位置ｐ（ｇ１，ｈ）（１≦ｈ≦Ｇ１）、クラスタｇ２に属する画像位置ｐ（ｇ２，ｈ）（１≦ｈ≦Ｇ２）、…、クラスタｇ６に属する画像位置ｐ（ｇ６，ｈ）（１≦ｈ≦Ｇ６）にクラスタリングされる。

続いて、隣接画像選別部１３２は、各々のクラスタに属する画像位置の中から第２方向（Ｄ２）に沿って所定のオフセット幅だけ離間した画像を第２方向（Ｄ２）において互いに隣接する画像として選別する。例えば、隣接画像選別部１３２は、クラスタｇ１に属する画像位置ｐ（ｇ１，ｈ）（１≦ｈ≦Ｇ１）の中から以下のようにして第２方向（Ｄ２）において互いに隣接する画像同士を特定する。すなわち、画像位置ｐ（ｇ１，ｈ）（１≦ｈ≦Ｇ１）の中から第２方向（Ｄ２）に沿って所定のオフセット幅だけ相互に離間した画像位置を有する画像同士を第２方向（Ｄ２）において互いに隣接する画像同士として選別する。隣接画像選別部１３２は、他のクラスタｇ２〜ｇ６についても上記と同様にして第２方向（Ｄ２）において互いに隣接する画像同士を選別する。

例示的な一実施形態では、隣接画像選別部１３２は、隣接する画像同士の検出のために、第２方向（Ｄ２）に沿って所定の視差角だけ相互に離間した画像位置を有する画像同士を、以下のように検出してもよい。この実施形態では、第２方向（Ｄ２）に沿った上記オフセット幅の一例として、２つの画像それぞれの視点位置から被写体を見た場合の視差を用いてもよい。具体的には、注視点ｗを注視している閲覧者が第２方向（Ｄ２）に沿って離間した２つの画像に対応する２つの視点位置から被写体をそれぞれ見る場合の視差角を用いてもよい。この視差角の算出方法については図１３（ｂ）を参照しながら後述する。

従って、この場合における隣接画像選別部１３２は、直線ＡＸを中心軸として上記周回方向（第２方向（Ｄ２））に沿って配置された画像間の視差角が所定の角度以上となる画像ｉｍ（ｉ）のペアを検出する。その上で、隣接画像選別部１３２は、検出された画像ｉｍ（ｉ）のペアのうち、上記周回方向において画像同士が最も近接する画像ｉｍ（ｉ）のペアを第２方向（Ｄ２）において互いに隣接する画像同士として選別する。

例示的な一実施形態では、隣接画像選別部１３２は、上記周回方向（第２方向（Ｄ２））に沿って配置された画像間の視差角を、図１３に示すような方法で算出するように構成されてもよい。図１３に示す例では、隣接画像選別部１３２は、注視点ｗを中心とする周回方向（第２方向（Ｄ２））に沿って配置された２つの画像ｉｍ（ｉ１）およびｉｍ（ｉ３）の間の視差角θ１を算出するものとする。さらに、図１３に示す例では、隣接画像選別部１３２は、注視点ｗを中心とする周回方向（第２方向（Ｄ２））に沿って配置された２つの画像ｉｍ（ｉ２）およびｉｍ（ｉ３）の間の視差角θ２を算出するものとする。ここで、図１３に示す基準面Ｒｆとは、水平面（床面）と平行であり、第１方向（Ｄ１）と直交する面を指して言うものとする。

まず、隣接画像選別部１３２は、画像ｉｍ（ｉ１）およびｉｍ（ｉ３）のうち、一方画像の視点位置Ｐ１および他方の画像の視点位置Ｐ３から注視点ｗにそれぞれ向かう２本の直線Ｖ１およびＶ３を算出する。続いて、隣接画像選別部１３２は、２本の直線Ｖ１およびＶ３を基準面Ｒｆに射影して得られる２本の射影ベクトルＶＰ１およびＶＰ３を算出する。最後に、隣接画像選別部１３２は、算出した２本の射影ベクトルＶＰ１およびＶＰ３が成す鋏角を画像ｉｍ（ｉ１）とｉｍ（ｉ３）の間の視差角θ１として求める。前記画像間の視差角が所定の角度以上となる前記画像のペアを検出する。

同様にして、隣接画像選別部１３２は、画像ｉｍ（ｉ２）およびｉｍ（ｉ３）のうち、一方画像の視点位置Ｐ２および他方の画像の視点位置Ｐ３から注視点ｗにそれぞれ向かう２本の直線Ｖ２およびＶ３を算出する。続いて、隣接画像選別部１３２は、２本の直線Ｖ２およびＶ３を基準面Ｒｆに射影して得られる２本の射影ベクトルＶＰ２およびＶＰ３を算出する。最後に、隣接画像選別部１３２は、算出した２本の射影ベクトルＶＰ２およびＶＰ３が成す鋏角を画像ｉｍ（ｉ２）とｉｍ（ｉ３）の間の視差角θ２として求める。

図１３を用いて上述した方法により上記周回方向（第２方向（Ｄ２））に沿って並んだ複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｋ）間の視差角θ（ｉ）（１≦ｉ≦Ｋ−１）が求まる。続いて、隣接画像選別部１３２は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｋ）間の視差角θ（ｉ）に基づいて画像間の視差角が第１の角度α以上となる画像ｉｍ（ｉ）のペアを検出する。その上で、隣接画像選別部１３２は、検出された画像ｉｍ（ｉ）のペアのうち、上記周回方向において画像間の視差角が第２の角度β以下となる画像ｉｍ（ｉ）のペアを第２方向（Ｄ２）において互いに隣接する画像同士として選別する。

続いて、隣接画像選別部１３２は、上記周回方向（第２方向（Ｄ２））に沿って並んだ複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｊ）の各々について第１方向（Ｄ１）にて隣接する隣接画像を選別する処理を実行する。一実施形態では、隣接画像選別部１３２は、以下のようにして第１方向（Ｄ１）にて画像ｉｍ（ｉ）と隣接する隣接画像を選別してもよい。

まず、画像ｉｍ（ｉ）を含むクラスタｇ（ｚ）と第１方向（Ｄ１）にて隣接するクラスタｇ（ｚ−１）およびｇ（ｚ＋１）を識別する。続いて、図１１に示す仮想空間内において、クラスタｇ（ｚ−１）に属する複数の画像ｉｍ_ｕ（１≦ｊ≦Ｊ’）と画像ｉｍ（ｉ）との距離を算出する。そして、画像ｉｍ_ｕ（１≦ｊ≦Ｊ’）の中で、この距離が最短となる画像ｉｍ_ｕ（ｊ’）を第１方向（Ｄ１）における上側にて画像ｉｍ（ｉ）と隣接する隣接画像として選別する。同様にして、図１１に示す仮想空間内において、クラスタｇ（ｚ＋１）に属する複数の画像ｉｍ_Ｌ（１≦ｊ≦Ｊ”）と画像ｉｍ（ｉ）との距離を算出する。そして、画像ｉｍ_Ｌ（１≦ｊ≦Ｊ”）の中で、この距離が最短となる画像ｉｍ_Ｌ（ｊ”）を第１方向（Ｄ１）における下側にて画像ｉｍ（ｉ）と隣接する隣接画像として選別する。

続いて、紐付け処理部１３３は、第２方向（Ｄ２）において互いに隣接する画像同士を紐付け処理することで、空間的に隣接する画像同士を参照リンクにより相互に関連付ける。例えば、紐付け処理部１３３は、クラスタｇ１に属する画像位置ｐ（ｇ１，ｈ）（１≦ｈ≦Ｇ１）の中から第２方向（Ｄ２）において互いに隣接する画像として選別された画像同士を相互に関連付けて紐付け処理する。紐付け処理部１３３は、他のクラスタｇ２〜ｇ６についても上記と同様にして第２方向（Ｄ２）において互いに隣接する画像同士を相互に関連付けて紐付け処理する。

以上のようにして、紐付け処理部１３３は、第１方向（Ｄ１）および第２方向（Ｄ２）において空間的に隣接する画像同士を参照リンクにより相互に関連付ける。これにより、紐付け処理部１３３は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を２次元的な双方向リストとして構造化した画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成する。紐付け処理部１３３によって形成される画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）の例を図１２に示す。図１２において画像の２次元的な双方向リストとして示された画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）では、列方向（ｘ方向）と行方向（ｙ方向）において隣接する画像同士が結合リンクによって相互に結ばれている。画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）では、列方向（ｘ方向）に隣接する画像同士は第１方向（Ｄ１）において隣接しあう画像同士を表し、行方向（ｙ方向）に隣接する画像同士は第２方向（Ｄ２）において隣接しあう画像同士を表す。

図１２に示す画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）では、列方向（ｘ方向）にて参照リンクで結合された画像の並びが第１方向（Ｄ１）において隣接しあう画像の並びを形成している。例えば、列方向（ｘ方向）にて参照リンクで結ばれた画像の並びｉｍ（０，ｙ）、ｉｍ（１，ｙ）、…、ｉｍ（ｎ，ｙ）（１≦ｘ≦ｍ）は、第１方向（Ｄ１）において隣接しあう画像の並びを形成している。また、図１２に示す画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）では、行方向（ｙ方向）にて参照リンクで結合された画像の並びが、第２方向（Ｄ２）において隣接しあう画像の並びを形成している。例えば、行方向（ｙ方向）にて参照リンクで結合された画像の並びｉｍ（ｘ，０）、ｉｍ（ｘ，１）、…、ｉｍ（ｘ，ｍ）（１≦ｘ≦ｎ）は、第２方向（Ｄ２）において隣接しあう画像の並びを形成している。

以上のように、空間配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）内の各々の画像ｉｍ（ｉ）は、画像データ本体に参照リンクが組み込まれたデータ構造を有している。これにより、画像ｉｍ（ｉ）から第１方向（Ｄ１）または第２方向（Ｄ２）に対応する参照リンクを辿ることで、画像ｉｍ（ｉ）から第１方向（Ｄ１）または第２方向（Ｄ２）に隣接する次の画像を参照可能となっている。

紐付け処理部１３３は、このようにして形成した画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を記憶部１５０内の記憶エリア１８２に格納する。画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）が記憶部１５０内に格納されると、表示部１４０は、画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を記憶部１５０から読み出し、以下の処理動作を開始する。

まず、画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）内に含まれる画像の中から、最初にディスプレイ画面４００に表示する初期画像を選択し、画面出力インターフェース１６１を介してディスプレイ画面４００に出力する。その後、表示部１４０は、入力インターフェース１６２を介して操作受付部３００から視点の移動操作を受け付けるたびに、ディスプレイ画面４００に表示する画像を切り替える処理を実行する。

具体的には、表示部１４０は、操作受付部３００から視点の移動操作を受け付けるたびに、視点移動操作の向きを判定する。続いて、表示部１４０は、視点移動操作の向きにおいて現在表示中の画像と隣接する次の画像を特定する。具体的には、画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）内において現在表示中の画像に対応する画像を識別する。そして、視点移動操作の方向が第１方向（Ｄ１）であれば、画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）内において列方向（ｘ方向）にリンクで結合された隣接画像を次に表示すべき画像として特定する。また、視点移動操作の方向が第２方向（Ｄ２）であれば、画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）内において行方向（ｙ方向）に参照リンクで結合された隣接画像を次に表示すべき画像として特定する。

以上のように、第１の実施形態に係る映像表示システム１０によれば、視点を移動しても閲覧者は被写体Ｔに設定された注視点ｗがブレない自由視点映像を表示することができる。その結果、閲覧者は、視点の移動中に違和感を覚えることなく自由視点映像を見ることが可能となる。つまり、閲覧者は、被写体Ｔの周囲をめぐるように視点位置Ｐ（ｉ）（１≦ｉ≦Ｎ）を自由に移動しながら、３ＤＣＧを見ているような感覚で被写体Ｔを眺めることができるようになる。

さらに、第１の実施形態に従って実現される疑似３Ｄ画像では、実写による多視点画像を用いながらも、被写体の３次元モデルを再構成する必要無しに、上下方向や水平方向を含む任意の３次元方向に視点移動が可能である。例えば、第１の実施形態によれば、水平方向のみならず高さ方向への視点移動も実現可能となるので、実写による多視点画像を用いた自由視点映像でありながら、３ＤＣＧのような視点移動の自由度を提供することが可能となる。

なお、第１の実施形態の説明にあたっては、対応する視点位置に応じて空間的に整理された複数の画像は、被写体上に設定された注視点を上下方向に通る直線を中心軸とした円筒形の面に沿って２次元的に配置されていた。しかし、本開示に係る様々な実施形態では、対応する視点位置に応じて空間的に整理された複数の画像は、被写体上に設定された注視点を中心とする球面に沿って２次元的に配置されるようにしてもよい。この場合、注視点を中心とする球面を３次元極座標系において以下のように定義してもよい。すなわち、この３次元極座標系において、原点を被写体の注視点と一致させる。その上で、原点からの距離が一定となる球面を画像整列用の球面とし、視点位置に応じて空間的に整理された複数の画像をこの球面に沿って２次元配置するようにしてもよい。

（第１の実施形態における処理の流れ）
次に、被写体Ｔを撮った多視点画像ＩＭを入力として視点移動自在な疑似３Ｄ画像を表示するための処理の流れを図１４に示すフロー図を用いて説明する。以下、＜ｔ，ｋ，ｉ＞であると仮定して説明する。図１４のフロー図に示す処理の流れは、前処理Ｓ１から開始する。前処理Ｓ１では、複数の撮像装置（カメラ）Ｃ（ｋ）（１≦ｋ≦Ｋ）により２次元配置された複数の視点から被写体Ｔを撮影した多視点画像ＩＭを取得するステップＳ１１が実行される。ステップＳ１１に続いて、前処理Ｓ１では、ステップＳ１２が実行され、多視点画像ＩＭに含まれる複数の画像または他の手段を用いて強校正が実行される。続いて、複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）について実行した強校正の結果を表すパラメータが強校正演算手段５００から受信される。なお、代替的な実施形態では、事前に計算されたパラメータ値を読み込んだり、カメラの位置・姿勢をカメラ上に設けたモーション・センサによる実測値から上記パラメータを計算するようにしてもよい。

前処理Ｓ１に続いて、撮影した多視点画像ＩＭを自由視点映像へと合成するための処理Ｓ２が実行される。以下、処理Ｓ２の詳細な処理内容について図１４に示すフロー図に沿って述べる。処理Ｓ２はステップＳ２０から開始し、複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を強校正して得られる外部パラメータとして、複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）の位置と姿勢のデータを取得する。その上で、多視点画像ＩＭに含まれる複数の画像と上記パラメータとの対応付けが実行される。続いて、個々の画像に対応付けられたパラメータから、個々の画像の視点位置として画像撮影時の撮像装置Ｃ（ｋ）の位置と姿勢が算出される。その結果、複数の視点位置Ｐ（ｕ（ｉ），ｖ（ｉ））でそれぞれ撮影された複数の画像ｉｍ（ｉ）が算出される。

続いて、処理はステップＳ２１に進み、被写体Ｔの上に設定すべき注視点ｗの位置を図７に示す注視点決定部１２２により決定する。続いて、処理はステップＳ２２に進み、注視点ｗを基準に複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）の射影変換が図７に示す補正部１２１により実行される。続いて、処理はステップＳ２３に進み、画像配列部１３０は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を仮想空間内で２次元の双方向リストとして構造化した画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成する。

ステップＳ２３において画像配列部１３０が複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）から画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成する手順を詳細に説明すると、図１５に示すフロー図のとおりとなる。図１５に示すフローは、ステップＳ２２１から開始し、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）にそれぞれ対応する視点位置を、第１方向（Ｄ１）と第２方向（Ｄ２）に沿った２本の座標軸を含む座標系を定義する。続いて、上記の座標系で表された仮想空間内の視点位置に応じて、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）を第１方向（Ｄ１）に沿ってクラスタリングする。

続いて、ステップＳ２２２に進み、注視点ｗから各視点位置に向かう方向ベクトルを、第１方向（Ｄ１）と直交する基準面Ｒｆ（図１３（ｂ））上に射影して画像毎に射影ベクトルＶＰ（ｉ）を算出する。続いて、ステップＳ２２３に進み、注視点ｗを中心として基準面Ｒｆ上で射影ベクトルＶＰ（ｉ）同士が成す視差角θ（ｉ）を算出する。続いて、ステップＳ２２４に進み、各視点位置に対応する射影ベクトルＶＰ（ｉ）間の視差角θ（ｉ）に基づいて、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）のうち、第２方向（Ｄ１）にて隣接する画像同士を識別する。最後に、ステップＳ２２５に進み、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）の第１方向（Ｄ１）と第２方向（Ｄ２）における隣接関係を、画像間を結ぶ参照リンクにより２次元的に表した双方向リストを形成する。

こうして、撮影した多視点画像ＩＭを自由視点映像へと合成するための処理Ｓ２が完了すると、処理はステップＳ２４に進み、表示部１４０は、複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）の中から任意に選択した初期画像を画面表示する。ステップＳ２４に続いて、表示部１４０による無限ループ処理Ｓ３が実行される。以下、処理Ｓ３の詳細な処理内容について図１４に示すフロー図に沿って述べる。

処理Ｓ３はステップＳ３１から開始し、操作受付部３００を介して視点移動操作が入力されたか否かが判定される。視点移動操作が入力されていない（判定結果がＮｏ）場合には、ステップＳ３２にて一定時間待機した後に、再びステップＳ３１に戻る。視点移動操作が入力されている（判定結果がＹｅｓ）場合には、ステップＳ３３に進み、視点移動操作の操作方向が判定される。続いて、処理はステップＳ３４に進み、表示部１４０は、視点移動操作の方向において隣接する次の画像へと画面表示を切り替え、再びステップＳ３１に戻る。

（第２の実施形態）
次に、本開示に係る第２の実施形態に従い、例示的な映像表示システム２０について図１６〜図１８を用いて説明する。第２の実施形態に係る映像表示システム２０は、被写体の周囲を移動しながら被写体を撮影した動画や被写体を連写したスチル画像の時系列から視点移動自在な自由視点映像を合成する。図５〜図１３を用いて上述した第１の実施形態と比べると、第２の実施形態に従い図１６〜図１８を用いて説明する映像表示システム２０では、以下の点が異なっている。

すなわち、第２の実施形態に係る映像表示システム２０では、視点位置毎に個別に配置されたスチル・カメラのように配置が異なる複数の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）を使用しない。代わりに、図１６に示すように、第２の実施形態に係る映像表示システム２０では、被写体Ｔの周囲を移動しながら被写体Ｔを撮影するカメラＶＣａｍを用いて動画を生成する。その上で、この動画を構成する一連の画像フレームを用いて強校正を行い、強校正の結果から対応する視点位置が推定された複数のフレームを複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）として取得する。最後に、映像表示システム２０では、上記のように取得された複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）を２次元的に構造化して画像配列構造ｉｍ＿ｍｅｓｈ（ｘ，ｙ）を形成する。なお、一つ以上の変形実施例においては、カメラＶＣａｍは、被写体Ｔを動画撮影するのではなく連写することで一連の画像フレームを静止画像の時系列として生成してもよい。

また、第２の実施形態では、以下において後述するように、被写体Ｔを撮影した動画のフレーム時系列から複数の画像ｉｍ（ｉ）（１≦ｉ≦Ｎ）として抽出すべきフレームを取捨選択する処理を画像表示装置１００’内で実行している。そのため、動画のフレーム時刻の各々におけるカメラＶＣａｍの強校正を実行する処理も図５に示すような強校正演算手段５００に実行させるのではなく、以下において後述するように、画像表示装置１００’の内部において実行している。

図１６に示すように、カメラＶＣａｍは、移動経路ｒｔに沿って被写体Ｔの周囲を移動しながら被写体Ｔを撮影する。移動経路ｒｔは、床面（水平面）と平行な複数の周回軌道が床面と直交する第１方向において重なったトポロジーを有する。そして、個々の周回軌道は、被写体Ｔ上の注視点ｗを中心として被写体Ｔの周りを周方向（図１１に示す第２方向（Ｄ２））に周回する。

以下、第２の実施形態に従い、映像表示システム２０を構成する画像表示装置１００’の構成と動作について説明する。図１７は、第２の実施形態に係る画像表示装置１００’を構成する射影変換部１９０の内部構成を示す構成図である。射影変換部１９０は、補正部１９１、注視点決定部１９２、光軸交点決定部１９３、フレーム取得部１９４と、強校正実行部１９５と、射影変換実行部１９７と、を含んで構成される。フレーム取得部１９４は、被写体Ｔの周囲を移動する少なくとも１台の撮像装置Ｃ（ｋ）（１≦ｋ≦Ｋ）が撮影した動画に含まれるフレームの時系列を取得する。こうして取得されたフレーム時系列は、フレーム取得部１９４から強校正実行部１９５へと出力される。

強校正実行部１９５は、動画像のフレーム時系列を用い、各々のフレーム時刻に対応する形で、カメラＶＣａｍの強校正を実行する。この強校正は、カメラＶＣａｍの内部パラメータを推定するのに加え、各フレーム時刻ｔにおけるカメラＶＣａｍの位置と姿勢を表すパラメータを推定するための処理である。その上で、強校正実行部１９５は、各フレーム時刻ｔにおける上記パラメータを各フレーム時刻におけるフレームの画像ｉｍ（ｔ）に対応付け、この対応付けができないフレームを破棄する。最後に、強校正実行部１９５は、各フレーム時刻ｔにおける上記パラメータから各フレーム時刻ｔにおける視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））を算出し、画像ｉｍ（ｔ）に対応付ける。

強校正実行部１９５によりフレーム時系列を用いた強校正を実行する処理が終わると、射影変換実行部１９７は、以下の射影変換を実行する。すなわち、射影変換実行部１９７は、複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）のそれぞれに対応する視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））と注視点ｗとの間の位置関係に基づいて射影変換を実行する。

図５〜図１３を用いて上述した第１の実施形態とは異なり、図１７に示す画像配列部１３０は、動画像フレームから取得された複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）の中から以下のようにして隣接する画像同士として選別する。すなわち、複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）のうち、対応する視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））が第１方向（Ｄ１）において第１のオフセット量だけ離間している画像同士を前記第１方向に隣接する画像同士として選別する。さらに、対応する視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））が第２方向（Ｄ２）において第２のオフセット量だけ離間している画像同士を第２方向（Ｄ２）に隣接する画像同士として選別する。

次に、被写体ＴをカメラＶＣａｍで撮った動画を入力として視点移動自在な疑似３Ｄ画像を表示するための処理の流れを図１８に示すフロー図を用いて説明する。図１８のフロー図に示す処理の流れは、前処理Ｓ１から開始する。前処理Ｓ１では、カメラＶＣａｍにより図１６に示す経路ｒｔに沿った複数の視点から被写体Ｔを撮影した多視点画像ＩＭを取得するステップＳ１１が実行される。

前処理Ｓ１に続いて、動画撮影により得られた多視点画像ＩＭを自由視点映像へと合成するための処理Ｓ２が実行される。以下、処理Ｓ２の詳細な処理内容について図１８に示すフロー図に沿って述べる。処理Ｓ２はステップＳ２００１から開始する。ステップＳ２００１では、フレーム取得部１９４は、被写体Ｔの周囲を移動するカメラＶＣａｍが撮影した動画に含まれるフレームの時系列から、視点位置の異なる複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）を取得する。

続いて、処理はステップＳ２００２に進み、強校正実行部１９５は、複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）または他の手段を用いて強校正を実行した結果から、カメラＶＣａｍの内部パラメータと共に以下を推定する。すなわち、強校正実行部１９５は、上記強校正を実行した結果から、視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））で画像ｉｍ（ｔ）を撮影した時点でのカメラＶＣａｍの位置と姿勢を推定する。上記動画フレーム時系列を用いた強校正を実行することにより画像ｉｍ（ｔ）を撮影した時点での視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））が得られると、ワールド座標系内において注視点ｗを設定することが可能となる。

続いて、処理はステップＳ２００３に進み、図１７に示す注視点決定部１９２は、被写体Ｔの上に設定すべき注視点ｗのワールド座標系内での位置を決定する。注視点ｗが決定されると、射影変換実行部１９７は、以下の処理を実行する。すなわち、複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）のそれぞれについて強校正実行部１９５により推定された視点位置Ｐ（ｘ（ｔ），ｙ（ｔ））を用い、注視点ｗを基準として画像ｉｍ（ｔ）の射影変換を実行する。続いて、処理はステップＳ２００４に進み、画像配列部１３０は、視点位置が第１方向において第１オフセット量だけ離間している画像同士を第１方向に隣接する画像同士として選別する。続いて、視点位置が第２方向において第２オフセット量だけ離間している画像同士を第２方向に隣接する画像同士として選別する。続いて、処理はステップＳ２００５に進み、複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）の第１方向（Ｄ１）と第２方向（Ｄ２）における隣接関係を、画像間を結ぶ参照リンクにより２次元的に表した双方向リストを形成する。

こうして、図１８に示す処理Ｓ２が完了すると、処理はステップＳ２４に進み、表示部１４０は、複数の画像ｉｍ（ｔ）（１≦ｔ≦Ｎｔ）の中から任意に選択した初期画像を画面表示する。ステップＳ２４に続いて、表示部１４０による無限ループ処理Ｓ３が実行される。以下、処理Ｓ３の詳細な処理内容について図１８に示すフロー図に沿って述べる。処理Ｓ３はステップＳ３１から開始し、操作受付部３００を介して視点移動操作が入力されたか否かが判定される。視点移動操作が入力されていない（判定結果がＮｏ）場合には、ステップＳ３２にて一定時間待機した後に、再びステップＳ３１に戻る。視点移動操作が入力されている（判定結果がＹｅｓ）場合には、ステップＳ３３に進み、視点移動操作の操作方向が判定される。続いて、処理はステップＳ３４に進み、表示部１４０は、視点移動操作の方向において隣接する次の画像へと画面表示を切り替え、再びステップＳ３１に戻る。

１０，２０ 映像表示システム
１００ 画像表示装置
１１０ 画像受信部
１２０ 射影変換部
１２１ 補正部
１２２ 注視点決定部
１２３ 画像列取得部
１２４ 画像出力部
１２５ 抽出部
１２６ 光軸交点決定部
１３０ 画像配列部
１３０ａ 画像群構成部
１３１ クラスタ分別部
１３２ 隣接画像選別部
１３３ 紐付け処理部
１３４ 座標系設定部
１４０ 表示部
１５０ 記憶部
１６１ 画面出力インターフェース
１６２ 入力インターフェース
１７０ バス
１８１ 記憶エリア
１８２ 記憶エリア
２００ 制御部
３００ 操作受付部
４００ ディスプレイ画面

Claims (16)

1. 被写体を見る視点を移動させる移動操作に追従して、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により位置特定される視点位置毎に前記被写体を撮影した複数の画像を切替え自在に表示可能な画像表示装置であって、
   前記被写体を閲覧する際の注視点と視点位置との位置関係に基づいて、前記視点位置が異なる複数の前記画像を射影変換する射影変換部と、
   前記視点位置が射影変換された複数の前記画像のうち、前記第１方向または前記第２方向において空間的に隣接する画像同士を相互に関連付けることで、前記画像の空間配列構造を形成する画像配列部と、
   前記移動操作を受け付けると、前記空間配列構造内の前記画像のうち現在表示中の前記画像を、前記移動操作の向きにおいて隣接する次の前記画像へと切り替えて表示する表示部と、
   を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする、画像表示装置。
2. 複数の前記画像は、前記被写体の上に設定された前記注視点を取り囲んで互いに異なる２次元配置を有する複数の前記視点位置に配置された一つ以上の撮像装置により前記被写体を撮った多視点画像から取得され、
   前記射影変換部は、前記画像を強校正することで前記撮像装置に関して得られるパラメータと共に複数の前記画像を受信した後に、前記パラメータに基づいて定義された座標系内において前記注視点を設定し、前記注視点を基準に前記画像を射影変換するように構成され、
   前記パラメータは、複数の前記視点位置のそれぞれにおいて前記画像を撮影したときの前記撮像装置の位置と姿勢を少なくとも含むことを特徴とする、請求項１記載の画像表示装置。
3. 前記画像配列部は、
   前記第１方向または前記第２方向において空間的に隣接する画像同士を相互に関連付けることで、複数の前記画像を２次元的な双方向リストとして構造化するように構成される、請求項１または請求項２に記載の画像表示装置。
4. 前記表示部は、
   受け付けた前記移動操作の向きが前記第１方向および前記第２方向の何れであるかに応じて、前記空間配列構造内の前記画像のうち現在表示中の前記画像を、前記第１方向または前記第２方向に隣接する次の前記画像へと切り替えて表示するように構成される、
   ことを特徴とする請求項１から請求項３の何れか一項に記載の画像表示装置。
5. 前記射影変換部は、前記射影変換の実行過程において、複数の前記画像および対応する複数の前記視点位置を補正するための変換処理を行う補正部を備え、
   前記補正部は、複数の前記画像を、光軸が前記注視点を通過するように配置された状態の撮像装置により撮像された場合の前記画像に変換するように構成される、
   ことを特徴とする、請求項１から請求項４の何れか一項に記載の画像表示装置。
6. 前記画像配列部は、
   前記射影変換部により前記射影変換された後の複数の前記視点位置に複数の前記画像をそれぞれ配置した上で、複数の前記画像を２次元的な双方向リストとして構造化し、隣接する前記画像同士を双方向の参照リンクで結合することで、複数の前記画像の２次元的な前記空間配列構造を構成する画像群構成部、
   を備えることを特徴とする、請求項１から請求項５の何れか一項に記載の画像表示装置。
7. 前記射影変換部は、
   互いに異なる２次元配置を有する前記視点位置で撮った複数の前記画像の中から、前記第２方向に沿って前記視点位置が並んでいる画像列を取得する画像列取得部と、
   前記第２方向において互いに異なる位置にある撮像装置間のシャッター・タイミングが同期していた場合におけるシャッター時刻と最も近い時刻に撮影された２以上の前記画像を、前記画像列から抽出する抽出部と、
   前記抽出部が抽出した２以上の前記画像を、前記第２方向における複数の異なる位置から前記被写体を撮影して得られた複数の前記画像として、前記視点位置の前記射影変換のために出力する画像出力部と、
   を含んで構成されることを特徴とする、請求項１から請求項６の何れか一項に記載の画像表示装置。
8. 前記射影変換部は、
   前記被写体の周囲を移動する少なくとも１台の撮像装置が撮影した動画に含まれるフレームの時系列または前記被写体の周囲を移動する前記撮像装置が前記被写体を連写して得られる静止画像の時系列を、異なる前記視点位置から撮影された複数の前記画像として取得するように構成されることを特徴とする、請求項１から請求項７の何れか一項に記載の画像表示装置。
9. 前記画像配列部は、
   前記動画のフレームとして取得された複数の前記画像のうち、対応する前記視点位置が前記第１方向において第１のオフセット量だけ離間している前記画像同士を前記第１方向に隣接する前記画像同士として選別し、
   対応する前記視点位置が前記第２方向において第２のオフセット量だけ離間している前記画像同士を前記第２方向に隣接する前記画像同士として選別する、
   ように構成されたことを特徴とする、請求項８記載の画像表示装置。
10. 前記画像配列部は、
    前記第１方向と前記第２方向にそれぞれ沿った２つの座標軸を含む２次元座標系内に配置された複数の前記画像を、前記第１方向に沿って所定間隔で配列された複数のクラスタに分別処理するクラスタ分別部と、
    各々の前記クラスタに属する前記画像の中から前記第２方向に沿って所定の視差角だけ離間した前記画像を前記第２方向において互いに隣接する前記画像として選別する隣接画像選別部と、
    を含んで構成されることを特徴とする、請求項１から請求項９の何れか一項に記載の画像表示装置。
11. 各々の前記クラスタにおいて、前記第２方向において互いに隣接する前記画像同士を紐付け処理し、前記第１方向において隣接するクラスタ間で最も近接した前記画像同士を前記第１方向において隣接する画像同士として紐付け処理することで、空間的に隣接する前記画像同士を相互に関連付ける紐付け処理部をさらに備え、
    前記隣接画像選別部は、前記注視点を中心として周回方向に沿って配置された前記画像間の視差角が第１の角度以上となる前記画像のペアを検出し、検出された前記画像のペアのうち、前記視差角が第２の角度以下となる前記画像のペアを前記第２方向において互いに隣接する前記画像として選別するように構成される
    ことを特徴とする、請求項１０記載の画像表示装置。
12. 前記隣接画像選別部は、
    前記注視点を中心とする周回方向に配置された２つの前記画像のうち、一方の画像の前記視点位置および他方の画像の前記視点位置から前記注視点にそれぞれ向かう２本の直線を、前記第１方向と直交する基準面に射影して２本の射影ベクトルを算出し、
    算出した２本の前記射影ベクトルが成す鋏角を前記画像間の前記視差角として、前記画像間の前記視差角が第１の角度以上かつ第２の角度以下となる前記画像のペアを検出する、
    ように構成されることを特徴とする、請求項１１記載の画像表示装置。
13. 複数の視点から被写体を撮影した多視点画像に含まれる複数の画像を処理する画像処理装置であって、
    第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により位置特定される視点位置毎に前記被写体を撮影した複数の画像を取得する画像受信部と、
    前記被写体を閲覧する際の注視点と視点位置との位置関係に基づいて、前記視点位置が異なる複数の前記画像を射影変換する射影変換部と、
    前記視点位置が射影変換された複数の前記画像のうち、前記第１方向または前記第２方向において空間的に隣接する画像同士を相互に関連付けることで、前記画像の空間配列構造を形成する画像配列部と、
    を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする画像処理装置。
14. 複数の方向に視点移動自在な被写体の表示を行う映像表示方法であって、
    １台以上の撮像装置を移動させながら前記被写体を撮影することで、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により２次元的に位置特定される複数の異なる視点位置から、前記被写体を撮った複数の画像を出力するステップと、
    前記被写体を閲覧する際の注視点と前記視点位置との位置関係に基づいて、前記視点位置が異なる複数の前記画像を射影変換した上で、前記第１方向または前記第２方向において空間的に隣接する前記画像同士を相互に関連付けることで、前記画像の空間配列構造を形成するステップと、
    前記被写体を画面表示する際の前記視点位置を前記第１方向または前記第２方向を含む複数の移動方向に沿って移動させるための移動操作を受け付けるたびに、前記空間配列構造内の複数の前記画像のうち、現在表示中の前記画像を、前記移動操作の向きにおいて隣接する次の前記画像へと切り替えて表示するステップと、
    を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする映像表示方法。
15. 画像表示装置のプロセッサに読み込まれ、実行された際に、複数の方向に視点移動自在な被写体の表示を前記画像表示装置に実行させるプロセッサ実行可能命令を含む映像表示用プログラムであって、
    １台以上の撮像装置を移動させながら前記被写体を撮影することで、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により２次元的に位置特定される複数の異なる視点位置から前記被写体を撮った複数の画像を受信するよう前記画像表示装置に指示する命令と、
    前記被写体を閲覧する際の注視点と前記視点位置との位置関係に基づいて、前記視点位置が異なる複数の前記画像を射影変換した上で、前記第１方向または前記第２方向において空間的に隣接する前記画像同士を相互に関連付けることで、前記画像の空間配列構造を前記画像表示装置のメモリ上に記憶させる命令と、
    前記被写体を画面表示する際の前記視点位置を前記第１方向または前記第２方向を含む複数の移動方向に沿って移動させるための移動操作を受け付けるたびに、前記空間配列構造内の複数の前記画像のうち、現在表示中の前記画像を、前記移動操作の向きにおいて隣接する次の前記画像へと切り替えて表示するよう前記画像表示装置に指示する命令と、
    を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする映像表示用プログラム。
16. 画像表示装置のプロセッサに読み込まれ、実行された際に、複数の方向に視点移動自在な被写体の表示を前記画像表示装置に実行させるプロセッサ実行可能命令を含む映像表示用プログラムであって、
    １台以上の撮像装置を移動させながら前記被写体を撮影することで、第１方向および前記第１方向とは異なる第２方向に沿った２つの座標軸により２次元的に位置特定される複数の異なる視点位置から前記被写体を撮った複数の画像を受信するよう前記画像表示装置に指示する命令と、
    前記被写体を閲覧する際の注視点と前記視点位置との位置関係に基づいて、前記視点位置が異なる複数の前記画像を射影変換した上で、前記第１方向または前記第２方向において空間的に隣接する前記画像同士を相互に関連付けることで、前記画像の空間配列構造を前記画像表示装置のメモリ上に記憶させる命令と、
    を備え、前記注視点は、前記被写体上の点位置のうち、視点移動の前後において画面表示位置が変化しない点位置であることを特徴とする映像表示用プログラム。