JP2020135130A - 画像表示装置、画像表示装置の制御方法及びプログラム - Google Patents

Abstract

【課題】表示内容の変更に係るユーザの利便性を向上する、画像表示装置、画像表示装置の制御方法及びプログラムを提供する。【解決手段】画像表示装置１２１は、仮想視点画像を表示する画像表示部２０４と、装置に対する物理操作を検知する検知手段（物理操作検知部２０１）と、検知手段の検知結果に基づいて、表示内容を制御する制御手段（表示制御部２０５）とを備える。制御手段は、仮想視点画像の表示中に第１の物理操作が検知された場合、第１の物理操作に応じて仮想視点画像の表示方向を変更し、仮想視点画像の表示中に第２の物理操作が検知された場合、第２の物理操作に応じた表示内容へ変更する。【選択図】図２

Description

本発明は、画像表示装置、画像表示装置の制御方法及びプログラムに関する。

従来、画像表示装置に表示される画像に対応する視点をユーザ操作に応じて変更する技術がある。例えばパノラマ画像によれば、基点を中心とした最大３６０度方向の画像データを用いることで、ユーザが任意の視点方向を選んでその方向に対応する画像を視聴することができる。画像表示装置はタブレットやスマートフォン等であり、ジャイロセンサを備えていれば、画像表示装置を保持した状態でユーザが回転して画像表示装置の向きを変更するだけで、その回転方向に応じてパノラマ画像の任意の方向の画像を視聴することができる。この回転操作は、スワイプ等の指による画面接触を伴う操作と比べて直感的で簡単であり、パノラマ画像の視聴体験をより快適に楽しむことができる。

特許文献１には、予め定められた複数の視点から１つをユーザに選択させるためにダイアログを表示し、ダイアログに対する選択操作によって、表示する画像を切り替える方法が開示されている。

特開２０１４−２１５８２８号公報

しかしながら、特許文献１に記載の技術では、視点を選択させるためのダイアログが表示中の画像の一部を隠してしまうことで、ユーザにとって画像が見づらくなる虞がある。

本発明は、上記の課題に鑑みてなされたものであり、表示装置における表示内容の変更に係るユーザの利便性を向上するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る画像表示装置は、
仮想視点画像を表示する画像表示装置であって、
前記画像表示装置に対する物理操作を検知する検知手段と、
前記検知手段の検知結果に基づいて、前記画像表示装置の表示内容を制御する制御手段と、を備え、
前記制御手段は、
前記仮想視点画像の表示中に、前記検知手段により第１の物理操作が検知された場合、当該第１の物理操作に応じて前記仮想視点画像の表示方向を変更し、
前記仮想視点画像の表示中に、前記検知手段により第２の物理操作が検知された場合、当該第２の物理操作に応じた表示内容へ変更することを特徴とする。

本発明によれば、表示装置における表示内容の変更に係るユーザの利便性を向上することが可能となる。

実施形態１に係る仮想視点画像表示システムの構成例を示す図。 （ａ）実施形態１に係る画像表示装置の機能構成の一例を示す図、（ｂ）実施形態１に係る画像表示装置のハードウェア構成の一例を示す図。 （ａ）−（ｆ）仮想視点及び仮想視点画像の説明図。 実施形態１に係る画像表示装置が実施する処理の手順を示すフローチャート。 （ａ）−（ｆ）実施形態１に係る振動操作を用いた表示切替の説明図。 実施形態２に係る画像表示装置が実施する処理の手順を示すフローチャート。 （ａ）−（ｆ）実施形態２に係る俯瞰画像を用いた表示切替の説明図。 （ａ）実施形態３に係るリストの表示例を示す図、（ｂ）及び（ｃ）実施形態４に係る仮想視点画像の表示状況の集計結果の重畳表示例を示す図。 実施形態５及び６に係る仮想視点画像表示システムの構成例を示す図。 実施形態６に係る画像表示装置が実施する処理の手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
本実施形態では、物理操作として振動操作を使用して、複数の仮想視点画像を表示切替する例を説明する。

＜仮想視点画像表示システムの構成＞
まず、図１（ａ）及び図１（ｂ）を参照しながら、本実施形態に係る仮想視点画像表示システムの構成例を説明する。図１（ａ）に示されるように、仮想視点画像表示システム１００は、１以上の撮影装置１０１と、画像記録装置１０２と、データベース１０３と、画像生成装置１０４と、１以上の仮想視点操作部１０６と、配信サーバ１２０と、１以上の画像表示装置１２１とを備えている。

撮影装置１０１は、ｎ台の撮影装置１０１ａ〜１０１ｎを含み、１台の撮影装置は、少なくとも１台のカメラを有する。特に説明がない場合は、ｎ台の撮影装置１０１ａ〜１０１ｎは区別せずに、撮影装置１０１と記載する。撮影装置１０１は、被写体を囲むように設置される。撮影装置１０１の各カメラは同期し、被写体を撮影する。この撮影した複数の画像を多視点画像と呼ぶ。また、撮影装置１０１は、各マイク（不図示）を有し、同期し音声を集音する。なお、説明の簡略化のため音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。

図１（ｂ）は、撮影装置１０１の設置例を示す。図１（ｂ）の例では、スタジアムのフィールドや、その中にいる選手やボールを被写体とし、それらを囲むようにｎ台の撮影装置１０１ａ〜１０１ｎが設置されている。なお、設置場所はスタジアムに限定されない。

画像記録装置１０２は、撮影装置１０１から、多視点画像と、音声と、撮影時のタイムコードとを取得して、データベース１０３へ書き込む。データベース１０３は、多視点画像、音声、撮影時のタイムコード等の情報を含むデータベースである。

画像生成装置１０４は、データベース１０３に記録された多視点画像と、生成内容指定部１０５の指定内容と、仮想視点操作部１０６の操作内容とに基づいて、同じ被写体の様々な位置での複数の仮想視点画像を生成して、配信サーバ１２０へ出力する。その際、複数の仮想視点操作部１０６ａ〜１０６ｍによりそれぞれ操作される複数の仮想視点１１０ａ〜１１０ｍが用いられる。なお、仮想視点画像は、パノラマ形式を含む、様々な形式で生成可能である。ここでは仮想視点画像の例として、パノラマ形式の仮想視点画像を使用するが、３Ｄ（立体視）形式の仮想視点画像、２Ｄ形式の仮想視点画像を使用してもよい。

生成内容指定部１０５は、画像生成装置１０４による複数の仮想視点画像の生成及び配信に必要な情報を指定する。例えば、仮想視点画像の生成数を指定する。また、生成内容指定部１０５は、各仮想視点画像の生成に使用する各仮想視点操作部１０６の識別子や、仮想視点画像を出力する配信サーバ１２０の宛先等も指定する。

仮想視点操作部１０６は、図１（ｂ）に示される仮想視点（仮想カメラとも呼ぶ）１１０ａ、１１０ｂ、...、１１０ｍを操作する。仮想視点操作部１０６として、タブレット、ジョイスティック、ＨＭＤ（Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の様々なデバイスを使用可能である。なお、デバイスはこれらに限定されない。例えば、人が身に着ける衣類やプロテクタ等へ位置測位タグを装着し、測位した位置に基づいて仮想視点を操作可能に構成してもよい。

ここで、仮想視点１１０は、撮影装置１０１の撮影カメラとは異なる視点から被写体を閲覧できる視点であり、仮想視点画像の生成に使用される。複数の仮想視点操作部１０６ａ〜１０６ｍを使用し、それぞれ独立して異なる仮想視点１１０ａ〜１１０ｍを操作する。なお、仮想視点操作部１０６ａ〜１０６ｍの一つを示す場合は仮想視点操作部１０６と表記し、仮想視点１１０ａ〜１１０ｍの１つを示す場合は仮想視点１１０と表記する。

配信サーバ１２０は、画像生成装置１０４から受信した複数の仮想視点画像を、複数の画像表示装置１２１ａ〜１２１ｎへ送信する。また、配信サーバ１２０は、画像表示装置１２１ａ〜１２１ｎから、表示状況等の情報を収集及び集計してもよい。

なお、画像の送受信に関しては、ライブ配信とオンデマンド配信との両方に対応している。ライブ配信とは、リアルタイムに生中継される配信である。オンデマンド配信とは、蓄積データをユーザが必要な時に視聴可能とする配信である。

画像表示装置１２１は、各種の物理センサを有しており、物理操作を用いた仮想視点画像の表示切替処理を行う。複数の画像表示装置１２１ａ〜１２１ｎは、スマートフォンやタブレットやＨＭＤ等であり、ネットワークを介して配信サーバ１２０から複数の仮想視点画像を取得する。なお、複数の画像表示装置１２１ａ〜１２１ｎについて、便宜上、添字ｎを使用するが、先に述べた撮影装置１０１ａ〜１０１ｎと同数とは限らず、独立して任意の数を表すものとする。また、複数の画像表示装置１２１ａ〜１２１ｎの一つを示す場合は、画像表示装置１２１と表記する。

＜画像表示装置の構成＞
続いて、図２（ａ）を参照して、本実施形態に係る画像表示装置１２１の機能構成の一例を説明する。図２（ａ）に示されるように、画像表示装置１２１は、物理操作検知部２０１と、タッチ検知部２０２、画像取得部２０３と、画像表示部２０４と、表示制御部２０５とを備えている。

物理操作検知部２０１は、画像表示装置１２１が有する物理センサを用いて物理操作を検知する。例えば、物理センサとして、ジャイロセンサや加速度センサ等を用いることができる。ジャイロセンサによって画像表示装置１２１の回転を検知でき、加速度センサによって画像表示装置１２１の移動や振動を検知できる。なお、画像表示装置１２１に対する物理操作を検知できるものであれば、センサの種類はこれらに限定されない。

タッチ検知部２０２は、画像表示部２０４の表示内容に対するタッチ操作（例えばタップ操作）を検知する。なお、タッチ操作は本実施形態では使用されず、詳細は後述の実施形態で説明する。

画像取得部２０３は、配信サーバ１２０から複数の仮想視点画像を受信する。画像表示部２０４は、画像取得部２０３により取得された少なくとも１つの仮想視点画像を表示する。例えば、パノラマ形式の仮想視点画像の場合は、物理操作検知部２０１によって検知された回転操作に応じて、仮想視点画像の任意方向を表示する。表示例の詳細は、図５を参照して後述する。

表示制御部２０５は、画像表示部２０４が表示中の仮想視点画像を、別の位置にある仮想視点画像へ切り替える。この表示切替処理を、物理操作検知部２０１により検知される物理操作に応じて行う。

次に、図２（ｂ）を参照して、本実施形態に係る画像表示装置１２１のハードウェア構成の一例を説明する。画像表示装置１２１は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５と、入力装置１００６と、センサ１００７と、表示装置１００８を備えている。

ＣＰＵ１００１は、本実施形態に係る画像表示装置１２１の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。

記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。

センサ１００７は、ジャイロセンサ、加速度センサ、ＧＰＳセンサ等の各種のセンサである。表示装置１００８は、ＬＣＤディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

＜複数の仮想視点の操作例、複数の仮想視点画像例＞
ここで、図３（ａ）乃至図３（ｆ）を参照して、複数の仮想視点の操作例と、複数の仮想視点画像例を説明する。

まず、図３（ａ）は、仮想視点を表現するための座標系を示す図である。本実施形態では、図３（ａ）に示されるように、Ｘ軸・Ｙ軸・Ｚ軸の３次元空間の直交座標系を用いる。

この座標系を被写体に設定する。被写体は、図３（ｂ）に示されるように、例えば、スタジアムのフィールド全体３２１、フィールド上のボール３２２、選手３２３や審判（不図示）等である。なお、被写体は、フィールドの内部だけでなく、観客席を含むスタジアム全体としてもよい。図３（ｂ）中の座標３０１ａ〜３０１ｍについては後述する。

座標系については、原点（０，０，０）をフィールド３２１の中心に設定する。そして、Ｘ軸をフィールド３２１の長辺方向へ、Ｙ軸をフィールド３２１の短辺方向へ、Ｚ軸をフィールドに対して鉛直方向へ設定する。なお、各軸の方向は、これらに限定されない。このような座標系を使用して、仮想視点１１０の位置や姿勢が指定される。

続いて、図３（ｃ）を参照して、仮想視点について説明する。図３（ｃ）に示される四角錐において、頂点が仮想視点の位置３０１を表しており、頂点を起点とする視線方向のベクトルが、仮想視点の姿勢３０２を表している。仮想視点の位置は、各軸の成分（ｘ，ｙ，ｚ）で表現され、仮想視点の姿勢は、各軸の成分をスカラーとする単位ベクトルで表現される。

仮想視点の姿勢３０２を示す視線方向のベクトルは、前方クリップ面３０３と後方クリップ面３０４との中心点を通るものとする。三次元モデルの投影範囲（描画範囲）となる仮想視点の視錐台は、前方クリップ面３０３と後方クリップ面とに挟まれた空間３０５である。

次に、図３（ｄ）を参照して、仮想視点の移動と回転について説明する。仮想視点は、三次元座標で表現された空間内を移動及び回転することができる。仮想カメラの移動３１１は、仮想視点の位置３０１の移動であり、各軸の成分（ｘ，ｙ，ｚ）で表現される。仮想視点の回転３１２は、図３（ａ）に示されるように、Ｚ軸回りの回転であるヨー（Ｙａｗ）、Ｘ軸回りの回転であるピッチ（Ｐｉｔｃｈ）、Ｙ軸回りの回転であるロール（Ｒｏｌｌ）で表現される。

仮想視点操作部１０６は、移動及び回転の操作を用いて、仮想視点１１０の位置及び姿勢を操作する。本実施形態では、被写体を囲む複数のカメラで撮影した多視点画像を使用するため、被写体における任意の位置及び方向へ、仮想視点を操作可能である。また、複数の仮想視点を使用可能で、それぞれ異なる位置及び方向を指定可能である。

ここで、改めて図３（ｂ）を参照しながら、複数の仮想視点の位置の指定の例を説明する。図３（ｂ）における座標３０１ａ〜３０１ｍを、複数の仮想視点操作部１０６ａ〜１０６ｍにより各々操作される複数の仮想視点１１０ａ〜１１０ｍの位置とする。座標３０１ａ〜３０１ｍを基準位置（基点と呼ぶ）とする。

本実施形態では、パノラマ形式の仮想視点画像を生成する。パノラマ画像のフォーマットは、正距円筒図法等を使用する。なお、本実施形態において、パノラマ形式の仮想視点画像を単にパノラマ画像と表記することもある。例えば、パノラマ画像の場合、少なくとも１つの仮想視点の位置が指定されると、最大３６０度の周囲を網羅する仮想視点画像を生成できる。この１つの仮想視点の位置が基点となる。

例えば、座標３０１ｅはフィールド中央付近に対応しており、図３（ｅ）は、この座標３０１ｅを基点として周囲３６０度の範囲を含むように生成されたパノラマ画像である。図３（ｅ）のパノラマ画像には、フィールド中央にあるセンターラインとセンターサークルとが写っており、その上にボールを持った選手が写っている。

また、例えば、座標３０１ｆはゴール前付近に対応しており、図３（ｆ）は、この座標３０１ｆを基点として周囲３６０度の範囲を含むように生成されたパノラマ画像である。図３（ｆ）のパノラマ画像には、ゴール前のペナルティエリア内において、選手がボールをシュートしたシーンが写っている。

画像表示装置１２１は、これらのような異なる位置の複数の仮想視点画像を、配信サーバ１２０から取得して、表示切替処理を行う。

＜処理＞
図４のフローチャート及び図５（ａ）乃至図５（ｆ）を参照して、本実施形態に係る画像表示装置１２１が実施する表示切替処理を説明する。本実施形態では、物理操作として、振動操作及び回転操作を考慮し、同じ被写体を対象とした異なる位置の複数の仮想視点画像の表示切替処理を実行する。

ステップＳ４０１では、表示制御部２０５が、画像表示装置１２１に対して行われる物理操作の検知結果を、物理操作検知部２０１を介して取得する。表示制御部２０５は、取得した物理操作の検知結果に応じて処理を制御する。本実施形態において物理操作検知部２０１が検知する物理操作の種類は、振動操作、回転操作である。振動操作の検知結果は、別の仮想視点画像に表示切替するために使用される。回転操作の検知結果は、仮想視点画像の表示方向の変更のために使用される。

ここで、図５（ａ）は回転操作の例を示し、図５（ｄ）は振動操作の例を示す。回転操作は、ユーザが画像表示装置１２１を主に横方向へ回転させる操作である。振動操作は、ユーザが画像表示装置１２１を振る操作である。振動操作はシェイクとも呼ばれる。

ステップＳ４０１において、表示制御部２０５は、物理操作検知部２０１により検知された物理操作が回転操作であるか、振動操作であるかを判定する。検知された物理操作が回転操作である場合、ステップＳ４０２へ進む。一方、検知された物理操作が振動操作である場合、ステップＳ４０３へ進む。

ステップＳ４０２では、表示制御部２０５が、検知された回転操作の検知内容に含まれる回転方向の情報に基づいて、仮想視点画像の表示方向を変更する。その後、ステップＳ４０７へ進む。ステップＳ４０３では、表示制御部２０５が、現在表示中の仮想視点画像の表示方向の情報を取得する。パノラマ画像の場合、画像表示部２０４に表示中の方向となる。

ここで、表示中の仮想視点画像が、図３（ｂ）で説明した座標３０１ｅを基点とするパノラマ画像である場合、図５（ｂ）に示されるような、座標３０１ｅのフィールド中央付近からゴール方向を閲覧している画像がその一例となる。図５（ｂ）の例では、センターサークル付近からゴール方向を表示中であり、この方向は、図５（ｃ）に示される被写体の俯瞰図の方向５０１に対応する。本ステップでは、例えば方向５０１の情報が取得される。

ステップＳ４０４では、表示制御部２０５が、ステップＳ４０３で取得された表示方向に、別の仮想視点画像の基点が存在するか否かを判定する。別の仮想視点画像の基点が存在する場合、ステップＳ４０５へ進む。一方、別の仮想視点画像の基点が存在しない場合、ステップＳ４０６へ進む。図５（ｃ）の例では、座標３０１ｅから方向５０１に、座標３０１ｆを基点とする仮想視点画像が存在しており、当該座標の情報が取得され、ステップＳ４０５へ進むことになる。ステップＳ４０５では、表示制御部２０５が、ステップＳ４０４で取得された座標を基点とする仮想視点画像へ表示切替する。図５（ｃ）の例では、座標３０１ｅを基点とする仮想視点画像から、座標３０１ｆを基点とする仮想視点画像へ表示切替する。例えば、表示切替される仮想視点画像が、図５（ｃ）の座標３０１ｆを基点とするパノラマ画像であるとすると、図５（ｅ）に示されるような、座標３０１ｆのゴール前付近からゴール方向を閲覧している画像がその一例となる。

座標３０１ｅを基点とする図５（ｂ）の仮想視点画像から、座標３０１ｆを基点とする図５（ｅ）の仮想視点画像への表示切替は以下のような場合に行われる。例えば、フィールド中央付近の仮想視点画像を表示中に、フィールド中央付近からゴール前へボールがパスされたことに応じて、ユーザがゴール前の仮想視点画像へ表示切替したい状況で、ユーザが画像表示装置１２１を振動させるような場合に行われる。

なお、ステップＳ４０５において、別の仮想視点画像へ表示切替した時に、初期値として表示する方向は、表示切替前と同じ方向に設定してもよいし、仮想視点画像毎に方向の初期値を設定してもよい。図５（ｃ）の仮想視点画像から図５（ｅ）の仮想視点画像への表示切替では、切替前と同じ方向であるゴール方向を初期値に設定した例となる。

ステップＳ４０５において別の仮想視点画像へ表示切替が行われた後は、ステップＳ４０７へ進む。ステップＳ４０７で表示切替処理を終了しないと判定された場合にはステップＳ４０１に戻り、回転操作を行って、新たに表示中の仮想視点画像の閲覧方向を変更することや、振動操作を行って、更に別の仮想視点画像へ表示切替することができる。

ステップＳ４０６では、表示制御部２０５が、該当方向に別の仮想視点画像の基点が無いことを示す情報を画像表示部２０４に表示する。例えば、エラー文言を表示してもよいし、或いは、別の仮想視点画像を表示可能な仮想視点が存在する方向をガイドするガイド表示を行ってもよい。

ここで、図５（ｆ）にガイド表示の例を示す。図５（ｆ）は、図５（ｅ）と同様にゴール前の座標３０１ｆからゴール方向を閲覧中の仮想視点画像である。この時、ゴール方向に別の仮想視点画像は無いため、別の仮想視点画像がある方向（座標３０１ｃと座標３０１ｍとがある方向）を、それぞれ矢印５５１と矢印５５２とを用いて示している。

ユーザは、矢印５５１や矢印５５２の方向へ画像表示装置１２１を回転させた後に振動操作を行うことで、別の仮想視点画像へ表示切替することができる。

ステップＳ４０７では、表示制御部２０５は、表示切替処理を終了するか否かを判定する。例えば、仮想視点画像の表示自体を終了する操作が入力された場合や、画像表示装置１２１の電源がオフにされた場合、処理を終了する。表示切替処理を終了しない場合、ステップＳ４０１に戻って、一連の処理を継続する。

以上説明したように、本実施形態によれば、画像表示装置に対する回転操作を用いた仮想視点画像の表示中に、振動操作を用いて別の仮想視点画像へ簡易に表示切替することができる。

例えば、画像表示装置を用いてプロサッカー等のフィールドスポーツを観戦する時に、パス等のボールの移動に伴うシーンであっても、直感的に簡単に別の地点の仮想視点画像へ表示切替することができる。そのため、ユーザは、より臨場感のあるスポーツ観戦を体験することができる。

また、本実施形態によれば、別の仮想視点画像へ表示切替する時に、ダイアログ等の表示は不要であり、仮想視点画像の表示を妨げることが無く、快適な表示切替を実現することができる。

（実施形態２）
本実施形態では、物理操作として回転操作を用いた表示切替処理を説明する。具体的には、回転操作の回転方向に応じて、仮想視点画像の表示方向の変更処理と、被写体を俯瞰する仮想視点画像（俯瞰画像）への表示切替処理とを選択的に行う例を説明する。さらに、俯瞰画像を用いて、別の位置の仮想視点画像へ表示切替する処理についても説明する。なお、本実施形態において、被写体を俯瞰する仮想視点画像を俯瞰画像と表記する。

本実施形態に係る仮想視点画像表示システム及び画像表示装置の構成は実施形態１で説明した構成と同様であるため、説明を省略する。本実施形態に係る画像表示装置１２１は、実施形態１とは処理内容が異なっており、以下では本実施形態に係る処理について説明を行う。本実施形態に係る表示制御部２０５は、回転操作の回転方向に基づいて処理を制御する。例えば、横方向の回転操作を仮想視点画像の表示方向の変更に使用し、下方向の回転操作を俯瞰画像の表示に使用する。但し、回転方向と処理との対応付けは、これに限られるものではない。

＜処理＞
図６のフローチャート及び図７（ａ）乃至図７（ｆ）を参照して、本実施形態に係る画像表示装置１２１が実施する表示切替処理を説明する。

ステップＳ６０１では、表示制御部２０５が、画像表示装置１２１に対して行われる回転操作の検知結果を、物理操作検知部２０１を介して取得する。回転操作が横方向の回転操作である場合、ステップS６０２へ進む。一方、回転操作が下方向の回転操作である場合、ステップＳ６０３へ進む。

ここで、図７（ａ）は横方向の回転操作の例を示し、図７（ｃ）は下方向の回転操作の例を示す。横方向の回転操作は、ユーザが画像表示装置１２１を横方向へ回転させる操作である。下方向の回転操作は、ユーザが画像表示装置１２１を下方向へ回転させる操作である。

ステップＳ６０２では、表示制御部２０５が、ステップＳ６０１で取得された回転操作の回転方向に基づいて、仮想視点画像の表示方向を変更する。ステップＳ６０２での変更後に画像表示装置１２１で表示中の仮想視点画像の例を図７（ｂ）に示す。ここで、表示中の仮想視点画像が、図３（ｂ）で説明した座標３０１ｅを基点とするパノラマ画像である場合、図７（ｂ）に示されるような、座標３０１ｅのフィールド中央付近からゴール方向を閲覧している画像がその一例となる。ステップＳ６０２の処理の後、ステップＳ６０６へ進む。

ステップＳ６０３では、表示制御部２０５が、俯瞰方式の仮想視点画像、すなわち俯瞰画像を表示する。俯瞰画像は、被写体を俯瞰できる位置にある特定の方向を向いた固定された仮想視点を用いて、画像生成装置１０４により生成された仮想視点画像である。この俯瞰画像の表示例を図７（ｄ）に示す。

図７（ｄ）に示されるように、俯瞰画像は、被写体であるフィールドをＺ軸方向から俯瞰した仮想視点画像となる。俯瞰画像には、被写体に含まれる選手やボールも表示される。

ステップＳ６０４では、表示制御部２０５が、俯瞰画像に対するユーザのタップ操作を受け付ける。表示制御部２０５は、タッチ検知部２０３を介して、タップ操作を検知した座標をタップ座標として取得する。タップ操作が検知された場合、ステップＳ６０５へ進む。一方、タップ操作が検知されない場合、ステップＳ６０３に戻って、俯瞰画像の表示を継続する。

ステップＳ６０５では、表示制御部２０５が、ステップＳ６０４で取得されたタップ座標に最も近い仮想視点の座標を、座標３０１ａ〜３０１ｍから選択する。そして、その仮想視点を基点として生成された仮想視点画像へ表示切替する。例えば、タップ座標が座標３０１ｆに最も近いと判定された場合、座標３０１ｆを基点とする仮想視点画像へ表示切替する。ステップＳ６０５での表示切替の後、ステップＳ６０６へ進む。

ここで、図７（ｆ）は、ステップＳ６０５で表示切替された後に表示される別の仮想視点画像の例を示す。ここで、仮想視点画像が座標３０１ｆを基点とするパノラマ画像である場合、図７（ｆ）に示されるような、座標３０１ｆのゴール前付近からゴール方向を閲覧している画像がその一例となる。

なお、ステップＳ６０５において、別の仮想視点画像へ表示切替した時に、初期値として表示する方向は、表示切替前と同じ方向に設定してもよいし、仮想視点画像毎に方向の初期値を設定してもよい。図７（ｂ）の仮想視点画像から図７（ｆ）の仮想視点画像への表示切替では、切替前と同じ方向であるゴール方向を初期値に設定した例となる。

ステップＳ６０６では、表示制御部２０５は、表示切替処理を終了するか否かを判定する。例えば、仮想視点画像の表示自体を終了する操作が入力された場合や、画像表示装置１２１の電源がオフにされた場合、処理を終了する。表示切替処理を終了しない場合、ステップＳ６０１に戻って、一連の処理を継続する。

以上のような処理により、横方向の回転操作により、表示中の仮想視点画像の閲覧方向を変更することや、下方向の回転操作により、別の仮想視点画像へ表示切替することができる。従って、仮想視点画像を閲覧中に、俯瞰画像を用いて、別の位置を基点とする異なる仮想視点画像へとように表示切替すること可能となる。

なお、ステップＳ６０３での俯瞰画像の表示中に上方向の回転操作が検知された場合、俯瞰画像を表示する前に表示していた仮想視点画像へ戻るように表示切替するように構成してもよい。なお、戻る操作は回転操作に限定されなるものではない。

以上説明したように、本実施形態によれば、画像表示装置に対する回転操作の種類に応じて、１つの仮想視点画像の任意方向を閲覧することができると共に、俯瞰画像を表示することもできる。そして、俯瞰画像に対する選択操作によって、別の仮想視点画像へ容易に表示切替することができる。

俯瞰画像は固定画像ではなく、被写体を俯瞰する仮想視点を用いた仮想視点画像であるため、例えばフィールド上の選手やボールも動く状態で表示される。よって、本実施形態における俯瞰画像を使用することで、ユーザは見たい位置を直感的に選択することが可能となる。例えば、画像表示装置を用いてオリンピック等のスタジアム内で複数競技が同時に行われるスポーツを観戦する時に、俯瞰画像を用いて進行中の競技が行われている位置を容易に選択でき、複数の仮想視点画像を表示切替しながら閲覧することができる。

（実施形態３）
本実施形態では、物理操作として回転操作を用いた表示切替処理を説明する。具体的には、回転操作の回転方向に応じて、仮想視点画像の表示方向の変更処理と、複数の仮想視点画像から仮想視点画像を選択するためのリストへの表示切替処理とを選択的に行う例を説明する。本実施形態では、俯瞰画像に代えてリストを用いて別の仮想視点画像への表示切替を行う点で実施形態２とは異なっている。

また、本実施形態では、複数の仮想視点操作部１０６ａ〜１０６ｍとして、被写体に含まれる人物や物体が装着する位置測位タグを使用する。そして、それらから取得した複数の座標を基点として、生成される複数の仮想視点画像の表示切替を行う。そして、複数の仮想視点画像から１つを選択するために、基点となった人物や物体の画像等をリスト表示する。

なお、位置測位タグが計測した座標に、規定値を足した座標を生成に使用してもよい。例えば、Ｚ軸方向に既定値を足加算し、各オブジェクトの頭上を基点として使用してもよい。

本実施形態に係る仮想視点画像表示システム及び画像表示装置の構成は実施形態１で説明した構成と同様であるため、説明を省略する。

＜処理＞
本実施形態に係る表示切替処理は、実施形態２と基本的に同様となるため、図６のフローチャートを参照しながら、主に差異部分を説明する。実施形態２との主な差異部分は、複数の仮想視点画像から１つを選択するために、俯瞰画像に代えてリストを用いる点である。

ステップＳ６０１及びステップＳ６０２の処理については、表示制御部２０５は実施形態２と同様の処理を行う。これらの処理により、回転操作によって仮想視点画像を閲覧することができる。

以降、仮想視点画像の閲覧中に、下方向の回転操作の検知に応じてリストを表示し、当該リストを用いて、別の仮想視点画像へと表示切替する手順を説明する。

ステップＳ６０３では、表示制御部２０５が、下方向の回転操作を検知した場合に、リストを表示する。リストの表示例を図８（ａ）に示す。図８（ａ）は、位置測位タグを装着中の人物や物体の画像及び識別名が一覧に表示されたリストである。例えば、被写体がプロサッカーの試合が行われるスタジアムである場合は、選手やボールの画像や名前がリスト表示される。

ステップＳ６０４では、表示制御部２０５が、表示中のリストに対するタップ操作を受ける。表示制御部２０５は、タッチ検知部２０３を介して、タップ操作を検知した座標をタップ座標として取得する。そして、そのタップ座標にあるリスト項目が選択されたと判定する。ステップＳ６０５では、ステップＳ６０４で選択されたリスト項目に対応する位置（例えば選択された選手の位置）を基点とする別の仮想視点画像へと表示切替する。その後、ステップＳ６０６へ進む。

別の仮想視点画像へ表示切替した後は、ステップＳ６０６を介してＳ６０１に戻り、横方向の回転操作により、表示中の仮想視点画像の閲覧方向を変更することや、下方向の回転操作により、さらに別の仮想視点画像へ表示切替することができる。

なお、本実施形態では、複数の仮想視点操作部１０６ａ〜１０６ｍとして、被写体に含まれる人物や物体が装着する位置測位タグを使用し、これらを用いて生成された複数の仮想視点画像の表示切替にリストを使用する例を説明した。しかし、リスト表示に代えて俯瞰画像を使用してもよい。すなわち、位置測位タグ及び俯瞰画像の組み合わせであってもよい。

その場合は、図３（ｂ）に示した仮想視点の座標３０１ａ〜３０１ｍが選手やボールの動きに合わせて移動することになる。仮想視点の位置が移動した場合であっても、実施形態２で説明した表示切替処理を適用することができる。

以上説明したように、本実施形態によれば、画像表示装置に対する回転操作の種類に応じて、１つの仮想視点画像の任意方向を閲覧することができると共に、リストを表示することもできる。そして、リストに対する選択操作によって、別の仮想視点画像へ容易に表示切替することができる。

また、本実施形態によれば、例えばスタジアムにおけるプロサッカーの試合を観察対象とした場合に、動く選手やボールを基点とした複数の仮想視点画像を切替表示しながら、試合を閲覧することができる。選手やボールの名前や画像が選択項目になるため、見たい選手を簡単に選択できる。また、各選手の目線に近い仮想視点画像を見ることができるため、スポーツのシーン分析等にも使用することができる。

（実施形態４）
本実施形態では、実施形態２及び実施形態３で説明した画像表示装置１２１を用いて、仮想視点画像の表示状況に関する情報を収集し、その集計結果を表示切替処理時の選択に使用する例を説明する。

複数の画像表示装置１２１ａ〜１２１ｎは、タブレットやスマートフォン等であって、ネットワークを介して配信サーバ１２０から複数の仮想視点画像を取得する。

本実施形態では、各画像表示装置１２１において、どの仮想視点画像を表示しているか等の表示状況に関する情報を、配信サーバ１２０へ送信することで、配信サーバ１２０が情報を収集する。なお、情報の収集は、配信サーバ１２０で行ってもよいし、別の集計サーバ（不図示）を配置して、集計サーバで行ってもよい。

各画像表示装置１２１は、集計結果を配信サーバ１２０から取得し、実施形態２で説明した俯瞰画像や、実施形態３で説明したリストへ重畳表示する。集計結果の重畳表示例を図８（ｂ）及び図８（ｃ）に示す。

図８（ｂ）は、リストに対して集計結果を重畳表示したものである。複数の仮想視点画像の基点となる人物やボールの画像付近に、該当する集計結果を表示する。

例えば、選手Ａの欄には、選手Ａの位置測位タグから得られる座標を基点とする仮想視点画像の閲覧数が表示される。例えば４Ｋ（４０００）等の閲覧数が表示される。その他の選手Ｂ〜選手Ｍについても同様である。図中、ボール及び選手Ａ〜Ｄまで表示されているが、スライダを操作することで選手Ｍまで表示可能である。

図８（ｃ）は、俯瞰画像に対して集計結果を重畳表示したものである。複数の仮想視点画像の基点座標の周辺に、該当する集計結果を表示する。例えば、座標３０１ａの周辺には、座標３０１ａを起点とする仮想視点画像の閲覧数が表示される。その他の座標３０１ｂ〜３０１ｍについても同様である。なお、閲覧数は現時点の閲覧数でもよいし、のべ数であってもよい。

以上説明したように、本実施形態によれば、複数の仮想視点画像を表示する画像表示装置において、仮想視点画像毎に閲覧数等の表示状況を容易に把握することができる。そのため、ユーザは閲覧数の多い仮想視点画像を一目で把握できるようになり、それを優先的に選択して視聴することができるようになる。

（実施形態５）
本実施形態では、画像表示装置１２１が、仮想視点画像の表示に加えて、仮想視点画像の生成に使用する仮想視点の操作も行う例を説明する。

図１（ａ）の仮想視点画像表示システムにおいて、画像表示装置１２１と仮想視点操作部１０６とは別のデバイスであるが、本実施形態では、同じ１つのデバイスとして使用する。

なお、この１つのデバイスとしてタブレットやＨＭＤ等を使用するが、デバイスの種類はこれらに限定されない。

＜仮想視点画像表示システムの構成＞
図９を参照しながら、本実施形態に係る仮想視点画像表示システムの構成例を説明する。図９の例では、図１（ａ）の仮想視点画像表示システムと比べると、仮想視点操作部１０６ａ〜１０６ｍが存在せず、その代わり、画像表示装置１２１ａ〜１２１ｍが、画像生成装置１０４へ接続して仮想視点に関する情報を送信する構成となっている。なお、画像表示装置１２１ａ〜１２１ｍと画像生成装置１０４とは直接接続されてもよいし、画像表示装置１２１ａ〜１２１ｍと画像生成装置１０４との間に、配信サーバ１２０や接続専用サーバ（不図示）を介して接続されてもよい。その他の構成は、図１（ａ）と同様であるため、説明を省略する。

本実施形態に係る画像表示装置１２１は、実施形態２で説明した仮想視点画像の表示方向の変更処理や、俯瞰画像への切替表示処理を行う。さらに、これらの処理と並行して、仮想視点操作部１０６として、仮想視点の操作を行い、仮想視点に関する情報を画像生成装置１０４へ通知する。

本実施形態では、画像表示装置１２１を仮想視点操作部１０６として使用する際の表示画面として、図７（ｄ）のような俯瞰画像を用いる。この俯瞰画像を用いて、仮想視点を操作する。

なお、画像表示装置１２１を仮想視点操作部１０６として使用する設定は、図１（ａ）を参照して説明した生成内容指定部１０５により行うことができる。

＜処理＞
本実施形態に係る表示切替処理は、実施形態２と基本的に同様となるため、図６のフローチャートを参照しながら、主に差異部分を説明する。実施形態２との主な差異部分は、Ｓ６０５において、俯瞰画像に対するタップ操作に対応するタップ座標に最も近い位置にある別の仮想視点画像を探し、仮想視点画像へ表示切替する処理を行わない点である。

本実施形態では、俯瞰画像に対するタップ操作を受け付けた時に、直前に表示していた仮想視点画像を、タップ座標を新たに基点とする仮想視点画像へ更新する。言い換えると、仮想視点の位置をタップ座標に対応する位置に移動させる。

ステップＳ６０１乃至ステップＳ６０４の処理については、表示制御部２０５は、実施形態２と同様の処理を行う。これらの処理では、回転操作に基づいて、仮想視点画像の表示方向の変更処理や、俯瞰画像への表示切替処理を行う。また、俯瞰画像に対するタップ操作を受け付ける。

ステップＳ６０３及びステップＳ６０４において俯瞰画像を表示し、タップ操作を受ける間は、画像表示装置１２１が仮想視点操作部１０６として機能することになる。ステップＳ６０４では、表示制御部２０５は、俯瞰画像に対するタップ操作を受け付け、タッチ検知部２０２を介してタップ座標を取得する。そして、仮想視点操作部１０６として、当該タップ座標を画像生成装置１０４へ送信する。画像生成装置１０４は、画像表示装置１２１から取得したタップ座標を基点として仮想視点画像を生成する。

ステップＳ６０５では、表示制御部２０５は、画像取得部２０３を介して画像生成装置１０４から取得された仮想視点画像を表示するように表示内容を更新する。

これらの処理を繰り返すことで、横方向の回転操作によって、仮想視点画像の表示方向を変更しながら、下方向の回転操作によって俯瞰画像を表示し、俯瞰画像に対するタップ操作によって、表示中の仮想視点画像の位置を移動させることができる。

以上説明したように、本実施形態によれば、画像表示装置１２１及び仮想視点操作部１０６を１つのデバイスとして使用することで、仮想視点画像を閲覧するユーザが、閲覧中の仮想視点画像の位置を任意の位置へ自由に移動させることができる。

（実施形態６）
本実施形態では、画像表示装置１２１において、物理センサ（例えばＧＰＳセンサ）を使用して画像表示装置１２１の移動を検知し、画像表示装置１２１の移動座標に応じた仮想視点画像を表示する例を説明する。

本実施形態に係る仮想視点画像表示システムは、図９を参照して説明した実施形態５の構成と同様である。つまり、画像表示装置１２１は、仮想視点操作部１０６としても使用される。

画像表示装置１２１は、実施形態１で説明した仮想視点画像の表示に加えて、仮想視点操作部１０６として、仮想視点の操作を行い、仮想視点に関する情報を画像生成装置１０４へ通知する。具体的には、画像表示装置１２１は、仮想視点画像を表示しながら、仮想視点操作部１０６としても機能し、画像表示装置１２１の移動座標を画像生成装置１０４へ送信することになる。

なお、画像表示装置１２１を仮想視点操作部１０６として使用する設定は、図１（ａ）を参照して説明した生成内容指定部１０５により行うことができる。

＜処理＞
図１０のフローチャートを参照して、本実施形態に係る画像表示装置１２１が実施する表示切替処理を説明する。実施形態１との主な差異部分は、別の位置にある仮想視点画像へ表示切替するのではなく、閲覧に使用する画像表示装置１２１を移動させることで、閲覧中の仮想視点画像の基点を移動する点である。実施形態１では振動操作を検知したが、本実施形態では移動を検知する。

ステップＳ１００１では、表示制御部２０５が、画像表示装置１２１に対して行われる物理操作の検知結果を、物理操作検知部２０１を介して取得する。表示制御部２０５は、取得した物理操作の検知結果に応じて処理を制御する。本実施形態において物理操作検知部２０１が検知する物理操作の種類は、移動操作、回転操作である。移動操作の検知結果は、仮想視点画像の表示位置を変更するために使用される。回転操作の検知結果は、仮想視点画像の表示方向の変更のために使用される。

このステップＳ１００１において、表示制御部２０５は、物理操作検知部２０１により検知された物理操作が回転操作であるか、移動操作であるかを判定する。検知された物理操作が回転操作である場合、ステップＳ１００２へ進む。一方、検知された物理操作が移動操作である場合、ステップＳ１００３へ進む。

ステップＳ１００２の処理はステップＳ４０２の処理と同様である。ステップＳ１００３では、画像表示装置１２１の移動先の移動座標を取得する。

ステップＳ１００４では、表示制御部２０５は、移動座標が移動可能範囲内にあるか否かを判定する。なお、移動可能範囲は事前に設定しておいてもよい。例えば、被写体が図３（ｂ）に示されるようなスタジアムのフィールドの場合、フィールド内を移動可能範囲として設定することができる。なお、画像表示装置１２１の実際の移動距離が、フィールド内の移動距離と同じである必要はなく、所定の変換を行うように構成してもよい。例えば、実際の移動距離が１ｍである場合、フィールド内の移動距離を１０ｍにするといった具合である。対応付けの方法は任意の方法で行えばよい。移動座標が移動可能範囲内にある場合、ステップＳ１００５へ進む、一方、移動座標が移動可能範囲内にない場合、ステップＳ１００８へ進む。

ステップＳ１００５では、表示制御部２０５は、ステップＳ１００３で取得された移動座標の情報を画像生成装置１０４へ送信する。画像生成装置１０４は、その移動座標を基点とした仮想視点画像を生成する。

ステップＳ１００６では、表示制御部２０５は、画像取得部２０３を介して画像生成装置１０４から取得した仮想視点画像を取得し、取得した仮想視点画像を用いて画像表示部２０４の表示内容を更新する。

ステップＳ１００７では、表示制御部２０５が、移動可能範囲外に移動しようとしていることを画像表示部２０４に表示する。エラー文言を表示してもよいし、移動可能範囲を示すガイドを表示してもよい。ガイドの表示例は、被写体がスタジアムのフィールドの場合、フィールドを俯瞰する俯瞰画像を表示して、フィールド外の領域や、フィールドの外枠ラインを点滅させてもよい。

ステップＳ１００８では、表示制御部２０５は、表示切替処理を終了するか否かを判定する。例えば、仮想視点画像の表示自体を終了する操作が入力された場合や、画像表示装置１２１の電源がオフにされた場合、処理を終了する。表示切替処理を終了しない場合、ステップＳ１００１に戻って、一連の処理を継続する。

以上説明したように、本実施形態によれば、仮想視点画像の任意方向を閲覧するための回転操作と、仮想視点画像の基点を動かすための移動操作とを組み合わせることで、被写体の任意の位置と方向で仮想視点画像を閲覧することができる。

（変形例）
上述の各実施形態の種々の変更又は組み合わせが可能である。例えば、回転操作の検知に基づいて仮想視点画像（例えばパノラマ画像）の表示方向を変更するとともに、振動操作の検知に基づいて、被写体（スタジアム、フィールド、ボールや選手など）を俯瞰する俯瞰画像へ表示内容を切り替えるように構成してもよい。そして、この俯瞰画像に対するタップ操作に基づいて、タップされた座標に応じた仮想視点のパノラマ画像へ表示内容を変更するように構成してもよい。

或いは、回転操作の検知に基づいて仮想視点画像（例えばパノラマ画像）の表示方向を変更するとともに、振動操作の検知に基づいて、被写体（ボールや選手など）の一覧を示すリストへ表示内容を切り替えるように構成してもよい。そして、リストに対する選択操作に基づいて、選択された被写体の座標に応じた仮想視点のパノラマ画像へ表示内容を変更するように構成してもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０４：画像生成装置、１２０：配信サーバ、１２１：画像表示装置、２０１：物理操作検知部、２０４：画像表示部、２０５：表示制御部

Claims (24)

1. 仮想視点画像を表示する画像表示装置であって、
   前記画像表示装置に対する物理操作を検知する検知手段と、
   前記検知手段の検知結果に基づいて、前記画像表示装置の表示内容を制御する制御手段と、を備え、
   前記制御手段は、
   前記仮想視点画像の表示中に、前記検知手段により第１の物理操作が検知された場合、当該第１の物理操作に応じて前記仮想視点画像の表示方向を変更し、
   前記仮想視点画像の表示中に、前記検知手段により第２の物理操作が検知された場合、当該第２の物理操作に応じた表示内容へ変更することを特徴とする画像表示装置。
2. 前記第２の物理操作は、前記画像表示装置を振動させる振動操作であり、
   前記制御手段は、前記検知手段により前記振動操作が検知された場合、表示中の仮想視点画像から、別の仮想視点の位置に対応する別の仮想視点画像へ表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
3. 前記仮想視点画像は、パノラマ形式の仮想視点画像であるパノラマ画像であり、
   前記制御手段は、前記パノラマ画像の表示中に、前記検知手段により前記振動操作が検知された場合、表示中の前記パノラマ画像の表示方向に存在する別の仮想視点の位置に対応する別のパノラマ画像へ前記表示内容を変更することを特徴とする請求項２に記載の画像表示装置。
4. 前記制御手段は、表示中の前記パノラマ画像の表示方向を、前記別のパノラマ画像の表示方向の初期値に設定することを特徴とする請求項３に記載の画像表示装置。
5. 前記制御手段は、前記別の仮想視点画像の表示方向を予め設定された初期値に設定することを特徴とする請求項３に記載の画像表示装置。
6. 前記制御手段は、表示中の前記パノラマ画像の表示方向に別の仮想視点が存在しない場合、パノラマ画像を表示可能な仮想視点が存在する方向をガイドするガイド表示を行うことを特徴とする請求項３乃至５の何れか１項に記載の画像表示装置。
7. 前記第１の物理操作は、前記画像表示装置を回転させる回転操作であることを特徴とする請求項１乃至６の何れか１項に記載の画像表示装置。
8. 前記第１の物理操作は、前記画像表示装置を第１の方向に回転させる第１の回転操作であり、
   前記第２の物理操作は、前記画像表示装置を第２の方向に回転させる第２の回転操作であり、
   前記仮想視点画像は、パノラマ形式の仮想視点画像であるパノラマ画像であり、
   前記制御手段は、
   前記パノラマ画像の表示中に、前記検知手段により第１の回転操作が検知された場合、回転方向に応じて前記パノラマ画像の表示方向を変更し、
   前記パノラマ画像の表示中に、前記検知手段により前記第２の回転操作が検知された場合、被写体を俯瞰する仮想視点画像である俯瞰画像へ前記表示内容を変更し、
   前記制御手段は、前記俯瞰画像に対するタップ操作に基づいて、タップされた座標に応じた仮想視点のパノラマ画像へ前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
9. 前記第１の物理操作は、前記画像表示装置を第１の方向に回転させる第１の回転操作であり、
   前記第２の物理操作は、前記画像表示装置を第２の方向に回転させる第２の回転操作であり、
   前記仮想視点画像は、パノラマ形式の仮想視点画像であるパノラマ画像であり、
   前記制御手段は、
   前記パノラマ画像の表示中に、前記検知手段により前記第１の回転操作が検知された場合、回転方向に応じて前記パノラマ画像の表示方向を変更し、
   前記パノラマ画像の表示中に、前記検知手段により前記第２の回転操作が検知された場合、被写体の一覧を示すリストを表示し、
   前記制御手段は、前記リストに対する選択操作に基づいて、選択された被写体の座標に応じた仮想視点のパノラマ画像へ前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
10. 前記画像表示装置は、表示中の仮想視点画像に関する表示状況をサーバへ送信する送信手段をさらに備え、
    前記制御手段は、前記サーバで集計された複数の画像表示装置による表示状況の集計結果を取得し、前記リストに対して前記集計結果を重畳して表示することを特徴とする請求項９に記載の画像表示装置。
11. 前記画像表示装置は、表示中の仮想視点画像に関する表示状況をサーバへ送信する送信手段をさらに備え、
    前記制御手段は、前記サーバで集計された複数の画像表示装置による表示状況の集計結果を取得し、前記俯瞰画像に対して前記集計結果を重畳して表示することを特徴とする請求項８に記載の画像表示装置。
12. 前記サーバは、前記画像表示装置が表示する仮想視点画像を前記画像表示装置へ配信する配信サーバであることを特徴とする請求項１０又は１１に記載の画像表示装置。
13. 前記サーバは、前記画像表示装置が表示する仮想視点画像を前記画像表示装置へ配信する配信サーバとは異なる集計サーバであることを特徴とする請求項１０又は１１に記載の画像表示装置。
14. 前記俯瞰画像に対するタップ操作に基づいて、前記仮想視点画像の生成に使用される仮想視点を操作する操作手段をさらに備え、
    前記制御手段は、前記操作手段により操作された仮想視点の位置に基づいて生成された仮想視点画像へ、前記表示内容を変更することを特徴とする請求項８に記載の画像表示装置。
15. 前記第２の物理操作は、前記画像表示装置を移動する移動操作であり、
    前記制御手段は、前記検知手段により前記移動操作が検知された場合、前記画像表示装置の移動座標に基づいて生成された仮想視点画像へ、前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
16. 前記第１の物理操作は、前記画像表示装置を回転させる回転操作であり、
    前記第２の物理操作は、前記画像表示装置を振動させる振動操作であり、
    前記仮想視点画像は、パノラマ形式の仮想視点画像であるパノラマ画像であり、
    前記制御手段は、
    前記パノラマ画像の表示中に、前記検知手段により前記回転操作が検知された場合、回転方向に応じて前記パノラマ画像の表示方向を変更し、
    前記パノラマ画像の表示中に、前記検知手段により前記振動操作が検知された場合、被写体を俯瞰する仮想視点画像である俯瞰画像へ前記表示内容を変更し、
    前記制御手段は、前記俯瞰画像に対するタップ操作に基づいて、タップされた座標に応じた仮想視点のパノラマ画像へ前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
17. 前記第１の物理操作は、前記画像表示装置を回転させる回転操作であり、
    前記第２の物理操作は、前記画像表示装置を振動させる振動操作であり、
    前記仮想視点画像は、パノラマ形式の仮想視点画像であるパノラマ画像であり、
    前記制御手段は、
    前記パノラマ画像の表示中に、前記検知手段により前記回転操作が検知された場合、回転方向に応じて前記パノラマ画像の表示方向を変更し、
    前記パノラマ画像の表示中に、前記検知手段により前記振動操作が検知された場合、被写体の一覧を示すリストを表示し、
    前記制御手段は、前記リストに対する選択操作に基づいて、選択された被写体の座標に応じた仮想視点のパノラマ画像へ前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
18. 前記制御手段は、前記仮想視点画像の表示中に、前記検知手段により前記第２の物理操作が検知された場合、当該第２の物理操作に応じた別の仮想視点画像を表示することを特徴とする請求項１に記載の画像表示装置。
19. 前記制御手段は、前記仮想視点画像の表示中に、前記検知手段により前記第２の物理操作が検知された場合、被写体を俯瞰する仮想視点画像である俯瞰画像へ前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
20. 前記制御手段は、前記俯瞰画像に対するタップ操作に基づいて、タップされた座標に応じた仮想視点画像へ前記表示内容を変更することを特徴とする請求項１９に記載の画像表示装置。
21. 前記制御手段は、前記仮想視点画像の表示中に、前記検知手段により前記第２の物理操作が検知された場合、被写体の一覧を示すリストへ前記表示内容を変更することを特徴とする請求項１に記載の画像表示装置。
22. 前記制御手段は、前記リストに対する選択操作に基づいて、選択された被写体の座標に応じた仮想視点画像へ前記表示内容を変更することを特徴とする請求項２１に記載の画像表示装置。
23. 仮想視点画像を表示する画像表示装置の制御方法であって、
    前記画像表示装置に対する物理操作を検知する検知工程と、
    前記検知工程での検知結果に基づいて、前記画像表示装置の表示内容を制御する制御工程と、を有し、
    前記制御工程では、
    前記仮想視点画像の表示中に、第１の物理操作が検知された場合、当該第１の物理操作に応じて前記仮想視点画像の表示方向を変更し、
    前記仮想視点画像の表示中に、第２の物理操作が検知された場合、当該第２の物理操作に応じた表示内容へ変更することを特徴とする画像表示装置の制御方法。
24. コンピュータを、請求項１乃至２２の何れか１項に記載の画像表示装置の各手段として機能させるためのプログラム。

Images