JP2020113314A - 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Abstract

【課題】ユーザが容易に表示範囲を移動させることができる情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法を提供する。【解決手段】第１表示範囲設定手段は、センサから出力されるデータに基づいて算出された可搬型の表示装置の姿勢および操作手段に対する操作に応じて、表示対象画像に対してその一部を当該表示装置に表示する第１表示範囲を設定する。第１表示制御手段は、表示対象画像において、第１表示範囲内の画像を可搬型の表示装置に表示する。【選択図】図６

Description

本発明は、情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法に関し、特に例えば、可搬型ディスプレイに画像の一部を表示する情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法に関する。

可搬型ディスプレイにその動きや姿勢に応じて仮想空間の一部を表示する技術がある（例えば、特許文献１参照）。

特開平９−３０５７８８号公報

しかしながら、上記特許文献１に記載の技術は、可搬型ディスプレイの動きや姿勢によって表示する範囲が決定されるため、ユーザが所望する表示範囲を表示するためには、ユーザが困難な姿勢となって可搬型ディスプレイを操作することが必要となることがある。

それ故に、本発明の目的は、ユーザが容易に表示範囲を移動させることができる情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理プログラムの一構成例は、可搬型の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサおよびユーザ操作入力が可能な操作手段を備える当該可搬型の表示装置に少なくとも画像を表示する情報処理装置に含まれるコンピュータで実行される。情報処理プログラムは、第１表示範囲設定手段、および第１表示制御手段として、コンピュータを機能させる。第１表示範囲設定手段は、センサから出力されるデータに基づいて算出された可搬型の表示装置の姿勢および操作手段に対する操作に応じて、表示対象画像に対してその一部を当該表示装置に表示する第１表示範囲を設定する。第１表示制御手段は、表示対象画像において、第１表示範囲内の画像を可搬型の表示装置に表示する。

上記「情報処理装置」は、可搬型の表示装置とは別の装置によって構成されてもよいし、当該表示装置が情報処理機能を有する場合には当該表示装置によって構成されてもよい。また、前者の場合、「別の装置」によって本発明の各処理を実行し、可搬型の表示装置は「別の装置」によって生成された画像を表示処理するのみでもよいし、可搬型の表示装置が情報処理機能を有する場合には、当該表示装置の情報処理機能と「別の装置」の情報処理機能との協働により実現してもよい。また、「別の装置」は複数の情報処理装置によって分散処理するものであってもよい。

上記によれば、可搬型の表示装置本体の動きまたは姿勢に応じて表示範囲が変化するとともに、操作手段に対する操作でも当該表示範囲が変化するため、表示対象画像に対して容易に表示範囲を移動させることができる。

また、上記第１表示範囲設定手段は、姿勢表示範囲設定手段および表示範囲オフセット手段を含んでもよい。姿勢表示範囲設定手段は、センサから出力されるデータに基づいて算出された可搬型の表示装置の姿勢に応じて、第１表示範囲を設定する。表示範囲オフセット手段は、操作手段に対する操作に応じて、表示対象画像に対して姿勢表示範囲設定手段によって設定された第１表示範囲をオフセットする。この場合、第１表示制御手段は、表示対象画像において、オフセットされた第１表示範囲内の画像を可搬型の表示装置に表示してもよい。

上記によれば、可搬型の表示装置本体の動きまたは姿勢に応じて表示範囲が変化するとともに、操作手段に対する操作でも当該表示範囲がオフセットされるため、表示対象画像に対して容易に表示範囲を移動させることができる。

また、上記操作手段は、少なくとも２方向への方向指示操作が可能な方向指示手段を含んでもよい。この場合、上記表示範囲オフセット手段は、方向指示手段に対する方向指示操作によって指示された方向に第１表示範囲をオフセットしてもよい。

上記によれば、方向指示手段に対する操作によって表示範囲がオフセットされる方向が設定されるため、表示範囲をオフセットする方向を制御するための操作を直感的に行うことができる。

また、上記情報処理プログラムは、仮想カメラ設定手段として、コンピュータを機能させてもよい。仮想カメラ設定手段は、その視野の少なくとも一部が第１表示範囲として設定される仮想カメラを、仮想空間内に設定する。この場合、上記姿勢表示範囲設定手段は、可搬型の表示装置の姿勢に応じて、仮想カメラの姿勢を変化させることによって第１表示範囲を設定してもよい。上記表示範囲オフセット手段は、方向指示手段に対する方向指示操作によって指示された方向に仮想カメラの視線方向を変化させることによって第１表示範囲をオフセットしてもよい。

上記によれば、仮想カメラの姿勢を制御することによって、容易に表示範囲を移動させることができる。

また、上記表示範囲オフセット手段は、方向指示手段に対する方向指示操作が行われていない場合、第１表示範囲をオフセットする量を０にしてもよい。

上記によれば、方向指示手段に対する操作を止めることによって、可搬型の表示装置本体の動きまたは姿勢のみによって表示範囲を移動させることができ、容易に表示範囲のオフセットを無効にすることができる。

また、上記方向指示手段は、方向指示操作の際、方向とともに当該方向に対する大きさを同時に指示することが可能であってもよい。この場合、上記表示範囲オフセット手段は、方向指示手段に対する方向指示操作によって指示された大きさに応じたオフセット量だけ当該指示された方向へ第１表示範囲をオフセットしてもよい。

上記によれば、アナログスティックやタッチパネル等を方向指示手段として用いる場合に、傾倒方向および傾倒角度やタッチ方向およびタッチ位置に応じた長さ等に基づいてオフセットする方向および量を設定することができるため、直感的な操作で容易にオフセット方向および量を制御することができる。

また、上記方向指示手段は、所定部材を中立状態から傾倒させることによって当該中立状態からの傾倒方向と当該中立状態からの傾倒角度とを同時に指示することが可能であってもよい。この場合、上記表示範囲オフセット手段は、傾倒角度に応じたオフセット量だけ当該傾倒方向に応じた方向へ第１表示範囲をオフセットしてもよい。

上記によれば、アナログスティック等を方向指示手段として用いる場合に、直感的な操作で容易にオフセット方向および量を制御することができる。また、中立状態からの傾倒角度によってオフセット量が設定されるため、当該中立状態から傾倒角度を漸増的に大きくするまたは漸減的に小さくするような操作を行うことによって、当該傾倒角度の拡大または縮小に応じて徐々に表示範囲をオフセットして移動させることができる。

また、上記表示範囲オフセット手段は、方向指示手段に対する方向指示操作が行われている継続時間に応じたオフセット量だけ当該指示された方向へ第１表示範囲をオフセットしてもよい。

上記によれば、方向指示キー（例えば、十字キーや左ボタンおよび右ボタン）等を方向指示手段として用いる場合に、操作する方向指示キーによってオフセット方向の制御ができると同時に、方向指示キーの操作を継続している時間によってオフセット量も制御することができる。また、操作を開始してからの操作継続時間に応じてオフセット量が設定されるため、当該操作継続時間の経過に応じて徐々に表示範囲をオフセットして移動させることができる。

また、上記情報処理プログラムは、第２表示範囲設定手段および第２表示制御手段として、コンピュータを機能させてもよい。第２表示範囲設定手段は、表示対象画像に対してその少なくとも一部を据置型の表示装置に表示する第２表示範囲を設定する。第２表示制御手段は、表示対象画像において、第２表示範囲内の画像を据置型の表示装置に表示する。この場合、上記第１表示範囲設定手段および上記第２表示範囲設定手段は、据置型の表示装置と可搬型の表示装置との実空間における位置関係に応じて、第１表示範囲と第２表示範囲とをそれぞれ設定してもよい。

上記によれば、表示対象画像によって形成されている空間を、複数の表示装置を介して覗いているかのような画像を表示することができる。

また、上記表示範囲オフセット手段は、表示対象画像の視野角において、第１表示範囲のオフセットを可能とするオフセット量を１８０°未満としてもよい。

上記によれば、表示範囲をオフセットすることにより、表示される表示対象画像に対する方向感覚が失われることが考えられるが、表示範囲をオフセットする量を制限することによって方向感覚が失われることを防止することができる。

また、上記表示対象画像は、所定の仮想空間内を示す画像、かつ、第１表示範囲の視野角より広い画像であってもよい。

上記によれば、視野角が相対的に広い仮想世界の一部を可搬型の表示装置に表示する場合に、可搬型の表示装置に表示する表示範囲を容易に移動させることができる。

また、上記表示対象画像は、実空間が撮像された画像、かつ、第１表示範囲の視野角より広いパノラマ画像であってもよい。

上記によれば、現実世界を撮像したパノラマ画像の一部を可搬型の表示装置に表示する場合に、可搬型の表示装置に表示する表示範囲を容易に移動させることができる。

上記表示対象画像は、上下方向と左右方向のうち一方方向について視野角が１８０°以上の仮想空間画像またはパノラマ画像であることが好ましい。さらに好ましくは、一方方向について３６０°の仮想空間画像またはパノラマ画像であることが好ましい。また、他方方向については、可搬型の表示装置に表示する画像の視野角以上であることが好ましく、さらに言うと、当該画像の視野角の２倍以上、１２０°以上、１５０°以上、または、１８０°であることが好ましい。またパノラマ画像は、情報処理装置が有する撮像機能により撮像された画像であってもいいし、当該画像の撮像機能を有する他の装置により撮像された画像を所定の記憶媒体やネットワークを介して取り込んだ画像でもよい。

また、上記第１表示範囲設定手段は、操作手段のうち、可搬型の表示装置を把持した場合に、当該把持しているユーザが操作可能な操作手段に対する操作に応じて、第１表示範囲を設定してもよい。

上記によれば、第１表示範囲を設定するための操作が容易となる。

また、上記ユーザが操作可能な操作手段は、可搬型の表示装置の両端をユーザが両手で把持した場合、当該把持しているユーザの何れかの指で操作可能であってもよい。

上記によれば、可搬型の表示装置を把持した指で容易に操作することができる。

また、本発明は、上記各手段を備える情報処理装置および情報処理システムや上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

本発明によれば、可搬型の表示装置本体の動きまたは姿勢に応じて表示範囲が変化するとともに、操作手段に対する操作でも当該表示範囲が変化するため、表示対象画像に対して容易に表示範囲を移動させることができる。

情報処理システム１の一例を示すブロック図 端末装置２の外観の一例を示す正面図 端末装置２の外観の一例を示す背面図 情報処理システム１において表示されるパノラマ動画（画像）の一例を示す図 端末装置２の姿勢および方向指示に応じて表示範囲を決定する方法の一例を示す図 端末装置２の姿勢に応じて表示範囲が決定される一例を示す図 端末装置２の方向指示に応じて表示範囲が決定される一例を示す図 情報処理装置３のメモリ６に記憶される主なデータおよびプログラムの一例を示す図 情報処理装置３において実行される処理の前半の一例を示すフローチャートを示す図 情報処理装置３において実行される処理の後半の一例を示すフローチャートを示す図

図１を参照して、本実施形態の一例に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについて説明する。なお、図１は、据置型の情報処理装置３を含む情報処理システム１の一例を示すブロック図である。一例として、情報処理装置３は据置型のゲーム装置で構成され、情報処理システム１は当該ゲーム装置を含むゲームシステムで構成される。

図１において、情報処理システム１は、端末装置２、情報処理装置３、およびモニタ４を備える。本実施形態における情報処理システム１は、画像（パノラマ画像）を生成して表示装置（端末装置２および／またはモニタ４）に表示するものである。

情報処理システム１においては、端末装置２に対する入力に応じて情報処理装置３が情報処理を実行し、実行の結果得られた画像が端末装置２および／またはモニタ４に表示される。このように、本実施形態においては、情報処理システム１は、入力機能、情報処理機能、および表示機能が複数の装置によって実現される構成である。なお、他の実施形態においては、情報処理システム１は、これらの機能を有する単一の情報処理装置（例えば携帯型あるいは可搬型の情報処理装置）で構成されてもよい。

端末装置２は、ユーザが把持可能な（可搬型の）入力装置である。端末装置２は、情報処理装置３と通信可能である。端末装置２は、端末装置２に対する操作を表す操作データを情報処理装置３へ送信する。また、本実施形態においては、端末装置２は、表示部（ＬＣＤ１１）を備えており、端末装置２は表示装置でもある。情報処理装置３から画像が送信されてくる場合、端末装置２は、ＬＣＤ１１に当該画像を表示する。

また、端末装置２は、入力部としてタッチパネル１２を備える。タッチパネル１２は、ハウジングに設けられる所定の入力面（表示部の画面）に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置２は、入力部として操作部１３を備える。

図２Ａおよび図２Ｂに示すように、一例として、端末装置２の操作部１３は、方向指示部を含んでいる。具体的には、方向指示部は、左アナログスティック１３Ａ、右アナログスティック１３Ｂ、十字キー１３Ｃ、Ｌボタン１３Ｄ、Ｒボタン１３Ｅ、ＺＬボタン１３Ｆ、およびＺＲボタン１３Ｇの少なくとも１つ等によって構成される。例えば、左アナログスティック１３Ａおよび右アナログスティック１３Ｂは、スティックを倒した方向に応じて全方向に対する方向指示が可能である、また、十字キー１３Ｃは、キーを押下した方向に応じて８方向に対する方向指示が可能である。また、Ｌボタン１３ＤとＲボタン１３Ｅとの組やＺＬボタン１３ＦとＺＲボタン１３Ｇとの組は、押下したボタンによって左右方向に対する方向指示が可能である。なお、方向指示部は、タッチパネル１２やタッチパッドによって構成されてもよい。例えば、タッチパネル１２やタッチパッドは、入力面における基準位置（例えば、入力面の中心）に対してタッチパネル１２やタッチパッドをタッチ操作している方向によって方向指示することが可能であるし、入力面上をスライドするようにタッチ操作することによって当該スライド方向を方向指示することも可能である。さらに、操作部１３は、上記方向指示とは異なる指示のための操作ボタン等を備えていてもよい。また、方向指示部は、端末装置２の両端を両手で把持した場合、当該把持している何れかの指で操作可能な位置に設けられた操作手段であることが好ましい。

また、端末装置２は、入力部として加速度センサ１４を備える。加速度センサ１４は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）に関する加速度を検出する。また、端末装置２は、入力部としてジャイロセンサ１５を備える。ジャイロセンサ１５は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）を軸とした回転に関する角速度を検出する。加速度センサ１４およびジャイロセンサ１５は、端末装置２の姿勢を算出するための情報（姿勢を算出あるいは推定可能な情報）を検出するセンサである。なお、他の実施形態においては、端末装置２の姿勢はどのような方法で算出されてもよく、上記センサ以外の他のセンサや端末装置２を撮影可能なカメラを用いて端末装置２の姿勢が算出されてもよい。

情報処理装置３は、画像を生成する処理等、情報処理システム１において実行される各種の情報処理を実行する。本実施形態においては、情報処理装置３は、ＣＰＵ（制御部）５およびメモリ６を有し、ＣＰＵ５がメモリ６を用いて所定の情報処理プログラムを実行することによって、情報処理装置３における各種機能が実現される。なお、情報処理装置３は、上記の情報処理を実行することができればどのような構成であってもよい。本実施形態においては、情報処理装置３によって画像（パノラマ画像）が生成され、生成された画像は、表示装置である端末装置２および／またはモニタ４へ出力される。

モニタ４は、生成された画像を表示し生成された音声を出力する表示装置の一例である。モニタ４は、情報処理装置３から送信されるデータを受信可能である。情報処理装置３において生成された画像がモニタ４へ送信されてくると、モニタ４は当該画像を表示する。

次に、情報処理システム１において実行される、パノラマ動画を再生する処理について説明する。図３は、情報処理システム１において表示されるパノラマ動画（画像）の一例を示す図である。図３に示すように、本実施形態においては、端末装置２およびモニタ４にパノラマ画像が表示される。なお、他の実施形態においては、パノラマ画像は少なくとも１つの表示装置に表示されればよい。

ここで、パノラマ画像とは、表示装置に表示される画像の視野角よりも広い視野角の画像である。つまり、パノラマ画像は、基本的にはその一部領域の画像が表示装置に表示される（ただし、本実施形態のように複数の表示装置が用いられる場合には、一部の表示装置においてパノラマ画像の全体が表示されてもよい。）。パノラマ画像は、表示範囲が変化することによって視線の方向が変化する画像であるとも言える。本実施形態においては、上下左右方向に関して全方向（３６０°）の視野角を有するパノラマ画像が用いられる（図４参照）。ただし、パノラマ画像には死角があってもよく、例えば視野角が１８０°程度であってもよい。また、本実施形態においては、パノラマ画像はカメラによって撮影された実画像（実写画像）であるが、その一部または全部が仮想画像（ＣＧ画像）であってもよい。

本実施形態においては、表示装置（端末装置２およびモニタ４）には、パノラマ動画の再生の進行にしたがって、記憶されているパノラマ動画の各フレームとなるパノラマ画像が所定時間毎に読み出されて順次表示され、パノラマ画像が表示装置に逐次表示されることによって、パノラマ動画が再生される。具体的には、パノラマ動画を構成する複数のパノラマ画像にはそれぞれフレーム番号が付されており、パノラマ画像がフレーム番号順に表示される。一例として、視点を時間経過につれて所定空間（例えば、現実世界）内を移動させながら撮像したパノラマ動画を表示する場合、当該パノラマ動画を再生する時間経過に伴って視点が移動するパノラマ動画が再生される。例えば、図３に示すように、道路上から周囲を見たパノラマ画像が表示され、道路を進んでいく（視点が道路に沿って移動する）パノラマ動画が再生される。他の例として、所定空間内を移動することなく撮像（すなわち、定点撮像）したパノラマ動画を表示する場合、当該パノラマ動画を再生する時間経過に伴って視点周辺の様子が変化していくようなパノラマ動画が再生される。

図３に示すように、各表示装置（端末装置２およびモニタ４）には、パノラマ画像の一部の範囲が表示される。以下では、パノラマ画像のうちで表示装置に表示される範囲を「表示範囲」と呼ぶ。図３においては、モニタ４には、パノラマ画像を表示する視線方向が当該パノラマ画像を撮像した際の視点の進行方向（正面方向）となる表示範囲のパノラマ画像が表示される。本実施形態においては、モニタ４における表示範囲は、基本的には予め定められた所定範囲に固定されるが、ユーザ操作に応じてパノラマ画像に対する表示範囲の位置や大きさを変化させてもよい。

一方、端末装置２における表示範囲は、端末装置２の姿勢に応じて変更される。例えば図３においては、端末装置２は、正面方向（ユーザ（端末装置２）からモニタ４への方向）に対して右に向けた姿勢となっており、端末装置２には、上記進行方向に対して視線を右に向けた場合の表示範囲のパノラマ画像が表示されている。また、本実施例では、端末装置２の姿勢に加えて、方向指示部（例えば、左アナログスティック１３Ａ）に対する操作に応じたオフセット量に応じて、端末装置２における表示範囲が変更される。このように、情報処理システム１は、入力装置（端末装置２）に対する入力に基づいて、パノラマ動画のうちで表示装置に表示する表示範囲を決定するとともに、方向指示部に対して操作が行われた場合に表示範囲が方向指示に応じてオフセットされて決定される。これによれば、ユーザは、端末装置２の姿勢を変化させる操作によって視線方向（表示範囲）を自由に変化させてパノラマ動画を見ることができるとともに、姿勢を変化させる操作がやりにくい場面ではさらに方向指示部を用いた操作によって表示範囲をオフセットして表示することができる。

図４は、端末装置２の姿勢および方向指示に応じて表示範囲を決定する方法の一例を示す図である。本実施形態においては、図４に示すように、仮想空間に立体モデルを配置し、その立体モデルの内側における所定位置（本実施形態においては立体モデルの実質的に中心となる位置）に仮想カメラＣ１を配置する。そして、仮想カメラＣ１から見た立体モデル（立体モデルの内側面）の画像を生成する際に、パノラマ画像をテクスチャとして立体モデルの内側面に描画することで、パノラマ画像が生成される。このとき、パノラマ画像のうち、仮想カメラＣ１の視野範囲（図４に示す斜線領域Ａ１）が表示範囲となる。なお、本実施形態においては、立体モデルの形状を立方体とするが、立体モデルの形状は任意であり、例えば球体や柱状（例えば円柱）の形状であってもよい。

図４において、端末装置２に表示すべき画像を生成するための仮想カメラＣ１は、その姿勢が端末装置２の姿勢に応じて制御され、方向指示部による方向指示に応じてさらにその姿勢が制御される。これによって、端末装置２の姿勢に応じて表示範囲を変化させるとともに、方向指示部による方向指示部に応じたオフセット量に応じてさらに表示範囲を変化させることができる。以下、仮想カメラＣ１の姿勢が端末装置２の姿勢および方向指示に応じて制御される一例を説明する。

まず初期設定として、端末装置２の基準姿勢が設定される。例えば、端末装置２の基準姿勢は、パノラマ動画再生の開始時または開始前の所定タイミングにおける端末装置２の姿勢によって設定される。具体的には、パノラマ動画再生の開始時の端末装置２の姿勢を基準姿勢として設定してもよいし、パノラマ動画再生の開始前にユーザが所定の操作をしたときの端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な複数の端末装置２の姿勢のうちユーザが選択してもよい。なお、本実施形態では、端末装置２の姿勢はジャイロセンサ１５の出力値に基づいて算出されるので、基準姿勢の設定は、ジャイロセンサ１５により算出される姿勢値のリセットである。しかしながら、端末装置２の基準姿勢の設定は、センサの種類によって適宜の処理を実行してよい。

また、上記初期設定として、仮想カメラＣ１の初期姿勢が設定される。例えば、仮想カメラＣ１の初期姿勢は、視線方向（ｚ軸正方向）が仮想空間のＺ軸正方向（パノラマ画像における正面方向）に一致し、左方向（ｘ軸正方向）が仮想空間のＸ軸正方向に一致し、上方向（ｙ軸正方向）が仮想空間のＹ軸正方向に一致するように配置される。

そして、端末装置２の上記基準姿勢に対する姿勢変化（基準姿勢の端末装置２の左右方向となるｘｔ軸、端末装置２の上下方向となるｙｔ軸、端末装置２の前後方向となるｚｔ軸周りそれぞれの回転方向および回転量）に応じて、仮想カメラＣ１の姿勢を、上記初期姿勢から変化（典型的には、初期姿勢の仮想カメラＣ１のｘ軸、ｙ軸、ｚ軸、すなわちＸ軸、Ｙ軸、Ｚ軸周りそれぞれに同じ回転方向および同じ回転量で変化）させる。そして、方向指示部に対する操作によって方向指示された場合、当該方向指示から算出されるオフセット量（例えば、方向指示に応じた方向および角度を示す情報）に応じて、さらに仮想カメラＣ１の姿勢を変化させる。なお、情報処理システム１は、表示範囲の位置に加えて、表示範囲の大きさ（ズームインまたはズームアウト）を端末装置２に対する操作に応じて変更するようにしてもよい。

一方、モニタ４に表示すべき画像を生成するための仮想カメラ（図示せず）は、その視線方向が基本的には所定の基準方向（ここでは、上述した進行方向となる正面方向であり、Ｚ軸正方向）を向くように設定される。つまり、モニタ４の表示範囲（図４に示す斜線領域Ａ２）は、仮想カメラから正面方向への位置に設定される。この仮想カメラの位置も、所定位置（本実施形態においては立体モデルの中心位置）に固定される。

なお、本実施形態においては、モニタ４に表示されるパノラマ画像の視線方向と端末装置２に表示されるパノラマ画像の視線方向との関係が、モニタ４における表示画面の奥行方向と端末装置２のＬＣＤ１１の奥行方向との関係と概ね一致するように、仮想カメラＣ１の視線方向が制御される。具体的には、端末装置２のＬＣＤ１１の奥行方向がモニタ４の方を向いた状態で上記基準姿勢が設定されることによって、当該状態において仮想カメラＣ１の視線方向が、モニタ４のための仮想カメラの視線方向と同じ方向に初期設定される。そして、端末装置２の姿勢が基準姿勢から変化した場合、その変化方向に応じた方向へ、変化量に応じた量だけ、仮想カメラＣ１の姿勢が変化する。これによれば、ユーザは、モニタ４によってある視線方向（正面方向）の風景を見ながら、端末装置２の向きを変化させることによって所望の視線方向（正面方向以外の方向）の風景を見ることができる。また、ユーザは、端末装置２のＬＣＤ１１の奥行方向をモニタ４の方へ向けることによって、容易に正面方向のパノラマ画像をＬＣＤ１１に表示することができ、モニタ４の位置を、パノラマ画像を表示する際の基準（パノラマ画像の正面方向が表示される基準）として取り扱うことができる。さらに、端末装置２の姿勢の変化と仮想カメラＣ１の姿勢の変化とを一致させることによって、現実空間における端末装置２の向きと、仮想空間における仮想カメラＣ１の視線方向とが一致するので、ユーザは、パノラマ画像が表す空間をよりリアルに感じることができる。

次に、図５および図６を参照して、端末装置２の姿勢および方向指示に応じて表示範囲を決定する方法の一例を、さらに具体的に説明する。図５は、端末装置２の姿勢に応じて表示範囲が決定される一例を示す図である。図６は、端末装置２の方向指示に応じて表示範囲が決定される一例を示す図である。

図５において、端末装置２自体の姿勢を角度Ｒ１°だけ右に向ける（すなわち、ＬＣＤ１１の奥行方向が右へヨー角度Ｒ１°だけ回転移動する）場合を考える。この場合、上記立体モデルの内側に配置された仮想カメラＣ１の姿勢も角度Ｒ１°だけ右方向へヨーすることによって、ＬＣＤ１１に表示されるパノラマ画像の表示範囲は、表示範囲Ａから表示範囲Ｂに変化する。ここで、表示対象となっている画像が左右方向について少なくとも視野角が大きい（例えば、３６０°）パノラマ画像である場合、表示範囲Ｂは、当該パノラマ画像において表示範囲Ａから当該視野角における角度Ｒ１°だけ右方向に（右方向を正の値で示す場合、＋Ｒ１°）移動した範囲となる。また、図示は省略するが、端末装置２自体の姿勢を角度Ｒ２°だけ上に向けたり（すなわち、ＬＣＤ１１の奥行方向が上へピッチ角度Ｒ２°だけ回転移動する）、上記奥行方向を中心に端末装置２自体の姿勢を角度Ｒ３°だけ回転させたり（すなわち、ＬＣＤ１１の奥行方向を中心にロール角度Ｒ３°だけ回転移動する）する場合、ＬＣＤ１１に表示されるパノラマ画像の表示範囲は、パノラマ画像において上下方向の視野角における角度Ｒ２°だけ上方向に（上方向を正の値で示す場合、＋Ｒ２°）移動した範囲に変化したり、パノラマ画像において注視点を中心に角度Ｒ３°だけ表示範囲が回転して変化したりする。このように、ユーザは、端末装置２の姿勢を上下左右方向に変化させたりロールさせたりすることによって、変化させた角度（ヨー角度、ピッチ角度、ロール角度）だけ視線方向（表示範囲）を自由に変化させてパノラマ画像（パノラマ動画）を見ることができる。

次に、図６において、端末装置２の操作部１３に含まれる方向指示部（例えば、左アナログスティック１３Ａ）を用いて、ユーザが右へ角度Ｓ１°の方向指示を行う場合を考える。一例として、ユーザが左アナログスティック１３Ａを中立状態（ニュートラル状態）から右へ角度Ｓ１°だけ倒すことによって、右へ角度Ｓ１°の方向指示が行われる。この場合、上記立体モデルの内側に配置された仮想カメラＣ１の姿勢も角度Ｓ１°だけ右方向へヨーすることによって、ＬＣＤ１１に表示されるパノラマ画像の表示範囲は、表示範囲Ｂから表示範囲Ｃへオフセットされる。具体的には、表示範囲Ｃは、上記パノラマ画像において表示範囲Ｂから視野角における＋Ｓ１°だけさらに右方向にオフセットした範囲となる。なお、ユーザが上記方向指示を止めた場合（すなわち、左アナログスティック１３Ａがニュートラル状態に戻った場合）、上記オフセットが解除されてＬＣＤ１１には表示範囲Ｂのパノラマ画像が表示される。また、図示は省略するが、上記方向指示部を用いて、ユーザが上へ角度Ｓ２°の方向指示を行った場合、ＬＣＤ１１に表示されるパノラマ画像の表示範囲は、パノラマ画像において上下方向の視野角における＋Ｓ２°だけ上方向に移動した範囲にオフセットされる。このように、ユーザは、端末装置２の姿勢変化による表示範囲の変化に加えて、方向指示部を用いた操作に応じて表示範囲をオフセットさせてパノラマ画像を表示することができるため、端末装置２の姿勢を変化させることがやりにくい場面であっても、所望の表示範囲のパノラマ画像を表示することができる。

なお、上述した説明では、アナログスティックをニュートラル状態から倒した傾倒角度と同じ視野角を設定し、アナログスティックを倒した傾倒方向へ当該視野角分だけオフセットされるように表示範囲が変化する例を用いたが、方向指示に対して他の態様で表示範囲がオフセットされるようにしてもよい。第１の例として、アナログスティックをニュートラル状態から倒した傾倒角度に所定の係数を乗算することによって得られる視野角だけ、当該倒した傾倒方向へオフセットされるように表示範囲を変化させてもよい。第２の例として、方向指示された時間（例えば、十字キー１３Ｃ、Ｌボタン１３Ｄ、Ｒボタン１３Ｅ、ＺＬボタン１３Ｆ、またはＺＲボタン１３Ｇの押下操作されている継続時間）に応じて算出された視野角だけ、当該方向指示された方向へ徐々にオフセットされるように表示範囲を変化させてもよい。第３の例として、タッチパネル１２をタッチ操作することによって方向指示する場合、当該タッチ位置（例えば、基準位置からタッチ位置までの長さやスライド操作された長さ）に応じて算出された視野角だけ、当該方向指示された方向へ徐々にオフセットされるように表示範囲を変化させてもよい。上記第２の例および上記第３の例の場合、方向指示が終了（例えば、方向指示部を押下する操作が終了またはタッチオフ）することによって、当該方向指示が行われる前に設定されていた表示範囲に即時に戻してパノラマ画像がＬＣＤ１１に表示される。表示範囲がオフセット可能な角度は、方向指示可能な角度や長さによって設定することもできるが、例えばオフセット可能な視野角が±４５°以内や±９０°以内となるように設定される。しかしながら、上記オフセット可能な視野角はこれらの値に限られず、当該視野角の絶対値が１８０°未満となるように設定してもかまわない。

また、上述した説明では、端末装置２に表示する画像の例として、パノラマ画像（パノラマ動画）を用いたが、端末装置２に他の画像を表示する場合であってもよい。例えば、表示対象画像の一部となる表示範囲の画像を端末装置２に表示する場合であればどのような画像でもよく、仮想世界や仮想空間の一部を端末装置２に表示する場合であっても同様に上述した表示範囲制御を適用することができる。一例として、端末装置２に表示する画像は、仮想世界内を移動しながら撮像したパノラマ画像あるいは仮想世界内の定点で撮像したパノラマ画像や、現実世界を撮像したパノラマ画像に仮想世界の画像を合成した画像であってもかまわない。

次に、情報処理装置３において行われる処理の詳細を説明する。まず、図７を参照して、処理において用いられる主なデータについて説明する。なお、図７は、情報処理装置３のメモリ６に記憶される主なデータおよびプログラムの一例を示す図である。

図７に示すように、メモリ６のデータ記憶領域には、パノラマ画像ファイルデータＤａ、端末操作データＤｂ、姿勢データＤｃ、オフセットデータＤｄ、仮想カメラデータＤｅ、および仮想空間画像データＤｆ等が記憶される。なお、メモリ６には、図７に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、メモリ６のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。

パノラマ画像ファイルデータＤａは、フレーム毎の情報として、パノラマ画像データ等を含んでいる。パノラマ画像データは、フレーム番号ｎ（１，２，３…）毎に、上述した立体モデルの内面にテクスチャとして貼り付けるパノラマ画像Ｉｎを示すデータを含んでいる。例えば、パノラマ画像データは、所定の記憶媒体にエンコードされて記憶されたパノラマ動画を、所定の方式によってデコードすることによって得られる。なお、パノラマ画像ファイルデータＤａは、単なる一例に過ぎず、同様の情報が得られるのであれば、データの構成を変更してもいいし、各データに加えておよび／または代えて別のデータが格納されてもよい。

端末操作データＤｂは、端末装置２に対する操作内容を示すデータであり、方向指示データＤｂ１および角速度データＤｂ２等を含んでいる。方向指示データＤｂ１は、端末装置２に設けられた方向指示部に対する操作内容を示すデータである。角速度データＤｂ２は、端末装置２に生じる角速度を示すデータであり、ジャイロセンサ１５から出力される角速度を示すデータである。

姿勢データＤｃは、実空間における端末装置２の姿勢を示すデータであり、例えば基準姿勢からの端末装置２の回転量を示すデータである。

オフセットデータＤｄは、方向指示部を用いた方向指示に応じて算出されたオフセットの量および方向を示すデータである。

仮想カメラデータＤｅは、立体モデルの中央に配置される仮想カメラに関するデータである。例えば、仮想カメラデータＤｅは、仮想空間における仮想カメラの位置、姿勢、視野（視野角）等に関するデータである。なお、仮想カメラデータＤｅは、パノラマ画像（パノラマ動画）を端末装置２およびモニタ４それぞれに表示する場合、それぞれに画像を表示するための複数の仮想カメラに関するデータとなる。

仮想空間画像データＤｆは、上記仮想カメラから立体モデルの内面を見た仮想空間画像を示すデータである。

次に、図８および図９を参照して、情報処理装置３において行われる処理の詳細を説明する。なお、図８は、情報処理装置３において実行される処理の前半の一例を示すフローチャートである。図９は、情報処理装置３において実行される処理の後半の一例を示すフローチャートである。ここで、図８および図９に示すフローチャートにおいては、情報処理装置３における処理のうち、パノラマ画像（パノラマ動画）を端末装置２およびモニタ４に表示する処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。

ＣＰＵ５は、メモリ６等を初期化し、情報処理装置３内の不揮発メモリまたは光ディスクに記憶される情報処理プログラムをメモリ６に読み込む。そして、ＣＰＵ５によって当該情報処理プログラムの実行が開始される。図８および図９に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。

なお、図８および図９に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートの各ステップの処理をＣＰＵ５が実行するものとして説明するが、上記フローチャートにおける一部または全部のステップの処理を、上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

図８において、ＣＰＵ５は、パノラマ画像ファイルを取得する（ステップ８１）。例えば、ＣＰＵ５は、情報処理装置３内の不揮発メモリ、情報処理装置３に装着された記憶媒体、またはネットワーク等を介して他の装置から、パノラマ画像ファイルを取得し、パノラマ画像ファイルデータＤａに格納する。

次に、ＣＰＵ５は、パノラマ画像を貼り付けるための立体モデルを、仮想空間にその中心が原点に位置するように配置し（ステップ８２）、次のステップに処理を進める。例えば、ＣＰＵ５は、立体モデルの形状が立方体である場合、仮想空間に設定されたＸＹＺ軸に対して、上記立体モデルの正面がＺ軸正方向側でＺ軸と垂直に交わり、背面がＺ軸負方向側でＺ軸と垂直に交わり、左側面がＸ軸正方向側でＸ軸と垂直に交わり、右側面がＸ軸負方向側でＸ軸と垂直に交わり、上面がＹ軸正方向側でＹ軸と垂直に交わり、底面がＹ軸負方向側でＹ軸と垂直に交わるように、上記立体モデルを配置する。

次に、ＣＰＵ５は、仮想カメラＣ１およびＣ２をそれぞれ基準位置に初期姿勢で配置し（ステップ８３）、次のステップに処理を進める。例えば、ＣＰＵ５は、仮想カメラＣ１およびＣ２の基準位置を仮想空間の原点（すなわち、立体モデルの中央）とし、仮想カメラＣ１およびＣ２それぞれのｘｙｚ軸（ｘ軸正方向が仮想カメラの左方向、ｙ軸正方向が仮想カメラの上方向、ｚ軸正方向が仮想カメラの視線方向）が仮想空間のＸＹＺ軸に一致する姿勢を初期姿勢とする。そして、ＣＰＵ５は、仮想カメラＣ１およびＣ２の基準位置および初期姿勢を用いて、仮想カメラデータＤｅにおける仮想カメラＣ１およびＣ２の位置および姿勢に関するデータを更新する。

次に、ＣＰＵ５は、端末装置２の姿勢調整をユーザに促し（ステップ８４）、姿勢調整が行われるのを待つ（ステップ８５）。

ステップ８６において、ＣＰＵ５は、現時点の端末装置２の姿勢を基準姿勢に設定し、次のステップに処理を進める。例えば、ＣＰＵ５は、姿勢データＤｃが示す端末装置２の姿勢（基準姿勢からの回転量）を初期化（各軸周りの回転量を０）して、端末装置２の基準姿勢を設定する。

なお、上述したように、上記ステップ８４〜ステップ８６の処理においては、ステップ８４の処理が行われた時点または当該時点から所定時間経過後の端末装置２の姿勢を基準姿勢として設定してもよいし、ユーザが所定の操作をしたときの端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な複数の端末装置２の姿勢のうちユーザが選択してもよい。一例として、モニタ４にも同じパノラマ動画を再生して表示する場合、ＣＰＵ５は、端末装置２のＬＣＤ１１の向きとモニタ４の表示画面の向きとが同じになるように端末装置２の姿勢を調整して、当該姿勢になった場合に端末装置２の所定の操作を行うように促す表示を、端末装置２および／またはモニタ４に表示する。そして、ＣＰＵ５は、端末装置２の操作部１３に対して所定の操作が行われたことを示す操作データを取得した場合に、上記姿勢調整が行われたと判断して、当該操作が行われた時点の端末装置２の姿勢を基準姿勢として設定する。この場合、上記ステップ８４〜ステップ８６の処理によって、端末装置２のＬＣＤ１１の向きとモニタ４の表示画面の向きとが同じになるように姿勢調整された端末装置２の姿勢が、端末装置２の基準姿勢として設定されることになる。

次に、ＣＰＵ５は、フレーム数ｎを１に設定し（ステップ８７）、次のステップ９１（図９参照）に処理を進める。

図９において、ＣＰＵ５は、パノラマ画像ファイルデータＤａのパノラマ画像データのうち、フレームｎに対応するパノラマ画像を取得し（ステップ９１）、次のステップに処理を進める。

次に、ＣＰＵ５は、上記ステップ９１で取得したパノラマ画像を立体モデルの内面にテクスチャとして貼りつけ（ステップ９２）、次のステップに処理を進める。例えば、図４を用いて前述したとおり、パノラマ画像が立体モデルの各内面にテクスチャとして貼りつけられる。

次に、ＣＰＵ５は、端末装置２から端末操作データを取得し（ステップ９３）、次のステップに処理を進める。なお、端末装置２からは、操作部１３（方向指示部）に対する操作内容を示すデータやジャイロセンサ１５の出力値を示すデータが端末操作データとして一定周期で情報処理装置３に送信されて、方向指示データＤｂ１および角速度データＤｂ２にそれぞれ格納されている。

次に、ＣＰＵ５は、上記ステップ９３において取得したデータを用いて、端末装置２の基準姿勢からの回転方向および回転量（ステップ８６で初期化してからの回転方向および回転量）を算出し（ステップ９４）、次のステップに処理を進める。例えば、上記ステップ９４では、基準姿勢における端末装置２の所定軸方向（例えば、基準姿勢における端末装置２の上下左右前後軸それぞれの方向）を軸とした回転方向および回転量がそれぞれ算出されて、姿勢データＤｃを更新する。なお、回転方向は、回転量の正負により表すことができるので、姿勢データＤｃには回転量を示すデータのみ格納してもよい。例えば、ＣＰＵ５は、上記ステップ９４では、前回処理におけるステップ９４において算出された回転量に、今回のステップ９４で取得した角速度データに基づく回転量を加えて、新たな回転量として算出する。

次に、ＣＰＵ５は、仮想カメラＣ１の仮想空間における姿勢を、上記初期姿勢からステップ９４で算出された回転量だけ回転させて設定し（ステップ９５）、次のステップに処理を進める。例えば、ＣＰＵ５は、上記初期姿勢から仮想カメラＣ１の姿勢を、ステップ９４で算出された端末装置２の左右軸方向を軸とした回転量と同じだけ仮想空間のＸ軸方向（初期姿勢における仮想カメラＣ１のｘ軸方向）を軸として回転させ、かつ、ステップ９４で算出された端末装置２の上下軸方向を軸とした回転量と同じだけ仮想空間のＹ軸方向（初期姿勢における仮想カメラＣ１のｙ軸方向）を軸として回転させ、かつ、ステップ９４で算出された端末装置２の前後軸方向を軸とした回転量と同じだけ仮想空間のＺ軸方向（初期姿勢における仮想カメラＣ１のｚ軸方向）を軸として回転させて設定し、仮想カメラデータＤｅにおける仮想カメラＣ１の姿勢に関するデータを更新する。

次に、ＣＰＵ５は、ユーザによって方向指示が行われているか否かを判断する（ステップ９６）。例えば、ＣＰＵ５は、上記ステップ９３において取得したデータを参照して、端末装置２の方向指示部に対する操作が行われている場合（例えば、左アナログスティック１３Ａを何れかの方向に倒す操作が行われている場合）、方向指示が行われていると判断する。そして、ＣＰＵ５は、方向指示が行われている場合、ステップ９７に処理を進める。一方、ＣＰＵ５は、方向指示が行われていない場合（例えば、左アナログスティック１３Ａがニュートラル状態の場合）、ステップ９９に処理を進める。

ステップ９７において、ＣＰＵ５は、方向指示部を用いた方向指示に応じて、オフセットする量および方向を算出し、次のステップに処理を進める。例えば、ＣＰＵ５は、左アナログスティック１３Ａが倒れる角度および方向に応じて、表示範囲をオフセットする量および方向を算出し、算出されたオフセット量および方向を用いてオフセットデータＤｄを更新する。具体的には、アナログスティックをニュートラル状態から倒した角度からオフセットする視野角を算出し、アナログスティックを倒した方向へ当該視野角分だけ表示範囲がオフセットするようにオフセット量および方向を算出する。なお、オフセットする視野角は、アナログスティックが倒された角度と同じ角度でもいいし、当該角度に所定の係数を乗算した角度でもよい。

次に、ＣＰＵ５は、上記ステップ９５で設定された仮想カメラＣ１の仮想空間における姿勢から、さらに上記ステップ９７で算出されたオフセット量だけ算出されたオフセット方向へさらに回転させて設定し（ステップ９８）、ステップ１００に処理を進める。例えば、ＣＰＵ５は、上記ステップ９５で設定された仮想カメラＣ１の上下左右方向（ｘ軸およびｙ軸方向）を上下左右の基準とし、視線方向（ｚ軸正方向）を正面として、上記ステップ９７で算出されたオフセット方向へ上記ステップ９７で算出されたオフセット量だけ、上記ステップ９５で設定された姿勢からさらに仮想カメラＣ１を回転させて設定し、仮想カメラデータＤｅにおける仮想カメラＣ１の姿勢に関するデータを更新する。

一方、ステップ９９において、ＣＰＵ５は、オフセット量を０にして仮想カメラＣ１の姿勢を設定し、ステップ１００に処理を進める。例えば、ＣＰＵ５は、オフセットデータＤｄにおけるオフセット量が０以外に設定されている場合、当該オフセット量を０に設定してオフセットデータＤｄを更新する。また、ＣＰＵ５は、仮想カメラＣ１の姿勢については、上記ステップ９５で設定された姿勢のままとする。

ステップ１００において、ＣＰＵ５は、仮想カメラＣ１およびＣ２からそれぞれ見た立体モデルの内面の画像（仮想空間画像）を生成し、次のステップに処理を進める。例えば、ＣＰＵ５は、仮想カメラＣ１およびＣ２に基づいてそれぞれ生成された仮想空間画像を示すデータを用いて、仮想空間画像データＤｅを更新する。

次に、ＣＰＵ５は、仮想空間画像データＤｅが示す仮想空間画像のうち、仮想カメラＣ１に基づいて作成された仮想空間画像を端末装置２へ送信し（ステップ１０１）、次のステップに処理を進める。例えば、上記仮想空間画像は、端末装置２によって受信され、ＬＣＤ１１に出力されて仮想空間画像が表示される。これによって、ＬＣＤ１１には、パノラマ画像のうち、仮想カメラＣ１から見た所定の表示範囲内の画像が表示されることになる。なお、情報処理装置３から端末装置２へ仮想空間画像を送信する際、所定の圧縮処理が行われてもよい。この場合、圧縮処理が施された仮想空間画像のデータが端末装置２に送られ、端末装置２によって所定の伸張処理が行われた後、仮想空間画像の表示が行われる。

次に、ＣＰＵ５は、仮想空間画像データＤｅが示す仮想空間画像のうち、仮想カメラＣ２に基づいて作成された仮想空間画像をモニタ４へ出力し（ステップ１０２）、次のステップに処理を進める。例えば、上記仮想空間画像は、モニタ４によって取得されて仮想空間画像が表示される。これによって、モニタ４には、パノラマ画像のうち、仮想カメラＣ２から見た所定の表示範囲内の画像が表示されることになる。また、上述した実施例では、仮想カメラＣ２が初期姿勢のまま基準位置に固定されて配置されているため、パノラマ画像のうち、所定方向（例えば、正面方向）を視線方向として固定した表示範囲の画像がモニタ４に表示され、パノラマ動画を実質的に同じ時間軸で再生して端末装置２およびモニタ４に表示する構成となる。

次に、ＣＰＵ５は、フレーム数ｎをインクリメントし（ステップ１０３）、処理を終了するか否かを判定する（ステップ１０４）。処理を終了する条件としては、例えば、再生しているパノラマ動画における最後のフレームの画像の再生が終了したことや、ユーザが処理を終了する操作を行ったこと等がある。ＣＰＵ５は、処理を終了しない場合に上記ステップ９１に戻って処理を繰り返し、処理を終了する場合に当該フローチャートによる処理を終了する。以降、ステップ９１〜ステップ１０４の一連の処理は、ステップ１０４で処理を終了すると判定されるまで繰り返し実行される。

なお、モニタ４に固定された視線方向（例えば、正面方向）のパノラマ画像を表示し、仮想カメラＣ１およびＣ２の基準位置および初期姿勢を同じに設定した場合、端末装置２のＬＣＤ１１の奥行方向をモニタ４の方へ向けることによって、当該視線方向（正面方向）のパノラマ画像をＬＣＤ１１に表示することができる。また、端末装置２の姿勢の変化と仮想カメラＣ１の姿勢の変化とを一致させることによって、現実空間における端末装置２の向きと、仮想空間における仮想カメラＣ１の視線方向とが一致する。つまり、端末装置２とモニタ４との実空間における位置関係に応じて、端末装置２に表示する表示範囲とモニタ４に表示する表示範囲とがそれぞれ設定されるため、ユーザは、端末装置２に表示されるパノラマ画像とモニタ４に表示されるパノラマ画像とを見ることによって、これらのパノラマ画像が表す空間をよりリアルに感じることができる。ここで、方向指示部に対する操作に応じた方向指示によって端末装置２に表示する表示範囲をオフセットする場合、上述した位置関係とそれぞれの表示範囲との関係が崩れることが考えられる。しかしながら、方向指示部を用いた方向指示操作を止めることによって、表示範囲のオフセットが解除されて端末装置２の姿勢変化のみに応じた表示範囲が設定されるため、上述した位置関係とそれぞれの表示範囲との関係を再び元の関係に容易に戻すことが可能となる。

また、モニタ４には、パノラマ画像全体を示す画像（全方位画像）を常に表示してもよい。例えば、全方位画像は、パノラマ動画を撮像した撮像カメラから得られた画像を合成して生成してもいいし、立体モデルの各内面に貼り付けられるパノラマ画像を合成して生成してもよいが、全方位画像を生成する手法については、既に周知であるためここでは詳細な説明を省略する。また、モニタ４には、端末装置２に表示されているパノラマ画像をそのまま表示してもよい。この場合、端末装置２に表示されているパノラマ画像をリアルタイムにモニタ４に表示してもいいし、端末装置２を用いて過去に同じパノラマ動画が再生されている場合に、当該再生において端末装置２に表示されていたパノラマ画像のうち、現時点で端末装置２に表示されているパノラマ画像と実質的にパノラマ動画再生において同じ時間軸となるパノラマ画像をモニタ４に表示してもよい。

また、上記実施形態においては、情報処理システム１は端末装置２を１つのみ有する構成であったが、情報処理システム１は複数の端末装置２を有する構成であってもよい。すなわち、情報処理装置３は、複数の端末装置２とそれぞれ無線通信可能であり、画像のデータを各端末装置２へ送信し、操作部１３およびジャイロセンサ１５のデータを各端末装置２から受信するものであってもよい。そして、仮想空間に各端末装置２の仮想カメラをそれぞれ配置して、各端末装置２の姿勢および方向指示に応じて各仮想カメラの姿勢を制御して、各仮想カメラから見た仮想空間の画像を各端末装置２に送信するようにすればよい。なお、情報処理装置３は、複数の端末装置２のそれぞれと無線通信を行うが、このとき、情報処理装置３は、各端末装置２との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。

また、上述した端末装置２は、図８および図９を用いて説明した一連の処理や情報処理装置３で行われるような情報処理を実行しない、いわゆるシンクライアント端末として機能するものであった。しかしながら、端末装置２は、例えば携帯ゲーム機のように、所定のプログラム（ゲームプログラム）によって所定の情報処理（ゲーム処理）を実行する機能を有する装置であってもよい。また、上記実施例において情報処理装置３によって実行される一連の処理のうち、少なくとも一部を端末装置２や端末装置２以外の他の装置で行ってもかまわない。例えば、情報処理装置３がさらに端末装置２以外の他の装置（例えば、別のサーバ、他のゲーム装置、他の携帯端末）と通信可能に構成されている場合、上記処理における処理ステップは、さらに当該他の装置が協働することによって実行してもよい。一例として、上記他の装置において、仮想世界の生成や当該仮想世界を用いた情報処理（例えば、ゲーム処理）が行われ、当該情報処理の結果が端末装置２やモニタ４に表示されることも考えられる。このように、上記処理における処理ステップの少なくとも一部を他の装置で行うことによって、上述した処理と同様の処理が可能となる。また、上述した処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。また、上記実施例においては、情報処理装置３のＣＰＵ５が所定のプログラムを実行することによって、上述したフローチャートによる処理が行われたが、情報処理装置３が備える専用回路によって上記処理の一部または全部が行われてもよい。

ここで、上述した変形例によれば、いわゆるクラウドコンピューティングのシステム形態や分散型の広域ネットワークおよびローカルネットワークのシステム形態でも本発明を実現することが可能となる。例えば、分散型のローカルネットワークのシステム形態では、据置型の情報処理装置（据置型のゲーム装置）と携帯型の情報処理装置（携帯型のゲーム装置）との間で上記処理を協働により実行することも可能となる。なお、これらのシステム形態では、上述した処理の各ステップの処理をどの装置で行うかについては特に限定されず、どのような処理分担をしたとしても本発明を実現できることは言うまでもない。

また、上述した情報処理で用いられる処理順序、設定値、判定に用いられる条件等は、単なる一例に過ぎず他の順序、値、条件であっても、本実施例を実現できることは言うまでもない。

また、上記情報処理プログラムは、光学式ディスク状記憶媒体や外部メモリ等の外部記憶媒体を通じて情報処理装置３に供給されるだけでなく、有線または無線の通信回線を通じて情報処理装置３に供給されてもよい。また、上記情報処理プログラムは、情報処理装置３内部の不揮発性記憶装置に予め記憶されていてもよい。なお、上記情報処理プログラムを記憶する情報記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体や不揮発性メモリの他に、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ、などでもよい。また、上記情報処理プログラムを記憶する情報記憶媒体としては、上記情報処理プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記憶媒体ということができる。例えば、コンピュータ等に、これらの記憶媒体に記憶された情報処理プログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、ユーザが容易に表示範囲を移動させることができること等を目的として、例えば情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法等として有用である。

１…情報処理システム
２…端末装置
３…情報処理装置
４…モニタ
１１…ＬＣＤ
１２…タッチパネル
１３…操作部
１４…加速度センサ
１５…ジャイロセンサ

Claims (17)

1. 可搬型の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサおよびユーザ操作入力が可能な操作手段を備える当該可搬型の表示装置に少なくとも画像を表示する情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
   前記コンピュータを、
   前記センサから出力されるデータに基づいて算出された前記可搬型の表示装置の姿勢および前記操作手段に対する操作に応じて、表示対象画像に対してその一部を当該表示装置に表示する第１表示範囲を設定する第１表示範囲設定手段と、
   前記表示対象画像において、前記第１表示範囲内の画像を前記可搬型の表示装置に表示する第１表示制御手段として機能させる、情報処理プログラム。
2. 前記第１表示範囲設定手段は、
   前記センサから出力されるデータに基づいて算出された前記可搬型の表示装置の姿勢に応じて、前記第１表示範囲を設定する姿勢表示範囲設定手段と、
   前記操作手段に対する操作に応じて、前記表示対象画像に対して前記姿勢表示範囲設定手段によって設定された前記第１表示範囲をオフセットする表示範囲オフセット手段とを含み、
   前記第１表示制御手段は、前記表示対象画像において、前記オフセットされた第１表示範囲内の画像を前記可搬型の表示装置に表示する、請求項１に記載の情報処理プログラム。
3. 前記操作手段は、少なくとも２方向への方向指示操作が可能な方向指示手段を含み、
   前記表示範囲オフセット手段は、前記方向指示手段に対する方向指示操作によって指示された方向に前記第１表示範囲をオフセットする、請求項２に記載の情報処理プログラム。
4. その視野の少なくとも一部が前記第１表示範囲として設定される仮想カメラを、仮想空間内に設定する仮想カメラ設定手段として、前記コンピュータを機能させ、
   前記姿勢表示範囲設定手段は、前記可搬型の表示装置の姿勢に応じて、前記仮想カメラの姿勢を変化させることによって前記第１表示範囲を設定し、
   前記表示範囲オフセット手段は、前記方向指示手段に対する方向指示操作によって指示された方向に前記仮想カメラの視線方向を変化させることによって前記第１表示範囲をオフセットする、請求項３に記載の情報処理プログラム。
5. 前記表示範囲オフセット手段は、前記方向指示手段に対する方向指示操作が行われていない場合、前記第１表示範囲をオフセットする量を０にする、請求項３または４に記載の情報処理プログラム。
6. 前記方向指示手段は、前記方向指示操作の際、方向とともに当該方向に対する大きさを同時に指示することが可能であり、
   前記表示範囲オフセット手段は、前記方向指示手段に対する方向指示操作によって指示された大きさに応じたオフセット量だけ当該指示された方向へ前記第１表示範囲をオフセットする、請求項３乃至５の何れか１つに記載の情報処理プログラム。
7. 前記方向指示手段は、所定部材を中立状態から傾倒させることによって当該中立状態からの傾倒方向と当該中立状態からの傾倒角度とを同時に指示することが可能であり、
   前記表示範囲オフセット手段は、前記傾倒角度に応じたオフセット量だけ当該傾倒方向に応じた方向へ前記第１表示範囲をオフセットする、請求項６に記載の情報処理プログラム。
8. 前記表示範囲オフセット手段は、前記方向指示手段に対する方向指示操作が行われている継続時間に応じたオフセット量だけ当該指示された方向へ前記第１表示範囲をオフセットする、請求項３乃至５の何れか１つに記載の情報処理プログラム。
9. 前記表示対象画像に対してその少なくとも一部を据置型の表示装置に表示する第２表示範囲を設定する第２表示範囲設定手段と、
   前記表示対象画像において、前記第２表示範囲内の画像を前記据置型の表示装置に表示する第２表示制御手段として、前記コンピュータを機能させ、
   前記第１表示範囲設定手段および前記第２表示範囲設定手段は、前記据置型の表示装置と前記可搬型の表示装置との実空間における位置関係に応じて、前記第１表示範囲と前記第２表示範囲とをそれぞれ設定する、請求項１乃至８の何れか１つに記載の情報処理プログラム。
10. 前記表示範囲オフセット手段は、前記表示対象画像の視野角において、前記第１表示範囲のオフセットを可能とするオフセット量を１８０°未満とする、請求項２乃至８の何れか１つに記載の情報処理プログラム。
11. 前記表示対象画像は、所定の仮想空間内を示す画像、かつ、前記第１表示範囲の視野角より広い画像である、請求項１乃至１０の何れか１つに記載の情報処理プログラム。
12. 前記表示対象画像は、実空間が撮像された画像、かつ、前記第１表示範囲の視野角より広いパノラマ画像である、請求項１乃至１０の何れか１つに記載の情報処理プログラム。
13. 前記第１表示範囲設定手段は、前記操作手段のうち、前記可搬型の表示装置を把持した場合に、当該把持しているユーザが操作可能な操作手段に対する操作に応じて、前記第１表示範囲を設定する、請求項１乃至１２の何れか１つに記載の情報処理プログラム。
14. 前記ユーザが操作可能な操作手段は、前記可搬型の表示装置の両端をユーザが両手で把持した場合、当該把持しているユーザの何れかの指で操作可能である、請求項１３に記載の情報処理プログラム。
15. 可搬型の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサおよびユーザ操作入力が可能な操作手段を備える当該可搬型の表示装置に少なくとも画像を表示する情報処理装置であって、
    前記センサから出力されるデータに基づいて算出された前記可搬型の表示装置の姿勢および前記操作手段に対する操作に応じて、表示対象画像に対してその一部を当該表示装置に表示する第１表示範囲を設定する第１表示範囲設定手段と、
    前記表示対象画像において、前記第１表示範囲内の画像を前記可搬型の表示装置に表示する第１表示制御手段とを備える、情報処理装置。
16. 複数の装置が通信可能に構成され、可搬型の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサおよびユーザ操作入力が可能な操作手段を備える当該可搬型の表示装置に少なくとも画像を表示する情報処理システムであって、
    前記センサから出力されるデータに基づいて算出された前記可搬型の表示装置の姿勢および前記操作手段に対する操作に応じて、表示対象画像に対してその一部を当該表示装置に表示する第１表示範囲を設定する第１表示範囲設定手段と、
    前記表示対象画像において、前記第１表示範囲内の画像を前記可搬型の表示装置に表示する第１表示制御手段とを備える、情報処理システム。
17. 可搬型の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサおよびユーザ操作入力が可能な操作手段を備える可搬型の表示装置に少なくとも画像を表示する少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    前記センサから出力されるデータに基づいて算出された前記可搬型の表示装置の姿勢および前記操作手段に対する操作に応じて、表示対象画像に対してその一部を当該表示装置に表示する第１表示範囲を設定する第１表示範囲設定ステップと、
    前記表示対象画像において、前記第１表示範囲内の画像を前記可搬型の表示装置に表示する第１表示制御ステップとを含む、情報処理方法。

Images