JP2017121082A - プログラム及びコンピュータ - Google Patents

Abstract

【課題】ヘッドマウントディスプレイ（ＨＭＤ）を用いて定まった時間軸を有する３６０度動画を視聴する際にユーザに快適な操作性を提供する。【解決手段】本発明の実施形態は、定まった時間軸を有する３６０度動画をＨＭＤに提供する方法をコンピュータに実行させるプログラムであって、当該方法は、ＨＭＤが初期角度から傾くことに応答して、ＨＭＤに表示される３６０度動画の時間軸を、当該傾きに応じて制御するステップと、制御された時間軸に基づいて３６０度動画の画像を生成するステップと、生成された３６０度動画の画像をＨＭＤに出力するステップとを含む、プログラムを提供する。【選択図】図８

Description

本発明は、３６０度動画をヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）に表示させるためのプログラム及びコンピュータに関する。

最近、ＨＭＤを用いて３６０度の仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）動画を視聴することが提案され始めている。

本発明は、ＨＭＤを用いて定まった時間軸を有する３６０度動画を視聴する際にユーザに快適な操作性を提供することを目的とする。

上記の課題を解決するために、本発明の実施形態は、定まった時間軸を有する３６０度動画をヘッドマウントディスプレイに提供する方法をコンピュータに実行させるプログラムであって、前記方法は、前記ヘッドマウントディスプレイが初期角度から傾くことに応答して、前記ヘッドマウントディスプレイに表示される前記３６０度動画の時間軸を、前記傾きに応じて制御するステップと、制御された前記時間軸に基づいて前記３６０度動画の画像を生成するステップと、生成された前記３６０度動画の画像を前記ヘッドマウントディスプレイに出力するステップとを含む、プログラムを提供する。

本発明によれば、ＨＭＤを用いて定まった時間軸を有する３６０度動画を視聴する際にユーザに快適な操作性を提供することができる。
本発明のその他の特徴及び利点は、後述する実施形態の説明、添付の図面及び特許請求の範囲の記載から明らかなものとなる。

本発明の実施形態にかかるＨＭＤを備えるＨＭＤシステムを示す。 制御回路部の基本構成を概略的に示すブロック図である。 ＨＭＤを装着したユーザの頭部を中心とする３次元座標系を示す図である。 動きセンサによるポジション・トラッキングと仮想空間内に配置される仮想カメラとの間の関係を示す図である。 視線方向を決定する方法の一例を示す図である。 ＨＭＤシステムにおける仮想空間の表示処理等を実現するための、制御回路部の機能を示すブロック図である。 ３６０度動画の画像をＨＭＤに表示するための一般的な処理のフロー図である。 本発明の一実施形態のプログラムにより実現される、３６０度動画の画像をＨＭＤに表示するための基本的な処理のフロー図である。 図８におけるステップ８０６から８１０の処理の具体例を示すフロー図である。 図８におけるステップ８０６から８１０の処理の具体例を示すフロー図である。 図８におけるステップ８０６から８１０の処理の具体例を示すフロー図である。 図１２（Ａ）は、視界領域をＸ方向から見たＹＺ面図である。図１２（Ｂ）は、視界領域をＹ方向から見たＸＺ面図である。図１２（Ｃ）は、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。 視界領域をＸ方向から見たＹＺ面図、視界領域をＹ方向から見たＸＺ面図、ディスプレイに表示される視界画像の一例を示す図である。

［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。本発明の実施形態によるコンピュータ・プログラムは、以下のような構成を備える。

（項目１）
定まった時間軸を有する３６０度動画をヘッドマウントディスプレイに提供する方法をコンピュータに実行させるプログラムであって、前記方法は、
前記ヘッドマウントディスプレイが初期角度から傾くことに応答して、前記ヘッドマウントディスプレイに表示される前記３６０度動画の時間軸を、前記傾きに応じて制御するステップと、
制御された前記時間軸に基づいて前記３６０度動画の画像を生成するステップと、
生成された前記３６０度動画の画像を前記ヘッドマウントディスプレイに出力するステップと
を含む、プログラム。
本項目のプログラムによれば、ＨＭＤを用いて定まった時間軸を有する３６０度動画を視聴する際にユーザに快適な操作性を提供することができる。

（項目２）
前記制御するステップは、
前記傾きが、前記初期角度に対するピッチ方向軸回りの一方の方向の傾きであり、第１の閾値より大きい場合において、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの一方の方向に傾き、該傾きが第２の閾値より大きい場合に、前記３６０度動画を連続的に早送りするステップと、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの他方の方向に傾き、該傾きが第３の閾値より大きい場合に、前記３６０度動画を連続的に巻き戻すステップと
を含む、項目１に記載のプログラム。

（項目３）
前記早送りするステップは、前記ヨー方向軸回りの前記一方の方向の傾きが前記第２の閾値より大きく第４の閾値以下である場合に前記３６０度動画を通常の再生速度の第１の倍数の速度で連続的に早送りし、前記ヨー方向軸回りの前記一方の方向の傾きが前記第４の閾値より大きい場合に前記３６０度動画を前記第１の倍数より大きい第２の倍数の速度で連続的に早送りするステップを含み、
前記巻き戻すステップは、前記ヨー方向軸回りの前記他方の方向の傾きが前記第３の閾値より大きく第５の閾値以下である場合に前記３６０度動画を通常の再生速度の第３の倍数の速度で連続的に巻き戻し、前記ヨー方向軸回りの前記他方の方向の傾きが前記第５の閾値より大きい場合に前記３６０度動画を前記第３の倍数より大きい第４の倍数の速度で連続的に巻き戻すステップを含む、項目２に記載のプログラム。

（項目４）
前記方法は、
前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの前記一方の方向の傾きであり、前記第１の閾値より大きい場合に、前記ヘッドマウントディスプレイを装着するユーザの視線に対応する前記ヘッドマウントディスプレイ上の位置に第１のサムネイルを表示するステップと、
連続的に早送りされている前記３６０度動画の少なくとも一部分又は連続的に巻き戻されている前記３６０度動画の少なくとも一部分を前記第１のサムネイル内に表示するステップと
をさらに含む、項目２又は３に記載のプログラム。

（項目５）
前記早送りするステップ及び／又は前記巻き戻すステップは、前記サムネイルを除く前記ヘッドマウントディスプレイに表示される前記３６０度動画を不鮮明にするステップを含む、項目４に記載のプログラム。

（項目６）
前記ヨー方向軸回りの傾きが前記第２の閾値以下又は前記第３の閾値以下に戻り、前記ピッチ方向軸回りの傾きが前記第１の閾値以下に戻ると、前記ヘッドマウントディスプレイ上で前記３６０度動画が通常の再生速度で表示される、項目２から５のいずれか１項に記載のプログラム。

（項目７）
前記制御するステップは、
前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの他方の方向の傾きであり、第６の閾値より大きい場合に、
前記３６０度動画の時間軸を表す第１のオブジェクト及び前記第１のオブジェクトを操作するための第２のオブジェクトを前記ヘッドマウントディスプレイに表示するステップと、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの一方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの他方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
前記ピッチ方向軸回りの傾きが前記第６の閾値以下に戻ると、前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する場面へと前記３６０度動画をスキップするステップと
を含む、項目２から６のいずれか１項に記載のプログラム。

（項目８）
前記方法は、
前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの前記他方の方向の傾きであり、前記第６の閾値より大きい場合に、前記ヘッドマウントディスプレイを装着するユーザの視線に対応する前記ヘッドマウントディスプレイ上の位置に第２のサムネイルを表示するステップと、
前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する前記３６０度動画の静止画の少なくとも一部分を前記第２のサムネイル内に表示するステップと
をさらに含む、項目７に記載のプログラム。

（項目９）
前記第１のオブジェクト及び前記第２のオブジェクトが表示されている間、前記３６０度動画は前記ヘッドマウントディスプレイ上で通常の再生速度で再生される、項目７又は８に記載のプログラム。

（項目１０）
前記制御するステップは、
前記傾きが、前記初期角度に対するピッチ方向軸回りの一方の方向の傾きであり、第７の閾値より大きい場合に、
前記３６０度動画の時間軸を表す第１のオブジェクト及び前記第１のオブジェクトを操作するための第２のオブジェクトを前記ヘッドマウントディスプレイに表示するステップと、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの一方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの他方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
前記ピッチ方向軸回りの傾きが前記第７の閾値以下に戻ると、前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する場面へと前記３６０度動画をスキップするステップと
を含む、項目１に記載のプログラム。

（項目１１）
前記方法は、
前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの前記一方の方向の傾きであり、前記第７の閾値より大きい場合に、前記ヘッドマウントディスプレイを装着するユーザの視線に対応する前記ヘッドマウントディスプレイ上の位置に第３のサムネイルを表示するステップと、
前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する前記３６０度動画の静止画の少なくとも一部分を前記第３のサムネイル内に表示するステップと
をさらに含む、項目１０に記載のプログラム。

（項目１２）
前記第１のオブジェクト及び前記第２のオブジェクトが表示されている間、前記３６０度動画は前記ヘッドマウントディスプレイ上で通常の再生速度で再生される、項目１０又は１１に記載のプログラム。

（項目１３）
前記制御するステップは、
前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの他方の方向の傾きであり、第８の閾値より大きい場合において、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの一方の方向に傾き、該傾きが第９の閾値より大きい場合に、前記３６０度動画を通常の再生速度より遅い速度で連続的に進めるステップと、
前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの他方の方向に傾き、該傾きが第１０の閾値より大きい場合に、前記３６０度動画を通常の再生速度より遅い速度で連続的に戻すステップと
を含む、項目２から６及び１０から１２のいずれか１項に記載のプログラム。

（項目１４）
前記制御するステップは、
前記ピッチ方向軸回りの傾きが前記第８の閾値以下に戻ると、前記連続的に進めるステップ又は前記連続的に戻すステップを続けるステップと、
前記ピッチ方向軸回りの傾きが再度前記第８の閾値より大きくなり、その後再度前記第８の閾値以下に戻ると、
前記３６０度動画を一時停止するステップ、又は
前記３６０度動画を通常の再生速度で進めるステップ
を含む、項目１３に記載のプログラム。

（項目１５）
前記制御するステップは、
前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの他方の方向の傾きであり、第８の閾値より大きい場合に、前記３６０度動画を通常の再生速度より遅い速度で連続的に進めるステップ
を含む、項目２から６及び１０から１２のいずれか１項に記載のプログラム。

（項目１６）
前記制御するステップは、
前記ピッチ方向軸回りの傾きが前記第８の閾値以下に戻ると、前記連続的に進めるステップを続けるステップと、
前記ピッチ方向軸回りの傾きが再度前記第８の閾値より大きくなり、その後再度前記第８の閾値以下に戻ると、
前記３６０度動画を一時停止するステップ、又は
前記３６０度動画を通常の再生速度で進めるステップ
を含む、項目１５に記載のプログラム。

（項目１７）
プロセッサを備え、前記プロセッサが項目１から１６のいずれか１項に記載のプログラムを実行することによって前記方法が実行されるコンピュータ。

［本発明の実施形態の詳細］
以下、図面を参照して、本発明の例示的な実施形態について説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

図１は、本発明の実施形態にかかるＨＭＤ１１０を備えるＨＭＤシステム１００を示す。ＨＭＤシステム１００は、ユーザの頭部１５０に装着されるＨＭＤ１１０と、制御回路部１２０と、動きセンサ１３０とを備える。

ＨＭＤ１１０は、非透過型の表示装置であるディスプレイ１１２と、センサ部１１４と、注視センサ１４０とを含む。制御回路部１２０は、ディスプレイ１１２に右目用画像と左目用画像を表示することにより、両目の視差を利用した３次元画像を仮想空間として提供する。ディスプレイ１１２がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。本発明においては、３６０度動画によって提供される上下左右すべての方向を見渡すことができる仮想空間がＨＭＤ１１０を用いてユーザに提供される。仮想空間はまた、ユーザが操作可能な各種オブジェクト、メニュー画像等を含んでもよい。

ディスプレイ１１２は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、１つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。

制御回路部１２０は、ＨＭＤ１１０に接続されるコンピュータである。図２は、制御回路部１２０の基本構成を概略的に示すブロック図である。図２に示すように、制御回路部１２０は、データ伝送路としての通信バス２０６で互いに接続された処理回路２０２と、メモリ２０４と、記憶媒体２０８と、入出力インターフェース２１０と、通信インターフェース２１２とを含む。処理回路２０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ−ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）といった各種処理回路等を含んで構成され、制御回路部１２０及びＨＭＤシステム１００全体を制御する機能を有する。メモリ２０４は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含んで構成され、処理回路２０２が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。記憶媒体２０８は、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）などの不揮発性記憶装置を含んで構成され、３６０度動画のデータ、各種画像やオブジェクトに関するデータ、シミュレーションプログラムやユーザの認証プログラムが格納され、さらに、各種データを管理するためのテーブルを含むデータベースが構築されていてもよい。入出力インターフェース２１０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子やＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子やＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等の各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＨＭＤ１１０や動きセンサ１３０を含む各種センサ、外部コントローラ等を接続する。通信インターフェース２１２は、ネットワーク２１４を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットを介して通信するための各種通信規格・プロトコルに適合するように構成されている。

制御回路部１２０は、メモリ２０４や記憶媒体２０８に格納された所定のアプリケーションを実行し、３６０度動画を再生することにより、ディスプレイ１１２に仮想空間を提示する。また、メモリ２０４や記憶媒体２０８には、本発明の実施形態による、定まった時間軸を有する３６０度動画をヘッドマウントディスプレイに提供するためのプログラムが格納される。さらに、メモリ２０４や記憶媒体２０８には、仮想空間内に表示される各種オブジェクトを操作したり、各種メニュー画像等を表示・制御したりするためのプログラムが格納されてもよい。制御回路部１２０はＨＭＤ１１０に搭載されていなくてもよく、別のハードウェア（例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ）として構成してもよい。また、制御回路部１２０は、一部の機能のみをＨＭＤ１１０に実装し、残りの機能を別のハードウェアに実装してもよい。

動きセンサ１３０は、ＨＭＤ１１０の位置や傾きに関する情報を検知する。動きセンサ１３０は、センサ部１１４と、検知部１３２とを含む。センサ部１１４は、複数の光源を含んでもよい。光源は、例えば赤外線を発するＬＥＤである。検知部１３２は例えば赤外線センサであり、光源からの赤外線をＨＭＤ１１０の検知点として検知することで、ユーザの動きに応じたＨＭＤ１１０の現実空間内における位置や角度に関する情報を経時的に検知する。そして、検知部１３２により検知された情報の経時的変化に基づいて、ＨＭＤ１１０の位置や角度の時間変化を決定し、ＨＭＤ１１０の動きに関する情報を検知することができる。

動きセンサ１３０によって取得される位置や傾きに関する情報を、図３を参照して説明する。ＨＭＤ１１０を装着したユーザの頭部１５０を中心として、３次元座標系を規定する。ユーザが直立する垂直方向をヨー方向とし、ヨー方向と直交しディスプレイ１１２の中心とユーザを結ぶ前後方向をロール方向とし、ヨー方向およびロール方向と直交する横方向をピッチ方向とする。これにより、ユーザの３次元空間内における位置の経時変化が取得される。また、ピッチ方向軸周りのＨＭＤ１１０の傾き角度としてのピッチ角、ヨー方向軸周りのＨＭＤ１１０の傾き角度としてのヨー角、ロール方向軸周りのＨＭＤ１１０の傾き角度としてのロール角が取得される。

動きセンサ１３０は、ディスプレイ１１２の近くに固定されたセンサ部１１４と検知部１３２のうちの一方のみから構成されてもよい。センサ部１１４は、地磁気センサ、加速度センサ、ジャイロセンサであってもよく、これらの少なくとも１つを用いて、ユーザの頭部１５０に装着されたＨＭＤ１１０（特に、ディスプレイ１１２）の位置及び傾きを検知する。これにより、ＨＭＤ１１０の動きに関する情報を検知することができる。例えば、角速度センサは、ＨＭＤ１１０の動きに応じて、ＨＭＤ１１０の３軸回りの角速度を経時的に検知し、各軸回りの角度の時間変化を決定することができる。この場合には、検知部１３２は不要である。また、検知部１３２は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてＨＭＤ１１０の動きに関する情報を検知することができ、センサ部１１４は不要である。

動きセンサ１３０を用いてＨＭＤ１１０の位置や傾きに関する情報を検知する機能をポジション・トラッキングと称する。図４は、動きセンサ１３０によるポジション・トラッキングと仮想空間４０２内に配置される仮想カメラ４０４との間の関係を示す。仮想カメラ４０４と動きセンサ１３０との間の位置関係を説明するために、以下では、動きセンサ１３０の位置は、検知部１３２を有する場合には検知部１３２の位置とし、検知部１３２を有しない場合にはセンサ部１１４の位置とする。仮想空間４０２の内部に仮想カメラ４０４が配置され、仮想空間４０２の外部（現実空間）に動きセンサ１３０が仮想的に配置される。

仮想空間４０２は、略正方形または略長方形の複数のメッシュを有する天球状に形成される。各メッシュには仮想空間４０２の空間情報が関連付けられており、この空間情報に基づいて視界領域４０８（視界画像４１８）が定義される。本実施形態では、ＸＺ面において、天球の中心４０６が仮想カメラ４０４と動きセンサ１３０を結ぶ線上に配置されるように調整することが好ましい。例えば、仮想カメラ４０４は、常に中心４０６に配置されてもよい。また、ＨＭＤ１１０を装着したユーザが移動して仮想カメラ４０４の位置がＸ方向に移動した場合に、中心４０６が仮想カメラ４０４と動きセンサ１３０の線分上に位置するように、仮想空間４０２の領域が変更されてもよい。これらの場合には、仮想空間４０２における仮想カメラ４０４の位置は固定され、傾きのみが変化する。一方、動きセンサ１３０のＸＹＺ方向への移動に連動して仮想カメラ４０４の位置を移動させるようにすれば、仮想空間４０２における仮想カメラ４０４の位置は可変に設定される。

注視センサ１４０は、ユーザの右目及び左目の視線が向けられる方向を検知するアイトラッキング機能を有する。注視センサ１４０は、右目用センサと左目用センサを備えていることが好ましく、それぞれが右目と左目の視線が向けられる方向を検知することにより、ユーザが注視する視線方向を検知する。注視センサ１４０はアイトラッキング機能を有する公知のセンサを採用することができ、例えば、右目及び左目に赤外光を照射し、角膜や虹彩からの反射光を取得することにより、眼球の回転角を求めてもよい。

図５に示すように、注視センサ１４０はユーザＵの右目Ｒ及び左目Ｌの視線方向を検知する。ユーザＵが近くを見ている場合には視線Ｒ１及びＬ１が検知され、両者の交点である注視点Ｎ１が特定される。また、ユーザが遠くを見ている場合には、視線Ｒ１及びＬ１よりロール方向とのなす角が小さい視線Ｒ２及びＬ２が特定される。注視点Ｎ１が特定されると、ユーザＵの視線方向Ｎ０が特定される。視線方向Ｎ０はユーザＵが両目により実際に視線が向けている方向である。視線方向Ｎ０は、例えばユーザＵの右目Ｒ及び左目Ｌの中心と注視点Ｎ１が通る直線の伸びる方向として定義される。

図６は、ＨＭＤシステム１００における仮想空間４０２の表示処理等を実現するための、制御回路部１２０の機能を示すブロック図である。制御回路部１２０は、主に動きセンサ１３０、注視センサ１４０からの入力に基づいて、ディスプレイ１１２への画像出力を制御する。

制御回路部１２０は、表示制御部６０２と、記憶部６２４とを備える。表示制御部６０２は、仮想空間画像生成部６０４と、ＨＭＤ動作検知部６０６と、視線検知部６０８と、基準視線特定部６１０と、視界領域決定部６１２と、視界画像生成部６１４と、時間軸制御部６１６と、傾き判定部６１８と、サムネイル生成・表示部６２０と、オブジェクト生成・表示部６２２とを含む。記憶部６２４は、空間情報格納部６２６と、動画・画像格納部６２８とを含み、動きセンサ１３０や注視センサ１４０からの入力に対応した出力情報をディスプレイ１１２へ提供するための演算に必要な各種データを含む。動画・画像格納部６２８は３６０度動画を格納してもよい。

図７は、３６０度動画の画像をＨＭＤ１１０に表示するための一般的な処理のフロー図である。
図６及び図７を参照して、３６０度動画の画像を提供するためのＨＭＤシステム１００の一般的な処理を説明する。仮想空間４０２は、ＨＭＤ１１０（注視センサ１４０、動きセンサ１３０）及び制御回路部１２０の相互作用によって提供され得る。

処理はステップ７０２において開始する。ステップ７０４において、制御回路部１２０（仮想空間画像生成部６０４）は、空間情報格納部６２６を参照して、ユーザが没入する仮想空間４０２を構成する天球状の仮想空間画像４１０（図４を参照）を生成する。動きセンサ１３０によってＨＭＤ１１０の位置や傾きが検知される。動きセンサ１３０によって検知された情報は制御回路部１２０に送信される。ステップ７０６において、ＨＭＤ動作検知部６０６は、ＨＭＤ１１０の位置情報や傾き情報を取得する。ステップ７０８において、取得された位置情報及び傾き情報に基づいて視界方向が決定される。

注視センサ１４０がユーザの左右の目の眼球の動きを検出すると、当該情報が制御回路部１２０に送信される。ステップ７１０において、視線検知部６０８は、右目及び左目の視線が向けられる方向を特定し、視線方向Ｎ０を決定する。ステップ７１２において、基準視線決定部６１０は、ＨＭＤ１１０の傾きにより決定された視界方向又はユーザの視線方向Ｎ０を基準視線４１２として決定する。

ステップ７１４において、視界領域決定部６１２は、仮想空間４０２における仮想カメラ４０４の視界領域４０８を決定する。図４に示すように、視界領域４０８は、仮想空間画像４１０のうちユーザの視界を構成する部分（視界画像４１８）である。視界領域４０８は基準視線４１２に基づいて決定され、基準視線４１２は仮想カメラ４０４の位置及び傾きに基づいて決定される。図１２（Ａ）は、視界領域４０８をＸ方向から見たＹＺ面図であり、図１２（Ｂ）は、視界領域４０８をＹ方向から見たＸＺ面図である。

視界領域４０８は、基準視線４１２と仮想空間画像４１０のＹＺ断面によって定義される範囲である第１領域４１４（図１２（Ａ）参照）と、基準視線４１２と仮想空間画像４１０のＸＺ断面によって定義される範囲である第２領域４１６（図１２（Ｂ））とを有する。第１領域４１４は、基準視線４１２を中心として極角αを含む範囲として設定される。第２領域４１６は、基準視線４１２を中心として方位角βを含む範囲として設定される。

ステップ７１６において、視界画像生成部６１４は、視界領域４０８に基づいて視界画像４１８を生成する。視界画像４１８は、左目用と右目用の２つの２次元画像を含み、これらがディスプレイ１１２に重畳されることにより、３次元画像としての仮想空間４０２がユーザに提供される。ステップ７１８において、表示制御部６０２は、視界画像４１８に関する情報をＨＭＤ１１０に出力する。ＨＭＤ１１０は、受信した視界画像４１８の情報に基づいて、ディスプレイ１１２に視界画像４１８を表示する。図１２（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８の一例である。処理はステップ７２０において終了する。

図８は、本発明の一実施形態のプログラムにより実現される、定まった時間軸を有する３６０度動画の画像をＨＭＤ１１０に表示するための基本的な処理のフロー図である。図７で説明した処理により、予め、ＨＭＤ１１０の初期位置及び初期角度における３６０度動画の視界画像４１８が生成され、ＨＭＤ１１０に出力され、ＨＭＤ１１０に表示されているものとする。

図８に示す処理に移行するために、何らかの特定の操作が必要とされてもよい。例えば、制御回路部１２０は、ユーザが特定方向を一定時間以上向いていると表示制御部６０２（ＨＭＤ動作検知部６０６、視線検知部６０８、傾き判定部６１８など）が判定することに応答して、図８の処理に移行してもよい。制御回路１２０はまた、ユーザが所定の回数（又はそれ以上）上下に頭を振った、ユーザが首を所定の回数（又はそれ以上）回した、ユーザがジャンプした、（コントローラを備えるＨＭＤの場合）ユーザがコントローラを用いて所定の入力操作をした、（マイク機器を備えるＨＭＤの場合）ユーザの声もしくはその他の所定の音声が入力された等と判定されたことに応答して、図８の処理に移行してもよい。本発明の実施形態による図８の処理へ移行するための様々な操作が考えられることが当業者により理解されよう。 処理はステップ８０２において開始する。ＨＭＤ１１０を装着したユーザが首や頭を動かすことによってＨＭＤ１１０の傾きが変化すると、動きセンサ１３０によってＨＭＤ１１０の傾きに関する情報が検知され、当該情報が制御回路部１２０に送信される。ステップ８０４において、ＨＭＤ動作検知部６０６は、受信した傾きに関する情報をＨＭＤ１１０の初期角度と比較して、ＨＭＤ１１０の初期角度からの傾きに関する情報を取得する。ステップ８０６において、時間軸制御部６１６は、取得された傾き情報に基づいて、３６０度動画の時間軸を制御する。時間軸制御の具体的な処理については後述する。ステップ８０８において、制御回路１２０は、制御された時間軸に基づいて、３６０度動画の画像を生成する。例えば、制御回路１２０は、図７において生成された視界画像４１８、ステップ８０６により得られた時間軸の情報、記憶部６２４に格納された３６０度動画の情報等に基づいて、ＨＭＤ１１０に表示するべき画像を生成する。ステップ８１０において、表示制御部６０２は、生成された３６０度動画の画像をＨＭＤに出力する。

以下、図６及び図９以降を参照して、本発明の実施形態による、定まった時間軸を有する３６０度動画をＨＭＤに提供するための処理について説明する。
図９は、図８におけるステップ８０６から８１０の処理の具体例を示すフロー図である。処理はステップ９０２において開始する。ステップ９０４において、傾き判定部６１８は、傾き（ステップ８０４において取得された、初期角度からの傾き）が、ピッチ方向軸回りの一方の方向（上方向又は下方向、以下の例では上方向）の傾きであるか否か、及び第１の閾値より大きいか否かを判定する。第１の閾値は予め記憶部６２４に記憶されていてもよい。傾きがピッチ方向軸回りの一方の方向の傾きθ １ であり、第１の閾値Ｔ １ より大きい場合（ステップ９０４の「Ｙ」）、処理はステップ９０６に進む。図１３（Ａ）及び図１３（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。以降、仮想空間４０２における仮想カメラ４０４の傾きを、現実空間におけるＨＭＤ１１０の傾きに対応するものとして示す。但し、仮想空間４０２における仮想カメラ４０４の傾きはＨＭＤ１１０の傾きと同じ値である必要はなく、ＨＭＤ１１０の傾きの変化を反映するように変化すればよい。基準視線４１２は、点線矢印で示す元の方向から実線矢印で示す方向へ角度θ １ だけ変化している。ステップ９０６において、サムネイル生成・表示部６２０は、第１のサムネイル１３０２を生成し、注視センサ１４０や視線検知部６０８によって検知されたユーザの視線に対応するＨＭＤ１１０上の位置に表示する。図１３（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８及び第１のサムネイル１３０２の一例である。第１のサムネイル１３０２は視界画像４１８に重ねて表示される。図１３において、基準視線４１２は、図１２の場合と比較して、ピッチ方向軸回りの上向きに変化している。このため、図１３（Ｃ）には、図１２（Ｃ）と比較して、仮想空間４０２内のより上部に対応する画像が表示されている。

ステップ９０８において、ＨＭＤ１１０がさらにヨー方向軸回りの一方の方向（右方向又は左方向、以下の例では右方向）に傾き、該傾きθ ２ が第２の閾値Ｔ ２ より大きいと傾き判定部６１８が判定すると、表示制御部６０２（時間軸制御部６１６）は３６０度動画を連続的に早送りする。図１４（Ａ）及び図１４（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。図１４（Ｂ）において、基準視線４１２は、点線矢印で示す元の方向から実線矢印で示す方向へ変化している。

ステップ９０８において、ＨＭＤがさらにヨー方向軸回りの他方の方向（この例では左方向）に傾き、該傾きθ ２ が第３の閾値Ｔ ３ より大きいと傾き判定部６１８が判定すると、表示制御部６０２（時間軸制御部６１６）は３６０度動画を連続的に巻き戻す。図１５（Ａ）及び図１５（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。図１５（Ｂ）において、基準視線４１２は、点線矢印で示す元の方向から実線矢印で示す方向へ変化している。

ステップ９０８において、さらに、サムネイル生成・表示部６２０は、連続的に早送りされている３６０度動画の少なくとも一部分又は連続的に巻き戻されている３６０度動画の少なくとも一部分を第１のサムネイル１３０２内に表示する。図１４（Ｃ）及び図１５（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８及び第１のサムネイル１３０２の一例である。「×２」などのように、通常の再生速度に対する早送りや巻き戻しの速度が第１のサムネイル１３０２内に表示されてもよい。表示制御部６０２は、第１のサムネイル１３０２を除くＨＭＤに表示される３６０度動画（ここでは、視界画像４１８）を、ぼかし処理を施す等の様々な方法で、不鮮明にしてもよい。これにより、ユーザは、第１のサムネイル１３０２を用いた早送り操作又は巻き戻し操作に集中できる。

表示制御部６０２は、ヨー方向軸回りの一方の方向の傾きが第２の閾値Ｔ ２ より大きく第４の閾値Ｔ ４ 以下である場合に３６０度動画を通常の再生速度の第１の倍数（例えば、２倍）の速度で連続的に早送りし、ヨー方向軸回りの一方の方向の傾きが第４の閾値Ｔ ４より大きい場合に３６０度動画を第１の倍数より大きい第２の倍数（例えば、３倍）の速度で連続的に早送りしてもよい。また、表示制御部６０２は、ヨー方向軸回りの他方の方向の傾きが第３の閾値Ｔ ３ より大きく第５の閾値Ｔ ５ 以下である場合に３６０度動画を通常の再生速度の第３の倍数（例えば、２倍）の速度で連続的に巻き戻し、ヨー方向軸回りの他方の方向の傾きが第５の閾値Ｔ ５ より大きい場合に３６０度動画を第３の倍数より大きい第４の倍数（例えば、３倍）の速度で連続的に巻き戻してもよい。上記のほか、早送り及び巻き戻しの速度を様々な条件で様々に設定することができる。

ステップ９１０において、傾き判定部６１８は、ヨー方向軸回りの傾きが第２の閾値Ｔ２ 以下又は第３の閾値Ｔ ３ 以下に戻り、ピッチ方向軸回りの傾きが第１の閾値Ｔ １ 以下に戻るかを判定する。これらの傾きが上記の条件を満たす場合（ステップ９１０の「Ｙ」）、処理はステップ９２４に進む。ステップ９２４において、表示制御部６０２は、ＨＭＤ１１０上で３６０度動画を通常の再生速度で表示させる。図１６（Ａ）及び図１６（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。この例では、基準視線４１２は初期方向に戻っている。図１６（Ｃ）は、早送り後にディスプレイ１１２に表示される視界画像４１８の一例である。ステップ９１０において「Ｎ」である場合、処理はステップ９０８の前に戻ってもよい。ステップ９２５において処理は終了する。

ステップ９０４において「Ｎ」の場合、処理はステップ９１２に進む。ステップ９１２において、傾き判定部６１８は、傾き（ステップ８０４において取得された、初期角度からの傾き）が、ピッチ方向軸回りの他方の方向（以下の例では下方向）の傾きであるか否か、及び第６の閾値より大きいか否かを判定する。第６の閾値は予め記憶部６２４に記憶されていてもよい。傾きθ １ がピッチ方向軸回りの他方の方向の傾きであり、第６の閾値Ｔ ６ より大きい場合（ステップ９１２の「Ｙ」）、処理はステップ９１４に進む。図１７（Ａ）及び図１７（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。図１７（Ａ）において、基準視線４１２は、点線矢印で示す元の方向から実線矢印で示す方向へ変化している。ステップ９１４において、サムネイル生成・表示部６２０は、第２のサムネイル１７０２を生成し、ユーザの視線に対応するＨＭＤ１１０上の位置に表示する。一方、ステップ９１２の「Ｎ」の場合、処理はステップ９０４の前に戻ってもよい。

ステップ９１６において、オブジェクト生成・表示部６２２は、３６０度動画の時間軸を表す第１のオブジェクト１７０４及び第１のオブジェクト１７０４を操作するための第２のオブジェクト１７０６をＨＭＤに表示する。図１７（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８、第２のサムネイル１７０２、第１のオブジェクト１７０４及び第２のオブジェクト１７０６の一例である。第２のサムネイル１７０２は第２のオブジェクト１７０６の近くに配置されてもよい。

ステップ９１８において、オブジェクト生成・表示部６２２は、ＨＭＤ１１０がさらにヨー方向軸回りの一方の方向（ここでは右方向）に傾く場合に、第１のオブジェクト１７０４上で第２のオブジェクト１７０６を該方向に移動させる。図１８（Ａ）及び図１８（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。サムネイル生成・表示部６２０は、第２のオブジェクト１７０６の現在位置に対応する３６０度動画の静止画の少なくとも一部分を第２のサムネイル１７０２内に表示する。図１８（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８、第２のサムネイル１７０２、第１のオブジェクト１７０４及び第２のオブジェクト１７０６の一例である。現在の視界画像４１８とは異なる場面の画像が第２のサムネイル１７０２に表示されていることがわかる。

ステップ９１８において、ＨＭＤ１１０がさらにヨー方向軸回りの他方の方向に傾く場合、第１のオブジェクト１７０４上で第２のオブジェクト１７０６が該方向に移動される。

ステップ９２０において、傾き判定部６１８は、ピッチ方向軸回りの傾きが初期角度に対して第６の閾値以下に戻るか否かを判定する。戻る場合（ステップ９２０の「Ｙ」）、処理はステップ９２２に進み、表示制御部６０２は、第１のオブジェクト１７０４上の第２のオブジェクト１７０６の現在位置に対応する場面へと３６０度動画をスキップする。ステップ９２０の「Ｎ」の場合、処理はステップ９１８の前に戻ってもよい。

ステップ９２４において、表示制御部６０２は、ＨＭＤ上で３６０度動画を通常の再生速度で表示させる。図１９（Ａ）及び図１９（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。基準視線４１２は初期方向に戻っている。図１９（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８の一例である。図１８（Ｃ）において第２のサムネイル１７０２に表示されていた場面へスキップしたことがわかる。ステップ９２５において処理は終了する。

図１０は、図８におけるステップ８０６から８１０の処理の別の具体例を示すフロー図である。処理はステップ１００２において開始する。ステップ１００４から１０１０の処理はステップ９０４から９１０の処理と同様であるので、説明を省略する。

ステップ１００４において、ＨＭＤ１１０の初期角度からの傾きがピッチ方向軸回りの一方の方向の傾きでなく及び／又は第１の閾値以下であると傾き判定部６１８が判定すると（ステップ１００４の「Ｎ」）、処理はステップ１０１２に進む。ステップ１０１２において、傾き判定部６１８は、傾き（ステップ８０４において取得された、初期角度からの傾き）が、ピッチ方向軸回りの他方の方向（以下の例では下方向）の傾きであるか否か、及び当該傾きの大きさθ １ が第８の閾値より大きいか否かを判定する。第８の閾値は予め記憶部６２４に記憶されていてもよい。ステップ１０１２の「Ｙ」の場合、処理はステップ１０１４に進む。一方、ステップ１０１２の「Ｎ」の場合、処理はステップ１００４の前に戻ってもよい。

ステップ１０１４において、ＨＭＤ１１０がさらにヨー方向軸回りの一方の方向（この例では右方向）に角度θ ２ だけ傾き、第９の閾値Ｔ ９ より大きいと傾き判定部６１８が判定すると、表示制御部６０２は、３６０度動画を通常の再生速度より遅い速度で連続的に進める（スロー再生）。このときの速度は、角度θ ２ の大きさに応じて様々に設定することができる。例えば、θ ２ が第９の閾値Ｔ ９ より大きく第１１の閾値Ｔ １０ 以下である場合、上記速度は通常の再生速度の０．５倍であってもよい。また、θ ２ が第１１の閾値Ｔ１０ より大きい場合、上記速度は通常の再生速度の０．２５倍であってもよい。図２０（Ａ）及び図２０（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。基準視線４１２は、点線矢印で示す元の方向から実線矢印で示す方向へ変化している。図２０（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８の一例である。３６０度動画がスロー再生される。

また、ステップ１０１４において、ＨＭＤ１１０がさらにヨー方向軸回りの他方の方向（この例では左方向）に傾き、当該傾きの大きさが第１０の閾値より大きいと傾き判定部６１８が判定すると、表示制御部６０２は、３６０度動画を通常の再生速度より遅い速度で連続的に戻す（スロー巻き戻し）。図２２（Ａ）及び図２２（Ｂ）は、それぞれ、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。図２２（Ｃ）は、このときにディスプレイ１１２に表示される視界画像４１８の一例である。３６０度動画がスロー巻き戻しされる。

なお、本発明の一実施形態においては、ステップ１０１４の処理に代えて別の処理を実行してもよい。例えば、ステップ１０１２の「Ｙ」の場合に、表示制御部６０２は、３６０度動画を通常の再生速度より遅い速度で連続的に進めたり（スロー再生）、３６０度動画を通常の再生速度より遅い速度で連続的に戻したり（スロー巻き戻し）してもよい。

ステップ１０１６において、ピッチ方向軸回りの傾きが一旦第８の閾値以下に戻ったと傾き判定部６１８が判定しても、表示制御部６０２は、ステップ１０１４で説明した連続的に進めるステップ又は連続的に戻すステップを続ける。図２１（Ａ）及び（Ｂ）並びに図２３（Ａ）及び（Ｂ）は、このときに視界領域４０８をＸ方向から見たＹＺ面図及び視界領域４０８をＹ方向から見たＸＺ面図の例である。いずれにおいても、基準視線４１２が初期方向に戻っていることがわかる。しかしながら、図２１（Ｃ）又は図２３（Ｃ）に示すように、３６０度動画のスロー再生又はスロー巻き戻しは続けられる。

ステップ１０１８において、傾き判定部６１８は、ピッチ方向軸回りの傾きが、再度第８の閾値より大きくなり、その後再度第８の閾値以下に戻ったかを判定する。ステップ１０１８の「Ｙ」の場合、処理はステップ１０２０に進み、表示制御部６０２は、３６０度動画を一時停止してもよい。あるいは、表示制御部６０２は、ＨＭＤ１１０上で３６０度動画を通常の再生速度で表示させてもよい。ステップ１０１８の「Ｎ」の場合、処理はステップ１０１４の前に戻ってもよい。

ステップ１０２２において、傾き判定部６１８は、ピッチ方向軸回りの傾きが、さらに再度第８の閾値より大きくなり、その後さらに再度第８の閾値以下に戻ったかを判定する。ステップ１０２２の「Ｙ」の場合、処理はステップ１０２４に進み、表示制御部６０２は、ＨＭＤ１１０上で３６０度動画を通常の再生速度で表示させる。ステップ１０２２の「Ｎ」の場合、処理はステップ１０２０の前に戻ってもよい。ステップ１０２５において処理は終了する。

図１１は、図８におけるステップ８０６から８１０の処理の別の具体例を示すフロー図である。処理はステップ１１０２において開始する。ステップ１１０４において、傾き判定部６１８は、傾き（ステップ８０４において取得された、初期角度からの傾き）が、ピッチ方向軸回りの一方の方向（この例では上方向）の傾きであるか否か、及び第７の閾値より大きいか否かを判定する。第７の閾値は予め記憶部６２４に記憶されていてもよい。ステップ１１０４の「Ｙ」の場合、処理はステップ１１０６に進む。ステップ１１０６から１１１４の処理はステップ９１４から９２２の処理と同様であるので説明を省略する。

ステップ１１０４の「Ｎ」の場合、処理はステップ１１１６に進む。ステップ１１１６において、傾き判定部６１８は、傾きが、ピッチ方向軸回りの他方の方向（この例では下方向）の傾きであるか否か、及び第８の閾値より大きいか否かを判定する。ステップ１１１６の「Ｙ」の場合、処理はステップ１１１８に進む。ステップ１１１８から１１２６の処理はステップ１０１４から１０２２の処理と同様である。ステップ１１１６の「Ｎ」の場合、処理はステップ１１０４の前に戻ってもよい。

ステップ１１２８において、表示制御部１１２８は、ＨＭＤ１１０上で３６０度動画を通常の再生速度で表示させる。ステップ１１２５において処理は終了する。
上述の実施形態によれば、ＨＭＤを用いて定まった時間軸を有する３６０度動画を視聴する際にユーザに快適な操作性を提供することができる。

以上、本発明の実施形態によるコンピュータ及びプログラムについて具体的に説明したが、上述の実施形態は例示に過ぎず、本発明の範囲を限定するものではない。本発明の技術的思想は、プログラム及びコンピュータのほか、説明した実施形態のステップを含むコンピュータにより実施される方法を含む様々な態様で実施することが可能であることが理解されよう。また、本発明の趣旨及び範囲から逸脱することなく、実施形態の変更、追加、改良などを適宜行うことができることが理解されるべきである。本発明の範囲は、特許請求の範囲の記載に基づいて解釈されるべきであり、さらにその均等物を含むものと理解されるべきである。

１００ ＨＭＤシステム
１１０ ＨＭＤ
１１２ ディスプレイ
１１４ センサ部
１２０ 制御回路部
１３０ 動きセンサ
１３２ 検知部
１４０ 注視センサ
１５０ 頭部
２００ 処理回路
２０４ メモリ
２０６ 通信バス
２０８ 記憶媒体
２１０ 入出力インターフェース
２１２ 通信インターフェース
２１４ ネットワーク
４０２ 仮想空間
４０４ 仮想カメラ
４０６ 中心
４０８ 視界領域
４１０ 仮想空間画像
４１２ 基準視線
４１４ 第１領域
４１６ 第２領域
４１８ 視界画像
６０２ 表示制御部
６２４ 記憶部
１３０２ 第１のサムネイル
１７０２ 第２のサムネイル
１７０４ 第１のオブジェクト
１７０６ 第２のオブジェクト

Claims (17)

1. 定まった時間軸を有する３６０度動画をヘッドマウントディスプレイに提供する方法をコンピュータに実行させるプログラムであって、前記方法は、
   前記ヘッドマウントディスプレイが初期角度から傾くことに応答して、前記ヘッドマウントディスプレイに表示される前記３６０度動画の時間軸を、前記傾きに応じて制御するステップと、
   制御された前記時間軸に基づいて前記３６０度動画の画像を生成するステップと、
   生成された前記３６０度動画の画像を前記ヘッドマウントディスプレイに出力するステップと
   を含む、プログラム。
2. 前記制御するステップは、
   前記傾きが、前記初期角度に対するピッチ方向軸回りの一方の方向の傾きであり、第１の閾値より大きい場合において、
   前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの一方の方向に傾き、該傾きが第２の閾値より大きい場合に、前記３６０度動画を連続的に早送りするステップと、
   前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの他方の方向に傾き、該傾きが第３の閾値より大きい場合に、前記３６０度動画を連続的に巻き戻すステップと
   を含む、請求項１に記載のプログラム。
3. 前記早送りするステップは、前記ヨー方向軸回りの前記一方の方向の傾きが前記第２の閾値より大きく第４の閾値以下である場合に前記３６０度動画を通常の再生速度の第１の倍数の速度で連続的に早送りし、前記ヨー方向軸回りの前記一方の方向の傾きが前記第４の閾値より大きい場合に前記３６０度動画を前記第１の倍数より大きい第２の倍数の速度で連続的に早送りするステップを含み、
   前記巻き戻すステップは、前記ヨー方向軸回りの前記他方の方向の傾きが前記第３の閾値より大きく第５の閾値以下である場合に前記３６０度動画を通常の再生速度の第３の倍数の速度で連続的に巻き戻し、前記ヨー方向軸回りの前記他方の方向の傾きが前記第５の閾値より大きい場合に前記３６０度動画を前記第３の倍数より大きい第４の倍数の速度で連続的に巻き戻すステップを含む、請求項２に記載のプログラム。
4. 前記方法は、
   前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの前記一方の方向の傾きであり、前記第１の閾値より大きい場合に、前記ヘッドマウントディスプレイを装着するユーザの視線に対応する前記ヘッドマウントディスプレイ上の位置に第１のサムネイルを表示するステップと、
   連続的に早送りされている前記３６０度動画の少なくとも一部分又は連続的に巻き戻されている前記３６０度動画の少なくとも一部分を前記第１のサムネイル内に表示するステップと
   をさらに含む、請求項２又は３に記載のプログラム。
5. 前記早送りするステップ及び／又は前記巻き戻すステップは、前記サムネイルを除く前記ヘッドマウントディスプレイに表示される前記３６０度動画を不鮮明にするステップを含む、請求項４に記載のプログラム。
6. 前記ヨー方向軸回りの傾きが前記第２の閾値以下又は前記第３の閾値以下に戻り、前記ピッチ方向軸回りの傾きが前記第１の閾値以下に戻ると、前記ヘッドマウントディスプレイ上で前記３６０度動画が通常の再生速度で表示される、請求項２から５のいずれか１項に記載のプログラム。
7. 前記制御するステップは、
   前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの他方の方向の傾きであり、第６の閾値より大きい場合に、
   前記３６０度動画の時間軸を表す第１のオブジェクト及び前記第１のオブジェクトを操作するための第２のオブジェクトを前記ヘッドマウントディスプレイに表示するステップと、
   前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの一方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
   前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの他方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
   前記ピッチ方向軸回りの傾きが前記第６の閾値以下に戻ると、前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する場面へと前記３６０度動画をスキップするステップと
   を含む、請求項２から６のいずれか１項に記載のプログラム。
8. 前記方法は、
   前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの前記他方の方向の傾きであり、前記第６の閾値より大きい場合に、前記ヘッドマウントディスプレイを装着するユーザの視線に対応する前記ヘッドマウントディスプレイ上の位置に第２のサムネイルを表示するステップと、
   前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する前記３６０度動画の静止画の少なくとも一部分を前記第２のサムネイル内に表示するステップと
   をさらに含む、請求項７に記載のプログラム。
9. 前記第１のオブジェクト及び前記第２のオブジェクトが表示されている間、前記３６０度動画は前記ヘッドマウントディスプレイ上で通常の再生速度で再生される、請求項７又は８に記載のプログラム。
10. 前記制御するステップは、
    前記傾きが、前記初期角度に対するピッチ方向軸回りの一方の方向の傾きであり、第７の閾値より大きい場合に、
    前記３６０度動画の時間軸を表す第１のオブジェクト及び前記第１のオブジェクトを操作するための第２のオブジェクトを前記ヘッドマウントディスプレイに表示するステップと、
    前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの一方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
    前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの他方の方向に傾く場合に、前記第１のオブジェクト上で前記第２のオブジェクトを該方向に移動させるステップと、
    前記ピッチ方向軸回りの傾きが前記第７の閾値以下に戻ると、前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する場面へと前記３６０度動画をスキップするステップと
    を含む、請求項１に記載のプログラム。
11. 前記方法は、
    前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの前記一方の方向の傾きであり、前記第７の閾値より大きい場合に、前記ヘッドマウントディスプレイを装着するユーザの視線に対応する前記ヘッドマウントディスプレイ上の位置に第３のサムネイルを表示するステップと、
    前記第１のオブジェクト上の前記第２のオブジェクトの現在位置に対応する前記３６０度動画の静止画の少なくとも一部分を前記第３のサムネイル内に表示するステップと
    をさらに含む、請求項１０に記載のプログラム。
12. 前記第１のオブジェクト及び前記第２のオブジェクトが表示されている間、前記３６０度動画は前記ヘッドマウントディスプレイ上で通常の再生速度で再生される、請求項１０又は１１に記載のプログラム。
13. 前記制御するステップは、
    前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの他方の方向の傾きであり、第８の閾値より大きい場合において、
    前記ヘッドマウントディスプレイが、さらに、前記初期角度に対してヨー方向軸回りの一方の方向に傾き、該傾きが第９の閾値より大きい場合に、前記３６０度動画を通常の再生速度より遅い速度で連続的に進めるステップと、
    前記ヘッドマウントディスプレイが、さらに、前記初期角度に対して前記ヨー方向軸回りの他方の方向に傾き、該傾きが第１０の閾値より大きい場合に、前記３６０度動画を通常の再生速度より遅い速度で連続的に戻すステップと
    を含む、請求項２から６及び１０から１２のいずれか１項に記載のプログラム。
14. 前記制御するステップは、
    前記ピッチ方向軸回りの傾きが前記第８の閾値以下に戻ると、前記連続的に進めるステップ又は前記連続的に戻すステップを続けるステップと、
    前記ピッチ方向軸回りの傾きが再度前記第８の閾値より大きくなり、その後再度前記第８の閾値以下に戻ると、
    前記３６０度動画を一時停止するステップ、又は
    前記３６０度動画を通常の再生速度で進めるステップ
    を含む、請求項１３に記載のプログラム。
15. 前記制御するステップは、
    前記傾きが、前記初期角度に対する前記ピッチ方向軸回りの他方の方向の傾きであり、第８の閾値より大きい場合に、前記３６０度動画を通常の再生速度より遅い速度で連続的に進めるステップ
    を含む、請求項２から６及び１０から１２のいずれか１項に記載のプログラム。
16. 前記制御するステップは、
    前記ピッチ方向軸回りの傾きが前記第８の閾値以下に戻ると、前記連続的に進めるステップを続けるステップと、
    前記ピッチ方向軸回りの傾きが再度前記第８の閾値より大きくなり、その後再度前記第８の閾値以下に戻ると、
    前記３６０度動画を一時停止するステップ、又は
    前記３６０度動画を通常の再生速度で進めるステップ
    を含む、請求項１５に記載のプログラム。
17. プロセッサを備え、前記プロセッサが請求項１から１６のいずれか１項に記載のプログラムを実行することによって前記方法が実行されるコンピュータ。