JP2019057009A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】ユーザが動画の動きに合った姿勢を取らない場合と比較して、ユーザの酔いを効果的に軽減することができる情報処理装置及びプログラムを提供する。【解決手段】情報処理装置１０Ａは、ユーザが観視する動画の動きを検出する検出部５０と、検出部５０により検出された動画の動きに応じて、ユーザに対して動画の動きに合った姿勢を取る指示を行う指示部５２と、を備える。【選択図】図３

Description

本発明は、情報処理装置及びプログラムに関する。

特許文献１には、加速度センサ及び情報処理装置を備えた乗り物酔い防止回復装置が記載されている。ここで、加速度センサは、車両の加速度の方向及び大きさを検出する。また、情報処理装置は、所定の放射点から画面の手前方向に画像が移動する動画像を生成すると共に、加速度センサにより検出された加速度の方向及び大きさに応じて生成される動画像の放射点、及び動画像の方向を制御し、生成した動画像を表示部に出力する。

また、特許文献２には、コンテンツ格納部、コンテンツ解析部、コンテンツ選択部、及びコンテンツ再生部を備えた画像表示装置が記載されている。ここで、コンテンツ格納部は、コンテンツを格納する。また、コンテンツ解析部は、コンテンツ格納部からコンテンツを取り出し、取り出したコンテンツに含まれるフレームの画像から動きベクトルを算出してコンテンツの内容を解析する。また、コンテンツ選択部は、コンテンツ解析部による解析結果に基づいて、乗り物酔いになり難いコンテンツを選択する。また、コンテンツ再生部は、コンテンツ選択部により選択された乗り物酔いになり難いコンテンツを再生する。

特開２００８−２３０５７５号公報 特開２００６−０４００５６号公報

ところで、近年、ＶＲ（Virtual Reality：仮想現実）、ＡＲ（Augmented Reality：拡張現実）、及びＭＲ（Mixed Reality：複合現実）等の環境において、乗り物での移動を体験させる様々な動画が提供されている。この種の動画では、観視するユーザの酔いが問題となっている。

これに対して、実際の乗り物に乗るユーザを対象として、乗り物酔いし難い映像を表示することで、ユーザの酔いを軽減する技術がある。しかしながら、この技術は、動画を観視するユーザを対象としたものではない。従って、例えば、ＶＲ空間でジェットコースターに乗った状態を体験させる動画を表示する場合等に、当該動画を観視するユーザの酔いを軽減することは考慮されていない。

本発明は、ユーザが動画の動きに合った姿勢を取らない場合と比較して、ユーザの酔いを効果的に軽減することができる情報処理装置及びプログラムを提供することを目的とする。

上記目的を達成するために、請求項１に記載の情報処理装置は、ユーザが観視する動画の動きを検出する検出部と、前記検出部により検出された前記動画の動きに応じて、前記ユーザに対して前記動画の動きに合った姿勢を取る指示を行う指示部と、を備えたものである。

また、請求項２に記載の情報処理装置は、請求項１に記載の発明において、前記ユーザの姿勢を示す姿勢情報を取得する取得部を更に備えたものである。

また、請求項３に記載の情報処理装置は、請求項２に記載の発明において、前記指示部が、前記取得部により取得された前記姿勢情報により示される前記ユーザの姿勢が前記動画の動きに対して予め定められた姿勢ではない場合に、前記予め定められた姿勢を取る指示を行うものである。

また、請求項４に記載の情報処理装置は、請求項３に記載の発明において、前記指示部が、前記取得部により取得された前記姿勢情報により示される前記ユーザの姿勢が前記動画の動きに対して前記予め定められた姿勢である場合に、前記指示を行わないものである。

また、請求項５に記載の情報処理装置は、請求項１に記載の発明において、前記指示部が、前記動画の動く方向が上下左右のいずれかの方向である場合に、前記ユーザに対して、前記方向に合った姿勢を取る指示を行うものである。

また、請求項６に記載の情報処理装置は、請求項５に記載の発明において、前記指示部が、前記動画の動く方向が前記上の方向である場合、前記ユーザの頭を後傾させる姿勢を取る指示を行い、前記動画の動く方向が前記下の方向である場合、前記ユーザの頭を前傾させる姿勢を取る指示を行い、前記動画の動く方向が前記右の方向である場合、前記ユーザの頭を左傾させる姿勢を取る指示を行い、前記動画の動く方向が前記左の方向である場合、前記ユーザの頭を右傾させる姿勢を取る指示を行うものである。

また、請求項７に記載の情報処理装置は、請求項１に記載の発明において、前記指示部が、前記動画の動きが加速及び減速のいずれかを示す動きである場合に、前記ユーザに対して、前記動きに合った姿勢を取る指示を行うものである。

また、請求項８に記載の情報処理装置は、請求項７に記載の発明において、前記指示部が、前記動画の動きが前記加速を示す動きの場合、前記ユーザの頭を後傾させる姿勢を取る指示を行い、前記動画の動きが前記減速を示す動きの場合、前記ユーザの頭を前傾させる姿勢を取る指示を行うものである。

また、請求項９に記載の情報処理装置は、請求項１〜８のいずれか１項に記載の発明において、前記指示部が、前記指示を、視覚的な指示、触覚的な指示、及び聴覚的な指示の少なくとも１つの指示により行うものである。

また、請求項１０に記載の情報処理装置は、請求項９に記載の発明において、前記動画と共に、マーカを表示する表示部を更に備え、前記指示部が、前記視覚的な指示として、前記動画の動きに応じて、前記マーカの形状を変化させて指示を行うものである。

また、請求項１１に記載の情報処理装置は、請求項１０に記載の発明において、前記指示部が、前記動画の動きにおける加速度に応じて、前記マーカの形状を変化させて指示を行うものである。

また、請求項１２に記載の情報処理装置は、請求項９〜１１のいずれか１項に記載の発明において、前記ユーザの体の一部に接触する振動部材を更に備え、前記指示部が、前記触覚的な指示として、前記動画の動きに応じて、前記振動部材の振動の状態を変化させて指示を行うものである。

また、請求項１３に記載の情報処理装置は、請求項９〜１２のいずれか１項に記載の発明において、前記ユーザに音を出力する音出力部を更に備え、前記指示部が、前記聴覚的な指示として、前記動画の動きに応じて、前記音出力部から出力する音の指向の方向を変化させて指示を行うものである。

一方、上記目的を達成するために、請求項１４に記載のプログラムは、コンピュータを、請求項１〜１３のいずれか１項に記載の情報処理装置が備える各部として機能させるためのものである。

請求項１及び請求項１４に係る発明によれば、ユーザが動画の動きに合った姿勢を取らない場合と比較して、ユーザの酔いを効果的に軽減することができる。

請求項２に係る発明によれば、ユーザの姿勢を考慮して指示を行うことができる。

請求項３に係る発明によれば、ユーザの姿勢に係らず常に指示が行われる場合と比較して、ユーザが煩わしいと感じる度合いを抑制することができる。

請求項４に係る発明によれば、ユーザの姿勢が好適な場合でも常に指示が行われる場合と比較して、ユーザが煩わしいと感じる度合いを抑制することができる。

請求項５に係る発明によれば、ユーザが上下左右のいずれかの動画の動く方向に合った姿勢を取らない場合と比較して、ユーザの酔いをより効果的に軽減することができる。

請求項６に係る発明によれば、ユーザに対して、上下左右のいずれかの動画の動く方向に合った好適な姿勢を指示することができる。

請求項７に係る発明によれば、ユーザが加速及び減速のいずれかを示す動画の動きに合った姿勢を取らない場合と比較して、ユーザの酔いをより効果的に軽減することができる。

請求項８に係る発明によれば、ユーザに対して、加速及び減速のいずれかを示す動画の動きに合った好適な姿勢を指示することができる。

請求項９に係る発明によれば、視覚的な指示、触覚的な指示、及び聴覚的な指示の少なくとも１つの指示を行わない場合と比較して、ユーザに対して直感的に分かり易い指示を行うことができる。

請求項１０に係る発明によれば、ユーザの視覚を利用して、ユーザが取るべき好適な姿勢を分かり易く指示することができる。

請求項１１に係る発明によれば、ユーザの視覚を利用して、ユーザが取るべき加速度に応じた好適な姿勢を分かり易く指示することができる。

請求項１２に係る発明によれば、ユーザの触覚を利用して、ユーザが取るべき好適な姿勢を分かり易く指示することができる。

請求項１３に係る発明によれば、ユーザの聴覚を利用して、ユーザが取るべき好適な姿勢を分かり易く指示することができる。

第１の実施形態に係る情報処理システムの構成の一例を示す概観図である。 第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 第１の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係る動画の一例を示す正面図である。 実施形態に係る動画の動きを検出する処理の一例を説明するための図である。 実施形態に係るユーザが取り得る姿勢の一例を示す図である。 実施形態に係る動画と共に表示されるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが緩やかな加速を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが急加速を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが緩やかな減速を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが急減速を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが右折を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが左折を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 実施形態に係る動画の動きが緩やかな加速を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の他の例を示す図である。 実施形態に係る世界座標系及びカメラ座標系の概念を説明するための図である。 第１の実施形態に係るプログラムの処理の流れの一例を示すフローチャートである。 第２の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 第２の実施形態に係る動画の右折を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の一例を示す図である。 第２の実施形態に係る動画の右折を示す動きの場合におけるマーカ及びユーザが取るべき姿勢の他の例を示す図である。 第３の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

[第１の実施形態]
図１は、第１の実施形態に係る情報処理システム９０の構成の一例を示す概観図である。
図１に示すように、本実施形態に係る情報処理システム９０は、情報処理装置１０Ａ、第１コントローラ３１、第２コントローラ３２、第１センサ４１、及び第２センサ４２を備える。

本実施形態に係る情報処理装置１０Ａは、一例として、動画を表示する表示部を備えたＨＭＤ（Head Mount Display）と一体的に構成されている。この場合、情報処理装置１０Ａは、ユーザＵの頭部に装着される。情報処理装置１０Ａは、ユーザＵの視界を覆う状態で装着されるため、動画を観視するユーザＵは高い没入感が得られる。なお、本実施形態に係る情報処理装置１０Ａは、例えば、表示部を備えたメガネ型端末と一体で構成されていてもよいし、据え置き型の大画面の表示装置と一体で構成されていてもよい。

本実施形態に係る第１コントローラ３１及び第２コントローラ３２の各々には、一例として、振動機能を備えたコントローラが適用される。当該コントローラは、上記ＨＭＤで表示させる動画に対応して各種の操作を行う場合に用いられるコントローラである。なお、ＨＭＤ及びコントローラに関する既存の製品の一例として、Ｏｃｕｌｕｓ Ｒｉｆｔ（登録商標）とＯｃｕｌｕｓ Ｔｏｕｃｈ（登録商標）との組み合わせが挙げられる。更には、ＨＴＣ Ｖｉｖｅ（登録商標）や、Ｍｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓ（登録商標）とＯｃｕｌｕｓ Ｔｏｕｃｈとの組み合わせ等も挙げられる。本実施形態においては、第１コントローラ３１がユーザＵの右手に把持され、第２コントローラ３２がユーザＵの左手に把持される。

本実施形態に係る第１センサ４１及び第２センサ４２の対は、情報処理装置１０Ａの３次元的な位置及び角度を検出し、検出した位置及び角度を、ユーザＵの姿勢を示す姿勢情報として外部に送信する。本実施形態では、情報処理装置１０Ａ（つまりＨＭＤ）の３次元的な位置及び角度を、ユーザＵの頭の３次元的な位置及び角度とみなすものとする。また、本実施形態に係る第１センサ４１及び第２センサ４２の対は、一例として、ステレオカメラとして構成される。

本実施形態に係る情報処理装置１０Ａは、第１コントローラ３１、第２コントローラ３２、第１センサ４１、及び第２センサ４２の各々と無線通信を介して接続される。なお、有線通信を介して接続されてもよい。

図２は、第１の実施形態に係る情報処理装置１０Ａの構成の一例を示すブロック図である。
図２に示すように、本実施形態に係る情報処理装置１０Ａは、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、外部機器インターフェース（外部機器Ｉ／Ｆ）２２と、を備える。

制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。

Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、外部機器Ｉ／Ｆ２２とを含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。

制御部１２は、情報処理装置１０Ａの全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部１４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、情報処理装置１０Ａで再生可能な動画が格納されている。記憶部１４には、本実施形態に係る姿勢指示処理を実行するためのプログラム１４Ａが記憶される。なお、このプログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。

プログラム１４Ａは、例えば、情報処理装置１０Ａに予めインストールされていてもよい。プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、情報処理装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ、フラッシュメモリ、メモリカード等が想定される。

表示部１６は、ユーザＵにより再生対象とされた動画を表示する。表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や、有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。

操作部１８には、情報処理装置１０ＡのユーザＵから各種の指示を受け付けるための操作キー群が設けられている。

通信部２０は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークに接続されており、外部のサーバ装置とネットワークを介して通信可能とされる。なお、外部のサーバ装置には、情報処理装置１０Ａで再生可能な動画が格納されていてもよい。この場合、情報処理装置１０Ａは、外部のサーバ装置から動画を取得してもよい。

外部機器Ｉ／Ｆ２２は、第１コントローラ３１、第２コントローラ３２、第１センサ４１、及び第２センサ４２の各々と無線通信を介して接続するためのＩ／Ｆである。なお、外部機器Ｉ／Ｆ２２は、これらの第１コントローラ３１、第２コントローラ３２、第１センサ４１、及び第２センサ４２の各々と有線通信を介して接続してもよい。

ところで、表示部１６に表示される動画を観視するユーザＵが乗り物酔い状態となる原因の一つとして、ユーザＵが動画の動きに合った好適な姿勢を取っていないことが挙げられる。このため、本実施形態に係る情報処理装置１０Ａは、動画の動きに応じて、ユーザＵが好適な姿勢を取る指示を行う。そして、ユーザＵが当該指示に従って姿勢を変化させることにより、動画による酔いを軽減させる。

本実施形態に係る情報処理装置１０ＡのＣＰＵ１２Ａは、記憶部１４に記憶されているプログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行することにより、図３に示す各部として機能する。

図３は、第１の実施形態に係る情報処理装置１０Ａの機能的な構成の一例を示すブロック図である。

図３に示すように、本実施形態に係る情報処理装置１０ＡのＣＰＵ１２Ａは、検出部５０、指示部５２、及び取得部５４として機能する。

本実施形態に係る検出部５０は、ユーザＵが観視する動画の動きを検出する。動画の動きの検出には、一例として、動画そのものを解析して、物体の動きをベクトルで示すオプティカルフローを検出する方法が用いられる。また、別の例として、動画を撮影したカメラを搭載した移動体に加速度センサ及びジャイロセンサを取り付けておき、これらのセンサにより動画撮影時に得られた計測情報を、タイムスタンプ等を用いて動画に時系列順で予め対応付けておく方法を用いてもよい。

本実施形態に係る指示部５２は、検出部５０により検出された動画の動きに応じて、ユーザＵに対して動画の動きに合った姿勢を取る指示を行う。例えば、動画の動く方向が上下左右のいずれかの方向である場合に、ユーザＵの酔いが起こり易い。このため、指示部５２は、動画の動く方向が上下左右のいずれかの方向である場合に、ユーザＵに対して、当該方向に合った姿勢を取る指示を行う。具体的には、動画の動く方向が上の方向である場合、ユーザＵの頭を後傾させる姿勢を取る指示を行い、動画の動く方向が下の方向である場合、ユーザＵの頭を前傾させる姿勢を取る指示を行う。また、動画の動く方向が右の方向である場合、ユーザＵの頭を左傾させる姿勢を取る指示を行い、動画の動く方向が左の方向である場合、ユーザＵの頭を右傾させる姿勢を取る指示を行う。

なお、ここでいう上の方向とは、右斜め上４５度の方向から左斜め上４５度の方向までの範囲で上の方向を表す。また、下の方向とは、右斜め下４５度の方向から左斜め下４５度の方向までの範囲で下の方向を表す。また、右の方向とは、右斜め上４５度の方向から右斜め下４５度の方向までの範囲で右の方向を表す。また、左の方向とは、左斜め上４５度の方向から左斜め下４５度の方向までの範囲で左の方向を表す。

一方、動画の動きが加速及び減速のいずれかを示す動きである場合にも、ユーザＵの酔いが起こり易い。このため、指示部５２は、動画の動きが加速及び減速のいずれかを示す動きである場合にも、ユーザＵに対して、当該動きに合った姿勢を取る指示を行う。具体的には、動画の動きが加速を示す動きの場合、ユーザＵの頭を後傾させる姿勢を取る指示を行い、動画の動きが減速を示す動きの場合、ユーザＵの頭を前傾させる姿勢を取る指示を行う。

なお、加速の程度が大きいほど、後傾の角度を大きく取る指示を行い、減速の程度が大きいほど、前傾の角度を大きく取る指示を行うようにしてもよい。

なお、指示部５２による指示は、ユーザＵが直感的に分かり易い指示であることが望ましい。このため、指示部５２は、当該指示を、視覚的な指示、触覚的な指示、及び聴覚的な指示の少なくとも１つの指示により行う。この指示部５２による指示の具体例については後述する。

また、マーカ６８を常に表示して指示されるとユーザＵが煩わしいと感じる場合がある。このため、本実施形態に係る取得部５４は、第１センサ４１及び第２センサ４２から、ユーザＵの姿勢を示す姿勢情報を取得する。この場合、指示部５２は、取得部５４により取得された姿勢情報により示されるユーザＵの姿勢が動画の動きに対して予め定められた姿勢ではない場合に、指示を行う。一方、取得部５４により取得された姿勢情報により示されるユーザＵの姿勢が動画の動きに対して予め定められた姿勢である場合には、指示を行わない。ここでいう指示を行わない場合とは、一例として、マーカ６８を非表示とすることが考えられる。

まず、図４及び図５を参照して、検出部５０の具体的な動作について説明する。

図４は、本実施形態に係る動画６０の一例を示す正面図である。
本実施形態に係る動画６０は、ユーザＵの操作に従って、記憶部１４から読み出されて表示部１６に表示される。ユーザＵは表示部１６に表示される動画６０を観視する。

本実施形態に係る動画６０は、移動体の一例である自動車に搭載されたカメラにより予め撮影された車載動画である。動画６０では、遠方の山６２に向かって道路６４を走行している状態が撮影されている。なお、本実施形態に係る動画６０では、図示を簡単にするため、映像を矩形状に区切った状態で示しているが、実際にはユーザＵの視野角いっぱいに映像が広がっているものとする。

図５は、本実施形態に係る動画６０の動きを検出する処理の一例を説明するための図である。

本実施形態に係る動画６０は、上述したように車載動画であるため、自動車の加速、減速、右折、及び左折等を示す動きが含まれる。本実施形態に係る検出部５０では、動画６０に含まれる特定の物体の動きを解析し、加速度の向き及び大きさを検出する。動画６０のみを用いて加速度の向き及び大きさを検出する場合、例えば、動画６０を解析して、オプティカルフロー６６を検出する方法が適用される。

図５に示すように、検出したオプティカルフロー６６が下向きであれば、動画６０を撮影したカメラを搭載した自動車は前方に向かって進行していると特定される。つまり、オプティカルフロー６６の向きを計測することで、動画６０の動く方向が特定される。ここでいう動画６０の動く方向は、自動車の進行方向と一致するものとする。そして、オプティカルフロー６６の大きさを計測することで、加速及び減速の各々の程度が特定される。

図６は、本実施形態に係るユーザＵが取り得る姿勢の一例を示す図である。
図６においては、ユーザＵの顔が紙面手前側に向けられた状態として説明する。

図６に示すように、基準の姿勢とは、ユーザＵの顔が水平方向に向く姿勢を表す。なお、本実施形態において、水平方向に向くとは、水平方向に対して予め定められた角度（一例として±５度）以内の範囲の方向を向くことを意味する。前傾の姿勢とは、ユーザＵの顔が下方に傾いた姿勢を表す。なお、本実施形態において、下方に傾くとは、垂直方向に対して予め定められた角度（一例として５度）を超えて下方に傾くことを意味する。後傾の姿勢とは、ユーザＵの顔が上方に傾いた姿勢を表す。なお、本実施形態において、上方に傾くとは、垂直方向に対して予め定められた角度（一例として５度）を超えて上方に傾くことを意味する。左傾の姿勢とは、ユーザＵの顔が左方に傾いた姿勢を表す。なお、本実施形態において、左方に傾くとは、垂直方向に対して予め定められた角度（一例として５度）を超えて左方に傾くことを意味する。右傾の姿勢とは、ユーザＵの顔が右方に傾いた姿勢を表す。なお、本実施形態において、右方に傾くとは、垂直方向に対して予め定められた角度（一例として５度）を超えて右方に傾くことを意味する。

次に、図７〜図１４を参照して、指示部５２により視覚的な指示を行う場合の具体的な動作について説明する。

図７は、本実施形態に係る動画６０と共に表示されるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

本実施形態に係るマーカ６８は、視覚的な指示の一例であり、動画６０に半透明の状態で表示される。なお、マーカ６８の取り得る形状は、一例であり、これに限定されるものではない。

図７に示すように、例えば、自動車が等速で直進している場合、マーカ６８の形状は基準形状となる。このときの基準形状は、一例として、矩形状に設定されている。そしてこの場合、ユーザＵが取るべき姿勢は、基準の姿勢となる。なお、図７〜図１４においては、ユーザＵの顔が紙面奥側に向けられた状態として説明する。

図８は、本実施形態に係る動画６０の動きが緩やかな加速を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図８に示すように、動画６０の動きが緩やかな加速を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、下方向に小さく引っ張られた形状に変化する。なお、本実施形態では、図５に示すオプティカルフロー６６の検出結果から、加速度の向きが「下向き」、大きさが「小」の場合、緩やかな加速を示す動きと判定される。そしてこの場合、ユーザＵが取るべき姿勢は、小さく後傾した姿勢となる。

図９は、本実施形態に係る動画６０の動きが急加速を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図９に示すように、動画６０の動きが急加速を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、下方向に大きく引っ張られた形状に変化する。なお、本実施形態では、図５に示すオプティカルフロー６６の検出結果から、加速度の向きが「下向き」、大きさが「大」の場合、急加速を示す動きと判定される。このように、加速度の大きさに応じて、マーカ６８の形状の変化量を調整する。そしてこの場合、ユーザＵが取るべき姿勢は、大きく後傾した姿勢となる。

図１０は、本実施形態に係る動画６０の動きが緩やかな減速を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図１０に示すように、動画６０の動きが緩やかな減速を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、上方向に小さく引っ張られた形状に変化する。なお、本実施形態では、図５に示すオプティカルフロー６６の検出結果から、加速度の向きが「上向き」、大きさが「小」の場合、緩やかな減速を示す動きと判定される。そしてこの場合、ユーザＵが取るべき姿勢は、小さく前傾した姿勢となる。

図１１は、本実施形態に係る動画６０の動きが急減速を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図１１に示すように、動画６０の動きが急減速を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、上方向に大きく引っ張られた形状に変化する。なお、本実施形態では、図５に示すオプティカルフロー６６の検出結果から、加速度の向きが「上向き」、大きさが「大」の場合、急減速を示す動きと判定される。図９に示す急加速の場合と同様に、加速度の大きさに応じて、マーカ６８の形状の変化量を調整する。そしてこの場合、ユーザＵが取るべき姿勢は、大きく前傾した姿勢となる。

図１２は、本実施形態に係る動画６０の動きが右折を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図１２に示すように、動画６０の動きが「加速度＜０（減速中）」の右折を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、左上方向に引っ張られた形状に変化する。なお、本実施形態では、図５に示すオプティカルフロー６６の検出結果から、加速度の向きが「左上向き」、大きさが「小」の場合、右折を示す動きと判定される。そしてこの場合、ユーザＵが取るべき姿勢は、左傾した姿勢となる。

図１３は、本実施形態に係る動画６０の動きが左折を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図１３に示すように、動画６０の動きが「加速度＜０（減速中）」の左折を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、右上方向に引っ張られた形状に変化する。なお、本実施形態では、図５に示すオプティカルフロー６６の検出結果から、加速度の向きが「右上向き」、大きさが「小」の場合、左折を示す動きと判定される。そしてこの場合、ユーザＵが取るべき姿勢は、右傾した姿勢となる。

図１４は、本実施形態に係る動画６０の動きが緩やかな加速を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の他の例を示す図である。

上記図７〜図１３に示す例では、ユーザＵが前方を見ている場合について示したが、ＶＲ等の仮想空間では３６０度見渡せるため、ユーザＵの顔の向きに応じて、マーカ６８の形状を好適に変化させることが望ましい。

図１４に示すように、動画６０の動きが緩やかな加速を示す動きである場合に、動画６０を観視するユーザＵの顔が左方（紙面奥側）を向き、体が正面前方を向いている状態を想定する。この状態で加速した場合、ユーザＵは左傾の姿勢を取ることが望ましい。なお、ユーザＵの顔の向きは、第１センサ４１及び第２センサ４２により検出される。この場合、指示部５２は、検出されたユーザＵの顔の向きに応じて、マーカ６８の形状を変化させて指示を行う。

次に、図１５を参照して、本実施形態に係る姿勢情報を表すために定義される世界座標系及びカメラ座標系について説明する。

図１５は、本実施形態に係る世界座標系及びカメラ座標系の概念を説明するための図である。
図１５に示すように、本実施形態係る座標系として、ある空間全体を表す世界座標系と、情報処理装置１０Ａ（本実施形態ではＨＭＤ）を中心とするカメラ座標系と、が定義される。

初期状態では、これらの世界座標系とカメラ座標系とは一致している。また、世界座標系及びカメラ座標系の各々は、位置及び角度を有している。ここでは、世界座標系の位置（position）を、ｘ、ｙ、ｚで表し、角度（direction）を、ピッチ（pitch）、ヨー（yaw）、ロール（roll）で表す。一方、カメラ座標系の位置（position’）を、ｘ'、ｙ’、ｚ’で表し、角度（direction’）を、ピッチ’（pitch'）、ヨー’（yaw'）、ロール’（roll'）で表す。なお、これらの角度及び位置の各々は、単精度浮動小数点（float）の値を取る。位置の単位は、メートル［ｍ］とする。角度は、−１．０以上＋１．０以下の値（正弦、余弦）を持つ。

本実施形態に係る第１センサ４１及び第２センサ４２からは、情報処理装置１０Ａの世界座標系に対する位置及び角度が得られる。本実施形態では、ユーザＵが好適な姿勢を取ることを指示するために、世界座標系で受ける力をカメラ座標系で受ける力に変換する処理が行われる。一例として、カメラ座標系でｚ’方向の力を、ｚ’方向の移動量ｍｚ’として表し、カメラ座標系でｘ’方向の力を、ロール’の回転量ｍｒ’として表すものとする。

まず、ユーザＵの顔の向きradianは、世界座標系のヨーの値を用いて、下記の式（１）で表される。

（１）

ユーザＵの顔の向きradianから、世界座標系のｚ方向にかかる力ｆｚ及びｘ方向にかかる力ｆｘを、下記の式（２）を用いて、カメラ座標系のｆｚ’及びｆｘ’に変換する。但し、ｆｘ、ｆｚ、ｆｘ’、及びｆｚ’の単位は、加速度［Ｇ］とする。

（２）

次に、カメラ座標系のロール’の回転量ｍｒ’及びピッチ’の回転量ｍｐ’は、下記の式（３）を用いて表される。但し、ｇ及びｈは一般化した関数である。

（３）

ここで、ユーザＵが取り得る姿勢の範囲を、世界座標系のロール及びピッチがそれぞれ−３０度以上＋３０度以下の範囲とする。一説では、人は絶対値で０．３Ｇを超える加速度を急加速（＋の加速度）又は急減速（−の加速度）と感じると言われている。本実施形態では、一例として、０．３Ｇより大きい加速度に対しては全て３０度を対応付け、−０．３Ｇより小さい加速度に対しては全て−３０度を対応付ける。また、０Ｇ以上０．３Ｇ以下の加速度に対しては、関数ｇ及びｈを用いて線形で表される角度を対応付ける。加速度をａとした場合、関数ｇ及びｈは、下記の式（４）を用いて表される。

（４）

なお、カメラ座標系のｚ’方向の力は、ｚ’方向の移動量として表すため、ピッチ’の回転量ｍｐ’をｚ’方向の移動量に換算する。このとき、ユーザＵの座高Ｔを考慮する。ユーザＵの座高が例えば９０ｃｍであれば、Ｔ＝０．９である。ｚ’方向の移動量ｍｚ’は、以下の式（５）を用いて表される。

（５）

上記により導出されたカメラ座標系のｚ’方向の移動量ｍｚ’、及び、ロール’の回転量ｍｒ’の値に基づいて、本実施形態に係るマーカ６８の形状を変化させる。このとき、ユーザＵが取るべき理想的な姿勢を示す角度を目安として表示してもよい。

次に、マーカ６８を用いて指示を行うタイミングについて説明する。
動画６０による酔いを軽減するためには、実際の動画６０において、一例として、加速、減速、右折、及び左折のいずれかの動きが発生する前にマーカ６８により指示を行う必要がある。蓄積した動画６０を再生する場合は、動画６０の動きを予め解析しておいて、マーカ６８による指示を、一例として、加速、減速、右折、及び左折のいずれかの動きが発生するフレームよりも数フレーム前に表示するという手法が適用される。一方、リアルタイムで動画６０を再生する場合は、以下に示す２つの手法が適用される。これらの２つの手法は、それぞれ単独で用いても良いし、組み合わせて用いても良い。

第１の手法は、予測による手法である。一例として、加速、減速、右折、及び左折のいずれかの動きを予測して、当該予測をマーカ６８による指示に反映させる。時刻ｔ＋１における動きは、時刻ｔまでの動きから予測可能である。従来手法としては、例えば、回帰分析法、カルマンフィルタ法、ＲＮＮ（Recurrent Neural Network）法等が適用される。第２の手法は、遅延による手法である。この場合、ユーザＵに対して、ある時刻において本来観視されるべきフレームよりも少し過去のフレームを観視させる。つまり、ユーザＵがある時刻で観視する少し過去のフレームに表示されるマーカ６８は、当該時刻より後の時点で観視されるフレーム内の動きを反映したものである。

次に、図１６を参照して、第１の実施形態に係る情報処理装置１０Ａの作用を説明する。なお、図１６は、第１の実施形態に係るプログラム１４Ａの処理の流れの一例を示すフローチャートである。

まず、情報処理装置１０Ａは、ユーザによる操作によりプログラム１４Ａの実行が指示されると、記憶部１４から、ユーザにより指定された動画を読み出して表示部１６に表示させる。

図１６のステップ１００では、検出部５０が、表示部１６に表示されている動画の動きを検出する。

ステップ１０２では、取得部５４が、第１センサ４１及び第２センサ４２から、ユーザの姿勢を示す姿勢情報を取得する。

ステップ１０４では、指示部５２が、検出部５０により検出された動画の動き、及び、取得部５４により取得された姿勢情報に基づいて、ユーザの姿勢が動画の動きに対して予め定められた姿勢であるか否かを判定する。ユーザの姿勢が予め定められた姿勢であると判定した場合（肯定判定の場合）、ステップ１０８に移行する。一方、ユーザの姿勢が予め定められた姿勢ではないと判定した場合（否定判定の場合）、ステップ１０６に移行する。

ステップ１０６では、指示部５２が、上述の図７〜図１４を参照して説明したように、マーカ６８を用いて、ユーザに対して予め定められた姿勢を取る指示を行う。

ステップ１０８では、指示部５２が、動画の再生の終了を指示されたか否かを判定する。動画の再生の終了を指示されたと判定した場合（肯定判定の場合）、本プログラム１４Ａによる一連の処理を終了する。一方、動画の再生の終了を指示されていないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。

なお、上記実施形態では、ユーザの姿勢が動画の動きに対して好適な姿勢でない場合にのみ指示を行う形態について説明したが、ユーザの姿勢が動画の動きに対して好適な姿勢であるか否かに係らず、指示を行う形態としてもよい。

ここで、人にはある程度の予測能力があるため、進行方向を注視していれば、ユーザがある程度好適な姿勢を取ることは可能であると考えられる。しかし、ユーザが予測できない急加速や急減速等が起こった場合には、好適な姿勢を取れない、あるいは、姿勢の調整に遅れが生じ、これらが著しい酔いに繋がる場合がある。また、進行方向を注視するあまり、３６０度の動画を十分に楽しむことができないということもあり得る。

これに対して、本実施形態によれば、ユーザが予測できない急加速や急減速等が起こった場合でも、マーカによる指示に従うことで、ユーザは好適な姿勢を取ることが可能とされる。また、ユーザが３６０度の動画のどの部分を見ていたとしても、好適な姿勢を取ることが可能とされ、動画による酔いが効果的に軽減される。

［第２の実施形態］
図１７は、第２の実施形態に係る情報処理装置１０Ｂの機能的な構成の一例を示すブロック図である。
図１７に示すように、本実施形態に係る情報処理装置１０Ｂは、検出部５０、指示部５６、取得部５４、表示部１６、第１コントローラ３１、及び第２コントローラ３２を備える。なお、同じ機能を有する構成要素には同じ符号を付し、繰り返しの説明は省略する。

本実施形態に係る第１コントローラ３１及び第２コントローラ３２は、ユーザＵの体の一部に接触し、触覚的な指示を行うための振動部材の一例である。本実施形態においては、上述の図１に示したように、第１コントローラ３１がユーザＵの右手に把持され、第２コントローラ３２がユーザＵの左手に把持される。

本実施形態に係る指示部５６は、動画の動きに応じて、第１コントローラ３１及び第２コントローラ３２の各々の振動の状態を変化させて指示を行う。具体的な例を図１８に示す。

図１８は、第２の実施形態に係る動画６０の右折を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の一例を示す図である。

図１８に示すように、動画６０の動きが「加速度＜０（減速中）」の右折を示す動きの場合、マーカ６８の形状は、図７に示す基準形状と比べて、左上方向に引っ張られた形状に変化する。更に、指示部５６は、ユーザＵの左手に把持されている第２コントローラ３２のみを振動させて、ユーザＵに左傾の姿勢を取るように促す。なお、第１センサ４１及び第２センサ４２は、ユーザＵの頭の３次元的な位置を検出している。この場合、ユーザＵの頭が好適な位置に近づくにつれて第２コントローラ３２の振動を弱めていくようにしてもよい。

図１９は、第２の実施形態に係る動画６０の右折を示す動きの場合におけるマーカ６８及びユーザＵが取るべき姿勢の他の例を示す図である。

図１９に示すように、ユーザＵの頭の３次元的な位置だけでなく、第１コントローラ３１及び第２コントローラ３２の各々の３次元的な位置を考慮してもよい。この場合、第１センサ４１及び第２センサ４２は、ユーザＵの頭の３次元的な位置を検出すると共に、第１コントローラ３１及び第２コントローラ３２の各々の３次元的な位置を検出する。

本実施形態に係る指示部５６は、第１センサ４１及び第２センサ４２の検出結果に基づいて、ユーザＵの頭、第１コントローラ３１、及び第２コントローラ３２の位置関係が図１９に示す位置関係になるように指示を行う。例えば、図１９に示す位置関係に近づくにつれて、第２コントローラ３２の振動の間隔を狭くするようにしてもよい。なお、図１９に示す位置関係は、ユーザＵが傾いた方向に、第１コントローラ３１及び第２コントローラ３２の各々が傾いた状態を示している。

なお、上記では、マーカ６８を用いた視覚的な指示と、第１コントローラ３１及び第２コントローラ３２を用いた触覚的な指示と、の組み合わせについて示したが、どちらか一方の指示を単独で適用してもよい。また、最初にマーカ６８を用いた視覚的な指示を行った後に、ユーザＵの姿勢を検出し、好適な姿勢になっていない場合に、更に、第１コントローラ３１及び第２コントローラ３２を用いた触覚的な指示を行うようにしてもよい。

また、本実施形態に係る視覚的な指示としては、例えば、明滅する光で姿勢の指示をしても良いし、文字によって直接的に姿勢の指示をしても良い。

また、本実施形態に係る触覚的な指示としては、第１コントローラ３１及び第２コントローラ３２のいずれか一方を一度だけ振動させ、ユーザは振動があった方向に体を傾ける、という簡単な指示でも良い。更には、ユーザの体が左傾し過ぎであることを検知したら右手側の第１コントローラ３１を振動させる、という厳密な指示でも良い。また、触覚的な指示としては、低周波治療器のようなデバイスをユーザの体の前後左右に貼り付け、当該デバイスのいずれかを振動させ、ユーザは振動したデバイスの方向に体を傾けるという指示を与えても良い。

［第３の実施形態］
図２０は、第３の実施形態に係る情報処理装置１０Ｃの機能的な構成の一例を示すブロック図である。
図２０に示すように、本実施形態に係る情報処理装置１０Ｃは、検出部５０、指示部５８、取得部５４、表示部１６、第１コントローラ３１、第２コントローラ３２、及びヘッドフォン３４を備える。なお、同じ機能を有する構成要素には同じ符号を付し、繰り返しの説明は省略する。

本実施形態に係るヘッドフォン３４は、ユーザＵに音を出力し、聴覚的な指示を行うための音出力部の一例である。本実施形態においては、ユーザＵの頭部にヘッドフォン３４が装着されているものとする。

本実施形態に係る指示部５８は、動画の動きに応じて、ヘッドフォン３４から出力する音の指向の方向を変化させて指示を行う。例えば、ユーザＵの右耳及び左耳のいずれか一方にのみ聞こえる音を出力し、ユーザＵは音が聞こえた方向に体を傾けるという指示を与えても良い。

なお、本実施形態においても、マーカ６８を用いた視覚的な指示と、第１コントローラ３１及び第２コントローラ３２を用いた触覚的な指示と、ヘッドフォン３４を用いた聴覚的な指示と、の２つ以上を組み合わせて適用してもよい。あるいは、視覚、触覚、及び聴覚のいずれか１つを利用した指示を単独で適用してもよい。

また、上記各実施形態においては、情報処理装置と表示部とが一体的に構成されている場合について説明したが、情報処理装置と表示部とが別体で構成されていてもよい。つまり、情報処理装置を外部のサーバ装置により実現し、ネットワークを介して、外部のサーバ装置と表示部とを接続する構成としてもよい。

また、上記各実施形態においては、動画を撮影したときの移動体の一例として、自動車を適用した場合について説明したが、上記各実施形態は、航空機や船舶等の他の移動体であっても同様に適用される。

以上、実施形態として情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０Ａ、１０Ｂ、１０Ｃ 情報処理装置
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ プログラム
１６ 表示部
１８ 操作部
２０ 通信部
２２ 外部機器Ｉ／Ｆ
３１ 第１コントローラ
３２ 第２コントローラ
３４ ヘッドフォン
４１ 第１センサ
４２ 第２センサ
５０ 検出部
５２、５６、５８ 指示部
５４ 取得部
６０ 動画
６２ 山
６４ 道路
６６ オプティカルフロー
６８ マーカ
９０ 情報処理システム

Claims (14)

1. ユーザが観視する動画の動きを検出する検出部と、
   前記検出部により検出された前記動画の動きに応じて、前記ユーザに対して前記動画の動きに合った姿勢を取る指示を行う指示部と、
   を備えた情報処理装置。
2. 前記ユーザの姿勢を示す姿勢情報を取得する取得部を更に備えた請求項１に記載の情報処理装置。
3. 前記指示部は、前記取得部により取得された前記姿勢情報により示される前記ユーザの姿勢が前記動画の動きに対して予め定められた姿勢ではない場合に、前記予め定められた姿勢を取る指示を行う請求項２に記載の情報処理装置。
4. 前記指示部は、前記取得部により取得された前記姿勢情報により示される前記ユーザの姿勢が前記動画の動きに対して前記予め定められた姿勢である場合に、前記指示を行わない請求項３に記載の情報処理装置。
5. 前記指示部は、前記動画の動く方向が上下左右のいずれかの方向である場合に、前記ユーザに対して、前記方向に合った姿勢を取る指示を行う請求項１に記載の情報処理装置。
6. 前記指示部は、
   前記動画の動く方向が前記上の方向である場合、前記ユーザの頭を後傾させる姿勢を取る指示を行い、
   前記動画の動く方向が前記下の方向である場合、前記ユーザの頭を前傾させる姿勢を取る指示を行い、
   前記動画の動く方向が前記右の方向である場合、前記ユーザの頭を左傾させる姿勢を取る指示を行い、
   前記動画の動く方向が前記左の方向である場合、前記ユーザの頭を右傾させる姿勢を取る指示を行う請求項５に記載の情報処理装置。
7. 前記指示部は、前記動画の動きが加速及び減速のいずれかを示す動きである場合に、前記ユーザに対して、前記動きに合った姿勢を取る指示を行う請求項１に記載の情報処理装置。
8. 前記指示部は、
   前記動画の動きが前記加速を示す動きの場合、前記ユーザの頭を後傾させる姿勢を取る指示を行い、
   前記動画の動きが前記減速を示す動きの場合、前記ユーザの頭を前傾させる姿勢を取る指示を行う請求項７に記載の情報処理装置。
9. 前記指示部は、前記指示を、視覚的な指示、触覚的な指示、及び聴覚的な指示の少なくとも１つの指示により行う請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記動画と共に、マーカを表示する表示部を更に備え、
    前記指示部は、前記視覚的な指示として、前記動画の動きに応じて、前記マーカの形状を変化させて指示を行う請求項９に記載の情報処理装置。
11. 前記指示部は、前記動画の動きにおける加速度に応じて、前記マーカの形状を変化させて指示を行う請求項１０に記載の情報処理装置。
12. 前記ユーザの体の一部に接触する振動部材を更に備え、
    前記指示部は、前記触覚的な指示として、前記動画の動きに応じて、前記振動部材の振動の状態を変化させて指示を行う請求項９〜１１のいずれか１項に記載の情報処理装置。
13. 前記ユーザに音を出力する音出力部を更に備え、
    前記指示部は、前記聴覚的な指示として、前記動画の動きに応じて、前記音出力部から出力する音の指向の方向を変化させて指示を行う請求項９〜１２のいずれか１項に記載の情報処理装置。
14. コンピュータを、請求項１〜１３のいずれか１項に記載の情報処理装置が備える各部として機能させるためのプログラム。