JP2022022871A - 処理装置および没入度導出方法 - Google Patents

Abstract

【課題】仮想現実の映像世界を体験したユーザが当該映像世界に入り込んだ度合いを示す没入度を導出する技術を提供する。【解決手段】状況データ取得部２１０は、コンテンツの画像が表示されているときのユーザの第１の反応を示すデータと第２の反応を示すデータとを含む状況データを取得する。第１解析部２１２は、第１の反応を示すデータを解析して、ユーザの第１の反応にもとづく第１没入評価値を導出する。第２解析部２１４は、第２の反応を示すデータを解析して、ユーザの第２の反応にもとづく第２没入評価値を導出する。重み設定部２１８は、第１没入評価値および第２没入評価値のそれぞれの重み値を設定する。没入度導出部２２０は、第１没入評価値および第２没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出する。【選択図】図６

Description

本発明は、ユーザがコンテンツを見たときの没入度を導出する技術に関する。

ヘッドマウントディスプレイ（ＨＭＤ）はユーザの頭部に装着されて、仮想現実（ＶＲ）の映像世界をユーザに提供する。ＨＭＤはユーザの視野全体にＶＲ画像を提供することで、ユーザを映像世界に没入させる。特許文献１は、複数のアイコンを含むメニュー画面を表示して、ユーザからアイコンの選択操作を受け付ける情報処理装置を開示する。特許文献１では、アイコン配置部が、優先度の高いアイコンほどユーザからの距離が近くなるように、複数のアイコンを仮想空間に配置する。

特開２０１７－１１７００８号公報

多種多様なコンテンツが溢れる現代では、選択肢が多すぎることで、ユーザがコンテンツを選択することが難しくなっている。特許文献１は、ユーザが選択しやすいように、ユーザによる選択頻度の高いコンテンツのアイコンをユーザに近い位置に配置する技術を開示する。しかしながら、この配置ルールによれば、これまで選択されたことのないコンテンツはユーザから遠い位置に配置されるため、ユーザにより選択されにくい。そこでコンテンツそのものの魅力ないしは価値を評価するための指標を新たに作成することが好ましい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、仮想現実の映像世界を体験したユーザが当該映像世界に入り込んだ度合いを示す没入度を、コンテンツの客観的評価の指標として導出する技術を提供することにある。

上記課題を解決するために、本発明のある態様は、コンテンツに対する没入度を導出する処理装置であって、コンテンツの画像が表示されているときのユーザの第１の反応を示すデータと、コンテンツの画像が表示されているときのユーザの第１の反応とは異なる第２の反応を示すデータとを含む状況データを取得する状況データ取得部と、第１の反応を示すデータを解析して、ユーザの第１の反応にもとづく第１没入評価値を導出する第１解析部と、第２の反応を示すデータを解析して、ユーザの第２の反応にもとづく第２没入評価値を導出する第２解析部と、第１没入評価値および第２没入評価値のそれぞれの重み値を設定する重み設定部と、第１没入評価値および第２没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出する没入度導出部とを備える。

本発明の別の態様は、コンテンツに対する没入度を導出する方法であって、コンテンツの画像が表示されているときのユーザの第１の反応を示すデータを取得するステップと、第１の反応を示すデータを解析して、ユーザの第１の反応にもとづく第１没入評価値を導出するステップと、コンテンツの画像が表示されているときのユーザの第２の反応を示すデータを取得するステップと、第２の反応を示すデータを解析して、ユーザの第２の反応にもとづく第２没入評価値を導出するステップと、第１没入評価値および第２没入評価値のそれぞれの重み値を設定するステップと、第１没入評価値および第２没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出するステップと、を有する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、コンテンツに対する没入度を導出する技術を提供できる。

実施例における情報処理システムの構成例を示す図である。 ＨＭＤの外観形状の例を示す図である。 ＨＭＤの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 ＨＭＤの表示パネルに表示されるメニュー画面を示す図である。 処理サーバの機能ブロックを示す図である。 設定される重み値の例を示す図である。

図１は、実施例における情報処理システム１の構成例を示す。情報処理システム１は情報処理装置１０と、ヘッドマウントディスプレイ（ＨＭＤ）１００と、記録装置１１と、ユーザが手指で操作する入力装置１６と、ＨＭＤ１００を装着したユーザを撮影するカメラ１４と、画像を表示する出力装置１５とを備える。出力装置１５はテレビであってよい。情報処理装置１０は、アクセスポイント（ＡＰ）１２を介して、インターネットなどの外部のネットワーク２に接続される。ＡＰ１２は無線アクセスポイントおよびルータの機能を有し、情報処理装置１０はＡＰ１２とケーブルで接続してよく、または既知の無線通信プロトコルで接続してもよい。

ＨＭＤ１００はユーザの頭部に装着されて仮想現実（ＶＲ）の映像世界をユーザに提供する。情報処理装置１０にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動してＨＭＤ１００に表示される視野画像を更新することで、映像世界に対するユーザの没入感を高められる。

情報処理装置１０は、ユーザにより入力装置１６に入力された操作データ（たとえばキーデータ）を受け付けて、様々なカテゴリのコンテンツを処理する端末装置である。情報処理装置１０は、コンテンツを処理した結果である画像データおよび音声データをＨＭＤ１００に供給する。たとえばコンテンツが映画やミュージックビデオである場合、情報処理装置１０は、コンテンツを再生して、コンテンツの映像および音声をＨＭＤ１００から出力させる。コンテンツがゲームソフトウェアである場合、情報処理装置１０は、ユーザ操作にもとづいてゲームソフトウェアを実行して、ゲームの映像および音声をＨＭＤ１００から出力させる。情報処理装置１０と入力装置１６とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。情報処理装置１０とＨＭＤ１００とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。

カメラ１４はステレオカメラであって、ＨＭＤ１００を装着したユーザを所定の周期で撮影し、撮影画像を情報処理装置１０に供給する。ＨＭＤ１００にはユーザ頭部をトラッキングするためのマーカ（トラッキング用ＬＥＤ）が設けられ、情報処理装置１０は、撮影画像に含まれるマーカの位置にもとづいてＨＭＤ１００の動きを検出する。ＨＭＤ１００には姿勢センサ（加速度センサおよびジャイロセンサ）が搭載され、情報処理装置１０は、姿勢センサで検出されたセンサデータをＨＭＤ１００から取得することで、マーカの撮影画像の利用とあわせて、高精度のヘッドトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、情報処理装置１０はＨＭＤ１００の動きを検出できるのであれば、どのような手法を採用してもよい。後述するように実施例のＨＭＤ１００は外部空間を撮影するカメラを搭載しており、情報処理装置１０が、カメラ画像からＳＬＡＭ（Simultaneous Localization and Mapping）処理によりヘッドトラッキングを実施してもよい。

ユーザはＨＭＤ１００で画像を見るため、ＨＭＤ１００を装着したユーザにとって出力装置１５は必ずしも必要ではないが、出力装置１５を用意することで、ＨＭＤ１００を装着していない別のユーザが出力装置１５に表示される画像を見ることができる。情報処理装置１０は、ＨＭＤ１００を装着したユーザが見ている視野画像と同じ画像を出力装置１５に表示させてもよいが、別の画像を表示させてもよい。

ＨＭＤ１００は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。ＨＭＤ１００は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置１０は、レンズによる光学歪みを補正した視差画像データをＨＭＤ１００に供給する。

情報処理装置１０は、ユーザのヘッドトラッキング処理により、ユーザ頭部（実際にはＨＭＤ１００）の位置座標および姿勢を検出する。ここでＨＭＤ１００の位置座標は、基準位置を原点とした３次元空間における位置座標であり、基準位置はＨＭＤ１００の電源がオンされたときの位置座標（緯度、経度）であってよい。またＨＭＤ１００の姿勢は、３次元空間における基準姿勢に対する３軸方向の傾きで表現される。基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、ＨＭＤ１００の電源がオンされたときに基準姿勢が設定されてよい。

情報処理装置１０は、ＨＭＤ１００の姿勢センサが検出したセンサデータのみから、ＨＭＤ１００の位置座標および姿勢を検出でき、さらにカメラ１４で撮影したＨＭＤ１００のマーカ（トラッキング用ＬＥＤ）を画像解析することで、高精度にＨＭＤ１００の位置座標および姿勢を検出できる。

情報処理システム１では、複数の情報処理装置１０が、ネットワーク２経由で、管理サーバ４と接続する。管理サーバ４は、情報処理装置１０にコンテンツを提供するコンテンツサーバ８と、コンテンツサーバ８が提供するコンテンツに対するユーザの没入度を導出する処理サーバ６とを備える。処理サーバ６およびコンテンツサーバ８は、別個の処理装置として構成されてよいが、一体の処理装置として構成されてもよい。

処理サーバ６は、複数のユーザが操作する複数の情報処理装置１０から、コンテンツの画像が表示されているときのユーザの反応を示す状況データを取得して、当該コンテンツに対するユーザの没入度を導出する。「没入度」はユーザがコンテンツに集中して入り込んだ度合いを示す指標であり、没入度が高いことは、ユーザがコンテンツに集中した程度が高いことを意味し、没入度が低いことは、ユーザがコンテンツに集中した程度が低いこと、つまりユーザがコンテンツを集中して見なかったことを意味する。没入度は複数のパラメータにおける評価値を統合して導出され、たとえば１００点満点中の点数として表現されてよい。

処理サーバ６は、１つのコンテンツに関して、複数のユーザの没入度を導出し、導出した複数のユーザの没入度を統計処理することで、当該コンテンツの客観的な評価指標となる没入度を導出する。処理サーバ６は、コンテンツに対する没入度を利用して、ユーザがコンテンツを選択するためのメニュー空間を生成してよい。仮想空間であるメニュー空間には、複数のコンテンツアイコンが選択可能に配置され、没入度の高いコンテンツのアイコンがユーザに近い位置に配置される。

コンテンツサーバ８は、情報処理装置１０にコンテンツを提供する。コンテンツサーバ８は、映画、ゲーム、ニュース映像、ミュージックビデオ、コンサート映像など、様々なカテゴリのコンテンツを提供してよい。

図２は、ＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。

出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。

筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしてもカメラ１４により撮影されて、情報処理装置１０がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザがカメラ１４に対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。

ＨＭＤ１００は、姿勢センサが検出したセンサデータや筐体外部を撮影するカメラ（図示せず）が撮影した画像データ、マイクに入力された音声データを情報処理装置１０に送信する。またＨＭＤ１００は、情報処理装置１０から供給される画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示し、情報処理装置１０から供給される音声データを受信して、スピーカーから出力する。

図３は、ＨＭＤ１００の機能ブロックを示す。制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。カメラ１３４は筐体１０８の外側に設けられて、ＨＭＤ１００の外部空間を撮影する。

通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部の情報処理装置１０に送信する。また通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置１０からデータを受信し、制御部１２０に出力する。

制御部１２０は、情報処理装置１０から受け取ったコンテンツの画像データを表示パネル１３０に供給して表示し、情報処理装置１０から受け取ったコンテンツの音声データを音声出力部１３２に供給して音声出力する。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データ、カメラ１３４からの撮影画像データを、通信制御部１２８から情報処理装置１０に送信させる。

図４は、情報処理装置１０の機能ブロックを示す。情報処理装置１０は、外部との入出力インタフェースとして、メニュー空間受信部２０、コンテンツ受信部２２、ＨＭＤデータ受信部２４、撮影画像受信部２６、操作データ受信部２８および送信部６０を備える。情報処理装置１０は、さらに顔方向検出部３０、コンテンツ処理部４０および状況データ生成部５０を備え、コンテンツ処理部４０は、メニュー画像生成部４２、実行部４４および出力処理部４６を有する。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

実施例において処理サーバ６は、ユーザがコンテンツを選択するためのメニュー空間を構成するデータ（メニュー空間データ）を生成して、情報処理装置１０に提供する。情報処理装置１０においてメニュー空間受信部２０がメニュー空間データを受信し、メニュー画像生成部４２が、ユーザの顔の向きにもとづいたメニュー画像を生成して、送信部６０がメニュー画像をＨＭＤ１００に転送する。

図５は、ＨＭＤ１００の表示パネル１３０に表示されるメニュー画面を示す。メニュー画面には、複数のコンテンツのアイコンが表示される。複数のコンテンツアイコンは、導出された没入度の高いものから順に、手前から奥に向かって配置される。このメニュー画面例では、複数のコンテンツアイコンが、カテゴリ別に一列に並べて表示されている。

映画アイコン８０ａ、８０ｂ、８０ｃ、８０ｄは、映画コンテンツを表現し、高い没入度を有する映画コンテンツのアイコンほど手前に、より大きく表示される。ゲームアイコン８２ａ、８２ｂ、８２ｃは、ゲームコンテンツを表現し、高い没入度を有するゲームコンテンツのアイコンほど手前に、より大きく表示される。ニュース映像アイコン８４ａ、８４ｂは、ニュース映像コンテンツを表現し、ミュージックビデオアイコン８６ａ、８６ｂ、８６ｃは、ミュージックビデオコンテンツを表現し、コンサート映像アイコン８８ａ、８８ｂは、音楽のコンサート映像コンテンツを表現する。いずれのカテゴリにおいても、高い没入度を有するコンテンツのアイコンほど手前に、且つ大きく表示されてよい。

高い没入度を有するコンテンツのアイコンは目立つように表示されることが好ましい。たとえば高い没入度を有するコンテンツのアイコンほど、変形する態様や、振動する態様で表示されてよい。

操作データ受信部２８は、入力装置１６から、ユーザが入力した操作データを受信する。操作データ受信部２８は、ユーザの操作データを、コンテンツ処理部４０および状況データ生成部５０に供給する。

ＨＭＤデータ受信部２４は、ＨＭＤ１００の姿勢センサ１２４で検出されたセンサデータ、マイク１２６で取得された音声データ、カメラ１３４で取得された撮影画像データを受信する。ＨＭＤデータ受信部２４は、センサデータ、音声データおよび撮影画像データを状況データ生成部５０に供給するとともに、センサデータを顔方向検出部３０に供給する。

撮影画像受信部２６は、カメラ１４から所定の周期でユーザを撮影した画像を受信して、顔方向検出部３０および状況データ生成部５０に供給する。カメラ１４は（１／６０）秒ごとにユーザを含む空間を撮影してよい。

顔方向検出部３０は、姿勢センサ１２４によるセンサデータおよびカメラ１４による撮影画像を、ユーザの頭部に装着されたＨＭＤ１００の姿勢を示す姿勢情報として取得し、ユーザの顔の向きを検出する。具体的に顔方向検出部３０は、姿勢センサ１２４のうち３軸ジャイロセンサのセンサデータから、ＨＭＤ１００の姿勢の変化を検出する。顔方向検出部３０は、トラッキング用の発光マーカ１１０の撮影結果をさらに利用して、姿勢変化の検出精度を高めることが好ましい。顔方向検出部３０は、特定したＨＭＤ１００の姿勢を、ユーザの顔の向きとして決定し、コンテンツ処理部４０に提供する。

コンテンツ処理部４０において、メニュー画像生成部４２は、顔方向検出部３０から提供される顔の向きを、メニュー空間における仮想カメラの光軸方向を定める情報として利用する。なおメニュー画像生成部４２は、操作データ受信部２８が受信した操作データを、仮想カメラの光軸方向を定める情報として利用してもよい。実施例においてメニュー空間内の仮想カメラの位置は固定とするが、メニュー空間内で仮想カメラを移動可能としてもよい。メニュー画像生成部４２は、仮想カメラの位置および光軸方向に応じたメニュー画像を生成する。メニュー画像生成部４２が左目用のメニュー画像と右目用のメニュー画像を生成すると、出力処理部４６は送信部６０から、左目用表示画像と右目用表示画像をＨＭＤ１００に送信させる。これによりＨＭＤ１００は、図５に示すメニュー画面を表示パネル１３０に表示する。

ユーザは、入力装置１６を操作して、メニュー画面に含まれるコンテンツアイコンを選択できる。メニュー画面において複数のコンテンツアイコンが重なってしまっている場合、ユーザは、手をスワイプして手前または奥のコンテンツアイコンを移動または消去させたり、発声によって手前または奥のコンテンツアイコンを移動または消去させたりできてよい。またユーザが首を傾けることで、手前または奥のコンテンツアイコンを移動させることができてもよい。このようにユーザは、所望のコンテンツアイコンを選択しやすい状態にして、選択してよい。ユーザがコンテンツアイコンを選択すると、ＨＭＤ１００が、選択したコンテンツ情報を情報処理装置１０に送信し、情報処理装置１０がコンテンツサーバ８にコンテンツ情報を送信する。コンテンツサーバ８は、ユーザが選択したコンテンツ情報を受信すると、当該コンテンツを情報処理装置１０に送信する。

情報処理装置１０においてコンテンツ受信部２２がコンテンツを受信し、実行部４４が、操作データ受信部２８が受信した入力装置１６の操作データ、および／または顔方向検出部３０で検出されたユーザの顔の向きに応じて、コンテンツを処理する。出力処理部４６は送信部６０から、コンテンツの処理結果となる画像データおよび音声データをＨＭＤ１００に送信させる。これによりＨＭＤ１００は、コンテンツ画像を表示パネル１３０に表示し、コンテンツ音声を音声出力部１３２から出力する。以上のようにして、ユーザは、コンテンツを楽しむことができる。

上記したようにＨＭＤデータ受信部２４は、姿勢センサ１２４で検出されたセンサデータ、マイク１２６で取得された音声データ、カメラ１３４で取得された撮影画像データを状況データ生成部５０に供給する。撮影画像受信部２６は、カメラ１４で取得された撮影画像データを状況データ生成部５０に供給する。また操作データ受信部２８は、入力装置１６にユーザが入力した操作データを状況データ生成部５０に供給する。出力処理部４６は、状況データ生成部５０に対して、コンテンツ画像が表示パネル１３０に表示されているか否かを示す情報を提供する。

コンテンツ画像が表示パネル１３０に表示されている間、状況データ生成部５０は、ＨＭＤデータ受信部２４、撮影画像受信部２６および操作データ受信部２８から供給される各種データをまとめて、ユーザがコンテンツに反応している状況を示す状況データとして処理サーバ６に送信する。なお状況データ生成部５０は、状況データをリアルタイムに送信しなくてもよく、コンテンツ画像の表示中に供給される各種データをまとめて、コンテンツ画像の表示終了後に処理サーバ６に送信してもよい。

以下、処理サーバ６が、情報処理装置１０から送信されるユーザの状況データから、コンテンツに対するユーザの没入度を導出する処理について説明する。

図６は、処理サーバ６の機能ブロックを示す。処理サーバ６は、処理部２００および通信部２０２を備え、処理部２００は、状況データ取得部２１０、第１解析部２１２、第２解析部２１４、第３解析部２１６、重み設定部２１８、没入度導出部２２０およびメニュー空間生成部２２２を備える。

図６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

状況データ取得部２１０は、通信部２０２を介して、情報処理装置１０から、コンテンツが表示されているときのユーザの反応状況を示す状況データを取得する。状況データに含まれるユーザの反応を示すデータは、以下のデータ種類に分類される。
・ 第１の反応を示すデータ
第１の反応を示すデータは、コンテンツ画像が表示されているときのユーザの体の動きを示す動作データであり、姿勢センサ１２４で検出されたセンサデータ、カメラ１３４で取得された撮影画像データおよびカメラ１４で取得された撮影画像データを含む。
・ 第２の反応を示すデータ
第２の反応を示すデータは、コンテンツ画像が表示されているときにユーザが発した音声を示す音声データであり、マイク１２６で取得された音声データが該当する。
・ 第３の反応を示すデータ
第３の反応を示すデータは、コンテンツ画像が表示されているときにユーザが入力装置１６を操作した操作データであり、入力装置１６に入力された操作データが該当する。

処理部２００は、データ種類ごとにデータを解析して、コンテンツに対するユーザの没入度を求めるための評価値をデータ種類ごとに導出する。

（１）ユーザの第１の反応にもとづく第１没入評価値
第１解析部２１２は、第１の反応を示すデータである動作データを解析して、ユーザの体の動きにもとづく第１没入評価値を導出する。実施例において動作データは、姿勢センサ１２４によるセンサデータ、カメラ１３４およびカメラ１４で取得された撮影画像データを含むが、第１解析部２１２は、適切な１種類以上のデータを利用して、ユーザの体の動きを特定してよい。第１解析部２１２は、以下の２つの評価基準のうちのいずれかで、ユーザの体の動きにもとづく第１没入評価値を導出する。

（１ａ）静止姿勢にもとづく第１評価基準
映画やニュース映像などのコンテンツに没入しているとき、ユーザは大きく動かず、静止した姿勢をとる。そこで第１評価基準では、第１解析部２１２はユーザの静止姿勢を、コンテンツに没入した状態と評価する。第１解析部２１２は、コンテンツ表示中に、ユーザの姿勢が連続して静止している時間を計測し、コンテンツ表示時間に対する姿勢静止時間の割合を求める。このとき連続して静止している時間が所定時間（たとえば３０秒）よりも短ければ、その時間は、姿勢静止時間に加算されない。第１解析部２１２は、当該割合に応じて、第１没入評価値を導出する。第１没入評価値は、１００点満点中の点数として導出される。

コンテンツ表示時間に対する姿勢静止時間の割合が９０％以上である場合、第１解析部２１２は、第１没入評価値を１００点としてよい。たとえばコンテンツ表示時間が１００分であるとき、累積した姿勢静止時間が９０分以上であれば、第１解析部２１２は、第１没入評価値を１００点に設定する。当該割合が７０％以上、９０％未満の場合、第１解析部２１２は、第１没入評価値を６０点とし、当該割合が５０％以上、７０％未満の場合、第１解析部２１２は、第１没入評価値を３０点とし、当該割合が５０％未満の場合、第１解析部２１２は、第１没入評価値を０点としてよい。このように第１解析部２１２は、静止姿勢時間にもとづく第１評価基準で、第１没入評価値を導出してよい。

（１ｂ）連続的な動きにもとづく第２評価基準
ミュージックビデオやコンサート映像などのコンテンツに没入しているとき、ユーザは音楽のリズムに合わせて体を動かす。そこで第２評価基準では、第１解析部２１２はユーザが連続的に体を動かしている状態を、コンテンツに没入した状態と評価する。第１解析部２１２は、コンテンツ表示中に、ユーザの姿勢が連続して動いている時間を計測し、コンテンツ表示時間に対する連続動作時間の割合を求める。このとき連続して動いている時間が所定時間（たとえば２０秒）よりも短ければ、その時間は、連続動作時間に加算されない。第１解析部２１２は、当該割合に応じて、第１没入評価値を導出する。第１没入評価値は、１００点満点中の点数として導出される。

コンテンツ表示時間に対する連続動作時間の割合が５０％以上である場合、第１解析部２１２は、第１没入評価値を１００点としてよい。たとえばコンテンツ表示時間が１００分であるとき、累積した連続動作時間が５０分以上であれば、第１解析部２１２は、第１没入評価値を１００点に設定する。当該割合が３０％以上、５０％未満の場合、第１解析部２１２は、第１没入評価値を６０点とし、当該割合が１０％以上、３０％未満の場合、第１解析部２１２は、第１没入評価値を３０点とし、当該割合が１０％未満の場合、第１解析部２１２は、第１没入評価値を０点としてよい。このように第１解析部２１２は、連続動作時間にもとづく第２評価基準で、第１没入評価値を導出してよい。

第１解析部２１２は、コンテンツのカテゴリにもとづいて、いずれの評価基準を利用するか決定する。コンテンツが映画やニュース映像、ゲームなどである場合、第１解析部２１２は、連続静止時間にもとづいた第１評価基準を利用する。一方で、コンテンツがミュージックビデオやコンサート映像などの場合、第１解析部２１２は、連続動作時間にもとづく第２評価基準を利用する。このようにカテゴリに応じて評価基準を使い分けることで、第１解析部２１２は、ユーザの体の動きにもとづいた第１没入評価値を適切に導出できる。

（２）ユーザの第２の反応にもとづく第２没入評価値
第２解析部２１４は、第２の反応を示すデータである音声データを解析して、ユーザの発声にもとづく第２没入評価値を導出する。実施例において音声データは、ＨＭＤ１００のマイク１２６で取得された音声データであるが、ユーザが存在する空間に設置された別のマイクで取得された音声データであってもよい。

・ 別のユーザと会話できる状態のとき
ユーザと別のユーザが同じコンテンツを見ながら会話できる状態にあるとき、ユーザ同士が当該コンテンツに関して会話することで、集中力が高まり、コンテンツに没入しやすくなる。そこで第２解析部２１４は、コンテンツ表示中に、ユーザが発声している時間を計測し、コンテンツ表示時間に対する発声時間の割合を求める。

コンテンツ表示時間に対する発声時間の割合が１０％以上である場合、第２解析部２１４は、第２没入評価値を１００点としてよい。たとえばコンテンツ表示時間が１００分であるとき、累積した発声時間が１０分以上であれば、第２解析部２１４は、第２没入評価値を１００点に設定する。当該割合が５％以上、１０％未満の場合、第２解析部２１４は、第２没入評価値を６０点とし、当該割合が２％以上、５％未満の場合、第２解析部２１４は、第２没入評価値を３０点とし、当該割合が２％未満の場合、第２解析部２１４は、第２没入評価値を０点としてよい。このように第２解析部２１４は、発声時間にもとづいて、第２没入評価値を導出してよい。

・ 別のユーザと会話できないとき
独り言には、目の前にある事柄に集中できる効果があることが知られている。そのためユーザが１人でコンテンツを見ているときに、独り言を言っていれば、コンテンツに没入している可能性が高い。そこで第２解析部２１４は、コンテンツ表示中に、ユーザが発声（独り言）している時間を計測し、コンテンツ表示時間に対する発声時間の割合を求める。

コンテンツ表示時間に対する発声時間の割合が５％以上である場合、第２解析部２１４は、第２没入評価値を１００点としてよい。たとえばコンテンツ表示時間が１００分であるとき、累積した発声時間が５分以上であれば、第２解析部２１４は、第２没入評価値を１００点に設定する。当該割合が３％以上、５％未満の場合、第２解析部２１４は、第２没入評価値を６０点とし、当該割合が１％以上、３％未満の場合、第２解析部２１４は、第２没入評価値を３０点とし、当該割合が１％未満の場合、第２解析部２１４は、第２没入評価値を０点としてよい。このように第２解析部２１４は、独り言の発声時間にもとづいて、第２没入評価値を導出してよい。

なおコンサート映像やミュージックビデオなどの音楽コンテンツの表示中、ユーザは没入すると、コンテンツ音声として流れる歌声に合わせて歌う。そこで音楽が流れるコンテンツの場合には、以下の基準で、第２解析部２１４が第２没入評価値を導出する。

コンテンツ表示時間に対する発声時間の割合が４０％以上である場合、第２解析部２１４は、第２没入評価値を１００点としてよい。たとえばコンテンツ表示時間が１００分であるとき、歌うことで累積された発声時間が４０分以上であれば、第２解析部２１４は、第２没入評価値を１００点に設定する。当該割合が２０％以上、４０％未満の場合、第２解析部２１４は、第２没入評価値を６０点とし、当該割合が１０％以上、２０％未満の場合、第２解析部２１４は、第２没入評価値を３０点とし、当該割合が１０％未満の場合、第２解析部２１４は、第２没入評価値を０点としてよい。このように音楽コンテンツの場合、第２解析部２１４は、ユーザが歌っている時間にもとづいて、第２没入評価値を導出してよい。

（３）ユーザの第３の反応にもとづく第３没入評価値
第３解析部２１６は、第３の反応を示すデータである入力装置１６の操作データを解析して、入力装置１６の操作状況にもとづく第３没入評価値を導出する。
映画、ニュース映像、ミュージックビデオやコンサート映像などのコンテンツ表示中、入力装置１６は、画像を切り替えるためのメニュー表示や、音量変更、早送りや早戻しなどの操作のために利用される。そのため、これらのコンテンツの表示中に、頻繁に入力装置１６が操作されることは、ユーザが、当該コンテンツに没入していないことを示す。そこで第３解析部２１６は、コンテンツ表示中に、入力装置１６が操作された回数をカウントし、単位時間あたりの操作回数を求める。第３解析部２１６は、たとえば１０分あたりの操作回数を求めてよい。第３解析部２１６は、単位時間あたりの操作回数に応じて、第３没入評価値を導出する。第３没入評価値は、１００点満点中の点数として導出される。

単位時間あたりの操作回数（１０分あたりの操作回数）が２回以上である場合、第３解析部２１６は、第３没入評価値を０点としてよい。当該回数が１回以上、２回未満の場合、第３解析部２１６は、第３没入評価値を３０点とし、当該回数が０．５回以上、１回未満の場合、第３解析部２１６は、第３没入評価値を５０点とし、当該回数が０．５回未満の場合、第３解析部２１６は、第３没入評価値を１００点とする。

なおゲームのコンテンツ表示中、ユーザは入力装置１６を操作してゲームを進行させている。そのためゲームコンテンツを表示しているとき（つまりユーザがゲームをプレイしているとき）、入力装置１６の操作データは、あくまでもゲーム進行に必要なものであり、ユーザのゲームコンテンツに対する没入度を表現しない。そこでゲームコンテンツの場合には、第３没入評価値を無視して、没入度を導出することが必要となる。

以上のように、第１解析部２１２が第１没入評価値を導出し、第２解析部２１４が第２没入評価値を導出し、第３解析部２１６が第３没入評価値を導出する。重み設定部２１８は、第１没入評価値、第２没入評価値および第３没入評価値のそれぞれの重み値を設定する。没入度導出部２２０は、第１没入評価値、第２没入評価値および第３没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出する。重み設定部２１８は、コンテンツのカテゴリに応じた重み値を設定してよい。

図７（ａ）～図７（ｃ）は、カテゴリごとに設定される重み値の例を示す。
図７（ａ）は、映画コンテンツの重み値を示す。重み設定部２１８は、第１評価基準にもとづく第１没入評価値の重み値をｗａ１（５０％）、第２没入評価値の重み値をｗａ２（４０％）、第３没入評価値の重み値をｗａ３（１０％）と設定する。重み値ｗａ１、ｗａ２、ｗａ３の総和は、１００％となる。映画コンテンツの場合、第１没入評価値が、コンテンツ没入度に最も影響を与えるパラメータとして設定される。

没入度導出部２２０は、以下のように映画コンテンツの没入度を導出する。
（没入度）＝第１没入評価値×ｗａ１＋第２没入評価値×ｗａ２＋第３没入評価値×ｗａ３
没入評価値に重み値を乗算する演算は、没入評価値を重み付けする処理に相当する。以上の式により、１人のユーザの映画コンテンツに対する没入度が導出される。

図７（ｂ）は、コンサート映像コンテンツの重み値を示す。重み設定部２１８は、第２評価基準にもとづく第１没入評価値の重み値をｗｂ１（３０％）、第２没入評価値の重み値をｗｂ２（６０％）、第３没入評価値の重み値をｗｂ３（１０％）と設定する。重み値ｗｂ１、ｗｂ２、ｗｂ３の総和は、１００％となる。コンサート映像コンテンツの場合、第２没入評価値が、コンテンツ没入度に最も影響を与えるパラメータとして設定される。

没入度導出部２２０は、以下のようにコンサート映像コンテンツの没入度を導出する。
（没入度）＝第１没入評価値×ｗｂ１＋第２没入評価値×ｗｂ２＋第３没入評価値×ｗｂ３
以上の式により、１人のユーザのコンサート映像コンテンツに対する没入度が導出される。

図７（ｃ）は、ゲームコンテンツの重み値を示す。重み設定部２１８は、第１評価基準にもとづく第１没入評価値の重み値をｗｃ１（３０％）、第２没入評価値の重み値をｗｃ２（７０％）、第３没入評価値の重み値を０％と設定する。重み値ｗｃ１、ｗｃ２の総和は、１００％となる。ゲームコンテンツの場合、第２没入評価値が、コンテンツ没入度に最も影響を与えるパラメータとして設定される。

没入度導出部２２０は、以下のようにゲームコンテンツの没入度を導出する。
（没入度）＝第１没入評価値×ｗｃ１＋第２没入評価値×ｗｃ２
以上の式により、１人のユーザのゲームコンテンツに対する没入度が導出される。ゲームコンテンツを実施する際、ユーザは入力装置１６を操作するため、入力装置１６の操作状況を没入度導出のパラメータとして利用しないことで、導出する没入度の信頼性を高めることができる。

没入度導出部２２０は、１つのコンテンツに関して、複数のユーザの没入度を導出し、導出した複数のユーザの没入度を統計処理することで、当該コンテンツの客観的な評価指標となる没入度を導出する。統計処理の単純な例としては、没入度導出部２２０は、複数のユーザの没入度の平均値を算出することで、当該コンテンツに対する没入度を導出してよい。重み設定部２１８がカテゴリごとに重み値を設定し、没入度導出部２２０が重み値を用いて各没入評価値を重み付けして没入度を算出することで、カテゴリ内のコンテンツ没入度に順位付けすることが可能となる。

メニュー空間生成部２２２は、没入度導出部２２０により導出されたコンテンツに対する没入度を利用して、ユーザがコンテンツを選択するためのメニュー空間を生成する。図５に例示したように、メニュー空間には、仮想的なユーザ位置に対して、没入度の高いコンテンツアイコンが近くに且つ大きく配置される。これによりユーザは、１つのカテゴリ内において没入度の高いコンテンツを選択しやすくなる。

なお没入度導出部２２０は、没入度に関する指標をカテゴリ間で容易に比較できるようにするために、没入度を加工してもよい。たとえば没入度導出部２２０は、カテゴリ内での没入度の偏差値を求める。カテゴリ内で求められた没入度の偏差値は、平均値からの偏差を表現する指標であるため、カテゴリ間の比較に利用できる。この場合、メニュー空間生成部２２２は、カテゴリに依存することなく、没入度の偏差値を利用して、コンテンツを選択するためのメニュー空間を生成してよい。

以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

実施例では情報処理装置１０とＨＭＤ１００とが別体であることを説明したが、変形例では情報処理装置１０の機能がＨＭＤ１００に組み込まれて、ＨＭＤ１００が単体で状況データの送信機能を実現してもよい。

実施例では、没入度導出部２２０が、第１没入評価値、第２没入評価値、第３没入評価値の３つのパラメータを用いてコンテンツ没入度を導出したが、これらのパラメータのうちの２つを用いてコンテンツ没入度を導出してもよい。没入度導出部２２０は、第１没入評価値および第２没入評価値の組み合わせにもとづいてコンテンツ没入度を導出してよく、第１没入評価値および第３没入評価値の組み合わせにもとづいてコンテンツ没入度を導出してよく、第２没入評価値および第３没入評価値の組み合わせにもとづいてコンテンツ没入度を導出してよい。

１・・・情報処理システム、２・・・ネットワーク、４・・・管理サーバ、６・・・処理サーバ、８・・・コンテンツサーバ、１０・・・情報処理装置、１６・・・入力装置、２０・・・メニュー空間受信部、２２・・・コンテンツ受信部、２４・・・ＨＭＤデータ受信部、２６・・・撮影画像受信部、２８・・・操作データ受信部、３０・・・顔方向検出部、４０・・・コンテンツ処理部、４２・・・メニュー画像生成部、４４・・・実行部、４６・・・出力処理部、５０・・・状況データ生成部、６０・・・送信部、１００・・・ＨＭＤ、１０２・・・出力機構部、１０４・・・装着機構部、１０６・・・装着バンド、１０８・・・筐体、１１０・・・発光マーカ、１２０・・・制御部、１２２・・・記憶部、１２４・・・姿勢センサ、１２６・・・マイク、１２８・・・通信制御部、１３０・・・表示パネル、１３０ａ・・・左目用表示パネル、１３０ｂ・・・右目用表示パネル、１３２・・・音声出力部、１３４・・・カメラ、２００・・・処理部、２０２・・・通信部、２１０・・・状況データ取得部、２１２・・・第１解析部、２１４・・・第２解析部、２１６・・・第３解析部、２１８・・・重み設定部、２２０・・・没入度導出部、２２２・・・メニュー空間生成部。

Claims (7)

1. コンテンツに対する没入度を導出する処理装置であって、
   コンテンツの画像が表示されているときのユーザの第１の反応を示すデータと、コンテンツの画像が表示されているときのユーザの第１の反応とは異なる第２の反応を示すデータとを含む状況データを取得する状況データ取得部と、
   第１の反応を示すデータを解析して、ユーザの第１の反応にもとづく第１没入評価値を導出する第１解析部と、
   第２の反応を示すデータを解析して、ユーザの第２の反応にもとづく第２没入評価値を導出する第２解析部と、
   第１没入評価値および第２没入評価値のそれぞれの重み値を設定する重み設定部と、
   第１没入評価値および第２没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出する没入度導出部と、
   を備えることを特徴とする処理装置。
2. ユーザの第１の反応を示すデータは、ユーザの動きを示す動作データであり、
   ユーザの第２の反応を示すデータは、ユーザが発した音声を示す音声データである、
   ことを特徴とする請求項１に記載の処理装置。
3. 前記状況データ取得部は、コンテンツの画像が表示されているときのユーザの第３の反応を示すデータを含む状況データを取得し、
   第３の反応を示すデータを解析して、ユーザの第３の反応にもとづく第３没入評価値を導出する第３解析部を、さらに備え、
   前記重み設定部は、第３没入評価値の重み値を設定し、
   前記没入度導出部は、それぞれの重み値で重み付けされた第１没入評価値、第２没入評価値および第３没入評価値から、コンテンツに対する没入度を導出する、
   ことを特徴とする請求項１または２に記載の処理装置。
4. ユーザの第３の反応を示すデータは、ユーザが入力装置を操作した操作データである、
   ことを特徴とする請求項３に記載の処理装置。
5. 前記重み値設定部は、コンテンツのカテゴリに応じた重み値を設定する、
   ことを特徴とする請求項１から４のいずれかに記載の処理装置。
6. コンテンツに対する没入度を導出する方法であって、
   コンテンツの画像が表示されているときのユーザの第１の反応を示すデータを取得するステップと、
   第１の反応を示すデータを解析して、ユーザの第１の反応にもとづく第１没入評価値を導出するステップと、
   コンテンツの画像が表示されているときのユーザの第２の反応を示すデータを取得するステップと、
   第２の反応を示すデータを解析して、ユーザの第２の反応にもとづく第２没入評価値を導出するステップと、
   第１没入評価値および第２没入評価値のそれぞれの重み値を設定するステップと、
   第１没入評価値および第２没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出するステップと、
   を有することを特徴とする没入度導出方法。
7. コンピュータに、
   コンテンツの画像が表示されているときのユーザの第１の反応を示すデータを取得する機能と、
   第１の反応を示すデータを解析して、ユーザの第１の反応にもとづく第１没入評価値を導出する機能と、
   コンテンツの画像が表示されているときのユーザの第２の反応を示すデータを取得する機能と、
   第２の反応を示すデータを解析して、ユーザの第２の反応にもとづく第２没入評価値を導出する機能と、
   第１没入評価値および第２没入評価値のそれぞれの重み値を設定する機能と、
   第１没入評価値および第２没入評価値と、それぞれの重み値とから、コンテンツに対する没入度を導出する機能と、
   を実現させるためのプログラム。

Images