JP2023115649A - 分析システム、情報処理装置、分析方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの実際の嗜好の傾向に沿った分析結果を出力することができる分析システムを提供すること。【解決手段】本開示にかかる分析システムは、映像を表示する表示手段１１と、映像を視聴しているユーザが発声した際の音声情報を記録する記録手段１２と、音声情報を用いて、音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対するユーザの嗜好を分析する分析手段１３と、を備える。【選択図】図１

Description

本開示は、分析システム、情報処理装置、分析方法、及びプログラムに関する。

近年、仮想空間における様々な体験を提供するAR（Augmented Reality）サービスもしくはVR（Virtual Reality）サービスが提供されている。ARサービスもしくはVRサービスが仮想的な世界を表現する映像をユーザに提供することによって、ユーザは、様々な仮想空間を体験することができる。

特許文献１には、仮想空間におけるユーザの視点に基づいて、ユーザの嗜好もしくは関心を把握する情報分析システムの構成が開示されている。

特開２０２１－４３８１９号公報

特許文献１に開示されている情報分析システムにおいては、ユーザの視野に入ったマーカに関連付けられた抽象属性に対して点数を付与し、点数が高くなるほどユーザの関心度が高い、もしくは、その抽象属性への嗜好性が強いと分析される。しかし、ユーザの視野に偶然に入った抽象属性に対して必ずしもユーザの関心度が高くさらに嗜好性が強いとは限らない。そのため、ユーザの視点に基づいて嗜好性の分析を行った場合に、ユーザの実際の嗜好の傾向とは異なる傾向が示される可能性があるという問題がある。

本開示の目的の一つは、ユーザの実際の嗜好の傾向に沿った分析結果を出力することができる分析システム、情報処理装置、分析方法、及びプログラムを提供することにある。

本開示の第１の態様にかかる分析システムは、映像を表示する表示手段と、前記映像を視聴しているユーザが発声した際の音声情報を記録する記録手段と、前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する分析手段と、を備える。

本開示の第２の態様にかかる情報処理装置は、映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得する取得部と、前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する分析部と、を備える。

本開示の第３の態様にかかる分析方法は、映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得し、前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する。

本開示の第４の態様にかかるプログラムは、映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得し、前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析することをコンピュータに実行させるプログラム。

本開示により、ユーザの実際の嗜好の傾向に沿った分析結果を出力することができる分析システム、情報処理装置、分析方法、及びプログラムを提供することができる。

実施の形態１にかかる分析システムの構成図である。 実施の形態１にかかる情報処理装置の構成図である。 実施の形態１にかかる分析方法の処理の流れを示す図である。 実施の形態２にかかる分析システムの構成図である。 実施の形態２にかかるHMD搭載装置の構成図である。 実施の形態２にかかる分析サーバの構成図である。 実施の形態２にかかるHMD搭載装置におけるデータ収集処理の流れを示す図である。 実施の形態２にかかる分析サーバにおける分析処理の流れを示す図である。 実施の形態２にかかる分析処理の詳細な処理の流れを示す図である。 実施の形態２にかかる分析処理の詳細な処理の流れを示す図である。 実施の形態２にかかる位置スコアの算出を説明する図である。 実施の形態２にかかるネガポジ評価の詳細な処理の流れを示す図である。 実施の形態４にかかる位置スコアの算出を説明する図である。 実施の形態５にかかる位置スコアの算出を説明する図である。 それぞれの実施の形態にかかるHMD搭載装置及び分析サーバの構成図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて実施の形態１にかかる分析システムの構成例について説明する。図１の分析システムは、表示手段１１記録手段１２、及び分析手段１３を有している。表示手段１１、記録手段１２、及び分析手段１３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、表示手段１１、記録手段１２、及び分析手段１３は、回路もしくはチップ等のハードウェアであってもよい。

表示手段１１、記録手段１２、及び分析手段１３は、コンピュータ装置に備えられている。表示手段１１、記録手段１２、及び分析手段１３は、それぞれが異なるコンピュータ装置に備えられてもよく、同一のコンピュータ装置に備えられてもよい。もしくは、表示手段１１、記録手段１２、及び分析手段１３のうちの２以上の要素が一つのコンピュータ装置に備えられてもよい。コンピュータ装置は、プロセッサがメモリに格納されたプログラムを実行することによって動作する装置である。

表示手段１１は、映像を表示する。表示手段１１は、例えば、ディスプレイ装置であってもよい。具体的には、表示手段１１は、ARサービスもしくはVRサービスを提供するHMD（Head Mounted Display）であってもよい。表示手段１１が表示する映像は、実際の風景、ゲーム映像、CG（Computer Graphics）等を含んでもよい。

記録手段１２は、映像を視聴しているユーザが発声した際の音声情報を記録する。記録手段１２は、例えば、マイクを介してユーザの音声情報を記録してもよい。記録手段１２は、コンピュータ装置に内蔵されるメモリであってもよく、コンピュータ装置に外付けされるメモリであってもよい。

分析手段１３は、音声情報を用いて音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対するユーザの嗜好を分析する。映像に含まれるオブジェクトは、例えば、映像内に含まれる建物、自然物、人間、動物、車両、等の何らかの名称を有する物であってもよい。オブジェクトに対するユーザの嗜好を分析するとは、オブジェクトに対するユーザの嗜好の傾向を分析することであってもよい。オブジェクトに対するユーザの嗜好を分析するとは、オブジェクトに対するユーザの感情を分析することであってもよく、例えば、ユーザがオブジェクトに対して肯定的な印象を抱いているか、否定的な印象を抱いているか、を判定することであってもよい。もしくは、オブジェクトに対するユーザの嗜好を分析するとは、オブジェクトに対するユーザの関心度を分析することであってもよく、例えば、オブジェクトに対するユーザの関心が高いかもしくは低いかを判定することであってもよい。分析手段１３は、例えば、ユーザの発話内容に基づいて、オブジェクトに対するユーザの嗜好を分析してもよい。

ここで、図２示すように、コンピュータ装置である情報処理装置２０が、取得手段２１及び分析手段１３を有してもよい。情報処理装置２０が有する分析手段１３は、図１の分析手段１３と同様である。取得手段２１は、他の装置において記録されたユーザの音声情報を、他の装置からネットワーク等を介して取得してもよい。情報処理装置２０における分析手段１３は、取得手段２１が取得した音声情報を用いてユーザの嗜好を分析してもよい。

続いて、図３を用いて実施の形態１にかかる分析処理の流れについて説明する。ここでは、図２に示す情報処理装置２０が実行する分析処理の流れについて説明する。はじめに、取得手段２１は、映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得する（Ｓ１１）。取得手段２１は、音声情報を、他の装置からネットワークを介して取得してもよく、情報処理装置２０が有するマイクを介して取得してもよい。

次に、分析手段１３は、音声情報を用いて、音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対するユーザの嗜好を分析する（Ｓ１２）。

以上説明したように、図１の分析システムもしくは図２の情報処理装置２０は、ユーザの音声情報に基づいて、映像に含まれるオブジェクトに対するユーザの嗜好を分析する。ユーザの音声情報には、ユーザの感情を表す発話が含まれる。これより、映像に含まれるオブジェクトに対するユーザの発話内容を用いることによって、オブジェクトに対するユーザの嗜好を正確に分析することができる。

（実施の形態２）
続いて図４を用いて実施の形態２にかかる分析システムの構成例について説明する。図４の分析システムは、HMD搭載装置３０及び分析サーバ４０を有している。HMD搭載装置３０及び分析サーバ４０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。ユーザは、ARサービスもしくはVRサービスを利用する際に、HMD搭載装置３０を装着し、HMD搭載装置３０が出力する映像を視聴する。分析サーバ４０は、HMD搭載装置３０からネットワークを介して受信した情報を用いて、ユーザの嗜好を分析する。HMD搭載装置３０は、無線通信回線もしくは固定通信回線を介して分析サーバ４０に接続されてもよい。分析サーバ４０は、クラウドサーバであってもよい。

続いて、図５を用いて実施の形態２にかかるHMD搭載装置３０の構成例について説明する。HMD搭載装置３０は、表示部３１、音声情報記録部３２、視野情報記録部３３、制御部３４、及び通信部３５を有している。HMD搭載装置３０の各構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、HMD搭載装置３０の各構成要素は、回路もしくはチップ等のハードウェアであってもよい。

表示部３１は、映像を表示もしくは出力するディスプレイ装置であってもよい。表示部３１には、ARサービスもしくはVRサービスに用いられる映像が表示される。ユーザは、表示部３１に表示される映像を視聴することによって、仮想空間を体験する。

音声情報記録部３２は、ユーザが表示部３１に表示される映像を視聴し、仮想空間を体験している間に発話した内容を音声情報として記録する。例えば、音声情報記録部３２は、マイク等の入力インタフェースを介して音声情報を記録する。音声情報を記録するとは、音声を録音すると言い換えられてもよい。音声情報記録部３２は、表示部３１に映像が表示されている間、音声情報の記録処理を実行してもよい。つまり、音声情報記録部３２は、表示部３１に映像が表示されている間、録音を継続してもよい。言い換えると、音声情報記録部３２は、表示部３１に映像が表示されている間にユーザが発話した内容とともに無音状態も含めて音声情報として記録してもよい。音声情報記録部３２は、音声情報を制御部３４へ出力する。

視野情報記録部３３は、ユーザが体験した仮想空間における視野情報を記録する。視野情報は、ユーザが視聴した映像であってもよい。視野情報には、映像に示される少なくとも１以上のオブジェクトが含まれる。例えば、表示部３１に表示される映像は、ユーザの視点が移動するたびに表示内容が変更されてもよい。具体的には、ユーザが向いた方向に応じて、表示部３１に表示される仮想空間の映像は、ユーザの向いた方向の仮想空間の映像に変更される。ユーザの視点は、表示部３１に表示される映像の中心に存在すると仮定されてもよい。表示部３１に表示される映像が変化することによって、映像に含まれるオブジェクトも変化する。視野情報記録部３３は、視野情報を制御部３４へ出力する。

制御部３４は、音声情報記録部３２から取得した音声情報から、ユーザの発話情報を抽出して一つのデータもしくは一つの音声ファイルを生成する。一つの音声ファイルには、ユーザの発話が開始されてから発話が終了するまでの発話情報が含まれている。また、無音状態が所定の期間よりも短い場合、例えば、無音状態が１秒未満である場合、発話が終了したとみなされず、発話が継続しているとみなされてもよい。つまり、一つの音声ファイルには、所定の期間よりも短い期間の無音状態が含まれてもよい。さらに、制御部３４は、音声ファイルと、音声ファイルに含まれる発話が行われたタイミングと同じタイミングの視野情報とを関連付けてもよい。つまり、制御部３４は、ユーザが発話中に視聴していた映像を含む視野情報と、発話情報とを関連付けてもよい。

通信部３５は、制御部３４において生成された音声ファイルと視野情報とを分析サーバ４０へ送信する。

続いて、図６を用いて実施の形態２にかかる分析サーバ４０の構成例について説明する。分析サーバ４０は、分析部４１、出力部４２、及び通信部４３を有している。分析部４１、出力部４２、及び通信部４３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、分析部４１、出力部４２、及び通信部４３は、回路もしくはチップ等のハードウェアであってもよい。

通信部４３は、HMD搭載装置３０から送信された音声ファイル、及び音声ファイルに関連付けられた視野情報を受信する。分析部４１は、通信部４３が受信した音声ファイル及び視野情報を受け取り、ユーザの嗜好を分析する。出力部４２は、分析部４１における分析結果を、分析サーバ４０のディスプレイ等へ出力する。分析部４１における分析処理については後述する。

続いて、図７を用いて実施の形態２にかかるHMD搭載装置３０におけるデータ収集処理の流れについて説明する。はじめに、制御部３４は、ユーザの仮想空間体験の終了を検出する（Ｓ２１）。例えば、制御部３４は、仮想空間体験に用いられる映像の再生が終了したこと、もしくは、制御部３４は、ユーザから仮想空間体験の映像の停止を指示する信号が入力された場合に、ユーザの仮想空間の体験が終了したとみなしてもよい。ユーザが仮想空間体験を行っている間、音声情報記録部３２は、音声情報を記録し続けており、視野情報記録部３３は視野情報を記録し続けているとする。

次に、制御部３４は、音声情報記録部３２から音声情報を取得する（Ｓ２２）。さらに、制御部３４は、視野情報記録部３３から視野情報を取得する（Ｓ２３）。制御部３４は、ステップＳ２２において取得した音声情報と、ステップＳ２３において取得した視野情報とを関連付けて管理する。

次に、制御部３４は、音声情報から全ての発話の開始及び終了のタイミングを取得する。ユーザは、仮想空間を体験中に、様々な言葉を発している。また、ユーザは、常に言葉を発していることはなく、一度言葉を発した後に、数秒等の期間後に、再度言葉を発する。つまり、音声情報には、発話情報と無音情報とが含まれる。発話情報は、ユーザが言葉を発してから無音状態になるまでの期間の情報である。ここで、無音状態が予め定められた所定の期間よりも短い場合、ユーザによる発話は継続しているとみなされてもよい。発話情報は、音声ファイルに相当する。

次に、制御部３４は、ステップＳ２４において取得した全ての発話情報の中からｎ個目の発話情報を取得する（Ｓ２５）。ｎは１以上の整数であり、制御部３４は、はじめに１個目の発話情報を取得する。発話情報は、例えば、発話が行われたタイミングが古い順番に並べられ、１番目の発話情報は、音声情報の中において最も古いタイミングに発話が行われた際の発話情報であってもよい。もしくは、１番目の発話情報は、音声情報の中において最も新しいタイミングに発話が行われた際の発話情報であってもよい。

次に、制御部３４は、ｎ個目の発話情報に関連付けられた視野情報を取得する（Ｓ２６）。具体的には、制御部３４は、ｎ個目の発話情報と同じタイミングの視野情報を取得する。ｎ個目の発話情報と同じタイミングの視野情報とは、ｎ個目の発話情報が開始されたタイミングから終了したタイミングまでの視野情報である。

次に、制御部３４は、ステップＳ２５において取得したｎ個目の発話情報と、ステップＳ２６において取得した視野情報とを、データセットｎに保存する（Ｓ２７）。データセットｎは、ｎ個目の発話情報と、ｎ個目の発話情報に関連付けられた視野情報と、を含むデータである。

次に、制御部３４は、音声情報に含まれるすべての発話情報をデータセットｎに保存済みかどうかを判定する（Ｓ２８）。データセットｎは、例えば、HMD搭載装置３０に内蔵もしくは外付けされているメモリ等に保存されてもよい。制御部３４は、音声情報に含まれるすべての発話情報をデータセットｎに保存済みであると判定した場合、全てのデータセットを分析サーバ４０へ送信する（Ｓ２９）。

制御部３４は、音声情報に含まれるすべての発話情報をデータセットｎに保存済みではない、つまり、取得していない発話情報があると判定した場合、ｎ＝ｎ＋１として、ステップＳ２５以降の処理を実行する。

続いて、図８を用いて実施の形態２にかかる分析サーバ４０における分析処理の流れについて説明する。はじめに、通信部４３は、HMD搭載装置３０からデータセットを受信する（Ｓ３１）。次に、分析部４１は、データセットを用いてユーザの嗜好を分析する処理を実行する（Ｓ３２）。次に、出力部４２は、分析部４１における分析結果を表示装置等へ出力する（Ｓ３３）。

次に、図９を用いて、図８のステップＳ３２における分析処理の詳細な処理について説明する。分析部４１は、データセットｎを受け取る（Ｓ４１）。ｎは１以上の整数であり、分析部４１は、はじめにｎ＝１のデータセット１を受け取る。もしくは、分析部４１は、分析サーバ４０のメモリ等に保存されたすべてのデータセットの中から、データセットｎを選択して抽出してもよい。例えば、分析部４１は、データセット１から順番にデータセットを抽出してもよい。

次に、分析部４１は、データセットｎに含まれる視野情報の映像を再生する（Ｓ４２）。次に、分析部４１は、映像に映っているオブジェクトを検出する（Ｓ４３）。例えば、分析部４１は、画像認識技術を用いて、映像に含まれるオブジェクトを検出する。例えば、分析部４１は、事前に機械学習を行うことによってオブジェクトの名称を特定する学習モデルを生成してもよい。分析部４１は、検出したオブジェクトを学習モデルに入力することによって、オブジェクトの名称を特定してもよい。オブジェクトの名称とは、例えば、ビル、人、犬、等のオブジェクトの属性を示す名称であってもよい。また、分析部４１は、機械学習を行うことによって生成された学習モデルを用いてオブジェクトの検出を行ってもよい。もしくは、分析部４１は、予め定められたオブジェクトのみを検出してもよい。例えば、特定の建物、人物、もしくは物体が定められている場合、分析部４１は、映像に含まれるオブジェクトの内、予め定められた建物等の特徴量との差が所定の範囲内の特徴量を有するオブジェクトを検出してもよい。もしくは、分析部４１は、特定の建物等を機械学習することによって生成された学習モデルを用いて、映像の中から特定の建物等を検出してもよい。

次に、分析部４１は、検出したオブジェクトの位置スコアを算出する（Ｓ４４）。ここで、図１１を用いて位置スコアの算出について説明する。図１１の実線の四角で囲まれた領域は、再生された視野情報の映像を示している。また、点線の直線は、実践の四角で囲まれた領域を二等分する中心線を示している。Ａ１１及びＡ１２にて示される楕円は、オブジェクトを示している。図１１は、オブジェクトＡ１１及びＡ１２を含む視野情報の映像を示している。オブジェクトに付与される位置スコアは、中心線に近いオブジェクトほど高くなる。例えば、中心線上のオブジェクトに付与される位置スコアを１００とし、中心線から最も離れた位置の位置スコアを０とする。具体的には、中心線から垂直方向の端までの距離を１００等分し、それぞれの位置に０から１００までの位置スコアが付与されてもよい。図１１は、オブジェクトＡ１２がオブジェクトＡ１１よりも中心線に近いことを示している。このような場合、例えば、オブジェクトＡ１２の位置スコアを５０とし、オブジェクトＡ１１の位置スコアを２０としてもよい。

図９に戻り、分析部４１は、所定期間待機する（Ｓ４５）。例えば、分析部４１は、１秒間待機してもよく、０．１秒間待機してもよい。次に、分析部４１は、視野情報の映像の再生が終了したか否かを判定する（Ｓ４６）。分析部４１は、視野情報の映像の再生が終了していないと判定した場合、ステップＳ４３以降の処理を繰り返し、オブジェクトの位置スコアを算出する。ここで、ステップＳ４４において、既に位置スコアが算出されたオブジェクトにおいては、新たに算出された位置スコアを、既に算出された位置スコアに加算する。つまり、あるオブジェクトの位置スコアが５０と算出された後、１秒後にそのオブジェクトの位置スコアが２０と算出された場合、そのオブジェクトの位置スコアは７０となる。

ステップＳ４５における所定期間が短くなるほど、ステップＳ４３におけるオブジェクトの検出タイミングが増加するため、オブジェクトの位置スコアの精度が向上する。

ステップＳ４６において、分析部４１は、視野情報の映像の再生が終了したと判定した場合、ユーザの発話内容のネガポジ評価を行う（Ｓ４７）。ネガポジとは、ネガティブ及びポジティブを意図する。例えば、分析部４１は、ステップＳ４１において受け取ったデータセットｎに含まれる発話情報の内容が、ネガティブかポジティブかを判定する。分析部４１は、発話情報の内容がネガティブであると判定した場合（Ｓ４８）、それぞれのオブジェクトの位置スコアに「―１」を乗算する（Ｓ４９）。分析部４１は、発話情報の内容がポジティブであると判定した場合（Ｓ４８）、それぞれのオブジェクトの位置スコアの値を用いてステップＳ５０以降の処理を実行する。

次に、分析部４１は、ステップＳ４８もしくはＳ４９において算出された位置スコアを注目スコアとする（Ｓ５０）。ステップＳ４８において発話情報の内容がポジティブと判定された場合、注目スコアは正の数であり、ステップＳ４８において発話情報の内容がネガティブと判定された場合、注目スコアは負の数となる。

次に、分析部４１は、全てのデータセットにおいて注目スコアを算出済みであるか否かを判定する（Ｓ５１）。分析部４１は、全てのデータセットにおいて注目スコアを算出済みではないと判定した場合、ｎ＝ｎ＋１として（Ｓ５３）、ステップＳ４１以降の処理を繰り返す。分析部４１は、全てのデータセットにおいて注目スコアを算出済みであると判定した場合、オブジェクト毎に注目スコアを合計して、オブジェクト毎のオブジェクトスコアを算出する（Ｓ５２）。オブジェクト毎のオブジェクトスコアは、全てのデータセットにおいて算出されたオブジェクト毎の注目スコアの合計スコアである。

続いて、図１２を用いて、図９のステップＳ４７において実行されるネガポジ評価の詳細について説明する。はじめに、分析部４１は、発話情報を形態素解析する（Ｓ６１）。具体的には、分析部４１は、発話情報に含まれる単語を形態素に分割する。形態素は、その用語が意味を有する最小単位であることを意図する。

次に、分析部４１は、分割されたそれぞれの用語について、極性辞書を利用した平均スコアを取得する（Ｓ６２）。極性辞書は、例えば、東北大学、乾・鈴木研究室の日本語評価極性辞書や、東京工業大学、科学技術創成研究院 未来産業技術研究所 奥村高村研究室の単語感情極性対応表などが用いられてもよい。分析部４１は、分割されたそれぞれの用語について極性辞書を用いたスコアを算出し、全ての用語の平均スコアを算出する。もしくは、分析部４１は、分割されたそれぞれの用語について極性辞書を用いたスコアを算出し、全ての用語のスコアを加算した合計値を算出してもよい。

分析部４１は、発話情報の平均スコアが０以上であるか否かを判定する（Ｓ６３）。分析部４１は、発話情報の平均スコアが０以上である場合、発話情報の内容がポジティブであると決定し（Ｓ６４）、平均スコアが０未満である場合、発話情報の内容がネガティブであると決定する（Ｓ６５）。

ここで、図８のステップＳ３３における分析結果の出力処理について説明する。例えば、分析部４１は、算出されたオブジェクトスコアを、スコアが高い順に並べたデータを作成し、ユーザの興味もしくは関心の高いオブジェクトのランキングを作成してもよい。出力部４２は、分析部４１において作成されたオブジェクトのランキングを表示装置等へ出力してもよい。表示装置は、分析サーバ４０と一体として用いられる装置であってもよく、分析結果を活用するユーザが保持するスマートフォン等の端末装置であってもよい。分析部４１は、通信部４３を介して、端末装置へランキングを示す情報を送信してもよい。

または、分析部４１は、オブジェクトスコアを、仮想空間内に表示してもよい。例えば、分析部４１は、オブジェクトスコアを、HMD搭載装置３０へ送信してもよい。この時、HMD搭載装置３０は、受信したオブジェクトスコアを、仮想空間内のオブジェクトに重ねて表示してもよい。

さらに、分析部４１は、オブジェクトのスコアを、異なる色を用いて表示させてもよい。分析部４１は、このように、様々な形式にてオブジェクトスコアを表示させることによって、仮想空間のユーザがより視覚的に、ユーザのオブジェクト毎の興味もしくは関心を把握することができる。

以上説明したように、実施の形態２にかかる分析サーバ４０は、ユーザが視野情報に含まれるそれぞれのオブジェクトに対して抱いている、ネガティブもしくはポジティブな感情を特定することができる。これにより、分析サーバ４０は、ユーザの感情と、位置スコアとを組み合わせることによって、ユーザの興味もしくは関心を定量的な結果として出力することができる。また、分析サーバ４０は、視野情報を用いて算出された位置スコアを、発話情報のネガポジ評価結果を用いて補正することによって、ユーザの視線が、ネガティブな感情に基づく視線か、ポジティブな感情に基づく視線かを推定することができる。

（実施の形態３）
続いて、実施の形態３にかかる分析部４１の分析処理について説明する。分析部４１は、発話情報のネガポジ評価について、ネガティブかポジティブかの２値ではなく、ネガポジ評価の結果を特定の数値の幅を有するスコアとして算出してもよい。ネガポジ評価の結果を示すスコアは、例えば、ユーザのオブジェクトへの関心度を示す。

さらに、分析部４１は、音声情報として、ユーザが発話した際の声の高さもしくは大きさを取得し、声の高さもしくは大きさを用いて、ネガポジ評価を行った結果算出したスコアの補正を行ってもよい。例えば、分析部４１は、ネガポジスコアを算出した全ての発話情報における声の高さ（単位：ヘルツ）と声の大きさ（単位：デシベル）の平均値を算出する。

分析部４１は、それぞれの発話情報における声の高さの平均値が、全ての発話情報における声の高さの平均値よりも高い場合であって、さらに、ネガポジ評価のスコアが正の数である場合、スコアに１．１を乗算してもよい。もしくは、分析部４１は、それぞれの発話情報における声の高さの平均値が、全ての発話情報における声の高さの平均値よりも高い場合であって、さらに、ネガポジ評価のスコアが負の数である場合、スコアに０．９をかけてもよい。

分析部４１は、それぞれの発話情報における声の高さの平均値が、全ての発話情報における声の高さの平均値よりも低い場合であって、さらに、ネガポジ評価のスコアが正の数である場合、スコアに０．９を乗算してもよい。もしくは、分析部４１は、それぞれの発話情報における声の高さの平均値が、全ての発話情報における声の高さの平均値よりも低い場合であって、さらに、ネガポジ評価のスコアが負の数である場合、スコアに１．１をかけてもよい。

分析部４１は、声の大きさについても、声の高さと同様に、声の大きさに基づいてスコアの値を補正してもよい。

もしくは、分析部４１は、発話の内容を考慮することなく、声の大きさ及び声の高さの少なくとも一方を用いて、ネガポジ評価を行ってもよい。つまり、分析部４１は、声が大きいもしくは声が高い場合には、発話情報の内容がポジティブと評価し、声が小さいもしくは声が低い場合には、発話情報の内容がネガティブと評価してもよい。

以上説明したように、声の高さもしくは声の大きさを用いてネガポジ評価の結果算出されたスコアを補正することによって、ユーザの感情をより正確にスコアに反映することができる。

（実施の形態４）
続いて、図１３を用いて、位置スコアの算出例について説明する。図１３における実線の四角で囲まれた領域は、再生された視野情報の映像を示している。また、点線の円は、実線の四角で囲まれた領域の対角線の交点を中心とする円であって、実線の四角に外接する円である。Ａ２１にて示される楕円は、オブジェクトを示している。図１３は、オブジェクトＡ２１を含む視野情報の映像を示している。

オブジェクトに付与される位置スコアは、円の中心を１００とし、円上を０とする。さらに、円の中心から円上までの距離を１００等分し、それぞれの位置に０から１００までの位置スコアが付与されてもよい。ただし、円内にあるオブジェクトであっても、視野情報の映像外、つまり、実線の四角で囲まれた領域外にあるオブジェクトに対しては、位置スコアは付与されない。図１３に示す例においては、オブジェクトＡ２１は、実線の四角で囲まれた領域内に存在し、さらに、円の中心から円上までの距離の中央に存在しているため、位置スコアが５０となる。

または、円の中心から実線の四角までの距離を１００等分し、それぞれの位置に０から１００までの位置スコアが付与されてもよい。この場合、円の中心の位置スコアを１００とし、実線の四角のそれぞれの辺の位置スコアを０としてもよい。

以上説明したように、視野情報の映像のＸ軸方向及びＹ軸方向の２次元の情報を用いて、位置スコアを算出することによって、ユーザの視点を考慮したより正確な位置スコアを算出することができる。図１３においては、Ｘ軸方向が、長辺に平行な方向であり、Ｙ軸方向が、短辺に平行な方向である。

（実施の形態５）
続いて、実施の形態５にかかる位置スコアの補正処理について説明する。分析部４１は、前回の位置スコア測定時より、より中央によっているオブジェクトの点数が高くなるように位置スコアを補正してもよい。例えば、位置スコアに補正をかけたスコアを補正位置スコアとすると、補正位置スコアは、補正位置スコア＝位置スコア+{0.001×(前回測定時の位置スコアから近づいた差分+連続して近づいた回数)}、の式を用いて算出されてもよい。図１４は、図１１と同様に、視野情報の映像を示しており、オブジェクト３１が存在していることを示している。例えば図１４に示すように、測定ごとにオブジェクト３１の位置スコアが（1回目）２０→（２回目）５０→（３回目）９０のように変動する場合について説明する。この場合、１回目の補正位置スコアは、20+0.001×{0+0}=20となる。同様にして、２回目、３回目の補正位置スコアはそれぞれ、50+0.001×{(50-20)+1}=50.031、90+0.001×{(90-50)+2}=90.042となる。

以上説明したように、初めは中心から離れた位置に存在し、その後中心に近づいてくるオブジェクトにより高い位置スコアを付与することが可能となる。なお、補正位置スコアの計算に使用する係数（0.001）の数値に特に指定はない。この数値を下げる程、オブジェクトが中心に近づく行為に対する、補正位置スコアへの影響が少なくなり、この数値を上げる程、補正位置スコアへの影響が大きくなる。

図１５は、上述の実施の形態において説明したHMD搭載装置３０及び分析サーバ４０（以下、HMD搭載装置３０等とする）の構成例を示すブロック図である。図１５を参照すると、HMD搭載装置３０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、ネットワークノードと通信するために使用されてもよい。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。IEEEは、Institute of Electrical and Electronics Engineersを表す。

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明されたHMD搭載装置３０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。

図１５の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明されたHMD搭載装置３０等の処理を行うことができる。

図１５を用いて説明したように、上述の実施形態におけるHMD搭載装置３０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
映像を表示する表示手段と、
前記映像を視聴しているユーザが発声した際の音声情報を記録する記録手段と、
前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する分析手段と、を備える分析システム。
（付記２）
前記分析手段は、
前記音声情報のネガポジ評価を行い、前記ネガポジ評価を用いて前記オブジェクトに対する前記ユーザの嗜好を分析する、付記１に記載の分析システム。
（付記３）
前記分析手段は、
前記ネガポジ評価を用いて前記オブジェクトへの関心度を示すスコアを算出し、前記スコアに基づいて前記オブジェクトに対する前記ユーザの嗜好を分析する、付記２に記載の分析システム。
（付記４）
前記記録手段は、
前記ユーザの視線を示す視線情報をさらに記録し、
前記分析手段は、
前記音声情報及び前記視線情報を用いて、前記オブジェクトに対する前記ユーザの嗜好を分析する、付記１から３のいずれか１項に記載の分析システム。
（付記５）
前記分析手段は、
前記ユーザの視線に近いオブジェクトほど位置スコアを高くし、前記位置スコアを前記音声情報のネガポジ評価を用いて補正することによって前記オブジェクトのオブジェクトスコアを算出し、前記オブジェクトスコアに基づいて前記オブジェクトに対する前記ユーザの嗜好を分析する、付記４に記載の分析システム。
（付記６）
前記分析手段は、
前記位置スコアを、前記音声情報のネガポジ評価と、前記音声情報に含まれる音声の大きさ及び高さの少なくとも一方と、を用いて補正する、付記５に記載の分析システム。
（付記７）
前記分析手段は、
前記オブジェクトと前記ユーザの視線との位置の差分の変動に基づいて、前記位置スコアを補正する、付記５又は６に記載の分析システム。
（付記８）
映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得する取得部と、
前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する分析部と、を備える情報処理装置。
（付記９）
前記分析部は、
前記音声情報のネガポジ評価を行い、前記ネガポジ評価を用いて前記オブジェクトに対する前記ユーザの嗜好を分析する、付記８に記載の情報処理装置。
（付記１０）
映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得し、
前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する、分析方法。
（付記１１）
映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得し、
前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析することをコンピュータに実行させるプログラム。

１１ 表示手段
１２ 記録手段
１３ 分析手段
２０ 情報処理装置
２１ 取得手段
３０ HMD搭載装置
３１ 表示部
３２ 音声情報記録部
３３ 視野情報記録部
３４ 制御部
３５ 通信部
４０ 分析サーバ
４１ 分析部
４２ 出力部
４３ 通信部

Claims (10)

1. 映像を表示する表示手段と、
   前記映像を視聴しているユーザが発声した際の音声情報を記録する記録手段と、
   前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する分析手段と、を備える分析システム。
2. 前記分析手段は、
   前記音声情報のネガポジ評価を行い、前記ネガポジ評価を用いて前記オブジェクトに対する前記ユーザの嗜好を分析する、請求項１に記載の分析システム。
3. 前記分析手段は、
   前記ネガポジ評価を用いて前記オブジェクトへの関心度を示すスコアを算出し、前記スコアに基づいて前記オブジェクトに対する前記ユーザの嗜好を分析する、請求項２に記載の分析システム。
4. 前記記録手段は、
   前記ユーザの視線を示す視線情報をさらに記録し、
   前記分析手段は、
   前記音声情報及び前記視線情報を用いて、前記オブジェクトに対する前記ユーザの嗜好を分析する、請求項１から３のいずれか１項に記載の分析システム。
5. 前記分析手段は、
   前記ユーザの視線に近いオブジェクトほど位置スコアを高くし、前記位置スコアを前記音声情報のネガポジ評価を用いて補正することによって前記オブジェクトのオブジェクトスコアを算出し、前記オブジェクトスコアに基づいて前記オブジェクトに対する前記ユーザの嗜好を分析する、請求項４に記載の分析システム。
6. 前記分析手段は、
   前記位置スコアを、前記音声情報のネガポジ評価と、前記音声情報に含まれる音声の大きさ及び高さの少なくとも一方と、を用いて補正する、請求項５に記載の分析システム。
7. 前記分析手段は、
   前記オブジェクトと前記ユーザの視線との位置の差分の変動に基づいて、前記位置スコアを補正する、請求項５又は６に記載の分析システム。
8. 映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得する取得部と、
   前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する分析部と、を備える情報処理装置。
9. 映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得し、
   前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析する、分析方法。
10. 映像装置に表示されている映像を視聴しているユーザが発声した際の音声情報を取得し、
    前記音声情報を用いて、前記音声情報が記録された際に表示されていた映像に含まれるオブジェクトに対する前記ユーザの嗜好を分析することをコンピュータに実行させるプログラム。

Images