JP2020013381A - 情報処理プログラム、情報処理方法、端末装置及び解析装置 - Google Patents

Abstract

【課題】より詳細なアクション情報を得ることができる情報処理プログラム、情報処理方法、端末装置及び解析装置を提供すること。【解決手段】本願に係る情報処理プログラムは、表示手順と、視線情報取得手順とをコンピュータに実行させる。表示手順は、所定の画面にコンテンツを表示する。視線情報取得手順は、表示された前記コンテンツに対するユーザの視線に関する視線情報を取得する。【選択図】図１

Description

本発明は、情報処理プログラム、情報処理方法、端末装置及び解析装置に関する。

近年、様々なアプリやウェブサービスなどからユーザのアクション情報を取得し、かかるアクション情報に基づいて機械学習を行うことでサービスの改善を行う技術が知られている。かかるユーザのアクション情報は、たとえば、端末装置の画面にどのコンテンツが表示されていたか（表示の有無）や、表示されたコンテンツのうちどのコンテンツがクリックやタップなどで選択されたか（選択の有無）である。

特開２０１４−２０３４４２号公報

しかしながら、従来の技術では、詳細なアクション情報を取得しているとは言えない場合がある。例えば、従来の技術では、コンテンツに対する評価の指標が表示の有無および選択の有無のみであるので、コンテンツに対するユーザのリッチなアクション情報を得ることが難しいという問題がある。

本願は、上記に鑑みてなされたものであって、より詳細なアクション情報を得ることができる情報処理プログラム、情報処理方法、端末装置及び解析装置を提供することを目的とする。

本願に係る情報処理プログラムは、表示手順と、視線情報取得手順とをコンピュータに実行させる。表示手順は、所定の画面にコンテンツを表示する。視線情報取得手順は、表示された前記コンテンツに対するユーザの視線に関する視線情報を取得する。

実施形態の一態様によれば、より詳細なアクション情報を得ることができる情報処理プログラム、情報処理方法、端末装置及び解析装置を提供することができる。

図１は、実施形態に係る情報処理方法の一例を示す説明図である。 図２は、実施形態に係る情報処理システムの構成の一例を示す説明図である。 図３は、実施形態に係る端末装置の構成の一例を示す説明図である。 図４は、実施形態に係る解析装置の構成の一例を示す説明図である。 図５は、実施形態に係る得点定義データベースの一例を示す説明図である。 図６は、実施形態に係る端末装置および解析装置の動作の一例を示す説明図である。 図７は、実施形態に係る端末装置および解析装置の動作の一例を示す説明図である。 図８は、実施形態に係る端末装置および解析装置の動作の一例を示す説明図である。 図９は、実施形態に係る端末装置および解析装置の動作の一例を示す説明図である。 図１０は、実施形態に係る端末装置および解析装置の動作の一例を示す説明図である。 図１１は、実施形態に係る端末装置および解析装置の動作の一例を示す説明図である。 図１２は、実施形態に係る端末装置の制御部が実行する処理を示すフローチャートである。 図１３は、実施形態に係る解析装置の制御部が実行する処理を示すフローチャートである。 図１４は、実施形態に係る解析装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理プログラム、情報処理方法、端末装置及び解析装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理プログラム、情報処理方法、端末装置及び解析装置が限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理方法〕
まず、実施形態に係る端末装置１が行う情報処理方法について説明する。図１は、実施形態に係る情報処理方法の一例を示す説明図である。ここでは、端末装置１がネットワークＮ（図２参照）を介してコンテンツ配信装置３（図２参照）からコンテンツＣを取得して表示する場合に行う情報処理方法について説明する。

図１に示す端末装置１は、スマートフォンやタブレット等のスマートデバイスであり、３Ｇ（Generation）やＬＴＥ（Long Term Evolution）等の無線通信網を介して任意のサーバ装置と通信を行うことができる携帯端末装置である。また、端末装置１は、液晶ディスプレイ等の出力部１３と、ユーザの視線情報を取得する視線センサ１４とを備える。

なお、端末装置１には、タッチパネルが採用されているものとする。すなわち、端末装置１のユーザは、指や専用ペンで出力部１３の表示面をタッチすることにより各種操作を行う。

コンテンツＣは、たとえばニュース記事であり、記事Ａ〜Ｅなどが含まれる。なお、コンテンツＣはニュース記事に限られず、端末装置１で表示可能なコンテンツであればどのようなコンテンツであってもよい。

そして、端末装置１は、かかるコンテンツＣを出力部１３に表示する（ステップＳ０１）。図１の（ａ）では、コンテンツＣのうち、記事Ａ〜Ｄが出力部１３に表示された例について示している。

次に、端末装置１は、図１の（ｂ）に示すように、視線センサ１４を用いることにより、出力部１３に表示されたコンテンツＣに対するユーザの視線Ｅに関する情報（以下、視線情報とも呼称する。）を取得する（ステップＳ０２）。

たとえば、端末装置１は、かかる視線情報として、表示されたコンテンツＣにおいてユーザが視認する領域Ｒと、かかる領域Ｒを視認する時間とを取得する。図１の（ｂ）では、出力部１３に表示された記事Ａ〜Ｄのうち、ユーザが視認する領域Ｒに記事Ｂが含まれる例、すなわちユーザが記事Ｂを視認する例について示している。

視線センサ１４は、たとえば、ユーザの眼球に弱い赤外線を照射するとともに、かかる赤外線が照射された眼球をカメラで撮像するいわゆるアイトラッキング法により、ユーザが視認する領域Ｒを計測することができる。

なお、視線センサ１４でユーザの視線を計測する手法はアイトラッキング法に限られず、その他の既知の手法（たとえば、眼球の焦点を利用する手法）が用いられてもよい。

次に、端末装置１は、図１の（ｃ）に示すように、出力部１３に表示されたコンテンツＣに対するユーザの操作に関する情報（以下、操作情報とも呼称する。）を取得する（ステップＳ０３）。

たとえば、端末装置１は、かかる操作情報として、表示されたコンテンツＣのうちユーザが選択したコンテンツに関する情報を取得する。図１の（ｃ）では、出力部１３に表示された記事Ａ〜Ｄのうち、ユーザが視認する記事Ｂをタップして選択した例について示している。

ここまで説明したように、実施形態では、ユーザのアクション情報として、コンテンツＣの表示の有無に加えて、表示されたコンテンツＣに対するユーザの視線情報を取得する。これにより、より詳細なアクション情報を得ることができる。

また、実施形態では、ユーザのアクション情報として、表示されたコンテンツＣに対するユーザの操作情報を取得する。これにより、さらに詳細なアクション情報を得ることができる。なお、ユーザの視線や操作がどのような場合に、どのようなアクション情報を得ることができるかについては後述する。

〔２．情報処理システムの構成〕
次に、図２を参照して、実施形態に係る情報処理システム１００の構成について説明する。図２は、実施形態に係る情報処理システム１００の構成の一例を示す説明図である。図２に示すように、実施形態に係る情報処理システム１００は、端末装置１、解析装置２、およびコンテンツ配信装置３を含む。

端末装置１は、コンテンツを閲覧するユーザによって利用される情報処理装置である。例えば、端末装置１は、スマートフォン等の携帯電話機や、タブレット端末や、ＰＤＡ（Personal Digital Assistant）や、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣ等である。端末装置１は、ユーザによる操作にしたがって、コンテンツ配信装置３からコンテンツＣを取得し、取得したコンテンツＣを表示する。

解析装置２は、例えば、サーバであり、端末装置１に表示されたコンテンツＣに関する情報（以下、表示情報とも呼称する。）と、端末装置１で取得された上述の視線情報および操作情報とを取得する。また、解析装置２は、取得された表示情報、視線情報および操作情報に基づいて、コンテンツＣに対するユーザの評価について解析する。

コンテンツ配信装置３は、端末装置１にコンテンツＣを配信するコンテンツサーバ等である。例えば、コンテンツ配信装置３は、ポータルサイト、ニュースサイト、オークションサイト、天気予報サイト、ショッピングサイト、ファイナンス（株価）サイト、路線検索サイト、地図提供サイト、旅行サイト、飲食店紹介サイト、ウェブブログなどに関連する各種コンテンツを端末装置１に配信する。

これら端末装置１と解析装置２とコンテンツ配信装置３とは、例えば、無線ＬＡＮ（Local Area Network）通信や、ＷＡＮ（Wide Area Network）通信、携帯電話通信などによってネットワーク（例えば、インターネット）Ｎを介して接続され、双方の間で各種情報の通信が可能である。

〔３．端末装置の構成〕
次に、図３を参照して、実施形態に係る端末装置１の構成について説明する。図３は、実施形態に係る端末装置１の構成の一例を示す説明図である。図３に示すように、端末装置１は、通信部１１と、入力部１２と、出力部１３と、視線センサ１４と、制御部１５とを備える。

（通信部１１について）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、解析装置２や、コンテンツ配信装置３との間で情報の送受信を行う。

（入力部１２について）
入力部１２は、ユーザから各種操作を受け付ける入力装置である。例えば、入力部１２は、キーボードやマウスや操作キー等によって実現される。

（出力部１３について）
出力部１３は、各種情報を表示するための表示装置である。例えば、出力部１３は、液晶ディスプレイ等によって実現される。なお、端末装置１にタッチパネルが採用される場合には、入力部１２と出力部１３とは一体化される。また、本願の説明では、出力部１３を画面と記載する場合がある。

（視線センサ１４について）
視線センサ１４は、ユーザの視線Ｅに関する視線情報を取得する。たとえば、視線センサ１４は、赤外線照射部と、カメラとを備える。そして、視線センサ１４は、かかる赤外線照射部を用いてユーザの眼球に弱い赤外線を照射するとともに、かかる赤外線が照射された眼球をカメラで撮像することによって、ユーザの眼球の動きを検出する。これにより、視線センサ１４は、ユーザが視認する領域Ｒを計測することができる。

また、視線センサ１４は、ユーザの眼球の動きを検出することにより、ユーザが領域Ｒを視認する時間を計測することができる。

（制御部１５について）
制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭ（Random Access Memory)を作業領域として実行されることにより実現される。また、制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図３に示すように、制御部１５は、要求部１５１と、操作制御部１５２と、表示制御部１５３と、視線情報取得部１５６とを備え、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１５が有する各処理部の接続関係は、図３に示した接続関係に限られず、他の接続関係であってもよい。

（要求部１５１について）
要求部１５１は、操作制御部１５２を介してユーザからコンテンツＣの取得要求を受信した場合に、コンテンツ配信装置３に対してコンテンツＣの取得要求を送信する。

（操作制御部１５２について）
操作制御部１５２は、入力部１２を介して受け付けたユーザの操作にしたがって、各種制御を実行する。例えば、操作制御部１５２は、ユーザが入力部１２に対してコンテンツＣの表示操作を行った場合に、表示対象となるコンテンツＣの情報を要求部１５１に出力する。

また、操作制御部１５２は、入力部１２を介して受け付けたユーザの操作の内容を表示制御部１５３に出力する。さらに、操作制御部１５２は、表示されたコンテンツＣに対するユーザの操作に関する情報（すなわち操作情報）を取得する。すなわち、操作制御部１５２は、操作情報取得部の一例である。

（表示制御部１５３について）
表示制御部１５３は、受信したコンテンツＣを出力部１３に表示する処理を実行する。例えば、表示制御部１５３は、制御部１５０が、制御情報を実行することで、図３に示すように表示部１５４、表示情報取得部１５５として動作し、各種処理を実行する。表示部１５４、表示情報取得部１５５は、例えば、ＣＰＵやＭＰＵ等によって、制御情報がＲＡＭを作業領域として実行されることにより実現される。

（表示部１５４について）
表示部１５４は、各種情報を表示する。例えば、表示部１５４は、出力部１３を介して各種情報を表示する。例えば、表示部１５４は、端末装置１において起動された各種サービスを実行するためのアプリケーションの画面を表示する。

また、表示部１５４は、端末装置１において各種コンテンツを閲覧するアプリケーションが起動され、かかるアプリケーションを介してユーザからコンテンツＣの閲覧要求があった場合に、かかるコンテンツＣを出力部１３を介して表示する。

（表示情報取得部１５５について）
表示情報取得部１５５は、ユーザが表示操作を行ったコンテンツＣが表示部１５４で表示された場合に、かかる表示されたコンテンツＣに関する表示情報を取得する。たとえば、表示情報取得部１５５は、図１に示したように記事Ａ〜Ｄが出力部１３に表示された場合、かかる記事Ａ〜Ｄを表示情報として取得する。

（視線情報取得部１５６について）
視線情報取得部１５６は、視線センサ１４からユーザの視線Ｅに関する視線情報を取得する。たとえば、視線情報取得部１５６は、視線センサ１４から、ユーザが視認する領域Ｒおよびユーザが領域Ｒを視認する時間に関する情報を取得することができる。

〔４．解析装置の構成〕
次に、図４を参照して、実施形態に係る解析装置２の構成について説明する。図４は、実施形態に係る解析装置２の構成の一例を示す説明図である。図４に示すように、解析装置２は、通信部２１と、記憶部２２と、制御部２３とを備える。なお、解析装置２は、かかる解析装置２を利用する管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。

（通信部２１について）
通信部２１は、例えば、ＮＩＣ等によって実現される。通信部２１は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、端末装置１や、コンテンツ配信装置３との間で情報の送受信を行う。

（記憶部２２について）
記憶部２２は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図４に示すように、記憶部２２は、得点定義データベース２２１を有する。

（得点定義データベース２２１について）
得点定義データベース２２１は、コンテンツＣに対するユーザの評価を得点化するための得点定義データが記憶される。図５は、実施形態に係る得点定義データベース２２１の一例を示す説明図である。

例えば、図５に示すように、得点定義データベース２２１には、表示情報に含まれる（すなわち、出力部１３に表示された）コンテンツＣにおいて、かかるコンテンツＣに関する視線情報と、操作情報と、得点とが対応付けられて登録されている。

例えば、図５に示す得点定義データベース２２１は、視線情報として「特定のコンテンツを目視」、「特定のコンテンツを注視」、「すべてのコンテンツを目視」」といった項目を有する。また、図５に示す得点定義データベース２２１は、操作情報として「特定のコンテンツを選択」、「別のコンテンツを選択」といった項目を有する。

すなわち、図５の例では、表示部１５４に表示されたコンテンツＣに対して、「特定のコンテンツを注視」が「Ｙｅｓ」であり、「特定のコンテンツを選択」が「Ｙｅｓ」であり、その他の視線情報および操作情報が「Ｎｏ」である場合に、「得点」が「５」点であることを示している。

また、表示部１５４に表示されたコンテンツＣに対して、「特定のコンテンツを注視」が「Ｙｅｓ」であり、「別のコンテンツを選択」が「Ｙｅｓ」であり、その他の視線情報および操作情報が「Ｎｏ」である場合に、「得点」が「４」点であることを示している。

なお、図５に示す例はあくまで一例であり、視線情報の詳細な項目や操作情報の詳細な項目、得点などは様々に定義されていてもよい。

（制御部２３について）
制御部２３は、コントローラ（controller）であり、例えば、ＣＰＵやＭＰＵ等によって、解析装置２内部の記憶装置に記憶されている各種プログラム（解析プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、例えば、コントローラであり、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図４に示すように、制御部２３は、取得部２３１と、解析部２３２とを備え、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

（取得部２３１について）
取得部２３１は、端末装置１から上述の表示情報、視線情報および操作情報を取得する。すなわち、取得部２３１は、端末装置１で表示されたコンテンツＣに関する情報と、かかるコンテンツＣに対するユーザの視線Ｅに関する情報と、表示されたコンテンツＣに対するユーザの操作に関する情報とを取得する。

（解析部２３２について）
解析部２３２は、取得部２３１で取得した表示情報、視線情報および操作情報に基づいて、コンテンツＣに対するユーザの評価について解析する処理を実行する。例えば、解析部２３２は、制御部２３０が、制御情報を実行することで、図４に示すように評価部２３３、学習部２３４として動作し、各種処理を実行する。評価部２３３、学習部２３４は、例えば、ＣＰＵやＭＰＵ等によって、制御情報がＲＡＭを作業領域として実行されることにより実現される。

（評価部２３３について）
評価部２３３は、コンテンツＣに対するユーザの評価を得点として評価する。たとえば、評価部２３３は、コンテンツＣに関する表示情報、視線情報および操作情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する。

（学習部２３４について）
学習部２３４は、評価部２３３で付与されたコンテンツＣに対する得点を機械学習によって学習することで、図示しない学習モデルを生成する。たとえば、学習部２３４は、公知の種々の手法を適用することにより、かかる学習モデルを作成することができる。そして、実施形態では、かかる学習モデルを用いることにより、ユーザに対するサービスの改善を精度よく行うことができる。

例えば、学習部２３４は、ユーザが視認しやすいコンテンツＣの推定モデルを学習してもよく、ユーザが視認して閲覧しやすいコンテンツＣの推定モデルを学習してもよい。例えば、学習部２３４は、後述する得点パターンに基づいて、ユーザが視認しやすいコンテンツＣ（すなわち、正例）とユーザが視認しにくいコンテンツＣ（すなわち、負例）とを特定し、特定した各コンテンツＣの内容やコンテンツＣの見た目を示す画像を学習データとして、モデルに学習させることで、ユーザが視認しやすいコンテンツＣを推定するモデルを学習してもよい。

また、例えば、学習部２３４は、後述する得点パターンに基づいて、ユーザが視認して閲覧したコンテンツＣ（すなわち、正例）とユーザが視認したが閲覧しなかったコンテンツＣ（すなわち、負例）とを特定し、特定した各コンテンツＣの内容やコンテンツＣの見た目を示す画像を学習データとしてモデルに学習させることで、ユーザが閲覧しやすいコンテンツＣを推定するモデルを学習してもよい。

〔５．端末装置および解析装置の動作〕
次に、図６〜図１１を参照して、端末装置１および解析装置２の動作の一例について説明する。図６〜図１１は、実施形態に係る端末装置１および解析装置２の動作の一例を示す説明図である。

〔５−１．得点パターン例１〕
図６の（ａ）に示す例において、ユーザは、端末装置１を用いて、コンテンツＣ（図１参照）のうち記事Ａ〜Ｄを出力部１３に表示させている。この場合、端末装置１は、表示情報取得部１５５を用いて、表示されたコンテンツ（ここでは記事Ａ〜Ｄ）に関する表示情報を取得する（ステップＳ１１）。

そして、図６の（ａ）に示す例において、ユーザは、表示されたコンテンツ（記事Ａ〜Ｄ）のうち、特定のコンテンツ（図では記事Ｂ）を注視している。この場合、端末装置１は、視線センサ１４を用いて、「特定のコンテンツ（記事Ｂ）を注視した」という視線情報を取得する（ステップＳ１２）。

実施形態において、「注視する」（以降の図面では視線Ｅを太線で図示）とは、所定の時間（例えば、２５０ミリ秒）以上の間、同じ領域Ｒに視線Ｅが保持されることを示している。また、「目視する」（以降の図面では視線Ｅを破線で図示）とは、所定の時間より短い間、同じ領域Ｒに視線Ｅが保持されることを示している。

なお、「注視する」は、所定の時間以上の間、同じ領域Ｒに視線Ｅが保持される場合に限られず、たとえば、所定の時間以上の間、同じ文章を流し目で追って見ることなども含まれる。また、本願の説明において、「視認する」には、「注視する」と「目視する」とのいずれもが含まれる。

図６の説明に戻る。つぎに、図６の（ｂ）に示すように、ユーザは、注視した特定のコンテンツ（すなわち、記事Ｂ）をタップして選択している。この場合、端末装置１は、操作制御部１５２を用いて、「特定のコンテンツを選択した」という操作情報を取得する（ステップＳ１３）。

そして、解析装置２は、端末装置１から上述の表示情報、視線情報および操作情報を取得する（ステップＳ１４）。さらに、解析装置２は、取得された表示情報、視線情報および操作情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ１５）。

たとえば、図６で示した例において、記事Ｂは、ユーザに注視されるとともに選択されていることから、得点定義データベース２２１において「特定のコンテンツを注視＝Ｙｅｓ」および「特定のコンテンツを選択＝Ｙｅｓ」に該当する。したがって、解析装置２は、かかる記事Ｂの評価を「５点」として評価する。

次に、解析装置２は、評価された得点に基づいて機械学習を行い（ステップＳ１６）、学習モデルを生成する。そして、実施形態では、かかる学習モデルを用いることにより、ユーザに対するサービスの改善を精度よく行うことができる。

たとえば、図６で示した例において、記事Ｂに対するユーザの挙動は、表示内容を理解した上で、より深い内容を知るために選択したと推定することができる。したがって、実施形態では、かかる記事Ｂに対して高い得点を付与することにより、ユーザに対して記事Ｂに関連する多くの情報をリコメンドすることができる。

〔５−２．得点パターン例２〕
図７の（ａ）に示す例において、ユーザは、表示されたコンテンツ（記事Ａ〜Ｄ）のうち、特定のコンテンツ（図では記事Ｂ）を注視している。この場合、端末装置１は、視線センサ１４を用いて、「特定のコンテンツ（記事Ｂ）を注視した」という視線情報を取得する（ステップＳ２１）。

つぎに、図７の（ｂ）に示すように、ユーザは、注視した特定のコンテンツとは別のコンテンツ（図では記事Ｃ）をタップして選択している。この場合、端末装置１は、操作制御部１５２を用いて、「別のコンテンツを選択した」という操作情報を取得する（ステップＳ２２）。

そして、解析装置２は、端末装置１から取得された各種情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ２３）。

たとえば、図７で示した例において、記事Ｂは、ユーザに注視される一方で選択はされていないことから、得点定義データベース２２１において「特定のコンテンツを注視＝Ｙｅｓ」および「別のコンテンツを選択＝Ｙｅｓ」に該当する。したがって、解析装置２は、かかる記事Ｂの評価を「４点」として評価する。

すなわち、図７で示した例において、記事Ｂに対するユーザの挙動は、表示内容を理解し興味も持ったが、別のコンテンツ（記事Ｃ）がより気になる内容だったため後回しにしたと推定することができる。

したがって、かかる記事Ｂはユーザの見たい情報である可能性が高いことから、実施形態では、記事Ｂに対してある程度高い得点を付与することにより、ユーザに対して記事Ｂに関連する情報をリコメンドすることができる。

〔５−３．得点パターン例３〕
図８の（ａ）に示す例において、ユーザは、表示されたコンテンツ（記事Ａ〜Ｄ）をすべて目視している。この場合、端末装置１は、視線センサ１４を用いて、「すべてのコンテンツを目視した」という視線情報を取得する（ステップＳ３１）。

つぎに、図８の（ｂ）に示すように、ユーザは、表示されたコンテンツの中から特定のコンテンツ（図では記事Ｂ）をタップして選択している。この場合、端末装置１は、操作制御部１５２を用いて、「特定のコンテンツを選択した」という操作情報を取得する（ステップＳ３２）。

そして、解析装置２は、端末装置１から取得された各種情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ３３）。

たとえば、図８で示した例では、すべてのコンテンツを目視し、その中から特定のコンテンツ（ここでは記事Ｂ）を選択していることから、かかる記事Ｂは、得点定義データベース２２１において「すべてのコンテンツを目視＝Ｙｅｓ」および「特定のコンテンツを選択＝Ｙｅｓ」に該当する。したがって、解析装置２は、かかる記事Ｂの評価を「３点」として評価する。

すなわち、図８で示した例において、ユーザの挙動は、すべてのコンテンツを確認した上でもっとも興味のあるもの（すなわち、記事Ｂ）を選択したと推定することができる。

したがって、実施形態では、記事Ｂにある程度高い得点を付与して、ユーザに対して記事Ｂに関連するより詳細な内容をリコメンドすることにより、提供されるサービスがユーザに興味を持たれるように誘導することができる。

〔５−４．得点パターン例４〕
図９の（ａ）に示す例において、ユーザは、表示されたコンテンツ（記事Ａ〜Ｄ）のうち、特定のコンテンツ（図では記事Ｂ）を目視している。この場合、端末装置１は、視線センサ１４を用いて、「特定のコンテンツ（記事Ｂ）を目視した」という視線情報を取得する（ステップＳ４１）。

つぎに、図９の（ｂ）に示すように、ユーザは、目視した特定のコンテンツ（すなわち、記事Ｂ）をタップして選択している。この場合、端末装置１は、操作制御部１５２を用いて、「特定のコンテンツを選択した」という操作情報を取得する（ステップＳ４２）。

そして、解析装置２は、端末装置１から取得された各種情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ４３）。

たとえば、図９で示した例において、記事Ｂは、ユーザに目視されるとともに選択されていることから、得点定義データベース２２１において「特定のコンテンツを目視＝Ｙｅｓ」および「特定のコンテンツを選択＝Ｙｅｓ」に該当する。したがって、解析装置２は、かかる記事Ｂの評価を「２点」として評価する。

すなわち、図９で示した例において、記事Ｂに対するユーザの挙動は、内容をあまり見ずに印象だけでより詳細な内容を見ようとしたと推定することができる。

したがって、ユーザはサービス内を回遊する可能性が高いことから、実施形態では、記事Ｂに対して比較的低い得点を付与することにより、ユーザに対して記事Ｂとは別のコンテンツをリコメンドすることができる。

〔５−５．得点パターン例５〕
図１０の（ａ）に示す例において、ユーザは、表示されたコンテンツ（記事Ａ〜Ｄ）のうち、特定のコンテンツ（図では記事Ｂ）を目視している。この場合、端末装置１は、視線センサ１４を用いて、「特定のコンテンツ（記事Ｂ）を目視した」という視線情報を取得する（ステップＳ５１）。

つぎに、図１０の（ｂ）に示すように、ユーザは、目視した特定のコンテンツとは別のコンテンツ（図では記事Ｃ）をタップして選択している。この場合、端末装置１は、操作制御部１５２を用いて、「別のコンテンツを選択した」という操作情報を取得する（ステップＳ５２）。

そして、解析装置２は、端末装置１から取得された各種情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ５３）。

たとえば、図１０で示した例において、記事Ｂは、ユーザに目視される一方で選択はされていないことから、得点定義データベース２２１において「特定のコンテンツを目視＝Ｙｅｓ」および「別のコンテンツを選択＝Ｙｅｓ」に該当する。したがって、解析装置２は、かかる記事Ｂの評価を「１点」として評価する。

すなわち、図１０で示した例において、ユーザの挙動は、記事Ｂを確認したが興味は無かったと推定することができる。したがって、かかる記事Ｂはリコメンドする必要が無い可能性が高いことから、実施形態では、記事Ｂに対して低い得点を付与することにより、ユーザに対して記事Ｂに関連する情報をリコメンドしないようにすることができる。

〔５−６．得点パターン例６〕
図１１の（ａ）に示す例において、ユーザは、表示されたコンテンツ（記事Ａ〜Ｄ）を目視していない。この場合、端末装置１は、視線センサ１４を用いて、「表示されたコンテンツを目視していない」という視線情報を取得する（ステップＳ６１）。

つぎに、図１１の（ｂ）に示すように、ユーザは、表示されたコンテンツの中から特定のコンテンツ（図では記事Ｂ）をタップして選択している。この場合、端末装置１は、操作制御部１５２を用いて、「特定のコンテンツを選択した」という操作情報を取得する（ステップＳ６２）。

そして、解析装置２は、端末装置１から取得された各種情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ６３）。

たとえば、図１１で示した例では、コンテンツを目視していないにもかかわらず特定のコンテンツ（ここでは記事Ｂ）を選択していることから、かかる記事Ｂは、得点定義データベース２２１におけるすべての目視情報が「Ｎｏ」であり、かつ「特定のコンテンツを選択＝Ｙｅｓ」に該当する。したがって、解析装置２は、かかる記事Ｂの評価を「０点」として評価する。

すなわち、図１１で示した例において、ユーザの挙動は、記事Ｂを誤って選択したと推定することができる。したがって、かかる記事Ｂに対して得点を付与するのは妥当ではないと考えられることから、解析装置２は、記事Ｂに対して「０点」を付与することにより、選択されたコンテンツに妥当ではない評価が付与されることを抑制することができる。

なお、得点として「０点」が付与される場合は上記の例に限られず、たとえば、まったく視認されていないコンテンツに対して「０点」を付与してもよい。なぜなら、まったく視認されていないコンテンツは、ユーザに認知すらされていないからである。

ここまで説明したように、実施形態では、ユーザのアクション情報として、表示情報および操作情報に加えて、視線情報を取得することにより、より詳細なアクション情報を得ることができる。

また、実施形態では、表示されたコンテンツＣにおいてユーザが視認する領域Ｒおよび領域Ｒを視認する時間を視線情報として取得する。これにより、ユーザの視認するコンテンツＣが注視されているか、あるいは目視されているかを判別することができる。

したがって、実施形態によれば、さらに詳細なアクション情報を得ることができる。

〔６．処理手順〕
次に、図１２および図１３を参照して、端末装置１の制御部１５および解析装置２の制御部２３が実行する処理について説明する。図１２は、実施形態に係る端末装置１の制御部１５が実行する処理を示すフローチャートである。

図１２に示すように、制御部１５は、まず、コンテンツＣを表示する（ステップＳ１０１）。次に、制御部１５は、視線センサ１４を用いることにより、出力部１３に表示されたコンテンツＣに対するユーザの視線情報を取得する（ステップＳ１０２）。

そして、制御部１５は、出力部１３に表示されたコンテンツＣに対するユーザの操作情報を取得し（ステップＳ１０３）、処理を終了する。

図１３は、実施形態に係る解析装置２の制御部２３が実行する処理を示すフローチャートである。図１３に示すように、制御部２３は、まず、端末装置１から表示情報、視線情報および操作情報を取得する（ステップＳ２０１）。

次に、制御部２３は、取得された表示情報、視線情報および操作情報と、得点定義データベース２２１とに基づいて、コンテンツＣに対するユーザの評価を得点として評価する（ステップＳ２０２）。

そして、制御部２３は、評価された得点に基づいて機械学習を行い（ステップＳ２０３）、学習モデルを生成して処理を終了する。

〔７．ハードウェア構成〕
なお、実施形態における端末装置１および解析装置２は、例えば図１４に示すような構成のコンピュータ５０によって実現される。図１４は、解析装置２の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ（Read Only Memory）５３、ＨＤＤ（Hard Disk Drive）５４、通信インターフェイス（Ｉ／Ｆ）５５、入出力インターフェイス（Ｉ／Ｆ）５６、およびメディアインターフェイス（Ｉ／Ｆ）５７を備える。

ＣＰＵ５１は、ＲＯＭ５３またはＨＤＤ５４に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ５３は、コンピュータ５０の起動時にＣＰＵ５１によって実行されるブートプログラムや、コンピュータ５０のハードウェアに依存するプログラム等を記憶する。

ＨＤＤ５４は、ＣＰＵ５１によって実行されるプログラム、および当該プログラムによって使用されるデータ等を記憶する。通信インターフェイス５５は、通信部２１に対応し、ネットワークＮを介して他の機器からデータを受信してＣＰＵ５１へ送り、ＣＰＵ５１が生成したデータを、ネットワークＮを介して他の機器へ送信する。

ＣＰＵ５１は、入出力インターフェイス５６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ５１は、入出力インターフェイス５６を介して、入力装置からデータを取得する。また、ＣＰＵ５１は、生成したデータを、入出力インターフェイス５６を介して出力装置へ出力する。

メディアインターフェイス５７は、記録媒体５８に記憶されたプログラムまたはデータを読み取り、ＲＡＭ５２を介してＣＰＵ５１に提供する。ＣＰＵ５１は、当該プログラムを、メディアインターフェイス５７を介して記録媒体５８からＲＡＭ５２上にロードし、ロードしたプログラムを実行する。記録媒体５８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ５０が実施形態に係る解析装置２として機能する場合、コンピュータ５０のＣＰＵ５１は、ＲＡＭ５２上にロードされたプログラムを実行することにより、制御部２３の機能を実現する。また、ＨＤＤ５４には、記憶部２２内のデータが記憶される。コンピュータ５０のＣＰＵ５１は、これらのプログラムを記録媒体５８から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

〔８．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。たとえば、実施形態では、視線情報を用いて端末装置１に配信されるコンテンツＣを評価する例について示したが、評価される対象はコンテンツに限られず、たとえば、端末装置１に配信される広告を評価してもよい。

また、実施形態では、視線情報取得部１５６により取得された視線情報をユーザの属性を示す属性情報（サイコグラフィック属性やデモグラフィック属性など）として活用してもよい。また、上述してきた実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔９．効果〕
上述してきたように、実施形態に係る情報処理プログラムは、所定の画面にコンテンツＣを表示する表示手順と、表示されたコンテンツＣに対するユーザの視線Ｅに関する視線情報を取得する視線情報取得手順と、をコンピュータに実行させる。

これにより、より詳細なアクション情報を得ることができる。

また、実施形態に係る情報処理プログラムにおいて、視線情報取得手順は、表示されたコンテンツＣにおいてユーザが視認する領域Ｒおよび領域Ｒを視認する時間を視線情報として取得する。

これにより、ユーザの視認するコンテンツＣが注視されているか、あるいは目視されているかを判別することができる。

また、実施形態に係る情報処理プログラムは、表示されたコンテンツＣに対するユーザの操作に関する操作情報を取得する操作情報取得手順をさらにコンピュータに実行させる。

これにより、さらに詳細なアクション情報を得ることができる。

また、実施形態に係る情報処理プログラムは、所定の画面に表示されたコンテンツに関する表示情報と、視線情報と、操作情報とに基づいて、コンテンツＣに対するユーザの評価について解析する解析手順をさらにコンピュータに実行させる。

これにより、端末装置１から得られるより詳細なアクション情報に基づいて、ユーザに対するサービスの改善を精度よく行うための学習モデルを作成することができる。

また、実施形態に係る情報処理プログラムにおいて、解析手順は、ユーザが特定のコンテンツＣを目視した場合より、ユーザが特定のコンテンツＣを注視した場合のほうが特定のコンテンツに対するユーザの評価を高くする。

これにより、取得されたより詳細なアクション情報に基づいて、ユーザに対して適切な情報をリコメンドすることができる。

また、実施形態に係る情報処理プログラムにおいて、解析手順は、ユーザが特定のコンテンツＣを目視した場合より、ユーザがすべてのコンテンツＣを目視した場合のほうが特定のコンテンツに対するユーザの評価を高くする。

これにより、取得されたより詳細なアクション情報に基づいて、ユーザに対して適切な情報をリコメンドすることができる。

また、実施形態に係る情報処理プログラムにおいて、解析手順は、ユーザが目視または注視した特定のコンテンツＣとは別のコンテンツＣを選択した場合より、ユーザが目視または注視した特定のコンテンツＣを選択した場合のほうが特定のコンテンツＣに対するユーザの評価を高くする。

これにより、取得されたより詳細なアクション情報に基づいて、ユーザに対して適切な情報をリコメンドすることができる。

また、実施形態に係る情報処理プログラムにおいて、解析手順は、ユーザが所定の画面を目視または注視せずに特定のコンテンツを選択した場合より、ユーザが所定の画面を目視または注視して特定のコンテンツを選択した場合のほうが特定のコンテンツに対するユーザの評価を高くする。

これにより、取得されたより詳細なアクション情報に基づいて、ユーザに対して適切な情報をリコメンドすることができる。

また、実施形態に係る解析装置２は、取得部２３１と、解析部２３２とを備える。取得部２３１は、端末装置１に表示されたコンテンツＣに関する表示情報と、端末装置１で取得されたコンテンツＣに対するユーザの視線Ｅに関する視線情報とを取得する。解析部２３２は、取得された表示情報および視線情報に基づいて、コンテンツＣに対するユーザの評価について解析する。

これにより、解析装置２は、端末装置１から得られるより詳細なアクション情報に基づいて、ユーザに対するサービスの改善を精度よく行うための学習モデルを作成することができる。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 端末装置
２ 解析装置
３ コンテンツ配信装置
１１、２１ 通信部
１２ 入力部
１３ 出力部
１４ 視線センサ
１５、２３ 制御部
２２ 記憶部
１００ 情報処理システム
１５１ 要求部
１５２ 操作制御部
１５３ 表示制御部
１５４ 表示部
１５５ 表示情報取得部
１５６ 視線情報取得部
２２１ 得点定義データベース
２３１ 取得部
２３２ 解析部
２３３ 評価部
２３４ 学習部

Claims (11)

1. 所定の画面にコンテンツを表示する表示手順と、
   表示された前記コンテンツに対するユーザの視線に関する視線情報を取得する視線情報取得手順と、
   をコンピュータに実行させるための情報処理プログラム。
2. 前記視線情報取得手順は、表示された前記コンテンツにおいて前記ユーザが視認する領域および前記領域を視認する時間を前記視線情報として取得する
   ことを特徴とする請求項１に記載の情報処理プログラム。
3. 表示された前記コンテンツに対する前記ユーザの操作に関する操作情報を取得する操作情報取得手順をさらにコンピュータに実行させる
   ことを特徴とする請求項１または２に記載の情報処理プログラム。
4. 前記所定の画面に表示されたコンテンツに関する表示情報と、前記視線情報と、前記操作情報とに基づいて、前記コンテンツに対する前記ユーザの評価について解析する解析手順をさらにコンピュータに実行させる
   ことを特徴とする請求項３に記載の情報処理プログラム。
5. 前記解析手順は、前記ユーザが特定の前記コンテンツを目視した場合より、前記ユーザが特定の前記コンテンツを注視した場合のほうが特定の前記コンテンツに対する前記ユーザの評価を高くする
   ことを特徴とする請求項４に記載の情報処理プログラム。
6. 前記解析手順は、前記ユーザが特定の前記コンテンツを目視した場合より、前記ユーザがすべての前記コンテンツを目視した場合のほうが特定の前記コンテンツに対する前記ユーザの評価を高くする
   ことを特徴とする請求項４または５に記載の情報処理プログラム。
7. 前記解析手順は、前記ユーザが目視または注視した特定の前記コンテンツとは別の前記コンテンツを選択した場合より、前記ユーザが目視または注視した特定の前記コンテンツを選択した場合のほうが特定の前記コンテンツに対する前記ユーザの評価を高くする
   ことを特徴とする請求項４〜６のいずれか一つに記載の情報処理プログラム。
8. 前記解析手順は、前記ユーザが前記所定の画面を目視または注視せずに特定の前記コンテンツを選択した場合より、前記ユーザが前記所定の画面を目視または注視して特定の前記コンテンツを選択した場合のほうが特定の前記コンテンツに対する前記ユーザの評価を高くする
   ことを特徴とする請求項４〜７のいずれか一つに記載の情報処理プログラム。
9. コンピュータが実行する情報処理方法であって、
   所定の画面にコンテンツを表示する表示工程と、
   表示された前記コンテンツに対するユーザの視線に関する視線情報を取得する視線情報取得工程と、
   を含むことを特徴とする情報処理方法。
10. コンテンツを表示する表示部と、
    表示された前記コンテンツに対するユーザの視線に関する視線情報を取得する視線情報取得部と、
    を備えることを特徴とする端末装置。
11. 端末装置に表示されたコンテンツに関する表示情報と、前記端末装置で取得された前記コンテンツに対するユーザの視線に関する視線情報とを取得する取得部と、
    取得された前記表示情報および前記視線情報に基づいて、前記コンテンツに対する前記ユーザの評価について解析する解析部と、
    を備える解析装置。

Images