JP2016066351A - 情報処理システム、情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】キャリブレーション対象のユーザにキャリブレーションを実行していることを意識させずにキャリブレーションを実行する。
【解決手段】第１の情報処理装置と、第２の情報処理装置とを備える情報処理システムであって、検出部と注視点情報生成部と表示制御部とを備える。検出部は、第１の情報処理装置を利用する第１ユーザの視線方向を検出する。注視点情報生成部は、視線方向に基づいて、第１の情報処理装置および第２の情報処理装置の各々に共通に表示する第１画面情報のうち第１ユーザが注視している位置を示す注視点情報を生成する。表示制御部は、第１ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、第１画面情報上に、注視点情報が示す位置に表示する第２画像と、第１ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、第２の情報処理装置に表示する制御を行う。
【選択図】図２

Description

本発明は、情報処理システム、情報処理装置、情報処理方法およびプログラムに関する。

従来、赤外線ＬＥＤと赤外線カメラで構成される視線センサーを用いて、コンピュータの表示画面を注視するユーザの視線方向を検出する技術が知られている。ここで、眼球の物理的な形状には個人差があるので、ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションが必要となる。

例えば特許文献１には、コンピュータの表示画面の所定位置にマーカーを表示してキャリブレーションを行う初期キャリブレーション工程と、アプリケーションの実行時に（イベントが発生する毎に）キャリブレーションを再実行する動的キャリブレーション工程とを含むキャリブレーション方法が開示されている。

従来技術においては、キャリブレーションを実行する場合、被験者が観察する表示画面に、被験者に注視させるための注視画像（マーカー等）を表示するので、キャリブレーションを実行していることを被験者が知りながらキャリブレーションが進められていく。しかしながら、例えば被験者に心理的なストレスを与えることを防ぐ等の目的で、キャリブレーションを実行していることをユーザに意識させたくないような場合もある。

上述した課題を解決し、目的を達成するために、本発明は、第１の情報処理装置と、前記第１の情報処理装置と通信可能な第２の情報処理装置とを備える情報処理システムであって、前記第１の情報処理装置を利用する第１ユーザの視線方向を検出する検出部と、前記視線方向に基づいて、前記第１の情報処理装置および前記第２の情報処理装置の各々に共通に表示する第１画面情報のうち前記第１ユーザが注視している位置を示す注視点情報を生成する注視点情報生成部と、前記第１ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記第１ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記第２の情報処理装置に表示する制御を行う表示制御部と、を備える。

本発明によれば、キャリブレーション対象のユーザにキャリブレーションを実行していることを意識させずにキャリブレーションを実行することができる。

図１は、実施形態の情報処理システムの構成の一例を示す図である。 図２は、被験者が利用するＰＣ端末のハードウェア構成の一例を示す図である。 図３は、医師が利用するＰＣ端末のハードウェア構成の一例を示す図である。 図４は、被験者が利用するＰＣ端末の機能構成の一例を示す図である。 図５は、視線方向の検出方法について説明する図である。 図６は、健康診断データの一例を示す図である。 図７は、健康診断データの一例を示す図である。 図８は、健康診断データの一例を示す図である。 図９は、健康診断データの一例を示す図である。 図１０は、医師が利用するＰＣ端末の機能構成の一例を示す図である。 図１１は、実施形態の情報処理システムの概略図である。 図１２は、注視点マーカーおよび注視指示マーカーの一例を示す図である。 図１３は、第１モードにおける注視指示位置の決定方法を説明するための図である。 図１４は、第２モードにおける注視指示位置の決定方法を説明するための図である。 図１５は、情報処理システムの動作手順の一例を示すシーケンス図である。 図１６は、被験者が利用するＰＣ端末の動作例を示すフローチャートである。 図１７は、医師が利用するＰＣ端末の動作例を示すフローチャートである。 図１８は、医師が利用するＰＣ端末の動作例を示すフローチャートである。 図１９は、医師が利用するＰＣ端末の動作例を示すフローチャートである。 図２０は、第１の変形例の被験者が利用するＰＣ端末の機能構成の一例を示す図である。 図２１は、第１の変形例の医師が利用するＰＣ端末の機能構成の一例を示す図である。 図２２は、第１の変形例の情報処理システムの動作手順の一例を示すシーケンス図である。 図２３は、第２の変形例の被験者が利用するＰＣ端末の機能構成の一例を示す図である。 図２４は、第２の変形例の医師が利用するＰＣ端末の機能構成の一例を示す図である。 図２５は、第２の変形例の情報処理システムの動作手順の一例を示すシーケンス図である。 図２６は、第３の変形例の情報処理システムの構成の一例を示す図である。 図２７は、第３の変形例のサーバ装置のハードウェア構成の一例を示す図である。 図２８は、第３の変形例のサーバ装置の機能構成の一例を示す図である。 図２９は、第３の変形例の被験者が利用するＰＣ端末の機能構成の一例を示す図である。 図３０は、第３の変形例の医師が利用するＰＣ端末の機能構成の一例を示す図である。

以下、添付図面を参照しながら、本発明に係る情報処理システム、情報処理装置、情報処理方法およびプログラムの実施形態を詳細に説明する。

図１は、本実施形態に係る情報処理システム１の構成の一例を示す図である。図１の例では、被験者（以下、「ユーザＡ」と称する場合がある）が存在する拠点Ａおよび拠点Ｂには、それぞれ２台のＰＣ端末１００が配置される。また、健康診断等を実施する医師（以下、「ユーザＢ」と称する場合がある）が存在する拠点Ｃには、１台のＰＣ端末２００が配置されている。複数のＰＣ端末１００およびＰＣ端末２００の各々は、インターネットなどのネットワーク１０を介して相互に接続されている。本実施形態に係る情報処理システム１の利用シーンとしては遠隔において、例えば、医師と患者とのカウンセリング、産業医と従業員とのメンタルヘルスケア、教師と生徒との面談など、両者が対等な立場というよりは、一方が強い立場であるような関係などが想定される。また、警官と犯人との取り調べが行われる場面なども想定される。なお、ユーザＡは請求項の「第１ユーザ」に対応し、ユーザＢは請求項の「第２ユーザ」に対応する。

図２は、ユーザＡが利用するＰＣ端末１００のハードウェア構成の一例を示す図である。図２に示すように、ＰＣ端末１００は、ＣＰＵ１２０と、ＲＯＭ１２１と、ＲＡＭ１２２と、表示部１２３と、操作部１２４と、センサＩ／Ｆ部１２５と、ネットワークＩ／Ｆ部１２６とを有する。ＣＰＵ１２０は、ＰＣ端末１００の動作を統括的に制御する。ＲＯＭ１２１は、プログラム等の各種のデータを保持する不揮発性のメモリである。ＲＡＭ１２２は、ＣＰＵ１２０のワークエリア（作業領域）として機能する揮発性のメモリである。表示部１２３は、各種の情報を表示するデバイスであり、例えば液晶型ディスプレイで構成され得る。操作部１２４は、各種の操作に用いられるデバイスであり、例えばキーボードやマウス等で構成され得る。センサＩ／Ｆ部１２５は、赤外線ＬＥＤと赤外線カメラで構成される視線センサー１３０と接続するためのインターフェースである。ネットワークＩ／Ｆ部１２６は、ネットワーク１０と接続するためのインターフェースである。

図３は、ユーザＢが利用するＰＣ端末２００のハードウェア構成の一例を示す図である。図３に示すように、ＰＣ端末２００は、ＣＰＵ２３０と、ＲＯＭ２３１と、ＲＡＭ２３２と、表示部２３３と、操作部２３４と、ネットワークＩ／Ｆ部２３５とを有する。ＣＰＵ２３０は、ＰＣ端末２００の動作を統括的に制御する。ＲＯＭ２３１は、プログラム等の各種のデータを保持する不揮発性のメモリである。ＲＡＭ２３２は、ＣＰＵ２３０のワークエリア（作業領域）として機能する揮発性のメモリである。表示部２３３は、各種の情報を表示するデバイスであり、例えば液晶型ディスプレイで構成され得る。操作部２３４は、各種の操作に用いられるデバイスであり、例えばキーボードやマウス等で構成され得る。ネットワークＩ／Ｆ部２３５は、ネットワーク１０と接続するためのインターフェースである。

図４は、ＰＣ端末１００の機能構成の一例を示す図である。図４に示すように、ＰＣ端末１００は、検出部１０１と、注視点情報生成部１０２と、注視点情報保持部１０３と、注視点情報送信部１０４と、第１画面情報取得部１０５と、表示制御部１０６と、第１画面情報保持部１０７とを有する。説明の便宜上、図４の例では、本発明に係る機能を主に例示しているが、ＰＣ端末１００が有する機能はこれらに限られるものではない。

検出部１０１は、視線センサー１３０による検出結果を利用して、ユーザＡの視線方向を検出する。注視点情報生成部１０２は、検出部１０１により検出された視線方向に基づいて、ＰＣ端末１００（表示部１２３）に表示する第１画面情報のうちユーザＡが注視している位置を示す注視点情報を生成する。視線方向の検出方法としては公知の方法を用いることができ、例えば、特許文献２に記載されている角膜反射法などが挙げられる。図５は、角膜反射法について説明する図である。図５に示すように、赤外線２１が眼の角膜曲率中心２２に向かって入射すると角膜２３に角膜反射（プルキニエ像）２４ができる。瞳孔中心２５からの視線方向２６は画面２７の右上の点２８を向いている。角膜反射法は、赤外線２１の角膜反射（プルキニエ像）２４が角膜２３と眼球の回転中心の違いにより、眼球運動に伴って平行移動するのを検出する方法である。具体的には、赤外線ＬＥＤでユーザＡの顔を照らして、赤外線カメラで目を撮像する。赤外線ＬＥＤを照らしてできた反射光の角膜２３上の位置（角膜反射２４）を基準点とする。角膜反射２４の位置に対する瞳孔の位置に基づいて、視線方向２６を検出する。例えば、左目の角膜反射２４よりも瞳孔が目じり側にあれば、ユーザＡは左側方向を見ていると検出でき、角膜反射２４よりも瞳孔が目頭側にあれば、ユーザＡは右側方向を見ていると検出できる。第１画面情報は、ＰＣ端末１００とＰＣ端末２００との間で共通に表示する画面情報である。画面情報とは、表示対象の情報であり、画像に限られるものではない。この例では、第１画面情報は、ユーザＡの健康診断の結果を示す健康診断データであるが、これに限られるものではない。また、健康診断データのデータ形式は任意であり、例えばテーブル形式のデータであってもよい。図６〜図９は、健康診断データの一例を示す図である。図６は、ユーザＩＤ「０００１」と、名前、性別、年齢が対応付いたテーブル形式のデータである。図７は、ユーザＩＤ「０００１」と、年月日（検診日）、検診項目の結果が対応付いたテーブル形式のデータである。図８は、ユーザＩＤ「０００１」と、過去の病歴が対応付いたテーブル形式のデータである。図９は、ユーザＩＤ「０００１」と、生活習慣の結果が対応付いたテーブル形式のデータである。

注視点情報保持部１０３は、注視点情報を保持する。注視点情報送信部１０４は、注視点情報生成部１０２により注視点情報が生成されるたびに、その注視点情報（注視点情報保持部１０３に保持された最新の注視点情報）をＰＣ端末２００へ送信する。

第１画面情報取得部１０５は、ＰＣ端末２００から配信される第１画面情報を取得する。表示制御部１０６は、各種の情報を表示部１２３に表示する制御を行う。例えば表示制御部１０６は、第１画面情報取得部１０５により取得された第１画面情報を表示部１２３に表示する制御を行う。

第１画面情報保持部１０７は、第１画面情報取得部１０５により取得された第１画面情報を保持する。例えば第１画面情報である健康診断データがテーブル形式のデータの場合、第１画面情報保持部１０７は、予め用意したテーブル内に値を保持することで、健康診断データを保持することができる。

この例では、上述の注視点情報生成部１０２、注視点情報送信部１０４、第１画面情報取得部１０５および表示制御部１０６の各々の機能は、ＰＣ端末１００のＣＰＵ１２０がＲＯＭ１２１等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えばこれらの機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）により実現されてもよい。

図１０は、ＰＣ端末２００の機能構成の一例を示す図である。図１０に示すように、ＰＣ端末２００は、注視点情報取得部２０１と、注視点情報保持部２０２と、決定部２０３と、注視指示情報保持部２０４と、第１画面情報保持部２０５と、第１画面情報配信部２０６と、生成部２０７と、表示制御部２０８と、判定部２１０と、キャリブレーション終了判定部２１１とを有する。説明の便宜上、図１０の例では、本発明に係る機能を主に例示しているが、ＰＣ端末２００が有する機能はこれらに限られるものではない。

注視点情報取得部２０１は、ＰＣ端末１００から注視点情報を取得する。注視点情報保持部２０２は、注視点情報取得部２０１により取得された注視点情報を保持する。

決定部２０３は、ユーザＢから、キャリブレーションの開始指示を受け付けたことを契機として、ＰＣ端末１００とＰＣ端末２００との間で共通に表示する第１画面情報のうちユーザＡに注視させる注視指示位置を決定し、決定した注視指示位置を示す注視指示情報を生成する。この例では、注視指示位置を決定するモード（方式）として、注視指示位置を自動的に決定するモード（以下、「第１モード」と称する場合がある）と、注視指示位置を手動で決定するモード（以下、「第２モード」と称する場合がある）とがあり、ユーザＢは、何れかのモードを選択することができる。なお、これに限らず、例えば注視指示位置を決定するモードとして、第１モードおよび第２モードのうちの何れか一方のモードのみが予め定められている形態であってもよい。注視指示位置の決定方法の具体的な内容については後述する。

注視指示情報保持部２０４は、決定部２０３により生成された注視指示情報を保持する。第１画面情報保持部２０５は、第１画面情報を保持する。ＰＣ端末１００の第１画面情報保持部１０７と同様に、例えば第１画面情報である健康診断データがテーブル形式のデータの場合、第１画面情報保持部２０５は、予め用意したテーブル内に値を保持することで、健康診断データを保持することができる。第１画面情報配信部２０６は、第１画面情報保持部２０５に保持されている第１画面情報をＰＣ端末１００へ配信する。

生成部２０７は、第１画面情報上に、注視点情報が示す位置に表示する第２画像と、注視指示位置に表示する第３画像と、を含む表示画像を生成する。以下の説明では、第１画面情報を「健康診断データ」と称し、第２画像を「注視点マーカー」と称し、第３画像を「注視指示マーカー」と称する場合がある。この例では、キャリブレーションの実行中において、生成部２０７は、注視点情報取得部２０１により新たな注視点情報が取得されるたび、または、決定部２０３により新たな注視指示位置が決定されるたびに、最新の注視点情報および注視指示情報に基づいて表示画像を生成し、後述の表示制御部２０８は、その生成された表示画像を表示部２３３に表示する制御を行う。すなわち、ユーザＡの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、表示制御部２０８は、第１画面情報上に、注視点情報が示す位置に表示する第２画像と、ユーザＡに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、表示部２３３に表示する制御を行う。

表示制御部２０８は、各種の情報を表示部２３３に表示する制御を行う。例えば表示制御部２０８は、生成部２０７により生成された表示画像を、表示部２３３に表示する制御を行う。

判定部２１０は、ユーザＡが注視指示位置を注視したか否かを判定（注視指示が終了したか否かを判定）する。この具体的な内容については後述する。キャリブレーション終了判定部２１１は、キャリブレーションを終了するか否かを判定する。この具体的な内容については後述する。

この例では、上述の注視点情報取得部２０１、決定部２０３、第１画面情報配信部２０６、生成部２０７、表示制御部２０８、判定部２１０、キャリブレーション終了判定部２１１の各々の機能は、ＰＣ端末２００のＣＰＵ２３０がＲＯＭ２３１等に格納されたプログラムを実行することにより実現されるが、これに限らず、例えばこれらの機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）により実現されてもよい。

以下では、図１１に示すように、拠点ＡのユーザＡが利用する１台のＰＣ端末１００（請求項の「第１の情報処理装置」に対応）と、拠点ＣのユーザＢが利用するＰＣ端末２００（請求項の「第２の情報処理装置」に対応）とを例に挙げて、より具体的な内容を説明する。図１１の例では、第１画面情報が表示される表示部１２３の下部に、視線センサー１３０が設置されている。視線センサー１３０は、典型的には赤外線ＬＥＤと赤外線カメラで構成されるが、これに限らず、公知の様々な構成を採り得る。例えば、可視光カメラを用いることもできる。ＰＣ端末１００は、視線センサー１３０による検出結果を用いて、ＰＣ端末１００（表示部１２３）に表示する第１画面情報のうちユーザＡが注視している位置を示す注視点情報を生成する。ここで、眼球の形状には個人差があるので、ユーザＡの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションが必要になる。

ＰＣ端末２００は、ＰＣ端末１００との間で共通に表示する第１画面情報上に、注視点マーカーと注視指示マーカーとを含む表示画像を表示部２３３に表示する。ユーザＢは、表示部２３３に表示されている注視指示マーカーを見て、その位置に表示されている項目（この例では、健康診断データに含まれる複数の項目のうちの何れかの項目）を注視するようにユーザＡに指示することでキャリブレーションを行う。

ここで、注視点マーカーおよび注視指示マーカーの一例を図１２に示す。図１２の例では、ＰＣ端末２００に表示する健康診断データのうち、ＰＣ端末１００から取得した注視点情報に対応する位置は、健康診断データに含まれる複数の項目のうち、過去の病歴として「脳卒中」が該当するか否かの質問に対する回答の項目の位置を示している。つまり、拠点ＡのユーザＡは、ＰＣ端末１００に表示された健康診断データに含まれる複数の項目のうち、過去の病歴として「脳卒中」が該当するか否かの質問に対する回答の項目を注視していることを示しており、注視点マーカーは、ＰＣ端末２００に表示される健康診断データのうち、過去の病歴として「脳卒中」が該当するか否かの質問に対する回答の項目の位置に表示される。

また、図１２の例では、注視指示情報が示す注視指示位置は、健康診断データに含まれる複数の項目のうち、「山田太郎」という名前のユーザの「年齢」の項目の位置を示しており、注視指示マーカーは、ＰＣ端末２００に表示される健康診断データのうち、「山田太郎」という名前のユーザの「年齢」の項目の位置に表示される。図１２の例では、キャリブレーションが開始されると、健康診断データ上に、注視点マーカーと、注視指示マーカーと、「キャリブレーション中」という文字列とを含む表示画像（この例では、健康診断データ上に、注視点マーカーと、注視指示マーカーと、「キャリブレーション中」という文字列とを重ね合わせた（合成した）表示画像）が、ＰＣ端末２００（表示部２３３）に表示される。

次に、注視指示位置の決定方法の一例を説明する。ここで、ＰＣ端末１００とＰＣ端末２００との間で共通に表示する第１画面情報は、拠点ＡのユーザＡがそれぞれを注視可能な複数の特徴領域を有している。例えば、上記特徴領域は、表構造に含まれる複数の項目のうちの何れか１つの項目に対応する領域であってもよい。前述したように、この例では、第１画面情報は健康診断データであり、健康診断データに含まれる複数の項目の各々が上記特徴領域に対応しているが、これに限られるものではない。

まず、上述の第１モード（注視指示位置を自動的に決定するモード）における注視指示位置の決定方法の一例を説明する。この場合、ＰＣ端末２００の決定部２０３は、予め定められた規則に従って、何れか１つの特徴領域（この例では、健康診断データに含まれる複数の項目のうちの何れか１つの項目）を、注視指示位置として自動的に決定する。そして、決定部２０３は、判定部２１０によりユーザＡが注視指示位置を注視したと判定された場合、ユーザＡが注視したと判定された注視指示位置に対応する特徴領域とは異なる特徴領域を、新たな注視指示位置として決定する。前述したように、本実施形態では、キャリブレーションの実行中において、決定部２０３により新たな注視指示位置が決定されるたびに（あるいは注視点情報取得部２０１により新たな注視点情報が取得されるたびに）、生成部２０７は、最新の注視点情報および注視指示情報に基づいて、健康診断データ上に、注視点マーカーと、注視指示マーカーと、「キャリブレーション中」という文字列とを含む表示画像を生成し直し、表示制御部２０８は、その生成された表示画像を表示部２３３に表示する制御を行う。この一連の処理は、キャリブレーションが終了するまで繰り返されることになる。以下、図１３を参照しながら、注視指示位置の決定方法の具体的な内容を説明する。

図１３の例では、健康診断データは、名前、性別、年齢の項目を含むユーザの基本情報を表す第１の表構造１１と、身長、体重といった検診項目と検診日時を表す第２の表構造１２と、過去の病歴に関する質問と回答を表す第３の表構造１３と、生活習慣に関する質問と回答を表す第４の表構造１４とを含んでいる。図１３の例では、決定部２０３は、第１の表構造１１→第２の表構造１２→第３の表構造１３→第４の表構造１４の順番に、各表構造の左端の中心の項目を、注視指示位置として順に決定する。図１３の例では、注視指示マーカーに付された数字（１〜４）は、注視指示位置として決定される順番を表している。

表構造の左端の中心の項目を選択する際に、表構造が複数の行から構成され、かつ、その行数が偶数の場合は、行数を２で除算した値が行番号として割り当てられる行が選択され、表構造が複数の行から構成され、かつ、その行数が奇数の場合は、行数を１だけ増やして２で除算した値が行番号として割り当てられる行が選択される。一例として、図１３に示す第２の表構造１２では、行数が８であるため、左端の検診項目のうち、８を２で除算した「４」が行番号として割り当てられる第４行目の「ＢＭＩ」が選択されるといった具合である。また、第３の表構造１３では、行数が７であるため、左端の過去の病歴の項目のうち、７を１だけ増やした８を２で除算した「４」が行番号として割り当てられる第４行目の「がん」が選択されるといった具合である。

決定部２０３は、判定部２１０によりユーザＡが注視指示位置を注視したと判定されるたびに、次の順番の項目を、新たな注視指示位置として決定し、予め定められた所定数（図１３の例では４つであるがこれに限られるものではない）の項目の全てを、注視指示位置として決定するまで、上記決定処理を繰り返す。また、図１３の例では、第１の表構造１１→第２の表構造１２→第３の表構造１３→第４の表構造１４の順番に、各表構造の左端の中心の項目を、注視指示位置として順に決定しているが、これに限らず、項目の種類や数、ならびに注視指示位置として決定する順番は任意に設定可能である。

また、例えば決定部２０３は、注視指示位置を決定してから一定期間の間、ユーザＡが当該注視指示位置を注視したと判定されなかった場合は、当該注視指示位置に対応する項目をスキップし、次の順番の項目を、新たな注視指示位置として決定することもできる。また、例えば決定部２０３は、ユーザＡが、スキップした項目以外の項目に対応する注視指示位置を注視したと判定された後に、スキップした項目の近傍の項目を、新たな注視指示位置として決定することもできる。要するに、決定部２０３は、注視指示位置を決定してから一定期間の間、ユーザＡが当該注視指示位置を注視したと判定されなかった場合は、当該注視指示位置に対応する項目とは異なる項目を、新たな注視指示位置として決定することもできる。

ここで、ユーザＡが注視指示位置を注視したか否かを判定する方法の一例を説明する。本実施形態では、判定部２１０は、注視点マーカー（第２画像）と注視指示マーカー（第３画像）との位置関係に基づいて、拠点ＡのユーザＡが注視指示位置を注視したか否かを判定する。より具体的には、判定部２１０は、注視点マーカーと注視指示マーカーとが重なり合う領域を示す重畳領域の面積が閾値以上の場合、ユーザＡが注視指示位置を注視したと判定する。なお、閾値は任意に変更可能であり、例えば注視点マーカーおよび注視指示マーカーのうちの一方（例えばサイズが小さい方）のサイズの５０％に相当する値を閾値として設定することもできるし、１００％に相当する値を閾値として設定することもできる。

また、これに限らず、例えば判定部２１０は、予め定められた周期（例えば１秒周期）で、上記重畳領域が閾値以上であるか否かを判定し、一定期間内において、重畳領域が閾値以上であると判定した回数が所定数（例えば５秒以内に３回）以上の場合は、ユーザＡが注視指示位置を注視したと判定することもできる。

さらに、例えば判定部２１０は、健康診断データに含まれる複数の項目（特徴領域の一例）のうち、注視点情報に対応する項目（注視点マーカーが表示される項目）と、注視指示情報に対応する項目（注視指示マーカーが表示される項目）とが一致する場合、ユーザＡが注視指示位置を注視したと判定することもできる。また、上記と同様に、例えば判定部２１０は、予め定められた周期（例えば１秒周期）で、注視点情報に対応する項目と、注視指示情報に対応する項目とが一致するか否かを判定し、一定期間内において、一致すると判定した回数が所定数（例えば５秒以内に３回）以上の場合は、ユーザＡが注視指示位置を注視したと判定することもできる。

続いて、キャリブレーションを終了するか否かを判定する方法の一例を説明する。本実施形態では、ＰＣ端末２００のキャリブレーション終了判定部２１１は、上記規則により注視指示位置として決定することが予め定められた複数の項目の各々について、ユーザＡが、当該項目に対応する注視指示位置を注視したと判定された場合、キャリブレーションを終了すると判定する。

次に、上述の第２モード（注視指示位置を手動で決定するモード）における注視指示位置の決定方法の一例を説明する。この場合、決定部２０３は、ユーザＢによる選択指示に従って、何れか１つの項目を注視指示位置として決定する。例えば、決定部２０３は、健康診断データを分割するとともに、それぞれが１以上の項目を含む複数の選択範囲のうちの少なくとも１つを、ユーザＢによる選択指示を受け付け可能な選択範囲として決定することができる。以下、図１４を参照しながら、注視指示位置の決定方法の具体的な内容を説明する。

図１４の例では、決定部２０３は、健康診断データを６等分する６つの選択範囲のうちの何れか１つを、ユーザＢによる選択指示を受け付け可能な選択範囲として決定し、ユーザＢによる選択指示に従って、当該選択範囲に含まれる何れか１つの項目を注視指示位置として決定する。なお、選択範囲の数は６つに限られるものではなく、複数の選択範囲の各々のサイズも個別に変更可能である。例えば複数の選択範囲の各々のサイズが異なる形態であってもよい。図１４の例では、決定部２０３は、判定部２１０によりユーザＡが注視指示位置を注視したと判定されるたびに、予め定められた順番に従って、６つの選択範囲のうちの何れか１つを、ユーザＢによる選択指示を受け付け可能な選択範囲として決定し、ユーザＢによる選択指示を待って、新たな注視指示位置を決定する。なお、判定部２１０による判定方法は第１モードと同様である。図１４の例では、注視点マーカーに付された数字（１〜６）は、当該注視点マーカーを含む選択範囲が、ユーザＢによる選択指示を受け付け可能な選択範囲として決定される順番を表しているが、この順番は一例であり、任意に変更可能である。

第１モードと同様に、キャリブレーションの実行中において、決定部２０３により新たな注視指示位置が決定されるたびに（あるいは注視点情報取得部２０１により新たな注視点情報が取得されるたびに）、生成部２０７は、最新の注視点情報および注視指示情報に基づいて、健康診断データ上に、注視点マーカーと、注視指示マーカーと、「キャリブレーション中」という文字列とを含む表示画像を生成し直し、表示制御部２０８は、その生成された表示画像を表示部２３３に表示する制御を行う。この一連の処理は、キャリブレーションが終了するまで繰り返されることになる。

また、図１４の例では、キャリブレーション終了判定部２１１は、拠点ＡのユーザＡが、６つの選択範囲の各々においてユーザＢによる選択指示に従って決定された注視指示位置を注視したと判定された場合、キャリブレーションを終了すると判定するが、終了判定の方法はこれに限られるものではない。例えば上述した選択範囲が設定されず、ユーザＢは、注視指示位置として、健康診断データの任意の項目を選択可能である形態において、キャリブレーション終了判定部２１１は、ユーザＡが、それぞれがキャリブレーションに必要な位置に存在する複数の項目の各々に対応する注視指示位置を注視したと判定された場合に、キャリブレーションを終了すると判定することもできる。この形態において、決定部２０３は、ユーザＢに対して、健康診断データのうちキャリブレーションに必要な位置に対応する項目の選択指示を促す情報を報知する制御を行うこともできる。報知の形態は任意であり、例えば音声を出力する形態でもよいし、画像やテキストを表示部２３３に表示する形態でもよい。

要するに、キャリブレーション終了判定部２１１は、キャリブレーションに必要な複数の特徴領域（この例では健康診断データに含まれる項目）の各々について、拠点ＡのユーザＡが、当該特徴領域に対応する注視指示位置を注視したと判定された場合、キャリブレーションを終了すると判定することができる。

図１５は、本実施形態に係る情報処理システム１の動作手順の一例を示すシーケンス図である。ここでは、拠点ＡのＰＣ端末１００（表示部１２３）および拠点ＣのＰＣ端末２００（表示部２３３）の各々には、第１画面情報である健康診断データが表示されていることを前提とする。

まず、拠点ＡのユーザＡは、ＰＣ端末１００（表示部１２３）を注視し、ＰＣ端末１００（検出部１０１）は、ユーザＡの視線方向を検出する（ステップＳ１０１）。次に、ＰＣ端末１００の注視点情報生成部１０２は、ユーザＡの視線方向に基づいて上述の注視点情報を生成する（ステップＳ１０２）。

次に、ＰＣ端末１００（注視点情報送信部１０４）は、ステップＳ２で生成された注視点情報を、ＰＣ端末２００へ送信する（ステップＳ１０３）。次に、ＰＣ端末２００（生成部２０７、表示制御部２０８）は、表示部２３３に表示する健康診断データ上に、当該健康診断データのうちステップＳ１０３で送られてきた注視点情報に対応する位置に表示する注視点マーカーを含む表示画像（この例では健康診断データ上に注視点マーカーを重ね合わせた（合成した）表示画像）を、表示部２３３に表示する（ステップＳ１０４）。

拠点ＣのユーザＢは、ＰＣ端末２００（表示部２３３）に表示された注視点マーカーを確認することで、拠点ＡのユーザＡが、健康診断データのうちのどの位置を注視しているのかを確認することができる。上述したステップＳ１０１〜ステップＳ１０４までの流れは、キャリブレーションを実行するか否かに関わらず、ＰＣ端末１００とＰＣ端末２００との接続が切断されるまで、繰り返し実行される。

ユーザＢが、ＰＣ端末２００に対して、キャリブレーションの開始指示を入力し、第１モードおよび第２モードのうちの何れかを選択する指示を入力すると、ＰＣ端末２００（決定部２０３）は、注視指示位置を決定するモードとして、第１モードおよび第２モードのうちの何れかを決定する（ステップＳ１０５）。そして、ＰＣ端末２００（決定部２０３）は、その決定したモードに従って注視指示位置を決定する。

そして、ＰＣ端末２００（生成部２０７、表示制御部２０８）は、ＰＣ端末２００に表示する健康診断データ上に、当該健康診断データのうち、最新の注視点情報に対応する位置に表示する注視点マーカーと、当該健康診断データのうち注視指示位置に表示する注視指示マーカーと、を含む表示画像を表示部２３３に表示する（ステップＳ１０６）。

ユーザＢは、ＰＣ端末２００（表示部２３３）に表示された注視指示マーカーを確認することで、健康診断データのどの項目をユーザＡに注視させるかを確認することができ、ユーザＡに対して、注視指示マーカーに対応する項目を注視するように指示する。この指示の形態は任意であり、例えばＰＣ端末１００とＰＣ端末２００との通信を利用して、ＰＣ端末１００に、健康診断データのうち注視すべき項目を示す情報を出力させる形態であってもよい（音声出力させる形態でもよいし、画像情報やテキストを表示部２３３に表示させる形態でもよい）し、例えば電話機等の通話機能を利用して指示する形態であってもよい。上述したステップＳ１０５〜ステップＳ１０６までの流れは、キャリブレーションが終了するまで繰り返し実行される。

次に、図１６を用いて、ＰＣ端末１００の動作例を説明する。図１６は、ＰＣ端末１００の動作例を示すフローチャートである。図１６に示すように、まず検出部１０１は、ユーザＡの視線方向を検出する（ステップＳ１）。次に、注視点情報生成部１０２は、ステップＳ１で検出された視線方向に基づいて上述の注視点情報を生成し（ステップＳ２）、その生成した注視点情報を注視点情報保持部１０３に保持させる（ステップＳ３）。次に、注視点情報送信部１０４は、ステップＳ３で注視点情報保持部１０３に保持された注視点情報（最新の注視点情報）をＰＣ端末２００へ送信する（ステップＳ４）。

次に、図１７を用いて、ＰＣ端末１００からの注視点情報を取得した場合のＰＣ端末２００の動作例を説明する。図１７は、この場合のＰＣ端末２００の動作例を示すフローチャートである。図１７に示すように、まず注視点情報取得部２０１は、ＰＣ端末１００（注視点情報送信部１０４）から送信されてきた注視点情報を取得し（ステップＳ１１）、その取得した注視点情報を注視点情報保持部２０２に保持させる（ステップＳ１２）。次に、生成部２０７は、ＰＣ端末２００に表示する健康診断データ上に、当該健康診断データのうち、ステップＳ１２で注視点情報保持部２０２に保持された注視点情報（最新の注視点情報）に対応する位置に表示する注視点マーカーを含む表示画像を生成する（ステップＳ１３）。次に、表示制御部２０８は、ステップＳ１３で生成された表示画像を表示部２３３に表示する制御を行う（ステップＳ１４）。

次に、図１８を用いて、キャリブレーションを実行する場合のＰＣ端末２００の動作例を説明する。図１８は、キャリブレーションを実行する場合のＰＣ端末２００の動作例を示すフローチャートである。この例では、ユーザＢから、キャリブレーションの開始指示を受け付けると、決定部２０３は、「キャリブレーション中」という文字列を表示するよう、生成部２０７および表示制御部２０８に指示する。この指示を受けた生成部２０７は、ＰＣ端末２００に表示する健康診断データ上に、当該健康診断データのうち、最新の注視点情報に対応する位置に表示する注視点マーカーと、「キャリブレーション中」という文字列とを含む表示画像を生成し、表示制御部２０８は、その生成された表示画像を表示部２３３に表示する制御を行う（ステップＳ２１）。

次に、決定部２０３は、ユーザＢからの、第１モードおよび第２モードのうちの何れかを選択する指示に従って、注視指示位置を決定するモードを決定し（ステップＳ２２）、キャリブレーションを実行する（ステップＳ２３）。具体的には、図１９に示す一連の処理を繰り返し実行することになる。図１９は、１つの注視指示位置が決定されてから、ユーザＡが当該注視指示位置を注視したと判定されるまでのＰＣ端末２００の動作例を示すフローチャートである。以下、具体的な内容を説明する。図１９に示すように、まず決定部２０３は、図１８のステップＳ２２で決定されたモードに応じた方法で、注視指示位置を決定し、決定した注視指示位置を示す注視指示情報を生成する（ステップＳ３１）。注視指示位置の決定方法は上述したとおりである。決定部２０３は、ステップＳ３１で決定した注視指示情報を注視指示情報保持部２０４に保持させる（ステップＳ３２）。

次に、生成部２０７は、ＰＣ端末２００に表示する健康診断データ上に、当該健康診断データのうち最新の注視点情報に対応する位置に表示する注視点マーカーと、当該健康診断データのうちステップＳ３１で決定された注視指示位置に表示する注視指示マーカーと、「キャリブレーション中」という文字列とを含む表示画像を生成する（ステップＳ３３）。次に、表示制御部２０８は、ステップＳ３３で生成された表示画像を表示部２３３に表示する制御を行う（ステップＳ３４）。次に、判定部２１０は、拠点ＡのユーザＡが注視指示位置を注視したか否かを判定する（ステップＳ３５）。ユーザＡが注視指示位置を注視したと判定した場合（ステップＳ３５：Ｙｅｓ）、判定部２１０は、その旨を決定部２０３に通知する。この通知を受けた決定部２０３は、注視指示マーカーを非表示とするよう、生成部２０７および表示制御部２０８に指示する。この指示を受けた生成部２０７は、注視指示マーカーを非表示とする表示画像（ＰＣ端末２００に表示する健康診断データ上に、当該健康診断データのうち、最新の注視点情報に対応する位置に表示する注視点マーカーと、「キャリブレーション中」という文字列とを含む表示画像）を生成し、表示制御部２０８は、その生成された表示画像を表示部２３３に表示する制御を行う（ステップＳ３６）。以上が、図１９に示すフローチャートの処理内容である。

図１８に戻って説明を続ける。上述のステップＳ２３の後のステップＳ２４において、キャリブレーション終了判定部２１１は、キャリブレーションを終了するか否かを判定する（ステップＳ２４）。終了判定の方法は上述したとおりである。キャリブレーションを終了しないと判定された場合（ステップＳ２４：Ｎｏ）は、上述のステップＳ２３の処理を繰り返す。キャリブレーションを終了すると判定した場合（ステップＳ２４：Ｙｅｓ）、キャリブレーション終了判定部２１１は、その旨を決定部２０３に通知する。この通知を受けた決定部２０３は、「キャリブレーション中」という文字列を非表示とするよう、生成部２０７および表示制御部２０８に指示する。この指示を受けた生成部２０７は、「キャリブレーション中」という文字列を非表示とする表示画像（ＰＣ端末２００に表示する健康診断データ上に、当該健康診断データのうち、最新の注視点情報に対応する位置に表示する注視点マーカーを含む表示画像）を生成し、表示制御部２０８は、その生成された表示画像を表示部２３３に表示する制御を行う（ステップＳ２５）。そして、ＰＣ端末２００は、以上のキャリブレーションにより得られた複数のデータ（ユーザＡの視線方向と注視指示位置とが紐付けられたデータ）を元に、ユーザＡの視線方向と、ユーザＡの注視位置との対応関係を決定することができる。

以上に説明したように、本実施形態では、互いに異なる拠点に配置されたＰＣ端末１００およびＰＣ端末２００の各々に共通に表示される健康診断データ上に、健康診断データのうち、拠点Ａに配置されたＰＣ端末１００を利用するユーザＡが注視している位置に表示する注視点マーカーと、健康診断データのうちユーザＡに注視させる注視指示位置に表示する注視指示マーカーと、を含む表示画像を、ＰＣ端末２００に表示する。これにより、拠点Ｃに配置されたＰＣ端末２００を利用するユーザＢは、当該表示画像を見ながら、ユーザＡに対して注視指示を出すことでキャリブレーションを行うことができる。本実施形態では、キャリブレーションを行う際に、ユーザＡに注視させるためのマーカー等の注視画像を、ユーザＡが利用するＰＣ端末１００に表示する必要が無いので、キャリブレーション対象のユーザＡにキャリブレーションを実行していることを意識させずにキャリブレーションを実行することができる。特に、メンタルヘルスケアにおいては、相手側に対して余計な心理的ストレスを与えないことが好ましいので、本実施形態は特に有効な効果を有する。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

（第１の変形例）
上述の実施形態では、ＰＣ端末１００が注視点情報を生成しているが、これに限らず、ＰＣ端末２００が注視点情報を生成する形態であってもよい。図２０は、第１の変形例におけるＰＣ端末１００の機能構成の一例を示す図である。図２０に示すように、ＰＣ端末１００は、検出部１０１と、視線情報生成部１１０と、視線情報保持部１１１と、視線情報送信部１１２と、第１画面情報取得部１０５と、表示制御部１０６と、第１画面情報保持部１０７とを備える。視線情報生成部１１０、視線情報保持部１１１および視線情報送信部１１２以外の構成要素は上述の実施形態と同様であるので、詳細な説明は省略する。

視線情報生成部１１０は、検出部１０１により検出された視線方向（ユーザＡの視線方向）を少なくとも含む視線情報を生成する。視線情報は、注視点情報を生成するのに必要な情報であればよい。視線情報保持部１１１は視線情報を保持する。視線情報送信部１１２は、視線情報生成部１１０により視線情報が生成されるたびに、その視線情報（視線情報保持部１１１に保持された最新の視線情報）をＰＣ端末２００へ送信する。

図２１は、第１の変形例におけるＰＣ端末２００の機能構成の一例を示す図である。図２１に示すように、ＰＣ端末２００は、視線情報取得部２２０と、視線情報保持部２２１と、注視点情報生成部２２２と、注視点情報保持部２０２と、決定部２０３と、注視指示情報保持部２０４と、第１画面情報保持部２０５と、第１画面情報配信部２０６と、生成部２０７と、表示制御部２０８と、判定部２１０と、キャリブレーション終了判定部２１１とを備える。視線情報取得部２２０、視線情報保持部２２１および注視点情報生成部２２２以外の構成要素は上述の実施形態と同様であるので、詳細な説明は省略する。

視線情報取得部２２０は、ＰＣ端末１００から視線情報を取得する。視線情報保持部２２１は、視線情報取得部２２０により取得された視線情報を保持する。注視点情報生成部２２２は、視線情報取得部２２０により視線情報が取得されるたびに、その取得された視線情報（視線情報保持部２２１に保持される最新の視線情報）に基づいて注視点情報を生成し、その生成した注視点情報を注視点情報保持部２０２に保持させる。

図２２は、第１の変形例における情報処理システム１の動作手順の一例を示すシーケンス図である。ここでは、拠点ＡのＰＣ端末１００（表示部１２３）および拠点ＣのＰＣ端末２００（表示部２３３）の各々には、第１画面情報である健康診断データが表示されていることを前提とする。

視線情報生成部１１０は、検出部１０１により検出された視線方向（ユーザＡの視線方向）を少なくとも含む視線情報を生成する（ステップＳ１１１）。視線情報保持部１１１は視線情報を保持する（ステップＳ１１２）。視線情報送信部１１２は、視線情報生成部１１０により視線情報が生成されるたびに、その視線情報（視線情報保持部１１１に保持された最新の視線情報）をＰＣ端末２００へ送信する（ステップＳ１１３）。視線情報取得部２２０は、ＰＣ端末１００から視線情報を取得する（ステップＳ１１４）。視線情報保持部２２１は、視線情報取得部２２０により取得された視線情報を保持する（ステップＳ１１５）。注視点情報生成部２２２は、視線情報取得部２２０により視線情報が取得されるたびに、その取得された視線情報（視線情報保持部２２１に保持される最新の視線情報）に基づいて注視点情報を生成（ステップＳ１１６）し、その生成した注視点情報を注視点情報保持部２０２に保持させる（ステップＳ１１７）。

このように、第１の変形例によれば、ＰＣ端末１００では注視点情報を生成する必要がないので、ＰＣ端末１００での処理の負荷が低減する。また、後述する第２の変形例と比較してＰＣ端末１００では視線情報を送信し、画像データは送信しないので、ＰＣ端末１００からＰＣ端末２００に対して送信するデータ量を削減することができる。

第１の変形例では、ＰＣ端末１００は請求項の「外部装置」に対応し、ＰＣ端末２００は請求項の「情報処理装置」に対応していると考えることができる。要するに、本発明が適用される情報処理装置は、外部装置と通信可能な情報処理装置であって、上述の視線情報取得部２２０に対応する機能と、上述の注視点情報生成部２２２に対応する機能と、上述の表示制御部２０８に対応する機能とを少なくとも備える形態であればよい。

（第２の変形例）
上述の第１の変形例では、ＰＣ端末１００が視線情報を生成しているが、これに限らず、ＰＣ端末１００がユーザの眼を含んだ画像情報を送信し、ＰＣ端末２００が視線方向（ユーザＡの視線方向）を少なくとも含む視線情報を算出して注視点情報を生成する形態であってもよい。図２３は、第２の変形例におけるＰＣ端末１００の機能構成の一例を示す図である。図２３に示すように、ＰＣ端末１００は、第１画面情報取得部１０５と、表示制御部１０６と、第１画面情報保持部１０７と、画像情報送信部１１３とを備える。画像情報送信部１１３以外の構成要素は上述の実施形態および第１の変形例と同様であるので、詳細な説明は省略する。

画像情報送信部１１３は、視線センサー１３０の赤外線カメラから入力されたユーザＡの眼を含んだ画像情報を周期的にＰＣ端末２００に対して送信する。

図２４は、第２の変形例におけるＰＣ端末２００の機能構成の一例を示す図である。図２４に示すように、ＰＣ端末２００は、画像情報取得部２２３と、視線方向算出部２２４と、注視点情報生成部２２２と、注視点情報保持部２０２と、決定部２０３と、注視指示情報保持部２０４と、第１画面情報保持部２０５と、第１画面情報配信部２０６と、生成部２０７と、表示制御部２０８と、判定部２１０と、キャリブレーション終了判定部２１１とを備える。画像情報取得部２２３および視線方向算出部２２４以外の構成要素は上述の実施形態および第１の変形例と同様であるので、詳細な説明は省略する。

画像情報取得部２２３は、ＰＣ端末１００からユーザＡの眼を含んだ画像情報を周期的に取得する。

視線方向算出部２２４は、ユーザＡの眼を含んだ画像情報から上述した、例えば、角膜反射法など用いてユーザＡの視線方向を算出する。視線方向算出部２２４は、ユーザＡの視線方向を算出するたびに、その算出された視線方向（視線情報）を注視点情報生成部２２２に受け渡す。

図２５は、第２の変形例における情報処理システム１の動作手順の一例を示すシーケンス図である。ここでは、拠点ＡのＰＣ端末１００（表示部１２３）および拠点ＣのＰＣ端末２００（表示部２３３）の各々には、第１画面情報である健康診断データが表示されていることを前提とする。

ＰＣ端末１００は、視線センサー１３０の赤外線カメラから入力される入力画像を取得し（ステップＳ１２１）、入力画像の周期ごとに画像情報をＰＣ端末２００に対して送信する（ステップＳ１２２）。ＰＣ端末２００の画像情報取得部２２３が周期的に取得したユーザＡの眼を含んだ画像情報からユーザＡの視線方向を算出する（ステップＳ１２３）。注視点情報生成部２２２は、視線方向算出部２２４によりユーザＡの視線方向が算出されるたびに、その算出された視線方向（最新の視線情報）に基づいて注視点情報を生成する（ステップＳ１２４）。その後の注視点情報保持部２０２以降の動作は、上述の実施形態および第１の変形例と同様である。

このように、第２の変形例によれば、ＰＣ端末１００ではユーザＡの眼を含んだ画像情報をＰＣ端末２００に送信するだけなので、ＰＣ端末１００では注視点情報や視線情報を生成する必要がない。すなわち、ＰＣ端末１００で動作させる専用アプリケーションを開発する必要がなく、開発コストを削減することができる。

（第３の変形例）
図２６は、第３の変形例の情報処理システムの構成の一例を示す図である。図２６に示すように、情報処理システム１は、ＰＣ端末１００およびＰＣ端末２００の各々とネットワーク１０を介して接続されるサーバ装置３００をさらに備える形態であってもよい。すなわち、第３の変形例は、サーバ装置３００に、上述の第２の変形例で説明したＰＣ端末２００の機能を持たせた構成である。情報処理システム１のＰＣ端末１００は、ユーザＡの眼を含んだ画像情報をサーバ装置３００に対して送信し、サーバ装置３００から配信される第１画面情報を表示する機能を持ち、ＰＣ端末２００は、サーバ装置３００から配信される合成画面情報を表示する機能を持ち、その他の情報処理システム１の機能はサーバ装置３００に持たせた構成である。

図２７は、サーバ装置３００のハードウェア構成の一例を示す図である。図２７に示すように、サーバ装置３００は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、表示部３０４と、操作部３０５と、ネットワークＩ／Ｆ部３０６とを有する。ＣＰＵ３０１は、サーバ装置３００の動作を統括的に制御する。ＲＯＭ３０２は、プログラム等の各種のデータを保持する不揮発性のメモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア（作業領域）として機能する揮発性のメモリである。表示部３０４は、各種の情報を表示するデバイスであり、例えば液晶型ディスプレイで構成され得る。操作部３０５は、各種の操作に用いられるデバイスであり、例えばキーボードやマウス等で構成され得る。ネットワークＩ／Ｆ部３０６は、ネットワーク１０と接続するためのインターフェースである。

例えばサーバ装置３００は、ＰＣ端末１００に対して第１画面情報を配信し、ＰＣ端末２００に対して第１画面情報上に、注視点情報が示す位置に表示する第２画像と、第１ユーザに注視させる注視指示位置に表示する第３画像とを重ね合わせた（合成した）表示画像を合成画面情報として配信する機能を有する形態である。すなわち、合成画面情報とは、図１２を用いて説明したように、健康診断データ上に、注視点マーカーと、注視指示マーカーと、「キャリブレーション中」という文字列とを含む表示画像（図１２の例では、健康診断データ上に、注視点マーカーと、注視指示マーカーと、「キャリブレーション中」という文字列とを重ね合わせた（合成した）表示画像）である。

図２８は、第３の変形例のサーバ装置３００の機能構成の一例を示す図である。図２８に示すように、サーバ装置３００は、画像情報取得部３１１と、視線方向算出部３１２と、注視点情報生成部３１３と、注視点情報保持部３１４と、決定部３１５と、注視指示情報保持部３１６と、第１画面情報保持部３１７と、画面情報配信部３１８と、生成部３１９と、判定部３２０と、キャリブレーション終了判定部３２１とを備える。画面情報配信部３１８以外の構成要素は上述の実施形態および第２の変形例と同様であるので、詳細な説明は省略する。すなわち、画像情報取得部３１１は画像情報取得部２２３の機能と同様であり、視線方向算出部３１２は視線方向算出部２２４の機能と同様であり、注視点情報生成部３１３は注視点情報生成部２２２の機能と同様であり、注視点情報保持部３１４は注視点情報保持部２０２の機能と同様であり、決定部３１５は決定部２０３の機能と同様であり、注視指示情報保持部３１６は注視指示情報保持部２０４の機能と同様であり、第１画面情報保持部３１７は第１画面情報保持部２０５の機能と同様であり、生成部３１９は生成部２０７の機能と同様であり、判定部３２０は判定部２１０の機能と同様であり、キャリブレーション終了判定部３２１はキャリブレーション終了判定部２１１の機能と同様である。

画面情報配信部３１８は、第１画面情報保持部３１７に保持されている第１画面情報をＰＣ端末１００へ配信すると共に、第１画面情報上に、注視点情報が示す位置に表示する第２画像と、第１ユーザに注視させる注視指示位置に表示する第３画像とを重ね合わせた（合成した）表示画像を合成画面情報としてＰＣ端末２００へ配信する。

図２９は、第３の変形例のＰＣ端末１００の機能構成の一例を示す図である。図２９に示すように、ＰＣ端末１００は、第１画面情報取得部１０５と、表示制御部１０６と、第１画面情報保持部１０７と、画像情報送信部１１３とを備える。各部の構成要素は上述の実施形態および第２の変形例と同様であるので、詳細な説明は省略する。

図３０は、第３の変形例のＰＣ端末２００の機能構成の一例を示す図である。図３０に示すように、ＰＣ端末２００は、合成画面情報取得部２２５と、合成画面情報保持部２２６と、表示制御部２０８とを備える。

合成画面情報取得部２２５は、サーバ装置３００から配信される合成画面情報を取得する。合成画面情報とは、第１画面情報上に、注視点情報が示す位置に表示する第２画像と、第１ユーザに注視させる注視指示位置に表示する第３画像と、を重ね合わせた（合成した）表示画像である。

合成画面情報保持部２２６は、合成画面情報取得部２２５により取得された合成画面情報を保持する。例えば、第１画面情報上に、注視点情報が示す位置に表示する第２画像と、第１ユーザに注視させる注視指示位置に表示する第３画像と、を重ね合わせた（合成した）表示画像である合成画面情報を保持する。

表示制御部２０８は、合成画面情報取得部２２５で取得した合成画面情報に基づいて表示部２３３に合成した表示画像を表示する制御を行う。

このように、第３の変形例によれば、ＰＣ端末１００ではユーザＡの眼を含んだ画像情報をサーバ装置３００に送信するだけであり、ＰＣ端末２００では、サーバ装置３００から配信される合成画面情報を表示するだけである。サーバ装置３００では、その他の処理を行うので、ＰＣ端末１００およびＰＣ端末２００で動作させる専用アプリケーションを開発する必要がなく、開発コストを削減することができる。

なお、上記の場合に限らず、サーバ装置３００には、ＰＣ端末１００が有する複数の機能の一部または、ＰＣ端末２００が有する複数の機能の一部を搭載することができる。

（プログラム）
上述した実施形態の情報処理システム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するように構成してもよい。

１ 情報処理システム
２１ 赤外線
２２ 角膜曲率中心
２３ 角膜
２４ 角膜反射
２５ 瞳孔中心
２６ 視線方向
２７ 画面
２８ 点
１００ ＰＣ端末
１０１ 検出部
１０２ 注視点情報生成部
１０３ 注視点情報保持部
１０４ 注視点情報送信部
１０５ 第１画面情報取得部
１０６ 表示制御部
１０７ 第１画面情報保持部
１１０ 視線情報生成部
１１１ 視線情報保持部
１１２ 視線情報送信部
１１３ 画像情報送信部
１２０ ＣＰＵ
１２１ ＲＯＭ
１２２ ＲＡＭ
１２３ 表示部
１２４ 操作部
１２５ センサＩ／Ｆ部
１２６ ネットワークＩ／Ｆ部
１３０ 視線センサー
２００ ＰＣ端末
２０１ 注視点情報取得部
２０２ 注視点情報保持部
２０３ 決定部
２０４ 注視指示情報保持部
２０５ 第１画面情報保持部
２０６ 第１画面情報配信部
２０７ 生成部
２０８ 表示制御部
２１０ 判定部
２１１ キャリブレーション終了判定部
２２０ 視線情報取得部
２２１ 視線情報保持部
２２２ 注視点情報生成部
２２３ 画像情報取得部
２２４ 視線方向算出部
２２５ 合成画面情報取得部
２２６ 合成画面情報保持部
２３０ ＣＰＵ
２３１ ＲＯＭ
２３２ ＲＡＭ
２３３ 表示部
２３４ 操作部
２３５ ネットワークＩ／Ｆ部
３００ サーバ装置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ 表示部
３０５ 操作部
３０６ ネットワークＩ／Ｆ部
３１１ 画像情報取得部
３１２ 視線方向算出部
３１３ 注視点情報生成部
３１４ 注視点情報保持部
３１５ 決定部
３１６ 注視指示情報保持部
３１７ 第１画面情報保持部
３１８ 画面情報配信部
３１９ 生成部
３２０ 判定部
３２１ キャリブレーション終了判定部

特開２０００−０１０７２３号公報 特開２００６−８７７５１号公報

Claims (18)

1. 第１の情報処理装置と、前記第１の情報処理装置と通信可能な第２の情報処理装置とを備える情報処理システムであって、
   前記第１の情報処理装置を利用する第１ユーザの視線方向を検出する検出部と、
   前記視線方向に基づいて、前記第１の情報処理装置および前記第２の情報処理装置の各々に共通に表示する第１画面情報のうち前記第１ユーザが注視している位置を示す注視点情報を生成する注視点情報生成部と、
   前記第１ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記第１ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記第２の情報処理装置に表示する制御を行う表示制御部と、を備える、
   情報処理システム。
2. 前記第２画像と前記第３画像との位置関係に基づいて、前記第１ユーザが前記注視指示位置を注視したか否かを判定する判定部をさらに備える、
   請求項１に記載の情報処理システム。
3. 前記判定部は、前記第２画像と前記第３画像とが重なり合う領域を示す重畳領域の面積が閾値以上の場合、前記第１ユーザが前記注視指示位置を注視したと判定する、
   請求項２に記載の情報処理システム。
4. 前記判定部は、予め定められた周期で、前記重畳領域が前記閾値以上であるか否かを判定し、一定期間内において、前記重畳領域が前記閾値以上であると判定した回数が所定数以上の場合は、前記第１ユーザが前記注視指示位置を注視したと判定する、
   請求項３に記載の情報処理システム。
5. 前記第１画面情報は、前記第１ユーザがそれぞれを注視可能な複数の特徴領域を有し、
   前記注視点情報に対応する前記特徴領域と、前記注視指示位置に対応する前記特徴領域とが一致する場合、前記第１ユーザが前記注視指示位置を注視したと判定する判定部をさらに備える、
   請求項１に記載の情報処理システム。
6. 前記判定部は、予め定められた周期で、前記注視点情報に対応する前記特徴領域と、前記注視指示位置に対応する前記特徴領域とが一致するか否かを判定し、一定期間内において、一致すると判定した回数が所定数以上の場合は、前記第１ユーザが前記注視指示位置を注視したと判定する、
   請求項５に記載の情報処理システム。
7. 前記第１画面情報は、前記第１ユーザがそれぞれを注視可能な複数の特徴領域を有し、
   予め定められた規則に従って、何れか１つの前記特徴領域を前記注視指示位置として決定する決定部をさらに備える、
   請求項１乃至６のうちの何れか１項に記載の情報処理システム。
8. 前記決定部は、前記第１ユーザが前記注視指示位置を注視したと判定された場合、前記第１ユーザが注視したと判定された前記注視指示位置に対応する前記特徴領域とは異なる前記特徴領域を、新たな前記注視指示位置として決定する、
   請求項７に記載の情報処理システム。
9. 前記決定部は、前記注視指示位置を決定してから一定期間の間、前記第１ユーザが前記注視指示位置を注視したと判定されなかった場合は、前記第１ユーザが注視したと判定されなかった前記注視指示位置に対応する前記特徴領域とは異なる前記特徴領域を、新たな前記注視指示位置として決定する、
   請求項７または請求項８に記載の情報処理システム。
10. 前記特徴領域は、表構造に含まれる複数の項目のうちの何れか１つの項目に対応する領域である、
    請求項７乃至９のうちの何れか１項に記載の情報処理システム。
11. 前記第１画面情報は、前記第１ユーザがそれぞれを注視可能な複数の特徴領域を有し、
    前記第２の情報処理装置を利用する第２ユーザによる選択指示に従って、何れか１つの前記特徴領域を前記注視指示位置として決定する決定部をさらに備える、
    請求項１乃至６のうちの何れか１項に記載の情報処理システム。
12. 前記決定部は、前記第１画面情報を分割するとともに、それぞれが１以上の前記特徴領域を含む複数の選択範囲のうちの少なくとも１つを、前記第２ユーザによる選択指示を受け付け可能な前記選択範囲として設定する、
    請求項１１に記載の情報処理システム。
13. 外部装置と通信可能な情報処理装置であって、
    前記外部装置および前記情報処理装置の各々に共通に表示する第１画面情報のうち、前記外部装置を利用するユーザが注視している位置を示す注視点情報を取得する注視点情報取得部と、
    前記ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記情報処理装置に表示する制御を行う表示制御部と、を備える、
    情報処理装置。
14. 外部装置と通信可能な情報処理装置であって、
    前記外部装置を利用するユーザの視線方向を検出する検出部を備える前記外部装置から、前記視線方向を少なくとも含む視線情報を取得する視線情報取得部と、
    前記視線情報に基づいて、前記外部装置および前記情報処理装置の各々に共通に表示する第１画面情報のうち前記ユーザが注視している位置を示す注視点情報を生成する注視点情報生成部と、
    前記ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記情報処理装置に表示する制御を行う表示制御部と、を備える、
    情報処理装置。
15. 外部装置と通信可能な情報処理装置による情報処理方法であって、
    前記外部装置および前記情報処理装置の各々に共通に表示する第１画面情報のうち、前記外部装置を利用するユーザが注視している位置を示す注視点情報を取得する注視点情報取得ステップと、
    前記ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記情報処理装置に表示する制御を行う表示制御ステップと、を含む、
    情報処理方法。
16. 外部装置と通信可能な情報処理装置による情報処理方法であって、
    前記外部装置を利用するユーザの視線方向を検出する検出部を備える前記外部装置から、前記視線方向を少なくとも含む視線情報を取得する視線情報取得ステップと、
    前記視線情報に基づいて、前記外部装置および前記情報処理装置の各々に共通に表示する第１画面情報のうち前記ユーザが注視している位置を示す注視点情報を生成する注視点情報生成ステップと、
    前記ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記情報処理装置に表示する制御を行う表示制御ステップと、を含む、
    情報処理方法。
17. 外部装置と通信可能な情報処理装置に搭載されたコンピュータに、
    前記外部装置および前記情報処理装置の各々に共通に表示する第１画面情報のうち、前記外部装置を利用するユーザが注視している位置を示す注視点情報を取得する注視点情報取得ステップと、
    前記ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記情報処理装置に表示する制御を行う表示制御ステップと、を実行させるためのプログラム。
18. 外部装置と通信可能な情報処理装置に搭載されたコンピュータに、
    前記外部装置を利用するユーザの視線方向を検出する検出部を備える前記外部装置から、前記視線方向を少なくとも含む視線情報を取得する視線情報取得ステップと、
    前記視線情報に基づいて、前記外部装置および前記情報処理装置の各々に共通に表示する第１画面情報のうち前記ユーザが注視している位置を示す注視点情報を生成する注視点情報生成ステップと、
    前記ユーザの視線方向と、実際の注視位置との対応関係を決めるためのキャリブレーションを実行する場合において、前記第１画面情報上に、前記注視点情報が示す位置に表示する第２画像と、前記ユーザに注視させる注視指示位置に表示する第３画像と、を含む表示画像を、前記情報処理装置に表示する制御を行う表示制御ステップと、を実行させるためのプログラム。

Images