JP2016140720A - 通信端末、面談システム、表示方法及びプログラム - Google Patents

Abstract

【課題】遠隔面談の場合であっても、通信端末を利用している第２の利用者が他の通信端末を利用している第１の利用者の視線方向を把握することを可能とする。【解決手段】他の通信端末１０と通信する通信端末４０であって、前記他の通信端末１０から、当該他の通信端末１０の利用者の視線方向を示す視線データを受信する受信手段と、前記受信された視線データに基づいて、所定の表示手段における前記利用者の視点の位置を特定する特定手段と、特定された前記表示手段における位置に、前記利用者の視点の位置を示す視点情報を表示する表示制御手段と、を有する。【選択図】図１

Description

本発明は、通信端末、面談システム、表示方法及びプログラムに関するものである。

従来から、遠隔地の相手とインターネットを介して会話を行なうテレビ会議システムが普及している。このテレビ会議システムは、遠隔地の相手の顔を見ながら会話を行なうことができるため、単なる電話会議よりも、実際の会議に近い感覚で会議を行なうことができる（特許文献１参照）。

また、近年、人件費の観点から、会社の複数の事業所の全てに産業医を配置することが困難となっている問題を解決すべく、テレビ会議システムの通信端末を利用して、遠隔面談が行なわれるようになって来た。

一方、直接会って面談する場合には、会話の質疑応答の結果による診断だけでなく、従業員等の第１の利用者の視線方向が、産業医等の第２の利用者によって指示された方向を向いていない場合、第２の利用者は第１の利用者に鬱病等の何らかの異変が起きていることに気付くことができる。

しかしながら、遠隔面談の場合には、通信端末を利用している第２の利用者は、他の通信端末を利用している第１の利用者の視線方向を把握することが困難であるため、直接会った場合の面談に近い質の面談を行なうことが困難であるという課題が生じる。

請求項１に係る発明は、他の通信端末と通信する通信端末であって、前記他の通信端末から、当該他の通信端末の利用者の視線方向を示す視線データを受信する受信手段と、前記受信された視線データに基づいて、所定の表示手段における前記利用者の視点の位置を特定する特定手段と、特定された前記表示手段における位置に、前記利用者の視点の位置を示す視点情報を表示する表示制御手段と、を有することを特徴とする通信端末である。

以上説明したように本発明によれば、直接会った場合の面談に近い質の面談を行なうことができるという効果を奏する。

本発明の実施形態に係る面談システムの概略図である。 視線検出方法を示した概念図である。 従業員側の画面例を示した図である。 産業医側の画面例を示した図である。 通信端末及び視線検出装置のハードウェア構成図である。 面談システムの機能構成図である。 利用者管理テーブルの概念図である。 （ａ）は検査結果管理テーブルの概念図、（ｂ）は病歴管理テーブルの概念図、及び（ｃ）は生活習慣管理テーブルの概念図である。 （ａ）は視点位置管理テーブルの概念図、（ｂ）は表示位置を示す概念図である。 遠隔面談を行なうための処理を示したシーケンス図である。 産業医側の画面にメッセージを表示させる処理を示したフローチャートである。 産業医側の画面に視点マーカを表示させる処理を示したフローチャートである。

以下、図面を用いて、本発明の実施形態について説明する。

＜＜実施形態の概略＞＞
まずは、図１乃至図４を用いて、本実施形態の概略を説明する。なお、図１は、本発明の実施形態に係る面談システムの概略図である。

図１に示されているように、本実施形態の面談システム１は、従業員側の通信端末１０及び視線検出装置３０、並びに産業医側の通信端末４０によって構築されている。通信端末１０及び視線検出装置３０は、従業員が利用する面談室Ｘに設置されている。通信端末１０及び視線検出装置３０は、従業員の少なくとも目の部分の画像を含む画像データを送信するためのケーブルによって接続されている。通信端末４０は、従業員と遠隔面談を行なう産業医が利用する産業医室Ｙに設置されている。

本実施形態では、通信端末１０及び通信端末４０は、一般のＰＣ(Personal Computer)であり、インターネットやＬＡＮ(Local Area Network)等の通信ネットワーク９によって通信可能に接続されている。

なお、通信端末１０、４０は、スマートフォン、又はタブレット端末であってもよい。更に、通信端末１０、４０は、通信端末１０及び視線検出装置３０が一体となった遠隔面談用の専用端末であってもよい。また、通信端末１０は、第１の通信端末の一例であり、通信端末４０から見ると、他の通信端末である。通信端末４０は、第２の通信端末の一例である。

また、従業員は第１の利用者の一例で、産業医は第２の利用者の一例である。例えば、第１の利用者と第２の利用者との組み合わせ例として、従業員（又は経営者）と、産業医（又は、一般の医師、看護師、若しくは薬剤師）とが含まれる。また、先生（又は講師）と、園児（又は児童、生徒、学生若しくはこれらの保護者）との組み合わせが含まれる。更に、部下と上司との組み合わせも含まれる。

図１では、視線検出装置３０が従業員の少なくとも目の部分を撮像して得た画像データを通信端末１０に送信し、通信端末１０が画像データに基づいて従業員の視線方向を示す視線データを作成してから、通信端末４０に視線データを送信することで、通信端末４０が視線データに基づき従業員の視線方向に基づいた視点マーカｖを表示している。ここでは、視点マーカｖの一例として、眼球形状のマーカが表示されている。これにより、産業医は、従業員と遠隔面談する場合であっても、直接会って面談する場合と同じように、従業員が気にしている点や視点が安定しないで鬱病ぎみであるか等を把握することができる。

なお、通信端末１０は、従業員の視線方向に基づいた視点マーカｖを表示していない。従業員が自分の視点マーカｖを意識すると、産業医は正確に鬱病等の判断ができないからである。また、視点マーカｖは、視点情報の一例であり、視点情報の他の例として、マーカではなく、健康診断データとして表示されている文字や枠等の色や太さを変えて表示する場合も含まれる。

次に、視線検出方法の概略について説明する。図２は、視線検出方法を示した概念図である。視線検出方法は、利用者がどこを見ているのか判断するために、目の動きを検出する方法である。利用者の目の動きは、目において、動かない部分（基準点）と動く部分（動点）を検出することから始まる。検出装置が、基準点と動点を検出した後、基準点に対する動点の位置に基づいて、視線を検出する。基準点及び動点の選び方の違いにより、様々な視線検出方法がある。その中でも代表的方法として、以下に、基準点を角膜反射、動点を瞳孔にして位置関係を使う角膜反射法を説明する。

まず、視線検出方法を行なうための一般的な検出装置は、赤外線ＬＥＤ(Light Emitting Diode)照明機器３０１ａで利用者の顔を照らし、赤外線ＬＥＤ照明機器３０１ａを照らしてできた反射光の角膜上の位置（角膜反射）を基準点とする。そして、検出装置は、赤外線カメラ３０２ａで、角膜反射の位置に対する瞳孔の位置に基づいて、利用者の視線を検出する。例えば、図２に示されているように、左目の角膜反射位置よりも瞳孔が目じり寄り上側にあれば、利用者は左上側を見ているものとして検出される。また、角膜反射位置よりも瞳孔が目頭寄り上側にあれば、利用者は右上側を見ているものとして検出される。この検出による視線データは、座標データとして表わされる。

本実施形態では、通信ネットワーク９を介して、上述の視線検出方法を従業員側と産業医側で分散して実行することで、遠隔面談に応用している。これにより、本実施形態では、従業員側の通信端末１０には図３に示されているような画面例が表示され、産業医側の通信端末４０には図４に示されているような画面例が表示される。

なお、視線検出方法の別の例として、LMedSを用いた虹彩検出法、Active Appearance Models法等が挙げられる。角膜反射法、虹彩検出法、及びActive Appearance Models法は、いずれも利用者の画像を示す画像データに基づいて視線が検出される方法である。但し、角膜反射法が、視線データとして座標データを出力するのに対して、虹彩検出法及びActive Appearance Models法が、視線データとして特定のパラメータを出力する点で相違する。具体的には、虹彩検出法は、利用者が撮像された画像から利用者の目の虹彩部分を検出し、検出した虹彩に楕円を当てはめ、この当てはめた楕円の「傾き」、「長軸」及び「短軸」の３つのパラメータに基づいて視線を検出する方法である。Active Appearance Models法は、利用者が様々な方向を向いている状態で撮像されて得られた顔の画像から、顔モデルを作成し、この顔モデルと視線方向を対応付けて得られた特徴量のパラメータを記憶（又は学習）しておくことで、視線を検出する方法である。

図３は、従業員側の画面例を示した図である。図４は、産業医側の画面例を示した図である。図３に示されているように、通信端末１０における後述のディスプレイ２１７上には、健康診断データ画面１０００が表示されている。健康診断データ画面１０００には、利用者の個人情報表示領域１０１０、検査結果表示領域１０２０、病歴表示領域１０３０、及び生活習慣表示領域１０４０が表示されている。個人情報表示領域１０１０には、従業員の氏名等の利用者個人データの内容が表示される。また、検査結果表示領域１０２０、病歴表示領域１０３０、及び生活習慣表示領域１０４０には、従業員の健康診断の検査結果等の健康診断管理データの内容が表示される。即ち、利用者個人データ及び健康診断管理データによって、健康診断データ画面１０００の内容である健康診断データが構成される。なお、本実施形態では、遠隔面談が医療用に用いられているが、これに限るものではない。仕事の会議等に用いられてもよい。よって、本実施形態の健康診断データは、利用者に関連する内容を示す利用者関連データの一例である。

一方、通信端末４０における後述のディスプレイ２１７上には、健康診断データ画面４０００が表示されている。健康診断データ画面４０００には、図３と同様に、利用者の個人情報表示領域４０１０、検査結果表示領域４０２０、病歴表示領域４０３０、及び生活習慣表示領域４０４０が表示されている。各欄４０１０、４０２０、４０３０、及び４０４０は、それぞれ上記各欄１０１０、１０２０、１０３０、及び１０４０と同じ内容を示している。また、健康診断データ画面４０００には、視点マーカｖ、受信状態表示領域４１１０、及び「視点マーカ表示」ボタン４２１０が表示されている。受信状態表示領域４１１０には、通信端末４０が従業員である通信相手からの画像データを受信中である旨を示すメッセージが表示される。ここでは、メッセージの一例として、「相手の画像データ受信中」を示す内容が表示されている。「視点マーカ表示」ボタン４２１０は、産業医が通信端末４０のディスプレイ２１７に、視点マーカｖを表示させたい場合に押下するためのボタンであり、産業医から視点マーカｖの表示を受け付ける。なお、視点マーカｖは、従業員の視線方向の変化に応じて、健康診断データ画面４０００における表示位置が変更される。

＜＜実施形態のハードウェア構成＞＞
続いて、図５を用いて、通信端末１０、４０及び視線検出装置３０のハードウェア構成を説明する。図５は、通信端末及び視線検出装置のハードウェア構成図である。なお、通信端末１０、４０は、同じ構成であるため、通信端末４０の説明を省略し、通信端末１０及び視線検出装置３０について説明する。

図５に示されているように、通信端末１０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ(Hard Disk)２０４、ＨＤＤ(Hard Disk Drive)２０５、メディアＩ／Ｆ２０７、キーボード２０８、及びマウス２０９を備えている。

このうち、ＣＰＵ２０１は、通信端末１０全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。メディアＩ／Ｆ２０７は、フラッシュメモリ等の記録メディア２０６に対するデータの読み出し又は書き込み（記憶）を制御する。キーボード２０８は、文字、数値、各種指示などの入力のための複数のキーを備えた入力装置である。マウス２０９は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うための入力装置である。

また、通信端末１０は、ネットワークＩ／Ｆ２１１、カメラ２１２、撮像素子Ｉ／Ｆ２１３、マイク２１４、スピーカ２１５、音入出力Ｉ／Ｆ２１６、ディスプレイ２１７、ディスプレイＩ／Ｆ２１８、及び外部機器Ｉ／Ｆを備えている。

このうち、ネットワークＩ／Ｆ２１１は、通信ネットワーク９を利用してデータ伝送をするためのインターフェースである。カメラ２１２は、ＣＰＵ２０１の制御に従って被写体を撮像して画像データを出力する。撮像素子Ｉ／Ｆ２１３は、カメラ２１２の駆動を制御する回路である。マイク２１４は、音を入力する内蔵型のマイクである。スピーカ２１５は、音を出力する内蔵型のスピーカである。音入出力Ｉ／Ｆ２１６は、ＣＰＵ２０１の制御に従ってマイク２１４及びスピーカ２１５との間で音信号の入出力を処理する回路である。ディスプレイ２１７は、カーソル、メニュー、ウィンドウ、文字、マーカ又は画像などの各種情報を表示する。ディスプレイＩ／Ｆ２１８は、ＣＰＵ２０１の制御に従ってディスプレイ２１７に映像（静止画、動画）を出力する回路である。外部機器Ｉ／Ｆ２１９は、ＵＳＢ(Universal Serial Bus)ケーブル等を利用してデータを伝送するためのインターフェースである。

更に、通信端末１０は、上記ＣＰＵ２０１等の各構成要素を図５に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

なお、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア２０６等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。また、上記プログラムは、ＨＤ２０４ではなくＲＯＭ２０２に記憶されるようにしてもよい。更に、上記記録媒体の他の例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。

一方、図５に示されているように、視線検出装置３０は、赤外線ＬＥＤ照明機器３０１、赤外線カメラ３０２、操作ボタン３０３、外部機器Ｉ／Ｆ３０９、及びバスライン３１０を備えている。

このうち、赤外線ＬＥＤ照明機器３０１は、赤外光を発光するダイオードを備えた照明機器である。赤外線カメラ３０２は、赤外線に感度をもつカメラである。外部機器Ｉ／Ｆ３０９は、ＵＳＢケーブル等を利用してデータを伝送するためのインターフェースである。バスライン３１０は、上記各構成要素３０１等を図５に示されているように電気的に接続するためのアドレスバス、データバス等である。

＜＜実施形態の機能構成＞＞
続いて、図５及び図６を用いて、本実施形態の機能構成を説明する。図６は、面談システムの機能構成図である。

＜通信端末１０の機能構成＞
図６に示されているように、通信端末１０は、送受信部１１、受付部１２、表示制御部１３、作成部１４、通話部１７、接続部１８、及び記憶・読出部１９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、通信端末１０は、図５に示されているＲＯＭ２０２、ＲＡＭ２０３、及びＨＤ２０４によって構築される記憶部１００を有している。

（通信端末１０の各機能構成）
通信端末１０の送受信部１１は、主に、図５に示されているネットワークＩ／Ｆ２１０及びＣＰＵ２０１の処理によって実現され、通信ネットワーク９を介して、通信端末４０と各種データの送受信を行う。例えば、送受信部１１は、従業員を撮像する赤外線カメラ３０２によって所定間隔で従業員が撮像される度に、従業員の視線方向を示す視線データを送信する。

受付部１２は、主にキーボード２０８、マウス２０９、及びＣＰＵ２０１による処理によって実現され、利用者から各種の選択、指定、又は指示等を受け付ける。

表示制御部１３は、主にディスプレイＩ／Ｆ２１８及びＣＰＵ２０１の処理によって実現され、ディスプレイ２１７に各種画像や文字等を表示させるための制御を行う。

作成部１４は、後述の撮像部３２によって得られた従業員の目の画像を含む画像データに基づいて視線データを作成する。例えば、上述の角膜反射法が用いられた場合、視線データは、座標データとして表わされる。

通話部１７は、主に、カメラ２１２、撮像素子Ｉ／Ｆ２１３、マイク２１４、スピーカ２１５、音入出力Ｉ／Ｆ２１６、ディスプレイ２１７、及びディスプレイＩ／Ｆ２１８、並びにＣＰＵ２０１の処理によって実現され、相手側の通信端末４０と音及び映像の通信を行なう。

接続部１８は、主に外部機器Ｉ／Ｆ２０９、及びＣＰＵ２０１による処理によって実現され、外部機器との接続を検知すると共に、外部機器との通信を行なう。

記憶・読出部１９は、記憶部１００に各種データを記憶したり、記憶部１００から各種データを読み出したりする。

＜視線検出装置３０の機能構成＞
図６に示されているように、視線検出装置３０は、照明部３１、撮像部３２、及び接続部３８を有している。これら各部は、図５に示されている視線検出装置３０の各構成要素のいずれかが動作することで実現される機能又は手段である。

照明部３１は、赤外線ＬＥＤ照明機器３０１の動作によって実現され、赤外線を照射することで利用者の顔を照明する。

撮像部３２は、撮像手段の一例として赤外線カメラ３０２の動作によって実現され、照明部３１によって照射された赤外線の反射光を撮像して、画像データを生成する。

接続部３８は、主に外部機器Ｉ／Ｆ３０９によって実現され、外部機器との接続を検知すると共に、外部機器との通信を行なう。

＜通信端末４０の機能構成＞
図６に示されているように、通信端末４０は、送受信部４１、受付部４２、表示制御部４３、判断部４４、特定部４５、画像処理部４６、通話部４７、及び記憶・読出部４９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。また、通信端末４０は、図５に示されているＲＯＭ２０２、ＲＡＭ２０３、及びＨＤ２０４によって構築される記憶部４００を有している。この記憶部４００には、利用者管理テーブルによって構成されている利用者管理ＤＢ４０１が構築されている。また、記憶部４００には、検査結果管理テーブル、病歴管理テーブル、及び生活習慣管理テーブルによって構成されている健康診断管理ＤＢ４０２が構築されている。更に、記憶部４００には、視点位置管理テーブルによって構成されている視点位置管理ＤＢ４０３が構築されている。

なお、利用者管理テーブルの内容が、利用者個人データの内容を構成する。また、検査結果管理テーブル、病歴管理テーブル、及び生活習慣管理テーブルの内容が、健康診断管理データの内容を構成する。即ち、図３及び図４において、利用者管理テーブル、検査結果管理テーブル、病歴管理テーブル、及び生活習慣管理テーブルの内容が、それぞれ、利用者の個人情報表示領域１０１０（４０１０）、検査結果表示領域１０２０（４０２０）、病歴表示領域１０３０（４０３０）、及び生活習慣表示領域１０４０（４０４０）内のデータを構成する。

（利用者管理テーブル）
図７は、利用者管理テーブルを示す概念図である。この利用者管理テーブルでは、利用者の個人情報が管理されており、利用者を識別するための利用者ＩＤ、利用者の氏名、利用者の性別、及び利用者の年齢が関連付けて記憶されて管理されている。なお、利用者ＩＤは利用者を一意に識別できる利用者識別情報の一例である。利用者識別情報は、例えば、従業員番号、学籍番号、国民総背番号制に基づく国民番号が挙げられる。

（検査結果管理テーブル）
図８（ａ）は、検査結果管理テーブルを示す概念図である。この検査結果管理テーブルでは、利用者ＩＤ毎に、検査項目及び過去の検査日が関連付けられて管理されている。検査項目は、例えば、身長、体重、ＢＭＩ(Body Mass Index)、血圧、尿酸、赤血球、及び中性脂肪である。

（病歴管理テーブル）
図８（ｂ）は、病歴管理テーブルを示す概念図である。この病歴管理テーブルでは、利用者ＩＤ毎に、過去の病歴の各項目に対する利用者の回答が関連付けられて管理されている。過去の病歴の項目は、例えば、高血圧、脳卒中、がん、糖尿病、不整脈、及び気管支喘息である。回答が「○」は、その病気を経験したことを示し、回答が「×」は、その病気を経験していないことを示している。

（生活習慣管理テーブル）
図８（ｃ）は、生活習慣管理テーブルを示す概念図である。この生活習慣管理テーブルでは、利用者ＩＤ毎に、生活習慣の各項目に対する利用者の回答が関連付けられて管理されている。生活習慣の項目は、例えば、運動週間、喫煙状態、飲酒状態、睡眠時間、食事の中で揚げ物が多い、便秘状態、及びストレスを感じる、である。回答が「○」は、利用者がその生活習慣の項目を実践していることを示し、回答が「×」は、利用者がその生活習慣の項目を実践していないことを示している。

（視点位置管理テーブル）
図９（ａ）は、視点位置管理テーブルを示す概念図である。ここでは、角膜反射法が用いられる場合に利用されるテーブルが示されている。この視点位置管理テーブルでは、所定の利用者の目の角膜反射の位置に対する瞳孔の位置を示す所定の座標データと、通信端末１０、４０のディスプレイ２１７における所定の利用者の視点の位置を示す所定の表示位置情報とが関連付けられて管理されている。

また、図９（ｂ）は、表示位置を示す概念図である。図９（ｂ）では、通信端末１０、４０のディスプレイ２１７がともに、横１２８０画素、縦９６０画素の場合を示している。左上が第１の表示領域ｓ１、右上が第２の表示領域ｓ２、左下が第３の表示領域ｓ３、及び右下が第４の表示領域ｓ４である。例えば、座標データが（１，−１）の場合、視点位置は第１の表示領域ｓ１となる。これにより、図４のように、第１の表示領域ｓ１の真ん中に視点マーカｖが表示される。なお、虹彩検出法、又はActive Appearance Models法が用いられる場合には、座標データに替えて、パラメータが表示位置情報と関連付けられて管理される。

（通信端末４０の各機能構成）
次に、図５及び図６を用いて、通信端末４０の各機能構成について詳細に説明する。

通信端末４０の送受信部４１は、主に、図５に示されているネットワークＩ／Ｆ２１０及びＣＰＵ２０１の処理によって実現され、通信ネットワーク９を介して、通信端末１０と各種データの送受信を行う。

受付部４２は、主にキーボード２０８、マウス２０９、及びＣＰＵ２０１による処理によって実現され、利用者から各種の選択、指定、又は指示等を受け付ける。

表示制御部４３は、主にディスプレイＩ／Ｆ２１８及びＣＰＵ２０１の処理によって実現され、ディスプレイ２１７に各種画像や文字等を表示させるための制御を行う。

判断部４４は、主にＣＰＵ２０１の処理によって実現され、通信端末１０から視線データを受信したか等の判断を行なう。

特定部４５は、主にＣＰＵ２０１の処理によって実現され、送受信部４１によって視線データが受信される度に、送受信部４１によって受信された視線データに基づいて、通信端末４０のディスプレイ２１７における従業員の視点の位置の特定等を行なう。

画像処理部４６は、主にＣＰＵ２０１の処理によって実現され、健康診断データ上に視点マーカｖを合成する処理等を行なう。

通話部４７は、主に、カメラ２１２、撮像素子Ｉ／Ｆ２１３、マイク２１４、スピーカ２１５、音入出力Ｉ／Ｆ２１６、ディスプレイ２１７、及びディスプレイＩ／Ｆ２１８、並びにＣＰＵ２０１の処理によって実現され、相手側の通信端末１０と音声及び映像の通信を行なう。

記憶・読出部４９は、記憶部４００に各種データを記憶したり、記憶部４００から各種データを読み出したりする。

＜＜実施形態の処理または動作＞＞
次に、図１０乃至図１２を用いて、本実施形態の処理または動作について説明する。図１０は、遠隔面談を行なうための処理を示したシーケンス図である。図１１は、産業医側の画面にメッセージを表示させる処理を示したフローチャートである。図１２は、産業医側の画面に視点マーカを表示させる処理を示したフローチャートである。

まず、ビデオ（テレビ）会議と同様に、従業員と産業医は、通信端末１０，４０を利用して、遠隔面談を開始する。この時点では、お互いのディスプレイ２１７に相手側の顔や部屋が映し出されている。そして、産業医が画面を切り替え、面談中の従業員の利用者ＩＤを入力すると、受付部４２が、利用者ＩＤの入力を受け付ける（ステップＳ２１）。次に、記憶・読出部４９は、受付部４２によって受け付けられた利用者ＩＤを検索キーとして、記憶部４００の利用者管理テーブル（図７参照）を検索することにより、対応する利用者の氏名、性別、年齢を示す利用者個人データを読み出す（ステップＳ２２）。更に、記憶・読出部４９は、受付部４２によって受け付けられた利用者ＩＤを検索キーとして、記憶部４００の健康診断管理テーブル（図８参照）を検索することにより、対応する利用者の各検査項目、過去の病歴、及び生活習慣に関する健康診断管理データを読み出す（ステップＳ２３）。そして、表示制御部４３は、通信端末４０のディスプレイ２１７上に、図４に示されているように、利用者個人データ及び健康診断管理データによって構成された健康診断データ画面を表示する（ステップＳ２４）。なお、この時点では、視点マーカｖ及び受信状態表示領域４１１０内のメッセージは表示されていない。

次に、送受信部４１は、通信端末１０と画面共有を行なうために、表示領域４０１０，４０２０，４０３０，４０４０と同じ画像である共有画面データを送信する（ステップＳ２５）。これにより、通信端末１０の送受信部１１は、共有画面データを受信する。そして、通信端末１０の表示制御部１３は、通信端末１０のディスプレイ２１７上に、図３に示されているような健康診断データ画面を表示する(ステップＳ２６)。

また、面接室Ｘでは、視線検出装置３０の照明部３１が従業員の顔に赤外線を照射し、撮像部３２が反射光を受光することで、従業員の目を含む画像に係る画像データを得る（ステップＳ２７）。この照射及び受光の動作は、所定間隔（例えば、０．５秒間隔）で行なわれる。そして、視線検出装置３０は、接続部３８から通信端末１０の接続部１８に、画像データを送信する（ステップＳ２８）。

次に、通信端末１０の作成部１４は、送受信部１１によって受信された画像データに基づいて、目の角膜反射の位置に対する瞳孔の位置を示す座標データ（視線データの一例）を作成する（ステップＳ２９）。そして、送受信部１１は、通信ネットワーク９を介して通信端末４０に対して視線データを送信する（ステップＳ３０）。これにより、通信端末４０の送受信部４１は、視線データを受信する。この視線データの送受信の処理は、ステップＳ２８によって、視線検出装置３０から通信端末１０に視線データが送信する度に順次行なわれる。

次に、図１１に示されているように、通信端末４０では、判断部４４が、通信端末１０から視線データを受信したかを判断する（ステップＳ１０１）。このステップＳ１０１において、判断部４４が視線データを受信したと判断した場合には、図４に示されているように、表示制御部４３は、健康診断データ画面４０００の受信状態表示領域４１１０に、受信中メッセージを表示する（ステップＳ１０２）。この受信中メッセージは、例えば、図４に示されているように、「相手の視線データ受信中」と示されている。一方、ステップＳ１０１において、判断部４４が、通信端末１０から視線データを受信していないと判断した場合には、表示制御部４３は、健康診断データ画面４０００の受信状態表示領域４１１０に、視線データを未受信である旨を示す未受信メッセージを表示する（ステップＳ１０３）この未受信メッセージは、例えば、「相手の視線データ未受信」と表わされる。なお、未受信の場合には、メッセージを表示させなくてもよい。

更に、図１２に示されているように、通信端末４０では、判断部４４は、受付部４２が産業医から視点マーカｖを表示させることを受け付けたかを判断する（ステップＳ１２１）。そして、このステップＳ１２１において、判断部４４が、受け付けたと判断した場合には（ＹＥＳ）、特定部４５は、ステップＳ３０によって受信された視線データ（座標データ）を検索キーとして視点位置管理テーブル（図９（ａ）参照）を検索することにより、対応する表示位置情報を読み出すことで、視点マーカｖの表示位置を特定する（ステップＳ１２２）。

次に、画像処理部４６は、健康診断データ上において、上記ステップＳ１２２によって特定された表示位置に視点マーカｖを合成する（ステップＳ１２３）。その後、表示制御部４３は、図４に示されているように、通信端末４０のディスプレイ２１７上に、視点マーカｖが合成された健康診断データ画面４０００を表示する（ステップＳ１２４）。

次に、判断部４４は、新たな視線データを受信したかを判断する（ステップＳ１２５）。そして、このステップＳ１２５において、判断部４４が新たな視線データを受信したと判断した場合には（ＹＥＳ）、上記ステップＳ１２１の処理に戻る。また、ステップＳ１２５において、判断部４４が、新たな視線データを受信していないと判断した場合には（ＮＯ）、判断部４４がステップＳ１２５の再処理を行なう。この再処理は、例えば、１秒おきに行なわれる。

一方、上記ステップＳ１２１において、判断部４４が、視点マーカｖの表示を受け付けていないと判断した場合には（ＮＯ）、更に、判断部４４は、表示制御部４３が既に視点マーカｖを表示中であるか否かを判断する（ステップＳ１２６）。そして、このステップＳ１２６において、判断部４４が、既に表示中であると判断した場合には（ＹＥＳ）、表示制御部４３は、図４に示されている視点マーカｖを非表示にし、ステップＳ１２５の処理に進む（ステップＳ１２７）。また、ステップＳ１２６において、判断部４４が、表示中でないと判断した場合には（ＮＯ）、ステップＳ１２５の処理に進む。図４に示されているように、健康診断データ画面４０００上に視点マーカｖが表示され続けると、産業医にとっては健康診断データ画面４０００が見えづらくなると感じる場合もあるため、視点マーカｖの表示又は非表示の切り替えを可能としている。

なお、上記例では、図６に示されているように、特定部４５が通信端末５０側で実現されているが、これに限らず、通信端末１０側で実現されてもよい。この場合、図１０のステップＳ３０では、視線データではなく、通信端末５０のディスプレイ２１７における従業員の視点の位置を示す位置データが送信される。これにより、通信端末４０の表示制御部４３は、位置データに基づいて通信端末４０のディスプレイ２１７上に視点マーカｖを表示することができる。

＜＜本実施形態の主な効果＞＞
以上説明したように本実施形態によれば、産業医側の通信端末４０のディスプレイ２１７上に、視点マーカｖを表示することにより、産業医が遠隔面談を行なう場合であっても、従業員と直接会って面談する場合と同じように、従業員の視線を考慮した診断を行なうことができる。よって、直接会った場合の面談に近い質の面談を行なうことができるという効果を奏する。

例えば、図４に示されているように、産業医が通話により従業員の氏名を確認しているにも拘わらず、従業員の視点マーカｖが氏名とは異なる領域に表示されると、産業医は、従業員が鬱病ぎみではないか等、何らかの異変に気付くことができるという効果を奏する。

特に、表示制御部４３が、通信端末１０から順次送られて来る視線データに基づいて、視点マーカｖの表示位置が頻繁に変わると、産業医は、従業員の視線が安定していないため、更に異変に気付き易くなるという効果を奏する。

１ 面談システム
１０ 通信端末
１１ 送受信部
１２ 受付部
１３ 表示制御部
１７ 通話部
１８ 接続部
１９ 記憶・読出部
３０ 視線検出装置
３１ 照明部
３２ 撮像部（撮像手段の一例）
３８ 接続部
４０ 通信端末
４１ 送受信部（送信手段の一例、受信手段の一例）
４２ 受付部
４３ 表示制御部（表示制御手段の一例）
４４ 判断部
４５ 特定部（特定手段の一例）
４６ 画像処理部（画像処理手段の一例）
４７ 通話部
４９ 記憶・読出部
１００ 記憶部
２１７ ディスプレイ（表示手段の一例）
３０１ 赤外線ＬＥＤ照明機器
３０２ 赤外線カメラ
３０３ 操作ボタン
３０９ 外部機器Ｉ／Ｆ
４００ 記憶部（記憶手段の一例）
４０１ 利用者管理ＤＢ
４０２ 健康診断管理ＤＢ
４０３ 視点位置管理ＤＢ（視点位置管理手段の一例）

特開２０１２−１７８１３５号公報

Claims (16)

1. 他の通信端末と通信する通信端末であって、
   前記他の通信端末から、当該他の通信端末の利用者の視線方向を示す視線データを受信する受信手段と、
   前記受信された視線データに基づいて、所定の表示手段における前記利用者の視点の位置を特定する特定手段と、
   特定された前記表示手段における位置に、前記利用者の視点の位置を示す視点情報を表示する表示制御手段と、
   を有することを特徴とする通信端末。
2. 前記視線データは、前記利用者の目の角膜反射の位置に対する瞳孔の位置を示す座標データであることを特徴とする請求項２に記載の通信端末。
3. 請求項２に記載の通信端末であって、
   所定の利用者の目の角膜反射の位置に対する瞳孔の位置を示す所定の座標データと、前記表示手段における前記所定の利用者の視点の位置を示す所定の表示位置情報とを関連付けて管理する視点位置管理手段を有し、
   前記特定手段は、前記受信手段によって受信された特定の座標データに対して前記視点位置管理手段で関連付けられている特定の表示位置情報に基づいて、前記表示手段における前記利用者の視点の位置を特定することを特徴とする通信端末。
4. 前記特定手段は、前記受信手段によって前記視線データが受信される度に、前記利用者の視点の位置を特定することを特徴とする請求項１乃至３のいずれか一項に記載の通信端末。
5. 請求項１乃至４のいずれか一項に記載の通信端末であって、
   前記視点情報の表示の有無を受け付ける受付手段を有し、
   前記受付手段によって表示する旨を受け付けた場合には前記表示制御手段は前記視点情報を表示し、前記受付手段によって表示しない旨を受け付けた場合には前記表示制御手段は前記視点情報を表示しないことを特徴とする通信端末。
6. 請求項１乃至５のいずれか一項に記載の通信端末であって、
   前記表示制御手段は、前記視点情報、及び前記利用者に関する情報を示す利用者関連データを前記表示手段に表示することを特徴とする通信端末。
7. 請求項６に記載の通信端末であって、
   前記視点情報と前記利用者関連データとを合成する画像処理手段を有し、
   前記表示制御手段は、前記画像処理手段によって合成された前記視点情報及び前記利用者関連データを前記表示手段に表示することを特徴とする通信端末。
8. 前記利用者関連データを記憶する記憶手段を有することを特徴とする請求項７に記載の通信端末。
9. 請求項６乃至８のいずれか一項に記載の通信端末であって、
   前記視点情報を除いた前記利用者関連データによる画面を前記他の通信端末と共有すべく、前記他の通信端末へ前記画面に係る共有画面データを送信する送信手段を有することを特徴とする通信端末。
10. 前記視点情報は、眼球を示したマーカであることを特徴とする請求項１乃至９のいずれか一項に記載の通信端末。
11. 前記他の通信端末と、
    請求項１乃至１０のいずれか一項に記載の通信端末と、
    を有することを特徴とする面談システム。
12. 前記他の通信端末は、前記利用者を撮像する撮像手段によって所定間隔で前記利用者が撮像される度に、当該他の通信端末の利用者の視線方向を示す視線データを送信することを特徴とする請求項１１に記載の面談システム。
13. 前記他の通信端末は、前記撮像手段によって得られた前記利用者の目の画像を含む画像データに基づいて、前記視線データを作成する作成手段を有し、
    前記他の通信端末は、前記作成手段によって作成された前記視線データを送信することを特徴とする請求項１０又は１１に記載の面談システム。
14. 第１の通信端末と、当該第１の通信端末の利用者との面談に利用する第２の通信端末とを有する面談システムであって、
    前記利用者の目の画像を含む画像データに基づいて、当該利用者の視線方向を示す視線データを作成する作成手段と、
    前記作成された視線データに基づいて、前記第２の通信端末の表示手段における前記利用者の視点の位置を特定する特定手段と、
    特定された前記表示手段における位置に、前記利用者の視点の位置を示す視点情報を表示する表示制御手段と、
    を有することを特徴とする面談システム。
15. 他の通信端末と通信する通信端末が実行する表示方法であって、
    前記通信端末は、
    前記他の通信端末から、当該他の通信端末の利用者の視線方向を示す視線データを受信する受信ステップと、
    前記受信された視線データに基づいて、所定の表示手段における前記利用者の視点の位置を特定する特定ステップと、
    特定された前記表示手段における位置に、前記利用者の視点の位置を示す視点情報を表示する表示制御ステップと、
    を実行することを特徴とする表示方法。
16. コンピュータに、請求項１５に記載の各ステップを実行させることを特徴とするプログラム。

Images