JP2015153073A - プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム - Google Patents

Abstract

【課題】ユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを他人が確認可能なプログラマブル表示器を提供する。【解決手段】ＰＬＣ１００に通信可能に接続されるプログラマブル表示器３００は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう視線推定部３５６と、オブジェクトを含む画面をディスプレイに表示させる表示制御部３５５と、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測する計測部３５８と、オブジェクトを識別する画像識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶部３５０とを備える。【選択図】図６

Description

本発明は、プログラマブル表示器、携帯端末装置、プログラマブル表示器におけるデータ処理方法、およびプログラマブル表示器を制御するためのプログラムに関する。

従来、情報の表示およびユーザによる入力を受け付ける表示装置が知られている。
特許文献１には、上記表示装置として、サーバと通信可能に接続された情報処理装置が開示されている。当該情報処理装置は、画面に表示された画像におけるユーザの視線の位置を示す座標情報と、画像におけるオブジェクトが含まれる画像領域を示す領域情報を含むオブジェクト情報とに基づいて、ユーザの視線が向けられているオブジェクトを判別する。当該情報処理装置は、ユーザの視線が向けられているオブジェクトを判別した場合に、当該判別されたオブジェクトに対応した処理を選択的に行なう。また、当該情報処理装置は、上記判別されたオブジェクトを示す注目オブジェクト情報を生成するとともに、当該生成された注目オブジェクト情報をサーバに送信する。

特許文献２には、上記表示装置として、カメラを備えた車両用操作入力装置が開示されている。当該車両用操作入力装置に含まれている制御回路は、操作パネルを操作する操作者の視線をカメラの撮影画像から検出し、検出された視線が予め定められた操作入力解除視線状態であった場合には、操作パネルを操作入力禁止モードから操作入力許可モードに変更する。

また、従来、上記表示装置として、プログラマブル・ロジック・コントローラ（以下、「ＰＬＣ」とも称する）に通信可能に接続されるプログラマブル表示器が知られている。特許文献３には、上記プログラマブル表示器として、操作者の顔画像を操作者による操作の履歴とともに保存することを目的とした操作表示装置が開示されている。

特開２０１２−１２３５１３号公報 特開２００９−２２７２４６号公報 特開２００８−１１２２２２号公報 特開２０１１−５９１９４号公報 特開２００８−１６５３５３号公報

しかしながら、特許文献１の技術では、表示装置のユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを後から判断できない。この点に関しては、他の特許文献２〜５でも同様である。

本願発明は、上記の問題点に鑑みなされたものであって、その目的は、ユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを他人が確認可能なプログラマブル表示器、携帯端末装置、プログラマブル表示器におけるデータ処理方法、およびプログラマブル表示器を制御するプログラムを提供することにある。

本発明のある局面に従うと、プログラマブル表示器は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、第１のオブジェクトを含む第１の画面をディスプレイに表示させる表示制御手段と、推定によって視線が第１のオブジェクトに向いていると判断された場合、視線が第１のオブジェクトに向いている時間を計測する計測手段と、第１のオブジェクトを識別する第１の画像識別情報と計測された時間を表す第１の時間情報とを関連付けて記憶する記憶手段とを備える。

好ましくは、プログラマブル表示器は、関連付けて記憶された第１の画像識別情報と第１の時間時間とを、サーバ装置に送信する送信手段をさらに備える。

好ましくは、表示制御手段は、視線が第１のオブジェクトに向いている時間が第１の基準時間以上であった場合、第１のオブジェクトに予め対応付けられている画像をディスプレイに表示させる。

好ましくは、予め対応付けられている画像は、ユーザ操作を支援するための画像である。

好ましくは、表示制御手段は、ユーザ操作を支援するための画像をディスプレイに表示させる場合、ユーザ操作を支援するための画像の表示を消去するためのソフトウェアボタンをディスプレイにさらに表示させる。プログラマブル表示器は、視線がユーザ操作を支援するための画像に向いている時間が第２の基準時間以上であったことを条件に、ソフトウェアボタンによる入力操作を受け付ける。

好ましくは、第１の画面は、第２のオブジェクトをさらに含む。計測手段は、推定によって視線が第２のオブジェクトに向いていると判断された場合、視線が第２のオブジェクトに向いている時間を計測する。記憶手段は、第２のオブジェクトを識別する第２の画像識別情報と計測された時間を表す第２の時間情報とを関連付けて記憶する。

好ましくは、表示制御手段は、第１の画面から第２の画面への遷移を指示する入力を受け付けた場合、第２の画面をディスプレイに表示させることが可能である。記憶手段は、第１の画面が表示されている場合、視線が第１のオブジェクトに向いていると推定されると、第１の画面を識別する第１の画面識別情報と第１の画像識別情報と第１の時間情報とを関連付けて記憶する。

好ましくは、第１のオブジェクトはソフトウェアボタンである。
本発明の他の局面に従うと、プログラマブル表示器は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、複数の予め定められた画面のうち、指定された画面をディスプレイに表示させる表示制御手段と、推定によって視線が指定されたた画面に向いていると判断された場合、視線が指定された画面に向いている時間を計測する計測手段と、指定された画面を識別する画面識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える。

本発明のさらに他の局面に従うと、携帯端末装置は、プログラマブル・ロジック・コントローラが制御対象機器から取得したデータを、中継機器を介してプログラマブル・ロジック・コントローラから取得する。携帯端末装置は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測する計測手段と、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える。

好ましくは、中継器は、プログラマブル表示器である。
本発明のさらに他の局面に従うと、携帯端末装置は、プログラマブル・ロジック・コントローラと無線によって通信可能に接続されるとともに、プログラマブル・ロジック・コントローラから取得したデータを表示可能である。携帯端末装置は、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測する計測手段と、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える。

本発明のさらに他の局面に従うと、データ処理方法は、プログラマブル表示器において実行される。データ処理方法は、プログラマブル表示器のプロセッサが、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なうステップと、プロセッサが、オブジェクトを含む画面をディスプレイに表示させるステップと、プロセッサが、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測するステップと、プロセッサが、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けてメモリに記憶させるステップとを備える。

本発明のさらに他の局面に従うと、プログラムは、プログラマブル表示器を制御する。プログラムは、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なうステップと、オブジェクトを含む画面をディスプレイに表示させるステップと、推定によって視線がオブジェクトに向いていると判断された場合、視線がオブジェクトに向いている時間を計測するステップと、オブジェクトを識別する識別情報と計測された時間を表す時間情報とを関連付けてメモリに記憶させるステップとを、プログラマブル表示器のプロセッサに実行させる。

本発明によれば、ユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを他人が確認可能となる。

本実施の形態に係る制御システムのシステム構成を示す模式図である。 操作権限を有する者がログインした後における、プログラマブル表示器の画面を表した図である。 図２の状態（すなわち、ページ画面５３２が表示されている状態）において、制御システム１においてエラーが発生したときの処理を説明するための図である。 プログラマブル表示器のハードウェア構成の一例を説明するための図である。 プログラマブル表示器からサーバ装置に送信されるログデータを説明するための図である。 プログラマブル表示器の機能的構成を説明するための図である。 プログラマブル表示器において実行される処理の一部を表したフローチャートである。 基準時間Ｔ１以上にわたり、ユーザの視線がオブジェクトを向いていない場合の処理例を説明するための図である。 ページ画面単位でユーザが画面を視認していた時間を記録する構成を説明するための図である。 ユーザαよりも操作権限のレベルが低いユーザβがプログラマブル表示器３００を操作しているときの状態を表した図である。 制御システムの第１の変形例を説明するための図である。 制御システムの第２の変形例を説明するための図である。 図２（Ｂ）の状態から遷移した後の状態を表した図である。

本発明の実施の形態にかかるプログラマブル表示器について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜Ａ．システム構成＞
図１は、本実施の形態に係る制御システム１のシステム構成を示す模式図である。図１を参照して、制御システム１は、ＰＬＣ１００と、ＰＬＣ１００と通信可能に接続されたプログラマブル表示器（ＨＭＩ：Human Machine Interface）３００と、ＰＬＣ１００と通信可能に接続されたサーバ装置４００とを含む。サーバ装置４００は、たとえば、イントラネットを構成する機器である。

ＰＬＣ１００は、後述するようなユーザプログラムを周期的またはイベント的に実行する。ユーザプログラムは、ＰＬＣ１００の利用者によって作成される。ユーザは、例えばサポート装置（図示せず）を操作することにより、アクセス命令を含むプログラム（ソースプログラム）を作成することができる。なお、サポート装置は、ソースプログラムを、ＰＬＣ１００において実行可能な形式に変換し、変換されたユーザプログラムをＰＬＣ１００へ送信する。サポート装置は、ＰＬＣ１００との間で各種パラメータの設定、プログラミング、モニタ、デバッグなどの機能を提供する。ＰＬＣ１００とサポート装置との間は、典型的には、ＵＳＢ（Universal Serial Bus）規格に従って通信可能に構成される。

ＰＬＣ１００は、ユーザプログラムを実行し、ユーザプログラムに含まれる命令に従って、サーバ装置４００と通信する。すなわち、ＰＬＣ１００およびサーバ装置４００は、イーサネット（登録商標）などのネットワーク１１２を介して、データを互いに遣り取りできるように構成される。

ＰＬＣ１００は、制御演算を実行するＣＰＵユニット１０４と、１つ以上のＩＯ（Input/Output）ユニット１０６とを含む。これらのユニットは、ＰＬＣシステムバス１０８を介して、データを互いに遣り取りできるように構成される。また、これらのユニットには、電源ユニット１０２によって適切な電圧の電源が供給される。

制御システム１において、ＰＬＣ１００は、（ＰＬＣシステムバス１０８を介して接続される）ＩＯユニット１０６を介して、および／または、フィールドバス１１０を介して、各種のフィールド機器との間でデータを遣り取りする。これらのフィールド機器は、制御対象に対して何らかの処理を行うためのアクチュエータや、制御対象から各種情報を取得するためのセンサなどを含む。図１には、このようなフィールド機器の一例として、検出スイッチ１０、リレー２０およびモータ３２を駆動するサーボモータドライバ３０を含む。また、ＰＬＣ１００は、フィールドバス１１０を介してリモートＩＯターミナル２００も接続されている。リモートＩＯターミナル２００は、基本的には、ＩＯユニット１０６と同様に、一般的な入出力処理に関する処理を行う。より具体的には、リモートＩＯターミナル２００は、フィールドバス１１０でのデータ伝送に係る処理を行うための通信カプラ２０２と、１つ以上のＩＯユニット２０４とを含む。これらのユニットは、リモートＩＯターミナルバス２０８を介して、データを互いに遣り取りできるように構成される。

プログラマブル表示器３００は、接続ケーブル１１４によってＰＬＣ１００と通信可能に接続されている。プログラマブル表示器３００は、ＰＬＣ１００から取得した各種の情報を画面に表示する。

また、プログラマブル表示器３００は、顔認証機能を有する。つまり、ユーザは、プログラマブル表示器３００による顔認証に成功しない限り、プログラマブル表示器３００を利用することはできない。詳しく説明すれば、以下のとおりである。

プログラマブル表示器３００は、アプリケーションへのアクセスを制御する。プログラマブル表示器３００は、ユーザの顔の特徴データを記憶している。プログラマブル表示器３００は、撮像により得られたユーザの画像データと、上記特徴データとに基づき、ユーザの顔認証を行なう。プログラマブル表示器３００は、ユーザが認証された場合、ユーザにアプリケーションへのアクセスを許可する。上記特徴データは、サーバ装置４００に予め格納されており、プログラマブル表示器３００がサーバ装置４００から適宜取得する構成であることが好ましい。あるいは、制御システム１においては、プログラマブル表示器３００が、上記撮像により得られた画像データをサーバ装置４００に送信し、サーバ装置４００が顔認証を行ってもよい。

また、プログラマブル表示器３００は、ヘルプ機能を有する。ヘルプ機能の詳細については後述する。なお、以下において、「ログイン状態」とは、アプリケーションへのアクセスが許可された状態であり、「ログアウト状態」とは、アプリケーションへのアクセスが許可されていない状態である。また、プログラマブル表示器３００では、アプリケーションへのアクセスが許可されると、アプリケーションへのアクセス権が発行され、アプリケーションへのアクセスが許可されなくなると、アプリケーションへのアクセス権が取り消される。

＜Ｂ．処理の概要＞
（ｂ１．第１の処理例）
図２は、プログラマブル表示器３００における第１の処理例を説明するための図である。具体的には、図２は、操作権限を有する者（以下、「ユーザ」とも称する）がログインした後（つまり、ログイン状態）における、プログラマブル表示器３００の画面を表した図である。

図２（Ａ）を参照して、プログラマブル表示器３００は、ページ画面５３２を表示する。プログラマブル表示器３００は、複数のページ画面を予め記憶しており、ユーザの指示等に基づきタッチスクリーン３１８（正確には、タッチスクリーンを構成するディスプレイ）に表示するページ画面を切換える。より詳しくは、プログラマブル表示器３００は、ＰＬＣ１００から取得したデータを含めた状態で、ページ画面を表示する。より具体的に説明すれば、以下のとおりである。

プログラマブル表示器３００は、複数のオブジェクト８３１，８３２，８３４を含んだページ画面５３２をタッチスクリーン３１８に表示する。オブジェクト８３１は、ＰＬＣ１００からリアルタイムに取得したデータを含む。具体的には、オブジェクト８３１内のグラフは、ページ画面５３２の表示中において適宜更新される。

オブジェクト８３２は、メンテナンスメニューを表している。オブジェクト８３２は、複数のオブジェクト８３２１，８３２２，…で構成される。オブジェクト８３２１は、ベルトコンベアの速度を調整する際に利用される。オブジェクト８３２２は、温度を調整するために利用される。オブジェクト８３４は、ログアウト状態に遷移するためのソフトウェアボタンである。

図２（Ｂ）に示すとおり、ユーザが、予め定められた時間Ｔ１（以下、「基準時間Ｔ１」とも称する）にわたり、オブジェクト８３２１を注視したとする（目９００で見続けたとする）。換言すれば、ユーザの視線９０１が、基準時間Ｔ１、オブジェクト８３２１に向いていたとする。この場合、図２（Ｃ）に示すように、プログラマブル表示器３００は、ヘルプ機能を実行することにより、オブジェクト８３２１に予め対応付けられている支援用画像８８１を、ページ画面５３２に重畳した態様で表示する。なお、「支援用画像」とは、プログラマブル表示器３００のユーザの操作を支援するためのコメントを含む画像（ヘルプ表示）である。

より詳しくは、プログラマブル表示器３００は、支援用画像８８１がオブジェクト８３２１に関するものであることがユーザに認識させるべく、オブジェクト８３２１から吹き出した態様の支援用画像８８１をタッチスクリーン３１８に表示する。

オブジェクト８３６は、支援用画像８８１の表示を消去する（非表示とする）ためのソフトウェアボタンである。ユーザが当該オブジェクト８３６をタッチ操作等で選択することにより、支援用画像８８１は非表示となる。

なお、上記では、オブジェクト８３２１を基準時間Ｔ１にわたり注視した場合を例に挙げて説明したが、これに限定されるものではない。プログラマブル表示器３００は、オブジェクト８３２１以外のオブジェクト（たとえば、オブジェクト８３２２）を基準時間Ｔ１にわたり注視した場合にも、当該オブジェクトに対応した支援用画像をページ画面５３２に重畳された状態で表示する。

ユーザが、ページ画面に含まれるオブジェクトを基準時間Ｔ１以上注視している場合には、ユーザが、当該オブジェクトが何のための操作に用いられるものであるかを判断しかねている場合が多い。そこで、プログラマブル表示器３００がオブジェクトに予め対応付けられている支援用画像をタッチスクリーン３１８に表示することにより、ユーザは、オブジェクトが何のための操作に用いられるものかを容易に判断できる。換言すれば、プログラマブル表示器３００は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。

（ｂ２．第２の処理例）
図３は、プログラマブル表示器３００における第２の処理例を説明するための図である。具体的には、図３は、図２の状態（すなわち、ページ画面５３２が表示されている状態）において、制御システム１においてエラーが発生したときの処理を説明するための図である。

図３（Ａ）を参照して、プログラマブル表示器３００は、オブジェクト８５１をページ画面５３２に重畳した状態で表示する。オブジェクト８５１は、警告の一種としてのエラーを表している。

図３（Ｂ）に示すとおり、ユーザが、基準時間Ｔ１にわたり、オブジェクト８５１を注視したとする。換言すれば、ユーザの視線９０１が、基準時間Ｔ１、オブジェクト８５１に向いていたとする。この場合、図３（Ｃ）に示すように、プログラマブル表示器３００は、ヘルプ機能を実行することにより、オブジェクト８５１に予め対応付けられている支援用画像８８２を、ページ画面５３２に重畳した態様で表示する。

上記の場合においても、プログラマブル表示器３００は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。

（ｂ３．ビッグデータ）
第１の処理例および第２の処理例では、プログラマブル表示器３００は、オブジェクト８３２１を基準時間Ｔ１注視しているか否かを判断するために、視線９０１が連続して１つのオブジェクト（たとえば、オブジェクト８３２１，８５１）に向かっている間の時間を計測する必要がある。当該計測された時間の情報は、注視されていたオブジェクトの識別情報と関連付けることにより、制御システム１の管理者にとって、有用な情報として活用できる。

そこで、プログラマブル表示器３００は、オブジェクトを識別する画像識別情報と計測された時間を表す時間情報とを関連付けて一時的に記憶し、当該連付けて記憶された画像識別情報と時間時間とを、サーバ装置４００に送信する。具体的には、プログラマブル表示器３００は、当該連付けて記憶された識別情報と時間時間とをログデータ（図５参照）として、ＰＬＣ１００を介してサーバ装置４００に送信する。サーバ装置４００は、プログラマブル表示器３００から送信されてきた当該情報を受信する。

さらに詳しくは、オブジェクトを識別する画像識別情報（以下、「オブジェクトＩＤ」とも称する）と、計測された時間を表す時間情報と、ページ画面を識別する画面識別情報（以下、「ページＩＤ」とも称する）とを関連付けて一時的に記憶し、当該連付けて記憶された画像識別情報と時間時間と画面識別情報とを、サーバ装置４００に送信する。

以上により、プログラマブル表示器３００のユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを、制御システム１の管理者（たとえば、サーバ装置４００のユーザ）がサーバ装置４００において確認可能となる。また、プログラマブル表示器３００においても、プログラマブル表示器３００のユーザがオブジェクトをどの程度の時間にわたり連続して注視していたのかを、制御システム１の管理者は確認可能となる。

＜Ｃ．ハードウェア構成＞
図４は、プログラマブル表示器３００のハードウェア構成の一例を説明するための図である。図４を参照して、プログラマブル表示器３００は、各種の演算を行なうＣＰＵ（Central Processing Unit）３１１と、ＲＯＭ（Read Only Memory）３１２と、ＲＡＭ（Random Access Memory）３１３と、各種のプログラムを不揮発的に格納するフラッシュＲＯＭ３１４と、時計３１５と、操作キー３１６と、カメラ３１７と、タッチスクリーン３１８と、通信インターフェイス３１９とを備える。なお、これらの部位は、内部バスを介して互いに接続される。

タッチスクリーン３１８は、ディスプレイ３８１と、ディスプレイ３８１を覆うように設置されたタッチパネル３８２とを有する。通信インターフェイス３１９は、Ｅｔｈｅｒｎｅｔ（登録商標）用ＩＦ（InterFace）３９１と、シリアル用ＩＦ３９２と、ＵＳＢ（Universal Serial Bus）用ＩＦ３９３とを有する。

ＣＰＵ３１１は、フラッシュＲＯＭ３１４に格納されているプログラムをＲＡＭ３１３などに展開して実行する。ＲＯＭ３１２は、一般的に、オペレーティングシステム（ＯＳ：Operating System）等のプログラムを格納している。ＲＡＭ３１３は、揮発性メモリであり、ワークメモリとして使用される。

Ｅｔｈｅｒｎｅｔ用ＩＦ３９１は、Ｅｔｈｅｒｎｅｔの通信プロトコルをサポートし、ＰＬＣ１００との間でデータ通信する。シリアル用ＩＦ３９２は、シリアル通信のプロトコルをサポートし、たとえばＰＣ（Personal Computer）との間でデータ通信する。ＵＳＢ用ＩＦ３９３は、ＵＳＢの通信プロトコルをサポートし、たとえばＵＳＢメモリとの間でデータ通信する。

なお、図４に示されるプログラマブル表示器３００を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュＲＯＭ３１４等のメモリに格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、プログラマブル表示器３００の各ハードウェアの動作は周知であるために、詳細な説明は繰り返さない。

＜Ｄ．データ＞
図５は、プログラマブル表示器３００からサーバ装置４００に送信されるログデータＤ５を説明するための図である。図５を参照して、ログデータＤ５は、ユーザを識別するためのユーザＩＤと、日時情報と、操作内容を表した情報と、ページ画面を識別するためのページＩＤと、オブジェクトを識別するためのオブジェクトＩＤと、注視時間を表す情報と、立ち止り時間を表す情報とを互いに対応付けて記憶している。なお、ログデータＤ５は、たとえば、予め定められた時刻にサーバ装置４００に送信される。

ログデータＤ５を、図２および図３と対応づけて説明すると以下のとおりである。一例として、ページ画面５３２（図２参照）のページＩＤを“Ｐ０１１”とする。また、オブジェクト８３２１（図２参照）のオブジェクトＩＤを“Ｇ０２”とする。さらに、オブジェクト８５１（図３参照）のオブジェクトＩＤを“Ｇ０３”とする。また、基準時間Ｔ１を“１０秒”とする。

この場合、ログデータＤ５は、ユーザＩＤが“Ａ００１”の者が、“Ｐ０１１”により特定されるページ画面５３２に含まれる、“Ｇ０２”により特定されるオブジェクト８３２１を、３０秒間にわたり注視していたことを表す情報を含んでいる。また、ログデータＤ５は、ユーザＩＤが“Ａ００１”の者が、“Ｐ０１１”により特定されるページ画面５３２に含まれる、“Ｇ０３”により特定されるオブジェクト８５１を、２０秒間にわたり注視していたことを表す情報を含んでいる。

このように、ログデータＤ５には、少なくとも、ページ画面を識別するページＩＤとオブジェクトを識別するためのオブジェクトＩＤと時間情報とが関連付けて記憶されている。プログラマブル表示器３００は、ログデータＤ５をサーバ装置４００に送信することにより、サーバ装置４００は、ページＩＤとオブジェクトＩＤと時間情報とが対応付けられた情報を得ることができる。

＜Ｅ．機能的構成＞
図６は、プログラマブル表示器３００の機能的構成を説明するための図である。図６を参照して、プログラマブル表示器３００は、記憶部３５０と、撮像部３５１と、表示部３５２と、操作受付部３５３と、通信処理部３５４と、表示制御部３５５と、顔認証部３５６と、管理部３５７と、計測部３５８とを備える。

通信処理部３５４は、受信部３５４１と、送信部３５４２とを含む。顔認証部３５６は、視線推定部３５６１を含む。なお、撮像部３５１は、カメラ３１７（図４）に対応する。表示部３５２は、ディスプレイ３８１に対応する。操作受付部３５３は、タッチパネル３８２に対応する。計測部３５８は、時計３１５に対応する。

記憶部３５０は、複数のページ画面を表示するためのデータと、支援用画像を表示するためのデータとが予め記憶されている。また、記憶部３５０には、ログデータＤ５が記憶される。

以下では、説明の便宜上、プログラマブル表示器３００が、ページ画面Ａ（たとえば、図２等のページ画面５３２）、ページ画面Ｂ、ページ画面Ｃ、…を表示可能であるとする。また、ページ画面Ａは、オブジェクトＡ１、オブジェクトＡ２、およびオブジェクトＡ３を含むものとする。

表示制御部３５５は、表示部３５２に、複数のページ画面Ａ，Ｂ，Ｃ，…のうち指定されたページ画面（たとえば、ページ画面Ａ）を表示させる。表示制御部３５５は、ページ画面の種別によっては、ＰＬＣ１００から取得したフィールドデータがページ画面に含まれるように表示用の画像データを生成する。なお、フィールドデータは、受信部３５４１によって受信され、表示制御部３５５に送られる。また、操作受付部３５３がページ画面の切換え指示を受け付けた場合、表示制御部３５５は、当該指示に基づいたページ画面（たとえば、ページ画面Ｂ）を表示する。

撮像部３５１は、人物等の被写体を撮像する。撮像部３５１は、撮像により得られた画像データを顔認証部３５６に送る。

顔認証部３５６は、顔認証を行なう。また、顔認証部３５６に含まれる視線推定部３５６１は、撮像部３５１から送られてきた画像データに基づき、視線の向きを推定する。

管理部３５７は、視線推定部３５６１から推定結果を受け取る。また、管理部３５７は、表示制御部３５５から、現在表示されているページ画面を特定するための情報（ページＩＤ）と、複数のオブジェクトが配置されている位置を表した位置情報（詳しくは、座標情報）とを受け取る。管理部３５７は、上記推定結果と、上記ページＩＤと、上記位置情報とに基づき、視線がオブジェクトに向いているか否かを判断する。また、管理部３５７は、視線がオブジェクトに向いている場合には、複数のオブジェクトのうちの、何れのオブジェクトに向いているかを判断する。たとえば、表示制御部３５５がページ画面Ａを表示部３５２に表示している場合には、管理部３５７は、複数のオブジェクトＡ１，Ａ２，Ａ３のうちの、何れのオブジェクトに視線が向いているかを判断する。

管理部３５７は、視線推定によって視線がオブジェクトに向いていると判断された場合、視線が当該オブジェクトに向いている時間を計測部３５８に計測させる。また、管理部３５７は、上記判断結果に基づいて、オブジェクトを識別するオブジェクトＩＤと、計測された時間を表す時間情報と、ページ画面を識別するページＩＤとを関連付けて、記憶部３５０のログデータＤ５を更新する。プログラマブル表示器３００は、このような処理を行うことにより、図５に示したログデータＤ５を得る。

通信処理部３５４の送信部３５４２は、ログデータＤ５を、ＰＬＣ１００を介してサーバ装置４００に送信する。

（ｅ．支援用画像の表示および消去）
表示制御部３５５は、視線がオブジェクトに向いている時間が基準時間Ｔ１以上であった場合、当該オブジェクトに予め対応付けられている支援用画像を表示部３５２に表示させる。たとえば、ページ画面Ａが表示部３５２に表示されている場合であって、管理部３５７がオブジェクトＡ１に視線が向いているかを判断したときには、表示制御部３５５は、オブジェクトＡ１に予め対応付けられた支援用画像を、ページ画面Ａに重畳させる態様で表示部３５２に表示させる。

また、表示制御部３５５は、支援用画像を表示部３５２に表示させる場合には、当該支援用画像の表示を消去するための確認ボタンを、表示部３５２にさらに表示させる（図２（Ｃ），図３（Ｃ）参照）。プログラマブル表示器３００は、視線が支援用画像に向いている時間が予め定められた時間Ｔ２（以下、「基準時間Ｔ２」とも称する）以上であったことを条件に、オブジェクト８３６による入力操作を受け付ける。なお、基準時間Ｔ２は、基準時間Ｔ１と同じ長さであってもよい。

このように、プログラマブル表示器３００は、基準時間Ｔ２以上の注視を条件に支援用画像を消去する構成とすることにより、当該条件を必要とせずに支援用画像を消去する構成に比べて、ユーザに対して、支援用画像をより確実に確認させることが可能となる。

なお、基準時間Ｔ２を考慮することなく、支援用画像が表示されたことをトリガにして、オブジェクト８３６の入力を受け付けるようにプログラマブル表示器３００を構成してもよい。

＜Ｆ．制御構造＞
図７は、プログラマブル表示器３００において実行される処理の一部を表したフローチャートである。図７を参照して、ステップＳ２において、プログラマブル表示器３００のＣＰＵ３１１は、表示されているページ画面に含まれるオブジェクトに視線が向いているか否かを判断する。

ＣＰＵ３１１は、視線がオブジェクトに向いていると判断された場合（ステップＳ２においてＹＥＳ）、ステップＳ４において、当該オブジェクトを連続して視認している時間を時計３１５を用いて計測する。ＣＰＵ３１１は、視線がオブジェクトに向いていないと判断した場合（ステップＳ２においてＮＯ）、処理をステップＳ１２に進める。

ステップＳ６において、ＣＰＵ３１１は、連続して視認されたオブジェクトを識別するオブジェクトＩＤと、計測された時間を表した時間情報と、表示されているページ画面を識別するためのページＩＤとを関連付けて記憶する。より詳しくは、ＣＰＵ３１１は、上記オブジェクトＩＤと上記時間情報と上記ページＩＤとを用いて、ログデータＤ５を更新する。

ステップＳ８において、ＣＰＵ３１１は、オブジェクトを視認している時間が基準時間Ｔ１以上であるか否かを判断する。ＣＰＵ３１１は、基準時間Ｔ１以上であると判断した場合（ステップＳ８においてＹＥＳ）、ステップＳ１０において、オブジェクトに対応付けられている支援用画像をページ画面に重畳した態様でディスプレイ３８１に表示させる。ＣＰＵ３１１は、基準時間Ｔ１未満であると判断した場合（ステップＳ８においてＮＯ）、処理をステップＳ１２に進める。

ステップＳ１２において、ＣＰＵ３１１は、現在の時刻が予め定められた時刻となったか否かを判断する。予め定められた時刻の一例としては、ユーザの作業の終了時刻（終業時刻）が挙げられる。

ＣＰＵ３１１は、予め定められた時刻になっていないと判断した場合（ステップＳ１２においてＮＯ）、処理をステップＳ２に進める。ＣＰＵ３１１は、予め定められた時刻になったと判断した場合（ステップＳ１２においてＹＥＳ）、ステップＳ１４において、関連ふけて記憶されたオブジェクトＩＤと時間情報とページＩＤとを含むログデータＤ５を、ＰＬＣ１００を介してサーバ装置４００に送信する。

＜Ｇ．変形例＞
＜ｇ１：第１の変形例＞
上記においては、プログラマブル表示器３００は、たとえば図３に示したように、ユーザの視線９０１が予め定められて時間Ｔ１以上、オブジェクト８５１を向いている場合には、支援用画像８８２を表示する。以下では、基準時間Ｔ１以上にわたり、ユーザの視線がオブジェクトを向いていない場合の処理例について説明する。

図８は、基準時間Ｔ１以上にわたり、ユーザの視線がオブジェクトを向いていない場合の処理例を説明するための図である。図８（Ａ）を参照して、プログラマブル表示器３００は、オブジェクト８５１をページ画面５３２に重畳した状態で表示する。ユーザが、基準時間Ｔ１にわたり、オブジェクト８５１を注視していないとする。換言すれば、ユーザの視線９０１が、基準時間Ｔ１以上、オブジェクト８５１に向いていないとする。

この場合、図８（Ｂ）に示すように、プログラマブル表示器３００は、オブジェクト８５１を目視することを促す支援用画像８８３を、ページ画面５３２に重畳した態様で表示する。プログラマブル表示器３００は、図８（Ｂ）の状態で、ユーザがオブジェクト８５１を基準時間Ｔ１以上注視することにより、図３（Ｃ）に示した状態に画面を遷移させる。

このような構成により、プログラマブル表示器３００は、支援用画像（たとえば、図３（Ｃ）に示した支援用画像８８２）が速やかに表示されるように、ユーザを誘導できる。また、プログラマブル表示器３００は、ユーザに対して、ディスプレイ３８１に視線を向けるように促すことができる。

＜ｇ２．第２の変形例＞
（１）画面全体への適用
上記においては、どのオブジェクトをどの程度の時間にわたり注視していたかをプログラマブル表示器３００が記録する構成について説明した。しかしながら、これに限定されるものではなく、どのページ画面をどの程度の時間にわたり注視していたかを記録するように、プログラマブル表示器３００を構成してもよい。すなわち、プログラマブル表示器３００は、オブジェクト単位ではなく、ページ画面単位で、ユーザが画面を視認していた時間を記録してもよい。

図９は、ページ画面単位でユーザが画面を視認していた時間を記録する構成を説明するための図である。図９（Ａ）を参照して、プログラマブル表示器３００は、オブジェクト８０１，８０２，８０３，８０４を含むページ画面を、タッチスクリーン３１８に表示する。

この状態において、ユーザαが、当該ページ画面を注視したとする。プログラマブル表示器３００は、視線推定の結果、視線が当該ページ画面に向いていると判断した場合、視線が当該ページ画面に向いている時間を計測する。プログラマブル表示器３００は、当該ページ画面を識別するためのページＩＤと、計測された時間を表す時間情報とを関連付けて記憶する。

さらに、図９（Ａ）の状態において、ユーザαが、当該ページ画面を基準時間Ｔ１以上注視したとする。この場合、図９（Ｂ）を参照して、プログラマブル表示器３００は、表示されているページ画面に関する支援用画像８８４を、当該ページ画面に重畳した態様でタッチスクリーン３１８に表示させる。

上記の構成により、ユーザは、表示されているページ画面が何のための操作に用いられるものかを容易に判断できる。換言すれば、プログラマブル表示器３００は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。

また、予め定められた第１のページ画面を表示する場合には、オブジェクト単位で視認時間を記録し、予め定められた第２のページ画面を表示する場合には、ページ画面単位で視認時間を記録するように、プログラマブル表示器３００を構成としてもよい。

（２）ユーザの区分によって異なる表示をする構成への適用
プログラマブル表示器３００の操作権限には、レベルがある。プログラマブル表示器３００においては、たとえば、権限の高い順に、アドミニストレータ、メンテナンス者、およびオペレータが設定できる。

図１０は、ユーザαよりも操作権限のレベルが低いユーザβがプログラマブル表示器３００を操作しているときの状態を表した図である。図１０（Ａ）を参照して、プログラマブル表示器３００は、オブジェクト８０２，８０４を含むページ画面を、タッチスクリーン３１８に表示する。つまり、プログラマブル表示器３００は、ユーザβに設定されている操作権限に基づき、ユーザαが使用していたときには表示したオブジェクト８０１，８０３を非表示とする。

図１０（Ａ）の状態において、ユーザβが、当該ページ画面を基準時間Ｔ１以上注視したとする。この場合、図１０（Ｂ）を参照して、プログラマブル表示器３００は、表示されているページ画面に関する支援用画像８８５を、当該ページ画面に重畳した態様でタッチスクリーン３１８に表示させる。つまり、プログラマブル表示器３００は、ユーザの操作権限に基づき、ユーザαが使用している場合に表示される支援用画像８８４とは異なる支援用画像８８５を表示する。なお、支援用画像８８５は、一例として、操作権限がないために操作できない処理の内容を表している。

このような構成により、プログラマブル表示器３００は、ユーザの操作権限に応じた情報であって、プログラマブル表示器３００を現に操作しているユーザを支援するための情報を表示できる。それゆえ、プログラマブル表示器３００によれば、ユーザの利便性を向上させることができる。

＜ｇ３．第３の変形例＞
図１１は、制御システム１の第１の変形例を説明するための図である。図１１を参照して、制御システム１Ａは、ＰＬＣ１００と、プログラマブル表示器３００と、サーバ装置４００とに加えて、タブレット端末６００を備える。制御システム１Ａは、タブレット端末６００を備える点において、制御システム１とは異なる。

タブレット端末６００は、プログラマブル表示器３００と通信する。制御システム１Ａにおいては、プログラマブル表示器３００の代わりに、あるいはプログラマブル表示器３００とともに、上述した各種の処理（顔認証、視線推定、ログデータＤ５の更新、支援用画像の表示）をタブレット端末６００が実行する。このような構成であっても、制御システム１と同様な効果を得ることができる。

なお、タブレット端末６００が、プログラマブル表示器３００を介することなく、直接、ＰＬＣ１００と通信するように、制御システム１Ａを構築してもよい。

図１２は、制御システム１の第２の変形例を説明するための図である。図１２を参照して、制御システム１Ｂは、ＰＬＣ１００と、サーバ装置４００と、タブレット端末６００と、中継器７００とを備える。制御システム１Ｂは、プログラマブル表示器３００の代わりに中継器７００を備える点、およびタブレット端末６００を備える点において、制御システム１とは異なる。

中継器７００は、ＰＬＣ１００とタブレット端末６００との間の通信を中継する。
タブレット端末６００は、制御システム１Ａの場合と同様に、上述した各種の処理（顔認証、視線推定、ログデータＤ５の更新、支援用画像の表示）を実行する。このような構成であっても、制御システム１と同様な効果を得ることができる。

＜ｇ４．第４の変形例＞
図１３は、支援用画像の表示の仕方の変形例を説明するための図である。具体的には、図１３は、図２（Ｃ）に対応する図である。すなわち、図１３は、図２（Ｂ）の状態から遷移した後の状態を表した図である。

図１３を参照して、プログラマブル表示器３００は、ページ画面が表示されていた領域の一部を、支援用画像８８６を表示するための領域８９９として設定する。プログラマブル表示器３００は、一例として、画面の端部から支援用画像８８６を表示するための領域を徐々に拡大し、拡大後の領域（図１３の領域８９９）に支援用画像８８６を表示する。

このような表示態様であっても、ユーザは、オブジェクトが何のための操作に用いられるものかを容易に判断できる。換言すれば、プログラマブル表示器３００は、ユーザの指による直接的な入力操作を待つことなく、ユーザに対して操作の支援を提供することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，１Ａ，１Ｂ 制御システム、１００ ＰＬＣ、１０２ 電源ユニット、１０４ ＣＰＵユニット、１０６，２０４ ＩＯユニット、１０８ ＰＬＣシステムバス、２００ ターミナル、２０２ 通信カプラ、２０８ ターミナルバス、３００ プログラマブル表示器、３１１ ＣＰＵ、３１５ 時計、３１７ カメラ、３１８ タッチスクリーン、３１９ 通信インターフェイス、３５０ 記憶部、３５１ 撮像部、３５２ 表示部、３５３ 操作受付部、３５４ 通信処理部、３５５ 表示制御部、３５６ 顔認証部、３５７ 管理部、３５８ 計測部、３８１ ディスプレイ、３８２ タッチパネル、４００ サーバ装置、５３２ ページ画面、６００ タブレット端末、７００ 中継器、８０１，８０２，８０３，８０４，８３１，８３２，８３４，８３６，８５１，８３２１，８３２２ オブジェクト、８８１，８８２，８８３，８８４，８８５，８８６ 支援用画像、８９９ 領域、９００ 目、９０１ 視線、３５４１ 受信部、３５４２ 送信部、３５６１ 視線推定部、Ｄ５ ログデータ。

Claims (14)

1. 人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、
   第１のオブジェクトを含む第１の画面をディスプレイに表示させる表示制御手段と、
   前記推定によって前記視線が前記第１のオブジェクトに向いていると判断された場合、前記視線が前記第１のオブジェクトに向いている時間を計測する計測手段と、
   前記第１のオブジェクトを識別する第１の画像識別情報と前記計測された時間を表す第１の時間情報とを関連付けて記憶する記憶手段とを備える、プログラマブル表示器。
2. 前記関連付けて記憶された前記第１の画像識別情報と前記第１の時間時間とを、サーバ装置に送信する送信手段をさらに備える、請求項１に記載のプログラマブル表示器。
3. 前記表示制御手段は、前記視線が前記第１のオブジェクトに向いている時間が第１の基準時間以上であった場合、前記第１のオブジェクトに予め対応付けられている画像を前記ディスプレイに表示させる、請求項１または２に記載のプログラマブル表示器。
4. 前記予め対応付けられている画像は、ユーザ操作を支援するための画像である、請求項３に記載のプログラマブル表示器。
5. 前記表示制御手段は、前記ユーザ操作を支援するための画像を前記ディスプレイに表示させる場合、前記ユーザ操作を支援するための画像の表示を消去するためのソフトウェアボタンを前記ディスプレイにさらに表示させ、
   前記プログラマブル表示器は、前記視線が前記ユーザ操作を支援するための画像に向いている時間が第２の基準時間以上であったことを条件に、前記ソフトウェアボタンによる入力操作を受け付ける、請求項４に記載のプログラマブル表示器。
6. 前記第１の画面は、第２のオブジェクトをさらに含み、
   前記計測手段は、前記推定によって前記視線が前記第２のオブジェクトに向いていると判断された場合、前記視線が前記第２のオブジェクトに向いている時間を計測し、
   前記記憶手段は、前記第２のオブジェクトを識別する第２の画像識別情報と前記計測された時間を表す第２の時間情報とを関連付けて記憶する、請求項１〜５のいずれか１項に記載のプログラマブル表示器。
7. 前記表示制御手段は、前記第１の画面から第２の画面への遷移を指示する入力を受け付けた場合、前記第２の画面を前記ディスプレイに表示させることが可能であって、
   前記記憶手段は、前記第１の画面が表示されている場合、前記視線が前記第１のオブジェクトに向いていると推定されると、前記第１の画面を識別する第１の画面識別情報と前記第１の画像識別情報と前記第１の時間情報とを関連付けて記憶する、請求項１〜６のいずれか１項に記載のプログラマブル表示器。
8. 前記第１のオブジェクトはソフトウェアボタンである、請求項１〜７のいずれか１項に記載のプログラマブル表示器。
9. 人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、
   複数の予め定められた画面のうち、指定された画面をディスプレイに表示させる表示制御手段と、
   前記推定によって前記視線が前記指定されたた画面に向いていると判断された場合、前記視線が前記指定された画面に向いている時間を計測する計測手段と、
   前記指定された画面を識別する画面識別情報と前記計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える、プログラマブル表示器。
10. プログラマブル・ロジック・コントローラが制御対象機器から取得したデータを、中継機器を介して前記プログラマブル・ロジック・コントローラから取得する携帯端末装置であって、
    人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、
    オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、
    前記推定によって前記視線が前記オブジェクトに向いていると判断された場合、前記視線が前記オブジェクトに向いている時間を計測する計測手段と、
    前記オブジェクトを識別する識別情報と前記計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える、携帯端末装置。
11. 前記中継器は、プログラマブル表示器である、請求項１０に記載の携帯端末装置。
12. プログラマブル・ロジック・コントローラと無線によって通信可能に接続されるとともに、前記プログラマブル・ロジック・コントローラから取得したデータを表示可能な携帯端末装置であって、
    人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なう推定手段と、
    オブジェクトを含む画面をディスプレイに表示させる表示制御手段と、
    前記推定によって前記視線が前記オブジェクトに向いていると判断された場合、前記視線が前記オブジェクトに向いている時間を計測する計測手段と、
    前記オブジェクトを識別する識別情報と前記計測された時間を表す時間情報とを関連付けて記憶する記憶手段とを備える、携帯端末装置。
13. プログラマブル表示器におけるデータ処理方法であって、
    前記プログラマブル表示器のプロセッサが、人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なうステップと、
    前記プロセッサが、オブジェクトを含む画面をディスプレイに表示させるステップと、
    前記プロセッサが、前記推定によって前記視線が前記オブジェクトに向いていると判断された場合、前記視線が前記オブジェクトに向いている時間を計測するステップと、
    前記プロセッサが、前記オブジェクトを識別する識別情報と前記計測された時間を表す時間情報とを関連付けてメモリに記憶させるステップとを備える、データ処理方法。
14. プログラマブル表示器を制御するためのプログラムであって、
    人物を撮像することにより得られた画像データを用いて、視線の向きの推定を行なうステップと、
    オブジェクトを含む画面をディスプレイに表示させるステップと、
    前記推定によって前記視線が前記オブジェクトに向いていると判断された場合、前記視線が前記オブジェクトに向いている時間を計測するステップと、
    前記オブジェクトを識別する識別情報と前記計測された時間を表す時間情報とを関連付けてメモリに記憶させるステップとを、前記プログラマブル表示器のプロセッサに実行させる、プログラム。

Images