JP2015026315A - プログラマブル表示器、制御方法、およびプログラム - Google Patents

Abstract

【課題】顔認証によりアプリケーションへのアクセスを許可することが可能なプログラマブル表示器を提供する。【解決手段】プログラマブル表示器１は、アプリケーションへのアクセスを制御する。プログラマブル表示器１は、ユーザの顔の特徴データを記憶している。プログラマブル表示器１は、撮像により得られたユーザの画像データと、特徴データとに基づき、ユーザの顔認証を行なう。プログラマブル表示器１は、、ユーザが認証された場合、ユーザにアプリケーションへのアクセスを許可する。【選択図】図２

Description

本発明は、プログラマブル表示器、プログラマブル表示器における制御方法、およびプログラマブル表示器を制御するためのプログラムに関する。

従来、プログラマブル・ロジック・コントローラ（ＰＬＣ）に通信可能に接続されるプログラマブル表示器が知られている。たとえば、特許文献１には、ＨＭＩ処理部と、顔ログ処理部とを備えるプログラマブル表示器が開示されている。顔ログ処理部は、顔画像データベースと、顔検出部と、共有メモリと、顔ロギング部と、顔ログ制御部と、顔ログファイルとを有する。また、当該プログラマブル表示器は、カメラと通信可能に接続されている。

ＨＭＩ処理部は、プログラマブル表示器に表示された画面上で操作者が所定のスイッチ操作を行なうと、操作者の顔画像をログする処理を実行するように顔ログ処理部に指示を与える。顔ログ処理部は、当該指示を受けて、顔検出部が、カメラによって撮影された操作者の画像から正面を向いた顔画像を検出し、ファイルとして所定の顔画像データベースに格納する。また、顔検出部は、顔画像データベースにおけるファイルのパス名を、スイッチ操作の内容、顔を検出した日時、スイッチ操作が行われた画面の画面番号などの操作履歴に関する情報とともに共有メモリに書き込む。顔ロギング部は、顔ログ制御部の指示によって、共有メモリに書き込まれたデータを顔ログファイルに保存する。

また、従来、顔認証の技術が知られている。たとえば、特許文献２には、顔認証を行なう入退場管理システムが開示されている。当該入退場管理システムは、入退場者の顔画像により当該入退場者があらかじめ登録されている人物か否かを照合する顔照合装置を用いて施設への入退場を管理する。入退場管理システムは、顔照合装置の近傍に入退場者の画像を撮影する監視カメラを設けることにより、監視カメラからの画像を記録部で記録するとともに、顔照合装置の照合結果などの入退場履歴とともに入退場管理サーバへ送信する。

特許文献３には、撮像装置と操作画面制御部と表示部とを有する画像形成装置が開示されている。操作画面制御部は、顔領域検出部と、移動判定部と、顔特徴抽出部と、属性検出部と、表示制御部とを有する。顔領域検出部は、撮像装置によって撮像された画像データの中からユーザの顔領域を検出する。移動判定部は、ユーザが上記画像形成装置に近づいているか否かを判定する。顔特徴抽出部は、移動判定部によってユーザが画像形成装置に近づいていると判定された場合に、顔領域から顔の特徴を抽出する。属性検出部は、顔特徴抽出部によって抽出された顔の特徴に基づき、ユーザの属性を検出する。表示制御部は、属性検出部によって検出されたユーザの属性に応じた操作画面を画像形成装置の表示部に表示させる。

特許文献４には、監視装置を操作する人を監視する監視システムが開示されている。当該監視システムは、操作者監視装置を備える。操作者監視装置は、カメラと、顔画像記憶部と、操作権限特定部とを有する。カメラは、操作する人の顔を撮影して顔画像データを出力する。顔画像記憶部は、操作権限の範囲と合わせて照合用顔画像データが予め登録されている。操作権限特定部は、周期的または操作の度に取り込まれた操作している人の顔画像データを上記照合用顔画像データと照合して操作している人が有する操作権限の範囲を特定し、かつ該操作権限の範囲に従って監視装置の操作可能範囲を変える。

特開２００８−１１２２２２号公報 特開２００４−７８６８７号公報 特開２０１１−５９１９４号公報 特開２００８−１６５３５３号公報

しかしながら、特許文献１のプログラマブル表示器では、顔認証の結果を履歴として残すことができるが、顔認証を用いてアプリケーションへのアクセスを許可することはできない。特許文献２〜４においても、顔認証を用いてアプリケーションへのアクセスすることは開示も示唆もされていない。

本願発明は、上記の問題点に鑑みなされたものであって、その目的は、顔認証によりアプリケーションへのアクセスを許可することが可能なプログラマブル表示器、当該プログラマブル表示器における制御方法、および当該プログラマブル表示器を制御するためのプログラムを提供することにある。

本発明のある局面に従うと、プログラマブル表示器は、アプリケーションへのアクセスを制御する。プログラマブル表示器は、ユーザの顔の特徴データを記憶した記憶手段と、撮像により得られたユーザの第１の画像データと、特徴データとに基づき、ユーザの第１の顔認証を行なう認証手段と、ユーザが認証された場合、ユーザにアプリケーションへのアクセスを許可するアクセス制御手段とを備える。

好ましくは、認証手段は、さらにアプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、特徴データとに基づいたユーザの第２の顔認証を、予め指定されたタイミングで行なう。プログラマブル表示器は、第１の顔認証によって認証されたユーザと第２の顔認証によって認証されたユーザが異なるユーザである場合、アプリケーションの処理の実行を制限する制限手段をさらに備える。

好ましくは、認証手段は、さらにアプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、特徴データとに基づいたユーザの第２の顔認証を、予め指定されたタイミングで行なう。プログラマブル表示器は、第２の顔認証によってユーザが認証されなかった場合、アプリケーションの処理の実行を制限する制限手段をさらに備える。

好ましくは、プログラマブル表示器は、ディスプレイと、ディスプレイに画面を表示させる表示制御手段とをさらに備える。アクセス制御手段は、処理の実行が制限される場合、アクセスが許可されている状態で表示されている画面に重畳した状態で予め定められたオブジェクト画像をディスプレイに表示させるように表示制御手段を制御する。

好ましくは、プログラマブル表示器は、ディスプレイと、ディスプレイに画面を表示させる表示制御手段とをさらに備える。表示制御手段は、処理の実行が制限される場合、アクセスが許可されている状態で表示されている画面の代わりにアクセスが許可されていない状態の画面をディスプレイに表示させる。

好ましくは、プログラマブル表示器は、第１の画像データに含まれる顔の領域が予め定められたサイズよりも大きいか否かを判定する第１の判定手段とをさらに備える。アクセス制御手段は、顔の領域が予め定められたサイズよりも大きいと判定されたことを条件に、アプリケーションへのアクセスを許可する。

好ましくは、プログラマブル表示器は、撮像された顔の画像データに基づいて当該顔の特徴を表した特徴データを生成し、生成された特徴データを記憶手段に記憶させる生成手段をさらに備える。

好ましくは、記憶手段には、複数の特徴データと、ユーザを特定するための予め定められた文字列とが記憶されている。複数の特徴データのうちの第１の特徴データに、アプリケーションに対する第１の操作権限を表す第１の識別情報が対応付けられている。複数の特徴データのうちの第２の特徴データに、第１の操作権限よりも権限が広い第２の操作権限を表す第２の識別情報が対応付けられている。プログラマブル表示器は、顔認証により認証されたユーザが第２の操作権限を有する者である場合に、文字列の入力を受け付ける受付手段と、受け付けた文字列と予め定められた文字列とが一致するかを判定する第２の判定手段とをさらに備える。アクセス制御手段は、第２の判定手段によって一致すると判定されたことを条件に、アプリケーションへのアクセスを許可する。

好ましくは、ユーザの第１の画像データは、時間的に連続する予め定められた数のフレームデータから構成される。認証手段は、複数のフレームデータの各々について顔認証を行なう。アクセス制御手段は、複数のフレームデータうちの予め定められた数以上のフレームデータにおいて同一のユーザが認証されたことを条件に、アプリケーションへのアクセスを許可する。

本発明の他の局面に従うと、制御方法は、プログラマブル表示器上で動作するアプリケーションへのアクセスを制御する。制御方法は、予めユーザの顔の特徴を表す特徴データを保存するステップと、撮像により得られたユーザの第１の画像データを受け取るステップと、第１の画像データと特徴データに基づいてユーザの第１の顔認証を行なうステップと、顔認証によりユーザが認証された場合に、アプリケーションへのアクセスをユーザに許可するステップと、を備える。

好ましくは、制御方法は、アプリケーションへのアクセスをユーザに許可している時に撮像によりユーザの第２の画像データを受け取るステップと、特徴データと第２の画像データとに基づいてユーザの第２の顔認証を行なうステップと、第１の顔認証によって認証されるユーザと第２の顔認証によって認証されるユーザが異なるユーザである場合、アプリケーションの処理の実行を制限するステップとをさらに備える。

好ましくは、制御方法は、さらにアプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、特徴データとに基づいたユーザの第２の顔認証を、予め指定されたタイミングで行なう。制御方法は、第１の顔認証によって認証されたユーザと第２の顔認証によって認証されたユーザが異なるユーザである場合、アプリケーションの処理の実行を制限するステップをさらに備える。

好ましくは、制御方法は、さらにアプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、特徴データとに基づいたユーザの第２の顔認証を、予め指定されたタイミングで行なう。制御方法は、第２の顔認証によってユーザが認証されなかった場合、アプリケーションの処理の実行を制限するステップをさらに備える。

好ましくは、制御方法は、処理の実行が制限される場合、アクセスが許可されている状態で表示されている画面に重畳した状態で予め定められたオブジェクト画像をディスプレイに表示させるステップをさらに備える。

好ましくは、制御方法は、処理の実行が制限される場合、アクセスが許可されている状態で表示されている画面の代わりにアクセスが許可されていない状態の画面をディスプレイに表示させるステップをさらに備える。

好ましくは、制御方法は、第１の画像データに含まれる顔の領域が予め定められたサイズよりも大きいか否かを判定するステップと、顔の領域が予め定められたサイズよりも大きいと判定されたことを条件に、アプリケーションへのアクセスを許可するステップとをさらに備える。

好ましくは、制御方法は、撮像された顔の画像データに基づいて当該顔の特徴を表した特徴データを生成し、生成された特徴データを記憶手段に記憶させるステップをさらに備える。

好ましくは、制御方法は、複数の特徴データと、ユーザを特定するための予め定められた文字列とを記憶されるステップをさらに備える。複数の特徴データのうちの第１の特徴データに、アプリケーションに対する第１の操作権限を表す第１の識別情報が対応付けられている。複数の特徴データのうちの第２の特徴データに、第１の操作権限よりも権限が広い第２の操作権限を表す第２の識別情報が対応付けられている。制御方法は、顔認証により認証されたユーザが第２の操作権限を有する者である場合に、文字列の入力を受け付けるステップと、受け付けた文字列と予め定められた文字列とが一致するかを判定するステップと、文字列同士が一致すると判定されたことを条件に、アプリケーションへのアクセスの許可と取消とを切り換えるステップとをさらに備える。

好ましくは、ユーザの第１の画像データは、時間的に連続する予め定められた数のフレームデータから構成される。第１の顔認証を行なうステップでは、複数のフレームデータの各々について顔認証を行なう。アクセスを許可するステップでは、複数のフレームデータうちの予め定められた数以上のフレームデータにおいて同一のユーザが認証されたことを条件に、アプリケーションへのアクセス権の発行と取消とを行なう。

本発明のさらに他の局面に従うと、プログラムは、プログラマブル表示器上で動作するアプリケーションへのアクセスを制御する。プログラムは、撮像により得られたユーザの画像データと、ユーザの顔の特徴を表した特徴データとに基づき、顔認証を行なうステップと、ユーザが認証された場合、前記ユーザに前記アプリケーションへのアクセスを許可するステップとを、プログラマブル表示器のプロセッサに実行させる。

本発明によれば、顔認証によりアプリケーションへのアクセスを許可することが可能となる。

表示器の正面図である。 表示器における認証処理を説明するための図である。 顔認証によってユーザが認証された後の操作画面の例を説明するための図である。 表示器における処理の履歴を説明するための図である。 表示器のハードウェア構成の一例を説明するための図である。 表示器の機能的構成を表した機能ブロック図である。 顔認証に関するシステム設定を行なうための画面を説明するための図である。 登録画像ＤＢに格納されているデータを説明するための図である。 図８における顔画像データを説明するための図である。 認証されたユーザに応じた画面の例であって、図３の例とは異なる画面を表した図である。 図１０の各ユーザ画面を表示させる際に参照されるデータＤ３を表した図である。 管理部により管理される履歴データＤ５を表した図である。 未登録者ＤＢに格納されるデータＤ７を表した図である。 制限部によって処理が制限された場合に表示される画面を表した図である。 表示器における処理の流れを説明するためのフローチャートである。 図８に示したデータＤ１の代わりに登録画像ＤＢに格納されているデータを説明するための図である。 ユーザの視線方向を検知する構成を説明するための図である。 カメラを用いた撮像により得られた被写体の画像データに複数のユーザが含まれている状態を表した図である。

本発明の実施の形態にかかるプログラマブル表示器（以下、単に「表示器」と称する）ついて、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

＜Ａ．外観＞
図１は、本実施の形態にかかる表示器１の正面図である。表示器１は、ＰＬＣ（プログラマブル・ロジック・コントローラ）に接続されて使用され、ＰＬＣのヒューマン・マシン・インタフェース（ＨＭＩ）として機能する。図１を参照して、表示器１は、操作キー１６と、カメラ１７と、タッチスクリーン１８とを備えている。タッチスクリーン１８は、ディスプレイとタッチパネルとを含んで構成されている。

＜Ｂ．処理の概要＞
表示器１は、ユーザの顔画像による認証によって、表示器１に予め格納されているアプリケーションへのアクセスを制御する。具体的には、表示器１は、ユーザが認証された場合、当該アプリケーションへのアクセスを許可する。以下では、アプリケーションへのアクセスを許可する処理（つまり「ログイン処理」）を例に挙げて説明する。さらに、以下では、表示器１が実行する他の主たる処理の概要について、「編集処理」と、「履歴記録処理」とについても説明する。

なお、以下において、「ログイン状態」とは、アプリケーションへのアクセスが許可された状態であり、「ログアウト状態」とは、アプリケーションへのアクセスが許可されていない状態である。また、表示器１では、アプリケーションへのアクセスが許可されると、アプリケーションへのアクセス権が発行され、アプリケーションへのアクセスが許可されなくなると、アプリケーションへのアクセス権が取り消される。

（ｂ１．ログイン処理）
図２は、表示器１における認証処理を説明するための図である。図２を参照して、人が表示器１の前方（タッチスクリーン１８側）に立つと、カメラ１７による撮像により得られた被写体（人および背景）の画像データと、表示器１に予め記憶されているユーザの顔の特徴データとに基づき、顔認証が開始される。なお、顔認証は、従来知られている技術であるため、ここでは詳細については繰り返さない。

表示器１は、顔認証によってユーザが認証された場合、アプリケーションへのアクセスを許可する。すなわち、本実施の形態では、表示器１は、認証対象となったユーザのログインを許可する。具体的には、表示器１は、表示器１に予め記憶されたデータへのアクセスを許可する状態に遷移させる。さらに換言すれば、表示器１は、顔認証によってユーザが認証された場合（認証に成功した場合）、表示器１の状態をログアウト状態からログイン状態に切り換える。また、表示器１は、ログイン状態に切り換わったことに基づき、予め定められたユーザ画面をタッチスクリーン１８のディスプレイに表示する。以上のように、表示器１によれば、顔認証によりログインすることが可能となる。なお、ユーザ画面は、ユーザが操作および／または確認を行なうための画面である。ユーザ画面は、操作ボタンを含む操作画面と、操作ボタンを含まない画面とを含む。

（ｂ２．編集処理）
図３は、顔認証によってユーザが認証された後のユーザ画面の例を説明するための図である。図３（Ａ）は、顔認証によって認証されたユーザが一般のオペレータ（以下、単に「オペレータ」）よりもアプリケーションに対する操作権限の高いアドミニストレータであると判定された場合に、表示器１に表示される画面を説明するための図である。図３（Ｂ）は、顔認証によって認証されたユーザがオペレータであると判定された場合に、表示器１に表示される画面を説明するための図である。

図３を参照して、表示器１は、顔認証によってアプリケーションへのアクセスが許可されたことに基づき、複数の画面のうちの認証されたユーザに応じた画面をディスプレイに表示させる。たとえば、表示器１は、男性αがアドミニストレータである場合には、複数の選択可能なオブジェクト８０１，８０２，８０３，８０４をディスプレイに表示する。また、表示器１は、女性βがオペレータである場合には、アドミニストレータでしか操作が許可されていない処理に対応するオブジェクト８０２，８０３を非表示（あるいは、選択不可能な表示）とする。以上のように、表示器１は、認証されたユーザに応じたユーザ画面を表示することができる。

（ｂ３．履歴記録処理）
図４は、表示器１における処理の履歴を説明するための図である。図４を参照して、表示器１は、予め定められたコマンドに基づく処理がなされると、時刻と、コマンドと、表示器１に対して処理を開始させたユーザ（顔認証によって認証されたユーザ）の氏名とを関連付けて、履歴として記憶する。なお、履歴には、ログインおよびログアウトに関する履歴と、ログイン状態におけるユーザの操作履歴とが含まれる。

たとえば、表示器１は、ある局面において、少なくとも、顔認証により認証されたユーザの識別情報（氏名）と、アプリケーションへのアクセスが許可されたこと（つまり、ログイン状態となったこと、ログインしたこと）を表す履歴（“Log in”）とを互いに対応付けて記憶する。また、表示器１は、ある局面において、ログイン状態において、ユーザ画面に含まれる操作ボタンの画像を指定するための操作がなされた場合、顔認証によって認証されたユーザの識別情報と当該指定された操作ボタンに対応する操作の履歴（たとえば“Push Start”，“Show Graph”）とを対応付けて記憶する。

表示器１のユーザ（たとえば、アドミニストレータまたは後述するメンテナンス者）は、記憶された履歴をディスプレイに表示させる指示を表示器１に入力することにより、図４に示したように履歴を確認することが可能となる。つまり、当該ユーザは、顔認証によってログインしたユーザを事後的に認証可能となる。

以下、上記の処理を実現するための具体的な表示器１の構成、および上記の処理以外の処理の詳細について説明する。

＜Ｃ．ハードウェア構成＞
図５は、表示器１のハードウェア構成の一例を説明するための図である。図５を参照して、表示器１は、各種の演算を行なうＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、各種のプログラムを不揮発的に格納するフラッシュＲＯＭ１４と、時計１５と、操作キー１６と、カメラ１７と、タッチスクリーン１８と、通信インターフェイス１９とを備える。なお、これらの部位は、内部バスを介して互いに接続される。

タッチスクリーン１８は、ディスプレイ８１と、ディスプレイ８１を覆うように設置されたタッチパネル８２とを有する。通信インターフェイス１９は、Ｅｔｈｅｒｎｅｔ（登録商標）用ＩＦ（InterFace）９１と、シリアル用ＩＦ９２と、ＵＳＢ（Universal Serial Bus）用ＩＦ９３とを有する。

ＣＰＵ１１は、フラッシュＲＯＭ１４に格納されているプログラムをＲＡＭ１３などに展開して実行する。ＲＯＭ１２は、一般的に、オペレーティングシステム（ＯＳ：Operating System）等のプログラムを格納している。ＲＡＭ１３は、揮発性メモリであり、ワークメモリとして使用される。

Ｅｔｈｅｒｎｅｔ用ＩＦ９１は、Ｅｔｈｅｒｎｅｔの通信プロトコルをサポートし、ＰＬＣとの間でデータ通信する。シリアル用ＩＦ９２は、シリアル通信のプロトコルをサポートし、たとえばＰＣ（Personal Computer）との間でデータ通信する。ＵＳＢ用ＩＦ９３は、ＵＳＢの通信プロトコルをサポートし、たとえばＵＳＢメモリとの間でデータ通信する。

なお、図５に示される表示器１を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、フラッシュＲＯＭ１４等のメモリに格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、表示器１の各ハードウェアの動作は周知であるために、詳細な説明は繰り返さない。

＜Ｄ．処理の詳細＞
図６は、表示器１の機能的構成を表した機能ブロック図である。図６を参照して、表示器１は、撮像部１０１と、サイズ判定部１０２と、生成部１０３と、顔認証部１０４と、アクセス制御部１０５と、管理部１０６と、入力部１０７と、受付部１０８と、表示制御部１０９と、表示部１１０と、文字列判定部１１１と、通信処理部１１２と、制限部１１３と、視線特定部１１４と、記憶部１１５とを備えている。

なお、撮像部１０１は、図５等に示したカメラ１７に対応する。入力部１０７は、タッチパネル８２に対応する。表示部１１０は、ディスプレイ８１に対応する。記憶部１１５は、フラッシュＲＯＭ１４およびＲＯＭ１２に対応する。

記憶部１１５は、登録画像ＤＢ（Data Base）３５１と、視線ＤＢ３５２と、未登録者ＤＢ３５３と、履歴ＤＢ３５４と、ＩＤ（Identification）およびパスワードＤＢ３５５と、画面データＤＢ３５６とを有している。

登録画像ＤＢ３５１には、ユーザの識別情報と、ユーザの顔の顔画像データと、ユーザの顔の特徴データと、アプリケーションに対する操作権限を表す識別情報（たとえば、アドミニストレータ、オペレータ等）とが互いに対応付けた状態で、複数人分登録されている。具体的には、特徴データの各々に対して操作権限を表す識別情報が対応づけて記憶されている。なお、特徴データは、予め定められたアプリケーションプログラムを実行することによって、顔画像データから生成される。また、顔画像の登録は、一例として、カメラ１７を用いた撮像に基づき行なわれる。

未登録者ＤＢ３５３には、顔認証によりユーザを認証できなかった場合において、当該認証できなかった者の顔の画像データが記録される。履歴ＤＢ３５４には、ユーザによる各種の履歴（ログイン履歴、ログアウト履歴、各種の操作履歴）が記録される。画面データＤＢ３５６には、表示器１のディスプレイ８１に各種の画面（ユーザ画面、後述するシステム設定画面）を表示させるための画面データが記録されている。

視線ＤＢ３５２には、表示器１のユーザの視線の方向を表す情報が記録されている。当該視線ＤＢ３５２を利用する構成については、後述する（図１６）。ＩＤおよびパスワードＤＢ３５５は、表示器１のユーザのＩＤおよびパスワードが、ユーザ毎に記録されている。ＩＤおよびパスワードＤＢ３５５を利用する構成についても、後述する。

撮像部１０１は、被写体の撮像し、当該撮像により得られた画像データ（顔画像データを含む被写体の画像データ）をサイズ判定部１０２に送る。撮像部１０１は、典型的には、ログアウト状態およびログイン状態のいずれにおいても、予め指定されたタイミングで撮像処理を行なう。画像データには、撮像した日時が対応付けられる。さらに詳しくは、認証においてユーザを認証するために複数回の撮像により得られた顔画像データを特徴データと比較するため、撮像部１０１は、連続撮影を行なう。以下では、説明の便宜上、当該連続撮影により得られた画像データを、「フレームデータ」と称する。

サイズ判定部１０２は、画像データに含まれる顔の領域が予め定められたサイズよりも大きいか否かを判定する。詳しくは、サイズ判定部１０２は、撮像部１０１による撮像に基づき、被写体における顔の領域が予め定められたサイズ（後述する最小値）よりも大きいか否かを判定する。また、サイズ判定部１０２は、判定結果を生成部１０３および顔認証部１０４に送る。

生成部１０３は、顔画像データの登録を行なう動作モードにおいて、顔画像データに基づき特徴データを生成する。生成部１０３は、顔画像データと特徴データとを関連付けて、登録画像ＤＢに記録する。生成部１０３は、典型的には、被写体における顔の領域が予め定められたサイズ（後述する最小値）よりも大きいと判定された場合に、顔画像データと特徴データとを関連付けて、登録画像ＤＢに記録する。

顔認証部１０４は、ログアウト状態（アプリケーションへのアクセスが許可されていない状態）においては、人物の顔が表示器１の撮像部１０１に近づくと、顔認証を自動的に行なう。また、顔認証部１０４は、ログイン状態においても、ユーザによる操作を受け付けた場合には、顔認証を行なう。

具体的には、顔認証部１０４は、撮像により得られたユーザの画像データ（「第１の画像データ」とも称する）と、特徴データとに基づき、ユーザの認証（以下、「第１の顔認証」とも称する）を行なう。詳しくは、顔認証部１０４は、被写体に含まれる顔を表した顔画像データと、登録画像ＤＢに記録された特徴データとに基づき、顔認証を行なう。より詳しくは、顔認証部１０４は、複数のフレームデータの各々について顔認証を行ない、ユーザを認証する。

顔認証部１０４は、認証結果をアクセス制御部１０５に送る。また、顔認証部１０４は、ユーザを認証できなかった場合、認証ができなかった顔の画像データ（以下、「未登録画像データ」とも称する）を管理部１０６に送る。

また、顔認証部１０４は、ログイン状態における撮像（アプリケーションへのアクセスが許可されている場合における撮像）により得られたユーザの顔の画像データ（「第２の画像データ」とも称する）と、特徴データとに基づいたユーザの認証（以下、「第２の顔認証」とも称する）を、予め指定されたタイミングで行なう。当該認証の結果は、制限部１１３に送られる。

さらに詳しくは、顔認証部１０４は、目に着目して顔認証を行なう。表示器１が使用される現場では、目以外の部分が衣類で覆われている可能性が高いからである。

アクセス制御部１０５は、ユーザが認証された場合、当該ユーザにアプリケーションへのアクセスを許可する。詳しくは、アクセス制御部１０５は、顔の領域が予め定められたサイズよりも大きいと判定されたことを条件に、アプリケーションへのアクセスを許可する。

具体的には、アクセス制御部１０５は、ログアウト状態において顔認証によってユーザが認証された場合、表示器１の状態をログアウト状態からログインの状態に切り換える。詳しくは、アクセス制御部１０５は、アプリケーションへのアクセスを許可する際、複数の画面のうちの認証されたユーザの特徴データに基づいて画面（図３参照）をディスプレイ８１（つまり表示部１１０）に表示させるように、表示制御部１０９を制御する。

また、アクセス制御部１０５は、サイズのもっとも大きかったユーザを表す情報を顔認証部１０４から受け付けた場合、当該ユーザに応じた画面をディスプレイ８１に表示させる。アクセス制御部１０５は、表示器１の状態をログアウト状態からログインの状態に切り換えた場合には、管理部１０６に対してログイン状態となったことを表す情報を送る。

詳しくは、アクセス制御部１０５は、複数のフレームデータうちの予め定められた数以上のフレームデータにおいて同一のユーザが認証されたことを条件に、アプリケーションへのアクセスを許可する（つまり、ログアウト状態からログイン状態に切り換える）。

入力部１０７は、オブジェクトの指定、文字列の入力といった、各種のユーザ操作を受け付ける。たとえば、入力部１０７は、ユーザ画面においてタッチ操作を受け付ける。この場合、入力部１０７は、タッチ入力による座標値を受付部１０８に送る。

受付部１０８は、入力部１０７から座標値を受け付ける。受付部１０８は、受け付けた座標値と、表示部１１０に表示されている画面情報とに基づき、入力された指示（ユーザ操作）および文字列等を判断する。受付部１０８は、当該ユーザ操作を表す情報を、管理部１０６に送る。また、受付部１０８は、文字列として、ＩＤおよびパスワードとを受け付けた時は、当該ＩＤおよびパスワードを文字列判定部１１１に送る。

表示制御部１０９は、ディスプレイ８１（つまり表示部１１０）に画面を表示させる。たとえば、表示制御部１０９は、上記操作権限を表す識別情報に応じて異なる前記画面を前記ディスプレイに表示させる（図３参照）。詳しくは、表示制御部１０９は、各部からの指示に応じて表示部１１０に各種の画面等を表示する。

具体的には、表示制御部１０９は、たとえば、ユーザ画面（図２，３等）、システム設定を行なうための画面（図７）、履歴画面（図４）を表示部１１０に表示させる。また、表示制御部１０９は、これらの画面に予め定められたオブジェクト画像を重畳して表示させる。また、表示制御部１０９は、ＰＬＣから送信される各種の情報（たとえば数値、文字列）を表示部１１０に表示させる。

管理部１０６は、記認証されたユーザの識別情報とアクセスが許可された状態となったことを表す履歴とを互いに対応付けて、記憶部１１５に記憶させる。具体的には、管理部１０６は、認証されたユーザの識別情報とログインしたことを表す履歴（“Log in”）とを互いに対応付けて、記憶部１１５の履歴ＤＢ３５４に記憶させる。また、管理部１０６は、アプリケーションへのアクセスが許可されている状態（ログイン状態）において、ユーザ画面に含まれる操作ボタンの画像を指定するための操作がなされた場合、認証されたユーザの識別情報と当該操作ボタンに対応する操作の履歴（たとえば、“Push Start”，“Show Graph”）とを対応付けて、履歴ＤＢ３５４に記憶させる。履歴ＤＢ３５４に各種の履歴を記憶させる場合、当該履歴に対応する処理または操作を行なった日時を表した日時情報が対応付けられる。

さらに、管理部１０６は、顔認証部１０４から未登録画像データを受け受けた場合、未登録者ＤＢ３５３に当該未登録画像データを記憶させる。この場合、未登録画像データには、撮像の日時を表した日時情報が対応付けられる。

より詳しくは、管理部１０６は、履歴を記録する設定がアドミニストレータによりなされたことを条件に、上記の各履歴を履歴ＤＢ３５４に記憶させる。管理部１０６は、顔認証により認証できたユーザの画像データを、ログアウト状態およびログイン状態のいずれにおいても、記憶部１１５に記憶させてもいし、あるいは記憶させなくてもよい。何れの態様を採るかは、アドミニストレータの選択に従う。

通信処理部１１２は、ＰＬＣと通信をするためのデータ処理を行なう。制限部１１３と、文字列判定部１１１と、視線特定部１１４とについては、後述する。

以下では、編集処理および履歴記録処理について、さらに詳しく説明する。また、表示器１における処理として、初期設定処理と、入れ替わり検知とについても説明する。なお、編集処理とは、アクセス制御部１０５による制御により表示制御部１０９が、認証されたユーザに応じたユーザ画面を表示させる処理である（図３参照）。また、履歴記録処理は、管理部１０６によって、未登録画像データおよび履歴を記憶部１１５に記憶させる処理である。

また、以下では、説明の便宜上、表示器１のユーザとして、アプリケーションに対する操作権限（使用権限）の範囲が異なる３者（「アドミニストレータ」、「メンテナンス者」、「オペレータ」）が規定されているものとして説明する。なお、アドミニストレータ、メンテナンス者、オペレータの順に、上記操作権限の範囲が狭くなる。

（ｄ１．初期設定処理）
図７は、顔認証に関するシステム設定を行なうための画面を説明するための図である。図７（Ａ）は、一般設定画面５１１を表した図である。図７（Ｂ）は、顔認証設定画面５１２を表した図である。図７（Ｃ）は、詳細設定画面５１３を表した図である。これらのシステム設定を行なう画面の表示は、表示制御部１０９と表示部１１０とにより実現される。

表示器１は、システム設定をアドミニストレータのみに許可する。つまり、図７（Ａ）〜（Ｃ）の画面は、アドミニストレータとして表示器１に登録されているもののみが表示させることができる。

図７を参照して、図７（Ａ）〜（Ｃ）の各画面は、画面の上部の３つタブのうちの１つを選択することにより表示させることができる。図７（Ａ）に示す一般設定画面５１１では、履歴を記録するか否かの設定、顔認証時の顔画像データの記録を行なうか否かの設定、人物の入れ替わり検知に関する設定、および未登録者検出に関する設定を行なうことができる。

図７（Ｂ）に示す顔認証設定画面５１２では、顔認証でユーザを認証する必要があるユーザのユーザ登録、および当該ユーザ登録の削除を行なうことができる。また、顔認証設定画面５１２では、同一人物について複数の顔画像データを登録することができる。なお、複数の顔画像データを登録した場合には、複数の特徴データが生成される。また、「Ｒｏｌｅ」の欄には、アドミニストレータ、メンテナンス者、およびオペレータのいずれかが設定される。

図７（Ｃ）に示す詳細設定画面５１３では、顔認証を行なってログインを認める際の、被写体（人物および背景）における顔のサイズの最小値および最大値を設定することができる。また、詳細設定画面５１３では、顔認証によって本人と判断してもよい一致度合い（本人らしさ）の下限値（閾値）を設定することができる。たとえば、当該閾値の一例として、９８％が挙げられる。

図８は、登録画像ＤＢ３５１に格納されているデータを説明するための図である。図８を参照して、データＤ１では、氏名と、役割と、データの更新日と、顔画像データおよび特徴データとが互いに対応付けて記録されている。一例として、「Yamashita Takeshi」という氏名に対して、「administrator」の役割と、「2012/08/16」の更新日と、３つの顔画像データ（「1023KD」，「7544KD」，「9118KD」）と、３つの特徴データ（「1023TD」，「7544TD」，「9118TD」）とが対応付けられている。なお、各特徴データは、同じ欄に記載の顔画像データから生成されたデータである。たとえば、特徴データ“1023TD”は、顔画像データ“1023KD”から生成される。

顔画像データおよび特徴データは、予め定められた数（たとえば、各々１０個）まで登録することができる。表示器１の顔認証部１０４は、複数の特徴データのうち少なくとも１つの特徴データとの一致度合いが設定された下限値（閾値）よりも大きいときに、認証に成功（ユーザを認証）したと判定する構成としてもよい。あるいは、顔認証部１０４は、上記複数の特徴データの全ての特徴データとの一致度合いが設定された下限値よりも大きいときに、認証に成功（ユーザを認証）したと判定する構成としてもよい。

図９は、図８における顔画像データを説明するための図である。詳しくは、図９（Ａ）は、「Yamashita Takeshi」の１つ目の顔画像データ“1023KD”に基づく画像である。図９（Ｂ）は、「Yamashita Takeshi」の２つ目の顔画像データ“7544KD”に基づく画像である。図９（Ｃ）は、「Yamashita Takeshi」の３つ目の顔画像データ“9118KD”に基づく画像である。このように、複数の異なる状態の顔画像データを登録しておき、これらの顔画像データを用いた顔認証を行なうことにより、表示器１における認証の精度を向上させることができる。

（ｄ２．編集処理）
上述したように、表示器１は、顔認証により認証されたユーザに応じた画面を表示する。図１０は、認証されたユーザに応じた画面の例であって、図３の例とは異なる画面を表した図である。

図１０（Ａ）は、アドミニストレータ用のユーザ画面５３１を表した図である。つまり、図１０（Ａ）は、顔認証により認証されたユーザがアドミニストレータとして事前に登録されていた場合に表示させるユーザ画面である。図１０（Ｂ）は、メンテナンス者用のユーザ画面５３２を表した図である。つまり、図１０（Ｂ）は、顔認証により認証されたユーザがメンテナンス者として事前に登録されていた場合に表示させるユーザ画面である。図１０（Ｃ）は、オペレータ用のユーザ画面５３３を表した図である。つまり、図１０（Ｃ）は、顔認証により認証されたユーザがオペレータとして事前に登録されていた場合に表示させるユーザ画面である。

図１０（Ａ）を参照して、ユーザ画面５３１は、ステータス８３１と、メンテナンスメニュー８３２と、アドミニメニュー８３３と、ログアウト用のオブジェクト８３４とを含んでいる。

図１０（Ｂ）を参照して、ユーザ画面５３２は、ステータス８３１と、メンテナンスメニュー８３２と、オブジェクト８３４とを含む。ユーザ画面５３２は、ユーザ画面５３１とは異なり、アドミニメニュー８３３を含まない。

図１０（Ｃ）を参照して、ユーザ画面５３３は、ステータス８３１と、オブジェクト８３４とを含む。ユーザ画面５３３は、ユーザ画面５３１とは異なり、アドミニメニュー８３３と、メンテナンスメニュー８３２とを含まない。

以上のように、表示器１は、顔認証の結果に基づいて、操作権限に応じたユーザ画面を表示する。

図１１は、図１０の各ユーザ画面５３１，５３２，５３３を表示させる際に参照されるデータＤ３を表した図である。図１１を参照して、データＤ３は、オブジェクト名と、座標情報と、役割毎にオブジェクト画像を表示させるか否かを表した情報とが対応付けられている。たとえば、３つのオブジェクト画像である、スタートボタン、ストップボタン、およびポーズボタンについては、アドミニストレータとメンテナンス者とに対して表示させる記述がなされている。システムメニューのオブジェクト画像については、アドミニストレータに対して表示させる記述がなされている。ログアウトのオブジェクト画像については、全てのユーザに対して表示させる記述がなされている。

また、座標情報は、オブジェクト画像をディスプレイ８１に表示させる際に、利用する情報である。座標情報により、オブジェクト画像の左上部の座標と、オブジェクト画像の幅と高さとが規定される。

（ｄ３．履歴記録処理）
図１２は、管理部１０６により管理される履歴データＤ５を表した図である。つまり、図１２は、履歴ＤＢ３５４に格納される履歴データＤ５を表している。図１２を参照して、履歴データＤ５には、日時と、コマンドと、氏名とが対応付けて記録される。表示器１は、履歴データＤ５を表示させる指示をユーザ（たとえば、アドミニストレータ）から受け付けた場合、図４に示した画面を表示する。

図１３は、未登録者ＤＢ３５３に格納されるデータＤ７を表した図である。図１３を参照して、データＤ７においては、顔認証によりユーザを認証できなかった人物の画像（未登録者画像）と、撮像を行なった日時とが対応付けられている。

たとえばオペレータが、未登録者を確認する入力を表示器１に行なった場合には、表示器１は、データＤ７を参照して、未登録者の画像をディスプレイ８１に表示させる。

（ｄ４．入れ替わり検知）
次に、入れ替わり検知について説明する。入れ替わり検知とは、ある人物が顔認証されて表示器１がログイン状態となっている場合において、表示器１が当該人物とは異なる人物を再度の顔認証により検知することをいう。

顔認証部１０４は、上述したように、ログイン状態においても、ログインの状態における撮像により得られた顔の画像データと、特徴データとに基づいた顔認証を、予め指定されたタイミングで行なう。

制限部１１３は、上記第１の顔認証によって認証されたユーザと上記第２の顔認証によって認証されたユーザが異なるユーザである場合、アプリケーションの処理の実行を制限する。また、制限部１１３は、第２の顔認証によってユーザが認証されなかった場合、アプリケーションの処理の実行を制限する。具体的には、制限部１１３は、ログイン状態における顔認証による認証結果がログアウト状態における顔認証により認証されたユーザを表すものではなくなった場合、またはログイン状態における顔認証によってユーザが認証されなかった場合には、ログイン状態において認められている予め定められた処理の実行を制限する。

たとえば、アドミニストレータのユーザ画面５３１が表示されている状態（図１０（Ａ））において、当該アドミニストレータ以外の人物が表示器１の前に立って、撮像および認証がなされたとする。この場合、制限部１１３は、少なくとも、ログイン状態において認められている処理の実行を制限する。好ましくは、制限部１１３は、ログイン状態で示されていたオブジェクト画像の選択を受け付けないようにする。

図１４は、制限部１１３によって処理が制限された場合に表示される画面を表した図である。図１４（Ａ）は、警告表示を伴った画面を表した図である。図１４（Ｂ）は、ログイン状態からログアウト状態に遷移させた後の画面を表した図である。図１４（Ａ）に示した画面を表示するか、あるいは図１４（Ｂ）に示した画面を表示するかは、表示器１において予め設定されている。当該設定をアドミニストレータが変更することも可能である。

図１４（Ａ）を参照して、アクセス制御部１０５は、アプリケーションの処理の実行が制限される場合、アクセスが許可されている状態（ログイン状態）で表示されている画面に重畳した状態で予め定められたオブジェクト画像をディスプレイ８１（表示部１１０）に表示させるように表示制御部１０９を制御する。これにより、表示制御部１０９は、図１１に示したユーザ画面５３１に対して警告表示を表したオブジェクト画像を重畳した画面５５１を表示部１１０に表示させる。

図１４（Ｂ）を参照して、アクセス制御部１０５は、表示器１の状態をログイン状態からログアウト状態に切り換える。これに伴い、表示制御部１０９は、アプリケーションの処理の実行が制限される場合、前記アクセスが許可されている状態で表示されている画面の代わりに当該アクセスが許可されていない状態の画面をディスプレイ８１に表示させる。具体的には、表示制御部１０９は、ログアウト状態の画面を表示部１１０に表示させる。この場合には、表示器１は、ログアウト状態での撮像および顔認証処理を実行する。

なお、上記においては、制限部１１３によって処理が制限された場合、ユーザ画面を他の画面に遷移させる構成を例に挙げて説明したが、これに限定されるものではない。たとえば、表示器１は、画面を遷移させずに、処理のみを制限してもよい。このような態様とするための設定は、アドミニストレータによって指定される。

また、ログイン状態における顔認証による認証結果がログアウト状態における顔認証により認証されたユーザを表すものではなくなった場合には、以下のような処理を実行する構成としてもよい。すなわち、ログイン状態において認証されたユーザの操作権限に応じたユーザ画面を表示するように、表示器１を構成してもよい。たとえば、アドミニストレータ用のユーザ画面５３１（図１０（Ａ））の状態において、オペレータが顔認証により認証された場合、オペレータ用のユーザ画面５３３（図１０（Ｃ））を表示するように、表示器１を構成してもよい。また、異なるアドミニストレータが顔認証により認証された場合には、アドミニストレータの操作権限を制限せずに、ユーザ画面５３１の状態を維持してもよい。

＜Ｅ．制御構造＞
図１５は、表示器１における処理の流れを説明するためのフローチャートである。具体的には、図１５は、アプリケーションへのアクセスが許可されていない状態（ログアウト状態）から、許可された状態（ログイン状態）を経て、許可されていない状態（ログアウト状態）へと遷移する局面を表した図である。

図１５を参照して、ステップＳ２において、表示器１は、起動した後に、撮像を開始する。ステップＳ４において、表示器１は、撮像により得られた被写体の画像データに基づいて、顔を検出したか否かを判断する。表示器１は、検出したと判断した場合（ステップＳ４においてＹＥＳ）、ステップＳ６において顔認証を行なう。表示器１は、検出していないと判断した場合（ステップＳ４においてＮＯ）、処理をステップＳ４に進める。

ステップＳ８において、表示器１は、顔認証によりユーザを認証できたか否かを判断する。表示器１は、ユーザを認証できたと判断した場合（ステップＳ８においてＹＥＳ）、ステップＳ１０において、表示器１の状態をログアウト状態からログイン状態に切り換える。つまり、表示器１は、アプリケーションに対するアクセスを許可する。表示器１は、ユーザを認証できなかったと判断した場合（ステップＳ８においてＮＯ）、ステップＳ３６において、画像データを未登録者ＤＢ３５３に記憶する。

ステップＳ１２において、表示器１は、認証されたユーザに応じたユーザ画面を表示する。ステップＳ１４において、表示器１は、ログインしたことを示す履歴を履歴ＤＢ３５４に時刻および認証により認証されたユーザの氏名に関連付けて記録する。つまり、表示器１は、アプリケーションへのアクセスが許可されたことを示す履歴を、時刻および認証により認証されたユーザの氏名に関連付けて記録する。ステップＳ１６において、表示器１は、ユーザ画面において操作を受け付けたか否かを判断する。典型的には、表示器１は、オブジェクト画像が選択されたか否かを判断する。

表示器１は、操作を受け付けたと判断した場合（ステップＳ１６においてＹＥＳ）、ステップＳ１８において、当該操作の履歴を操作がなされた時刻および認証により認証されたユーザの氏名と対応付けて履歴ＤＢ３５４に記憶する。表示器１は、操作を受け付けていないと判断した場合（ステップＳ１６においてＮＯ）、処理をステップＳ２０に進める。

ステップＳ２０において、表示器１は、撮像により得られた被写体の画像データに基づいて、顔を検出したか否かを判断する。表示器１は、検出したと判断した場合（ステップＳ２０においてＹＥＳ）、ステップＳ２２において顔認証を行なう。表示器１は、検出していないと判断した場合（ステップＳ２０においてＮＯ）、処理をステップＳ２０に進める。

ステップＳ２４において、表示器１は、顔認証によりユーザを認証できたか否かを判断する。表示器１は、ユーザを認証できたと判断した場合（ステップＳ２４においてＹＥＳ）、ステップＳ２６において、認証されたユーザが、ログインする前のログアウト状態において認証したユーザと同一人物であるか否かを判断する。表示器１は、ユーザを認証できなかったと判断した場合（ステップＳ２４においてＮＯ）、ステップＳ３８において、画像データを未登録者ＤＢ３５３に記憶する。表示器１は、ステップＳ４０において、一例として、警告表示を行なう（図１４（Ａ））。

表示器１は、同一人物であると判断された場合（ステップＳ２６においてＹＥＳ）、ステップＳ２８において、表示器１は、ユーザ画面において操作を受け付けたか否かを判断する。表示器１は、同一人物でないと判断された場合（ステップＳ２６においてＮＯ）、処理をステップＳ４０に進める。

表示器１は、操作を受け付けたと判断した場合（ステップＳ２８においてＹＥＳ）、ステップＳ３０において、当該操作の履歴を操作がなされた時刻および認証により認証されたユーザの氏名と対応付けて履歴ＤＢ３５４に記憶する。表示器１は、操作を受け付けていないと判断した場合（ステップＳ２８においてＮＯ）、処理をステップＳ３２に進める。

ステップＳ３２において、表示器１は、ログアウトの操作を受け付けたか否かを判断する。表示器１は、ログアウトの操作を受け付けていないと判断した場合（ステップＳ３２においてＮＯ）、処理をステップＳ２０に進める。表示器１は、ログアウトの操作を受け付けたと判断した場合（ステップＳ３２においてＹＥＳ）、ステップＳ３４において、当該操作の履歴を操作がなされた時刻および認証により認証されたユーザの氏名と対応付けて履歴ＤＢ３５４に記憶する。これにより、表示器１は、再び、ログアウトの状態に戻り、一連の処理を終了する。

＜Ｆ．変形例＞
（ｆ１．編集処理の変形例）
上記においては、表示器１が顔認証により認証されたユーザに応じた画面を表示する構成を説明した。具体的には、表示器１が認証されたユーザの操作権限（アドミニストレータの操作権限、メンテナンス者の操作権限、オペレータの操作権限）に基づいた画面を表示する構成を説明した。以下では、このような操作権限と、認証されたユーザに関する各種の情報とに基づき画面を表示する構成について説明する。

図１６は、図８に示したデータＤ１の代わりに登録画像ＤＢ３５１に格納されているデータを説明するための図である。図１６を参照して、データＤ９では、氏名と、役割と、データの更新日と、顔画像データおよび特徴データと、表示態様を規定するデータ（年齢データ、性別データ、国籍データ、利き手データ）とが互いに対応付けて記録されている。データＤ９は、表示態様を規定するデータを有する点において、図８に示したデータＤ１とは異なる。

表示器１は、操作権限と、表示態様を規定するデータとに基づいた画面を行なう。たとえば、顔認証によって、ユーザが「Yamashita Takeshi」であると認証された場合、アドミニストレータの画面を表示する際に、当該画面に含まれる言語を日本語とする。また、表示器１は、文字のサイズ、画面の輝度、および画面のコントラスト等を、年齢に応じた値に調整する。さらに、表示器１は、左利き用のオブジェクト画像（メニュー、操作ボタン）の配置および右利きの人用のオブジェクト画像の配置のうち、右利き用の配置で画面表示を行なう。

また、顔認証によって、ユーザが「Oliver Williams」であると認証された場合、メンテナンス者の画面を表示する際に、当該画面に含まれる言語を英語とする。また、表示器１は、文字のサイズ、画面の輝度、および画面のコントラスト等を、年齢に応じた値に調整する。さらに、表示器１は、右利き用の配置で画面表示を行なう。また、表示器１は、メンテナンス者用の複数の画面のうち、女性用に予め用意されたメンテナンス者の画面を表示する。

以上のように、表示器１では、複数の特徴データの各々には、画面の表示態様を規定する情報が対応付けられている。表示器１の表示制御部１０９は、認証されたユーザの特徴データに対応付けられた情報により規定される表示態様で、認証されたユーザに応じた画面を表示部１１０に表示させる。したがって、表示器１は、顔認証により認証されたユーザにカスタマイズされた画面を表示することができる。

また、上記のように、上記表示態様は言語および文字サイズの少なくともいずれかを含んでいる。したがって、表示器１は、認証されたユーザに適切であると考えられる言語表示および文字サイズにしたがった画面表示を行なうことができる。

さらに、画面の表示態様を規定する情報は、年齢、性別、および国籍の少なくとも１つを含んでいる。表示器１は、これらの情報を利用することにより、顔認証により認証されたユーザに適した画面を表示することができる。

（ｆ２．視線に関する処理）
図１７は、ユーザの視線方向を検知する構成を説明するための図である。図１７を参照して、表示器１は、ログイン状態において、予め定められたイベントが発生したことにもとづき、当該イベントに対応した予め定められたオブジェクト８９１を表示する。

表示器１の視線特定部１１４（図６参照）は、アプリケーションへのアクセスが許可されている場合（ログインの状態）における撮像により得られたユーザの画像データに顔の画像データが含まれている場合、当該顔の視線の方向を特定する。この場合、管理部１０６は、上記予め定められたイベントが発生したときの視線の方向を、当該イベントと関連付けて記憶部１１５の視線ＤＢ３５２に記憶させる。なお、視線の方向の特定は、撮像された画像データにおける顔の大きさ（目の大きさ）と、当該顔における虹彩（あるいは瞳孔）の位置とを考慮することにより特定できる。

したがって、ログインしたアドミニストレータ等が、視線ＤＢ３５２のデータを確認することにより、予め定められたイベントが発生したときにオペレータ等のイベント発生時に現場で作業していた物が表示器１の画面を見ていたか否かを判断することが可能となる。

（ｆ３．複数人の顔認証処理）
上記においては、一度の撮像により一人の人物が写っている場合を例に挙げて説明した。以下では、一度の撮像により複数の人物が写っている場合における処理について説明する。

図１８は、カメラ１７を用いた撮像により得られた被写体の画像データに複数のユーザが含まれている状態を表した図である。図１８を参照して、画像の一番手前に、人物９１０が写っている。また、人物９１０の後ろに、人物９２０、人物９３０がこの順に写っている。このため、顔の領域のサイズは、人物９１０、人物９２０、人物９３０の順に小さくなる。

サイズ判定部１０２は、一度の撮像により複数の人物が写った画像データが撮像部１０１から送られてきた場合、各人物の顔の領域が予め定められたサイズよりも大きいか否かを判定する。図１８の場合には、サイズ判定部１０２は、人物９１０、人物９２０、人物９３０の顔の領域が予め定められたサイズよりも大きいか否かを判定する。

顔認証部１０４は、一度の撮像により複数の人物が写った画像データと上記判定結果とをサイズ判定部１０２から受信した場合、当該複数の人物について顔認証を行なう。この場合、顔認証部１０４は、少なくとも、認証されたユーザのうち、サイズのもっとも大きかったユーザの識別情報をアクセス制御部１０５に送る。たとえば、図１８の場合、顔認証部１０４は、人物９１０の識別情報（典型的には、氏名）をアクセス制御部１０５に送る。

管理部１０６は、撮像により得られた画像データに複数のユーザが含まれている場合には、当該複数のユーザのうち、顔の領域が予め定められたサイズ（下限値）よりも大きいと判定されたユーザの識別情報とアプリケーションへのアクセスを許可したこと（つまりログインしたこと）を表す履歴とを互いに対応付けて、記憶部１１５の履歴ＤＢ３５４に記憶させる。たとえば、図１８の場合、管理部１０６は、人物９１０の識別情報とログインしたことを表す履歴とを対応付けて、履歴ＤＢ３５４に記憶させる。

また、管理部１０６は、上記複数のユーザのうち、顔の領域が予め定められたサイズよりも大きいと判定されたユーザ以外のユーザの識別情報を、記憶部１１５に記憶させる。たとえば、図１８の場合、管理部１０６は、人物９２０のユーザ情報と人物９３０のユーザ情報とを記憶部１１５に記憶させる。

したがって、表示器１の状態がログアウト状態からログイン状態に切り換わったときにログインした人物（図１８の場合、人物９１０）の周りにどのような人物がいたのかを、表示器１のユーザ（たとえばアドミニストレータ）は、識別情報により特定できる。図１８の例では、アドミニストレータは、人物９２０の氏名と、人物９３０の氏名とを特定できる。

さらに、管理部１０６は、顔の領域が予め定められたサイズよりも大きいと判定されたユーザ以外のユーザのうち、ユーザが認証されなかった人の画像データを、記憶部１１５にさらに記憶させる。たとえば、図１８の場合、管理部１０６は、顔認証部１０４によって人物９３０が未登録者であると判断された場合、人物９３０の画像データを記憶部１１５に記憶させる。

したがって、表示器１の状態がログアウト状態からログイン状態に切り換わったときにログインした人物（図１８の場合、人物９１０）の周りにいた未登録の人物の顔を、表示器１のユーザ（たとえばアドミニストレータ）は確認することができる。

（ｆ４．ＩＤおよびパスワードの利用）
次に、ＩＤおよびパスワードを利用する構成について説明する。オペレータよりも操作権限の広いアドミニストレータおよびメンテナンス者の場合には、ログインするために、顔認証によってユーザが認証されたことに加えて、ＩＤおよびパスワードが一致したことを条件に、アプリケーションへのアクセスを許可する（表示器１の状態をログアウト状態からログイン状態に切り換える）ように、表示器１を構成してもよい。当該処理を詳しく説明すると以下のとおりである。

受付部１０８は、顔認証により認証されたユーザがアドミニストレータまたはメンテナンス者の操作権限を有する者である場合に、文字列であるＩＤおよびパスワードの入力を受け付ける。また、文字列判定部１１１は、受付部１０８が受け付けたＩＤおよびパスワードとＩＤおよびパスワードＤＢ３５５に予め登録されていたＩＤおよびパスワード（予め定められた文字列）とが一致するかを判定する。さらに、アクセス制御部１０５は、文字列判定部１１１によって一致すると判定されたことを条件に、表示器１の状態をログアウト状態からログイン状態に切り換える。

このような構成によって、操作権限の広さに関わらず顔認証によってのみログインを許可する構成に比べて、セキュリティを向上させることが可能となる。なお、上記においては、アドミニストレータとメンテナンス者とにＩＤおよびパスワードの入力を要求する構成を例に挙げているが、アドミニストレータのみにＩＤおよびパスワードの入力を要求する構成としてもよい。また、ＩＤおよびパスワードのうち、いずれかの入力のみを要求するように、表示器１を構成してもよい。

（ｆ４．カメラを内蔵しない構成）
上記においては、表示器がカメラを内蔵している構成を例に挙げて説明したが、これに限定されるものではない。表示器が外付けのカメラとの間で通信を行なう構成であってもよい。つまり、表示器１が、外付けのカメラから画像データを取得する構成であってもよい。

（ｆ５．操作権限について）
上記においては、アドミニストレータと、メンテナンス者と、オペレータとの３つの異なる操作権限を有する者を例に挙げて説明したが、これに限定されるものではない。操作権限の種類（区分）の数は、２つであってもよいし、４つ以上であってもよい。

（ｆ６．プログラマブル表示器以外への適用）
上記においては、プログラマブル表示器（表示器１）を例に挙げて説明した。しかしながら、上述した各種の処理は、プログラマブル表示器だけではなく、当該プログラマブル表示器を含むモニタ（表示装置）にも適用できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 表示器、１１ ＣＰＵ、１２ ＲＯＭ、１３ ＲＡＭ、１４ フラッシュＲＯＭ、１５ 時計、１６ 操作キー、１７ カメラ、１８ タッチスクリーン、１９ 通信インターフェイス、８１ ディスプレイ、８２ タッチパネル、１０１ 撮像部、１０２ サイズ判定部、１０３ 生成部、１０４ 顔認証部、１０５ アクセス制御部、１０６ 管理部、１０７ 入力部、１０８ 受付部、１０９ 表示制御部、１１０ 表示部、１１１ 文字列判定部、１１２ 通信処理部、１１３ 制限部、１１４ 視線特定部、１１５ 記憶部、５１１ 一般設定画面、５１２ 顔認証設定画面、５１３ 詳細設定画面、５３１，５３１，５３２，５３３，５３２，５３３ ユーザ画面、８０１，８０２，８０３，８０４，８３４，８９１ オブジェクト、８３１ ステータス、８３２ メンテナンスメニュー、８３３ アドミニメニュー、９１０，９２０，９３０ 人物、３５１ 登録画像ＤＢ、３５２ 視線ＤＢ、３５３ 未登録者ＤＢ、３５４ 履歴ＤＢ、３５５ ＩＤおよびパスワードＤＢ、３５６ 画面データＤＢ。

Claims (20)

1. アプリケーションへのアクセスを制御するプログラマブル表示器であって、
   ユーザの顔の特徴データを記憶した記憶手段と、
   撮像により得られたユーザの第１の画像データと、前記特徴データとに基づき、前記ユーザの第１の顔認証を行なう認証手段と、
   ユーザが認証された場合、前記ユーザに前記アプリケーションへのアクセスを許可するアクセス制御手段とを備える、プログラマブル表示器。
2. 前記認証手段は、さらに前記アプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、前記特徴データとに基づいた前記ユーザの第２の顔認証を、予め指定されたタイミングで行ない、
   前記第１の顔認証によって認証されたユーザと第２の顔認証によって認証されたユーザが異なるユーザである場合、前記アプリケーションの処理の実行を制限する制限手段をさらに備える、請求項１に記載のプログラマブル表示器。
3. 前記認証手段は、さらに前記アプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、前記特徴データとに基づいた前記ユーザの第２の顔認証を、予め指定されたタイミングで行ない、
   前記第２の顔認証によってユーザが認証されなかった場合、前記アプリケーションの処理の実行を制限する制限手段をさらに備える、請求項１に記載のプログラマブル表示器。
4. ディスプレイと、
   前記ディスプレイに画面を表示させる表示制御手段とをさらに備え、
   前記アクセス制御手段は、前記処理の実行が制限される場合、前記アクセスが許可されている状態で表示されている画面に重畳した状態で予め定められたオブジェクト画像を前記ディスプレイに表示させるように前記表示制御手段を制御する、請求項２または３に記載のプログラマブル表示器。
5. ディスプレイと、
   前記ディスプレイに画面を表示させる表示制御手段とをさらに備え、
   前記表示制御手段は、前記処理の実行が制限される場合、前記アクセスが許可されている状態で表示されている画面の代わりに前記アクセスが許可されていない状態の画面を前記ディスプレイに表示させる、請求項２または３に記載のプログラマブル表示器。
6. 前記第１の画像データに含まれる顔の領域が予め定められたサイズよりも大きいか否かを判定する第１の判定手段とをさらに備え、
   前記アクセス制御手段は、前記顔の領域が予め定められたサイズよりも大きいと判定されたことを条件に、前記アプリケーションへのアクセスを許可する、請求項１から５のいずれか１項に記載のプログラマブル表示器。
7. 前記撮像された顔の画像データに基づいて当該顔の特徴を表した特徴データを生成し、前記生成された特徴データを前記記憶手段に記憶させる生成手段をさらに備える、請求項６に記載のプログラマブル表示器。
8. 前記記憶手段には、複数の前記特徴データと、ユーザを特定するための予め定められた文字列とが記憶されており、
   前記複数の特徴データのうちの第１の特徴データに、前記アプリケーションに対する第１の操作権限を表す第１の識別情報が対応付けられており、
   前記複数の特徴データのうちの第２の特徴データに、前記第１の操作権限よりも権限が広い第２の操作権限を表す第２の識別情報が対応付けられており、
   前記プログラマブル表示器は、
   前記顔認証により認証されたユーザが前記第２の操作権限を有する者である場合に、文字列の入力を受け付ける受付手段と、
   前記受け付けた文字列と前記予め定められた文字列とが一致するかを判定する第２の判定手段とをさらに備え、
   前記アクセス制御手段は、前記第２の判定手段によって一致すると判定されたことを条件に、前記アプリケーションへのアクセスを許可する、請求項１から６のいずれか１項に記載のプログラマブル表示器。
9. 前記ユーザの第１の画像データは、時間的に連続する予め定められた数のフレームデータから構成され、
   前記認証手段は、前記複数のフレームデータの各々について前記顔認証を行ない、
   前記アクセス制御手段は、前記複数のフレームデータうちの予め定められた数以上のフレームデータにおいて同一のユーザが認証されたことを条件に、前記アプリケーションへのアクセスを許可する、請求項１から８のいずれか１項に記載のプログラマブル表示器。
10. プログラマブル表示器上で動作するアプリケーションへのアクセスを制御する制御方法であって、
    予めユーザの顔の特徴を表す特徴データを保存するステップと、
    撮像により得られたユーザの第１の画像データを受け取るステップと、
    前記第１の画像データと前記特徴データに基づいてユーザの第１の顔認証を行なうステップと、
    前記顔認証によりユーザが認証された場合に、アプリケーションへのアクセスをユーザに許可するステップと、を備える制御方法。
11. 前記アプリケーションへのアクセスをユーザに許可している時に撮像によりユーザの第２の画像データを受け取るステップと、
    前記特徴データと前記第２の画像データとに基づいてユーザの第２の顔認証を行なうステップと、
    前記第１の顔認証によって認証されるユーザと前記第２の顔認証によって認証されるユーザが異なるユーザである場合、前記アプリケーションの処理の実行を制限するステップとをさらに備える、請求項１０に記載の制御方法。
12. 前記制御方法は、
    さらに前記アプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、前記特徴データとに基づいた前記ユーザの第２の顔認証を、予め指定されたタイミングで行ない、
    前記第１の顔認証によって認証されたユーザと第２の顔認証によって認証されたユーザが異なるユーザである場合、前記アプリケーションの処理の実行を制限するステップをさらに備える、請求項１０に記載の制御方法。
13. 前記制御方法は、
    さらに前記アプリケーションへのアクセスが許可されている場合における撮像により得られたユーザの顔の第２の画像データと、前記特徴データとに基づいた前記ユーザの第２の顔認証を、予め指定されたタイミングで行ない、
    前記第２の顔認証によってユーザが認証されなかった場合、前記アプリケーションの処理の実行を制限するステップをさらに備える、請求項１０に記載の制御方法。
14. 前記処理の実行が制限される場合、前記アクセスが許可されている状態で表示されている画面に重畳した状態で予め定められたオブジェクト画像をディスプレイに表示させるステップをさらに備える、請求項１１から１３のいずれか１項に記載の制御方法。
15. 前記処理の実行が制限される場合、前記アクセスが許可されている状態で表示されている画面の代わりに前記アクセスが許可されていない状態の画面をディスプレイに表示させるステップをさらに備える、請求項１１から１３のいずれか１項に記載の制御方法。
16. 前記第１の画像データに含まれる顔の領域が予め定められたサイズよりも大きいか否かを判定するステップと、
    前記顔の領域が予め定められたサイズよりも大きいと判定されたことを条件に、前記アプリケーションへのアクセスを許可するステップとをさらに備える、請求項１１から１５のいずれか１項に記載の制御方法。
17. 前記撮像された顔の画像データに基づいて当該顔の特徴を表した特徴データを生成し、前記生成された特徴データを前記記憶手段に記憶させるステップをさらに備える、請求項１６に記載の制御方法。
18. 複数の前記特徴データと、ユーザを特定するための予め定められた文字列とを記憶されるステップをさらに備え、
    前記複数の特徴データのうちの第１の特徴データに、前記アプリケーションに対する第１の操作権限を表す第１の識別情報が対応付けられており、
    前記複数の特徴データのうちの第２の特徴データに、前記第１の操作権限よりも権限が広い第２の操作権限を表す第２の識別情報が対応付けられており、
    前記制御方法は、
    前記顔認証により認証されたユーザが前記第２の操作権限を有する者である場合に、文字列の入力を受け付けるステップと、
    前記受け付けた文字列と前記予め定められた文字列とが一致するかを判定するステップと、
    前記文字列同士が一致すると判定されたことを条件に、前記アプリケーションへのアクセスの許可と取消とを切り換えるステップとをさらに備える、請求項１０から１７のいずれか１項に記載の制御方法。
19. 前記ユーザの第１の画像データは、時間的に連続する予め定められた数のフレームデータから構成され、
    前記第１の顔認証を行なうステップでは、前記複数のフレームデータの各々について前記顔認証を行ない、
    前記アクセスを許可するステップでは、前記複数のフレームデータうちの予め定められた数以上のフレームデータにおいて同一のユーザが認証されたことを条件に、前記アプリケーションへのアクセス権の発行と取消とを行なう、請求項１０から１８のいずれか１項に記載の制御方法。
20. プログラマブル表示器上で動作するアプリケーションへのアクセスを制御するプログラムであって、
    撮像により得られたユーザの画像データと、ユーザの顔の特徴を表した特徴データとに基づき、顔認証を行なうステップと、
    ユーザが認証された場合、前記ユーザに前記アプリケーションへのアクセスを許可するステップとを、プログラマブル表示器のプロセッサに実行させる、プログラム。

Images