JP2017090553A - 視線援用リスク低減システム、視線援用リスク低減装置、および視線援用リスク低減方法 - Google Patents

Abstract

【課題】第三者により機微度の高い情報が覗き見されたことの証拠となりうる情報を取得して覗き見のリスクを低減することができる視線援用リスク低減システムを提供する。【解決手段】閲覧制限情報を表示させる表示装置３０と、表示装置を視認する人物の目４０，４１の識別番号を生成するカメラ制御部とを有するカメラ２０と、制御部と記憶部とを有する制御装置とを備える視線援用リスク低減システムであって、記憶部は、閲覧制限情報を閲覧できる閲覧可能ユーザの目の識別番号を登録する識別番号データベースを格納し、制御部は、人物の目の識別番号が識別番号データベースに登録される閲覧可能ユーザの目の識別番号と一致しない場合、人物の視線が到達する表示装置における座標を視点位置座標として算出し、閲覧制限情報が表示されている範囲に視点位置座標が含まれる場合、人物が閲覧制限情報を見たと判定して判定結果を出力する視線援用リスク低減システム。【選択図】図７

Description

本発明は、視線援用リスク低減システム、視線援用リスク低減装置、および視線援用リスク低減方法に関する。

従来、デバイスの操作中に、ディスプレイに表示された機微度の高い情報が第三者によって覗き見されることが問題となっている。覗き見対策として、ディスプレイにバックミラーを装着して操作者に対して背後への注意を喚起したり、ディスプレイに覗き見防止フィルタを装着して操作者以外からはディスプレイが見えにくくしたりするといった方法がある。

ところが、覗き見行為を立証することは難しく、仮に第三者が覗き見行為をしようとしていたとしても簡単に否認することができる。よって覗き見をされるリスクは残されている。そこで、例えば、覗き見行為の立証の一助となるように、操作者の背後にいる第三者の視線を計測し、その視線がディスプレイに向いているかどうかを判別することが考えられる。視線の計測方法としては、例えば特許文献１に記載されるような構成がある。

特開２００２−１４３０９４号公報

しかしながら、第三者の視線がディスプレイに向いていることを判別したとしても、第三者がどのような内容を見たか立証することまではできない。よって、第三者は機微度の高い情報を見ていないと主張することが可能であり、覗き見をされるリスクは十分に低減されない。

本発明の目的は、上述した課題を解決し、第三者により機微度の高い情報が覗き見されたことの証拠となりうる情報を取得して覗き見のリスクを低減することができる視線援用リスク低減システム、視線援用リスク低減装置、および視線援用リスク低減方法を提供することにある。

上記課題を解決するため、本発明に係る視線援用リスク低減システムは、閲覧制限情報を表示させる表示装置と、前記表示装置の表示内容を視認する人物が含まれる画像を取得する撮像部と前記画像に含まれる前記人物の目を識別して前記人物の目の識別番号を生成するカメラ制御部とを有するカメラと、制御部と記憶部とを有する制御装置とを備える視線援用リスク低減システムであって、前記記憶部は、前記閲覧制限情報を閲覧できる閲覧可能ユーザと、前記閲覧可能ユーザの目の識別番号とを対応づけて登録する識別番号データベースを格納し、前記制御部は、前記表示装置から前記閲覧制限情報が表示されている範囲を取得し、前記カメラから前記人物の目の識別番号を取得し、前記人物の目の識別番号が、前記識別番号データベースに登録される前記閲覧可能ユーザの目の識別番号と一致するか判定し、前記人物の目の識別番号が前記閲覧可能ユーザの目の識別番号と一致しない場合、前記画像を用いて前記人物の視線が到達する前記表示装置における座標を視点位置座標として算出し、前記閲覧制限情報が表示されている範囲に前記視点位置座標が含まれる場合、前記人物が前記閲覧制限情報を見たと判定して判定結果を出力する。

また、上記課題を解決するため、本発明に係る視線援用リスク低減装置は、閲覧制限情報を表示させる表示装置と、前記表示装置の表示内容を視認する人物が含まれる画像を取得し、前記画像に含まれる前記人物の目を識別して前記人物の目の識別番号を生成するカメラとに接続され、制御部と記憶部とを有する視線援用リスク低減装置であって、前記記憶部は、前記閲覧制限情報を閲覧できる閲覧可能ユーザと、前記閲覧可能ユーザの目の識別番号とを対応づけて登録する識別番号データベースを格納し、前記制御部は、前記表示装置から前記閲覧制限情報が表示されている範囲を取得し、前記カメラから前記人物の目の識別番号を取得し、前記人物の目の識別番号が、前記識別番号データベースに登録される前記閲覧可能ユーザの目の識別番号と一致するか判定し、前記人物の目の識別番号が前記閲覧可能ユーザの目の識別番号と一致しない場合、前記画像を用いて前記人物の視線が到達する前記表示装置における座標を視点位置座標として算出し、前記閲覧制限情報が表示されている範囲に前記視点位置座標が含まれる場合、前記人物が前記閲覧制限情報を見たと判定して判定結果を出力する。

また、上記課題を解決するため、本発明に係る視線援用リスク低減方法は、閲覧制限情報を表示させる表示装置と、前記表示装置の表示内容を視認する人物が含まれる画像を取得し、前記画像に含まれる前記人物の目を識別して前記人物の目の識別番号を生成するカメラとに接続され、制御部と記憶部とを有する制御装置で実行される視線援用リスク低減方法であって、前記記憶部が、前記閲覧制限情報を閲覧できる閲覧可能ユーザと、前記閲覧可能ユーザの目の識別番号とを対応づけて登録する識別番号データベースを格納するステップと、前記制御部が、前記表示装置から前記閲覧制限情報が表示されている範囲を取得するステップと、前記制御部が、前記カメラから前記人物の目の識別番号を取得するステップと、前記制御部が、前記人物の目の識別番号が、前記識別番号データベースに登録される前記閲覧可能ユーザの目の識別番号と一致するか判定するステップと、前記人物の目の識別番号が前記閲覧可能ユーザの目の識別番号と一致しない場合、前記制御部が、前記画像を用いて前記人物の視線が到達する前記表示装置における座標を視点位置座標として算出するステップと、前記閲覧制限情報が表示されている範囲に前記視点位置座標が含まれる場合、前記制御部が、前記人物が前記閲覧制限情報を見たと判定して判定結果を出力するステップとを含む。

本発明に係る視線援用リスク低減システム、視線援用リスク低減装置、および視線援用リスク低減方法によれば、第三者により機微度の高い情報が覗き見されたことの証拠となりうる情報を取得して覗き見のリスクを低減することができる。

一実施形態に係る視線援用リスク低減システムの構成を示す図である。 データベースの内容の一例を示す表である。 データベースの内容の一例を示す表である。 制御部が会員情報を表示装置に表示させる処理のフローチャートである。 表示装置において表形式で表示される会員情報の一例を示している。 図５に示す各セルの行列と座標範囲とフラグとが対応づけられる表である。 表示装置に対する視点位置座標を測定する構成の一例を示す図である。 表示装置を見ている人物の目を検出する処理を示すフローチャートである。 表示装置を見ている第三者の視点位置座標を測定し、機密情報が覗き見られたか判定する処理を示すフローチャートである。 変形例１に係る視線援用リスク低減システムの構成を示す図である。 変形例２に係る視線援用リスク低減システムの構成を示す図である。 変形例２に係る視線援用リスク低減システムの動作を示すフローチャートである。 預金者以外の目の視点位置座標の移動の一例を示す図及び表である。 変形例３に係る視線援用リスク低減システムの構成を示す図である。

（実施形態）
以下、本発明の実施の形態について説明する。

［システム構成］
図１は、本発明の一実施形態に係る視線援用リスク低減システム１の構成を示す図である。視線援用リスク低減システム１（以下、単にシステム１ともいう）は、制御装置１０と、カメラ２０と、表示装置３０とを備える。

制御装置１０は、制御部１１と、記憶部１２と、通信部１３とを備える。本実施形態において、制御装置１０はコンピュータ（ＰＣ）であるものとする。

制御部１１は、記憶部１２及び通信部１３と接続され、これらを制御する。また、制御部１１は、カメラ２０及び表示装置３０と接続される。制御部１１は、演算装置（ＣＰＵ）であってもよいし、信号処理装置（ＤＳＰ）であってもよいが、これらに限られるものではない。

記憶部１２は、データベース（以下、ＤＢともいう）を格納する。データベースは、例えば、ユーザアカウントＤＢ１２１、識別番号ＤＢ１２２、表示部情報ＤＢ１２３、行列設定ＤＢ１２４、及び会員情報ＤＢ１２５などである。データベースに格納される情報については後述する。また記憶部１２は、制御部１１で実行されるプログラム１２６を格納する。記憶部１２は、ＤＲＡＭのような揮発性メモリ、フラッシュメモリのような不揮発性メモリ、及び、ハードディスクなどの磁気記憶媒体などであってもよいが、これらに限られるものではない。また記憶部１２は、これらを組み合わせたものであってもよい。

通信部１３は、例えば通信インターフェースであり、制御装置１０と外部装置との間の通信を行う。

カメラ２０は、カメラ制御部２１と撮像部２２とを備える。カメラ制御部２１は、撮像部２２が取得した画像を処理して、種々の情報を取得する。例えば、カメラ制御部２１は、画像に写りこんだ人物の目を識別して目の画像を取得する。また、カメラ制御部２１は、目の画像に含まれる虹彩パターンに基づいて目を一意に特定し、目の識別番号を決定する。つまり、カメラ制御部２１は、目の画像に基づいて人物を一意に特定することができる。また、カメラ制御部２１は、画像に写りこんだ人物の顔を認識することによって人物を一意に特定するようにしてもよい。

カメラ２０において取得した画像及び情報はカメラ制御部２１で保持されてもよいし、システム１の制御装置１０の記憶部１２に格納されてもよい。また、取得した画像及び情報が保持又は格納される期間は、所定期間に限られてもよい。

カメラ制御部２１が有する上記機能は、制御装置１０の制御部１１によって実行されてもよい。例えば、制御装置１０の制御部１１が撮像部２２により取得された画像を用いて当該画像に写りこんだ人物の目の識別番号を決定してもよい。

表示装置３０は、表示制御部３１と表示部３２とを備える。表示制御部３１は、制御装置１０から表示する情報を取得し、表示部３２に表示させる。表示部３２は、表示制御部３１から取得した情報を表示する。表示部３２はＬＣＤなどのディスプレイであるが、これに限られない。表示部３２において情報を表示する態様（例えば、情報の表示位置又は表示の大きさ）は、制御装置１０の記憶部１２に格納された表示部情報ＤＢ１２３又は行列設定ＤＢ１２４の内容にしたがって指定される。また、上記態様が表示制御部３１によって決定される場合、決定された態様が制御装置１０に通知され、通知にしたがって記憶部１２に格納された表示部情報ＤＢ１２３又は行列設定ＤＢ１２４の内容が更新される。

表示制御部３１が有する上記機能は、制御装置１０の制御部１１によって実行されてもよい。例えば、制御装置１０の制御部１１が表示部３２において情報を表示する態様を決定してもよい。

なお、図１に示されるシステム１においては、各装置に電源が供給され、各装置は動作の際に同期をとられていることはもちろんである。

［データベースの内容］
図２及び図３は、データベースの内容の一例を示す表である。図２（ａ）〜（ｄ）はそれぞれ、ユーザアカウントＤＢ１２１、識別番号ＤＢ１２２、表示部情報ＤＢ１２３、行列設定ＤＢ１２４に係る内容の例を示している。また図３は、会員情報ＤＢ１２５に係る内容の例を示している。以下各データベースについて説明する。

ユーザアカウントＤＢ１２１は、システム１に登録されているユーザに関する情報を構造化したものである。図２（ａ）に示されるように、ユーザアカウントＤＢ１２１には、データ番号とユーザ名とパスワードとが対応づけられて格納されている。システム１は、ユーザアカウントＤＢ１２１に格納されているユーザは、表示装置３０に表示される内容を閲覧できるユーザ（閲覧可能ユーザ）であると識別する。また、ユーザアカウントＤＢ１２１は、閲覧可能レベルを含むこともできる。この場合、ユーザに対応づけられた閲覧可能レベルに応じて、当該ユーザが閲覧できる内容を異ならせてもよい。ユーザアカウントＤＢ１２１に格納されているデータ番号は、データベースに格納されたデータを検索する際に検索キーとして用いられる符号であり、各データベースに格納されているものである。データ番号は、例えば、英字１文字＋数字４文字で構成されるが、これに限られない。また、データ番号に含まれる英字１文字が、どのデータベースに格納されているデータかを示す符号であってもよい。

識別番号ＤＢ１２２は、ユーザを目の虹彩パターンで識別するための情報を構造化したものである。図２（ｂ）に示されるように、識別番号ＤＢ１２２には、データ番号とユーザ名と目の識別番号とが対応づけられて格納されている。目の識別番号は、虹彩パターンそのものを示す文字列であってもよいし、他のデータベースによって虹彩パターンのデータと対応づけられる単なる識別子であってもよい。本実施形態においては、目の識別番号が虹彩パターンそのものを示す文字列であるとする。

後述するように、識別番号ＤＢ１２２にはユーザとして登録されていない第三者の目の識別番号も格納される。例えば図２（ｂ）においては５行目のデータ番号Ｂ０００４及び６行目のデータ番号Ｂ０００５に対応する目の識別番号は、登録されていない第三者のものであり、ユーザ名と対応付けられていない。図２（ｂ）においては、ユーザ名として、覗き込んできた人Ａ、Ｂとしている。図２（ｂ）に記載されている“ＲＦＵ”とは、Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅの略であり、将来追記されるデータのために留保されている部分である。図２（ｃ）及び図２（ｄ）についても同様である。

表示部情報ＤＢ１２３は、表示部３２の表示範囲、又は、型番に関する情報を構造化したものである。図２（ｃ）に示されるように、表示部情報ＤＢ１２３には、データ番号と型番と寸法とが対応づけられて格納されている。表示部情報ＤＢ１２３は、表示部３２に情報を表示する態様を決定する際に用いられる。

行列設定ＤＢ１２４は、表示部３２に表形式で情報を表示する際の行列設定に関する情報を構造化したものである。図２（ｄ）に示されるように、行列設定ＤＢ１２４には、データ番号と最大行数と最大列数とが対応づけられて格納されている。最大行数及び最大列数は、情報を表示部３２の表示範囲いっぱいに表示する際の行数及び列数である。

会員情報ＤＢ１２５は、会員情報を構造化したものである。図３に示されるように、各会員に係る会員情報にはファイルＩＤが付与され、ＴＬＶ(Tag-Length-Value)形式で構造化されて、会員番号、氏名、住所、電話番号、メールアドレス及び生年月日が格納されている。Tagは会員属性を表す識別子であり、Lengthはデータ長を表し、Valueはデータそのものである。本実施形態において、Tag及びLengthの部分をヘッダともいう。

Valueに格納されるデータには、当該データの閲覧を制限するための基準となるフラグが付加される。フラグは、会員情報の各項目の機微度、機密度、又はプライバシー保護レベルなどに基づき定められるものであるが、これらに限られず、他の基準によって定められてもよい。本実施形態においては、機密情報にあたる項目を含むデータについては当該データの閲覧を制限されるものとし、機密情報にあたる項目（閲覧が制限される項目）についてはフラグ０１を付加する。一方で、機密情報にあたらない項目（閲覧が制限されない項目）についてはフラグ００を付加する。

本実施形態では、会員情報の項目が機密情報にあたるか否かを分類して、フラグで表しているが、このような分類に限られるものではない。例えば、会員情報の各項目の機微度、機密度、又はプライバシー保護レベルなどを数値で表して、当該数値を所定の閾値と比較することによって、各項目が機密情報にあたるか否か判定するようにすることもできる。

［会員情報の表示］
ユーザは、制御装置１０を用いて会員情報ＤＢ１２５にアクセスして、会員情報を表示装置３０に表示させて閲覧することができる。ここでは、会員情報ＤＢ１２５にアクセスする権限を有するユーザが会員情報を閲覧する際に表示装置３０に会員情報を表示させる処理について説明する。

図４は、制御装置１０の制御部１１が会員情報を表示装置３０に表示させる処理のフローチャートである。まず、制御部１１は、会員情報ＤＢ１２５に格納された会員情報に含まれる表示属性項目の種類、すなわち表示項目数が、行列設定ＤＢ１２４に格納された最大列数以下であるか判定する（ステップＳ１０２）。

表示項目数が最大列数以下でない場合（ステップＳ１０２：ＮＯ）、制御部１１は処理を終了する。表示項目数が最大列数以下である場合（ステップＳ１０２：ＹＥＳ）、制御部１１は、会員情報ＤＢ１２５から会員情報を取得する（ステップＳ１０４）。本実施形態においては、会員情報の表示属性項目は会員番号、氏名、住所、電話番号、メールアドレス及び生年月日の６種類であるのに対し、最大列数が６であるため条件を満たす。

続いて制御部１１は、取得した会員情報からヘッダ及びフラグを除去した表示情報を表示装置３０に出力する（ステップＳ１０６）。表示装置３０は、取得した表示情報に基づいて表示部３２に会員情報を表示する。図５は、表示部３２において表形式で表示される会員情報の一例を示している。ここで、網掛けされていないセルは、当該セルに表示されているデータの閲覧が制限されていない。つまり網掛けされていないセルに表示されている情報は閲覧制限情報ではない。一方で、網掛けされているセルは、当該セルに表示されているデータの閲覧が制限されている。つまり網掛けされているセルに表示されている情報は閲覧制限情報である。実際の表示では、閲覧の制限の有無をこのように明示してもよいし、明示しなくてもよい。なお、図５は、本実施形態に係る説明の中心となる部分を表示している。空白の部分にも会員番号・氏名等の情報が表示されているが、図５では記述を省略している。

続いて制御部１１は、表示部情報ＤＢ１２３から表示装置３０の型番又は表示部３２の寸法を取得し、行列設定ＤＢ１２４から最大行数及び最大列数を取得する（ステップＳ１０８）。

続いて制御部１１は、ステップＳ１０８で取得した情報に基づき、会員情報が表示されている表示部３２の各セルの行番号及び列番号と、各セルの表示部３２における座標と、各セルに表示されている会員情報に係るフラグとを対応づけて記憶部１２に格納する（ステップＳ１１０）。ここでは、図５に示されるように、水平方向をｘ軸、垂直方向をｙ軸とし、左上を原点とする座標系を表示部３２にとった上で、行番号及び列番号とｘ座標及びｙ座標とを対応づける。

本実施形態において、図２（ｃ）にも示されているように表示部３２の寸法が縦２７ｃｍ、横４８ｃｍであり、図２（ｄ）にも示されているように表示部３２の最大行数が２７、最大列数が６であるとする。この場合、１行あたりの表示範囲はｙ軸方向に１ｃｍであり、１列あたりの表示範囲はｘ軸方向に８ｃｍである。よって、行番号＃０００５且つ列番号＃０００２のセルは、図５に示されるように４つの座標（ｘ，ｙ）＝（８，４）、（１６，４）、（８，５）、（１６，５）を頂点とする四角形であり、当該セルは座標範囲が８＜ｘ＜１６且つ４＜ｙ＜５に対応づけられる。また、行番号＃０００５且つ列番号＃０００２のセルは、図５に示されるように氏名を表示するセルであり、機密情報にあたることを示すフラグ０１が対応づけられる。

図６は、各セルの行番号及び列番号と、ｘ軸及びｙ軸の座標範囲と、フラグとが対応づけられている表である。ここで、フラグ０１が対応づけられているセル（機密情報にあたるセル）は網掛けがされている。一方で、フラグ００が対応づけられているセル（機密情報に当たらないセル）は網掛けがされていない。図６によれば、表示部３２に表示されているセルのうち、機密情報にあたるセルが表示されている座標が分かる。例えば、図６に示した表の１０行目によれば、行番号＃０００５且つ列番号＃０００２のセルは、座標範囲が８＜ｘ＜１６且つ４＜ｙ＜５に対応づけられ、フラグ０１に対応づけられる。つまり、座標範囲が８＜ｘ＜１６且つ４＜ｙ＜５に表示される情報は機密情報にあたることが分かる。一方で、図６に示した表の６行目によれば、行番号＃０００２且つ列番号＃０００１のセルは、座標範囲が０＜ｘ＜８且つ１＜ｙ＜２に対応づけられ、フラグ００に対応づけられる。つまり、座標範囲が０＜ｘ＜８且つ１＜ｙ＜２に表示される情報は機密情報に当たらないことが分かる。なお、図６は、本実施形態に係る説明の中心となる部分を表示している。空白の部分及び「・・・」と記載した部分にも行番号・列番号・ｘのとりうる値の範囲・ｙのとりうる値の範囲等の情報が格納されているが、図６では記述を省略している。

図４のフローチャートに戻って、続いて制御部１１は、表示部３２の表示内容に変更があるか判定する（ステップＳ１１２）。ここで表示部３２の表示内容は、ユーザの操作によってスクロールされたり、他の画面に遷移したりすることで変更されることがある。

表示部３２の表示内容に変更がない場合（ステップＳ１１２：ＮＯ）、制御部１１は、再度ステップＳ１１２に戻る。表示部３２の表示内容に変更がある場合（ステップＳ１１２：ＹＥＳ）、制御部１１は、ステップＳ１０６に戻る。

以上、図４〜図６を参照して、制御部１１が会員情報を表示装置３０に表示させる処理を説明してきた。制御部１１は、会員情報を単に表示させるだけではなく、表示部３２の上の座標と、当該座標に表示される情報が機密情報にあたるか否かを対応づける。これによって、表示部３２の表示内容が機密情報にあたるか否かを、表示されている座標で判定することができるようになる。

［覗き見判定方法］
会員情報を表示部３２に表示させる処理において、機密情報にあたる内容が表示される座標が特定された。ここでは、表示部３２のどの部分が見られているか判定することにより、機密情報にあたる内容が見られたか判定する方法について説明する。

図７は、表示装置３０に対する視点位置座標を測定する構成の一例を示す図である。表示装置３０の上部にカメラ２０が取り付けられている。カメラ２０は、表示装置３０の表示部３２を視認しているユーザの目４０又は第三者の目４１を撮影することができる。カメラ２０の取り付け位置は、図７のように表示装置３０の上部に限られない。表示装置３０から離れた場所にカメラ２０が取り付けられる場合であっても、カメラ２０の取り付け位置と表示装置３０との位置関係が明確であればよい。また、図７においてカメラ２０は１個だけ取り付けられているが、２個以上取り付けられてもよい。

＜目の検出及び識別処理＞
図８は、制御装置１０の制御部１１とカメラ２０とが、表示部３２を見ている人物の目を検出する処理を示すフローチャートである。制御部１１の処理とカメラ２０の処理とは互いに関係するため、これらの処理をあわせて時系列に沿って説明する。

まず、カメラ２０は、撮像部２２を用いて表示装置３０を見ているユーザ又は第三者の画像を撮影する（ステップＳ３０２）。撮像部２２を用いて撮影された画像は、カメラ制御部２１の内部に保持されてもよいし、制御装置１０の記憶部１２に格納されてもよい。

続いてカメラ制御部２１は、撮影した画像から目を検出できるか判定する（ステップＳ３０４）。カメラ制御部２１が目を検出しない場合（ステップＳ３０４：ＮＯ）、カメラ制御部２１はステップＳ３０２に戻って人物の撮影及び目の検出を続ける。

カメラ制御部２１が目を検出した場合（ステップＳ３０４：ＹＥＳ）、カメラ制御部２１は検出した目の画像を用いて、虹彩及び目の特徴点を読み取る（ステップＳ３０６）。この際、目の部分だけの画像を生成して、カメラ制御部２１の内部に保持してもよいし、制御装置１０の記憶部１２に格納してもよい。

続いてカメラ制御部２１は、虹彩のパターンに基づいて、目の識別番号を生成し、制御装置１０の制御部１１に出力する（ステップＳ３０８）。本実施形態において、カメラ制御部２１は、虹彩のパターンそのものを符号化して目の識別番号を生成するが、これに限られない。虹彩のパターンを格納するデータベースを別途設けて、当該データベースのインデックスとして目の識別番号を生成してもよい。

ここで制御装置１０の制御部１１は、カメラ２０から出力された目の識別番号を取得する（ステップＳ２０８）。続いて制御部１１は、識別番号ＤＢ１２２に登録されている目の識別番号と照合し、閲覧可能ユーザと対応づけられて登録されている目の識別番号と一致するか否かを示す照合結果をカメラ２０に出力する（ステップＳ２１０）。

続いて制御部１１は、ステップＳ２１０で行った照合結果を判定する（ステップＳ２１２）。つまり制御部１１は、カメラ２０から取得した目の識別番号が、識別番号ＤＢ１２２において閲覧可能ユーザと対応づけられて登録されている目の識別番号と重複するか、つまり登録された目の識別番号であるか判定する。登録された目の識別番号である場合（ステップＳ２１２：ＹＥＳ）、表示部３２を見ているのは、表示部３２の表示内容を閲覧可能なユーザであり、制御部１１はなにもせずにステップＳ２０８に戻る。

登録された目の識別番号ではない場合（ステップＳ２１２：ＮＯ）、制御部１１は、カメラ２０から取得した目の識別番号を新規な目の識別番号、つまり覗き見をしている第三者の目の識別番号として識別番号ＤＢ１２２に格納する（ステップＳ２１４）。この際、格納される目の識別番号は、例えば図２（ｂ）の５行目又は６行目のように、ユーザ名と対応づけられない。続いて制御部１１は、丸で囲まれた符号Ａによってつながりが示されている次のステップ（図９のステップＳ２１６）に進む。

一方、カメラ２０のカメラ制御部２１は、制御装置１０の制御部１１から照合結果を取得する（ステップＳ３１０）。続いてカメラ制御部２１は、ステップＳ２１２と同様に照合結果を判定する（ステップＳ３１２）。登録された目の識別番号である場合（ステップＳ３１２：ＹＥＳ）、カメラ制御部２１はなにもせずにステップＳ３０４に戻る。登録された目の識別番号ではない場合（ステップＳ３１２：ＮＯ）、カメラ制御部２１は、丸で囲まれた符号Ｂによってつながりが示されている次のステップ（図９のステップＳ３１６）に進む。

＜覗き見判定処理＞
図９は、制御装置１０の制御部１１とカメラ２０とが、表示部３２を見ている第三者の視点位置座標を測定し、機密情報が覗き見られたか判定する処理を示すフローチャートである。図９のフローチャートは図８のフローチャートから続いており、丸で囲まれた符号Ａ、Ｂによって図８からのつながりが示されている。図９についても図８と同様に、制御部１１の処理とカメラ２０の処理とをあわせて時系列に沿って説明する。

まず、カメラ２０のカメラ制御部２１は、取得した目の識別番号が登録された目の識別番号ではない場合（図８のステップＳ３１２：ＮＯ）、目の画像から目の特徴点を読み出し、目と表示部３２との位置関係及び表示部３２に対する目の視角を算出する。そしてカメラ制御部２１は、算出した値に基づいて表示部３２のどの部分を見ているかを示す視点位置座標（つまり、視線が到達している先）を算出し、制御装置１０に出力する（ステップＳ３１６）。ここで目の特徴点は、例えば瞳孔の大きさであったり瞳孔と白目との位置関係であったりする。また、カメラ２０が２個以上取り付けられている場合は、三角測量の原理で目の位置を特定するようにしてもよい。

制御装置１０の制御部１１は、カメラ２０から視点位置座標を取得する（ステップＳ２１６）。続いて制御部１１は、取得した視点位置座標に表示されている情報が機密情報であるか判定する（ステップＳ２１８）。判定は、各セルの行番号及び列番号と、ｘ軸及びｙ軸の座標範囲と、フラグとが対応づけられている表（図６参照）に基づいて行われる。制御部１１は、視点位置座標が含まれるｘ軸及びｙ軸の座標範囲を特定して、当該座標範囲に対応づけられているフラグが００（機密情報ではない）であるか０１（機密情報である）であるかによって、機密情報が見られたか判定できる。あるいは制御部１１は、視点位置座標が含まれるセルの行番号及び列番号を特定して、当該セルに対応づけられているフラグによって、機密情報が見られたか判定できる。

視点位置座標に表示されている情報が機密情報である場合（ステップＳ２１８：ＹＥＳ）、制御部１１は、機密情報が見られたとの判定結果を出力するために表示装置３０の表示制御部３１に対して警告を出力する指示を送信する（ステップＳ２２０）。警告を出力する指示を取得した表示制御部３１は、表示部３２に第三者による覗き見があったことを警告する内容を表示する。その後、表示制御部３１は、表示装置３０をシャットダウンなどして表示部３２への情報の表示を制限する（ステップＳ２２１）。表示制御部３１は、表示部３２に警告を表示することと、表示部３２への情報の表示を制限することとのいずれか一方だけ行ってもよいし、両方とも行ってもよい。続いて制御部１１は、第三者によって機密情報が覗き見られたことの証拠データを作成する（ステップＳ２２２）。証拠データには、カメラ２０が取得した目の画像、取得した時刻、又は、目の画像から算出された目の識別番号若しくは視点位置座標などが含まれる。一方で、視点位置座標に表示されている情報が機密情報ではない場合（ステップＳ２１８：ＮＯ）、制御部１１は、ステップＳ２２４に進む。

カメラ２０のカメラ制御部２１は、引き続き目を追尾し、取得した画像に目が検出されるかどうか判定する（ステップＳ３２０）。目が検出される場合（ステップＳ３２０：ＹＥＳ）、カメラ制御部２１は、ステップＳ３１６に戻って再度視点位置座標の算出と出力とを行う。目が検出されない場合（ステップＳ３２０：ＮＯ）、カメラ制御部２１は、制御装置１０に対して目が検出されなかったこと（目の不検出）を出力し（ステップＳ３２４）、その後処理を終了する。

制御装置１０の制御部１１は、カメラ２０から、目が検出されなかったことを示す信号（目の不検出信号）を取得したか判定する（ステップＳ２２４）。目の不検出信号を取得していない場合（ステップＳ２２４：ＮＯ）、制御部１１は、ステップＳ２１６に戻ってカメラ２０から視点位置座標を取得する。目の不検出信号を取得した場合（ステップＳ２２４：ＹＥＳ）、制御部１１は処理を終了する。制御装置１０の制御部１１及びカメラ２０のカメラ制御部２１は、上記処理を終了した後、図８のフローチャートの最初に戻って再度処理を開始してもよい。

以上、機密情報にあたる内容が見られたか判定する方法について説明してきた。この方法によれば、第三者による覗き見を検出して証拠を残すことができ、さらに表示を中止することができるので、覗き見に対する抑止効果が期待できる。

（変形例１）
本実施形態においては、機密情報が第三者に覗き見されていることを検出した場合に、表示装置３０に警告する内容が表示され、表示装置３０がシャットダウンされた。変形例１では、機密情報が第三者に覗き見されていることを検出した場合に、表示装置３０とは異なる出力装置５０を用いて警告を発する構成について説明する。

図１０は、変形例１に係る視線援用リスク低減システム１の構成を示す図である。図１に示した構成とは、通信部１３に出力装置５０が接続されている点で異なる。

視線援用リスク低減システム１において機密情報が第三者に覗き見されていることを検出した場合、制御装置１０の制御部１１は、通信部１３を介して出力装置５０に対して、警告を出力する指示を送信する。ここで出力装置５０は、音や光を発することによって、警告する内容を知らせるものであり、例えば、スピーカであったり、回転灯であったりするがこれらに限られない。警告を出力する指示を取得した出力装置５０は、第三者による覗き見があったことを警告する内容を知らせるために、音声若しくは警告音、又は、光などを出力する。このようにすることで、覗き見に対するさらなる抑止効果が期待できる。また、これらの動作は、表示装置３０に警告する内容を表示すること又は表示装置３０をシャットダウンすることとあわせて行われてもよい。

（変形例２）
本実施形態においては、表示装置３０に表示されている機密情報の覗き見を検出することについて説明してきた。変形例２では、タッチパネル上で入力される暗証番号のように、表示と操作の組合せにより示される機密情報の覗き見を検出することについて説明する。

図１１は、変形例２に係る視線援用リスク低減システム１の構成を示す図である。図１に示した構成とは、表示装置３０がタッチパネルであって入力部３３を備える点と、通信部１３に出力装置５０が接続されている点とで異なる。また、図１１において、制御装置１０は、現金自動預払機（ＡＴＭ）である。

制御装置１０の記憶部１２に格納されるユーザアカウントＤＢ１２１には、預金者のアカウント情報が格納される。識別番号ＤＢ１２２には、預金者の目の識別番号が格納される。表示部情報ＤＢ１２３には、表示装置３０の表示部３２において暗証番号の入力キーが表示されるエリア（暗証番号入力エリア）を示す座標が格納される。また、記憶部１２に格納される判定条件ＤＢ１２７には、暗証番号の入力を覗き見しようとする第三者の目が暗証番号入力エリアに滞留している時間によって覗き見されているか判定するための閾値等が格納される。

図１２は、本変形例に係る視線援用リスク低減システム１の動作を示すフローチャートである。制御装置１０（ＡＴＭ）とカメラ２０と表示装置３０（タッチパネル）との動作がそれぞれ示されている。

まず制御装置１０の制御部１１は、預金者による入力部３３への入力に従って、暗証番号の入力受付を開始する（ステップＳ４０２）。また制御部１１は、暗証番号の入力受付を開始したことを、カメラ２０及び表示装置３０に通知する。これに合わせて、カメラ２０は目の監視を開始し（ステップＳ５０２）、表示装置３０の表示制御部３１は、表示部３２に暗証番号入力画面を表示させる（ステップＳ６０２）。表示制御部３１は、この後入力を受け付ける状態（ステップＳ６０４）に遷移する。

続いてカメラ２０のカメラ制御部２１は、撮像部２２により撮影された画像から目を検出し、目の識別番号を生成する（ステップＳ５０４）。この動作は、図８のステップＳ３０４、Ｓ３０６及びＳ３０８の内容と同様であるため、説明を省略する。その後、カメラ制御部２１は、生成した目の識別番号を制御装置１０に送信する。

一方、制御装置１０の制御部１１は、目の識別番号を取得する（ステップＳ４０４）。続いて制御部１１は、取得した目の識別番号を記憶部１２に格納される識別番号ＤＢ１２２の内容と照合する（ステップＳ４０６）。その後、制御部１１は、照合した結果をカメラ２０に送信する。

続いて制御部１１は、取得した目の識別番号が識別番号ＤＢ１２２に登録されていない場合、当該識別番号を新たに登録する（ステップＳ４０８）。

一方、カメラ２０のカメラ制御部２１は、照合結果を取得する（ステップＳ５０６）。続いてカメラ制御部２１は、照合結果によって預金者以外の人物の目が存在するか判定する（ステップＳ５０８）。預金者以外の人物の目が存在しない場合（ステップＳ５０８：ＮＯ）、カメラ制御部２１は、ステップＳ５０４に戻って目の検出及び目の識別番号の生成を行う。

預金者以外の人物の目が存在する場合（ステップＳ５０８：ＹＥＳ）、カメラ制御部２１は、この預金者以外の人物の目の視点位置座標を算出する（ステップＳ５１０）。この動作は、図９のステップＳ３１６の内容と同様であるため、説明を省略する。ここで、預金者の目の視点位置座標を算出しないようにしてもよく、このようにすることで、不必要な目の追尾を行って、リソースを無駄に消費することが防げる。続いて、カメラ制御部２１は、算出した視点位置座標を制御装置１０に送信する。

一方、制御装置１０の制御部１１は、預金者以外の目の視点位置座標を取得する（ステップＳ４１０）。

続いて制御部１１は、預金者以外の目の視点位置座標を記憶部１２に格納される表示部情報ＤＢ１２３の内容と照合し、預金者以外の第三者が暗証番号入力エリアを見ているか判定する（ステップＳ４１２）。

ここでステップＳ４１２の動作についてさらに説明する。図１３は、預金者以外の目の視点位置座標の移動の一例を示す図及び表である。図１３（ａ）は、表示装置３０の表示部３２に表示された暗証番号入力エリアの上に預金者以外の目の視点位置座標の移動をプロットした図である。図１３（ｂ）は、図１３（ａ）に示した視点位置座標を時刻と対応づけて示す表である。

図１３（ａ）において、表示部３２が水平方向のＨ軸と垂直方向のＶ軸とで定められる座標系として表されている。この座標系において表示部３２の左上隅が原点（Ｖ，Ｈ）＝（０，０）である。

網掛けされた四角形として表されるエリアは、暗証番号入力エリアを示している。暗証番号入力エリアは、その４隅の座標が（Ｖ，Ｈ）＝（１０，２０）、（１０，５０）、（３０，２０）、（３０，５０）である。

図１３（ａ）において、最初に算出された預金者以外の目の視点位置座標である初期視点位置４２が示されている。初期視点位置４２の座標は、（Ｖ，Ｈ）＝（５．０，１０．０）であり、図１３（ｂ）に示した表の２行目に対応している。図１３（ｂ）に示した表の２行目によれば、初期視点位置４２は、２０１５年８月５日２０時３２分３０秒の時点における視点位置座標（Ｖ，Ｈ）＝（５．０，１０．０）である。また、図１３（ｂ）において２行目の背景が網掛けとなっていないのは、２行目に示される座標が暗証番号入力エリアに入っていないことを示している。

初期視点位置４２から１秒後の２０１５年８月５日２０時３２分３１秒の時点で、１秒後の視点位置４３は（Ｖ，Ｈ）＝（１１．０，２２．０）に移動する（図１３（ｂ）の表の３行目）。１秒後の視点位置４３は、図１３（ａ）において、初期視点位置４２を始点とする矢印の先端に位置する点により示される。１秒後の視点位置４３は、暗証番号入力エリアに入っている。図１３（ｂ）の表の３行目の背景が網掛けとなっているのは、３行目に示される座標が暗証番号入力エリアに入っていることを示している。

この後、初期視点位置４２から９秒後の２０１５年８月５日２０時３２分３９秒の時点まで、１秒毎の視点位置座標が図１３（ａ）及び図１３（ｂ）に記載されている。これらの視点位置座標の移動の履歴は、カメラ２０のカメラ制御部２１が目を追尾して視点位置座標を算出し続けることにより得られる。制御装置１０はこれらの視点位置座標をカメラ２０から取得し、記憶部１２に格納する。

制御部１１は、記憶部１２に格納された視点位置座標に基づいて、預金者以外の第三者が暗証番号入力エリアを見ているか判定する。判定条件は、視点位置座標が１秒でも暗証番号入力エリアに入ることとしてもよいが、本実施形態においては、例えば、初期視点位置４２が算出された時刻から起算して１０秒間のうち、８秒以上の間、視点位置座標が暗証番号入力エリアに入っていることを条件とする。判定条件は、この例に限られるものではなく、適宜定められるものであり、所定の条件とすることができる。ここで制御部１１は、判定条件ＤＢ１２７に格納される閾値を所定の条件として参照してもよい。

図１２のフローチャートに戻って、預金者以外の第三者が暗証番号入力エリアを見ている場合（ステップＳ４１２：ＹＥＳ）、制御部１１は、出力装置５０に対して警告を出力する指示を送信する（ステップＳ４１４）。警告を出力する指示を取得した出力装置５０は、第三者による覗き見があったことを警告する内容を知らせるために、音声若しくは警告音、又は、光などを発する。その後、制御部１１はステップＳ４１６に進む。預金者以外の第三者が暗証番号入力エリアを見ていない場合（ステップＳ４１２：ＮＯ）、制御部１１は何もせずにステップＳ４１６に進む。

続いて制御部１１は、暗証番号の入力が完了したか判定する（ステップＳ４１６）。暗証番号の入力が完了していない場合（ステップＳ４１６：ＮＯ）、引き続き目の監視をすることが必要であるので、制御部１１はステップＳ４０４に戻る。暗証番号の入力が完了した場合（ステップＳ４１６：ＹＥＳ）、制御部１１は暗証番号入力を終了させ（ステップＳ４１８）、カメラ２０及び表示装置３０に対して暗証番号入力の終了を通知する。

カメラ２０のカメラ制御部２１は、制御装置１０から暗証番号入力の終了が通知されたか判定する（ステップＳ５１６）。暗証番号入力の終了が通知された場合（ステップＳ５１６：ＹＥＳ）、カメラ制御部２１は、目の監視を終了する（ステップＳ５１８）。暗証番号入力の終了が通知されていない場合（ステップＳ５１６：ＮＯ）、カメラ制御部２１は、ステップＳ５０４に戻って目の監視を継続する。

表示装置３０の表示制御部３１は、制御装置１０から暗証番号入力の終了が通知されたか判定する（ステップＳ６１６）。暗証番号入力の終了が通知された場合（ステップＳ６１６：ＹＥＳ）、表示制御部３１は、暗証番号入力画面を終了する（ステップＳ６１８）。暗証番号入力の終了が通知されていない場合（ステップＳ６１６：ＮＯ）、表示制御部３１は、ステップＳ６０４に戻って入力受付の状態を継続する。

以上、本変形例においては、暗証番号の入力画面における操作の覗き見を検出することについて説明してきた。本変形例のような構成とすることにより、表示されている機密情報自体の覗き見だけではなく、表示と操作の組合せにより示される機密情報の覗き見も検出することができる。また、本変形例で例示した暗証番号の入力操作に限られず、ＡＴＭにおける振り込み操作を行う際に入力する氏名、電話番号、振込先口座などの個人情報を入力する操作についても本変形例が適用されうる。

（変形例３）
本実施形態においては、制御装置１０が機密情報を表示させていたが、変形例３では、機密情報を閲覧するためのＰＣが、制御装置１０とは別のものである場合について説明する。

図１４は、変形例３に係る視線援用リスク低減システム１の構成を示す図である。図１に示した構成とは、制御部１１に閲覧ＰＣ６０が接続され、表示装置３０は閲覧ＰＣ６０からの出力を表示する点で異なる。

本変形例において、閲覧ＰＣ６０には、機密情報に相当する会員情報ＤＢ１２５が格納されている。閲覧ＰＣ６０は、制御装置１０を介さずに、会員情報ＤＢ１２５の内容を表示装置３０に表示させることができる。この場合、制御装置１０は、情報の表示を行わず、情報の覗き見を検知することのみ行う。

ユーザアカウントＤＢ１２１、識別番号ＤＢ１２２、表示部情報ＤＢ１２３、及び行列設定ＤＢ１２４の内容は、閲覧ＰＣ６０から予め設定されてもよいし、閲覧ＰＣ６０が会員情報ＤＢ１２５の内容を表示装置３０に表示させる毎に、制御装置１０に送信してもよい。閲覧ＰＣ６０は、制御装置１０の記憶部１２に格納されている表示部情報ＤＢ１２３に対応する情報を制御装置１０に送信する。このようにすれば、制御装置１０は、機密情報に相当する情報が表示される位置だけを取得でき、機密情報が覗き見られたか判定することができる。

以上、本変形例においては、情報を表示する機能と覗き見を検知する機能とを別々の装置に実行させる構成について説明した。このようにすることで、覗き見を検知する装置を情報閲覧端末に外付けでき、システム構成が容易になる。

本発明を図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本発明の範囲に含まれることに留意されたい。

１ 視線援用リスク低減システム
１０ 制御装置
１１ 制御部
１２ 記憶部
１２１ ユーザアカウントＤＢ
１２２ 識別番号ＤＢ
１２３ 表示部情報ＤＢ
１２４ 行列設定ＤＢ
１２５ 会員情報ＤＢ
１２６ プログラム
１２７ 判定条件ＤＢ
１３ 通信部
２０ カメラ
２１ カメラ制御部
２２ 撮像部
３０ 表示装置
３１ 表示制御部
３２ 表示部
３３ 入力部
４０ ユーザの目
４１ 第三者の目
４２ 初期視点位置
４３ １秒後の視点位置
５０ 出力装置
６０ 閲覧ＰＣ

Claims (6)

1. 閲覧制限情報を表示させる表示装置と、前記表示装置の表示内容を視認する人物が含まれる画像を取得する撮像部と前記画像に含まれる前記人物の目を識別して前記人物の目の識別番号を生成するカメラ制御部とを有するカメラと、制御部と記憶部とを有する制御装置とを備える視線援用リスク低減システムであって、
   前記記憶部は、前記閲覧制限情報を閲覧できる閲覧可能ユーザと、前記閲覧可能ユーザの目の識別番号とを対応づけて登録する識別番号データベースを格納し、
   前記制御部は、
   前記表示装置から前記閲覧制限情報が表示されている範囲を取得し、
   前記カメラから前記人物の目の識別番号を取得し、
   前記人物の目の識別番号が、前記識別番号データベースに登録される前記閲覧可能ユーザの目の識別番号と一致するか判定し、
   前記人物の目の識別番号が前記閲覧可能ユーザの目の識別番号と一致しない場合、前記画像を用いて前記人物の視線が到達する前記表示装置における座標を視点位置座標として算出し、
   前記閲覧制限情報が表示されている範囲に前記視点位置座標が含まれる場合、前記人物が前記閲覧制限情報を見たと判定して判定結果を出力する
   視線援用リスク低減システム。
2. 前記人物が前記閲覧制限情報を見たと判定した場合、前記制御部は、前記表示装置に警告する内容を表示させる、又は／及び、前記表示装置に前記閲覧制限情報の表示を制限させる、請求項１に記載の視線援用リスク低減システム。
3. 音又は光を発する出力装置を更に備え、
   前記人物が前記閲覧制限情報を見たと判定した場合、前記制御部は、前記出力装置に警告する内容を知らせるための音声若しくは警告音又は／及び光を出力させる、請求項１又は２に記載の視線援用リスク低減システム。
4. 情報に対応づけられる機微度、機密度、又はプライバシー保護レベルに基づき、前記情報が前記閲覧制限情報にあたるか判定される、請求項１乃至３いずれか一項に記載の視線援用リスク低減システム。
5. 閲覧制限情報を表示させる表示装置と、前記表示装置の表示内容を視認する人物が含まれる画像を取得し、前記画像に含まれる前記人物の目を識別して前記人物の目の識別番号を生成するカメラとに接続され、制御部と記憶部とを有する視線援用リスク低減装置であって、
   前記記憶部は、前記閲覧制限情報を閲覧できる閲覧可能ユーザと、前記閲覧可能ユーザの目の識別番号とを対応づけて登録する識別番号データベースを格納し、
   前記制御部は、
   前記表示装置から前記閲覧制限情報が表示されている範囲を取得し、
   前記カメラから前記人物の目の識別番号を取得し、
   前記人物の目の識別番号が、前記識別番号データベースに登録される前記閲覧可能ユーザの目の識別番号と一致するか判定し、
   前記人物の目の識別番号が前記閲覧可能ユーザの目の識別番号と一致しない場合、前記画像を用いて前記人物の視線が到達する前記表示装置における座標を視点位置座標として算出し、
   前記閲覧制限情報が表示されている範囲に前記視点位置座標が含まれる場合、前記人物が前記閲覧制限情報を見たと判定して判定結果を出力する
   視線援用リスク低減装置。
6. 閲覧制限情報を表示させる表示装置と、前記表示装置の表示内容を視認する人物が含まれる画像を取得し、前記画像に含まれる前記人物の目を識別して前記人物の目の識別番号を生成するカメラとに接続され、制御部と記憶部とを有する制御装置で実行される視線援用リスク低減方法であって、
   前記記憶部が、前記閲覧制限情報を閲覧できる閲覧可能ユーザと、前記閲覧可能ユーザの目の識別番号とを対応づけて登録する識別番号データベースを格納するステップと、
   前記制御部が、前記表示装置から前記閲覧制限情報が表示されている範囲を取得するステップと、
   前記制御部が、前記カメラから前記人物の目の識別番号を取得するステップと、
   前記制御部が、前記人物の目の識別番号が、前記識別番号データベースに登録される前記閲覧可能ユーザの目の識別番号と一致するか判定するステップと、
   前記人物の目の識別番号が前記閲覧可能ユーザの目の識別番号と一致しない場合、前記制御部が、前記画像を用いて前記人物の視線が到達する前記表示装置における座標を視点位置座標として算出するステップと、
   前記閲覧制限情報が表示されている範囲に前記視点位置座標が含まれる場合、前記制御部が、前記人物が前記閲覧制限情報を見たと判定して判定結果を出力するステップと
   を含む視線援用リスク低減方法。

Images