JP2018041202A - 操作者認証システム、および、操作者認証方法 - Google Patents

Abstract

【課題】ユーザ端末の操作について正当なユーザ本人による操作であることを確認する。【解決手段】操作者認証システムは、生体認証を行う認証装置１０と、ＥＭＧ装置２０と、ユーザ端末３０とを備える。操作者認証システムは、ユーザのキーイベントと、ＥＭＧ装置２０で取得したユーザ（装着者）の腕または手のＥＭＧデータとを照合することにより、ユーザ端末３０のキー操作者がＥＭＧ装置２０の装着者と同一人物であることを確認する。また操作者認証システムは、ＥＭＧ装置２０の装着者が正当なユーザであることを、認証装置１０によるユーザの生体認証の結果と、認証装置１０のユーザの脈波データとＥＭＧ装置２０の装着者の脈波データとの照合結果により確認する。【選択図】図１

Description

本発明は、操作者認証システム、および、操作者認証方法に関する。

従来、ユーザの本人性を確認するさまざまな認証技術がある。この認証技術は、ＩＤ／パスワード等を用いる知識認証と、ＩＣカード等を用いる所有物認証と、正当なユーザの身体情報を用いる生体認証との３種類に大別される。このうち、知識認証と所有物認証は、ＩＤ／パスワードやＩＣカードを他人に譲渡または貸与することで、正当なユーザ本人との共謀による身代わりが簡単にできてしまう。これでは、組織内部に共謀者がいる場合の不正行為への対抗手段とはなりえない。一方、生体認証は、正当なユーザ本人以外では認証されないので、組織内部の共謀者がいても身代わりを排除できる。

特許第５５９３２８０号公報 特許第５３０５２８９号公報

しかし、生体認証は、当該被認証者の行為、例えば、端末の操作等について、本当に被認証者本人による行為か否かまでは確かめることはできない。例えば、正当なユーザの生体認証後、別の人物（共謀者）が端末等を操作して不正行為を行った場合、これを検知することができない。そこで、本発明は、前記した問題を解決し、端末の操作について正当なユーザ本人による操作であることを確認することを課題とする。

前記した課題を解決するため、本発明は、ユーザ端末のキー操作の操作者認証システムであって、ＥＭＧ装置の装着者の手または腕の筋肉の活動電位を取得するＥＭＧ装置と、前記ＥＭＧ装置の装着者の生体認証の結果により前記装着者が正当なユーザであるか否かを判定する第１の判定部と、前記ユーザ端末のキー操作によるキーイベントを取得するキーイベント取得部と、前記キーイベントの示す各キーの操作と、前記ＥＭＧ装置の装着者の手または腕の筋肉の活動電位の示す各キーの操作との一致率が所定値以上である場合、前記ユーザ端末のキー操作を正当なユーザによる操作と判定する第２の判定部とを備えることを特徴とする。

本発明によれば、端末の操作について正当なユーザ本人による操作であることを確認することができる。

図１は、本実施形態の操作者認証システムの概要を説明するための図である。 図２は、図１の操作者認証システムにおけるキーイベントとＥＭＧパターンとの対応を説明するための図である。 図３は、図１の認証装置の構成例を示す図である。 図４は、図３の認証装置の具体例を示す図である。 図５は、図１のＥＭＧ装置の構成例を示す図である。 図６は、図５のＥＭＧ装置の具体例を示す図である。 図７は、図１のユーザ端末の構成例を示す図である。 図８は、キーの押し（Down）および戻り（Up）とＥＭＧパターンとの対応を説明するための図である。 図９は、図１の操作者認証システムの処理手順の例を示すシーケンス図である。 図１０は、キーの連打について説明するための図である。 図１１は、操作者認証プログラムを実行するコンピュータを示す図である。

（実施形態）
以下、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。まず、図１を用いて、本実施形態の操作者認証システム（システム）の概要を説明する。システムは、例えば、認証装置１０と、ＥＭＧ（ElectroMyoGraph）装置２０と、ユーザ端末３０とを備える。

認証装置１０は、ユーザの生体情報を用いてユーザの認証（例えば、静脈認証）を行い、また脈波センサにより当該ユーザの脈波を取得する。ＥＭＧ装置２０は、ＥＭＧ装置２０の装着者（ユーザ）の筋肉（例えば、手または腕の筋肉）の活動電位（ＥＭＧ）を取得し、また脈波センサにより装着者の脈波を取得する。ユーザ端末３０は、ユーザのキー操作に基づき、様々な処理を実行する。このユーザ端末３０は、ユーザのキー操作のキーイベントを記録する。

なお、以下、認証装置１０は、ユーザの生体情報として静脈パターンを用いる場合を例に説明するがこれに限定されない。また、ＥＭＧ装置２０は、自身のＥＭＧ装置２０のユーザと認証装置１０のユーザとの同一性を確認するため、所定期間における両装置のユーザの脈波を用いる場合を例に説明するがこれに限定されない。例えば、ＥＭＧ装置２０は、両装置のユーザの脈波に代えて、ユーザの心電図や振動状態等の生体情報を用いてもよい。また、ＥＭＧ装置２０は、例えば、ユーザの手または腕に装着されるが、ユーザの片手のみに装着されてもよいし、両手に装着されてもよい。

認証装置１０でユーザの生体認証で認証に成功し、また認証装置１０およびＥＭＧ装置２０で測定された脈波の照合によりＥＭＧ装置２０のユーザが、認証装置１０の被認証者（ユーザ）と同一人物であることが確認できると、ユーザ端末３０はユーザのキー操作を受け付けるものとする。

例えば、認証装置１０は、静脈認証により被認証者が正当なユーザであることを確認する。また、認証装置１０およびＥＭＧ装置２０はそれぞれユーザの脈波を測定する。そして、システムは、認証装置１０の脈波データ（脈波２）と、自身で測定した脈波データ（脈波１）との脈波の発生時刻照合による人物（ユーザ）の同一性判定を行う。

すなわち、システムは、認証装置１０で測定した脈波データと、ＥＭＧ装置２０で測定した脈波データとを照合し、同じ時刻に同じ脈波が発生しているか否かを判定する。そして、システムは、同じ時刻に同じ脈波が発生していれば、認証装置１０のユーザ（被認証者）とＥＭＧ装置２０のユーザ（ＥＭＧ装置装着者）とは同一人物と判定する。これにより、システムは、ＥＭＧ装置装着者が正当なユーザであることを確認できる。

上記のようにして、システムが、ＥＭＧ装置装着者は正当なユーザであることを確認できると、ユーザ端末３０はユーザのキーイベントを記録し、また、ＥＭＧ装置２０はユーザのＥＭＧデータを取得する。そして、システムは、ＥＭＧ装置２０のＥＭＧデータ（ＥＭＧ）と、キーイベントとのキー操作の発生時刻照合による人物（ユーザ）の同一性判定を行う。つまり、システムは、ＥＭＧ装置２０で測定したＥＭＧデータの示すキー操作と、ユーザ端末３０で測定したキーイベントの示すキー操作とで、同じ時刻に同じキー操作が発生していれば、ＥＭＧ装置２０のユーザ（ＥＭＧ装置装着者）とユーザ端末３０のユーザ（キー操作者）とは同一人物と判定する。

例えば、システムは、図２に示すように、ユーザ端末３０で測定したキーイベントの示すキー操作（例えば、「ａ，ｇ，ｅ」のキー操作）と、ＥＭＧ装置２０で測定したＥＭＧパターン（チャネル１，２，…，ｋそれぞれのＥＭＧの波形の組み合わせ）の示すキー操作とで、同じ時刻に同じキー操作（例えば、「ａ，ｇ，ｅ」のキー操作）が発生しているか否かを判定する。そして、システムは、同じ時刻に同じキー操作が発生していれば、ＥＭＧ装置２０のユーザ（ＥＭＧ装置装着者）とユーザ端末３０のユーザ（キー操作者）とは同一人物と判定する。これにより、システムは、ユーザ端末３０の操作が認証装置１０により認証されたユーザ（正当なユーザ）による操作であることを確認することができる。

上記のシステムによれば、ユーザ端末３０の重要な操作等について、生体認証等により認証されたユーザ（正当なユーザ）による操作であることを確認することができる。

（認証装置）
次に、図３を用いて、認証装置１０の構成を説明する。認証装置１０は、静脈画像取得部１１と、第１の脈波データ取得部１２と、記憶部１３と、制御部１４と、通信部１５とを備える。

静脈画像取得部１１は、認証装置１０のユーザの静脈画像（静脈パターン）を取得する。例えば、静脈画像取得部１１は、認証装置１０の静脈認証用センサ（図４参照）にユーザの指が置かれたことを検知すると、静脈認証用センサにより指の静脈パターンを取得する。

第１の脈波データ取得部１２は、所定期間、認証装置１０のユーザの脈波データを取得する。例えば、第１の脈波データ取得部１２は、認証装置１０の静脈認証用センサ（図４参照）にユーザの指が置かれたことを検知すると、光電式脈波センサ（図４参照）により所定期間、ユーザの脈波データを取得する。

記憶部１３は、制御部１４が処理を実行する際に参照する各種データを記憶する。例えば、記憶部１３は、ユーザの認証情報であるユーザ情報を記憶する。このユーザ情報は、例えば、ユーザの静脈パターン等を示した情報である。

制御部１４は、認証装置１０全体の制御を司る。通信部１５は、外部装置（例えば、ＥＭＧ装置２０）との間で有線または無線の通信を行うための通信インタフェースを司る。

制御部１４は、認証部１４１と、第１の脈波特徴量抽出部１４２と、第１のデータ送信部１４３とを備える。認証部１４１は、ユーザの生体情報を用いて、当該ユーザの認証を行う。例えば、認証部１４１は、静脈画像取得部１１で取得したユーザの静脈パターンと、記憶部１３のユーザ情報に登録される当該ユーザの静脈パターンとを照合することにより、当該ユーザの認証を行う。

第１の脈波特徴量抽出部１４２は、第１の脈波データ取得部１２で取得した脈波データの特徴量を抽出する。例えば、第１の脈波特徴量抽出部１４２は、第１の脈波データ取得部１２で取得した所定期間の脈波データから、当該脈波データにおける脈波の波ごとの開始時刻を抽出した時系列データを作成する。

なお、認証装置１０で取得した脈波データの特徴量の抽出は、ＥＭＧ装置２０やユーザ端末３０で行ってもよい。この場合、認証装置１０は、当該認証装置１０で取得した脈波データ（生データ）をＥＭＧ装置２０やユーザ端末３０へ送信する。

第１のデータ送信部１４３は、認証部１４１による認証の結果と、第１の脈波特徴量抽出部１４２で抽出した脈波特徴量とを、通信部１５経由でＥＭＧ装置２０へ送信する。なお、このとき第１のデータ送信部１４３は、認証装置１０の署名を付与して送信してもよい。

上記の認証装置１０の具体例を説明する。例えば、認証装置１０の静脈画像取得部１１は、図４に示すような静脈認証用センサを備え、この静脈認証用センサは、ユーザの指が挿入されると、当該ユーザの指の部分の静脈パターンを取得する。また、例えば、第１の脈波データ取得部１２は、図４に示すような光電式脈波センサを備え、この光電式脈波センサは、上記の静脈認証用センサを覆うようにユーザの指が１本のみ入るよう配置される。認証装置１０をこのような構成とすることで、認証装置１０は、静脈パターンの被認証者自身の脈波データを確実に取得することができる。

また、認証装置１０は、所定期間、上記の静脈認証用センサ（静脈画像取得部１１）で静脈の動画を撮影し、撮影した動画の示す静脈の収縮の様子から、脈波データを推測してもよい。このようにすることで、認証装置１０は静脈画像取得部１１とは別に、第１の脈波データ取得部１２を用意する必要がなくなる。

（ＥＭＧ装置）
次に、図５を用いて、ＥＭＧ装置２０の構成を説明する。ＥＭＧ装置２０は、ユーザの手や腕に装着され、ユーザの手や腕の筋肉の活動電位を取得する。このＥＭＧ装置２０は、活動電位取得部２１と、第２の脈波データ取得部２２と、記憶部２３と、制御部２４と、通信部２５とを備える。

活動電位取得部２１は、ＥＭＧ装置２０のユーザの手や腕の筋肉の活動電位（ＥＭＧデータ）を取得する。この活動電位取得部２１は、例えば、１または複数チャネルのＥＭＧセンサにより実現される。

第２の脈波データ取得部２２は、所定期間、ＥＭＧ装置２０のユーザの脈波データを取得する。例えば、第２の脈波データ取得部２２は、ＥＭＧ装置２０が装着されたことを検知すると、所定期間、ユーザの脈波データを取得する。

記憶部２３は、制御部２４が処理を実行する際に参照する各種データを記憶する。また、記憶部２３は、制御部２４で取得したユーザの脈波データやＥＭＧデータ等を一時的に記憶する。

制御部２４は、ＥＭＧ装置２０全体の制御を司る。通信部２５は、外部装置（例えば、認証装置１０やユーザ端末３０）との間で有線または無線の通信を行うための通信インタフェースを司る。

制御部２４は、第２の脈波特徴量抽出部２４１と、脈波照合部（第１の判定部）２４２と、ＥＭＧ特徴量抽出部２４３と、第２のデータ送信部２４４とを備える。

第２の脈波特徴量抽出部２４１は、第２の脈波データ取得部２２で取得した脈波データの特徴量を抽出する。例えば、第２の脈波特徴量抽出部２４１は、第１の脈波特徴量抽出部１４２と同様に、所定期間における脈波データの特徴量（脈波特徴量）として、脈波の波ごとの開始時刻を抽出した時系列データを作成する。

脈波照合部２４２は、認証装置１０のユーザの脈波と、ＥＭＧ装置２０のユーザの脈波との照合を行う。具体的には、脈波照合部２４２は、まず、通信部２５経由で、認証装置１０から、認証装置１０によるユーザの認証の結果と、認証装置１０のユーザの脈波特徴量とを受信する。そして、脈波照合部２４２は、同時刻における、認証装置１０のユーザの脈波特徴量と、第２の脈波特徴量抽出部２４１で抽出したＥＭＧ装置２０のユーザの脈波特徴量との照合を行う。

一例を挙げると、脈波照合部２４２は、同時刻における、認証装置１０のユーザの脈波特徴量と、第２の脈波特徴量抽出部２４１で抽出したＥＭＧ装置２０のユーザの脈波特徴量とで対応する脈波の開始時刻を照合する。

そして、例えば、照合の結果、脈波の一致率が所定値以上であり、かつ、認証装置１０から受信したユーザの認証の結果が、当該ユーザが正当なユーザであることを示すものであれば、脈波照合部２４２は、ＥＭＧ装置２０のユーザは正当なユーザであると判定する。一方、脈波の一致率が所定値未満である場合、または、認証装置１０から受信したユーザの認証の結果が、当該ユーザが正当なユーザであることを示すものでなければ、脈波照合部２４２は、ＥＭＧ装置２０のユーザは正当なユーザではないと判定する。

ＥＭＧ特徴量抽出部２４３は、活動電位取得部２１で取得されたＥＭＧデータの特徴量を抽出する。例えば、ＥＭＧ特徴量抽出部２４３は、脈波照合部２４２によりＥＭＧ装置２０のユーザは正当なユーザであると判定された場合、活動電位取得部２１で取得されたＥＭＧデータの特徴量を抽出する。

ここで、ＥＭＧ特徴量抽出部２４３は、ＥＭＧデータの特徴量の抽出のため、事前に、図８に示すようにキーの押下（Down）の前、および、キーの戻り（Up）の後の所定時間におけるＥＭＧパターンの特徴を学習しておく。なお、図８においては、説明を簡単にするため、１チャネルのＥＭＧパターンを示しているが、複数チャネルのＥＭＧパターンであってももちろんよい。そして、ＥＭＧ特徴量抽出部２４３は、活動電位取得部２１で取得された１または複数チャネルのＥＭＧデータ（ＥＭＧパターン）に対して、上記の事前学習の結果を用いて、キーの種別ごとの押下確率の計算結果を示したデータを作成する。また、ＥＭＧ特徴量抽出部２４３は、それぞれのキーの押下および戻り時刻も計算し、その計算結果も当該データに含める。

なお、ＥＭＧ特徴量抽出部２４３は、ＥＭＧデータの特徴量の抽出を精度よく行うため、活動電位取得部２１で取得したＥＭＧデータの増幅や、ノイズ除去等も行うようにしてもよい。

さらに、ＥＭＧ装置２０は、ユーザのＥＭＧデータの特徴量を抽出する前に、当該ユーザの活動特性やＥＭＧ装置２０の装着状態に依存したＥＭＧデータの違いを調整する所定のキャリブレーションを行ってもよい。

例えば、ＥＭＧ装置２０は、ＥＭＧデータの特徴量を抽出する前に、ユーザに所定のキー操作を行わせ、当該キー操作に基づくＥＭＧデータを取得しておく。そして、ＥＭＧ装置２０は、このＥＭＧデータに基づき、ＥＭＧ特徴量抽出部２４３が、キーの種別ごとの押下確率の計算や、キーの押下および時刻の計算を行う際に用いるパラメータの値を調整する。このようにすることで、ＥＭＧ特徴量抽出部２４３は、ＥＭＧデータに基づくキーの種別ごとの押下確率や、キーの押下および戻り時刻を精度よく計算することができる。

なお、このＥＭＧデータの特徴量の抽出は、ユーザ端末３０で行ってもよい。この場合、ＥＭＧ装置２０は、ＥＭＧデータ（生データ）をユーザ端末３０へ送信すればよい。

第２のデータ送信部２４４は、脈波照合部２４２による判定結果（例えば、認証装置１０から受信したユーザの認証の結果、および、認証装置１０のユーザおよびＥＭＧ装置２０のユーザの脈波特徴量の照合結果）を通信部２５経由でユーザ端末３０へ送信する。また、第２のデータ送信部２４４は、ＥＭＧ特徴量抽出部２４３で抽出したＥＭＧデータの特徴量を通信部２５経由でユーザ端末３０へ送信する。なお、このとき第２のデータ送信部２４４は、ＥＭＧ装置２０の署名を付与して送信してもよい。

ＥＭＧ装置２０の具体例を説明する。ＥＭＧ装置２０は、例えば、図６に示すように、ユーザの手の甲および手首を覆うグローブ型の形状とする。また、活動電位取得部２１は、筋肉の活動電位を取得するための電極を備える。この電極は、例えば、図６に示すように、手の甲側の５指それぞれを動かす筋肉の上に配置される。また、第２の脈波データ取得部２２は、光電式脈波センサを備える。この光電式脈波センサは、例えば、図６に示すように、ＥＭＧ装置２０のユーザの皮膚と接する部分（例えば、手首近傍）に配置される。このような構成とすることで、ＥＭＧ装置２０は、ユーザのキー操作におけるＥＭＧデータおよび脈波データを精度よく取得することができる。

（ユーザ端末）
次に、図７を用いて、ユーザ端末３０の構成を説明する。ユーザ端末３０は、例えば、キーボード（図示省略）等のキー操作に基づき、ソフトウェアやハードウェアを動作させる。このときユーザ端末３０は、キー操作に伴うキーの押しおよび戻りのイベント（キーイベント）を検出し、タイムスタンプとともに記録する。また、ユーザ端末３０は、ＥＭＧ装置２０からＥＭＧデータの特徴量を受信し、上記のキーイベントと照合することにより、ＥＭＧ装置２０のユーザとユーザ端末３０のユーザとが同一人物か否かを判定する。

つまり、ユーザ端末３０は、ユーザの手または腕の筋肉の動きが、ユーザ端末３０のキー操作とリンクしているかにより、ＥＭＧ装置２０のユーザとユーザ端末３０のユーザとが同一人物か否かを判定する。

このユーザ端末３０は、キーイベント取得部３１と、入出力部３２と、記憶部３３と、制御部３４と、通信部３５とを備える。

キーイベント取得部３１は、ユーザ端末３０のユーザのキー操作によるキーイベントを取得する。このキーイベントは、基本的に、キーの押し（Down）および戻り（Up）のペアからなる（図８参照）。

入出力部３２は、外部装置（例えば、ユーザ端末３０に接続される表示装置、キーボード、マウス等）との間のデータ入出力のインタフェースを司る。記憶部３３は、制御部３４が処理を実行する際に参照する各種データを記憶する。例えば、記憶部３３は、キーイベント取得部３１で取得したキーイベントや、ＥＭＧ装置２０から受信したＥＭＧデータの特徴量等を一時的に記憶する。

制御部３４は、ユーザ端末３０全体の制御を司る。通信部３５は、外部装置（例えば、ＥＭＧ装置２０）との間で有線または無線の通信を行うための通信インタフェースを司る。

制御部３４は、データ受信部３４１と、照合部（第２の判定部）３４２と、表示処理部３４３とを備える。

データ受信部３４１は、ＥＭＧ装置２０から、認証装置１０のユーザの認証の結果、および、認証装置１０のユーザおよびＥＭＧ装置２０のユーザの脈波特徴量の照合結果を受信する。また、データ受信部３４１は、ＥＭＧ装置２０からユーザのＥＭＧデータの特徴量を受信する。

照合部３４２は、キーイベント取得部３１で取得したキーイベントの示す各キーの操作と、データ受信部３４１で受信したＥＭＧデータの特徴量の示す各キーの操作とを照合し、両者の一致率を計算する。そして、照合部３４２は、両者の一致率が所定値以上であれば、ＥＭＧ装置２０のユーザと、ユーザ端末３０のキー操作を行ったユーザとが同一人物と判定する。つまり、照合部３４２は、ユーザ端末３０のキー操作は正当なユーザによる操作と判定する。一方、両者の一致率が所定値未満であれば、照合部３４２は、ＥＭＧ装置２０のユーザと、ユーザ端末３０のキー操作を行ったユーザとが同一人物ではないと判定する。つまり、照合部３４２は、ユーザ端末３０のキー操作は正当なユーザによる操作ではないと判定する。

なお、照合部３４２は、上記の各キーの操作の一致率の計算を、例えば、所定期間ごとに行ってもよいし、記憶部３３に所定量のキーイベントが蓄積されたタイミングで行ってもよい。

表示処理部３４３は、制御部３４から出力された情報を入出力部３２経由で表示装置（図示省略）に表示する。

例えば、表示処理部３４３は、データ受信部３４１で受信した、認証装置１０によるユーザの認証結果と、認証装置１０のユーザおよびＥＭＧ装置２０のユーザの脈波特徴量の照合結果とを表示する。また、認証装置１０によるユーザの認証結果が認証成功を示すものであり、かつ、認証装置１０のユーザおよびＥＭＧ装置２０のユーザの脈波特徴量の照合結果が一致を示すものである場合、表示処理部３４３は、ユーザにキー操作の開始を指示するメッセージを表示する。一方、認証装置１０によるユーザの認証結果が認証失敗を示すものである場合、または、認証装置１０のユーザおよびＥＭＧ装置２０のユーザの脈波特徴量が不一致を示すものである場合、表示処理部３４３は、その旨を示すメッセージを表示する。

また、表示処理部３４３は、照合部３４２による判定結果、すなわち、ユーザ端末３０のキー操作が正当なユーザによる操作か否かの判定結果を表示する。

（処理手順）
次に、図９を用いて、システムの処理手順例を説明する。まず、認証装置１０の認証部１４１はユーザの生体情報（例えば、静脈パターン）を用いて、当該ユーザの認証を行う（Ｓ１）。その後、第１の脈波データ取得部１２は、所定期間、認証装置１０のユーザの脈波データを取得し（Ｓ２：脈波取得）、第１の脈波特徴量抽出部１４２は、第１の脈波データ取得部１２で取得した脈波データの特徴量（脈波特徴量）を抽出する（Ｓ３）。そして、第１のデータ送信部１４３は、Ｓ１の認証結果と、Ｓ３で抽出した脈波特徴量とをＥＭＧ装置２０へ送信する（Ｓ４）。

また、ＥＭＧ装置２０の第２の脈波データ取得部２２は、ユーザがＥＭＧ装置２０を装着したことを検知すると、所定期間、ユーザの脈波データを取得する（Ｓ５：脈波取得）。そして、第２の脈波特徴量抽出部２４１は、第２の脈波データ取得部２２で取得した脈波データの特徴量（脈波特徴量）を抽出する（Ｓ６）。

Ｓ６の後、ＥＭＧ装置２０の脈波照合部２４２は、Ｓ４で認証装置１０から送信された脈波特徴量と、Ｓ６で抽出した脈波特徴量とを照合する（Ｓ７：脈波照合）。そして、第２のデータ送信部２４４は、Ｓ４で認証装置１０から送信されたユーザの認証結果およびＳ７の脈波の照合結果をユーザ端末３０へ送信する（Ｓ８）。

ユーザ端末３０の表示処理部３４３は、Ｓ８で送信された認証結果および脈波の照合結果を表示する（Ｓ９）。ここで、Ｓ８で送信された認証結果が認証成功を示し、かつ、脈波の照合結果が、認証装置１０およびＥＭＧ装置２０のユーザの脈波特徴量が一致することを示す場合、表示処理部３４３は、ユーザに対するキー操作の開始指示を表示する（Ｓ１０）。これによりユーザは、ユーザ端末３０へのキー操作（入力）を開始し、ＥＭＧ装置２０の活動電位取得部２１は、ユーザのキー操作時の手または腕の筋活動の活動電位（ＥＭＧデータ）を取得する（Ｓ１１）。また、ユーザ端末３０のキーイベント取得部３１は、ユーザのキー操作によるキー押し（Ｓ１２）等のキーイベントを取得する。

Ｓ１１の後、ＥＭＧ装置２０のＥＭＧ特徴量抽出部２４３は、Ｓ１１で取得したＥＭＧデータの特徴量（ＥＭＧ特徴量）を抽出し（Ｓ１３）、第２のデータ送信部２４４は、ＥＭＧ特徴量をユーザ端末３０へ送信する（Ｓ１４）。

Ｓ１４の後、ユーザ端末３０の照合部３４２は、キーイベント取得部３１で取得したキーイベントの示す各キーの操作と、ＥＭＧ装置２０から受信したＥＭＧデータの特徴量の示す各キーの操作とを照合する（Ｓ１５：キーイベント‐ＥＭＧ特徴量の照合）。

すなわち、照合部３４２は、キーイベント取得部３１で取得したキーイベントの示す各キーの操作と、ＥＭＧ装置２０から受信したＥＭＧデータの特徴量の示す各キーの操作との一致率が所定値以上であれば、ＥＭＧ装置２０のユーザと、ユーザ端末３０のキー操作を行ったユーザとが同一人物と判定する。つまり、照合部３４２は、ユーザ端末３０のキー操作は正当なユーザによる操作と判定する。一方、両者の一致率が所定値未満であれば、照合部３４２は、ＥＭＧ装置２０のユーザと、ユーザ端末３０のキー操作を行ったユーザとが同一人物ではないと判定する。つまり、照合部３４２は、ユーザ端末３０のキー操作は正当なユーザによる操作ではないと判定する。そして、Ｓ１５の後、表示処理部３４３は、Ｓ１４の照合結果を表示する（Ｓ１６）。

以上説明したシステムによれば、ユーザ端末３０のキー操作が正当なユーザによる操作であることを確認することができる。

なお、Ｓ１５で照合部３４２が、ユーザ端末３０のキー操作は正当なユーザによる操作と判定した場合、制御部３４は、その後の当該ユーザのキー操作を受け付け、Ｓ１５で照合部３４２が、ユーザ端末３０のキー操作は正当なユーザによる操作ではないと判定した場合、制御部３４は、その後の当該ユーザのキー操作を受け付けないようにしてもよい。

（その他の実施形態）
なお、ユーザのキー操作は、ユーザ個人のキー操作の癖やスキルにも依存するが、数回〜数十回のひとまとまりの打鍵シーケンス（以下、「連打」と呼ぶ）として、連続的に行われることが少なくない。よって、システムは、例えば、所定時間よりも短いインターバル時間の打鍵シーケンスを発見した場合、この打鍵シーケンスを連打と判定してもよい。

一例を挙げると、システムは、図１０に示す、キーイベントにおいて打鍵のインターバル時間が最少インターバル時間よりも短い、符号７１，７２に示す打鍵シーケンスを連打と判定する。そして、システムは、キーイベントを、キーの押し（Down）および戻り（Up）だけでなく、連打開始、連打中、連打終了を加えて４種類に分類してもよい。

例えば、システムは、図１０の符号７１に示す打鍵シーケンスにおけるキーの押し（Down）および戻り（Up）を、連打開始の押し（Down）、連打中の戻り（Up）、連打中の押し（Down）、連打終了の戻り（Up）の４種類に分類する。そして、システムは、ＥＭＧ装置２０で測定したＥＭＧデータの特徴量と、ユーザ端末３０で測定したキーイベントとの照合を行う際、上記の打鍵（キー操作）が連打か否か、また連打であれば、当該打鍵が連打開始の押し（Down）、連打中の戻り（Up）、連打中の押し（Down）および連打終了の戻り（Up）のいずれであるかを考慮して、照合を行ってもよい。

例えば、ＥＭＧ装置２０のＥＭＧ特徴量抽出部２４３は、ＥＭＧデータの特徴量を抽出する際、ＥＭＧデータの示す打鍵（キー操作）が連打か否か、また連打であれば、当該打鍵が連打開始の押し（Down）、連打中の戻り（Up）、連打中の押し（Down）および連打終了の戻り（Up）のいずれであるかを考慮して、キーの種別ごとの押下確率の計算やキーの押しおよび戻り時刻の計算を行う。そして、ユーザ端末３０は上記のようにして計算されたＥＭＧデータの特徴量を用いて、キーイベント取得部３１で取得されたキーイベントとの照合を行う。

このようにすることで、ユーザ端末３０は、ＥＭＧデータの示すキー操作と、キーイベントの示すキー操作とが一致しているか否かを精度よく判定することができる。その結果、ユーザ端末３０は、ＥＭＧ装置２０のユーザとユーザ端末３０のユーザとが同一人物か否かを精度よく判定することができる。

なお、ＥＭＧ装置２０は、脈波照合部２４２による認証装置１０およびＥＭＧ装置２０のユーザの脈波データとの照合の結果、脈波データの一致率が所定値未満であった場合、認証装置１０およびＥＭＧ装置２０によるユーザの脈波データの取得を継続させてもよい。そして、ＥＭＧ装置２０の脈波照合部２４２は、継続後の認証装置１０およびＥＭＧ装置２０によるユーザの脈波データを用いて、脈波データの照合を行うようにしてもよい。

このようにすることで、ＥＭＧ装置２０は、認証装置１０およびＥＭＧ装置２０のユーザの脈波データの取得期間が短かったため、脈波データの一致率が低くなってしまうことを避けることができる。その結果、ＥＭＧ装置２０は、ユーザの脈波データを用いて、認証装置１０およびＥＭＧ装置２０のユーザが同一人物か否かを判定する際、精度よく判定することができる。

なお、認証装置１０およびＥＭＧ装置２０によるユーザの脈波データの取得を継続する場合、ユーザ端末３０は、その旨を表示装置（図示省略）上に表示してもよい。このようにすることで、認証装置１０およびＥＭＧ装置２０が継続して脈波データを取得することをユーザに認識させることができる。

また、ＥＭＧ装置２０は、認証装置１０による生体認証の結果を用いてＥＭＧ装置２０の装着者（ユーザ）が正当なユーザか否かの確認を行うこととしたが、これに限定されない。例えば、ＥＭＧ装置２０が生体認証手段を備え、当該生体認証手段により、ＥＭＧ装置２０の装着者（ユーザ）が正当なユーザか否かの確認を行ってもよい。

また、システムは、ＥＭＧ装置２０に代えて、加速度センサ等を備えるリストバンド状のウェアラブルデバイスを用いてもよい。この場合、ユーザ端末３０は、当該ウェアラブルデバイスから加速度センサ等のデータを取得する。そして、ユーザ端末３０は、当該加速度センサ等のデータを、ウェアラブルデバイスの装着者の手または腕の動きを示すデータとして用いる。つまり、ユーザ端末３０は、キーイベント取得部３１で取得されたキーイベントの示す各キーの操作と、加速度センサ等のデータの示すウェラブルデバイスの装着者の各キーの操作との一致率が所定値以上である場合、ユーザ端末３０のキー操作を正当なユーザによる操作と判定する。このようにすることでも、システムは、ユーザ端末３０のキー操作が正当なユーザによる操作であることを確認することができる。なお、ウェアラブルデバイスの装着者の動きを示すデータであれば、上記の加速度センサのデータ以外にも、ジャイロセンサのデータや、地磁気センサのデータ等、他のデータを用いてもよい。

（プログラム）
また、上記の実施形態で述べたユーザ端末３０の機能を実現するプログラムを所望の情報処理装置（コンピュータ）にインストールすることによって実装できる。例えば、パッケージソフトウェアやオンラインソフトウェアとして提供される上記のプログラムを情報処理装置に実行させることにより、情報処理装置をユーザ端末３０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）等がその範疇に含まれる。また、ユーザ端末３０を、クラウドサーバに実装してもよい。

以下に、上記のプログラム（操作者認証プログラム）を実行するコンピュータの一例を説明する。図１１は、操作者認証プログラムを実行するコンピュータを示す図である。図１１に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図１１に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。前記した実施形態で説明した各種データや情報は、例えばハードディスクドライブ１０９０やメモリ１０１０に記憶される。

そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、操作者認証プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、操作者認証プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 認証装置
１１ 静脈画像取得部
１２ 第１の脈波データ取得部
２０ ＥＭＧ装置
２１ 活動電位取得部
２２ 第２の脈波データ取得部
３０ ユーザ端末
３１ キーイベント取得部
３２ 入出力部
１４１ 認証部
１４２ 第１の脈波特徴量抽出部
１４３ 第１のデータ送信部
２４１ 第２の脈波特徴量抽出部
２４２ 脈波照合部
２４３ ＥＭＧ特徴量抽出部
２４４ 第２のデータ送信部
３４２ 照合部
３４３ 表示処理部

Claims (6)

1. ユーザ端末のキー操作の操作者認証システムであって、
   ＥＭＧ装置の装着者の手または腕の筋肉の活動電位を取得するＥＭＧ装置と、
   前記ＥＭＧ装置の装着者の生体認証の結果により前記装着者が正当なユーザであるか否かを判定する第１の判定部と、
   前記ユーザ端末のキー操作によるキーイベントを取得するキーイベント取得部と、
   前記キーイベントの示す各キーの操作と、前記ＥＭＧ装置の装着者の手または腕の筋肉の活動電位の示す各キーの操作との一致率が所定値以上である場合、前記ユーザ端末のキー操作を正当なユーザによる操作と判定する第２の判定部とを備えることを特徴とする操作者認証システム。
2. 前記操作者認証システムは、さらに、
   前記ユーザの生体認証を行うとともに、所定期間における前記ユーザの生体情報を取得する認証装置と、
   所定期間における前記ＥＭＧ装置の装着者の生体情報を取得する生体情報取得部とを備え、
   前記第１の判定部は、
   前記認証装置によるユーザの生体認証の結果が、前記ユーザが正当なユーザであることを示すものであり、かつ、所定期間における前記認証装置のユーザの生体情報の特徴量と、前記ＥＭＧ装置の装着者の生体情報の特徴量との一致率が所定値以上である場合、前記ＥＭＧ装置の装着者が正当なユーザであると判定することを特徴とする請求項１に記載の操作者認証システム。
3. 前記生体情報は、前記認証装置のユーザおよび前記ＥＭＧ装置の装着者の脈波データであることを特徴とする請求項２に記載の操作者認証システム。
4. 前記操作者認証システムは、さらに、
   前記ＥＭＧ装置の装着者の各キーの操作に対する前記装着者の手または腕の各部位の筋肉の活動電位のパターンを事前学習しておき、前記事前学習の結果に基づき、前記装着者の手または腕の筋肉の活動電位の特徴量として、キーごとの押下の確率および当該キーの押下および戻り時刻を計算するＥＭＧ特徴量抽出部を備え、
   前記第２の判定部は、
   前記ＥＭＧ特徴量抽出部により計算された前記キーごとの押下の確率および当該キーの押下および戻り時刻を用いて、前記キーイベントの示す各キーの操作と、前記ＥＭＧ装置の装着者の手または腕の筋肉の活動電位の示す各キーの操作との一致率を計算することを特徴とする請求項１に記載の操作者認証システム。
5. 前記ＥＭＧ特徴量抽出部は、前記事前学習の結果に基づき、キー操作が、連打か否か、また、連打であれば、連打の開始時の操作か、連打中の操作か、または、連打の終了時の操作かを判別し、前記判別の結果を用いて、前記キーごとの押下の確率および当該キーの押下および戻り時刻を計算することを特徴とする請求項４に記載の操作者認証システム。
6. ユーザ端末のキー操作の操作者認証方法であって、
   ＥＭＧ装置の装着者の手または腕の筋肉の活動電位を取得するステップと、
   前記ＥＭＧ装置の装着者の生体認証の結果により前記装着者が正当なユーザであるか否かを判定するステップと、
   前記ユーザ端末のキー操作によるキーイベントを取得するステップと、
   前記キーイベントの示す各キーの操作と、前記ＥＭＧ装置の装着者の手または腕の筋肉の活動電位の示す各キーの操作との一致率が所定値以上である場合、前記ユーザ端末のキー操作を正当なユーザによる操作と判定するステップとを含んだことを特徴とする操作者認証方法。

Images