JP2017091276A - 操作許可判定装置、操作許可判定システム、操作許可判定方法、及び操作許可判定用プログラム - Google Patents

Abstract

【課題】真正性の保証された利用者のみに操作を許可することができ、情報の漏えい、改ざん等を防ぐことが可能となる操作許可判定装置、操作許可判定システムを提供する。【解決手段】操作許可判定装置２０は、認証装置１０によって継続的に出力された生体認証結果を取得する生体認証取得部２２と、カメラ２１によって撮影した動画像から被撮影者の顔を表す顔領域を検出する顔検出部２４と、顔領域の画素値に基づいて被撮影者の脈波を顔脈波として抽出する顔脈波抽出部２５と、被認証者の身体の一部から取得された認証脈波を抽出する認証脈波抽出部２３と、生体認証結果が生体認証処理の成功を表す場合に顔脈波及び認証脈波を照合し、生体認証結果が生体認証処理の失敗を表す場合に顔脈波及び認証脈波を照合しない脈波照合部２６と、脈波照合部２６によって顔脈波及び認証脈波が合致したか否かに基づいて、操作制御を行う操作制御部２７と、を備える。【選択図】図３

Description

本発明は、操作許可判定装置、操作許可判定システム、操作許可判定方法、及び操作許可判定用プログラムに関する。

近年、銀行のＡＴＭ（Automatic Teller Machine）操作、入退室管理、ＰＣ（Personal Computer）操作等において、生体認証装置が使われる例が増えている。生体認証装置による認証を経る場合、他人によるなりすましを防ぐ確実性を高めることができる。特に、静脈認証を用いる生体認証装置による認証を経る場合、人工物によるなりすましをより確実に防ぐことができるといわれている。

しかし、このような生体認証装置を用いても、ＰＣ操作においては、認証が完了してからしばらくの時間がかかるため、その間に被認証者以外の人物がのぞき見したり、被認証者が離席して別の人物が操作したりすることによって、認証を経ないでＰＣ操作可能となる場合があるという問題がある。これに対して、ノートＰＣディスプレイの上にｗｅｂカメラをビルトインしたものを用いて顔認証技術により、ＰＣ操作をする人物の顔認証を継続的に行い、正当にＰＣ操作を行える人物の顔でないと判定された場合に、ＰＣ操作を不可とするようなソリューションもある。

しかし、顔認証は静脈認証等に比べて、他人受入率、本人拒否率等の性能面で劣っている場合が多い。例えば、ＡＴＭ操作を許可するための認証手段として、生体認証装置のうちの静脈認証装置は既に普及している。それに比べて顔認証装置は、ＡＴＭ操作、入退室管理、ＰＣ操作を許可するための認証手段としては、普及しているとは言いがたい。メガネの有無、髪型、顔の向き等の変化に対して影響を受けやすい傾向があるため、空港などでテロリストの検出といったスクリーニングするために効果的であるが、認証を目的として活用するには精度が十分とはいえない。

一方、画像から人間の顔を検出するための顔検出技術は高度なものが開発されており、広く使われている。顔認証の前処理として、顔検出技術が利用されている例もある。また、検出した顔領域の動画像から、脈波を抽出する試みもある。

例えば、非特許文献１には、顔検出技術によって検出された顔の一部である額の色を計測して、その色に基づいて算出した脈波を算出することが記載されている。このようにして算出した脈波は、顔の他の部位に基づいて算出した脈波と比較して正確であり、また、顔全体の色を計測して脈波を算出する場合に比べて、算出に係る処理負荷を軽減することができる。

また、非特許文献２には、顔検出技術によって画像から得られた顔の領域について、顎等の一部の領域のみを用いて脈波を検出して、複数の部位間での脈波信号の位相差を補償することによって精度の高い脈波を算出することが記載されている。

また、非特許文献３には、顔画像を撮影される人物が動いていても高い精度で、画像に表された顔から脈波を算出する方法が記載されている。

また、特許文献１には、生体内の血液のヘモグロビン量、すなわち末梢血管の容積変化に応じて、生体部位に照射された光が、外部へ散乱する光量と生体内へ吸収される光量との割合が異なるという特性を利用して、生体部位にセンサ光を照射し、その散乱光を測定することにより末梢血管の容積変化を計測することが記載されている。

M. Lewandowska, J. Ruminski, T. Kocejko, and J. Nowak, "Measuring pulse rate with a webcam - A non-contact method for evaluating cardiac activity," Computer Science and Information Systems (FedCSIS),2011 Federated Conference on,2011,p.405-410. 椿 郁子, 岩内 謙一,齋藤 栄, "顔画像の複数領域を用いた脈波測定手法," 動画像メディア処理シンポジウム,2013,p.114-115. M.-Z.Poh,D.J.McDuff,and R.W.Picard,"Non-contact, automated cardiac pulse measurements using video imaging and blind source separation," Opt.ExpresＳ１９10,vol.18,no.10,p.10762-10774

特開２０１３−２３６７５４号公報

上述のようなＰＣ操作等を行う場合、認証を経ない人物が、認証を経た正当な利用者の背後からのぞき見（ショルダーハック）をしたり、正当な利用者が離席したときになりすましで操作をしたりすること等によって、情報が漏えいしたり改ざんされたりする場合がある。特に重要な操作を行う場合、この問題は深刻であり、例えば、会社業務で人事に関する操作等を行うとき、人事関係の社員以外の一般社員に見られることを防がなければならない。この対策として、のぞき見防止のフィルタをつけて、ＰＣ操作に係る表示部分の視野角を狭めたり、重要な操作専用の端末及び区画を設けて物理的に隔離したりする方法等が一般的である。こうした手法は有効であるが、用意すべき設備が比較的大規模となり、運用コストの面でも不利である。

したがって、かかる点に鑑みてなされた本発明の目的は、正当な利用者のみに装置、端末等の操作を許可することによって情報の漏えい、改ざん等を防ぐことを可能とすることにある。

上記の課題を解決するため、本発明に係る操作許可判定装置は、認証装置によって継続的に出力された、生体認証処理が成功したか否かを表す生体認証結果を取得する生体認証取得部と、カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出する顔検出部と、前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出する顔脈波抽出部と、前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出する認証脈波抽出部と、前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しない脈波照合部と、前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行う操作制御部と、を備えることを特徴とする。

また、本発明に係る操作許可判定システムは、認証装置と、前記認証装置から出力された情報を取得する操作許可判定装置と、を備える操作許可判定システムであって、前記認証装置は、被認証者の身体の一部から脈波を認証脈波として取得する生体情報取得部と、前記被認証者の生体認証処理を継続的に行い、前記生体認証処理が成功したか否かを表す生体認証結果と前記認証脈波とを前記操作許可判定装置に出力する生体認証部と、を備え、前記操作許可判定装置は、前記認証装置によって出力された前記生体認証結果を取得する生体認証取得部と、カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出する顔検出部と、前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出する顔脈波抽出部と、前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出する認証脈波抽出部と、前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しない脈波照合部と、前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行う操作制御部と、を備えることを特徴とする。

また、本発明に係る操作許可判定方法は、予め定められた所定の操作の許可を判定する操作許可判定装置が実行する操作許可判定方法であって、生体認証取得部により、認証装置によって継続的に出力された、生体認証処理が成功したか否かを表す生体認証結果を取得するステップと、顔検出部により、カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出するステップと、顔脈波抽出部により、前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出するステップと、認証脈波抽出部により、前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出するステップと、脈波照合部により、前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しないステップと、操作制御部により、前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行うステップと、を含むことを特徴とする。

また、本発明に係る操作許可判定用プログラムは、予め定められた所定の操作の許可を判定する操作許可判定装置が実行するための操作許可判定プログラムであって、認証装置によって継続的に出力された、生体認証処理が成功したか否かを表す生体認証結果を取得するステップと、カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出するステップと、前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出するステップと、前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出するステップと、前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しないステップと、前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行うステップと、を前記操作許可判定装置に実行させることを特徴とする。

本発明によれば、真正性の保証された利用者のみに装置、端末等の操作を許可することができ、情報の漏えい、改ざん等を防ぐことが可能となる。

本発明の実施形態に係る操作許可判定システムの外観を示す概要図である。 図１に示す認証装置を詳細に示す図であり、図２（ａ）は操作許可判定装置の入力インターフェース及び認証装置に利用者の手が置かれている状態を示す図であり、図２（ｂ）は認証装置が備えるタッチセンサを示す図である。 図１に示す操作許可判定システムの機能構成図である。 図１に示す操作許可判定システムの処理シーケンスの概要を示す図である。 図４に示す処理シーケンスの詳細を示すシーケンス図である。 図４に示す処理シーケンスにおいて、重要操作を許可するタイミングを示すタイミングチャートである。

以下、本発明の実施形態について図面を参照して説明する。

＜操作許可判定システムの機能構成＞
まず、図１を参照して本実施形態の操作許可判定システム１の概要について説明する。

図１に示すように、操作許可判定システム１は、認証装置１０及び操作許可判定装置２０を備える。認証装置１０及び操作許可判定装置２０は電気的に接続され、互いに情報を送受信する。また、操作許可判定システム１は、利用者２を連続して撮影し、複数の画像からなる動画像を生成するカメラ２１を備える。本実施形態では、カメラ２１は、操作許可判定装置２０に内蔵されているものとして説明するが、クリップ等で操作許可判定装置２０の筺体に取り付けたり、スタンドで設置したりして、操作許可判定装置２０の外部に設けてもよい。この場合、カメラ２１は、生成した動画像を出力するために、ケーブル等で操作許可判定装置２０に電気的に接続される。

＜認証装置＞
認証装置１０の配置について図２を参照して説明する。

認証装置１０は、操作許可判定装置２０を操作するときに手、腕等の被認証者の身体の一部が触れる位置に配置される。また、認証装置１０は、その表面に被認証者の静脈に関する情報を検出する生体センサを備える。なお、生体センサは非接触型のものでもよい。この場合、認証装置１０は生体センサが被認証者の生体情報を取得できる程度に、被認証者の身体の一部に近接した位置に配置される。

図２に示す例では、認証装置１０は、操作許可判定装置２０を実現するコンピュータにデータを入力するためのインターフェースであるキーボード、マウス、タッチパッド等を操作するときに手を置くことが見込まれる位置に配置されるパームレスト型の装置である。

また、認証装置１０は、生体センサとして静脈パターン及び脈波を同時に検出する静脈センサ１０ｂを備える。静脈センサ１０ｂは、可視光または赤外光を照射した掌を撮影した少なくとも１枚の静止画像から静脈パターンを検出する。また、静脈センサ１０ｂは、可視光または赤外光を照射した掌を時間的に連続して撮影した複数の画像群からなる動画像から脈波を検出する。

静脈センサ１０ｂは、利用者２である被認証者がキーボード２０ａを操作するときに掌が触れると見込まれる、認証装置１０のパームレスト部分に形成された浅いくぼみ１０ａの中央部分に設けられ、このくぼみ１０ａの内側に上記の静止画像及び動画像を撮影するセンサが取り付けられる。このようなくぼみ１０ａに、操作許可判定装置２０の入力インターフェースであるキーボード２０ａを操作する手の一部（例えば、掌）を置くことによって、被認証者は安定した状態で操作を行うことができる。そのため、被認証者が快適にキーボード２０ａを操作する状態を維持しながら、静脈センサ１０ｂは、被認証者の静脈パターン及び脈波を検出することができる。

認証装置１０の機能構成について図３を参照して説明する。

図３に示すように、認証装置１０は、生体情報取得部１１、生体認証部１２、及び認証情報記憶部１３を備える。

生体情報取得部１１は、生体センサに触れている被認証者の身体の一部、本実施形態に示す例では掌から、被認証者の静脈パターン及び脈波を取得する。静脈パターンは静止画像によって表される。脈波は、時間とともに継続的に撮影される複数の、静脈パターンを表す静止画像からなる動画像によって表される血管が時間の経過とともに収縮する度合いである。以降において、このように認証装置１０によって取得した脈波を「認証脈波」という。

生体認証部１２は、生体情報取得部１１によって取得された静脈パターンに基づいて、被認証者について一定間隔で継続的に生体認証処理を行う。具体的には、生体認証部１２は、生体情報取得部１１によって取得された静脈パターンを、認証情報記憶部１３にあらかじめ記憶されている静脈パターンと比較して、これらの静脈パターンが合致するか否かを判定する。ここで、合致した場合、生体認証処理は「成功」であり、生体認証部１２は、認証情報記憶部１３に記憶されている静脈パターンに関連付けて記憶されている、利用者２を一意に識別するための利用者ＩＤ（Identification）を抽出する。これにより、生体認証部１２は、被認証者が、抽出した利用者ＩＤに相当する利用者２であると特定する。上記の「合致する」とは、例えば、生体情報取得部１１によって取得された静脈パターンに含まれる特徴点が、認証情報記憶部１３に記憶されている静脈パターンに含まれる特徴点と一致する割合が所定の値以上であることをいう。

また、上記の静脈パターンが合致しなかった場合、生体認証処理は「失敗」であり、生体認証部１２は利用者ＩＤを抽出しない。

また、生体認証部１２は、生体認証処理が成功したか否かを表す生体認証結果と、生体情報取得部１１によって取得された認証脈波とを操作許可判定装置２０に出力する。

なお、上述のように、生体認証部１２は一定間隔で生体認証処理を行う。一の生体認証処理が成功した場合、該生体認証処理の開始から、この一定間隔が経過するまでの時間は、生体認証の成功が継続しているものとし、この状態を「認証セッション」という。

また、生体認証部１２は、操作許可判定装置２０に開始コマンドが入力されて以降、終了コマンドが入力されるまで、生体認証結果及び認証脈波の出力を継続して行う。開始コマンドとは、利用者２が予め定められた所定の操作（以降、「重要操作」という）の開始を操作許可判定装置２０に指示するためのコマンドであり、終了コマンドとは、利用者２が重要操作の終了を操作許可判定装置２０に指示するためのコマンドである。

認証情報記憶部１３は、利用者２に関する静脈パターンと、利用者２を一意に識別するための利用者ＩＤとを関連付けて記憶する。

＜操作許可判定装置＞
操作許可判定装置２０の機能構成について図３を参照して説明する。

図３に示すように、操作許可判定装置２０は、カメラ２１、生体認証取得部２２、認証脈波抽出部２３、顔検出部２４、顔脈波抽出部２５、脈波照合部２６、及び操作制御部２７を備える。

カメラ２１は、操作許可判定装置２０に内蔵され、又は操作許可判定装置２０と一体として取り付けられ、操作許可判定装置２０の利用者２である被撮影者を撮影する。また、カメラ２１は、継続的に被撮影者を撮影することによって、複数の画像からなる動画像を生成し、顔検出部２４に出力する。なお、カメラ２１は、好ましくはＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor Image Sensor）カメラ等により実現される。

また、カメラ２１が操作許可判定装置２０の利用者２である被撮影者の顔を撮影できるように、カメラ２１の画角は調整可能であるとする。また、カメラ２１は、生体認証取得部２２から認証成功通知を取得すると被撮影者の撮影を開始する。

生体認証取得部２２は、認証装置１０によって継続的に出力される、生体認証処理が成功したか否かを表す生体認証結果を取得する。また、生体認証取得部２２は、生体認証結果が生体認証の成功を表すものである場合、その旨を通知するための認証成功通知をカメラ２１に出力する。

認証脈波抽出部２３は、認証装置１０の生体認証部１２によって出力された被認証者の身体の一部から取得された認証脈波を取得する。また、認証脈波抽出部２３は、認証装置１０の生体認証部１２によって出力された、生体認証結果を取得し、生体認証結果が生体認証の成功を表すものである場合、認証脈波を脈波照合部２６に出力する。

顔検出部２４は、カメラ２１によって撮影した動画像から被撮影者の顔を表す顔領域を検出する。具体的には、顔検出部２４は、公知の顔検出方法を用いて、動画像から検出した顔領域の数、及び顔領域の画素値の時系列データを少なくとも含む顔抽出情報を生成する。顔領域の時系列データとは、顔領域に示される顔の複数の部分についての画素値の時間変化を表すデータである。

また、顔検出部２４は、抽出した顔抽出情報を顔脈波抽出部２５に出力する。

顔脈波抽出部２５は、顔検出部２４によって出力された顔抽出情報に含まれる顔領域の画素値の時系列データに基づいて被撮影者の脈波を顔脈波として抽出する。具体的には、顔検出部２４によって抽出された顔領域の数が１つである場合、顔領域についての画素値の時系列データに基づいて、公知の脈波抽出方法を用いて、被撮影者の血管が時間の経過とともに収縮する度合いを表す脈波を抽出する。例えば、顔脈波抽出部２５は、顔領域から、各時刻における顔領域の画素値を代表する代表値を算出し、該代表値の時間変化を顔脈波として抽出する。代表値とは、例えば、顔領域に示される複数の肌色部分それぞれについて画素値（例えば、輝度値）の統計値（例えば、平均値、中央値、最頻値等）である。また、顔脈波抽出部２５は、抽出した顔脈波を脈波照合部２６に出力する。

また、顔脈波抽出部２５は、顔検出部２４によって抽出された顔領域の数が０である場合、又は２つ以上である場合、顔脈波を抽出する処理を行わない。

脈波照合部２６は、生体認証結果が生体認証処理の成功を表す場合に顔脈波及び認証脈波を照合し、生体認証結果が生体認証処理の失敗を表す場合に顔脈波及び認証脈波を照合しない。照合において、脈波照合部２６は、顔脈波の時間変化と認証脈波の時間変化とが同一の心拍を原因とする時間変化であるかどうかを判定する。例えば、脈波照合部２６は、第１の所定の時刻から第２の所定の時刻までの時間内における各時刻での顔脈波と認証脈波との差を算出し、それらの差の合計が所定の範囲内であれば顔脈波及び認証脈波は合致したとし、被認証者と被撮影者が同一であると判定する。また、それらの差の合計が所定の範囲を超えている場合、脈波照合部２６は、顔脈波及び認証脈波は合致しないとし、被認証者と被撮影者とが同一でないと判定する。

なお、第１の所定の時刻は設計により適宜定める時刻でよいが、例えば、顔脈波及び認証脈波の抽出が開始された時刻とする。また、第２の所定の時刻とは、経験的に信頼性の高い認証を行うために必要とされる脈波の抽出時間を第１の所定の時刻に加算した時刻とする。

また、脈波照合部２６は、このような照合処理を１回以上、継続して繰り返す。

操作制御部２７は、脈波照合部２６によって顔脈波及び認証脈波が合致したとされた場合、予め定められた重要操作を許可するよう操作制御し、脈波照合部２６によって顔脈波及び認証脈波が合致しなかったとされた場合、重要操作を許可しないよう操作制御する。重要操作とは、アプリケーションの管理者、設計者等によってあらかじめ重要であると定義された、情報の参照、更新、削除等の操作である。

さらに、操作制御部２７は、顔検出部２４によって検出された顔領域の数が１つである場合に重要操作を許可するよう操作制御を行い、顔検出部２４によって検出された顔領域の数が１つでない、すなわち０または２つ以上である場合に、重要操作を許可しないよう操作制御を行ってもいい。この場合、利用者２である被撮影者がよそ見をしている場合、及び他の人物等によってのぞき見をされている場合には重要操作を許可しない。そのため、情報の漏えい及び改ざんをより確実に防ぐことができる。

なお、いったん、重要操作が開始された後に、このような顔検出及び脈波照合の結果によって、重要操作を許可しない場合は、重要操作を中断する。重要操作の「中断」とは、利用者２の重要操作を許可しない、すなわち、重要操作に係る表示、操作の受付等を停止する状態にすることである。この「重要操作の中断」の状態であって、かつ、認証セッション中に、顔検出部２４によって顔領域が１つ抽出され、脈波照合部２６によって顔脈波及び認証脈波が合致した場合、操作制御部２７は、再度、重要操作を許可するようアプリケーションを制御する。重要操作の中断中に認証セッションが終了した場合、重要操作に係る処理は完全に停止される。この場合、新たに重要操作を行う場合には、上述の開始コマンドの入力から処理を始める必要がある。なお、２回目以降の開始コマンドの入力を省略して生体認証処理、顔検出処理、脈波照合処理を再開させるようにしてもよい。

＜操作許可判定システムの動作＞
図４を参照して、本実施形態に係る操作許可判定システム１による操作許可判定方法の概要を説明する。

まず、利用者２が操作許可判定装置２０における、キーボード等の操作インターフェース側でカメラ２１の撮影範囲に位置し、掌を認証装置１０の上に置く。

利用者２が操作許可判定装置２０に開始コマンドを入力すると、認証装置１０が被認証者の掌から静脈パターンを取得して生体認証処理を行う（図４の（１）参照）。また、認証装置１０は、被認証者の掌から認証脈波を取得する（図４の（２）参照）。この生体認証処理及び認証脈波の取得は、一定時間間隔で継続して行われる。

一方、カメラ２１は利用者２を被撮影者として撮影して（図４の（３）参照）動画像を生成する。そして、操作許可判定装置２０は、動画像から顔領域を検出する（図４の（４）参照）。検出された顔領域の数が１つである場合、操作許可判定装置２０は、動画像の顔領域から、顔領域の画素値の代表値を算出して（図４の（５）参照）を算出して、顔脈波を抽出する（図４の（６）参照）。

続いて、操作許可判定装置２０は、図４の（２）で取得された認証脈波、及び（６）で抽出された顔脈波に基づいて脈波照合処理を行い（図４の（７）参照）、認証脈波及び顔脈波が合致した場合、利用者２に重要操作を許可する。

図４の（２）で示した生体認証処理についての生体認証結果が「失敗」である場合、操作許可判定装置２０は、図４の（３）〜（７）に示した操作許可判定に係る処理を行わない。また、図４の（４）で示した顔領域の検出により、０又は２以上の顔領域が検出された場合、操作許可判定装置２０は、利用者２の重要操作を中断する。また、図４の（７）で示した脈波照合処理により認証脈波及び顔脈波が合致しなかった場合、操作許可判定装置２０は、利用者２の重要操作を中断する。

ここで、図５を参照して、本実施形態に係る操作許可判定システム１が実行する操作許可判定方法を詳細に説明する。

図５に示すように、まず、被認証者は認証装置１０の上に掌を置く（ステップＳ１１）。ステップＳ１１で掌が置かれると、認証装置１０の生体情報取得部１１が、掌から被認証者の静脈パターン及び認証脈波を取得する（ステップＳ１２−１）。この処理は、継続して繰り返し行われる（ステップＳ１２−１，２，３，・・・）。

ステップＳ１２−１で生体情報取得部１１によって静脈パターンが取得されると、生体認証部１２が静脈パターンに基づいて、被認証者についての生体認証処理を行う（ステップＳ１３−１）。この生体認証処理は、継続して繰り返し行われる（ステップＳ１３−１，２，３，・・・）。そのため、以降のステップにおける処理も、生体認証結果に応じて繰り返し行われる。

ステップＳ１３で生体認証処理が行われるたびに、認証装置１０の生体認証部１２は、生体認証結果を生体認証取得部２２に出力する（ステップＳ１４）。ステップＳ１４で生体認証結果が生体認証取得部２２に出力され、生体認証結果が生体認証の成功を表すものである場合、生体認証取得部２２は、その旨を通知するための認証成功通知をカメラ２１に出力する（ステップＳ１５）。

ステップＳ１５で認証成功通知が出力されると、カメラ２１は認証成功通知を取得し、撮影を開始して動画像を生成する（ステップＳ１６）。そして、カメラ２１は、生成した動画像を顔検出部２４に出力する（ステップＳ１７）。顔検出部２４は、カメラ２１から出力された動画像から公知の顔検出方法を用いて、顔が表されている顔領域を抽出する（ステップＳ１８）。ステップＳ１８で検出された顔領域の数が１つである場合、顔脈波抽出部２５は、動画像の顔領域の時系列データに基づいて、公知の脈波抽出方法を用いて被撮影者の顔脈波を抽出する（ステップＳ１９−１）。なお、顔脈波の抽出は、継続して繰り返して行われる（ステップＳ１９−１，２，・・・）。

ステップＳ１９で顔脈波が抽出されると、顔脈波抽出部２５は、抽出された顔脈波を脈波照合部２６に出力する（ステップＳ２０）。

一方、ステップＳ１３で、生体認証処理が行われると、認証装置１０の生体認証部１２は、生体認証結果及び認証脈波を生体認証取得部２２に出力する（ステップＳ２１）。生体認証取得部２２は、生体認証結果が生体認証の成功を表すものである場合、認証脈波を脈波照合部２６に出力する（ステップＳ２２）。

ステップＳ２０−１で顔脈波抽出部２５によって顔脈波が出力され、ステップＳ２２−１で認証脈波抽出部２３によって認証脈波が出力されると、脈波照合部２６は、これらの顔脈波及び認証脈波を取得して照合処理を行う（ステップＳ２３−１）。この照合処理によって顔脈波及び認証脈波が合致すると、操作制御部２７は、利用者２による重要操作を許可するように操作制御を行う（ステップＳ２４−１）。

また、ステップＳ１４で生体認証結果及び認証脈波が生体認証取得部２２に出力され、生体認証結果が生体認証の失敗を表すものである場合、重要操作は許可されない。

また、ステップＳ２０−２で顔脈波抽出部２５によって顔脈波が出力され、ステップＳ２２−２で認証脈波抽出部２３によって認証脈波が出力されると、脈波照合部２６は、これらの顔脈波及び認証脈波を取得して照合処理を行う（ステップＳ２３−２）。この照合処理によって顔脈波及び認証脈波が合致しないと、操作制御部２７は、利用者２による重要操作を中断するように操作制御を行う（ステップＳ２４−２）。

図４及び５を参照して上述したように操作許可判定システム１が動作することによって、図６に示すタイミングで重要操作の許可がされたり、中断されたりする。ここで、図６を参照して、重要操作の許可及び中断のタイミングについて説明する。

図６に示すように、操作許可判定装置２０に開始コマンドが入力されて生体認証処理が成功する（時刻ｔ１）と、顔検出処理が開始される。顔検出処理で検出した顔領域の数が１つである（図６における「顔検出処理」の「成功」）（時刻ｔ２）と、脈波照合処理が開始される。脈波照合処理で認証脈波及び顔脈波が合致する（図６における「脈波照合処理」の「成功」））（時刻ｔ３）と、操作制御部２７は重要操作を許可する。図６に示す例では、操作制御部２７は重要操作に係る画面を表示させ、これにより利用者２は秘情報の参照及び更新をすることができる。なお、図６に示すように、認証脈波及び顔脈波が合致する（時刻ｔ３）より前においては、操作制御部２７は重要操作を許可せず、このため重要操作に係る画面は表示されない。

時刻ｔ３以降、認証処理、脈波照合処理、及び顔検出処理のいずれにおいても「成功」である間、操作制御部２７は継続して重要操作を許可する。

その後、例えば、被撮影者が顔を真下や後ろに向けることによって顔領域の数が０になったり、又はカメラ２１が別の人物を撮影することによって顔領域の数が２以上になったりすると（「顔検出処理」の「失敗」）（時刻ｔ４）、操作制御部２７は重要操作を中断する。これにより、時刻ｔ３からｔ４の直前までの間に表示されていた重要操作に係る画面は、時刻ｔ４で表示されなくなる。

重要操作が中断されている状態で、認証処理が「成功」を継続している場合に、顔検出部２４によって検出された顔領域の数が１となる（時刻ｔ５）と、脈波照合部２６が脈波照合処理を行う。そして、脈波照合処理で認証脈波及び顔脈波が合致する（時刻ｔ６）と、操作制御部２７は重要操作を許可する。

さらにその後、例えば、被撮影者が別の人物に入れ替わったり、被撮影者の皮膚面積が大きく変化したりすることによって、顔脈波及び認証脈波が照合されなくなる（「脈波照合処理」の「失敗」）（時刻ｔ７）と、操作制御部２７は重要操作を中断する。これにより、時刻ｔ６からｔ７の直前までの間に表示されていた重要操作に係る画面は、時刻ｔ７で表示されなくなる。

さらに、認証処理が「失敗」する（時刻ｔ８）と、操作制御部２７は操作許可判定処理そのものを終了し、利用者２に対して重要操作を許可しないものとする。

以上のように、本実施形態に記載された操作許可判定装置２０では、顔領域の画素値に基づいて被撮影者の脈波を顔脈波として抽出し、被認証者の身体の一部から認証脈波を取得し、顔脈波及び認証脈波が合致した場合、予め定められた重要操作を許可するよう操作制御する。そのため、正当な利用者２のみに装置、端末等の操作を許可することができる。したがって、被認証者と被撮影者とが同一であり、かつ、被認証者が正当な利用者２である場合にのみに操作を許可するため、利用者２とは異なる不当な人物に対して情報を漏えいしたり、不当な人物によって情報が改ざんされたりすることを防ぐことができる。

また、本実施形態に記載された操作許可判定装置２０では、顔検出部２４によって検出された顔領域の数が１つである場合に重要操作を許可するよう操作制御を行う。すなわち、利用者２である被撮影者がよそ見をしている場合、及び他の人物等によってのぞき見をされている場合には重要操作を許可しない。そのため、正当な利用者２とは異なる不当な人物による重要操作を回避することができ、情報の漏えい及び改ざんをより確実に防ぐことができる。

本実施形態に記載された操作許可判定装置２０においては、画素値の代表値を顔領域全体の画素値の平均値としたが、これに限られない。例えば、ＲＧＢ要素のうちのＧチャネルの値、ＲチャネルとＧチャネルとの平均値等を代表値としてもよい。また、代表値を画素値の中央値としてもよい。また、肌色を表す画素値の所定の範囲内の画素を抽出して、それらの平均値や中央値といった統計値を代表値としてもよい。また、画像全体の明度に基づいて、明度を補正してから、代表値を算出してもよい。

また、本実施形態に記載された操作許可判定装置２０においては、生体認証が失敗した場合に、生体認証部１２は、その旨を表す生体認証結果を出力するとしたが、この限りではない。例えば、生体認証処理が失敗した場合、少なくとも１回の生体認証処理のリトライを行い、リトライにおいて生体認証が成功した場合には、失敗ではなく成功を示す旨の生体認証結果を出力するとしてもよい。このようにすることによって、例えば、体動やノイズの影響による静脈パターンの誤検出があった場合における重要操作の中断を防ぐことが可能となる。ここでのリトライの回数は、操作の重要性、ユーザビリティを勘案して適宜設定することができる。

また、本実施形態に記載された操作許可判定装置２０においては、脈波照合部２６は、各時刻での顔脈波と認証脈波とに基づいて照合を行うとしたが、この限りではない。上述のように顔脈波は顔部分の脈波であり、認証脈波は掌部分の脈波であり、それらの検出部位が異なる。そのため、仮に顔脈波と認証脈波とが同一人物に係るものであっても、検出部位の相違により位相差が発生していることが予想される。したがって、例えば、それぞれの脈波に表される波の発生タイミング等の特徴量を比較することによって脈波照合処理を行ってもよい。これにより、より精度の高い脈波照合処理を行うことができる。

また、本実施形態に記載された操作許可判定装置２０においては、認証装置１０から生体認証結果を取得する。しかし、操作許可判定装置２０が、生体認証部１２及び認証情報記憶部１３をさらに備え、外部の装置から取得した静脈パターンに基づいて生体認証処理を行ってもよい。また、生体情報取得部１１をさらに備え、被認証者の掌から静脈パターンを取得して生体認証処理を行い、脈波を取得して脈波照合部２６に出力してもよい。この場合、例えば、操作許可判定装置２０がノート型ＰＣであり、ノート型ＰＣが備えるタッチパッドの左右に位置するパームレスト部分に認証装置１０を内蔵する。

また、本実施形態に記載された生体認証部１２は、生体情報取得部１１によって取得された静脈パターンに基づいて生体認証を行っているが、この限りではない。例えば、生体認証部１２は顔検出部２４によって検出された顔領域の動画像を用いて、顔認証を行ってもよい。これにより、顔検出部２４によって検出された顔領域に表される被撮影者と、生体認証部１２によって認証された被認証者とが同一であることを担保することができる。また、生体認証部１２は、生体情報取得部１１によって被認証者の指先の皮膚の凹凸を表す指紋に基づいて指紋認証を行ってもよい。

また、本実施形態に記載された操作許可判定装置２０においては、脈波照合部２６が顔脈波及び認証脈波を照合することによって、生体認証処理が成功した後の被撮影者の入れ換わりを認識して重要操作を許可するか否かを判定している。しかし、例えば、顔検出部２４が、カメラ２１によって生成された動画像に表されている顔が、時間が経過しても連続して同一人物であるか否かをさらに判定してもよい。

この場合、顔検出部２４は、検出された顔領域に表されている顔を追跡することによって、顔領域に表されている顔が別の顔と入れ換わっていないことを継続して確認する。顔の追跡によって、被撮影者が入れ換わっていると確認されると、操作制御部２７は重要操作を中断するよう操作制御を行う。ここで、「顔を追跡する」とは、連続して撮影された画像によって構成される動画像から検出された顔を、該顔の特徴量に基づいて、他の顔と区別しながらその位置、傾き、回転等を継続して検出し続けることである。顔検出部２４が、動画像に連続して表されている顔が同一人物のものでないと判定すると、操作制御部２７は重要操作を中断するよう操作制御を行う。これにより、操作許可判定装置２０は、被認証者と被撮影者とが同一人物であるか否かをより高い精度で判定することができる。なお、このような被撮影者の入れ換わりを迅速に検出するためには、脈波照合処理を行う時間間隔を短くする等、適宜設定してもよい。

また、本実施形態に記載された操作許可判定装置２０においては、顔脈波抽出部２５は、顔領域についての画素値の時系列データに基づいて被撮影者の脈波を抽出する。このとき抽出された脈波にノイズを除去するためのフィルタを用いてフィルタ処理を行ってもよい。

また、本実施形態に記載された認証装置１０に静電型のタッチセンサを内蔵してもよい。この場合、顔領域検出処理及び脈波照合処理の結果に加えて、さらにタッチセンサが掌等の人体の一部を検出しなかった場合に、操作制御部２７は重要操作を中断するとしてもよい。

また、本実施形態に記載された認証装置１０において、生体認証部１２は、生体情報取得部１１によって取得された静脈パターンに基づいて、被認証者について一定間隔で継続的に生体認証処理を行うとしたが、この限りではない。例えば、生体認証部１２は、一度、静脈パターンに基づいて生体認証処理を行い、この生体認証処理が「成功」となった場合、その後は、認証装置１０によって中断されることなく連続して認証脈波が取得されているか否かを判定する。そして、連続して認証脈波が取得されている場合、生体認証処理の「成功」が継続しているとしてもよい。

また、本実施形態では、操作許可判定装置２０の各機能は、これらの機能を実現する処理内容を記述したプログラム（操作許可判定用プログラム）をコンピュータの記憶部に記憶しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行することで実現してもよい。また、プログラムを記録媒体に記録したり、ネットワークを通して提供したりしてもよい。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 操作許可判定システム
２ 利用者
１０ 認証装置
１０ａ くぼみ
１０ｂ 生体センサ
１１ 生体情報取得部
１２ 生体認証部
１３ 認証情報記憶部
２０ 操作許可判定装置
２０ａ キーボード
２１ カメラ
２２ 生体認証取得部
２３ 認証脈波抽出部
２４ 顔検出部
２５ 顔脈波抽出部
２６ 脈波照合部
２７ 操作制御部

Claims (7)

1. 認証装置によって継続的に出力された、生体認証処理が成功したか否かを表す生体認証結果を取得する生体認証取得部と、
   カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出する顔検出部と、
   前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出する顔脈波抽出部と、
   前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出する認証脈波抽出部と、
   前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しない脈波照合部と、
   前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行う操作制御部と、
   を備えることを特徴とする操作許可判定装置。
2. 前記操作制御部は、前記脈波照合部によって前記顔脈波及び前記認証脈波が合致した場合、前記所定の操作を許可するよう操作制御を行い、前記脈波照合部によって前記顔脈波と前記認証脈波とが合致しなかった場合、前記所定の操作を許可しないよう操作制御を行うことを特徴とする請求項１に記載の操作許可判定装置。
3. 前記操作制御部は、前記顔検出部によって検出された前記顔領域の数が１つである場合に前記所定の操作を許可するよう操作制御を行い、前記顔検出部によって検出された前記顔領域の数が１つでない場合、前記所定の操作を許可しないよう操作制御を行うことを特徴とする請求項１又は２に記載の操作許可判定装置。
4. 前記顔脈波抽出部は、前記顔領域から各時刻における画素値を代表する代表値を算出し、該代表値の時間変化を前記顔脈波として抽出することを特徴とする請求項１乃至３のいずれか一項に記載の操作許可判定装置。
5. 認証装置と、前記認証装置から出力された情報を取得する操作許可判定装置と、を備える操作許可判定システムであって、
   前記認証装置は、
   被認証者の身体の一部から脈波を認証脈波として取得する生体情報取得部と、
   前記被認証者の生体認証処理を継続的に行い、前記生体認証処理が成功したか否かを表す生体認証結果と前記認証脈波とを前記操作許可判定装置に出力する生体認証部と、を備え、
   前記操作許可判定装置は、
   前記認証装置によって出力された前記生体認証結果を取得する生体認証取得部と、
   カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出する顔検出部と、
   前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出する顔脈波抽出部と、
   前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出する認証脈波抽出部と、
   前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しない脈波照合部と、
   前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行う操作制御部と、を備えることを特徴とする操作許可判定システム。
6. 予め定められた所定の操作の許可を判定する操作許可判定装置が実行する操作許可判定方法であって、
   生体認証取得部により、認証装置によって継続的に出力された、生体認証処理が成功したか否かを表す生体認証結果を取得するステップと、
   顔検出部により、カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出するステップと、
   顔脈波抽出部により、前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出するステップと、
   認証脈波抽出部により、前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出するステップと、
   脈波照合部により、前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しないステップと、
   操作制御部により、前記脈波照合部によって前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行うステップと、
   を含むことを特徴とする操作許可判定方法。
7. 予め定められた所定の操作の許可を判定する操作許可判定装置が実行するための操作許可判定プログラムであって、
   認証装置によって継続的に出力された、生体認証処理が成功したか否かを表す生体認証結果を取得するステップと、
   カメラによって撮影した動画像から被撮影者の顔を表す顔領域を検出するステップと、
   前記顔領域の画素値に基づいて前記被撮影者の脈波を顔脈波として抽出するステップと、
   前記認証装置によって出力された、被認証者の身体の一部から取得された認証脈波を抽出するステップと、
   前記生体認証結果が前記生体認証処理の成功を表す場合に前記顔脈波及び前記認証脈波を照合し、前記生体認証結果が前記生体認証処理の失敗を表す場合に前記顔脈波及び前記認証脈波を照合しないステップと、
   前記顔脈波及び前記認証脈波が合致したか否かに基づいて、予め定められた所定の操作について操作制御を行うステップと、
   を前記操作許可判定装置に実行させることを特徴とする操作許可判定用プログラム。

Images