JP2013196199A

JP2013196199A - 利用者検知装置、方法及びプログラム

Info

Publication number: JP2013196199A
Application number: JP2012061139A
Authority: JP
Inventors: Takahiro Matsuda; 高弘松田; Atsuichiro Niinuma; 厚一郎新沼
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-03-16
Filing date: 2012-03-16
Publication date: 2013-09-30
Anticipated expiration: 2032-03-16
Also published as: JP5888034B2

Abstract

【課題】複数の撮影部の撮影範囲の正確な位置合わせを必要とすることなく、継続認証中の利用者が移動可能な範囲を拡大する。
【解決手段】処理対象カメラ（第１カメラ５６ａ）で撮影された処理対象画像の色ヒストグラムを用いて継続認証を開始する。利用者対応領域が処理対象画像の外縁に接した場合に、利用者が処理対象カメラの撮影範囲から逸脱したと判定し、逸脱方向に存在する切替先カメラ（第２カメラ５６ｂ）で撮影された切替先画像を用いたトラッキングを開始する。切替先画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度が、処理対象画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度を超えた時点で、第２カメラ５６ｂを処理対象カメラに切り替え、第１カメラ５６ａで撮影された画像を用いた継続認証を停止する。
【選択図】図９

Description

開示の技術は利用者検知装置、利用者検知方法及び利用者検知プログラムに関する。

近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は極めて重要な課題になってきており、様々な認証技術(例えばパスワード認証や生体認証、カード認証等)が提案されて実用化されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規の利用者が情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、これを検知できないという共通の課題がある。

上記の課題を解決するため、ログイン後も利用者に対して継続的に認証処理を行う継続認証技術が従来より提案されている。継続認証技術の中でも、利用者を撮影した画像の色ヒストグラムを用いる色ヒストグラム認証は、顔認証やキーストローク等を用いる他の方式と比較して、利用者の姿勢変化に対して頑健で、利用者がキーを打っていない間も継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、ログイン時などに、パーソナルコンピュータ（ＰＣ）のディスプレイ上部等に設置されたカメラにより撮影された画像中の利用者に対応する領域（顔や服などの領域）の色ヒストグラムを登録しておく。そして、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中の利用者対応領域を検知し、その移動を追跡（トラッキング）することで継続認証が実現される。

P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001 K.Niinuma,U.Park,A.K.Jain,"Soft Biometric Traits For Continuous User Authentication",IEEE Transactions on Information Forensics and Security, Vol.5,No.4,pp.771-780,2010 D. Comaniciu, V. Ramesh, and P. Meer, "Kernel-based object tracking", IEEE Trans. Pattern Analysis and Machine Intelligence, vol.25,no.5,pp.564−577,2003. Continuous User Authentication Using Temporal Information (SPIE 2010)

カメラにより撮影された画像から色ヒストグラムの類似度を求めてトラッキングする手法では、カメラの撮影範囲内（カメラ画角内）に利用者の顔や服が収まっている必要がある。しかし、一般的に、ＰＣやディスプレイに内蔵されるカメラ（ネット会議用途等のＷｅｂカメラ等）の撮影範囲は、利用者の体の幅の２倍程度と狭い。このため、利用者が移動すると、カメラの撮影範囲から逸脱してしまい、トラッキングが不能となる問題が発生する。特に、利用者が２台のディスプレイを左右に並べて使用してＰＣを操作している場合などには、個々のディスプレイの画面を見るために利用者の左右方向への移動量が大きくなり、利用者が撮影範囲から逸脱する機会が増える。

そこで、２台のディスプレイを使っているような場合には、各ディスプレイに内蔵されたカメラで撮影された画像を連結して、撮影範囲を拡大し、利用者の移動範囲の拡大に適応する方式が考えられる。しかし、２台のカメラで撮影された画像を連結するためには、２台のカメラの撮影範囲を画素単位で精度良く位置合わせする必要があり、実用化には困難が伴う。

開示の技術は、複数の撮影部により撮影された画像を用いて継続認証を行う場合において、各撮影部の撮影範囲の正確な位置合わせを必要とすることなく、継続認証中に利用者が移動可能な範囲を拡大することが目的である。

開示の技術は、所定方向に配列された複数の撮影部により互いに異なる撮影範囲が撮影されることで得られた画像を各々取得する画像取得部を備えている。また開示の技術は、画像取得部によって順次取得された処理対象画像中の利用者に対応する利用者対応領域を検知することを繰り返す検知部を備えている。検知部は、画像取得部によって取得された画像中の利用者対応領域から予め取得された基準色ヒストグラムと、処理対象画像から抽出された色ヒストグラムとの類似度に基づいて、処理対象画像中の利用者対応領域を検知する。また開示の技術は、検知部における処理対象画像を切り替える切替部を備えている。切替部は、検知部により検知された利用者対応領域が処理対象画像の外縁に接しているか否かを判定する。切替部は、接していると判定した場合には、撮影部による撮影範囲が利用者対応領域が接している処理対象画像の外縁側に位置している切替先画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度を算出する。また、切替部は、切替先画像の類似度と、処理対象画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度とを比較する。そして、切替部は、切替先画像の類似度が処理対象画像の類似度を超えた場合に、検知部における処理対象画像を切替先画像に切り替える。

開示の技術は、複数の撮影部により撮影された画像を用いて継続認証を行う場合において、各撮影部の撮影範囲の正確な位置合わせを必要とすることなく、継続認証中に利用者が移動可能な範囲を拡大することができる、という効果を有する。

第１実施形態に係る認証装置の機能ブロック図である。認証装置として機能するコンピュータの概略ブロック図である。カメラ配列の一例を示すイメージ図である。利用者が撮影範囲を逸脱した場合のトラッキングの様子を示すイメージ図である。２つの画像の連結を示すイメージ図である。２つのカメラの撮影範囲の位置合わせを説明するためのイメージ図である。２つの画像の連結が正しく行われない場合のイメージ図である。本実施形態の原理を説明するためのイメージ図である。本実施形態の原理を説明するためのイメージ図である。認証処理のフローチャートである。第１実施形態における継続認証処理のフローチャートである。第１実施形態における初期登録処理のフローチャートである。顔検知結果、顔領域及び体領域の抽出結果の一例を示すイメージ図である。類似度算出処理のフローチャートである。利用者の撮影範囲からの逸脱判定を説明するためのイメージ図である。カメラの配列と画像の連結との関係を説明するためのイメージ図である。カメラ配列情報の一例を示す図表である。第２実施形態における処理対象カメラの切替を説明するための線図である。第２実施形態における継続認証処理のフローチャートである。第３実施形態における利用者の移動及び画像の一例を示すイメージ図である。第３実施形態における処理対象カメラの切替を説明するための線図である。第３実施形態における継続認証処理のフローチャートである。第３実施形態における利用者の移動及び画像の他の例を示すイメージ図である。第４実施形態に係る認証装置の機能ブロック図である。第４実施形態における初期登録処理のフローチャートである。カメラ配列の他の例を示すイメージ図である。継続認証処理の他の例を説明するためのイメージ図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

〔第１実施形態〕

図１には、本第１実施形態に係る認証装置１０が示されている。認証装置１０はＰＣや携帯端末等の情報機器を使用する利用者の認証を行う装置である。認証装置１０は、情報機器の使用を開始する利用者の認証（ログイン認証）を行うログイン認証装置１２と、情報機器を使用中の利用者の認証（継続認証）を行う継続認証装置１４とを備えている。認証装置１０は、例えば、利用者によって使用される情報機器に内蔵する（情報機器を認証装置１０としても機能させる）ことができるが、これに代えて、情報機器と通信回線を介して接続されたコンピュータを認証装置１０として機能させることでも実現できる。また、ログイン認証装置１２は、利用者の認証方式として、公知の各種の認証方式（例えば、パスワード認証や生体認証、カード認証等）の何れを適用した構成でもよい。

継続認証装置１４は、画像取得部１６、色ヒストグラム保存部１８、利用者対応領域検知部２０、処理対象画像切替部２２、顔検出部２４、基準色ヒストグラム情報２６を記憶する第１記憶部２８、及びカメラ配列情報３０を記憶する第２記憶部３２を備えている。なお、継続認証装置１４は開示の技術における利用者検知装置の一例であり、利用者対応領域検知部２０は開示の技術の検知部の一例であり、処理対象画像切替部２２は開示の技術の切替部の一例である。

画像取得部１６は、ログイン認証装置１２によるログイン認証を経て前記情報機器を使用している利用者（認証対象者）の顔や体の一部及び利用者の背景を被写体としてカメラ（撮影部）が定期的に撮影を行うことで得られた画像の画像データを定期的に取得する。本実施形態では、画像取得部１６は、第１カメラ５６ａ及び第２カメラ５６ｂ（図２も参照）の各々で撮影された画像の画像データの一方を処理対象画像、他方を切替先画像として取得する。処理対象画像は、ログイン認証及び継続認証の際の処理対象となる画像であり、切替先画像は、継続認証の際に処理対象画像から切り替える候補となる画像である。また以下では、処理対象画像を撮影するカメラを処理対象カメラ、切替先画像を撮影するカメラを切替先カメラという。

なお、例えば認証装置１０が前記情報機器に内蔵されている場合、画像取得部１６は、上記のカメラを含んだ構成であってもよい。また、例えば情報機器と通信回線を介して接続されたコンピュータが認証装置１０として機能する場合、画像取得部１６は、情報機器に設けられたカメラで撮影された画像の画像データを情報機器から受信することで取得する通信ユニットであってもよい。

色ヒストグラム保存部１８は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された処理対象画像中に存在する利用者の顔に対応する顔領域及び体に対応する体領域の色ヒストグラムを算出する。そして色ヒストグラム保存部１８は、算出した色ヒストグラムを、基準色ヒストグラム情報２６として記憶部２８に記憶させる。

利用者対応領域検知部２０は、画像取得部１６によって取得された処理対象画像に対し、記憶部２８に保存された基準色ヒストグラム情報２６を用いて色ヒストグラム認証（利用者に対応する利用者対応領域の検知）を行う。すなわち、画像取得部１６によって取得された処理対象画像に対し、基準色ヒストグラムとの色ヒストグラムの類似度が最大となる領域を探索する。そして、探索により抽出された領域における色ヒストグラムの類似度が閾値ＴＨ以上であれば、抽出した領域に利用者が存在していると判定し、色ヒストグラムの類似度が閾値ＴＨ未満であれば、利用者が情報機器から離席したと判定する。

処理対象画像切替部２２は、利用者が処理対象カメラの撮影範囲から逸脱したか否かを判定し、逸脱した場合には、切替先画像による利用者対応領域の検知を開始する。そして、切替先画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度が、処理対象画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度を超えた場合には、利用者対応領域検知部２０における処理対象画像を切替先画像に切り替える。以下、切替先画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度を「切替先画像の類似度」、処理対象画像から抽出された色ヒストグラムと基準色ヒストグラムとの類似度を、「処理対象画像の類似度」という。

顔検出部２４は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された処理対象画像中に存在する利用者の顔に対応する領域を検出する。顔検出部２４は、検出した顔に対応する領域の情報を顔検出結果として色ヒストグラム保存部１８へ出力する。顔検出部２４から色ヒストグラム保存部１８へ出力された顔検出結果は、色ヒストグラム保存部１８による、画像中の顔領域及び体領域の特定に用いられる。

認証装置１０は、例えば図２に示すコンピュータ４２で実現することができる。なお、以下では、コンピュータ４２が利用者によって使用される情報機器に含まれる態様を説明するが、コンピュータ４２は情報機器と通信回線を介して接続されたコンピュータであってもよい。コンピュータ４２はＣＰＵ４４、メモリ４６、不揮発性の記憶部４８、キーボード５０、マウス５２、第１ディスプレイ５４ａ、第２ディスプレイ５４ｂ、第１カメラ５６ａ、及び第２カメラ５６ｂを備え、これらはバス５８を介して互いに接続されている。なお、第１カメラ５６ａ及び第２カメラ５６ｂは撮影部の一例であり、情報機器（コンピュータ４２）を使用している利用者（認証対象者）の顔や体の一部及び利用者の背景を被写体として撮影可能に配置されている。例えば、第１カメラ５６ａ及び第２カメラ５６ｂは、図３に示すように、左右に配列された第１ディスプレイ５４ａ及び第２ディスプレイ５４ｂの各々の上部に配置することができる。

また、記憶部４８はＨＤＤ（Hard Disk Drive）やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４８には、コンピュータ４２を認証装置１０として機能させるためのログイン認証プログラム６０及び継続認証プログラム６２、並びに基準色ヒストグラム情報２６及びカメラ配列情報３０が各々記憶されている。ＣＰＵ４４は、ログイン認証プログラム６０及び継続認証プログラム６２を記憶部４８から読み出してメモリ４６に展開し、各プログラム６０，６２が有するプロセスを順次実行する。

ＣＰＵ４４は、ログイン認証プログラム６０が有するプロセスを実行することで、図１に示すログイン認証装置１２として動作する。また継続認証プログラム６２は、画像取得プロセス６４、色ヒストグラム保存プロセス６６、利用者対応領域検知プロセス６８、処理対象画像切替プロセス７０、及び顔検出プロセス７２を有する。ＣＰＵ４４は、画像取得プロセス６４を実行することで、図１に示す画像取得部１６として動作する。またＣＰＵ４４は、色ヒストグラム保存プロセス６６を実行することで、図１に示す色ヒストグラム保存部１８として動作する。またＣＰＵ４４は、利用者対応領域検知プロセス６８を実行することで、図１に示す利用者対応領域検知部２０として動作する。またＣＰＵ４４は、処理対象画像切替プロセス７０を実行することで、図１に示す処理対象画像切替部２２として動作する。またＣＰＵ４４は、顔検出プロセス７２を実行することで、図１に示す顔検出部２４として動作する。なお、継続認証プログラム６２は開示の技術における利用者検知プログラムの一例である。

認証装置１０がコンピュータ４２で実現される場合、基準色ヒストグラム情報２６を記憶する記憶部４８は第１記憶部２８として用いられ、メモリ４６の一部領域は基準色ヒストグラム情報２６の記憶領域として用いられる。また、カメラ配列情報３０を記憶する記憶部４８は第２記憶部３２として用いられ、メモリ４６の一部領域はカメラ配列情報３０の記憶領域として用いられる。これにより、ログイン認証プログラム６０及び継続認証プログラム６２を実行したコンピュータ４２が、認証装置１０として機能することになる。

なお、認証装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

次に本第１実施形態の作用を説明する。従来手法では、利用者が情報機器の使用を継続している間、利用者が撮影範囲から逸脱しないことが前提となっている。利用者が撮影範囲から逸脱した場合でも、直ちにトラッキングに失敗することはなく、ある程度逸脱した状態までは、色ヒストグラムの類似度が低下した状態でトラッキングに成功する。しかし、利用者の撮影範囲からの逸脱量が大きくなると、図４に示すように、処理対象画像からトラッキングにより抽出された領域に背景領域が含まれた状態で類似度が算出されるため、トラッキングが困難になるという課題があった。

特に、図３に示したように、２台のディスプレイを使用してＰＣの操作を行っているような場合には、画面を見るために利用者の左右方向への移動量が大きくなり、利用者が撮影範囲から逸脱する機会が増える。そこで、２台のディスプレイを使っている場合には、各ディスプレイに内蔵されたカメラで撮影された画像を連結して、図５に示すように撮影範囲を拡大する方式が考えられる。しかし、連結画像を作成するためには、図６に示すように、２台のカメラの撮影範囲を画素単位で精度良く位置合わせする必要があり、実用上の大きな課題となる。また、使用中にディスプレイが動くと位置合わせの再調整が必要となり、利用者の大きな負担となる。

更に、上記のような位置合わせはディスプレイから利用者までの距離が一定の場合にのみ有効である。例えば、調整済みの位置合わせ位置に利用者が存在する場合には、図５に示したように、正しく画像が連結される。しかし、利用者が調整済みの位置合わせ位置より前方または後方に移動した場合には、図７に示すように、画像の連結が正しく行われない。このため、利用者は情報機器の使用中に前後方向に移動できないという制限も発生する。

そこで、本実施形態では、第１カメラ５６ａ及び第２カメラ５６ｂの各々で撮影された画像を連結することなく、継続認証中に利用者が移動可能な範囲の拡大を図る。ここで、本実施形態の原理について、図８及び図９を参照して説明する。本実施形態では、まず、第１カメラ５６ａ及び第２カメラ５６ｂのいずれか一方で撮影された画像（処理対象画像）を用いて継続認証を開始する。ここでは、図８に示すように、第１カメラ５６ａで撮影された画像を処理対象画像として継続認証を開始し、利用者が第１カメラ５６ａから第２カメラ５６ｂの方向へ移動する場合を例に説明する。継続認証開始時には、基準色ヒストグラム情報２６を用いて、第１カメラ５６ａで撮影された処理対象画像による継続認証の処理が行われる（図８及び図９中「開始位置」）。利用者が処理対象カメラ（第１カメラ５６ａ）の撮影範囲内に収まっている場合には、図９に示すように、処理対象画像（第１カメラ５６ａで撮影された画像）の類似度は高い値となる。

利用者が各カメラから見て右方向（第１カメラ５６ａから第２カメラ５６ｂの方向）へ移動し（図８及び図９中「移動中」）、処理対象カメラ（第１カメラ５６ａ）の撮影範囲を逸脱すると、処理対象画像による類似度は低下し始める（図９）。利用者が処理対象カメラ（第１カメラ５６ａ）の撮影範囲を逸脱した場合には、第２カメラ５６ｂを切替先カメラとする。そして、第２カメラ５６ｂで撮影された切替先画像についても、処理対象画像で用いたのと同じ基準色ヒストグラム情報２６を用いて、色ヒストグラムの類似度の算出を開始する。

その後、利用者が更に右方向へ移動している間、処理対象画像（第１カメラ５６ａで撮影された画像）の類似度と切替先画像（第２カメラ５６ｂで撮影された画像）の類似度とを図９に示すようにモニタする。そして、切替先画像の類似度が処理対象画像の類似度を超えた時点で、利用者が切替先カメラ（第２カメラ５６ｂ）の撮影範囲内に移動したと判断する（図８及び図９中「移動後」）。そこで、現在の切替先カメラ（第２カメラ５６ｂ）を継続認証の処理対象カメラに切り替えると共に、現在の処理対象カメラ（第１カメラ５６ａ）で撮影された画像による継続認証を停止する。

以下、図１０のフローチャートを参照し、本実施形態に係る認証装置１０による認証処理を説明する。図１０に示す認証処理は、利用者（認証対象者）によって情報機器の使用が開始される際に実行される。まずステップ８０において、ログイン認証装置１２は、ログイン認証処理を行う。このログイン認証処理における認証方式は、前述のように、公知の各種の認証方式（例えばパスワード認証や生体認証、カード認証等）の何れでもよい。次のステップ８２において、ログイン認証装置１２は、ログイン認証によって利用者が正規の利用者であることを確認できたか否か判定する。

ステップ８２の判定が否定された場合は認証処理を終了する。これにより、正規の利用者以外の他者が情報機器を使用することが阻止される。一方、ステップ８２の判定が肯定された場合、ログイン認証装置１２は継続認証装置１４を起動してステップ８４へ移行し、ステップ８４において、継続認証装置１４は継続認証処理を行う。これにより、ログイン認証によって正規の利用者であることが確認された利用者は、継続認証装置１４によって継続認証処理が行われている間、情報機器を使用することが可能となる。

次に、図１０に示す認証処理のステップ８４で継続認証装置１４によって行われる継続認証処理の詳細を、図１１を参照して説明する。図１１に示す継続認証処理では、まずステップ９０で初期登録処理が行われる。

この初期登録処理について、図１２を参照して説明すると、まずステップ１３０において、画像取得部１６は、初期登録の処理対象カメラによって撮影された最新の処理対象画像の画像データを取得する。初期登録の処理対象カメラ、第１カメラ５６ａ及び第２カメラ５６ｂのいずれか一方を予め定めておくことができる。また、処理登録開始時等に、第１カメラ５６ａ及び第２カメラ５６ｂのいずれを初期登録の処理対象カメラとするかを、利用者により選択させるようにしてもよい。また、第１カメラ５６ａ及び第２カメラ５６ｂのうち、撮影された画像上で利用者の顔がより大きな面積で存在しているカメラを初期登録の処理対象カメラとしてもよい。

次のステップ１３２において、顔検出部２４は、画像取得部１６によって取得された画像データが表す処理対象画像中に存在する利用者の顔に対応する領域を検出する。なお、顔検出部２４による顔検出には、例えばHaar classifierを用いる手法（非特許文献１参照）等の任意の手法を適用することができる。次のステップ１３４において、顔検出部２４は、上記ステップ１３２により、利用者の顔に対応する領域を検出できたか否か判定する。例えば、撮影時に利用者の顔が初期登録の処理対象カメラの正面を向いていなかった等の場合には、ステップ１３４の判定が否定されてステップ１３０に戻り、ステップ１３４の判定が肯定されるまで、ステップ１３０〜ステップ１３４を繰り返す。

一方、ステップ１３４の判定が肯定された場合はステップ１３６へ移行する。ステップ１３６において、色ヒストグラム保存部１８は、顔検出部２４による顔検出結果に基づき、利用者の顔におよそ対応する一定形状（例えば楕円形状や他の形状）の顔領域を設定する。また、設定した顔領域の下方に、利用者の体の一部におよそ対応する一定形状（例えば楕円形状や他の形状）の体領域を設定する（非特許文献２参照）。なお、体領域の設定には他の手法を用いることも可能である。図１３に、顔検出部２４による顔検出結果の一例を「顔検出結果」、色ヒストグラム保存部１８によって設定された顔領域の一例を「顔領域」、体領域の一例を「体領域」と表記して各々示す。

次のステップ１３８において、色ヒストグラム保存部１８は、ステップ１３６で設定した利用者の顔領域及び体領域の各々の色ヒストグラムを生成する。生成する色ヒストグラムは、例えば、処理対象画像の各画素の色をＲ，Ｇ，Ｂ３色の組み合わせで表す画像データが画像取得部１６によって取得される場合、Ｒ，Ｇ，Ｂ３色の組み合わせ毎の頻度を表す色ヒストグラムとなる。なお、ＲＧＢ色空間以外の他の色空間を用いてもよい。

ステップ１４０において、色ヒストグラム保存部１８は、ステップ１３８で生成した顔領域及び体領域の各々の色ヒストグラムを基準色ヒストグラム情報２６として第１記憶部２８に記憶させる。また、色ヒストグラム保存部１８は、ステップ１３６で設定した利用者の顔領域及び体領域の各々の位置及びサイズを表す情報も、基準色ヒストグラム情報２６の一部として第１記憶部２８に記憶させる。

そしてステップ１４２において、処理対象画像切替部２２は、継続認証の処理対象カメラを設定し、初期登録処理を終了する。なお、継続認証の処理対象カメラは、第１カメラ５６ａ及び第２カメラ５６ｂのいずれか一方を予め定めておいてもよいし、利用者により選択させるようにしてもよいし、初期登録の処理対象カメラと同一のカメラとしてもよい。また、第１カメラ５６ａ及び第２カメラ５６ｂのうち、撮影された画像上で利用者の顔がより大きな面積で存在しているカメラを継続認証の処理対象カメラとして設定してもよい。ここでは、第１カメラ５６ａを継続認証の処理対象カメラに設定する場合を例に説明する。

上述した初期登録処理が終了すると、図１１の継続認証処理のステップ９２へ移行する。ステップ９２において、画像取得部１６は、上記初期登録処理のステップ１４２で設定された処理対象カメラ（第１カメラ５６ａ）によって撮影された最新の処理対象画像の画像データを取得する。ステップ９４において、利用者対応領域検知部２０は、画像取得部１６によって画像データが取得された処理対象画像に対し、基準色ヒストグラム情報２６を用いて、利用者対応領域の検知（色ヒストグラム認証）のための類似度算出処理を行う。

この類似度算出処理について、図１４を参照して説明すると、まずステップ１６０において、利用者対応領域検知部２０は、第１記憶部２８に記憶されている基準色ヒストグラム情報２６から、利用者の顔領域の情報（位置及びサイズ）を取得する。次のステップ１６２において、利用者対応領域検知部２０は、ステップ１６０で情報を取得した顔領域を基準として、処理対象画像から顔領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域（現在の顔領域）をトラッキング（探索）する。このトラッキングは、顔領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。

次のステップ１６４において、利用者対応領域検知部２０は、第１記憶部２８に記憶されている基準色ヒストグラム情報２６から、利用者の体領域の情報（位置及びサイズ）を取得する。そして、次のステップ１６６において、利用者対応領域検知部２０は、ステップ１６４で情報を取得した体領域を基準として、処理対象画像から体領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域（現在の体領域）をトラッキングする。このトラッキングも、体領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。

なお、トラッキングの手法としては、非特許文献３で提案されている手法など、任意のトラッキング手法を用いることができる。

次のステップ１６８において、利用者対応領域検知部２０は、上記ステップ１６２のトラッキングで抽出した顔領域の色ヒストグラムの類似度、及び上記ステップ１６６のトラッキングで抽出した体領域の色ヒストグラムの類似度から最終類似度を算出する。顔領域の色ヒストグラムの類似度をＳ_ｆａｃｅ、体領域の色ヒストグラムの類似度をＳ_ｂｏｄｙとした場合、最終類似度Ｓ_{ｆｉｎａｌ}は下記（１）式で算出することができる。

Ｓ_{ｆｉｎａｌ}＝ｔ×Ｓ_ｆａｃｅ＋（１−ｔ）×Ｓ_ｂｏｄｙ・・・（１）

ただし、ｔは顔領域の色ヒストグラムの類似度Ｓ_ｆａｃｅに対する重み係数で、０≦ｔ≦１である。最終類似度を算出すると、類似度算出処理を終了する。

上述した類似度算出処理が終了すると、図１１の継続認証処理のステップ９６へ移行する。ステップ９６において、利用者対応領域検知部２０は、上記ステップ９４で得られた色ヒストグラムの最終類似度が予め設定された閾値ＴＨ以上か否か判定する。ステップ９６の判定が肯定された場合、処理対象画像のうち上記ステップ９４でトラッキングされた領域に利用者が存在しており、利用者対応領域が検知されたと判断し、ステップ９８へ移行する。

なお、上記ステップ１６８で最終類似度Ｓ_{ｆｉｎａｌ}を算出することなく、顔領域の色ヒストグラムの類似度Ｓ_ｆａｃｅ、及び体領域の色ヒストグラムの類似度Ｓ_ｂｏｄｙの各々を用いて、下記（２）式により閾値判定を行ってもよい。なお、ＴＨ_ｆ及びＴＨ_ｂは、顔領域の色ヒストグラムの類似度Ｓ_ｆａｃｅ、及び体領域の色ヒストグラムの類似度Ｓ_ｂｏｄｙの各々について予め定められた閾値である。

Ｓ_ｆａｃｅ ≧ ＴＨ_ｆかつＳ_ｂｏｄｙ≧ ＴＨ_ｂ・・・（２）

ステップ９８において、処理対象画像切替部２２は、利用者が処理対象カメラ（第１カメラ５６ａ）の撮影範囲から切替先カメラの撮影範囲方向へ逸脱したか否かを判定する。この判定は、上記ステップ９４におけるトラッキングにより抽出された領域が処理対象画像のうち、切替先画像と近接している側の外縁に接しているか否かにより行うことができる。例えば、図１５に示すように、トラッキングにより抽出された顔領域の左端のＸ座標（水平方向座標）をＸｆｌ、右端のＸ座標をＸｆｒとする。この場合、Ｘｆｌ＝０またはＸｆｒ＝０となった場合に、利用者が撮影範囲から逸脱したと判定することができる。なお、図１５の例では、顔領域を用いて逸脱を判定する場合について示したが、体領域を用いた場合も同様である。また、逸脱した方向が切替先カメラの撮影範囲方向か否かの判定は、第２記憶部３２に保存されたカメラ配列情報３０を参照して行う。

ここで、カメラ配列情報３０は、複数のカメラの配列関係（連結関係）を示す情報である。例えば、利用者に向かって左側に第１カメラ５６ａ、右側に第２カメラ５６ｂが配列されている場合に、利用者が第２カメラ５６ｂの撮影範囲の右端から離席するとする。各カメラの配列が正しく認識されている場合には、図１６（ａ）に示すように、取得された画像の連結関係も正しく認識される。しかし、各カメラの配列が正しく認識されていない場合、すなわち第１カメラ５６ａと第２カメラ５６ｂとの配列が逆に認識されている場合には、同図（ｂ）に示すように画像の連結関係が誤認識される。この場合、利用者が第１カメラ５６ａから第２カメラ５６ｂの方向へ移動したと誤認識され、処理対象カメラが第１カメラ５６ａから第２カメラ５６ｂに切り替わる。このとき、第２カメラ５６ｂで撮影された画像の左端から利用者対応領域が誤検知される可能性がある。例えば、背景の色ヒストグラムが基準色ヒストグラム情報２６と類似する場合には、このような誤検出が発生する。この問題を防止するために、例えば、図１７に示すようなカメラ配列情報３０を格納しておくことで、本来発生しない利用者対応領域の誤検知を防止することができる。

すなわち、ステップ９８において、処理対象画像切替部２２は、Ｘｆｌ＝０、かつ処理対象カメラの左側に配列された切替先カメラが存在する場合、または、Ｘｆｒ＝０、かつ処理対象カメラの右側に配列された切替先カメラが存在する場合に肯定判定する。肯定判定されるとステップ１００に移行し、処理対象画像切替部２２は、上記ステップ９８で利用者の逸脱方向に存在すると判定した切替先カメラ（第２カメラ５６ｂ）によって撮影された最新の切替先画像の画像データを画像取得部１６に取得させる。

一方、ステップ９８において、処理対象画像切替部２２は、利用者が処理対象カメラの撮影範囲から逸脱していない場合、または逸脱した方向に切替先カメラが存在しない場合に否定判定する。否定判定されると、ステップ９２へ戻り、ステップ９２〜ステップ９８を繰り返す。これにより、ステップ９４で得られた処理対象画像の類似度が閾値ＴＨ以上の間、処理対象画像（第１カメラ５６ｂで撮影された画像）による継続認証が行われる。なお、逸脱した方向に切替先カメラが存在しないとして否定判定された場合は、繰り返しのステップ９６において、類似度の低下により否定判定される。

次のステップ１０２において、処理対象画像切替部２２は、画像取得部１６によって画像データが取得された切替先画像（第２カメラ５６ｂで撮影された画像）に対し、基準色ヒストグラム情報２６を用いて、切替先画像の類似度算出処理を行う。類似度算出処理については、図１４に示した処理対象画像に対する類似度算出処理において、処理対象画像を切替先画像と読み替えればよいため、説明を省略する。

次のステップ１０４において、処理対象画像切替部２２は、上記ステップ１０２で算出された切替先画像の類似度が、上記ステップ９４で算出された処理対象画像の類似度を超えたか否かを判定する。ステップ１０４の判定が肯定された場合は、ステップ１０６へ移行し、現在の切替先カメラ（第２カメラ５６ｂ）を処理対象カメラに切り替える。これにより、第２カメラ５６ｂで撮影された画像を処理対象画像として、継続認証処理が行われる。また、処理対象画像切替部２２は、現在の処理対象カメラ（第１カメラ５６ａ）で撮影された画像による継続認証処理を停止させて、ステップ９２へ戻る。一方、ステップ１０４の判定が否定された場合は、そのままステップ９２へ戻り、ステップ９２〜ステップ１０４を繰り返す。これにより、処理対象カメラの撮影範囲から利用者が逸脱し、かつ切替先画像の類似度が処理対象画像の類似度を超えるまでの間は、処理対象画像による継続認証、及び切替先画像による類似度の算出が行われる。

また、ステップ９４で得られた処理対象画像の類似度が閾値ＴＨ未満になった場合は、ステップ９６の判定が否定されてステップ１０８へ移行する。ステップ１０８において、利用者対応領域検知部２０は、利用者が情報機器から離れたとの判定結果を出力する。また、次のステップ１１０において、利用者対応領域検知部２０は、情報機器の使用をロックする等の使用制限処理を行い、継続認証処理を終了する。この場合、情報機器から一旦離れた利用者が情報機器を利用する際には、前述のログイン認証が再度行われることになる。

上記のように、第１実施形態に係る認証装置１０によれば、利用者が処理対象カメラの撮影範囲から逸脱した場合には、利用者の移動先を撮影範囲とする切替先カメラで撮影された切替先画像による類似度の算出を開始する。そして、切替先画像の類似度が処理対象画像の類似度を超えた場合には、切替先カメラを処理対象カメラに切り替える。これにより、各カメラの撮影範囲の正確な位置合わせを必要とすることなく、継続認証中の利用者が移動可能な範囲を拡大することができる。

〔第２実施形態〕

次に開示の技術の第２実施形態について説明する。なお、第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態の作用を説明する。

第１実施形態において、切替先画像の類似度が処理対象画像の類似度を超えた場合に、切替先カメラを処理対象カメラに切り替える態様を説明した。これは、利用者が処理対象カメラ（第１カメラ５６ａ）から切替先カメラ（第２カメラ５６ｂ）の方向へ一定速度で並行に移動する理想的な条件を想定している。実際には、利用者は、第１カメラ５６ａと第２カメラ５６ｂとの境界付近で停滞したり、体の向きが変化したりするため、図１８に示すように、各画像から算出された類似度にはバラつきが発生する。この類似度のバラつきにより、撮影範囲の境界付近で頻繁に処理対象カメラの切り替えが発生し、処理負荷が増加する恐れがある。そこで、処理対象画像の類似度と切替先画像の類似度とを比較する際に、切替先カメラのバラつきをオフセットとして考慮し、切替先画像の類似度からオフセット値を減算して比較する。これにより、類似度のバラつきによる頻繁な処理対象カメラの切り替えが発生することを防止することができる。オフセット値は、任意の値を設定可能であり、適切な値は事前の調査等により求めることが可能である。

続いて図１９を参照し、本第２実施形態に係る継続認証処理について、第１実施形態で説明した継続認証処理（図１１）と異なる部分についてのみ説明する。本第２実施形態に係る継続認証処理では、切替先画像の類似度が算出されると（ステップ１０２）、ステップ１１２へ移行し、ステップ１０２で算出された切替先画像（第２カメラ５６ｂで撮影された画像）の類似度から予め定めたオフセット値を減算する。次のステップ１１４において、処理対象画像切替部２２は、上記ステップ１１２でオフセット値が減算された切替先画像の類似度が、上記ステップ９４で算出された処理対象画像（第１カメラ５６ａで撮影された画像）の類似度を超えたか否かを判定する。ステップ１０４の判定が肯定された場合は、ステップ１０６へ移行し、現在の切替先カメラ（第２カメラ５６ｂ）を処理対象カメラに切り替える。

上記のように、第２実施形態に係る認証装置１０によれば、処理対象画像の類似度と切替先画像の類似度とを比較する際に、切替先画像の類似度からオフセット値を減算して比較する。これにより、類似度のバラつきによる頻繁な処理対象カメラの切り替えが発生することを防止することができる。

〔第３実施形態〕

次に開示の技術の第３実施形態について説明する。なお、第３実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第３実施形態の作用を説明する。

第１及び第２実施形態では、処理対象画像の類似度及び切替先画像の類似度のみを使って、処理対象画像の切替を判定する場合について説明した。しかし、図４及び図９の説明でも述べたように、利用者の一部が処理対象カメラの撮影範囲から逸脱すると、色ヒストグラムの類似度が徐々に低下する。これは、トラッキングにより抽出された領域に含まれる背景領域の割合が大きくなった状態で類似度が算出されるため、誤差が大きくなり易いからである。

一方で、図２０に示すように、処理対象カメラ（第１カメラ５６ａ）の撮影範囲から利用者が逸脱したときに、既に切替先カメラ（第２カメラ５６ｂ）の撮影範囲に利用者が収まっているような場合もある。このような場合には、図２１に示すように、利用者が処理対象カメラ（第１カメラ５６ａ）の撮影範囲から逸脱した直後から、切替先カメラ（第２カメラ５６ｂ）で撮影された切替先画像の類似度の方が高くなる。従って、切替先画像を用いた方が誤差の少ない安定した継続認証が可能である。

そこで、第３実施形態では、切替先カメラの撮影範囲に利用者が収まっている場合には、切替先画像の類似度に重みを掛けて処理対象画像の類似度と切替先画像の類似度とを比較する。これにより、利用者が撮影範囲に収まっている側のカメラの画像を優先的に処理対象画像とすることが可能になる。

続いて図２２を参照し、本第３実施形態に係る継続認証処理について、第１実施形態で説明した継続認証処理（図１１）と異なる部分についてのみ説明する。本第３実施形態に係る継続認証処理では、切替先画像の類似度が算出されると（ステップ１０２）、ステップ１１６へ移行し、処理対象画像切替部２２は、利用者が切替先カメラ（第２カメラ５６ｂ）の撮影範囲から逸脱しているか否かを判定する。この判定は、上記ステップ９８と同様に、上記ステップ１０２におけるトラッキングにより抽出された領域が切替先画像（第２カメラ５６ｂで撮影された画像）の外縁と接しているか否かにより行うことができる。ステップ１１６の判定が否定された場合は、ステップ１１８へ移行し、切替先画像の類似度に重みを掛ける。重みは、任意の値（例えば、１．２）を設定可能であり、適切な値は事前の調査等により求めることが可能である。ステップ１１６の判定が肯定された場合は、そのままステップ１２０へ移行する。

次のステップ１２０において、処理対象画像切替部２２は、切替先画像（第２カメラ５６ｂで撮影された画像）の類似度が、上記ステップ９４で算出された処理対象画像（第１カメラ５６ａで撮影された画像）の類似度を超えたか否かを判定する。個々での切替先画像の類似度は、上記ステップ１１８を経由した場合には、重みが掛けられた類似度であり、ステップ１１８を経由していない場合には、上記ステップ１０２で算出された類似度である。ステップステップ１２０の判定が肯定された場合は、ステップ１０６へ移行し、現在の切替先カメラ（第２カメラ５６ｂ）を処理対象カメラに切り替える。

上記のように、第３実施形態に係る認証装置１０によれば、処理対象画像の類似度と切替先画像の類似度とを比較する際に、切替先カメラの撮影範囲に利用者が収まっている場合には、切替先画像の類似度に重みを掛けて比較する。これにより、利用者が撮影範囲に収まっている側のカメラの画像を優先的に処理対象画像とすることが可能になる。

なお、上記では、利用者が処理対象カメラの撮影範囲から逸脱したときに、既に切替先カメラの撮影範囲に利用者が収まっている場合の例として図２０の例を示した。他にも、図２３に示すように、２台のディスプレイ５４ａ、５４ｂを内側（利用者側）に傾けることで、第１カメラ５６ａ及び第２カメラ５６ｂを内側に傾けた配置でも同様のケースとなる。これらはいずれも、利用者の移動範囲において、第１カメラ５６ａの撮影範囲と第２カメラの５６ｂの撮影範囲との重複範囲が大きい場合である。

〔第４実施形態〕

次に開示の技術の第４実施形態について説明する。なお、第１〜第３実施形態と同一の部分には同一の符号を付し、説明を省略する。

図２４には、本第４実施形態に係る認証装置１０が示されている。本第４実施形態は、継続認証装置１４が、報知部３４を更に備えている点で第１〜第３実施形態と相違している。報知部３４は、処理対象画像の類似度と切替先画像の類似度との交点が閾値ＴＨを下回る場合に、利用者にカメラの配置を調整するよう促すメッセージを報知する。

また、本第４実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、本第４実施形態に係る継続認証プログラム６２は、図２に破線で示すように、報知プロセス７４を更に有する。この場合、ＣＰＵ４４は、報知プロセス７４を実行することで、図２４に示す報知部３４として動作する。

次に本第４実施形態の作用を説明する。第１実施形態において、切替先画像の類似度が処理対象画像の類似度を超えた場合に、現在の切替先カメラ（第２カメラ５６ｂ）を処理対象カメラに切り替える態様を説明した。しかし、利用者の前後方向の位置や体の傾きなどにより、図９における処理対象画像の類似度と切替先画像の類似度との交点における類似度が、閾値ＴＨを下回る場合もある。この場合には、交点付近で利用者が離席したと判定されて、継続認証が途切れる可能性がある。

一方で、第３実施形態で説明したように、利用者とカメラとの距離が離れている場合（図２０）や、２台のカメラを内側に傾けて配置した場合（図２３）などでは、図２１に示すように、交点における類似度が高くなる。

そこで、第４実施形態では、本装置を使用する確認事項として、処理対象画像の類似度と切替先画像の類似度との交点における類似度を求める処理を行い、交点における類似度が閾値ＴＨを下回っている場合には、利用者にカメラの配置を調整するように促す。

続いて図２５を参照し、本第４実施形態に係る初期登録処理について、第１実施形態で説明した初期登録処理（図１２）と異なる部分についてのみ説明する。本第４実施形態に係る初期登録処理では、継続認証処理の処理対象カメラを設定すると（ステップ１４２）、ステップ１４４へ移行する。ステップ１４４において、報知部３４は、第１ディスプレイ５４ａまたは第２ディスプレイ５４ｂに、切替先カメラ（第２カメラ５６ｂ）の方向への移動を促すメッセージを表示する。次のステップ１４６で、報知部３４は、処理対象画像（第１カメラ５６ａで撮影された画像）の類似度と切替先画像（第２カメラ５６ｂで撮影された画像）の類似度との交点を算出する。交点は、継続認証処理（図４）のステップ９２〜ステップ１０４と同様の処理を行うことにより算出することができる。

次のステップ１４８において、報知部３４は、上記ステップ１４６で算出された交点における類似度が閾値ＴＨを下回っているか否かを判定する。ステップ１４８の判定が肯定される場合には、ステップ１５０へ移行し、カメラを内側に傾けるなど、カメラの配置を調整するように促すメッセージを、第１ディスプレイ５４ａまたは第２ディスプレイ５４ｂに表示して、初期登録処理を終了する。ステップ１４８の判定が否定される場合には、そのまま初期登録処理を終了する。

上記のように、第４実施形態に係る認証装置１０によれば、処理対象画像の類似度と切替先画像の類似度との交点における類似度が閾値ＴＨを下回っている場合には、利用者にカメラの配置を調整するよう促す。カメラの配置が調整されると、交点における類似度が高くなるため、交点付近で利用者が離席したと判定されて、継続認証が途切れることを防止することができる。

なお、上記では、カメラの配置を調整するよう促すメッセージをディスプレイに表示する場合について説明したが、スピーカを設けて音声によりメッセージを報知するようにしてもよい。

また、上記で説明した初期登録処理は、第１カメラ５６ａ及び第２カメラ５６ｂを設置する際に、設置位置や向きを調整するキャリブレーションを目的として実行してもよい。

また、第１〜第４実施形態では、２台のカメラが左右（水平方向）に配列された場合について説明したが、上下に配列する場合にも開示の技術を適用することができる。第１カメラ５６ａと第２カメラ５６ｂとを上下に配列した例を図２６に示す。この場合、図１５と同様の方法にて、トラッキングにより抽出された顔領域の上端のＹ座標（垂直方向座標）Ｙｆｔ、下端のＹ座標Ｙｆｂを検出する。そして、利用者が上から下へ移動する場合には、処理対象カメラ（第１カメラ５６ａ）で撮影された処理対象画像において、Ｙｆｂ＝０となった場合に、利用者が処理対象カメラ（第１カメラ５６ａ）の撮影範囲から逸脱したと判定する。また、利用者が下から上へ移動する場合には、処理対象カメラ（第２カメラ５６ｂ）で撮影された処理対象画像において、Ｙｆｔ＝０となった場合に、利用者が処理対象カメラ（第２カメラ５６ｂ）の撮影範囲から逸脱したと判定する。

また、第１〜第４実施形態と同様に、体領域の色ヒストグラムも用いて継続認証処理を行うこともできる。利用者が上から下へ移動する場合には、処理対象カメラ（第１カメラ５６ａ）の撮影範囲から、最初に体が逸脱し始め、次に顔が逸脱する。逆に、利用者が下から上へ移動する場合には、処理対象カメラ（第２カメラ５６ｂ）の撮影範囲から、最初に顔が逸脱し始め、次に体が逸脱する。そこで、処理対象画像から抽出された体領域の下端のＹ座標Ｙｂｂも検出しておき、利用者が上から下へ移動する場合には、Ｙｂｂ＝０となった場合に、利用者が処理対象カメラ（第１カメラ５６ａ）の撮影範囲から逸脱したと判定することができる。

更に、利用者が上から下へ移動する場合において、図２７に示すように、体領域が処理対象画像（第１カメラ５６ａで撮影された画像）の外縁（下端）に接した場合には、顔領域のトラッキングのみを継続するようにしてもよい。この場合、顔領域の色ヒストグラムの類似度を用いて、継続認証を継続すると共に、切替先画像（第２カメラ５６ｂで撮影された画像）において、体領域のトラッキングを開始する。そして、切替先画像（第２カメラ５６ｂで撮影された画像）から算出された体領域の色ヒストグラムの類似度が、処理対象画像（第１カメラ５６ａで撮影された画像）から算出された顔領域の色ヒストグラムの類似度を超えた場合に、処理対象カメラを切り替える。

同様に、利用者が下から上へ移動する場合において、体領域が処理対象画像（第２カメラ５６ｂで撮影された画像）の外縁（上端）に接した場合には、体領域のトラッキングのみを継続する。この場合、体領域の色ヒストグラムの類似度を用いて、継続認証を継続すると共に、切替先画像（第１カメラ５６ａで撮影された画像）において、顔領域のトラッキングを開始する。そして、切替先画像（第１カメラ５６ａで撮影された画像）から算出された顔領域の色ヒストグラムの類似度が、処理対象画像（第２カメラ５６ｂで撮影された画像）から算出された体領域の色ヒストグラムの類似度を超えた場合に、処理対象カメラを切り替える。

なお、上記では、複数の撮影部として２台のカメラを用いる場合について説明したが、開示の技術は、３台以上のカメラを用いる態様にも適用可能である。この場合、利用者の移動方向に対応して、左右方向または上下方向に隣接して配列された２台のカメラで撮影された画像について、上記実施形態と同様に処理すればよい。

また、上記では継続認証処理を開始する際に、顔検出部２４によって検出された顔検出結果から特定される顔領域の色ヒストグラムを基準ヒストグラムの１つとして登録する態様を説明したが、これに限定されるものではない。例えばログイン認証装置１２が、ログイン認証として、認証対象者の顔が予め登録された正規の利用者の顔に対応しているか否かを判定する顔認証を行う構成であれば、当該顔認証での顔領域の抽出結果に基づいて基準色ヒストグラムの登録を行うようにしてもよい。この場合、顔検出部２４を省略することで継続認証装置１４の構成を簡単にすることが可能となる。

また、上記では初期登録処理で第１記憶部２８に基準色ヒストグラム情報２６を記憶させる態様を説明したが、これに限定されるものでもない。例えば、一定時間が経過したタイミングなどで、基準色ヒストグラムを再度生成し、基準色ヒストグラム情報２６を更新するようにしてもよい。

また、上記ではログイン認証の後、ログイン認証を経た同一の利用者が情報機器を継続的に使用しているか否かを認証する継続認証に開示の技術を適用した態様を説明したが、開示の技術は上記の態様に限定されるものではない。例えば、利用者が情報機器を利用している間のみ映像（動画像）や音声の再生やアプリケーション・プログラムの実行を行い、利用者が情報機器の設置場所から離れている間は映像等の再生等を停止させる態様において、利用者の在／不在の検知に適用してもよい。

更に、上記では継続認証プログラム６２が記憶部４８に予め記憶（インストール）されている態様を説明したが、継続認証プログラム６２は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０認証装置
１４継続認証装置
１６画像取得部
２０利用者対応領域検知部
２２処理対象画像切替部
２６基準色ヒストグラム情報
３０カメラ配列情報
３４報知部
４２コンピュータ
４４ＣＰＵ
４８記憶部
５６ａ第１カメラ
５６ｂ第２カメラ

Claims

所定方向に配列された複数の撮影部により互いに異なる撮影範囲が撮影されることで得られた画像を各々取得する画像取得部と、
前記画像取得部によって取得された画像中の利用者に対応する利用者対応領域から予め取得された基準色ヒストグラムと、前記画像取得部によって順次取得された処理対象画像から抽出された色ヒストグラムとの類似度に基づいて、前記処理対象画像中の前記利用者対応領域を検知することを繰り返す検知部と、
前記検知部により検知された前記利用者対応領域が前記処理対象画像の外縁に接している場合には、撮影部による撮影範囲が前記利用者対応領域が接している前記処理対象画像の前記外縁側に位置している切替先画像から抽出された色ヒストグラムと前記基準色ヒストグラムとの類似度と、前記処理対象画像から抽出された色ヒストグラムと前記基準色ヒストグラムとの類似度とを比較して、前記切替先画像の類似度が前記処理対象画像の類似度を超えた場合に、前記検知部における前記処理対象画像を前記切替先画像に切り替える切替部と、
を含む利用者検知装置。
前記切替部は、前記切替先画像の類似度から予め定めたオフセット値を減算して、前記処理対象画像の類似度と比較する請求項１記載の利用者検知装置。
前記切替手段は、前記切替先画像から色ヒストグラムを抽出した領域が前記切替先画像の外縁に接していない場合には、前記切替先画像の類似度の重みが重くなるように重みを掛けて、前記処理対象画像の類似度と比較する請求項１または請求項２記載の利用者検知装置。
前記切替部は、前記複数の撮影部の各々の配列関係を示す撮影部配列情報を予め格納しておき、前記撮影部配列情報に基づいて、前記利用者対応領域が接している前記処理対象画像の外縁に対応する方向に配列された撮影部を選択する請求項１〜請求項３のいずれか１項記載の利用者検知装置。
前記切替先画像の類似度が前記処理対象画像の類似度を超えたときの前記切替先画像の類似度が、前記利用者対応領域を検知するための閾値より低い場合には、前記利用者の移動範囲において、前記複数の撮影部の各々の撮影範囲の重複範囲が大きくなるように、前記複数の撮影部の各々の配置を変更するように報知する報知手段を含む請求項１〜請求項４のいずれか１項記載の利用者検知装置。
所定方向に配列された複数の撮影部により互いに異なる撮影範囲が撮影されることで得られた画像を各々取得する画像取得ステップと、
前記画像取得ステップによって取得された画像中の利用者に対応する利用者対応領域から予め取得された基準色ヒストグラムと、前記画像取得ステップによって順次取得された処理対象画像から抽出された色ヒストグラムとの類似度に基づいて、前記処理対象画像中の前記利用者対応領域を検知することを繰り返す検知ステップと、
前記検知ステップにより検知された前記利用者対応領域が前記処理対象画像の外縁に接している場合には、撮影部による撮影範囲が前記利用者対応領域が接している前記処理対象画像の前記外縁側に位置している切替先画像から抽出された色ヒストグラムと前記基準色ヒストグラムとの類似度と、前記処理対象画像から抽出された色ヒストグラムと前記基準色ヒストグラムとの類似度とを比較して、前記切替先画像の類似度が前記処理対象画像の類似度を超えた場合に、前記検知ステップにおける前記処理対象画像を前記切替先画像に切り替える切替ステップと、
を含む利用者検知方法。
コンピュータに、
所定方向に配列された複数の撮影部により互いに異なる撮影範囲が撮影されることで得られた画像を各々取得する画像取得ステップと、
前記画像取得ステップによって取得された画像中の利用者に対応する利用者対応領域から予め取得された基準色ヒストグラムと、前記画像取得ステップによって順次取得された処理対象画像から抽出された色ヒストグラムとの類似度に基づいて、前記処理対象画像中の前記利用者対応領域を検知することを繰り返す検知ステップと、
前記検知ステップにより検知された前記利用者対応領域が前記処理対象画像の外縁に接している場合には、撮影部による撮影範囲が前記利用者対応領域が接している前記処理対象画像の前記外縁側に位置している切替先画像から抽出された色ヒストグラムと前記基準色ヒストグラムとの類似度と、前記処理対象画像から抽出された色ヒストグラムと前記基準色ヒストグラムとの類似度とを比較して、前記切替先画像の類似度が前記処理対象画像の類似度を超えた場合に、前記検知ステップにおける前記処理対象画像を前記切替先画像に切り替える切替ステップと、
を含む処理を実行させるための利用者検知プログラム。