JP2013125340A - 利用者検知装置、方法及びプログラム - Google Patents

利用者検知装置、方法及びプログラム Download PDF

Info

Publication number
JP2013125340A
JP2013125340A JP2011272518A JP2011272518A JP2013125340A JP 2013125340 A JP2013125340 A JP 2013125340A JP 2011272518 A JP2011272518 A JP 2011272518A JP 2011272518 A JP2011272518 A JP 2011272518A JP 2013125340 A JP2013125340 A JP 2013125340A
Authority
JP
Japan
Prior art keywords
area
region
image
color histogram
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011272518A
Other languages
English (en)
Other versions
JP5831193B2 (ja
Inventor
Takahiro Matsuda
高弘 松田
Atsuichiro Niinuma
厚一郎 新沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2011272518A priority Critical patent/JP5831193B2/ja
Priority to US13/667,494 priority patent/US9280649B2/en
Priority to EP12191223.2A priority patent/EP2605169B1/en
Publication of JP2013125340A publication Critical patent/JP2013125340A/ja
Application granted granted Critical
Publication of JP5831193B2 publication Critical patent/JP5831193B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2139—Recurrent verification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)

Abstract

【課題】利用者対応領域の一部が画像の外縁から逸脱した場合に、利用者対応領域の検知精度が低下することを抑制する。
【解決手段】画像中の利用者に対応する利用者対応領域を複数の領域に分割したときの各領域毎の色ヒストグラムを基準色ヒストグラムとして記憶しておき、各領域の中から選択した色ヒストグラム使用領域(一例を(A)に破線で示す)の基準色ヒストグラムを用いて、色ヒストグラムの類似度を演算して画像中の利用者対応領域を検知する。画像中の色ヒストグラム使用領域に対応する領域が画像の外縁から逸脱した場合は、色ヒストグラム使用領域を、各領域のうち、対応する領域が画像の外縁から逸脱していないか、又は、画像の外縁から逸脱している割合がより小さい領域(一例を(B)に破線で示す)へ変更する。
【選択図】図９

Description

開示の技術は利用者検知装置、利用者検知方法及び利用者検知プログラムに関する。
近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は極めて重要な課題になってきており、様々な認証技術(例えばパスワード認証や生体認証、カード認証等)が提案されて実用化されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規の利用者が情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、これを検知できないという共通の課題がある。
上記の課題を解決するため、ログイン後も利用者に対して継続的に認証処理を行う継続認証技術が従来より提案されている。継続認証技術の中でも、利用者を撮影した画像の色ヒストグラムを用いる色ヒストグラム認証は、顔認証やキーストローク等を用いる他の方式と比較して、利用者の姿勢変化に対して頑健な継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、画像中の利用者に対応する領域の色ヒストグラムを登録しておき、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中の利用者対応領域を検知し、その移動を追跡することで継続認証が実現される。
K.Niinuma,U.Park,A.K.Jain,"Soft Biometric Traits For Continuous User Authentication",IEEE Transactions on Information Forensics and Security, Vol.5,No.4,pp.771-780,2010 P.Viola and M.Jones,"Rapid object detection using a boosted cascade of simple features,"in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001 B.D.Lucas and T.Kanade,An iterative image registration technique with an application to stereo vision,in Proc.7th IJCAI,Vancouver,B.C.,Canada,pp.674-679,1981
しかし、色ヒストグラムを用いた利用者対応領域の検知では、利用者対応領域の位置が画像の端部へ移動し、利用者対応領域の一部が画像の外縁から逸脱している状態になると、色ヒストグラムの類似度が低下することで、利用者対応領域の検知精度が低下する。この場合、利用者が存在しているにも拘わらず利用者対応領域を検知できずに認証が途切れてしまったり、利用者が情報機器から離れたと誤判定されることが生じ得る。特に、ＰＣ(Personal Computer)に設置された撮影部(例えばネット会議用途等のウェブカメラ)は継続認証での利用者の撮影に多用されるが、この種の撮影部は画角が狭く(利用者の体幅の２倍程度)、利用者が体を動かすと利用者対応領域が撮影範囲から逸脱する。
継続認証で利用者が情報機器から離れたと誤判定されると、継続認証失敗となり、例えばＰＣの画面がロックされる等の処理が実行される。このため、ＰＣを使用している利用者は、自身の体が撮影部の撮影範囲から大きく逸脱しないように、体の動きを制限する必要があり、使い勝手が悪いという課題があった。また、この課題を解決するために、撮影部として広角カメラを用いることも考えられるが、この場合、既存のＰＣで継続認証を行うためにはカメラの交換等が必要になる、という別の問題が発生する。
開示の技術は、利用者対応領域の一部が画像の外縁から逸脱した場合に、利用者対応領域の検知精度が低下することを抑制することが目的である。
開示の技術は、撮影部によって撮影された画像を順次取得する画像取得部を備えている。また開示の技術は、画像取得部によって取得された画像中の利用者に対応する利用者対応領域を複数の領域に分割したときの各領域毎の色ヒストグラムを基準色ヒストグラムとして第１記憶部に各々記憶させる色ヒストグラム保存部を備えている。また開示の技術は、画像取得部によって順次取得された個々の画像中の利用者対応領域を検知する検知部を備えている。検知部は、第１記憶部に記憶されている基準色ヒストグラムのうち、複数の領域の中から選択された領域の基準色ヒストグラムに対する色ヒストグラムの類似度に基づいて、個々の画像中の利用者対応領域を検知する。また開示の技術は、検知部によって検知された利用者対応領域のうち、検知部が基準色ヒストグラムを用いている領域に対応する領域の少なくとも一部が画像の外縁から逸脱した場合に、検知部が基準色ヒストグラムを用いる領域を変更する領域設定部を備えている。領域設定部は、基準色ヒストグラムを用いる領域を、複数の領域のうち、画像の外縁から逸脱していないか、又は、画像の外縁から逸脱している割合がより小さい領域へ変更する。
開示の技術は、利用者対応領域の一部が画像の外縁から逸脱した場合に、利用者対応領域の検知精度が低下することを抑制できる、という効果を有する。
第１実施形態で説明した認証装置の機能ブロック図である。 認証装置として機能するコンピュータの概略ブロック図である。 認証処理のフローチャートである。 第１実施形態で説明した継続認証処理のフローチャートである。 初期登録処理のフローチャートである。 色ヒストグラム登録領域の一例を示すイメージ図である。 第１実施形態における基準色ヒストグラム情報の一例を示す図表である。 利用者対応領域の画像からの逸脱判定を説明するためのイメージ図である。 利用者対応領域が画像から逸脱した場合の色ヒストグラム使用領域の変更の一例を説明するためのイメージ図である。 第２実施形態における基準色ヒストグラム情報の一例を示す図表である。 第２実施形態で説明した継続認証処理のフローチャートである。 第３実施形態で説明した認証装置の機能ブロック図である。 第３実施形態で説明した継続認証処理のフローチャートである。 (Ａ)は色ヒストグラムの類似度の推移の一例を示す線図、(Ｂ)は安定度評価値の演算結果の一例を示す図表である。 第４実施形態で説明した継続認証処理のフローチャートである。 (Ａ)は色ヒストグラムの類似度の推移の一例を示す線図、(Ｂ)は安定度評価値の演算結果の一例を示す図表である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
〔第１実施形態〕
図１には、本第１実施形態に係る認証装置１０が示されている。認証装置１０はＰＣや携帯端末等の情報機器を使用する利用者の認証を行う装置であり、情報機器の使用を開始する利用者の認証(ログイン認証)を行うログイン認証装置１２と、情報機器を使用中の利用者の認証(継続認証)を行う継続認証装置１４を備えている。認証装置１０は、例えば、利用者によって使用される情報機器に内蔵する(情報機器を認証装置１０としても機能させる)ことができるが、これに代えて、情報機器と通信回線を介して接続されたコンピュータを認証装置１０として機能させることでも実現できる。また、ログイン認証装置１２は、利用者の認証方式として、公知の各種の認証方式(例えば、パスワード認証や生体認証、カード認証等)の何れを適用した構成でもよい。
継続認証装置１４は開示の技術における利用者検知装置の一例であり、画像取得部１６、色ヒストグラム保存部１８、領域設定部２０、利用者対応領域検知部２２、顔検出部２４、基準色ヒストグラム情報２６を記憶する第１記憶部２８を備えている。
画像取得部１６は、ログイン認証装置１２によるログイン認証を経て前記情報機器を使用している利用者(認証対象者)の顔や体の一部及び利用者の背景を被写体として撮影部が定期的に撮影を行うことで得られた画像の画像データを定期的に取得する。なお、例えば認証装置１０が前記情報機器に内蔵されている場合、画像取得部１６は、上記の撮影部を含んだ構成であってもよい。また、例えば情報機器と通信回線を介して接続されたコンピュータが認証装置１０として機能する場合、画像取得部１６は、情報機器に設けられた撮影部で撮影された画像の画像データを情報機器から受信することで取得する通信ユニットであってもよい。
色ヒストグラム保存部１８は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域全体及び体に対応する体領域全体の色ヒストグラムを算出する。また色ヒストグラム保存部１８は、顔領域及び体領域を各々複数の領域に分割し、分割した個々の領域の色ヒストグラムも各々算出する。そして色ヒストグラム保存部１８は、算出した各領域の色ヒストグラムを、基準色ヒストグラム情報２６として第１記憶部２８に各々記憶させる。なお、以下では、第１記憶部２８に色ヒストグラムが記憶(登録)された各領域を「登録領域」と各々称する。
領域設定部２０は、色ヒストグラムが基準色ヒストグラム情報２６として第１記憶部２８に各々記憶された各登録領域の中から、利用者対応領域検知部２２による色ヒストグラム認証(後述)に使用される登録領域(色ヒストグラム使用領域)を選択する。また、領域設定部２０は、色ヒストグラム使用領域に対応する画像上の領域が画像の外縁から逸脱した場合に、色ヒストグラム使用領域を変更する。
利用者対応領域検知部２２は、画像取得部１６によって取得された画像に対し、領域設定部２０によって設定された色ヒストグラム使用領域の色ヒストグラムを基準色ヒストグラムとして用いて色ヒストグラム認証(利用者に対応する利用者対応領域の検知)を行う。すなわち、画像取得部１６によって取得された画像に対し、基準色ヒストグラムとの色ヒストグラムの類似度が最大となる領域を探索する。そして、当該探索で抽出した領域における色ヒストグラムの類似度が閾値th以上であれば抽出した領域に利用者が存在していると判定し、色ヒストグラムの類似度が閾値th未満であれば利用者が情報機器から離席したと判定する。
顔検出部２４は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域を検出し、検出した顔領域を抽出する処理を行う。顔検出部２４は、顔領域の検出結果を色ヒストグラム保存部１８へ出力する。顔検出部２４から色ヒストグラム保存部１８へ出力された顔領域の検出結果は、色ヒストグラム保存部１８による、画像中の顔領域及び体領域の特定に用いられる。
認証装置１０は、例えば図２に示すコンピュータ４２で実現することができる。なお、以下では、コンピュータ４２が利用者によって使用される情報機器に含まれる態様を説明するが、コンピュータ４２は情報機器と通信回線を介して接続されたコンピュータであってもよい。コンピュータ４２はＣＰＵ４４、メモリ４６、不揮発性の記憶部４８、キーボード５０、マウス５２、ディスプレイ５４、カメラ５６を備え、これらはバス５８を介して互いに接続されている。なお、カメラ５６は撮影部の一例であり、情報機器(コンピュータ４２)を使用している利用者(認証対象者)の顔や体の一部及び利用者の背景を被写体として撮影可能に配置されている。
また、記憶部４８はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４８には、コンピュータ４２を認証装置１０として機能させるためのログイン認証プログラム６０及び継続認証プログラム６２、基準色ヒストグラム情報２６が各々記憶されている。ＣＰＵ４４は、ログイン認証プログラム６０及び継続認証プログラム６２を記憶部４８から読み出してメモリ４６に展開し、各プログラム６０,６２が有するプロセスを順次実行する。
ＣＰＵ４４は、ログイン認証プログラム６０が有するプロセスを実行することで、図１に示すログイン認証装置１２として動作する。また継続認証プログラム６２は、画像取得プロセス６４、色ヒストグラム保存プロセス６６、領域設定プロセス６８、利用者対応領域検知プロセス７０及び顔検知プロセス７２を有する。ＣＰＵ４４は、画像取得プロセス６４を実行することで、図１に示す画像取得部１６として動作する。またＣＰＵ４４は、色ヒストグラム保存プロセス６６を実行することで、図１に示す色ヒストグラム保存部１８として動作する。またＣＰＵ４４は、領域設定プロセス６８を実行することで、図１に示す領域設定部２０として動作する。またＣＰＵ４４は、利用者対応領域検知プロセス７０を実行することで、図１に示す利用者対応領域検知部２２として動作する。またＣＰＵ４４は、顔検知プロセス７２を実行することで、図１に示す顔検出部２４として動作する。なお、継続認証プログラム６２は開示の技術における利用者検知プログラムの一例である。
認証装置１０がコンピュータ４２で実現される場合、基準色ヒストグラム情報２６を記憶する記憶部４８は第１記憶部２８として用いられ、メモリ４６の一部領域は基準色ヒストグラム情報２６の記憶領域として用いられる。これにより、ログイン認証プログラム６０及び継続認証プログラム６２を実行したコンピュータ４２が、認証装置１０として機能することになる。
なお、認証装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
次に本第１実施形態の作用を説明する。先に説明したように、色ヒストグラム認証は、認識対象の姿勢変化に対して頑健な継続認証が可能であるものの、利用者対応領域の一部が画像の外縁から逸脱している状態になると、色ヒストグラムの類似度が低下する。これに伴い、利用者対応領域の検知精度が低下することで、利用者が存在しているにも拘わらず利用者対応領域を検知できずに認証が途切れてしまったり、利用者が情報機器から離れたと誤判定されることが生じ得る。
このため、本実施形態では、顔領域全体や体領域全体の色ヒストグラム以外に、顔領域や体領域を複数の領域に分割したときの個々の領域の色ヒストグラムも基準色ヒストグラム情報２６として第１記憶部２８に記憶している。そして、利用者対応領域のうち色ヒストグラム使用領域に対応する領域の少なくとも一部が画像の外縁から逸脱した場合は、色ヒストグラム使用領域を、画像の外縁から逸脱していないか、画像の外縁から逸脱している割合がより小さい登録領域へ変更する。
以下、まず図３のフローチャートを参照し、本実施形態に係る認証装置１０による認証処理を説明する。図３に示す認証処理は、利用者(認証対象者)によって情報機器の使用が開始される際に実行され、まずステップ８０において、ログイン認証装置１２は、ログイン認証処理を行う。このログイン認証処理における認証方式は、前述のように、公知の各種の認証方式(例えばパスワード認証や生体認証、カード認証等)の何れでもよい。次のステップ８２において、ログイン認証装置１２は、ログイン認証によって利用者が正規の利用者であることを確認できたか否か判定する。
ステップ８２の判定が否定された場合は認証処理を終了する。これにより、正規の利用者以外の他者が情報機器を使用することが阻止される。一方、ステップ８２の判定が肯定された場合、ログイン認証装置１２は継続認証装置１４を起動してステップ８４へ移行し、ステップ８４において、継続認証装置１４は継続認証処理を行う。これにより、ログイン認証によって正規の利用者であることが確認された利用者は、継続認証装置１４によって継続認証処理が行われている間、情報機器を使用することが可能となる。
次に、図３に示す認証処理のステップ８４で継続認証装置１４によって行われる継続認証処理の詳細を、図４を参照して説明する。図４に示す継続認証処理では、まずステップ９０で初期登録処理が行われる。
この初期登録処理について、図５を参照して説明すると、まずステップ１２０において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。次のステップ１２２において、顔検出部２４は、画像取得部１６によって取得された画像データが表す画像中に存在する利用者の顔領域を検出する。なお、顔検出部２４による顔領域の検出には、例えばHaar classifierを用いる手法(非特許文献２参照)等の任意の手法を適用することができる。次のステップ１２４において、顔検出部２４は、ステップ１３２の顔領域の検出により、利用者の顔に対応する顔領域を抽出できたか否か判定する。例えば、撮影時に利用者の顔が撮像部(カメラ５６)の正面を向いていなかった等の場合には、ステップ１２４の判定が否定されてステップ１２０に戻り、ステップ１２４の判定が肯定される迄、ステップ１２０〜ステップ１２４を繰り返す。
一方、ステップ１２４の判定が肯定された場合はステップ１２６へ移行する。ステップ１２６において、色ヒストグラム保存部１８は、顔検出部２４による顔領域の抽出結果に基づき、利用者の顔におよそ対応する一定形状(例えば楕円形状や他の形状)の顔領域を設定する。また、設定した顔領域の下方に、利用者の体の一部におよそ対応する一定形状(例えば矩形状)の体領域を設定する。なお、体領域の設定には他の手法を用いることも可能である。図６には、顔領域の抽出結果の一例を「顔検知結果」、色ヒストグラム保存部１８によって設定された顔領域の一例を「登録データ１の領域」、体領域の一例を「登録データ４の領域」と表記して各々示す。
次のステップ１２８において、色ヒストグラム保存部１８は、ステップ１２６で設定した利用者の顔領域を複数の領域に分割し、顔領域全体を含む各領域毎に色ヒストグラムを生成する。例えば図６は、顔領域を左側の領域(「登録データ２の領域」)と右側の領域(「登録データ３の領域」)とに分割すると共に、顔領域の上方に新たな領域(頭頂部に対応する「登録データ７の領域」)を加えた例を示す。この例では、登録データ１〜３,７の各領域毎に色ヒストグラムが生成される。なお、顔領域の分割は左側の領域と右側の領域に分割することに限られるものではなく、例えば、上側の領域と下側の領域に分割してもよいし、例えば、左上、左下、右上、右下の４個の領域に分割してもよい。
次のステップ１３０において、色ヒストグラム保存部１８は、ステップ１２６で設定した利用者の体領域を複数の領域に分割し、体領域全体を含む各領域毎に色ヒストグラムを生成する。例えば図６は、体領域を左側の領域)と右側の領域(「登録データ６の領域」)とに分割した例を示す。この例では、登録データ４〜６の各領域毎に色ヒストグラムが生成される。なお、体領域の分割についても左側の領域と右側の領域に分割することに限られるものではなく、例えば、上側の領域と下側の領域に分割してもよいし、例えば、左上、左下、右上、右下の４個の領域に分割してもよい。
また、例えば画像の各画素毎の色をＲ,Ｇ,Ｂ３色の組み合わせで表す画像データが画像取得部１６によって取得される場合、ステップ１２８,１３０で生成される色ヒストグラムは、Ｒ,Ｇ,Ｂ３色の各組み合わせ毎の頻度を表す色ヒストグラムとなる。なお、ＲＧＢ色空間以外の他の色空間を用いてもよい。
ステップ１３２において、色ヒストグラム保存部１８は、ステップ１２８,１３０で生成した各領域の色ヒストグラムを基準色ヒストグラム情報２６として第１記憶部２８に記憶させる。なお、図７に示すように、基準色ヒストグラム情報２６として第１記憶部２８に記憶された各登録領域の色ヒストグラムには、各登録領域が利用者対応領域のうちの何れの部分に対応する領域かを表す情報(「領域」と表記して示す情報)も付与される。また、色ヒストグラム保存部１８は、ステップ１２６で設定した利用者の顔領域の位置及びサイズを表す情報も、基準色ヒストグラム情報２６の一部として第１記憶部２８に記憶させる。
そしてステップ１３４において、領域設定部２０は、色ヒストグラムを利用者対応領域の検知(色ヒストグラム認証)に用いる色ヒストグラム使用領域として所定の領域を初期設定し、初期登録処理を終了する。なお、所定の領域としては、例えば顔領域全体を適用することができるが、これに限られるものではなく、例えば顔領域全体に体領域全体を加えた複数の領域を適用してもよいし、他の領域、例えば顔領域と体領域から１つずつ選択した領域を適用してもよい。但し、利用者対応領域の検知精度を考慮すると、なるべく面積の大きい領域であることが望ましく、顔領域全体か顔領域全体と体領域全体を用いることが好ましい。
上述した初期登録処理が終了すると、図４の継続認証処理のステップ９２へ移行する。ステップ９２において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。ステップ９４において、利用者対応領域検知部２２は、画像取得部１６によって画像データが取得された画像に対し、領域設定部２０によって設定された色ヒストグラム使用領域の色ヒストグラムを用いて、利用者対応領域の検知(色ヒストグラム認証)を行う。
すなわち、まず利用者対応領域検知部２２は、第１記憶部２８に記憶されている基準色ヒストグラム情報２６から、利用者の顔領域の情報(位置及びサイズ)を取得する。次に、利用者対応領域検知部２２は、取得した顔領域の位置及びサイズを基準とし、顔領域と領域設定部２０によって設定された色ヒストグラム使用領域との位置関係及びサイズの比率に基づいて、設定された色ヒストグラム使用領域の探索範囲を設定する。
例えば、設定された色ヒストグラム使用領域が顔領域全体であれば、利用者対応領域検知部２２は、位置及びサイズを取得した顔領域を中心として、その周辺の領域も含めた範囲を探索範囲に設定する。また、例えば設定された色ヒストグラム使用領域が顔領域の左側領域であれば、利用者対応領域検知部２２は、位置及びサイズを取得した顔領域から左側領域を抽出し、抽出した左側領域を中心としてその周辺の領域も含めた範囲を探索範囲に設定する。
次に、設定した探索範囲内に存在する演算対象の領域について、設定された色ヒストグラム使用領域の色ヒストグラム(基準色ヒストグラム)に対する色ヒストグラムの類似度を演算することを、設定した探索範囲内で演算対象の領域を移動させながら繰り返す。そして、設定した探索範囲内のうち、色ヒストグラム使用領域の色ヒストグラム(基準色ヒストグラム)に対する色ヒストグラムの類似度が最大となる領域を、利用者対応領域(色ヒストグラム使用領域に対応する領域)の候補として選択する。
なお、色ヒストグラム使用領域として、顔領域及び体領域から登録領域が各々１つずつ設定されている場合、利用者対応領域検知部２２は、体領域に対しても、上記と同様にして色ヒストグラムの類似度が最大となる候補領域を選択する。そして、顔領域についての色ヒストグラムの類似度Ｓface、体領域についての色ヒストグラムの類似度Ｓbodyから、次の(１)式で最終類似度Ｓfinalを算出する。
Ｓfinal＝ｔ×Ｓface＋(１−ｔ)×Ｓbody …(１)
但し、ｔは顔領域の色ヒストグラムの類似度Ｓfaceに対する重み係数で、０≦ｔ≦１である。
次のステップ９６において、利用者対応領域検知部２２は、ステップ９４で得られた色ヒストグラムの類似度が予め設定された閾値TH以上か否か判定する。ステップ９６の判定が肯定された場合、画像のうちステップ９４で選択した色ヒストグラムの類似度が最大の領域(色ヒストグラム使用領域に対応する領域)に利用者が存在しており、利用者対応領域が検知されたと判断できる。
このため、ステップ９６の判定が肯定された場合はステップ９８へ移行し、ステップ９８において、領域設定部２０は、ステップ９４で選択された類似度最大の領域の中心位置及び分布範囲を利用者対応領域検知部２２から取得する。例えば、色ヒストグラム使用領域が顔領域全体(図６に示す「登録データ１の領域」)である場合、類似度最大の領域の中心位置として図８に示す座標(Ｘfc,Ｙfc)が取得され、分布範囲としてＸ方向端部位置Ｘfl,Ｘfr及びＹ方向端部位置Ｙft,Ｙfbが各々取得される。また、領域設定部２０は、類似度最大の領域の中心位置及び分布範囲に基づいて、利用者対応領域のうち利用者の顔領域の位置及びサイズを演算し、演算結果を第１記憶部２８に記憶させる。
次のステップ１００において、領域設定部２０は、ステップ９８で中心位置及び分布範囲を取得した類似度最大の領域(色ヒストグラム使用領域に対応する領域)に、画像の外縁から逸脱している部分があるか否か判定する。例えば、色ヒストグラム使用領域が顔領域全体である場合、ステップ１００の判定は、Ｘ方向端部位置Ｘfl,Ｘfr及びＹ方向端部位置Ｙft,Ｙfbの何れかが画像の外縁を越えて変化したか否かを判定することによって成される。ステップ１００の判定が否定された場合はステップ９２に戻り、ステップ９２〜ステップ１００を繰り返す。これにより、ステップ９４で得られた色ヒストグラムの類似度が閾値TH以上の間は、色ヒストグラムの類似度に基づく継続認証が行われる。また、この間、利用者が姿勢を変化させる度に、画像中の利用者対応領域の位置が変化するが、色ヒストグラム認証は利用者の姿勢変化に対して頑健な認証方式であり、利用者対応領域が画像内に収まっている間は、利用者対応領域が高精度に検知される。
一方、利用者が姿勢を比較的大きく変化させると、画像中の利用者対応領域の一部が画像の外縁から逸脱する。ここで、利用者対応領域のうち色ヒストグラム使用領域に対応する領域の一部が画像の外縁から逸脱しても、直ちに利用者対応領域が検知不能となることはないものの色ヒストグラムの類似度の低下が生ずる。そして、画像の外縁からの逸脱量が大きくなると、色ヒストグラムの類似度の低下が顕著になり、利用者対応領域が検知できない状態に陥る。
このため、ステップ１００の判定が肯定された場合はステップ１０２へ移行する。ステップ１０２において、領域設定部２０は、第１記憶部２８に色ヒストグラムが記憶された各登録領域のうち、対応する領域が画像の外縁から逸脱していない登録領域を候補領域として抽出する。例えば、利用者対応領域が画像の左側の外縁から逸脱している場合、領域設定部２０は、利用者対応領域内の右側に位置している登録領域(例えば図６に示す「登録データ３の領域」や「登録データ６の領域」)を候補領域として抽出する。なお、利用者の姿勢によっては、対応する画像上の領域が画像の外縁から逸脱していない登録領域が１つも存在していない状態となることも生じ得る。この場合は、個々の登録領域に対応する領域について、画像の外縁から逸脱している割合を各々求め、求めた逸脱割合の昇順で先頭から１つ以上の登録領域を候補領域として選択する。
次のステップ１０４において、領域設定部２０は、ステップ１０２で抽出した候補領域の中から１つ以上の候補領域を選択し、色ヒストグラム使用領域を選択した候補領域へ変更する。候補領域の選択は、例えば色ヒストグラムの類似度を基準とし、類似度の降順で先頭から１つ以上の候補領域を選択するようにしてもよい。また、画像の外縁からの距離を基準とし、画像の外縁からの距離の降順で先頭から１つ以上の候補領域を選択するようにしてもよい。
例えば、継続認証処理の開始当初は、図９(Ａ)に示すように、色ヒストグラム使用領域として顔領域全体(登録データ１の領域)が設定され、色ヒストグラム使用領域に対応する領域が画像の中央部に位置している状態となっていることが多い。ここで、利用者の姿勢変化に伴い、図９(Ｂ)に示すように、色ヒストグラム使用領域に対応する領域(顔領域全体)の一部が画像の外縁から逸脱した場合、色ヒストグラム使用領域は画像の外縁から逸脱していない登録領域に変更される。図９は、色ヒストグラム使用領域に対応する領域(顔領域全体)の一部が画像の左側の外縁から逸脱したことで、色ヒストグラム使用領域が、利用者対応領域内の右側に位置している領域(登録データ３の領域)に変更された例を示している。
ステップ１０４の処理を行った後はステップ９２に戻り、以後は変更された色ヒストグラム使用領域を用いてステップ９２〜ステップ１００が繰り返される。これにより、色ヒストグラム使用領域に対応する画像中の領域の一部が画像の外縁から逸脱しても、色ヒストグラム使用領域が変更されることで色ヒストグラムの類似度が低下することが抑制され、利用者対応領域が検知できない状態に陥ることが回避される。
また、ステップ９４で得られた色ヒストグラムの類似度が閾値TH未満になった場合は、ステップ９６の判定が否定されてステップ１０６へ移行する。ステップ１０６において、利用者対応領域検知部２２は、利用者が情報機器から離れたとの判定結果を出力する。また、次のステップ１０８において、利用者対応領域検知部２２は、情報機器の使用をロックする等の使用制限処理を行い、継続認証処理を終了する。この場合、情報機器から一旦離れた利用者が情報機器を利用する際には、前述のログイン認証が再度行われることになる。
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、第１実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第２実施形態を作用を説明する。
色ヒストグラムの類似度に基づく利用者対応領域の検知(色ヒストグラム認証)では、色ヒストグラム使用領域の面積が小さい場合、色ヒストグラムの情報量が不足し、利用者対応領域の誤検知が発生し易くなるという課題がある。このため、第２実施形態では、初期登録処理で各登録領域の色ヒストグラムを第１記憶部２８に記憶させる際に、各登録領域の面積(例えば画素数等)を演算し、図１０に示すように、各登録領域の色ヒストグラムと対応付けて第１記憶部２８に記憶させる。
続いて図１１を参照し、本第２実施形態に係る継続認証処理について、第１実施形態で説明した継続認証処理(図４)と異なる部分についてのみ説明する。本第２実施形態に係る継続認証処理では、類似度最大の領域の一部が画像の外縁から逸脱している場合(ステップ１００の判定が肯定)、対応する領域が画像の外縁から逸脱していない登録領域を候補領域として抽出(ステップ１０２)してステップ１１０へ移行する。ステップ１１０において、領域設定部２０は、ステップ１０２で抽出した候補領域の中から、面積の降順で先頭から１つ以上の候補領域を選択し、色ヒストグラム使用領域を選択した候補領域へ変更する。
また、ステップ１１２において、領域設定部２０は、変更設定前の色ヒストグラム使用領域の面積Ｓ1と、変更設定後の色ヒストグラム使用領域の面積Ｓ2と、の比率に応じて色ヒストグラムの類似度の閾値THを変更する。閾値THの変更は、例えば次の(１)式の演算を行うことで実現できる。
TH＝TH×(Ｓ2／Ｓ1) …(１)
なお、(１)式は面積Ｓ1に対する面積Ｓ2の比率に応じて閾値THを変更しているが、閾値THの変更方法はこれに限定されるものではない。例えばＳ1＞Ｓ2の場合は閾値THから一定値、或いは面積Ｓ1,Ｓ2の差に応じた値を減算し、Ｓ1＜Ｓ2の場合は閾値THから一定値、或いは面積Ｓ1,Ｓ2の差に応じた値を加算するようにしてもよい。
上記のように、本第２実施形態では、色ヒストグラム使用領域として面積がより大きい領域を選択することで、色ヒストグラムの類似度の演算にあたって基準色ヒストグラムの情報量が不足することが抑制され、類似度の演算精度の低下が抑制される。また、変更設定前の色ヒストグラム使用領域の面積Ｓ1と、変更設定後の色ヒストグラム使用領域の面積Ｓ2と、の比率に応じて閾値THを変更することで、利用者が存在しているにも拘わらず利用者対応領域を検知できなくなることも抑制することができる。
〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、第１実施形態及び第２実施形態と同一の部分には同一の符号を付し、説明を省略する。
図１２には、本第３実施形態に係る認証装置１０が示されている。本第３実施形態は、継続認証装置１４が、類似度演算部３０と、類似度履歴情報３２を記憶するための第２記憶部３４を更に備えている点で第１及び第２実施形態と相違している。類似度演算部３０は、画像取得部１６によって画像が取得される度に、各登録領域について色ヒストグラムの類似度を各々演算し、各登録領域毎に演算した類似度を類似度履歴情報３２として第２記憶部３４に各々記憶させる。
また、本第３実施形態では、第２記憶部３４に類似度履歴情報３２として記憶可能な各登録領域毎の色ヒストグラムの類似度の数に上限値が設定されている。類似度演算部３０は、第２記憶部３４に記憶されている類似度の数が上限値に達すると、新たな類似度を第２記憶部３４に記憶させるにあたり、記憶されている類似度のうち、記憶時期が最も古い類似度を第２記憶部３４から削除する。
また、本第３実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、本第３実施形態に係る継続認証プログラム６２は、図２に破線で示すように、類似度演算プロセス７４を更に有する。この場合、ＣＰＵ４４は、類似度演算プロセス７４を実行することで、図１２に示す類似度演算部３０として動作する。また、本第３実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、記憶部４８には、類似度履歴情報３２が更に記憶される。この場合、類似度履歴情報３２を記憶する記憶部４８は第２記憶部３４としても用いられ、メモリ４６の一部領域は類似度履歴情報３２の記憶領域として用いられる。
次に本第３実施形態の作用を説明する。第１記憶部２８に基準色ヒストグラム情報２６として記憶されている各登録領域の基準色ヒストグラムを用いて色ヒストグラムの類似度を繰り返し演算した場合、類似度の推移は登録領域毎に相違し、登録領域によっては類似度が大きく変動する。これは、色ヒストグラムの類似度は、利用者の姿勢変化以外に、環境光の状態の変化に伴う画像の色情報の変化等の影響も受け、この影響の程度が画像の画面内で均一でないためである。
このため、色ヒストグラム使用領域の変更にあたっては、色ヒストグラムの類似度が平均的に高い値でかつ安定的に推移している登録領域を選択した方が、以後の利用者対応領域の検知精度(色ヒストグラム認証の精度)が向上する可能性が高い。これに基づき、本第３実施形態において、類似度演算部３０は、第１記憶部２８に基準色ヒストグラムが記憶されている各登録領域について色ヒストグラムの類似度を各々演算し、各登録領域毎に演算した類似度を第２記憶部３４に各々記憶させることを繰り返す。
続いて図１３を参照し、本第３実施形態に係る継続認証処理について、第２実施形態で説明した継続認証処理(図１１)と異なる部分についてのみ説明する。本第３実施形態に係る継続認証処理では、類似度最大の領域の一部が画像の外縁から逸脱している場合(ステップ１００の判定が肯定)、対応する領域が画像の外縁から逸脱していない登録領域を候補領域として抽出(ステップ１０２)してステップ１１４へ移行する。
ステップ１１４において、領域設定部２０は、第２記憶部３４に記憶されている類似度履歴情報３２から、ステップ１０２で抽出した候補領域の各々について、一定期間ｔ内における色ヒストグラムの類似度の推移を表す情報を取得する。また領域設定部２０は、取得した情報に基づき、ステップ１０２で抽出した候補領域の各々について、一定期間ｔ内の色ヒストグラムの類似度の安定度を評価する安定度評価値を各々演算する。
一例として図１４(Ａ)には、候補領域として、顔領域の左側領域(登録データ２の領域)、体領域の左側領域(登録データ５の領域)、頭頂部領域(登録データ７の領域)が抽出された場合の、各候補領域毎の期間ｔにおける色ヒストグラムの類似度の推移を示す。また、図１４(Ｂ)には、各候補領域毎の期間ｔにおける色ヒストグラムの類似度の平均値μと標準偏差σを示す。安定度評価値ｓは、色ヒストグラムの類似度の平均値μと標準偏差σから、次の(２)式によって求めることができる。
ｓ＝μ−σ …(２)
図１４(Ｂ)には安定度評価値ｓの演算結果も示している。(２)式より明らかなように、安定度評価値ｓは、平均値μの値が高くなるに従って値が高くなり、標準偏差σの値が小さくなるに従って値が高くなる。従って、安定度評価値ｓの値に基づいて、色ヒストグラムの類似度が平均的に高い値でかつ安定的に推移している候補領域を判別することができる。なお、(２)式において標準偏差σに代えて分散σ2を用いてもよい。
次のステップ１１６において、領域設定部２０は、ステップ１０２で抽出した候補領域の中から、ステップ１１４で演算した安定度評価値ｓの降順で先頭から１つ以上の候補領域を選択し、色ヒストグラム使用領域を選択した候補領域へ変更する。例えば図１４の例では、候補領域の中から、少なくとも安定度評価値ｓが最大の顔領域の左側領域(登録データ２の領域)が選択され、色ヒストグラム使用領域に設定される。
上記のように、本第３実施形態では、色ヒストグラム使用領域として安定度評価値ｓがより大きい登録領域を選択することで、環境光の状態の変化に伴う画像の色情報の変化等の影響で、利用者対応領域の検知精度が低下することを抑制することができる。
〔第４実施形態〕
次に開示の技術の第４実施形態について説明する。なお、本第４実施形態は第３実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第４実施形態の作用を説明する。
前述のように、色ヒストグラムの類似度は、利用者の姿勢変化や、環境光の状態の変化に伴う画像の色情報の変化等の影響を受けて変化するが、利用者の姿勢や環境光の状態は経時的に変化するので、直近の期間の安定度評価値ｓを重視することが望ましい。以下、図１５を参照し、本第４実施形態に係る継続認証処理について、第３実施形態で説明した継続認証処理(図１３)と異なる部分についてのみ説明する。本第４実施形態に係る継続認証処理では、類似度最大の領域の一部が画像の外縁から逸脱している場合(ステップ１００の判定が肯定)、対応する領域が画像の外縁から逸脱していない登録領域を候補領域として抽出(ステップ１０２)してステップ１１８へ移行する。
ステップ１１８において、領域設定部２０は、第２記憶部３４に記憶されている類似度履歴情報３２から、ステップ１０２で抽出した候補領域の各々について、一定期間ｔ内における色ヒストグラムの類似度の推移を表す情報を取得する。また領域設定部２０は、取得した情報に基づき、抽出した候補領域の各々について、一定期間ｔを複数の期間に分割したときの各期間毎の色ヒストグラムの類似度の安定度を評価する安定度評価値ｓを、前出の(２)式に従って各々演算する。
一例として図１６(Ａ)には、候補領域として、顔領域の左側領域(登録データ２の領域)、体領域の左側領域(登録データ５の領域)、頭頂部領域(登録データ７の領域)が抽出された場合の、各候補領域毎の期間ｔにおける色ヒストグラムの類似度の推移を示す。また、図１６(Ｂ)には、一定期間ｔを複数の期間ｔ1〜ｔ3に分割したときの、各候補領域毎の各期間ｔ1〜ｔ3における色ヒストグラムの類似度の安定度評価値ｓ1〜ｓ3を示す。
次のステップ１２０において、領域設定部２０は、各候補領域について、各期間ｔ1〜ｔ3毎の色ヒストグラムの類似度の安定度評価値ｓ1〜ｓ3に基づき、次の(３)式に従って安定度の総合評価値ｓ0を演算する。
ｓ0＝ｓ1×ｗ1＋ｓ2×ｗ2＋ｓ3×ｗ3 …(３)
なお、(３)式におけるｗ1,ｗ2,ｗ3は各期間に対する重み係数であり、ｗ1＋ｗ2＋ｗ3＝１で、かつ直近の期間になるに従って重みが大きくなるように定めることができる(例えば、ｗ1＝0.2,ｗ2＝0.3,ｗ3＝0.5)。図１６(Ｂ)には、重み係数としてｗ1＝0.2,ｗ2＝0.3,ｗ3＝0.5を適用した場合の安定度の総合評価値ｓ0の演算結果も示している。
重み係数ｗ1,ｗ2,ｗ3の値を上記のように設定することで、安定度の総合評価値ｓ0の値に基づいて、特に直近の期間における色ヒストグラムの類似度が平均的に高い値でかつ安定的に推移している候補領域を判別することができる。なお、一定期間の分割数は３に限られるものではなく、他の分割数を適用してもよい。他の分割数を適用した場合も、各期間に対する重み係数は、直近の期間になるに従って重みが大きくなるように定めることができる。
次のステップ１２２において、領域設定部２０は、ステップ１０２で抽出した候補領域の中から、ステップ１２０で演算した安定度の総合評価値ｓ0の降順で先頭から１つ以上の候補領域を選択し、色ヒストグラム使用領域を選択した候補領域へ変更する。例えば図１４の例では、候補領域の中から、少なくとも総合評価値ｓ0が最大の顔領域の左側領域(登録データ２の領域)が選択され、色ヒストグラム使用領域に設定される。
上記のように、本第４実施形態では、色ヒストグラム使用領域として安定度の総合評価値ｓ0がより大きい登録領域を選択することで、利用者の姿勢や環境光の状態等の直近の変化の影響が最小限に抑制され、利用者対応領域の検知精度を向上させることができる。
なお、上記では継続認証処理を開始する際に、顔検出部２４によって抽出された顔領域と、当該顔領域から特定される体領域、これらの領域を分割した各領域の色ヒストグラムを基準ヒストグラムとして登録する態様を説明したが、これに限定されるものではない。例えばログイン認証装置１２が、ログイン認証として、認証対象者の顔が予め登録された正規の利用者の顔に対応しているか否かを判定する顔認証を行う構成であれば、当該顔認証での顔領域の抽出結果に基づいて基準色ヒストグラムの登録を行うようにしてもよい。この場合、顔検出部２４を省略することで継続認証装置１４の構成を簡単にすることが可能となる。
また、上記では初期登録処理で各登録領域の色ヒストグラムを生成し、第１記憶部２８に基準色ヒストグラム情報２６として記憶させる態様を説明したが、これに限定されるものでもない。例えば、一定時間が経過した、或いは、画像全体の継続的な輝度の変化を検知した等のタイミングで、各登録領域の色ヒストグラムを再度生成し、基準色ヒストグラム情報２６を更新するようにしてもよい。
また、上記では、色ヒストグラム使用領域として設定する登録領域を、第２実施形態では面積を基準として、第３実施形態では安定度評価値ｓを基準として、第４実施形態では総合評価値ｓ0を基準として選択する態様を説明したが、これらを組み合わせてもよい。例えば、色ヒストグラムの類似度の平均値μの値が高くなるに従って値が高くなり、標準偏差σの値が小さくなるに従って値が高くなり、登録領域の面積が大きくなるに従って値が高くなる別の評価値に従って登録領域を選択してもよい。また、安定度評価値ｓ又は総合評価値ｓ0が同一又は差が所定値以内の登録領域が複数存在していた場合に、この複数の登録領域の中から面積の降順に登録領域を選択するようにしてもよい。
また、上記では色ヒストグラム使用領域に対応する領域が、画像の外縁より逸脱していない第１状態から画像の外縁より逸脱した第２状態へ遷移した場合の処理を説明したが、第２状態から第１状態へ遷移した場合にも色ヒストグラム使用領域を変更してもよい。例えば、各登録領域について、対応する領域が画像の外縁から逸脱しているか否かを監視し、第２状態から第１状態へ遷移した登録領域が出現した場合に、所定の条件を満たせば当該登録領域を色ヒストグラム使用領域に設定してもよい。所定の条件としては、例えば、第２状態から第１状態へ遷移した登録領域が現在の色ヒストグラム使用領域よりも面積が大きい、或いは、安定度評価値ｓ又は総合評価値ｓ0が高い、等の条件が挙げられる。
また、上記ではログイン認証の後、ログイン認証を経た同一の利用者が情報機器を継続的に使用しているか否かを認証する継続認証に開示の技術を適用した態様を説明したが、開示の技術は上記の態様に限定されるものではない。例えば、利用者が情報機器を利用している間のみ映像(動画像)や音声の再生やアプリケーション・プログラムの実行を行い、利用者が情報機器の設置場所から離れている間は映像等の再生等を停止させる態様において、利用者の在／不在の検知に適用してもよい。
更に、上記では継続認証プログラム６２が記憶部４８に予め記憶（インストール）されている態様を説明したが、継続認証プログラム６２は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０ 認証装置
１４ 継続認証装置
１６ 画像取得部
１８ 色ヒストグラム保存部
２０ 領域設定部
２２ 利用者対応領域検知部
２８ 第１記憶部
３０ 類似度演算部
３４ 第２記憶部
４２ コンピュータ
４４ ＣＰＵ
４８ 記憶部
５６ カメラ

Claims (7)

  1. 撮影部によって撮影された画像を順次取得する画像取得部と、
    前記画像取得部によって取得された画像中の利用者に対応する利用者対応領域を複数の領域に分割したときの各領域毎の色ヒストグラムを基準色ヒストグラムとして第１記憶部に各々記憶させる色ヒストグラム保存部と、
    前記第１記憶部に記憶されている前記基準色ヒストグラムのうち、前記複数の領域の中から選択された領域の基準色ヒストグラムに対する色ヒストグラムの類似度に基づいて、前記画像取得部によって順次取得された個々の画像中の前記利用者対応領域を検知する検知部と、
    前記検知部によって検知された前記利用者対応領域のうち、前記検知部が前記基準色ヒストグラムを用いている領域に対応する領域の少なくとも一部が前記画像の外縁から逸脱した場合に、前記検知部が前記基準色ヒストグラムを用いる領域を、前記複数の領域のうち、前記画像の外縁から逸脱していないか、又は、前記画像の外縁から逸脱している割合がより小さい領域へ変更する領域設定部と、
    を含む利用者検知装置。
  2. 前記領域設定部は、前記検知部によって検知された前記利用者対応領域のうち、前記検知部が前記基準色ヒストグラムを用いている領域に対応する領域の少なくとも一部が前記画像の外縁から逸脱した場合に、前記検知部が前記基準色ヒストグラムを用いる領域を、前記複数の領域のうち、前記画像の外縁から逸脱していないか、又は、前記画像の外縁から逸脱している割合がより小さい領域で、かつ面積の降順に選択した領域へ変更する請求項１記載の利用者検知装置。
  3. 前記検知部は、前記基準色ヒストグラムに対する色ヒストグラムの類似度が閾値以上の領域を前記利用者対応領域として検知し、
    前記領域設定部は、前記検知部が前記基準色ヒストグラムを用いる領域を変更した場合に、変更前の前記領域の面積と変更後の前記領域の面積との大小関係に応じて前記閾値を変更する請求項１又は請求項２記載の利用者検知装置。
  4. 前記画像取得部によって順次取得された個々の画像について、前記第１記憶部に記憶されている前記各領域毎の前記基準色ヒストグラムに対する色ヒストグラムの類似度を各々演算し、演算した前記類似度を第２記憶部に記憶させる類似度演算部を更に備え、
    前記領域設定部は、前記検知部によって検知された前記利用者対応領域のうち、前記検知部が前記基準色ヒストグラムを用いている領域に対応する領域の少なくとも一部が前記画像の外縁から逸脱した場合に、前記検知部が前記基準色ヒストグラムを用いる領域を、前記複数の領域のうち、前記画像の外縁から逸脱していないか、又は、前記画像の外縁から逸脱している割合がより小さい領域で、かつ一定期間内に前記類似度演算部によって演算されて前記第２記憶部に記憶された類似度が、平均的に高い値で推移している領域へ変更する請求項１〜請求項３の何れか１項記載の利用者検知装置。
  5. 前記領域設定部は、前記一定期間を複数の期間に分割したときに、前記類似度演算部によって演算された類似度が、平均的に高い値で推移しているか否かを評価する評価値を、前記複数の領域毎かつ分割した各期間毎に求め、前記複数の領域毎に、分割した各期間毎の評価値を、分割した各期間が終了してからの経過時間が短くなるに従って重みが大きくなるように重み付けした重み付き評価値を求め、前記検知部が前記基準色ヒストグラムを用いる領域を、前記複数の領域のうち、前記画像の外縁から逸脱していないか、又は、前記画像の外縁から逸脱している割合がより小さい領域で、かつ前記重み付き評価値の降順に選択した領域へ変更する請求項４記載の利用者検知装置。
  6. 撮影部によって撮影された画像を順次取得する画像取得ステップと、
    前記画像取得ステップによって取得された画像中の利用者に対応する利用者対応領域を複数の領域に分割したときの各領域毎の色ヒストグラムを基準色ヒストグラムとして第１記憶部に各々記憶させる色ヒストグラム保存ステップと、
    前記第１記憶部に記憶されている前記基準色ヒストグラムのうち、前記複数の領域の中から選択された領域の基準色ヒストグラムに対する色ヒストグラムの類似度に基づいて、前記画像取得ステップによって順次取得された個々の画像中の前記利用者対応領域を検知する検知ステップと、
    前記検知ステップによって検知された前記利用者対応領域のうち、前記検知ステップで前記基準色ヒストグラムを用いている領域に対応する領域の少なくとも一部が前記画像の外縁から逸脱した場合に、前記検知ステップで前記基準色ヒストグラムを用いる領域を、前記複数の領域のうち、前記画像の外縁から逸脱していないか、又は、前記画像の外縁から逸脱している割合がより小さい領域へ変更する領域設定ステップと、
    を含む利用者検知方法。
  7. コンピュータに、
    撮影部によって撮影された画像を順次取得する画像取得ステップと、
    前記画像取得ステップによって取得された画像中の利用者に対応する利用者対応領域を複数の領域に分割したときの各領域毎の色ヒストグラムを基準色ヒストグラムとして第１記憶部に各々記憶させる色ヒストグラム保存ステップと、
    前記第１記憶部に記憶されている前記基準色ヒストグラムのうち、前記複数の領域の中から選択された領域の基準色ヒストグラムに対する色ヒストグラムの類似度に基づいて、前記画像取得ステップによって順次取得された個々の画像中の前記利用者対応領域を検知する検知ステップと、
    前記検知ステップによって検知された前記利用者対応領域のうち、前記検知ステップで前記基準色ヒストグラムを用いている領域に対応する領域の少なくとも一部が前記画像の外縁から逸脱した場合に、前記検知ステップで前記基準色ヒストグラムを用いる領域を、前記複数の領域のうち、前記画像の外縁から逸脱していないか、又は、前記画像の外縁から逸脱している割合がより小さい領域へ変更する領域設定ステップと、
    を含む処理を実行させるための利用者検知プログラム。
JP2011272518A 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム Expired - Fee Related JP5831193B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011272518A JP5831193B2 (ja) 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム
US13/667,494 US9280649B2 (en) 2011-12-13 2012-11-02 Apparatus and method for detecting an object from an image
EP12191223.2A EP2605169B1 (en) 2011-12-13 2012-11-05 User detecting apparatus, user detecting method, and a user detecting program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011272518A JP5831193B2 (ja) 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013125340A true JP2013125340A (ja) 2013-06-24
JP5831193B2 JP5831193B2 (ja) 2015-12-09

Family

ID=47471467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011272518A Expired - Fee Related JP5831193B2 (ja) 2011-12-13 2011-12-13 利用者検知装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US9280649B2 (ja)
EP (1) EP2605169B1 (ja)
JP (1) JP5831193B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107098A (ko) * 2014-03-13 2015-09-23 엘지전자 주식회사 이동 단말기 및 이의 제어 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047464B2 (en) * 2011-04-11 2015-06-02 NSS Lab Works LLC Continuous monitoring of computer user and computer activities
US9092605B2 (en) * 2011-04-11 2015-07-28 NSS Lab Works LLC Ongoing authentication and access control with network access device
JP6028453B2 (ja) * 2012-08-24 2016-11-16 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6036335B2 (ja) * 2013-01-24 2016-11-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9852275B2 (en) 2013-03-15 2017-12-26 NSS Lab Works LLC Security device, methods, and systems for continuous authentication
US9378350B2 (en) * 2013-03-15 2016-06-28 Airwatch Llc Facial capture managing access to resources by a device
WO2015137645A1 (ko) * 2014-03-13 2015-09-17 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US9766702B2 (en) * 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9811649B2 (en) * 2014-11-13 2017-11-07 Intel Corporation System and method for feature-based authentication
CN106296725B (zh) * 2015-06-12 2021-10-19 富泰华工业（深圳）有限公司 运动目标实时检测与跟踪方法及目标检测装置
JP2017106751A (ja) * 2015-12-07 2017-06-15 株式会社デンソー 物体検知装置、物体検知システム
CN108235131B (zh) * 2018-01-30 2020-07-03 重庆邮电大学 一种基于dash的全景视频自适应传输方法
CN109145715B (zh) * 2018-07-02 2020-10-30 北京航空航天大学 轨道交通的空基行人侵界检测方法、装置和系统
DE102019108049A1 (de) * 2019-03-28 2020-10-01 Pilz Gmbh & Co. Kg Zugriffssteuerungssystem zur Steuerung eines Zugriffs eines Nutzers auf eine oder mehrere Betriebsfunktionen einer technischen Anlage
CN112036693B (zh) * 2020-07-28 2022-04-08 成都飞机工业（集团）有限责任公司 基于有限加权工序故障率的工序排序法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309746A (ja) * 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2008146449A (ja) * 2006-12-12 2008-06-26 Konica Minolta Holdings Inc 認証システム、認証方法およびプログラム
JP2009048347A (ja) * 2007-08-17 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP2011004152A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラ
US20110243381A1 (en) * 2010-02-05 2011-10-06 Rochester Institute Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6394557B2 (en) * 1998-05-15 2002-05-28 Intel Corporation Method and apparatus for tracking an object using a continuously adapting mean shift
US6611622B1 (en) 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US6859552B2 (en) * 2000-11-07 2005-02-22 Minolta Co., Ltd. Image retrieving apparatus
KR100660725B1 (ko) * 2006-02-24 2006-12-21 (주)케이티에프테크놀로지스 얼굴 추적 장치를 가지는 휴대용 단말기
TWI324313B (en) * 2006-08-25 2010-05-01 Compal Electronics Inc Identification mathod
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
US8660322B2 (en) * 2011-08-25 2014-02-25 King Saud University Passive continuous authentication method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309746A (ja) * 2004-04-21 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP2008146449A (ja) * 2006-12-12 2008-06-26 Konica Minolta Holdings Inc 認証システム、認証方法およびプログラム
JP2009048347A (ja) * 2007-08-17 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP2011004152A (ja) * 2009-06-18 2011-01-06 Fujifilm Corp ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラ
US20110243381A1 (en) * 2010-02-05 2011-10-06 Rochester Institute Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107098A (ko) * 2014-03-13 2015-09-23 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
KR102131830B1 (ko) * 2014-03-13 2020-07-09 엘지전자 주식회사 이동 단말기 및 이의 제어 방법

Also Published As

Publication number Publication date
EP2605169B1 (en) 2018-05-30
JP5831193B2 (ja) 2015-12-09
US9280649B2 (en) 2016-03-08
US20130148850A1 (en) 2013-06-13
EP2605169A1 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5831193B2 (ja) 利用者検知装置、方法及びプログラム
JP5935308B2 (ja) 利用者検知装置、方法及びプログラム
JP5888034B2 (ja) 利用者検知装置、方法及びプログラム
EP2866170B1 (en) Image processing device and image processing method
US9262614B2 (en) Image processing device, image processing method, and storage medium storing image processing program
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
US9652663B2 (en) Using facial data for device authentication or subject identification
KR20190075560A (ko) 라이브니스 검사 방법 및 장치
US10896313B2 (en) Methods and devices for recognizing fingerprint
JP6028453B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108596079B (zh) 手势识别方法、装置及电子设备
JP5915336B2 (ja) 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
WO2012029150A1 (ja) 生体認証システム、生体認証方法、及びプログラム
JP5861530B2 (ja) 利用者検知装置、方法、及びプログラム
JP2006277146A (ja) 照合方法および照合装置
JP6631736B1 (ja) 生体認証装置、生体認証システムおよびプログラム
JP2012221002A (ja) ユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラム
JP2016105293A (ja) 利用者検知装置、方法及びプログラム
US20230091526A1 (en) Evaluation method, information processing device, and storage medium
JP6631737B1 (ja) 生体認証装置およびプログラム
JP2004021617A (ja) 指紋読取り装置及び指紋読取り方法
CN117561551A (zh) 判定方法、判定程序以及信息处理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151012

R150 Certificate of patent or registration of utility model

Ref document number: 5831193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees