JP2006293732A - 情報処理装置およびイメージセンサおよび生体認識システムならびに情報処理装置の生体認識プログラム - Google Patents

Abstract

【課題】 情報処理装置（ＰＣ）において、処理時間が伸びず実時間性を保障でき演算資源を有効に活用する精度の高い生体認証を提供する。
【解決手段】 イメージセンサ２の撮像情報中にある利用者の顔の位置を示す検出位置情報を出力する肌色検知手段１１と、予め利用者の顔の撮像情報について顔の構成要素の特徴を抽出した利用者の顔の特徴データを登録する顔情報格納手段１４と、イメージセンサの撮像情報について顔の構成要素を検索して特徴データを抽出し前記顔情報格納手段に登録された特徴データと比較して両者が同一であると判断したときに生体の一致を認証する生体認証手段１２と、肌色検知手段１１が示す撮像情報の部位に生体認証手段１２の認証結果を関連付けて追跡する追跡手段１３を具備した利用者の顔を撮像するイメージセンサ２を有する情報処理装置。
【選択図】 図１

Description

本発明は、情報処理装置のセキュリティをつかさどる監視システムにおける、正規の利用者ないし所有者の存在の有無を識別して離席検知し、第三者による不当操作を排除する情報処理装置に関する。

情報処理装置に関して盗難や第三者による盗用により情報が漏洩する危険性が高く、今日までパスワード認証や生体認証を用いたログオン判定や、規定した時間操作が途絶えるとロック判定して、当該情報処理装置をロックして第三者の目に情報が曝されたり、第三者が情報処理装置を操作するのを防いできた。

従来、計算機監視システムにおいては、利用者（生体）を認証するに当たって、認証情報取得手段から得た画像データから当該生体の注目すべきパーツの特徴情報を算出し、予め登録された生体の特徴情報と比較を行なっている。算出した特徴情報と登録された特徴情報が合致すると、情報処理装置がログオン状態に移行し、このログオン判定後も生体認証を持続して合致する限りログオン状態を維持し、利用者が離席する等の要因で生体認証に失敗すると情報処理装置をロックする、計算機監視システムが提案されている（例えば、特許文献１参照）。

また、人物（生体）認識装置および人物（生体）認識方法ならびに通行制御装置においては、生体情報入力部から得た被験者の画像データから生体情報検出部で逐次注目すべき顔パーツの検索を行い、検索に成功すると位置情報を算出し、生体情報抽出部で特徴量を算出し、登録された特徴情報と比較することで生体認証を行う。この人物認識装置、人物認識方法および通行制御装置は、１回の生体認証処理時間中に認証対象の人物が通行制御装置の通過を諦めて居なくなったにもかかわらず、次位の他人や意図的に入替わった他人を通過させてしまう事故を回避するために、生体認証処理中に生体情報入力部から継続的に被験者の画像データを得て生体情報検出部で逐次注目すべきパーツの位置情報を算出し、入れ替りを判定し、入れ替りと判定すると生体認証の成否に関わらずドアのロック解除を抑止することが提案されている（例えば特許文献２参照）。
特開２００２−７３５１号公報 特開２００４−２３４３５５号公報

情報処理装置のログオン後の離席検知に生体認証を用いる場合、生体認証の処理単位は、特徴情報の抽出と抽出した特徴情報および登録情報との比較であるが、正規の利用者ないし所有者を確実に間断なく認識するためには、規定された時間内に規定回数処理される必要があり、実用に耐える精度と確度を実現している。動的な負荷変動に伴い規定した時間内に規定回数の生体認証ができないと、実時間性を保障できず、間断のない生体認証すなわち正規の利用者ないし所有者であることの担保も、その確度が低下するばかりか、情報処理装置で処理すべき本来の業務例えば文書作成や会計処理等の情報処理にあてがわれるべき演算資源が生体認証に独占されることとなる。

また、当然のことながら、正規の利用者ないし所有者が、瞬きしたり、振り向いたり、顔を伏せたりした理由で生体認証に失敗すると即座に情報処理装置をロックするのは望ましくない。そのため、生体認証の精度すなわち抽出した特徴情報と登録した特徴情報の比較での成否判定の閾値を下げることで、試行回数の低減を図ることは可能となるが、ログオン判定における生体認証の精度を下げ、また、離席後すぐに着席した第三者を排除しないつまり情報処理装置をロックしない確率が高くなる。

以上述べたように、離席検知に生体認証を用いる場合、生体認証の精度と確度を高くすると、処理時間が伸び動的な負荷変動が発生すると実時間性が保障できず、演算資源の枯渇をも招き、逆に生体認証の精度と確度を低くすると、不正利用の危険にさらされる問題があった。また、性能が異なる情報処理装置について個々に中庸なもしくは実用に耐えうる精度を発見し設定する手間が発生し、問題であった。

さらに、通行制御装置に見られる入れ替り検知と判定においても、逐次、被験者の画像データから生体情報検出部で逐次注目すべき顔パーツの検索を行い、検索に成功すると位置情報を算出し、登録情報との照合を繰り返していた。入れ替り判定においては、低精細の画像データで顔パーツを検索すると顔の位置情報が粗くなり正規利用者の拒絶率が高くなり、入れ替り判定の閾値を下げると非登録者の排除率が低下するという生体認証に特有のジレンマ、還元すると課題があった。そのため入れ替り判定では、高精細の画像データを用いた顔パーツ検索と位置情報の算出が前提条件となり、処理時間が伸び動的な負荷変動が発生すると実時間性が保障できず、演算資源の枯渇をも招いた。

また、入れ替り判定は認証前ないし認証中の人物を追跡しているが、認証後この人物に認証結果の関連付けはなされず、認証の結果、通過を許可ないし拒絶された人物が通行制御装置の前に滞留した場合、入れ替り判定が通行制御装置のドアロック／ロック解除を制御できず、生体認証を抑止しできなかった。

本発明は、情報処理装置根における生体認証を用いた離席検知について、高精度の生体認証設定にあっても、実時間性と設定容易性を兼ね備えた離席検知を提供することを目的としている。

本発明の情報処理装置における離席検知と情報処理装置のロック方式は、利用者の顔の撮像情報を得るイメージセンサと、利用者の顔の撮像情報の中から肌色を検知し色的特徴から肌色部位の検出位置情報を算出する肌色検知手段と、肌色検知手段が検知した肌色部位の検出位置情報を追跡する追跡手段と、利用者の撮像情報から顔の特徴データを抽出し予め登録された利用者の特徴データと比較して顔認証する生体認証手段と、生体認証手段がもたらす生体認証結果を追跡手段が追跡中の肌色部位に関連付けて監視し当該部位について撮像情報中からの消失を判定する離席検知手段から構成されることを特徴とする。

本発明は、利用者の顔を撮像するイメージセンサを具備した情報処理装置において、前記イメージセンサの撮像情報中にある利用者の顔の位置を示す検出位置情報を出力する肌色検知手段と、予め利用者の顔の撮像情報について顔の構成要素の特徴を抽出した利用者の顔の特徴データを登録する顔情報格納手段と、前記イメージセンサの撮像情報について顔の構成要素を検索して特徴データを抽出し前記顔情報格納手段に登録された特徴データと比較して両者が同一であると判断したときに生体の一致を認証する生体認証手段と、
前記肌色検知手段が示す撮像情報の部位に前記生体認証手段の認証結果を関連付けて追跡する追跡手段とをそなえた。

本発明は、上記情報処理装置において、前記追跡手段は、時々刻々変化する前記イメージセンサの撮像情報から前記生体認証手段の認証結果に関連付けて前記肌色検知手段が示す撮像情報の肌色部位を追跡するとともに、追跡中の認証結果を関連付けた前記肌色検知手段が示す撮像情報の肌色部位が前記イメージセンサの撮像情報から消失したことを根拠に利用者が離席したと判定し、情報処理装置をロック状態にする。

本発明は、上記情報処理装置において、前記肌色検知手段が、前記イメージセンサの撮像情報中に複数の肌色の部位を検知すると、該複数の肌色部位を個別に前記生体認証手段に通知する手段であり、前記生体認証手段が前記複数の肌色部位を個別に認証した結果複数の肌色部位の認証に失敗した肌色部位も、前記追跡手段が、前記撮像情報中で追跡し、追跡中の認証に失敗した部位と認証に成功した部位が撮像情報中で交錯すると、その位置を前記生体認証手段に通知し認証を受ける手段とした。

本発明は、上記情報処理装置において、前記追跡手段が、追跡中の肌色部位の色組成と色分布と占有面積と位置情報を保持し、同時に前記イメージセンサの撮像情報中の肌色の占有面積と前記撮像情報全体の色情報と認証結果を保持し更新することで、照明環境の変化に伴う撮像の色変化の前後で前記肌色の部位を連続的に追跡するとともに、前記イメージセンサの撮像情報中の肌色の占有面積がゼロないし閾値を下回ったことを根拠に離席したと判定するようにした。

本発明は、情報処理装置に通信手段を介して接続され前記情報処理装置に撮像情報を送るイメージセンサにおいて、撮像情報から、肌色の部位を検出し、前記肌色の部位の位置と占有面積と色組成と色分布のうち少なくともひとつを検知する肌色検知手段を備え、該肌色検知手段化検知情報を前記情報処理装置に伝達するとともに、前記検知した肌色の部位の該肌色の部位の位置と占有面積と色組成と色分布のうち少なくともひとつを保持し、時々刻々変化する撮像情報中で保持した情報に合致する肌色の部位を検知し、前記保持した情報に合致する肌色の部位の位置と占有面積と色組成と色分布のうち前記保持している情報に該当する情報を更新し、前記肌色の部位を前記イメージセンサの撮像情報中で追跡するようにした。

本発明は、イメージセンサが接続された情報処理装置が通信ネットワークを介して生体認証サーバと課金サーバに接続され、前記生体認証サーバの演算資源を時間貸しする生体認証システムにおいて、前記情報処理装置は、イメージセンサと、該イメージセンサで撮影した利用者が映った撮像情報から肌色を検知して肌色の部位の情報と検出位置情報を出力する肌色検知手段と、前記検出位置情報と前記生体認証サーバからの認証結果と顔位置情報を用いて利用者の離席を検知する追跡手段と、前記生体認証サーバと前記課金サーバの間で通信ネットワークを介して通信する通信手段を備え、前記認証サーバは、前記情報処理装置との間で通信ネットワークを介して通信する通信手段と、予め登録された利用者の顔情報を格納した顔情報格納手段と、前記情報処理装置から受信した前記前記肌色検知手段が検知した肌色の部位の情報および前記顔情報から前記利用者が顔情報と同じ利用者かを認証する生体認証手段とを備え、前記課金サーバは、前記情報処理装置との間で通信ネットワークを介して通信する通信手段と、前記生体認証サーバの利用時間を記憶する利用時間記憶手段を具備し、前記情報処理装置が検知した肌色の部位について前記生体認証サーバに認証を要求し、前記生体認証サーバが認証に成功すると前記演算資源を前記利用者に開放し、開放した時刻を前記課金サーバに通知するようにした。

さらに、本発明は、上記生体認証サーバの演算資源を時間貸しする生体認証システムにおいて、前記生体認証サーバが、前記利用者に該演算資源を開放すると、前記情報処理装置は、前記肌色の部位を利用者と認知して肌色の部位の位置と占有面積と色情報を保持して追跡を行い、前記利用者の操作が規定時間中断または前記イメージセンサの撮像情報中から前記利用者と認知された肌色の部位が消失すると、前記利用者が離席したとみなして前記演算資源をロックし、前記課金サーバに前記演算資源をロックした時刻を利用終了時刻として通知するようにした。

本発明は、利用者の撮像情報を出力するイメージセンサと、予め登録された前記利用者の顔の特徴データを格納する顔情報格納手段と、前記イメージセンサの撮像情報について肌色を検知する肌色検知手段と、前記イメージセンサの撮像情報について顔の構成要素を検索し特徴データを抽出し前記顔情報格納手段が保持する登録済み特徴データと比較し認証を行う生体認証手段と、前記肌色検知手段が示す撮像情報の部位に前記生体認証手段の認証結果を関連付けて追跡する追跡手段を具備する情報処理装置の生体認証プログラムにおいて、前記イメージセンサからの撮像情報を取り込むグラブ処理と、前記撮像情報から肌色の部分を検出する肌色検知処理と、前記撮像情報から顔の特徴を抽出して特徴データを肌色検知処理によって得られた顔情報と前記顔情報格納手段に登録された特徴データを比較して両者の一致を判定する認証処理と、一致が認証されたときに当該肌色部位を認証結果と関連付けて追跡する追跡処理と、当該肌色部位の追跡に失敗したときまたは当該肌色部位が撮像情報から外れたときに使用者が離席したと判定する離席判定処理とを有した。

本発明によれば、情報処理装置をログオンした正規の利用者ないし所有者を常時追跡し、撮像情報中から消失を検知することによって正規の利用者の離席を判断して情報処理装置をロックするので、第三者の目に情報が曝されることを防ぎ、また、情報処理装置の第三者による不正操作を防ぐことができる。

本発明によれば、生体認証手段の判定結果に基づき、動的に、登録情報すなわち正当な利用者ないし所有者と肌色検知手段の肌色部位の色情報を関連付けるので、生体認証手段が利用者の特徴情報と登録された特徴情報を比較するときに参照する登録情報は、輝度情報で十分で、色情報ないし色差情報を持つ必要がなく、登録情報を削減するとともに生体認証処理の負荷を低減することができる。

また、本発明によれば、追跡中の肌色部位は生体認証手段の判定結果に関連付けられているので、朝昼夕夜もしくは、屋内屋外の条件で動的に変化する照明環境下で追跡部位の色が変化しても、正当な利用者ないし所有者を追跡することが可能となる。

さらに、本発明によれば、イメージセンサに肌色検知手段を搭載することによって、イメージセンサで肌色を検知して肌色部位の検出位置情報を作成し、撮像情報に加えて肌色部位の検出位置情報をＰＣに送ることで、ＰＣの処理量の低減と、顔の構成要素の検索の高速化が期待できる。

［実施例１］本発明の第１の実施例を、図１および図２を用いて説明する。本発明にかかる離席検知とロック方式が適用される情報処理装置は、イメージセンサ２からなる撮像部と、情報処理装置本体（ＰＣ）１と、キーボード３１と、表示装置３２とを有して構成される。ＰＣ１は、追跡手段１３と、肌色検知手段１１と、生体認証手段１２と、統計情報１６と、資源管理手段１５と、顔情報１４とを有して構成される。追跡手段１３は、位置検出（顔検知）処理１３１と、統計処理１３２と、離席検知処理（判定）１３３とを行う。

顔情報１４は、情報格納手段に登録された情報であり、予め利用者の顔の撮像情報から顔の構成要素を検索して特徴を抽出した特徴データが、顔情報として格納されている。

肌色検知手段１１は、統計情報１６に保持している肌色の色傾向を参考に撮像情報中に肌色の部位を検索し、肌色と認識された部位以外を塗りつぶした加工済みの撮像を検出位置情報として出力するとともに、同時に肌色と認識された部位の色の分布等肌色の色傾向の情報を出力する手段である。検出位置情報は、追跡手段１３に、色傾向の情報は統計情報１６や追跡手段１３に送られる。肌色検知手１１は、イメージセンサの撮像情報中に複数の肌色の部位を検知すると、この複数の肌色部位を個別に前記生体認証手段に通知する。

生体認証手段１２は、登録時にイメージセンサ２からの利用者の撮像情報から顔の特徴を抽出して特徴データを作成して顔情報１４へ格納するともに、認証時にイメージセンサ２からの利用者の撮像情報から顔の特徴を抽出して特徴データを作成し顔情報１４に予め登録された利用者の特徴データと比較して生体認証を行う手段であり、認証結果と顔位置情報を追跡手段１３へ出力する。

追跡手段１３は、肌色検知手段１１からの検出位置情報と生体認証手段１２からの認証結果および顔位置情報とを関連付けて検出位置情報を追跡して利用者の離席を検知する手段であり、離席を検地したときに資源管理手段１５をロックさせる働きを有している。前記追跡手段は、時々刻々変化する前記イメージセンサの撮像情報から前記生体認証手段の認証結果に関連付けて前記肌色検知手段が示す撮像情報の肌色部位を追跡する手段であり、追跡中の認証結果を関連付けた前記肌色検知手段が示す撮像情報の肌色部位が前記イメージセンサの撮像情報から消失したことを根拠に利用者が離席したと判定し、情報処理装置をロック状態にする手段である。さらに、追跡手段１３は、追跡中の肌色部位の色組成と色分布と占有面積と位置情報を保持し、同時にイメージセンサの撮像情報中の肌色の占有面積と撮像情報全体の色情報と認証結果を保持し更新することで、照明環境の変化に伴う撮像の色変化の前後で肌色の部位を連続的に追跡する。追跡手段は、イメージセンサの撮像情報中の肌色の占有面積がゼロないし閾値を下回ったことを根拠に離席したと判定する。追跡手段１３は、生体認証手段が複数の肌色部位を個別に認証した結果複数の肌色部位の認証に失敗した肌色部位も、撮像情報中で追跡し、追跡中の認証に失敗した部位と認証に成功した部位が撮像情報中で交錯すると、その位置を前記生体認証手段に通知し認証を受ける。

位置検出（顔検知）処理１３１は、肌色検知手段１１から受け取った検出位置情報について、時間的に連続する撮像情報からそれぞれ肌色部位の切り出しを行い、切り出した肌色部位の重心や輪郭情報と面積を算出する処理である。

統計処理１３２は、追跡対象の特徴情報として肌色部位の重心、輪郭情報と面積、色の分布等肌色の色傾向の情報を統計処理し、統計情報１６に保持し利用する。すなわち、統計処理１３２は、切り出された肌色部位毎に色の分布等肌色の色傾向の情報を導出し、切り出された肌色部位の特徴情報として統計情報１６に保持し、過去の統計情報１６と比較すると共に、面積の変化や重心や輪郭で示される出現位置を比較する切り出された肌色部位の特徴情報として統計情報１６に保持し、過去の統計情報１６と比較することで、過去に検知した部位か、連続して検知している部位か判断する処理である。

離席検知処理（判定）１３３は、肌色検知手段１１が検知した肌色の部位と、生体認証手段１２が認証に成功した顔が撮像情報中で一致するか、撮像情報中に存在するもしくは残存するかどうかを判定することで肌色部位を追跡し、追跡に成功する限り資源管理手段１５に管理下にある資源のロックを指示する処理である。

また、離席検知処理（判定）１３３は、肌色検知手段１１からの検出位置情報が途絶えたり、生体認証手段１２における認証結果が失敗であると、追跡に失敗したと判定し、また、追跡中の肌色部位が撮像情報中の上下左右４辺のいずれかからフレームアウトすると、利用者が離席したと判定しすなわち離席を検知し、資源管理手段１５に管理下にある資源のロックを指示する処理である。

顔認証に失敗したり、イメージセンサ２が故障したり接続されなかったり、顔情報が未登録の場合、情報処理装置本体（ＰＣ）１は、キーボード３１から資源管理手段１５を介してパスワード認証を行うことで、離席検知処理（判定）１３３は、資源管理手段１５に対してロック解除を指示させ、通常のログオンもしくはロック解除を実現している。

イメージセンサ２は、例えば情報処理装置本体（ＰＣ）１に取り付けられた動画像を撮像するカメラであり、利用者の顔の撮像情報を出力する手段である。

情報処理装置のイメージセンサ２の撮像情報は、肌色検知手段１１と生体認証手段１２に入力される。肌色検知手段１１は撮像情報中の肌色の部位を検索して顔の輪郭を検知する。並行して生体認証手段１２は、撮像情報中の顔を構成する部品を検索し顔を検知し、検索結果を顔情報１４に照らし合わせて登録された顔かどうか判別し顔認証を実現している。

第１の実施例において、上述の生体認証手段１２は、顔の構成要素の検索と顔認証における登録情報との照合においては、輝度信号のみを利用している。撮像情報から色差信号を捨て、輝度信号のみを利用することで、顔の構成要素の検索での処理量の削減と、顔認証に用いる登録情報の軽量化を図っている。しかしながら、情報処理装置の資源が許せば、生体認証手段１２が色差信号を利用して生体を認証することもありうる。

以上の説明のとおり、図１の構成において、追跡手段１３は、利用者の離席検知と資源のロック／ロック解除を実現している。

図２を用いて、各プロセス間の通信と動作を説明する。図２において、時間は上から下に向かって経過し、情報処理装置本体（ＰＣ）１の起動、追跡、停止まで一連の動作を示している。起動時、ＰＣ１のＯＳは、肌色検知手段１１と生体認証手段１２と追跡手段１３を起動し、ログオンプロセスが生体認証手段１２を用いてログオンを試みる（Ｓ１）。起動時ログオンに示すように、生体認証手段１２は顔認証を試みる（Ｓ２）。並行してこの間、肌色検知手段１１は、定期的に肌色部位を検知し検出位置情報を追跡手段１３に送り続ける（Ｓ３）。

顔認証に成功すると認証結果に裏打ちされた信用が発生し、生体認証手段１２は追跡手段１３に顔の位置を知らせる（Ｓ４）ことで信用を伝達し、追跡手段１３は、追跡中の肌色部位に一致すると判定すると、資源管理手段１５にロック解除を指示し（Ｓ５）、ロックは解除され、ログオンは成功裏に終了する。

ログオン後、肌色検知手段１１が検知に成功して追跡手段１３に検出位置情報を送り続け（Ｓ６、Ｓ６−２）、追跡手段１３が追跡に成功する限り資源管理手段１５のロック解除は継続して信用が持続する信用の環が維持され、資源管理手段１５の利用がなされ続ける（Ｓ７）。

一旦検出位置情報が途切れると（Ｓ８）、追跡手段１３は、資源管理手段１５にロックを指示すし（Ｓ９）、資源管理手段１５はロックされる（Ｓ１０）。

図２では、検出位置情報が途切れて（Ｓ８）、資源管理手段１５が管理下の資源をロックし（Ｓ１０）、信用も消失し信用の環が切れた後、肌色検知手段１１が再び肌色の検知に成功し、検出位置情報の送信を再開すると（Ｓ１１）、再開を受けて追跡手段１３は、肌色の部位の検出位置情報を追跡対象の位置情報として生体認証手段１２に送り（Ｓ１２）、顔認証によるログオンを試みる。生体認証手段１２は、顔認証に成功すると信用が回復し、追跡手段１３に成功を伝える（Ｓ１４）ことで信用を伝達し、追跡手段１３は、資源管理手段１５にロック解除を指示し（Ｓ１５）、信用の環が復活して、資源管理手段５はロックが解除され続ける（Ｓ１６）。肌色検知手段１１は、定期的に検出位置情報を追跡手段１３へ送り続ける（Ｓ１１−２、Ｓ１１−３）。

肌色検知手段１１が複数の肌色部位を切り出した場合には、追跡手段１３は追跡中の肌色部位の軌跡すなわち撮像情報中の位置と移動方向と移動量と、追跡中の肌色部位の色情報と色変化から、時系列上の連続性を判定して追跡すべき肌色部位を決定する。

追跡手段１３が追跡すべき肌色部位の決定に失敗する（追跡対象の決定失敗）と、肌色検知手段１１は、検出位置情報を追跡手段１３へ送り（Ｓ１７）、追跡手段１３は、候補となる肌色の部位の検出位置情報を追跡対象の位置情報として順番に生体認証手段１２へ送る（Ｓ１８）、生体認証手段１２が顔認証し、顔認証に成功した部位に追跡対象を決定する（Ｓ１９）。図２では、生体認証手段１２が、複数の候補について顔の検出もしくは顔検出後の顔認証に失敗すると、失敗を追跡手段１３へ通知し（Ｓ２０）、最終的に追跡手段１３が資源管理手段１５にロックを指示（Ｓ２１）している。

生体認証手段１２が複数の候補について顔認証を行うに際し、追跡対象の位置情報で指示された位置で顔の検出に失敗すると、即座に次の候補の認証に遷る。例えば、目をこすったり髪をいじった手や腕が追跡中の顔にかぶると、生体認証手段１２は、候補と指示された手や腕に顔を検出できず、生体認証プロセスの早期の段階で次の候補の顔認証に遷移する。

背後を通過した人の頭部が追跡中の顔にかぶった場合、通過した人が追跡中の顔から遠くを通過すると肌色の部位もしくはこの肌色の部位中の顔の構成要素の大きさは生体認証の分解能より小さくなり顔の検索に失敗し、生体認証プロセスの早期の段階で次の候補の顔認証に遷移する。

追跡すべき複数の候補が存在する場合に、追跡手段１３が生体認証手段１２に各候補の追跡対象の位置情報を送ると、生体認証手段１２は指示された位置について顔の構成要素の検索を試行する。図１の説明の通り、生体認証手段１２は、撮像情報全体で検索すると、処理時間が掛かる。また、生体認証手段１２は、撮像情報中の輝度信号のみを利用するため、撮像情報の輝度信号から肌色を検知することは困難であり、顔の構成要素の検索は白目と黒目や鼻の穴、歯の白等コントラストと形状の検索に頼ることとなり、撮像情報中の照明や背景の外乱を受けやすい。第１の実施例に示すとおり、追跡手段１３が生体認証手段１２に各候補の追跡対象の位置情報を送ることで、生体認証手段１２が撮像情報全体を検索する手間を省くことに成功している。

当然のことながら、生体認証手段１２が肌色を検知することはきわめて容易であるが、生体認証手段１２が肌色の部位を検知し当該部位で顔の構成要素を検索すると、顔の構成要素の検索に成功すると撮像情報中で一切の肌色検知は行わず、顔認証に処理を移行する。そのため、追跡手段１３での追跡、言うなれば２次利用で必要な撮像情報全体での肌色検知は生体認証手段１２に期待できない。

また、生体認証手段１２の顔認証に時間を要すると、肌色検知を行うはずの顔の構成要素の検索はおろそかになり、追跡手段１３での追跡に必要な撮像情報全体での肌色検知も滞り、追跡に失敗することとなる。

よって、第１の実施例では肌色検知を生体認証手段１２で行わず、肌色検知手段１１で行う構成とした。また、生体認証手段１２は顔の構成要素の検索で、発見した構成要素について確認の目的で撮像情報中に発見した構成要素の周囲の画素数点が肌色であるか確認している。

図２において、複数の候補について顔の検出もしくは顔検出後の顔認証に失敗し（Ｓ２０）、資源管理手段１５をロック状態に遷移させた（Ｓ２１）後、本発明の情報処理装置本体（ＰＣ）１は、停止を迎える。停止は、電源ボタンの押下やシャットダウンウィンドウでのシャットダウン指示に従い全プロセスを逐次終了する（Ｓ２２）ことで行い、肌色検知手段１１１も追跡手段１３も生体認証手段１２も終了を迎える（Ｓ２３）。

図３を用いて、動作フローと認証結果に裏打ちされた信用が形成する信用の環を説明する。図３において、ＰＣ１は先ず電源断ないし冬眠状態もしくはロック状態（ログ度アウト状態もしくは、ロックド状態）のいずれかにあり、ＰＣ１に電源が投入されＯＳが起動ないし復帰する（Ｓ３１）と利用者の認証（Ｓ３２）が行われる。

利用者の認証（Ｓ３２）は、顔認証を前提としているが、パスワード認証や指紋や静脈、虹彩による生体認証、認証デバイスによる認証でもかまわない。

認証に成功（Ｓ３３）するとＰＣ１のＯＳはログオン状態に遷移し、イメージセンサ（カメラデバイス）４が接続され利用可能か確認（Ｓ３４）し、利用できない場合は追跡を行わず（Ｓ５０）、離席検知処理を停止する（Ｓ５１）。本発明の離席検知とロック方式は、顔認証以外の認証と顔追跡による離席検知を組合せて利用することを許容しており、カメラが見つからない場合この機能停止の機構が有効に誤動作やハングアップを防いでいる。

カメラの接続が確認できるとグラブ（Ｓ３５）で撮像情報を取り込み、同時に、例えば、１６ピクセルおき、１６ラインおきに撮像情報を取り込む間引き（Ｓ３６）を行い、間引いたデータを肌色フィルタに通し、撮像情報データ中の肌色部位以外をゼロフィルして、肌色部位を検知する（Ｓ３７）。

肌色フィルタを通過した肌色部位の撮像情報は原色のＲＧＢもしくはＹＵＶいずれかの２４ビットのデータでよく、本発明の第１の実施例ではカメラの出力に従いＲＧＢ形式である。

肌色フィルタを通過した撮像情報に現れる肌色部位は、単独もしくは数個が不規則に並ぶ断片と、顔や手などを示すある程度の面積を有するポリゴン（多角形）が含まれ、顔検知で先ず撮像情報から断片を排除し、撮像情報中のポリゴンの有無とその数、大きさ、位置を割り出す（Ｓ３８）。

顔検知を済ませると、生体認証手段１２からのの認証結果が存在し認証結果が示す位置の近辺に顔検知で検出したポリゴンが存在するか確認（Ｓ３９）する。

認証結果が存在しないか検証結果が無効と判定されると、ロック（Ｓ５２）に遷移し、ＰＣ１のＯＳにロックを指示し、デスクトップを例えばスクリーンセーバのデスクトップに切り替えることによりＰＣ１のＯＳはロックされ、生体認証処理を終了する（Ｓ５３）。

ステップ４１において、有効な認証結果が存在すると２顔？（Ｓ４０）で撮像情報中のポリゴンの数が２つ以上（撮像情報中に２以上の肌色部位があるか）か確認し、１つ以下の場合は撮像情報の原色データを統計処理し（Ｓ４１）、変化量を算出して離席を検知し（Ｓ４２）、離席の有無を判定（Ｓ４３）する。

離席がない場合、追跡の成功とみなされて認証結果は温存され、同時に認証結果が指し示す位置は、ポリゴンの位置、例えばポリゴンの重心の位置に更新され、グラブ（Ｓ３５）に戻る（Ｓ４４）。追跡に成功して認証結果有（Ｓ３９）で再度確認される際、位置情報を更新され温存された認証結果が参照される。

離席が認められる（／とみなす）とロック（Ｓ５２）に遷移し、ＰＣ１のＯＳにロックを指示し、ＰＣ１はロックされる。

２顔？（Ｓ４０）で撮像情報中のポリゴンの数が２つ以上確認されると、認証（Ｓ３２）で認証された利用者が含まれているか確認するため、もしくは第三者がＰＣ１のカメラに映っていないか確認するため、顔認証を行う。先ず、間引く前の撮像情報について顔もしくは顔の部品を検索（Ｓ４５）し、検索の結果発見した顔について特徴量を例えば顔の部品をむすぶベクトル情報を算出し（Ｓ４６）、得られた特徴量と登録された特徴量を比較することで顔認証（Ｓ４７）を行い、すべてのポリゴンについて結果を判定（Ｓ４８）する。

顔認証に成功し、利用者に変化がないと確認されると、認証結果が指し示す位置は、ポリゴンの位置、例えばポリゴンの重心の位置に更新され、認証結果も更新され、グラブ（Ｓ３５）に戻る（Ｓ４９）。認証結果有（Ｓ３９）で再度確認される際、更新された認証結果が参照される。

Ｓ４８で、顔認証に失敗するか第三者が認証されると、ロック（Ｓ５２）に遷移し、ＰＣ１のＯＳにロックを指示し、ＰＣ１はロックされる。

認証結果は、追跡（Ｓ４２）に成功してグラブ（Ｓ３５）に戻る追跡成功パス（Ｓ４４）と、顔認証（Ｓ４７）に成功してグラブ（Ｓ３５）に戻る回復パス（Ｓ４９）を経由する。

追跡成功パス（Ｓ４４）を経由すると、認証（Ｓ３２）の認証結果は温存され、認証（Ｓ３２）の認証結果、すなわちログオン時の認証結果に裏打ちされた信用が温存され、グラブ（Ｓ３５）から離席（Ｓ４３）を追跡成功パス（Ｓ４４）経てグラブ（Ｓ３５）に戻る信用の環が形成され、追跡に成功する限りこの信用の環は途切れない。

また、追跡に成功する限り信用の環は途切れないので、グラブ（Ｓ３５）から離席（Ｓ４３）と追跡成功パス（Ｓ４４）経てグラブ（Ｓ３５）に戻るフローにおいて何らかの認証を追加／挿入する必要はない。

当然、顔認証や他の認証方式を追加／挿入することでセキュリティレベルの向上を計ることも可能であるが、本発明の第１の実施例では認証を追加／挿入しない。

信用の環が２顔？（Ｓ４０）から顔検出（Ｓ４５）に遷移することで途切れると、顔認証に成功する（Ｓ４７）ことで認証結果は更新される。回復パス（Ｓ４９）を経由すると、認証結果はログオン時の認証結果でなくなるが、この後追跡に成功すると、グラブ（Ｓ３５）から離席（Ｓ４３）と追跡成功パス（Ｓ４４）を経てグラブ（Ｓ３５）に戻る信用の環が再度形成されることとなり、信用は回復する。

一旦信用の回復が図られると、以後、追跡に成功する限り信用の環は途切れないので、グラブ（Ｓ３５）から離席（Ｓ４３）と追跡成功パス（Ｓ４４）を経てグラブ（Ｓ３５）に戻るフローにおいて、何らかの認証を追加／挿入する必要はない。

当然、顔認証や他の認証方式を追加／挿入することで、セキュリティレベルの向上を計ることも可能であるが、本発明の第１の実施例では認証を追加／挿入しない。

本発明の情報処理装置本体（ＰＣ）１において、ロックが掛かった（Ｓ５２）後、一定時間経過するとログアウトする設定が可能であり、ログアウト後一定時間経過するか決められた時刻を迎えるとシャットダウンする（Ｓ５３）。

また、本発明の情報処理装置本体（ＰＣ）１は、シャットダウン以外に、スタンバイや休止状態に移行することも可能で、肌色検知手段１１および生体認証手段１２ならびに追跡手段１３は、ＯＳ共々休止ないし冬眠状態に遷移する。情報処理装置本体（ＰＣ）１が休止状態ないし冬眠状態から復帰すると、資源管理手段１５は、ロック状態で復帰する。この状態において、図２の起動に準じログオンプロセスが起動するか、肌色検知手段１１で肌色部位が検知されて図２のログオンが試行され、生体認証手段１２は顔認証を実行する。

本発明の情報処理装置本体（ＰＣ）１において、ロックが掛かった後一定時間経過するとログアウトする設定が可能であり、さらに、ログアウト後一定時間経過するか決められた時刻を迎えるとシャットダウンする。

こうすることで、休止状態ないし冬眠状態の前の追跡に基づく誤った追跡を防止し、また復帰後の誤ったロック解除を防止することができ、第三者に画面を曝すことがなくなり、かつ第三者による不当操作の機会を排除している。

ログオン時に認証に成功した顔を追跡し続けて追跡に成功し続けると、この追跡のループは認証結果に裏打ちされた信用を温存するループとなり、追跡のループ中に別途認証プロセスを追加したり挿入する必要がなくなり、認証の手間が省け処理量が減り、認証期間中の資源の占有も回避できる。

本発明における、生体認証処理および離席検知処理の他の実施例について詳細を説明する。

［実施例２］本発明の第２の実施例を、図４を用いて説明する。図において、情報処理装置は、情報処理装置本体（ＰＣ）１と、撮像部２０と、キーボード３１と、表示装置３２とを有して構成される。情報処理装置本体（ＰＣ）１は、生体認証手段１２と、位置検出処理１３１および統計処理１３２ならびに離席見地処理（判定）１３３を行う追跡手段１３と、顔情報１４と、資源管理手段１５と、統計情報１６とを有している。撮像部２０は、イメージセンサ２と、肌色検知手段１１を有している。

第２の実施例において、情報処理装置本体（ＰＣ）１のログオン、ロック、ロック解除の動作は、第１の実施例に同じで、第１の実施例とは構成が異なる。簡単のため、第１の実施例との差異を中心に説明を進める。

本発明の第２の実施例では、肌色検知手段１１を撮像部２０が搭載する。すなわち、撮像部２０のイメージセンサ２を構成するカメラの筐体内に、肌色検知手段１１が実装される。イメージセンサ２の撮像情報は、生体認証手段１２に入力される。イメージセンサ２は、ＰＣ１の制御に従い撮像情報のフォーマットを、ＹＵＶ形式やＲＧＢ形式等に変更する。

肌色検知手段１１の実装形態は、イメージセンサ２のチップ上の信号処理を実現する論理回路に肌色を検知する論理回路を搭載したり、前述の撮像情報のフォーマット変換を行うイメージセンサ２内蔵ＣＰＵのファームウェアとして実現できる。

本発明の第２の実施例では、肌色検知手段１１を、色データの演算を論理回路で演算し、演算結果から肌色の有無の判定をファームウェアで処理することとし、イメージセンサ２のチップ上の論理回路と内蔵ＣＰＵにそれぞれ実装している。イメージセンサ２の肌色検知手段１１は、ＰＣ１の制御で当該ファームウェアの動作を指示することで起動し、肌色の検知結果を検出位置情報としてＰＣ１に送る。

イメージセンサ２および肌色検知手段１１と、本発明の情報処理装置本体（ＰＣ）１は、物理的にケーブルないし無線方式で接続され、本発明の第２の実施例ではケーブルで接続し撮像と制御と検出位置情報にそれぞれ個別に論理チャネルを割り当てている。

ＰＣ１は、撮像部２０から送られた撮像情報と検出位置情報を元にして追跡と生体認証を行う。追跡手段１３が検出位置情報に基づき追跡対象の位置情報を生体認証手段１２に送ることで、生体認証手段１２が顔の構成要素を検索する範囲を限定でき、処理量の低減と時間短縮に寄与している。

［実施例３］本発明の第３の実施例を、図５および図６を用いて説明する。この実施例は、生体認証手段１２がネットワーク上の生体認証サーバ４に実装されてネットワーク上の複数の情報処理装置により共有され、共同で利用する構成となっている点に特徴がある。この実施例は、生体認証サーバ４の生体認証資源を複数の情報処理装置に時間貸しするシステムである。

この第３の実施例にかかる情報処理装置本体（ＰＣ）１は、肌色検知手段１１と、位置検出処理１３１および統計処理１３２ならびに離席検知処理（判定）１３３を行う追跡手段１３と、資源管理手段１５と、統計情報１６と、画像を符号化するコーデック１７を有しており、さらにネットワークとの間で通信する図示を省略した通信手段を有している。情報処理装置本体（ＰＣ）１は、撮像部を構成するイメージセンサ２と、キーボード３１と、表示装置３２に接続され、さらにネットワークを介して生体認証サーバ４と、課金サーバ５に接続される。生体認証サーバ４は、生体認証手段１２と、顔情報１４と、符号化された画像を復号するコーデック４１を有している。

本発明の第３の実施例において、生体認証手段１２は、ネットワーク上の生体認証サーバ４に実装され、ネットワーク上の複数の情報処理装置本体（ＰＣ）１により共有され、共同で利用する構成となっているが、図４では簡単のため、本発明の情報処理装置本体（ＰＣ）１を１台だけを図示している。

本発明の第３の実施例における画像コーデック１７における符号化は、生体認証手段１２の期待するフォーマットと解像度を実現する仕様で符号化したフォーマットである。コーデック１７における符号化は、具体例として、イメージセンサ２の撮像情報の内、輝度信号（Ｙ）を８×８ピクセルを１ブロックとする６４ピクセル単位で離散コサイン変換し、量子化の上、ハフマン符号で符号化したフォーマットである。撮像情報は、フレーム内で閉じるイントラ符号化と、１フレーム前の撮像との差分を符号化するインター符号化を適宜取り混ぜる。

生体認証サーバ４への生体認証の要求が増えると、ＰＣ１に割り当てられる撮像情報を転送するための論理チャネルの帯域は、制限される。そのため、イントラ符号化された撮像情報とインター符号化された撮像情報の出現頻度を動的にインター符号に偏重させ、生体認証手段７１がインター符号化を復号化して得られた撮像情報を優先的に用いることで、撮像情報の画素間の分解能と画素の彩度のダイナミックレンジを改善し、顔を構成する部品の検索を確実化している。

上記画像コーデック１７における符号化は、例えば肌色検知手段１１で切り出した部位のＹ成分のみを符号化するようにしてもよい。このことによって、情報処理装置の資源をより有効に活用することができる。

生体認証サーバ４は、ネットワークに接続され、ＰＣ１から画像コーデック１７で符号化された撮像情報を受信して画像コーデック４１で復号化し、生体認証手段１２の入力とする。生体認証手段１２は、復号化された撮像情報中で顔を構成する部品を検索して顔を検知し、検知した顔について顔情報１４に照らし合わせて登録された顔かどうか判別し、顔認証を実現している。

認証結果は、本発明の第１の実施例と同様に、ＰＣ１の追跡手段１３にネットワークを介して送られ、顔検知処理１１が顔認証に成功すると、離席検知処理（判定）１３３が、資源管理手段１５にロック解除を指示する。追跡手段１３は、同時に、ロック解除の時刻を課金サーバ５に送る。

顔認証に失敗した追跡手段１３が資源管理手段１５にロックを指示すると、追跡手段１３は、同時にロックした時刻を課金サーバ５に送る。

顔認証に失敗したり、イメージセンサ２が故障したり接続されなかったり、顔情報が未登録の場合、本発明の情報処理装置本体（ＰＣ）１は、キーボード３１から資源管理手段１５を介してパスワード認証を行うことで、離席検知処理（判定）１３３に資源管理手段１５に対してロック解除を指示させ、通常のログオンもしくはロック解除を実現している。ロックを解除する際も追跡手段１３は、ロック解除の時刻を課金サーバ５に送る。

以上の説明の通り、図５の構成で、追跡手段１３は利用者の離席検知と資源のロック／ロック解除を実現している。また、ロック／ロック解除の度に課金サーバ５へ通知することで、利用実態の記録と、課金情報を根拠とする対価の請求を可能としている。

本発明の第３の実施例の構成で、システム管理者ないしサービス提供者は、ＰＣ１と課金サーバ５を所有し、加えて生体認証サーバ４を所有することもある。利用者は、システム管理者ないしサービス提供者によって課金サーバ５で利用実態と課金情報を管理され、有料サービスの場合、サービス提供者は課金サーバ５の課金情報に従い利用者に対価を請求する。

図６を用いて、ＰＣ１上のプロセスとサーバ間の通信とＰＣ１の動作を説明する。図６において時間は上から下に向かって経過し、情報処理装置本体（ＰＣ）１の起動、追跡、停止まで一連の動作を示している。

起動時、ＰＣ１のＯＳは、肌色検知手段１１および追跡手段１３を起動し、ログオンプロセスが、生体認証サーバ４の生体認証手段１２を用いてログオンを試みる。生体認証サーバ４の接続前に、ＰＣ１は先ずログオンする利用者について課金サーバ５に問い合わせ（Ｓ６１）、アカウント情報を得る（Ｓ６２）。肌色検知手段１１は、検出位置情報を追跡手段１３へ送信する（Ｓ６３）。ＰＣ１は、前記アカウント情報とイメージセンサ２からの撮像情報を生体認証サーバ４に示し（Ｓ６４）、生体認証サーバ４は、該当する利用者の顔情報１４を参照して顔認証を行う（Ｓ６５）。

起動時ログオンに示すように、ログオンプロセスは、生体認証サーバ４に撮像情報を転送し、顔認証を受ける。並行して、ＰＣ１上では、この間、肌色検知手段１１が定期的に肌色部位を検知して検出位置情報を追跡手段１３に送り続ける（Ｓ６３）。

生体認証サーバ４は、顔認証に成功すると追跡手段１３に認証結果および顔位置情報を知らせ（Ｓ６６）、追跡手段１３は、追跡中の肌色部位に一致すると判定すると、資源管理手段１５にロック解除を指示して（Ｓ６７）、ロックは解除され、ログオンは成功裏に終了する。

ログオンに成功すると、資源管理手段１５は、課金サーバ５にログオンした時刻を通知する（Ｓ６８）。図６では資源管理手段１５が課金サーバ５にログオンした時刻を通知するが、追跡手段１３が課金サーバ５にログオンした時刻を通知しても構わない。

ログオン後、肌色検知手段１１が検知に成功して追跡手段１３に検出位置情報を送り続け（Ｓ６３−２，Ｓ６３−３）、追跡手段１３が追跡に成功する限り資源管理手段１５のロック解除は継続して利用可能となる（Ｓ６９）。肌色検知手段１１から検出位置情報が途切れる（Ｓ７０）と、追跡手段１３は、資源管理手段１５にロックを指示する（Ｓ７１）。

資源管理手段１５がロックすると、資源管理手段１５は、課金サーバ５にロックした時刻を通知する（Ｓ７２）。図６では資源管理手段１５が課金サーバ５にロックした時刻を通知するが、追跡手段１３が課金サーバ５にロックした時刻を通知しても構わない。また、以後ロックするたびに課金サーバ５にロックした時刻を通知する。

検出位置情報が途切れ資源管理手段１５が管理下の資源をロックした後、肌色検知手段１１が再び肌色の検知に成功し、検出位置情報の送信を再開する（Ｓ７３）。再開を受けて追跡手段１３は、肌色の部位の位置情報を追跡対象の位置情報として生体認証サーバ４に送り（Ｓ７４）、顔認証によるログオンを試みる。生体認証サーバ４は、顔認証を行ない（Ｓ７５）、顔認証に成功すると追跡手段１３に成功を伝え（Ｓ７６）、追跡手段１３は、資源管理手段１５にロック解除を指示する（Ｓ７７）。

資源管理手段１５は、ロック解除すると、課金サーバ５にロック解除した時刻を通知する（Ｓ７８）。図６では資源管理手段１５が課金サーバ５にロック解除した時刻を通知するが、追跡手段１３が課金サーバ５にロック解除した時刻を通知しても構わない。また、以後ロック解除するたびに課金サーバ５にロック解除した時刻を通知する。資源管理手段１５は利用可能となる（Ｓ７９）。肌色検知手段１１は、位置検出情報を定期的に送信し続ける（Ｓ７３−２〜Ｓ７３−４）。

追跡手段１３は、複数の肌色部位を切り出しても、追跡中の肌色部位の軌跡すなわち撮像情報中の位置と移動方向と移動量と、追跡中の肌色部位の色情報と色変化から、時系列上の連続性を判定し追跡すべき肌色部位を決定する。

追跡手段１３が追跡すべき肌色部位の決定に失敗すると（追跡対象の決定失敗時）、追跡手段１３は、候補となる肌色の部位（追跡対象の位置情報）を順番に生体認証サーバ４に送信する（Ｓ８０）。生体認証サーバ４は、顔認証を実行し（Ｓ８１）、顔認証に成功した部位に追跡対象を決定する。図６では複数の候補について顔の検出もしくは顔検出後の顔認証に失敗すると、生体認証サーバ４は、顔認証の失敗を追跡手段１３へ通知する（Ｓ８２）。最終的に追跡手段１３は、資源管理手段１５にロックを指示し（Ｓ８３）、資源管理手段１５はロックを課金サーバ５に通知する（Ｓ８４）。

生体認証サーバ４が複数の候補について顔認証を行う場合には、追跡対象の位置情報で指示された位置で生体認証手段１２が顔の検出に失敗すると、生体認証手段１２は即座に次の候補の認証に遷る。例えば、目をこすったり髪をいじった手や腕が追跡中の顔にかぶると、候補と指示された手や腕に顔は検出できず、生体認証プロセスの早期の段階で次の候補の顔認証に遷移する。

背後を通過した人の頭部が追跡中の顔にかぶった場合、通過した人が追跡中の顔から遠くを通過すると肌色の部位もしくはこの肌色の部位中の顔の構成要素の大きさは生体認証の分解能より小さくなり顔の検索に失敗し、生体認証プロセスの早期の段階で次の候補の顔認証に遷移する。

追跡すべき複数の候補が存在する場合に、追跡手段１３が生体認証サーバ４に各候補の位置情報を送ることで、生体認証手段１２が撮像全体を検索する手間を省くことに成功している。

複数の候補について顔の検出もしくは顔検出後の顔認証に失敗して、ロック状態に遷移した後、本発明の情報処理装置本体（ＰＣ）１は停止を迎える。停止は、電源ボタンの押下やシャットダウンウィンドウでのシャットダウン指示に従い全プロセスを逐次終了する（Ｓ８５）ことで行い、肌色検知プロセスも追跡プロセスも終了を迎える（Ｓ８６）。資源管理手段１５は、停止前に課金サーバ５にログアウトないしシャットダウンないし停止処理に入った時刻を通知（Ｓ８４）する。

本発明の情報処理装置本体（ＰＣ）１において、ロックが掛かった後一定時間経過するとログアウトする設定が可能であり、ログアウト後一定時間経過するか決められた時刻を迎えるとシャットダウンする（Ｓ８６）。

また、本発明の情報処理装置本体（ＰＣ）１は、シャットダウン以外に、スタンバイや休止状態に移行することも可能で、肌色検知手段１１および追跡手段１３は、ＯＳ共々休止ないし冬眠状態に遷移する。休止状態ないし冬眠状態から復帰すると、資源管理手段１５は、ロック状態で復帰する。この状態において、図６の起動に順次ログオンプロセスが起動し、先ずログオンする利用者について課金サーバ５に問い合わせ、アカウント情報を得る。ＰＣ１はこのアカウント情報を生体認証サーバ４に示し、生体認証サーバ４は該当する利用者の顔情報１４を参照し顔認証に備える。引き続き、ログオンプロセスは生体認証サーバ４に撮像情報を転送し、顔認証を受ける。

こうすることで、休止状態ないし冬眠状態の前の追跡に基づく誤った追跡を防止し、また復帰後の誤ったロック解除を防止し、第三者による不当操作の機会を排除している。

第３の実施例において、ＰＣ１の利用者の正当性は、課金サーバ５のアカウント情報と生体認証サーバ４における顔認証で判断する構成であり、必要な登録情報はＰＣ１から生体認証サーバ４側に引き上げられ、ＰＣ１に重要な情報はない。そのため、悪意を持った第三者が容易に全件参照できないばかりか、ハッキング中の顔画像が生体認証サーバ４により監視される。

また、ＰＣ１が主体的にハンドリングする撮像情報について生体認証サーバ４の生体認証手段１２が注目する特徴点の類推は容易でなく、生体認証サーバ４が保持する顔情報は想像し難く捏造と、捏造した顔画像による不正利用は困難である。

本発明の第１の実施例を示す図。 本発明の第１の実施例におけるプロセス間の通信を示す図。 本発明の第１の実施例におけるフローチャートと信用の環を示す図。 本発明の第２の実施例を示す図。 本発明の第３の実施例を示す図。 本発明の第３の実施例におけるプロセス間の通信を示す図。

符号の説明

１…情報処理装置本体（ＰＣ）、１１…肌色検知手段、１２…生体認証手段、１３…追跡手段、１３１…位置検出処理（顔検知）、１３２…統計処理、１３３…離席検知処理（判定）、１４…顔情報、１５…資源管理手段、１６…統計情報、１７…画像コーデック、２…イメージセンサ、２０…撮像部、３１…キーボード、３２…表示装置、４…生体認証サーバ、４１…画像コーデック、５…課金サーバ

Claims (12)

1. 利用者の顔を撮像するイメージセンサを具備した情報処理装置であって、
   前記イメージセンサの撮像情報中にある利用者の顔の位置を示す検出位置情報を出力する検知手段と、
   予め利用者の顔の撮像情報について顔の構成要素の特徴を抽出した利用者の顔の特徴データを登録する顔情報格納手段と、
   前記イメージセンサの撮像情報について顔の構成要素を検索して特徴データを抽出し前記顔情報格納手段に登録された特徴データと比較して両者が同一であると判断したときに生体の一致を認証する生体認証手段と、
   前記検知手段が示す撮像情報の部位に前記生体認証手段の認証結果を関連付けて追跡する追跡手段と、
   を具備することを特徴とする情報処理装置。
2. 請求項１記載の情報処理装置であって、前記追跡手段は、前記イメージセンサの撮像情報から前記生体認証手段の認証結果に関連付けて前記検知手段が示す撮像情報の肌色部位を追跡する
   ことを特徴とする情報処理装置。
3. 請求項２記載の情報処理装置であって、前記追跡手段が追跡中の認証結果を関連付けた前記検知手段が示す撮像情報の肌色部位が前記イメージセンサの撮像情報から消失したと判定し、情報処理装置をロック状態にする
   ことを特徴とする情報処理装置。
4. 請求項１記載の情報処理装置であって、前記検知手段が、前記イメージセンサの撮像情報中に複数の肌色部位を検知すると、該複数の肌色部位を個別に前記生体認証手段に通知する
   ことを特徴とする情報処理装置。
5. 請求項４記載の情報処理装置であって、前記生体認証手段が前記複数の肌色部位を個別に認証した結果複数の肌色部位の認証に失敗した肌色部位も、前記追跡手段が、前記撮像情報中で追跡し、追跡中の認証に失敗した部位と認証に成功した部位が撮像情報中で交錯すると、その位置を前記生体認証手段に通知し認証を受ける
   ことを特徴とする情報処理装置。
6. 請求項１記載の情報処理装置であって、前記追跡手段が、追跡中の肌色部位の色組成と色分布と占有面積と位置情報を保持し、前記イメージセンサの撮像情報中の肌色の占有面積と前記撮像情報全体の色情報と認証結果を保持し更新することで、照明環境の変化に伴う撮像の色変化の前後で前記肌色部位を連続的に追跡する
   ことを特徴とする情報処理装置。
7. 請求項６記載の情報処理装置であって、前記追跡手段は、前記イメージセンサの撮像情報中の肌色の占有面積がゼロないし閾値を下回ったことを根拠に離席したと判定する
   ことを特徴とする情報処理装置。
8. 情報処理装置に通信手段を介して接続され前記情報処理装置に撮像情報を送るイメージセンサであって、
   撮像情報から、肌色部位を検出し、前記肌色部位の位置と占有面積と色組成と色分布のうち少なくともひとつを検知する肌色検知手段を備え、
   該肌色検知手段化検知情報を前記情報処理装置に伝達する
   ことを特徴とするイメージセンサ。
9. 請求項８記載のイメージセンサであって、前記検知した肌色部位の該肌色部位の位置と占有面積と色組成と色分布のうち少なくともひとつを保持し、時々刻々変化する撮像情報中で保持した情報に合致する肌色部位を検知し、前記保持した情報に合致する肌色部位の位置と占有面積と色組成と色分布のうち前記保持している情報に該当する情報を更新し、前記肌色部位を前記イメージセンサの撮像情報中で追跡する
   ことを特徴とするイメージセンサ。
10. イメージセンサが接続された情報処理装置が通信ネットワークを介して生体認証サーバと課金サーバに接続され、前記生体認証サーバの演算資源を時間貸しする生体認証システムにおいて、
    前記情報処理装置は、イメージセンサと、該イメージセンサで撮影した利用者が映った撮像情報から肌色を検知して肌色の部位の情報と検出位置情報を出力する肌色検知手段と、前記検出位置情報と前記生体認証サーバからの認証結果と顔位置情報を用いて利用者の離席を検知する追跡手段と、前記生体認証サーバと前記課金サーバの間で通信ネットワークを介して通信する通信手段を備え、
    前記認証サーバは、前記情報処理装置との間で通信ネットワークを介して通信する通信手段と、予め登録された利用者の顔情報を格納した顔情報格納手段と、前記情報処理装置から受信した前記前記肌色検知手段が検知した肌色の部位の情報および前記顔情報から前記利用者が顔情報と同じ利用者かを認証する生体認証手段とを備え、
    前記課金サーバは、前記情報処理装置との間で通信ネットワークを介して通信する通信手段と、前記生体認証サーバの利用時間を記憶する利用時間記憶手段を具備し、
    前記情報処理装置が検知した肌色の部位について前記生体認証サーバに認証を要求し、前記生体認証サーバが認証に成功すると前記演算資源を前記利用者に開放し、開放した時刻を前記課金サーバに通知する
    ことを特徴とする生体認証サーバの演算資源を時間貸しする生体認証システム。
11. 請求項１０記載の生体認証サーバの演算資源を時間貸しする生体認証システムにおいて、
    前記生体認証サーバが、前記利用者に該演算資源を開放すると、前記情報処理装置は、前記肌色の部位を利用者と認知して肌色の部位の位置と占有面積と色情報を保持して追跡を行い、前記利用者の操作が規定時間中断または前記イメージセンサの撮像情報中から前記利用者と認知された肌色の部位が消失すると、前記利用者が離席したとみなして前記演算資源をロックし、前記課金サーバに前記演算資源をロックした時刻を利用終了時刻として通知する
    ことを特徴とする生体認証サーバの演算資源を時間貸しする生体認証システム。
12. 利用者の撮像情報を出力するイメージセンサと、予め登録された前記利用者の顔の特徴データを格納する顔情報格納手段と、前記イメージセンサの撮像情報について肌色を検知する肌色検知手段と、前記イメージセンサの撮像情報について顔の構成要素を検索し特徴データを抽出し前記顔情報格納手段が保持する登録済み特徴データと比較し認証を行う生体認証手段と、前記肌色検知手段が示す撮像情報の部位に前記生体認証手段の認証結果を関連付けて追跡する追跡手段を具備する情報処理装置の生体認証プログラムであって、
    前記イメージセンサからの撮像情報を取り込むグラブ処理と、
    前記撮像情報から肌色の部分を検出する肌色検知処理と、
    前記撮像情報から顔の特徴を抽出して特徴データを肌色検知処理によって得られた顔情報と前記顔情報格納手段に登録された特徴データを比較して両者の一致を判定する認証処理と、
    一致が認証されたときに当該肌色部位を認証結果と関連付けて追跡する追跡処理と、
    当該肌色部位の追跡に失敗したときまたは当該肌色部位が撮像情報から外れたときに使用者が離席したと判定する離席判定処理とを前記情報処理装置に実行させる
    ことを特徴とする情報処理装置の生体認証プログラム。

Images