以下、本発明の実施の形態について、図面を用いて詳細に説明する。
(実施の形態1)
本発明の実施の形態1である顔認証装置について、図1を用いて説明する。図1は、本発明の実施の形態1における顔認証装置1を用いて構成した顔認証システムの概要を示す図である。
図1に示す顔認証システムは、顔認証によってマンション等の集合住宅の入室管理を行う集合住宅用入室管理システムを構成しており、入室管理の対象となるドアの近傍に設置され被写体の顔を含む領域を撮影しその撮影された顔画像があらかじめ登録された登録顔画像に合致するか否かを判断して顔認証する顔認証装置1と、顔認証装置1の近傍に設置され顔認証装置1による認証結果を表示し被写体が認証されなかった場合には被写体にパスワード情報の入力を指示するとともにパスワード情報の入力の受け付けを行う認証補助装置60と、集合住宅の各戸にそれぞれ設置されそれぞれが互いに異なる固有のアドレスを有する複数の端末装置100と、顔認証装置1と複数の端末装置100とが電子的に接続されるように顔認証装置1と端末装置100との間の電子データの受け渡しを補助するデータ送受信補助装置70と、顔認証装置1における認証結果を受けて入室管理の対象となるドアの開閉を制御するドア開閉制御装置80とを備えている。
顔認証装置1は、被写体が自身の顔画像を撮影するときに顔の位置をその反射画像によって確認するために用いられる誘導鏡13と、顔画像の撮影に必要な照明光を被写体に向けて照射する照明用LED12と、被写体の顔で反射された光を取り込むレンズ21とを備えている。そして、顔認証装置1は、被写体の顔を含む領域の画像、すなわち顔画像を撮影し、撮影した顔画像を用いて顔認証を行い被写体があらかじめ登録された者かどうかを判定する。
そして、顔認証装置1は、被写体があらかじめ登録された者であると判定した場合は、ドア開閉制御装置80にドアの開放を指示するとともに顔認証の結果を認証補助装置60に送信して表示する。また、被写体があらかじめ登録された者ではないと判定した場合は、認証の結果を認証補助装置60に送信して表示し、被写体に認証されなかったことを知らせるとともに、被写体にパスワード情報の入力を指示する。
そして、その認証補助装置60において受け付けられたパスワード情報とあらかじめ登録されている登録パスワード情報との比較を行い、入力されたパスワード情報が登録パスワード情報と一致した場合には、ドア開閉制御装置80にドアの開放を指示するとともにパスワード情報の照合の結果を認証補助装置60に送信して表示する。
また、入力されたパスワード情報が登録パスワード情報と一致しなかった場合には、ドア開閉制御装置80にドアの開放は指示せず、パスワード情報の照合の結果だけを認証補助装置60に送信して表示する。
また、本発明の実施の形態1における顔認証装置1は、撮影された顔画像および顔認証の判定結果に加え、パスワード情報の入力が行われた場合にはパスワード情報の照合結果をそのパスワード情報に対応する端末装置100に送信する。そして、そのパスワード情報に対応する端末装置100から登録顔画像の更新が指示された場合には登録顔画像の更新を行う。これら一連の動作の詳細については後述する。
認証補助装置60は、液晶ディスプレイパネルやEL等の文字や画像の表示が可能な一般に知られたディスプレイパネルからなる表示部61と、テンキーからなるキー部62とを備えている。そして、認証補助装置60は、顔認証装置1から送られてくる顔認証の結果等を表示部61に表示する。また、被写体が顔認証されなかった場合には、パスワード情報の入力が必要なことを表示部61に表示し、パスワードの入力を促す。被写体がパスワードをキー部62から入力すると認証補助装置60はそのパスワード情報を顔認証装置1に送信する。顔認証装置1では、あらかじめ登録されている登録パスワード情報と照合し、その結果を認証補助装置60に送り、表示部61に表示する。
そして、認証補助装置60は、パスワード情報の入力が必要な場合には、所定時間、例えば2分程度、パスワード情報が入力されるまで待機する。そして、その待機時間内にパスワード情報が入力されればその入力されたパスワード情報を受け付けて顔認証装置1に送信し、また、所定時間が経過してもパスワード情報が入力されない場合には、パスワード情報の照合エラーを表示部61に表示するとともに、パスワード情報が入力されなかったことを示す電子データを顔認証装置1に送信する。
また、認証補助装置60は、内部にマイクロフォンおよびスピーカー(図示せず)を備えており、一般に知られたインターホンとしての機能も有する。そして、キー部62に部屋番号を入力することで、入力された部屋番号に設置された端末装置100との間で音声信号のやり取りを行うことが可能である。なお、キー部62にテンキーに加え文字の入力が可能なキーを設け、文字によるパスワード入力ができるように構成してもよい。また、表示部61のディスプレイパネルを一般に知られたいわゆるタッチパネルにすることで、表示部61にキー部62を兼ねる構成とすることも可能である。
なお、被写体が顔認証装置1で撮影された自身の顔画像をその場で確認できるように、認証補助装置60に、顔認証装置1で撮影された顔画像を表示する構成としてもよい。
データ送受信補助装置70は、顔認証装置1と複数の端末装置100とを相互に電子的に接続するためのいわゆるルーター等の一般に知られた電子通信を補助する機器からなる。そして、顔認証装置1から送られてくるアドレスを識別し、そのアドレスを有する端末装置100にそのアドレスとともに送られてきた電子データを送信し、また、端末装置100から送られてくる顔認証装置1への電子データを識別し、顔認証装置1に送信する。なお、データ送受信補助装置70は、いわゆるサーバーとしての機能を有するコンピュータを備えた構成であってもよく、そのような構成であれば複数の顔認証装置1と複数の端末装置100とを相互に電子的に接続することも可能となる。
端末装置100は、液晶ディスプレイパネルやEL等の文字や画像の表示が可能な一般に知られたディスプレイパネルからなる表示部110と、複数のキーからなるキー部130とを備えている。また、端末装置100は、それぞれが互いに異なる固有のアドレスを有しており、集合住宅の各戸にそれぞれ1つずつ設置されている。そして、端末装置100は、顔認証装置1から送られてくる顔認証の結果や撮影された顔画像等を表示部110に表示する。
また、端末装置100は、登録顔画像の更新を顔認証装置1へ指示することが可能であり、キー部130において登録顔画像の更新を指示するキー操作が行われた場合には、端末装置100から顔認証装置1へ登録顔画像の更新を指示する電子データが送信される。なお、この登録顔画像の更新に関する動作の詳細については後述する。
また、端末装置100は、内部にマイクロフォンおよびスピーカー(図示せず)を備え、一般に知られたインターホンとしての機能も有しており、認証補助装置60との間で音声信号のやり取りを行うことが可能である。また、端末装置100から入室管理の対象となっているドアの開放を行うことが可能であり、キー部130においてドアの開放を指示するキー操作が行われた場合には、端末装置100から顔認証装置1を経由してドア開閉制御装置80へドアの開放を指示する電子データが送信される。
なお、端末装置100に設定されたアドレスは、いわゆるIPアドレス(Internet Protocol Address)や一般に用いられているメールアドレス等の、外部との接続が可能なインターネット等のネットワーク上で用いられるものであってもよいが、外部とは非接続である集合住宅内だけのネットワーク上でのみ使用が可能なもの、例えば部屋番号等であってもよく、あるいは、MACアドレス(Media Access Control Address)等の各装置に固有のアドレスであってもよい。
図2は、本発明の実施の形態1における顔認証装置1の電気的構成を示すブロック図である。図2に示すように、顔認証装置1は、被写体が自身の顔の位置を確認するために用いられる誘導鏡13と、被写体を照明する照明部10と、被写体の顔画像を撮影する撮影部20と、撮影部20で撮影された顔画像を用いて認証処理等のデータ処理を行うデータ処理部40と、外部と電子データのやり取りを行うデータ送受信部50とを備えている。
照明部10は、発光ダイオード等の公知の発光素子からなる照明用LED12と照明用LED12の照明制御を行う照明制御部11とから構成され、照明用LED12は、顔画像取得に適した光量の照明光を被写体の少なくとも顔を含む領域に向けて照射する。なお、照明部10の有する発光素子は、発光ダイオード以外に、例えば白熱灯、蛍光灯、水銀灯、ハロゲン灯、メタルハライドランプ、HID灯(高輝度放電灯)、その他どのような光源であってもかまわない。
撮影部20は、一般に用いられている固定焦点レンズで構成されたレンズ21と、CCD等の公知の素子で構成された撮像素子22と、前処理部23と、撮影された画像の画質を判断する画質判断部32と、撮影された画像内に顔が適切な位置に適切な大きさで配置されているかどうかを検出する顔検出部33と、撮影された顔画像を認証用の顔画像として取得する認証画像取得部34とを備えている。
照明用LED12から発せられた照明光は被写体の顔等で反射され、その反射光はレンズ21を通して撮像素子22に入力される。入力された入射光は撮像素子22で光電変換され、電気信号として前処理部23に入力される。前処理部23では、撮像素子22より入力された電気信号から画像信号成分を取り出してゲイン調整等、画像信号として必要な処理を行った上で画質判断部32および認証画像取得部34に出力する。画質判断部32では、コントラストやフォーカス等に関する画質判定を行い、また、顔検出部33では、前処理部23から出力された顔画像の信号の中から顔の位置および顔の大きさを検出しそれらが適切かどうかを判断する。顔画像の信号の中から顔の位置および顔の大きさを検出する方法としては、テンプレートマッチングを用いる方法等の一般に知られた技術を使用することができる。認証画像取得部34は、画質判断部32および顔検出部33から結果を表す信号を受け、画質が適切であり、かつ顔が適切な位置に適切な大きさで写っていると判断された場合に前処理部23から出力された顔画像の信号を取り込み、それを認証用の顔画像としてデータ処理部40に出力する。
データ処理部40は、撮影された顔画像を用いて顔認証を行う認証処理部41と、登録顔画像の更新を行う更新部42と、複数の登録顔画像が記録された記録部43と、パスワード情報の照合を行うパスワード照合部44とを備えている。
記録部43は、磁気的または光学的に電子データを記録することが可能なハードディスクや光ディスク、または半導体メモリー等の一般に知られた記録装置からなり、あらかじめ登録された登録顔画像を記録する。また、登録顔画像には端末装置100のアドレスとあらかじめ登録された登録パスワード情報とが関連付けられており、記録部43はそれらを併せて記録している。また、記録部43では、撮影された顔画像、顔認証の結果、顔画像が撮影された日時の情報、あるいはパスワード情報の照合の結果等を上記のアドレスに関連付けて一時保存することができ、一時保存されたそれらの電子データは送信部51から読み出すことが可能である。また、記録部43では、更新部42からの指示にもとづき、すでに記録されている登録顔画像を、一時保存されている撮影された顔画像に置き換えて更新することも可能である。
また、記録部43では、一時保存された顔画像に対し更新の指示がなされる前に新たに顔画像が撮影された場合には、その新たに撮影された顔画像をそれまでの顔画像と置き換えて一時保存する。こうすることで、最新の顔画像を更新用の顔画像として用いることができるようになる。
認証処理部41は、撮影部20から出力される認証用の顔画像から顔領域の画像を切り出し、顔の特徴にもとづいた認証情報を作成する。そして、記録部43に記録された登録顔画像とその認証情報とを比較してそれぞれ類似度を算出し、算出された類似度の中の最も高い類似度とあらかじめ設定された認証用しきい値とを比較して、被写体が登録者であるか否かの判断を行う。この類似度の算出に関しては、例えば、Eigenface法(固有顔法)等の主成分分析にもとづく方法を用いることができる。このEigenface法では、まず、M枚の顔画像の濃淡値ベクトル(N次元)の集合に対して主成分分析を行い、固有値と正規直交基底を求める。次に、固有値の大きい方からK個(K<M、N)の基底を用いて部分空間を作る。そして、登録画像と認証用に撮影された顔画像との濃淡値ベクトルをそれぞれ部分空間に射影し、2つのベクトル間のマハラノビス距離を求める。このマハラノビス距離を認証用しきい値と比較し、マハラノビス距離がしきい値よりも小さい場合は被写体をあらかじめ登録された者であるとし、マハラノビス距離がしきい値以上の場合は被写体はあらかじめ登録された者ではないとして、認証処理を行う。このEigenface法を用いた場合には、算出されたマハラノビス距離が小さいほど類似度が高いと判断する。
そして、算出された最も高い類似度(Eigenface法を用いた場合には最も小さいマハラノビス距離)が認証用しきい値よりも大きければ(Eigenface法を用いた場合には認証用しきい値よりも小さければ)、その最も高い類似度の算出に用いられた登録顔画像と撮影された顔画像とが合致したと判断し、被写体をあらかじめ登録された者として認証する。そして、ドア開閉制御装置80へのドアの開放を送信部51を介して指示するとともに、被写体が認証されたことを表す表示をパスワード照合部44を介して認証補助装置60に指示する。
また、算出された最も高い類似度(Eigenface法を用いた場合には最も小さいマハラノビス距離)が認証用しきい値以下(Eigenface法を用いた場合には認証用しきい値以上)であれば、撮影された顔画像に合致する登録顔画像は無いと判断し、パスワード照合部44にパスワード情報の照合を行うよう指示する。なお、撮影された顔画像に合致する登録顔画像が無いと判断された場合に、顔画像の再撮影と登録顔画像との比較を顔認証されるまで繰り返し、その繰り返しが所定の回数(例えば5回程度)に達しても顔認証されない場合にパスワード照合部44にパスワード情報の照合を行うよう指示する構成としてもよい。
また、認証処理部41は、最も高い類似度の算出に用いられた登録顔画像に関連付けられたアドレスと、撮影された顔画像、顔認証の結果、顔画像が撮影された日時の情報、あるいはパスワード情報の照合の結果等とを関連付けて記録部43に一時保存させる。
パスワード照合部44は、認証処理部41から送られてくるパスワード情報の照合の指示を受け、パスワード照合を行う。パスワード照合では、まず、認証補助装置60に、被写体が認証されなかったことを示す表示およびパスワード情報の入力を指示する表示を表示させる。そして、認証補助装置60にパスワード情報が入力されその入力されたパスワード情報が認証補助装置60から送信されてくるまでの間に、最も高い類似度の算出に用いられた登録顔画像に関連付けられた登録パスワード情報を記録部43から読み出す。そして、認証補助装置60からパスワード情報が送信されてきたら、その送信されてきたパスワード情報と記録部43から読み出した登録パスワード情報とを比較してパスワード照合を行う。そして、それらが互いに一致すれば、パスワード情報が照合されたとしてパスワード情報が照合されたことを表す表示を認証補助装置60に表示させ、送信部51を介してドア開閉制御装置80へドアの開放を指示する。また、それらが互いに一致しない場合、または、認証補助装置60からパスワード情報の入力がなされなかったことを示す電子データを受け取った場合には、パスワード情報が照合されなかったことを示す表示を認証補助装置60に表示させて、顔認証の処理を終了させる。
更新部42は、端末装置100から登録顔画像の更新に関する指示を受信した場合に、記録部43にそれまでの記録されていた登録顔画像を、記録部43に一時保存されている顔画像に置き換えて更新する。このとき、記録部43には登録顔画像と端末装置100のアドレスとが関連付けられて記録され、かつ撮影された顔画像と端末装置100のアドレスとが関連付けられて一時保存されているので、更新部42では、更新に関する指示を送信してきた端末装置100のアドレスにもとづき、記録部43に記録されている登録顔画像および記録部43に一時保存されている顔画像を特定し、登録顔画像の更新を行う。なお、登録顔画像の更新後、登録顔画像が更新されたことを知らせる内容の電子データをそのアドレス宛に返信する構成としてもよい。
データ送受信部50は、認証処理部41における顔認証の結果等を外部に送信する送信部51と、端末装置100から顔認証装置1へ送信されてくる電子データを受信する受信部52と、電子データを送受信するためのインターフェースを行うインターフェース部53とを備えている。
送信部51は、認証処理部41において被写体が顔認証された場合、またはパスワード照合部44においてパスワード情報が照合された場合に、ドア開閉制御装置80にドアの開放を指示する電子データを送信する。また、送信部51は、記録部43に一時保存された、撮影された顔画像、顔認証の結果、顔画像が撮影された日時の情報、あるいはパスワード情報の照合の結果等を読み出し、読み出したそれらの電子データを、最も高い類似度の算出に用いられた登録顔画像に関連付けられたアドレス宛に、インターフェース部53を介して送信する。
インターフェース部53は、所定のネットワークプロトコル(ネットワークを介して通信される電子データを送信するときの手順を定めたもの)でデータの送受信を行うための機能を有している。そして、送信部51または受信部52から所定の端末装置100に送信される電子データを所定のネットワークプロトコルでデータ送信し、また、端末装置100から顔認証装置1に所定のネットワークプロトコルでデータ送信されてきたものを受信して受信部52に出力する。このネットワークプロトコルは、TCP/IP等の一般に知られたプロトコルであってもよく、あるいは独自に定めたプロトコルであってもかまわない。
受信部52は、端末装置100から送信されてきた電子データを受信する。そして、その電子データが、登録顔画像の更新に関するものであれば更新部42に送信し、その電子データがドア開閉制御装置80へのドア開放の指示であれば、ドア開閉制御装置80へドアの開放を指示し、その電子データが音声データであれば認証補助装置60へ送信して認証補助装置60が有するスピーカーからその音声データによる音声が発せられるようにする。また、受信部52では、認証補助装置60から部屋番号に関するデータを受信した場合には、認証補助装置60から送信されてくる音声データをその部屋番号の部屋に設置された端末装置100にインターフェース部53を介して送信する。これにより、認証補助装置60において指定された部屋番号の部屋に設置された端末装置100と認証補助装置60との間で双方向の通話を行うこと、すなわちインターホンとしての使用が可能となる。
このように、本発明の実施の形態1における顔認証装置1では、被写体の顔画像を撮影し、撮影された顔画像を登録顔画像と照合して、被写体があらかじめ登録された者か否かの認証を行う。また、照合に用いられた登録顔画像に関連付けられたアドレス宛に撮影された顔画像や顔認証の結果等を送信し、端末装置100からの指示にもとづいて、登録顔画像の更新を行う。
なお、照明制御部11、レンズ21および撮像素子22を除く撮影部20、記録部43を除くデータ処理部40およびデータ送受信部50の機能は、それぞれがハードウェアで実現されていてもよいし、それぞれの機能がソフトウェアで実現可能に記述され、演算装置等で実行される構成であってもよい。それぞれの機能がソフトウェアによって実現されている場合には、上記の各機能ブロックを実現するプログラムを演算装置にロードしたコンピュータを用いて顔認証装置1を構成することが可能となる。
なお、記録部43においては、一時保存された顔画像に対し更新の指示がなされる前に新たに顔画像が撮影された場合には、その新たに撮影された顔画像をそれまでの顔画像と置き換えて一時保存する構成を説明したが、例えば、所定の枚数、例えば3枚、の顔画像を一時保存するようにし、新たに撮影された顔画像を最も古い顔画像に置き換えて一時保存する構成としてもよい。この場合には、端末装置100にその所定の枚数の顔画像を全て送信し、端末装置100からはそのうちの1枚を指定して更新の指示を行うといったことが可能となるので、最も写りのよい顔画像を更新用の顔画像として指定することができるようになる。
また、記録部43において撮影された顔画像等を一時保存するとき、撮影された顔画像を識別するための固有のデータを添付して一時保存する構成としてもよい。この固有のデータとしては、例えば、顔画像が撮影された日時にもとづく数字、すなわち2005年5月30日15時37分12秒に撮影された顔画像であれば20050530153712とする、等を挙げることができる。このように、撮影された顔画像に固有のデータを添付して一時保存し、かつ端末装置100にもその固有のデータを添付して送信する構成とすれば、端末装置100から顔認証装置1へ登録画像の更新の指示を送信する際、その固有のデータを指定するだけで一時保存されている顔画像のうちのどの顔画像を更新用に用いるのかを容易に特定することができるようになる。
また、顔認証装置1は、管理者等の確認用として使用される別の表示装置を備えた構成としてもよい。管理者等の確認用の表示装置を設ける場合は、顔認証装置1から離れたところに設置できるようにすることが望ましい。
また、本実施の形態においては、顔認証装置1に誘導鏡13を用いた構成を説明したが、誘導鏡13は構成要件として必ずしも必要なものではなく、誘導鏡13を用いずに構成することも可能である。
図3は、本発明の実施の形態1における端末装置100の電気的構成を示すブロック図である。図3に示すように、端末装置100は、画像の表示が可能な表示部110と、信号処理を行う処理部120と、複数のキーを備えたキー部130と、キー部130への操作を受け付ける入力受け付け部140と、顔認証装置1とのデータのやり取りを行うデータ送受信部150と、記録部160とを備えている。
表示部110は、液晶ディスプレイパネルやEL等の文字や画像の表示が可能な一般に知られたディスプレイパネルからなり、顔認証装置1から送信されてくる顔認証の結果、顔認証装置1で撮影された被写体の顔画像等を表示する。
キー部130は、複数のキーを備えており、顔認証装置1へ登録顔画像の更新を指示するキー操作、ドア開閉制御装置80へドアの開放を指示するキー操作、記録部160に記録された電子データを読み出して表示部110に表示させるキー操作等が可能である。このとき、端末装置100において可能な操作数分のキーをキー部130に設け、1つのキーに1つの操作を割り当てる構成としてもよいが、表示部110に操作可能な項目を示したメニューを表示させ、そのメニューの中から所望の操作を選択する構成であってもよい。この構成の場合、表示部110のディスプレイパネルを一般に知られたいわゆるタッチパネルにすることで、表示部110にキー部130を兼ねる構成とすることも可能である。
入力受け付け部140は、キー部130において行われた入力操作を受け付け、その操作内容にもとづき適切な電子データを出力する。キー部130において、顔認証装置1への登録顔画像の更新を指示するキー操作が行われた場合には顔認証装置1への登録顔画像の更新を指示する電子データを送信部151に出力し、ドア開閉制御装置80へのドアの開放を指示するキー操作が行われた場合にはドア開閉制御装置80へのドアの開放を指示する電子データを送信部151に出力する。また、記録部160に記録された顔画像を表示するキー操作が行われた場合には記録部160に記録された顔画像を表示部110に表示させることを指示する電子データを処理部120に出力する。
記録部160は、磁気的または光学的に電子データを記録することが可能なハードディスクや光ディスク、または半導体メモリー等の一般に知られた記録装置からなり、顔認証装置1から送信されてくる顔認証装置1で撮影された被写体の顔画像およびそれに付随して送信されてくる顔認証の結果や顔画像の撮影日時等の電子データを記録する。そして、それらの電子データは処理部120から読み出すことが可能である。また、記録部160は、その端末装置100に割り当てられた固有のアドレスも記録している。
処理部120は、画像の電子データを画像信号にして表示部110に表示させるための信号処理、音声の電子データを音声信号にしてスピーカー(図示せず)から発生させるための信号処理、マイクロフォン(図示せず)から収音された音声信号を音声の電子データにするための信号処理等を行う。また、入力受け付け部140から記録部160に記録された顔画像を表示部110に表示することを指示する電子データが送られてきた場合には、記録部160に記録された顔画像等の電子データを読み出して表示部110に表示させる。
データ送受信部150は、キー部130におけるキー操作の結果等を外部に送信する送信部151と、顔認証装置1から端末装置100へ送信されてくる電子データを受信する受信部152と、電子データを送受信するためのインターフェースを行うインターフェース部153とを備えている。
送信部151は、入力受け付け部140から出力されてくる、キー部130において行われた入力操作にもとづく電子データを、インターフェース部153を介して外部に出力する。例えば、キー部130において、登録顔画像の更新を指示するキー操作が行われた場合には登録顔画像の更新を指示する電子データを、ドア開閉制御装置80へのドアの開放を指示するキー操作が行われた場合にはドアの開放を指示する電子データを、インターフェース部153を介して顔認証装置1へ送信する。また、送信部151では、これらの電子データを送信する際に、どの端末装置100から送信されたデータかを判別できるように、その端末装置100に割り当てられた固有のアドレスを記録部160から読み出して送信データに添付する。また、送信部151では、マイクロフォン(図示せず)から処理部120を介して得られた音声データを顔認証装置1にインターフェース部153を介して送信することも可能である。
インターフェース部153は、所定のネットワークプロトコルでデータの送受信を行うための機能を有している。そして、送信部151から顔認証装置1へ送信される電子データを所定のネットワークプロトコルでデータ送信し、また、顔認証装置1から端末装置100に所定のネットワークプロトコルでデータ送信されてきたものを受信して受信部152に出力する。このネットワークプロトコルは、TCP/IP等の一般に知られたプロトコルであってもよく、あるいは独自に定めたプロトコルであってもかまわない。
受信部152は、顔認証装置1から送信されてきた電子データを受信し、その電子データが顔画像に関するものであれば、記録部160に記録するとともに処理部120を介して表示部110に表示する。また、その電子データが音声データであれば処理部120を介してスピーカー(図示せず)からその音声データによる音声が発せられるようにする。送信部151からは、マイクロフォン(図示せず)で得られた音声データを顔認証装置1に送信できるので、これにより、顔認証装置1(認証補助装置60)と端末装置100との間で双方向の通話を行うこと、すなわちインターホンとしての使用が可能となる。
このように、本発明の実施の形態1における端末装置100では、マンション等の集合住宅の入室管理を行う通常の集合住宅用入室管理システムと同様のインターホンや入室管理の対象となるドアの開放等の機能に加え、顔認証装置1において撮影され顔認証装置1から送信されてくる被写体の顔画像および顔認証の結果等の表示とともに、顔認証装置1に記録されている登録顔画像を撮影された顔画像に更新する指示を行うことができる。
なお、入力受け付け部140、処理部120、データ送受信部150の機能は、それぞれがハードウェアで実現されていてもよいし、それぞれの機能がソフトウェアで実現可能に記述され、演算装置等で実行される構成であってもよい。それぞれの機能がソフトウェアによって実現されている場合には、上記の各機能ブロックを実現するプログラムを演算装置にロードしたコンピュータを用いて端末装置100を構成することが可能となる。
次に、顔認証装置1の認証処理の動作についてフローチャートを用いて説明する。
図4は、本発明の実施の形態1における顔認証装置1の認証処理の動作を示すフローチャートである。まず、被写体が顔認証装置1の前に顔を配置して誘導鏡13を見ながら顔の位置合わせを行った後、認証開始の指示を入力する等して認証動作を開始させる(S11)。すると撮影部20が被写体の顔画像を撮影する(S12)。画質判断部32は取得した顔画像のフォーカス、輝度、コントラスト等の画質が適切であるかを判定し、適切でない場合には被写体に対する指示等必要な処理を行い、再度顔画像を取り込む(S13)。取得した顔画像が適切な画質の場合には、顔検出部33はその顔画像から顔の位置とその大きさを検出する。そして、検出された顔の位置およびその大きさが認証処理に適しているか否かを判断し、適切でないと判断した場合には被写体に対する指示等必要な処理を行い、再度顔画像を取り込む(S14)。
認証画像取得部34は、顔検出部33が認証処理に適していると判断した顔画像については、それを認証用の顔画像として認証処理部41に出力し、認証処理部41はその顔画像が撮影された日時に関する情報と併せてその顔画像を記録部43に一時保存する(S20)。認証処理部41では、その顔画像から顔領域の画像を切り出し、顔の特徴にもとづいた認証情報を作成する。そして、記録部43に記録された登録顔画像とその認証情報とを比較してそれぞれ類似度を算出し(S21)、算出された類似度のうち最も高い類似度の算出に用いられた登録顔画像を選択する(S22)。
認証処理部41は、算出された最も高い類似度の値とあらかじめ設定された認証用しきい値とを比較することによって認証動作を実行する(S23)。算出された最も高い類似度の値が認証用しきい値よりも大きければ、その最も高い類似度の算出に用いられた登録顔画像と撮影された顔画像とが合致したと判断し、被写体をあらかじめ登録された者として認証する。そして、送信部51を介してドア開閉制御装置80にドアの開放を指示するとともに、被写体が認証されたことを表す表示を認証補助装置60に表示させる(S40)。また、算出された最も高い類似度の値が認証用しきい値以下であれば、認証処理部41は、撮影された顔画像に合致する登録顔画像は無いと判断し、パスワード照合部44にパスワード情報の照合を行うよう指示する(S31)。
パスワード照合部44では、認証処理部41から送られてくるパスワード情報の照合の指示を受け、パスワード照合を開始する。パスワード照合では、まず、認証補助装置60に、被写体が認証されなかったことを示す表示およびパスワード情報の入力を指示する表示を表示させる。そして、認証補助装置60において入力されたパスワード情報が認証補助装置60から送信されてくるまでの間に、最も高い類似度の算出に用いられた登録顔画像に関連付けられた登録パスワード情報を記録部43から読み出す(S32)。そして、認証補助装置60から送信されてきたパスワード情報と、記録部43から読み出した登録パスワード情報とを比較してパスワード照合を行う(S33)。そして、それらが互いに一致すれば、パスワード情報が照合されたとしてパスワード情報が照合されたことを表す表示を認証補助装置60に表示させ、送信部51を介してドア開閉制御装置80へドアの開放を指示する(S40)。また、それらが互いに一致しない場合、または、認証補助装置60からパスワード情報の入力がなされなかったことを示す電子データを受け取った場合には、パスワード情報が照合されなかったことを示す表示を認証補助装置60に表示させて、パスワード照合を終了させる(S34)。
また、認証処理部41は、ステップS20において記録部43に一時保存された顔画像に関連付けて、最も高い類似度の算出に用いられた登録顔画像に関連付けられたアドレス、顔認証の結果、あるいはパスワード照合の結果等を記録部43に一時保存させる。そして、そのアドレス宛に、撮影された顔画像、顔認証の結果、その顔画像が撮影された日時に関する情報、パスワード照合の結果等を送信して(S50)、認証の処理を終了する。
次に、パスワード照合の際の認証補助装置60の動作についてフローチャートを用いて説明する。
図5は、本発明の実施の形態1における認証補助装置60のパスワード照合の際の動作を示すフローチャートである。
図4のステップS31においてパスワード照合の指示があり、パスワード照合部44から送信されてくる被写体が認証されなかったことを示す表示およびパスワード情報の入力を指示する表示の指示を認証補助装置60が受け付けたら(S71)、認証補助装置60は、表示部61に、被写体が顔認証されなかったことを示す表示を表示し(S72)、パスワード情報の入力を指示する表示を表示する(S73)。そして、キー部62へのキー操作によってパスワード情報としてのパスワードが入力されるまで待機する(S74)。そして、その待機時間をカウントし(S81)、待機時間が所定時間(例えば2分間)に達したら、パスワード情報の入力が行われなかったと判断し、パスワード情報の入力が行われなかったことを示す電子データを顔認証装置1に送信するとともにパスワード情報の照合エラーを表示部61に表示して(S82)、処理を終了する。待機時間内にキー部62にパスワード情報の入力がなされれば、入力されたパスワード情報を受け付け(S75)、その受け付けたパスワード情報を顔認証装置1に送信する(S76)。そして、顔認証装置1から送信されてくる図4のステップS34、S40における照合結果を受信し(S77)、その照合結果を表示部61に表示して(S78)、処理を終了する。
次に、顔認証装置1の登録顔画像の更新処理の動作についてフローチャートを用いて説明する。
図6は、本発明の実施の形態1における顔認証装置1の登録顔画像の更新処理の動作を示すフローチャートである。更新部42は、端末装置100から送信されてきた登録顔画像の更新に関する指示を受け付けたら(S61)、受信した電子データの中からその電子データを送信してきた端末装置100のアドレスを検出する(S62)。そして、そのアドレスにもとづき記録部43に記録されている登録顔画像を検索し、更新の対象となる登録顔画像を特定する(S63)。また、そのアドレスにもとづき記録部43に一時保存されている顔画像を検索し、更新用の顔画像を特定する(S64)。そして、更新の対象となる登録顔画像を更新用の顔画像と置き換えて登録顔画像を更新する(S65)。登録顔画像の更新後、登録顔画像が更新されたことを知らせる内容の電子データをそのアドレス宛に返信して(S66)、登録顔画像の更新処理を終了する。
以上述べたように、本発明の実施の形態1における顔認証装置1においては、被写体の顔画像を撮影し、撮影された顔画像を登録顔画像と照合して被写体があらかじめ登録された者か否かの認証を行うだけでなく、照合に用いられた登録顔画像に関連付けられたアドレス宛に、撮影された顔画像や顔認証の結果等を送信し、端末装置100からの指示にもとづいて登録顔画像の更新を行うことができるようになっている。
したがって、例えばこの顔認証装置1を用いた顔認証システムによってマンション等の集合住宅の入室管理を行う集合住宅用入室管理システムを構成した場合に、住人は、撮影された顔画像を自室の端末装置100で確認するとともに、登録顔画像を更新する指示を顔認証装置1に送信することができるようになるので、常に最新の顔画像に更新することができ、加齢による顔の変化等によって顔認証がなされにくくなることを防止することができるようになる。
また、顔認証がなされなかった場合でもパスワード照合によって入室管理対象のドアを開放させることができるので、利便性の低下も防止できる。さらに、他人によって不正に顔認証がなされた場合でも、そのときに撮影された顔画像を自室の端末装置100で確認することができるのでセキュリティを向上させることができ、また、登録顔画像の更新の指示が自室の端末装置100からであるため、不正に登録顔画像が更新される恐れを低減することができる。
なお、本発明の実施の形態1においては、顔認証装置1への認証の開始指示については特に規定していないが、例えば顔認証装置1の撮影部20において連続して画像を取得できるように構成し、顔検出部33が撮影された画像内に顔を検出した時点で顔認証を開始する構成としてもよい。あるいは、認証補助装置60のキー部62へのキー操作によって顔認証を開始する構成としてもよい。このとき、キー部62に顔認証開始を指示するためのキーを設けてもよく、部屋番号の入力によって顔認証を開始する構成としてもよい。また、部屋番号の入力によって顔認証を開始する構成であれば、あらかじめ登録顔画像と部屋番号とを関連付けて記録し、入力された部屋番号に関連付けられた登録顔画像だけを照合の対象とするように構成することで、全ての登録顔画像を照合の対象とした場合と比べて顔認証にかかる処理を軽くすることが可能となる。また、入力された部屋番号の部屋に設置された端末装置100に撮影された顔画像や認証の結果を送信する構成にすれば、顔認証されず、パスワード照合もされなかった被写体の顔画像をその部屋の住人が確認できるようになるので、さらにセキュリティを向上させることが可能となる。
また、本発明の実施の形態1においては、顔認証装置1において顔認証がなされる毎にそのときに撮影された顔画像を顔認証装置1から端末装置100に送信する構成を説明したが、何等この構成に限定するものではなく、例えば、端末装置100から顔認証装置1へ、未送信の電子データを送信するように指示を出し、顔認証装置1はその指示を受けた後、撮影された顔画像や認証結果等の電子データのうち送信元のアドレスに関連する未送信の電子データを検索し、未送信の電子データがあれば、それを送信元の端末装置100に送信する構成としてもよい。
また、本発明の実施の形態1において顔認証装置1は、認証処理部41における顔認証の際に類似度の値と認証用しきい値との差を求め、その差の値を顔画像と併せて端末装置100に送信する構成としてもよい。これにより、撮影された顔画像が顔認証された場合であっても、認証用しきい値に対して余裕をもって顔認証されたのかどうかが判断でき、登録顔画像の更新の判断をより適切に行うことができるようになる。また、類似度の値と認証用しきい値との差だけに限らず、算出された類似度の値そのものを送信する構成であってもかまわない。
また、本発明の実施の形態においては、パスワード照合の際に認証補助装置60のキー部62の操作によって入力されるパスワードを用いる構成を説明したが、何等この構成に限定するものではなく、例えば、RAMに代表される半導体メモリーや磁気テープに代表される磁気的記録手段等の記録部を内蔵したカード、いわゆるIDカードにパスワード情報として個人認証情報を記録するとともに、登録パスワード情報として上記の個人認証情報を記録部43に記録し、そのIDカードから個人認証情報を読み出す手段を認証補助装置60に設け、被写体が自身の有するIDカードから個人認証情報を認証補助装置60に読み取らせてパスワード照合を行う構成であってもよい。あるいは、鍵の形状をパスワード情報として用いる構成とし、認証補助装置60に鍵穴を設けるとともにその鍵穴に挿入された鍵があらかじめ登録された鍵か否かを判断する判断部を設け、被写体が自身の有する鍵を認証補助装置60の鍵穴に挿入することでパスワード照合の代わりとする構成であってもよい。