JP2014126942A - 対象検出装置 - Google Patents

Abstract

【課題】画像内に検出対象が写っていると誤って判定することを抑制することができる対象検出装置を提供する。
【解決手段】対象検出装置１は、入力画像を取得する画像取得部１０と、入力画像から動物体領域を抽出する動物体領域抽出４１と、入力画像から物体領域を検出する物体領域検出手段４２と、入力画像から物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段４３と、識別領域から検出対象らしさを表す特徴量を算出しその特徴量を用いてその識別領域に検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、その評価値を用いて入力画像に検出対象が含まれるか否かを判定する判定手段４４と、を有し、判定手段は、識別領域に対するその識別領域と動物体領域の重複率が低いほど入力画像に検出対象が含まれると判定しにくくする。
【選択図】図４

Description

本発明は、入力された画像から検出対象を検出する対象検出装置に関する。

従来、画像から特定の検出対象を検出する技術が研究されている。例えば、非特許文献１には、機械学習により生成した識別器を用いて画像から検出対象を検出するシステムが開示されている。このシステムでは、正解画像と非正解画像を用いて、アダブースト（Adaboost）学習アルゴリズムにより、検出対象の識別に用いる特徴を決定し、識別器を事前学習させる。

Rapid Object Detection Using a Boosted Cascade of Simple Features, P.Viola & M.Jones（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）

非特許文献１に開示されたシステムは、精度よく検出対象を検出することができる。しかしながら、非特許文献１に開示されたシステムは、画像内に、検出対象の識別に用いる特徴と同様の特徴を有する物体が写っている場合、検出対象が写っていないにも関わらず、検出対象が写っていると誤って判定してしまう場合がある。

本発明の目的は、画像内に検出対象が写っていると誤って判定することを抑制することができる対象検出装置を提供することにある。

かかる課題を解決するための本発明は、対象検出装置を提供する。係る対象検出装置は、所定の撮影領域を撮影した入力画像を取得する画像取得部と、入力画像から動物体を表す動物体領域を抽出する動物体領域抽出手段と、入力画像から所定の物体を含む物体領域を検出する物体領域検出手段と、入力画像から物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段と、識別領域から検出対象らしさを表す特徴量を算出しその特徴量を用いてその識別領域に検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、その評価値を用いて入力画像に検出対象が含まれるか否かを判定する判定手段と、を有し、判定手段は、識別領域に対するその識別領域と動物体領域が重複している領域の比率である重複率が低いほど入力画像に検出対象が含まれると判定しにくくする。

また、本発明に係る対象検出装置において、判定手段は、重複率が低いほど、特徴量を検出対象らしくないことを表すように補正することにより、入力画像に検出対象が含まれると判定しにくくすることが好ましい。

さらに、本発明に係る対象検出装置において、判定手段は、識別領域から、その識別領域と所定の位置関係にある部分領域を複数特定し、その部分領域のそれぞれについて、特徴量及び重複率を算出し、その重複率が低いほど、その特徴量を検出対象らしくないことを表すように補正することが好ましい。

または、本発明に係る対象検出装置において、判定手段は、重複率が低いほど、評価値を検出対象が含まれていないことを表すように補正することにより、入力画像に検出対象が含まれると判定しにくくすることが好ましい。

さらに、本発明に係る対象検出装置において、判定手段は、識別領域から、その識別領域と所定の位置関係にある部分領域を複数特定し、その部分領域のそれぞれについて、評価値及び重複率を算出し、その重複率が低いほど、その評価値を検出対象が含まれていないことを表すように補正することが好ましい。

また、本発明に係る対象検出装置において、判定手段は、重複率が半分より低い所定値以下である場合に限り、その重複率が低いほど入力画像に検出対象が含まれると判定しにくくすることが好ましい。

また、本発明に係る対象検出装置において、識別領域抽出手段は、識別領域をそれぞれサイズが異なるように複数抽出し、判定手段は、複数の識別領域のそれぞれについて、評価値を算出し、その評価値を用いて入力画像に検出対象が含まれるか否かを表す度合いを算出し、複数の識別領域のうち、度合いの大きさが最も大きい識別領域を用いて、入力画像に検出対象が含まれるか否かを判定することが好ましい。

本発明に係る対象検出装置は、検出対象の識別に用いる特徴と同様の特徴を有する物体が写っている場合、検出対象が写っていないにもかかわらず、画像内に検出対象が写っていると誤って判定することを抑制することができるという効果を奏する。

（ａ）及び（ｂ）は、本発明を適用した顔画像認証装置に接続される撮像装置の設置例を表す模式図である。 （ａ）及び（ｂ）は、撮像装置が撮影した入力画像から人物の顔の周辺を含む領域を抽出した画像の例を示す模式図である。 確率密度関数のグラフの例を示す模式図である。 本発明を適用した出入管理システムの概略構成図である。 重複率と補正係数の関係の一例を表すグラフを示す模式図である。 （ａ）、（ｂ）、（ｃ）、（ｄ）及び（ｅ）は、部分領域と動物体領域の関係の一例を表す模式図である。 本発明による顔画像認証装置の動作の例を示すフローチャートである。 画像処理部により実行される不正行為判定処理の動作の例を示すフローチャートである。

以下、本発明にかかる対象検出装置を出入管理システムに適用した場合の一実施形態である顔画像認証装置について図を参照しつつ説明する。
従来、予め登録している顔画像に基づいて人物を認証する顔画像認証装置に対して、登録されていない未登録者が、予め登録された登録者の顔写真または登録顔画像を引き延ばして印刷した紙を自分の顔の前に掲げることにより、登録者と判定されようとする不正行為が行われる問題がある。この問題に対して、例えば、検出対象を顔写真とし、検出対象を識別する特徴を画像内において写真枠により顔の周囲に生じる直線成分として、非特許文献１に開示されたシステムを適用することにより、不正行為を検出することができる。しかし、画像内の顔の周囲に、写真枠と同様に直線成分を有する窓、柱、壁の模様等が写っている場合、顔写真が写っていないにも関わらず顔写真が写っていると誤って判定されるおそれがある。
そこで、本発明にかかる対象検出装置は、人物を撮影した入力画像から動物体を表す動物体領域を抽出する一方で、入力画像において人物の顔を含む領域と特定の位置関係にある識別領域を抽出して、識別領域について顔写真らしさを表す特徴量を算出する。
さらに対象検出装置は、識別領域に対する識別領域と動物体領域が重複している領域の比率が低いほど、その算出した特徴量を顔写真らしくないことを表すように補正して、補正した特徴量を用いて入力画像に顔写真が含まれるか否かを判定する。
これにより、対象検出装置は、入力画像に顔写真を掲げていない人物が写っており、且つその人物の顔の周囲に静止物体である窓、柱、壁の模様等が写っている場合に、窓、柱、壁の模様等による直線成分を写真枠と誤って判定し、窓、柱、壁の模様等で囲われた領域を顔写真と誤って検出することの抑制を図る。

図１（ａ）及び図１（ｂ）は、本発明にかかる対象検出装置を適用した例として、部屋の入口の出入を管理する顔画像認証装置１に接続される撮像装置２の設置例を模式的に示している。以下、撮像装置２が撮影する撮影領域の状態について説明する。図１（ａ）及び図１（ｂ）に示すように、顔画像認証装置１は、電気錠制御装置３を介して不図示の電気錠を制御することにより部屋の入口１０１の出入を管理する。撮像装置２は、入口１０１に通じる通路を撮影領域として撮影できるように入口１０１の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像装置２は、進行方向１０２に沿って入口１０１に向かう人物を撮像することができる。
図１（ａ）は、撮像装置２が、入口１０１に向かう人物１１０を撮影する様子を示し、図１（ｂ）は、撮像装置２が、入口１０１に向かう人物１２０を撮影する様子を示している。この人物１２０は、顔画像認証装置１に登録されていない未登録者であり、顔画像認証装置１に予め登録されている登録者の顔写真１２１を自分の顔の前に掲げている。つまり、この人物１２０は、自分の顔の代わりに、登録者の顔写真１２１を撮像装置２に撮影させて、登録者の顔写真１２１により認証を受けようとする不正行為を行っている。このような人物の顔が写っている写真又はディスプレイ（以下、顔写真等と称する）を用いた不正行為を以下では写真画策と称する。

図２（ａ）、（ｂ）は、撮像領域を撮影した入力画像から人物の顔の周辺を含む領域を抽出した画像の例を示している。
図２（ａ）は、図１（ａ）の写真画策を行っていない人物１１０が撮影された入力画像から抽出された画像２００の例を示し、図２（ｂ）は、図１（ｂ）の人物１２０が登録者の顔写真１２１を自分の顔の前に掲げた状態で撮影された入力画像から抽出された画像２１０の例を示している。
図２（ｂ）に示すように、画像２１０には、顔写真１２１に写っている登録者の顔の周囲に顔写真１２１の枠が写っており、写真枠による直線成分が存在する。したがって、人物の顔の周囲に存在する直線成分を顔写真等の特徴とする機械学習により生成した識別器を用いることにより顔写真等を検出することができる。入力画像に顔写真等が写っているか否かを判定する識別器は、顔写真等が写っている多数の学習用画像と顔写真等が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において顔写真等の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。

図３に、顔写真等を検出するように生成される識別器についての確率密度関数の例を表すグラフを示す。図３に示すグラフ３００の横軸は特徴量を示し、縦軸は確率密度を示す。グラフ３００において、曲線３０１は、顔写真等が写っていない複数の学習用画像についての確率密度関数を表し、曲線３０２は、顔写真等が写っている複数の学習用画像についての確率密度関数を表す。この識別器は、曲線３０１と曲線３０２が交わる点における特徴量θを識別境界とし、入力画像から抽出した特徴量が特徴量空間において識別境界のどちら側に位置するかにより、入力画像において人物の顔の周囲に直線成分が存在するか否かを判定し、顔写真等が写っているか否かを精度よく判定することができる。

しかし、図２（ａ）に示すように、人物１１０の顔の周囲に窓１０３の枠が写っているような画像２００には、写真画策を行っていない人物１１０の顔の周囲に窓枠による直線成分が存在している。したがって、画像２００について算出される特徴量は、顔写真等の特徴量が分布する側の空間に存在する、すなわち図３の領域３０３に存在する可能性がある。この場合、画像２００には、顔写真等が写っていないにも関わらず顔写真等が存在すると判定され、写真画策が行われたと誤って判定される。

このように、人物の背景に写っている窓枠等は、人物の顔の周囲に直線成分を生じさせ、写真枠と同様の特徴を有する。しかし、窓は静止物体であり、顔写真等は人物の移動とともに移動する動物体であるという違いがある。そこで、顔画像認証装置１は、入力画像から動物体を表す動物体領域を抽出し、特徴量を算出する領域のうち動物体領域が占める比率が小さいほど、特徴量を顔写真等の特徴を表す度合いが低くなるように補正する。これにより、入力画像に窓枠等が写っている場合に、顔写真等が写っていると判定しにくくし、窓枠等を写真枠と誤って判定することを抑制する。

以下、図４を参照し、顔画像認証装置１について詳細に説明する。図４は、本発明を適用した出入管理システム１００の概略構成を示す図である。出入管理システム１００は、顔画像認証装置１、撮像装置２及び電気錠制御装置３を有する。

撮像装置２は、図１（ａ）及び図１（ｂ）に示したように所定の撮影領域を撮影する監視カメラである。撮像装置２は、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。撮像装置２は、撮影領域内を通行する人物の顔を順次撮影できるように人物の通行方向の略正面に設置される。そして撮像装置２は、所定の時間間隔（例えば、200msec）ごとに、撮影領域を撮影して入力画像を取得する。入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。撮像装置２は、顔画像認証装置１と接続され、取得した入力画像を顔画像認証装置１へ渡す。

電気錠制御装置３は、不図示の電気錠を制御する制御装置である。電気錠制御装置３は、顔画像認証装置１と接続され、顔画像認証装置１からの信号に従って、電気錠を施錠又は解錠する。

顔画像認証装置１は、顔写真等を検出対象とする対象検出装置を出入管理システムに適用した例であり、図４に示すように、画像取得部１０、出力部２０、記憶部３０及び画像処理部４０を有する。以下、顔画像認証装置１の各部について詳細に説明する。

画像取得部１０は、撮像装置２と接続されるインターフェース回路、例えばビデオインターフェース及びオーディオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインターフェース回路を有する。画像取得部１０は、撮像装置２から入力画像を取得して画像処理部４０へ渡す。なお、本実施形態では、画像取得部１０は、撮像装置２が撮影した順に入力画像を画像処理部４０へ渡すが、ハードディスク等の媒体から入力画像を撮影時刻の古い順に取得し、画像処理部４０へ渡すようにしてもよい。

出力部２０は、外部の接続機器である電気錠制御装置３と接続するインターフェース及びその制御回路である。そして出力部２０は、画像処理部４０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置３に対して解錠制御を行う信号を出力する。また、出力部２０は、不図示の認証結果表示ランプと接続され、画像処理部４０から人物についての認証成功、認証失敗または不正行為（写真画策）を示す信号を受け取ると、その認証結果に応じて認証結果表示ランプを点灯または消灯させる。あるいは、認証結果を不図示の監視センタ装置へ出力するようにしてもよい。

記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、顔画像認証装置１を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。各種データには、入口１０１の通行を許可されている登録者の氏名、登録者ＩＤ及び登録顔画像等の登録者データ３１と、事前学習により決定された識別器に関する識別器情報３２と、撮影領域に動物体が存在しないときに撮影領域を撮影した画像である背景画像３３とが含まれる。なお、識別器情報３２には、検出対象である顔写真等らしさを表す特徴量を算出するための部分領域についての情報が含まれる。

画像処理部４０は、例えば、いわゆるコンピュータにより構成され、撮像装置２から取得した入力画像に対し記憶部３０を参照しながら各種処理を実行し、その処理結果を出力部２０に外部へ出力させる。そのために画像処理部４０は、動物体領域抽出手段４１、顔検出手段４２、識別領域抽出手段４３、判定手段４４及び顔照合手段４５を有する。
画像処理部４０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部４０の各手段について詳細に説明する。

動物体領域抽出手段４１は、画像取得部１０から入力画像を取得する度に、取得した入力画像から動物体を表す動物体領域が存在するか否かを判定し、存在すればその動物体領域を抽出する。そのために、動物体領域抽出手段４１は、入力画像と、記憶部３０に記憶された背景画像３３との間で、対応画素間の輝度差を求め、各画素の画素値がその輝度差の絶対値で表される差分画像を作成する。動物体領域抽出手段４１は、入力画像において、対応する差分画像内の画素値が所定の閾値Th1以上となる領域を動物体領域とし、閾値Th1未満となる領域を背景領域とする。例えば、閾値Th1は、差分画像の各画素値の平均値とすることができる。

顔検出手段４２は、入力画像に人物の顔が写っているか否かを判定し、存在すれば、人物の顔を含む顔領域を検出し、入力画像から切り出して顔領域画像として抽出する。なお、顔領域は所定の物体を含む物体領域の例であり、顔検出手段４２は、入力画像から物体領域を検出する物体領域検出手段の例である。
顔領域を検出するために、顔検出手段４２は、Adaboost識別器を用いる（非特許文献１を参照）。
顔領域を検出する識別器は、顔が写っている画像に生じる明暗差やエッジ情報などを顔に関する特徴量として用いて、機械学習を行うことにより生成される。つまり、顔が写っている多数の学習用画像と顔が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において顔の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。
なお、顔領域の検出方法は種々存在するので、他の方法を適宜採用してもよい。例えば、顔検出手段４２は、動物体領域抽出手段４１が抽出した動物体領域のうち、その動物体領域の大きさ、縦横比等から人物らしいと考えられる動物体領域を人物領域として抽出する。顔検出手段４２は、抽出した人物領域に対して、周知のエッジフィルタを用いて、エッジ画素抽出を行う。そして顔検出手段４２は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として検出してもよい。

識別領域抽出手段４３は、入力画像から、顔領域と特定の位置関係にある識別領域を抽出する。識別領域は、例えば顔検出手段４２が検出した顔領域を中心に含み、顔領域の２倍の面積を有する領域とすることができる。この識別領域は、判定手段４４による検出対象の検出に用いられる。

判定手段４４は、識別領域抽出手段４３が抽出した識別領域から、その識別領域と所定の位置関係にある部分領域を記憶部３０の識別器情報３２を参照して特定する。判定手段４４は、特定した部分領域について、検出対象らしさを表す特徴量を算出し、算出した特徴量を用いてその部分領域に検出対象が含まれていることの確からしさを表す評価値を出力するように構成された識別器を含む。そして、判定手段４４は、識別器が出力した評価値を用いて入力画像に検出対象が含まれるか否かを判定する。そのために、判定手段４４は、顔写真等に関する特徴量として、例えばハールライク（Haar-Like）特徴量とＨＯＧ（Histogram of Oriented Gradient）特徴量を用いたAdaboost識別器を有する。
ハールライク特徴量は、画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。ハールライク特徴量の詳細については、例えば、非特許文献１に開示されている。

ＨＯＧ特徴量は、画像領域中の各勾配方向の勾配強度の総和を度数としたヒストグラムから算出される。判定手段４４は、識別領域を複数のブロックに分割し、さらに各ブロックを複数のセルに分割する。例えば、各セルは5画素×5画素の矩形領域であり、各ブロックは3セル×3セルの矩形領域である。そして、判定手段４４は、入力された画像内の各画素における画素値の勾配方向及び勾配強度を算出する。なお、勾配方向は向きを考慮する必要がないため0°〜180°の範囲で算出され、例えば22.5°ごとに分割された8方向に定められる。
さらに、判定手段４４は、セルごとに、各勾配方向について、各勾配方向の勾配強度の総和を度数としたヒストグラムを求め、求めたヒストグラムをブロックごとに正規化する。本実施形態の判定手段４４は、正規化したヒストグラムの中で検出対象の特徴である写真枠の直線成分が表れやすい１つの勾配方向のみに着目し、その勾配方向の度数をＨＯＧ特徴量として用いる。
着目する勾配方向は、例えば顔検出手段４２が検出した顔領域の上側部及び下側部では水平方向が望ましく、顔領域の左側部及び右側部では垂直方向が望ましい。または、学習によって最適な勾配方向を求めてもよい。

Adaboost識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器には、特徴量を算出するための部分領域を対応付けさせ、各弱識別器は、その部分領域からハールライク特徴量又はＨＯＧ特徴量を算出する。各弱識別器は、算出した特徴量に基づいて、その弱識別器に対応した部分領域に顔写真等が写っていると判定した場合、評価値として1を出力し、一方、その弱識別器に対応した部分領域に顔写真等が写っていないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力結果をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、得られた重み付け和が所定の閾値Θ（例えば、0）よりも高い場合、識別領域に顔写真等が写っていると判定する。
なお、特徴量の算出手段を別途設けて、弱識別器に入力することとしてもよい。

また、識別領域中のどの位置に関するハールライク特徴量又はＨＯＧ特徴量を識別に利用する弱識別器が使用されるか、及び弱識別器に対する重みは、顔写真等が写っていない複数のサンプル画像と顔写真等が写っている複数のサンプル画像とを用いた事前学習により決定される。学習手順の概略は以下の通りである。
（１）事前学習を行うコンピュータは、使用可能な全ての弱識別器について、各特徴量の値に基づいて、識別領域に顔写真等が写っているか否かを識別する閾値を設定する。
（２）コンピュータは、各サンプル画像に対する重みを決定する。重みの初期値は、各サンプル画像に対して同じ値とする。
（３）コンピュータは、全ての弱識別器に対して各サンプル画像を入力して、弱識別器ごとに識別に失敗したサンプル画像に付けられた重みを合計する。
（４）コンピュータは、重みの合計が最も小さい弱識別器をアダブースト識別器で使用する弱識別器として選択する。そして選択された弱識別器の出力に付される重みを決定する。
（５）コンピュータは、選択された弱識別器が識別に失敗したサンプル画像の重みを大きくする。
（６）コンピュータは、（３）〜（５）の手順を繰り返す。
なお、Adaboost法の詳細については、例えば、非特許文献１に開示されている。このようにして決定された各弱識別器にて用いる特徴量を算出する部分領域を表す情報と、特徴量についての情報（ハールライク特徴量であるかＨＯＧ特徴量であるか、ハールライク特徴量である場合はどのハールライク特徴量であるか）と、各弱識別器の出力に付される重みを表す情報は、識別器情報３２として記憶部３０に記憶される。
このような事前学習では、識別領域に顔写真等が写っているか否かを明確に区別できるように、各部分領域は、識別領域内の顔領域に対して顔写真等の特徴である背景との境界（写真枠）が写っている可能性が高いと評価された領域に設定される。したがって、選択された弱識別器に対応するハールライク特徴量は、識別領域に顔写真等が写っている場合は顔写真等と背景の間の輝度差により高い値を取り、写っていない場合は低い値を取る傾向にある。また、選択された弱識別器に対応するＨＯＧ特徴量は、識別領域に顔写真等が写っている場合は写真枠により特定の画素値勾配方向が強くなって高い値を取り、写っていない場合は低い値を取る傾向にある。

さらに、判定手段４４は、各弱識別器に対応する部分領域に対する、その部分領域と動物体領域が重複している領域の比率である重複率を算出する。つまり、重複率は、部分領域の面積（画素数）に対する部分領域と動物体領域が重複している領域の面積（画素数）の比率である。重複率が高いときは、部分領域のうち動物体領域の占める割合が高く、その部分領域について算出された特徴量はほとんど検出対象について算出されていると考えられる。一方、重複率が低くなるほど、部分領域のうち背景領域の占める割合が高くなり、その部分領域について算出された特徴量はほとんど背景について算出されていることになる。この場合、その部分領域には検出対象が写っていない可能性が高く、その部分領域についての特徴量が高い値を有するときは、背景の特徴が検出対象の特徴と類似している可能性が高い。
そこで、判定手段４４は、算出した重複率に応じて各弱識別器にて用いる特徴量を補正するための補正係数を算出し、各弱識別器は、その弱識別器に対応する特徴量に補正係数を乗じることにより補正特徴量を算出し、補正特徴量を用いて評価値を算出する。補正係数は、０から１の範囲の値である。判定手段４４は、重複率が高いほど、特徴量を検出対象らしいことを表すように補正して、部分領域に検出対象が含まれると判定し易くし、重複率が低いほど、特徴量を検出対象らしくないことを表すように補正して、部分領域に検出対象が含まれると判定しにくくする。本実施形態では、各弱識別器にて用いる特徴量は、値が高いほど顔写真等の特徴を表す度合いが高く、値が低いほど顔写真等の特徴を表す度合いが低い。そのため、判定手段４４は、重複率が高いほど、補正係数を大きくして補正特徴量を大きくし、重複率が低いほど、補正係数を小さくして補正特徴量を小さくする。

図５に、重複率と補正係数の関係の一例を表すグラフを示す。図５のグラフ５００において、横軸は重複率を示し、縦軸は補正係数を示す。図５に示すように、重複率が閾値Dthより高い場合、補正係数は1とし、重複率が閾値Dth以下である場合、重複率が低くなるほど補正係数は低い値とする。なお、重複率が高いほど部分領域に動物体が含まれる割合が高く、重複率が低いほど部分領域に動物体が含まれる割合が低い。また、動物体領域と背景領域の境界は動物体の輪郭を表すため、重複率が半分（50%）である場合、動物体の輪郭が部分領域の中心を通過している可能性がある。例えば、部分領域を縦に分割した二つの領域間の輝度差をハールライク特徴量として用いる場合、動物体の輪郭が部分領域を縦に分割する境界を通過していれば、一方の領域には動物体が写り、他方の領域には背景が写るため、動物体の特徴を適切に抽出することができる。したがって、閾値Dthは50%より低い値とし、重複率が閾値Dth以上の場合は特徴量を補正せず、重複率が閾値Dth未満の場合に限り特徴量を補正することが好ましい。

i番目の弱識別器の出力関数h_i(x_i)は、次式により与えられる。

（１）式において、L_iはi番目の弱識別器についての補正係数であり、x_iはi番目の弱識別器に対応する部分領域について算出された特徴量であり、θ_iはi番目の弱識別器について設定した閾値である。強識別器の出力関数Hは、次式により与えられる。

（２）式において、Ｔは弱識別器の数であり、α_iはi番目の弱識別器の出力に付される重みであり、Θは強識別器について設定した閾値である。判定手段４４は、強識別器が正値を出力する場合、識別領域に顔写真等が含まれると判定し、強識別器が負値を出力する場合、識別領域に顔写真等が含まれないと判定する。

図６（ａ）〜（ｅ）に、部分領域と動物体領域の関係の一例を表す模式図を示す。図６（ａ）〜（ｅ）では、図２（ａ）に示した画像２００及び図２（ｂ）に示した画像２１０が識別領域として抽出されたものとして説明する。図６（ａ）は識別領域６００、及び識別領域６００内に設定された、各弱識別器についての特徴量が算出される部分領域６０１〜６１０を表す。図６（ｂ）の斜線部分は図２（ａ）の識別領域２００について抽出された動物体領域６２０を表し、図６（ｃ）の斜線部分は図２（ｂ）の識別領域２１０について抽出された動物体領域６３０を表す。図６（ｄ）は部分領域６０１〜６１０と動物体領域６２０とを重ね合わせた画像６４０を表し、図６（ｅ）は部分領域６０１〜６１０と動物体領域６３０とを重ね合わせた画像６５０を表す。

図６（ｄ）に示すように、写真画策がされていない識別領域２００の部分領域６０１〜６１０のうち、部分領域６０１、６０３、６０４、６０５、６０９及び６１０は、大部分が静止物体である窓１０３が写っている領域であり、動物体である人物が写っている領域と重複していないか、あるいはわずかに重複しているのみである。そこで、例えば閾値Dthを25%とすると、部分領域６０１、６０３、６０４、６０５、６０９及び６１０についての重複率が閾値Dth未満となり、補正係数が1未満となる。これにより、部分領域６０１、６０３、６０４、６０５、６０９及び６１０についての特徴量は小さくなるように補正され、窓１０３を顔写真等でないと判定することができる。
一方、図６（ｅ）に示すように、写真画策がされている識別領域２１０の部分領域６０１〜６１０のうち、部分領域６０４以外の部分領域は、大部分が動物体である顔写真等が写っている領域である。したがって、例えば閾値Dthが25%である場合、部分領域６０４についての重複率のみが閾値Dth未満となり、補正係数が1未満となるが、他の部分領域についての重複率は閾値Dth以上となり、補正係数は1となる。これにより、部分領域６０４以外の部分領域についての特徴量は小さくなるように補正されず、顔写真１２１を顔写真等であると判定することができる。

判定手段４４は、写真画策が発生したと判定すると、出力部２０に写真画策が行われたことを示す信号をさせ、不図示の警報ランプの点灯、不図示のブザーの鳴動等を行わせるとともに、顔照合手段４５に写真画策が発生した旨を通知する。

顔照合手段４５は、写真画策が発生していないことを条件に、顔検出手段４２が抽出した顔領域画像と記憶部３０の登録者データ３１に記憶されているすべての登録顔画像を照合する。顔照合手段４５は、顔領域画像とすべての登録顔画像との類似度をそれぞれ算出し、最も値が高い類似度が認証閾値以上である場合に、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定する。例えば、顔照合手段４５は、顔領域画像と登録顔画像のそれぞれから顔の特徴点を抽出し、対応する特徴点同士の位置関係の一致の程度を類似度として算出する。なお、類似度は、二つの顔画像について類似している度合いを表すものであればどのようなものでもよい。顔照合手段４５は、登録者の顔であると判定すると、出力部２０に認証成功を示す信号を出力し、電気錠制御装置３に対して解錠制御を行う信号を出力させる。

以下、図７に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部４０を構成するマイクロプロセッサ上で動作し、顔画像認証装置１全体を制御する制御部（図示せず）により制御される。なお、以下に説明する動作は、入力画像を一つ取得するごとに実行される。

最初に、顔画像認証装置１の画像取得部１０は、撮像装置２が撮影領域を撮影した入力画像を取得する（ステップＳ１０１）。画像取得部１０が入力画像を取得すると、動物体領域抽出手段４１は、取得された入力画像から動物体領域を抽出する処理を行う（ステップＳ１０２）。動物体領域抽出手段４１は、動物体領域が抽出されたか否かを判定し（ステップＳ１０３）、動物体領域が全く抽出されなかった場合、ステップＳ１０１へ処理を移行し、動物体領域が抽出されるまでステップＳ１０１〜Ｓ１０３の処理を繰り返す。
一方、ステップＳ１０３において、一つ以上の動物体領域を抽出した場合、動物体領域抽出手段４１は、抽出した動物体領域についての情報（例えば、入力画像中での位置、形状等）を記憶部３０に記憶する（ステップＳ１０４）。次に、顔検出手段４２は、入力画像から顔領域を検出し、その顔領域を入力画像から切り出して顔領域画像を抽出する処理を行う（ステップＳ１０５）。顔検出手段４２は、一つ以上の顔領域が検出されたか否か判定し（ステップＳ１０６）、顔領域が全く検出されなかった場合、ステップＳ１０１へ処理を移行し、顔領域が検出されるまでステップＳ１０１〜Ｓ１０６の処理を繰り返す。一方、一つ以上の顔領域が検出された場合、顔検出手段４２は、ステップＳ１０７へ処理を移行させる。

以下のステップＳ１０７〜Ｓ１０９の処理は、顔検出手段４２が検出した各顔領域ごとに行われる。
画像処理部４０は、顔領域の周囲に写真枠らしき物体が写っているか否かにより、入力画像に顔写真等が含まれるか否かを判定する不正行為判定処理を実施する（ステップＳ１０７）。不正行為判定処理の詳細については後述する。判定手段４４は、不正行為判定処理において不正行為があったと判定したか否かを判定し（ステップＳ１０８）、不正行為があった場合、写真画策が行われたと判定し、写真画策が行われたことを示す信号を出力部２０に出力し（ステップＳ１０９）、処理をステップＳ１０１へ戻す。写真画策が行われたことを示す信号が出力部２０に出力された場合、出力部２０を介して不図示の警報ランプの点灯、不図示のブザーの鳴動等が行われる。あるいは、出力部２０を介して、その写真画策が行われたことを示す信号が不図示の監視センタ装置へ出力される。これにより監視センタ装置は、写真画策が行われたことを管理者に通知し、またその履歴を記録することができる。
全ての顔領域についてステップＳ１０７〜Ｓ１０９の処理の処理が終わり、不正行為がなかった場合、画像処理部４０は、ステップＳ１１０へ処理を移行させる。

以下のステップＳ１１０〜Ｓ１１２の処理は、顔検出手段４２が検出した各顔領域ごとに行われる。
顔照合手段４５は、顔領域画像と登録者データ３１に記憶されている登録顔画像との類似度を算出し（ステップＳ１１０）、最も値が高い類似度が認証閾値以上であるか否かを判定する（ステップＳ１１１）。最も値が高い類似度が認証閾値以上である場合、その顔領域画像に写っている顔がその登録顔画像に対応する登録者の顔であると判定し、出力部２０に認証成功を示す信号を出力する（ステップＳ１１２）。認証成功を示す信号が出力部２０に出力された場合、出力部２０から電気錠制御装置３に対して解錠制御を行う信号が出力される。一方、最も値が高い類似度が認証閾値未満である場合、顔照合手段４５は、特に処理を行わない。
全ての顔領域についてステップＳ１１０〜Ｓ１１２の処理の処理が終わると、画像処理部４０は、処理をステップＳ１０１へ戻す。

このように、入力画像内に複数の人物の顔が写っている場合、そのうちの一つについて写真画策を検出したときは、他の人物の顔についても照合処理を行わず、電気錠を解錠しないので、セキュリティ性を高めることができる。

図８は、画像処理部４０により実行される不正行為判定処理の動作を示すフローチャートである。図８に示す不正行為判定処理は、図７のステップＳ１０７において実行される。

最初に、識別領域抽出手段４３は、入力画像から、顔検出手段４２が検出した顔領域を含む所定領域を識別領域として抽出する（ステップＳ２０１）。

以下のステップＳ２０２〜Ｓ２０６の処理は、判定手段４４が有する各弱識別器に対して行われる。
判定手段４４は、その弱識別器に対応する部分領域と動物体領域についての重複率を算出し（ステップＳ２０２）、算出した重複率に応じて補正係数を算出する（ステップＳ２０３）。さらに、判定手段４４の各弱識別器は、その弱識別器に対応する部分領域について顔写真等に関する特徴量を算出する（ステップＳ２０４）。次に、判定手段４４の各弱識別器は、ステップＳ２０４で算出した特徴量にステップＳ２０３で算出した補正係数を乗じることにより補正特徴量を算出し（ステップＳ２０５）、補正特徴量を用いて評価値を出力する（ステップＳ２０６）。

全ての弱識別器に対してステップＳ２０２〜Ｓ２０６の処理が終わると、判定手段４４は、各弱識別器から出力された評価値を強識別器に入力し、弱識別器から出力される各評価値の重み付け和を取得する（ステップＳ２０７）。判定手段４４は、取得した重み付け和により不正行為の有無を判定する（ステップＳ２０８）。判定手段４４は、重み付け和が所定の閾値Θよりも高い場合、識別領域に顔写真等が写っており、不正行為があったと判定し、重み付け和が所定の閾値Θよりも高くない場合、識別領域に顔写真等が写っておらず、不正行為がないと判定し、図８のステップＳ１０８に処理を移行させる。

以上説明してきたように、本発明にかかる対象検出装置は、人物を撮影した入力画像から動物体を表す動物体領域を抽出する一方で、入力画像において人物の顔を含む領域と特定の位置関係にある識別領域を抽出して、識別領域について顔写真等らしさを表す特徴量を算出する。さらに対象検出装置は、識別領域に対する識別領域と動物体領域が重複している領域の比率が低いほど、その算出した特徴量を顔写真等らしくないことを表すように補正して、補正した特徴量を用いて入力画像に顔写真が含まれるか否かを判定する。これにより、対象検出装置は、入力画像内の顔の周囲に静止物体である窓、柱、壁の模様等が写っている場合に、窓、柱、壁の模様等による直線成分を写真枠と誤って判定し、窓、柱、壁の模様等で囲われた領域を顔写真等と誤って検出することを抑制することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、判定手段が、重複率に応じて、各弱識別器にて用いる特徴量を補正する例を示したが、判定手段は、各弱識別器が出力した評価値を補正してもよい。その場合、判定手段は、重複率が高いほど、評価値を識別領域に検出対象が含まれていることを表すように補正し、重複率が低いほど、評価値を識別領域に検出対象が含まれていないことを表すように補正する。つまり、i番目の弱識別器の出力関数h_i(x_i)は、（１）式の代わりに、次式により与えられ、

強識別器の出力関数Hは、（２）式の代わりに、次式により与えられる。

また、図５に示すグラフ５００のように、重複率が閾値Dth以下である場合に限り評価値を識別領域に検出対象が含まれていないことを表すよう補正してもよい。この場合も、入力画像内の顔の周囲に窓、柱、壁の模様等が写っている場合に、強識別器の出力は低減され、対象検出装置は、窓、柱、壁の模様等で囲われた領域を顔写真等と誤って検出することを抑制することができる。

また、判定手段が特徴量及び評価値を算出する部分領域は、複数でなく一つだけであってもよい。さらに、部分領域が一つのみである場合、その部分領域は識別領域と同じ領域であってよい。その場合、判定手段は、識別領域に対する、識別領域と動物体領域が重複している領域の比率を重複率として算出し、重複率に応じて特徴量又は評価値を補正する。

また、判定手段が用いる特徴量は、識別領域に顔写真等が写っている場合に高い値を取り、写っていない場合に低い値を取るものではなく、識別領域に顔写真等が写っている場合に低い値を取り、写っていない場合に高い値を取るものでもよい。その場合、補正係数は1以上の値とし、重複率が高いほど、補正係数を小さくして補正特徴量を小さくし、重複率が低いほど、補正係数を大きくして補正特徴量を大きくする。そして、その特徴量に対応する弱識別器の出力関数は、補正特徴量が閾値θ_iより小さい場合、1を出力し、補正特徴量が閾値θ_i以上である場合、-1を出力するようにする。例えば、顔写真内の領域と顔写真外の領域とではテクスチャ情報が異なるため、所定距離だけ離れた二つの矩形領域のそれぞれの色ヒストグラムのマッチング等により求められる類似度が、識別領域に顔写真等が写っている場合に低い値を取り、写っていない場合に高い値を取る特徴量として利用される。

また、判定手段は、Adaboost識別器を用いて評価値を算出する代わりにサポートベクトルマシン、又は３層以上の層を持つパーセプトロン等を用いて評価値を算出してもよい。その場合、判定手段は、顔写真等が写っている複数の学習用画像と顔写真等が写っていない複数の学習用画像のそれぞれについて、設定された部分領域から顔写真等に関する特徴量を算出し、算出した特徴量を用いて事前学習を行う。この事前学習は、特定の画像から算出された特徴量が入力されたときに、特定の画像に顔写真等が写っているか否かを判別するように行われる。判定手段は、入力画像から抽出された識別領域内の部分領域から顔写真等に関する特徴量を算出する。なお、顔写真等に関する特徴量として、例えばハールライク特徴量、ＨＯＧ特徴量を用いることができる。あるいはエッジ検出フィルタの出力を顔写真等に関する特徴量として用いてもよい。そして、判定手段は、算出した特徴量を重複率に応じて補正した補正特徴量をサポートベクトルマシン又はパーセプトロンに入力し、出力された評価値に基づいて入力画像内に顔写真等が含まれるか否かを判定する。

また、識別領域抽出手段は、一つの顔領域に対して識別領域を一つだけ抽出するのではなく、複数抽出してもよい。その場合、識別領域抽出手段は、一つの顔領域に対してそれぞれサイズが異なるように複数の識別領域を抽出する。判定手段は、抽出された複数の識別領域のそれぞれについて、各弱識別器による出力結果の重み付け和を算出する。なお、この重み付け和は、正値である場合、入力画像に顔写真等が含まれることを表す度合いを示し、負値である場合、入力画像に顔写真等が含まれないことを表す度合いを示す。判定手段は、抽出された複数の識別領域のうち、算出した重み付け和の絶対値、即ち、入力画像に顔写真等が含まれるか否かを表わす度合いの大きさが最も大きくなる識別領域を用いて、入力画像に顔写真等が含まれるか否かを判定する。これにより、判定手段は、事前学習された識別器に最も適した識別領域を用いて、入力画像に顔写真等が含まれるか否かをより精度よく判定することができる。

また、動物体領域抽出手段は、背景差分処理を用いて動物体領域を抽出するのではなく、例えば、フレーム間差分処理を用いて動物体領域を抽出してもよい。その場合、動物体領域抽出手段は、画像取得部によって連続して取得される複数の入力画像から、輝度値の時間的な変化のある領域を動物体領域として抽出する。

また、画像処理部は、画像取得部が順次取得した入力画像において、顔検出手段が検出した顔領域について、公知のトラッキング技術を用いて追跡処理を実行し、同一人物の顔として追跡された顔領域ごとに、不正行為判定処理及び顔照合処理を実施してもよい。画像処理部は、例えば、最新の入力画像内の顔領域のそれぞれについて、その顔領域の重心位置と、直前の入力画像から抽出された顔領域の重心位置との距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。あるいは、オプティカルフロー、パーティクルフィルタ等の方法を用いて追跡処理を実行してもよい。
さらに、複数の顔領域が検出された場合、ある顔領域について抽出した識別領域内の部分領域と他の顔領域が重複している場合、その部分領域について重複率を算出するときはその重複している領域は動物体領域でないものとして重複率を算出してもよい。これにより、注目する人物の近傍に他の人物が写っている場合に、注目する人物について求めた識別領域について、その近傍に写っている人物によって重複率が高くなり、顔写真が写っていると誤って判定しやすくなることを抑制することができる。

また、対象検出装置の検出対象は、顔写真等に限定されず、両手を挙げている人物、つまりホールドアップの姿勢を取っている人物としてもよい。両手を挙げている人物が写っている画像には、人物の顔の左右に写っている両腕により直線成分が生じるため、人物の顔の左右に存在する直線成分を特徴とすることにより、顔写真等と同様にして、両手を挙げている人物を検出することができる。その場合、両手を挙げている人物が写っている多数の学習用画像と両手を挙げている人物が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用いた機械学習により識別器を生成しておく。判定手段は、重複率に応じて、各弱識別器についての特徴量又は評価値を補正することにより、窓、柱、壁の模様等の静止物体を人物が挙げている両手等と誤って検出することを抑制することができる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 顔画像認証装置
２ 撮像部
３ 電気錠制御装置
１０ 画像取得部
２０ 出力部
３０ 記憶部
４０ 画像処理部
４１ 動物体領域抽出手段
４２ 顔検出手段
４３ 識別領域抽出手段
４４ 不正行為判定手段
４５ 顔照合手段

Claims (7)

1. 所定の撮影領域を撮影した入力画像を取得する画像取得部と、
   前記入力画像から動物体を表す動物体領域を抽出する動物体領域抽出手段と、
   前記入力画像から所定の物体を含む物体領域を検出する物体領域検出手段と、
   前記入力画像から前記物体領域と特定の位置関係にある識別領域を抽出する識別領域抽出手段と、
   前記識別領域から検出対象らしさを表す特徴量を算出し当該特徴量を用いて当該識別領域に前記検出対象が含まれていることの確からしさを表す評価値を出力するよう構成された識別器を含み、当該評価値を用いて前記入力画像に前記検出対象が含まれるか否かを判定する判定手段と、を有し、
   前記判定手段は、前記識別領域に対する当該識別領域と前記動物体領域が重複している領域の比率である重複率が低いほど前記入力画像に前記検出対象が含まれると判定しにくくすることを特徴とする対象検出装置。
2. 前記判定手段は、前記重複率が低いほど、前記特徴量を前記検出対象らしくないことを表すように補正することにより、前記入力画像に前記検出対象が含まれると判定しにくくする、請求項１に記載の対象検出装置。
3. 前記判定手段は、前記識別領域から、当該識別領域と所定の位置関係にある部分領域を複数特定し、当該部分領域のそれぞれについて、前記特徴量及び前記重複率を算出し、当該重複率が低いほど、当該特徴量を前記検出対象らしくないことを表すように補正する、請求項２に記載の対象検出装置。
4. 前記判定手段は、前記重複率が低いほど、前記評価値を前記検出対象が含まれていないことを表すように補正することにより、前記入力画像に前記検出対象が含まれると判定しにくくする、請求項１に記載の対象検出装置。
5. 前記判定手段は、前記識別領域から、当該識別領域と所定の位置関係にある部分領域を複数特定し、当該部分領域のそれぞれについて、前記評価値及び前記重複率を算出し、当該重複率が低いほど、当該評価値を前記検出対象が含まれていないことを表すように補正する、請求項４に記載の対象検出装置。
6. 前記判定手段は、前記重複率が半分より低い所定値以下である場合に限り、当該重複率が低いほど前記入力画像に前記検出対象が含まれると判定しにくくする、請求項１〜５の何れか一項に記載の対象検出装置。
7. 前記識別領域抽出手段は、前記識別領域をそれぞれサイズが異なるように複数抽出し、
   前記判定手段は、前記複数の識別領域のそれぞれについて、前記評価値を算出し、当該評価値を用いて前記入力画像に前記検出対象が含まれるか否かを表す度合いを算出し、前記複数の識別領域のうち、前記度合いの大きさが最も大きい識別領域を用いて、前記入力画像に前記検出対象が含まれるか否かを判定する、請求項１〜６の何れか一項に記載の対象検出装置。

Images