JP2007172509A

JP2007172509A - 顔検出照合装置

Info

Publication number: JP2007172509A
Application number: JP2005372541A
Authority: JP
Inventors: Tatsuji Yamazaki; 龍次山崎
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-12-26
Filing date: 2005-12-26
Publication date: 2007-07-05

Abstract

【課題】監視対象の人物が移動する場合などでも、人物相互の隠蔽を回避して監視対象人物の検出、照合を可能にする。
【解決手段】パン、チルト、ズーム等の各駆動機能を有する回転カメラ１０１と、回転カメラ１０１の前側方に固定的に設置された反射鏡１０２とを備える。まず、監視領域を通行する人物Ｐ１、Ｐ２を直接撮像した画像について、顔検出部１０５で人物の顔領域を検出する。次いで、隠蔽推定部１０７により、撮像した画像の顔の位置と回転カメラ１０１の視野角、及び顔の一般的な大きさから、人物Ｐ１によって隠蔽されている人物Ｐ２の顔領域を推定し、回転カメラ制御部１０８により、隠蔽領域を反射鏡１０２を介して撮像できるように、回転カメラ１０１のパン、チルト及びズームの制御を行う。
【選択図】図１

Description

本発明は、カメラによって撮像された画像から人物の顔を検出、照合する顔検出照合装置に関する。

従来より、監視領域における監視対象の人物をカメラで撮像し、得られた画像から人物の顔を検出して照合を行う顔検出照合装置が知られている。このような顔検出照合装置において、監視領域を通行する人物を監視する場合、複数の人物が連続して通行するような状況では、人物相互の隠蔽によって、人物ごとに顔を分離して検出したり、全ての人物の顔を検出、照合することができないことがあった。このような不具合を回避するために、１つの手段として、監視対象の人物に対してカメラに顔を向けて貰うよう協力を求めることが考えられる。しかし、この場合、監視対象の人物に余計な負担を負わせるだけでなく、協力行動を取らせるための動機付けが必要になり、緊急時でない限り、単に監視を目的とする場合などでは実現が困難である。

また、他の手段として、カメラを複数使用し、異なる視点から人物を撮像することによって人物が隠蔽される可能性を低くすることが考えられる。しかしながら、この場合は、機器コストが増加することや、通路などの狭い場所など監視領域の形状によっては適切な位置にカメラを設置することが困難になる等の問題点がある。

一方、顔検出装置を回転カメラとその前方に設置した反射鏡から構成し、回転させた際のカメラの視野を撮像対象の側方に反射させることにより、１台のカメラで異なる視点からの撮影画像を得るようにした例が開示されている（例えば、特許文献１参照）。しかしながら、この従来例の装置では、カメラ及び反射鏡の設置時に予め設定した個所だけを反射鏡を介して撮像することができるだけであり、撮像対象が移動することによって隠蔽される領域が変動する可能性のあるものには対応できなかった。例えば、通行する複数の人物を撮像する場合は、監視対象の人物の移動によって相互に隠蔽される領域が変動するので、後ろの人物が隠蔽されてしまうことを回避できない場合があり、個々の人物を検出することができないことがあった。

特開平５−２２５４７１号公報

本発明は、上記事情に鑑みてなされたもので、監視対象の人物が移動する場合など、カメラ設置時に隠蔽される領域が特定できない場合であっても、人物相互の隠蔽を回避して監視対象人物の検出、照合を行うことが可能な顔検出照合装置を提供することを目的とする。

本発明の顔検出照合装置は、監視対象を撮像した画像から人物の顔を検出、照合する顔検出照合装置であって、パン、チルトのうちの少なくとも一方の駆動機能を有する回転カメラと、前記回転カメラで撮像可能な位置に設置された反射鏡と、前記回転カメラによって撮像された画像から人物の顔を検出する顔検出部と、前記回転カメラによって直接撮像された画像において、人物の顔によって隠蔽された隠蔽領域を推定する隠蔽領域推定部と、前記隠蔽領域推定部で推定された隠蔽領域に対応させて、前記回転カメラのパン及びチルトの少なくとも一方による回転角度を制御する回転カメラ制御部と、前記直接撮像された正像の顔画像と、前記反射鏡を介して撮像された鏡像の顔画像とを統合する正像／鏡像統合部とを備えるものである。

上記構成により、監視対象の人物が移動する場合など、監視領域における複数の人物相互の隠蔽が回転カメラの設置時に特定できない場合であっても、反射鏡を介して撮像するための回転カメラの回転を適切に制御することにより、人物相互の隠蔽を回避して顔検出及び顔照合を行うことができる。

また、本発明は、上記の顔検出照合装置であって、前記隠蔽領域推定部は、前記顔検出部で検出された人物の顔の撮像画像における位置と、前記回転カメラの視野角と、人の顔の標準的な大きさとから、前記隠蔽領域の空間的な位置を推定するものとする。

上記構成により、回転カメラで撮像した人物の画像を基に、この人物により隠蔽された隠蔽領域の空間的な位置を適切に推定し、反射鏡を介することによりこの隠蔽領域を撮像することが可能となる。

また、本発明は、上記の顔検出照合装置であって、前記隠蔽領域推定部は、前記隠蔽領域を前記反射鏡を介して撮像するための視線方向を算出し、前記回転カメラ制御部は、前記回転カメラにより前記反射鏡を介して撮像する際に、前記回転カメラの中心角または前記回転カメラの視野角の一端を、前記視線方向に一致させるように回転制御するものとする。

上記構成により、回転カメラで直接撮像した画像において人物に隠蔽された隠蔽領域に対応させて、隠蔽領域の視線方向に合わせて回転カメラの回転角を適切な方向に制御することができ、隠蔽領域を反射鏡を介して確実に撮像することが可能となる。

また、本発明は、上記の顔検出照合装置であって、前記回転カメラはズーム機能を有し、前記カメラ回転制御部は、前記反射鏡を介して撮像する際の前記回転カメラのズーム機能によるズーム倍率を調整するものとする。

上記構成により、反射鏡を介して撮像する際の回転カメラのズーム倍率を調整し、撮像画像の大きさを調整することで、反射鏡を介して撮像した場合の、光路長が長くなることによる撮像顔画像の縮小を避けることができ、直接撮像した画像における顔の大きさと反射鏡を介して撮像した画像における顔の大きさとを一致または近づけることができるので、正像の顔画像と鏡像の顔画像とをより適切な状態で統合することが可能となる。

本発明によれば、監視対象の人物が移動する場合など、カメラ設置時に隠蔽される領域が特定できない場合であっても、人物相互の隠蔽を回避して監視対象人物の検出、照合を行うことが可能な顔検出照合装置を提供できる。

図１は、本発明の実施形態に係る顔検出照合装置の概略構成を示す図である。
本実施形態の顔検出照合装置は、パン、チルト、ズーム等の各駆動機能を有する回転カメラ１０１と、回転カメラ１０１の前側方に固定的に設置された反射鏡１０２とを備えて構成される。回転カメラ１０１は、パン、チルトのうちの少なくとも一方の駆動機能を備え、監視領域の通路を通行する人物Ｐ１、Ｐ２を撮像する位置に設置される。なお、回転カメラ１０１はズーム機能を有するものが望ましい。反射鏡１０２は、回転カメラ１０１の前方の側方向において、通路の進行方向に対して平行に設置され、回転させて視点を変更した回転カメラ１０１によって人物Ｐ１、Ｐ２を撮像することを可能にするものである。

また、顔検出照合装置は、信号処理部として、画像入力部１０３、画像反転部１０４、顔検出部１０５、顔照合部１０６、隠蔽推定部１０７、回転カメラ制御部１０８、正像／鏡像統合部１０９を備えている。

画像入力部１０３は、回転カメラ１０１によって撮像された画像信号を入力してディジタル信号に変換する。画像反転部１０４は、回転カメラ１０１により反射鏡１０２を介して撮像した場合に、回転カメラ１０１から入力される画像の左右を反転処理する。また、顔検出部１０５は、回転カメラ１０１で撮像した画像に対して画像認識処理を施し、画像中に存在する人物の顔領域を検出する。顔照合部１０６は、顔検出部１０５で検出した顔領域に対して特徴抽出処理を施し、顔画像データベースに予め登録された監視対象人物の顔画像と照合する。

さらに、隠蔽推定部１０７は、顔検出部１０５で検出した顔領域が直接撮像した正像の画像に対して処理を行ったものである場合に、撮像画像における顔検出位置と回転カメラ１０１が撮像している領域、及び一般的な顔の大きさから、検出された顔とその顔による隠蔽領域の空間的（三次元的）な位置を推定する。そして、隠蔽推定部１０７は、推定した隠蔽領域の位置を反射鏡１０２を介して撮像するために、回転カメラ１０１のパン、チルト及びズームの動作量を決定する。また、回転カメラ制御部１０８は、隠蔽推定部１０７によって決定された動作量に基づいて回転カメラ１０１のパン、チルト及びズームの各動作を制御する。正像／鏡像統合部１０９は、直接撮像した正像と、反射鏡１０２を介して異なる視点から撮像した鏡像とについて、それぞれ顔検出部１０５及び顔照合部１０６で検出、照合を行った結果の顔領域を統合する。

図１において、監視領域の通路を先行する監視対象人物Ｐ１は、回転カメラ１０１ですべてを直接撮像することが可能であるが、人物Ｐ１の背後を行く人物Ｐ２は、人物Ｐ１によって一部又は全部が隠蔽され、すべてを直接撮像することはできない。しかし、回転カメラ１０１を左方に回転させると、回転カメラ１０１の視野は反射鏡１０２の方向に向かい、反射鏡１０２で反射することによってあたかも回転カメラ１０１の仮想的な視点１１０から撮像するかのように、破線で示すような視野が得られ、人物Ｐ２を人物Ｐ１に隠蔽されることなく撮像することができる。

次に、上記のように構成された本実施形態の顔検出照合装置の動作について説明する。図２は、本実施形態の顔検出照合装置の動作手順を説明するためのフローチャートである。

まず、回転カメラ１０１で撮像した人物Ｐ１、Ｐ２の画像を画像入力部１０３に入力し、ディジタル処理して画像データに変換する（ステップＳ１０１）。次いで、顔検出部１０５により画像データに対して画像認識処理を施し、撮像画像中に存在する人物の顔領域を検出する（ステップＳ１０２）。そして、検出した領域の顔画像を、顔画像データベースに予め登録された監視対象人物の顔画像と照合する（ステップＳ１０３）。

ステップＳ１０４では、顔検出部１０５によって検出した顔領域の画像データ上の位置と、回転カメラ１０１の視野角及び人の顔の標準的な大きさ等から、検出した人物で隠蔽されている領域の三次元的な位置を推定する。図１に示す例では、人物Ｐ１によって隠蔽されている人物Ｐ２の隠蔽領域を推定する。

続いて、推定した隠蔽領域を反射鏡１０２を介して撮像するよう回転カメラ制御部１０８で回転カメラ１０１のパン、チルト、ズームの回転角度を制御することにより、隠蔽領域を反射鏡１０２を介して撮像し（ステップＳ１０５）、ステップＳ１０１と同様に画像データを取得する（ステップＳ１０６）。

ここで、回転カメラ制御部１０８による回転カメラ１０１のパン、チルト、ズームの各制御動作について詳細に説明する。

図３は、回転カメラ１０１と監視対象の人物Ｐ１、Ｐ２の位置関係を示す俯瞰図である。図３において、Ｚ軸は回転カメラ１０１の監視方向であり、通路の方向と同じである。Ｘ軸はＺ軸と直交する通路の幅員方向である。回転カメラ１０１は、Ｚ軸の負方向に移動中の監視対象人物Ｐ１を撮像するためにＸ軸上の距離Ｘｃの位置に設置され、反射鏡１０２はＹＺ平面上に所定の大きさを有して設置されているものとする。

人物Ｐ１の顔幅をＷｆとする。顔幅Ｗｆは人物によって異なる値をもつが、成人における平均的な顔幅は１５５ｍｍであることが知られているので、具体的な数値計算を行うに当たってはこの値を適用することにする。撮像画像から検出された顔のなす視野角をΦｆとすると、回転カメラ１０１から人物Ｐ１までのＺ軸方向の距離Ｚｆは、顔をほぼ正面から撮像する、すなわち、θｒが小さいという前提で、近似的に次式（１）によって算出される。

Ｚｆ＝Ｗｆ／ｔａｎΦｆ …（１）

撮像画像から検出される顔の一方の端とＺ軸とのなす角をθｒとすると、回転カメラ１０１はＸ軸上Ｘｃの位置にあるので、人物Ｐ１の顔端部の水平方向の位置Ｘｆは、次式（２）によって算出される。

Ｘｆ＝Ｘｃ＋Ｚｆ＊ｔａｎθｒ …（２）

反射鏡１０２はＹＺ平面上に設置するとしたので、反射鏡１０２による回転カメラ１０１の仮想的な視点（図１における点１１０）は−Ｘｃの位置にある。従って、仮想的な視点１１０から撮像される人物Ｐ１の顔の端部とＺ軸とのなす角度θｍは、次式（３）によって算出される。

θｍ＝ｔａｎ^-1｛（Ｘｆ＋Ｘｃ）／Ｚｆ｝ …（３）

この角度θｍは、人物Ｐ１の端部と仮想的な視点１１０とのなす角であるから、実体としての回転カメラ１０１は左方向に視野を角度θｍ回転させることによって、人物Ｐ１による隠蔽領域の人物Ｐ２を反射鏡１０２を介して撮像することが可能になる。

さらに、反射鏡１０２による視点を移動することによって回転カメラ１０１の視野角が増加する。この視野角増加分θｒｍは、次式（４）によって算出される。

θｒｍ＝θｍ−θｒ …（４）

監視対象の人物Ｐ１、Ｐ２のＺ軸方向の間隔がＺｆｆであるとすると、反射鏡１０２による視点移動の効果によって得られる視野の増加分Ｘｒｍは、次の式（５）によって算出される。

Ｘｒｍ＝Ｚｆｆ＊ｔａｎθｒｍ …（５）

従って、Ｘｒｍが一般的な顔幅１５５ｍｍ以上になるように、通路に対して回転カメラ１０１を設置することにより、正像では監視対象人物Ｐ１によって隠蔽されていた監視対象人物Ｐ２の顔領域を反射鏡１０２を介した鏡像の撮像によって完全に監視できるようになる。

本実施形態においては、上記のように、撮像した画像から人間の標準的な顔を大きさＷｆを仮定でき、顔検出部１０２によって顔の視野角Φｆを算出できるため、これらから隠蔽推定部１０７によって上記各式を用いて人物Ｐ１による隠蔽領域を反射鏡１０２を介して撮像するための視線方向θｍを算出することができる。この視線方向θｍに応じて回転カメラ制御部１０８により回転カメラ１０１を制御することで、反射鏡１０２を介して隠蔽領域を撮像することが可能である。

次に、このようにして算出した回転角θｍで制御する回転カメラ１０１の回転範囲について説明する。図４は、第１の制御例として、反射鏡１０２を介して撮像する際の回転カメラ１０１の中心角θｒｃ１を−θｍに一致させる例を示している。この例は、回転カメラ１０１の制御速度が比較的遅く、隠蔽領域の時間的変化が大きいと予想される場合に適している。隠蔽領域の境界部分が回転カメラ１０１の視野角の中心になるよう制御することにより、隠蔽領域の人物が回転カメラ１０１の視野から外れる可能性を少なくすることができる。

一方、図５は、第２の制御例として、回転カメラ１０１の視野の一方の端を−θｍに一致させる例である。同図において、回転カメラ１０１の視野角をΨｃとしたとき、回転カメラ１０１の中心角θｒｃ２を、次式（６）で示す値に制御する。

θｒｃ２＝−θｍ＋Ψｃ／２ …（６）

この例は、回転カメラ１０１の制御速度が十分に速く、隠蔽領域の時間的変化が無視できるほど小さい場合に適しており、隠蔽領域に対して最大のカメラ視野を割り当てることにより、監視可能な隠蔽領域を最大にすることができる。

次に、回転カメラ１０１のズーム倍率の制御について説明する。このズーム倍率の制御は、隠蔽領域の人物Ｐ２を反射鏡１０２を介して撮像した際の顔画像の大きさを、直接撮像した人物Ｐ１の顔画像の大きさに等しくするために行うものである。図６は、隠蔽領域の人物Ｐ２を反射鏡１０２を介して撮像する際のズーム倍率の算出方法を説明するための図である。

図６において、人物Ｐ１を直接撮像した場合の光路長ｄｒは、次式（７）によって算出される。

ｄｒ＝√〔｛（Ｘｆ＋Ｗｆ／２）−Ｘｃ｝²＋Ｚｆ²〕 …（７）

一方、反射鏡１０２を介して隠蔽領域の人物Ｐ２を撮像する場合の光路長ｄｍは、次式（８）によって近似的に算出される。

ｄｍ＝（Ｚｆ＋Ｚｆｆ）／ｃｏｓθｍ …（８）

従って、式（８）によって算出される光路長ｄｍが、式（７）により算出されるｄｒに等しくなるようズーム倍率をｄｍ／ｄｒ倍に制御すれば、人物Ｐ２の顔画像の大きさを直接撮像した人物Ｐ１の顔画像の大きさとほぼ等しくすることができる。

図２のフローチャートの動作説明に戻る。ステップＳ１０６において取得した画像データは、反射鏡１０２によって左右が反転されているので、画像反転部１０４によって画像上で正像となるよう反転処理を行う（ステップＳ１０７）。

そして、反転処理を行った画像データに対し、ステップＳ１０２及びステップ１０３と同様に画像中に存在する人物の顔領域の検出（ステップＳ１０８）と、検出した顔画像を顔画像データベースに予め登録された監視対象人物の顔画像と照合する（ステップＳ１０９）。

ステップＳ１１０では、正像／鏡像統合部１０９により、ステップＳ１０２、Ｓ１０３における直接撮像した顔画像の検出・照合結果とステップＳ１０８、Ｓ１０９における反射鏡１０２を介して撮像した顔画像の検出・照合結果とを統合して、１人の人物に対して１つの検出・照合結果を選択する。このとき、ステップＳ１０２で検出した顔画像の三次元的な推定位置と、ステップＳ１０８で検出した顔画像の三次元的な推定位置とが近接している場合は、同一人物の顔画像であるとしていずれか一方を統合処理した結果とする。なお、二つの顔画像が同一人物のものであるか否かは、両顔画像の照合を行った際の類似度で判定することが可能である。また、二つの顔画像が同一人物のものであると判定された場合には、正面により近い角度で撮像された正像の顔画像を選択する。若しくは、顔画像データベースとの照合を行った結果で類似度がより高いと判定された方を選択するようにしてもよい。

ステップＳ１１０で統合処理を行った顔画像は、ディスプレイ装置等に出力して表示し、監視者の閲覧に供する（ステップＳ１１１）。

上述したように、本実施形態の顔検出照合装置では、パン、チルト及びズームの各機能を有する回転カメラ１０１と、回転カメラ１０１の前方に設置され、回転カメラ１０１で視点を変更した撮像を可能にする反射鏡１０２とを備える。まず、回転カメラ１０１により、監視領域を通行する人物Ｐ１、Ｐ２を直接撮像する。撮像した画像について顔検出部１０５で人物の顔領域を検出し、顔照合部１０６で顔画像データベースに予め登録された顔画像と照合する。次いで、隠蔽推定部１０７により、撮像した画像の顔領域の位置と回転カメラ１０１の視野角、及び顔の一般的な大きさから人物Ｐ１によって隠蔽されている人物Ｐ２の顔領域を推定し、隠蔽領域を反射鏡１０２を介して撮像するよう回転カメラ１０１のパン、チルト及びズームの制御を行う。反射鏡１０２を介して撮像した画像は、画像反転部１０４でその左右を反転し、人物の顔領域を検出して顔画像データベースと照合する。その後、正像／鏡像統合部１０９によって直接撮像した顔領域の画像と反射鏡１０２を介して撮像した顔領域の画像とを統合する。

これにより、監視領域を通行する複数の人物相互の隠蔽が回転カメラの設置時に特定できない場合であっても、顔の標準的な大きさを基にして隠蔽領域の空間的な位置を特定し、反射鏡１０２を介して撮像するための回転カメラ１０１の回転角を適切に制御することができる。従って、隠蔽領域の位置や移動状態に関わらず、人物相互の隠蔽を回避することができ、隠蔽される人物を含む複数の人物の顔検出及び顔照合が可能となる。また、本実施形態は、回転カメラと反射鏡とを用いる簡易な構成で実現可能であり、回転カメラの平行移動や反射鏡の回転、移動を行う機構を設ける必要が無く、顔検出照合装置を安価に構成できる。

なお、上記した実施形態の顔検出照合装置では、１つの回転カメラ１０１と１枚の反射鏡１０２を有する構成を示したが、これに限定されるものではない。例えば、監視領域の随所に上記実施形態と同様な回転カメラと反射鏡を複数設置する構成とすることも可能である。これにより、監視対象の人物相互の隠蔽による影響をより高い確率で回避し、人物の顔検出及び顔照合の精度を向上させることができる。

また、反射鏡１０２は、通路に対して垂直に設置する構成としたが、所定の角度で傾斜するように設置してもよい。これにより、回転カメラを天井に設置した場合の視点を下げることが可能となり、より浅い俯角で監視対象の人物の顔を検出、照合することができる。

本発明は、監視対象の人物が移動する場合など、カメラ設置時に隠蔽される領域が特定できない場合であっても、人物相互の隠蔽を回避して監視対象人物の検出、照合を行うことが可能となる効果を有し、カメラによって撮像された画像から人物の顔を検出、照合する顔検出照合装置等に有用である。

本発明の実施形態に係る顔検出照合装置の概略構成を示す図本実施形態の顔検出照合装置の動作手順を説明するためのフローチャート本実施形態に係る顔検出照合装置の回転カメラの制御を説明するための図であり、回転カメラと監視対象の人物の位置関係を示す俯瞰図本実施形態に係る顔検出照合装置の回転カメラの回転範囲を説明するための図であり、反射鏡を介して撮像する際の回転カメラの中心角を回転角に一致させる場合の第１の制御例を示す説明図本実施形態に係る顔検出照合装置の回転カメラの回転範囲を説明するための図であり、反射鏡を介して撮像する際の回転カメラの視野の一端を回転角に一致させる場合の第２の制御例を示す説明図本実施形態に係る顔検出照合装置において、隠蔽領域の人物を反射鏡を介して撮像する際のズーム倍率の算出方法を説明するための図

符号の説明

１０１回転カメラ
１０２反射鏡
１０３画像入力部
１０４画像反転部
１０５顔検出部
１０６顔照合部
１０７隠蔽推定部
１０８回転カメラ制御部
１０９正像／鏡像統合部

Claims

監視対象を撮像した画像から人物の顔を検出、照合する顔検出照合装置であって、
パン、チルトのうちの少なくとも一方の駆動機能を有する回転カメラと、
前記回転カメラで撮像可能な位置に設置された反射鏡と、
前記回転カメラによって撮像された画像から人物の顔を検出する顔検出部と、
前記回転カメラによって直接撮像された画像において、人物の顔によって隠蔽された隠蔽領域を推定する隠蔽領域推定部と、
前記隠蔽領域推定部で推定された隠蔽領域に対応させて、前記回転カメラのパン及びチルトの少なくとも一方による回転角度を制御する回転カメラ制御部と、
前記直接撮像された正像の顔画像と、前記反射鏡を介して撮像された鏡像の顔画像とを統合する正像／鏡像統合部と
を備える顔検出照合装置。
請求項１に記載の顔検出照合装置であって、
前記隠蔽領域推定部は、前記顔検出部で検出された人物の顔の撮像画像における位置と、前記回転カメラの視野角と、人の顔の標準的な大きさとから、前記隠蔽領域の空間的な位置を推定する顔検出照合装置。
請求項１に記載の顔検出照合装置であって、
前記隠蔽領域推定部は、前記隠蔽領域を前記反射鏡を介して撮像するための視線方向を算出し、
前記回転カメラ制御部は、前記回転カメラにより前記反射鏡を介して撮像する際に、前記回転カメラの中心角または前記回転カメラの視野角の一端を、前記視線方向に一致させるように回転制御する顔検出照合装置。
請求項１に記載の顔検出照合装置であって、
前記回転カメラはズーム機能を有し、
前記カメラ回転制御部は、前記反射鏡を介して撮像する際の前記回転カメラのズーム機能によるズーム倍率を調整する顔検出照合装置。