JP2004295775A

JP2004295775A - 画像認識装置および画像認識プログラム

Info

Publication number: JP2004295775A
Application number: JP2003090246A
Authority: JP
Inventors: Daisaku Horie; 大作保理江; Hironori Sumitomo; 博則墨友
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2003-03-28
Filing date: 2003-03-28
Publication date: 2004-10-21

Abstract

【課題】撮影距離が不明である場合や検出対象物体の個体差に対応することができる画像認識装置を提供する。
【解決手段】画像と検出対象物体を検出するためのテンプレートとの間の相対的な大きさを変化させ、複数の階層のそれぞれにおいて、画像とテンプレートとのマッチングをＨｏｕｇｈ変換により行なう。階層のそれぞれにおいて算出された投票値のピークに対してクラスタリングを行なうことでグループを作成し、それに基づき物体の検出を行なう。
【選択図】図１４

Description

【０００１】
【発明の属する技術分野】
この発明は画像認識装置および画像認識プログラムに関し、特に入力された画像に基づいて侵入者の監視、移動人物の計数、人物の在不在判定、装置の操作者などの状態把握、および認証のための人物領域切出しなどを行なう際に利用することができる画像認識装置および画像認識プログラムに関する。
【０００２】
【従来の技術】
従来より、画像中から人間の頭部と考えられる部分を検出することで、侵入者の監視、移動人物の計数、人物の在不在の判定、装置の操作者などの状態の把握、人物認証のための人物領域の切出しなどを行なう手法が知られている。
【０００３】
頭部検出の手法の１つとして、頭部を楕円と仮定して、楕円テンプレートによるＨｏｕｇｈ変換によって頭部を検出する技術が知られている。Ｈｏｕｇｈ変換に関しては、たとえば以下の特許文献１の技術が知られている。これは、顔抽出装置および顔抽出方法などに関する技術であり、複数サイズの楕円テンプレートを用いてＨｏｕｇｈ変換による頭部検出を行なうものである。
【０００４】
また、下記の特許文献２は、高階層（低解像度）で粗く検出した領域を、低階層（高解像度）で詳細に検出することで、検出性能および速度を向上させる技術を開示している。
【０００５】
以下に、Ｈｏｕｇｈ変換についての基本的な処理を説明する。
図２７は、ビデオカメラ、デジタルスチルカメラなどで得られた画像（入力画像）と、Ｈｏｕｇｈ変換で用いられる楕円（または円）のテンプレート画像との具体例を示す図である。
【０００６】
図２８に示されるように、この入力画像をエッジ画像に変換する処理が行なわれる。図２８のエッジ画像のエッジを示す画素のすべてに対して、以下の処理が行なわれる。
【０００７】
図２９を参照して、１つのエッジ画素を注目エッジ画素（図中黒抜きで示される画素）として、それを中心としてエッジ画像に対してテンプレート画像を重ね合わせる。このテンプレート画像を構成する画素（楕円または円を構成する画素）に一致する画素をテンプレート投票対象画素（図中ハッチングで示される画素）とし、その画素に投票（たとえば＋１など）を行なう。
【０００８】
図３０に示されるように、すべてのエッジ画素に対して投票を行ない、その投票値を集計することで、図３１に示されるような投票結果を示す画像を得ることができる。
【０００９】
図３１においては、色の濃い部分が投票数の多かった画素であり、色の薄い部分は投票数の少なかった画素である。投票値のピークは、人の楕円形の頭部の中心位置に集まり、これにより人物の頭部領域の存在とその位置とを知ることができる。
【００１０】
ところで、被写体までの撮影距離が固定ではなく、正確な距離情報の取得もできない場合には、同じサイズの頭部であっても撮影距離によって画像上での楕円のサイズは異なる。また、大人と子供などでは元々頭部サイズが異なる。さらに、頭部の輪郭形状は個人差があり、また顔の向きや傾きによっても変化する。これにより、ある単一の楕円テンプレートを用いただけでは、テンプレートと頭部形状とが一致しないことが多い。すなわち、撮影距離や頭部サイズの個体差に対応できずに、投票のピーク点が不明確となり、頭部の検出精度に劣化が生じるケースが存在する。
【００１１】
図３２および図３３はこのような問題を説明するために示された図である。
図３２に示されるように、人物の撮影距離が想定よりも近い場合のエッジ画像が得られたものとする。この場合、テンプレート画像の楕円のサイズよりも、得られたエッジ画像の楕円（頭部）のサイズのほうが大きくなってしまう。
【００１２】
エッジ画像の楕円よりも小さなサイズのテンプレート画像で投票が行なわれる結果、図３３に示されるように、投票のピークがぼけてしまい、楕円中心の検出が不可能となってしまうのである。
【００１３】
このような問題を解決するために、複数サイズの階層テンプレートや、複数解像度（複数サイズ）の階層画像を用いる技術が知られている（特許文献１など）。図３４は１つのエッジ画像に対して、複数サイズのテンプレートを用いる技術を示した図であり、図３５は、エッジ画像のサイズを複数に変換し、１つのテンプレート画像で検出を行なう技術を示した図である。
【００１４】
改良されたＨｏｕｇｈ変換においては、このように複数サイズのテンプレートや複数サイズの画像を利用することで、上述のような問題に対応している。
【００１５】
しかしながら、あらゆる撮影距離やあらゆる頭部サイズにも対応できるように、膨大な数の異なるサイズのテンプレートを用意したり、膨大な数の異なるサイズのエッジ画像を用意することは、メモリの容量的にも処理速度的にも現実的ではない。したがって、検出する頭部のサイズをある程度限定した上で、いくつかの限定された数のテンプレート（またはいくつかの限定された数の階層画像）でその範囲をカバーすることが現実的である。
【００１６】
【特許文献１】
特開２００１−２２２７１９号公報
【００１７】
【特許文献２】
特開平７−４９９４９号公報
【００１８】
【発明が解決しようとする課題】
上述のように、処理速度やメモリ容量などの関係上、予め用意するテンプレート画像やエッジ画像の階層数には限界がある。したがって、画像上での検出対象の頭部サイズとテンプレートサイズとが一致しない場合が多く発生し、依然として検出精度が不十分となる可能性がある。すなわち、いずれの階層においても、図３３に示されるようにＨｏｕｇｈ変換の投票ピークが不明瞭になるため、検出性能が低下するのである。
【００１９】
より具体的には、図３６を参照して、１つのエッジ画像に対して複数のテンプレート画像を用いた場合でも、入力されたエッジ画像内の頭部を示す楕円は、予め作成された階層テンプレートのうちのどの階層とも一致しない場合が生じうる。サイズの一致するテンプレートが、階層と階層との間に存在するような場合である（図中、破線のテンプレート）。すなわち、図３６においてテンプレートは４つ用意されているが、そのうち２つはテンプレートのほうが大き過ぎであり、他の２つはテンプレートのほうが小さ過ぎなのである。
【００２０】
同様の問題はエッジ画像のサイズを複数階層用意する場合にも考えられ、図３７に示されるように、エッジ画像のサイズを４つ用意するとしても、大きいほうの２つではテンプレートのほうが小さ過ぎ、小さいほうの２つではテンプレートのほうが大き過ぎ、テンプレートの楕円とサイズの一致する頭部は、階層と階層との間に存在する場合が生じうるのである（図中、破線のテンプレート）。
【００２１】
さらに、従来の技術においては以下のような問題がある。頭部を検出する場合に、仮に画像上の物体の移動領域、侵入領域を時間差分や背景差分を利用することで限定し、検出精度を上げることができたとしても、画像中には頭部の輪郭以外にも、顔の部位や服の模様などによるさまざまなエッジが存在する。このようなエッジに対してもＨｏｕｇｈ変換の投票がなされてしまうことで、局所的な投票ピークが多く発生してしまうのである。これにより、楕円の中心以外においても多く投票が行なわれ、楕円の中心以外を誤検出することがある。
【００２２】
より詳しくは、図３８に示される人物のエッジ画像に対してＨｏｕｇｈ変換が行なわれたときには、図３９に示されるように、目や口などの部位、服の模様や皺、ノイズなどによって、頭部の中心以外にも局所的な投票ピークが複数存在することとなる。また、投票値は位置変化に応じて連続的に変化することが多いため、頭部中心であると思われる投票ピークのみを抽出することが困難なのである。
【００２３】
この発明は上述の問題点を解決するためになされたものであり、撮影距離が不明である場合や頭部サイズの差異に柔軟に対応することができる画像認識装置および画像認識プログラムを提供することを第１の目的としている。
【００２４】
この発明はさらに、画像上の輪郭以外のエッジによって検出精度が低下することのない画像認識装置および画像認識プログラムを提供することを第２の目的としている。
【００２５】
【課題を解決するための手段】
上記目的を達成するためこの発明のある局面に従うと、画像認識装置は、画像を取得する取得手段と、画像とテンプレートとの間の相対的な大きさを変化させることで、画像とテンプレートの複数の組を作成する作成手段と、複数の組のそれぞれにおいて、画像とテンプレートとのマッチング度を算出する算出手段と、複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体を検出する検出手段とを備える。
【００２６】
この発明に従うと、画像とテンプレートとの間の相対的な大きさを変化させることで画像とテンプレートの複数の組が作成され、複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体が検出される。これにより、撮影距離が不明である場合や頭部サイズの差に柔軟に対応することができる画像認識装置を提供することが可能となる。
【００２７】
好ましくはマッチング度は、Ｈｏｕｇｈ変換により算出される。
この発明に従うと、Ｈｏｕｇｈ変換によりマッチング度を容易に算出することが可能となる。
【００２８】
好ましくは検出手段は、画像とテンプレートとの間の相対的な大きさを階層とし、階層方向を１つの軸としてマッチングの結果を並べた空間を作成する空間作成手段と、空間においてクラスタリングを行なうクラスタリング手段とを含む。
【００２９】
この発明に従うと、画像とテンプレートとの間の相対的な大きさに基づく階層方向を１つの軸としてマッチング結果を並べた空間を用い、クラスタリングが行なわれ、物体の検出が行なわれる。これにより、より精度よく物体の検出を行なうことができる画像認識装置を提供することが可能となる。
【００３０】
好ましくは取得手段は動画像を入力し、画像認識装置は、動画像に基づいてエッジ画像を作成するエッジ画像作成手段をさらに備え、作成手段は、エッジ画像を処理対象とする。
【００３１】
この発明に従うと、動画像を用い、物体の検出を行なうことができる画像認識装置を提供することが可能となる。
【００３２】
この発明のさらに他の局面に従うと、画像認識プログラムは、画像を取得する取得ステップと、画像とテンプレートとの間の相対的な大きさを変化させることで画像とテンプレートの複数の組を作成する作成ステップと、複数の組のそれぞれにおいて、画像とテンプレートとのマッチング度を算出する算出ステップと、複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体を検出する検出ステップとをコンピュータに実行させる。
【００３３】
【発明の実施の形態】
［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像認識装置を採用した監視装置の概略構成を示す図である。図１を参照して、監視装置１００は、カメラヘッド１２０と、コントロールボックス１０１とから構成される。カメラヘッド１２０は、撮影可能な範囲を撮影して画像を出力する電荷結合素子（ＣＣＤ）と、カメラの撮影方向を水平方向および垂直方向に変更するためのパン・ティルト駆動機構１２１と、撮影倍率を調整するズーム駆動機構１２２と、レンズ１２３とを含む。
【００３４】
コントロールボックス１０１は、監視装置１００の全体を制御するための中央演算装置（ＣＰＵ）１０２と、カメラヘッド１２０のＣＣＤが出力する画像を取込むための画像入力部１０３と、取込まれた画像を処理するための画像処理部１０５と、取込まれた画像または画像処理部１０５で処理された画像を保存するための画像記録部１０４と、ＣＰＵ１０２からの指示によりカメラヘッド１２０のパン・ティルト駆動機構１２１およびズーム駆動機構１２２とを制御するためのＰＴＺ（Ｐａｎ−Ｔｉｌｔ−Ｚｏｏｍ）制御部１０６と、時計を内蔵して時刻情報をＣＰＵ１０２に提供するタイマ１０８と、外部の情報通信端末やパーソナルコンピュータなどとローカルエリアネットワーク（ＬＡＮ）１３０を介して通信するための外部通信部１０７と、記録媒体１４０に記録されたプログラムやデータ等を読込み、または、記録媒体１４０に必要なデータを書込むための外部記憶装置１０９とを含む。
【００３５】
ＣＰＵ１０２は、予め内部に記憶しているプログラムを実行することにより、後述する監視処理を実行する。
【００３６】
画像入力部１０３は、カメラヘッド１２０のＣＣＤが出力する画像を受信し、画像記憶部１０４に送信する。
【００３７】
画像記録部１０４では、画像入力部１０３より受信する動画像を記録したり、静止画像を記録することが可能である。画像記録部１０４は、リングバッファであり、画像入力部１０３で入力された動画像を記録する場合には、現在の画像入力部１０３で受取られた画像から所定の期間遡った時間までの画像を記録することが可能である。画像記録部１０４は、背景画像も記録する。
【００３８】
ＰＴＺ制御部１０６は、ＣＰＵ１０２からの指示により、カメラヘッド１２０のパン・ティルト駆動機構１２１およびズーム駆動機構１２２を制御することにより、レンズ１２３で撮影する方向と、レンズ１２３の撮影倍率とを変更させる。カメラヘッド１２０の画角は、レンズ１２３で撮影する方向と、レンズ１２３の撮影倍率とにより定まる。したがって、ＰＴＺ制御部１０６は、カメラヘッド１２０の画角を制御する。
【００３９】
記憶装置１０９は、ＣＰＵ１０２からの指示により、コンピュータ読取可能な記録媒体１４０に記録されたプログラムやデータを読取ったり、監視装置１００に対して遠隔操作により設定される設定値等の必要な情報を書込む。
【００４０】
コンピュータ読取可能な記録媒体１４０は、磁気テープやカセットテープ、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等）、ＩＣカード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどの半導体メモリ等の固定的にプログラムを担持する媒体である。また、記録媒体１４０をネットワークからプログラムがダウンロードされるように流動的にプログラムを担持する記録媒体とすることもできる。
【００４１】
ここでいうプログラムとは、ＣＰＵ１０２により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む概念である。
【００４２】
外部通信部１０７は、ＬＡＮ１３０と接続されている。このため、ＬＡＮ１３０に接続されたパーソナルコンピュータ（ＰＣ）１１１とＣＰＵ１０２との間で通信が可能となっている。これにより、ＰＣ１１１のユーザは、カメラヘッド１２０を遠隔操作することが可能である。また、ＰＣ１１１のユーザは、カメラヘッド１２０を遠隔操作することにより、カメラヘッド１２０で撮影された画像をＰＣ１１１のディスプレイで見ることができる。さらに、監視装置１００が監視動作を行なう場合に必要な設定情報を、ＰＣ１１１から入力することができる。
このようにして、設定された設定値は記憶装置１０９に記憶される。
【００４３】
ＰＣ１１１に代えて、ＬＡＮ１３０とインターネット１３２を経由して接続されたＰＣ１３３、携帯電話またはＰＤＡ１３４からも、同様に、監視装置１００を遠隔操作することができる。
【００４４】
なお、外部通信部１０７をＬＡＮ１３０と接続する例を示したが、外部通信部１０７は、モデムを経由して一般公衆回線に接続するようにしてもよい。この場合、一般公衆回線に接続された他のＰＣから、監視装置１００を遠隔操作することが可能となる。
【００４５】
外部通信部１０７は、監視装置１００を使用する者を制限するために、ユーザＩＤやパスワードを用いた認証処理を行なうようにしている。これにより、監視装置１００を遠隔操作することのできる権限を有する者のみが、監視装置１００を遠隔操作することが可能となる。
【００４６】
なお、本実施の形態における画像認識装置を、パーソナルコンピュータなどにより構成することも可能である。
【００４７】
図２は、パーソナルコンピュータにより合成された画像認識装置のブロック図である。
【００４８】
図を参照して、画像認識装置は、装置全体の制御を行なうＣＰＵ６０１と、動画像または静止画像を入力するカメラ６２１と、プリンタ６０３と、画像の表示を行なうためのディスプレイ６０５と、外部ネットワークなどと接続するためのＬＡＮまたはモデムカード６０７と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクＦから情報を読取ったり、フレキシブルディスクＦに情報を記録するフレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭ６１３ａから情報を読取るＣＤ−ＲＯＭドライブ６１３と、大容量の記憶装置であるハードディスクドライブ６１５と、データを一時的に記憶するＲＡＭ６１７と、装置の基本的な動作などを記録するＲＯＭ６１９とから構成される。
【００４９】
図３は、本実施の形態における画像認識装置で実行される処理の一部の概略を説明するための図である。
【００５０】
本実施の形態においては、複数の解像度を持つ階層画像と、単一サイズのテンプレートとを用いてＨｏｕｇｈ変換を行なうことで、画像中から人間の頭部とその位置とを決定する。
【００５１】
図３を参照して、本実施の形態における画像認識装置では、入力される動画像フレームのうち、連続する２つのフレームに対して明度画像を作成し、予め設定した縮小倍率によって複数のサイズの明度画像（階層明度画像）を作成する。なお、階層数は予め決定しておくが、図３においては階層数をＮで示している。
【００５２】
各階層ごとに、連続する２つのフレームを用いてその時間差分画像（フレーム差分画像とも呼ばれる）を作成するとともに、時間的に後になるフレーム（図中のフレーム２）を用いて空間差分画像を作成している。
【００５３】
時間差分画像は、画素単位でフレーム間で画素値の差分を算出し、しきい値によって２値化することで画像中の変化領域のみを抽出するものである。
【００５４】
図４は、時間差分画像の作成手法を説明するための図である。図４の上部に示されるように３つのフレームの連続する画像が得られた場合においては、それらのうち連続するフレーム同士の差分を求めることで、図４の下に示されるような画像中の変化領域を求めるのである。
【００５５】
空間差分画像は、単一画像上における画素値変化を示したものであり、たとえばＳＯＢＥＬフィルタや２次微分フィルタなどの出力画像をしきい値処理したものである。本実施の形態においては、空間差分画像としてＳＯＢＥＬフィルタの出力を用いることとしている。
【００５６】
図５は、ＳＯＢＥＬフィルタの形状を示す図である。
ＳＯＢＥＬフィルタを用いることで、水平方向と垂直方向のそれぞれのフィルタ出力をもとに、エッジの強さと方向とを求めることができる。すなわち、水平ＳＯＢＥＬフィルタの出力をＦｓｈとし、垂直ＳＯＢＥＬフィルタの出力をＦｓｖとすると、エッジの強さＥは、
Ｅ＝（Ｆｓｈ^２＋Ｆｓｖ^２）^１／２
で表わされ、エッジの法線ベクトル（ｕ，ｖ）は、
（ｕ，ｖ）＝（Ｆｓｈ／Ｅ，Ｆｓｖ／Ｅ）
で表わされる。
【００５７】
なお、エッジの強さと方向とを算出できるものであれば、２次微分フィルタやブロックマッチングなどを利用した他のエッジ検出方法を採用するようにしてもよい。
【００５８】
また、時間差分や空間差分で用いられるしきい値は、予め経験的に設定したものであってもよいし、入力画像ごとに動的に算出するようにしてもよい。
【００５９】
図３に示されるように、時間差分画像と空間差分画像とのＡＮＤ画像をとることで、動いているエッジのみを抽出することが可能となる。ＡＮＤ画像は、時間差分画像と空間差分画像とに対して、画素ごとに論理積演算を行なったものであり、論理積画像とも呼ばれる。
【００６０】
このようにして求められたＡＮＤ画像をエッジ画像として用い、各階層ごとにＨｏｕｇｈ変換の投票処理を行ない、最終的に階層間の投票値の関係（画像とテンプレートとのマッチング度の関係）を利用して、投票値の多い投票ピークを楕円中心として検出する。
【００６１】
なお、本実施の形態においては、頭部の検出を容易に行なうために、図６に示されるように、投票を行なう際にエッジの方向またはエッジの法線方向に応じて投票を制御することを特徴としている。すなわち、本実施の形態においてはＳＯＢＥＬフィルタによって求めたエッジの法線方向を利用して、テンプレート上の投票位置を限定することにより、検出精度を高めている。
【００６２】
図６を参照して、注目エッジ画素Ｐ（＝楕円テンプレート中心）とテンプレート上の各投票対象画素Ｑとの間に、
ｃｏｓθ＜（ＰＱ・ｎ）／（｜ＰＱ｜｜ｎ｜）
の関係が成立する場合にのみ、画素Ｑの位置の投票（たとえば投票値に＋１）を行なう。
【００６３】
なお、上記の式において、ＰＱは点Ｐから点Ｑに向かうベクトルを示し、ｎはエッジの法線ベクトルを示し、θは法線方向からどれだけ離れた場所までを投票対象画素とするかを示す角度である。
【００６４】
なお、ｃｏｓθの値（またはそれに基づく値など）を投票値として加算するようにしてもよい。これは、エッジの法線方向から離れている度合いに応じて投票数を変更するものであり、法線方向に近い位置にある画素に対する投票の重みを、遠い位置にある画素に対する投票の重みよりも重くするものである。これにより、エッジの法線方向から離れた部分の投票数に対して、より楕円中心部分において投票数が多くなるようにすることができる。
【００６５】
図６に示されるように、注目エッジ画素のエッジ法線方向からある範囲の角度内にあるテンプレート画素（ハッチングで示される画素）のみに対して投票が行なわれる。これにより、楕円中心付近に投票が集中することとなり、また輪郭から一定距離離れた位置には線状に少ない数の投票がなされる。
【００６６】
これにより、図３８に示されるようなエッジ画像を処理したときに、図３９に示されるように投票値が各所に存在することがなくなり、図７に示されるように楕円の中心のみに投票ピークが集中する画像とすることができる。これにより、図８に示されるように、投票数のピークを楕円中心として容易に検出することが可能となる。
【００６７】
以上のようにして、本実施の形態によると投票位置をエッジの法線方向のみに限定することで、無駄な投票を削減して、投票値の大きさと投票のピーク度合いをもとに頭部中心位置の検出を行なうＨｏｕｇｈ変換において、誤検出を低減させることができる。
【００６８】
すなわち、楕円テンプレートをそのまま使用して投票した場合には、目や口などの部位、服の模様、皺、ノイズなど、微小エッジが集中する付近の投票値が高くなる傾向にある。投票値は楕円中心であってもある程度の連続性をもって変化するため、単純に投票ピークを選択するだけでは頭部中心のみを抽出することは困難であった。
【００６９】
これと比較して、本実施の形態においては法線方向付近のみを選択して楕円テンプレートを用いて投票を行なうため、楕円中心においては法線方向付近に限定しない場合とほぼ同程度の投票がされる。一方、その周囲での投票値はかなり減り、局所エッジが集中する位置の付近の投票に関しても、局所的に少量の投票ピークが発生するにとどまる。あとは、比較的長めのエッジに対して一定距離だけ離れた位置に線上に投票ピーク（投票数は低い）が現われるだけである。したがって、投票ピークのうちある程度投票値が多いもののみを選択することで、頭部中心のみを容易に検出することが可能となる。
【００７０】
これにより、顔部位や背景模様のエッジ、服の模様などによって発生するテクスチャエッジなどの影響による検出精度の低下を低減させることができる。
【００７１】
また、本実施の形態においては、複数サイズのエッジ画像を用いて検出を行なうが、このとき各階層間での関係を利用して、検出された頭部を示す楕円の候補をさらに絞り込むことで、最終的な頭部の候補の選出を行なうこととしている。
【００７２】
図９は、この概念を説明するための図である。図を参照して、左に示される３つの画像は、階層画像中のある連続した３階層に対する投票結果を示している。
【００７３】
画像中の楕円部分では、投票結果は点（投票ピーク）あるいは、理想的な投票ピーク位置に中心を有し、周上にある程度多い投票数を有する楕円形状となる。
このため、この画像を縮小することで隣接階層間で位置は変わらず投票値のみが変化する投票ピークを得ることができる（図９の右部分参照）。画像縮小によって投票数はある程度広い範囲ごとにまとめることができるからである。まとまった後の画像においては、頭部中心位置での投票ピークは、隣接階層間で位置が変化せず、投票数は階層方向になだらかに変化する。
【００７４】
一方、楕円以外のエッジやノイズなどに起因する局所的な投票に関しては、画像を縮小した場合に、投票ピークの位置が階層間で変化するか、階層間で連続して存在しないこととなる。このようなピークは除去することができる。
【００７５】
すなわち、本実施の形態においては画像を縮小した後に各階層ごとに検出した投票ピークが、階層方向に連続して存在する場合にのみ、それを頭部に起因するピークとして捕らえ、投票値の最も多い階層における投票ピークを頭部楕円の中心位置として検出している。
【００７６】
より詳しくは、図９を参照して、皺や模様などに起因する投票ピークについて、縮小画像では皺や模様が消えるため、投票ピークも消え、階層方向の投票ピークの連続性は低い。また、投票の際のサンプリングの粗さやノイズに起因する投票ピークに関しては、画像サイズによってピークの位置が変わったり、ピークが消滅したりするため、削除することが可能である。
【００７７】
このような処理によって、以下のような効果がある。
・撮影距離の違いや個人差によって画像上に生じる、頭部サイズの変化に対応して頭部検出を行なうことができる。
【００７８】
・離散的に限定された数のテンプレートまたは階層画像しか用いない場合においても、検出精度を大きく低下させずに頭部検出を行なうことができる。
【００７９】
・画像中のノイズに対する検出精度の低下を防ぐことができる。
次に図１０を参照して、説明を簡略化するため、楕円を円と仮定して頭部候補を絞り込む方法について説明する。なお、楕円では直径が長軸方向と短軸方向とで異なるため、ここでの説明においては、直径が単一である円として説明しているが、楕円の場合には、長軸の直径に合わせる、長軸と短軸の直径の平均を利用するなどすればよい。
【００８０】
図１０を参照して、階層が１つ異なれば、最終的に検出される頭部円の直径は、図１０の左半分に示すように、Ｄ×（１−Ｒ）だけ異なることになる（なお、ここにＤは、テンプレート円の直径サイズを示し、Ｒは画像の縮小率を示す）。したがって、Ｄ×（１−Ｒ）を縮小倍率として各階層での投票結果画像を縮小することで、本来円中心が検出されるべき階層およびその隣接する前後の階層において円中心位置に投票ピークを作成することができる。
【００８１】
投票画像の縮小方法においては、図１１に示すように、縮小前の画素値のすべての平均を取るように縮小することが望ましい。
【００８２】
すなわち、図１１においては、たとえばテンプレート円の直径がＤ＝３０画素で、階層間の縮小倍率がＲ＝０．９の場合に、投票画像の縮小率が３０×（１−０．９）＝３となった場合の例を示している。
【００８３】
このような処理の後に、各階層における投票ピーク点に対して、上下いずれかの隣接階層において、同じ位置付近に投票ピークが存在するピーク点のみを選択し、上下いずれにも同じ位置に投票ピーク点が存在しない場合、孤立ピークとして除去する。
【００８４】
図１２は、ピーク点の算出方法を説明するための図である。
図１２を参照して、Ａ０を中心として、Ａ１〜Ａ８から構成される３×３のマトリックスにおいて、以下のように、変数Ａ，Ｂ，Ｃを定義する。
【００８５】
Ａ＝｛Ｖｉ（ｉ＝１，２，…，８）＞Ｖ０となるｉの個数｝
Ｂ＝Ｖ０×Ｋ／Ｖｍａｘ
ピーク度Ｃ＝Ａ＋Ｂ
なお、
ＶｉはＡｉにおける投票値を示し、
Ｖｍａｘは、理想的な楕円の場合の楕円中心の投票値を示し、
Ｋは固定係数を示す。
【００８６】
ここで、Ｃ＞Ｔ_ｐｅａｋの場合、Ａ０をピーク点として選定する。ここに、変数Ｔ_ｐｅａｋは、注目画素Ａ０をピーク画素として選択するか否かを決定するためのしきい値である。計数ＫおよびＴ_ｐｅａｋは、テンプレート形状やノイズ量を考慮して決定する。
【００８７】
このようにして、図１３に示されるように、テンプレートに合致する楕円の中央部分にピーク点を得ることができる。
【００８８】
図１１の右半分に示される縮小された階層投票画像を、入力画像のサイズになるように正規化を行なうことでサイズ合わせを行ない、重ね合せることで、図１４に示されるような空間が作成される。この場合に、各階層ごとに縮小投票画像から検出された各投票ピーク点の縮小前の投票画像における位置を注目点として、階層投票画像を重ねた場合の楕円内部の投票値の総和をピーク点の持つ重みとして各ピーク点ごとに設定する。
【００８９】
上記図１０で説明したように、階層が１つ異なれば楕円の直径はＤ×（１−Ｒ）異なるため、階層内の一方向の距離と階層間の距離の概念を合わせるため、図１４右部分に示されるように各階層の間隔を設定する。
【００９０】
すなわち、図１４において、第１階層（入力画像と同サイズでの投票結果プレーン）から第５階層までの各階層間の距離は、Ｄ（１−Ｒ）、Ｄ（１−Ｒ）／Ｒ、Ｄ（１−Ｒ）／Ｒ^２、Ｄ（１−Ｒ）／Ｒ^３とされる。
【００９１】
これによって、図１４の空間中Ｘ方向（画像の横方向）、Ｙ方向（画像の縦方向）、Ｈ方向（階層方向）の３次元空間に、投票重みを有するピーク点が点在する状態を作り出すことができる。
【００９２】
この空間に対してクラスタリングを行ない、クラスタ内のサンプルの投票値の総和がある程度大きいクラスタのクラスタ中心のみを選択することで、この点を頭部中心として抽出する。クラスタリングの方式は、Ｋ平均法クラスタリング、自己収束型クラスタリングなど周知の技術を適用することができる。また、投票値を利用して処理速度や孤立点除去などにおいて修正を加えたものを用いてもよい。
【００９３】
図１４では、クラスタリングの結果、グループＡとグループＢとが検出されたクラスタとなっている。グループＡの投票総数は６５（＝２０＋３０＋１５）であるのに対して、グループＢでは１３（＝８＋５）となっている。カメラ画角、想定撮影距離範囲、テンプレート形状、画像上のノイズ量などによって理想的な頭部での投票数が経験的に決定でき、これをもとに決定したしきい値とクラスタ内の投票総数とを比較することで、より確からしいクラスタのクラスタ中心のみを頭部中心として選択することができる。
【００９４】
図１４の例では、たとえばしきい値を３０とすることで、グループＡは選択し、グループＢは除去することができる。
【００９５】
図１４に示すように、楕円などの投票値であれば、階層方向にほぼ同じ位置にピークが現われるが、図１５に示されるようにたとえば人物の首から肩にかけての滑らかな円弧を検出した場合には、そのピークは図１６に示されるように各階層において移動することとなる。各階層における位置の差が大きいときには、このようなピーク点は楕円の検出結果ではないとして削除される。
【００９６】
図１７は、本実施の形態における画像認識装置が実行する処理を示すフローチャートである。
【００９７】
ステップＳ１０１において、時刻Ｔ＝Ｔ０における初期フレーム画像を入力する。ステップＳ１０３において、この画像の階層明度画像を作成する。以降、新たなフレーム画像が入力されるごとに階層明度画像は作成される。ステップＳ１０５において残りの処理対象フレームがないかが判定され、ＮＯであればステップＳ１０７において時刻Ｔにおけるフレーム画像Ｆ（Ｔ）が入力され、ステップＳ１０９で頭部検出処理が行なわれる。
【００９８】
ステップＳ１１１において時刻ＴにΔＴが加算され、ステップＳ１０５へ戻る。
【００９９】
ステップＳ１０５でＹＥＳであれば、移動人物検出処理を終了する。
図１８は、図１７の頭部検出処理（Ｓ１０９）の詳細を示すフローチャートである。
【０１００】
図を参照して、ステップＳ２０１において階層エッジ画像が作成され、ステップＳ２０３でＨｏｕｇｈ変換の投票が行なわれる。ステップＳ２０５で、投票結果に基づいた楕円の中心を選択する処理が行なわれる。
【０１０１】
図１９は、図１８の階層エッジ画像作成処理（Ｓ２０１）の内容を示すフローチャートである。
【０１０２】
図を参照して、ステップＳ３０１において、画像Ｆ（Ｔ）に対する階層明度画像が作成される。ステップＳ３０３において、Ｆ（Ｔ）に対する階層明度画像と、Ｆ（Ｔ−１）に対する階層明度画像とを用いて、各階層ごとにフレーム差分画像を作成する。
【０１０３】
ステップＳ３０５において、Ｆ（Ｔ）に対する階層明度画像を用いて、各階層ごとにＳＯＢＥＬ画像とエッジ法線テーブルを作成する。
【０１０４】
ステップＳ３０６において、階層ごとにフレーム差分画像とＳＯＢＥＬ画像の論理積画像（ＡＮＤ画像）を作成する。
【０１０５】
この処理により、新たなフレーム画像のみに対して空間差分画像を、前の時刻のフレーム画像も利用することで時間差分画像を階層ごとに作成することができる。空間差分画像においては、エッジ法線方向も同時に求め、各画素ごとにエッジ法線方向が記述された画像上の２次元テーブルが作成される。このテーブルは、後の法線方向の利用時に使用される。
【０１０６】
図２０は、図１８の投票処理（Ｓ２０３）の内容を示すフローチャートである。
【０１０７】
図を参照して、ステップＳ４０１において、注目画素を画像中の最初のエッジ画素とし、ステップＳ４０３において、注目画素に基づいてテンプレート位置を設定する。
【０１０８】
ステップＳ４０５において、エッジ法線テーブルとテンプレートとを基に、投票対象画素を選択して、対象画素の投票数を１増加させる。
【０１０９】
ステップＳ４０７において次のエッジ画素を特定し、ステップＳ４０９で最後のエッジ画素であるかを判定し、ＮＯであればステップＳ４０３へ戻り、ＹＥＳであれば投票処理を終了する。
【０１１０】
このようにして、階層ごとに空間差分と時間差分の論理積を演算することで、階層エッジ画像が作成され、各階層ごとのエッジ画素に対してテンプレートを用いた投票が行なわれる。
【０１１１】
図２１は、図１８の楕円中心選択処理（Ｓ２０５）の内容を示すフローチャートである。
【０１１２】
図を参照して、ステップＳ５０１において投票画像の縮小が行なわれ、ステップＳ５０３でピーク点の検出が行なわれる。ステップＳ５０５でピーク点の選択（楕円中心でないと考えられるものを除外する処理）が行なわれ、ステップＳ５０７で、クラスタリングが行なわれる。
【０１１３】
このような処理により、階層間の関係を用いて頭部中心を検出することができる。また、投票においてはエッジ画像上の各画素を注目画素として設定したテンプレートを１画素ごとに走査しながら、テンプレート上の投票対象画素の位置の画素に対して投票を行なっていく。この際、上述したようにエッジの法線方向を利用して投票対象画素を制限して投票は行なわれる。
【０１１４】
各階層ごとの投票結果を縮小することで、楕円中心付近において投票ピークが階層方向に連続するようにした後に、投票ピークの検出が行なわれる。クラスタ内サンプルの投票総数がある程度大きなクラスタ中心のみが頭部中心として検出される。
【０１１５】
［第２の実施の形態］
本発明の第２の実施の形態における画像認識装置を用いた監視装置のハードウェア構成は第１の実施の形態におけるそれと同一であるため、ここでの説明は繰返さない。
【０１１６】
本実施の形態においては、入力画像と階層テンプレート画像とを用いて、Ｈｏｕｇｈ変換を行なうこととしている。
【０１１７】
図２２は、本実施の形態における画像認識装置の処理を説明するための図である。図に示されるように、時系列に入力された２つのフレームを用いて、時間差分画像と空間差分画像とを作成し、それからＡＮＤ画像を作成する。
【０１１８】
一方、予め設定された縮小倍率によって階層テンプレート画像を作成する。階層数は予め決定しておくが、図２２の例では階層数はＮとしている。
【０１１９】
各階層テンプレートを用いた投票画像は、各階層ごとに第１の実施の形態と同様に縮小後に投票ピーク点の抽出を行なう。投票ピークの階層間の連続性を用いて孤立ピークの除去を行なう。次に、図２３に示されるようにクラスタリング空間を作成し、クラスタリングによって頭部の中心を抽出する。このクラスタリング空間が第１の実施の形態のそれと異なるのは、階層番号の若いものほど、検出対象となる楕円サイズが大きいという点である。これにより、クラスタリング空間の第１階層から第５階層までの各階層間の間隔は、図２３の右に示されるものとなる。
【０１２０】
図２４は、本実施の形態における画像認識装置が行なう処理を示すフローチャートである。
【０１２１】
図を参照して、ステップＳ６０１で階層テンプレート画像の作成が行なわれ、ステップＳ６０３で時刻Ｔ＝Ｔ０におけるフレーム画像Ｆ（０）が入力される。
【０１２２】
ステップＳ６０５において、画像Ｆ（０）に対する明度画像の作成が行なわれ、ステップＳ６０７で残りの処理対象フレームがないかが判定される。
【０１２３】
ステップＳ６０７でＮＯであれば、ステップＳ６０９で時刻Ｔにおけるフレーム画像Ｆ（Ｔ）の入力が行なわれ、ステップＳ６１１で頭部の検出処理が行なわれる。ステップＳ６１３で時刻ＴにΔＴを加算する処理が行なわれ、ステップＳ６０７へ戻る。
【０１２４】
なお、ステップＳ６０７でＹＥＳであれば、移動人物検出処理を終了する。
図２５は、図２４の頭部検出処理（Ｓ６１１）を示すフローチャートである。
【０１２５】
図を参照して、ステップＳ７０１でエッジ画像の作成が行なわれ、ステップＳ７０３で投票が行なわれる。ステップＳ７０５において、楕円の中心を選択する処理が行なわれる。
【０１２６】
図２６は、図２５のエッジ画像作成処理（Ｓ７０１）を示すフローチャートである。
【０１２７】
図を参照して、ステップＳ８０１において、画像Ｆ（Ｔ）に対する明度画像の作成が行なわれる。ステップＳ８０３において、Ｆ（Ｔ）に対する明度画像と、Ｆ（Ｔ−１）に対する明度画像のフレーム差分画像の作成が行なわれる。ステップＳ８０５において、Ｆ（Ｔ）に対する明度画像に対する、ＳＯＢＥＬ画像作成とエッジ法線テーブルの作成が行なわれる。
【０１２８】
ステップＳ８０７において、フレーム差分とＳＯＢＥＬ画像の論理積画像の作成が行なわれる。
【０１２９】
なお、図２５における投票処理（Ｓ７０３）、および楕円中心選択処理（Ｓ７０５）は、第１の実施の形態における図２０および図２１で示される処理と同じであるためここでの説明は繰返さない。
【０１３０】
第２の実施の形態においても、第１の実施の形態と同様に、精度よく物体の検出を行うことができるという効果がある。
【０１３１】
なお、上述の実施の形態におけるフローチャートの処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードさせるようにしてもよい。
【０１３２】
また、上述の実施の形態における処理はソフトウェアにより実行することとしてもよいし、ハードウェア回路を用いて実行するようにしてもよい。
【０１３３】
また、上述の実施の形態における装置などはネットワークに接続された環境においても、接続されていない環境においても適用することができる。
【０１３４】
［発明の他の構成例］
上記実施の形態には、以下の発明が含まれている。
【０１３５】
（１）画像を取得する取得ステップと、
前記画像とテンプレートとの間の相対的な大きさを変化させることで、画像とテンプレートの複数の組を作成する作成ステップと、
前記複数の組のそれぞれにおいて、画像とテンプレートとのマッチング度を算出する算出ステップと、
前記複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体を検出する検出ステップとを含む、画像認識方法。
【０１３６】
（２）画像を取得する取得ステップと、
前記画像とテンプレートとの間の相対的な大きさを変化させることで、画像とテンプレートの複数の組を作成する作成ステップと、
前記複数の組のそれぞれにおいて、画像とテンプレートとのマッチング度を算出する算出ステップと、
前記複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体を検出する検出ステップとをコンピュータに実行させる、画像認識プログラムを記録した、コンピュータ読取可能な記録媒体。
【０１３７】
（３）前記マッチング度は、Ｈｏｕｇｈ変換により算出される、（１）または（２）に記載の画像認識方法、または記録媒体。
【０１３８】
（４）前記検出ステップは、
画像とテンプレートとの間の相対的な大きさを階層とし、階層方向を１つの軸として前記マッチングの結果を並べた空間を作成する空間作成ステップと、
前記空間においてクラスタリングを行なうクラスタリングステップとを含む、
（１）〜（３）のいずれかに記載の画像認識方法、または記録媒体。
【０１３９】
（５）前記取得ステップは動画像を入力し、
前記動画像に基づいてエッジ画像を作成するエッジ画像作成ステップをさらに備え、
前記作成ステップは、前記エッジ画像を処理対象とする、（１）〜（４）のいずれかに記載の画像認識方法、または記録媒体。
【０１４０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１４１】
【発明の効果】
以上のようにして本発明においては、撮影距離が不明である場合や認識対象物のサイズ変化に対応することができる画像認識装置およびプログラムを提供することが可能となる。
【０１４２】
また、本発明によると、輪郭以外の不要エッジによって大きく検出性能が低下することのない画像認識装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像認識装置を採用した監視装置の構成を示すブロック図である。
【図２】監視装置の他の構成例を示す図である。
【図３】第１の実施の形態における処理の流れを示す図である。
【図４】時間差分画像の作成方法を説明するための図である。
【図５】空間差分画像を作成するためのフィルタを示す図である。
【図６】エッジの法線方向を利用してテンプレート上の投票位置を限定する方法を説明するための図である。
【図７】図６の手法による効果を説明するための図である。
【図８】楕円中心の検出方法を説明するための図である。
【図９】階層間での関係を利用して物体の検出を行なう手法について説明するための図である。
【図１０】頭部候補を絞り込む方法について説明するための図である。
【図１１】画像の縮小方法を説明するための図である。
【図１２】ピーク点の決定方法を説明するための図である。
【図１３】ピーク点を説明するための図である。
【図１４】クラスタリングを行なうための空間を示す図である。
【図１５】頭部以外のピーク点の除外方法を説明するための第１の図である。
【図１６】頭部以外のピーク点の除外方法を説明するための第２の図である。
【図１７】第１の実施の形態における移動人物検出処理を示すフローチャートである。
【図１８】図１７の頭部検出処理（Ｓ１０９）を示すフローチャートである。
【図１９】図１８の階層エッジ画像作成処理（Ｓ２０１）を示すフローチャートである。
【図２０】図１８の投票処理（Ｓ２０３）を示すフローチャートである。
【図２１】図１８の楕円中心選択処理（Ｓ２０５）を示すフローチャートである。
【図２２】第２の実施の形態における画像認識処理を示す図である。
【図２３】第２の実施の形態において作成されるクラスタリングのための空間を示す図である。
【図２４】第２の実施の形態における移動人物検出処理を示すフローチャートである。
【図２５】図２４の頭部検出処理（Ｓ６１１）を示すフローチャートである。
【図２６】図２５のエッジ画像作成処理（Ｓ７０１）を示すフローチャートである。
【図２７】入力画像とテンプレート画像との具体例を示す図である。
【図２８】図２７の画像から作成されるエッジ画像の具体例を示す図である。
【図２９】図２８の画像に対してＨｏｕｇｈ変換による投票が行なわれる過程を示す図である。
【図３０】投票値の加算手法を説明するための図である。
【図３１】投票結果を説明するための図である。
【図３２】Ｈｏｕｇｈ変換の問題点を示す第１の図である。
【図３３】Ｈｏｕｇｈ変換の問題点を示す第２の図である。
【図３４】図３２および図３３に示される問題を解決するための手法を示す図である。
【図３５】図３２および図３３に示される問題を解決するための手法を示す図である。
【図３６】図３４の手法の問題点を説明するための図である。
【図３７】図３５の手法の問題点を説明するための図である。
【図３８】エッジ画像の具体例を示す図である。
【図３９】Ｈｏｕｇｈ変換の問題点を説明するための図である。
【符号の説明】
１００監視装置、１０１コントロールボックス、１０２ＣＰＵ、１０３画像入力部、１０４画像記録部、１０５画像処理部、１０６ＰＴＺ制御部、１０７外部通信部、１０８タイマ、１０９記憶装置、１２０カメラヘッド、１２１パン・ティルト駆動機構、１２２ズーム駆動機構、１２３レンズ、１３２インターネット、１４０記録媒体。

Claims

画像を取得する取得手段と、
前記画像とテンプレートとの間の相対的な大きさを変化させることで、画像とテンプレートの複数の組を作成する作成手段と、
前記複数の組のそれぞれにおいて、画像とテンプレートとのマッチング度を算出する算出手段と、
前記複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体を検出する検出手段とを備えた、画像認識装置。
前記マッチング度は、Ｈｏｕｇｈ変換により算出される、請求項１に記載の画像認識装置。
前記検出手段は、
画像とテンプレートとの間の相対的な大きさを階層とし、階層方向を１つの軸として前記マッチングの結果を並べた空間を作成する空間作成手段と、
前記空間においてクラスタリングを行なうクラスタリング手段とを含む、請求項１または２に記載の画像認識装置。
前記取得手段は動画像を入力し、
前記動画像に基づいてエッジ画像を作成するエッジ画像作成手段をさらに備え、
前記作成手段は、前記エッジ画像を処理対象とする、請求項１〜３のいずれかに記載の画像認識装置。
画像を取得する取得ステップと、
前記画像とテンプレートとの間の相対的な大きさを変化させることで、画像とテンプレートの複数の組を作成する作成ステップと、
前記複数の組のそれぞれにおいて、画像とテンプレートとのマッチング度を算出する算出ステップと、
前記複数の組のそれぞれにおいて算出されたマッチング度を用いることで物体を検出する検出ステップとをコンピュータに実行させる、画像認識プログラム。