JP2005149144A - 物体検出装置、物体検出方法、および記録媒体 - Google Patents

Abstract

【課題】画像の中から目標の物体を従来よりも確実にかつ高速に検出する。
【解決手段】画像の中から目標の物体を検出する人体検出装置１に、人のモデルの輪郭の一部または部位を表す１つまたは複数の開曲線からなるテンプレートＴＰを記憶するテンプレート記憶部１０２と、検出の対象とする画像を入力する画像データ受信部１０１と、入力された画像に対してテンプレートＴＰによるマッチングを行うことによって、その画像の中から人を検出する頭部位置検出部１０３と、を設ける。
【選択図】図３

Description

本発明は、画像の中から目標の物体を検出する物体検出装置および方法に関する。

従来より、画像の中から目標の物体を検出するための様々な方法が提案されている。例えば、画像の中から人間の頭部を検出する方法として、特許文献１〜３に記載されるような方法が提案されている。

特許文献１に記載される方法によると、人間の頭部を楕円形と見立て、楕円テンプレートを用いて、ハフ（Ｈｏｕｇｈ）変換の一種である投票処理（以下、「Ｈｏｕｇｈ変換法」と記載することがある。）によって画像の中から人間の頭部（楕円形状）を検出する。

特許文献２に記載される方法によると、楕円形状の一部を重視したテンプレートを用いて画像の中から頭部（楕円形状）を検出する。このようなテンプレートを用いることによって、検出対象である頭部の一部にオクルージョンが生じている場合であっても、頭部（楕円形状）を検出することができる。

特許文献３に記載される方法によると、人物の輪郭上の複数の点においてエッジの方向性を特徴量として算出し、これらの特徴量を総合評価することによって人体を検出する。

しかし、特許文献１に記載される方法では、検出対象である頭部の一部にオクルージョンが生じている場合には、頭部を上手く検出することができないことが多い。つまり、このような場合には、頭部の検出精度が低下する。

特許文献２に記載される方法では、上述の通りオクルージョンが生じている場合であっても頭部を検出することができるが、テンプレートが複雑であるために、処理時間が掛かる。

特許文献３に記載される方法では、互いに異なる方向性を示す複数のエッジが必要であり、やはり、処理時間が掛かってしまう。
特開２００１−２２２７１９号公報 特開平９−３５０６９号公報 特開２００１−１７５８６８号公報

本発明は、上記の問題点に鑑み、画像の中から目標の物体を従来よりも確実にかつ高速に検出することを目的とする。

本発明に係る物体検出装置は、画像の中から目標の物体を検出する物体検出装置であって、前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線からなるテンプレートを記憶するテンプレート記憶手段と、検出の対象とする画像を入力する画像入力手段と、入力された画像に対して前記テンプレートによる固定形状とのマッチング度を算出することによって、当該入力された画像の中から前記物体を検出する検出手段と、を有することを特徴とする。

または、入力された画像のエッジ画像を生成するエッジ画像生成手段と、生成された前記エッジ画像のそれぞれの位置に前記テンプレートを重ね合わせた際の、当該エッジ画像のエッジと当該テンプレートの前記１つまたは複数の開曲線とが重なった画素の個数の多さに基づいて、前記物体を検出する検出手段と、を有する。

または、前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線および当該モデルの所定の位置を示すポイントからなりかつ当該ポイントを中心に当該１つまたは複数の開曲線を半回転させてなるテンプレートを用いてＨｏｕｇｈ変換法によって前記物体を検出する。

テンプレートとして、特に、形状が特徴的であり、物体全体に対するサイズが小さく、かつ動作中の形状の変動の小さい部分の固定形状を用いるのが望ましい。例えば、検出の目標物が歩いている人である場合は、頭部の上半分、肩、顎、耳、または股下、目、眉毛、鼻、または口などの輪郭または形状をしたテンプレートを用いるのが望ましい。または、左右の肩をそれぞれ表す２本の線からなるテンプレートまたは鼻および左右の耳をそれぞれ表す３本の線からなるテンプレートのように、複数の線からなるテンプレートを用いてもよい。オクルージョンが生じるような状況でも、物体の特徴が表れるものが望ましい。

本発明によると、画像の中から目標の物体を従来よりも確実にかつ高速に検出することができる。

〔第一の実施形態〕
図１は監視システム１００の全体的な構成の例を示す図、図２は人体検出装置１のハードウェア構成の例を示す図、図３は人体検出装置１の機能的構成の例を示す図、図４はビデオカメラ２で撮影して得られた画像Ｇの例を示す図、図５はテンプレートＴＰ１、ＴＰ２の例を示す図、図６はテンプレートＴＰ１、ＴＰ２の作成方法の例を説明する図、図７は頭部位置検出部１０３の構成の例を示す図、図８は上半身画像ＧＫの例を示す図、図９はエッジ画像作成処理の流れの例を説明するフローチャート、図１０はＳＯＢＥＬフィルタについて説明する図、図１１はエッジ画像ＧＥの例を示す図、図１２はテンプレートマッチング処置の流れの例を説明するフローチャート、図１３は２人の歩行者Ｈが写っている場合のエッジ画像ＧＥおよび検出された頭部の位置の例を示す図である。

図１に示すように、監視システム１００は、本発明に係る人体検出装置１、ビデオカメラ２、および通信回線３などによって構成される。人体検出装置１とビデオカメラ２とは、通信回線３を介して互いに接続されている。通信回線３として、ＬＡＮ、公衆回線、専用線、またはインターネットなどが用いられる。

ビデオカメラ２は、ＣＣＤなどのイメージセンサ、光学系、外部の装置とデータの送受信を行うためのインタフェース、および制御用回路などを備えており、撮影によって得られた画像を画像データ７０として人体検出装置１に送信する。

このビデオカメラ２は、店舗、地下街、ビル、またはイベント会場などの施設の通路または出入口、繁華街、または銀行のＡＴＭコーナなどのように、人が通行しまたは訪れる場所の天井などに設置される。以下、ビデオカメラ２が施設の通路ＳＴに設置され、その通路ＳＴの様子を監視するために使用される場合を例に説明する。

人体検出装置１は、図２に示すように、ＣＰＵ１ａ、ＲＡＭ１ｂ、ＲＯＭ１ｃ、磁気記憶装置（ハードディスク）１ｄ、通信インタフェース１ｅ、表示装置１ｆ、およびマウスまたはキーボードなどの入力装置１ｇなどによって構成される。

磁気記憶装置１ｄには、図３に示すような画像データ受信部１０１、テンプレート記憶部１０２、頭部位置検出部１０３、頭部画像表示部１０４、および頭部画像保存部１０５などの機能を実現するためのプログラムおよびデータがインストールされている。これらのプログラムおよびデータは必要に応じてＲＡＭ１ｂにロードされ、ＣＰＵ１ａによってプログラムが実行される。

この人体検出装置１は、施設の管理室などに設置されており、警備員が管理室に居ながら通路ＳＴの様子を監視するために使用される。また、ビデオカメラ２によって撮影された画像に写っている通行人の頭部を検出し、頭部を拡大表示しまたは頭部の画像（映像）を保存しておくことができる。人体検出装置１として、ワークステーションまたはパーソナルコンピュータなどが用いられる。

以下、ビデオカメラ２で撮影された画像から歩行者の頭部を検出する際の、図３に示す人体検出装置１の各部の処理内容などについて説明する。

画像データ受信部１０１は、ビデオカメラ２から送信されてきた画像データ７０を受信する。これにより、ビデオカメラ２の撮影速度に応じたフレーム数（コマ数）の、図４に示すような画像Ｇ（映像）が得られる。

テンプレート記憶部１０２は、画像Ｇに写っている歩行者Ｈの頭部の位置を検出するために使用する、図５に示すようなテンプレートＴＰを記憶する。図５（ａ）のテンプレートＴＰ１は人の頭部の上半分の形状（半楕円形）をしたテンプレートであり、図５（ｂ）のテンプレートＴＰ２は人の両肩の形状をしたテンプレートである。これらのテンプレートＴＰは、例えば、次のようにして作成される。

まず、通路ＳＴの基準位置Ｌ１（図１参照）にモデルとなる人を立たせ、ビデオカメラ２によって撮影を行う。モデルとなる人は、標準的な体型であることが望ましい。図６（ａ）に示すように、撮影によって得られた画像の中のモデルの輪郭部分に注目する。

輪郭部分の中から頭部の上半分を示す１本の開曲線および両肩を示す２本の開曲線をそれぞれエッジＥＧ１、ＥＧ２（以下、「エッジＥＧ」と総称することがある。）として抽出する。この際に、エッジＥＧ１、ＥＧ２から離れた所定の位置をそれぞれ基準点ＣＴ１、ＣＴ２として定めておき、この基準点ＣＴ１、ＣＴ２もエッジＥＧ１、ＥＧ２とともに抽出する。これにより、図６（ｂ）（ｃ）に示すようなテンプレート画像が得られる。なお、基準点ＣＴ１、ＣＴ２をそれぞれエッジＥＧ１、ＥＧ２上の所定の位置に定めてもよい。

また、テンプレートＴＰには、そのテンプレートＴＰの基準点からモデルの頭部の中心ＣＴ０までのベクトルを示す位置関係情報ＳＩが対応付けられている。テンプレートＴＰ２の位置関係情報ＳＩは、図６（ａ）に示すベクトルα２となる。テンプレートＴＰ１の位置関係情報ＳＩは、中心ＣＴ０と基準点ＣＴ１とが重なっているので、０ベクトルとなる。位置関係情報ＳＩは、後に説明するテンプレートマッチングの際に位置のずれを直すため（オフセット（ＨＯＦＦＳＥＴまたはＶＯＦＦＳＥＴ）の調整のため）に用いられる。このようにして、テンプレートＴＰ１、ＴＰ２が作成される。

図３に戻って、頭部位置検出部１０３は、図７に示すように、上半身画像抽出部２０１、エッジ画像生成部２０２、および中心探索部２０３などによって構成される。このような構成により、通路ＳＴを通行する歩行者Ｈの頭部の位置を求める処理を行う。

上半身画像抽出部２０１は、画像データ受信部１０１によって得られた画像Ｇから歩行者Ｈの上半身が写っていると想定される所定の画像領域（図４の点線で囲んだ領域）を抽出し、抽出した上半身の画像領域を所定の倍率で拡大する。これにより、図８に示すように、通路ＳＴを通行している歩行者Ｈの上半身画像ＧＫが得られる。

エッジ画像生成部２０２は、図９に示すような手順で、上半身画像抽出部２０１で得られた上半身画像ＧＫのエッジ画像（輪郭画像）を生成する。

図９に示すように、まず、その上半身画像ＧＫおよびそれより前の時刻の上半身画像ＧＫ’についてそれぞれ明度画像（濃淡画像）を生成する（＃１０１）。これら２つの明度画像の互いに対応する画素同士の差分（フレーム差分）を求める。つまり、時間差分を求め、時間差分画像を生成する（＃１０２）。これと並行してまたは前後して、上半身画像ＧＫの明度画像の中の、明度の変化の強さ（エッジの強さ）を示す空間差分画像を生成する（＃１０３）。空間差分画像は、明度画像の各画素Ｐｉｊおよびその周辺の画素Ｐについて、図１０に示すように、上半身画像ＧＫに対し、水平ＳＯＢＥＬフィルタおよび垂直ＳＯＢＥＬフィルタをそれぞれ掛け、得られた画像ＦｓｈおよびＦｓｖを下記の（１）式に代入することによって求められる。

ただし、Ｆｓｈは水平ＳＯＢＥＬフィルタによる出力結果であり、Ｆｓｖは垂直ＳＯＢＥＬフィルタによる出力結果である。

ステップ＃１０２、＃１０３でそれぞれ求められた時間差分画像および空間差分画像の互いに対応する画素同士の論理積を算出する（＃１０４）。これにより、図１１に示すような上半身画像ＧＫのエッジ画像ＧＥが生成される。なお、図１１および後に説明する各図のエッジ画像ＧＥは、見やすくするために、白黒を反転させている。

図７に戻って、中心探索部２０３は、テンプレートＴＰによるテンプレートマッチングを行うことによって、歩行者Ｈの頭部の中心を探索する。係る探索は、図１２に示すような手順で行われる。ここでは、図５（ａ）のテンプレートＴＰ１を使用する場合を例に説明する。

図１２に示すように、カウンタを「０」にリセットする（＃１１２）。図５（ａ）のテンプレートＴＰ１の点ＡＰ１と図１１のエッジ画像ＧＥのいずれかの隅の画素（例えば左上の隅の画素）とが一致するように、テンプレートＴＰ１をエッジ画像ＧＥに重ね合わせる。エッジ画像ＧＥのエッジＲＮ（輪郭線）とテンプレートＴＰ１のエッジＥＧとが重なる画素（マッチング対象画素）の個数をカウントし、カウンタに代入する（＃１１３）。

カウンタの値が閾値を超えた場合は（＃１１４でＹｅｓ）、テンプレートＴＰ１の基準点ＣＴ１と重なったエッジ画像ＧＥの画素を、歩行者Ｈの頭部の中心または中心付近であると判別する（＃１１５）。

ステップ＃１１２に戻って、エッジ画像ＧＥに重ねられたテンプレートＴＰ１を１画素分ずつスライドさせながら、エッジ画像ＧＥ全体について上記のステップ＃１１２〜＃１１５の処理を順次実行する（＃１１１でＮｏ）。

このようにして、歩行者Ｈの頭部の位置を見つけることができる。なお、図１３に示すような前後に並んで歩いている歩行者Ｈが２人写っているエッジ画像ＧＥに対して図１２の処理を実行すると、図１３の中に黒点で示すように、歩行者Ｈの頭部の位置が２箇所見つけられる。

また、図５（ｂ）のテンプレートＴＰ２を使用してテンプレートマッチングを行う場合は、図１２のステップ＃１１５において頭部の中心を求める際に、位置関係情報ＳＩが適用される。すなわち、カウンタの値が閾値を超えた場合に（＃１１４でＹｅｓ）、テンプレートＴＰ２の基準点ＣＴ２と重なったエッジ画像ＧＥの画素を見つける。この画素は、胸の中心（両肩の中間）辺りの位置を指している。そこで、この画素から位置関係情報ＳＩに示されるベクトルα２だけ移動した位置（画素）を、歩行者Ｈの頭部の中心または中心付近の位置であると判別する。

図３に戻って、頭部画像表示部１０４は、頭部位置検出部１０３による検出（探索）結果に基づいて、画像Ｇより歩行者Ｈの頭部の領域を抽出して拡大し、これを拡大画像として表示装置１ｆ（図２参照）に表示する。これにより、監視員は、歩行者Ｈを容易に特定することができる。また、頭部画像保存部１０５は、歩行者Ｈの頭部の拡大画像を磁気記憶装置１ｄまたは外部の記録媒体（ＤＶＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒなど）に保存（録画）する。

図１４は第一の実施形態における人体検出装置１の処理の流れの例を説明するフローチャート、図１５は頭部検出処理の流れの例を説明するフローチャートである。次に、通路ＳＴの監視を行う際の人体検出装置１の処理の流れを、フローチャートを参照して説明する。

図１４に示すように、通路ＳＴの監視を開始すると、人体検出装置１は、まず、時刻Ｔ＝Ｔ０におけるビデオカメラ２のフレーム画像（画像Ｇ）を入力し（＃１１）、その画像の明度画像を作成する（＃１２）。

次の時刻（例えば撮影速度が毎秒３０フレームであれば１／３０秒後）の画像Ｇを入力し（＃１４）、その画像Ｇから歩行者Ｈの頭部を検出する処理を行う（＃１５）。すなわち、図１５に示すように、その画像Ｇに写っている歩行者Ｈの輪郭（エッジ）を抽出してエッジ画像ＧＥを生成し（＃２１）、そのエッジ画像ＧＥに対してテンプレートマッチングを行う（＃２２）。エッジ画像ＧＥを生成する手順およびテンプレートマッチングの手順は、それぞれ、図９および図１２で説明した通りである。

このようにテンプレートマッチングを行った結果、画像Ｇのいずれの位置に歩行者Ｈが写っているのかが検出される。なお、画像Ｇに歩行者Ｈが写っていない場合は、エッジ画像ＧＥは得られない（真っ黒な画像になる）ので、当然、テンプレートマッチングを行っても歩行者Ｈは検出されない。

以下、ビデオカメラ２によって画像Ｇが入力されるごとに、順次、ステップ＃１４、＃１５の処理を繰り返す（＃１３でＮｏ）。このようにして、通路ＳＴを通行する歩行者Ｈの頭部を捉えることができる。
〔第二の実施形態〕
図１６は第二の実施形態における人体検出装置１Ｂの機能的構成の例を示す図、図１７は第二の実施形態におけるテンプレートＴＰ１ｋ、ＴＰ２ｋの例を示す図、図１８は頭部位置検出部１２３の構成の例を示す図、図１９は投票処理の流れの例を説明するフローチャート、図２０は投票処理の際のテンプレートとのマッチングの方法を説明する図、図２１は投票処理を行ったときのエッジ画像ＧＥとテンプレート画像との重なりの例を示す図、図２２は得票数を表した濃淡画像の例を示す図、図２３は２人の歩行者Ｈが写っている場合のエッジ画像ＧＥに対するテンプレートとのマッチングの例を示す図、図２４は図１７（ｂ）のテンプレートＴＰ２ｋを使用した場合のマッチングの例を示す図である。

第一の実施形態では、テンプレートＴＰのエッジＥＧ（図５参照）とエッジ画像ＧＥのエッジＲＮ（図１１参照）との交点の数に基づいて歩行者Ｈの頭部の検出した。第二の実施形態では、Ｈｏｕｇｈ変換法（投票処理）を用いて歩行者Ｈの頭部を検出する。

第二の実施形態における監視システム１００の全体構成および人体検出装置１Ｂのハードウェア構成は、第一の実施形態の場合と同様である（図１、図２参照）。ただし、人体検出装置１Ｂの磁気記憶装置１ｄには、図１６に示す画像データ受信部１２１、テンプレート記憶部１２２、頭部位置検出部１２３、頭部画像表示部１２４、および頭部画像保存部１２５などの機能を実現するためのプログラムおよびデータがインストールされている。以下、第一の実施形態の場合と異なる機能および処理内容などを中心に説明する。第一の実施形態の場合と同様の機能および処理内容については、説明を省略する。

画像データ受信部１２１は、第一の実施形態の画像データ受信部１０１（図３参照）と同様に、図４に示すような画像Ｇのデータ（画像データ７０）を受信する。テンプレート記憶部１２２は、図１７に示すようなテンプレートＴＰ（ＴＰ１ｋ、ＴＰ２ｋ）を記憶する。テンプレートＴＰ１ｋ、ＴＰ２ｋは、それぞれ、図５のテンプレートＴＰ１、ＴＰ２を、基準点ＣＴ１、ＣＴ２を中心に半回転（１８０度回転）させることによって作成される。位置関係情報ＳＩは第一の実施形態のものがそのまま用いられる。

頭部位置検出部１２３は、図１８に示すように、上半身画像抽出部３０１、エッジ画像生成部３０２、投票処理部３０３、および中心決定部３０４などによって構成され、通路ＳＴを通行する歩行者Ｈの頭部の位置を求める処理を行う。

上半身画像抽出部３０１およびエッジ画像生成部３０２は、図７に示す第一の実施形態の上半身画像抽出部２０１およびエッジ画像生成部２０２と同様の処理を行い、図１１に示すようなエッジ画像ＧＥを生成する。

投票処理部３０３は、図１９に示すような手順で投票処理を実行することにより、エッジ画像ＧＥの各画素について歩行者Ｈの頭部の中心らしさを示す度合い（以下、「中心度」と記載する。）を求める。ここでは、図１７（ａ）のテンプレートＴＰ１ｋを使用する場合を例に説明する。

図１９に示すように、まず、エッジ画像ＧＥの各画素にそれぞれカウンタを設定し、すべてのカウンタを「０」にリセットしておく（＃１２１）。

図２０（ａ）に示すように、エッジ画像ＧＥのエッジＲＮ（輪郭線）上の任意の１つの画素に注目し（以下、注目した画素を「注目画素」と記載する。）、注目画素とテンプレートＴＰ１ｋの基準点ＣＴ１とが一致するように、エッジ画像ＧＥの上にテンプレートＴＰ１ｋのテンプレート画像を重ねる（＃１２２、＃１２３）。

このときにテンプレートＴＰ１ｋのエッジＥＧ１と重なったエッジ画像ＧＥの画素に１票を投じる（＃１２４）。つまり、図２０（ｂ）の拡大図において斜線で示す画素のカウンタに「１」を加算する。なお、図２０（ｂ）において、太枠の正方形はエッジ画像ＧＥのエッジＲＮ上の画素を示し、黒く塗りつぶした正方形は注目画素を示し、斜線で塗りつぶした正方形はテンプレートＴＰ１ｋのエッジＥＧ１が重なった画素つまり１票が投じられた画素を示している。

他のエッジＲＮ上の画素についても順に注目し（＃１２６）、図２１に示すようにテンプレートＴＰ１ｋを重ね合わせ（＃１２３）、カウント（投票）を行う（＃１２４）。そして、すべてのエッジＲＮ上の画素についてステップ＃１２３、＃１２４の処理が終了したときに（＃１２５でＹｅｓ）、中心度に関する投票を終了する。

図１８に戻って、中心決定部３０４は、投票処理部３０３による投票結果に基づいて歩行者Ｈの頭部の中心を次のようにして決定する。すなわち、まず、図２２に示すように、エッジ画像ＧＥの各画素に、その得票数に応じて濃淡を付ける。本実施形態では、得票数が多いほど濃く（黒く）なるようにしている。そして、このときに現れる濃い部分のピーク（頂上）の画素を歩行者Ｈの頭部の中心であると決定する。

以上のようにして、歩行者Ｈの頭部の位置を見つけることができる。なお、図２３（ａ）に示すような前後に並んで歩いている歩行者Ｈが２人写っているエッジ画像ＧＥに対して図１９の投票処理を実行し（図２３（ｂ））、得票数に応じて各画素を濃淡で表すと、図２３（ｃ）に示すようにピーク（頂上）が２つ求められる。つまり、２人分の歩行者Ｈの頭部の位置が検出される。

図１７（ｂ）に示すテンプレートＴＰ２ｋを使用する場合も、上に説明した手順で図２４に示すように投票処理を実行すればよい。ただし、歩行者Ｈの頭部の中心は、最も多くの表が投じられた画素から位置関係情報ＳＩに示されるベクトルα２（図６（ａ）参照）だけ移動した位置とする。移動しない場合は、歩行者Ｈの胸の中心（両肩の中間位置）が検出されることになる。

図１６に戻って、頭部画像表示部１２４および頭部画像保存部１２５は、それぞれ、第一の実施形態の頭部画像表示部１０４および頭部画像保存部１０５と同様の処理を実行する。つまり、歩行者Ｈの頭部の拡大画像を表示装置１ｆ（図２参照）に表示し、磁気記憶装置１ｄまたは外部の記録媒体などに保存（録画）する。

図２５は第二の実施形態における頭部検出処理の例を説明するフローチャートである。次に、第二の実施形態における、通路ＳＴの監視を行う際の人体検出装置１Ｂの処理の流れを説明する。

第二の実施形態における歩行者の監視中の処理の手順は、図１４に示す第一の実施形態の処理の手順と基本的に同じである。ただし、ステップ＃１５の頭部検出処理の手順が第一の実施形態の場合と異なる。

人体検出装置１Ｂは、通路ＳＴの監視を開始すると、初期フレーム画像の入力および明度画像の生成などを行う（図１４の＃１１、＃１２）。ビデオカメラ２によって撮影される画像Ｇ（フレーム画像）を順次入力し、これに基づいて頭部検出処理を実行する（図１４の＃１３でＹｅｓ、＃１４、＃１５）。

頭部検出処理は、図２５に示す手順で行われる。すなわち、入力された画像Ｇおよびその前の時刻の画像Ｇを用いてエッジ画像ＧＥを生成し（＃３１）、そのエッジ画像ＧＥの各画素に対して頭部の中心度の投票を行う（＃３２）。そして、得票数に応じて図２２または図２３（ｃ）のような濃淡画像を生成し、ピーク（頂点）となる画素を頭部の中心に決定（選択）する（＃３３）。ただし、図１７（ｂ）のテンプレートＴＰ２ｋを使用した場合は、位置関係情報ＳＩに応じて位置調整を行う。ステップ＃３１、＃３２の処理の詳細は、それぞれ図９、図１９で説明した通りである。
〔第三の実施形態〕
図２６は第三の実施形態における人体検出装置１Ｃの機能的構成の例を示す図、図２７は背景差分画像ＧＺの生成方法の例を説明する図、図２８は第三の実施形態におけるテンプレートＴＰ５の例を示す図、図２９は第三の実施形態における頭部位置検出部１３３の構成の例を示す図、図３０は背景差分画像作成処理の流れの例を説明するフローチャート、図３１は第三の実施形態におけるテンプレートマッチング処理の流れの例を説明するフローチャート、図３２は第三の実施形態におけるテンプレートマッチングの経過の例を示す図である。

第一および第二の実施形態ではエッジ画像に対してテンプレートマッチングの処理を行ったが、第三の実施形態では明度画像に対してテンプレートマッチングの処理を行う。

第三の実施形態における監視システム１００の全体構成および人体検出装置１Ｃのハードウェア構成は、第一の実施形態の場合と同様である（図１、図２参照）。ただし、人体検出装置１Ｃの磁気記憶装置１ｄには、図２６に示す画像データ受信部１３１、テンプレート記憶部１３２、頭部位置検出部１３３、頭部画像表示部１３４、および頭部画像保存部１３５などの機能を実現するためのプログラムおよびデータがインストールされている。以下、第一または第二の実施形態の場合と異なる機能および処理内容などを中心に説明する。第一または第二の実施形態の場合と同様の機能および処理内容については、説明を省略する。

図２６の画像データ受信部１３１は、第一の実施形態の画像データ受信部１０１（図３参照）と同様に、ビデオカメラ２によって撮影される図２７（ａ）（ｂ）に示すような画像Ｇのデータ（画像データ７０）を受信する。テンプレート記憶部１３２は、図２８に示すようなテンプレートＴＰ５を記憶する。領域ＲＹ１、ＲＹ３の境界にある円弧ＣＫ１、領域ＲＹ２、ＲＹ４の境界にある円弧ＣＫ２、およびこれらの２つの円弧ＣＫ１、ＣＫ２同士の距離は、標準的な体型のモデルの両肩をビデオカメラ２で撮影し、その両肩の画像を参照することによって、定められる。また、第一および第二の実施形態のテンプレートＴＰと同様に、テンプレート画像の基準点ＣＴ５から頭部の中心ＣＴ０（図６（ａ）参照）までのベクトルを示す位置関係情報ＳＩが対応付けられている。

頭部位置検出部１３３は、図２９に示すような明度画像生成部４０１、背景基準画像記憶部４０２、背景差分算出部４０３、および頭部位置検出部４０４などによって構成され、歩行者Ｈの頭部の位置を求める処理を行う。

明度画像生成部４０１および背景差分算出部４０３は、図３０に示す手順で処理を行う。明度画像生成部４０１は、画像データ受信部１３１によって取得される画像Ｇの明度画像を生成する（図３０の＃１４１）。生成された明度画像のうち、歩行者Ｈが写っていない背景だけの画像を背景基準画像ＧＨとする。

背景差分算出部４０３は、頭部を検出したい画像Ｇ（図２７（ａ））の明度画像と背景基準画像ＧＨとの差分を算出することによって、図２７（ｃ）に示すような、背景部分を除去した背景差分画像ＧＺを生成する（＃１４２）。なお、背景部分は実際には黒くなるが、図２７（ｃ）では見やすくするために背景部分を白く表している。

背景基準画像記憶部４０２は、背景基準画像ＧＨを記憶する。背景基準画像ＧＨは適宜更新する。頭部位置検出部４０４は、背景差分画像ＧＺに対して図３１に示す手順でテンプレートマッチングを行うことによって、画像Ｇに写っている歩行者Ｈの頭部の位置を検出する。

すなわち、図３１に示すように、まず、カウンタを「０」にリセットしておく（＃１３２）。テンプレートＴＰ５の点ＡＰ５と背景差分画像ＧＺのいずれかの隅の画素（例えば左上の隅の画素）とが一致するように、テンプレートＴＰ５を背景差分画像ＧＺに重ね合わせる。このときに、背景差分画像ＧＺのうちの、テンプレートＴＰ５の領域ＲＹ１〜ＲＹ４と重なったそれぞれの部分の平均明度を算出する（＃１３３）。

そして、テンプレートＴＰ５の円弧ＣＫ１、ＣＫ２と重なった背景差分画像ＧＺの部分に歩行者Ｈの両肩がある蓋然性、すなわち、テンプレートＴＰ５に示す両肩の形状と背景差分画像ＧＺのその部分との類似度を算出する（＃１３４）。もしも、その部分に歩行者Ｈの両肩が写っているとすれば、ステップ＃１３３で算出した領域ＲＹ１〜ＲＹ４と重なる部分の平均明度の関係は、次のようになるはずである。
（Ａ） 領域ＲＹ１と重なる部分の平均明度Ｍｄ１と領域ＲＹ２と重なる部分の平均明度Ｍｄ２との差は小さい。
（Ｂ） 領域ＲＹ１と重なる部分の平均明度Ｍｄ１のほうが領域ＲＹ３と重なる部分の平均明度Ｍｄ３よりもかなり大きい。
（Ｃ） 領域ＲＹ２と重なる部分の平均明度Ｍｄ２のほうが領域ＲＹ４と重なる部分の平均明度Ｍｄ４よりもかなり大きい。

そこで、次の（２）式に基づいて類似度を算出し、算出結果をカウンタに代入する（＃１３５）。
類似度＝ｖａｌｕｅＡ＋ｖａｌｕｅＢ＋ｖａｌｕｅＣ …… （２）

ただし、
ｖａｌｕｅＡ＝２５５−｜Ｍｄ１−Ｍｄ２｜
ｖａｌｕｅＢ＝Ｍｄ１−Ｍｄ３
ｖａｌｕｅＣ＝Ｍｄ２−Ｍｄ４
である。また、類似度は８ビットつまり２５６階調で表される。

カウンタ（類似度）の値が閾値よりも大きい場合は（＃１３５でＹｅｓ）、テンプレートＴＰ５と重なった位置に歩行者Ｈの両肩が写っていると判別する。そして、基準点ＣＴ５と重なった背景差分画像ＧＺの画素から位置関係情報ＳＩに示されるベクトルα５だけ移動した位置を、歩行者Ｈの頭部の中心の位置と判別する（＃１３６）。

ステップ＃１３１に戻って、図３２に示すように、背景差分画像ＧＺに重ねられたテンプレートＴＰ５を１画素分ずつスライドさせながら、背景差分画像ＧＺ全体について上記のステップ＃１３２〜＃１３６の処理を順次実行する（＃１３１でＮｏ）。

図２６に戻って、頭部画像表示部１３４および頭部画像保存部１３５は、それぞれ、第一の実施形態の頭部画像表示部１０４および頭部画像保存部１０５などと同様の処理を行う。つまり、歩行者Ｈの頭部の拡大画像を表示装置１ｆ（図２参照）に表示し、磁気記憶装置１ｄまたは外部の記録媒体などに保存（録画）する。

図３３は第三の実施形態における人体検出装置１Ｃの処理の流れの例を説明するフローチャート、図３４は第三の実施形態における頭部検出処理の流れの例を説明するフローチャートである。次に、第三の実施形態における、通路ＳＴの監視を行う際の人体検出装置１Ｃの処理の流れを、フローチャートを参照して説明する。

図３３に示すように、通路ＳＴの監視を開始すると、人体検出装置１Ｃは、まず、ビデオカメラ２より歩行者Ｈの写っていないフレーム画像（画像Ｇ）を入力し（＃４１）、その画像の明度画像（背景基準画像ＧＨ）を作成しておく（＃４２）。次の時刻の画像Ｇを入力し（＃４４）、その画像Ｇから歩行者Ｈの頭部を検出する処理を行う（＃４５）。

すなわち、図３４に示すように、入力された画像Ｇの背景差分画像ＧＺを生成し（＃５１）、その背景差分画像ＧＺに対してテンプレートマッチングを行う（＃５２）。背景差分画像ＧＺを生成する手順およびテンプレートマッチングの手順は、それぞれ、前に図３０および図３１で説明した通りである。

以下、ビデオカメラ２によって画像Ｇが撮影されるごとに、順次、ステップ＃４４、＃４５の処理を繰り返す（＃４３でＮｏ）。このようにして、ビデオカメラ２によって撮影される画像（映像）から歩行者Ｈの頭部の位置が検出される。

第一ないし第三の実施形態によると、頭部の上半分または両肩のテンプレートＴＰを用いてテンプレートマッチングを行うことにより、ビデオカメラ２の前を通行する歩行者Ｈを従来よりも確実に検出することができる。すなわち、例えば、図１３に示したように、歩行者の身体の一部が他の歩行者や物体に隠れている場合（オクルージョンが発生している場合）であっても、その歩行者を検出することができる。しかも、頭部の上半分または両肩のような小さいテンプレートＴＰを用いてテンプレートマッチングを行うので、処理が高速である。

また、歩いている場合であっても動き（形状の変化）の少ない部位のテンプレートＴＰを使用しているので、歩行者がビデオカメラ２に対して斜めに向いている場合であっても、その歩行者を従来よりも確実に検出することができる。

時間差分画像および空間差分画像を生成する際および頭部の中心を検出する際に用いられる閾値、図１０のＳＯＢＥＬフィルタ、または（１）式または（２）式の係数または定数などは、経験的に得られまたは実験によって得られた値としてもよいし、入力される画像Ｇごとに適宜動的に算出するようにしてもよい。歩行者Ｈの頭部の中心の位置を検出する代わりに胸または腹の中心の位置などを検出してもよい。

第一および第二の実施形態では、ＳＯＢＥＬフィルタを用いてエッジ画像を生成したが、他の方法で生成してもよい。例えば、２次微分やブロックマッチングなどを用いて生成してもよい。

第一ないし第三の実施形態では、頭部の上半分または肩の形状をしたテンプレートＴＰを用いてテンプレートマッチングを行ったが、これ以外のテンプレートＴＰを用いてもよい。例えば、顎、耳、または股下などのような人の身体の輪郭の一部または目、眉毛、鼻、または口などのような身体の部位のテンプレートを作成しておき、テンプレートマッチングのために用いてもよい。

本発明に係る人体検出装置１、１Ｂ、１Ｃを使用して、人間の人体以外のもの、例えば、動物の身体または自動車やオートバイなどの物体を検出することも可能である。

テンプレートＴＰをＭＯ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ハードディスク、またはフロッピィディスクなどの記録媒体に記録しておき、他の人体検出装置１にも提供できるようにしてもよい。

その他、監視システム１００、人体検出装置１、ビデオカメラ２の全体または各部の構成、人体の検出方法、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。

本発明によると、所定の場所を通過する歩行者をより正確に計数するためや、その歩行者の頭部（顔）をより正確にかつ短時間で検出して拡大表示しまたは頭部の画像（顔画像）を保存するために用いることができる。よって、本発明は、特に、施設のセキュリティ管理のためなどに好適に用いられる。

監視システムの全体的な構成の例を示す図である。 人体検出装置のハードウェア構成の例を示す図である。 人体検出装置の機能的構成の例を示す図である。 ビデオカメラで撮影して得られた画像の例を示す図である。 テンプレートの例を示す図である。 テンプレートの作成方法の例を説明する図である。 頭部位置検出部の構成の例を示す図である。 上半身画像の例を示す図である。 エッジ画像作成処理の流れの例を説明するフローチャートである。 ＳＯＢＥＬフィルタについて説明する図である。 エッジ画像の例を示す図である。 テンプレートマッチング処置の流れの例を説明するフローチャートである。 ２人の歩行者が写っている場合のエッジ画像および検出された頭部の位置の例を示す図である。 第一の実施形態における人体検出装置の処理の流れの例を説明するフローチャートである。 頭部検出処理の流れの例を説明するフローチャートである。 第二の実施形態における人体検出装置の機能的構成の例を示す図である。 第二の実施形態におけるテンプレートの例を示す図である。 頭部位置検出部の構成の例を示す図である。 投票処理の流れの例を説明するフローチャートである。 投票処理の際のテンプレートとのマッチングの方法を説明する図である。 投票処理を行ったときのエッジ画像とテンプレート画像との重なりの例を示す図である。 得票数を表した濃淡画像の例を示す図である。 ２人の歩行者が写っている場合のエッジ画像に対するテンプレートとのマッチングの例を示す図である。 図１７（ｂ）のテンプレートを使用した場合のテンプレートとのマッチングの例を示す図である。 第二の実施形態における頭部検出処理の例を説明するフローチャートである。 第三の実施形態における人体検出装置の機能的構成の例を示す図である。 背景差分画像の生成方法の例を説明する図である。 第三の実施形態におけるテンプレートの例を示す図である。 第三の実施形態における頭部位置検出部の構成の例を示す図である。 背景差分画像作成処理の流れの例を説明するフローチャートである。 第三の実施形態におけるテンプレートマッチング処理の流れの例を説明するフローチャートである。 第三の実施形態におけるテンプレートマッチングの経過の例を示す図である。 第三の実施形態における人体検出装置の処理の流れの例を説明するフローチャートである。 第三の実施形態における頭部検出処理の流れの例を説明するフローチャートである。

符号の説明

１、１Ｂ、１Ｃ 人体検出装置（物体検出装置）
１ｄ 磁気記憶装置（記録媒体）
２ ビデオカメラ
１０１、１２１、１３１ 画像データ受信部（画像入力手段）
１０２、１２２、１３２ テンプレート記憶部（テンプレート記憶手段）
２０２、３０２ エッジ画像生成部（エッジ画像生成手段）
２０３ 中心探索部（検出手段）
３０４ 中心決定部（検出手段）
３０３ 投票処理部（重ね合わせ手段、カウント手段）
４０１ 明度画像生成部（明度画像生成手段）
４０４ 頭部位置検出部（検出手段）
ＣＫ１、ＣＫ２ 円弧（開曲線）
ＥＧ、ＥＧ１、ＥＧ２ エッジ（開曲線）
Ｇ 画像
ＧＥ エッジ画像
Ｈ 歩行者（目標の物体）
ＲＮ エッジ
ＲＹ１〜ＲＹ４ 領域
ＴＰ、ＴＰ１、ＴＰ２、ＴＰ１ｋ、ＴＰ２ｋ、ＴＰ５ テンプレート

Claims (8)

1. 画像の中から目標の物体を検出する物体検出装置であって、
   前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線からなるテンプレートを記憶するテンプレート記憶手段と、
   検出の対象とする画像を入力する画像入力手段と、
   入力された画像に対して前記テンプレートによる固定形状とのマッチング度を算出することによって、当該入力された画像の中から前記物体を検出する検出手段と、
   を有することを特徴とする物体検出装置。
2. 画像の中から目標の物体を検出する物体検出装置であって、
   前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線からなるテンプレートを記憶するテンプレート記憶手段と、
   検出の対象とする画像を入力する画像入力手段と、
   入力された画像のエッジ画像を生成するエッジ画像生成手段と、
   生成された前記エッジ画像のそれぞれの位置に前記テンプレートを重ね合わせた際の、当該エッジ画像のエッジと当該テンプレートの前記１つまたは複数の開曲線とが重なった画素の個数の多さに基づいて、前記物体を検出する検出手段と、
   を有することを特徴とする物体検出装置。
3. 画像の中から目標の物体を検出する物体検出装置であって、
   前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線および当該モデルの所定の位置を示すポイントからなりかつ当該ポイントを中心に当該１つまたは複数の開曲線を半回転させてなるテンプレートを記憶するテンプレート記憶手段と、
   検出の対象とする画像を入力する画像入力手段と、
   入力された画像のエッジ画像を生成するエッジ画像生成手段と、
   生成された前記エッジ画像と前記テンプレートとを、当該エッジ画像のエッジ上の画素と当該テンプレートの前記ポイントとが一致するように重ね合わせる、重ね合わせ手段と、
   前記エッジ画像の画素ごとに、前記重ね合わせ手段によって当該エッジ画像のエッジ上の各画素について重ね合わせを行った際の前記テンプレートの前記１つまたは複数の開曲線と重なった回数をカウントする、カウント手段と、
   前記カウント手段によってカウントされた前記回数に基づいて前記物体を検出する検出手段と、
   を有することを特徴とする物体検出装置。
4. 画像の中から目標の物体を検出する物体検出装置であって、
   前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線および当該１つまたは複数の開曲線を挟む複数の領域からなるテンプレートを記憶するテンプレート記憶手段と、
   検出の対象とする画像を入力する画像入力手段と、
   入力された画像の明度画像を生成する明度画像生成手段と、
   生成された前記明度画像のそれぞれの位置に前記テンプレートを重ね合わせた際の、当該テンプレートの前記複数の領域と重なる当該明度画像の各画像領域の平均明度を算出する、平均明度算出手段と、
   前記平均明度算出手段によって算出された、前記明度画像の前記各画像領域の前記平均明度に基づいて、前記物体を検出する検出手段と、
   を有することを特徴とする物体検出装置。
5. 前記物体は人であって、
   前記テンプレートを構成する前記開曲線は、人の頭部の上半分の輪郭である、
   請求項１ないし請求項４のいずれかに記載の物体検出装置。
6. 前記物体は人であって、
   前記テンプレートを構成する前記開曲線は、人の両肩の輪郭である、
   請求項１ないし請求項４のいずれかに記載の物体検出装置。
7. 画像に対してテンプレートによる固定形状とのマッチング度を算出することによって、当該画像の中から目標の物体を検出する物体検出方法であって、
   前記テンプレートとして、前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線からなるテンプレートを使用する、
   ことを特徴とする物体検出方法。
8. 画像の中から前記マッチング度を算出するために使用されかつ前記物体のモデルの輪郭の一部または当該モデルの部位を表す１つまたは複数の開曲線からなるテンプレートを記録する、
   ことを特徴とする記録媒体。

Images