JP2011096072A - 物体検出装置及び物体検出プログラム - Google Patents

Abstract

【課題】照明環境及び姿勢変動等に起因するアピアランス変動、並びに複雑な背景下等での環境変動に対してロバストな物体検出を行う。
【解決手段】映像中の変化領域及び非変化領域を用いて学習部６が生成した変化対象検出器７を前段として用い、アピアランス変動及び環境変動にロバストな検出対象の候補領域抽出を実現し、後段として、事前学習した物体検出器１０を組み合わせ、最終的に、対象尤度算出部９が変化対象検出器７を用いて算出した対象尤度と、対象尤度算出部１１が物体検出器１０を用いて算出した対象尤度を組み合わせた結合尤度を用いて結合尤度判定部１３が閾値判定して物体検出を行う。
【選択図】図１

Description

この発明は、画像中から特定の対象物体を検出する物体検出装置及び物体検出プログラムに関するものである。

例えば、非特許文献１に記載の人物追跡方法では、人物検出器の学習をオンラインとオフラインで行っている。この方法では、人物検出結果が得られた後、次回の人物検出を行う際に、検出結果周辺の画像領域から正事例及び負事例の学習データを生成し、これら学習データを用いて、事前のオフライン学習時に求めておいた人物検出器データベースの中から最適なパラメータを持つ人物検出器を求める（オンライン学習）。そして、選択した最適なパラメータを持つ人物検出器を用いて、次回の人物検出を行う。

山下、藤吉、勞、川出「姿勢変化に対応したＳｏｆｔ Ｄｅｃｉｓｉｏｎ ＦｅａｔｕｒｅとＯｎｌｉｎｅ Ｒｅａｌ Ｂｏｏｓｔｉｎｇによる人物追跡」画像の認識・理解シンポジウム（ＭＩＲＵ２００８）、ｐｐ．１２〜１９、２００８

従来の人物追跡方法は以上のように構成されているので、照明環境及び姿勢変動等に起因するアピアランス変動、並びに複雑な背景下等での環境変動に対してロバストな物体検出を行うことが困難であるという課題があった。

この課題を具体的に説明すると、非特許文献１の場合、アピアランス変動に対するロバスト性に関しては、人物検出結果に基づいて収集した検出対象の正事例及び負事例を用いて、検出結果に対して最適なパラメータを持つ人物検出器を事前にオフライン学習した人物検出器群の中から選択して求める。このため、事前に、全ての想定されるアピアランス変動に対するオフライン学習を行っておく必要がある。さらに、次フレームの人物検出時には、現在の検出結果を用いてオンライン学習した人物検出器を用いることになるため、フレーム間での人物のアピアランス変化が大きい場合には、検出が失敗することになる。

また、環境変動に対するロバスト性に関しては、一般に、背景の複雑さが、人物の背景からの識別の困難さに直結する。このため、予測できない複雑な背景下では、人物検出性能が低下する。ここで、非特許文献１の場合、初期検出時に、人物がどのような照明環境下及び背景下にいるかを想定することが不可能であるため、オンライン学習を進めるために必要な初期の人物検出を安定して行うことができない。

さらに、従来のように、事前学習した人物検出器を用いて人物検出を行う場合、アピアランス変動及び環境変動を持つ人物の検出率を上げるために、例えば、画像に対象人物が存在するか否かを判定するための判定用閾値を下げることで対応することになる。しかし、閾値を下げると、検出率が上がると同時に検出対象以外の物体を検出してしまう誤検出率も上がってしまうという問題があった。このように、一般的に、あらゆるアピアランス変動及び環境変動に対して高い検出率を実現しようとした場合、誤検出率の増加が避けられなかった。

この発明は、上記のような課題を解決するためになされたもので、照明環境及び姿勢変動等に起因するアピアランス変動、並びに複雑な背景下等での環境変動に対してロバストな物体検出を行うことを目的とする。

この発明に係る物体検出装置は、映像中の変化領域を抽出する変化領域抽出部と、映像中の非変化領域を抽出する非変化領域抽出部と、変化領域及び非変化領域のデータを用いて、変化領域の特徴を学習して変化対象検出器を生成する学習部と、変化対象検出器を用いて、映像中の任意画像領域の変化領域らしさを表す尤度を算出する対象尤度算出部と、対象尤度算出部が算出した尤度を閾値と比較して、任意画像領域から検出対象物体を検出する尤度判定部とを備えるものである。

また、この発明に係る物体検出装置は、映像中の変化領域を抽出する変化領域抽出部と、映像中の非変化領域を抽出する非変化領域抽出部と、変化領域及び非変化領域のデータを用いて、変化領域の特徴を学習して変化対象検出器を生成する学習部と、変化対象検出器を用いて、映像中の任意画像領域の検出対象物体らしさを表す尤度を算出する第１の対象尤度算出部と、予め検出対象物体の特徴を学習した物体検出器を用いて、任意画像領域の検出対象物体らしさを表す尤度を算出する第２の対象尤度算出部と、第１及び第２の対象尤度算出部がそれぞれ算出した尤度を結合する結合尤度算出部と、結合尤度算出部が算出した結合尤度を閾値と比較して、任意画像領域から検出対象物体を検出する結合尤度判定部とを備えるものである。

また、この発明に係る物体検出プログラムは、コンピュータを、映像中の変化領域を抽出する変化領域抽出手段と、映像中の非変化領域を抽出する非変化領域抽出手段と、変化領域及び非変化領域のデータを用いて、変化領域の特徴を学習して変化対象検出器を生成する学習手段と、変化対象検出器を用いて、映像中の任意画像領域の変化領域らしさを表す尤度を算出する対象尤度算出手段と、対象尤度算出手段が算出した尤度を閾値と比較して、任意画像領域から検出対象物体を検出する尤度判定手段として機能させるものである。

また、この発明に係る物体検出プログラムは、コンピュータを、映像中の変化領域を抽出する変化領域抽出手段と、映像中の非変化領域を抽出する非変化領域抽出手段と、変化領域及び非変化領域のデータを用いて、変化領域の特徴を学習して変化対象検出器を生成する学習手段と、変化対象検出器を用いて、映像中の任意画像領域の検出対象物体らしさを表す尤度を算出する第１の対象尤度算出手段と、予め検出対象物体の特徴を学習した物体検出器を用いて、任意画像領域の検出対象物体らしさを表す尤度を算出する第２の対象尤度算出手段と、第１及び第２の対象尤度算出手段でそれぞれ算出した尤度を結合する結合尤度算出手段と、結合尤度算出手段で算出した結合尤度を閾値と比較して、任意画像領域から検出対象物体を検出する結合尤度判定手段として機能させるものである。

この発明によれば、検出対象物体は映像中で動いていることが多いという事実から変化領域を検出対象物体と仮定して、映像中の変化領域と非変化領域を用いて変化対象検出器を生成し、この変化対象検出器を用いて物体検出を行うようにしたので、変化領域をアピアランス変動及び環境変動に対してロバストに抽出でき、照明環境及び姿勢変動等に起因するアピアランス変動、並びに複雑な背景下等での環境変動に対してロバストな物体検出を行うことができる。

また、この発明によれば、検出対象物体は映像中で動いていることが多いという事実から変化領域を検出対象物体と仮定して、映像中の変化領域と非変化領域を用いて変化対象検出器を生成し、この変化対象検出器と事前学習した物体検出器とを用いて物体検出を行うようにしたので、変化領域をアピアランス変動及び環境変動に対してロバストに抽出でき、照明環境及び姿勢変動等に起因するアピアランス変動、並びに複雑な背景下等での環境変動に対してロバストな物体検出を行うことができる。

この発明の実施の形態１に係る物体検出装置の構成を示すブロック図である。 図１に示す変化領域検出部２の変化領域検出方法を説明する図であり、図２（ａ）はオプティカルフローを用いる場合、図２（ｂ）は背景差分を用いる場合を示す。 図１に示す変化領域抽出部３及び非変化領域抽出部４が画像中から抽出する変化領域と非変化領域の例を示す図である。 図１に示す画像走査部８の画像ピラミッドを利用した画像走査方法を説明する図である。 この発明の実施の形態２に係る物体検出装置の構成を示すブロック図である。 図５に示す変化特性選択部１４の変化特性選択方法を説明する図であり、図６（ａ）は変化領域の動き方向特性を用いる場合、図６（ｂ）は変化領域の面積・位置特性を用いる場合、図６（ｃ）は変化領域の縦横比特性を用いる場合を示す。 この発明の実施の形態３に係る物体検出装置の構成を示すブロック図である。 この発明の実施の形態１に係る物体検出装置において、画像走査部８を変化対象検出器７ａに置き換えた構成を示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１に係る物体検出装置の構成を示すブロック図である。図１に示す物体検出装置は、映像中から物体を検出するための前処理として学習処理を行う映像入力部１、変化領域検出部２、変化領域抽出部３、非変化領域抽出部４、学習データ５、学習部６と、学習処理後に映像中から物体を検出する検出処理を行う変化対象検出器７、画像走査部８、対象尤度算出部（第１の対象尤度算出部）９、物体検出器１０、対象尤度算出部（第２の対象尤度算出部）１１、結合尤度算出部１２、結合尤度判定部１３とを備える。

映像入力部１は、カメラ等から出力される映像信号を受け付けて、変化領域検出部２へ出力する。
変化領域検出部２は、背景差分及びオプティカルフロー等（田村秀行「コンピュータ画像処理」オーム社、２００２）を用いて、映像信号の各画像（フレーム）中から変化する画像領域を検出して、検出変化領域とする。図２は、変化領域検出部２の変化領域検出方法を説明する図であり、図２（ａ）はオプティカルフローを用いた場合、図２（ｂ）は背景差分を用いた場合を示す。図２（ａ）に示すように、変化領域検出部２は、映像信号中の現フレーム２１（ｔ＝ｔ０）と次フレーム２２（ｔ＝ｔ１）からオプティカルフロー２３を抽出し、オプティカルフロー２３を用いて検出変化領域２４を検出する。また、図２（ｂ）に示すように、変化領域検出部２は、映像信号中の背景画像２５と現フレーム２６（ｔ＝ｔ０）の差分を検出変化領域２７として検出する。なお、検出変化領域の抽出は、アピアランス変動及び環境変動に対してロバストである。

変化領域抽出部３は、変化領域検出部２が検出した画像中の検出変化領域のうち、以下のような領域を変化領域として抽出し学習データ５に追加する。後述する画像走査部８による画像ピラミッドの縮小比率を１／ｓ０、同じく後述する物体検出器１０のサイズを幅ｗ０ピクセル、高さｈ０ピクセルとすると、変化領域抽出部３は、変化領域検出部２で得られた幅ｗピクセル、高さｈピクセルの検出変化領域から、ｈ／ｈ０≒ｗ／ｗ０≒ｓ０ⁿ（ｎ＝０，１，２，・・・，Ｎ）となるｎを求め、幅ｗ０×ｓ０ⁿピクセル、高さｈ０×ｓⁿピクセルの領域を抽出して変化領域とする。

他方、非変化領域抽出部４は、変化領域検出部２が検出した画像中の検出変化領域を全く含まない領域を非変化領域として取り出して、学習データ５に追加する。また、非変化領域抽出部４は、検出変化領域を一部に含む領域を非変化領域として取り出して、学習データ５に追加してもよい。変化領域抽出部３と同様に、後述する画像走査部８による画像ピラミッドの縮小比率を１／ｓ０、同じく後述する物体検出器１０のサイズを幅ｗ０ピクセル、高さｈ０ピクセルとして、非変化領域抽出部４は、非変化領域のサイズ（幅ｗ×高さｈ）を基本サイズから変化させてｈ＝ｈ０×ｓ０ⁿ、ｗ＝ｗ０×ｓ０ⁿ（ｎ＝０，１，２，・・・，Ｎ）にしてその位置を画像中で移動させ、任意の位置と任意の大きさの非変化領域を抽出する。

図３は、画像中の変化領域と非変化領域の例を示す図である。図３に例示した画像では、変化領域抽出部３が変化領域３１を抽出し、非変化領域抽出部４が変化領域３１を部分的に含む領域である非変化領域４１，４２と、変化領域３１をまったく含まない領域である非変化領域４３，４４とを抽出する。

学習部６は、変化領域（図３の例では変化領域３１）を正事例、非変化領域（図３の例では非変化領域４１〜４４）を負事例の学習データ５に用いて変化領域の特徴を学習した変化対象検出器７を生成する。学習部６は、例えば、学習データ５に蓄積された正事例の個数が所定個数以上になった場合に学習を完了する。学習部６が用いる学習アルゴリズムとしては、例えば、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（Ｖｌａｄｉｍｉｒ Ｖａｐｎｉｋ「Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ」Ｗｉｌｅｙ、ＮＹ、１９９８）等を使うことができる。

以上より、変化対象検出器７が生成される。変化領域の特徴を学習した変化対象検出器７を生成するのは、検出対象物体が映像中で動いていることが多いという事実に基づき、変化領域が検出対象物体を含むと考えられるためである。よって、この変化対象検出器７は、画像中から、対象物体が含まれる変化領域、即ち対象物体を検出する。また、変化領域の抽出は、アピアランス変動及び環境変動に対してロバストであるため、生成した変化対象検出器７もアピアランス変動及び環境変動に対してロバストである。また、この変化対象検出器７は計算負荷が低い。これは、変化対象検出器７が物体検出器１０の補助的役割を果すので求められる検出精度が低く、従って、計算負荷が低い処理方法を用いることができるためである。

次に、生成した変化対象検出器７を用いた物体検出処理を説明する。
画像走査部８は、映像信号中の各画像に対して走査ウィンドウを移動させていく。図４は、画像走査部８の画像走査方法を説明する図である。図４に示すように、画像走査部８は、原画像８１に対して走査ウィンドウ（任意画像領域）８４を移動させていくと共に、逐次画像縮小処理を行って縮小画像８２，８３を生成し、縮小画像８２，８３に対しても同様に走査ウィンドウ８４を移動させていく。なお、画像縮小処理において、画像ピラミッドの縮小比率は上述したように１／ｓ０とする。

対象尤度算出部９は、画像を移動する走査ウィンドウに対して、学習部６が生成した変化対象検出器７をかけて得られる対象尤度Ｐ（ｖ）を算出する。変化領域を対象物体と仮定しているので、この対象尤度Ｐ（ｖ）は、変化対象検出器７から求まる対象物体らしさを示す。検出器を用いた尤度の算出方法としては、Ｔｈｉｅｒｒｙらの手法（Ｔｈｉｅｒｒｙ Ｃｈａｔｕａｕ、Ｖｉｎｃｅｎｔ Ｇａｙ−Ｂｅｌｉｌｌｅ、Ｆｒｅｄｅｒｉｃ Ｃｈａｕｓｓｅ、ａｎｄ Ｊｅａｎ−Ｔｈｉｅｒｒｙ Ｌａｐｒｅｓｔｅ「Ｒｅａｌｔｉｍｅ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｃｌａｓｓｉｆｉｅｒｓ」Ｉｎ Ｐｒｏｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ｄｙｎａｍｉｃａｌ Ｖｉｓｉｏｎ ｉｎ ｃｏｎｊｕｎｃｔｉｏｎ ｗｉｔｈ ＥＣＣＶ、２００６）を使うことができる。
対象尤度算出部９が走査ウィンドウ内から対象物体を検出する際、走査ウィンドウが原画像のみならず縮小画像も移動するので、大きさの異なる対象物体を検出することができる。
なお、対象尤度算出部９が対象尤度Ｐ（ｖ）を算出する際、学習部６が変化対象検出器７の学習を完了していない場合は、対象尤度Ｐ（ｖ）を「１」として出力する。

物体検出器１０は、対象物体を含むサンプル画像データを用いて事前に求めておいた検出器であり、対象物体そのものを検出する検出器である。この物体検出器１０は従来の物体検出に用いられる物体検出器であり、一般的に、計算負荷が高く、また、アピアランス変動及び環境変動に弱い。物体検出器１０の計算負荷が高いのは、画像ピラミッドのように画像の大きさを変え、かつ、各異なる大きさの画像内を全走査することにより、のべ検出処理回数が多くなるためである。物体検出器１０は、一回の検出処理あたり、複数個のフィルタを適用したフィルタ出力値を計算し、この出力値を識別関数で処理する。この際、フィルタ計算関数は、計算量が多い複雑な関数が用いられることが多いため、結果として、物体検出器１０がのべ検出処理回数が多く、かつ、各検出処理時の計算量も多くなり、計算負荷が高くなる。

事前に求める対象物体の検出アルゴリズムとしては、Ｖｉｏｌａらの手法（Ｐ．Ｖｉｏｌａ、Ｍ．Ｊｏｎｅｓ、Ｄ．Ｓｎｏｗ「Ｄｅｔｅｃｔｉｎｇ Ｐｒｅｓｔｒａｉｎｓ Ｕｓｉｎｇ Ｐａｔｔｅｒｎｓ ｏｆ Ｍｏｔｉｏｎ ａｎｄ Ａｐｐｅａｒａｎｃｅ」ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ）、Ｖｏｌ．２，ｐｐ．７３４〜７４１、Ｏｃｔｏｂｅｒ ２００３）等を用いることができる。

対象尤度算出部１１は、画像中を移動する走査ウィンドウに対して事前に求めておいた物体検出器１０をかけて得られる対象尤度Ｐ（Ｄ）を算出する。この対象尤度Ｐ（Ｄ）は、走査ウィンドウ内の画像に、対象物体が含まれるかどうかを示す。なお、本実施の形態１では、対象尤度算出部９が同一の走査ウィンドウに対して変化対象検出器７を適用して対象尤度Ｐ（ｖ）を算出した後、対象尤度算出部１１が条件付確率として物体検出器１０を用いて対象尤度Ｐ（Ｄ｜ｖ）を求める。

結合尤度算出部１２は、同一の走査ウィンドウについて、対象尤度算出部９が算出した対象尤度と、対象尤度算出部１１が算出した対象尤度とを用いて、結合尤度Ｐ（Ｄ，ｖ）＝Ｐ（Ｄ｜ｖ）×ｐ（ｖ）を求める。

結合尤度判定部１３は、結合尤度算出部１２が算出した結合尤度が、所定の閾値以上の場合には対象物体「検出」の結果を出力する。他方、結合尤度が閾値以下の場合には対象物体「未検出」の結果を出力する。
変化領域の抽出はアピアランス変動及び環境変動に対してロバストであり、また、検出対象となる物体は映像中で動いていることが多いという事実に基づいて学習部６が変化対象検出器７を生成するので、この変化対象検出器７を用いることで、画像中の走査ウィンドウに対して、変化領域に注目した、アピアランス変動及び環境変動にロバストな検出対象らしさの尤度算出を実現できる。
また、走査ウィンドウに対して変化対象検出器７を適用して対象尤度を算出した後、条件付確率として物体検出器１０を用いて対象尤度を求め、変化対象検出器７と物体検出器１０とを用いた同時確率を対象尤度とした物体検出を行うことで、従来の物体検出器１０だけを用いた際に起きる誤検出率の増加を起こすことなく、アピアランス変動及び環境変動に対してロバストな物体検出が可能となる。

以上より、実施の形態１によれば、映像入力部１から入力した映像中から変化する画像領域を検出して検出変化領域とする変化領域検出部２と、変化領域検出部２の検出変化領域を用いて、映像中の変化領域を抽出する変化領域抽出部３と、映像中の非変化領域を抽出する非変化領域抽出部４と、抽出された変化領域及び非変化領域を蓄積した学習データ５を用いて、検出対象物体を含むと考えられる変化領域の特徴を学習して変化対象検出器７を生成する学習部６と、変化対象検出器７を用いて、画像走査部８が映像中を移動させる走査ウィンドウから変化領域らしさを表す対象尤度を算出する対象尤度算出部９と、予め検出対象物体の特徴を学習した物体検出器１０を用いて、走査ウィンドウから検出対象物体らしさを表す対象尤度を算出する対象尤度算出部１１と、対象尤度算出部９，１１がそれぞれ算出した対象尤度を結合する結合尤度算出部１２と、結合尤度算出部１２が算出した結合尤度を閾値と比較して、走査ウィンドウから検出対象物体を検出する結合尤度判定部１３とを備えるように構成した。
このため、アピアランス変動及び環境変動に対してロバストに抽出される変化領域であって、検出対象が含まれるであろう変化領域に着目した変化対象検出器７と、事前学習した物体検出器１０とから得られる各対象尤度を結合した結合尤度を用いて物体検出を行うことができ、この結果、照明環境及び姿勢変動等に起因するアピアランス変動、並びに複雑な背景下等での環境変動に対してロバストな物体検出を行うことができる。

なお、上記実施の形態１の物体検出器１０として、対象物体の部分的な領域を検出する部分物体検出器を用いる構成にしてもよい。この構成の場合には、対象尤度算出部１１は、画像走査部８の走査ウィンドウ内の画像に対して部分物体検出器をかけて得られる尤度を算出する。

実施の形態２．
図５は、この発明の実施の形態２に係る物体検出装置の構成を示すブロック図であり、図１と同一又は相当の部分については同一の符号を付し説明を省略する。本実施の形態２の物体検出装置は、上記実施の形態１の物体検出装置に新たに変化特性選択部１４を追加した構成であり、変化特性選択部１４がある点が異なる。

物体検出において、検出対象とする物体の動きが予め分かっているケースは多い。そこで、変化特性選択部１４は、変化領域検出部２が検出した変化領域のうち、対象物体が有する特性に一致する変化領域のみを選択して、変化領域抽出部３へ出力する。
図６は、変化特性選択部１４の変化特性選択方法を説明する図である。例えば、横断歩道を渡る人物を対象物体として検出する場合、図６（ａ）に示すように、変化特性選択部１４は動き方向特性に関して左右方向のみの動きを持つ変化領域を、選択特性領域１４１として選択する。
また、例えば、遠方から撮影したカメラの映像から、路上を歩く歩行者を対象物体として検出する場合、図６（ｂ）に示すように、変化特性選択部１４は面積・位置特性に関して地面近くに相当する範囲内で検出された変化領域のみを選択特性領域１４２として選択し、それ以外の変化領域は除外特性領域１４３，１４４とする。
また、例えば、歩行者を対象物体として検出する場合、図６（ｃ）に示すように、変化特性選択部１４は縦横比特性に関して所定の縦横比の変化領域を選択特性領域１４５として選択し、それ以外の変化領域は除外特性領域１４６とする。
なお、変化特性選択部１４は、このような種々の特性を複数組み合わせて、該当する変化領域を選択してもよい。

変化特性選択部１４が選択特性領域として選択した変化領域は、変化領域抽出部３へ出力され、変化領域抽出部３によって学習データ５に追加される。一方、変化特性選択部１４が除外特性領域として選択した変化領域は、変化領域抽出部３へは出力されないため、学習データ５に追加されることはない。従って、検出対象と同じ特性を有する変化領域を含んだ学習データ５に基づいて、検出対象のみを含む変化領域を検出するための変化対象検出器７を生成することができる。この変化対象検出器７を物体検出器１０と組み合わせることにより、高精度の物体検出を実現できる。

以上より、実施の形態２によれば、変化領域抽出部３が抽出した変化領域のうち、所定の特性を持つ変化領域を選択する変化特性選択部１４を備え、学習部６は、変化特性選択部１４が選択した変化領域及び非変化領域抽出部４が抽出した非変化領域を蓄積した学習データ５を用いて、検出対象物体を含むと考えられる変化領域の特徴を学習して変化対象検出器７を生成するように構成した。このため、変化特性選択部１４が、検出対象以外の物体が存在する変化領域を学習データ５に追加することを防止するので、対象物体以外が存在する変化領域の特徴を持つ変化対象検出器７が生成されることを防止でき、この結果、高精度の変化対象検出器７の生成を実現できる。そのため、アピアランス変動及び環境変動に対してロバストな、高精度の物体検出を実現できる。

実施の形態３．
図７は、この発明の実施の形態３に係る物体検出装置の構成を示すブロック図であり、図１と同一又は相当の部分については同一の符号を付し説明を省略する。本実施の形態３の物体検出装置は、上記実施の形態１の物体検出装置に新たにクラスタリング部１５、対象クラスタ選択部１６及び物体サンプルデータ１７を追加した構成であり、これらの構成がある点が異なる。

クラスタリング部１５は、学習データ５のうち、変化領域抽出部３が出力した変化領域のデータに対してクラスタリング処理を行い、変化領域を複数のクラスタ（＝物体クラス）に分類する。クラスタリング処理の手法としては、例えばｋ−ｍｅａｎクラスタリング（田村秀行「コンピュータ画像処理」オーム社、２００２）を用いることができる。

対象クラスタ選択部１６は、物体サンプルデータ１７を用いて検出対象となる物体クラスの対象クラスタを選択し、学習データ５のうち、この対象クラスタに含まれる変化領域を正事例として学習部６に通知する。

学習部６は、学習データ５のうち、負事例については非変化領域をそのまま学習に用い、正事例については対象クラスタ選択部１６から通知された変化領域のみを学習に用いて、変化対象検出器７を生成する。

物体サンプルデータ１７には、検出候補として複数の物体クラスのサンプルデータを用意しておく。そして、上述したように、対象クラスタ選択部１６が分類した物体クラスを物体サンプルデータ１７に応じて切り替えることで、複数の物体クラスに対応することができる。例えば、上記実施の形態２では縦横比特性を用いて図６（ｃ）の画像から人に相当する変化領域を選択特性領域１４５にして学習データ５に追加し、犬に相当する変化領域を除外特性領域１４６として学習データ５から除外していた。これに対して、本実施の形態３では、人及び犬の２つの物体クラスを物体サンプルデータ１７に登録しておき、学習データ５に人及び犬に相当する変化領域を区別して追加することで、学習部６が人及び犬の２つの物体に対応した変化対象検出器７を生成する。

以上より、実施の形態３によれば、変化領域抽出部３が抽出した変化領域をクラスタリング処理により物体クラスに分類するクラスタリング部１５と、検出対象物体を示す物体サンプルデータ１７を用いて、当該検出対象物体に対応する物体クラスに分類された変化領域を選択する対象クラスタ選択部１６とを備え、学習部６は、対象クラスタ選択部１６が選択した変化領域及び非変化領域抽出部４が抽出した非変化領域のデータを用いて、検出対象物体を含むと考えられる変化領域の特徴を学習して変化対象検出器７を生成するように構成した。このため、対象クラスタ選択部１６が、検出対象以外の物体クラスが存在する変化領域を学習データ５に追加することを防止するので、対象物体以外が存在する変化領域の特徴を持つ変化対象検出器７が生成されることを防止でき、この結果、高精度の変化対象検出器７の生成を実現できる。そのため、アピアランス変動及び環境変動に対してロバストな、高精度の物体検出を実現できる。

なお、上記実施の形態１の物体検出装置は、変化対象検出器７、物体検出器１０、変化対象検出器７を用いて対象尤度を算出する対象尤度算出部９、物体検出器１０を用いて対象尤度を算出する対象尤度算出部１１、各対象尤度を結合する結合尤度算出部１２、及び、結合した結合尤度を用いて閾値判定する結合尤度判定部１３を備える構成であったが、物体検出器１０、対象尤度算出部１１及び結合尤度算出部１２を備えず、変化対象検出器７、対象尤度算出部９、及び、対象尤度算出部９の対象尤度のみを用いて閾値判定する結合尤度判定部１３（尤度判定部）を備える構成であってもよい。
学習部６は対象物体以外が存在する変化領域も正事例として学習する可能性があるため、この構成の場合には、対象物体以外が存在する変化領域の特徴も持つ変化対象検出器７が生成される可能性がある。ただし、変化領域の抽出自体は環境変動及びアピアランス変動に対してロバストなので、変化対象検出器７のみ用いた物体検出も環境変動及びアピアランス変動に対してロバストである。

なお、この構成を上記実施の形態２に適用した場合には、変化特性選択部１４が、検出対象以外の物体が変化領域に含まれることを防止するので、対象物体以外が存在する変化領域の特徴を持つ変化対象検出器７が生成されることを防止でき、高精度の変化対象検出器７を生成可能となる。

また、この構成を上記実施の形態３に適用した場合には、対象クラスタ選択部１６が、検出対象以外の物体が変化領域に含まれることを防止するので、対象物体以外が存在する変化領域の特徴を持つ変化対象検出器７が生成されることを防止でき、高精度の変化対象検出器７を生成可能となる。

また、上記実施の形態１〜３の物体検出装置において、画像走査部８を変化対象検出器７ａに置き換える構成にすることもできる。図８は、実施の形態１に係る物体検出装置において画像走査部８を変化対象検出器７ａに置き換えた構成を示すブロック図である。この変化対象検出器７ａは、変化対象検出器７と同様の機能を有する。また、これらの変化対象検出器７，７ａを、物体検出器１０の補助的な検出器として用いる。そのため、変化対象検出器７，７ａに求められる検出精度は低く、従って、計算負荷が低い処理を用いることができる。
前述したように、物体検出装置の各部の処理は学習処理と検出処理とに分けられるが、図８の物体検出装置の場合には学習部６での学習が終了し、変化対象検出器７，７ａが生成された際に検出処理が適用可能であるものとする。検出処理において、画像走査部８の代わりに変化対象検出器７ａを用いることにより、低い計算負荷で画像中から対象物体が含まれる変化領域、即ち対象物体を検出することができる。そして、変化対象検出部７を、より高精度の物体検出器１０と組み合わせることにより、低計算負荷かつ高精度の物体検出を実現することができる。
このように、対象物体の検出時に、変化対象検出部７，７ａを組み合わせることにより、変化対象検出部７が低い計算負荷で画像中から対象物体が含まれる変化領域、即ち対象物体を検出することができる。
なお、図示は省略するが、その他の実施の形態２，３の物体検出装置の画像走査部８を変化対象検出器７ａに置き換えても、同様の効果を奏する。

なお、物体検出装置をコンピュータで構成する場合、映像入力部１、変化領域検出部２、変化領域抽出部３、非変化領域抽出部４、学習部６、変化対象検出器７、画像走査部８、物体検出器１０、対象尤度算出部９，１１、結合尤度算出部１２、及び結合尤度判定部１３の処理内容を記述している物体検出プログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵがメモリに格納されている物体検出プログラムを実行するようにしてもよい。

１ 映像入力部、２ 変化領域検出部、３ 変化領域抽出部、４ 非変化領域抽出部、５ 学習データ、６ 学習部、７，７ａ 変化対象検出器、８ 画像走査部、９ 対象尤度算出部（第１の対象尤度算出部）、１０ 物体検出器、１１ 対象尤度算出部（第２の対象尤度算出部）、１２ 結合尤度算出部、１３ 結合尤度判定部、１４ 変化特性選択部、１５ クラスタリング部、１６ 対象クラスタ選択部、１７ 物体サンプルデータ、２１ 現フレーム、２２ 次フレーム、２３ オプティカルフロー、２４，２７ 検出変化領域、２５ 背景画像、２６ 現フレーム、３１ 変化領域、４１〜４４ 非変化領域、１４１，１４２，１４５ 選択特性領域、１４３，１４４，１４６ 除外特性領域。

Claims (8)

1. 映像中の変化領域を抽出する変化領域抽出部と、
   映像中の非変化領域を抽出する非変化領域抽出部と、
   前記変化領域及び前記非変化領域のデータを用いて、前記変化領域の特徴を学習して変化対象検出器を生成する学習部と、
   前記変化対象検出器を用いて、映像中の任意画像領域の前記変化領域らしさを表す尤度を算出する対象尤度算出部と、
   前記対象尤度算出部が算出した尤度を閾値と比較して、前記任意画像領域から前記検出対象物体を検出する尤度判定部とを備える物体検出装置。
2. 映像中の変化領域を抽出する変化領域抽出部と、
   映像中の非変化領域を抽出する非変化領域抽出部と、
   前記変化領域及び前記非変化領域のデータを用いて、前記変化領域の特徴を学習して変化対象検出器を生成する学習部と、
   前記変化対象検出器を用いて、映像中の任意画像領域の前記検出対象物体らしさを表す尤度を算出する第１の対象尤度算出部と、
   予め前記検出対象物体の特徴を学習した物体検出器を用いて、前記任意画像領域の前記検出対象物体らしさを表す尤度を算出する第２の対象尤度算出部と、
   前記第１及び前記第２の対象尤度算出部がそれぞれ算出した尤度を結合する結合尤度算出部と、
   前記結合尤度算出部が算出した結合尤度を閾値と比較して、前記任意画像領域から前記検出対象物体を検出する結合尤度判定部とを備える物体検出装置。
3. 変化領域抽出部が抽出した変化領域のうち、所定の特性を持つ変化領域を選択する変化特性選択部を備え、
   学習部は、前記変化特性選択部が選択した変化領域及び非変化領域抽出部が抽出した非変化領域のデータを用いて、前記変化領域の特徴を学習して変化対象検出器を生成することを特徴とする請求項１又は請求項２記載の物体検出装置。
4. 変化領域抽出部が抽出した変化領域をクラスタリング処理により物体クラスに分類するクラスタリング部と、
   検出対象物体のサンプルデータを用いて、当該検出対象物体に対応する物体クラスに分類された変化領域を選択する対象クラスタ選択部とを備え、
   学習部は、前記対象クラスタ選択部が選択した変化領域及び非変化領域抽出部が抽出した非変化領域のデータを用いて、当該変化領域の特徴を学習して変化対象検出器を生成することを特徴とする請求項１又は請求項２記載の物体検出装置。
5. コンピュータを、映像中の変化領域を抽出する変化領域抽出手段と、
   映像中の非変化領域を抽出する非変化領域抽出手段と、
   前記変化領域及び前記非変化領域のデータを用いて、前記変化領域の特徴を学習して変化対象検出器を生成する学習手段と、
   前記変化対象検出器を用いて、映像中の任意画像領域の前記変化領域らしさを表す尤度を算出する対象尤度算出手段と、
   前記対象尤度算出手段が算出した尤度を閾値と比較して、前記任意画像領域から前記検出対象物体を検出する尤度判定手段として機能させるための物体検出プログラム。
6. コンピュータを、映像中の変化領域を抽出する変化領域抽出手段と、
   映像中の非変化領域を抽出する非変化領域抽出手段と、
   前記変化領域及び前記非変化領域のデータを用いて、前記変化領域の特徴を学習して変化対象検出器を生成する学習手段と、
   前記変化対象検出器を用いて、映像中の任意画像領域の前記検出対象物体らしさを表す尤度を算出する第１の対象尤度算出手段と、
   予め前記検出対象物体の特徴を学習した物体検出器を用いて、前記任意画像領域の前記検出対象物体らしさを表す尤度を算出する第２の対象尤度算出手段と、
   前記第１及び前記第２の対象尤度算出手段でそれぞれ算出した尤度を結合する結合尤度算出手段と、
   前記結合尤度算出手段で算出した結合尤度を閾値と比較して、前記任意画像領域から前記検出対象物体を検出する結合尤度判定手段として機能させるための物体検出プログラム。
7. 変化領域抽出手段で抽出した変化領域のうち、所定の特性を持つ変化領域を選択する変化特性選択手段を備え、
   学習手段は、前記変化特性選択手段で選択した変化領域及び非変化領域抽出手段で抽出した非変化領域のデータを用いて、前記変化領域の特徴を学習して変化対象検出器を生成することを特徴とする請求項５又は請求項６記載の物体検出プログラム。
8. 変化領域抽出手段で抽出した変化領域をクラスタリング処理により物体クラスに分類するクラスタリング手段と、
   検出対象物体のサンプルデータを用いて、当該検出対象物体に対応する物体クラスに分類された変化領域を選択する対象クラスタ選択手段とを備え、
   学習手段は、前記対象クラスタ選択手段で選択した変化領域及び非変化領域抽出手段で抽出した非変化領域のデータを用いて、当該変化領域の特徴を学習して変化対象検出器を生成することを特徴とする請求項５又は請求項６記載の物体検出プログラム。

Images