JP2017156988A - 物体検出装置 - Google Patents

Abstract

【課題】入力画像を検出窓でスキャンして検知対象物を検出するに際し、情報量が多く検知時間に長時間を要していた。【解決手段】カメラと検知対象物との距離に応じた距離区分で、スキャン範囲を変更する手段２２１と検出窓サイズを変更する手段２２３と検出窓移動量を変更する手段２２４を有したパラメータ設定手段２２、カメラで撮影した入力映像を距離区分に対応して設定されたスキャン範囲でリサイズするリサイズ処理部２３、距離区分に対応して設定された検出窓サイズおよび検出窓移動量でリサイズ画像をサーチするように設定するサーチ設定部２４、サーチ設定部で設定された検出窓サイズ及び検出窓移動量で、スキャン範囲に基づいたリサイズ画像を各距離区分でサーチし、検知対象物が存在する位置の検出窓のエリアを登録して検知対象物を検出するマルチサイズラスタスキャン処理部２６を備えた。【選択図】図１

Description

この発明は、入力画像から検出対象である物体、例えば人を検出する物体検出装置に関するものである。

近年、オフィスや家、公共施設などの空間において、その空間内にいる人の意図を理解して行動を支援する技術が実現されている。このような技術を実現するには、空間内のどこに人がいるかを知る必要があり、高精度な人検出装置が種々提案されている。
従来の人検出手法は、カメラで撮影した入力画像から、局所特徴量を算出してブースティングによる統計的学習を用いて識別する手法が多い。そして、局所特徴量として輝度の勾配方向をヒストグラム化した特徴量であるＨＯＧ（Histograms of Oriented Gradients）特徴量を用いた人検出装置が提案されている。

このような人検出装置の検出精度を向上させることを目的として、輝度勾配に基づいて領域の第１の特徴量を算出する第１の特徴量算出手段と、位置が異なる複数の第１の特徴量同士を組み合わせた第２の特徴量を算出する第２の特徴量算出手段と、第２の特徴量に基づいて入力画像中の人を検出する識別手段と、学習サンプルを入力画像として学習により識別手段を構築する学習手段とを備え、学習手段は、学習サンプルの重みから算出される条件付き確率に基づいて人と人以外とを識別する弱識別器と、複数の弱識別器を用いた第１のアダブーストにより人の識別に有用な第２の特徴量を選択する第１強識別器と、第１強識別器を用いた第２のアダブーストにより人の識別に有用な領域の組合せを選択する第２強識別器で構成され、識別手段は第２強識別器により選択された領域の組合せに対応した第２の特徴量に基づいて人を検出するようにした物体検出装置が知られている。（特許文献１参照）

また、画像中における人のサイズが未知であるため、対象の検出時に検出ウィンドウのスケールを変化させながら画像上を複数回にわたりラスタスキャンすることが行われているが、処理コストが高く、リアルタイム処理が困難となる。これを解決するため、被写体までの距離を表す距離情報を取得し、距離情報を各画素の情報とする距離画像を取得し、距離画像中の所定領域に含まれる画素の距離情報を所定距離毎に分類して距離ヒストグラムを作成し、この距離ヒストグラムの類似度を特徴量として算出するようにした物体検出装置が知られている。（特許文献２参照）

特開２００９−３０１１０４号公報 再公表特許ＷＯ２０１０−１４０６１３号公報

入力画像を撮影するカメラは、従来は視野角が６０度程度と狭く、部屋全体を見渡すにはカメラの方向を変えて数回撮影する必要があった。視野角１００度以上の広角カメラを使用することで部屋全体を１回の撮影で捉えることが可能となっている。
しかしながら、広角カメラは遠距離に位置する検知対象物が極端に小さく映るため、通常に広角カメラを使用しただけでは、被写体が小さく検知性能が劣化する。これを解決するためにカメラを高解像度化すると、処理する情報量が増えて検知時間が増加する。
例えば高解像度化の例として、ＶＧＡ（６４０ピクセル×４８０ピクセル）をＵＸＧＡ（１６００ピクセル×１２００ピクセル）とした場合は、情報量は６．５倍に増え、処理演算性能が一定の場合、情報量が増加すると処理時間が増加し、検知に時間がかかる。

特許文献１による物体検出装置は、位置が異なる複数の領域の第１の特徴量同士を組み合わせた第２の特徴量を用いることで、複数個所で同時に第１の特徴量を捉えることができるので、自動的に検出対象の外観上の特徴を捉えやすくなり、識別精度を向上することができる。また、２段階のアダブーストを用いることで、検出対象の識別に有効な第２の特徴量のみを選択することができ、高精度な識別が可能となる。しかしながら、予め形状学習したサーチ窓を、入力画像の全体に亘って左上角から右下角にサーチして第１の特徴量と第２の特徴量を算出し、また２段階のアダブーストを用いているので、処理情報量が増加し演算処理する時間が増加して、検知時間に長時間を要していた。

特許文献２による物体検出装置は、距離情報を有する距離画像を用いることで、３次元空間で距離に応じて検出対象の大きさを特定することができる。このため、３次元空間でラスタスキャンを行う場合には、物体の大きさに合わない距離画像を削除することができ、２次元空間でラスタスキャンを行う場合に比較して、物体の検出を高速化することができる。しかしながら、距離情報を得るために、距離画像を構成する各画素までの距離を検出可能なカメラやセンサなどの距離計測手段が必要となり、費用が高価となる。

この発明は、上記のような問題点を解消するためになされたものであり、ラスタスキャンに際して画像の処理アルゴリズムを簡略化することで、安い費用で情報量を少なくし、処理時間を減少して検知時間の短縮を図った物体検出装置を提供することを目的とするものである。

この発明に係わる物体検出装置は、カメラと検知対象物との距離に応じた距離区分で入力映像の１フレーム中のスキャン範囲を変更するスキャン範囲変更手段と、距離区分で検出窓のサイズを変更する検出窓サイズ変更手段と、距離区分で検出窓の移動量を変更する検出窓移動量変更手段とを有するパラメータ設定手段、カメラで撮影した入力映像を入力して、スキャン範囲変更手段により距離区分に対応して設定されたスキャン範囲で入力映像をリサイズするリサイズ処理部、検出窓サイズ変更手段により距離区分に対応して設定された検出窓サイズおよび検出窓移動量変更手段により距離区分に対応して設定された検出窓の移動量で、リサイズ処理部で処理されたリサイズ画像をサーチするように設定するサーチ設定部、サーチ設定部により距離区分に応じて設定されたそれぞれの検出窓サイズおよび検出窓の移動量で、スキャン範囲に基づいたリサイズ画像を距離区分の各区分で少なくとも１段階スキャンしてサーチし、検知対象物が存在する位置の検出窓のエリアを登録して検知対象物を検出するマルチサイズラスタスキャン処理部を備えたものである。

この発明は、カメラと検知対象物との距離に応じた距離区分で入力映像をリサイズ化する範囲を変更して情報量を少なくし、さらに距離区分に対応して設定された検出窓サイズおよび検出窓の移動量で、リサイズ画像をスキャンしてサーチすることで検知対象物を検出するようにしているから、情報量が少なくなって演算時間が短くなるから、検知対象物を検出する処理時間が減少する。しかも検知性能も向上するという利点がある。

この発明の実施の形態１に係る物体検出装置の全体構成図である。 この発明の実施の形態１に係る物体検出装置に使用されるパラメータテーブルの内容を示す図である。 この発明の実施の形態１に係る物体検出装置のスキャン範囲変更の方法を説明するための図である。 この発明の実施の形態１に係る物体検出装置のスキャンの仕方を説明するための図である。 この発明の実施の形態１に係る物体検出装置に使用されるマルチサイズラスタスキャン処理を示すフローチャート図である。 この発明の実施の形態１に係る物体検出装置の処理フローを示すフローチャート図である。 この発明の実施の形態１に係る物体検出装置において、検知対象物を検出する方法を説明するための図である。 この発明の実施の形態２に係る物体検出装置のスキャンの仕方を説明するための図である。

実施の形態１．
以下、この発明の実施の形態１における物体検出装置を図１〜図７に基づいて説明する。
図１はこの発明の実施の形態１における物体検出装置の概略構成図を示し、図１において、この発明の物体検出装置はメモリ、ＣＰＵなどを備える周知のコンピュータで構成されている。
メモリは、カメラ１で撮影した画像の１フレーム分を入力して蓄積する画像メモリ１１と、入力画像をＣＰＵ２０でリサイズした画像を記憶するリサイズ画像メモリ１２と、リサイズ画像をラスタスキャンしたサーチ結果を一時的に記憶する検出窓エリアメモリ１３から構成されている。なお、図１ではメモリ１１、１２、１３はＣＰＵ２０の外に記載しているが、メモリ内蔵ＣＰＵを使用できれば、より高速な処理が可能となる。

ＣＰＵ２０は、対象物（人）を検知するコア部となるところで、パラメータテーブル２１、パラメータ設定手段２２、リサイズ処理部２３、サーチ設定部２４、インテグラルヒストグラム生成部２５、マルチサイズラスタスキャン処理部２６、統合化処理部２７、検出判定部２８、検出結果表示手段２９および学習パターン記憶部３０から構成されている。
また、パラメータ設定手段２２は、スキャン範囲変更手段２２１と解像度変更手段２２２と、検出窓（サーチウインドウ）サイズ変更手段２２３と検出窓移動量変更手段（スキップ量制御手段）２２４で構成されている。
さらにマルチサイズラスタスキャン処理部２６は、アダブーストによるカスケード型の識別器として構成される識別処理部２６１を内包する。

スキャン範囲変更手段２２１は、検知対象物（人）とカメラ１の設置位置の関係から、画像フレーム中の対象物（人）の存在している範囲を割出し、存在する可能性のある範囲のみをスキャン範囲として切り出すものである。解像度変更手段２２２は、検知対象物（人）と検知距離の関係より、画像フレーム中の対象物（人）の大きさから検知に必要な最低限の解像度を割出し、元画像に対して極力、低解像度化を図るズーム処理を行うものである。検出窓サイズ変更手段２２３は、検知対象物（人）の画像フレーム中の大きさを割出し、そのサイズ範囲のみでスキャンを行うようサーチ窓サイズを変更するものである。検出窓移動量変更手段２２４は、検出窓サイズに対して最適な移動量（スキップ量）を変更するものである。移動量が少ないと、検知確率は高くなるが、サーチ回数が多くなり、それに伴い演算量が増えて検知速度が遅くなる問題が生じる。

パラメータテーブル２１は、カメラ１で撮影された検知対象物（人）は距離に応じて大きさが変わるので、この距離を近距離、中距離、遠距離の３つの距離区分に分けて、それぞれの距離に応じて、スキャン範囲、解像度、検出窓（サーチウィンドウ）サイズ、検出窓の移動量（スキップ量）などを予め決めたテーブルで、その詳細の一例を図２に示す。このパラメータテーブル２１について、図２および図３に基づいて詳しく説明する。

図２において、カメラ１からの距離が概ね１ｍ〜２ｍを近距離、概ね２ｍ〜４ｍを中距離、概ね４ｍ〜８ｍを遠距離とする。そして近距離、中距離、遠距離の３距離の人検出を各距離毎に繰り返して人検知を行う。通常は、誤検出の抑制を目的として２セット（２段階）の人検知を行う。
各距離での検知結果は、次回の同距離区分の人検出結果まで保持される。即ち、例えば１セット目の中距離の人検出結果は、２セット目の中距離の人検出結果まで保持される。
なお、各距離間の隙間を生じさせないために、検出距離をクロス（重複）させている。よって、クロス点においては、両方の検出に反応するため、近距離＞中距離＞遠距離の優先順位をつけている。

１セット目である基本（１段階目）スキャンは検出窓の移動量をやや大きく、判定閾値を低くして検出し易くし、２セット目である２段階目スキャンは１段階目の検出領域に対し、検出窓の移動量をやや小さく、判定閾値を高くして誤検出を削除する。
即ち、人らしき物が居そうか否かを粗く（検出窓移動量を大きく、判定閾値を低く）サーチし、人の候補が見つかった領域に対して細かく（検出窓移動量を小さく、判定閾値を高く）サーチさせることで、検知処理の高速化と検知性能の向上の両立を図るようにしている。
すべての画像を詳細にサーチすると非常に演算量が増えるが、このように２段階に分けてサーチすることで、処理の高速化を図る。

まず、近距離、中距離、遠距離に応じてフレーム画像のどの領域に対してリサイズ処理を行うかの指定をする。入力される画像の原フレーム（１６００ピクセル×１２００ピクセル）に対し、映像によっては予め人が存在しえない領域が分かっているケースがあり、無駄なサーチ処理を省くためである。但し、切り抜きは上下方向のみ可能とし、横方向は無条件に全領域が対象となる。

基本（１段階目）のスキャンは、近距離においては、図３（ａ）に示すように対象物（人）の大きさは大きいので、スキャン範囲は図３（ｂ）のように入力画像の全体である１６００×１２００ピクセルに亘ってサーチするよう切抜きは行わない。中距離においては、図３（ａ）に示すように対象物（人）の大きさは中くらいなので、スキャン範囲は図３（ｃ）のように入力画像の上と下の一部領域を除き、中央領域の部分がサーチできるように中央領域の部分を切抜いて１６００ピクセル×７２０ピクセルとする。遠距離においては、図３（ａ）に示すように対象物（人）の大きさは小さく、天井や床が映るので、スキャン範囲は図３（ｄ）のように入力画像の上と下の一部領域を更に除き、さらに狭い中央領域の部分がサーチできるように中央領域の部分を切抜いて１６００ピクセル×３００ピクセルとする。
スキャン範囲変更手段２２１は、上記のようにカメラ１と検知対象物との距離に応じた距離区分で入力映像の１フレーム中のスキャン範囲を変更するものである。

解像度については、近距離は画像が大きいので、倍率を０．４と縮小し、結果的に６４０×４８０ピクセルとする。中距離は倍率を０．７５と縮小し、結果的に１２００×５４０ピクセルとする。遠距離は画像が小さいので、倍率は１．０のままとし、結果的に１６００×３００ピクセルとする。
解像度変更手段２２２は、スキャン範囲変更手段２２１で変更されたスキャン範囲の画像の解像度を、カメラ１と検知対象物との距離に応じた距離区分で変更するもので、スキャン範囲が狭く変更されるに従って解像度を順に高くするよう変更する。
また、切り抜きと縮小によりリサイズが行われたフレームに対しても、更に、上下方向に限りサーチ領域の指定が可能である。
上記のように入力画像をリサイズすることにより、後で演算処理する情報量を少なくする。なお、解像度の変更は省略してもよいが、その場合は演算処理が少し遅くなる。

検出窓サイズは、図２のように基本(１段階目)は、初回では縦横の大きさを近距離では９９ピクセル、中距離では７７ピクセル、遠距離では５８ピクセルというように、距離が遠くになるにつれて検出窓サイズを小さくするよう設定する。
検出窓サイズ変更手段２２３は、カメラ１と検知対象物との距離に応じた距離区分で検出窓のサイズを上記のように変更する。
また、サーチの回数もそれぞれの距離に対応して変えるようにし、近距離では検出窓サイズを順次小さく（縮小率０．２）して５回繰り返し、中距離では検出窓サイズを順次小さく（縮小率０．２）して４回繰り返し、遠距離では検出窓サイズを順次小さく（縮小率０．１５）して３回繰り返す。
このように検出窓サイズを更新しながらラスタスキャンを繰り返す処理をマルチサイズラスタスキャンと呼び、これは、対象物（人）を確実に検出するためである。
ここで、縮小率０．２の場合、１−０．２の０．８倍に縮小される。

検出窓の移動量（スキップ量）は、近距離、中距離、遠距離とも、それぞれの検出窓サイズの１／９とする。したがって近距離では初回の検出窓サイズは９９ピクセルなので、その１／９である１１ピクセルとし、中距離では検出窓サイズは７７ピクセルなので、その１／９である８ピクセル（小数点以下切り捨て）とし、遠距離では検出窓サイズは５８ピクセルなので、その１／９である６ピクセル（小数点以下切り捨て）とする。
検出窓移動量変更手段２２４は、カメラ１と検知対象物との距離に応じた距離区分で検出窓の移動量を上記のように変更する。

２段階目スキャンにおいては、スキャン範囲は、近距離では基本スキャンにより検出したエリアの縦横１．５倍、中距離では基本スキャンにより検出したエリアの縦横１．２５倍、遠距離では基本スキャンにより検出したエリアの縦横１．２５倍とする。即ち、近距離では基本スキャンにより検知された候補領域を中心に１．５倍の広さの領域を再度、細かくサーチし直す。
解像度については、２段目スキャンにおいては変更することなく、リサイズ化したままの画像とする。

２段階目の検出窓サイズは、近距離では基本スキャンにより検出した検出窓サイズの１．１倍、中距離では基本スキャンにより検出した検出窓サイズの１．０倍、遠距離では基本スキャンにより検出した検出窓サイズの１．０倍に設定する。
また、サーチの回数もそれぞれの距離区分に対応して変えるようにし、近距離では検出窓サイズを順次小さく（縮小率０．１）して３回繰り返し、中距離では検出窓サイズを順次小さく（縮小率０．１）して２回繰り返し、遠距離では検出窓サイズを順次小さく（縮小率０．１）して２回繰り返す。
検出窓の移動量（スキップ量）は、検出窓サイズによらず一定値とし、近距離では２ピクセル、中距離では１ピクセル、遠距離では１ピクセルに設定する。

リサイズ処理部２３は、パラメータ設定手段２２からのデータに基づいて、上記のような距離区分に応じたスキャン範囲と解像度を設定して、カメラ１で撮影した入力画像を画像メモリ１１から読み出して、リサイズ画像に変えるリサイズ処理を行ってリサイズ画像メモリ１２に記憶する。
サーチ設定部２４は、パラメータ設定手段２２からのデータに基づいて、上記のような距離区分に応じた検出窓サイズと検出窓の移動量を設定し、リサイズ画像メモリ１２から読み出したリサイズ画像をサーチするように設定して、後段のインテグラルヒストグラム生成部２５を介してマルチサイズラスタスキャン処理部２６へ送る。

マルチサイズラスタスキャンによるサーチ（スキャン）の仕方は、図４のように設定された検出窓サイズで、リサイズ画像のスキャン範囲の左上から右に移動し、右端に移動した後は下に下がって更に左から右に移動し、これを順番に繰り返して最終的に右下までスキャンしながらサーチする。
検出窓Ｗを移動する毎に、形状の特徴量を算出し、あらかじめ学習パターン記憶部３０から学習データを読み込むことで構築した識別器により、マルチサイズラスタスキャン処理部２６が学習した形状 (たとえば人の上半身) の特徴量との相関を判定して対象物（人)を検出する。

尚、距離が遠くなるほど人が小さく映り、そのために情報量が減り、同一の学習データでは検知性能が劣化するが、反面、距離が遠いと人間の全身が映り、近づくにつれて体の一部しかフレーム内に映らない傾向から、例えば、遠距離区分では人の全身の学習データを使用し、近距離区分では人の頭部領域の学習データを使用するなど、距離区分に応じて適用する学習データを切り替える事でも、検知性能を向上させる事ができる。
検出に際し、同じ物体でもカメラ１からの距離が違えば、大小に異なって映っているため、検出窓の大きさを変更（マルチサイズ）して、ラスタスキャンを行う必要がある。
以上はサーチを２段階に分けて行う場合について説明したが、この発明はサーチを２段階に分けて行うことは必須ではなく、１段階だけでサーチを行ってもよい。その場合の判定閾値は上記した１段目と２段目の中間にし、検出窓の移動量も１段目と２段目の中間にする。

マルチサイズラスタスキャンは、リサイズ処理部２３によって各距離区分に応じて予め設定されたスキャン範囲、解像度に基づいてリサイズされた入力画像を、サーチ設定部２４によって各距離区分に応じて予め設定された検出窓サイズ、検出窓の移動量に基づいてリサイズ画像を少なくとも各距離区分で１段階のサーチを行い、検知対象物が存在する位置の検出窓のエリアを登録して検知対象物を検出する。
ここで、１段階のサーチとは、各距離の区分で検出窓サイズを指定回数だけ更新（順次縮小）しながらスキャンしてサーチすることをいう。実施の形態１では２段階サーチを行っているので、まず近距離の区分で１段目のサーチを行い、次に同じ近距離の区分での２段目のサーチを行う。この２段階のサーチを、順次中距離の区分、遠距離の区分で実施し、対象物（人）を検知している。

次にマルチサイズラスタスキャン処理部２６における処理内容について、図５に示すフローチャートに基づいて説明する。
図５において、マルチサイズラスタスキャン処理は、距離区分に応じた検出窓サイズとその移動量で、リサイズした画像をサーチするよう設定された信号をサーチ設定部２４から入力して、検出窓内の特徴量と学習パターン記憶部３０から予め人物を学習した学習データ３０Ａを入力して、インテグラルヒストグラム生成部２５にてリサイズした画像から生成されたインテグラルヒストグラムデータ２５Ａの画像から人物を識別し、判別・投票結果から得られた検出対象画像（人の画像）を検出窓エリアとして、検知枠の位置と大きさを記憶する。

なお、実施の形態１では、ＨＯＧ特徴量を用いた人検知を行っているので、インテグラルヒストグラムの生成を行っているが、インテグラルヒストグラムを生成せず、リサイズした画像を別の人検知アルゴリズムでスキャンしてもよい。
図５のステップＳ２６１は、対象となる画像のフレーム中の検出窓内の特徴量を算出する。ステップＳ２６２は、ステップＳ２６１により算出された特徴量（輝度勾配強度）が一定値よりも少ない場合（ＮＯ）は、例えば無地の白壁等と推定されるため、その当該検出窓に対する以降の処理を行わず処理をスキップさせてステップＳ２６６に進み、検知処理の高速化を図る。

ステップＳ２６２において、ステップＳ２６１により算出された特徴量（輝度勾配強度）が一定値よりも多い場合（ＹＥＳ）はステップＳ２６３に進む。ステップＳ２６３は、人を検知するために人物と背景によってクラス分けされた学習サンプルと特徴量を用いて人物を識別するもので、学習サンプルの学習データ３０Ａは学習パターン記憶部３０から読み出され、検出窓内の特徴量と比較照合される。
ステップＳ２６２は、アダブーストによるカスケード型の識別器として構成される識別処理部２６１にて、学習データ３０Ａを用い、弱識別処理と強識別処理と判別・投票処理とを行う。

学習データ３０Ａは検出対象画像（人の画像）と非検出対象画像（人以外の画像）の画像からなる。アダブーストの識別器は、弱識別器のすべての判別結果（検出対象画像であれば「１」、非検出対象画像であれば「０」）が結合器に供給され、結合器はすべての判別結果に対して、対応する弱識別器毎に学習時に算出された信頼度を重み付け加算し、その重み付けの多数決の結果を出力し、結合器の出力値を評価することで、閾値以上の一致があったか否かを判断（Ｓ２６４）し、入力された画像が検出対象か否かを判定するものである。
検知対象物（人）が存在すると判定されれば、ステップＳ２６５にて検知枠の位置と大きさが順次登録されていく。

上記は一つの検出窓の処理内容であるが、ステップＳ２６６は、検出窓を一定量移動させながら、上記の処理を画像フレーム全体に実行する。この動作がラスタスキャンである。ステップＳ２６７は、ラスタスキャンが終了したかどうかを判断し、ラスタスキャン動作が完了したらステップＳ２６８に進む。
ステップＳ２６８では、異なる大きさの人の検知を図るために、検出窓の大きさを変更（小さく）して、再度、ラスタスキャン動作を行う。この組み合わせ動作が、マルチサイズラスタスキャンである。
ステップＳ２６９は、検出窓サイズが下限値になるまで、マルチサイズラスタスキャン動作を行い、検出窓サイズが下限値になった場合（ＹＥＳ）にマルチサイズラスタスキャン処理を終了する。

次に、図１に示す物体検出装置の処理を、図６に示すフローチャートに基づいて説明する。
図６において、ステップＳ１は検知すべき対象物（人）などが写った画像をキャプチャーする。このステップＳ１では、カメラ１が撮影した映像をキャプチャーした映像データは、一旦、外部メモリである画像メモリ１１に１フレーム分書き込まれ、その１枚の静止画の画像を取り込む。カメラ映像はリアルタイムで次々に送られてくるが、当該フレームの認識処理を行っている期間は、次のフレーム認識は行えないため、その間に送られてくる映像データは破棄される。

ステップＳ２は、パラメータテーブル２１からパラメータ設定手段２２に、近距離、中距離、遠距離のスキャン範囲、解像度、検出窓（サーチウインドウ）サイズ、検出窓の移動量（スキップ量）の全てのパラメータについて読み込む。
ステップＳ３は、入力した画像のフレームに対して、近距離区分において設定されたスキャン範囲、解像度に基づいて縮小ズーム処理を行ってリサイズ化を図る。このリサイズ化の処理は対象物（人）をサーチする領域（範囲）を抽出するための処理であって、図３で詳しく説明したとおりである。ステップＳ３の１段階目サーチの近距離の検出では、リサイズ処理は入力画像の全体である１６００×１２００ピクセルを４０％縮小して６４０×４８０ピクセルにリサイズする。

次にステップＳ４は、対象となる画像のフレームに含まれる全てのピクセルについて、各ピクセルの輝度Ｌから算出された勾配強度ｍと勾配方向θを用いて、勾配方向ヒストグラムの作成を行う。ヒストグラムの作成はセル毎に行いしかも検出窓のサイズが変わる度に生成し直すので、これを一定のルールに基づいて変形し、利用しやすくする正規化を行う、このデータをインテグラルイメージと呼ぶ。
ここで輝度勾配とは、対象となるピクセル近傍での輝度変化の度合を示すものであり、画像フレーム内の対象物（人）の境界領域（輪郭）で大きな値となる。

ヒストグラム作成は、対象となる画像のフレームに含まれる全てのピクセルについて、各ピクセルの輝度Ｌから輝度の勾配強度ｍと勾配方向θを算出し、輝度の勾配方向をヒストグラム化することで、物体の輪郭情報を得ることができ、物体の形状を表すことが可能である。輝度勾配方向毎に作成されたインテグラルイメージデータを、インテグラルヒストグラムと呼ぶ。
尚、個々のセルには、輝度の偏りが含まれる場合があるので、近接するセルを含めたブロック単位で正規化を行って平均化して特徴量を算出する。

次にステップＳ５は、輝度勾配方向毎のインテグラルヒストグラムに対して、図５で説明したマルチサイズラスタスキャン処理を実施する。まず、初期の検出窓サイズ（９９ピクセル）で１回目のラスタスキャンを行う。ラスタスキャンは左上から右に検出窓サイズの１／９の移動量で検出窓を移動させ、検出窓が右端に移動した後は下に下がって更に左から右に移動させ、これを順番に繰り返して最終的に右下までスキャンしながらサーチする。ここで人と判定された検出窓を登録する。
更に、検出窓サイズを１回目より縮小して変更し、２回目のラスタスキャンを同様に行う。以降も同様に、指定した回数（近距離の基本スキャンは５回縮小）だけ、検出窓サイズを縮小しながらラスタスキャンを繰り返す。同時に、マルチサイズラスタスキャンで人と判定された検出窓（検知枠の位置と大きさ）を順次登録していく。この状態を図７に示す。

次にステップＳ６は、マルチサイズラスタスキャンを行うと、１人の人に対して複数の検出窓が登録されるので、それら検出窓を１つの検出窓にまとめる統合処理を行う。即ち、ステップＳ５で登録された複数の検出窓を１つの検出窓にまとめる。
この統合処理の仕方は、まず、人と判定された検出窓を重心の近くに移動させる。重心が複数存在する場合は、最も距離が近い重心に移動させる。この処理には、検出窓の距離統合係数とスケール統合係数があり、それぞれ大きな値を設定するほど、遠くの距離にある検出窓やスケールの差が大きな検出窓を統合しやすくなる。
全ての検出窓の移動を行った後、検出窓の中心座標どうしが一定の距離以内にある検出窓を全て統合する。最後に、検出窓の統合個数が予め決めた個数、例えば３個以上の検出窓を、最終的に人と判定する。

１段目スキャンが完了すれば、ステップＳ７にて１段目スキャンで検出された領域（人と判定した検出窓エリア）に対し、２段目スキャンにて検出窓の移動量を細かく、判定閾値を高くして誤検出を排除する。近距離区分の２段目のスキャン範囲は、１段目のサーチで検出した検出窓エリアの縦横１．５倍に広げ、検出窓サイズも１段目の検出窓サイズの１．１倍とし、検出窓の移動量は１段目の移動量よりも細かい２ピクセルとすると共に判定閾値を高くする。
次にステップＳ８は、最終的に近距離区分にて人と判定された検出窓のエリアを記憶し、検出窓エリアメモリ１３に登録する。

ステップＳ９は、以下に記載の途中終了条件に合致したか判断する。２段目のスキャンにより確定した検知結果は、距離区分毎に位置と大きさが記憶されているが、例えば、近距離でフレームいっぱいに人が検知された場合、それ以降、同一エリアでの中距離や遠距離のサーチは意味が無いため、サーチを途中終了させる事がある。つまり、同一エリアのサーチについては、近距離＞中距離＞遠距離の関係となり、全距離区分の処理を終える前に、処理を中断させることがある。

近距離区分での検知処理終了後中距離区分での検知処理に移行し、ステップＳ２で中距離区分に応じた制御パラメータを読み込む。近距離区分と同様に、中距離区分において設定されたスキャン範囲、解像度に基づいて縮小ズーム処理を行ってリサイズ化を図る。このリサイズ化の処理は対象物（人）をサーチする領域（範囲）を抽出するための処理であって、図３で詳しく説明したとおりである。中距離区分での１段目サーチの検出では、ステップＳ３の中距離リサイズ処理は入力画像の全体である１６００×１２００ピクセルを１６００×７２０に切り抜き、それを７５％縮小して１２００×５４０ピクセルにリサイズする。

次にステップＳ４は、中距離区分でリサイズ化された画像のフレームに対して、インテグラルイメージデータを作成する。
ステップＳ５は、作成された輝度勾配方向毎のインテグラルヒストグラムに対して、初期の検出窓サイズ（７７ピクセル）で１回目のラスタスキャンを行う。ラスタスキャンは左上から右に検出窓サイズの１／９の移動量で検出窓を移動させ、検出窓が右端に移動した後は下に下がって更に左から右に移動させ、これを順番に繰り返して最終的に右下までスキャンしながらサーチする。ここで人と判定された検出窓は登録する。
検出窓サイズを１回目より縮小して変更し、検出窓を移動させながら２回目のラスタスキャンを同様に行う。以降も同様に、指定した回数（中距離の基本スキャンは４回縮小）だけ、検出窓サイズを縮小しながらラスタスキャンを繰り返す。同時に、マルチサイズラスタスキャンで人と判定された検出窓を登録していく。

次にステップＳ６は、マルチサイズスキャンを行うと、１人の人に対して複数の検出窓が登録されるので、それら検出窓を１つの検出窓にまとめる統合処理を行う。即ち、登録された複数の検出窓を１つの検出窓にまとめる。
最後に、検出窓の統合個数が予め決めた個数、例えば３個以上の検出窓を、最終的に人と判定する。

１段目スキャンで検出された領域に対し、２段目スキャンにて検出窓の移動量を細かく、判定閾値を高くして誤検出を排除する。中距離区分の２段目のスキャン範囲は、１段目のサーチで検出した検出窓エリアの縦横１．２５倍に広げ、検出窓サイズも１段目の検出窓サイズの１．０倍とし、検出窓の移動量は１段目の移動量よりも細かい１ピクセルとすると共に判定閾値を高くする。
次にステップＳ８は、最終的に中距離区分にて人と判定された検出窓のエリアを記憶する。

遠距離区分においても同様に、設定されたスキャン範囲、解像度に基づいて縮小ズーム処理を行ってリサイズ化を図る。遠距離区分の１段目サーチの検出では、ステップＳ３のリサイズ処理は入力画像の全体である１６００×１２００ピクセルを１６００×３００に切り抜き、それを縮小せずに１６００×３００ピクセルにリサイズする。
ステップＳ４で、インテグラルヒストグラムイメージを作成し、ステップＳ５で輝度勾配方向毎のインテグラルヒストグラムに対して、マルチサイズラスタスキャンを実施する。

遠距離区分でのステップＳ５は、リサイズ化された画像のフレームから作成された輝度勾配方向毎のインテグラルヒストグラムに対して、初期の検出窓サイズ（５８ピクセル）で１回目のラスタスキャンを行う。ラスタスキャンは左上から右に検出窓サイズの１／９の移動量で検出窓を移動させ、検出窓が右端に移動した後は下に下がって更に左から右に移動させ、これを順番に繰り返して最終的に右下までスキャンしながらサーチする。ここで人と判定された検出窓は登録する。

１段目スキャンで検出された領域に対し、２段目スキャンにて検出窓の移動量を細かく、判定閾値を高くして誤検出を排除する。遠距離区分の２段目のスキャン範囲は、スキャン範囲は１段目のサーチで検出した検出窓エリアの縦横１．２５倍に広げ、検出窓サイズも１段目の検出窓サイズの１．０倍とし、検出窓の移動量は１段目の移動量よりも細かい１ピクセルとすると共に判定閾値を高くする。
次にステップＳ８は、最終的に遠距離区分にて人と判定された検出窓のエリアを記憶する。

２段目のスキャンにより確定した検知結果は、距離区分毎に位置と大きさが記憶されているが、同一エリアのサーチについては、近距離＞中距離＞遠距離の関係となり、全距離区分の処理を終える前に、処理を中断させる事があることはすでに説明した。
ステップＳ１０にて、全距離区分のサーチが完了した場合（ＹＥＳ）、ステップＳ１１に進んで、図１の統合化処理部２７において各距離区分の検知結果を統合化処理し、当該フレームの検知結果として報告する。
図１の検出判定部２８は、統合化処理部２７により統合された検出窓の統合個数が指定した個数以上になれば、その検出窓は人として判定する。
検出結果表示手段２９は、検出判定部２８により人として判定された結果をディスプレイ２に表示する処理を行う。

以上のように実施の形態１の発明は、カメラと検知対象物との距離に応じた距離区分で入力映像の１フレーム中のスキャン範囲を変更して入力映像をリサイズ化し、そのリサイズ画像を同じくカメラと検知象物との距離に応じた距離区分で変更した検出窓のサイズと検出窓の移動量でラスタスキャンするようにしたから、検知処理時間を短縮し、しかも検知性能も向上させて検知対象物である物体を検出することができる。

実施の形態２．
次に、この発明の実施の形態２における物体検出装置を図８に基づいて説明する。
図８はこの発明の実施の形態２に係る物体検出装置のスキャンの仕方を説明するための図である。
実施の形態１では、検出窓Ｗは図４に示すように、設定されたサイズの検出窓Ｗをリサイズ画像のスキャン範囲の左上から右に移動し、右端に移動した後は下に下がって更に左から右に移動し、これを順番に繰り返して最終的に右下までスキャンしながらサーチしていた。

実施の形態２の発明は、設定されたサイズの検出窓Ｗ（図では９×９ピクセル）は図８の矢印のように、移動量の２倍値でジグザク（検出窓が右に１セル移動する毎に検出窓を１セル分上下させる）に移動しながらスキャンして、リサイズ画像のスキャン範囲の左上から右下までサーチするようにしたものである。
このようにスキャンすることで、移動量値と同じ値でスキャンした効果が得られ、処理速度が速くなる。なお、検知対象物を一度検出したら２回連続で外れない限り検出したと見做す制御と組み合わせることで、スキャンの移動量の細かさを１／２にしたのと同等な効果が得られる。

なおこの発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１：カメラ、 ２：ディスプレイ、 １１：画像メモリ、
１２：リサイズ画像メモリ、１３：検出窓エリアメモリ、 ２１：パラメータテーブル、２２：パラメータ設定手段、２３：リサイズ処理部、 ２４：サーチ設定部、
２５：インテグラルヒストグラム生成部、２６：マルチサイズラスタスキャン処理部、
２７：統合化処理部、２８：検出判定部、 ２９：検出結果表示手段、
３０：学習パターン記憶部、
２２１：スキャン範囲変更手段、 ２２２：解像度変更手段、
２２３：検出窓サイズ変更手段、 ２２４：検出窓移動量変更手段

Claims (10)

1. カメラと検知対象物との距離に応じた距離区分で入力映像の１フレーム中のスキャン範囲を変更するスキャン範囲変更手段と、前記距離区分で検出窓のサイズを変更する検出窓サイズ変更手段と、前記距離区分で前記検出窓の移動量を変更する検出窓移動量変更手段とを有するパラメータ設定手段、前記カメラで撮影した入力映像を入力して、前記スキャン範囲変更手段により前記距離区分に対応して設定されたスキャン範囲で前記入力映像をリサイズするリサイズ処理部、前記検出窓サイズ変更手段により前記距離区分に対応して設定された検出窓サイズおよび前記検出窓移動量変更手段により前記距離区分に対応して設定された検出窓の移動量で、前記リサイズ処理部で処理されたリサイズ画像をサーチするように設定するサーチ設定部、前記サーチ設定部により前記距離区分に応じて設定されたそれぞれの検出窓サイズおよび検出窓の移動量で、前記スキャン範囲に基づいた前記リサイズ画像を前記距離区分の各区分で少なくとも１段階スキャンしてサーチし、前記検知対象物が存在する位置の前記検出窓のエリアを登録して前記検知対象物を検出するマルチサイズラスタスキャン処理部を備えた物体検出装置。
2. 前記リサイズ処理部で処理されたリサイズ画像からインテグラルイメージを生成するインテグラルイメージ生成部を備え、前記インテグラルイメージをスキャンしてサーチし、前記検知対象物を検出する請求項１に記載の物体検出装置。
3. 前記パラメータ設定手段は、前記スキャン範囲変更手段で変更されたスキャン範囲の画像の解像度を前記距離区分に応じて変更する解像度変更手段を備え、前記スキャン範囲が狭く変更された場合は解像度を高くするようにした請求項１または請求項２に記載の物体検出装置。
4. 前記カメラと検知対象物との距離に応じた距離区分は、近距離、中距離、遠距離の３区分にした請求項１から請求項３のいずれか１項に記載の物体検出装置。
5. 前記距離区分が近距離から遠距離になるにつれて、前記スキャン範囲変更手段はスキャン範囲を狭く変更し、前記検出窓サイズ変更手段は検出窓サイズを小さく変更し、前記検出窓移動量変更手段は検出窓の移動量を小さく変更するようにした請求項４に記載の物体検出装置。
6. 前記距離区分が近距離から遠距離になるにつれて、適用する学習データを変更するようにした請求項４または請求項５に記載の物体検出装置。
7. 前記マルチサイズラスタスキャン処理部は、前記距離区分の各区分で検出窓サイズを順次小さくして複数回スキャンするようにした請求項１から請求項６のいずれか１項に記載の物体検出装置。
8. 前記マルチサイズラスタスキャン処理部は、前記距離区分の各区分を２段階に分けてサーチし、２段階目のサーチは１段階目のサーチにより検出された検出窓エリアを、１段階目より検出窓サイズを大きく、検出窓の移動量を小さくしてサーチするようにした請求項１から請求項７のいずれか１項に記載の物体検出装置。
9. 前記パラメータ設定手段は、前記距離区分の各区分に対応して予めスキャン範囲、解像度、検出窓サイズ、検出窓の移動量が記憶されたパラメータテーブルからデータを入力するようにした請求項３から請求項８のいずれか１項に記載の物体検出装置。
10. 前記マルチサイズラスタスキャン処理部は、前記検出窓をジグザクに移動しながらスキャンしてサーチするようにした請求項１から請求項９のいずれか１項に記載の物体検出装置。

Images