JP2015106307A - 物体検出装置 - Google Patents

Abstract

【課題】画像内において対象物体の特徴的な部位が表れる位置が変動する場合でもその部位の特徴を利用して対象物体を精度良く検出することができる物体検出装置を提供する。
【解決手段】物体検出装置１は、対象物体を構成する一または複数の部位の画像特徴である部位特徴を用いて、検出対象画像に対象物体像が存在するか否かを識別する物体検出装置であって、検出対象画像における複数の位置に所定サイズの部位窓を設定し、その部位窓内に対して部位特徴に適合する程度である部位適合度を算出する部位適合度算出部４４と、部位適合度の分布を生成する分布生成部４５と、部位適合度の分布を特徴量として対象物体の存否を識別する分布識別部４７と、を少なくとも含む。
【選択図】図１

Description

本発明は、画像から物体を検出する物体検出装置に関する。

従来、写真もしくはビデオの画像検索や防犯用の画像センサなど様々な目的のために、画像から人体、車両等の対象物体を検出する物体検出装置が研究されている。特に近年では機械学習した識別器を用いた物体検出装置が多く研究されている。例えば、学習識別器は、人体が写っている多数の学習用画像と人体が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において人体の特徴量空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。この識別器は、人体の有無を判定したい画像から抽出した特徴量が入力されると、その特徴量が特徴量空間において識別境界のどちら側に位置するかによりその画像に人体が写っているか否かを判定する。

例えば、特許文献１には、入力画像に現れる対象物を検知する対象物検知装置が提案されている。この対象物検知装置は、学習用画像（標本画像）を複数のセルごとに区分けしている。そして、各セルに対象物の部分の存否を識別する部分識別器と、全ての部分識別器が出力したセル識別指標値から対象物の存否を識別可能な全体識別器とを有する。

特開２０１１−２１５８８３号公報

特許文献１に記載された対象物検知装置は、セル毎の識別結果を全体識別器にて利用し対象物を検知するので、対象物の一部が他の物体により隠蔽されているような場合でも、対象物を精度良く検知することができる。しかしながら、セルの位置によっては、入力画像に表れる対象物の特徴的な部位（例えば対象物が人物である場合の頭部等）が一つのセルに収まらず、複数のセルにまたがってしまうため、その部位の特徴を学習した部分識別器での識別精度が低下し、対象物を検知することができない場合があった。また、セルを大きくし、部位が一つのセルに収まるようにすると、部位の特徴がセル全体に占める割合が減少し、部分識別器の学習数にもよるが部分識別器の識別精度が低下してしまい、対象物の存否を識別する全体識別器の性能も低下することとなる。

本発明の目的は、画像内において対象物体の特徴的な部位が表れる位置が変動する場合でも、その部位の特徴を利用して対象物体を精度良く検出することができる物体検出装置を提供することにある。

かかる課題を解決するため本発明は、対象物体を構成する一または複数の部位の画像特徴である部位特徴を用いて、検出対象画像に対象物体像が存在するか否かを識別する物体検出装置であって、検出対象画像における複数の位置に所定サイズの部位窓を設定し、当該部位窓内に対して前記部位特徴に適合する程度である部位適合度を算出する部位適合度算出部と、部位適合度の分布を生成する分布生成部と、部位適合度の分布を特徴量として前記対象物体の存否を識別する分布識別部とを少なくとも含む物体検出装置を提供する。
これにより本発明は、検出対象画像内に対象物体を構成する部位特徴が分布している状況を特徴量として対象物体の存否を識別するので、一つの部位適合度、例えば部位適合度のピーク値を用いた識別よりも対象物体の識別精度が向上する。

部位適合度算出部は、部位ごとに部位窓を設定する探索範囲を定めることが好適である。これにより、検出対象画像中における対象物体の各部位が所在する可能性のある位置が予め分かっている場合、その部位が所在する可能性のある範囲を探索範囲に設定できるので、部位適合度の分布の精度を更に向上させることができる。

部位適合度算出部は、部位窓のサイズを予め定めた変化量の範囲にて変化させることが好適である。これにより、検出対象画像中における対象物体像の大きさ等に変動があった場合でも、部位窓のサイズを変化させてその変動に対応できるので、部位適合度の分布精度を更に向上させることができる。

分布生成部は、部位窓ごとに設定された前記検出対象画像における各部位の所在する基準位置から同一の投票位置までの投票ベクトルを用いて、部位適合度を算出した部位窓の位置から投票して前記部位適合度分布を生成することが好適である。これにより、一部の部位における部位適合度がオクルージョンなどに起因して精度良く算出できなくとも、他の部位による部位適合度が投票されているので、全体の状況を表す部位適合度分布への影響が軽減され、対象物体の識別精度が向上する。

分布生成部は、検出対象画像を複数領域に分割し、当該分割領域ごとに適合度分布を生成することも好適である。これにより、検出対象画像における部位毎のおおよその位置が分かっている際に、部位の配置を重視した適合度分布を用いることができる。

本発明に係る物体検出装置は、画像内において対象物体の特徴的な部位が表れる位置が変動する場合でも、その部位の特徴を利用して対象物体を精度良く検出することができるという効果を奏する。

本実施形態による人体検出システムの概略構成図である。 部位窓設定情報について説明するための模式図である。 （ａ）〜（ｃ）は、検出対象画像に部位窓を設定する様子を説明するための模式図である。 （ａ）〜（ｄ）は、部位適合度分布について説明するための模式図である。 人体分布識別器について説明するための模式図である。 本実施形態による人体検出装置の人体検出処理の動作を示すフローチャートである。 （ａ）〜（ｄ）は、グループ毎に部位適合度分布を生成する処理を説明するための模式図である。

以下、本発明の物体検出装置を人体検出装置に適応した形態について図を参照しつつ説明する。
なお、物体検出装置の対象物体は、人体に限定されることなく、車両、かばん、扉など、画像中に表れる物体であれば良い。また、本実施形態では、人体検出装置が、頭部、右肩、左肩、胴体、右脚、左脚等の全ての部位適合度の分布を用いて人体を検出する例について説明する。本実施の形態では、６つの部位適合度を用いているが、これに限らず、一つの部位適合度の分布を用いて人体を検出しても良い。または、部位を詳細に分けて多数の部分を用いてもよい。

図１は、本実施形態による人体検出システム１００の概略構成を示す図である。人体検出システム１００は、人体検出装置１及び撮像装置２を有する。

撮像装置２は、所定の撮影領域を撮影するカメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。撮像装置２は、人体検出装置１と接続され、撮影した撮影画像を人体検出装置１へ出力する。

人体検出装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、周辺回路、端子、各種メモリなどから構成され、撮像装置２が撮影した撮影画像から、検出対象である人体を検出し、撮影画像から人体を抽出した画像を出力する。人体検出装置１は、画像取得部１０、出力部２０、記憶部３０及び画像処理部４０を有する。以下、人体検出装置１の各部について詳細に説明する。

画像取得部１０は、撮像装置２と接続され、撮像装置２から撮影画像を取得し、画像処理部４０に出力するインタフェース及びその制御回路である。なお、本実施形態では、画像取得部１０は、撮像装置２から撮影画像を取得して画像処理部４０へ出力するが、ハードディスク等の媒体から画像を取得して画像処理部４０へ出力してもよい。以下では、画像取得部１０が取得して画像処理部４０へ出力する画像を入力画像と称する。

出力部２０は、外部装置（不図示）と接続するインタフェース及びその制御回路である。出力部２０は、画像処理部４０から、入力画像に人体が含まれるか否かの判定結果を含む結果信号を受け取ると、接続されている外部装置が受信可能な形式の信号に変換して出力する。判定結果が入力画像に人体が含まれていることを示す場合、結果信号には、入力画像から抽出された人体を含む画像がさらに含まれる。
なお、結果信号には、入力画像から抽出された人体を含む画像の代りに、入力画像と、入力画像において人体が写っている領域の座標情報及び大きさを示す情報が含まれてもよい。これにより、例えば、出力部２０に接続する外部装置を物体追跡装置とすることにより、撮影領域内に存在する人体を追跡しながら監視することができる。
また、出力部２０は、一般公衆回線、携帯電話回線などの通信回線を介して各情報を監視センタ装置などの外部装置へ出力してもよい。

記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、人体検出装置１を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。各種データは、部位窓設定情報３１、部位学習データ３２、及び分布学習データ３３を少なくとも含んでいる。
部位学習データ３２は、部位の識別に有用な一つ以上の特徴量である部位特徴量を算出するための情報、部位特徴量についての特徴量空間において部位が写っている画像について算出された部位特徴量が分布する空間とそれ以外の空間とを分ける識別境界、部位特徴量が識別境界のどちら側に位置するかと、部位特徴量と識別境界の間の距離とを求めるための情報等を含む。部位学習データ３２は、部位が写っている複数の学習用部位画像及び部位が写っていない複数の学習用非部位画像から事前学習により決定される。部位学習データ３２は、後述する特徴量算出手段４３及び部位適合度算出手段４４において部位適合度を算出する際に用いられる。
分布学習データ３３は、後述する部位適合度分布についての特徴量空間において、人体が写っている画像について算出された部位適合度分布が分布する空間とそれ以外の空間とを分ける識別境界、部位適合度分布が識別境界のどちら側に位置するかと、部位適合度分布と識別境界の間の距離とを求めるための情報等である。分布学習データ３３は、複数の学習用人体画像から生成された部位適合度分布と、複数の学習用非人体画像から生成された部位適合度分布から事前学習により決定される。分布学習データ３３は、後述する人体分布識別器４６及び人体検出手段４７において入力画像に人体が含まれるか否かを判定する際に用いられる。
なお、部位窓設定情報３１については、後述する。

画像処理部４０は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータにより構成され、画像取得部１０から取得した入力画像に対して記憶部３０を参照しながら人体を検出し、結果信号を出力部２０に出力する。画像処理部４０は、検出窓設定手段４１、部位窓設定手段４２、特徴量算出手段４３、部位適合度算出手段４４、部位適合度分布生成手段４５、人体分布識別器４６及び人体検出手段４７を有する。画像処理部４０の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。なお、画像処理部４０の各手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部４０の各手段について詳細に説明する。

検出窓設定手段４１は、撮像装置２の解像度や設置条件、人体の標準的な身長（例えば１７０ｃｍ）から想定される、入力画像中での検出したい人体の大きさを考慮したサイズの検出窓を、入力画像の全体を順次走査するように設定する。以下、検出窓設定手段４１が入力画像中の各走査位置にて設定した検出窓内の画像を検出対象画像と称する。

検出窓設定手段４１は、検出対象画像のサイズを正規化してスケールを合わせた検出対象画像を生成する。本実施の形態では、横６０画素、縦１２０画素に正規化している。そして、後述するように部位窓設定手段４２は、部位窓設定情報３１に基づいて、人体の頭部、右肩、左肩、胴体、右脚、左脚の各部位ごとに所定位置、所定サイズの部位窓を検出対象画像に順次設定し、部位窓画像を出力する。

ここで、部位窓設定情報３１について、図２を参照して説明する。部位窓設定情報３１には、検出対象画像における人体の頭部２０１、右肩２０２、左肩２０３、胴体２０４、右脚２０５、左脚２０６の各部位を検出するための情報として、基準位置２１１、基準サイズ２１２、探索範囲２１３、サイズ変化量２１４および投票ベクトル２１５が含まれる。なお、図２に記載の値は、検出対象画像のサイズを横６０画素、縦１２０画素に正規化したときの部位窓設定情報３１を例示したものである。

基準位置２１１は、経験的に定めた各部位の重心位置を部位窓の重心位置とし、検出対象画像の左上を原点（０、０）として表した座標値である。図２に示す通り、頭部（３０、３０）、右肩（１０、４５）、左肩（５０、４５）、胴体（３０、６０）、右脚（２０、８５）、左脚（４０、８５）が記憶されている。なお、本実施の形態では、部位の重心位置を経験的に定めたが、部位学習データ３２の事前学習に用いた複数の学習用人物画像における各部位画像の外接矩形の重心の平均位置等を用いても良い。なお、事前学習に用いた人物画像は検出対象画像と同様に正規化してスケールを合わせてある。

基準サイズ２１２は、経験的に定めた各部位の外接矩形を部位窓とし、その縦横の画素数で表している。本実施の形態では、図２に示す通り、頭部３０×３０、右肩２０×２０、左肩２０×２０、胴体３０×５０、右脚４５×５０、左脚４５×５０が記憶されている。なお、本実施の形態では、基準サイズ２１２を経験的に定めたが、部位学習データ３２の事前学習に用いた複数の学習用部位画像における各部位の外接矩形の縦横長の平均等を用いても良い。

探索範囲２１３は、各部位の位置が変動し基準位置から外れる可能性がある範囲であって、その範囲を部位窓にて走査探索するために設定する。具体的には、各部位の基準位置２１１に基準サイズ２１２の部位窓を設定した場合に、この部位窓に同じ基準サイズ２１２の部位窓が重なる割合で表現する。重なりの割合が大きいほど、基準位置２１１に近い範囲までしか設定されない。重なりの割合が小さいほど、基準位置２１１から遠い範囲まで設定される。基準位置２１１から大きく変動し得る部位については小さな値、基準位置２１１から小さくしか変動し得ない部位については大きな値を設定する。本実施の形態では、図２に示す通り、頭部７０％、右肩８０％、左肩８０％、胴体９０％、右脚７０％、左脚７０％が記憶されている。すなわち、胴体が最も変動が小さく、頭部及び左右脚が最も変動が大きいものとして設定している。これらの値は、実験的かつ経験的に定められる。なお、本実施の形態では、探索範囲２１３を経験的に定めたが、部位学習データ３２の事前学習に用いた複数の学習用部位画像における各部位の外接矩形の基準位置からの外れ量の平均等を用いても良い。

サイズ変化量２１４は、基準サイズ２１１の部位窓のみでなく、人物によって異なる体型や撮影時によって異なる環境の変動に対応するための部位窓のサイズを変化させる量であって、部位窓を基準サイズ２１２から拡大または縮小する比率として表している。本実施の形態では、図２に示す通り、頭部９０〜１１０％、右肩９０〜１１０％、左肩９０〜１１０％、胴体８０〜１２０％、右脚９０〜１１０％、左脚９０〜１１０％が記憶されている。なお、部位窓を変化させる刻み幅は、１％ごとに設定される。これらの値は、実験的かつ経験的に定められる。なお、本実施の形態では、サイズ変化量２１４を経験的に定めたが、部位学習データ３２の事前学習に用いた複数の学習用部位画像における各部位の外接矩形のサイズの変化範囲から算出しても良い。また、刻み幅は、計算負荷に応じて設計的に定められる。

投票ベクトル２１５は、各部位窓の基準位置２１１を始点とし、人体の中心付近に所在する胴体部の重心位置を終点としたベクトルであって、後述する部位適合度分布を生成する際に用いる。

ここで、図３を参照して、部位窓設定手段４２が検出対象画像に部位窓を設定する様子を説明する。図３は、検出対象画像に理想的な状況にて人体が撮影された場合の検出対象画像と部位窓との位置関係を模式的に示した図である。

図３（ａ）は、基準サイズの部位窓３０１〜３０６を基準位置に配置した場合を示している。図３（ａ）では、各部位窓３０１〜３０６の基準位置を黒丸（●）で、投票ベクトルを矢印で示している。学習した結果に合致した人体が撮影されていると、同図に示すように、各部位窓３０１〜３０６の投票ベクトルが胴体の重心位置に集中する。

図３（ｂ）は、頭部を例に、部位窓の探索範囲と投票ベクトルを示している。図３（ｂ）では、部位窓設定情報の探索範囲の外縁を点線３１１で、各部位窓の重心位置を黒丸（●）で示し、それぞれの投票ベクトルにしたがって投票した投票位置が示されている。同図のように、投票位置は、図２に示す部位窓設定情報の探索範囲に応じて分散している。したがって、人体の姿勢変動や撮影環境の違いなどにより頭部の位置ずれ等が生じても、探索範囲内に頭部が存在すれば、その頭部の示す特徴を捉えることができる。本実施の形態では、右肩、左肩、胴体、右脚、左脚の各部位についても、探索範囲に部位窓を順次設定し、部位適合度を投票して部位適合度分布を作成する。かかる部位適合度分布は、各部位の投票ベクトルの終点を一致させることにより、一部の部位適合度が低い値となっても、各部位を持つ人体全体としての有効な特徴となる。ちなみに、頭部を検出するのが目的であれば、頭部適合度の分布のみを用いれば良い。

図３（ｃ）は、図２に示す部位窓設定情報における頭部のサイズ変化量に応じて、位置を基準位置に固定したままで、部位窓のサイズが変化している様子を示している。位置が固定なので、投票位置は胴体の重心位置のまま変化しないが、部位窓のサイズの変化に起因して後述する部位適合度が変化する。これは、撮影された人体固有の頭の大きさや撮影角度等による変動に対応するものである。

部位窓設定手段４２は、図３（ａ）、（ｂ）、（ｃ）に示すように、各部位窓の位置・サイズを変化させつつ、検出対象画像に部位窓を順次設定する。

特徴量算出手段４３は、検出対象画像における、部位窓設定手段４２により設定された各部位窓画像から部位特徴量を算出する。本実施形態では、特徴量算出手段４３は、部位特徴量としてＨＯＧ（Histograms of Oriented Gradients）特徴量を用いる。ＨＯＧ特徴量は、各部位窓画像において複数のブロックを設定し、さらに各ブロックを分割した複数のセルごとに、各勾配方向の勾配強度の総和を度数としたヒストグラムを正規化して算出される。

各部位の適合度算出手段は、部位特徴量が入力されると、その部位特徴量が算出された部位窓に各部位が含まれている可能性を表す部位適合度を出力する。すなわち、部位適合度算出手段４４は、頭部の適合度を算出する頭部適合度算出手段４４１、右肩の適合度を算出する右肩適合度算出手段４４２、左肩の適合度を算出する左肩適合度算出手段４４３、胴体の適合度を算出する胴体適合度算出手段４４４、右脚の適合度を算出する右脚適合度算出手段４４５及び左脚の適合度を算出する左脚適合度算出手段４４６を有する。

なお、本実施形態では、特徴量算出手段４３及び部位適合度算出手段４４を、部位学習データ３２を用いるリアルアダブースト識別器により実現している。リアルアダブースト識別器の詳細については、例えば、R.E.Schapire and Y.Singer, Improved boosting algorithms using confidence-rated predictions, Machine Learning, 37, pp.297-336, 1999に開示されている。
ここで、特許請求の範囲にて用いている「部位適合度算出部」は、本実施の形態における「部位窓設定手段４２」、「特徴量算出手段４３」及び「部位適合度算出手段４４」にて実現されていることを付言しておく。

部位適合度分布生成手段４５は、部位窓設定手段４２により設定された各部位窓について算出された部位適合度を各部位の投票ベクトルにしたがって投票し、投票値（投票された部位適合度の総和）の分布を部位適合度分布として作成する。

ここで、投票について、図３を参照して説明する。まず、部位適合度分布生成手段４５は、図３（ｂ）に示すように、頭部について探索範囲内に設定された各部位窓から算出された部位適合度を図２に示す投票ベクトル２１５にしたがって投票する。同様に、部位適合度分布生成手段４５は、右肩、左肩、胴体、右脚、左脚の各部位についても各部位窓から算出された部位適合度を図２に示す投票ベクトル２１５にしたがって投票する。
さらに、部位適合度分布生成手段４５は、図３（ｃ）に示すように、図２の基準サイズ２１２を頭部のサイズ変化量２１４に応じて変化させた各部位窓から算出された部位適合度を投票ベクトル２１５にしたがって投票する。同様に、部位適合度分布生成手段４５は、右肩、左肩、胴体、右脚、左脚の各部位についても図２の基準サイズ２１２をサイズ変化量２１４に応じて変化させた各部位窓から算出された部位適合度を投票ベクトルにしたがって投票する。

次に、部位適合度を投票した結果である部位適合度分布について、図４を参照して説明する。図４は、人体が写っている検出対象画像又は人体以外の物体が写っている検出対象画像について生成される部位適合度分布を模式的に示した図である。図４には、検出対象画像の水平方向及び垂直方向をそれぞれｘ軸及びｙ軸とし、検出対象画像の各画素に対応する位置における投票値をｚ軸とした部位適合度分布が示される。

図４（ａ）は、理想的な状況で人体が写っている検出対象画像４００から生成された部位適合度分布４０１を示している。同図に示すように、部位適合度分布４０１では、胴体の重心位置４０２において投票値が最も高くなり、胴体の重心位置４０２から離れるにつれて投票値が低くなる。

図４（ｂ）は、頭を傾けている人体が写っている検出対象画像４１０から生成された部位適合度分布４１１を示している。同図に示すように、部位適合度分布４１１では、胴体の重心位置４１２における投票値は図４（ａ）の胴体の重心位置４０２における投票値と比較して低くなり、代わりに、重心位置４１２からずれた位置４１３、４１４における投票値が高くなっている。

図４（ｃ）は、人体が写っておらず、代わりにハンガーに掛けられた上着が写っている検出対象画像４２０から生成された部位適合度分布４２１を示している。同図に示すように、検出対象画像４２０には人体の右肩、左肩及び胴体に類似するものが写っているが、頭部、右脚及び左脚に類似するものは写っていないため、部位適合度分布４２１の投票値のピークは極めて低くなっている。

図４（ｄ）は、人体が写っておらず、代わりに木が写っている検出対象画像４３０から生成された部位適合度分布４３１を示している。同図に示すように、検出対象画像４３０に写っている木の枝は人体の頭部、右肩、左肩及び胴体に類似しているため、分布４３１にはわずかに高くなっている箇所がいくつか存在するが、部位適合度分布４３１は全体にわたって極めて低くなっている。

このように、検出対象画像に人体が写っている場合、人体の姿勢が多少ずれていても、基準位置からずれた位置に部位が写っているため、分布内のどこかで投票値が高くなる。一方、検出対象画像に人体が写っていない場合、人体の全ての部位にそれぞれ類似する物が想定する位置に検出されず、投票値の分布は全体にわたって低くなる。

部位適合度分布生成手段４５は、後述する人体分布識別器４６にて処理するために、検出対象画像（６０画素×１２０画素）の各画素に対応する位置における投票値をその位置の順に一列に並べた７２００次元ベクトルを部位適合度分布として生成している。

人体分布識別器４６は、部位適合度分布が特徴量として入力されると、記憶部３０に記憶している分布学習データ３３を用いて検出対象画像に人体像が存在するか否かを識別した結果を出力する。人体分布識別器４６は、分布学習データ３３を用いるサポートベクタマシンを用いて実現している。

ここで、人体分布識別器４６における人体像の存否を識別するための原理について、図５を参照して説明する。図５は、７２００次元ベクトルの部位適合度分布のうち簡単化のため２次元の特徴量空間を模式的に示した図である。なお実際には７２００次元の特徴量空間である。図５では、サポートベクタマシンにて学習した各部位適合度分布を×で示している。グループ５０１は、人体が写っている学習画像から生成された部位適合度分布のグループであり、グループ５０２は、人体以外の物体が写っている学習画像から生成された部位適合度分布のグループである。グループ５０１には、図４（ａ）の理想的な状況で人体が写っている検出対象画像４００から生成された部位適合度分布５０３と、図４（ｂ）の頭を傾けている人体が写っている検出対象画像４１０から生成された部位適合度分布５０４が特徴量空間にプロットされている。グループ５０２には、図４（ｃ）のハンガーに掛けられた上着が写っている検出対象画像４２０から生成された部位適合度分布５０５と、図４（ｄ）の木が撮影された検出対象画像４３０から生成された部位適合度分布５０６が特徴量空間にプロットされている。識別境界５０７は、グループ５０１とグループ５０２とを分けるように学習により定められ、分布学習データ３３として記憶されている。人体分布識別器４６は、入力された検出対象画像の部位適合度分布が識別境界５０７のどちら側に位置するかにより、人体像を含むか否かを識別する。

また、人体分布識別器４６は、入力された部位適合度分布と識別境界の間の距離に基づいて、部位適合度分布が人体を含む検出対象画像から生成された可能性を表す分布適合度を出力する。分布適合度は、後述するように、人体が含まれると判定された検出対象画像が複数ある場合に、人体検出手段４７において、出力する人体画像を決定する際に用いられる。
このように、部位適合度分布は、複数の部位についての部位適合度を７２００次元の特徴量空間に投票した結果なので、７２００の特徴を加味した人体識別が可能となる。

人体検出手段４７は、人体分布識別器４６にて検出対象画像に人体が含まれると判定した場合、その検出対象画像の入力画像における位置及び大きさと、分布適合度とを関連付けて記憶部３０に記憶する。

なお、人体検出手段４７は、人体が含まれると判定した所定数（例えば2）以上の検出対象画像が相互に所定サイズ（例えば50%）以上重なっている場合に限り、その検出対象画像に人体が含まれると判定してもよい。入力画像に人体が含まれる場合、複数の検出対象画像において人体が含まれると判定される可能性が高いため、これにより、検出精度を向上させることが可能となる。

また、人体検出手段４７は、人体が含まれると判定した検出対象画像が複数ある場合、記憶部３０から各検出対象画像の位置及び大きさを読み出し、各検出対象画像が相互に所定サイズ以上重なっているか否かを判定する。人体検出手段４７は、各検出対象画像が相互に所定サイズ以上重なっている場合、各検出対象画像には同一の人体が含まれると判定する。
その場合、人体検出手段４７は、記憶部３０から各検出対象画像に関連付けて記憶された分布適合度を読み出し、各検出対象画像の中で分布適合度が最も大きい検出対象画像を出力する人体画像に決定する。
なお、部位適合度分布生成手段４５が、各検出対象画像について算出された部位適合度の総和をその検出対象画像と関連付けて記憶部３０に記憶しておく。そして、人体検出手段４７は、記憶部３０から各検出対象画像に関連付けて記憶された部位適合度の総和を読み出し、各検出対象画像の中で部位適合度の総和が最も大きい検出対象画像を出力する人体画像に決定してもよい。
または、人体検出手段４７は、Mean Shift法を用いて、出力する検出対象画像を決定してもよい。その場合、人体検出手段４７は、入力画像における水平方向をＸ軸とし、垂直方向をＹ軸とし、検出対象画像の大きさをＺ軸とする三次元空間を設定する。人体検出手段４７は、三次元空間内の、各検出対象画像の中心位置及び大きさに対応する点をプロットする。そして、人体検出手段４７は、プロットした点の密度が極大となる点をMean Shift法により探索し、極大となる点に対応する検出対象画像を出力する人体画像に決定する。

人体検出手段４７は、人体が含まれると判定した検出対象画像が一つ以上あるか否かにより、入力画像に人体が含まれるか否かを判定し、その判定結果と、人体が含まれると判定した検出対象画像が一つ以上ある場合には人体画像に関する情報とを含む結果信号を出力部２０に送る。

以下、図６を参照して、人体検出装置１の全体の動作フローを説明する。
ステップＳ１０１では、人体検出装置１の画像取得部１０が、撮像装置２にて撮影した画像を入力画像として取得し、画像処理部４０に出力する。
ステップＳ１０２では、画像取得部１０から取得した入力画像に対して、検出窓設定手段４１が検出窓を設定し、入力画像中の検出窓内画像を検出対象画像として取得し、部位窓設定手段４２に出力する。なお、検出窓の設定は、後述するステップＳ１０９にて入力画像全体を順次走査し終わるまで実行される。

ステップＳ１０３〜ステップＳ１０５の処理は、記憶部３０に記憶された部位窓設定情報３１および部位学習データ３２を参照して処理する。
ステップＳ１０３では、検出対象画像に対して、部位窓設定手段４２が部位窓を設定し、その部位窓画像を特徴量算出手段４３に出力する。具体的には、先ず、頭部２０１について、基準サイズ２１２の「３０×３０」の矩形窓の重心位置が基準位置２１１の「（３０，３０）」になる位置へ部位窓を設定し、検出対象画像中の設定した部位窓内の部位窓画像を特徴量算出手段に出力する。

ステップＳ１０４では、先ず部位窓画像について特徴量算出手段４３がＨＯＧ特徴である部位特徴量を算出する。そして、部位適合度算出手段がこの部位特徴量と、記憶部３０に記憶している部位学習データを参照し、部位適合度を算出して部位適合度分布生成手段４５に出力する。ここでは、頭部２０１の場合であるので、頭部について学習した部位学習データを用いて、部位特徴量との適合している程度を頭部適合度算出手段４４１が算出する。なお、頭部でなく、右肩であれば右肩適合度算出手段４４２、左肩であれば左肩適合度算出手段４４３、胴体であれば胴体適合度算出手段４４４、右脚であれば右脚適合度算出手段４４５、左脚であれば左脚適合度算出手段４４６がそれぞれ選択されて部位適合度を算出する。

ステップＳ１０５では、部位適合度分布生成手段４５が投票ベクトル２１５を参照し、部位適合度を投票する。ここでは頭部２０１の場合であるので（０，３０）に部位適合度を投票する。部位適合度分布生成手段４５は、投票された部位適合度をその位置の投票値に順次加算する。その後、図２に示す頭部２０１、右肩２０２、左肩２０３、胴体２０４、右脚２０５、左脚２０６の順に投票が全て行われていなければ、ステップＳ１０３に戻り次の部位窓を設定する。他方、全ての部位窓に対する処理が終了していれば、部位適合度分布を人体分布識別器４６に出力し、ステップＳ１０６に進む。
ステップＳ１０６では、部位適合度分布を特徴量として記憶部３０に記憶している分布学習データ３３を用いて、人体分布識別器４６にて分布適合度を算出するとともに人体の存否を判定する。そして、人体が存在しているとの判定であれば（Ｓ１０７−Ｙｅｓ）、処理した検出窓の位置、サイズおよび分布適合度を一時記憶する。他方、人体が存在していないとの判定であれば（Ｓ１０７−Ｎｏ）、そのまま、ステップＳ１０９に進み、入力画像全体に検出窓を設定したか判定する。検出窓の設定が終了していなければ（Ｓ１０９−Ｎｏ）、ステップＳ１０２に戻り、同様の処理を実行する。他方検出窓の設定が終了していれば（Ｓ１０９−Ｙｅｓ）、ステップＳ１１０の処理に進む。
ステップＳ１１０では、人体検出手段４７がステップＳ１０８にて一時記憶している検出窓が存在するか否かにより、入力画像に人体が存在しているか否か判定する。
人体検出手段４７は、入力画像に人体が含まれると判定した場合（ステップＳ１１１−Ｙｅｓ）、人体が含まれる検出対象画像を出力する人体画像に特定する（ステップＳ１１２）。一方、人体検出手段４７は、入力画像に人体が含まれないと判定した場合（ステップＳ１１１−Ｎｏ）、出力する人体画像を特定する処理は行わず、処理をステップＳ１１３へ移行する。次に、人体検出手段４７は、結果信号および入力画像に人体が含まれると判定した場合には人体画像を出力部２０に送り（ステップＳ１１３）、一連のステップを終了し、次の入力画像を取得する。

なお、例えば、入力画像に人体がちょうど収まるように撮像装置２が設置されるような場合、画像処理部４０は、入力画像中に検出窓を設定する必要がないため、入力画像を検出対象画像として用いてもよい。その場合、画像処理部４０から検出窓設定手段４１が省略され、図５のフローチャートにおいて、ステップＳ１０２及びＳ１０９の処理が省略される。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、人体検出装置が複数の部位についての部位適合度の分布を用いて人体を検出する例について説明したが、一つの部位についての部位適合度の分布を用いて人体を検出してもよい。一つの部位についての部位適合度の分布を用いて人体を検出する場合、検出対象画像内にその部位が写っていないと人体を検出することができないが、検出対象画像内にその部位が写っていれば人体を検出することができる。

また、部位適合度分布生成手段は、複数の部位について一つの部位適合度分布を生成するのではなく、各部位ごとに別個に部位適合度分布を生成してもよい。その場合、画像処理部は、各部位ごとに対応する分布識別器を有し、人体検出手段は、各部位ごとに、その部位についての部位適合度分布を対応する分布識別器に入力したときに出力される識別情報により検出対象画像に人体が含まれるか否かを判定する。人体検出手段は、例えば、出力される識別情報の総和が判定閾値以上であるか否かにより検出対象画像に人体が含まれるか否かを判定する。この場合、人体検出装置は、部位ごとの分布識別器をそれぞれ事前学習しておく必要があるが、各部位について、他の部位が写っていない場合でもその影響を受けずに部位適合度分布を生成することができ、一方、その部位が写っていない場合でも他の部位についての識別情報から人体を検出することができる。

また、本実施形態では、部位窓設定手段がサイズの異なる部位窓を設定する例について説明したが、基準サイズの部位窓のみを設定してもよい。その場合、人体固有の部位の大きさ、撮影角度等による変動に対応できない可能性があるが、理想的な環境における標準的な人体については検出することができる。

また、本実施形態では、識別器により部位適合度を算出する例について説明したが、パターンマッチングにより部位適合度を算出してもよい。その場合、部位が写っている複数の画像に平均化処理等を実施した画像のパターンを予め生成して記憶部に記憶しておく。部位適合度算出手段は、各部位窓と、記憶部に記憶しておいた画像のパターンの類似の程度を求め、求めた類似の程度を部位適合度とする。類似の程度は、例えば、部位窓と、画像のパターンを部位窓と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。

図７は、グループ毎に部位適合度分布を生成する処理を説明するための模式図である。
図７（ａ）〜（ｄ）には、同一の検出対象画像７００が示されているものとする。部位窓設定手段により設定された各部位窓は、その中心位置が、検出対象画像７００の右上領域７０２、左上領域７１２、右下領域７２２、左下領域７３２のうちの何れに存在するかにより、４つのグループに分類される。部位適合度分布生成手段は、分類したグループごとに、そのグループに含まれる部位窓から算出された部位適合度から部位適合度分布７０１、７１１、７２１、７３１をそれぞれ生成する。一方、画像処理部は、分類したグループごとに対応する分布識別器を有し、人体検出手段は、各グループごとの分布識別器から出力された識別情報により検出対象画像に人体が含まれるか否かを判定する。人体検出手段は、例えば、出力される識別情報の総和が判定閾値以上であるか否かにより検出対象画像に人体が含まれるか否かを判定する。この場合、人体検出装置は、他のグループの影響を受けずに、部位適合度分布を生成することができるので、一部のグループにて適切に部位適合度分布を生成できなかったとしても、精度良く人体を検出することができる。
さらに、この場合、部位窓の設定を探索範囲に限定せず、検出対象画像全体に設定しても、人体を精度良く検出することができる。

また、部位適合度算出手段は、検出窓ごとに個別に部位適合度を算出するのではなく、入力画像内に設定された全ての部位窓に対して部位適合度を算出し、算出した部位適合度を記憶部に記憶しておいてもよい。その場合、部位適合度算出手段は、図６のステップＳ１０４において、記憶部から対応する部位適合度を読み出すことにより部位適合度を取得する。これにより、各検出窓において重複する部位窓について重複して部位適合度を算出することがなくなり、処理負荷を低減することが可能となる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 人体検出装置
２ 撮像装置
１０ 画像取得部
２０ 出力部
３０ 記憶部
４０ 画像処理部
４１ 検出窓設定手段
４２ 部位窓設定手段
４３ 特徴量算出手段
４４ 部位適合度算出手段
４５ 部位適合度分布生成手段
４６ 人体分布識別器
４７ 人体検出手段

Claims (5)

1. 対象物体を構成する一または複数の部位の画像特徴である部位特徴を用いて、検出対象画像に対象物体像が存在するか否かを識別する物体検出装置であって、
   前記検出対象画像における複数の位置に所定サイズの部位窓を設定し、当該部位窓内に対して前記部位特徴に適合する程度である部位適合度を算出する部位適合度算出部と、
   前記部位適合度の分布を生成する分布生成部と、
   前記部位適合度の分布を特徴量として前記対象物体の存否を識別する分布識別部と、
   を少なくとも含むことを特徴とした物体検出装置。
2. 前記部位適合度算出部は、部位ごとに前記部位窓を設定する探索範囲を定めた請求項１に記載の物体検出装置。
3. 前記部位適合度算出部は、前記部位窓のサイズを予め定めた変化量の範囲にて変化させる請求項１または請求項２に記載の物体検出装置。
4. 前記分布生成部は、部位窓ごとに設定された前記検出対象画像における各部位の所在する基準位置から同一の投票位置までの投票ベクトルを用いて、部位適合度を算出した部位窓の位置から投票して前記部位適合度分布を生成する請求項１〜請求項３の何れか１項に記載の物体検出装置。
5. 前記分布生成部は、前記検出対象画像を複数領域に分割し、当該分割領域ごとに前記適合度分布を生成する請求項１〜請求項４の何れか１項に記載の物体検出装置。

Images