JP2014081826A

JP2014081826A - 対象物識別装置

Info

Publication number: JP2014081826A
Application number: JP2012230041A
Authority: JP
Inventors: Naoki Sugiyama; 尚樹杉山; Yasunori Kamiya; 保徳神谷
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-10-17
Filing date: 2012-10-17
Publication date: 2014-05-08
Anticipated expiration: 2032-10-17
Also published as: JP5838948B2

Abstract

【課題】撮像装置からの距離が異なる識別対象を入力画像から識別する画像処理において、処理負荷を低減可能な対象物識別装置を提供する。
【解決手段】対象物識別部は、撮像画像をそれぞれが異なる倍率で拡大又は縮小した複数の基本画像からなる基本画像群を生成する（Ｓ１２０）。次に、各基本画像について予め定めた矩形領域である基本単位セル毎の特徴量を算出する（Ｓ１３０、Ｓ１４０）。続いて、予め定められた同じ倍率１／ｒ（ｒは２以上の整数）で基本画像を順次ｍ回（ｍは正の整数）縮小したｍ次縮小画像に対応する特徴量を算出する。ここで、基本画像をｒ^m×ｒ^m個の基本単位セルからなる矩形領域毎に区切り、区切った領域（ｍ次基準領域）を構成する基本単位セルの特徴量の平均値を算出し、算出した特徴量を、ｍ次基準領域に対応するｍ次縮小画像上の領域（ｍ次縮小単位セル）の特徴量とする（Ｓ１５０）。
【選択図】図２

Description

本発明は、撮像装置により撮像された画像から対象物の画像を識別する対象物識別装置に関する。

従来、撮像装置により撮像された画像から、人や物等の対象物を識別する対象物識別装置が知られている。
この様な対象物識別装置では、識別対象が存在するか否かを判定するにあたり、次の様な処理が行われている。即ち、識別装置は、まず入力画像をセルと呼ばれる複数の単位領域に分割し、そのセルのそれぞれについて特徴量（例えば、ＨＯＧ特徴量等）を算出する。また、所定個のセル（例えば、横４セル×縦８セル）で構成される単位領域をテンプレート領域として、該テンプレート領域において予め定められた基準となる識別対象の特徴量をテンプレートとして用意する。入力画像において、このテンプレート領域と同じサイズの小領域を切り出し、また切り出す位置を順にずらしながら、各位置にてテンプレートとの類似度を算出する。そして、各位置にて算出された類似度に基づいて、画面上のその位置に識別対象が存在するか否かを判定する（例えば特許文献１参照）。

特開２００９−１８１２２０号明細書

ところで、入力画像において、識別対象は、常に一定の大きさで映り込んでいるわけではなく、撮像装置からの距離に応じて種々の大きさで映り込んでいる。
この様に大きさが異なる識別対象を入力画像から識別する手法として、識別対象について単位領域の大きさが段階的に異なるテンプレートを複数用意し、これらのテンプレート毎にテンプレートマッチングの処理を行うものがある。

一方、別の手法として、入力画像を段階的に拡大及び縮小して作成された複数の二次画像を用意し、識別対象について用意された予め定められた大きさの単位領域のテンプレートを用いて、複数の二次画像においてテンプレートマッチングの処理を行うものがある。

前者では、用意した複数のテンプレートに適応するように入力画像の特徴量を算出する必要があり、後者では用意した複数の二次画像毎に特徴量を算出する必要がある。いずれの手法においても、そもそも特徴量を算出するための処理負荷自体が大きく、この処理負荷の大きい特徴量の算出処理を何度も繰り返す必要があった。

本発明は、こうした問題にかんがみなされたものであり、撮像装置からの距離が異なる識別対象を入力画像から識別する画像処理において、処理負荷を低減可能な対象物識別装置を提供することを目的とする。

本発明の対象物識別装置は、請求項１に記載のように、画像群生成手段と、基本特徴量算出手段と、縮小特徴量算出手段と、識別対象検出手段とを備える。
画像群生成手段は、識別対象が撮像された撮像画像及び該撮像画像をそれぞれが異なる倍率で拡大又は縮小した複数の画像からなる基本画像群を生成する。

基本特徴量算出手段は、基本画像群を構成する画像のそれぞれを基本画像とし、縦及び横が予め定められた数の画素からなる矩形領域を基本単位セルとして、基本画像について基本単位セル毎の特徴量を算出する。

ここで、基本画像のそれぞれについて予め定められた同じ縮小倍率１／ｒ（ｒは２以上の整数）で縦及び横をｍ回（ｍは正の整数）縮小した画像をｍ次縮小画像と呼ぶものとし、該ｍ次縮小画像を構成する基本単位セルをそれぞれｍ次縮小単位セルと呼ぶものとする。また、基本画像をｒ^m×ｒ^m個の基本単位セルからなる矩形領域毎に分割したときの該矩形領域のそれぞれをｍ次基準領域とする。

縮小特徴量算出手段は、このｍ次基準領域における基本単位セルそれぞれの特徴量の平均値を、ｍ次基準領域に対応する前記ｍ次縮小単位セルの特徴量として算出する。

識別対象検出手段は、基本画像における基本単位セル毎の特徴量を示す基本特徴量画像、及びｍ次縮小画像におけるｍ次縮小単位セル毎の特徴量を示すｍ次縮小特徴量画像に基づいて、撮像画像における前記識別対象を検出する。

このような対象物識別装置によれば、基本画像についてのみ基本単位セル毎の特徴量を算出すれば、それぞれの基本画像を構成する基本単位セル毎の特徴量を用いて、基本画像を縮小した画像の特徴量を簡易に算出することができる。

従って、処理負荷の大きい特徴量の算出処理を何度も繰り返すことが無く、撮像装置からの距離が異なる識別対象を入力画像から識別する画像処理の処理負荷を低減することができる。

実施形態の運転支援システムの構成を示すブロック図である。識別対象判定処理を示すフローチャートである。基本画像群の構成を示す説明図である。（ａ）は基本単位セル内の画素毎に勾配強度及び勾配方向を算出するときの各画素の位置関係を示す説明図であり、（ｂ）は基本単位セル毎に分割した入力画像を示す説明図であり、（ｃ）は勾配方向を示す説明図であり、（ｄ）は勾配方向毎の勾配強度をヒストグラムとして示した説明図である。基本画像のＨＯＧ特徴量と、１次縮小画像に対応するＨＯＧ特徴量及び２次縮小画像に対応するＨＯＧ特徴量との関係を示す説明図である。特徴量画像群の構成を示す説明図である。検出処理を示すフローチャートである。ルートフィルタ及びパーツフィルタの構成を示す説明図である。（ａ）はＨＯＧ特徴量画像全域についてテンプレートマッチング処理を行う様子を示す説明図であり、（ｂ）は歩行者存在領域についてテンプレートマッチング処理を行う様子を示す説明図である。他の実施形態（イ）について基本画像群の構成を示す説明図である。基本画像のＨＯＧ特徴量と、１次拡大画像に対応するＨＯＧ特徴量及び２次拡大画像に対応するＨＯＧ特徴量との関係を示す説明図である。他の実施形態（ロ）について基本画像群の構成を示す説明図である。

［実施形態］
以下に本発明の実施形態を図面と共に説明する。
［全体構成］
本発明が適応された運転支援システム１は、図１に示す様に、自車両の前方を撮像する画像センサ２と、画像センサ２が取得した画像（以下、入力画像という）に従い、自車両の前方に存在する識別対象を検出する処理を行う画像処理部３と、画像処理部３での処理結果に従い、各種車載器を制御して所定の運転支援を実行する運転支援実行部４と、を備える。

このうち、画像センサ２は、ルームミラー近傍の車室内に配置されたＣＣＤカメラからなる。また、運転支援実行部４の制御対象となる車載機器には、各種画像を表示するモニタ４１や、警報音や案内音声を出力するスピーカ４２が少なくとも含まれている。

画像処理部３は、識別対象を入力画像から識別する対象物識別部１０と、対象物識別部１０から出力された処理結果を、車内ＬＡＮによって接続されている各種車載器に供給する通信部２０と、を備える。以下では、歩行者を識別対象とした実施形態について説明する。

［対象物識別部］
対象物識別部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた周知のマイクロコンピュータからなる。対象物識別部１０は、歩行者を入力画像から識別する識別対象判定処理をマイクロコンピュータ上で実行する。

［識別対象判定処理］
識別対象判定処理の内容を、図２に示すフローチャートに沿って説明する。本実施形態では、画像センサ２に電源が投入されると、画像センサ２が予め定められた間隔で撮像画像を取得する。本処理は、画像センサ２が撮像画像を取得する毎に起動される。

本処理が起動すると、まず画像センサ２が取得した撮像画像の画像データを、入力画像として取得する（Ｓ１１０）。
次に、図３に示す様に、入力画像５１ａを予め定められた各々異なる倍率で縮小した画像（５１ｂ、５１ｃ、・・・）を生成する（Ｓ１２０）。以下では、説明に応じて入力画像５１ａを基本画像ａ（５１ａ）といい、入力画像５１ａを順次縮小した画像を、それぞれ基本画像ｂ（５１ｂ）、基本画像ｃ（５１ｃ）・・・という。なお、基本画像のそれぞれを区別しない場合、これらの基本画像を単に基本画像５１という。また、基本画像ａ（入力画像５１ａ）、基本画像ｂ（５１ｂ）、基本画像ｃ（５１ｃ）、・・・からなる画像群を、基本画像群５０という。

続いて、基本画像５１の画像データに対して、式（１）〜（４）に従い、画像を構成する画素ごとに、輝度の勾配強度Ｇ（ｘ、ｙ）及び勾配方向θ（ｘ、ｙ）を算出する。即ち、エッジ画像（輝度勾配画像）を生成する（Ｓ１３０）。なお、下記式において、画像の横座標をｘ、縦座標をｙとし、座標（ｘ、ｙ）に位置する画素の輝度をＬ（ｘ、ｙ）で表すものとする。又、ｆｘ（ｘ、ｙ）は勾配方向θ（ｘ、ｙ）のｘ方向成分、ｆｙ（ｘ、ｙ）は勾配方向θ（ｘ、ｙ）のｙ方向成分を表すものとする。

次に、基本画像５１について生成されたエッジ画像のそれぞれに対して、ＨＯＧ特徴量を算出する（Ｓ１４０）。なお、ＨＯＧ特徴量は以下のように算出される。即ち、まず、基本画像５１をＭ×Ｎの複数の画素からなる矩形領域（Ｍ、Ｎは自然数）単位に分割する。本実施形態では、４×４画素からなる矩形領域を基本単位セルとして（図４（ａ）参照）、基本画像５１を複数の基本単位セルに分割する（図４（ｂ）参照）。

そして、各基本単位セルについて、基本単位セル内の各画素から得られる勾配強度Ｇ（ｘ、ｙ）を、予め定めた勾配方向（０°〜１８０°をｋ（ここではｋ＝８）方向に分割したそれぞれの方向。図４（ｃ）参照。）ごとにヒストグラム化し（図４（ｄ）参照）、これをｋ次元のベクトルで表したものをＨＯＧ特徴量として算出する。以下、例えば、基本画像５１について算出された各ＨＯＧ特徴量を、基本画像５１のＨＯＧ特徴量画像、というものとする。

次に、予め定められた同じ縮小倍率１／ｒ（ｒは２以上の整数）で、各基本画像５１の縦及び横をｍ（ｍは正の整数）回縮小した画像をｍ次縮小画像と呼ぶものとし、Ｓ１３０で算出された各基本画像５１のＨＯＧ特徴量画像を用いて、このｍ次縮小画像に対応するＨＯＧ特徴量画像を算出する（Ｓ１５０）。以下、ｍ次縮小画像を構成する基本単位セルそれぞれを、ｍ次縮小単位セルと呼ぶものとする。

具体的には、図５に示す様に、基本画像５１（５１ａ）をｒ^m×ｒ^m個（図ではｒ＝２）の基本単位セルからなる矩形領域毎に分割したときの矩形領域のそれぞれをｍ次基準領域として、ｍ次基準領域を構成する全ての基本単位セルについてのＨＯＧ特徴量の平均値を、このｍ次基準領域に対応するｍ次縮小単位セルのＨＯＧ特徴量として算出する。ここでＨＯＧ特徴量の平均値とは、勾配方向ごとに勾配強度Ｇ（ｘ、ｙ）を足し合わせて、足し合わせた勾配強度の値を、ｍ次基準領域を構成する基本単位セルの数で割った値をいう。

即ち、基本画像５１を構成する基本単位セルの２¹×２¹個（＝４個）分の領域からなる１次基準領域７１について、基本単位セル７１ａ〜７１ｄのＨＯＧ特徴量７２ａ〜７２ｄの平均値を算出し、算出したＨＯＧ特徴量の平均値を、１次基準領域７１に対応する１次縮小画像（５１ａ１）上の領域である１次縮小単位セル８１のＨＯＧ特徴量８２とする。

また、基本画像５１を構成する基本単位セルの２²×２²個（＝１６個）分の領域からなる２次基準領域７３について、２次基準領域７３内の基本単位セルのＨＯＧ特徴量（１６セル分）の平均値を算出し、これを２次基準領域７２に対応する２次縮小画像（５１ａ２）上の２次縮小単位セル９１のＨＯＧ特徴量とする。

ここで実際には、ｍ次縮小単位セルのＨＯＧ特徴量を、該ｍ次縮小単位セルに対応するｒ×ｒ個のｍ−１次縮小単位セルのＨＯＧ特徴量の平均値を求めることによって算出している。即ち、ｍ−１次縮小画像から、順次、ｍ次縮小画像のＨＯＧ特徴量を求めている。（但し、ｍ＝１のときは、基本画像５１がｍ−１次縮小画像に相当するものとする）。以下、ｍ次縮小画像に対応する各ＨＯＧ特徴量をｍ次縮小ＨＯＧ特徴量画像（ｍ次縮小特徴量画像）という。

これにより、図６に示す様に、基本画像ａ、ｂ、ｃ・・・（５１ａ、５１ｂ、５１ｃ・・・）のそれぞれについて、１次縮小ＨＯＧ特徴量画像（５１ａ１、５１ｂ１、・・）、２次縮小ＨＯＧ特徴量画像（５１ａ２、５１ｂ２、・・）・・・ｍ次縮小ＨＯＧ特徴量画像（５１ａｍ、５１ｂｍ、・・・）からなるＨＯＧ特徴量画像が生成される。以下、基本画像５１ａ、ｂ、ｃ・・・のＨＯＧ特徴量画像を含めたこれらのＨＯＧ特徴量画像を、特徴量画像群６０という。

続いて、特徴量画像群６０を用いて、入力画像５１ａ中に映っている識別対象を検出する検出処理を実行する（Ｓ１６０）。
次に、Ｓ１６０の検出結果を出力し（Ｓ１７０）、本処理を終了する。

［検出処理］
続いて、検出処理の内容を、図７に示すフローチャートに沿って説明する。本処理が起動すると、まず、特徴量画像群６０のうち一つのＨＯＧ特徴量画像を選択する（Ｓ２１０）。以下では、選択したＨＯＧ特徴量画像を処理対象画像という。

次に、識別対象を表す予め用意された画像フィルタのうち一つの画像フィルタを選択する（Ｓ２２０）。以下では、選択した画像フィルタを対象画像フィルタという。なお、画像フィルタとは、識別対象についての典型的なＨＯＧ特徴量を表すＨＯＧ特徴量画像であり、事前に撮像した大量の画像に基づいて作成されたものである。

具体的には、画像フィルタは、２種類あり、識別対象の全体を表すルートフィルタと、識別対象を構成する部位を表すパーツフィルタとからなる。
識別対象が歩行者である場合、ルートフィルタの抽出対象は、図８に示すルートフィルタ１００の様に、歩行者の全体像（以下ではシルエットという）とする。ルートフィルタ１００は、図８では正面を向いた歩行者のシルエットを表しているが、この他、左向き、右向き、歩く、走る、止まる等の歩行者のシルエットを表すものであってもよい。

なお、ルートフィルタ１００のサイズは、撮像画像上での歩行者のシルエットの標準的な大きさに相当する矩形領域に設定される。以下では、この矩形領域をルートフィルタ領域（全体像フィルタ領域）という。

パーツフィルタの抽出対象は、図８に示すパーツフィルタ１０１〜１０６の様に、歩行者の一部を表すものとする。つまり、頭部を抽出対象とする頭部フィルタ１０１、両肩部を抽出対象とする右肩部フィルタ１０２及び左肩部フィルタ１０３、腰部を抽出対象とする腰部フィルタ１０４、両足部を抽出対象とする右足フィルタ１０５、及び左足フィルタ１０６を、パーツフィルタとする。以下では、各パーツフィルタを区別しない場合、単にパーツフィルタ１０１〜１０６というものとする。

なお、パーツフィルタ１０１〜１０６のサイズは、それぞれ、撮像画像上での抽出対象となるパーツの標準的な大きさに相当する矩形領域に設定される。以下では、この矩形領域をパーツフィルタ領域という。なお、パーツフィルタ領域のサイズは、ルートフィルタ領域より小さく設定される。

ここで、図８に示す様に、パーツフィルタ１０１〜１０６では、ＨＯＧ特徴量を算出するときの基本となる矩形領域（以下、パーツセルという）１１０のサイズが、基本単位セルと同じサイズに設定されている。一方、ルートフィルタ１００では、ＨＯＧ特徴量を算出するときの基本となる矩形領域（以下、ルートセル（全体像セル）という）１２０のサイズは、縦１２１がパーツセルのｕ個分（ｕは正整数）、横１２２がパーツセルのｖ個分（ｖは正整数）となる様に設定されている。

つまり、ルートセル（全体像セル）１２０のサイズは、パーツセル１１０のｕ×ｖ個分（図８では、２（＝ｕ）×２（＝ｖ）＝４個分）に相当するサイズに設定されている。

続いて、対象画像フィルタがルートフィルタ１００であるか否かを判定する（Ｓ２３０）。
ここで、対象画像フィルタがルートフィルタ１００でない場合、即ちパーツフィルタ１０１〜１０６のうちのいずれかである場合（Ｓ２３０：ＮＯ）、パーツ識別処理を行う（Ｓ２４０）。パーツ識別処理では、対象画像フィルタ（パーツフィルタ）のパーツフィルタ領域を単位領域とし、この単位領域と同じサイズの領域を処理対象画像から切り出し、切り出す位置を少しずつずらしながら、切り出した領域のＨＯＧ特徴量と対象画像フィルタ（パーツフィルタ）との一致の度合いを検出する、周知のテンプレートマッチングの処理を実行する。これにより、処理対象画像から、抽出対象である歩行者のパーツを識別する。

一方、対象画像フィルタがルートフィルタ１００である場合（Ｓ２３０：ＹＥＳ）、まず、基本単位セル毎にＨＯＧ特徴量が算出されている処理対象画像を、ルートセル毎にＨＯＧ特徴量を算出し直したルートセル特徴量画像に変換する（Ｓ２５０）。

具体的には、処理対象画像をルートセル１２０と同じ大きさの矩形に分割する。ルートセル１２０のサイズは、パーツセル１１０の整数倍（ｕ×ｖ倍）のサイズに設定されているため、各分割領域には、ｕ×ｖ個（図８では４個）のパーツセル即ち基本単位セルが含まれる（ここでは、パーツセルのサイズは基本単位セルのサイズに等しい）。そこで、分割領域を構成する各パーツセルのＨＯＧ特徴量を、勾配方向ごとに足し合わせることによってルートセルのＨＯＧ特徴量を算出し、処理対象画像をルートセル特徴量画像に変換する。

続いて、このルートセル特徴量画像を用いて、ルート識別処理を行う（Ｓ２６０）。即ち、ルートセル特徴量画像から、ルートフィルタ１００のルートフィルタ領域を単位領域として、この単位領域と同じサイズの領域を切り出し、切り出す位置を少しずつずらしながら、上記パーツ識別処理と同様のテンプレートマッチングの処理を実行する。これにより、処理対象画像から、抽出対象である歩行者のシルエットを識別する。

そして、全ての画像フィルタについて、Ｓ２２０〜２７０の一連の処理を繰り返す。なお、各画像フィルタを用いた上記の識別処理を行う場合、図９（ａ）に示す様にＨＯＧ特徴量画像の全域１３１において処理を行ってもよいし、予め歩行者が存在する歩行者存在領域が認識できているときには、図９（ｂ）に示す様に、この歩行者存在領域１３２についてのみ処理を行ってもよい。また、パーツ識別処理及びルート識別処理には、線形ＳＶＭ、ＡｄａＢｏｏｓｔ等の周知の識別方法が用いられる。

全ての画像フィルタについて識別処理が終了すると（Ｓ２７０：ＹＥＳ）、これら一連の処理を、全てのＨＯＧ特徴量画像について終了したか否かを判定する（Ｓ２８０）。ここで、全てのＨＯＧ特徴量画像について処理が終了していない場合（Ｓ２８０：ＮＯ）、Ｓ２１０〜Ｓ２８０の一連の処理を繰り返す。

そして、全てのＨＯＧ特徴量画像について一連の処理が終了している場合（Ｓ２８０：ＹＥＳ）、ルート識別処理及びパーツ識別処理の識別結果を用いて、入力画像から歩行者を検出する検出処理を行い、検出結果を出力して本処理を終了する（Ｓ２９０）。

［効果］
以上説明したように、対象物識別部１０は、複数種類の画像フィルタを用いて撮像画中の歩行者を識別するため、歩行者の検出精度を向上させることができる。

さらに、対象物識別部１０は、基本画像５１を構成する基本単位セル毎にＨＯＧ特徴量を算出し、予め定められた領域に含まれる基本単位セルのＨＯＧ特徴量の平均値を求めることによって、基本画像５１を縮小した縮小画像に対応するＨＯＧ特徴量を簡易に算出することができる。即ち、処理負荷の大きいＨＯＧ特徴量の算出処理を何度も繰り返す事無く、平均値を求めるという簡易な処理を繰り返すことによって、入力画像を順次縮小した複数の縮小画像に対応するＨＯＧ特徴量が容易に算出される。

結果として、対象物識別部１０は、画像センサ２からの距離が異なる歩行者（識別対象）を入力画像５１ａから識別する識別処理において、精度よく、かつ処理負荷を大きく増加させること無く処理を実行することができる。

また、対象物識別部１０は、特徴量画像群６０の各ＨＯＧ特徴量画像において、ルートフィルタ１００及びパーツフィルタ１０１〜１０６という複数種類の画像フィルタを用いた識別処理を行うことにより、対象画像から歩行者を検出する。パーツフィルタ１０１〜１０６の検出対象はルートフィルタ１００の検出対象に比べて小さいため、パーツセルのサイズはルートセルより小さく設定されている。かつ、パーツセルのサイズは基本単位セルのサイズに等しく、ルートセルは複数のパーツセルからなる。

これによると、ルートセルのＨＯＧ特徴量が複数のパーツセルすなわち複数の基本単位セルのＨＯＧ特徴量を足し合わせたものとして簡易に算出されるため、画像フィルタを構成するセルのサイズの違いに合わせて、ＨＯＧ特徴量画像を容易に生成する事ができる。

［請求項との対応］
本実施形態の対象物識別部１０が特許請求の範囲における「対象物識別装置」に相当する。また、Ｓ１２０が特許請求の範囲における「画像群生成手段」に相当し、Ｓ１３０及びＳ１４０が特許請求の範囲における「基本特徴量算出手段」に相当し、Ｓ１５０が特許請求の範囲における「縮小特徴量算出手段」に相当し、Ｓ１６０（Ｓ２１０〜２９０）が特許請求の範囲における「識別対象検出手段」に相当する。また、Ｓ２４０が特許請求の範囲における「パーツ識別手段」に相当し、Ｓ２６０が特許請求の範囲における「全体識別手段」に相当する。

また、基本画像５１のＨＯＧ特徴量画像が特許請求の範囲における「基本特徴量画像」に相当する。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲にて様々な態様で実施することが可能である。

（イ）上記実施形態では、識別対象判定処理のＳ１５０にて、基本画像５１を予め定められた同じ倍率（１／ｒ）で順次縮小した画像に対応するＨＯＧ特徴量画像を生成した（図２参照）。これに代えて、図１０に示す様に、基本画像５１を予め定められた同じ拡大倍率ｑ（ｑは２以上の整数）で、順次ｎ回（ｎは正の整数）拡大した画像（５５ａ１、５５ａ２、・・・５５ａ_n）に対応するＨＯＧ特徴量画像を生成してもよい。

具体的には図１１に示す様に、各基本画像５１（図では５１ａ）について予め定められた同じ拡大倍率ｑ（図ではｑ＝２）で縦及び横をｎ回拡大した画像をｎ次拡大画像と呼ぶものとし、ｎ次拡大画像を構成する基本単位セルをｎ次拡大単位セルと呼ぶものとする。また、ｎ次拡大画像をｑⁿ×ｑⁿ個のｎ次拡大単位セルからなる矩形領域毎に分割したときの該矩形領域の一つをｎ次拡大基準領域と呼ぶものとする。

そして、上記実施形態のＳ１５０に代えて、以下の処理をＳ１５１として実行する。Ｓ１５１では、基本画像５１を構成する基本単位セルのうちｎ次拡大基準領域に対応する基本画像における一つの基本単位セルの特徴量を、ｎ次拡大基準領域における各ｎ次拡大単位セルの特徴量として算出する。

つまり、図１１に示す様に、１次拡大画像５５ａ１（ｎ＝１）では、基本画像５１を構成する基本単位セル７６のＨＯＧ特徴量を、この基本単位セル７６に対応する１次拡大基準領域８６を構成する１次拡大単位セル８６ａ〜８６ｄそれぞれのＨＯＧ特徴量とする。１次拡大単位セル８６ａ〜８６ｄのＨＯＧ特徴量は、それぞれ、基本単位セル７６のＨＯＧ特徴量に等しい。

また、２次拡大画像５５ａ２（ｎ＝２）では、基本単位セル７６のＨＯＧ特徴量を、この基本単位セル７６に対応する２次拡大基準領域９６を構成する２²×２²（＝１６）個の２次拡大単位セル（９６ａ、９６ｂ、・・・９６ｐ）それぞれのＨＯＧ特徴量とする。

これにより、基本画像５１における基本単位セル毎の特徴量を用いて、基本画像５１を順次（ｎ回）拡大した拡大画像に対応するＨＯＧ特徴量画像（ｎ次拡大特徴量画像）が簡易に算出される。

なお、Ｓ１５１の処理が特許請求の範囲における「拡大特徴量算出手段」に相当する。
（ロ）上記実施形態では、Ｓ１２０（図２参照）において、入力画像５１ａを予め定められた各々異なる倍率で順に縮小し、これらの縮小した画像を含む基本画像群５０を生成していた。これに代えて、入力画像５１ａを予め定められた各々異なる倍率で順に拡大した画像（図１２参照）をそれぞれ基本画像α（５２ａ）、β（５２ｂ）・・・として生成し、これらの基本画像α（５２ａ）、β（５２ｂ）・・・と、上記実施形態の基本画像群５０とからなる画像群を、基本画像群５３として構成してもよい。

Ｓ１３０以降について上記実施形態と同様の処理を行うことにより、入力画像５１ａを拡大した基本画像α（５２ａ）、β（５２ｂ）についても、各々の画像を１／ｒずつ順次縮小した画像に対応するＨＯＧ特徴量画像（５２ａ１、５２ａ２、・・・、５２ａｍ、５２ｂ１、５２ｂ２、・・・５２ｂｍ、・・・）が生成される。即ち、これらのＨＯＧ特徴量画像と上記実施形態の特徴量画像群６０とからなる特徴量画像群６３が生成される。

これによると、入力画像を拡大した画像に対応するＨＯＧ特徴量画像に基づいて検出処理が実行されるため、より遠方に位置する歩行者を検出することができるようになる。

（ハ）上記実施形態では、パーツフィルタ１０１〜１０６各々のパーツセルのサイズが等しく設定されていた。これに対し、パーツセルのサイズが、パーツフィルタ毎に異なる様に設定されていてもよい。例えば上記実施形態にて、右足フィルタのパーツセルが胴部フィルタのパーツセルより小さく設定される、という具合である。

この場合、各パーツセルの縦の画素数及び横の画素数の公約数からなる矩形領域が、基本単位セルに等しく設定されていればよい。つまり、各パーツフィルタのパーツセルは、一又は複数の基本単位セルからなる。

これによると、一又は複数の基本単位セルのＨＯＧ特徴量を足し合わせたものを、パーツセルのＨＯＧ特徴量として算出することができるため、画像フィルタを構成するパーツセルのサイズの違いに合わせて、ＨＯＧ特徴量画像を容易に生成する事ができる。

（ニ）上記実施形態では、入力画像５１ａを縮小して特徴量画像群６０を生成し、この特徴量画像群６０に対して各画像フィルタ１００〜１０６を用いて識別処理を行っていた。これに対して、各画像フィルタ１００〜１０６を縮小または拡大した画像に対応するＨＯＧ特徴量画像を生成し、これらを入力画像のＨＯＧ特徴量画像から識別することによって、入力画像から歩行者を識別してもよい。

（ホ）上記実施形態では歩行者を識別対象としていたが、識別対象はこれに限るものではない。例えば、二輪車（自転車やオートバイク）、三輪車、自動車等の車両や、車両（主に二輪車）に乗車する人物、及びその他の人や物を識別対象としてもよい。

（へ）上記実施形態では、対象物識別部１０が自動車に搭載される装置に適用される例を説明したが、これに限るものではなく、対象物識別部は、オートバイク、電車、及びその他車両等に搭載される装置に適用されてもよい。

１・・・運転支援システム２・・・画像センサ３・・・画像処理部４・・・運転支援実行部１０・・・対象物識別部２０・・・通信部

Claims

識別対象が撮像された撮像画像及び該撮像画像をそれぞれが異なる倍率で拡大又は縮小した複数の画像からなる基本画像群を生成する画像群生成手段（Ｓ１２０）と、
前記基本画像群を構成する画像のそれぞれを基本画像とし、縦及び横が予め定められた数の画素からなる矩形領域を基本単位セルとして、前記基本画像について前記基本単位セル毎の特徴量を算出する基本特徴量算出手段（Ｓ１３０、Ｓ１４０）と、
前記基本画像のそれぞれについて予め定められた同じ縮小倍率１／ｒ（ｒは２以上の整数）で縦及び横をｍ回（ｍは正の整数）縮小した画像をｍ次縮小画像と呼び、該ｍ次縮小画像を構成する前記基本単位セルをそれぞれｍ次縮小単位セルと呼ぶものとし、前記基本画像をｒ^m×ｒ^m個の前記基本単位セルからなる矩形領域毎に分割したときの該矩形領域のそれぞれをｍ次基準領域として、該ｍ次基準領域を構成する全ての前記基本単位セルについての特徴量の平均値を、前記ｍ次基準領域に対応する前記ｍ次縮小単位セルの特徴量として算出する縮小特徴量算出手段（Ｓ１５０）と、
前記基本画像を構成する前記基本単位セル毎の特徴量を示す基本特徴量画像、及び前記ｍ次縮小画像を構成する前記ｍ次縮小単位セル毎の特徴量を示すｍ次縮小特徴量画像に基づいて、前記撮像画像から前記識別対象を検出する識別対象検出手段（Ｓ１６０）と、
を備えることを特徴とする対象物識別装置。
前記基本画像のそれぞれについて予め定められた同じ拡大倍率ｑ（ｑは２以上の整数）で縦及び横をｎ回（ｎは正の整数）拡大した画像をｎ次拡大画像と呼び、該ｎ次拡大画像を構成する前記基本単位セルをそれぞれｎ次拡大単位セルと呼び、前記ｎ次拡大画像をｑⁿ×ｑⁿ個の前記ｎ次拡大単位セルからなる矩形領域毎に分割したときの該矩形領域の一つをｎ次拡大基準領域と呼ぶものとして、前記ｎ次拡大基準領域に対応する前記基本画像についての一つの前記基本単位セルの特徴量を、前記ｎ次拡大基準領域の各ｎ次拡大単位セルの特徴量として算出する拡大特徴量算出手段（Ｓ１６１）を備え、
前記識別対象検出手段は、前記ｎ次拡大画像を構成する前記ｎ次拡大単位セル毎の特徴量を示すｎ次拡大特徴量画像に基づいて、前記撮像画像から前記識別対象を検出することを特徴とする請求項１に記載の対象物識別装置。
前記識別対象検出手段は、
前記識別対象を部分的に表す複数種類の部位をパーツとし、前記撮像画像上の標準的な前記パーツのサイズに相当する矩形状の単位領域をそれぞれパーツフィルタ領域とし、該パーツフィルタ領域を分割した部分領域をパーツセルとして、該パーツセル毎に算出した特徴量に基づいて、前記撮像画像に前記パーツが映りこんでいるか否かを識別するパーツ識別手段（Ｓ２４０）と、
前記撮像画像上の標準的な前記識別対象の全体像のサイズに相当する矩形状の単位領域を全体像フィルタ領域とし、該全体像フィルタ領域を分割した部分領域を全体像セルとして、該全体像セル毎に算出した特徴量に基づいて、前記撮像画像に前記識別対象の全体像が映りこんでいるか否かを識別する全体識別手段（Ｓ２６０）と、
を備え、
前記パーツセルは前記基本単位セルであり、前記全体像セルは複数の前記パーツセルからなることを特徴とする請求項１または２に記載の対象物識別装置。
前記パーツセルのサイズが前記パーツ毎に異なる場合、それぞれのパーツセルの縦の画素数及び横の画素数の公約数からなる矩形領域を前記基本単位セルとして設定すること、を特徴とする請求項３に記載の対象物識別装置。
前記特徴量はＨＯＧ特徴量であること、を特徴とする請求項１から４のいずれか一項に記載の対象物識別装置。