JP2013218476A - 画像認識装置 - Google Patents

Abstract

【課題】処理負荷を軽減して処理時間を短縮することと、認識精度を向上させることとの両立を図る。
【解決手段】カメラ１０の撮影画像から所定サイズの探索ウインドウで画像を抽出する手段であって、所定の第１画素ステップで探索ウインドウを走査して前記抽出を順次実施する第１抽出部３１（第１抽出手段）と、抽出した各々の画像に対して歩行者（特定対象物）が存在する可能性の有無を判定する第１判定部３２（第１判定手段）と、第１判定部３２により存在可能性有りと判定された画像（基準画像）の位置から所定の第２画素ステップだけずらした位置の画像を撮影画像から抽出する第２抽出部３３（第２抽出手段）と、を備え、第２抽出部３３で抽出した画像および基準画像のいずれかに、歩行者が存在するか否かを判定する。そして、前記第１画素ステップを前記第２画素ステップよりも大きく設定する。
【選択図】図１

Description

本発明は、カメラの撮影画像に特定対象物が存在することを認識する画像認識装置に関する。

特許文献１、２記載の画像認識装置は、車両前方の撮影画像に人（特定対象物）が存在することを認識した場合に、その旨を車両運転者に報知する装置として利用されており、以下に説明する抽出手段および処理手段を備えている。すなわち、抽出手段は、カメラの撮影画像から所定サイズの探索ウインドウで画像を抽出する手段であって、所定の画素ステップで探索ウインドウを走査して前記抽出を順次実施する。処理手段は、順次抽出した各々の画像に対して、特定対象物が存在する確からしさを表した評価値を演算する。そして、評価値が閾値以上である場合に特定対象物が存在すると認識する。

ちなみに、

特開２０１０−２１１４６０号公報 特開２０１０−２５７２５２号公報

ここで、前記抽出手段における抽出や前記処理手段における演算に要する処理負荷を軽減して、その処理時間を短縮させるには、走査の画素ステップを大きくして（走査を粗くして）、撮影画像からの抽出数を減らせばよい。しかし、このように走査を粗くすると、特定対象物が抽出画像の中央に位置する蓋然性が低くなる。そして、抽出画像の中央位置から特定対象物がずれていると、先述した評価値は低くなる。したがって、走査を粗くすると、特定対象物が存在する抽出画像であっても低い評価値になり、特定対象物の認識精度が悪くなる。

本発明は、上記問題を鑑みてなされたもので、その目的は、処理負荷を軽減して処理時間を短縮することと、認識精度を向上させることとの両立を図った画像認識装置を提供することにある。

上記目的を達成する発明は以下の点を特徴とする。すなわち、カメラの撮影画像から所定サイズの探索ウインドウで画像を抽出する手段であって、所定の第１画素ステップで前記探索ウインドウを走査して前記抽出を順次実施する第１抽出手段と、前記第１抽出手段で順次抽出した各々の画像に対して、特定対象物が存在する可能性の有無を判定する第１判定手段と、前記第１判定手段により存在可能性有りと判定された画像を基準画像とし、その基準画像の位置から所定の第２画素ステップだけずらした位置の画像を前記撮影画像から抽出する第２抽出手段と、前記第２抽出手段で抽出した画像および前記基準画像のいずれかに、前記特定対象物が存在するか否かを判定する第２判定手段と、を備え、前記第１画素ステップを前記第２画素ステップよりも大きく設定したことを特徴とする。

上記発明では要するに、大きい画素ステップ（第１画素ステップ）で走査した抽出画像の中から、特定対象物が存在する可能性の有る画像（基準画像）を選別する（粗探索）。そして、選別した基準画像の位置から小さい画素ステップ（第２画素ステップ）だけずらした位置の画像を抽出し、その抽出画像と基準画像に対して、特定対象物が存在するか否かを判定する（密探索）。つまり、撮影画像のうち、粗探索で選別した画像（基準画像）の近傍について密探索を実施する。

そのため、撮影画像の全体について密探索を実施する場合に比べて、第１抽出手段および第２抽出手段で実施する抽出の数を少なくでき、しかも、特定対象物の存在可能性有無を判定する回数を少なくできるので、抽出および判定に要する処理負荷を軽減できる。それでいて、粗探索で選別した画像の近傍については密探索を実施するので、特定対象物が抽出画像の中央からずれる蓋然性を低下でき、認識精度を向上できる。したがって、上記発明によれば、処理負荷を軽減して処理時間を短縮することと、認識精度を向上させることとの両立を図ることができる。

本発明の第１実施形態にかかる画像認識システムのブロック図。 第１実施形態において、撮影画像から粗画像を抽出して判定する手法を説明する図。 第１実施形態において、粗探索、密探索および詳細判定の手法を説明する図。 第１実施形態において、粗探索、密探索および詳細判定の実施手順を示すフローチャート。 第１実施形態による粗探索、密探索および詳細判定の効果を説明する図。 本発明の第２実施形態において、粗探索、密探索および詳細判定の実施手順を示すフローチャート。 本発明の第３実施形態にかかる密探索の手法を説明する図。

以下、本発明にかかる画像認識装置の各実施形態について、図面を参照しつつ説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、図中、同一符号を付しており、同一符号の部分についてはその説明を援用する。

（第１実施形態）
図１は、車両に搭載されたカメラ１０、表示装置２０および画像認識装置３０からなる画像認識システムのブロック図である。カメラ１０は、近赤外線を検出することにより、可視光の少ない環境下においても撮像が可能なものである。カメラ１０は、車両走行方向の前方を撮影する位置に搭載されている。カメラ１０は、所定時間周期で画像（撮影画像１１）を逐次撮影し、その撮影画像１１を表示装置２０および画像認識装置３０へ逐次出力する。

表示装置２０は、車両室内のインストルメントパネルの中央部等、車両運転者が視認可能な位置に設けられている。表示装置２０は、カメラ１０から逐次出力されてくる撮影画像１１を表示する。つまり、車両前方の動画映像を表示装置２０は表示する。また、近赤外線のカメラ１０を採用しているため、夜間の映像も表示可能である。

画像認識装置３０は、撮影画像１１の中に特定対象物が存在するか否かを識別するとともに、その存在位置を検知する。特定対象物の具体例としては、歩行者や自転車運転者等の人物、車両等が挙げられる。以下、歩行者を特定対象物とした場合について説明する。画像認識装置３０は、歩行者を検知すると、撮影画像１１に対する歩行者の存在位置情報を表示装置２０へ出力する。

表示装置２０は、存在位置情報に基づき、撮影画像１１中の歩行者の部分を強調表示して、運転者へ歩行者の存在位置を報知する。強調表示の具体例としては、歩行者を囲む線を撮影画像１１に重畳して表示させることが挙げられる。

次に、画像認識装置３０による歩行者検知の手法について説明する。なお、画像認識装置３０はマイクロコンピュータ（マイコン）およびメモリ３０Ｍを有しており、図１中の符号３１〜３６に示すブロックは、上記マイコンが各々のプログラムを実施している時の機能を示す。

概略、画像認識装置３０は、以下に説明する粗探索、密探索および詳細判定を順番に実施して歩行者を検知する。

粗探索では、画像認識装置３０の第１抽出部３１（第１抽出手段）が、所定サイズの探索ウインドウＷで、撮影画像１１から画像を切り出して抽出する（図２参照）。この探索ウインドウＷは、所定の第１画素数（例えば１０画素）ずつ順次移動していき、その移動毎に画像認識装置３０は前記抽出を実施する。つまり、撮影画像１１上で探索ウインドウＷを第１画素ステップで走査させて、所定サイズの画像を順次抽出する。

なお、図２中の点線矢印に示すように、撮影画像１１の水平方向（左右方向）および鉛直方向（上下方向）に探索ウインドウＷを走査させている。また、図２の例では、左右方向に隣り合う抽出画像が部分的に重複するように第１画素ステップを設定している。また、上下方向に隣り合う抽出画像も部分的に重複するように走査の改行ステップを設定している。

画像認識装置３０の第１判定部３２（第１判定手段）は、第１抽出部３１で抽出した各々の抽出画像について、歩行者の画像が含まれているか否かを判定する。この判定では、抽出画像から演算したＨＯＧ（Histogram of Oriented Gradient）特徴またはＨａａｒ−Ｌｉｋｅ特徴等の周知の特徴量を、線形ＳＶＭまたはＢｏｏｓｔｉｎｇ等の周知の識別器で識別する一般的な画像認識アルゴリズムを用いている。この識別器によって歩行者らしさ（歩行者の可能性）を定量化した数値である「評価値」が演算される。

なお、前述の識別器はどういう特徴が歩行者らしさを表すかを事前に学習したデータベースを用いて前述の「評価値」を演算している。そのデータベースは事前に取得したサンプル画像を元に作成されており、そのサンプル画像とは、あらゆる体型、服装の歩行者を、あらゆる角度から、あらゆる距離で、実際にカメラ１０で試験撮影して得られた撮影画像から、歩行者の部分を切り出して抽出した画像である。このデータベースをメモリ３０Ｍに記憶させておく。

第１判定部３２は、このように作成したデータベースと、第１抽出部３１による抽出画像の特徴量を識別器にかけることで評価値を演算する。評価値が高いほど歩行者の存在可能性が高く、演算した評価値が第１閾値以上であれば、「歩行者存在の可能性が有る」と判定する。

１枚の撮影画像１１を走査して得られた抽出画像それぞれに対して、第１判定部３２による上記判定が完了すれば、その都度次の密探索を実施する。なお、図２の例では、符号１３、１４、１５、１７、１８に示す抽出画像については評価値が第１閾値未満であり、符号１６に示す抽出画像については評価値が第１閾値以上であると判定されている。

密探索では、粗探索にて判定対象となった抽出画像（粗画像）の評価値が第１閾値以上となった抽出画像１６を、基準画像として設定する。なお、図３（ａ）中の斜線部分は基準画像１６を示す。そして、画像認識装置３０の第２抽出部３３（第２抽出手段）は、基準画像１６の位置から所定の第２画素（例えば５画素）だけ探索ウインドウＷをずらして、撮影画像１１から画像を切り出して抽出する。

第２抽出部３３にて探索ウインドウＷをずらす量（第２画素）は、第１抽出部３１にて探索ウインドウＷをずらす量（第１画素）よりも小さく設定されている。また、第２抽出部３３にて探索ウインドウＷをずらす方向は、基準画像１６の左右上下斜めの８方向に設定されており、各方向に１回だけずらしている。したがって、第２抽出部３３による抽出画像（密画像）は、基準画像１６の周囲の８つである（図３（ｂ）中の符号１６ａ〜１６ｈ参照）。

画像認識装置３０の第２判定部３４（第２判定手段）は、第１判定部３２と同様の手法であるが、先述した特徴を第１判定部３２よりも複雑に設定して、第２抽出部３３による各々の密画像の特徴量を演算し、その特徴量を識別器にかけることで評価値を演算する。そして、演算した評価値が第２閾値以上であれば、「歩行者存在の可能性が有る」と判定する。この判定は、第１判定部３２による判定よりもやや複雑な特徴を用いるため高精度で実施される。例えば、特徴量の次元数を多くする。但し、高精度で判定する分、マイコンによる判定の処理負荷は大きく、処理時間も長くなるため、複雑さを低くして処理負荷を軽減し、第２閾値を第１閾値よりも高い値に設定する方法もあり得る。

画像認識装置３０の選別部３５（選別手段、第２判定手段）は、第２判定部３４において評価値が第２閾値以上となった複数の密画像１６ａ〜１６ｈの中から、最も評価値が高い画像を詳細画像１６ａとして選別する（図３（ｃ）参照）。そして、上記抽出、判定および選別が完了すれば、密探索を終了して次の詳細判定を実施する。

詳細判定では、画像認識装置３０の第３判定部３６（最終判定手段、第２判定手段）が、第１判定部３２と同様の手法であるが特徴を第２判定部３４よりさらに複雑にして、詳細画像１６ａの特徴量を演算し、その特徴量を識別器にかけることで評価値を演算する。そして、演算した評価値が第３閾値以上であれば、「歩行者が存在する」と判定する。この判定は、第２判定部３４による判定よりもさらに複雑な特徴を用いるため高精度で実施される。

例えば、特徴ベクトルの局所領域の分割数を多くする。但し、高精度で判定する分、マイコンによる判定の処理負荷は大きく、処理時間も長くなるため、複雑さを低くして処理負荷を軽減し、第３閾値を第２閾値よりも高い値に設定する方法もあり得る。そして、上記詳細判定が完了すれば粗探索に戻り、第１画素ステップ分探索ウインドウをずらした次の抽出画像に対する判定を行う。

次に、上述した粗探索、密探索および詳細判定を画像認識装置３０のマイコンが実施するにあたり、その処理手順について図４を用いて説明する。なお、図４の処理は所定周期で繰り返し実行されるものである。

先ず、図４のステップＳ１０において、第１抽出部３１による粗画像の抽出を実施する。すなわち、探索ウインドウＷを前回位置から第１画素ステップだけずらし、そのずらした後の探索ウインドウＷに位置する画像で撮影画像１１から切り出して抽出する。そして、抽出した粗画像に対する評価値を演算し（Ｓ１１）、その評価値が第１閾値以上であるか否かを判定する（Ｓ１２）。なお、以上のステップＳ１０〜Ｓ１２が粗探索の処理に相当する。

評価値＜第１閾値と判定されれば（Ｓ１２：ＮＯ）、ステップＳ５０へ進み粗探索を全て終了したか否かを判定する。つまり、今回の探索ウインドウＷが撮影画像１１に対する走査の最後尾であれば（Ｓ５０：ＹＥＳ）、粗探索終了と判定して図４の処理を一旦終了し、次の撮影画像について図４の処理を実施する。粗探索を全て終了していなければ（Ｓ５０：ＮＯ）、ステップＳ１０に戻り粗探索を継続する。

一方、評価値≧第１閾値と判定されれば（Ｓ１２：ＹＥＳ）、続くステップＳ２０において、第２抽出部３３による密画像の抽出を実施する。すなわち、評価値≧第１閾値と判定された粗画像（基準画像１６）の周囲に位置する、複数の密画像１６ａ〜１６ｈを抽出する。そして、抽出した複数の密画像および基準画像１６に対する評価値を各々演算し（Ｓ２１）、それらの評価値の少なくとも１つが第２閾値以上であるか否かを判定する（Ｓ２２）。なお、以上のステップＳ２０〜Ｓ２２が密探索の処理に相当する。

全ての評価値＜第２閾値と判定されれば（Ｓ２２：ＮＯ）、先述したステップＳ５０へ進み、少なくとも１つの評価値≧第２閾値と判定されれば（Ｓ２２：ＹＥＳ）、ステップＳ３０に進む。そして、最も評価値の高い密画像（詳細画像１６ａ）に対する評価値を演算し（Ｓ３０）、その評価値が第３閾値以上であるか否かを判定する（Ｓ３１）。なお、以上のステップＳ３０、Ｓ３１が詳細判定の処理に相当する。

評価値＜第３閾値と判定されれば（Ｓ３１：ＮＯ）、先述したステップＳ５０へ進み、評価値≧第３閾値と判定されれば（Ｓ３１：ＹＥＳ）、ステップＳ４０に進む。ステップＳ４０では、詳細画像１６ａに歩行者が存在する旨の存在位置情報を登録する。

ここで、図３（ａ）および図５（ａ）に示すように、大きい画素（第１画素）のステップで走査する粗探索では、抽出画像の中央から歩行者がずれる蓋然性が高い。例えば、図５（ａ）に示す粗画像１５は、歩行者が中央から大きくずれて探索ウインドウＷから大きくはみ出ている。また、粗画像１６においても、歩行者が探索ウインドウＷから僅かにはみ出ている。

探索ウインドウＷの中央から歩行者がずれるほど、その粗画像の評価値は低くなる。そこで、粗探索では第１閾値を低く設定して評価値≧第１閾値となる頻度を高くしている。つまり、粗探索における歩行者の識別能力は低く設定されており、その背反として、識別処理時間を短くできる。

図３（ｂ）および図５（ｂ）に示す密探索では、探索ウインドウＷから歩行者が僅かにはみ出ている粗画像１６（基準画像）の周囲へ、小さい画素（第２画素）のステップでずらすので、基準画像の周辺に位置する画像（密画像１６ａ〜１６ｈ）のうちのいずれか１つは、密画像の中央に歩行者が位置する蓋然性が高くなる。例えば、図５（ｂ）に示す密画像１６ａは、基準画像１６に比べて歩行者が中央に位置する。そのため、基準画像１６の評価値よりも密画像１６ａの評価値の方が高くなっており、密探索における歩行者の識別能力は粗探索に比べて高い。また、密探索では特徴ベクトルを詳細に演算しているので、識別処理時間が長くなるものの、識別能力の向上を図っている。

図３（ｃ）および図５（ｃ）に示す詳細判定では、特徴ベクトルをさらに詳細に演算しているので、識別処理時間がさらに長くなるものの、識別能力のさらなる向上を図っている。

以上により、本実施形態によれば、第１抽出部３１で探索ウインドウＷを走査する際の第１画素ステップを、第２抽出部３３で探索ウインドウＷをずらす量（第２画素ステップ）よりも大きく設定している。しかも、第２抽出部３３では、基準画像１６に対してのみ、その周辺画像（密画像１６ａ〜１６ｈ）を抽出する。

そのため、撮影画像１１の全領域に対して第２画素ステップで探索ウインドウＷを走査した場合に比べて、第１抽出部３１および第２抽出部３３による抽出数の合計を少なくできる。よって、マイコンの抽出処理に要する負荷を軽減できる。

それでいて、粗探索で選別した基準画像１６の近傍については密探索を実施するので、歩行者の画像が抽出画像の中央からずれる蓋然性を低くでき、歩行者の識別精度を向上できる。したがって、本実施形態によれば、マイコンの処理負荷を軽減して処理時間を短縮することと、歩行者識別の精度を向上させることとの両立を図ることができる。

さらに、本実施形態では以下に列挙する効果も発揮される。

・第２抽出部３３で抽出した密画像１６ａ〜１６ｈおよび基準画像１６のうち、歩行者が存在する可能性の最も高い（評価値が最も高い）画像がいずれであるかを選別する選別部３５（選別手段）と、選別部３５により選別された画像に対して、歩行者が存在するか否かを最終判定する第３判定部３６（最終判定手段）と、を有する。そのため、複数の密画像１６ａ〜１６ｈの中から選別された１つに対して、第３判定部３６による評価値演算および判定をさらに実施して識別するので、処理負荷軽減と歩行者識別精度向上の両立を促進できる。

・しかも、処理回数の少ない第３判定部３６による判定の精度を、処理回数の多い第１判定部３２による判定の精度よりも高く設定しているので、処理負荷軽減と歩行者識別精度向上の両立をさらに促進できる。

・第２判定部３４による判定の処理回数は、第１判定部３２よりも少なく、かつ、第３判定部３６よりも多いことを鑑みて、第２判定部３４による判定の精度を、第１判定部３２よりも高く、かつ、第３判定部３６よりも低く設定している。そのため、処理負荷軽減と歩行者識別精度向上の両立をさらに促進できる。

・第２抽出部３３において、基準画像１６の位置から第２画素ステップだけずらすにあたり、複数の方向にずらして複数の画像を抽出する。具体的には、図３（ｂ）に例示するように、左右方向にずらした密画像１６ａ、１６ｂ、上下方向にずらした密画像１６ｃ、１６ｄ、および斜め方向にずらした密画像１６ｅ、１６ｆ、１６ｇ、１６ｈを抽出する。そのため、選別部３５で選別した画像において、その画像の中央に歩行者が位置する蓋然性を高めることができる。よって、歩行者識別の精度を向上できる。

・ここで、特定対象物が歩行者である場合、探索ウインドウＷの中央から歩行者が上下方向にずれていても、多少のずれであれば識別精度は大きく低下しない。しかし、左右方向にずれている場合には、僅かにずれているだけで識別精度は大きく低下する。この点を鑑みた本実施形態では、第２抽出部３３において、基準画像１６の位置から第２画素ステップだけずらすにあたり、右方向および左方向にずらして画像を抽出する。そのため、歩行者識別の精度を効果的に向上できる。

なお、上記点を鑑みて、第２抽出部３３にて基準画像１６の位置から第２画素ステップだけずらすにあたり、上下方向や斜め方向にずらすことを廃止して、左右方向のみにずらしてもよい。これによれば、歩行者識別精度を大きく低下させることなく、処理負荷を大幅に軽減できる。

（第２実施形態）
図６に示す本実施形態では、図４の処理にステップＳ１３（高評価判定手段）を追加している。このステップＳ１３では、基準画像１６が、歩行者が含まれている可能性が所定以上である高評価画像であるか否かを判定する。具体的には、基準画像１６の評価値が、第１閾値よりも高く設定された第４閾値以上であるか否かを判定する。

評価値＜第４閾値と判定されれば（Ｓ１３：ＮＯ）、ステップＳ２０に進み密探索を実施する。評価値≧第４閾値と判定されれば（Ｓ１３：ＹＥＳ）、高評価画像であるとみなして、第２抽出部３３による抽出、第２判定部３４による判定および選別部３５による選別（密探索）を実施することなく、第３判定部３６による詳細判定を実施する。この場合、ステップＳ３０、Ｓ３１では、基準画像についてのみ評価値を演算して第３閾値以上であるか否かを判定する。

ここで、粗探索の段階で、偶然にも歩行者が探索ウインドウの中央に位置した場合には、第１判定部３２による判定精度が高くなる。この場合、粗画像における歩行者存在の可能性は、密探索で選別された密画像における歩行者存在の可能性と同等以上と言える。よって、粗画像をそのまま第３判定部３６で処理しても、歩行者識別精度は低下しない。

この点を鑑みた本実施形態では、第１判定部３２による評価値が高い場合には、第１判定部３２による判定精度が高いとみなして、密探索を実施することなく詳細判定を実施する。そのため、歩行者識別精度を低下させることなく、第２抽出部３３、第２判定部３４および選別部３５の処理（密探索）を不要にした分、処理負荷を軽減できる。

（第３実施形態）
上記第１実施形態では、第２抽出部３３にて基準画像１６の位置から第２画素ステップだけずらすにあたり、同一方向に１回だけずらしている。例えば図５（ｂ）に示す如く、右方向に１回ずらして１つの密画像１６ａを抽出し、左方向に１回ずらして１つの密画像１６ｂを抽出する。

これに対し、本実施形態では、同一方向に複数回ずらして複数の密画像を抽出している。例えば、図７に示す如く、右方向に２回ずらして２つの密画像１６ａ、１６ａａを抽出し、左方向に２回ずらして２つの密画像１６ｂ、１６ｂｂを抽出する。ちなみに、図７の例では、評価値の高い順は密画像１６ａ、密画像１６ａａ、基準画像１６であり、密画像１６ａが選別されている。

以上により、本実施形態によれば、選別された画像において、歩行者が精度良く中央に位置することになるので、歩行者識別精度を向上できる。

（第４実施形態）
本実施形態では、第１判定部３２（ずれ方向推定手段）において、基準画像１６の中央位置に対する歩行者のずれ方向を推定する。例えば、先述した局所領域毎の特徴ベクトルの分布に基づいて、歩行者の外形線位置を推定し、その外形線位置に基づき前記ずれ方向を推定すればよい。

そして、第２抽出部３３では、基準画像１６の位置から第２画素ステップだけずらすにあたり、推定したずれ方向にだけずらして密画像を抽出する。或いは、推定したずれ方向と反対の方向にだけずらすことを禁止して、複数の密画像を抽出する。

以上により、本実施形態によれば、第２抽出部３３による密画像の抽出数を減らしつつ、探索ウインドウＷの中央位置に歩行者を近づけるよう、密画像を抽出できる。よって、歩行者識別精度を低下させることなく、密画像の抽出数を減らすことができるので、密画像の抽出、判定、選別にかかる処理負荷の軽減と、歩行者識別精度向上との両立を促進できる。

（第５実施形態）
本実施形態にかかる第１抽出部３１では、１枚の撮影画像１１に対して、探索ウインドウＷのサイズを異ならせて複数回走査して粗画像を抽出する。これによれば、歩行者が車両の近くに存在することに起因して撮影画像１１にて大きく表示されている場合であっても、探索ウインドウＷが過小であることに起因して識別精度が低下することを回避できる。

ここで、複数の異なるサイズの探索ウインドウＷで抽出された粗画像のうち、撮影画像１１の同一位置における各々の粗画像で、評価値が第１閾値以上と判定された場合、その同一位置に歩行者が存在する可能性は極めて高いと言える。この点を鑑みた本実施形態では、撮影画像１１の同一位置において、異なるサイズの粗画像で第１閾値以上と判定されたことを条件として、その位置の粗画像を基準画像に設定して密探索を実施する。

以上により、本実施形態によれば、第１判定部における判定精度（歩行者が存在する確からしさ）を向上できるので、選別部３５で選別した密画像が第３判定部３６で「歩行者が存在する」と判定される確率を高くできる。よって、第３判定部３６で否定判定されるような密探索での無駄な処理を少なくできるので、密画像の抽出、判定、選別にかかる処理負荷の軽減と、歩行者識別精度向上との両立を促進できる。

（他の実施形態）
本発明は上記実施形態の記載内容に限定されず、以下のように変更して実施してもよい。また、各実施形態の特徴的構成をそれぞれ任意に組み合わせるようにしてもよい。

・上記第２実施形態および第３実施形態を組み合わせて、第２抽出部３３にて基準画像１６の位置から第２画素ステップだけずらす回数を、高評価画像である場合に増大させてもよい。

・上記第２実施形態および第５実施形態を組み合わせると好適である。すなわち、撮影画像１１の同一位置において、異なるサイズの粗画像で第１閾値以上と判定された粗画像を、上記第２実施形態にかかる高評価画像に設定して、密探索を実施することなく詳細判定を実施する。

・図７および図３（ｂ）を組み合わせると好適である。すなわち、第２抽出部３３にて基準画像１６の位置から第２画素ステップだけずらすにあたり、左右方向には複数回ずらし、他の方向には１回だけずらして密画像を抽出する。

・上記第１実施形態では、図２に示すように撮影画像１１の全部を粗探索しているが、例えば、撮影画像１１の上方部分や下方部分では歩行者が存在する可能性が低いため、これらの部分を除いた所定領域だけを粗探索するようにしてもよい。

・図３（ｂ）の例では、左右方向、上下方向、斜め方向の８箇所について、基準画像１６の位置からずらして密画像を抽出しているが、左右方向だけずらして密画像を抽出するようにしてもよいし、左右方向および上下方向だけずらして密画像を抽出するようにしてもよい。

・図１に示す選別部３５および第３判定部３６を廃止して、第２判定部３４が、歩行者の存在有無を判定するようにしてもよい。具体的には、第２判定部３４において、各々の密画像１６ａ〜１６ｈおよび基準画像１６に対して評価値を演算し、その評価値が第３閾値よりも高くなっていれば、その画像に対して「歩行者が存在する」と判定して、存在位置情報を登録するようにしてもよい。

・上記各実施形態では、車両前方の画像を撮像するための撮像手段として、主に近赤外線を検出するカメラを採用しているが、主に赤外線を検出するカメラや、主に可視光を検出するカメラを採用してもよい。

・上記各実施形態では、車両前方の撮影画像に対して、特定対象物（歩行者）が存在するか否かを判別しているが、本発明は車両前方の撮影画像に限定されるものではなく、例えば車両後方の撮影画像に特定対象物（歩行者）が存在するか否かを判別してもよい。また、歩行者の存在判別に用いることに限定されるものではなく、例えば他の車両やガードレール、道路のセンターライン等の存在判別に用いてもよい。

・さらに、本発明にかかる画像認識装置は車両に搭載されたものに限定されるものではなく、例えば工場の生産ラインの撮影画像に特定対象物（例えば特定のワーク）が存在するか否かを判別してもよいし、ワークを撮影した画像に特定対象物が存在するか否かを判別してもよい。

１０…カメラ、１１…撮影画像、１６…基準画像、３１…第１抽出部（第１抽出手段）、３２…第１判定部（第１判定手段）、３３…第２抽出部（第２抽出手段）、３４…第２判定部（第２判定手段）、３５…選別部（選別手段、第２判定手段）、３６…第３判定部（最終判定手段、第２判定手段）、Ｗ…探索ウインドウ

Claims (9)

1. カメラ（１０）の撮影画像（１１）から所定サイズの探索ウインドウ（Ｗ）で画像を抽出する手段であって、所定の第１画素ステップで前記探索ウインドウを走査して前記抽出を順次実施する第１抽出手段（３１）と、
   前記第１抽出手段で順次抽出した各々の画像に対して、特定対象物が存在する可能性の有無を判定する第１判定手段（３２）と、
   前記第１判定手段により存在可能性有りと判定された画像を基準画像（１６）とし、その基準画像の位置から所定の第２画素ステップだけずらした位置の画像を前記撮影画像から抽出する第２抽出手段（３３）と、
   前記第２抽出手段で抽出した画像および前記基準画像のいずれかに、前記特定対象物が存在するか否かを判定する第２判定手段（３４、３５、３６）と、
   を備え、
   前記第１画素ステップを前記第２画素ステップよりも大きく設定したことを特徴とする画像認識装置。
2. 前記第２判定手段（３４、３５、３６）は、
   前記第２抽出手段で抽出した画像および前記基準画像のうち、前記特定対象物が存在する可能性の最も高い画像がいずれであるかを選別する選別手段（３５）と、
   前記選別手段により選別された画像に対して、前記特定対象物が存在するか否かを最終判定する最終判定手段（３６）と、
   を有することを特徴とする請求項１に記載の画像認識装置。
3. 前記第１判定手段は、前記基準画像が、前記特定対象物の存在可能性が所定以上である高評価画像であるか否かを判定する高評価判定手段（Ｓ１３）を有し、
   前記高評価画像については、前記第２抽出手段による抽出および前記選別手段による選別を実施することなく、前記最終判定手段による判定を実施することを特徴とする請求項２に記載の画像認識装置。
4. 前記第２判定手段による判定精度を、前記第１判定手段による判定精度よりも高く設定したことを特徴とする請求項１〜３のいずれか１つに記載の画像認識装置。
5. 前記第２抽出手段では、前記基準画像の位置から前記第２画素ステップだけずらすにあたり、複数の方向にずらして複数の画像を抽出することを特徴とする請求項１〜４のいずれか１つに記載の画像認識装置。
6. 前記複数の方向には、右方向と左方向が少なくとも含められていることを特徴とする請求項５に記載の画像認識装置。
7. 前記第２抽出手段では、前記基準画像の位置から同じ方向に前記第２画素ステップだけ複数回ずらして、複数の画像を抽出することを特徴とする請求項１〜６のいずれか１つに記載の画像認識装置。
8. 前記基準画像の中央位置に対する前記特定対象物のずれ方向を推定するずれ方向推定手段（３２）を備え、
   前記第２抽出手段では、前記ずれ方向推定手段により推定された方向へ、前記基準画像の位置から前記第２画素ステップだけずらして抽出することを特徴とする請求項１〜７のいずれか１つに記載の画像認識装置。
9. 前記第１抽出手段では、前記探索ウインドウのサイズを異ならせて複数回走査しており、
   前記第２抽出手段では、前記撮影画像のうち、異なるサイズで抽出した画像のいずれにおいても存在可能性有りと前記第１判定手段で判定された部分の画像を、前記基準画像とすることを特徴とする請求項１〜８のいずれか１つに記載の画像認識装置。

Images