JP2016012302A

JP2016012302A - 対象物検出装置

Info

Publication number: JP2016012302A
Application number: JP2014134666A
Authority: JP
Inventors: 杉山　尚樹; Naoki Sugiyama; 尚樹杉山; 邦博後藤; Kunihiro Goto
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-06-30
Filing date: 2014-06-30
Publication date: 2016-01-21
Anticipated expiration: 2034-06-30
Also published as: US9754174B2; DE102015212075A1; US20150379364A1; JP6225844B2

Abstract

【課題】状況に応じた検出性能が得られる対象物検出装置を提供する。【解決手段】画像取得手段（Ｓ１１０）は、車載撮像装置で車両周辺を撮像した画像データを取得する。対象物抽出手段（Ｓ１２０〜Ｓ２００）は、画像取得手段が取得した画像データに基づいて予め設定された対象物が存在する画像領域である対象物領域を抽出する。対象物抽出手段では、識別手段（Ｓ１４０、Ｓ１８０、Ｓ１９０）が、複数種類の識別器を備え、これら識別器を直列的に適用して候補領域を順次絞り込むことにより対象物領域を抽出する。制御手段（Ｓ１５０〜Ｓ１７０）が、計時手段（１２０）によって計時された判断ポイントでの処理時間に従い、その処理時間が長いほど、判断ポイント以降の処理による候補領域の絞り込みの度合いが強くなるように、識別器での処理または識別器間の接続関係のうち少なくとも一方を変化させる。【選択図】図２

Description

本発明は、画像データから対象物を検出する技術に関する。

従来、画像データを所定サイズのウィンドウにより走査させながら、ウィンドウ毎に対象物が含まれる確度を示す第１評価値を算出し、その第１評価値に基づいて候補領域を抽出し、その抽出された候補領域のそれぞれについて、その領域に対象物が含まれる確度を示す第２評価値を算出し、その第２評価値に基づいて対象物が含まれる画像領域を抽出する技術が提案されている（特許文献１参照）。

特開２００９−５９０４７号公報

従来手法は、要するに、対象物を検出する検出手段を直列に接続して処理を実行するものである。この場合、各検出手段では、第１評価値や第２評価値を所定の閾値と比較することによって、所望の画像領域を抽出する。ここで、検出漏れを極力避けるためには、前段の検出手段の閾値を緩い値に設定することが考えられる。この場合、前段で抽出される候補領域、即ち、後段での処理対象となる候補領域が増大するため、処理時間が増大する。逆に、処理時間を抑えるために前段の検出手段の閾値を厳しい値に設定すると、検出漏れが発生する可能性が大きくなる。つまり、処理時間の削減と検出漏れの削減とはトレードオフの関係にあり、両者を同時に改善することができないという問題があった。

また、前段の検出手段によって検出される候補領域の数は、その時々に入力される画像データによっても大きく異なったものとなる。そして、車載システム等のように、リアルタイムで処理結果を得る必要があるため処理時間に制限があったり、処理を実行する演算装置の処理能力が限られていたりする場合、どのような画像データが入力されても制限時間内に処理が終了するように、最悪の状況を考慮して前段の検出手段の閾値を厳し目の値に設定する必要がある。そうした場合、ほとんどの状況で、処理時間に余裕が生じることになるが、この余裕時間を有効利用することができないという問題もあった。

本発明は、こうした問題に鑑みてなされたものであり、状況に応じた検出性能が得られる対象物検出装置を提供することを目的とする。
簡易な構成で、必要な安全性を確保する

本発明の対象物検出装置は、画像取得手段と対象物抽出手段を備える。画像取得手段は、車載撮像装置で車両周辺を撮像した画像データを取得する。対象物抽出手段は、画像取得手段が取得した画像データに基づいて予め設定された対象物が存在する画像領域である対象物領域を抽出する。

この対象物抽出手段は、識別手段と計時手段と制御手段を備える。識別手段は、対象物領域の候補となる候補領域を抽出する複数種類の識別器を備え、これら識別器を直列的に適用して候補領域を順次絞り込むことにより対象物領域を抽出する。計時手段は、識別手段での処理に要した処理時間を計測する。制御手段は、予め設定された判断ポイントでの処理時間に従い、その処理時間が長いほど、判断ポイント以降の処理による候補領域の絞り込みの度合いが強くなるように、識別器での処理または識別器間の接続関係のうち少なくとも一方を変化させる。

このような構成によれば、判断ポイントまでに要した処理時間が長く、判断ポイント以降の処理に費やすことのできる時間的な余裕がない場合は、判断ポイント以降で処理対象となる候補領域が削減されるため、決められた処理時間内で処理を終わらせることができる。逆に、時間的な余裕がある場合は、判断ポイント以降で処理対象となる候補領域が増えるため、検出漏れを削減することができる。つまり、本発明によれば、状況（時間的な余裕の有無）に適した検出性能によって対象物を効果的に検出することができる。

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

また、本発明は、前述した対象物検出装置の他、当該対象物検出装置を構成要素とするシステム、当該対象物検出装置としてコンピュータを機能させるためのプログラムなど、種々の形態で実現することができる。

車載システムの構成を示すブロック図である。第１実施形態の対象物検出装置が実行するメイン処理のフローチャートである。第１実施形態において第２識別器が実行する処理のフローチャートである。第１実施形態の対象物検出装置を構成する識別器の接続関係を示す説明図であり、（ａ）が時間的な余裕がない場合、（ｂ）が時間的な余裕がある場合である。第２実施形態において第２識別器が実行する処理のフローチャートである。第３実施形態の対象物検出装置が実行するメイン処理のフローチャートである。第３実施形態の対象物検出装置を構成する識別器の接続関係を示す説明図であり、（ａ）が時間的な余裕がない場合、（ｂ）が時間的な余裕がある場合である。第４実施形態の対象物検出装置が実行するメイン処理のフローチャートである。第４実施形態の対象物検出装置を構成する識別器の接続関係を示す説明図であり、（ａ）が時間的な余裕がない場合、（ｂ）が時間的な余裕がある場合である。

以下に本発明が適用された実施形態について、図面を用いて説明する。
［第１実施形態］
＜全体構成＞
車載システム１は、図１に示すように、撮像装置２、対象物検出装置３、後処理装置４、出力装置５を備える。

撮像装置２は、一定時間毎に車両周辺（例えば前方）を撮像し、画像データを出力する。
対象物検出装置３は、撮像装置２から取得した画像データに基づいて、予め設定された対象物（例えば歩行者など）が存在する画像領域である対象物領域を抽出し、その対象物領域の位置を少なくとも含んだ対象物データを生成して出力する。

後処理装置４は、対象物検出装置３から取得した対象物データに基づいて、対象物を追跡するトラッキング処理等の時系列情報を扱う後処理を実行し、後処理によって得られた情報を付加した対象物データを出力する。

出力装置５は、後処理装置４から取得した対象物データを、運転支援制御などを実行する各種車載装置に、車載ネットワークを介して送信する。
＜対象物検出装置＞
ここで対象物検出装置３が実行する処理について、図２に示すフローチャートを用いて説明する。

なお、対象物検出装置３では、画像データから対象物領域を抽出する際に複数種類の識別器を使用する。ここでは、識別器は、検出対象となる対象物の典型例を示す辞書データと、画像データから辞書データのサイズに切り出した画像領域と比較することによって、その画像領域に対象物が存在する確からしさを表すスコアを算出し、そのスコアが予め設定されたスコア閾値より大きい場合に、その画像領域を候補領域として抽出する周知のものである。以下では、種類が異なる識別器を第ｉ識別器（ｉ＝１，２，…Ｎ、Ｎは正整数）と称し、本実施形態では、Ｎ＝３の場合について説明する。

対象物検出装置３は、撮像装置２から画像データを生成する一定時間毎に処理を起動する。処理が起動すると、対象物検出装置３は、まず、Ｓ１１０にて撮像装置２が出力する画像データを取得する。続くＳ１２０では、処理時間の測定（計時）を開始する。

続くＳ１３０では、Ｓ１１０にて取得した画像データに基づき、第１識別器から第Ｎ識別器に適用する第１〜第Ｎ画像データを生成する。具体的には、画像データに基づき画素を積分した積分画像を生成することで、第１識別器〜第（Ｎ−１）識別器に適用する解像度を低下させた第１〜第（Ｎ−１）画像データを生成する。なお、第Ｎ識別器には、取得した画像データを、そのまま第Ｎ画像データとして使用する。

続くＳ１４０では、第１画像データに第１識別器を適用して候補領域を抽出する。具体的には、第１画像データを、第１識別器の辞書データサイズのウィンドウにより走査する。そして、ウィンドウで切り取った画像領域を処理対象領域として、処理対象領域毎に辞書データとの類似度を表すスコア算出する。そのスコアが予め設定されたスコア閾値以上となる処理対象領域を候補領域として抽出する。

続くＳ１５０では、先のＳ１２０で計測を開始した処理時間に、予め設定された余裕時間Ｔを加えた比較対象時間が、予め設定された制限時間より小さいか否かを判断する。
比較対象時間が制限時間以上である場合（Ｓ１５０：ＮＯ）、時間的な余裕がないものとして、Ｓ１６０にて、第２識別器にてスコアとの比較に用いるスコア閾値ＴＨを第１閾値ＴＨ１に設定してＳ１８０に進む。

一方、比較対象時間が制限時間より小さい場合（Ｓ１５０：ＹＥＳ）、時間的な余裕があるものとして、Ｓ１７０にて、第２識別器にてスコアとの比較に用いるスコア閾値ＴＨを、第１閾値ＴＨ１より低い値の第２閾値ＴＨ２（＜ＴＨ１）に設定してＳ１８０に進む。

Ｓ１８０では、第１識別器によって抽出された各候補領域について、該候補領域に対応する第２画像データ上の画像領域を処理対象領域とし、この処理対象領域毎に第２識別器を適用することによって候補領域の絞り込みを行う。なお、第２識別器を適用した処理の詳細については後述する。

続くＳ１９０では、第２識別器によって絞り込まれた各候補領域について、該候補領域に対応する第３画像データ上の画像領域を処理対象領域とし、この処理対象領域毎に第３識別器を適用することによって候補領域の絞り込みを行い、その結果を対象物領域として抽出する。

続くＳ２００では、Ｓ１９０にて抽出された対象物領域の位置から、対象物の位置情報を少なくとも含んだ対象物情報を生成し、後処理装置４に出力して本処理を終了する。
＜第２識別器＞
ここで、第２識別器の適用時（Ｓ１８０）に実行する処理について、図３に示すフローチャートを用いて説明する。

本処理が起動すると、対象物検出装置３は、Ｓ２１０は、前段の識別器（第１識別器）が抽出した候補領域を取得し、取得した候補領域の数だけ、Ｓ２２０〜Ｓ２６０の処理を繰り返す。

Ｓ２２０では、候補領域の一つを選択し、続くＳ２３０では、選択した候補領域に対応する第２画像データ上の画像領域を処理対象領域とし、この処理対象領域と第２識別器で使用する辞書データとの類似度を表すスコアを算出する。

続くＳ２４０では、スコアがスコア閾値ＴＨより大きいか否かを判断する。このスコア閾値ＴＨは、先のＳ１６０またはＳ１７０で設定されたものを使用する。
スコアがスコア閾値ＴＨより大きければ（Ｓ２４０：ＹＥＳ）、Ｓ２５０にて、処理対象領域を候補集合に登録してＳ２６０に進む。一方、スコアがスコア閾値ＴＨ以下であれば（Ｓ２４０：ＮＯ）、Ｓ２５０をスキップしてＳ２６０に進む。

Ｓ２６０では、Ｓ２１０で取得した全ての候補領域について、Ｓ２３０〜Ｓ２５０の処理を実行したか否かを判断し、未処理の候補領域があればＳ２２０に戻り、全ての候補領域について処理済みであればＳ２７０に進む。

Ｓ２７０では、Ｓ２５０にて候補集合に登録された処理対象領域を、第２識別器によって絞り込んだ候補領域として、次段の識別器（第３識別器）に出力し本処理を終了する。
なお、第１識別器および第３識別器の適用時に実行する処理は、使用する辞書データが異なる点と、スコア閾値ＴＨとして固定値が用いられる点以外は、第２識別器の適用時に実行する処理と同様である。

＜効果＞
以上説明したように対象物検出装置３では、第１識別器による処理が終了した時点を判断ポイントとして、判断ポイントまでの処理時間から、判断ポイント後の処理に時間的な余裕があるか否かを判断している。そして、余裕がないと判断した場合、第２識別器のスコア閾値ＴＨを第１閾値ＴＨ１（ＴＨ＞２）に設定し、余裕があると判断した場合、第２識別器のスコア閾値ＴＨを第２閾値ＴＨ２（＜ＴＨ１）に設定している。

これにより、判断ポイント後の処理に時間的な余裕がない場合は、図４（ａ）に示すように、第１識別器３１、第１閾値ＴＨ１を用いた第２識別器３２ａ、第３識別器３３によって処理が実行されることになり、第２識別器３２ａにて候補領域が十分に絞り込まれることになる。その結果、判断ポイント後の処理に要する時間を削減すること、ひいては、決められた制限時間内に処理を終了させることができる。

一方、判断ポイント後の処理に時間的な余裕がある場合は、図４（ｂ）に示すように、第１識別器３１、第２閾値ＴＨ２を用いた第２識別器３２ｂ、第３識別器３３によって処理が実行されることになり、第２識別器３２ｂにてより多くの候補領域が抽出されることになる。その結果、判断ポイント後に許容される処理時間を有効利用して、対象物の検出漏れを抑制することができる。

つまり、対象物検出装置３によれば、状況（時間的な余裕の有無）に適した検出性能によって対象物を効果的に検出することができる。
［第２実施形態］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。

前述した第１実施形態では、第１識別器による処理が終了した時点を判断ポイントとし処理時間の余裕度を判断している。これに対し、第２実施形態では、第２識別器による処理の途中を判断ポイントとしている点で、第１実施形態とは相違する。

＜対象物検出装置＞
本実施形態では、対象物検出装置３のメイン処理は、図２を用いて説明した処理から、Ｓ１５０〜Ｓ１７０を省略したものとなる。これと共に、第２識別器を適用する際に実行する処理の一部が第１実施形態とは異なる。

＜第２識別器＞
本実施形態の対象物検出装置３が、図３に示した処理に代えて実行する処理を、図５のフローチャートを用いて説明する。なお、本処理では、第１実施形態の処理と比較すると、Ｓ２４０に代えてＳ２４２〜Ｓ２４８を実行する点、Ｓ２７０に代えてＳ２７２〜Ｓ２７６を実行する点が相違する。以下では、この相違点を中心に説明する。

処理対象領域についてのスコアが算出されると（Ｓ２３０）、続くＳ２４２では、スコアが第１閾値ＴＨ１より大きいか否かを判断する。スコアが第１閾値ＴＨ１より大きければ（Ｓ２４２：ＹＥＳ）、Ｓ２４４にて、処理対象領域を、第１候補集合に登録してＳ２４６に進む。一方、スコアが第１閾値ＴＨ１以下であれば（Ｓ２４２：ＮＯ）、Ｓ２４４をスキップしてＳ２４６に進む。

Ｓ２４６では、スコアが第２閾値ＴＨ２（＜ＴＨ１）より大きいか否かを判断する。スコアが第２閾値ＴＨ２より大きければ（Ｓ２４６：ＹＥＳ）、Ｓ２４８にて、処理対象領域を、第２候補集合に登録してＳ２６０に進む。一方、スコアが第２閾値ＴＨ２以下であれば（Ｓ２４６：ＮＯ）、Ｓ２４８をスキップしてＳ２６０に進む。

全ての候補画像についてＳ２４２〜Ｓ２４８の処理が終了すると（Ｓ２６０）、続くＳ２７２では、先のＳ１２０で計測を開始した処理時間に、予め設定された余裕時間Ｔを加えた比較対象時間が、予め設定された制限時間より小さいか否かを判断する。

比較対象時間が制限時間以上であれば（Ｓ２７２：ＮＯ）、時間的な余裕がないものとして、先のＳ２７４にて第１候補集合として登録された処理対象領域を、候補領域として次段の識別器（第３識別器）に出力して、本処理を終了する。一方、比較対象時間が制限時間より小さければ（Ｓ２７２：ＹＥＳ）、時間的な余裕があるものとして、先のＳ２４８にて第２候補集合として登録された処理対象領域を、候補領域として次段の識別器（第３識別器）に出力して、本処理を終了する。

＜効果＞
以上説明したように本実施形態の対象物検出装置３では、第２識別器においてスコアが第１閾値ＴＨ１より大きい処理対象領域を第１候補集合に登録し、スコアが第２閾値ＴＨ２より大きい処理対象領域を第２候補集合に登録する。そして、第１識別器から取得した各候補領域に対応する全ての処理対象領域についてのスコアの算出、第１および第２候補集合への登録処理が終了した時点を判断ポイントとして、判断ポイントまでの処理時間から、判断ポイント後の処理に時間的な余裕があるか否かを判断している。この時、余裕がないと判断した場合、第１閾値ＴＨ１を用いて抽出された処理対象領域を第３識別器に出力し、余裕があると判断した場合、第２閾値ＴＨ２を用いて抽出された処理対象領域を第３識別器に出力している。

これにより、第１実施形態の場合と同様に、判断ポイント後の処理に時間的な余裕がない場合は、図４（ａ）に示すように、第１識別器３１、第１閾値ＴＨ１を用いた第２識別器３２ａ、第３識別器３３によって処理が実行されることになる。その結果、判断ポイント後の処理に要する時間を削減すること、ひいては、決められた制限時間内に処理を終了させることができる。

一方、判断ポイント後の処理に時間的な余裕がある場合は、図４（ｂ）に示すように、第１識別器３１、第２閾値ＴＨ２を用いた第２識別器３２ｂ、第３識別器３３によって処理が実行されることになる。その結果、判断ポイント後に許容される処理時間を有効利用して、対象物の検出漏れを抑制することができる。

つまり、対象物検出装置３によれば、状況（時間的な余裕の有無）に適した検出性能によって対象物を効果的に検出することができる。
［第３実施形態］
第３実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。

前述した第１実施形態では、第１識別器による処理が終了した時点を判断ポイントとし処理時間の余裕度を判断し、余裕度の有無によって第２識別器のスコア閾値を変化させている。これに対し、第３実施形態では、第２識別器による処理が終了した時点を判断ポイントとし、その時点での余裕度の有無によって第３識別器の適用の有無を判断する点、および第４識別器を用いる点で、第１実施形態とは相違する。

＜対象物検出装置＞
本実施形態の対象物検出装置３が、図２に示した処理に代えて実行する処理を、図６のフローチャートを用いて説明する。なお、本処理では、第１実施形態の処理と比較すると、Ｓ１８０に代えてＳ１４２を実行する点、Ｓ１５０の判断結果に応じてＳ１９０を実行するか否かが判断される点、Ｓ１９２が追加されている点が相違する。以下では、この相違点を中心に説明する。

即ち、対象物検出装置３は、第１画像データに第１識別器を適用して候補領域を抽出する処理（Ｓ１４０）が終了すると、続くＳ１４２では、第１識別器によって抽出された各候補領域について、該候補領域に対応する第２画像データ上の画像領域を処理対象領域とし、この処理対象領域に第２識別器を適用して候補領域を絞り込む処理を実行する。なお、第１実施形態の場合とは異なり、第２識別器のスコア閾値ＴＨは固定値を用いる。

続くＳ１５０では、先のＳ１２０で計測を開始した処理時間に、予め設定された余裕時間Ｔを加えた比較対象時間が、予め設定された制限時間より小さいか否かを判断する。
比較対象時間が制限時間より小さい場合（Ｓ１５０：ＹＥＳ）、時間的な余裕があるものとして、Ｓ１９０にて、第２識別器によって絞り込まれた各候補領域について、該候補領域に対応する第３画像データ上の画像領域を処理対象領域とし、この処理対象領域に第３識別器を適用して候補領域を更に絞り込む処理を実行してＳ１９２に進む。

一方、比較対象時間が制限時間以上である場合（Ｓ１５０：ＮＯ）、時間的な余裕がないものとして、Ｓ１９０をスキップしてＳ１９２に進む。
Ｓ１９２では、第２識別器（Ｓ１５０：ＮＯの場合）または第３識別器（Ｓ１５０：ＹＥＳの場合）によって絞り込まれた各候補領域について、該候補領域に対応する第４画像データ上の画像領域を処理対象領域とし、この処理対象領域に第４識別器を適用して候補領域の絞り込みを行い、その結果を対象物領域として抽出して、Ｓ２００に進む。

＜効果＞
以上説明したように、本実施形態の対象物検出装置３では、第２識別器による処理が終了した時点を判断ポイントとして、判断ポイントまでの処理時間から、判断ポイント後の処理に時間的な余裕があるか否かを判断している。そして、余裕がないと判断した場合、第３識別器による処理を省略して第４識別器による処理を実行する。一方、余裕があると判断した場合、第３識別器による処理を実行後に第４識別器による処理を実行する。

従って、判断ポイント後の処理に時間的な余裕がない場合は、図７（ａ）に示すように、第１識別器３１、第２識別器３２、第４識別器３４によって処理が実行されることになる。その結果、判断ポイント後の処理に要する時間を削減すること、ひいては、決められた制限時間内に処理を終了させることができる。

一方、判断ポイント後の処理に時間的な余裕がある場合は、図７（ｂ）に示すように、第１識別器３１、第２識別器３２、第３識別器３３、第４識別器３４によって処理が実行されることになる。その結果、判断ポイント後に許容される処理時間を有効利用して、対象物の検出漏れを抑制することができる。

つまり、対象物検出装置３によれば、状況（時間的な余裕の有無）に適した検出性能によって対象物を効果的に検出することができる。
［第４実施形態］
第４実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。

前述した第１実施形態では、第１識別器による処理が終了した時点を判断ポイントとし処理時間の余裕度を判断し、余裕度の有無によって第２識別器のスコア閾値を変化させている。これに対し、第４実施形態では、余裕度の有無によって第２識別器のスコア閾値を変化させるだけでなく、第３識別器の適用の有無も判断する点、および第４識別器を用いる点で、第１実施形態とは相違する。

＜対象物検出装置＞
本実施形態の対象物検出装置３が、図２に示した処理に代えて実行する処理を、図８のフローチャートを用いて説明する。なお、本処理では、第１実施形態の処理と比較すると、Ｓ１８０に代えてＳ１８２，Ｓ１８４を実行する点、Ｓ１５０の判断結果に応じてＳ１９０を実行するか否かが判断される点、Ｓ１９２が追加されている点が相違する。以下では、この相違点を中心に説明する。

即ち、対象物検出装置３は、比較対象時間が制限時間より小さい場合（Ｓ１５０：ＮＯＯ）、時間的な余裕がないものとして、Ｓ１６０にて第２識別器で使用するスコア閾値ＴＨを第１閾値ＴＨ１に設定し、続くＳ１８２にて、Ｓ１８０での処理と同様に第２識別器によって候補領域を絞り込む処理を実行してＳ１９２に進む。

一方、比較対象時間が制限時間以上である場合（Ｓ１５０：ＹＥＳ）、時間的余裕があるものとして、ＳＳ７０にて第２識別器で使用するスコア閾値ＴＨを第２閾値ＴＨ２に設定し、続くＳ１８４にて、Ｓ１８０での処理と同様に第２識別器によって候補領域を絞り込む処理を実行し、更に、続くＳ１９０にて、第３識別器によって更に候補領域を絞り込む処理を実行してＳ１９２に進む。

Ｓ１９２では、第２識別器（Ｓ１５０：ＮＯの場合）または第３識別器（Ｓ１５０：ＹＥＳの場合）によって絞り込まれた各候補領域について、該候補領域に対応する第４画像データ上の画像領域を処理対象領域とし、この処理対象領域に第４識別器を適用して候補領域の絞り込みを行い、その結果を対象物領域として抽出して、Ｓ２００に進む。

＜効果＞
以上説明したように、本実施形態の対象物検出装置３では、第１識別器による処理が終了した時点を判断ポイントとして、判断ポイントまでの処理時間から、判断ポイント後の処理に時間的な余裕があるか否かを判断している。そして、余裕がないと判断した場合、スコア閾値ＴＨが第１閾値ＴＨ１に設定された第２識別器による処理を実行した後、第４識別器による処理を実行する。一方、余裕があると判断した場合、スコア閾値ＴＨが第２閾値ＴＨ２に設定された第２識別器による処理の後、第３識別器による処理を実行後に第４識別器による処理を実行する。

従って、判断ポイント後の処理に時間的な余裕がない場合は、図９（ａ）に示すように、第１識別器３１、第１閾値ＴＨ１を用いる第２識別器３２ａ、第４識別器３４によって処理が実行されることになる。その結果、判断ポイント後の処理に要する時間を削減すること、ひいては、決められた制限時間内に処理を終了させることができる。

一方、判断ポイント後の処理に時間的な余裕がある場合は、図９（ｂ）に示すように、第１識別器３１、第２閾値ＴＨ２を用いる第２識別器３２ｂ、第３識別器３３、第４識別器３４によって処理が実行されることになる。その結果、判断ポイント後に許容される処理時間を有効利用して、対象物の検出漏れを抑制することができる。

つまり、対象物検出装置３によれば、状況（時間的な余裕の有無）に適した検出性能によって対象物を効果的に検出することができる。
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（１）上記実施形態では、Ｓ１５０，Ｓ２７２で使用する余裕時間Ｔとして固定値を用いているが、これに限定されるものではない。例えば、前サイクルの処理で検出された対象物（対象物領域）の数に応じて余裕時間Ｔを変化させてもよい。即ち、前サイクルの処理で検出された対象物の数が多い場合には、後処理装置４での後処理（トラッキング処理等）において、より多くの処理時間が必要となる可能性がある。従って、このような場合、余裕時間Ｔを大きくすることによって、後処理を実行する時間が確保されるようにすることが考えられる。また、時間帯、天候、車速、走行環境（場所）等に応じて、余裕時間Ｔを変化させてもよい。

（２）上記実施形態では処理時間を評価する判断ポイントを一つだけ設けたが、これを複数設けることによって、識別器の処理内容や識別器間の接続構成をより細かに変更するようにしてもよい。

（３）本発明の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

１…車載システム２…撮像装置３…対象物検出装置４…後処理装置５…出力装置３１…第１識別器３２，３２ａ，３２ｂ…第２識別器３３…第３識別器３４…第４識別器

Claims

車載撮像装置で車両周辺を撮像した画像データを取得する画像取得手段（Ｓ１１０）と、
前記画像取得手段が取得した画像データに基づいて予め設定された対象物が存在する画像領域である対象物領域を抽出する対象物抽出手段（Ｓ１２０〜Ｓ２００）と、
を備え、
前記対象物抽出手段は、
前記対象物領域の候補となる候補領域を抽出する複数種類の識別器を備え、該識別器を直列的に適用して前記候補領域を順次絞り込むことにより前記対象物領域を抽出する識別手段（Ｓ１４０、Ｓ１８０、Ｓ１９０）と、
前記識別手段での処理に要した処理時間を計測する計時手段（Ｓ１２０）と、
予め設定された判断ポイントでの前記処理時間に従い、該処理時間が長いほど、前記判断ポイント以降の処理による前記候補領域の絞り込みの度合いが強くなるように、前記識別器での処理または前記識別器間の接続関係のうち少なくとも一方を変化させる制御手段（Ｓ１５０〜Ｓ１７０）と、
を備えることを特徴とする対象物検出装置。
前記識別器は、
入力される処理対象領域に前記対象物が存在する確からしさを表すスコアを算出するスコア算出手段（Ｓ２３０）と、
前記スコア算出手段により算出されたスコアが予め設定されたスコア閾値以上となる前記処理対象領域を前記候補領域として抽出する候補領域抽出手段（Ｓ２４０、Ｓ２５０）と、
を備え、
前記制御手段は、前記処理時間が長いほど、前記判断ポイント以降に適用される前記識別器の少なくとも一つについて、前記スコア閾値を大きな値に変化させることを特徴とする請求項１に記載の対象物検出装置。
前記識別器は、
入力される処理対象領域に前記対象物が存在する確からしさを表すスコアを算出するスコア算出手段（Ｓ２３０）と、
前記スコア算出手段により算出されたスコアが予め設定された第１閾値以上となる前記候補領域を第１候補集合とし、前記第１閾値より小さな値に設定された第２閾値以上となる前記候補領域を第２候補集合として記憶する候補集合記憶手段（Ｓ２４２〜Ｓ２４８）と、
前記第１候補集合または前記第２候補集合のうちいずれか一方を選択し、選択された候補集合に属する前記候補領域を出力する選択手段（Ｓ２７２〜Ｓ２７６）と、
を備え、
前記制御手段は、前記候補集合記憶手段での処理が終了した時点を前記判断ポイントとし、該判断ポイントでの処理時間が予め設定された時間閾値より大きければ前記第１候補集合を、前記時間閾値以下であれば前記第２候補集合を前記選択手段に選択させることを特徴とする請求項１に記載の対象物検出装置。
前記制御手段は、前記処理時間に従い、前記判断ポイント以降の処理で使用する前記識別器の数または種類を変化させることを特徴とする請求項１ないし請求項３のいずれか１項に記載の対象物検出装置。