JP2007257148A

JP2007257148A - 画像処理装置及び方法

Info

Publication number: JP2007257148A
Application number: JP2006078800A
Authority: JP
Inventors: Yasuhito Sano; 泰仁佐野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2006-03-22
Filing date: 2006-03-22
Publication date: 2007-10-04
Also published as: US20070223785A1

Abstract

【課題】計算負荷の軽減を図ることが可能な画像処理装置を提供する。
【解決手段】撮影画像を入力する画像入力手段１と、画像入力手段１が入力した撮影画像の特徴量を算出する画像内特徴量算出手段２と、前記特徴量を用いて、撮影画像のうちの対象候補領域を抽出する対象候補領域抽出手段３と、用意された画像データに基づいて対象の特徴量を算出し、該特徴量に対する複数の判別式を作成する判別式構成手段５と、前記複数の判別式の中から、対象候補領域抽出手段３で抽出した対象候補領域内の特徴量に基づいて、判別式を選択する判別式選択手段６と、前記判別式に基づいて、対象候補領域における対象の有無を検出する検出手段７とを備えた。
【選択図】図１

Description

本発明は、撮影画像の処理時間の短縮化を図った画像処理装置及び画像処理方法に関する。

従来の画像処理装置として、識別器作成部、識別精度特定部、計算量特定部、識別器選択部及び識別条件決定部を備え、識別器作成部は、サンプルデータ群に基づいて、識別処理に用いられ得る複数の特徴量の各々について対応する識別器を作成し、識別精度特定部と計算量特定部は、作成された識別器の各々について識別精度指標値と計算量指標値をそれぞれ特定し、また識別器選択部は、それらの指標値に基づいて総合評価値を導出し、良好な識別器を選択する一方、識別条件決定部は、選択された識別器に基づいて、識別処理に用いる特徴量の種類と識別条件を決定するようにしたものが知られている（例えば、特許文献１参照）。

上記構成の画像処理装置は、特徴量ごとに基本的な判別式を作成しておき、利用可能な計算負荷を考慮しながら最終的な判別式を決定しており、つまり、判別式を決定するのは、学習データからの学習によって行っている。
特開２００５−１００１２１号公報

しかしながら、上記従来の技術では、特徴量ごとに基本的な判別式を作成しておき、利用可能な計算負荷を考慮しながら最終的な判別式を決定するよう構成されているので、画像処理装置の計算負荷が増大するという問題がある。

本発明の課題は、計算負荷の軽減を図ることが可能な画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明は、撮影画像を入力する画像入力手段と、前記画像入力手段が入力した撮影画像の特徴量を算出する画像内特徴量算出手段と、前記特徴量を用いて、前記撮影画像のうちの対象候補領域を抽出する対象候補領域抽出手段と、用意された画像データに基づいて対象の特徴量を算出し、該特徴量に対する複数の判別式を作成する判別式構成手段と、前記複数の判別式の中から、前記対象候補領域抽出手段で抽出した対象候補領域内の特徴量に基づいて、判別式を選択する判別式選択手段と、前記判別式に基づいて、対象候補領域における対象の有無を検出する検出手段と、を備えたことを特徴としている。

上記構成において、判別式選択手段は、判別式構成手段が作成した複数の判別式の中から、対象候補領域抽出手段で抽出した対象候補領域内の特徴量に基づいて、判別式を選択する。一般的に、何の状態も仮定できない状態で対象を判別しなくてはならない判別式よりも、対象候補領域内の特徴量のように対象をある程度限定した状態で判別を行う判別式のほうが計算時間を短くすることができる。したがって、上記構成によれば、観測された特徴量に対して相応しい判別式を利用することができ、計算時間を短くすることが可能となる。

本発明によれば、対象候補領域内の特徴量に基づいて適切な判別式が選択されるので、計算時間が短くなって、画像処理装置の計算負荷を軽減することができる。

以下、本発明の実施例を図面に従って説明する。

図１は、本発明に係る画像処理装置の全体構成を示している。この画像処理装置は、撮影画像を入力する画像入力手段１と、画像入力手段１が入力した撮影画像の特徴量を算出する画像内特徴量算出手段２と、前記特徴量を用いて、撮影画像のうちの対象候補領域を抽出する対象候補領域抽出手段３と、種々の対象の画像データがあらかじめ蓄積されたデータベース４と、データベース４に蓄積された画像データに基づいて前記対象の特徴量を算出し、該特徴量に対する複数の判別式を作成する判別式構成手段５と、判別式構成手段５が作成した複数の判別式の中から、対象候補領域抽出手段３で抽出した対象候補領域内の特徴量に基づいて、判別式を選択する判別式選択手段６と、判別式選択手段６で選択した判別式に基づいて、対象候補領域における対象の有無を検出する検出手段７とを備えている。なお、画像データはデータベース４以外にもあらかじめ用意しておくことができ、この場合はデータベース４は不要である。

図２は、本発明に係る画像処理装置の動作フローを示している。図２において、まず、ステップＳ１で画像入力手段１が撮影画像を入力する。このとき、画像入力手段１としては、ＣＣＤセンサ、ＣＭＯＳセンサ、アモルファスセンサなどを含むデジタル画像入力装置や、アナログ信号を入力し、それをデジタルイメージに変換する装置を用いることができる。また、ここで入力する画像は可視光領域に限定されず、赤外線画像など可視領域以外の入力画像を使用してもかまわない。

ステップＳ２では、ステップＳ１で入力した撮影画像の特徴量を計算する。ここで特徴量としては、オプティカルフロー、空間周波数、エッジ強度、コントラスト及びアスペクト比がある。例えば、オプティカルフローを使用する場合であれば、時刻“ｔ”に得られた画像Input_tと、時刻ｔ＋Δｔに得られた画像Input_t+Δ_tとの差分から画像の変化を観測する勾配法の利用が一般的である。

ステップＳ３では、ステップＳ２で得られた特徴量から、対象が写っていると考えられる領域を候補領域ｐとして抽出する。例えば、画面上に写っている歩行者を対象とする場合は、オプティカルフローを特徴量として、図３のようにオプティカルフローの消失点から湧き出すオプティカルフローとは異なる動きを持つ物体の領域を抽出することが考えられる。

具体的には、画面上のオプティカルフローの交点を求めることで、オプティカルフローが湧き出す元（消失点）を求め、その後、消失点から湧き出す方向とは異なる方向を持つオプティカルフローをピックアップすることで、候補領域ｐを抽出する。このとき、候補領域ｐは後で使用する学習データと同じアスペクト比を持つ矩形とし、その大きさや場所は、背景と異なるオプティカルフローが、背景と同じ方向を持つオプティカルフローに対し、ある割合以上で収まるように決定される。

図２において、ステップＳ４ではステップＳ３で得られた候補領域ｐに対して、候補領域内部で観測された特徴量を元に、適切な対象判別式ψ_kの選択を行う。ここで、判別式ψ_kとは候補領域ｐを入力とし、その中に対象が写っているかどうかを判定するためのもので、次の式で表される。

判別式ψ_k は弱学習器Ｃ_iと呼ばれる単純な学習器のN個の組み合わせで成り立っている。この弱学習器Ｃ_iは候補領域内部に対象が写っていれば１を、写っていなければ０を返す式である。この判別式ψ_kを用いた判断方法は、閾値μ_k を用意し、もし、ψ_kの出力が閾値μ_kを上回っていたら、対象が存在し、下回っていたら対象が存在しないと判断する。

このとき、学習時に使用するデータ（学習データ）を想定される特徴量ごとに分類し、分類された学習データごとに判別式を生成する。たとえば、対象を歩行者とした場合、横向きに歩く歩行者に関しては、横向きのオプティカルフローが、カメラに対して前後方向に動く歩行者に対しては、背景と同様にオプティカルフローが観測されると考えられる。したがって、学習データＤ_jを、図４のように、横向き方向に写る歩行者の学習データＤＨ_j'，max(ｊ’)＝Ｍ_h＜Ｍと、それ以外の方向で写る歩行者の学習データＤＶ_j''，max(ｊ’’)＝(Ｍ−Ｍ_h)＜Ｍに分類し、それぞれに対して判別式を生成する。

このように学習データを条件に従い分類することで、学習データの多様性を制限することになる。ある判別性能を達成する必要があるときに、学習データが多様であるほど、弱学習器が多く必要となる。この点については後述する。そして結果として、一塊の学習データから得られる判別式よりも弱学習器の少ない判別式が生成される。

ここで、特徴量により判別式を個別に用意することにより、計算時間が短くなる原理について説明する。

データを学習し、分類方法を獲得する方法として、最も原始的なのは、学習データを全て暗記する方法である。新しいデータに対して、すべてのデータとのマッチングをとり、最も近い学習データが属するクラスを返すことで分類を行う（ｋ−ＮＮ法として知られる）。

この手法はかなり性能がよいことが知られているが、判別を行う際には、大きなデータベースが必要となるため、実際に利用できないことも多い。

これに対して、多くの学習手法は、学習データに対して、クラスを分類するのにふさわしい特徴抽出を行い、判別の際にはその特徴量を用いて判断を行う(Adaboostも、学習データから、対象を含む画像と、含まない画像を効率的に分割するための特徴量を弱学習式を生成する過程において抽出するといえる。)。

学習データ内のクラスごとで、違いが明確である場合は（例えば、明るいか、暗いかという単純な指標で判断できるような場合）は、クラスを判別する式は単純になるが、同一クラス内の情報が多様であり、単純なルールで記述できない場合は、判別するための式が長くなってしまう(Adaboostの例では弱学習式Ｃ_iの数Ｎが大きくなってしまう)。

したがって、学習データを何らかの基準で分割し、個別に学習を行うことで、判別式の長さが短くなり、結果として計算時間が短くなる。

ステップＳ４では、候補領域内部で観測された特徴量を元に、候補領域に対してふさわしい判別式の選択を行う。上で示した例では、候補領域内部で横向きの速度が多く観測された場合は、横向きの歩行者の学習データＤＨ_jに対する判別式ψ_hを、それ以外の方向の速度が観測された歩行者に対してはそれ以外の歩行者のデータＤＶ_jに対する判別式ψ_vを適用する。また、どちらの判別式が適当か明確でない場合は判別式ψ_hとψ_vとの両方を適用する。

ステップＳ５では、判別式による判定を行い、対象が候補領域内に写っているかどうかの判断を行う。判別式に対して候補領域の画像を入力として与え、出力値を閾値と比較し、出力値が閾値を上回った場合には、その候補領域内に対象が含まれていると判断する。

そして、ステップＳ６では判断結果を出力し、さらにステップＳ７では、終了条件を満たすまで上記各処理を繰り返す。

次に、弱学習器の学習について、図５のフローチャートに従い説明する。

まず、図５のステップＳ１１で、学習用のデータＤ_jをM個用意する。ここで学習データとは、画像データＩ_jとその画像内に対象が写っているかどうかを示すデータＸ_j、さらにそれぞれのデータに対して設定されている重みＷ_jにより成り立つ。なお、エッジ強度を算出する場合には、画像入力手段１（図１参照）が入力した撮影画像に対して、ソベルフィルタなどが利用できる。

ステップＳ１２では、弱学習器Ｃ_i=1を用意して、学習データに対する誤判別が少なくなるようにＣ_i=1の最適化を行う。ここで弱学習式Ｃ_i=1は学習データの画像内のオプティカルフローを入力として、画像内に対象がいるかどうかの判断を行う式である。本実施例では、弱学習器において、新たに入力したオプティカルフローと既に学習したオプティカルフローとの差が所定値以下であれば、対象があると判断するという処理を行う。ここで比較する画素の位置を変数とし、誤り率が最も少なくなるように、ローカルサーチや遺伝的アルゴリズムなどの最適化手法により画像内のオプティカルフローを参照する画素の位置を最適化する。

ステップＳ１３では、学習データの重み付けを更新する。最適化された弱学習器で正確に分類されなかった学習データの重みを上げ、正確に分類された学習データの重みを下げることで、次の学習フェーズにおいて、Ｃ_i=1で正確に分類できなかった学習データが重要視された学習を行えるようにすることを目的とする。

ステップＳ１４ではステップＳ１２で得られた判別式の性能を評価し、目標値に達しているかどうかの判断を行う。もし目標性能に達していなければ、ステップＳ１２で新たな弱学習器の最適化を行い、さらにステップＳ１３で重みの更新を行って、ステップＳ１４においてＣ_i=1とＣ_i=2を用いた性能の評価を行うという作業を繰り返す。得られた判別式が目標性能に達していれば、この処理を終了する。

次に、特徴量がオプティカルフローの場合に、候補領域内に対象が写っているかどうかの判断を、上記判別式を用いて行う一例について説明する。

例えば、判別式を次のように定義する。
右方向に移動する歩行者の判別式 ψ_kR=Ｃ_1R(p)+Ｃ_2R(p)+・・・ +Ｃ_N-1R(p)+Ｃ_NR(p)
手前に移動する歩行者の判別式 ψ_kC=Ｃ_1C(p)+Ｃ_2C(p)+ ・・・ +Ｃ_N-1C(p)+Ｃ_NC(p)
左方向に移動する歩行者の判別式 ψ_kL=Ｃ_1L(p)+Ｃ_2L(p)+ ・・・ +Ｃ_N-1L(p)+Ｃ_NL(p)
ここで、
Ｃ_1R(p) ：右方向のベクトル（オプティカルフロー）で速度がv1の弱学習器
Ｃ_2R(p) ：右方向のベクトル（オプティカルフロー）で速度がv2の弱学習器
Ｃ_N-1R(p)：右方向のベクトル（オプティカルフロー）で速度がvN-1の弱学習器
Ｃ_NR(p) ：右方向のベクトル（オプティカルフロー）で速度がvNの弱学習器

Ｃ_1C(p) ：手前方向のベクトル（オプティカルフロー）で速度がv1の弱学習器
Ｃ_2C(p) ：手前方向のベクトル（オプティカルフロー）で速度がv2の弱学習器
Ｃ_N-1C(p)：手前方向のベクトル（オプティカルフロー）で速度がvN-1の弱学習器
Ｃ_NC(p) ：手前方向のベクトル（オプティカルフロー）で速度がvNの弱学習器

Ｃ_1L(p) ：左方向のベクトル（オプティカルフロー）で速度がv1の弱学習器
Ｃ_2L(p) ：左方向のベクトル（オプティカルフロー）で速度がv2の弱学習器
Ｃ_N-1L(p)：左方向のベクトル（オプティカルフロー）で速度がvN-1の弱学習器
Ｃ_NL(p) ：左方向のベクトル（オプティカルフロー）で速度がvNの弱学習器
である。

そして、候補領域ｐにおけるオプティカルフローのベクトルが右方向で速度がv2であるとすると、候補領域ｐに対しては判別式ψ_kRが選択され、その判別式ψ_kRは、
ψ_kR=Ｃ_1R(p)+Ｃ_2R(p)+ ・・・ +Ｃ_N-1R(p)+Ｃ_NR(p)=0+1+ ・・・ +0+0≧μ_k
となり、候補領域ｐ内に右向きに速度v2で移動する歩行者が存在すると判定される。

実際は、各弱学習器は複数のベクトルに対して設定されている。例えば、右方向に移動する歩行者の場合、あらかじめ定めた分解能に基づいて頭部、胴体、手、足等に応じたオプティカルフロー（ベクトル）が算出され、このベクトルの集合を一つのパターンとして学習する。

本実施例によれば、探索範囲を画面上の一部に絞り込むことができるので、画面すべてを操作する必要がなくなり、計算時間を短縮することができる。

次に、特徴量がエッジ強度の場合に、候補領域内に対象が写っているかどうかの判断を、判別式を用いて行う一例について説明する。

例えば、判別式を次のように定義する。
歩行者の判別式 ψ_kEW=Ｃ_1EW(p)+Ｃ_2EW(p)+ ・・・ +Ｃ_N-1EW(p)+Ｃ_NEW(p)
四輪車両の判別式 ψ_kEV4=Ｃ_1EV4(p)+Ｃ_2EV4(p)+ ・・・ +Ｃ_N-1EV4(p)+Ｃ_NEV4(p)
二輪車両の判別式 ψ_kEV2=Ｃ_1EV2(p)+Ｃ_2EV2(p)+ ・・・ +Ｃ_N-1EV2(p)+Ｃ_NEV2(p)
ここで、
Ｃ_1EW(p) ：エッジ強度がEW1（晴天時）の歩行者画像の弱学習器
Ｃ_2EW(p) ：エッジ強度がEW2（降雨時）の歩行者画像の弱学習器
Ｃ_N-1EW(p)：エッジ強度がEWN-1（薄霧時）の歩行者画像の弱学習器
Ｃ_NEW(p) ：エッジ強度がEWN（降雪時）の歩行者画像の弱学習器

Ｃ_1EV4(p) ：エッジ強度がEV41（晴天時）の四輪車両の弱学習器
Ｃ_2EV4(p) ：エッジ強度がEV42（降雨時）の四輪車両の弱学習器
Ｃ_N-1EV4(p)：エッジ強度がEV4N-1（薄霧時）の四輪車両の弱学習器
Ｃ_NEV4(p) ：エッジ強度がEV4N（降雪時）の四輪車両の弱学習器

Ｃ_1EV2(p) ：エッジ強度がEV21（晴天時）の二輪車両の弱学習器
Ｃ_2EV2(p) ：エッジ強度がEV22（降雨時）の二輪車両の弱学習器
Ｃ_N-1EV2(p)：エッジ強度がEV2N-1（薄霧時）の二輪車両の弱学習器
Ｃ_NEV2(p) ：エッジ強度がEV2N（降雪時）の二輪車両の弱学習器
である。

そして、候補領域ｐにおけるエッジ強度がEV22であるとすると、候補領域ｐに対しては判別式ψ_kEV2が選択され、その判別式ψ_kEV2 は、
ψ_kEV2=Ｃ_1EV2(p)+Ｃ_2EV2(p)+ ・・・ +Ｃ_N-1EV2(p)+Ｃ_NEV2(p)=0+1+ ・・・ +0+0≧μ_k
となり、候補領域ｐ内に降雨時の二輪車両が存在すると判定される。

次に、特徴量が空間周波数の場合に、候補領域内に対象が写っているかどうかの判断を、判別式を用いて行う一例について説明する。

例えば、判別式を次のように定義する。
歩行者の判別式 ψ_kH=Ｃ_1H(p)+Ｃ_2H(p)+ ・・・ +Ｃ_N-1H(p)+Ｃ_NH(p)
犬の判別式 ψ_kD=Ｃ_1D(p)+Ｃ_2D(p)+ ・・・ +Ｃ_N-1D(p)+Ｃ_ND(p)
静止車両の判別式 ψ_kV=Ｃ_1V(p)+Ｃ_2V(p)+ ・・・ +Ｃ_N-1V(p)+Ｃ_NV(p)
ここで、
Ｃ_1H(p) ：空間周波数H1（子供）の画像の弱学習器
Ｃ_2H(p) ：空間周波数H2（大人）の画像の弱学習器
Ｃ_N-1H(p)：空間周波数HN-1（大きい荷物を持った人）の画像の弱学習器
Ｃ_NH(p) ：空間周波数HN（傘を差した大人）の画像の弱学習器

Ｃ_1D(p) ：空間周波数D1（柴犬）の画像の弱学習器
Ｃ_2D(p) ：空間周波数D2（レトリバー）の画像の弱学習器
Ｃ_N-1D(p)：空間周波数DN-1（チワワ）の画像の弱学習器
Ｃ_ND(p) ：空間周波数DN（ブルドッグ）の画像の弱学習器

Ｃ_1V(p) ：空間周波数V1（セダン）の画像の弱学習器
Ｃ_2V(p) ：空間周波数V2（ワンボックス）の画像の弱学習器
Ｃ_N-1V(p)：空間周波数VN-1（トラック）の画像の弱学習器
Ｃ_NV(p) ：空間周波数VN（二輪車）の画像の弱学習器
である。

そして、候補領域ｐにおける空間周波数がDN-1であるとすると、候補領域ｐに対しては判別式ψ_kDが選択され、その判別式ψ_kD は、
ψ_kD=Ｃ_1D(p)+Ｃ_2D(p)+ ・・・ +Ｃ_N-1D(p)+Ｃ_ND(p)=0+0+ ・・・ +1+0≧μ_k
となり、候補領域ｐ内にチワワが存在すると判定される。

次に、特徴量がコントラストの場合に、候補領域内に対象が写っているかどうかの判断を、判別式を用いて行う一例について説明する。

例えば、判別式を次のように定義する。
歩行者の判別式 ψ_kCW=Ｃ_1CW(p)+Ｃ_2CW(p)+ ・・・ +Ｃ_N-1CW(p)+Ｃ_NCW(p)
四輪車両の判別式 ψ_kCV4=Ｃ_1CV4(p)+Ｃ_2CV4(p)+ ・・・ +Ｃ_N-1CV4(p)+Ｃ_NCV4(p)
二輪車両の判別式 ψ_kCV2=Ｃ_1CV2(p)+Ｃ_2CV2(p)+ ・・・ +Ｃ_N-1CV2(p)+Ｃ_NCV2(p)
ここで、
Ｃ_1CW(p) ：コントラストがCW1（晴天時）の歩行者画像の弱学習器
Ｃ_2CW(p) ：コントラストがCW2（降雨時）の歩行者画像の弱学習器
Ｃ_N-1CW(p)：コントラストがCWN-1（薄霧時）の歩行者画像の弱学習器
Ｃ_NCW(p) ：コントラストがCWN（降雪時）の歩行者画像の弱学習器

Ｃ_1CV4(p) ：コントラストがCV41（晴天時）の四輪車両の弱学習器
Ｃ_2CV4(p) ：コントラストがCV42（降雨時）の四輪車両の弱学習器
Ｃ_N-1CV4(p)：コントラストがCV4N-1（薄霧時）の四輪車両の弱学習器
Ｃ_NCV4(p) ：コントラストがCV4N（降雪時）の四輪車両の弱学習器

Ｃ_1CV2(p) ：コントラストがCV21（晴天時）の二輪車両の弱学習器
Ｃ_2CV2(p) ：コントラストがCV22（降雨時）の二輪車両の弱学習器
Ｃ_N-1CV2(p)：コントラストがCV2N-1（薄霧時）の二輪車両の弱学習器
Ｃ_NCV2(p) ：コントラストがCV2N（降雪時）の二輪車両の弱学習器
である。

そして、候補領域ｐにおけるエッジ強度がCW1であるとすると、候補領域ｐに対しては判別式ψ_kCWが選択され、その判別式ψ_kCWは、
ψ_kCW=Ｃ_1CW(p)+Ｃ_2CW(p)+ ・・・ +Ｃ_N-1CW(p)+Ｃ_NCW(p)=1+0+ ・・・ +0+0≧μ_k
となり、候補領域ｐ内に晴天時の歩行者が存在すると判定される。

次に、特徴量がアスペクト比の場合に、候補領域内に対象が写っているかどうかの判断を、判別式を用いて行う一例について説明する。

例えば、判別式を次のように定義する。
歩行者の判別式 ψ_kAW=Ｃ_1AW(p)+Ｃ_2AW(p)+ ・・・ +Ｃ_N-1AW(p)+Ｃ_NAW(p)
四輪車両の判別式 ψ_kAV4=Ｃ_1AV4(p)+Ｃ_2AV4(p)+ ・・・ +Ｃ_N-1AV4(p)+Ｃ_NAV4(p)
二輪車両の判別式 ψ_kAV2=Ｃ_1AV2(p)+Ｃ_2AV2(p)+ ・・・ +Ｃ_N-1AV2(p)+Ｃ_NAV2(p)
ここで、
Ｃ_1AW(p)：対象を囲む四角形のアスペクト比がAW1(子供１)の歩行者画像の弱学習器
Ｃ_2AW(p)：対象を囲む四角形のアスペクト比がAW2(子供２)の歩行者画像の弱学習器
Ｃ_N-1AW(p)：対象を囲む四角形のアスペクト比がAWN-1(大人N-1)の歩行者画像の弱学習器
Ｃ_NAW(p)：対象を囲む四角形のアスペクト比がAWN(大人N)の歩行者画像の弱学習器

Ｃ_1AV4(p)：対象を囲む四角形のアスペクト比がAV41(セダン)の四輪車両の弱学習器
Ｃ_2AV4(p)：対象を囲む四角形のアスペクト比がAV42(ワンボックス)の四輪車両
の弱学習器
Ｃ_N-1AV4(p)：対象を囲む四角形のアスペクト比がAV4N-1(トラック)の弱学習器
Ｃ_NAV4(p)：対象を囲む四角形のアスペクト比がAV4N(バス)の弱学習器

Ｃ_1AV2(p)：対象を囲む四角形のアスペクト比がAV21(自転車１)の二輪車両の弱学習器
Ｃ_2AV2(p)：対象を囲む四角形のアスペクト比がAV22(自転車２)の二輪車両の弱学習器
Ｃ_N-1AV2(p)：対象を囲む四角形のアスペクト比がAV2N-1(バイクN-1)の二輪車両
の弱学習器
Ｃ_NAV2(p)：対象を囲む四角形のアスペクト比がAV2N(バイクN)の二輪車両の弱学習器
である。

そして、候補領域ｐにおけるアスペクト比がAV4Nであるとすると、候補領域ｐに対しては判別式ψ_kAV4が選択され、その判別式ψ_kAV4は、
ψ_kAV4=Ｃ_1AV4(p)+Ｃ_2AV4(p)+ ・・・ +Ｃ_N-1AV4(p)+Ｃ_NAV4(p)=0+0+ ・・・ +0+1≧μ_k
となり、候補領域ｐ内にバスが存在すると判定される。

以上、本発明の実施例を図面により詳述してきたが、上記各実施例は本発明の例示にしか過ぎないものであり、本発明は上記各実施例の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

本発明に係る画像処理装置のブロック図である。実施例１における動作のフローチャートである。オプティカルフローによる候補領域の抽出を説明する図である。学習データの分割を示す図である。実施例２による動作を示しており、学習アルゴリズムAdaboostの学習方法のフローチャートである。

符号の説明

１画像入力手段
２画像内特徴量算出手段
３対象候補領域抽出手段
４データベース
５判別式構成手段
６判別式選択手段
７検出手段

Claims

撮影画像を入力する画像入力手段と、
前記画像入力手段が入力した撮影画像の特徴量を算出する画像内特徴量算出手段と、
前記特徴量を用いて、前記撮影画像のうちの対象候補領域を抽出する対象候補領域抽出手段と、
用意された画像データに基づいて対象の特徴量を算出し、該特徴量に対する複数の判別式を作成する判別式構成手段と、
前記複数の判別式の中から、前記対象候補領域抽出手段で抽出した対象候補領域内の特徴量に基づいて、判別式を選択する判別式選択手段と、
前記判別式に基づいて、対象候補領域における対象の有無を検出する検出手段と、を備えたことを特徴とする画像処理装置。
前記画像内特徴量算出手段は、前記特徴量として、オプティカルフロー、空間周波数、エッジ強度、コントラストまたはアスペクト比のうちひとつ以上の特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
前記判別式構成手段は、分類が可能な前記特徴量ごとに判別式を作成することを特徴とする請求項１又は２に記載の画像処理装置。
対象の画像データがあらかじめ蓄積されたデータベースを備えていることを特徴とする請求項１に記載の画像処理装置。
撮影画像を入力する第１のステップと、
前記第１のステップで入力した撮影画像の特徴量を算出する第２のステップと、
前記特徴量を用いて、前記撮影画像のうちの対象候補領域を抽出する第３のステップと、
用意された画像データに基づいて、対象の特徴量を算出し、該特徴量に対する複数の判別式を作成する第４のステップと、
前記複数の判別式の中から、前記第３のステップで抽出した対象候補領域内の特徴量に基づいて、判別式を選択する第５のステップと、
前記判別式に基づいて、対象候補領域における対象の有無を検出する第６のステップと、を含むことを特徴とする画像処理方法。
前記第２のステップにおいて、前記特徴量として、オプティカルフロー、空間周波数、エッジ強度、コントラストまたはアスペクト比のうちひとつ以上の特徴量を算出することを特徴とする請求項５に記載の画像処理方法。
前記第４のステップにおいて、分類が可能な前記特徴量ごとに判別式を作成することを特徴とする請求項５又は６に記載の画像処理方法。