JP2007251257A - 画像認識装置、車両制御装置、画像認識方法および車両制御方法 - Google Patents

Abstract

【課題】危険度の高い歩行者との距離を優先して算出し、警告や車両制御の実行タイミングを早期化すること。
【解決手段】カメラ３１が撮影し、前処理部１１による処理が施された入力画像から歩行者認識部１８が歩行者認識を行なうとともに、優先度設定部１９ａが画像内における歩行者像のサイズや位置、移動状態に基づいて優先度を設定する。算出順序決定部１９ｂは、優先度の高い歩行者から順に距離を算出するように算出処理部１９ｃによる距離算出の処理順序を決定する。
【選択図】 図１

Description

この発明は、車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識装置、車両制御装置およびその方法に関し、特に認識した物体と自車両との相対距離を測定する画像認識装置、車両制御装置およびその方法に関する。

車両の走行中においては、特に歩行者との衝突回避が重要である。そこで近年、画像認識やレーダ検知を用いて自車両周辺の物体を認識する技術が考案されてきた。例えば、特許文献１は、赤外画像とレーダとを用いて歩行者の検知と歩行者までの距離の測定を行なう技術を開示している。また、特許文献２は画像認識の処理負荷を削減し、かつ早期の警報を行なうため、道路内の物体のみを選択的に認識する技術を開示している。

特開平１１−１６０９９号公報 特開２００２−３６２３０２号公報

ところで、画像認識によって歩行者までの距離を算出する場合、複眼カメラを使用することがあるが、複数のカメラを設ける必要があり、コストがかかる。そこで、単眼カメラにより測距することが考えられている。この場合、歩行者像の大きさなどを用いて距離を算出することが考えられるが、人の大きさ自体にばらつきがあるために正確な距離を求めることが困難である。

そこで、歩行者の足元、すなわち道路との設置面に基づいて距離を算出する技術が考案されている。このようにして算出された距離に基づいて、歩行者が存在することを運転者に報知する報知タイミングが決定され、そのタイミングで運転者に報知を行なう。

このような距離の算出では、歩行者が複数存在した場合、例えばフレームの右、あるいは左端から順次距離を算出していたので、自車にとって最も危険な歩行者（例えば最も近い歩行者）の距離検出が遅れ、報知が遅れてしまう可能性がある。

尚、そのような歩行者処理の効率化を図るために、画像フレーム中の自車レーン（自車に関係の深い位置）に近い領域に限定して歩行者認識することも考えられているが単純に領域を限定しているだけであるため、領域外であるがその後レーンに進入する可能性のある歩行者は検知されず、報知されないことになる。

例えば、市街地などで画像認識を行なうと、認識結果として多数の歩行者が出力される場合がある。このような場合に例えば認識した順番に距離を算出していくとすると、危険度の高い、例えば道路上にいる歩行者や自車両からの距離が近い歩行者の距離の算出が遅れ、その結果ユーザ（自車両の運転者）への通知や車両制御のタイミングが遅くなることが考えられる。

特許文献２の技術を用いれば、道路内の歩行者のみを認識することで比較的早期に危険度の高い歩行者の距離算出を行なうことができるのであるが、例えば歩行者が道路外から道路内へ飛び出してくる場合のように、危険度の高い歩行者が必ずしも道路内に居るとは限らないので、距離算出が必要な歩行者を見落とす可能性がある。

そこで、自車両の周囲の歩行者を高精度かつ確実に認識しつつ、危険度の高い歩行者との距離を早期に算出することで、警告や車両制御の実行タイミングを早期化し、安全性を向上した画像認識装置および車両制御装置の実現が重要な課題となっていた。

本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、危険度の高い歩行者との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置、車両制御装置およびその方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１の発明に係る画像認識装置は、車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識装置であって、自車両から前記特定の物体までの相対距離を算出する距離算出手段と、前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定手段と、前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定手段と、を備えたことを特徴とする。

この請求項１の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、各物体の状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項２の発明に係る画像認識装置は、請求項１に記載の発明において、前記優先度設定手段は、前記特定の物体の像を含む領域の大きさに基づいて前記優先度を設定することを特徴とする。

この請求項２の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体の像を含む領域の大きさに基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項３の発明に係る画像認識装置は、請求項１または２に記載の発明において、前記優先度設定手段は、前記特定の物体の像の大きさに基づいて前記優先度を設定することを特徴とする。

この請求項３の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体の像の大きさに基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項４の発明に係る画像認識装置は、請求項１，２または３に記載の発明において、前記優先度設定手段は、前記特定の物体の位置に基づいて前記優先度を設定することを特徴とする。

この請求項４の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、物体の位置に優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項５の発明に係る画像認識装置は、請求項４に記載の発明において、前記優先度設定手段は、道路上の白線の位置と前記特定の物体との位置関係から前記優先度を設定することを特徴とする。

この請求項５の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、道路上の白線の位置と物体との位置関係から優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項６の発明に係る画像認識装置は、請求項４または５に記載の発明において、前記優先度設定手段は、自車両の操舵角から自車両の進行方向を判断し、当該進行方向と前記特定の物体の位置とを用いて前記優先度を設定することを特徴とする。

この請求項６の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、自車両の操舵角から自車両の進行方向を判断し、進行方向と認識した物体の位置とを用いて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項７の発明に係る画像認識装置は、請求項４，５または６に記載の発明において、前記優先度設定手段は、自車両の位置情報と地図情報から自車両の進行方向を判断し、当該進行方向と前記特定の物体の位置とを用いて前記優先度を設定することを特徴とする。

この請求項７の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、自車両の位置情報と地図情報から自車両の進行方向を判断し、進行方向と認識した物体の位置とを用いて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項８の発明に係る画像認識装置は、請求項１〜７のいずれか一つに記載の発明において、前記優先度設定手段は、前記特定の物体の移動状態に基づいて前記優先度を設定することを特徴とする。

この請求項８の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、物体の移動状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項９の発明に係る画像認識装置は、請求項１〜８のいずれか一つに記載の発明において、前記優先度設定手段は、前記複数の物体を複数の優先ランクに振り分けることを特徴とする。

この請求項９の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体を複数の優先ランクに振り分け、優先ランクに従って相対距離の算出順序を決定する。

また、請求項１０の発明に係る画像認識装置は、請求項１〜８のいずれか一つに記載の発明において、前記優先度設定手段は、前記複数の物体について優先順位を割り当てることを特徴とする。

この請求項１０の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体に対して優先順位を割り当て、優先順位に従って相対距離の算出順序を決定する。

また、請求項１１の発明に係る画像認識装置は、請求項１〜１０のいずれか一つに記載の発明において、前記特定の物体は、歩行者であることを特徴とする。

この請求項１１の発明によれば画像認識装置は、画像認識によって歩行者を複数認識した場合に、当該複数の歩行者に対して優先度を設定し、設定した優先度に基づいて複数の歩行者に対する相対距離の算出順序を決定する。

また、請求項１２の発明に係る画像認識装置は、請求項１〜１１のいずれか一つに記載の発明において、前記算出順序決定手段は、前記優先度の低い物体を前記相対距離の算出対象から除外することを特徴とする。

この請求項１２の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体に対して優先度を設定し、優先度の低い物体を相対距離の算出対象から除外する。

また、請求項１３の発明に係る車両制御装置は、車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識手段と、自車両から前記特定の物体までの相対距離を算出する距離算出手段と、前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定手段と、前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定手段と、前記画像認識結果と前記相対距離の算出結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、を備えたことを特徴とする。

この請求項１３の発明によれば車両制御装置は、画像認識によって特定の物体を複数認識した場合に、各物体の状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定し、画像認識結果と距離算出結果に基づいて運転者への報知や車両制御を実行する。

また、請求項１４の発明に係る画像認識方法は、車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識方法であって、自車両から前記特定の物体までの相対距離を算出する距離算出工程と、前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定工程と、前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定工程と、を含んだことを特徴とする。

この請求項１４の発明によれば画像認識方法は、画像認識によって特定の物体を複数認識した場合に、各物体の状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定する。

また、請求項１５の発明に係る車両制御方法は、車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識工程と、自車両から前記特定の物体までの相対距離を算出する距離算出工程と、前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定工程と、前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定工程と、前記画像認識結果と前記相対距離の算出結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御工程と、を備えたことを特徴とする。

この請求項１５の発明によれば車両制御方法は、画像認識によって特定の物体を複数認識した場合に、各物体の状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定し、画像認識結果と距離算出結果に基づいて運転者への報知や車両制御を実行する。

請求項１および請求項１４の発明によれば画像認識装置および画像認識方法は、画像認識によって特定の物体を複数認識した場合に、各物体の状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、危険度の高い物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置および画像認識方法を得ることができるという効果を奏する。

また、請求項２の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体の像を含む領域の大きさに基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、近距離にある可能性の高い物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項３の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体の像の大きさに基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、近距離にある可能性の高い物体を簡易かつ確実に判別し、その距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項４の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、物体の位置に優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、危険度の高い物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項５の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、道路上の白線の位置と物体との位置関係から優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、道路上にある物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項６の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、自車両の操舵角から自車両の進行方向を判断し、進行方向と認識した物体の位置とを用いて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、進路上にある物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項７の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、自車両の位置情報と地図情報から自車両の進行方向を判断し、進行方向と認識した物体の位置とを用いて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、進路上にある物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項８の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、物体の移動状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定するので、危険度の高い物体を精度よく判別し、その距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項９の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体を複数の優先ランクに振り分け、優先ランクに従って相対距離の算出順序を決定するので、優先ランクの高い物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項１０の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体に対して優先順位を割り当て、優先順位に従って相対距離の算出順序を決定するので、優先順位の高い物体から順に距離を算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項１１の発明によれば画像認識装置は、画像認識によって歩行者を複数認識した場合に、当該複数の歩行者に対して優先度を設定し、設定した優先度に基づいて複数の歩行者に対する相対距離の算出順序を決定するので、危険度の高い歩行者との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項１２の発明によれば画像認識装置は、画像認識によって特定の物体を複数認識した場合に、当該複数の物体に対して優先度を設定し、優先度の低い物体を相対距離の算出対象から除外するので、処理負荷を抑制しつつ危険度の高い物体との距離を優先して算出することで警告や車両制御の実行タイミングを早期化する画像認識装置を得ることができるという効果を奏する。

また、請求項１３および請求項１５の発明によれば車両制御装置および車両制御方法は、画像認識によって特定の物体を複数認識した場合に、各物体の状態に基づいて優先度を設定し、設定した優先度に基づいて複数の物体に対する相対距離の算出順序を決定し、画像認識結果と距離算出結果に基づいて運転者への報知や車両制御を実行するので、危険度の高い物体との距離を優先して算出することで警告や車両制御を早期に実行する車両制御装置および車両制御方法を得ることができるという効果を奏する。

以下に添付図面を参照して、この発明に係る画像認識装置、車両制御装置、画像認識方法および車両制御方法の好適な実施例について詳細に説明する。

図１は、本発明の実施例である車載用の画像認識装置１０の概要構成を示す概要構成図である。車両は以下のような構成を有している。同図に示すように、画像認識装置１０は、ナビゲーション装置３０、カメラ３１、操舵角検知部３２、レーダ３３、プリクラッシュＥＣＵ４０、ディスプレイ４３およびスピーカ４４と接続している。

ナビゲーション装置３０は、ＧＰＳ（Global Positioning System）人工衛星と通信して特定した自車両の位置と、予め記憶した地図データ３０ａとを利用して走行経路の設定および誘導を行なう車載装置である。また、ナビゲーション装置３０は、画像認識装置１０に対して自車両の位置情報や周辺の地図情報、走行予定経路などを提供する。

カメラ３１は、自車両周辺を撮影し、撮影結果を画像認識装置１０に入力する。操舵角検知部３２は、自車両の操舵角を検知して画像認識装置１０に入力するセンサであり、具体的には運転者によるハンドルの切り角や、タイヤの車体に対する角度など操舵角として検知する。レーダ３３は、自車両の周辺の物体検知、および物体までの距離測定を行なって画像認識装置１０に入力する。

プリクラッシュＥＣＵ４０は、画像認識装置１０が自車両の衝突を予測した場合に、画像認識装置１０の制御をうけ、ブレーキ４１やエンジン制御装置（ＥＦＩ）４２による車両の動作制御を実行する電子制御装置であり、車両制御装置として機能する。

ディスプレイ４３はユーザすなわち自車両乗員に対して表示による通知を行なう出力手段であり、スピーカ４４は音声による通知を行なう出力手段である。ディスプレイ４３およびスピーカ４４は、プリクラッシュＥＣＵ４０からの制御を受けて出力を行なう他、ナビゲーション装置３０や図示しない車載オーディオ装置など各種車載装置で共用することができる。

画像認識装置１０は、その内部に前処理部１１、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者距離算出部１９および衝突判定部２０を有する。ここで、車両認識部１６、白線認識部１７、歩行者認識部１８、歩行者候補領域検出部１９および衝突判定部２０は、例えば単一のマイコン１０ａ（ＣＰＵ、ＲＯＭ、ＲＡＭの組み合わせからなる演算処理ユニット）などによって実現することが好適である。

前処理部１１は、カメラ３１が撮影した画像に対してフィルタリングやエッジ検出、輪郭抽出などの処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８に出力する。

車両認識部１６は、前処理部１１が出力した画像に対してパターンマッチングなどを施して車両を認識し、認識結果を衝突判定部２０に出力する。また、白線認識部１７は、前処理部１１が出力した画像に対してパターンマッチングなどを施して白線を認識し、認識結果を衝突判定部２０および歩行者距離算出部１９に出力する。

歩行者認識部１８は、前処理部１１が出力した画像から歩行者が存在する可能性のある領域を歩行者候補領域として検出し、さらに歩行者候補領域に対してパターンマッチングなどを施して歩行者を認識し、衝突判定部２０および歩行者距離算出部１９に出力する。

歩行者距離算出部１９は、歩行者認識部１８が認識した歩行者と自車両との相対距離を算出し、衝突判定部２０に出力する。

衝突判定部２０は、車両認識部１６、白線認識部１７、歩行者認識部１８による認識結果、歩行者距離算出部１９が算出した歩行者との距離、レーダ３３による検知結果およびナビゲーション装置３０が出力する位置情報を用いて、歩行者や他車両と自車両との衝突危険度を判定する。

具体的には衝突判定部２０は、歩行者や他車両との衝突が発生する確率、衝突する時間、衝突する位置までの距離、衝突する角度などを判定し、その判定結果に基づいてディスプレイ４３に対する情報表示指示、スピーカ４４に対する警告音声出力指示、プリクラッシュＥＣＵ４０に対するブレーキ制御指示やＥＦＩ制御指示などを出力する。

つづいて、歩行者距離算出部１９についてさらに説明する。歩行者距離算出部１９は、その内部に優先度設定部１９ａ、算出順序決定部１９ｂ、算出処理部１９ｃを有する。

優先度設定部１９ａは、歩行者認識部１８が複数の歩行者を認識した場合に、歩行者に対して優先度を設定する。そして、算出順序決定部１９ｂは設定された優先度に基づいて、すなわち優先度の高い歩行者から相対距離を算出するように算出順序を決定する。

算出処理部１９ｃは、算出順序決定部１９ｂによって決定された順序で自車両から歩行者までの相対距離を算出する処理を実行する。相対距離の算出距離としては、例えば歩行者の像の足元が画像内のどの位置にあるかによって相対距離を算出する、などの手法を用いればよい。

優先度設定部１９ａによる優先度の設定は、より詳細には、歩行者の像の画像内における大きさを算出するサイズ算出処理、歩行者の位置を判定する位置判定処理、歩行者の移動状態を判定する移動判定処理などを用いて行なう。

この優先度の設定の具体例について図２を参照して説明する。図２は、カメラ３１が撮影した画像の一例であり、画像内には４人の歩行者の像、歩行者像Ｈ１〜Ｈ４が含まれている。

この画像に対する歩行者認識部１８による認識の結果、各歩行者の像を含む矩形領域が歩行者領域として出力される。すなわち、歩行者像Ｈ１を含む矩形領域として歩行者領域Ａ１、歩行者像Ｈ２を含む矩形領域として歩行者領域Ａ２、歩行者像Ｈ３を含む矩形領域として歩行者領域Ａ３、歩行者像Ｈ４を含む矩形領域として歩行者領域Ａ４が出力される。

ここで、画像内における歩行者の像は、歩行者が自車両に近いほど大きくなる。そこで、優先度設定部１９ａは、歩行者の像の画像内におけるサイズが大きいほど、危険度を高く設定する。

歩行者の像の画像内におけるサイズは、歩行者像Ｈ１〜Ｈ４の面積を求めることで得ることができる。また、歩行者像自体に限らず、歩行者領域Ａ１〜Ａ４の面積を求めて比較するようにしてもよい。

また、歩行者の位置も危険度に大きく影響する。例えば歩行者の位置が自車両の進行方向の道路内であれば、その危険度は非常に大きい。そこで、優先度設定部１９ａは、位置判定処理によって歩行者の位置を判定し、優先度の設定に使用する。

位置判定処理では、白線認識部１７の認識結果から画像内のどこに車線が存在するかを特定し、歩行者領域（もしくは歩行者像）と車線との位置関係から歩行者の位置が道路内であるか否かを判定する。そして、道路内に位置する歩行者については優先度を高く設定する。

また、操舵角検知部３２の検知結果や、ナビゲーション装置３０から取得した位置情報、地図情報、走行予定経路などを用いて自車両の進行方向を判断する。そして、進行方向上に位置する歩行者に対して優先度を高く設定する。

さらに、歩行者の移動状態も危険度に大きく影響する。例えば、道路外の同一の位置にいる歩行者であっても、道路内に近づく方向に移動する歩行者は危険度が高く、道路から遠ざかる方向に移動する歩行者は危険度が低い。

そこで、優先度設定部１９ａは、位置判定処理によって歩行者の移動状態を判定し、優先度の設定に使用する。歩行者の移動状態は、例えば前回撮影時の画像との比較や歩行者の体勢に対するパターンマッチングなどによって判定することができる。

このように歩行者像や歩行者領域のサイズ、位置、移動状態を用いて優先度を設定し、優先度に基づいて相対距離の算出順序を決定することで、危険度の高い歩行者に対する距離算出を優先して求め、警告や制御のタイミングを早期化することができる。

図３に算出順序決定部１９ｂによる算出順序決定の具体例を示す。例えば図２に示した画像に対して、歩行者認識部１８が画像の左端から順に歩行者認識処理を行なったとすると、図３に示すように歩行者認識部１８はまず歩行者領域Ａ１を認識する。そしてつぎに歩行者領域Ａ２を認識し、さらに歩行者領域Ａ３、歩行者領域Ａ４の順に認識する。

ここで、歩行者認識部１８によって認識された順番に算出処理部１９ｃが距離の算出を行なったならば、歩行者領域Ａ１、歩行者領域Ａ２、歩行者領域Ａ３、歩行者領域Ａ４の順に距離が算出される。その結果、危険度が高く、早急な警告が必要な歩行者領域Ａ２，Ａ３に対する距離算出よりも、危険度が低い歩行者領域Ａ１に対する距離認識が先に実行されることとなり、歩行者領域Ａ２，Ａ３に関する警告や車両制御の実行タイミングがその分遅くなる。

これに対して、算出順序決定部１９ｂは、図３に示すように優先度の高い歩行者領域Ａ２および歩行者領域Ａ３の距離を算出し、その後歩行者領域Ａ１，Ａ４の距離を算出するように算出順序を決定する。そのため、衝突判定部２０は、危険度の高い歩行者について、その距離を早期に取得し、早いタイミングで警告や車両制御を実行することができる。

つぎに優先度設定の具体例について説明する。優先度の設定は、例えば「優先度高」、「優先度中」、「優先度低」などの優先ランクを設け、認識した歩行者をサイズや位置、移動状態によっていずれかのランクに振り分けることで設定することができる。また、認識した歩行者に対し、優先順位を割り当てることで設定しても良い。

優先度決定処理について詳細に説明すると、図３に示すように、歩行者の認識が行なわれたら、その歩行者認識処理ルーチンとは別の優先度決定処理用のルーチンにて、認識された歩行者の状態（大きさ、位置、道路に対する移動ベクトルなど）を検出し、それに応じて優先度ランク（順位（１））を歩行者情報Ａ１に付与する。さらに第２の歩行者（Ａ２）が認識されると、同じように歩行者状態を検出し、Ａ１とＡ２の状態を比較して、優先度ランクが付与される（同図ではＡ２の方がＡ１よりも大きく、かつ道路に近いので、Ａ１は順位が（１）から（２）に変更され、Ａ２が順位（１）となる。

さらに第３の歩行者（Ａ３）が認識されると、同じように歩行者状態を検出し、Ａ１とＡ２とＡ３の状態を比較して、優先度ランクが付与される（同図ではＡ３の大きさはＡ２と同じであるが、Ａ３の方がＡ２よりも車両進行方向に近いため、Ａ１は順位が（２）から（３）に変更され、Ａ２の順位が（１）から（２）に変更され、Ａ３の順位が（１）となる。）。

さらに第４の歩行者が認識されると、同じように歩行者状態を検出し、Ａ１とＡ２とＡ３、Ａ４の状態を比較して、優先度ランクが付与される（同図では、Ａ４がＡ２，Ａ３よりも小さいため、Ａ２，Ａ３よりも優先度が低くなる。更にＡ４の大きさＡ１とほぼ同じであるが、Ａ１の方が道路外に位置するものの、道路内に進入しようとするベクトルが歩行者から得られたため、危険度が高く、Ａ４よりもＡ１の方が優先度が高くなり、Ａ４の順位が（４）となる。

フレームの終端になると、そのフレームの歩行者認識処理が終了し、次に距離算出処理に移行する。この時点では既に優先度情報が各歩行者情報（Ａ１〜Ａ４）に付与されているため、その優先度情報に基づいて、優先度の最も高い歩行者から距離算出（歩行者の足元と画像の下端の見かけ上の距離から実距離を算出）を行なう。このように、優先度処理は歩行者認識処理と並行しながら行うので、優先度処理のために時間が余分にかかることはない。

なお、優先度の付与についてはいくつかのファクター（大きさ、道路に対する位置、移動ベクトル）があるが、例えば、大きさをまず第１優先とし、次に道路に対する位置を第２優先とし、さらに移動ベクトルを第３優先とするとしてもよいし、状況によってこれらのファクターの優先度合いを変更しても良い。また、複数のファクターだけでなく、単一のファクターだけで優先度を付与してもよい。

優先ランクによる段階的な優先度設定を採用する場合の画像認識装置１０の処理動作について、図４を参照して説明する。同図に示す処理フローは、カメラ３１が画像を撮影した場合に開始され、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。

まず、画像認識装置１０は、カメラ３１が撮影した画像に対して前処理部１１による前処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８によって車両、白線、歩行者の認識を行なう（ステップＳ１０１）。

つぎに、歩行者距離算出部１９内部の優先度設定部１９ａは、歩行者の存在が認識されていたならば（ステップＳ１０２，Ｙｅｓ）、認識した歩行者に対して優先度を付与するルーチンを開始させる（ステップＳ１０３）。

ステップＳ１０３の終了後、もしくは歩行者を認識しなかった場合（ステップＳ１０２，Ｎｏ）、一つの画像のフレームについて認識処理が終了したか否かを判定し（ステップＳ１０４）、終了していなければ（ステップＳ１０４，Ｎｏ）、再度ステップＳ１０１に移行する。

そして、一つの画像フレームについて認識処理が終了したならば（ステップＳ１０４，Ｙｅｓ）、算出順序決定部１９ｂは、まず「優先度高」の歩行者が存在するか否かを判定する（ステップＳ１０５）。その結果「優先度高」の歩行者が存在するならば（ステップＳ１０５，Ｙｅｓ）、算出順序決定部１９ｂは「優先度高」の歩行者の何れかを選択し、算出処理部１９ｃによる距離算出（ステップＳ１０６）を行なわせる。算出処理部１９ｃは算出結果を衝突判定部２０に出力し、衝突判定部２０による衝突判定処理が実行される（ステップＳ１０７）。具体的には、衝突判定部２０は、歩行者情報（歩行者の画像上の位置など）と距離、および危険度（接近中、危険度大など）を判定し、外部に出力する。

算出順序決定部１９ｂは、このステップＳ１０６およびステップＳ１０７を「優先度高」に振り分けられた全ての歩行者について実行し、「優先度高」に振り分けられた歩行者が無くなった（ステップＳ１０５，Ｎｏ）ならば、つぎに「優先度中」の歩行者が存在するか否かを判定する（ステップＳ１０８）。

その結果「優先度中」の歩行者が存在するならば（ステップＳ１０８，Ｙｅｓ）、算出順序決定部１９ｂは「優先度中」の歩行者の何れかを選択し、算出処理部１９ｃによる距離算出（ステップＳ１０９）を行なわせる。算出処理部１９ｃは算出結果を衝突判定部２０に出力し、衝突判定部２０による衝突判定処理が実行される（ステップＳ１１０）。

算出順序決定部１９ｂは、このステップＳ１０９およびステップＳ１１０を「優先度中」に振り分けられた全ての歩行者について実行し、「優先度中」に振り分けられた歩行者が無くなった（ステップＳ１０８，Ｎｏ）ならば、つぎに「優先度低」の歩行者が存在するか否かを判定する（ステップＳ１１１）。

その結果「優先度低」の歩行者が存在するならば（ステップＳ１１１，Ｙｅｓ）、算出順序決定部１９ｂは「優先度低」の歩行者の何れかを選択し、算出処理部１９ｃによる距離算出（ステップＳ１１２）を行なわせる。算出処理部１９ｃは算出結果を衝突判定部２０に出力し、衝突判定部２０による衝突判定処理が実行される（ステップＳ１１３）。

算出順序決定部１９ｂは、このステップＳ１１２およびステップＳ１１３を「優先度低」に振り分けられた全ての歩行者について実行し、「優先度低」に振り分けられた歩行者が無くなった（ステップＳ１１１，Ｎｏ）ならば、処理を終了する。

なお、ここでは「優先度高」「優先度中」「優先度低」の全ての歩行者について距離算出を行なう場合を例に説明を行なったが、例えば「優先度低」の歩行者については距離算出対象から除外して処理負荷を軽減することとしてもよい。

つぎに歩行者に対して優先順位を割り当てる優先度設定を採用する場合の画像認識装置１０の処理動作について、図５を参照して説明する。同図に示す処理フローは、カメラ３１が画像を撮影した場合に開始され、画像フレームの処理ごと（例えば数ｍｓｅｃごと）に繰り返し実行される処理である。

まず、画像認識装置１０は、カメラ３１が撮影した画像に対して前処理部１１による前処理を施した後、車両認識部１６、白線認識部１７および歩行者認識部１８によって車両、白線、歩行者の認識を行なう（ステップＳ２０１）。

つぎに、歩行者距離算出部１９内部の優先度設定部１９ａは、歩行者の存在が認識されていたならば（ステップＳ２０２，Ｙｅｓ）、認識した歩行者に対して優先度を付与するルーチンを開始させる（ステップＳ２０３）。

ステップＳ２０３の終了後、もしくは歩行者を認識しなかった場合（ステップＳ２０２，Ｎｏ）、一つの画像のフレームについて認識処理が終了したか否かを判定し（ステップＳ２０４）、終了していなければ（ステップＳ２０４，Ｎｏ）、再度ステップＳ２０１に移行する。

そして、一つの画像フレームについて認識処理が終了したならば（ステップＳ２０４，Ｙｅｓ）、算出順序決定部１９ｂは、距離算出の必要な歩行者があるか否かを判定する（ステップＳ２０５）。そして、距離算出の必要な歩行者が存在するならば（ステップＳ２０５，Ｙｅｓ）、その中で最も優先順位の高い歩行者を選択し（ステップＳ２０６）、算出処理部１９ｃによる距離算出（ステップＳ２０７）を行なわせる。算出処理部１９ｃは算出結果を衝突判定部２０に出力し、衝突判定部２０による衝突判定処理が実行される（ステップＳ２０８）。

算出順序決定部１９ｂは、このステップＳ２０４からステップＳ２０６の処理を全ての歩行者について実行し、距離算出の必要な歩行者が無くなった（ステップＳ２０５，Ｎｏ）場合に処理を終了する。

なお、ここでは全ての歩行者について距離算出を行なう場合を例に説明を行なったが、例えば優先順位１番目から６番目までの歩行者についてのみ距離算出を実行し、以降の歩行者については距離算出対象から除外して処理負荷を軽減することとしてもよい。

このように、優先度ランクと優先順位のいずれを採用した場合であっても、危険度の高い歩行者の距離算出の順番を早め、警告や車両制御のタイミングを早期化することができる。

なお、図４および図５を参照して説明した処理動作は、本発明に関連する歩行者認識を中心とするものであるが、衝突判定部２０は、例えば画像認識処理によって車両のみが認識された場合（歩行者は存在しない場合）についても車両のみを対象とした衝突判定処理を実行するものである。

つづいて、優先度設定部１９ａによる優先度の設定処理について図６のフローチャートを参照して説明する。同図に示す処理フローは、図４に示したステップＳ１０３、および図５に示したステップＳ２０３による開始指示を受けて開始される。

まず、優先度設定部１９ａは、歩行者の状態（大きさ、位置、移動ベクトル）を検出する（ステップＳ３０１）。そして、他の歩行者の各々と比較し（ステップＳ３０２）、比較結果に基づいて優先度を付与して記憶し（ステップＳ３０３）、処理を終了する。

つぎに、プリクラッシュＥＣＵ４０の処理動作について図７のフローチャートを参照して説明する。同図に示す処理フローは、プリクラッシュＥＣＵ４０の動作中に繰り返し実行される。

まず、プリクラッシュＥＣＵ４０は、画像認識装置１０から衝突判定結果を衝突判定情報として取得する（ステップＳ４０１）。そして、衝突の危険度が大きい場合には（ステップＳ４０２，Ｙｅｓ）、ディスプレイ４３とスピーカ４４を用いて運転者に報知する（ステップＳ４０３）とともに、ブレーキ４１およびＥＦＩ４２を制御して自車両の走行状態を制御し（ステップＳ４０４）、処理を終了する。

上述してきたように、本実施例にかかる画像認識装置１０は、画像内における歩行者像のサイズや位置、移動状態などの歩行者自体の状態に基づいて優先度を設定し、優先度に基づいて距離算出の順序を決定するので、危険度の高い歩行者との距離を優先して算出し、警告や車両制御の実行タイミングを早期化することができる。

なお、本実施例では歩行者との距離を算出する場合を例に説明を行なったが、本発明はこれに限定されるものではなく、例えば道路上の落下物など他の物体についても適用することができる。

以上のように、本発明にかかる画像認識装置、車両制御装置、画像認識方法および車両制御方法は、車両における画像認識に有用であり、特に認識した物体との相対距離の測定に適している。

本発明の実施例にかかる画像認識装置の概要構成を示す概要構成図である。 図１に示したカメラが撮影した画像の具体例を説明する説明図である。 図１に示した算出順序決定部よる算出順序決定を説明する説明図である。 優先ランクを採用した場合の画像認識装置の処理動作を説明するフローチャートである。 優先順位を採用した場合の画像認識装置の処理動作を説明するフローチャートである。 優先度設定処理の処理動作について説明するフローチャートである。 プリクラッシュＥＣＵ４０の処理動作について説明するフローチャートである。

符号の説明

１０ 画像認識装置
１０ａ マイコン
１６ 車両認識部
１７ 白線認識部
１８ 歩行者認識部
１９ 歩行者距離算出部
１９ａ 優先度設定部
１９ｂ 算出順序決定部
１９ｃ 算出処理部
２０ 衝突判定部
３０ ナビゲーション装置
３０ａ 地図データ
３１ カメラ
３２ 操舵角検知部
３３ レーダ
４０ プリクラッシュＥＣＵ
４１ ブレーキ
４２ ＥＦＩ
４３ ディスプレイ
４４ スピーカ

Claims (15)

1. 車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識装置であって、
   自車両から前記特定の物体までの相対距離を算出する距離算出手段と、
   前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定手段と、
   前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定手段と、
   を備えたことを特徴とする画像認識装置。
2. 前記優先度設定手段は、前記特定の物体の像を含む領域の大きさに基づいて前記優先度を設定することを特徴とする請求項１に記載の画像認識装置。
3. 前記優先度設定手段は、前記特定の物体の像の大きさに基づいて前記優先度を設定することを特徴とする請求項１または２に記載の画像認識装置。
4. 前記優先度設定手段は、前記特定の物体の位置に基づいて前記優先度を設定することを特徴とする請求項１，２または３に記載の画像認識装置。
5. 前記優先度設定手段は、道路上の白線の位置と前記特定の物体との位置関係から前記優先度を設定することを特徴とする請求項４に記載の画像認識装置。
6. 前記優先度設定手段は、自車両の操舵角から自車両の進行方向を判断し、当該進行方向と前記特定の物体の位置とを用いて前記優先度を設定することを特徴とする請求項４または５に記載の画像認識装置。
7. 前記優先度設定手段は、自車両の位置情報と地図情報から自車両の進行方向を判断し、当該進行方向と前記特定の物体の位置とを用いて前記優先度を設定することを特徴とする請求項４，５または６に記載の画像認識装置。
8. 前記優先度設定手段は、前記特定の物体の移動状態に基づいて前記優先度を設定することを特徴とする請求項１〜７のいずれか一つに記載の画像認識装置。
9. 前記優先度設定手段は、前記複数の物体を複数の優先ランクに振り分けることを特徴とする請求項１〜８のいずれか一つに記載の画像認識装置。
10. 前記優先度設定手段は、前記複数の物体について優先順位を割り当てることを特徴とする請求項１〜８のいずれか一つに記載の画像認識装置。
11. 前記特定の物体は、歩行者であることを特徴とする請求項１〜１０のいずれか一つに記載の画像認識装置。
12. 前記算出順序決定手段は、前記優先度の低い物体を前記相対距離の算出対象から除外することを特徴とする請求項１〜１１のいずれか一つに記載の画像認識装置。
13. 車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識手段と、
    自車両から前記特定の物体までの相対距離を算出する距離算出手段と、
    前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定手段と、
    前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定手段と、
    前記画像認識結果と前記相対距離の算出結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御手段と、
    を備えたことを特徴とする車両制御装置。
14. 車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識方法であって、
    自車両から前記特定の物体までの相対距離を算出する距離算出工程と、
    前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定工程と、
    前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定工程と、
    を含んだことを特徴とする画像認識方法。
15. 車載カメラが撮影した入力画像から特定の物体を画像認識する画像認識工程と、
    自車両から前記特定の物体までの相対距離を算出する距離算出工程と、
    前記画像認識によって得られた画像フレーム中の複数の特定の物体に対し、各複数の特定の物体の状態に基づいて優先度を設定する優先度設定工程と、
    前記優先度に基づいて前記複数の物体に対する前記相対距離の算出順序を決定する算出順序決定工程と、
    前記画像認識結果と前記相対距離の算出結果に基づいて、運転者に対する報知制御、および／または車両の走行状態を制御する走行制御を実行する制御工程と、
    を備えたことを特徴とする車両制御方法。

Images