JP2013161202A - 車両周辺監視装置 - Google Patents

Abstract

【課題】本発明はかかる背景に鑑みてなされたものであり、自車両と監視対象物との間の斜行度合の高低によらずに、自車両のカメラの撮像画像から監視対象物を適切に検出することができる車両周辺監視装置を提供することを目的とする。
【解決手段】車両２の前方側の所定の監視領域を撮像するカメラ３ａ，３ｂを備える車両周辺監視装置において、監視領域に存在する監視対象物（例えば対向車）に対する自車両２の斜行度合いの高低を判断する斜行度合い判断手段９と、斜行度合いの高低に応じて低斜行度合い用アルゴリズムと高斜行度合い用アルゴリズムとのうちの一方を選択して実行することにより、撮像画像から監視対象物を検出する監視対象物検出手段７とを備える。
【選択図】図１

Description

本発明は、車両の前方側の領域を撮像するカメラを備える車両周辺監視装置に関する。

自車両の前方側の領域を撮像するカメラを自車両に搭載しておき、このカメラの撮像画像を用いて、自車両の前方側に存在する監視対象の物体（例えば先行車、対向車等の他車）を検出し、検出した監視対象の物体と自車両との将来の接触に関する情報を取得するようにした装置が従来より知られている。

例えば特許文献１には、車両に搭載したステレオカメラの撮像画像を用いて、自車両の前方側を走行している他車としての先行車の自車両に対する相対位置や、該先行車のテールランプの点灯の有無等の情報を取得し、その取得情報から自車両と先行車との接触の恐れがあると判断される状況で、運転者に対して警報を発することで、自車両が先行車に接触するのを防止する技術が記載されている。

特許第３８７２１７９号公報

ところで、自車両と他車等の監視対象物とが、道路に沿ってほぼ同方向に移動している場合のように、該自車両と監視対象物との間の斜行度合い（監視体対象物に対する自車両の相対的な斜行度合）が低い場合と、監視対象物が存在する車線側に自車両が右折又は左折する場合のように、該自車両と監視対象物との間の斜行度合いが高い場合とを比較すると、前者の場合には、カメラの撮像画像中の監視対象物の画像は、該監視対象物の側面部の画像をほとんど含まないのに対し、後者の場合には、カメラの撮像画像中の監視対象物の画像は、該監視対象物の側面部の画像を多く含む。

従って、前者の場合と後者の場合とでは、撮像画像中の監視対象物の画像の形態が大きく相違する。しかるに、特許文献１に見られる如き従来の技術では、上記斜行度合が高い場合を考慮していないため、撮像画像から監視対象物を適切に検出することができない場合があるという不都合がある。

また、特に監視対象物がトラック等の大型車両である場合のように、該監視対象物の奥行き方向（前後方向）の長さが長い場合には、上記斜行度合が高い状況では、自車両が将来において監視対象物の側面部に接触する可能性が高まる。このため、このような場合には、監視対象物の奥行き方向の長さを把握し得るようにすることが望まれる。

本発明はかかる背景に鑑みてなされたものであり、自車両と監視対象物との間の斜行度合の高低によらずに、自車両のカメラの撮像画像から監視対象物を適切に検出することができる車両周辺監視装置を提供することを目的とする。

さらに、自車両と監視対象物としての他車両との間の斜行度合が高い場合には、該他車両の奥行き方向の長さに関する情報を取得し得るように該他車両を検出することができる車両周辺監視装置を提供することを目的とする。

本発明の車両周辺監視装置は、かかる目的を達成するために、車両の前方側の所定の監視領域を撮像するカメラの撮像画像を用いて前記監視領域に存在する監視対象物を監視する車両周辺監視装置において、
前記監視対象物に対する前記車両である自車両の斜行度合いの高低を判断する斜行度合い判断手段と、
前記斜行度合いが低い場合に前記撮像画像から前記監視対象物を検出するための低斜行度合い用アルゴリズムと前記斜行度合いが高い場合に前記撮像画像から前記監視対象物を検出するための高斜行度合い用アルゴリズムとのうちのいずれか一方のアルゴリズムを前記斜行度合い判断手段の判断結果に応じて選択して実行することにより、前記撮像画像から前記監視対象物を検出する監視対象物検出手段とを備えることを特徴とする（第１発明）。

この第１発明によれば、前記監視対象物検出手段は、前記斜行度合い判断手段により前記斜行度合が低いと判断された場合には、前記低斜行度合い用アルゴリズムを実行することにより、前記撮像画像から前記監視対象物を検出する。

また、前記監視対象物検出手段は、前記斜行度合い判断手段により前記斜行度合が高いと判断された場合には、前記高斜行度合い用アルゴリズムを実行することにより、前記撮像画像から前記監視対象物を検出する。

従って、監視対象物検出手段は、前記斜行度合が低い場合と高い場合とで、それぞれに適した各別のアルゴリズムによって前記監視対象物を検出する。

よって、第１発明によれば、自車両と監視対象物との間の斜行度合の高低によらずに、自車両のカメラの撮像画像から監視対象物を適切に検出することができる。

上記第１発明では、前記高斜行度合い用アルゴリズムは、少なくとも前記カメラの撮像画像のオプティカルフローに基づいて、該撮像画像中の監視対象物の画像を抽出すると共に該監視対象物の奥行き方向の長さ又は該長さに関連する該監視対象物の種別を特定するように構成されていることが好ましい（第２発明）。

この第２発明によれば、前記カメラの撮像画像のオプティカルフローに基づいて、該撮像画像中の監視対象物の画像を抽出するので、該撮像画像中の監視対象物の形状等によらずに、該撮像画像中の監視対象物の画像領域を抽出することができる。そして、その監視対象物の画像領域のサイズや形状等から、該監視対象物の奥行き方向の長さ、又は該長さに関連する該監視対象物の種別（例えば、該監視対象物がトラックやバス等の大型車であるか、普通乗用車（小型車）であるか、歩行者であるか等の種別）を特定することができる。

この第２発明では、前記監視対象物検出手段が検出対象とする前記監視対象物が、少なくとも他車両を含んでいる場合には、前記高斜行度合い用アルゴリズムは、前記カメラの撮像画像中で探索した前記他車両の候補の高さの高低を判断する処理と、前記オプティカルフローを算出するために、撮像時刻が互いに異なる撮像画像間の相関の有無を判断するための判断条件を、前記カメラの撮像画像中で探索した前記他車両の候補の高さが高い場合の方が低い場合よりも緩和させるように、該判断条件を規定する閾値を前記他車両の候補の高さの高低の判断結果に応じて設定する処理とを含むことが好ましい（第３発明）。

すなわち、監視対象物が他車両である場合、該他車両がトラック等の大型車である場合と、普通乗用車等の小型車である場合とでは、一般に、該他車両の高さが大きく相違する。従って、前記カメラの撮像画像中で探索した前記他車両の候補の高さの高低を判断した場合、その判断結果が、該他車両の候補がトラック等の大型車である可能性が高いか否かの判断指標となる。

また、前記斜行度合が高い状況で、カメラの撮像画像中に写っている監視対象物としての他車両がトラック等の大型車である場合には、該大型車の画像は、その多くの部分が、該大型車の荷室の平坦な側面部のように画像上の特徴が乏しい画像となっている可能性が高い。

これに対して、カメラの撮像画像中に写っている監視対象物としての他車両が普通乗用車等の小型車である場合には、該小型車の画像は、大型車に比して画像上の特徴が現れやすい画像となっている可能性が高い。

そこで、第３発明では、前記オプティカルフローを算出するために、撮像時刻が互いに異なる撮像画像間の相関の有無を判断するための判断条件を、前記カメラの撮像画像中で探索した前記他車両の候補の高さが高い場合の方が低い場合よりも緩和させるように、該判断条件を規定する閾値を前記他車両の候補の高さの高低の判断結果に応じて設定する。

これにより、カメラの撮像画像に写っている他車両の候補が大型車であっても、該大型車の画像が、該大型車の側面部の画像領域を含めて、オプティカルフローのベクトルがほぼ同一になる領域として得られ易くなる。

また、カメラの撮像画像に写っている他車両の候補が小型車である場合には、該小型車の画像以外の画像領域が、オプティカルフローのベクトルがほぼ同一になる領域として得られることとなるのを極力防止することができる。

従って、第３発明によれば、前記オプティカルフローに基づいて、他車両の奥行き方向の長さ又は該長さに関連する該他車両の種別を特定することを、高い信頼性で行なうことが可能となる。

また、上記第３発明では、前記高斜行度合い用アルゴリズムは、少なくとも前記他車両の候補の高さが高いと判断された場合に、該他車両の候補に対応する車輪の画像を前記カメラの撮像画像から検出する処理を含んでおり、前記オプティカルフローと前記車輪の画像の検出結果とに基づいて、該他車両の奥行き方向の長さ又は該長さに関連する該他車両の種別を特定するようにしてもよい（第４発明）。

すなわち、前記他車両の候補がトラック等の大型車である場合、その車輪のサイズや、車輪の配置形態が普通乗用車等の小型車に比して特徴的なものなっている場合が多い。従って、前記オプティカルフローと前記車輪の画像の検出結果とに基づいて、該監視対象物の奥行き方向の長さ又は該長さに関連する該監視対象物の種別を特定することで、その特定結果の信頼性をより高めることができる。

また、上記第２〜第４発明では、前記監視対象物検出手段により検出された監視対象物と前記自車両との将来の接触の可能性を判断し、該接触の可能性があると判断された場合に、該接触を回避するための接触回避処理を実行する接触回避手段を備えており、該接触回避手段は、前記斜行度合い判断手段により前記斜行度合が高いと判断された状況で、前記監視対象物検出手段により前記監視対象物が検出された場合に、該監視対象物検出手段により特定された前記監視対象物の奥行き方向の長さ、又は、該監視対象物検出手段により特定された該監視対象物の種別から推定される該監視対象物の奥行き方向の長さを用いて、該監視対象物と自車両との将来の接触の可能性を判断することが好ましい（第５発明）。

この第５発明によれば、前記斜行度合い判断手段により前記斜行度合が高いと判断された状況で、前記監視対象物検出手段により前記監視対象物（他車両等）が検出された場合に、該監視対象物検出手段により特定された前記監視対象物の奥行き方向の長さ、又は、該監視対象物検出手段により特定された該監視対象物の種別から推定される該監視対象物の奥行き方向の長さを用いて、該監視対象物と自車両との将来の接触の可能性が判断される。このため、前記斜行度合が高い状況で、自車両と他車両等の監視対象物の側面部との接触の可能性を判断することができる。ひいては、該接触を回避するための接触回避処理を適切に行うことができる。

また、上記第２〜第５発明では、前記斜行度合い判断手段は、前記自車両の走行車線に対する該自車両の傾き角θと、前記監視対象物と自車両との間の距離のうちの、前記自車両の走行車線と同方向での距離Ｄｙ及び該自車両の走行車線と直交する方向での距離Ｄｘとを推定する手段を有し、その推定した前記傾き角θ、距離Ｄｙ及び距離Ｄｘに基づいて、前記斜行度合いの高低を判断することが好ましい（第６発明）。

すなわち、前記監視対象物が、先行車又は対向車等の他車両である場合、前記自車両の走行車線に対する該自車両の傾き角θに応じて、自車両の正面前方に見える該他車両の側面部の大きさ（自車両の車幅方向での大きさ）が変化する。

また、上記傾き角θが同じであっても、前記自車両の走行車線と同方向での距離Ｄｙ及び該走行車線と直交する方向での距離Ｄｘに応じて、自車両の正面前方に見える他車両の側面部の大きさ（自車両の車幅方向での大きさ）が変化する。

そこで、第６発明では、前記斜行度合い判断手段は、前記傾き角θ、距離Ｄｙ及び距離Ｄｘを推定し、その推定値に基づいて、前記斜行度合いの高低を判断する。これにより、自車両の正面前方に見える他車両（対向車又は先行車）等の監視対象物の側面部のサイズが、自車両の車幅方向に比較的大きくなるような場合、すなわち、自車両と他車両等の監視対象物との接触が、該監視対象物の側面部で発生することとなりやすい場合に、斜行度合いが高いと判断されるようにすることができる。そのため、監視対象物の奥行きの長さが、自車両と監視対象物との接触の可能性に影響を及ぼし易い状況で、前記監視対象物の奥行き方向の長さ、又は該長さに関連する該監視対象物の種別を前記監視対象物検出手段により特定するようにすることができる。

本発明の一実施形態における車両周辺監視装置の構成を示すブロック図。 図１に示す監視対象物検出部の処理を示すフローチャート。 図２のＳＴＥＰ６の処理を示すフローチャート。 図１に示す監視対象物検出部の処理に関する説明図。 図１に示す監視対象物検出部の処理に関する説明図。 図１に示すカメラの撮像画像の例を示す図。

本発明の一実施形態を図１〜図６を参照して以下に説明する。

図１を参照して、本実施形態の車両周辺監視装置１は、車両２（自車両）の前方側の所定の監視領域を撮像する一対のカメラ３ａ，３ｂと、カメラ３ａ，３ｂの撮像画像に関する画像処理を含む各種演算処理を実行して、車両２の運転者に対する警報等の報知を行なうための報知器４や車両２のブレーキ装置５の制動力の制御を行う演算処理ユニット６とを備えている。

カメラ３ａ，３ｂは、ステレオカメラを構成するものであり、それぞれの撮像範囲に車両２の前方側の所定の監視領域を含むようにして、車両２の前部（フロントグリル部等）に左右方向に並列させて搭載されている。両カメラ３ａ，３ｂの撮像領域となる上記監視領域は、例えば、図４に破線で示す直線ＬａとＬｂとの間の領域である。

報知器４は、視覚的信号あるいは音響信号により運転者に対する報知を行なうものであり、例えば表示器（液晶ディスプレイ等）、ランプ、スピーカ等により構成される。

また、ブレーキ装置５は、詳細な構造の説明は省略するが、例えば、その制動力を発生するブレーキ圧を、車両２のブレーキペダルの操作量に対応するブレーキ圧に対して増減制御することが可能な公知の構造のものである。

演算処理ユニット６は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェイス回路等から構成された電子回路ユニットであり、車両２の適所に配置されている。

この演算処理ユニット６は、本実施形態では、実装されたプログラム等により実現される主要な機能として、自車両２の前方側の監視領域に存在する監視対象物（カメラ３ａ，３ｂの撮像画像に写っている監視対象物）を検出する監視対象物検出部７と、検出された監視対象物と自車両２との接触を回避するための処理（以降、接触回避処理という）を適宜実行する接触回避処理部８とを備える。

本実施形態の例では、監視対象物検出部７が検出対象とする監視対象物は、他車両としての対向車である。

そして、監視対象物検出部７は、本実施形態では、監視領域に監視対象物としての対向車の候補（対向車らしき物体）が存在する状況において、該対向車に対する自車両２の相対的な斜行度合の高低を判断する斜行度合い判断部９としての機能を含んでいる。そして、監視対象物検出部７は、監視領域に対向車の候補が存在する状況においては、斜行度合い判断部９により判断された斜行度合が高い場合と低い場合とで、各別のアルゴリズムを実行することにより、カメラ３ａ，３ｂのうちの一方の撮像画像（基準画像）から対向車を検出する。その検出処理には、対向車の奥行き方向（前後方向）の長さ、又は、該長さに関連する対向車の種別を特定する処理も含まれる。

また、接触回避処理部８が実行する接触回避処理としては、本実施形態では、例えば自車両２と他車とが接触する恐れがある旨の警報を、報知器４によって運転者に発する警報処理と、ブレーキ装置５のブレーキ圧を通常よりも増加させる（ひいては制動力を増加させる）制動制御処理とが含まれる。

なお、監視対象物検出部７、斜行度合い判断部９、接触回避処理部８は、それぞれ本発明における監視対象物検出手段、斜行度合い判断手段、接触回避手段に相当するものである。

次に、演算処理ユニット６のより詳細な処理を説明する。演算処理ユニット６は、図２のフローチャートに示す処理を実行する。

演算処理ユニット６は、ＳＴＥＰ１〜６で監視対象物検出部７の処理を実行する。ＳＴＥＰ１では、監視対象物検出部７は、カメラ３ａ，３ｂの撮像画像を用いて、監視領域に存在する監視対象物としての対向車の候補（対向車らしき物体）を検出する。

この場合、より具体的には、監視対象物検出部７は、カメラ３ａ，３ｂの撮像画像のうちの基準画像（例えばカメラ３ａの撮像画像）において、例えば公知のステレオ測距の手法により算出される距離（自車両２の前後方向での自車両２からの距離）がほぼ同一となるような画像部分を、自車両２が走行している路面上の領域（対向車線上の領域を含む）で抽出する。

さらに、監視対象物検出部７は、抽出した画像部分の物体の自車両２に対する相対位置（詳しくは自車両２の前後方向での自車両２からの距離がほぼ同一となる部分の代表点（中央点等）の相対位置）と、その時間的変化率としての該物体の相対速度（自車両２に対する相対速度）とを算出する。

そして、監視対象物検出部７は、該物体の相対速度に基づいて、監視領域に存在する対向車の候補を検出する。例えば、自車両２に対する相対速度の向きが、自車両２に近づいてくる向きであり、且つ、該相対速度の大きさが自車両２の車速よりも大きいものとなっている物体が対向車の候補として検出される。

なお、自車両２に対する物体の相対位置や、その時間的変化率（相対速度）は、例えばモーションステレオの手法により計測したり、あるいは、レーダ装置を用いて計測するようにしてもよい。このようにした場合には、カメラ３ａ，３ｂのうちの一方（例えばカメラ３ｂ）は省略してもよい。

次いで、ＳＴＥＰ２に進み、監視対象物検出部７は、ＳＴＥＰ１の処理によって検出された対向車の候補があるか否か（対向車の候補が検出されたか否か）を判断する。

上記ＳＴＥＰ２の判断結果が否定的である場合には、演算処理ユニット６は、図２のフローチャートに示す処理（所定の演算処理周期毎の処理）を終了する。

一方、ＳＴＥＰ２の判断結果が肯定的である場合には、監視対象物検出部７は、次に、ＳＴＥＰ３，４の処理を実行する。このＳＴＥＰ３，４の処理が、前記斜行度合い判断部９により実行される処理である。

ＳＴＥＰ３では、監視対象物検出部７の斜行度合い判断部９は、対向車（候補）に対する自車両２の斜行度合いの値を算出する。この斜行度合いは、自車両２の前方側の監視領域に対向車が存在する場合に、該対向車のうちの自車両２の前方正面に見える部分に、対向車の側面部分がどの程度含まれているかを示す指標となるものである。

ここで、対向車は、基本的には自車両２の走行車線と平行な対向車線に沿って走行しているので、図４に示すように、自車両２が自車両２の走行車線に沿って走行している状況では、自車両２の前後方向は、対向車の前後方向とほぼ同方向となる。

そして、このような状況では、自車両２の前方側の監視領域に存在する対向車のうち、自車両２の前方正面に見える部分の大部分は、対向車の前後方向の両端部のうちの自車両２に臨む側の端部としての前端部となる。

一方、図５に示すように、自車両２の進行方向が自車両２の走行車線（又は対向車線）に対して斜行する状況では、自車両２の前後方向が対向車線に沿って走行する対向車の前後方向に対して傾斜することとなる。そして、このような状況では、自車両２の前方側の監視領域に存在する対向車のうち、自車両２の正面前方に見える部分に、対向車の側面部分がより多く含まれるようになる。

また、このように自車両２が自車両２の走行車線に対して傾斜した状態では、対向車に対する自車両２の傾き角（例えば図５に示すθ）が同じであっても、自車両２の走行車線（又は対向車線）に直交する方向（道路の幅方向）での自車両２と対向車の前端部との距離（図５に示すＤｘ）が大きいほど、自車両２の正面に見える対向車の側面部分の大きさが自車両２の車幅方向に拡大し、また、自車両２の走行車線（又は対向車線）と同方向での自車両２と対向車の前端部との距離（図５に示すＤｙ）が小さいほど、自車両２の正面に見える対向車の側面部分の大きさが自車両２の車幅方向に拡大する。

そこで、本実施形態では、斜行度合い判断部９は、ＳＴＥＰ３において、上記傾き角θ（図５では自車両２の走行車線又は対向車線に直交する方向に対する自車両２の前後方向の傾き角）と、上記距離Ｄｘ、Ｄｙとから、あらかじめ定められたマップあるいは演算式によって、対向車に対する自車両２の斜行度合いを算出する。

この場合、斜行度合いを算出するために必要な上記傾き角θ、距離Ｄｘ、Ｄｙは例えば次のように推定される。すなわち、本実施形態では、演算処理ユニット６には、例えば図示しないヨーレートセンサから、自車両２のヨーレートの検出データが逐次与えられるようになっている。そして、斜行度合い判断部９は、このヨーレートの検出値を積分した値に基づいて、自車両２の上記傾き角θを推定する。

また、斜行度合い判断部９は、ＳＴＥＰ１で求められた対向車（候補）の相対位置と、上記傾き角θの算出値とから幾何学的な演算によって、上記距離Ｄｘ，Ｄｙを推定する。

そして、斜行度合い判断部９は、上記の如く算出した傾き角θ、距離Ｄｘ，Ｄｙから、マップ又は演算式に基づいて斜行度合いを算出する。

この場合、より詳しくは、上記距離Ｄｘ，Ｄｙを一定とした場合、上記傾き角θがゼロに近いほど、斜行度合いの値が大きくなるような傾向で、斜行度合いの値が決定される。また、距離Ｄｘ及び傾き角θを一定とした場合、距離Ｄｙが小さいほど、斜行度合いの値が大きくなるような傾向で、斜行度合いの値が決定される。また、距離Ｄｙ及び傾き角θを一定とした場合、距離Ｄｘが大きいほど、斜行度合いの値が大きくなるような傾向で、斜行度合いの値が決定される。

これにより、自車両２の正面に見える対向車の側面部分が自車両２の車幅方向に拡大するほど、対向車の進行方向に対する自車両２の進行方向の斜行度合いの値が大きくなるように該斜行度合いの値が決定される。

なお、自車両２の傾き角θは、例えば、次のような手法により求めるようにしてもよい。すなわち、例えば自車両２のステアリングの操舵角の検出データ、あるいは、自車両２の左右の車輪速の差の検出データをヨーレートの検出データの代わりに用いて、自車両２の傾き角θを求めるようにしてもよい。

さらに、自車両２の走行車線と同方向（対向車線と同方向）に延在もしくは並ぶような静止物体（例えば電柱、街路灯、ガードレール、縁石等）の自車両２に対する相対的な延在方向又は配列方向を、カメラ３ａ，３ｂの撮像画像等に基づいて推定し、その推定した静止物体の相対的な延在方向又は配列方向に基づいて（換言すれば、静止物体の延在方向又は配列方向に対する自車両２の相対的なヨー軸周り方向の姿勢に基づいて）、自車両２の傾き角θを求めるようにしてもよい。

以上の如く対向車（候補）に対する自車両２の斜行度合いを算出した後、斜行度合い判断部９は、その斜行度合いの高低をＳＴＥＰ４で判断する。この場合、斜行度合い判断部９は、算出した斜行度合いの値があらかじめ定めた所定の閾値よりも大きい場合に、当該斜行度合いが高いと判断し、そうでない場合には、当該斜行度合いが低いと判断する。これにより、対向車に対する自車両２の斜行度合いの高低が判断される。

このとき、例えば図４に示す如く、自車両２の進行方向と対向車の進行方向（自車両２の走行車線又は対向車線にほぼ平行な方向）とが互いにほぼ平行な方向である場合には、ＳＴＥＰ４で、斜行度合いが低いと判断される。また、例えば図５に示す如く、自車両２が、対向車線に沿って走行している対向車に対して斜行している場合には、ＳＴＥＰ４で、斜行度合いが高いと判断される。

次に、演算処理ユニット６の監視対象物検出部７は、自車両２の斜行度合いが低いと判断された場合には、ＳＴＥＰ５の処理を実行し、該斜行度合いが高いと判断された場合には、ＳＴＥＰ６の処理を実行する。

ＳＴＥＰ５の処理は、自車両２の斜行度合いが低い場合に対応してあらかじめ容易された低斜行度合い用アルゴリズムによりカメラ３ａ，３ｂの撮像画像のうちの基準画像（以降、カメラ３ａの撮像画像を基準画像とする）から対向車を検出する処理である。また、ＳＴＥＰ６の処理は、自車両２の斜行度合いが高い場合に対応してあらかじめ用意された高斜行度合い用アルゴリズムによりカメラ３ａの撮像画像（基準画像）から対向車を検出する処理である。

ここで、ＳＴＥＰ５で監視対象物検出部７が実行する低斜行度合い用アルゴリズムは、カメラ３ａの撮像画像から、対向車の画像部分を特定すると共に、該対向車の車幅を特定し得るように構成されたアルゴリズムである。

この低斜行度合い用アルゴリズムでは、カメラ３ａの撮像画像（基準画像）から、対向車の前端面の画像領域が、該前端面の外形状、又は該前端面に配置されているヘッドランプの形状もしくは配置等に関するパタンマッチングの手法により特定される。そして、その特定した画像領域の横幅と、該対向車の前端面までの距離（ＳＴＥＰ１で算出された距離）とから、対向車の車幅が特定される。なお、対向車の車幅以外に、該対向車の高さ、種別等も併せて特定するようにしてもよい。

また、ＳＴＥＰ６で監視対象物検出部７が実行する高斜行度合い用アルゴリズムは、カメラ３ａの撮像画像（基準画像）から、対向車の画像部分を特定すると共に、該対向車の奥行き方向（前後方向）の長さ、又はこの長さに関連する該車両の種別を特定し得るように構成されたアルゴリズムである。

この高斜行度合い用アルゴリズムによる監視対象物検出部７の処理は、図３のフローチャートに示す如く実行される。

まず、ＳＴＥＰ６−１において、監視対象物検出部７は、対向車の候補の高さの高低を判断する。この場合、対向車の候補の高さは、カメラ３ａの撮像画像（基準画像）における対向車の候補の画像（自車両２からの距離がほぼ同一となる部分の画像）の縦方向の長さと、該対向車の候補の自車両２からの距離と基づいて推定される。そして、その推定された高さが所定の閾値以上の高さであるか否かによって、該高さの高低が判断される。

上記所定の閾値は、対向車の候補がトラック、バス等の大型車である場合に、該対象物の高さが高いと判断され、また、該対向車の候補が普通乗用車等の小型車である場合に、該対象物の高さが低いと判断されるように設定されている。

ＳＴＥＰ６−１で、対向車の候補の高さが低いと判断された場合（対向車の候補が小型車であることが予測される場合）には、監視対象物検出部７は、ＳＴＥＰ６−２〜ＳＴＥＰ６−５の処理を実行する。ＳＴＥＰ６−２では、監視対象物検出部７は、オプティカルフローを算出するために用いるオプティカルフロー用の閾値として既定の標準値を設定する。

そして、監視対象物検出部７は、ＳＴＥＰ６−３において、このオプティカルフロー用の閾値を用いて前記基準画像のオプティカルフローを算出し、その算出したオプティカルフローに基づいて、カメラ３ａの撮像画像（基準画像）中で対向車に相当する画像領域を抽出する。

ここで、オプティカルフローの算出処理では、カメラ３ａの最新の撮像画像と、所定時間前の撮像画像とが使用され、これらの撮像画像間の相関演算により、両撮像画像の互いに対応する（相関を有する）局所部分を特定する処理を実行することによって、オプティカルフローが算出される。この場合、一方の撮像画像（基準画像）の任意の局所部分と、他方の撮像画像（基準画像）の任意の局所部分とが互いに相関を有するか否かを判断するための閾値として、上記ＳＴＥＰ６−２で設定されるオプティカルフロー用の閾値が用いられる。

この場合、一方の撮像画像（基準画像）の任意の局所部分と、他方の撮像画像（基準画像）の任意の局所部分とが互いに相関を有するか否かの判断は、例えば両局所部分のＳＳＤやＳＡＤ等の相関値を上記オプティカルフロー用の閾値と比較することで判断される（該相関値が該閾値よりも小さいか否かによって、判断される）。

そして、ＳＴＥＰ６−３の処理では、上記の如く算出したオプティカルフローにより示されるベクトルの向き及び大きさが互いにほぼ同一となるような撮像画像（基準画像）上の領域（ひと塊の領域）が、対向車の画像領域として抽出される。これにより、カメラ３ａの撮像画像（基準画像）中の対向車の画像が検出される。

なお、オプティカルフロー用の閾値としてＳＴＥＰ６−２で設定される標準値は、対向車の候補が普通乗用車等の小型車である場合に、カメラ３ａの撮像画像中の該対向車（小型車）の画像領域を他の領域と区別して適切に抽出し得るように実験等に基づいてあらかじめ設定されている。

次いで、監視対象物検出部７は、ＳＴＥＰ６−４の処理において、カメラ３ａの撮像画像（基準画像）から、対向車の側面部の画像領域を、該側面部の外形状等に関するパタンマッチングの手法により抽出する。この場合、普通乗用車等の小型車で一般的な側面形状に類似する形状部分をカメラ３ａの撮像画像（基準画像）内で探索することにより、該対向車の側面部の画像領域を抽出することができる。

なお、ＳＴＥＰ６−４の処理は、ＳＴＥＰ６−２又は６−３の処理の前に実行するようにしてもよい。

次いで、ＳＴＥＰ６−５において、監視対象物検出部７は、カメラ３ａの撮像画像中の対向車の奥行き方向の長さ又は該長さに関連する該対向車の種別を特定する。

この場合、監視対象物検出部７は、基本的には、ＳＴＥＰ６−３でオプティカルフローに基づき抽出した対向車の画像領域の横方向の長さと、ステレオ測距の手法等により算出される該対向車の代表部位の距離とに基づいて、該対向車の奥行き方向の長さを特定（推定）する。

ただし、ＳＴＥＰ６−３で抽出した対向車の画像領域が該対向車の一部分の領域であったり、あるいは、対向車以外の画像部分が含まれている可能性もある。そこで、ＳＴＥＰ６−３で抽出した対向車の画像領域の横方向の長さに基づいて推定した該対向車の奥行き方向の長さが、一般的な小型車の前後方向の長さ（車長）に比して過大もしくは過小であり、且つ、ＳＴＥＰ６−４の処理により、対向車の側面部の画像領域が抽出されている場合には、対向車の種別が小型車であると特定する。

なお、ＳＴＥＰ６−５で対向車の種別が小型車であると特定した場合、該小型車において標準的な車長を、該対向車の奥行き方向の長さとして特定するようにしてもよい。

以上のＳＴＥＰ６−２〜６−５の処理によって、高さが低い対向車の候補に関して、該対向車の奥行き方向の長さ、又は該長さに関連する該対向車の種別を特定することができる。

一方、ＳＴＥＰ６−１で、対向車の候補の高さが高いと判断された場合には、監視対象物検出部７は、ＳＴＥＰ６−６〜ＳＴＥＰ６−９の処理を実行する。ＳＴＥＰ６−６では、監視対象物検出部７は、オプティカルフローを算出するために用いるオプティカルフロー用の閾値として既定の標準値よりも所定値αだけ大きい値を設定する。そして、監視対象物検出部７は、ＳＴＥＰ６−７において、ＳＴＥＰ６−３と同様の処理によって、カメラ３ａの撮像画像（基準画像）のオプティカルフローを算出し、その算出したオプティカルフローに基づいて、該撮像画像中で対向車に相当する画像領域を抽出する。

ただし、この場合には、オプティカルフロー用の閾値として、ＳＴＥＰ６−６で設定された閾値（＝標準値＋α）が用いられる。

ここで、ＳＴＥＰ１で高さが高いと判断された対向車の候補は、トラック、バス等の大型車であることが予測される。そして、この種の大型車は、例えば図６に示すように、その側面部が平坦で、一様な面となっている場合が多い。そのため、オプティカルフロー用の閾値として、仮に前記標準値を用いた場合には、該対向車（大型車）の側面部の画像領域において、カメラ３ａの最新の撮像画像（基準画像）と、所定時間前の撮像画像（基準画像）との間での相関の有無を適切に特定することができない可能性がある。

しかるに、ＳＴＥＰ６−６では、オプティカルフロー用の閾値を標準値よりも大きめの値に設定するので、該対向車（大型車）の側面部の画像領域におけるオプティカルフローが算出され易くなる。その結果、ＳＴＥＰ６−７では、対向車（大型車）の側面部が極力含まれるように、該対向車の画像領域を抽出することができる。

次いで、監視対象物検出部７は、ＳＴＥＰ６−８の処理において、カメラ３ａの撮像画像（基準画像）から、対向車の車輪の画像領域を抽出する。この場合、監視対象物検出部７は、カメラ３ａの撮像画像において、ＳＴＥＰ６−７で抽出した対向車の画像領域の下部側に図６に示すような探索領域ＲＯＩを設定する。そして、この探索領域ＲＯＩにおいて、車輪の画像領域を、該車輪の形状に関するパタンマッチングの手法により抽出する。

次いで、ＳＴＥＰ６−９において、監視対象物検出部７は、カメラ３ａの撮像画像（基準画像）中の対向車の奥行き方向の長さ又は該長さに関連する該対向車の種別を特定する。

この場合、監視対象物検出部７は、基本的には、ＳＴＥＰ６−７で抽出した対向車の画像領域の横方向の長さと、ステレオ測距の手法等により算出される該対向車の代表部位の距離とに基づいて、該対向車の奥行き方向の長さを特定（推定）する。

ただし、ＳＴＥＰ６−７で抽出した対向車の画像領域が該対向車の一部分の領域であったり、あるいは、対向車以外の画像部分が含まれている可能性もある。そこで、ＳＴＥＰ６−７で抽出した対向車の画像領域の横方向の長さに基づいて推定した該対向車の奥行き方向の長さが、一般的な大型車の前後方向の長さ（車長）に比して過大もしくは過小であり、且つ、ＳＴＥＰ６−８の処理により、対向車の車輪の画像領域が抽出されている場合には、該車輪の画像を考慮して、対向車の種別を特定する。

例えば、カメラ３ａの撮像画像（基準画像）における各車輪の画像領域のサイズと、ステレオ測距の手法等により算出される該対向車の車輪の距離（自車両２からの距離）とに基づいて推定される該車輪の大きさが、大型車相当の大きさである場合には、該対向車の種別が大型車であると特定する。

あるいは、基準画像から抽出した複数の車輪の配置パターンが、大型車に特有の配置パターンである場合には、該対向車の種別が大型車であると特定する。

なお、ＳＴＥＰ６−９で対向車の種別を特定する場合、該対向車がトラックであるか、バスであるか等、該対向車の種別をより細かく特定してもよい。また、ＳＴＥＰ６−９で対向車の種別が大型車であると特定した場合、該大型車において標準的な車長を、該対向車の奥行き方向の長さとして推定するようにしてもよい。

以上のＳＴＥＰ６−６〜６−９の処理によって、高さが高い対向車の候補に関して、該対向車の奥行き方向の長さ、又は該長さに関連する該対向車の種別を特定することができる。

以上が、高斜行度合い用アルゴリズムによる処理の詳細である。

図２の説明に戻って、演算処理ユニット６は、以上の如く監視対象物検出部７の処理をＳＴＥＰ１〜６で実行した後、次に、前記接触回避処理部８の処理をＳＴＥＰ７，８で実行する。

この場合、接触回避処理部８は、前記ＳＴＥＰ５の処理（低斜行度合い用のアルゴリズム）により対向車の検出処理が行われた場合には、ＳＴＥＰ１で求められた対向車の相対速度と、ＳＴＥＰ５で特定された該対向車の車幅とに基づいて、対向車の進行領域（対向車の車幅もしくは該車幅よりも若干大きい幅の領域）を予測すると共に、自車両２の車速及びヨーレートの検出値に基づいて、自車両２の将来の進行領域（自車両２の車幅もしくは該車幅よりも若干大きい幅の領域）を予測する。

そして、接触回避処理部８は、予測した対向車の進行領域と、自車両２の進行領域とが同時刻（又はほぼ同時刻）において重なり合う場合に、自車両２と対向車との将来の接触の可能性があると判断し、そうでない場合には、自車両２と対向車との将来の接触の可能性が無いと判断する。

また、接触回避処理部８は、前記ＳＴＥＰ６の処理（高斜行度合い用のアルゴリズム）により対向車の検出処理が行われた場合には、ＳＴＥＰ１で求められた対向車の相対速度に基づいて、該対向車の代表部（例えば前端部）の進行経路を予測すると共に、自車両２の車速及びヨーレートの検出値に基づいて、自車両２の進行領域（自車両２の車幅もしくは該車幅よりも若干大きい幅の領域）を予測する。

そして、接触回避処理部８は、予測した対向車の進行経路中のある時刻での位置と、該対向車の奥行き方向の長さとにより定まる該対向車の存在領域が、自車両２の進行領域と重なり合う場合には、自車両２と対向車との将来の接触の可能性があると判断し、そうでない場合には、自車両２と対向車との将来の接触の可能性が無いと判断する。なお、ＳＴＥＰ６において、対向車の種別（小型車又は大型車）だけを特定した場合には、該対向車の奥行き方向の長さは、該対向車の種別に対応する標準的な長さとされる。

そして、自車両２と他車の将来の接触の可能性があると判断した場合には、自車両２と他車との接触の可能性が有る旨の運転者への警報（視覚的な報知又は音声による報知）を報知器４から出力させるように該報知器４の作動を制御する。さらに、接触回避処理部８は、ブレーキ装置５による制動力を増加させるように、該ブレーキ装置５のブレーキ圧を制御する。これにより、自車両２と他車との接触の可能性が低減される。

なお、自車両２と他車との接触を回避するための処理では、ブレーキ装置５のブレーキ圧の制御に代わりに、又はブレーキ装置５のブレーキ圧の制御と併用して、車両２の動力源（エンジンや電動モータ等）の駆動力を制御するようにしてもよい。あるいは、報知器４による警報出力だけを行なうようにしてもよい。また、運転者への報知は、運転席の振動等の体感的な報知であってもよい。

また、接触回避処理部８は、前記ＳＴＥＰ６により対向車の検出処理を行った場合には、さらに、次のような処理を実行する。

すなわち、接触回避処理部８は、例えばＳＴＥＰ６−５又は６−９で特定された対向車の奥行き方向の長さ、又はＳＴＥＰ６−５又は６−９で特定された対向車の種別から推定される該対向車の奥行き方向の長さ（該対向車の種別に応じた標準値）と、ＳＴＥＰ１の処理で求めた対向車の相対速度とに応じて、対向車の通過待ち必要時間を設定する。この場合、対向車がトラック等の大型車である場合には、普通乗用車等の小型車である場合よりも、車長（奥行き方向の長さ）が長いので、該対向車が自車両２の正面を通過するまでに要する時間が長くなる。また、その時間は、対向車の相対速度が速いほど短くなる。

そこで、接触回避処理部８は、対向車の奥行き方向の長さと、対向車の相対速度から、あらかじめ定められたマップ又は演算式によって、通過待ち必要時間を設定する。この通過待ち必要時間は、対向車がトラック等の大型車である場合の方が、そうでない場合よりも長くなり、また、対向車の相対速度が速いほど、短くなるように設定される。

そして、接触回避処理部８は、上記の如く設定した通過待ち必要時間が経過するまでは、その旨の報知（視覚的な報知又は音声による報知等）を報知器４に出力させる。これにより、運転者が不用意に自車両２の右折（右側への旋回）を行なって、自車両２が対向車の側面等に接触するのを防止することが防止される。

なお、この時、上記の報知に加えて、あるいは、該報知の代わりに、ブレーキ装置５のブレーキ圧を増加させるようにしてもよい。

以上説明した実施形態によれば、対向車に対する自車両２の斜行度合いの高低に応じて、カメラ３ａ，３ｂの撮像画像のうちの基準画像から対向車を検出するためのアルゴリズム（低斜行度合い用アルゴリズム又は高斜行度合い用アルゴリズム）を切替えるので、カメラ３ａ，３ｂの撮像画像中の対向車の画像に該対向車の側面部の画像がほとんど含まれない場合と、該対向車の側面部の画像が多く含まれる場合とのいずれの場合であっても、基準画像から対向車の画像を検出することができる。

そして、自車両２の斜行度合いが高い場合に、オプティカルフローを利用することで、基準画像から簡易に対向車の画像領域を抽出することができる。特に、対向車の候補の高さから、該対向車の候補がトラック等の大型車であることが予測される場合（ＳＴＥＰ６−１の判断結果が肯定的となる場合）に、オプティカルフロー用の閾値を標準値よりも大きくすることで、対向車の側面部が、大型車の荷室の側面部のように比較的平坦で一様な面となっていても、該対向車の側面部に対応するオプティカルフローを算出することができる。その結果、オプティカルフローに基づく対向車の画像領域の抽出を適切に行うことができる。

また、対向車の候補が大型車であることが予測される場合に、対向車の車輪の画像を検出するので、オプティカルフローに基づき基準画像から抽出した対向車の画像領域のサイズに基づき推定される該対向車の奥行き方向の長さが、大型車の長さとしては、過小もしくは過大なものとなっていても、該車輪のサイズや該車輪の配置パターン等を参照して、該対向車の奥行き方向に長さに関連する該対向車の種別を特定できる。

また、対向車に対する自車両２の斜行度合いが高い場合に、対向車の奥行き方向の長さ、又は、その長さに関連する該対向車の種別を特定できるので、自車両２が対向車の側面部に接触するのを適切に回避し得るように接触回避処理を行うことができる。

なお、以上説明した実施形態では、監視対象物を対向車とした場合を例にとって説明したが、該監視対象物は、先行車であってもよい。あるいは、監視対象物に、他車両以外の歩行者、自転車等の物体が含まれていてもよい。

１…車両周辺監視装置、２…車両（自車両）、３ａ，３ｂ…カメラ、７…監視対象物検出部、８…接触回避処理部（接触回避手段）、９…斜行度合い判断部（斜行度合い判断手段）。

Claims (6)

1. 車両の前方側の所定の監視領域を撮像するカメラの撮像画像を用いて前記監視領域に存在する監視対象物を監視する車両周辺監視装置において、
   前記監視対象物に対する前記車両である自車両の斜行度合いの高低を判断する斜行度合い判断手段と、
   前記斜行度合いが低い場合に前記撮像画像から前記監視対象物を検出するための低斜行度合い用アルゴリズムと前記斜行度合いが高い場合に前記撮像画像から前記監視対象物を検出するための高斜行度合い用アルゴリズムとのうちのいずれか一方のアルゴリズムを前記斜行度合い判断手段の判断結果に応じて選択して実行することにより、前記撮像画像から前記監視対象物を検出する監視対象物検出手段とを備えることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記高斜行度合い用アルゴリズムは、少なくとも前記カメラの撮像画像のオプティカルフローに基づいて、該撮像画像中の監視対象物の画像を抽出すると共に該監視対象物の奥行き方向の長さ又は該長さに関連する該監視対象物の種別を特定するように構成されていることを特徴とする車両周辺監視装置。
3. 請求項２記載の車両周辺監視装置において、
   前記監視対象物検出手段が検出対象とする前記監視対象物は、少なくとも他車両を含んでおり、
   前記高斜行度合い用アルゴリズムは、前記カメラの撮像画像中で探索した前記他車両の候補の高さの高低を判断する処理と、前記オプティカルフローを算出するために、撮像時刻が互いに異なる撮像画像間における相関の有無を判断するための判断条件を、前記カメラの撮像画像中で探索した前記他車両の候補の高さが高い場合の方が低い場合よりも緩和させるように、該判断条件を規定する閾値を前記他車両の候補の高さの高低の判断結果に応じて設定する処理とを含むことを特徴とする車両周辺監視装置。
4. 請求項３記載の車両周辺監視装置において、
   前記高斜行度合い用アルゴリズムは、少なくとも前記他車両の候補の高さが高いと判断された場合に、該他車両の候補に対応する車輪の画像を前記カメラの撮像画像から検出する処理を含んでおり、前記オプティカルフローと前記車輪の画像の検出結果とに基づいて、該他車両の奥行き方向の長さ又は該長さに関連する該監視対象物の種別を特定することを特徴とする車両周辺監視装置。
5. 請求項２〜４のいずれか１項に記載の車両周辺監視装置において、
   前記監視対象物検出手段により検出された監視対象物と前記自車両との将来の接触の可能性を判断し、該接触の可能性があると判断された場合に、該接触を回避するための接触回避処理を実行する接触回避手段を備えており、
   該接触回避手段は、前記斜行度合い判断手段により前記斜行度合が高いと判断された状況で、前記監視対象物検出手段により前記監視対象物が検出された場合に、該監視対象物検出手段により特定された前記監視対象物の奥行き方向の長さ、又は、該監視対象物検出手段により特定された該監視対象物の種別から推定される該監視対象物の奥行き方向の長さを用いて、該監視対象物と自車両との将来の接触の可能性を判断することを特徴とする車両周辺監視装置。
6. 請求項２〜５のいずれか１項に記載の車両の周辺監視装置において、
   前記斜行度合い判断手段は、前記自車両の走行車線に対する該自車両の傾き角θと、前記監視対象物と自車両との間の距離のうちの、前記自車両の走行車線と同方向での距離Ｄｙ及び該自車両の走行車線と直交する方向での距離Ｄｘとを推定する手段を有し、その推定した前記傾き角θ、距離Ｄｙ及び距離Ｄｘに基づいて、前記斜行度合いの高低を判断することを特徴とする車両周辺監視装置。