JP2012118682A

JP2012118682A - 運転支援制御装置

Info

Publication number: JP2012118682A
Application number: JP2010266682A
Authority: JP
Inventors: Hitoomi Takizawa; 仁臣滝澤
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2012-06-21
Anticipated expiration: 2030-11-30
Also published as: JP5717416B2

Abstract

【課題】車載カメラとして単眼カメラを搭載してコスト低減を図った構成によって、撮影カメラの撮影画像から至近距離の障害物を精度よく認識して誤発進防止等の運転支援が行える運転支援制御装置を提供する。
【解決手段】車載カメラとしての単眼カメラ２により自車両１の周辺を撮影し、演算部３の距離仮定手段により自車両と障害物との距離を仮定し、演算部３の距離算出手段により単眼カメラ２の時間変化する撮影画像における障害物の候補画像の画像拡大率に基づく自車両と障害物との検出距離を算出し、演算部３の認識手段により、演算部３の偏差算出手段が算出した距離仮定手段の仮定距離と検出距離との偏差に基づいて候補画像が障害物であるか否かを判定して障害物を認識する。
【選択図】図１

Description

この発明は、車載カメラの撮影画像から障害物を認識して運転支援を行なう運転支援制御装置に関し、とくに５ｍ程度の至近距離内に存在する障害物の認識に関する。

近年、自動車の分野においては、車両発進時にブレーキペダルとアクセルペダルを踏み間違えることに起因した事故を防止することが重要になっている。

このような事故を防止するには、停車状態から発進する際に、自車前方約５ｍ以内の至近距離内に存在する障害物を認識して、強制的に制動停止する等の誤発進防止の運転支援を行なう必要があり、至近距離内に存在する障害物をどのようにして認識するかが課題となっている。

そして、従来は、車両の左右に搭載した２個のカメラの撮影画像を用いたステレオ処理により、自車両から障害物までの距離を検出して前記至近距離内の障害物を認識することが提案されている（例えば、特許文献１参照）。

特開平１０−１３８８８５１号公報

特許文献１に記載の認識では、２個のカメラが必要で高価になる問題がある。

なお、自車両から障害物までの距離をアクティブセンサ（レーザ、ミリ波等）で測定して障害物を認識する構成では、近距離の認識精度が低く、前記至近距離の障害物の実用的な認識は困難である。また、センサ措載位置が車両横幅の中央でなければ、近距離の障害物の位置が容易に測定可能範囲外になって認識できなくなる問題もあり、実用的でない。

また、単眼カメラ（１個のカメラ）を搭載してパターン認識手法で障害物を認識することも考えられるが、この場合は、予め識別辞書に登録したパターンの障害物しか認識できないため、実用的でない。

本発明は、車載カメラとして単眼カメラを搭載してコスト低減を図った構成によって、撮影カメラの撮影画像から至近距離の障害物を精度よく認識して誤発進防止等の運転支援が行える車両支援装置を提供することを目的とする。

上記した目的を達成するために、本発明の運転支援制御装置は、車両周辺を撮影する車載カメラの撮影画像に基づいて障害物を認識し、認識結果に基づいて運転支援制御を行なう運転支援制御装置であって、自車両と前記障害物との距離を仮定する距離仮定手段と、前記車載カメラの時間変化する撮影画像における前記障害物の候補画像の画像拡大率に基づく自車両と前記障害物との検出距離を算出する距離算出手段と、前記距離仮定手段の仮定距離と前記検出距離との偏差を算出する偏差算出手段と、前記偏差に基づいて前記候補画像が前記障害物であるか否かを判定して前記障害物を認識する認識手段とを備えたことを特徴としている（請求項１）。

また、本発明の運転支援制御装置は、前記認識手段が、前記偏差が所定値以下である場合に前記候補画像が前記障害物であると判定することを特徴としている（請求項２）。

さらに、本発明の運転支援制御装置は、前記距離仮定手段が、自車両と前記障害物との距離を複数仮定し、前記偏差算出手段が、前記距離仮定手段の各仮定距離について前記偏差を算出し、前記認識手段が、前記偏差が略最小値になる仮定距離に前記障害物が存在すると認識することを特徴としている（請求項３）。

請求項１に係る本発明によれば、距離算出手段における画像拡大率は、候補画像が障害物ではなくその周囲画像（遠方風景画像）であれば略１でほとんど変わらず、候補画像が障害物であれば障害物が自車両に接近するにしたがって大きくなる。また、画像拡大率に基づく自車両と障害物との検出距離は画像拡大率の逆に変化し障害物に接近する程小さくなる。そして、検出距離が距離仮定手段の仮定距離に近づく程、偏差算出手段が算出する偏差は小さくなる。

そこで、前記偏差が小さくなるか否かから、認識手段は候補画像が仮定距離に近い障害物であるか否かを判定し、仮定距離を至近距離に設定することで至近距離の障害物を精度よく認識することができる。

そして、車載カメラは至近距離の障害物の撮影に適した単眼カメラであってよく、２個のカメラが必要なステレオ処理の場合よりコストを削減した構成で精度よく至近距離の障害物を認識できる。

請求項２に係る本発明によれば、認識手段により、前記偏差が所定値以下である場合に前記候補画像が前記障害物であると判定することにより、前記偏差が所定値以下となる仮定距離の精度で至近距離内の障害物を認識できる。

請求項３に係る本発明によれば、認識手段により距離仮定手段の複数の仮定距離から選択された仮定距離に基づき、偏差算出手段の前記偏差が略最小値になる仮定距離に基づき、至近距離内の障害物であっても、極めて精度よく自車から障害物の距離を検出して障害物を認識できる。

本発明の運転支援制御装置の一実施形態のブロック図である。撮影倍率（拡大率）と車間距離との関係の説明図である。障害物の有無による仮定距離と前記検出距離との偏差の仮定距離に対する変化の説明図であり、（ａ）は障害物が至近距離内に存在する場合の変化特性を示し、（ｂ）至近距離内に障害物が存在しない場合の変化特性を示す。図１の動作説明用のフローチャートである。

本発明の一実施形態について、図１〜図４を参照して説明する。

図１は誤発進防止の運転支援を行なう車両（自車両）１の運転支援制御装置のブロック図を示し、この運転支援装置は、車両１の周辺を撮影する車載カメラとして、自車前方を撮影する小型かつ安価なモノクロ又はカラーのＣＣＤ（又はＣＭＯＳ）の単眼カメラ２を搭載し、単眼カメラ２により、例えば１／３０秒のフレーム周期で自車前方をくり返し撮影する。

単眼カメラ２の毎フレームの撮影画像はマイクロコンピュータ等で構成された演算部３のＥＣＵに取り込まれる。演算部３には車速センサ（車輪速センサ）４からの車両１の検出車速等も入力される。

演算部３は本発明の距離仮定手段、距離算出手段、認識手段を形成する。

距離仮定手段は車両１とその前方の障害物との距離を仮定する。認識するのが自車両から所定距離（例えば約５ｍの至近距離）内の障害物の有無であるため、仮定距離をＺｔとすると、仮定距離Ｚｔは、障害物の認識精度によっては、例えば５ｍの至近距離だけであってもよいが、本実施形態の場合、認識精度を高めるため、例えば０〜５ｍの距離範囲を２５ｃｍ刻みに区切った複数の距離とする。なお、本実施形態では距離範囲を２５ｃｍ刻みに区切っているが、任意の距離刻みに設定できる。

距離算出手段は、車載カメラ２の時間変化する撮影画像、すなわち異なる２フレームの撮影画像における障害物の候補画像の画像拡大率に基づき、この画像拡大率と車速センサ４の検出車速（自車速）でフレーム時間走行した距離から求められる車両１と障害物との距離変化とから、車両１が発進する際の車両１と障害物との検出距離を算出する。

さらに詳述すると、画像拡大率をｋとし、車両１と障害物との検出距離、距離変化をＺｓ、ΔＺとして、距離算出手段は、各フレームの撮影画像の中央部分に、仮定距離Ｚｔ内に接近した自車両と同じの横幅と高さ相当の大きさの障害物が存在すると仮定して適当な大きさのＲＯＩ（関心領域）を設定し、ＲＯＩの画像を障害物の候補画像とする。

車両１が発進する際の時々刻々の前後する２フレーム間の候補画像の検出距離Ｚｓは、フレーム間差に相当するΔｔ時間のＲＯＩ内の画像の拡大率Ｋに基づき、単眼カメラの撮影画像から衝突予測時間（ＴＴＣ：ＴｉｍｅｔｏＣｏｌｌｉｓｉｏｎ）を算出する周知の計算式により、ＴＴＣを検出距離Ｚｓに置き換えて算出できる。

図２は上記の計算式の説明図であり、障害物（例えば前方の駐車車両）の実際の横幅をＷ、ある時点（時刻ｔ）の検出距離をＺｓ、時刻ｔより微小時間Δｔ前の時刻（ｔ−Δｔ）から時刻ｔまでの検出距離Ｚｓの変化（相対速度）をΔＺ、単眼カメラ２の焦点距離をＣｆ、時刻（ｔ−Δｔ）に撮影された障害物の画像上の横幅をｋ・ω（ｋ＞１は撮影倍率（画像拡大率））とすると、図２の線分Ｌ（ｔ−Δｔ）、ｌ（ｔ−Δｔ）が時刻（ｔ−Δｔ）の横幅Ｗ、ωを示し、線分Ｌ（ｔ）、ｌ（ｔ）が時刻ｔの横幅Ｗ、ｋ・ωを示す。

そして、図２から明らかなように、下記数１の（１）式、数２の（２）式の比例関係が成立することから、数３の（３）式が求まる。

そこで、距離算出手段は、画像拡大率ｋに基づき、（３）式から検出距離Ｚｓを算出する。

偏差算出手段は、仮定距離Ｚｔと検出距離Ｚｓとの偏差Ｅを、下記数４の（４）式から算出する。

ここで、障害物が仮定距離Ｚｔ付近に存在すれば、検出距離Ｚｓの計算値は仮定距離Ｚｔに近い値となるため偏差Ｅは小さくなって０に近づく。逆に、仮定距離Ｚｔに障害物が存在しなければ、ＲＯＩ内の画像拡大率ｋは遠方の景色の画像拡大率（略１倍）となるため、偏差Ｅは非常に大きい値となる。

図３（ａ）は障害物が至近距離内に存在する場合の偏差Ｅの仮定距離Ｚｔに対する変化特性を示し、障害物が存在する仮定距離ＺｔをＺ０とすると、偏差Ｅは、仮定距離Ｚ０で最小値Ｅｍｉｎとなる二次曲線変化を示し、至近距離内の各仮定距離Ｚｔに対して偏差Ｅは適当なしきい値Ｅｔｈ以下になる。

図３（ｂ）は障害物が至近距離内に存在しない場合の偏差Ｅの仮定距離Ｚｔに対する変化特性を示し、偏差Ｅは至近距離内の各仮定距離Ｚｔに対してもしきい値Ｅｔｈより十分に大きくなる。

認識手段は、偏差Ｅに基づいて候補画像が障害物であるか否かを判定して障害物を認識する。

簡単には、認識手段は、前記の５ｍの仮定距離Ｚｔに対する偏差Ｅがしきい値Ｅｔｈ以下か否かによって、候補画像が障害物であるか否かを判定し、障害物であると判定すれば、障害物が５ｍの仮定距離Ｚｔの至近距離内に存在することを認識できる。

ところで、ブレーキペダルとアクセルペダルを踏み間違えて発進するような場合、車両１の加速度は大きいが車速は低い。一方、至近距離内の障害物は、画像中には大きく撮像されるため、距離変化ΔＺが小さい場合でも、画像拡大率ｋの変化は大きい。

そこで、本実施形態において、認識手段は、距離仮定手段の前記した至近距離内の複数の仮定距離Ｚｔについて総当り（本実施形態では２５ｃｍ刻み）で（４）式の偏差Ｅの演算をくり返し（２０回）、偏差Ｅが最小値Ｅｍｉｎになる仮定距離Ｚｔを検出して候補画像が障害物であるか否かを判定し、最小値Ｅｍｉｎになる仮定距離Ｚｔに障害物が存在することを、仮定距離Ｚｔの距離間隔の精度で判定して極めて精度よく認識する。

図４は演算部３の上記各手段に基づく認識処理手順例を示し、拡大倍率ｋを微分二値画像から求めるため、まず、単眼カメラ２の各フレームの撮影画像は画像二値微分化処理（ステップＳ１）により順次に微分されて二値化され、輪郭画像に変換される。つぎに、ＲＯＩ設定処理（ステップＳ２）により、輪郭画像撮の中央部のＲＯＩ（関心領域）が切り出される。

そして、画像拡大率算出処理（ステップＳ３）により、ＲＯＩ画像の障害物らしさ（ここでは駐車場等での誤発進を想定して車両らしさとする）の特徴から、障害物の候補画像を特定し、そのエッジ間隔等から画像上の障害物の横幅を算出し、例えば時刻ｔの現時点の横幅ωに対するその前の時点（ｔ−Δｔ）の横幅（１／ｋ）・ωの比から、各時点の撮影倍率ｋを算出する。

つぎに、検出距離算出処理処理（ステップＳ４）により、各時点の撮影倍率ｋに基づいて、（３）式から検出距離Ｚｓを算出する。

さらに、偏差演算処理（ステップＳ５）により、各仮定距離Ｚｔについて総当りで（４）式から偏差Ｅを算出する。

そして、偏差Ｅの算出結果に基づく判定・認識処理（ステップＳ６）により、候補画像が障害物であるか否かを判定して至近距離内の障害物の存在を認識する。

この場合、２個のカメラが必要なステレオ処理の場合よりコストを削減した単眼カメラ構成で、認識辞書なども用意することなく、精度よく至近距離の障害物を認識できる。また、偏差Ｅが略最小値Ｅｍｉｎになる仮定距離Ｅｔに基づき、至近距離内の障害物を極めて精度よく認識できる。

そして、認識手段の認識結果が演算部３から誤発進制御部５に送られ、車両１が発進する際に障害物が至近距離内に存在していれば、強制的に制動停止する等の誤発進防止の運転支援が行なわれる。

本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行なうことが可能であり、例えば、至近距離内は５ｍ内ではなくてもよいのは勿論である。

また、単眼カメラ２により車両１の後方を撮影し、後退走行時の障害物を認識する場合にも本発明を同様に適用することができる。

そして、演算部３の処理手順等はどのようであってもよい。

さらに、認識結果は誤発進防止の制御以外の運転支援制御に利用してもよく、本発明は、種々の運転支援制御に適用できる。

１車両
２単眼カメラ
３演算部

Claims

車両周辺を撮影する車載カメラの撮影画像から障害物を認識し、自車両と認識した障害物との距離に基づいて運転支援制御を行なう運転支援制御装置であって、
自車両と前記障害物との距離を仮定する距離仮定手段と、
前記車載カメラの時間変化する撮影画像における前記障害物の候補画像の画像拡大率に基づく自車両と前記障害物との検出距離を算出する距離算出手段と、
前記距離仮定手段の仮定距離と前記検出距離との偏差を算出する偏差算出手段と、
前記偏差に基づいて前記候補画像が前記障害物であるか否かを判定して前記障害物を認識する認識手段とを備えたことを特徴とする運転支援制御装置。
請求項１に記載の運転支援制御装置において、
前記認識手段は、前記偏差が所定値以下である場合に前記候補画像が前記障害物であると判定することを特徴とする運転支援制御装置。
請求項１または２に記載の運転支援制御装置において、
前記距離仮定手段は、自車両と前記障害物との距離を複数仮定し、
前記偏差算出手段は、前記距離仮定手段の各仮定距離について前記偏差を算出し、
前記認識手段は、前記偏差が略最小値になる仮定距離に前記障害物が存在すると認識することを特徴とする運転支援制御装置。