JP2013092820A - 距離推定装置 - Google Patents

Abstract

【課題】自車から障害物までの距離推定の精度向上を図る。
【解決手段】ビデオカメラ１１で捕えた画像より建物等の障害物の法線ベクトルを垂直成分抽出部１３で抽出し、抽出された法線ベクトルに基づき、傾斜路判定部１５で傾斜路かの判定と傾斜路の場合の傾斜角を算出する。予めカメラ１１で捕えた画像から基準法線ベクトルを抽出するとともに、画像の画素毎と自車との距離データをメモリ１０に保存しておく。自車と障害物まで平坦路と傾斜路があった場合に、平坦路と傾斜路の境界と障害物までの距離を傾斜角に基づき補正するようにして自車から障害物までの距離推定の精度を向上した。
【選択図】図１

Description

この発明の実施形態は、障害物までの距離推定の向上を図ることのできる距離推定装置に関する。

従来、車載カメラで障害物までの距離を求める場合は、単眼カメラにより障害物を認識し、予め決められた距離テーブルを参照し、障害物までの距離を求めることが行われている。

特開２００８−１８６３４３号公報

従来の技術は、車載の単眼のカメラにより障害物を認識し、その障害物までの距離を求める場合は予め決められた距離テーブルを参照して求めるものである。この方法は、道路に傾斜があったり、何かの拍子でカメラの取り付け角度が変わったりした場合に、正しい距離を推定できなくなってしまう、という問題がある。

この実施形態では、障害物までの距離推定の向上を図ることのできる距離推定装置を提供する。

実施形態によれば、自車に搭載された撮影用のビデオカメラと、前記カメラで捕えた画像に基づく垂直の基準法線ベクトルおよび前記画像の画素毎に異なる距離データをテーブルデータとして保存したメモリと、平坦路に垂直な状態の障害物に基づいた法線ベクトルを抽出する垂直成分抽出部と、前記自車の走行中に、前記法線ベクトルの傾きが時系列に一定の変化から大きく変化する位置を平坦路と傾斜路の境界とし、前記法線ベクトルの傾きが大きい位置を傾斜路とするとともに、該傾斜路の傾斜角を算出する傾斜路判定部と、前記傾斜路判定部で傾斜路にいると判定した場合、平坦路から傾斜路をどの程度進行したかを算出する傾斜路進行距離推定部と、前記傾斜路判定部および前記傾斜路進行距離推定部に基づき推定された距離から検出された障害物までの距離の補正係数を決定する距離補正パラメータ決定部と、前記法線ベクトルと地面の位置の画素に相当する前記距離データを前記テーブルデータから読み出すともとに、前記境界および前記法線ベクトルとの距離を前記傾斜角に基づき補正し、前記自車と前記障害物との距離を算出する距離算出部と、を備える。

距離推定装置に関する第１の実施形態について説明するためのブロック図である。 自車が平坦路にある場合におけるテーブルデータとの関係について説明するための説明図である。 自車が傾斜路にある場合におけるテーブルデータとの関係について説明するための説明図である。 図１の処理動作について説明するための説明図である。 法線ベクトル抽出対象について説明するための説明図である。 法線ベクトル抽出対象について説明するための説明図である。 法線ベクトルについて説明するための説明図である。 法線ベクトルについて説明するための説明図である。 時系列に変化する法線ベクトルについて説明するための説明図である。 時系列に変化する法線ベクトルについて説明するための説明図である。 距離推定装置に関する第３の実施形態について説明するためのブロック図である。 図１１の処理について説明するための説明図である。 図１１の処理について説明するための説明図である。

以下、実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
図１〜図３は、距離推定装置に関する第１の実施形態を示し、図１は概略的なブロック図、図２は自車が平坦路ある場合におけるテーブルデータとの関係について説明するための説明図、図３は自車が傾斜路ある場合におけるテーブルデータとの関係について説明するための説明図である。

メモリ１０には、出荷時に障害物までの距離情報として車載用のビデオカメラ１１のカメラキャリブレーション時にカメラ１１に映し出したい位置までの画素毎の距離データをテーブルデータとして保存しておく。また、メモリ１０には、キャリブレーションを行った時点で、平坦路２１における垂直の基準法線ベクトルもテーブルデータとして保存しておく。

カメラ１１は、例えば自車１２のボンネット先端内部に前方撮影用として設置されている。カメラ１１ではアナログ映像信号をデジタル変換された映像信号を、図示しない制御部の制御に基づき取得し、公知の手法で画像変換処理などを行い、垂直成分抽出部１３および距離補正パラメータ決定部１４にそれぞれ供給する。

垂直成分抽出部１３では、カメラ１１に映される平坦路２１に対して垂直に立っている例えば建物２２を形状マッチング処理により特定し、建物２２のエッジ検出により例えば縦方向のエッジラインを検出する。エッジライン検出は、特定した建物画像の輝度信号を、縦方向のソベルフィルタに掛けて、縦エッジ画像を算出することで行うことができる。一般に建物２２は垂直に立っているものであることから、図２に示す平坦路２１に対する法線ベクトル２３を得ることができる。

図２のＰ１は、法線ベクトル２３と地面とのポイント（画素）を示し、ｗは、自車１２からポイントＰ１までの距離を示す。この距離ｗは、自車１２から画素毎のポイントＰ１に相当する距離データをテーブルデータとして、前述したように予めメモリ１０内に保存している。なお、距離ｗは、自車１２から各画素より異なり、メモリ１０には画素毎に異なる距離データがテーブルデータとして保存される。従って、法線ベクトル２３がどの画素の位置にあるかにより、画素に相当する距離データをターンテーブルから、自車１２とポイントＰ１が位置する画素の距離データをテーブルデータから読み出し距離ｗを特定することができる。

法線ベクトル２３は、例えば地面が平坦路の場合、規則性を有している。しかし進んでいる方向に傾斜路があった場合の法線ベクトル２３の規則性は異なってくる。一般に、障害物に近づくに従い法線ベクトル２３の傾きは漸次小さく（垂直に近づく）なって行くが、段差があった場合の法線ベクトル２３の傾きの上下方向により大きくなったり、小さくなったりと変化する。法線ベクトル２３の傾きと面の傾きは、１：１に対応する。つまり、法線ベクトル+の傾きが３０度であれば地面も３０度傾いていることになる。

垂直成分抽出部１３から抽出された建物２２に基づく法線ベクトル２３は、次段の傾斜判定部１５に供給する。自車が任意の速度で走行している間の時系列上の法線ベクトルは、法線ベクトル２３の傾きが単調に変化することになる。しかし、図３に示すように地面が傾斜路３１の状態の場合は、規則的に変化していた法線ベクトルの傾きが異なってくる。

傾斜判定部１５は、自車走行に伴い変化する法線ベクトルの傾き度合いが地面の傾きの度合いで異なることを算出して地面の傾斜を判定する。傾斜判定部１５では、その結果に基づき、図３に示す傾斜角θを抽出するとともに、平坦路２１と傾斜路３１の境界Ｐ２を抽出する。これにより傾斜判定部１５は、自車１２と境界Ｐ２までの距離ｘと境界Ｐ２から法線ベクトル２３までの距離ｙを抽出するとともに、傾斜角θに伴う実際のポイントＰ１’までの距離ｙ’（＝ｙ・ｃｏｓθ）を求める。

傾斜判定部１５の出力は、次段の傾斜路進行距離推定部１６に供給する。傾斜路進行距離推定部１６では、自車１２から得られる車速信号により、平坦路２１から傾斜判定部１５が判定した傾斜路３１になってから進んだ距離を算出し、距離補正パラメータ決定部１４に供給する。

距離補正パラメータ決定部１４では、カメラ１１の自車前方の画像を図示しないモニターに映しながら、傾斜路進行距離推定部１６の傾斜路３１を進んだ自車１２から境界Ｐ２までの距離ｘと傾斜判定部１５で得られた境界Ｐ２からポイントＰ１’（障害物）までの補正距離ｙ’をパラメータとして距離算出部１７に供給する。

距離算出部１７では、認識された障害物である建物２２の画面上の座標、換言すれば該当の画素とメモリ１０に予め記憶された画素毎のテーブルデータとに基づき、自車から障害物までの距離が補正された推定距離情報を出力し、図示しないモニターあるいは音声で通知する。

メモリ１０に保存された基準法線ベクトルと建物２２から抽出された法線ベクトル２３との差分を取る。すると、平坦路２１との相対的な傾きを時間毎（時系列）に抽出することができる。結果、道路の傾斜路を抽出することができ、傾斜路の傾斜角θを導き出すことができる。傾斜角θがわかれば、図３に示す自車１２から建物２２の法線ベクトル２３までの距離がメモリ１０に保存されたポイントＰ１に相当する画素に対応する距離ｗ（ｘ＋ｙ）がテーブルデータからわかり、自車１２から建物２２までの実測値に近い距離を、ｘ＋ｙ’＝ｘ＋ｙ・ｃｏｓθから導き出すことができる。なお、距離ｗは画素毎に異なることから、ポイントＰ１’に対応する画素の距離データをテーブルデータから読み出すことができる。

次に、図４〜図６を参照しながら、図１における処理動作について、図７〜図１２および図２、図３とともにさらに説明する。なお、図５、図７、図９はカメラ１１で捕えた平坦路における画面上の擬似画像を示し、図６、図８、図１０はカメラ１１で捕えた傾斜路と平坦路における画面上の擬似画像を示す。

先ず、図４のステップＳ１において、車の出荷時におけるカメラ１１が映し出された画像が予め所定の距離になるようにカメラ１１の角度調整を行い、調整後の画素毎の車から所定までの距離および基準となる平坦路２１における垂直の基準法線ベクトルとを持ったテーブルデータをメモリ１０に記憶しておく。例えば、建物の足元を見つけて、建物を検出した位置から画素毎の距離に関する記憶されたテーブルデータから足元のデータを抽出し、結果としてカメラ１１から「何メートルの所に建物がある」の情報を出力する。つまり、画素毎のテーブルデータは、該当する画素のテーブルデータから距離を引っ張り出すアルゴリズムを用いる。

次に、自車が停車状態か走行状態かを検出する（Ｓ２）。走行状態であれば、ステップＳ３に進み、垂直成分抽出部１３においてカメラ１１で捕えた図５に示す平坦路２１にある建物２２のエッジ画像５１や図６に示す傾斜路３１から平坦路２１に連なる道路にある建物２２のエッジ画像６１の輝度信号について縦方向のソベルフィルタを掛け、例えば垂直の建物２２の縦エッジを検出する。検出の結果、図５のエッジ画像５１からは、図７に示す法線ベクトル２３を、図６のエッジ画像６１からは、図８に示す図７の法線ベクトルよりは斜めの法線ベクトル２３をそれぞれ抽出する。

ところで、画素毎の距離データは、平坦路を基準としたテーブルデータであるため、障害物までが平坦路から傾斜路であったり、傾斜路から平坦路であったりした場合は、目標物までの推定の距離に誤差が生じる。次のステップＳ４以降において、距離を正しく推定する処理が行われる。

まずステップＳ４では、傾斜路判定部１５で法線ベクトル２３とメモリ１０に保存された基準法線ベクトルとの差分を取り、平坦路か傾斜路かの判断を行い、走行中の平坦路との相対的な傾きが時系列に抽出することができ、地面の傾きを抽出して傾斜角θを算出する。

ステップＳ５において、傾斜路と判断された場合に傾斜路進行距離推定部１６では、自車１２から得られる車速信号により傾斜判定部１５が判定した傾斜路になってから進んだ距離を推定する。そして、自車１２が傾斜路３１を進んだ境界Ｐ２までの距離ｘと、それに傾斜判定部１５で判定された傾斜路３１の傾斜角θとを補正パラメータとして決定する（Ｓ６）。

次のステップＳ７では、自車１２とポイントＰ１におけるメモリ１０のテーブルデータから読み出された距離データに基づく距離ｗと、傾斜路３１における自車１２と境界Ｐ２までの距離ｘ、傾斜角θから境界Ｐ２からポイントＰ１’までの距離ｙ’を距離算出部１７で算出する。これにより、自車１２から建物２２までの精度の高い距離ｘ＋ｙ’を推定することができる。

算出された推定距離ｘ＋ｙ’は、具体的に「何メートルです」の図示しないディスプレイに表示したり音声で流したりあるいは両方により障害物までの距離情報を出力し（Ｓ８）して知らせ、障害物までの距離推定のシステムの処理を終了する（Ｓ９）。

この実施形態では、傾斜路やカメラの角度が何らかの原因で変わった場合にも、変わった距離の補正係数を決定する距離補正パラメータに基づき障害物までの距離推定の精度を向上させることが可能となる。

（第２の実施形態）
この実施形態は、時系列に従い変化する法線ベクトルとメモリ１０に保存された基準の法線ベクトルとの差分から地面が平坦路であるか傾斜路であるかを判定するとともに、傾斜路３１が平坦路２１に対する傾斜角θを算出したものである。

先ずは、障害物のエッジ検出を行う。地面に対する法線ベクトルと思われる線のスクリーン座標系での傾きを求めて、ワールド座標系に変換する。現時点での平坦路２１に対する傾き度合いを推定する。ワールド座標系にした時点で、自車１２がある面が地平面に対して何度傾いているのかを求めることができる。建物２２を法線ベクトルとして過程しているので。地面に対して垂直に立っている建物２２を基準となる法線ベクトルとし、この法線ベクトルに対して時刻ｔ毎に平坦路２１に対する自車１２の傾きを求める。

自車１２の傾きは、動いている自車の速度と時刻ｔ毎の関係から求める。すると、平坦路２１に対する傾きの差分の情報を時刻毎に追った結果が出力される。例えば、３秒前は２度傾き、２秒前は３度傾いているというような結果が得られる。これにより地面の傾斜状態を判別することができる。その傾斜路３１が地面に対してどうであれ相対的に見て、平坦路２１の場合、図９に示すように、法線ベクトルＮ１，Ｎ２・・・と地面との差分情報を、時刻ｔ毎に求めた結果が出力され、傾斜路３１と平坦路２１を有する場合、図１０に示すように、法線ベクトルｎ１，ｎ２・・・と地面との差分の情報を、時刻毎に求めた結果が出力される。傾斜路３１と平坦路２がある部分では、差分の変化に基づいた演算が制御部で行われる。傾斜路３１が波打った状態の場合は、傾斜角θが時刻毎に変化することらなる。

法線ベクトルの時系列上の前後の差分が出力され、予め設定したしきい値、例えば２度よりもよりも大きくなった場合は、そこに変化があったと判断する。その判断した箇所が何秒前だったかと、そのときまでの自車速度から傾斜路を進んだ距離を決定し、テーブルから引っ張り出したデータに、自分が進んだ距離ｘを引くことで、残りをｙとθから実際の障害物までの距離ｙ’を求める。

すなわち、時刻ｔ毎にサンプリングして行き、最初のサンプリング結果の傾きが１度、１度、１度、２度、２度と変化し、例えば何秒間に３度以上を変わったら、そこを地面の角度が変わった境界Ｐ２と判断するようにする。

この実施形態では、波打ったような傾斜部を有する地面に対する傾斜判定を、走行中の自車が取得する法線ベクトルの時系列上の傾きの角度の変化に対応させていることから、波打ったような傾斜部の判別の向上を図ることができる。

（第３の実施形態）
図１１〜図１３は、距離推定装置に関する第３の実施形態について説明するための概略的なブロック図である。上記した実施形態と同一の構成部分には同一の符号を付し、ここでの説明は省略する。

この実施形態は、地図情報４１と自車走行履歴情報４２とを追加し、カメラ１１に映る可能性のある地面に垂直に立っている建物２２等の障害物に対する法線ベクトル抽出のパラメータを増やしたものである。地図情報４１は、カーナビゲーションシステムの地図情報を用い、自車走行履歴情報４２は、例えばＣＡＮ（Controller Area Network）通信等の車内通信回線を通じて、トランスミッション制御ユニットから得られるスピード、ハンドル、速度などの履歴情報を用いることができる。

この実施形態の場合、カメラ１１からの画像情報とともに、地図情報４１および自車走行履歴情報４２を取り込みパラメータとすることにより、障害物の法線ベクトル抽出精度を上げて傾斜路判定の精度を上げたり、自車が傾斜路をどれだけ進行したかの推定精度を上げたりするものである。

すなわち、図４のステップＳ３の処理に、地図情報４１から得られた情報に基づき、図１２のステップＳ３１〜Ｓ３３の処理を追加したことで、垂直成分の抽出をより確実に行うことができる。

また、図４のステップＳ５の処理に、自車走行履歴情報４２から得られた走行履歴に基づき図１３のステップＳ５１〜Ｓ５３の処理を追加したことで、履歴に基づいた傾斜路の推定や傾斜路の進行距離の推定の一助となる。つまり、傾斜路判定部１５での判定結果と履歴とを比較し判定が正しいかの判定や傾斜路進行距離推定部１６での自車の傾斜部進行距離と履歴とを比較し推定が正しいかの判定を行い、傾斜路の判定や傾斜路進行距離の推定精度を向上させることができる。

なお、地図情報４１および自車走行履歴情報４２に基づくパラメータは、少なくも一方の情報を取り込むことでも、傾斜路の判定あるいは傾斜路進行距離の推定の精度を向上させることができる。

この実施形態では、カメラ情報に基づく法線ベクトル抽出に加え、法線ベクトル抽出のパラメータを追加したことで、精度の高い法線ベクトル抽出が可能となる。

上記の各実施形態では、斜路判定部は垂直成分の過去履歴情報もしくは位置履歴情報により現在地が傾斜しているかどうかを判定するものであってもよい。傾斜路進行距離推定はジャイロセンサーからの情報および車速センサーまたはＧＰＳ（全地球測位システム）等から得た情報により平坦路から傾斜路に入ってどの程度距離を進んだかを推定するものであってもよい。また、前方用のビデオカメラにおける障害物までの正確な距離測定について説明したが、後方用のビデオカメラを設置し、後方に対する障害物までの正確な距離測定にも同様の構成で実現することが可能である。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ メモリ
１１ カメラ
１３ 垂直成分抽出部
１４ 距離補正パラメータ決定部
１５ 傾斜部判定部
１６ 傾斜路進行距離推定部
１７ 距離算出部
４１ 地図情報
４２ 自車走行履歴情報

Claims (4)

1. 自車に搭載された撮影用のビデオカメラと、
   前記カメラで捕えた画像に基づく垂直の基準法線ベクトルおよび前記画像の画素毎に異なる距離データをテーブルデータとして保存したメモリと、
   平坦路に垂直な状態の障害物に基づいた法線ベクトルを抽出する垂直成分抽出部と、
   前記自車の走行中に、前記法線ベクトルの傾きが時系列に一定の変化から大きく変化する位置を平坦路と傾斜路の境界とし、前記法線ベクトルの傾きが大きい位置を傾斜路とするとともに、該傾斜路の傾斜角を算出する傾斜路判定部と、
   前記傾斜路判定部で傾斜路にいると判定した場合、平坦路から傾斜路をどの程度進行したかを算出する傾斜路進行距離推定部と、
   前記傾斜路判定部および前記傾斜路進行距離推定部に基づき推定された距離から検出された障害物までの距離の補正係数を決定する距離補正パラメータ決定部と、
   前記法線ベクトルと地面の位置の画素に相当する前記距離データを前記テーブルデータから読み出すともとに、前記境界および前記法線ベクトルとの距離を前記傾斜角に基づき補正し、前記自車と前記障害物との距離を算出する距離算出部と、を備えた距離推定装置。
2. 前記距離算出部は、前記テーブルデータから読み出された距離データの距離をｗと前記自車から前記境界までの傾斜路の距離をｘとの差をｙ、傾斜路の傾斜角をθとしたとき、前記境界と前記障害物との距離ｙ’を（ｙ・ｃｏｓθ）としたことで、前記自車から前記障害物までの距離を（ｘ＋ｙ・ｃｏｓθ）と算出した、請求項１記載の距離推定装置。
3. 前記傾斜路判定部は、前記メモリに保存された基準法線ベクトルと前記法線ベクトルとの差分に基づき判定する、請求項１記載の距離推定装置。
4. 前期傾斜路判定部は、前記自車走行中に時系列に変化する前記法線ベクトルの傾きの度合いの変化に基づき判定する、請求項１記載の距離推定装置。

Images