JP2008033781A - 路面勾配検出装置及び画像表示装置 - Google Patents

Abstract

【課題】白線がない路面でも勾配を検出できる路面勾配検出装置及び勾配が変動しても俯瞰画像での見え方が保持される画像表示装置を提供する。
【解決手段】画像表示装置１０は、オプティカルフロー計算部２２が、カメラ１２ａ〜１２ｄによる撮像時刻が異なる撮像画像についてオプティカルフローを検出し、坂路位置検出部２４及び勾配度計算部２６が当該オプティカルフローに基づき路面勾配を計算するため、白線がない場所でも路面勾配を検出できる。また坂路位置検出部２４が路面勾配を検出し、坂路正像化画像作成部２８が検出された路面勾配に基づき、路面に平行な面への撮像画像の投影画像を作成するため、坂路でも車両がその場所を走行したときに俯瞰した画像を作成できる。情報出力部３２が、当該投影画像を俯瞰画像として表示するため、路面勾配が変動しても俯瞰画像における路面の見え方が保持される。
【選択図】図１

Description

本発明は路面勾配検出装置及び画像表示装置に関し、特に、撮像画像に基づいて路面の勾配を検出する路面勾配検出装置、及び路面の撮像画像を視点変換して俯瞰画像を表示する画像表示装置に関するものである。

従来、車両に搭載され、カメラにより得られた画像から路面の勾配を検出する装置が知られている。例えば、特許文献１では、路面のレーンマーク（白線）上に基準点を設定して路面勾配を算出する技術が記載されている。

また、従来、車両に搭載されたカメラによって車両周囲を撮像して得られた原画像を視点変換して俯瞰画像を生成し、当該俯瞰画像をドライバーに表示する画像表示装置が知られている。例えば、特許文献２では、登り勾配であれば視線の俯角を大きくした俯瞰画像を表示し、降り勾配であれば視線の俯角を小さくした俯瞰画像を表示する画像表示装置が記載されている。
特開平８−１８４４３３号公報 特開２０００−６７３８４号公報

しかしながら、特許文献１の技術では、路面に平行なレーンマークが存在する路面では路面の勾配を算出することができるが、レーンマークがない路面では勾配を検出することが困難である。

また、特許文献２の技術では、路面の勾配により俯瞰画像における路面の見え方が変化し、現実の路面の見え方との違和感が生じる場合がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、レーンマークがない路面でも路面の勾配を検出することができる路面勾配検出装置、および路面の勾配が変動しても俯瞰画像における路面の見え方が保持される画像表示装置を提供することにある。

本発明は、路面の勾配を検出する路面勾配検出装置であって、路面を撮像する撮像手段と、撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域の対応関係を検出する対応関係検出手段と、対応関係検出手段によって検出された対応関係に基づき路面の勾配を計算する勾配度計算手段と、を備えたことを特徴とする。

この構成によれば、対応関係検出手段が、撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域の対応関係を検出し、勾配度計算手段が対応関係検出手段によって検出された対応関係に基づき路面の勾配を計算するため、レーンマークがない場所でも、路面勾配を検出することができる。

この場合、撮像手段により撮像された撮像画像を視点変換して俯瞰画像を作成する俯瞰画像作成手段をさらに備え、対応関係検出手段は、撮像手段によって撮像時刻が異なる複数の撮像画像同士について、俯瞰画像作成手段によって各々作成された俯瞰画像同士における任意の領域の対応関係を検出することが好適である。

この構成によれば、対応関係検出手段は、撮像手段による撮像時刻が異なる複数の撮像画像同士について、俯瞰画像作成手段によって各々作成された俯瞰画像同士における任意の領域の対応関係を検出するため、俯瞰画像に基づいて路面勾配を検出することができる。

この場合、対応関係検出手段は、撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域のオプティカルフローを検出することが好適である。

この構成によれば、対応関係検出手段は、撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域のオプティカルフローを検出し、オプティカルフローは画像同士で容易に検出できるため、複数の画像の対応関係を検出することが容易となる。

この場合、勾配度計算手段は、対応関係検出手段が検出したオプティカルフローのフローベクトルが大きくなっている領域は登坂路として計算し、対応関係検出手段が検出したオプティカルフローのフローベクトルが小さくなっている領域は降坂路として計算することが好適である。

この構成によれば、勾配度計算手段は、対応関係検出手段が検出したオプティカルフローのフローベクトルの大きさの変化に基づいて登坂路か降坂路かを計算するため、登坂路か降坂路かを検出することが容易となる。

一方、本発明は、撮像手段により撮像された路面の撮像画像を視点変換して俯瞰画像を表示する画像表示装置であって、路面の勾配を検出する路面勾配検出手段と、路面勾配検出手段によって検出された路面の勾配に基づいて、路面に平行な面に路面の撮像画像を投影した投影画像を作成する投影画像作成手段と、投影画像作成手段が作成した投影画像を俯瞰画像として表示する表示手段と、を備えたことを特徴とする。

この構成によれば、路面勾配検出手段が路面の勾配を検出し、投影画像作成手段が路面勾配検出手段によって検出された路面の勾配に基づいて、路面に平行な面に路面の撮像画像を投影した投影画像を作成するため、坂路であってもあたかも車両がその場所を走行したときに俯瞰した画像を作成することができる。また、表示手段が、投影画像作成手段が作成した投影画像を俯瞰画像として表示するため、路面の勾配が変動しても俯瞰画像における路面の見え方が保持される。

この場合、路面勾配検出手段は、上記本発明の路面勾配検出装置であることが好適である。

この構成によれば、路面勾配検出手段は、レーンマークがない場所でも路面勾配を検出することが可能であるため、路面勾配を検出することが容易である。

本発明の路面勾配検出装置によれば、レーンマークがない路面でも路面の勾配を検出することができる。

また、本発明の画像表示装置によれば、路面の勾配が変動しても俯瞰画像における路面の見え方が保持される。

以下、本発明の実施の形態に係る路面勾配検出装置及び画像表示装置について添付図面を参照して説明する。

図１は、実施形態に係る路面勾配検出装置及び画像表示装置の構成を示すブロック図である。

図１に示すように、本実施形態の画像表示装置１０は、カメラ（撮像手段）１２ａ〜１２ｄ、車両センサ類１４、センサ情報取得部１６、水平面投影・俯瞰画像作成部１８、俯瞰画像一時記憶装置２０、オプティカルフロー計算部（対応関係検出手段）２２、坂路位置検出部（路面勾配検出手段、勾配度計算手段）２４、勾配度計算部（勾配度計算手段）２６、坂路正像化画像作成部（投影画像作成手段）２８、統合俯瞰画像作成部３０、情報出力部（表示手段）３２を備えており、車両に搭載されて、路面の勾配を検出する路面勾配検出装置及びドライバーに車両周囲の俯瞰画像を表示する画像表示装置としての機能を果たすものである。

カメラ１２ａ〜１２ｄは、ＣＣＤあるいはＣＭＯＳ等の半導体素子を用いた単眼カメラであり、比較的に広角なレンズを有するカメラ、例えば魚眼カメラ等を用いて車両周辺の画像を取得する。図２は実施形態に係るカメラの配置の例を示す平面図であり、図３は魚眼カメラ画像の例を示す図である。図２に示すように、この例では、魚眼レンズが装着された４台のカメラ１２ａ〜１２ｄが、車体１１の前後左右側にそれぞれ一台ずつ設置されている。図３に示すように、魚眼カメラは広い視野を持つため、４台のカメラ１２ａ〜１２ｄにより、車体１１の全周囲を撮像して確認することができるようにされている。なお、カメラ１２ａ〜１２ｄは、特に魚眼カメラでなくとも良く、普通のカメラで良い。また、カメラは前方カメラだけでも良い。

車両センサ類１４は、車速・姿勢角等の情報を取得するもので、速度センサ、ピッチセンサ、ハイトセンサ、ジャイロセンサ等から構成されている。

センサ情報取得部１６は、カメラ１２ａ〜１２ｄと車両センサ類１４とからの情報を任意のタイミングで同期をとり取得する。

水平面投影・俯瞰画像作成部１８は、カメラ１２ａ〜１２ｄの画像を水平面に投影した視点変換を行い、上から見た俯瞰画像を作成するものである。

俯瞰画像一時記憶装置２０は、水平面投影・俯瞰画像作成部１８により作成された俯瞰画像を一時記憶領域に記憶するためのものである。

オプティカルフロー計算部２２は、水平面投影・俯瞰画像作成部１８からの俯瞰画像と、俯瞰画像一時記憶装置２２から読み出した俯瞰画像とを用いて、オプティカルフローを算出するためのものである。

坂路位置検出部２４は、オプティカルフロー計算部２２による俯瞰画像同士のオプティカルフローから、距離・高さパラメータ空間に結果を投票（プロット）し、当該投票結果から坂路位置を算出するためのものである。

勾配度計算部２６は、坂路位置検出部２４の算出した坂路位置から坂路の勾配度を算出するためのものである。

坂路正像化画像作成部２８は、坂路位置検出部２４及び勾配度計算部２６により導出した坂路位置と勾配度とから、この坂路を仮想平面として投影画像を作成するためのものである。

統合俯瞰画像作成部３０は、坂路正像化画像作成部２８によって、カメラ１２ａ〜１２ｄの撮像画像からそれぞれ作成された投影画像を合成して統合した俯瞰画像を作成するためのものである。

情報出力部３２は、統合俯瞰画像作成部３０が作成した統合画像をドライバーに表示したり、車両が坂路を走行するための制御情報等とするため、車両の他の装置へ情報を出力するためのものである。

次に、図４を参照して、本実施形態の画像表示装置１０の動作について説明する。図４は、実施形態に係る画像表示装置の動作を示すフロー図である。図４に示すように、ステップＳ１では、カメラ１２ａ〜１２ｄから画像表示装置１０のシステム内に画像を取り込む。また、車両センサ類１４から車両の車速、姿勢角等の情報を取得する。画像取得のタイミングは、全てのカメラ１２ａ〜１２ｄの同期を取って取得することが望ましく、画像取得の速度はリアルタイムに近いものとするため、３０ｆｐｓ以上であることが望ましい。

ステップＳ２では、カメラ１２ａ〜１２ｄから取得した撮像画像を水平面（仮想スクリーン）に投影した視点変換を行い、俯瞰画像を作成する。図５は、カメラ画像を水平面に投影した視点変換を示す斜視図である。図５に示すように、カメラ１２ａの位置Ｏ_ｃを原点としてＸ軸，Ｙ軸，Ｚ軸を規定した座標系を想定する。ここで、各パラメータを以下のように規定する。
Ω：投影視野角度（横）〔deg〕
Ｚ_ｖ：カメラ１２ａから水平面Ｐまでの距離
Ｗ：作成する俯瞰画像の横幅〔pixel〕
λ：カメラ向き横角度〔rad〕
ξ：カメラ向き縦角度〔rad〕
ω：カメラ向き回転角度〔rad〕

仮想スクリーンまでの距離は下式（１）によって算出される。

仮想スクリーン上の像点（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）から、Ｘ成分Ｘ_ｓｅ、Ｙ成分Ｙ_ｓｅ、ＺＺ_ｓｅを下式（２）によって算出する。

得られたＸ成分Ｘ_ｓｅ，Ｙ成分Ｙ_ｓｅ，Ｚ成分Ｚ_ｓｅを、下式（３）によって、水平面を見る方向へのアフィン変換を行う。

水平面を見る方向へのアフィン変換が行われたＸ成分Ｘ_ｓｅ，Ｙ成分Ｙ_ｓｅ，Ｚ成分Ｚ_ｓｅから下式（４）によって、魚眼画像座標値（ｕ_ｐ，ｖ_ｐ）を算出する。

なお式（４）において、
Ｌ：魚眼画像の半径
ｆ（Ｚ_ｓｅ，Ｌ）：魚眼カメラ特性関数
である。

また、上述した視点変換において、図６に示すように、水平面Ｐに平行なθ_０以下の角度の画素を投影対象とし、θ_０を超える角度の画素は投影対象から除く。

ステップＳ３では、現在時刻Ｔにおいて水平面投影・俯瞰画像作成部１８が作成した俯瞰画像を俯瞰画像一時記憶装置２０に一時記憶する。オプティカルフロー計算部２２は、水平面投影・俯瞰画像作成部１８から現在時刻Ｔにおける俯瞰画像を取得し、俯瞰画像一時記憶装置２０の一時記憶領域から１フレーム前の時刻Ｔ−１における俯瞰画像を読み出す。時刻Ｔ−１における俯瞰画像は、オプティカルフロー計算部２２による読み出し後、俯瞰画像一時記憶装置２０の一時記憶領域から削除される。

ステップＳ４では、オプティカルフロー計算部２２は、ステップＳ３で取得した現在時刻Ｔにおける俯瞰画像と時刻Ｔ−１における俯瞰画像とから、以下に示す時空間勾配法によりオプティカルフローを算出する。

俯瞰画像中の点（ｘ，ｙ）の時刻Ｔにおける輝度をＥ（ｘ，ｙ，Ｔ）とする。ｕ（ｘ，ｙ），ｖ（ｘ，ｙ）がその点におけるオプティカルフローベクトルのｘ成分，ｙ成分であるとしたとき、時刻Ｔにおける輝度は時刻Ｔ＋δの点（ｘ＋ｕ・δＴ，ｙ＋ｖ・δＴ）における輝度と等しい。すなわち、下式（５）が小さい時間間隔δＴに対して成り立つとみなすことができる。

もし、輝度がｘ，ｙ，Ｔに関して滑らかに変化するならば、式（５）の左辺をテイラー級数に展開でき、
ｕ＝ｄｘ／ｄｔ：画素（ｘ，ｙ）における動きベクトルのＸ成分
ｖ＝ｄｙ／ｄｔ：画素（ｘ，ｙ）における動きベクトルのＹ成分
となる。

上記のように表記すると、下式（６）のように未知数ｕ，ｖに対する線形方程式になる。下式（６）はオプティカルフロー拘束方程式と呼ばれる。

拘束方程式は一画素につき一本の拘束方程式しか得られないので、一意にフローベクトルを決定できない。よって、「ある注目画素の近傍では動きは滑らかである」という条件を設け、注目画素近傍の拘束方程式からその最小２乗法の解を求めフローとする。本実施形態では、δＴ＝１frameとして計算する。

なお、上記の時空間勾配法でオプティカルフローを導出しなくとも、時刻ＴとＴ−１の俯瞰画像で適当な複数の小領域の対応関係が得られれば、例えばブロックマッチングの手法などを用いてオプティカルフローを導出しても良い。

ここで、図７に示すように、物体Ｊ１，物体Ｊ２について、高さが違うと、水平面Ｐへの投影像での移動量の大きさは異なる。例えば、物体Ｊ１，物体Ｊ２の高さをそれぞれｈ１，ｈ２とし、物体Ｊ１，物体Ｊ２の水平面Ｐへの投影像での移動量をそれぞれδＤ１，δＤ２とすると、高さｈ１＜高さｈ２ならばδＤ１＜δＤ２となる。このため、高い位置の物ほどフローベクトル量が大きくなり、図８（ａ）に示すように水平路ではフローベクトルｆは一定であるが、図８（ｂ）の登坂路や図８（ｃ）の降坂路では、坂路における位置が高いほどベクトル量が大きくなる。

ステップＳ５では、坂路位置検出部２４が、オプティカルフロー計算部２２が算出したオプティカルフローから高さ情報を検出し、距離・高さパラメータ空間への投票を行う。図９に示すように、高さＨのカメラ１２ａから高さｈ_Ｊの物体Ｊを撮像し、水平面（仮想スクリーン）Ｐに投影したとする。この場合、時刻Ｔ−１での水平面Ｐへの投影位置Ｄ_{Ｊ（Ｔ−１）}は下式（７）で表わされ、時刻Ｔでの水平面Ｐへの投影位置Ｄ_Ｊ（Ｔ）は下式（８）で表わされる。従って、時刻Ｔ−１での俯瞰画像と時刻Ｔでの俯瞰画像との間における水平面Ｐでの物体Ｊの移動量δＤ_Ｊは下式（９）で表わされる。

なお、図９中の値を以下のように定義する。
Ｌ_Ｊ（Ｔ）：物体Ｊの時刻Ｔにおける実際の距離
Ｌ_{Ｊ（Ｔ−１）}：物体Ｊの時刻Ｔ−１における実際の距離
δＬ：画像取得間隔での自車移動量（＝Ｌ_{Ｊ（Ｔ−１）}−Ｄ_Ｊ（Ｔ））
Ｄ_Ｊ（Ｔ）：物体Ｊの時刻Ｔにおける水平面Ｐへの投影距離
Ｄ_{Ｊ（Ｔ−１）}：物体Ｊの時刻Ｔ−１における水平面Ｐへの投影距離
δＤ_Ｊ：画像取得間隔での水平面Ｐ上での物体Ｊの移動量
ｈ_Ｊ：物体Ｊの高さ
Ｈ：カメラ１２ａの設置高さ

式（９）を変形すると下式（１０）になる。

これは、水平面Ｐに投影して作成した俯瞰画像のオプティカルフローからδＤ_Ｊを導出し、画像取得間隔における自車移動量δＬを用いれば物体Ｊの高さｈ_Ｊを算出できることを意味する。

また、式（１０）により算出した物体Ｊの高さｈ_Ｊから、下式（１１）を用いて物体Ｊの位置を算出できる。

ここで、画像取得間隔における自車移動量δＬは、車両センサ類１４から取得した車速Ｖと画像取得間隔δＴとから、下式（１２）を用いて算出する（あるいは、後述の式（１３）で導出した水平面Ｐの高さからもδＬを算出できる。）

ステップＳ４により導出した俯瞰画像のオプティカルフローからフローが導出できた点（図８（ａ）〜（ｃ）におけるフローベクトルｆの矢印の先の点位置に相当）に対して、式（１０）〜（１２）を用いて、その点の高さと距離とを算出する。そして、算出した結果を図１０に示すように、距離・高さパラメータ空間へ投票（プロット）する。

ステップＳ６では、坂路位置検出部２４が、ステップＳ５で求めた距離・高さパラメータ空間への投票結果から、図１１に示すように、最小自乗法やHough変換などの手法を用いて直線を抽出する。このとき、直線を構成する投票点数＞設定閾値となる直線が複数存在する場合は、複数本の直線を抽出する。

図１１は、水平路を表わす直線ｓ１と登坂路を表わす直線ｓ２とを抽出した例である。直線ｓ１と直線ｓ２との交点Ｉ_ｓが登坂路の開始点であり、直線ｓ２の傾きが登坂路の勾配を表わす。このようにして、距離・高さパラメータ空間への投票結果から直線式を得ることにより、坂路が存在する場合には、その位置と勾配とを検出することが可能となる。また、図８（ａ）〜（ｃ）に示す俯瞰画像におけるオプティカルフローが車両進行方向に対して斜めになっている場合でも、車両の進行方向を考慮することによって、坂路が存在する場合には、その位置と勾配と車両の姿勢とを導出することが可能である。

図１１に示すように、水平路を表わすｓ１のような直線式を抽出できた場合、その高さｈ_１から下式（１３）を用いて画像取得間隔における自車移動量を算出することができる。このように水平路の高さを用いれば、車速情報を取得しなくとも画像情報だけで坂路情報を導出することが可能である。あるいは、車両の左右方向や後方向に設置した他のカメラ１２ｂ〜１２ｄの画像から同様に水平路を導出して画像取得間隔における自車移動量を算出しても良い。

なお、上式（１３）におけるパラメータを以下のように定義する。
ｈ_１：直線ｓ１の切片（距離０での高さ）
δＤ_１：直線ｓ１を構成する点の時刻ＴとＴ−１との位置差
δＬ_１：画像取得間隔における自車移動量

ステップ７では、勾配度計算部２６が、ステップＳ６により抽出した距離・高さパラメータ空間での直線ｓ２から、下式（１４）に基づき、この直線ｓ２の勾配ａ_２を求める。これより、坂路の勾配度は下式（１５）によって算出できる。なお、下式（１４）において、ｈ：高さ、Ｚ：自車からの距離、である。

ステップ８では、坂路正像化画像作成部２８が、ステップ７により導出した坂路の位置と勾配とから、この坂路を仮想スクリーンとして投影画像を作成する。図１３において、正像化画像上の坂路開始点Ｉ_ｓ’までは、仮想スクリーンＣ１として上述の図５に示したような水平面Ｐを用いる。坂路開始点Ｉ_ｓ’以遠は、図１２に示すように、仮想スクリーンＣ２として坂路平面Ｓを用いる。Ｚ_ｖを、水平面Ｐを仮想スクリーンＣ１とした正像化画像作成時の仮想スクリーンＣ１までの距離、Ｉ_ｓを実際の坂路開始位置とすると、正像化画像上の坂路開始点Ｉ_ｓ’と、坂路平面Ｓを仮想スクリーンＣ２とした正像化画像作成時の仮想スクリーンＣ２までの距離Ｚ_ｓは、それぞれ下式（１６）及び下式（１７）によって求められる。

このようにして路面に平行な仮想スクリーン上に撮像画像の投影画像を作成すると、坂路であっても走行路のサイズや形状に違和感のない俯瞰画像を作成することが可能となる。図１４（ａ）に示すように、登坂路の場合はそのまま俯瞰画像を作成すると、走行路が広がった俯瞰画像が作成されてしまうが、図１４（ｂ）に示すように路面に平行な仮想スクリーン上に撮像画像の投影画像を作成することにより、登坂路でも走行路のサイズや形状に違和感のない俯瞰画像となる。また、図１５（ａ）に示すように、降坂路の場合はそのまま俯瞰画像を作成すると、走行路が狭まった俯瞰画像が作成されてしまうが、図１５（ｂ）に示すように路面に平行な仮想スクリーン上に撮像画像の投影画像を作成することにより、登坂路でも走行路のサイズや形状に違和感のない俯瞰画像となる。

ステップＳ９では、統合俯瞰画像作成部３０が、車両の前後左右方向に設置されたカメラ１２ａ〜１２ｄの撮像画像から作成され、正像化された俯瞰画像を合成し、全てを統合した俯瞰画像を作成する。

ステップＳ１０では、情報出力部３２が、ステップＳ９にて作成された俯瞰画像をドライバーに表示したり、車両が坂路を走行するための制御情報等として、車両の他の装置に情報を出力する。

本実施形態の路面勾配検出装置によれば、オプティカルフロー計算部２２が、カメラ１２ａ〜１２ｄによって撮像された時刻が異なる複数の撮像画像同士について、任意の領域の対応関係を検出し、坂路位置検出部２４及び勾配度計算部２６がオプティカルフロー計算部２２によって検出された対応関係に基づき路面の勾配を計算するため、レーンマークがない場所でも、路面勾配を検出することができる。

また本実施形態の路面勾配検出装置によれば、オプティカルフロー計算部２２は、カメラ１２ａ〜１２ｄによって撮像時刻が異なる複数の撮像画像同士について、水平面投影・俯瞰画像作成部１８によって各々作成された俯瞰画像同士における任意の領域の対応関係を検出するため、俯瞰画像に基づいて路面勾配を検出することができる。

さらに本実施形態の路面勾配検出装置によれば、オプティカルフロー計算部２２は、カメラ１２ａ〜１２ｄによって撮像された時刻が異なる複数の撮像画像同士について、任意の領域のオプティカルフローを検出し、オプティカルフローは画像同士で容易に検出できるため、複数の俯瞰画像の対応関係を検出することが容易となる。

加えて本実施形態の路面勾配検出装置によれば、坂路位置検出部２４及び勾配度計算部２６は、オプティカルフロー計算部２２が検出したオプティカルフローのフローベクトルの大きさの変化に基づいて登坂路か降坂路かを計算するため、登坂路か降坂路かを検出することが容易となる。

一方、本実施形態の画像表示装置１０によれば、坂路位置検出部２４が路面の勾配を検出し、坂路正像化画像作成部２８が坂路位置検出部２４によって検出された路面の勾配に基づいて、路面に平行な面に路面の撮像画像を投影した投影画像を作成するため、坂路であってもあたかも車両がその場所を走行したときに俯瞰した画像を作成することができる。また、情報出力部３２が、坂路正像化画像作成部２８が作成した投影画像を俯瞰画像として表示するため、路面の勾配が変動しても俯瞰画像における路面の見え方が保持される。

さらに、本実施形態の画像表示装置１０は、坂路位置検出部２４がレーンマークがない場所でも路面勾配を検出することが可能であるため、路面勾配を検出することが容易である。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。

実施形態に係る路面勾配検出装置及び画像表示装置の構成を示すブロック図である。 実施形態に係るカメラの配置を示す平面図である。 魚眼カメラ画像の例を示す図である。 実施形態に係る画像表示装置の動作を示すフロー図である。 カメラ画像を水平面に投影した視点変換を示す斜視図である。 カメラと投影する水平面との関係を示す図である。 物体の高さと相対水平面への物体の投影像の移動量との関係を示す図である。 （ａ）〜（ｃ）は、路面の勾配によるオプティカルフローベクトルを示す図である。 物体の高さと相対水平面への物体の投影像の移動量との関係を詳細に示す図である。 距離・高さパラメータ空間への投票結果を示す図である。 距離・高さパラメータ空間で直線抽出を行った様子を示す図である。 距離・高さパラメータ空間で直線抽出を行った様子を示す図である。 坂路の正像化画像の作成方法を示す図である。 （ａ）（ｂ）は、登坂路の水平投影俯瞰図を違和感がない俯瞰図に変換する様子を示す図である。 （ａ）（ｂ）は、降坂路の水平投影俯瞰図を違和感がない俯瞰図に変換する様子を示す図である。

符号の説明

１０…画像表示装置、１１…車体、１２a，１２b，１２ｃ，１２ｄ…カメラ、１４…車両センサ類、１６…センサ情報取込部、１８…水平面投影・俯瞰画像作成部、２０…俯瞰画像一時記憶装置、２２…オプティカルフロー計算部、２４…坂路位置検出部、２６…勾配度計算部、２８…坂路正像化画像作成部、３０…統合俯瞰画像作成部、３２…情報出力部、Ｆ…オプティカルフロー。

Claims (6)

1. 路面の勾配を検出する路面勾配検出装置であって、
   路面を撮像する撮像手段と、
   前記撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域の対応関係を検出する対応関係検出手段と、
   前記対応関係検出手段によって検出された対応関係に基づき前記路面の勾配を計算する勾配度計算手段と、
   を備えた路面勾配検出装置。
2. 前記撮像手段により撮像された撮像画像を視点変換して俯瞰画像を作成する俯瞰画像作成手段をさらに備え、
   前記対応関係検出手段は、前記撮像手段による撮像時刻が異なる複数の撮像画像同士について、前記俯瞰画像作成手段によって各々作成された俯瞰画像同士における任意の領域の対応関係を検出する、
   請求項１に記載の路面勾配検出装置。
3. 前記対応関係検出手段は、前記撮像手段によって撮像された時刻が異なる複数の撮像画像同士について、任意の領域のオプティカルフローを検出する、請求項１または２に記載の路面勾配検出装置。
4. 前記勾配度計算手段は、前記対応関係検出手段が検出したオプティカルフローのフローベクトルが大きくなっている領域は登坂路として計算し、前記対応関係検出手段が検出したオプティカルフローのフローベクトルが小さくなっている領域は降坂路として計算する、請求項３に記載の路面勾配検出装置。
5. 撮像手段により撮像された路面の撮像画像を視点変換して俯瞰画像を表示する画像表示装置であって、
   前記路面の勾配を検出する路面勾配検出手段と、
   前記路面勾配検出手段によって検出された路面の勾配に基づいて、路面に平行な面に前記路面の撮像画像を投影した投影画像を作成する投影画像作成手段と、
   前記投影画像作成手段が作成した投影画像を前記俯瞰画像として表示する表示手段と、
   を備えた画像表示装置。
6. 前記路面勾配検出手段は、請求項１〜４のいずれか１項に記載の路面勾配検出装置である、請求項５に記載の画像表示装置。

Images