JP2010003014A - 車両周辺表示装置およびその表示方法 - Google Patents

Abstract

【課題】 撮像データの歪を補正し、実際の物体との違和感を抑制した表示を行うことができる「車両周辺表示装置およびその表示方法」を提供する。
【解決手段】 本発明に係る車両周辺表示装置は、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成する撮像手段と、撮像データを補正する画像処理手段と、画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有する。画像処理手段は、周辺部（Ｈ２の範囲）にある物体の像高の変化率が増加し、中央部（Ｈ１の範囲）にある物体の像高の変化率が減少するように撮像データを補正する。
【選択図】 図５

Description

本発明は、撮像カメラによって自車周辺を撮像し、その撮像データをディスプレイ等に表示する機能を備えた車両周辺表示装置に関し、特に、撮像データの歪みを補正する技術に関する。

車両周辺表示装置は、車両のコーナーやナンバープレート等に広角レンズを備えた撮像カメラを搭載し、撮像カメラによって撮像された自車周辺の撮像データをディスプレイに表示する。これにより、自車周辺に存在する自動車や通行人その他の障害物等の危険をユーザに察知させることができる。特に、狭い駐車場や車庫に駐停車するときや、道幅の狭い道路を走行するときなど運転者に有効な支援をすることができる。

特許文献１は、前方から入射する光を撮像手段に向かわせる第１のモードと、左右方向から入射する光を撮像手段に向かわせる第２のモードに切換え可能な光学装置を含み、自動車の低速走行時や幹線道路進入時に第２のモードへ切り換り、ディスプレイに左右方向の撮像データを表示させている。

特開平６−２７８５３1号公報

車両の左右両側に壁があるような見通しの悪い交差点では、運転手が進入道路の状況を目視することができる位置まで車両の先頭を交差点に進入させる必要があるため、運転手による進入車両の発見が遅れた場合には、進入車両と衝突するおそれがあった。

そこで、上記のような見通しの悪い交差点などにおける車両前方の左右方向の情況を撮像するために、視野角の広い特殊な広角レンズを用いて表示するワイドビューシステムがある。これにより、視野角が１８０度もしくはそれ以上のワイドな視野角で左右の視界を撮像することを可能にしている。

しかし、このような特殊な広角レンズは、複数のレンズを組み合わせて構成されるため、汎用の魚眼レンズと比較して、コストが高くなるという課題がある。さらに、特殊な広角レンズを用いた場合、撮像データを視点変換し、自車の真上から見下ろすような画像（以下、トップビュー画像という）を表示するための計算処理が複雑になるという課題もある。

他方、魚眼レンズにより物体を撮像した場合、光軸から離れた物体の像高が小さく、光軸近傍の物体の像高が大きくなるような歪みが生じるため、撮像データの周辺部に写る物体は肉眼で見たときよりも小さく表示されるため物体までの距離を予測するのは難しくなる。さらに、撮像データの中央部に写る物体は、その形状に比較的大きな歪みが現れるため、実際の物体とは異なる印象をユーザに与え、違和感が生じてしまう。

図１（ａ）、（ｂ）は、魚眼レンズを用いたときの車両周辺の表示例を模式的に表している。図１（ａ）は、撮像カメラから比較的遠方にある車両１および車線２を撮像したときの表示例である。光軸から離れた位置すなわち撮像データの周縁部にある車両１のサイズは、肉眼で見たときよりもかなり小さく表示され、実際の位置よりも離れた位置に存在するような錯覚を与えしてしまう。例えば、ユーザが自車を後進させるとき、このような表示では、衝突してしまうおそれがある。

また図１（ｂ）に示すように、撮像カメラに近距離にある車両１および車線２を撮像したときの表示例である。光軸近傍の位置すなわち撮像データの中央部にある車両１は、周縁に向かい像高が小さくなるために形状が歪んで表示され、車両１の正確な視認をすることができなくなる。例えば、実際にはミニバン車などの小型車が隣接しているときでも、像形が歪んでいるためにワゴン車などの大型車と勘違いしてしまい、違和感が生じ、距離感がつかめない可能性がある。

本発明は、このような上記課題を解決するものであり、撮像データの歪を補正し、実際の物体との違和感を抑制した表示を行うことができる車両周辺表示装置を提供することを目的とする。
さらに本発明は、比較的安価な魚眼レンズを利用して歪の少ない表示を行うことができる車両周辺表示装置を提供することを目的とする。

本発明に係る車両周辺表示装置は、車両周辺を表示するものであって、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成する撮像手段と、前記撮像データを補正する画像処理手段と、前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、前記画像処理手段は、前記撮像レンズの光軸から一定距離以上にある物体の像高の変化率が増加するように撮像データを補正する。好ましくは、前記画像処理手段はさらに、前記一定距離未満にある物体の像高の変化率が減少するように撮像データを補正する。

本発明に係る車両周辺表示装置は、車両周辺を表示するものであって、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成する撮像手段と、前記撮像データを補正する画像処理手段と、前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、前記画像処理手段は、前記撮像手段の撮像レンズへの物体の入射角が一定のの角度以上にある物体の像高の変化率が増加するように撮像データを補正する。好ましくは画像処理手段はさらに、前記一定の角度未満にある物体の像高の変化率が減少するように撮像データを補正する。

好ましくは前記補正された撮像データは、前記撮像レンズの光軸から一定の距離未満に対応する第１の領域において像高が減少された画像データを含み、前記一定の距離以上に対応する第２の領域において像高が増加された画像データを含む。

好ましくは前記画像処理手段は、前記撮像手段が次式に従い撮像データを生成するとき、ｋ１、ｋ３、ｋ５、ｋ７、ｋ９の値を補正する（但し、θは光軸と入射光の角度、ｆは撮像レンズの焦点距離、ｒ（θ）は画像の点と原点の距離での歪曲収差、（Ｃｘ、Ｃｙ）は撮像データの画像主点、（ｘ、ｙ）は入力画像（画像主点を原点とする）、ｍ_ｕ、ｍ_ｖは水平、垂直方向のピクセル数、ｋ１、ｋ３、ｋ５、ｋ７、ｋ９は係数）。

さらに本発明に係る車両周辺表示方法は、撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成し、生成された撮像データを用いて車両周辺を表示するものであって、前記撮像レンズの光軸から一定距離以上にある物体の像高の変化率が増加し、かつ前記一定距離未満にある物体の像高の変化率が減少するように撮像データを補正するステップと、補正された撮像データをディスプレイに表示するステップとを有する。

本発明によれば、撮像レンズの光軸から一定の距離未満にある物体の像高の変化率が減少し、かつ一定の距離以上にある物体の像高の変化率が増加するように撮像データを補正するようにしたので、光軸から離れた物体の像高が小さく光軸近傍の像高が大きくなる魚眼レンズのような広角レンズであっても、光学的と距離の影響の歪を抑制し、実際の物体との違和感の少ない車両周辺画像を表示することができる。さらに、車両周辺表示装置に汎用の広角レンズを使用することができるため、低コスト化を図ることができる。さらに、汎用の広角レンズを用いることで、撮像データの画像変換処理が容易となり、トップビュー画像との組み合わせも容易となる。

本発明の最良の実施の形態について図面を参照して詳細に説明する。

図２は、本発明の実施例に係る車両周辺表示装置の構成を示すブロック図である。車両周辺表示装置１０は、車両周辺を撮像する撮像カメラを備えた撮像部２０と、撮像部２０により撮像された撮像データを受け取り、当該撮像データを補正して画像データを生成する画像処理部３０と、生成された画像データをディスプレイに表示する表示制御部４０とを含む。

撮像部２０は、少なくとも１つの撮像カメラを含み、撮像カメラは、例えば車両の後部、側方、前方に搭載することができる。撮像カメラは、好ましくは、視野角が大きい魚眼レンズを含み、撮像カメラは、魚眼レンズによって撮像された車両周辺の撮像データを出力する。

魚眼レンズのように視野角の大きな広角レンズでは、レンズの光軸近傍とその周縁部では、収差等によって歪の度合いが大きく異なる。画像処理部３０は、このような歪を補正することで、物体とその像との形状の歪や撮像データの面内の位置に依存して生じる歪等を是正する。画像処理部３０は、例えば、コンピュータ装置の汎用の中央処理装置によって実行されたり、あるいは専用の画像処理プロセッサによって実行される。また、画像処理部３０は、ハードウエアによる処理のみならず、ハードウエアを制御するプログラムを含むものであってもよい。

図３は、魚眼レンズにより撮像された物体とその像との関係を説明する図である。魚眼レンズＬの光軸をＺとし、その視野角を約１８０度としたとき、魚眼レンズＬによって半径ｓで表される三次元空間が撮像可能範囲となる。Ｍは、魚眼レンズＬによって撮像される物体ｐが存在する計測平面を示し、Ｉは、物体ｐが魚眼レンズＬによって撮像されたときの像Ｐが存在する画像平面を示している。（ｘ、ｙ）は、画像平面Ｉの像の座標、（Ｃｘ、Ｃｙ）は、画像主点、θは物体ｐの入射角、φは、像Ｐのｘ軸との成す角である。図３に示す物体ｐと像Ｐの関係は、次式によって表すことができる。

ここで、ｒ（θ）は、画像平面Ｉにおける像Ｐと原点０の距離であり、歪曲収差を意味する。また、ｍ_ｕ、ｍ_ｖは、水平・垂直方向の単位ピクセル数、ｆは、魚眼レンズの焦点距離、（Ｕ、Ｖ）は、歪補正された画像座標である。

計測平面Ｍの物体ｐは、魚眼レンズＬによって撮像されると、画像平面Ｉの像Ｐに変換される。画像処理部３０は、計測平面Ｍの物体ｐと、光軸Ｚが計測平面Ｍと交差する交点Ｐ´までの距離ｄ１と、像Ｐと原点０までの距離ｄ２の対応から補正を行う。

上記したように、魚眼レンズＬで撮像された撮像データは、周辺部の像高が光軸近傍の像高よりも小さくなる。言い換えれば、撮像データの周辺部では、距離ｄ１と距離ｄ２の差分Δｄが大きくなり、光軸近傍では、距離ｄ１とｄ２の差分Δｄが小さくなる。本実施例では、周辺部の差分Δｄが小さくなるように、光軸近傍の差分Δｄが大きくなるようにし、撮像データの全体の歪を緩和する。

上記の式において、ｒ（θ）は、レンズの光学設計により決定されるものであり、例えば、オイラーの近似式によって表すことが可能である。近似式におけるｋ１、ｋ３、ｋ５、ｋ７、ｋ９は、係数であり、これらの係数を変更することで、画像平面Ｉの像（ｘ、ｙ）を補正し、歪補正された画像（Ｕ、Ｖ）を得ることができる。歪補正された画像（Ｕ、Ｖ）は、周辺部の差分Δｄが小さく、光軸近傍の差分Δｄが大きくなり、これにより、画像平面内における位置に依存した歪の度合いが是正される。

次に、本実施例の車両周辺表示装置の好ましい補正例について説明する。図４は、魚眼レンズによって撮像された撮像データのディスプレイ上の表示領域を示している。表示領域１００の各画素は、図３に示す画像平面Ｉの像Ｐ（すなわち、歪補正された像）に対応する。ここで、光軸近傍の中心領域１１０の座標をＡ１，Ａ２、Ａ３、Ａ４とし、これに近接する左右の周辺領域１２０、１３０の座標をＢ１〜Ｂ４、Ｂ５〜Ｂ８とする。

図５は、中心領域と周辺領域の具体的な補正例を示している。縦軸は像高、横軸は画角（光軸から物体の距離ｄ１またはｄ２に対応）である。曲線Ｋ１は、魚眼レンズＬの光学設計値に従うときの画角と像高の関係を示し、曲線Ｋ２は、本実施例による歪補正されたときの画角と像高の関係を示している。画角の範囲Ｈ１は、図４に示す中心領域１１０に対応し、画角の範囲Ｈ２は、周辺領域１２０または１３０に対応している。画角の範囲Ｈ１では、歪補正された像高の変化率が光学設計値の像高の変化率よりも小さくなり、画角の範囲Ｈ２では、歪補正された像高の変化率が光学設計値の像高の変化率よりも大きくなっている。

図６は、本実施例により歪補正をしたときの表示を示し、図６（ａ）は、図１(ａ)に対応し、図６（ｂ）は図２（ｂ）に対応している。図６（ａ）と図１（ａ）と比較すると、歪補正された画像データでは、周辺部の像高変化が大きくされるため、従来よりも車両１が大きく表示されている。これによりユーザは、車両１までの距離感を掴みやすくなる。また、図６（ｂ）と図１（ｂ）を比較すると、歪補正された画像データでは、中心部の像高変化が小さくされるため、従来よりも車両１の形状の歪が小さく表示される。

なお、上記例では、１つの中心領域１１０と、２つの周辺領域１２０、１３０を設定したが、設定する範囲や数は、適宜変更することができる。例えば、４つの周辺領域を撮像データの４つのコーナーに設定してもよい。さらに、歪補正を領域毎に複数のレベルで可変するようにしてもよい。例えば、図７に示すように、表示領域１００を、光軸からの距離が遠ざかるにつれて複数の楕円領域１４０、１５０、１６０に設定し、各楕円領域１４０、１５０、１６０の像高の変化率を調整するようにしてもよい。

本実施例の車両周辺表示装置１０は、撮像部２０によって撮像された撮像データを車両真上から視点変換されたトップビュー画像に適用することも可能である。図８はトップビュー画像の表示例である。トップビュー画像２００は、車両の前方画像Ｆ、左右の画像ＳＲ、ＳＬ、および後方画像Ｒを含んでいる。各画像Ｆ、ＳＲ、ＳＬ、Ｒは、広角レンズを有する撮像カメラによって撮像された撮像データを視点変換したものである。少ない撮像カメラによって自車周辺を撮像するためには、視野角の大きい広角レンズを用いる必要があり、この場合にも、撮像データに歪が生じる。従って、各画像Ｆ、ＳＲ、ＳＬ、Ｆについて、本実施例の歪補正を適用することで、歪の少ないトップビュー画像を得ることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明に係わる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本実施例の車両周辺表示装置は、例えば車両に搭載されたナビゲーション装置やビデオ装置に組み込まれたシステムの一部として機能するものであってもよいし、単体として機能するものであってもよい。さらに車両周辺表示装置は、撮像された物体までの距離を計測する計測技術と相まって、物体への警告を行うものであってもよい。

従来の車両周辺表示装置において、図１（ａ）は遠距離の物体を撮像したときの表示例、図１（ｂ）は近距離の物体を撮像したときの表示例である。 本発明の実施例に係る車両周辺表示装置の構成を示すブロック図である。 魚眼レンズにより撮像された物体とその像との関係を説明する図である。 魚眼レンズによって撮像された撮像データのディスプレイ上の表示領域を示す図である。 中心領域と周辺領域の補正例を説明する図である。 本実施例の車両周辺表示装置において、図６（ａ）は遠距離の物体を撮像したときの表示例、図６（ｂ）は近距離の物体を撮像したときの表示例である。 本実施例における他の歪補正の方法を説明する図である。 本実施例を適用したトップビュー画像を示す図である。

符号の説明

１：車両 ２：車線
１０：車両周辺表示装置 ２０：撮像部
３０：画像処理部 ４０：表示制御部
１００：表示領域 １１０：中央領域
１２０、１３０：周辺領域 ２００：トップビュー画像

Claims (8)

1. 車両周辺を表示する車両周辺表示装置であって、
   撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成する撮像手段と、
   前記撮像データを補正する画像処理手段と、
   前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、
   前記画像処理手段は、前記撮像レンズの光軸から一定距離以上にある物体の像高の変化率が増加するように撮像データを補正する、
   車両周辺表示装置。
2. 前記画像処理手段はさらに、前記一定距離未満にある物体の像高の変化率が減少するように撮像データを補正する、請求項１に記載の車両周辺表示装置。
3. 車両周辺を表示する車両周辺表示装置であって、
   撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成する撮像手段と、
   前記撮像データを補正する画像処理手段と、
   前記画像処理手段で補正された撮像データをディスプレイに表示する表示手段とを有し、
   前記画像処理手段は、前記撮像手段の撮像レンズへの物体の入射角が一定のの角度以上にある物体の像高の変化率が増加するように撮像データを補正する、車両周辺表示装置。
4. 画像処理手段はさらに、前記一定の角度未満にある物体の像高の変化率が減少するように撮像データを補正する、車両周辺表示装置。
5. 前記補正された撮像データは、前記撮像レンズの光軸から一定の距離未満に対応する第１の領域において像高が減少された画像データを含み、前記一定の距離以上に対応する第２の領域において像高が増加された画像データを含む、請求項１または３に記載の車両周辺表示装置。
6. 前記画像処理手段は、前記撮像手段が次式に従い撮像データを生成するとき、ｋ１、ｋ３、ｋ５、ｋ７、ｋ９の値を補正する（但し、θは光軸と入射光の角度、ｆは撮像レンズの焦点距離、ｒ（θ）は画像の点と原点の距離での歪曲収差、（Ｃｘ、Ｃｙ）は撮像データの画像主点、（ｘ、ｙ）は入力画像（画像主点を原点とする）、ｍ_ｕ、ｍ_ｖは水平、垂直方向のピクセル数、ｋ１、ｋ３、ｋ５、ｋ７、ｋ９は係数）、請求項１ないし４いずれか１つに記載の車両周辺表示装置。
   

   
7. 前記画像処理手段は、前記補正された撮像データを視点変換し、自車を真上から見下ろすような画像データに変換する手段を含む、請求項１または３に記載の車両周辺表示装置。
8. 撮像レンズを用いて車両周辺を撮像し、撮像レンズによって撮像された２次元座標の撮像データを生成し、生成された撮像データを用いて車両周辺を表示する車両周辺表示方法であって、
   前記撮像レンズの光軸から一定距離以上にある物体の像高の変化率が増加し、かつ前記一定距離未満にある物体の像高の変化率が減少するように撮像データを補正するステップと、
   補正された撮像データをディスプレイに表示するステップと、
   を有する車両周辺表示方法。

Images