JP2013197816A - 車載画像表示装置 - Google Patents

Abstract

【課題】使用者にとって表示ディスプレイ２０の画像表示を見易くする。
【解決手段】光軸が俯角になるように取り付けられたＣＣＤカメラ１０と、ＣＣＤカメラ１０により撮影させるようにＣＣＤカメラ１０を制御する電子制御装置３０とを備え、電子制御装置３０は、ＣＣＤカメラ１０の取り付け角度θを用いてＣＣＤカメラ１０の撮影画像を鳥瞰画像に鳥瞰変換して、この鳥瞰画像を逆鳥瞰変換して光軸を水平方向に向けることを仮定した画像を生成して、この生成される画像を表示ディスプレイ２０に表示させる。したがって、表示ディスプレイ２０において、地面から垂直方向に表示されるべき表示物（すなわち、垂直エッジ）が地面に対して垂直になるように表示され、かつ地面に対して平行に表示されるべき表示物（すなわち、水平エッジ）が地面に対して平行になるように表示される。
【選択図】図１

Description

本発明は、車両周辺を撮影した画像を表示装置に表示させる車載画像表示装置に関するものである。

従来、車載画像表示装置において、光軸を水平方向に対して下向きになるように配置されて車両周辺を撮影するためのＣＣＤカメラと、表示ディスプレイと、予め記憶される変換マップにしたがってＣＣＤカメラにより撮影された画像の画素位置を変換して補正画像を生成して、この生成した補正画像を表示ディスプレイに表示する画像処理ＥＣＵとを備えるものがある（例えば、特許文献１参照）。

このものにおいて、変換マップは、地面から垂直方向に表示されるべきであるにもかかわらず、地面から傾いて表示される表示物についてその傾きを是正した補正画像を得るために、ＣＣＤカメラにより撮影された画像と補正画像との間の画素の位置関係を示すものである。これにより、表示ディスプレイおいて、地面から垂直方向に表示されるべき表示物を地面から垂直方向に表示することができる。

特開２０１１−４０８２５号公報

上述の車載画像表示装置では、地面から垂直方向に表示されるべき表示物が地面から垂直方向に表示されるものの、地面に対して平行に表示されるべき表示物（水平エッジ）が、湾曲して表示されてしまい、使用者にとって表示物が見づらくなる（図１２（ａ）（ｂ）参照）。

本発明は上記点に鑑みて、地面から垂直方向に表示されるべき表示物を地面から垂直方向に表示し、かつ地面に対して平行に表示されるべき表示物を地面に対して平行に表示するようにした車載画像表示装置を提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、
光軸が俯角になるように車両に取り付けられるカメラ（１０）により撮影される車両周辺の景色の画像を補正する画像補正手段（Ｓ１１０、Ｓ１２０、Ｓ１２５）と、
前記画像補正手段により求められる補正画像を表示装置（２０）に表示させる制御手段（Ｓ１３０）と、を備える車載画像表示装置であって、
前記画像補正手段は、
前記カメラの取り付け角度（θ）を用いて前記カメラにより撮影される画像を車両上側から視た鳥瞰画像に変換する鳥瞰変換手段（Ｓ１１０）と、
前記光軸を水平方向にすることを仮定した画像に前記鳥瞰画像を逆変換する逆変換手段（Ｓ１２０）と、を備え、
前記制御手段は、前記逆変換手段により求められる画像を前記補正画像として前記表示装置に表示させることを特徴とする。

請求項１に記載の発明によれば、表示装置において、地面から垂直方向に表示されるべき表示物（すなわち、垂直エッジ）が地面に対して垂直になるように表示され、かつ地面に対して平行に表示されるべき表示物（すなわち、水平エッジ）が地面に対して平行になるように表示される。したがって、使用者にとって表示装置の表示が見易くなる。

請求項２に記載の発明では、前記画像補正手段は、前記画像の周辺側から中央部に向かうほど前記画像内の被撮影対象が拡大されるように前記逆変換手段により求められる画像を補正する樽型歪み補正手段（Ｓ１２５）を備え、
前記制御手段は、前記樽型歪み補正手段により求められる画像を前記補正画像として前記表示装置に表示させることを特徴とする。

請求項２に記載の発明によれば、樽型歪み補正手段により求められる画像を表示装置に表示させるので、広角レンズを通してカメラ撮影される画像に表示装置の表示画像を近づけることができる。このため、表示装置の表示画像に対して使用者が感じる違和感を減らすことができる。

請求項３に記載の発明では、道路勾配を検出する検出手段（Ｓ１４０）を備え、
前記鳥瞰変換手段（Ｓ１１０）は、前記カメラの取り付け角度（θ）と前記検出手段により求められる道路勾配とを用いて、前記カメラにより撮影される画像を前記鳥瞰画像に変換することを特徴とする。

請求項３に記載の発明によれば、道路が傾斜している場合でも、上述の請求項１に記載の発明と同様の効果を得ることができる。

なお、この欄および特許請求の範囲で記載した各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。

本発明の第１実施形態における車載画像表示装置の構成を示す図である。 第１実施形態における車載画像表示装置のＣＣＤカメラの光軸を示す図である。 第１実施形態における電子制御装置による補正表示処理のフローチャートである。 第１実施形態の電子制御装置の補正表示処理の得られる補正画像を示す図である。 第１実施形態において画像中の水平エッジの表示の変化を示す図である。 本発明の第２実施形態における電子制御装置による補正表示処理のフローチャートである。 本発明の第３実施形態における電子制御装置による補正表示処理のフローチャートである。 第３実施形態において道路勾配、光軸などの関係を示す図である。 第３実施形態において駐車場に自動車が駐車する様子を示す図である。 第３実施形態において鳥瞰画像を示す図である。 道路勾配の検出処理を説明するための図である。 従来技術の問題を説明するための図である。

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、説明の簡略化を図るべく、図中、同一符号を付してある。

（第１実施形態）
図１に本発明の車載画像表示装置１の第１実施形態を示す。

本実施形態の車載画像表示装置１は、駐車支援装置を構成するもので、ＣＣＤカメラ１０、表示ディスプレイ２０、および電子制御装置３０を備える。

ＣＣＤカメラ１０は、車両後方の景色を撮影するために自動車の後部においてレンズを後方に向けて取り付けられている。ＣＣＤカメラ１０は、図２（ａ）に示すように、光軸が俯角になるように取り付け角度θが設定されている。これは、ＣＣＤカメラ１０のレンズ面に雨滴が付くことを避けるためである。取り付け角度θは、ＣＣＤカメラ１０の光軸の進行方向が水平方向に対してなす角度である。
表示ディスプレイ２０は、車室内のインストルメントパネルの中央にて車両後方に向けて配置されている。電子制御装置３０は、マイクロコンピュータやメモリ等から構成されるもので、ＣＣＤカメラ１０を制御して車両後方の景色を撮影させるとともに、この撮影された画像を補正してこの補正された画像を表示ディスプレイ２０に表示させる補正表示処理を実行する。

次に、本実施形態の電子制御装置３０による補正表示処理の詳細について説明する。

電子制御装置３０は、図３のフローチャートにしたがって、補正表示処理を実行する。補正表示処理は繰り返し実行される。

まず、ステップＳ１００において、ＣＣＤカメラ１０を制御してＣＣＤカメラ１０によって車両後方の景色を撮影させる。次に、ＣＣＤカメラ１０の取り付け角度θを用いてＣＣＤカメラ１０によって撮影された撮影画像を車両の上側から視た鳥瞰画像に鳥瞰変換する（ステップＳ１１０）。すなわち、光軸が俯角θとなるＣＣＤカメラ１０の撮影画像に対して、車両の上側から下側に向く方向Ｙ１を光軸の向きと仮定した鳥瞰画像に変換する（図２（ｂ）中矢印ａ参照）。本実施形態の上側とは、重力方向の上側のことである。

次に、上述のステップＳ１１０で鳥瞰変換された鳥瞰画像を逆鳥瞰変換する（ステップＳ１２０）。逆鳥瞰変換とは、光軸を水平方向Ｙ２に向けることを仮定した画像（図２（ｂ）中矢印ｂ参照）に画像に逆鳥瞰変換することである。水平方向Ｙ２とは、重力方向に直交する方向のことである。その後、ステップＳ１３０で、上述の逆鳥瞰変換で生成される画像を表示ディスプレイ２０に表示させる。

以上説明した本実施形態によれば、光軸が俯角になるように取り付けられたＣＣＤカメラ１０と、ＣＣＤカメラ１０により撮影させるようにＣＣＤカメラ１０を制御する電子制御装置３０とを備え、電子制御装置３０は、ＣＣＤカメラ１０の取り付け角度θを用いてＣＣＤカメラ１０の撮影画像を鳥瞰画像に鳥瞰変換して、この鳥瞰画像を逆鳥瞰変換して光軸を水平方向に向けることを仮定した画像を生成して、この生成される画像を表示ディスプレイ２０に表示させる。したがって、表示ディスプレイ２０において、地面から垂直方向に表示されるべき表示物（すなわち、垂直エッジ）が地面に対して垂直になるように表示され、かつ地面に対して平行に表示されるべき表示物（すなわち、水平エッジ）が地面に対して平行になるように表示される。したがって、使用者にとって表示ディスプレイ２０の表示が見易くなる。

図４（ａ）に特許文献１の補正画像を示し、図４（ｂ）に本実施形態の補正画像を示す。特許文献１の補正画像では、垂直エッジ（道路の側方）の壁が傾斜している。本実施形態の補正画像では、垂直エッジ（道路の側方）の壁が道路に垂直になるように表示され、水平エッジは、真っ直ぐに伸びるように表示されている。水平エッジとは、現実に地面に平行に配置されている物体（例えば、道路上の白線）の表示であって、表示画像中にて本来は地面に平行になるべき表示である。

なお、図４（ａ）、（ｂ）は、画角を１３０ｄｅｇとし、取り付け高さを１メートルとしたＣＣＤカメラ１０により撮影される撮影画像から得られる補正画像である。

図５に表示ディスプレイ２０に表示画像中の水平エッジについて説明する。図５において縦軸を車両前後方向の位置（前後位置）とし、横軸を車両横方向の位置（横位置）とする表示画像中の水平エッジを示す。図中白塗り三角は特許文献１の補正画像中の水平エッジを示し、白塗り四角は本実施形態の補正画像中の水平エッジを示している。

特許文献１の補正画像の水平エッジは、車両前後方向においてＣＣＤカメラ１０（すなわち、自動車）に近づくほど、車両横方向においてＣＣＤカメラ１０から遠ざかるように湾曲して表示される。本実施形態の補正画像の水平エッジは、真っ直ぐ、車両前後方向の後側からＣＣＤカメラ１０（すなわち、自動車）側に近づくように表示される。
（第２実施形態）
上述の第１実施形態では、鳥瞰画像を逆鳥瞰変換した画像を表示ディスプレイ２０に表示させる例について説明したが、これに代えて、本実施形態では、逆鳥瞰変換後の画像に対して樽型歪みを付けた画像を表示ディスプレイ２０に表示させる例について説明を説明する。

図６は本実施形態の補正表示処理を示すフローチャーである。本実施形態の電子制御装置３０は、図６のフローチャートにしたがって、補正表示処理を実行する。図６のフローチャートは、図３中のステップＳ１２０、Ｓ１３０の間にステップＳ１２５を追加したものである。

ステップＳ１２５は、ステップＳ１２０で得られる逆鳥瞰変換後の画像に樽型歪みを付ける樽型歪み付け処理である。樽型歪み付け処理では、広角レンズを用いて撮影することを仮定して得られる画像を求めるために、逆鳥瞰変換後の画像を補正して、画像において周辺側から中央部に近づくほど被撮影対象が拡大して表示される画像を得ることである。そして、このように樽型歪み（レンズ歪み）が付けられた画像（図４（ｃ）参照）を表示ディスプレイ２０に表示させる（ステップＳ１３０）。

例えば、樽型歪み（レンズ歪み）が付加された画像（図４（ｃ）参照）では、自車両付近でかつ右端側に位置する表示物の幅寸法が、樽型歪みが付けられていない画像（図４（ｂ）参照）に比べて小さくなっている。自車両とは、本実施形態のＣＣＤカメラ１０を搭載する車両のことである。

以上説明した本実施形態によれば、電子制御装置３０は、逆鳥瞰変換後の画像に対して樽型歪みを付けた画像を表示ディスプレイ２０に表示させる。このため、広角レンズを用いてカメラ撮影される画像に表示ディスプレイ２０の表示画像を近づけることができる。このため、表示ディスプレイ２０の表示画像に対して使用者が感じる違和感を減らすことができる。

（第３実施形態）
本実施形態では、道路の勾配を用いて鳥瞰画像を逆鳥瞰変換する例について説明する。

図７は、本実施形態の補正表示処理を示すフローチャーである。本実施形態の電子制御装置３０は、図７のフローチャートにしたがって、補正表示処理を実行する。図７のフローチャートは、図３中のステップＳ１００、Ｓ１１０の間にステップＳ１４０を追加したものである。

まず、ステップＳ１００において、ＣＣＤカメラ１０によって車両後方の景色を撮影させる。次のステップＳ１４０で、ＣＣＤカメラ１０により撮影された撮影画像に基づいて、道路の勾配α（図８参照）を検出する。なお、道路の勾配αを検出処理については後述する。

次に、ステップＳ１１０において、道路勾配αおよびＣＣＤカメラ１０の取り付け角度θ（図２参照）を用いて、ＣＣＤカメラ１０の撮影画像を、車両の上側から下側に向く方向Ｙ３（図８参照）を光軸の向きと仮定した鳥瞰画像に変換する。図８中の矢印Ｙ３は重力方向を示している。例えば、図８のように、道路の勾配α（＞０）が生じている場合に、道路の勾配αとＣＣＤカメラ１０の取り付け角度θとを用いてＣＣＤカメラ１０の撮影画像を鳥瞰画像に変換する。

次に、ステップＳ１２０において、鳥瞰画像を逆鳥瞰変換して光軸を水平方向Ｙ２に向けることを仮定した画像を生成する。このように逆鳥瞰変換で生成される画像を表示ディスプレイ２０に表示させる（ステップＳ１３０）。

次に、本実施形態の道路の勾配を検出処理の説明として、自動車を駐車場に駐車する場合に道路の勾配を求める具体例について説明する
図９に示すように、駐車枠４０の白線４０ａ、４０ｂの間に自動車５０が後退して駐車する際に、ステップＳ１００において、電子制御装置３０がＣＣＤカメラ１０によって車両後方の景色を撮影させる。

ＣＣＤカメラ１０の撮影画像では、水平エッジが画像のうちの光軸に対応する点に集中するように表示される。例えば、駐車枠４０の道路上の白線４０ａ、４０ｂを含む画像をＣＣＤカメラ１０の撮影画像として表示する場合には、図１０（ａ）、（ｂ）に示すように、白線４０ａ、４０ｂが光軸に対応する点に集中することになる。なお、図１０（ａ）、（ｂ）では、白線４０ａ、４０ｂ以外の表示は省略している。

そこで、本実施形態では、ＣＣＤカメラ１０の撮影画像を画像処理して白線４０ａ、４０ｂが集中する点を光軸の位置として検出する。

ここで、撮影画像の縦方向をＹ方向とし、横方向をＸ軸とするＸ−Ｙ座標を設定して、撮影画像のうち光軸のＹ座標をＹ１として求める。撮影画像のうち中心点のＹ座標をＹ２として求める。光軸のＹ座標Ｙ１と撮影画像の中心点のＹ座標Ｙ２との間の寸法ｄＬを求める。寸法ｄＬは、ＣＣＤカメラ１０の取り付け角度θと道路の勾配αとから決まる。

図１１（ａ）に示すように、車両前方が高く車両後方が低い傾斜が道路に形成されている場合、道路の勾配αが大きくなるほど、撮影画像のうち光軸の位置が下側になる。

図１１（ｂ）に示すように、車両前方が低く車両後方が高い傾斜が道路に形成されている場合、道路の勾配αが大きくなるほど、撮影画像のうち光軸の位置が上側になる。

このように撮影画像のうち光軸の位置は、道路勾配αによって変化することになる。すなわち、寸法ｄＬと道路の勾配αとが１対１で特定される関係にある。そこで、寸法ｄＬと道路の勾配αとの関係をメモリに予めマップとして記憶しておき、このマップと寸法ｄＬとに基づいて道路の勾配αを求めることになる。

以上説明した本実施形態によれば、道路が傾斜している場合でも、道路勾配αとＣＣＤカメラ１０の取り付け角度θとを用いてＣＣＤカメラ１０の撮影画像を鳥瞰画像に鳥瞰変換して、この鳥瞰画像を逆鳥瞰変換して光軸を水平方向に向けることを仮定した画像を生成して表示ディスプレイ２０に表示させる。したがって、道路が傾斜している場合でも、上述の第１実施形態と同様の効果を得ることができる。

（他の実施形態）
上述の第３の実施形態では、ＣＣＤカメラ１０の撮影画像中の光軸を用いて道路の勾配を求める例について説明したが、これに限らず、各種の方法で道路の勾配を求めるようにしてもよい。

例えば、車両前側と車両後側とのそれぞれに距離センサを設け、前側の距離センサおよび後側の距離センサによって、車体の底部と路面との間の距離をそれぞれ検出し、前側の距離センサの検出距離と後側の距離センサの検出距離との差分により道路の勾配を求める。

或いは、道路の位置情報に対応付けて道路の勾配を道路データとしてメモリに予め記憶しておき、ＧＰＳにより現在地の位置情報を求め、この現在地の位置情報と道路データとに基づいて道路の勾配を求める。

上述の第１、第２、第３の実施形態では、車両後方の景色を撮影するために、ＣＣＤカメラ１を車両後方に向けるようにＣＣＤカメラ１を車両に取り付ける例について説明したが、これに代えて、ＣＣＤカメラ１によって車両側方（車両左右方向）の景色を撮影してもよく、車両前方（車両進行方向前側）の景色を撮影してもよい。

なお、本発明を実施する際に、上述の第２の実施形態と上述の第３の実施形態とをそれぞれ組み合わせて実施してもよい。すなわち、上述の第３の実施形態の逆鳥瞰変換で得られる画像に図６のステップＳ１２５の樽型歪み付け処理を施してもよい。

１ 車載画像表示装置
１０ ＣＣＤカメラ（カメラ）
２０ 表示ディスプレイ（表示装置）
３０ 電子制御装置

Claims (3)

1. 光軸が俯角になるように車両に取り付けられるカメラ（１０）により撮影される車両周辺の景色の画像を補正する画像補正手段（Ｓ１１０、Ｓ１２０、Ｓ１２５）と、
   前記画像補正手段により求められる補正画像を表示装置（２０）に表示させる制御手段（Ｓ１３０）と、を備える車載画像表示装置であって、
   前記画像補正手段は、
   前記カメラの取り付け角度（θ）を用いて前記カメラにより撮影される画像を車両上側から視た鳥瞰画像に変換する鳥瞰変換手段（Ｓ１１０）と、
   前記光軸を水平方向にすることを仮定した画像に前記鳥瞰画像を逆変換する逆変換手段（Ｓ１２０）と、を備え、
   前記制御手段は、前記逆変換手段により求められる画像を前記補正画像として前記表示装置に表示させることを特徴とする車載画像表示装置。
2. 前記画像補正手段は、前記画像の周辺側から中央部に向かうほど前記画像内の被撮影対象が拡大されるように前記逆変換手段により求められる画像を補正する樽型歪み補正手段（Ｓ１２５）を備え、
   前記制御手段は、前記樽型歪み補正手段により求められる画像を前記補正画像として前記表示装置に表示させることを特徴とする請求項１に記載の車載画像表示装置。
3. 道路勾配を検出する検出手段（Ｓ１４０）を備え、
   前記鳥瞰変換手段（Ｓ１１０）は、前記カメラの取り付け角度（θ）と前記検出手段により求められる道路勾配とを用いて、前記カメラにより撮影される画像を前記鳥瞰画像に変換することを特徴とする請求項１または２に記載の車載画像表示装置。

Images