JP2008034964A - 画像表示装置 - Google Patents
画像表示装置 Download PDFInfo
- Publication number
- JP2008034964A JP2008034964A JP2006203654A JP2006203654A JP2008034964A JP 2008034964 A JP2008034964 A JP 2008034964A JP 2006203654 A JP2006203654 A JP 2006203654A JP 2006203654 A JP2006203654 A JP 2006203654A JP 2008034964 A JP2008034964 A JP 2008034964A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle height
- vehicle
- image
- auxiliary
- auxiliary line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】車高の変動がある場合に、車高に応じて俯瞰画像に補助表示を表示することができる画像表示装置を提供する。
【解決手段】画像表示装置10は、車体11に、カメラ12a〜12d、視点変換装置16、映像合成装置20、ハイトセンサ22a〜22d、補助線調整装置24、補助線拡大率テーブル格納部26、ディスプレイ32を備えている。視点変換装置16はカメラ12a〜12dからの画像を俯瞰画像に変換する。補助線調整装置24は、ハイトセンサ22a〜22dが検出した車高に応じて俯瞰画像に描画する補助線の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助線を表示することができる。
【選択図】図1
【解決手段】画像表示装置10は、車体11に、カメラ12a〜12d、視点変換装置16、映像合成装置20、ハイトセンサ22a〜22d、補助線調整装置24、補助線拡大率テーブル格納部26、ディスプレイ32を備えている。視点変換装置16はカメラ12a〜12dからの画像を俯瞰画像に変換する。補助線調整装置24は、ハイトセンサ22a〜22dが検出した車高に応じて俯瞰画像に描画する補助線の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助線を表示することができる。
【選択図】図1
Description
本発明は画像表示装置に関し、特に、撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置に関するものである。
従来、車両に搭載され、ドライバーに対して障害物までの距離等を認識させるための駐車アシスト装置が知られている。例えば、特許文献1には、車両に搭載されたカメラによって車両周囲を撮像して得られた原画像を視点変換して俯瞰画像を生成し、当該俯瞰画像をドライバーに表示する装置が記載されている。この装置では、俯瞰画像に車両の後部両端から後方に伸びる補助線が表示され、車両幅の認識性を高めている。また、この装置では、俯瞰画像に車両後方からそれぞれ50cm、1m、2m離れた位置に補助線が表示され、障害物までの距離の認識性を高めている。
特開2004−64150号公報
自動車では、車両の経年変化や、乗車乗員数の変動、車高調整装置による車高調整等によって、車両の車高が変動する場合がある。ところが上記の技術では、車両の車高が変動して俯瞰画像における周辺環境の見え方が変わった場合には、周辺環境の見え方と補助線の表示との整合がとれず、俯瞰画像を表示されたドライバーが違和感を覚える場合がある。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、車高の変動がある場合に、車高に応じて俯瞰画像に補助表示を表示することができる画像表示装置を提供することにある。
本発明は、撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置であって、俯瞰画像において車両の周囲に補助表示を表示する補助表示手段と、補助表示手段が表示する補助表示の大きさを変更する補助表示変更手段と、車両の車高を検出する車高検出手段とを備え、補助表示変更手段は、車高検出手段が検出した車高に応じて補助表示の大きさを変更することを特徴とする。
この構成によれば、補助表示変更手段は、車高検出手段が検出した車高に応じて補助表示の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助表示を表示することができる。なお、本発明における「補助表示」とは、俯瞰画像における撮像画像以外の補助線、枠線、符号、記号、表示を意味する。
この場合、補助表示変更手段は、車高検出手段が検出した車高が大きいほど補助表示の大きさを縮小することが好適である。
この構成によれば、車高検出手段が検出した車高が大きく、周辺環境の見え方が小さくなればなるほど、補助表示変更手段が補助表示の大きさを縮小するため、周辺環境と見え方と補助表示との整合性が向上する。
一方、本発明では、車高と補助表示の大きさとの対応関係を記憶した記憶手段をさらに備え、補助表示変更手段は、記憶手段に記憶された車高と補助表示の大きさとの対応関係を参照し、車高検出手段が検出した車高に対応するように補助表示の大きさを変更することが好適である。
この構成によれば、記憶手段に車高と補助表示の大きさとの対応関係が記憶され、補助表示変更手段は、記憶手段に記憶された車高と補助表示の大きさとの対応関係を参照して、車高検出手段が検出した車高に対応するように補助表示の大きさを変更するため、車高に対応した補助表示の大きさを計算する労力が省け、より高速な演算が可能となる。
本発明の画像表示装置によれば、車高の変動がある場合でも、車高に応じて俯瞰画像に補助表示を表示することができる。
以下、本発明の実施の形態に係る画像表示装置について添付図面を参照して説明する。
図1は、実施形態に係る画像表示装置の構成を示すブロック図である。図1に示すように、本実施形態の画像表示装置10は、車体11に、カメラ(撮像手段)12a〜12d、画像入力装置14、視点変換装置16、初期セットアップ情報格納部18、映像合成装置20、ハイトセンサ(車高検出手段)22a〜22d、補助線調整装置(補助表示手段,補助表示変更手段)24、補助線拡大率テーブル格納部(記憶手段)26、擬似車両調整装置28、映像出力装置30、ディスプレイ32を備えている。
カメラ12a〜12dは、CCDあるいはCMOS等の半導体素子を用いた単眼カメラであり、比較的に広角なレンズまたは魚眼レンズが装着されている。図2は、実施形態に係るカメラの配置の例を示す斜視図である。図2に示すように、この例では、魚眼レンズが装着された4台のカメラ12a〜12dが、車体11の前後左右側にそれぞれ一台ずつ設置されており、車体11の全周囲を撮像して確認することができるようにされている。
図1に戻り、画像入力装置14は、カメラ12a〜12dのカメラ映像を取得する。画像入力装置14は、ある一定周期毎に、任意のタイミングでフレームの画像を取得する。このときのタイミングは同期をとってもよいし、非同期でも構わない。
視点変換装置16は、例えば、特開2003−91720号公報、特開2002−166802号公報、特許第3300334号公報等に記載の手法を用いて、画像入力装置14が取得した画像を平面投影やお椀型モデル等にマッピングして、平面視の画像に変換し、映像合成の準備を行うためのものである。
図3は、実施形態に係る視点変換原理を示す図である。図3において、実際のカメラの視点をpc、変換先となる仮想視点をpiとする。それぞれの焦点距離をfc、fiとすると、それぞれの画像は、視点から焦点距離だけ離れた平面Pc、Piで交わる点上に決像した投影画像である。例えば、各物体上の任意の点の平面Pc上に投影された画像ポイントは、その物体上の任意の点と視点とを結んだ線と、平面Pcとの交点である。
ここで、カメラで取得した画像中の画像ポイントXcを仮想画像面Pi上のXiへと変換する場合について考える。このXcに撮像されている物体が実際に地上平面Pw上に存在すると仮定すると、その平面Pw上の位置Xwは、視点pcと平面Pc上の点Xcとを結んだ線を延長して平面Pwと交差する点となる。これより、このXwと仮想視点Piとを結ぶ線と、仮想画面Piとの交点が、仮想画面Pi上へと画像ポイントXcを変換した位置Xiとなる。このような原理に基づいて本実施形態の視点変換装置16では、カメラ12a〜12dのカメラ映像を、平面視の画像に変換する。
初期セットアップ情報格納部18は、視点変換装置16及び映像合成装置20で使用するために最初に設定されたパラメータを格納するものである。初期セットアップ情報格納部18は、例えば、カメラ12a〜12dの内部パラメータ及び外部パラメータ、視点変換に関するパラメータ、4枚の画像を合成するための合成方法及び合成位置情報、さらに、これらの情報を決定した場合における初期の車高、補助線サイズ、及び擬似車両サイズを格納する。
映像合成装置20は、視点変換装置16からの画像を、初期セットアップ情報格納部18に格納されたパラメータによって補正し、カメラ12a〜12dから取得した4枚の画像を1枚の画像に合成する装置である。
ハイトセンサ22a〜22dは、現在の車両の車高を検出するセンサであり、主に、車両のエアサスペンションシステム等に搭載される。本実施形態では、例えば、4輪独立エアサスペンションに搭載されている4台のハイトセンサを使用することができる。あるいは、単純化するために、車両中央付近にハイトセンサを1台だけ搭載するようにしても良い。
補助線調整装置24は、ハイトセンサ22a〜22dによって検出された車高に合わせて補助線を拡大及び縮小する装置である。補助線の拡大及び縮小は、補助線拡大テーブル格納部26に記憶された車高と補助線の大きさとの対応関係を参照し、ハイトセンサ22a〜22dが検出した車高に対応するように補助線の大きさを変更することによって行う。
補助線拡大率テーブル格納部26は、車高に応じて補助線の大きさを変更するために、基準車高からの車高差と、当該車高差に対応した補助線の拡大率とを規定した補助線拡大率テーブルを格納するものである。図4は、実施形態に係る補助線拡大率テーブルの例を示すブロック図である。図4に示すように、本実施形態の補助線拡大率テーブルは、インデックス、車高差、拡大率をそれぞれ対応付けて規定しており、車高差−300mm〜+300mmまで0.5mm毎に規定されている。どの程度の車高差まで対応するかは、車種及びシステムによって決定すればよい。例えば、SUV(Sport Utility Vehicle)等であれば、±500mmまで対応するように各車種によって調整する。なお、拡大率は、カメラ12a〜12dの設置及びキャリブレーション時に算出しておく。
図1に戻り、擬似車両調整装置28は、現在の車両の車高に合わせて表示する擬似車両を拡大及び縮小する装置である。擬似車両の拡大及び縮小は、補助線と同様に、補助線拡大率テーブル格納部26の補助線拡大率テーブルを参照し、ハイトセンサ22a〜22dによって検出された車高に対応する拡大率に擬似車両の大きさを拡大及び縮小することによって行う。
映像出力装置30は、合成された俯瞰画像をビデオ信号等に変換して出力するための装置である。
ディスプレイ32は、輝度補正処理を施した俯瞰画像をドライバーに提示するためのものである。一般的には、ディスプレイ32には、液晶モニタやナビゲーション用モニタを適用することができる。
次に、図5を参照して、本実施形態の画像表示装置10の動作について説明する。図5は、実施形態に係る画像表示装置の動作を示すフロー図である。図5に示すように、ステップS1では、カメラ12a〜12dから画像入力装置14によって、画像表示装置10のシステム内に画像を取り込む。画像取得のタイミングは、任意のタイミングで構わないが、全てのカメラ12a〜12dの同期を取って取得することが望ましく、画像取得の速度もリアルタイムに近いものとするため、30fps以上であることが望ましい。
ステップS2では、視点変換装置16が、ステップS1においてカメラ12a〜12dから取得した4枚の画像を、上述した特開2002−166802号公報等に記載されている手法によって、初期セットアップ情報格納部18に格納されている情報を用いて視点変換を行う。本実施形態においては、仮想視点を車両上空に設定し、あたかも車両の真上から自車両を見ているように視点変換を行う。
ステップS3では、映像合成装置20が、ステップS2において視点変換した画像を先行技術にあるような手法と初期セットアップ情報格納部18の情報とを用い、カメラ12a〜12dからの4枚の画像を合成する。画像の合成は、例えばαブレンディングを用いて、前後左右の重複領域の合成を実施する。本実施形態では前後画像はα値=100%で合成し、左右画像はα値=0%で合成する。
ステップS4では、ハイトセンサ22a〜22dから、4輪それぞれの高さを検出することによって車高を取得し、補助線拡大率テーブル格納部26の補助線格納テーブルの車高と照らし合わせて補助線の拡大率を決定する。本実施形態では、例えば、ハイトセンサ22a〜22dの検出した高さをHn(n=1〜4)、補助線拡大率テーブルの基準車高をH0とし、拡大率を求める。本実施形態では、Hnの平均値(=H)を現在の車両の車高として決定するが、別の方法を採用しても良い。
車高差ΔH=H−H0 …(1)
車高差ΔH=H−H0 …(1)
なお、図4の補助線拡大率テーブルの解釈は、車高がH0よりも低ければ車高差ΔHは負値となり、車高がH0よりも高ければ正値となる。
(1)式によって求められた車高差ΔHを元に、補助線調整装置24は、補助線拡大率テーブル格納部26の補助線拡大率テーブルを探索し、該当する拡大率を選択する。拡大率の選択手法はいくつか挙げられるが、本実施形態では、ΔHより大きい最小の車高差と、ΔHより小さい最大の車高差をまず求める。例えば、図4の例では、車高差は0.5mm毎に規定されているため、ΔH=−10.3のとき、このΔHより大きい最小の車高差と、ΔHより小さい最大の車高差は、ΔHi=−10.5とΔHi+1=−10.0となり、連続したインデックスiとi+1となる。続いて、インデックスiとi+1とで示される拡大率を線形補間(内挿)し、最終的な拡大率Rを決定する。このようにすることで、拡大及び縮小の誤差が少なくなる。
補助線調整装置24は、拡大率Rを用いて初期セットアップ情報の補助線サイズ(横幅SizeX、縦幅SizeY)を以下の(2)式及び(3)式に示すようにR倍する。
サイズ調整後の横幅SizeX’=SizeX×R …(2)
サイズ調整後の横幅SizeY’=SizeY×R …(3)
サイズ調整後の横幅SizeX’=SizeX×R …(2)
サイズ調整後の横幅SizeY’=SizeY×R …(3)
ステップS5では、補助線調整装置24が、ステップS4で求めた補助線サイズに基づき、補助線を描画する。図6及び7は、実施形態に係る表示画像を示す図である。図6及び7に示すように、本実施形態では、2種類の補助線サイズを初期セットアップ情報として用意し、擬似車両Vの周囲の前後左右等距離にそれぞれ50cm及び150cm離れた位置に補助線L1、L2を描画するようにする。描画の際には、合成画像の中心であって擬似車両Vの中心に、補助線L1、L2が描く矩形の中心Cが位置するように補助線を配置する。なお、本実施形態では、車両から50cm離れた境界となる補助線L1を赤色に、車両から150cm離れた境界となる補助線L2を黄色に色づけする。
ステップS6では、擬似車両調整装置28が、ステップS4と同様に(1)式を用いて、補助線拡大率テーブル格納部26の補助線拡大率テーブルを参照し、線形補間を行って、擬似車両Vの拡大率Rを決定する。本実施形態では、補助線の拡大率を決定する場合と同様に補助線拡大率テーブルを共用しているが、別個の擬似車両拡大率テーブルを設けても良い。次に、拡大率Rを用いて所期セットアップ情報の擬似車両サイズ(横幅SizeXX、縦幅SizeYY)を以下の(4)式及び(5)式に示すようにR倍する。
サイズ調整後の横幅SizeXX’=SizeXX×R …(4)
サイズ調整後の横幅SizeYY’=SizeYY×R …(5)
サイズ調整後の横幅SizeXX’=SizeXX×R …(4)
サイズ調整後の横幅SizeYY’=SizeYY×R …(5)
ステップS7では、擬似車両装置28が、ステップS5と同様に、ステップ6で求めた擬似車両サイズに基づき、擬似車両Vを描画する。以上のようにして俯瞰画像における補助線L1、L2と擬似車両Vの大きさを決定した場合、図6に示すように、車両の車高が比較的に低い場合は、補助線L1、L2と擬似車両Vは大きく描画される。一方、図7に示すように、車両の車高が比較的に高い場合は、補助線L1、L2と擬似車両Vは小さく描画される。
ステップS8では、映像出力装置30が、ステップS2〜S7で生成した合成画像をビデオ信号等に変換して、ディスプレイ32に出力する。
ステップS9では、車両のエンジンの停止等により、画像表示装置10の動作を終了する。
本実施形態によれば、補助線調整装置24は、ハイトセンサ22a〜22dが検出した車高に応じて補助線の大きさを変更するため、車高の変動がある場合でも、車高に応じて俯瞰画像に補助線を表示することができる。
特に、本実施形態によれば、ハイトセンサ22a〜22dが検出した車高が大きく、周辺環境の見え方が小さくなればなるほど、補助線調整装置24が補助線の大きさを縮小するため、周辺環境と見え方と補助線の表示との整合性が向上する。したがって、車両の経年変化や、乗車乗員数の変動、車高調整装置による車高調整等によって、車両の車高が変動した場合であっても、周辺環境と見え方と補助線の表示との間に違和感が生じにくく、ドライバーは自車と周辺環境との位置関係及び距離をより正確に把握することができる。
さらに、本実施形態によれば、補助線拡大率テーブル格納部26に車高と補助線の大きさとの対応関係が記憶され、補助線調整装置24は、補助線拡大率テーブル格納部26に記憶された車高と補助線の大きさとの対応関係を参照して、ハイトセンサ22a〜22dが検出した車高に対応する補助線の大きさに、補助線の大きさを変更するため、車高に対応した補助線の大きさを計算する労力が省け、より高速な演算が可能となる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。
10…画像表示装置、11…車体、12a,12b,12c,12d…カメラ、14…画像入力装置、16…視点変換装置、18…初期セットアップ情報格納部、20…映像合成装置、22a,22b,22d…ハイトセンサ、24…補助線調整装置、26…補助線拡大率テーブル格納部、28…擬似車両調整装置、30…映像出力装置、32…ディスプレイ、L1,L2…補助線、V…擬似車両。
Claims (3)
- 撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置であって、
前記俯瞰画像において車両の周囲に補助表示を表示する補助表示手段と、
前記補助表示手段が表示する補助表示の大きさを変更する補助表示変更手段と、
前記車両の車高を検出する車高検出手段と、
を備え、
前記補助表示変更手段は、前記車高検出手段が検出した車高に応じて補助表示の大きさを変更する画像表示装置。 - 前記補助表示変更手段は、前記車高検出手段が検出した車高が大きいほど補助表示の大きさを縮小する、請求項1に記載の画像表示装置。
- 車高と補助表示の大きさとの対応関係を記憶した記憶手段をさらに備え、
前記補助表示変更手段は、前記記憶手段に記憶された車高と補助表示の大きさとの対応関係を参照しつつ、前記車高検出手段が検出した車高に対応するように補助表示の大きさを変更する、請求項1又は2に記載の画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006203654A JP2008034964A (ja) | 2006-07-26 | 2006-07-26 | 画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006203654A JP2008034964A (ja) | 2006-07-26 | 2006-07-26 | 画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008034964A true JP2008034964A (ja) | 2008-02-14 |
Family
ID=39123979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006203654A Pending JP2008034964A (ja) | 2006-07-26 | 2006-07-26 | 画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008034964A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014161087A (ja) * | 2014-04-17 | 2014-09-04 | Komatsu Ltd | 作業車両用周辺監視システム及び作業車両 |
JP2015029357A (ja) * | 2014-10-29 | 2015-02-12 | 株式会社小松製作所 | ダンプトラック用周辺監視システム及びダンプトラック |
US9457719B2 (en) | 2012-09-21 | 2016-10-04 | Komatsu Ltd. | Work vehicle periphery monitoring system and work vehicle |
JP2019186754A (ja) * | 2018-04-10 | 2019-10-24 | アイシン精機株式会社 | 周辺監視装置 |
JP2019182198A (ja) * | 2018-04-10 | 2019-10-24 | アイシン精機株式会社 | 周辺監視装置 |
US10609337B2 (en) | 2014-09-18 | 2020-03-31 | Denso Ten Limited | Image processing apparatus |
-
2006
- 2006-07-26 JP JP2006203654A patent/JP2008034964A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9457719B2 (en) | 2012-09-21 | 2016-10-04 | Komatsu Ltd. | Work vehicle periphery monitoring system and work vehicle |
JP2014161087A (ja) * | 2014-04-17 | 2014-09-04 | Komatsu Ltd | 作業車両用周辺監視システム及び作業車両 |
US10609337B2 (en) | 2014-09-18 | 2020-03-31 | Denso Ten Limited | Image processing apparatus |
JP2015029357A (ja) * | 2014-10-29 | 2015-02-12 | 株式会社小松製作所 | ダンプトラック用周辺監視システム及びダンプトラック |
JP2019186754A (ja) * | 2018-04-10 | 2019-10-24 | アイシン精機株式会社 | 周辺監視装置 |
JP2019182198A (ja) * | 2018-04-10 | 2019-10-24 | アイシン精機株式会社 | 周辺監視装置 |
JP7139664B2 (ja) | 2018-04-10 | 2022-09-21 | 株式会社アイシン | 周辺監視装置 |
JP7159598B2 (ja) | 2018-04-10 | 2022-10-25 | 株式会社アイシン | 周辺監視装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2763407B1 (en) | Vehicle surroundings monitoring device | |
EP3160138B1 (en) | Image synthesis system, image synthesis device therefor, and image synthesis method | |
US8139114B2 (en) | Surroundings monitoring apparatus and surroundings monitoring method for reducing distortion caused by camera position displacement | |
JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
JP5444338B2 (ja) | 車両周囲監視装置 | |
JP4874280B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
WO2012096058A1 (ja) | 画像生成装置 | |
JP2008172535A (ja) | 運転支援システム、画像処理装置及びずれ検出方法 | |
WO2012169355A1 (ja) | 画像生成装置 | |
US10467789B2 (en) | Image processing device for vehicle | |
US20100245574A1 (en) | Vehicle periphery display device and method for vehicle periphery image | |
JP4902368B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5516998B2 (ja) | 画像生成装置 | |
JP2009232310A (ja) | 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム | |
JP2010088096A (ja) | 車載用カメラユニット、車両外部ディスプレイ方法及びドライビングコリドーマーカー生成システム | |
JP6255928B2 (ja) | 俯瞰画像生成装置 | |
JP2008034964A (ja) | 画像表示装置 | |
JP2013506897A (ja) | 交通状況のビデオデータと間隔データを組み合わせて視覚的に表示するための方法および装置 | |
JP5516997B2 (ja) | 画像生成装置 | |
JP4791222B2 (ja) | 表示制御装置 | |
JP2007266703A5 (ja) | ||
JP5049304B2 (ja) | 車両の周辺を画像表示するための装置 | |
JP2009044597A (ja) | 広角画像取得装置 | |
US20220222947A1 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
JP7196920B2 (ja) | 運転支援装置および運転支援方法、プログラム |