JP2009151524A

JP2009151524A - 画像表示方法および画像表示装置

Info

Publication number: JP2009151524A
Application number: JP2007328570A
Authority: JP
Inventors: Kosuke Imamura; 浩輔今村
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2007-12-20
Filing date: 2007-12-20
Publication date: 2009-07-09
Anticipated expiration: 2027-12-20
Also published as: US8130271B2; US20090160940A1; JP5072576B2

Abstract

【目的】カメラ姿勢が変化するときに画像の一部が消失するのを防止し、また、それまで見えなかったが図形が出現するのを防止する「画像表示方法および画像表示装置」を提供することである。
【構成】車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を用いて車両上方の視点から眺めた合成画像を表示する画像表示方法であり、カメラ姿勢を変更する負荷が該車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルを求め、隣接する２つのカメラで撮影した画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内となるよう該画像境界線を決定し、２つの画像境界線で囲まれた画像部分（前画像、左画像、右画像、後画像）を切り出して合成画像を生成する。
【選択図】図７

Description

本発明は画像表示方法および画像表示装置に関わり、特に、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を用いて車両上方の視点から眺めた合成画像を表示する画像表示方法および画像表示装置に関する。

車庫入れや駐車等に際して運転手を支援するため支援システムが研究され、実用化されている。かかる支援システムとして車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を合成して車両上方の視点から眺めた合成画像(トップビュー画像)をフレームメモリに描画し、該フレームメモリより画像データを読み出してモニターに表示するトップビューシステムが知られている(特許文献1参照)。
このトップビューシステムは、図１８（A），（B)に示すように、車両周囲を撮影する複数の魚眼カメラ１a〜１dを車両２のフロント、両サイド、リアに装着し、画像合成処理部３が各カメラ１a〜１dから取り込んだ画像を用いて、図１８（C）に示す車両上方所定の位置（仮想視点）４から車両の方向を眺めた風景の合成画像を作成してモニター５に表示し、これにより駐車、車庫入れなどを支援する。
画像合成処理部３は合成に際して、マッピングテーブルを用いて各カメラで撮影した画像部分をフレームメモリにマッピングして表示する。図１９は各魚眼カメラ１a〜１dで撮影した魚眼図形IMa〜IMdを画面対応のフレームメモリ６にマッピングする場合の説明図である。魚眼図形IMa〜IMdはフレームメモリ６の対応する領域６a〜６dにそれぞれマッピングされ、また、予め撮影されて保存されている車両画像７はフレームメモリ６の中央部にマッピングされ、これによりフレームメモリ６に１画面のトップビュー画像が生成される。

図２０はマッピング法の説明図であり、車両２に取り付けた魚眼カメラ１a〜１dにより車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景を撮影する。各魚眼カメラ１a〜１dはそれぞれ魚眼レンズにより前方１８０⁰の範囲にわたって風景を撮影することができ、カメラ１aはラインＦＦより前方の風景を撮影し、カメラ１bはラインＬＬより左側の車両左側風景を撮影し、カメラ１cはラインＲＲより右側の車両右側風景を撮影し、カメラ１dはラインＢＢより後方の車両後方風景を撮影する。
図２０（Ｂ）に示すようにカメラ１bで車両左側の地面に描かれた矩形の格子模様を撮影すると図２０(Ｃ)示すように魚眼で見た図形（魚眼図形という）になる。
各カメラで撮影した魚眼図形を歪補正後に地面の平面上に投影することによりトップビュー画像を得ることができる。矩形図形６と魚眼図形７において同一番号を付した領域は対応しており、矩形図形６における領域１〜６は魚眼図形７では領域１〜６になる。したがって、矩形図形６の領域１〜６の画像を記憶すべきフレームメモリ位置に、該領域に対応する魚眼図形７の領域１〜６の画像（実際には歪補正後の画像）を記憶し、同様に、全カメラで撮影した画像をフレームメモリに描画して読み出せば、魚眼カメラ１a〜１dで撮影した画像を地面の平面上に投影した図形に視点変換してモニターに表示することが可能になる。

以上のようにトップビュー技術は魚眼カメラの映像を取得し、上から車両情報から見下ろす図になる様に、各魚眼画像に歪補正を行って合成している。ところで、トップビューの歪補正は車両のある静的状態で設定される為、搭乗人員、積載荷重、走行時の環境（カーブ、加速、停止）の変化により、車両に傾きが生じてカメラの取付け姿勢が変化する。図２１はカメラの取付け姿勢が変化を説明する説明図であり、(Ａ)は車体が傾いていない場合であり、(Ｂ)は搭乗者数が増えて車体がθ傾いた場合であり、リアカメラ１ｄの位置が下がる。このカメラ取付け姿勢の変化により、画像の一部が歪補正時に設定した表示エリア境界の外にずれて消失してしまう問題がある。特にトップビュー画像の繋ぎ合わせの部分(隣接画像の境界)において画像が消失してしまう画像領域が発生し、そこに立体物や人などが存在すると、それらを正確に表示出来ない問題があった。

図２２〜図２６はカメラ取付け姿勢の変化により画像が消失する場合の説明図である。図２２はカメラ姿勢を変更する負荷が車両に加わったときの各カメラ１a〜１dで撮影した歪補正後の画像IMa〜IMd上の複数のポイントの変位ベクトルの説明図であり、ポイントの位置を丸で示し、該丸から突出する短い線により変位ベクトルの方向及び大きさを示している。B_LRは左画像IMbとリア画像IMdの画像境界線、B_LFは左画像IMbとフロント画像IMaの画像境界線、B_RRは右画像IMcとリア画像IMdの画像境界線、B_RFは右画像IMcとフロント画像IMaの画像境界線である。図２２において注目すべきは、各画像境界線近傍における各隣接画像の変位ベクトルの方向が異なる点である。
図２３（A）は画像境界線B_LRの近傍の拡大図であり、d_LTは、カメラ姿勢を変更する負荷が車両に加わったときの左画像IMbの画像境界線B_LR近傍のポイントにおける変位ベクトル、d_REはリア画像IMdの画像境界線B_LR近傍のポイントにおける変位ベクトルである。この図から明らかなように上記の負荷が車両に加わると左画像領域部分DAARが消失し、(B)に示すように新たなリア画像領域APARが出現する。図２４の（A）,(B)はそれぞれ変位発生前の左画像IMbとリア画像IMdの合成画像と、変位発生後の左画像IMbとリア画像IMdの合成画像の変化説明図である。変位発生前は画像境界線B_LR近傍に存在するボールBALLは正しく円として表示されるが、変位発生後はボールBALLは正しく円形にならず半分が消失した形状で表示される。これは前述のごとく図中の矢印で示すように画像境界線B_LR近傍のポイントにおける左画像IMbとリア画像IMdの変位ベクトルの方向が大幅に異なるためである。

図２５は変位発生前のトップビュー画像、図２６は変位発生後のトップビュー画像であり、変位発生後、線分A，Bの位置が下方に移動している。このため、図２５のトップビュー画像部分DAARが図２６の変位発生後のトップビュー画像から消失しており、また、図２６の変位発生後のトップビュー画像に新たな画像部分APARが表示されている。
従来技術として車両周囲に存在する障害物等の物体をより正確に見易く表示する車両用画像表示装置(特許文献２参照)がある。この従来技術は、合成されたトップビュー画像の境界上に障害物が表示されるとき、該障害物が境界上に表示されないように境界線を変更して画像合成するものである。しかし、この従来技術は、カメラ取付け姿勢の変化により画像の一部が消失したり、あるいはそれまで見えなかったが図形が出現するのを防止するものではない。
特許３３００３３４号特開２００７−３１０４３７３号

以上から本発明の目的は、カメラ姿勢が変化するときに画像の一部が消失するのを防止し、また、それまで見えなかったが図形が出現するのを防止することである。

・画像表示方法
本発明は車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を用いて車両上方の視点から眺めた合成画像を表示する画像表示方法であり、カメラ姿勢を変更する負荷が該車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルを求める第１ステップ、隣接する２つのカメラで撮影した画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内となるよう該画像境界線を決定する第２ステップを有している。
前記画像表示方法は更に、２つの画像境界線で囲まれた画像部分を各カメラの撮影画像から切り出して前記合成画像を生成するステップを備えている。
前記画像表示方法は更に、カメラ姿勢と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、カメラ姿勢を計測するステップ、カメラ毎に該カメラ姿勢に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップを備えている。
前記画像表示方法は更に、搭乗者数と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、搭乗者数を検出するステップ、カメラ毎に該搭乗者数に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップを備えている。
前記画像表示方法は更に、搭乗者及び荷物の総重量と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、搭乗者及び荷物の総重量を検出するステップ、カメラ毎に該総重量に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップを備えている。
前記画像表示方法は更に、車高と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、車高を検出するステップ、カメラ毎に該車高に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップを備えている。

・画像表示装置
本発明は、車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を用いて車両上方の視点から眺めた合成画像を表示する画像表示装置であり、カメラ姿勢を変更する負荷が該車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルを算出する変位ベクトル算出部、隣接する２つのカメラで撮影した画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内となるよう該画像境界線を決定する画像境界線決定部を備えている。
前記画像表示装置は更に、２つの画像境界線を用いて各カメラの撮影画像を切り出す位置を決定する画像切り出し位置決定部、切り出した画像を合成して合成画像を作成する合成画像作成部を備えている。
前記画像表示装置は更に、カメラ姿勢と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、カメラ姿勢を計測する計測部、カメラ毎に該カメラ姿勢に応じた画像切り出し位置より画像を切り出す画像切り出し部、切り出した画像を合成して合成画像を作成する合成画像作成部を備えている。
前記画像表示装置は更に、搭乗者数と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、搭乗者数を検出する搭乗者数測定部、カメラ毎に該搭乗者数に応じた画像切り出し位置より画像を切り出す画像切り出し部、切り出した画像を合成して合成画像を作成する合成画像作成部を備えている。
前記画像表示装置は更に、搭乗者及び荷物の総重量と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、搭乗者及び荷物の総重量を検出する重量測定部、カメラ毎に該総重量に応じた画像切り出し位置より画像を切り出す画像切り出し部、切り出した画像を合成して合成画像を作成する合成画像作成部を備えている。
前記画像表示装置は更に、車高と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、車高を検出する車高測定部、カメラ毎に該車高に応じた画像切り出し位置より画像を切り出す画像切り出し部、切り出した画像を合成して合成画像を作成する合成画像作成部を備えている。

以上から本発明によれば、カメラ取り付け姿勢を変更する負荷が該車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルを求め、隣接する２つのカメラで撮影した画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内となるよう該画像境界線を決定するから、カメラ取り付け姿勢が変化しても画像が消失するのを防止することができ、しかも、新たな画像が出現するのを防止することができ、この結果、車両周辺の立体物や人物を正しく表示することができる。
また、本発明によれば、カメラ姿勢と画像切り出し位置との対応をカメラ毎に保存し、カメラ姿勢を計測しカメラ毎に該カメラ姿勢に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するようにしたから、画像境界線や画像切り出し位置を計算する必要が無いため処理部の負担を軽減することができ、しかも短時間で画像切り出し位置を決定することができる。
また、本発明によれば、搭乗者数と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存し、搭乗者数を検出してカメラ毎に該搭乗者数に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するようにしたから、カメラ姿勢が変化しても搭乗者数に基づいて簡単な処理で画像が消失するのを防止することができ、また、新たな画像が出現するのを防止することができる。
また、本発明によれば、搭乗者及び荷物の総重量と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存し、搭乗者及び荷物の総重量を検出してカメラ毎に該総重量に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するようにしたから、カメラ姿勢が変化しても搭乗者数に基づいて簡単な処理で画像が消失するのを防止することができ、また、新たな画像が出現するのを防止することができる。
また、本発明によれば、車高と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存し、車高を検出してカメラ毎に該車高に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するようにしたから、カメラ姿勢が変化しても搭乗者数に基づいて簡単な処理で画像が消失するのを防止することができ、また、新たな画像が出現するのを防止することができる。

(A)本発明の概要
従来のトップビューシステムで作成したトップビュー画像では、カメラ姿勢が変化する負荷が車両に加わると、隣接画像境界線においてそれまで表示していた画像の一部が消失し、それまで見えていなかった一部画像が出現する問題があった。その理由は、カメラ姿勢が変化する負荷が車両に加わったときの隣接画像境界線近傍における各画像の変位ベクトルの方向が異なっていることに起因する。そこで、本発明では、隣接画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内(好ましくは0度)となるように該画像境界線を決定する。
図１はカメラ姿勢を変更する負荷が車両に加わったときの各カメラ１a〜１d(図１８(B)参照)で撮影した歪補正後の画像IMa〜IMd上の複数のポイントの変位ベクトルの説明図であり、ポイントの位置を丸で示し、該丸から突出する短い線により変位ベクトルの方向及び大きさを示している。B_LRは左画像IMbとリア画像IMdの画像境界線、B_LFは左画像IMbとフロント画像IMaの画像境界線、B_RRは右画像IMcとリア画像IMdの画像境界線、B_RFは右画像IMcとフロント画像IMaの画像境界線である。注目すべきは、本発明において、各画像境界線B_LR、B_LF、B_RR、B_RFを挟む２つの隣接画像における境界線近傍の変位ベクトルの方向がほぼ同じ、換言すれば、各画像の変位ベクトルの方向差が設定角度以内となっていることである。

図２は画像境界線B_LRの近傍の拡大図であり、d_LTは、カメラ姿勢を変更する負荷が車両に加わったときの左画像IMbの画像境界線B_LR近傍のポイントにおける変位ベクトル、d_REはリア画像IMdの画像境界線B_LR近傍のポイントにおける変位ベクトルであり、変位ベクトルd_LTとd_REは方向がほぼ同じで、大きさもほぼ等しい。カメラ姿勢を変更する負荷が車両に加わると左画像IMb及びリア画像IMdはそれぞれ変位ベクトルd_LT、d_REの方向にその大きさ分移動するが、変位ベクトルの方向及び大きさが等しいため、消失画像や新たに出現する画像は発生せず、正しく立体物を表示することができる。変位ベクトルd_LT、d_REの大きさが異なると左画像IMbとリア画像IMdに該大きさの差分のズレが生じるが、変位ベクトルの方向が等しければ消失画像や新たに出現する画像は発生しない。したがって、理想的には２つの隣接画像の変位ベクトルの方向及び大きさが一致するように画像境界線B_LR、B_LF、B_RR、B_RFを決定する。

図３の（A）,(B)はそれぞれカメラ姿勢変化前の左画像IMbとリア画像IMdの合成画像と、カメラ姿勢変化後の左画像IMbとリア画像IMdの合成画像の説明図であり、カメラ姿勢変化前も変化後も画像境界線B_LR近傍に存在するボールBALLは正しく円として表示されている。なお、カメラ姿勢変化後のボール位置は若干変位方向にずれている。

(B)画像表示装置
図４は本発明のトップビュー画像を表示する画像表示装置の構成図であり、車両の前部、左、右側部及び後部に魚眼カメラ１a，１b，１c，１dを取り付け（図１８（B）参照）、車両前方の風景、車両左側の風景、車両右側の風景、車両後方の風景をそれぞれ撮影し、カメラ対応の画像メモリ１１a〜１１dに記憶する。歪補正部１２a〜１２dは魚眼カメラ１a〜１dで撮影した魚眼画像の歪を補正して内蔵のメモリに保存する。図５は魚眼画像の説明図であり、歪補正部１２a〜１２dは歪部分(曲線)を本来の直線となるように歪補正する。
図６は魚眼カメラモデル図であり、魚眼レンズFEに魚眼座標系X-Y-Zが設定され（Zは光軸）、該光軸Ｚに垂直に画像平面(ｘ−ｙ座標系)が設定されている。画像平面(ｘ−ｙ座標系)の画像原点はｏ（Cx，Cy）である。魚眼レンズFEにより計測平面A上のポイント(計測点)Pが画像平面ｘ−ｙ上のポイントpに撮影される。ただし、計測点PをＸ−Ｙ平面に投影したポイントＰ″とするとき直線P″OとＸ軸がなす角度をψ、光軸Ｚと入射光の角度をθとすれば、画像平面ｘ−ｙにおいて線分opとx軸のなす角度はψ、線分opの長さはr(θ)である。r(θ)は画像の点pと原点o間の距離で歪曲収差を意味し、

である。ただし、レンズ光学設計の違いにより上式は変わる。このr(θ)を用いて次式

により魚眼画像の画像平面上のポイントp(x、y)の座標値が得られる。

歪補正部１２a〜１２dは、DX，DYを歪補正した時の補正量とすれば、ある点ｘ，ｙにおける補正量DX，DYは

となり、上式により歪補正を行う。
画像切り出し位置制御部１３は、カメラ姿勢が変わる負荷が該車両に加わったとき、(１)各カメラの姿勢変化量を求め、(２)該姿勢変化量を用いて各カメラで撮影した画像上の複数のポイントにおける変位ベクトル（図１参照）を求め、(３)隣接画像の境界線における各画像の変位ベクトルの方向差が設定角度以内となるように該境界線B_LR、B_LF、B_RR、B_RFを決定し、(４)２つの境界線でそれぞれ囲まれた画像部分を画像切り出し位置として決定して各画像切り出し部１４a〜１４dに入力する。

図７は画像切り出し位置制御部１３の構成図である。カメラ姿勢測定部１３aはカメラ毎にカメラの姿勢を特定する変数の変化量を測定する。姿勢の変数は基準座標系(例えばトップビューの仮想視点を原点とする三次元座標系Xr-Yr-Zr)に対するカメラのシフト量x,y,zおよび該基準座標系Xr-Yr-Zrの各軸周りのカメラの回転量rx,ry,rzである。具体的には、カメラ姿勢測定部１３aは、姿勢変化前後のキャリブレーション図形をカメラで撮影し、キャリブレーション図形撮影結果にソフトウェア処理を施すことによりカメラ毎に姿勢変化量Δtx，Δty，Δtz，Δrx，Δry，Δrzを計算する。
変位ベクトル算出部１３bは、カメラ毎に姿勢変化量Δtx，Δty，Δtz，Δrx，Δry，Δrzを用いて次式

により変位成分ΔU，ΔVを計算する。したがって、変位ベクトル算出部１３bは、(4)式により、各カメラの歪補正後の画像の複数のポイントにおける変位ベクトルを計算し、フロントカメラ用の変位ベクトルメモリ１３c_F、左カメラ用の変位ベクトルメモリ１３c_L、右カメラ用の変位ベクトルメモリ１３c_R、リアカメラ用の変位ベクトルメモリ１３c_Bに保存する。
なお、変位ベクトル算出部１３bは、姿勢変化前後の２つのトップビュー画像における同一ポイントを結ぶことにより該ポイントにおける変位ベクトルを算出し、同様に画像上の全ポイントについて変位ベクトルを算出することもできる。

画像境界線決定部１３dは、隣接カメラでそれぞれ撮影した２つの画像の変位ベクトルの方向差が設定角度以内となるようにポイントを求め、該ポイント上に画像境界線B_LR、B_LF、B_RR、B_RF(図１参照)を決定する。例えば、画像境界線決定部１３dは、隣接カメラでそれぞれ撮影した２つの画像上の変位ベクトルの方向差が設定角度以内となるポイントを求め、該ポイントを通り、該変位ベクトル方向の直線を画像境界線とする。あるいは、画像境界線決定部１３dは、隣接カメラでそれぞれ撮影した２つの画像上の変位ベクトルの方向差が設定角度以内となる複数のポイントを求め、該複数のポイントを結んで画像境界線とする。
画像切り出し領域決定部１３eは,２つの境界線B_LR、B_LF；B_LF、B_RF；B_RF、B_RR；B_RR、B_LRでそれぞれ囲まれた画像部分を画像切り出し領域として決定して各画像切り出し部１４a〜１４dに入力する。たとえば、図８に示すように歪補正された左画像LIMより２つの境界線B_LR、B_LFで囲まれた画像部分IMbを画像切り出し領域として出力する。;

図９は画像切り出し位置制御部１３の画像切り出し位置決定処理フローである。画像切り出し位置制御部１３は、カメラ姿勢を変更する負荷が該車両に加わったとき、各カメラの姿勢変化量を求め(ステップ１０１)、所定のカメラで撮影した画像を選択し(ステップ１０２)、該カメラの姿勢変化量を用いて、該カメラで撮影した画像（歪補正した画像)上のポイントの変位ベクトルを計算する(ステップ１０３)。ついで、該カメラ画像上の全ポイントの変位ベクトルを計算したかチェックし(ステップ１０４)、全ポイントの計算が済んでいなければステップ１０３以降の処理を繰り返し、全ポイントの計算が完了すれば全カメラの画像について変位ベクトルの計算が完了したチェックし(ステップ１０５)、完了してなければステップ１０２でカメラ画像を切り換えて以降の処理を繰り返す。
全カメラの画像について変位ベクトルの計算が完了すれば、画像境界線における隣接画像の変位ベクトルの方向差が設定角度以内となるように該画像境界線を決定する(ステップ１０６)。なお、設定角度は小さい程よく、好ましくは0度である。
ついで、全隣接画像の画像境界線が求まったかチェックし(ステップ１０７)、求まっていなければ隣接画像の組み合わせを変更し(ステップ１０８)、ステップ１０６の処理を繰り返す。そして、ステップ１０７において全隣接画像の画像境界線が求まれば、各カメラの画像切り出し範囲を決定して画像切り出し部１４a〜１４dへ入力する（ステップ１０９）。

画像切り出し部１４a〜１４d（図４）は、歪補正部１２a〜１２dの内蔵メモリに保存されている歪補正画像より指定された切り出し領域の画像を切り出して視点変換部１５a〜１５dに入力する。なお、図６において、カメラ画像平面Bと計測平面Aが平行であれば視点変換する必要はないが、実測ではそのようなことはなく、視点変換部１５a〜１５dは視点変換を行なう必要がある。視点変換部１５a〜１５dは、切り取られた歪補正画像からカメラ取り付け情報、仮想視点情報を用いてトップビュー画像を作成するための視点変換を実行する。具体的には、視点変換部１５a〜１５dは、カメラの取り付け情報(X1,Y1,Z1,Rx1,Ry1,Rz1)と仮想視点情報(X2,Y2,Z2,Rx2,Ry2,Rz2)の差を(tx,ty,tx,trx,try,trz)とすれば、次式

により視点変換を施し、変換結果を内蔵の画像メモリMEMに保存する。すなわち、取り付け情報から上式を適用することで視点変換を行なうことができる。

マッピング部１６はマッピングテーブルMTBを用いて視点変換部１５a〜１５d内蔵の画像メモリMEMから視点変換された画像データを読み出してフレームメモリ１８に書き込む。マッピングテーブル保存部１７は、視点変換部１５a〜１５d内蔵の画像メモリMEMに保存されている視点変換された図形を画面対応のフレームメモリ１８にマッピングするためのマッピングテーブルMTBを保存する。マッピング部１６はマッピングテーブルMTBをラスタース方向にスキャンし、順番に画素毎に所定の画像メモリMEMとそのアドレスを読み出し、該画像メモリの該アドレスから視点変換された画像データを読み出してフレームメモリ１８に書き込む。全画素について上記の書き込み処理が完了すれば、フレームメモリ１８に車両周辺画像データがマッピングされたことになる。車両画像保持部１９は予め車両画像を保存しているから、画像合成部２０は該車両画像と画面対応のフレームメモリ１８の車両周辺画像を合成してモニター２１に表示する。

（C）画像切り出し位置決定部の別の構成
図１０は画像切り出し位置制御部の別の構成図である。図７の画像切り出し位置制御部１３は、姿勢変化量より変位ベクトルを計算し、該変位ベクトルを用いて画像境界線を決定し、該画像境界線を用いて画像切り出し領域を決定しているため、画像切り出し領域を決定するまでに相当の処理と時間を要する。そこで、図１０の画像切り出し位置制御部３０は、予めカメラ毎にカメラ姿勢CAi(i=1,2,・・・・)と、画像切り出し領域を特定する４つのポイント（画像切り出し位置）Ai〜Diとの対応をテーブル化しておき、各カメラの実際の姿勢を測定し、該カメラ姿勢に応じた画像切り出し位置Ai〜Diをテーブルから求めて画像切り出し部１４a〜１４dに入力する。図１１は画像切り出し領域を特定する４つの画像切り出し位置Ai〜Diの説明図であり、A1〜D1はカメラ姿勢CA1に応じた画像切り出し位置、A2〜D2はカメラ姿勢CA2に応じた画像切り出し位置、・・・である。なお、図１１において、B_LR、B_LFは図９のステップ１０６で求めた画像境界線であり、Ai〜Diはステップ１０９で決定した位置である。
画像切り出し位置制御部３０において、画像切り出し位置対応表記憶部３１はカメラ毎にカメラ姿勢CAiと画像切り出し位置Ai〜Diとの対応を予め算出して記憶するもので、フロントカメラ用テーブル３１a、左カメラ用テーブル３１b、右カメラ用テーブル３１c、リアカメラ用テーブル３１dを備えている。カメラ姿勢測定部３２はカメラ毎にカメラ姿勢変化量を測定し、画像切り出し位置決定部３３は、カメラ毎にカメラ姿勢CAiに応じた画像切り出し位置Ai〜Diを各テーブル３１a〜３１dより読み出して画像切り出し部１４a〜１４dに入力する。この画像切り出し位置制御部３０によれば、簡単な処理で、かつ短時間で画像切り出し領域を決定することができる。

図１２は画像切り出し位置制御部の更に別の構成図である。図１０の画像切り出し位置制御部３０はカメラ姿勢CAiと画像切り出し位置Ai〜Diとの対応をテーブル化したが、図１２の画像切り出し位置制御部４０は搭乗者数と画像切り出し位置Ai〜Diとの対応をテーブル化する。
搭乗者数に応じて各カメラの姿勢が変化するから、予め搭乗者数に対応させて隣接画像の変位ベクトルが一致する画像境界線を決定し、該画像境界線に基づいて画像切り出し位置を算出し、該搭乗者数と画像切り出し位置Ai〜Diとの対応をテーブル化する。すなわち、画像切り出し位置制御部４０において、画像切り出し位置対応表記憶部４１はカメラ毎に搭乗者数と画像切り出し位置Ai〜Diとの対応を予め記憶するもので、フロントカメラ用テーブル４１a、左カメラ用テーブル４１b、右カメラ用テーブル４１c、リアカメラ用テーブル４１dを備えている。なお、車両は８人乗りであるとしている。
着座センサー４２a〜４２hは図１３に示すように車両CARの着座席に埋め込まれており、着座していればオン信号を、着座してなければオフ信号を乗車人数識別部４３に入力する。乗車人数識別部４３は各センサーからのオン信号を数えて搭乗者数を識別して画像切り出し位置決定部４４に入力する。画像切り出し位置決定部４４は、カメラ毎に搭乗者数に応じた画像切り出し位置Ai〜Diを各テーブル４１a〜４１dより読み出して画像切り出し部１４a〜１４dに入力する。
図１２の画像切り出し位置制御部４０によれば、カメラ姿勢を測定する必要がないため簡易な構成で、かつ、簡単な処理で画像切り出し領域を決定することができる。なお、以上では搭乗者数と画像切り出し位置の対応をテーブル化したが、搭乗者数に加えて乗車位置をも考慮して画像切り出し位置をテーブル化することもできる。

図１４は画像切り出し位置制御部の別の構成図であり、車両の積載総重量（搭乗者と積載荷物の総重量）と画像切り出し位置Ai〜Diとの対応をテーブル化しておき、積載総重量に応じた画像切り出し位置を出力する。
車両の積載総重量に応じて各カメラの姿勢が変化するから、予め、積載総重量に対応させて隣接画像の変位ベクトルが一致する画像境界線を決定し、該画像境界線に基づいて画像切り出し位置を算出し、該積載総重量と画像切り出し位置Ai〜Diとの対応をテーブル化する。すなわち、画像切り出し位置制御部５０において、画像切り出し位置対応表記憶部５１はカメラ毎に総重量と画像切り出し位置Ai〜Diとの対応を予め記憶するもので、フロントカメラ用テーブル５１a、左カメラ用テーブル５１b、右カメラ用テーブル５１c、リアカメラ用テーブル５１dを備えている。
重量センサー５２a〜５２iは図１５に示すように車両CARの着座席及び荷物席に埋め込まれており、着座した搭乗者の重量、積載荷物の重量w1〜w9を測定して総重量測定部５３に入力する。総重量測定部５３は各センサーからの重量を加算して総重量を識別して画像切り出し位置決定部５４に入力する。画像切り出し位置決定部５４は、カメラ毎に総重量に応じた画像切り出し位置Ai〜Diを各テーブル５１a〜５１dより読み出して画像切り出し部１４a〜１４dに入力する。
図１４の画像切り出し位置制御部５０によれば、カメラ姿勢を測定する必要がないため簡易な構成で、かつ、簡単な処理で画像切り出し領域を決定することができる。以上では、総重量と画像切り出し位置の対応をテーブル化した場合であるが、総重量に加えて重量の分布をも考慮して画像切り出し位置をテーブル化することもできる。

図１６は画像切り出し位置制御部の別の構成図であり、車高と画像切り出し位置Ai〜Diとの対応をテーブル化しておき、車高に応じた画像切り出し位置を出力する例である。車高に応じて各カメラの姿勢が変化するから、予め、車高に対応させて隣接画像の変位ベクトルが一致する画像境界線を決定し、該画像境界線に基づいて画像切り出し位置を算出し、該車高と画像切り出し位置Ai〜Diとの対応をテーブル化する。すなわち、画像切り出し位置制御部６０において、画像切り出し位置対応表記憶部６１はカメラ毎に車高と画像切り出し位置Ai〜Diとの対応を予め記憶するもので、フロントカメラ用テーブル６１a、左カメラ用テーブル６１b、右カメラ用テーブル６１c、リアカメラ用テーブル６１dを備えている。
車高センサー６２は図１７（A）に示すように車両CARの後部に配設されており、車高に対して図１７（B）に示す出力電圧を発生して車高を検出して車高識別部６３に入力する。車高識別部６３はセンサー出力より車高hを識別して画像切り出し位置決定部６４に入力する。画像切り出し位置決定部６４は、カメラ毎に車高に応じた画像切り出し位置Ai〜Diを各テーブル６１a〜６１dより読み出して画像切り出し部１４a〜１４dに入力する。
図１６の画像切り出し位置制御部６０によれば、カメラ姿勢を測定する必要がないため簡易な構成で、かつ、簡単な処理で画像切り出し領域を決定することができる。
以上の実施例はカメラを４つ用いた場合であるが本発明はカメラの数に限定されるものではなく、カメラ数は５以上であっても適用できる。

カメラ姿勢を変更する負荷が車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルの説明図である。画像境界線近傍の拡大図である。カメラ姿勢変化前後の左画像とリア画像の合成画像説明図である。本発明のトップビュー画像を表示する画像表示装置の構成図である。魚眼画像の説明図である。魚眼カメラモデル図である。画像切り出し位置制御部の構成図である。歪補正された左画像より２つの境界線で囲まれた画像部分を画像切り出し領域として出力する説明図である。画像切り出し位置制御部の画像切り出し位置決定処理フローである。画像切り出し位置制御部の別の構成図である。画像切り出し領域を特定する４つの画像切り出し位置Ai〜Diの説明図である。画像切り出し位置制御部の更に別の構成図である。着座センサーによる乗車人数識別の説明図である。画像切り出し位置制御部の別の構成図である。総重量測定説明図である。画像切り出し位置制御部の別の構成図である。車高検出説明図である。トップビューシステムの説明図である。各魚眼カメラで撮影した魚眼図形を画面対応のフレームメモリにマッピングする場合の説明図である。マッピング法の説明図である。カメラの取付け姿勢が変化を説明する説明図である。カメラ姿勢を変更する負荷が車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルの説明図である。画像境界線の近傍の拡大図である。変位発生前の左画像とリア画像の合成画像の変化説明図である。変位発生前のトップビュー画像例である。変位発生後のトップビュー画像例である。

符号の説明

１a，１b，１c，１d 魚眼カメラ
１１a〜１１d 画像メモリ
１２a〜１２d 歪補正部
１３画像切り出し位置制御部
１３a カメラ姿勢測定部
１３b 変位ベクトル算出部
１３c_F、１３c_L、１３c_R、１３c_B 変位ベクトルメモリ
１３d 画像境界線決定部
１３e 画像切り出し領域決定部
１４a〜１４d 画像切り出し部
１５a〜１５d 視点変換部
１６マッピング部
１７マッピングテーブル保存部
１８フレームメモリ
１９車両画像保持部
２０画像合成部
２１モニター

Claims

車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を用いて車両上方の視点から眺めた合成画像を表示する画像表示方法において、
カメラ姿勢を変更する負荷が該車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルを求める第１ステップ、
隣接する２つのカメラで撮影した画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内となるよう該画像境界線を決定する第２ステップ、
を有することを特徴とする画像表示方法。
前記請求項１記載の画像表示方法は更に、
２つの画像境界線で囲まれた画像部分を各カメラの撮影画像から切り出して前記合成画像を生成するステップ、
を備えることを特徴とする画像表示方法。
前記第２ステップは、
隣接する２つのカメラでそれぞれ撮影した画像上の前記変位ベクトルの方向差が設定角度以内となるポイントを求めるステップ、
該ポイントを通り、前記変位ベクトル方向の直線を前記画像境界線とするステップ、
を備えたことを特徴とする請求項１または２記載の画像表示方法。
前記第２ステップは、
隣接する２つのカメラでそれぞれ撮影した画像上の前記変位ベクトルの方向差が設定角度以内となる複数のポイントを求めるステップ、
前記複数のポイントを結んで前記画像境界線とするステップ、
を備えたことを特徴とする請求項１または２記載の画像表示方法。
前記請求項１記載の画像表示方法は更に、
カメラ姿勢と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、
カメラ姿勢を計測するステップ、
カメラ毎に該カメラ姿勢に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップ、
を備えることを特徴とする画像表示方法。
前記請求項１記載の画像表示方法は更に、
搭乗者数と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、
搭乗者数を検出するステップ、
カメラ毎に該搭乗者数に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップ、
を備えることを特徴とする画像表示方法。
前記請求項１記載の画像表示方法は更に、
搭乗者及び荷物の総重量と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、
搭乗者及び荷物の総重量を検出するステップ、
カメラ毎に該総重量に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップ、
を備えることを特徴とする画像表示方法。
前記請求項１記載の画像表示方法は更に、
車高と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するステップ、
車高を検出するステップ、
カメラ毎に該車高に応じた画像切り出し位置より画像を切り出して前記合成画像を生成するステップ、
を備えることを特徴とする画像表示方法。
前記カメラは魚眼カメラであり、前記画像切り出し位置は、魚眼画像の歪補正後の画像から切り出す画像切り出し位置である、
ことを特徴とする請求項５乃至８記載の画像表示方法。
車両周辺画像を複数のカメラで取り込み、各カメラで撮影した画像を用いて車両上方の視点から眺めた合成画像を表示する画像表示装置において、
カメラ姿勢を変更する負荷が該車両に加わったときの各カメラで撮影した画像上の複数のポイントの変位ベクトルを算出する変位ベクトル算出部、
隣接する２つのカメラで撮影した画像の画像境界線における各画像の変位ベクトルの方向差が設定角度以内となるよう該画像境界線を決定する画像境界線決定部、
を備えることを特徴とする画像表示装置。
前記請求項１０記載の画像表示装置は更に、
２つの画像境界線を用いて各カメラの撮影画像を切り出す位置を決定する画像切り出し位置決定部、
切り出した画像を合成して合成画像を作成する合成画像作成部、
を備えたことを特徴とする画像表示装置。
前記画像境界線決定部は、
隣接する２つのカメラでそれぞれ撮影した画像上の前記変位ベクトルの方向差が設定角度以内となるポイントを求め、該ポイントを通り、前記変位ベクトル方向の直線を前記画像境界線とする、
ことを特徴とする請求項１０または１１記載の画像表示装置。
前記画像境界線決定部は、
隣接する２つのカメラでそれぞれ撮影した画像上の前記変位ベクトルの方向差が設定角度以内となる複数のポイントを求め、前記複数のポイントを結んで前記画像境界線とする、
ことを特徴とする請求項１０または１１記載の画像表示装置。
前記請求項１０記載の画像表示装置は更に、
カメラ姿勢と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、
カメラ姿勢を計測する計測部、
カメラ毎に該カメラ姿勢に応じた画像切り出し位置より画像を切り出す画像切り出し部、
切り出した画像を合成して合成画像を作成する合成画像作成部、
を備えたことを特徴とする画像表示装置
前記請求項１０記載の画像表示装置は更に、
搭乗者数と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、
搭乗者数を検出する搭乗者数測定部、
カメラ毎に該搭乗者数に応じた画像切り出し位置より画像を切り出す画像切り出し部、
切り出した画像を合成して合成画像を作成する合成画像作成部、
を備えたことを特徴とする画像表示装置。
前記請求項１０記載の画像表示装置は更に、
搭乗者及び荷物の総重量と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、
搭乗者及び荷物の総重量を検出する重量測定部、
カメラ毎に該総重量に応じた画像切り出し位置より画像を切り出す画像切り出し部、
切り出した画像を合成して合成画像を作成する合成画像作成部、
を備えたことを特徴とする画像表示装置。
前記請求項１０記載の画像表示装置は更に、
車高と前記画像境界線により特定される画像切り出し位置との対応をカメラ毎に保存するテーブル、
車高を検出する車高測定部、
カメラ毎に該車高に応じた画像切り出し位置より画像を切り出す画像切り出し部、
切り出した画像を合成して合成画像を作成する合成画像作成部、
を備えたことを特徴とする画像表示装置。
前記請求項１０記載の画像表示装置は更に、
前記カメラとして魚眼カメラを備えると共に、魚眼画像の歪を補正する歪補正部を備え、
前記テーブルが保存する画像切り出し位置は、魚眼画像の歪補正後の画像から切り出す画像切り出し位置である、
ことを特徴とする請求項１４乃至１７記載の画像表示装置。