JP2004040411A

JP2004040411A - 車外画像表示システム、画像処理装置及び車外画像表示方法

Info

Publication number: JP2004040411A
Application number: JP2002193834A
Authority: JP
Inventors: Kenichi Hatanaka; 畑中　健一
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-07-02
Filing date: 2002-07-02
Publication date: 2004-02-05

Abstract

【課題】車両外部の湾曲画像の歪みを矯正した表示用データを表示する。
【解決手段】車外画像表示システム１０は車両外方に向けて設置した左右カメラ１２Ａ、１２Ｂ、画像処理装置１３及びモニタ装置１４等で構成される。左右カメラ１２Ａ、１２Ｂは、撮像した車外の湾曲画像の撮像データを画像処理装置１３へ送出する。画像処理装置１３は、送出された撮像データを歪み矯正用の変換テーブルに基づいて湾曲画像の歪みが矯正された表示用データに変換する。変換された表示用データは画像処理装置１３から車内に設けられたモニタ装置１４へ送出され、モニタ装置１４で表示される。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、車外を撮像した広角の撮像データを表示用データに変換するものに関し、特に、撮像データの湾曲している画像の歪みを矯正して自然な表示用データに変換する車外画像表示システム、画像処理装置及び車外画像表示方法に関する。
【０００２】
【従来の技術】
従来、車両の運転席から死角となる車両の前部、後部等にカメラを設置すると共に、カメラの撮像画像を画像処理装置で表示用データに変換し、この表示用データを車内に設置したモニタ装置で表示すると云う車外画像表示システムが存在する。
【０００３】
図９（ａ）は、従来の車外画像表示システム１の概略図であり、車両Ｓの前部左隅Ｓａに設けた左カメラ２Ａ及び前部右隅Ｓｂに設けた右カメラ２Ｂが画像処理装置３に夫々接続されていると共に、この画像処理装置３にモニタ装置４が接続され、左右カメラ２Ａ、２Ｂの撮像画像をモニタ装置４で表示する。また、左右カメラ２Ａ、２Ｂには１２０度の広角レンズが装着されており、車両Ｓの前方の左右周囲を広角で撮像可能にしている。
【０００４】
図９（ｂ）の表示データ５は、モニタ装置４で表示される左カメラ２Ａで撮像された画像の一例であり、運転席から死角となる範囲の広角画像がモニタ装置４で映し出され車両周囲の死角を容易に確認できるようにしている。なお、表示データ５の右下の隅に表示されているものは車両Ｓの前部左隅Ｓａである。また、右カメラ２Ｂによる画像は、表示データ５の表示形態に対して左右反転されたものになる。
【０００５】
【発明が解決しようとする課題】
従来の車外画像表示システム１は、上述した構成により車両Ｓの前方左右の約１２０度の範囲をモニタ装置４に映し出すが、図９（ａ）に示すように、各左右カメラ２Ａ、２Ｂは車両Ｓの前部左隅Ｓａ及び前部右隅Ｓｂの外方の全周囲を撮像しているわけではなく、撮像範囲外の領域は依然として死角として残存する問題がある。
【０００６】
このような死角の領域を削減するためには、一段と広角な１５０度のレンズ、１８０度の視野角を確保する魚眼レンズ等を左右カメラ２Ａ、２Ｂに装着することが想定できる。しかし、このような角度のレンズを適用したとしても、車両Ｓの前部左右隅Ｓａ、Ｓｂの各周囲の領域は車両Ｓの左右の各隅部が約９０度であることから約２７０度に及ぶため、依然として死角が残る。また、上記のような広角のレンズ又は魚眼レンズを装着すると、撮像画像の湾曲度が増して歪みが非常に大きくなり、撮像画像中の各物体の正確な位置関係及び距離感等を把握するのが困難になると云う新たな問題も発生する。
【０００７】
また、上述した死角を解消する別の手段として、図１０に示すように、カメラ８をモータ６で歯車７を介して回転させて所要範囲を撮像可能にしたカメラ装置９も存在している。しかし、カメラ８を回転させるためには、モータ６、歯車７等の機械的な各種部品が必要となり、複雑な構造によりコストが上昇し、また、カメラ８の回転に対する信頼性を車両の走行に伴う振動等に関わらず維持することは非常に困難である。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、車両の外部を広範囲で撮像可能にすると共に撮像された画像の歪みを矯正する変換を変換テーブルに基づき行うことで、車両周囲を車内より自然な画像で確認できる車外画像表示システム、画像処理装置及び車外画像表示方法を提供することを目的とする。
また、本発明は、種々の変換テーブルを用意することで、多様な形態の画像を表示できる車外画像表示システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
第１発明に係る車外画像表示システムは、車両の外方に向けて設けてある撮像装置が撮像した湾曲画像の撮像データを、画像処理装置で表示用データに変換して車内に設けてある表示装置で表示する車外画像表示システムにおいて、前記画像処理装置は、前記湾曲画像の歪みを矯正する変換テーブルと、前記変換テーブルに基づいて、前記撮像データを表示用データに変換する変換手段とを備えることを特徴とする。
【００１０】
第１発明にあっては、歪み矯正用の変換テーブルに基づいて、撮像データを表示用データに変換するため、表示装置で表示される歪みが矯正された画像は、標準レンズ等で撮像されたものと略同等な形態になり、車両の運転者は違和感無く画像を確認して車両周囲の死角の状況を的確に把握できる。なお、撮像装置を車両に設ける箇所は、運転席から死角となる車両の前部左右、後部、運転席と反対側の周囲等であり、これらの箇所に設置された撮像装置の画像を画像処理装置で変換することにより、車両周囲の状況を自然な形態で映し出せる。
【００１１】
第２発明に係る車外画像表示システムは、前記変換テーブルが、前記湾曲画像の一部の範囲を矯正する範囲変換テーブルを備えることを特徴とする。
第２発明にあっては、湾曲画像の一部の範囲を範囲変換テーブルに基づいて、変換することで、撮像装置が撮像した湾曲画像の中で、所要範囲のみを抽出して表示することが可能となり、必要な範囲を重点的に確認することが可能になる。
【００１２】
第３発明に係る車外画像表示システムは、前記範囲が扇状であり、前記範囲変換テーブルは、前記湾曲画像の各画素及び前記表示用データの各画素を下式に基づいて対応付けることで、前記歪みを矯正することを特徴とする。
ｘ＝｛ｒ２−（ｒ２−ｒ１）×Ｙ／Ｂ｝×ｓｉｎ｛（θ１−θ２）×Ｘ／Ａ＋θ２｝＋Ｃ・・・（１）
ｙ＝｛ｒ２−（ｒ２−ｒ１）×Ｙ／Ｂ｝×ｃｏｓ｛（θ１−θ２）×Ｘ／Ａ＋θ２｝＋Ｄ・・・（２）
（但し、ｘは撮像データの水平画素、ｙは撮像データの垂直画素、Ｘは表示用データの水平画素、Ｙは表示用データの垂直画素、Ａは撮像データの水平画素数、Ｂは撮像データの垂直画素数、ｒ１は湾曲画像の湾曲中心から内周までの半径、ｒ２は湾曲画像の湾曲中心から外周までの半径、θ１は水平方向と前記範囲の一境界線との角度、θ２は水平方向と前記範囲の他境界線との角度、Ｃは原点から前記湾曲中心までの水平画素数、Ｄは原点から前記湾曲中心までの垂直画素数）
【００１３】
第３発明にあっては、上述の数式（１）（２）に基づいて、各画素毎に変換を行うので、変換条件を詳細に設定できる。例えば、角度θ１、θ２を適宜設定することで、湾曲画像の所要位置の所要範囲を変換して表示することが可能になり、また、水平画素数Ａ及び垂直画素数Ｂを適宜設定することにより、表示用データの大きさを表示装置の解像度に応じて調整できる。なお、数式（１）（２）の計算結果に小数点以下の端数が生じた場合、切り捨て、四捨五入又は切り上げのいずれかを適用して対応する画素を特定する。
【００１４】
第４発明に係る車外画像表示システムは、前記変換テーブルが、前記湾曲画像の相違する複数の範囲に夫々対応した複数の前記範囲変換テーブルを備え、前記画像処理装置は更に、前記複数の範囲変換テーブルを切り換える切換手段を備えることを特徴とする。
【００１５】
第４発明にあっては、複数の範囲変換テーブルを切換手段で切り換えることで、表示される画像も連動して切り替わり、運転者の望む画像を容易に表示できる。表示画像を切り換える形態は、適用される範囲変換テーブルの内容に応じて種々のものが可能であり、例えば、湾曲画像の中心を回転中心として回転方向に３０度毎に相違させた一定範囲の範囲変換テーブルを複数準備し、これら各範囲変換テーブルを回転方向へ順次切り換えていくことで、表示画像が３０度毎に回転方向にシフトし、あたかも撮像装置を徐々に回転させて撮像したような画像の表示を実現できる。
【００１６】
なお、切換手段は、操作部の操作及び各種センサの検出等に連動して各範囲変換テーブルを切り換えるようにしてもよく、例えば、操作部に設けた切替ダイヤルの回転に応じて、表示範囲の回転に対応した各範囲変換テーブルを切換手段で切り換えるようにする。また、運転者がステアリングホイールを回転させた場合及びウインカーを点滅させる操作をした場合等は、これらの運転者の操作を車両に設けたセンサが検出して、切換手段が各範囲変換テーブルを切り換えるようにしてもよい。
【００１７】
第５発明に係る車外画像表示システムは、前記変換テーブルが、歪みを矯正した画像の表示倍率を変更する倍率変更テーブル、及び／又は、歪みを矯正した複数の画像を一画面内に配置する配置テーブルを備えることを特徴とする。
第５発明にあっては、倍率変更テーブル及び配置テーブル等を備えることで、運転者が要求する表示形態に応じた多彩な表示を実現できる。
【００１８】
例えば、表示される画像の一部を拡大したい場合等は、倍率変更テーブルに基づき撮像データを変換することで、湾曲画像の歪みの矯正と画像の拡大とを同時に行うことができ、２種類の変換を一つの変換テーブルに基づき効率的に行うことができる。また、車両の前部左右の画像を配置テーブルにより一画面内に表示することで、一度に車両前方の左右の状況も確認できる。
【００１９】
第６発明に係る車外画像表示システムは、前記撮像装置が、全方位を撮像する撮像手段を備えることを特徴とする。
第６発明にあっては、撮像装置が全方位を撮像できるので、撮像できる方向の死角を完全に解消できる。また、全方位の撮像データは、範囲変換テーブルにより一部の範囲を表示すると共に、この表示範囲を各範囲変換テーブルの切換により順次回転させることで、死角となる箇所の状況を把握しながら全方位を確認することもできる。
【００２０】
第７発明に係る画像処理装置は、外部から受け付けた湾曲画像のデータを表示用データに変換する画像処理装置において、前記湾曲画像の歪みを矯正する変換テーブルと、前記変換テーブルに基づいて、前記データを表示用データに変換する変換手段とを備えることを特徴とする。
第７発明にあっては、湾曲画像を変換テーブルにより矯正して表示用データを作成するため、運転者の見やすい画像を容易に表示できる。
【００２１】
第８発明に係る車外画像表示方法は、車両の外方に向けて設けてある湾曲画像撮像用の撮像装置で車外を撮像し、撮像された撮像データを画像処理装置で表示用データに変換し、該表示用データを車内に設けてある表示装置で表示する車外画像表示方法において、前記画像処理装置は、前記撮像データの湾曲画像の歪みを矯正する変換テーブルを備え、前記変換テーブルに基づいて、前記撮像データを表示用データに変換していることを特徴とする。
【００２２】
第８発明にあっては、湾曲画像の撮像データを変換テーブルにより歪みを矯正して表示用データに変換するため、広範囲の画像でも湾曲せずに距離感等を把握しやすい自然な形態で表示できる。
【００２３】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
図１は、本発明の実施形態に係る車外画像表示システム１０の全体構成図である。本実施形態の車外画像表示システム１０は車両に装着された左右カメラ１２Ａ、１２Ｂ、画像処理装置１３及びモニタ装置１４をケーブル１５でネットワーク的に接続することでシステムを構築している。
【００２４】
車外画像表示システム１０は、同期通信用ネットワークのＩＥＥＥ１３９４の規格に合致したネットワーク構成になっており、車両に構築された車載ＬＡＮの一部である情報系ＬＡＮ１１を形成している。なお、情報系ＬＡＮ１１は、ゲートウェイ装置１６を介してボディ系ＬＡＮ及び制御系ＬＡＮ等の他の系統のＬＡＮと接続されて車載ＬＡＮを形成している。
【００２５】
左右カメラ１２Ａ、１２Ｂは撮像装置に相当し、図９（ａ）示す従来の車外画像表示システム１と同様に、車両の前部の左右隅部で外方へ向けて設置されている。左右カメラ１２Ａ、１２ＢはＩＥＥＥ１３９４に対応した仕様になっており、周囲の全方位を撮像する撮像手段として、図２に示す３６０度の湾曲画像１８の撮像データ１９を撮像できる全方位レンズ１７Ａ、１７Ｂを装着している。
【００２６】
なお、湾曲画像１８の中央の小円は、全方位レンズ１７Ａ、１７Ｂの中央不撮像範囲１８ａであり、湾曲画像１８の周囲外方の箇所は外周不撮像範囲１８ｂである。さらに、湾曲画像１８におけるハッチング部分１９ａは、左右カメラ１２Ａ、１２Ｂが装着された車両部分が約９０度の範囲で撮像されたものである。このように撮像された撮像データ１９は、左右カメラ１２Ａ、１２Ｂからケーブル１５を通じて画像処理装置１３へ送出される。
【００２７】
図１に示す画像処理装置１３は、送出された撮像データ１９をモニタ装置１４で表示する表示用データに変換するものであり、変換用の変換テーブルを変換テーブル用メモリ２１で記憶している。変換テーブル用メモリ２１は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ＰＲＯＭ）であり、記憶されている変換テーブルは、後述するマイクロコンピュータ２３の発行する読出用トリガに基づき画像処理ＡＳＩＣ２４により読み出される。
【００２８】
変換テーブルは、撮像データ１９の湾曲画像１８の歪みを矯正するものであり、この変換テーブルに基づき撮像データ１９が変換され、例えば、図２に示す撮像データ１９の湾曲画像１８における点ｔ１〜ｔ４で囲まれた略扇状の範囲は、標準レンズで撮像したように歪みが矯正された表示用データ２０に変換される。なお、表示用データ２０の各４角Ｔ１〜Ｔ４は、湾曲画像１８の点ｔ１〜ｔ４に夫々対応している。
【００２９】
変換テーブル用メモリ２１は、一種類だけでなく種々の変換内容に応じた多種類の変換テーブルを記憶している。変換テーブルの種類には、湾曲画像１８の所定の一部の範囲を変換する範囲変換テーブル、歪みの矯正に加えて表示する倍率を変更する倍率変更テーブル、歪みを矯正した複数の画像を一画面内に配置する配置テーブル等がある。
【００３０】
範囲変換テーブルは、下記の数式（１）（２）に基づいて、湾曲画像１８の各画素と表示用データ２０の各画素とを対応付けることにより、歪みの矯正を行うものである。
ｘ＝｛ｒ２−（ｒ２−ｒ１）×Ｙ／Ｂ｝×ｓｉｎ｛（θ１−θ２）×Ｘ／Ａ＋θ２｝＋Ｃ・・・（１）
ｙ＝｛ｒ２−（ｒ２−ｒ１）×Ｙ／Ｂ｝×ｃｏｓ｛（θ１−θ２）×Ｘ／Ａ＋θ２｝＋Ｄ・・・（２）
【００３１】
上記数式（１）（２）において、Ｘは図３に示す表示用データ２０の水平方向（Ｘ軸方向）の水平画素であり、Ｙは表示用データ２０の垂直方向（Ｙ軸方向）の垂直画素である。なお、図３の表示用データ２０は左上を原点（０、０）として水平方向に６４０画素、垂直方向に４８０画素を有している。
【００３２】
また、上記数式（１）（２）で、ｘは図４に示す左上を原点（０、０）とする撮像データ１９の水平方向（ｘ軸方向）の水平画素であり、ｙは撮像データ１９の垂直方向（ｙ軸方向）の垂直画素である。さらに、Ａは撮像データ１９の水平方向の水平画素数、Ｂは撮像データ１９の垂直方向の垂直画素数であり、図４の撮像データ１９では水平画素数Ａが６４０、垂直画素数Ｂが４８０である。
【００３３】
さらに、また、Ｃは原点（０、０）から全方位レンズ１７Ａ、１７Ｂの中心である湾曲画像１８の湾曲中心１８ｃまでの水平方向の水平画素数であり、Ｄは原点（０、０）から湾曲画像１８の湾曲中心１８ｃまでの垂直方向の垂直画素数である。また、ｒ１は湾曲中心１８ｃから湾曲画像１８の内周１８ｄまでの内周半径であり、ｒ２は湾曲中心１８ｃから湾曲画像１８の外周１８ｅまでの外周半径である。なお、内周半径ｒ１、外周半径ｒ２の各数値は、適用する全方位レンズ１７Ａ、１７Ｂの仕様に応じて決定される。
【００３４】
さらに、θ１は水平方向となる水平線Ｌ１と湾曲画像１８における所要範囲の一境界線１８ｆとの角度であり、θ２は水平線Ｌ１と湾曲画像１８の所要範囲の他境界線１８ｇとの角度である。なお、角度θ１、θ２は適宜設定することが可能であり、本実施形態の変換テーブル用メモリ２１は角度θ１、θ２を種々の数値にした多数の範囲変換テーブルを記憶しており、変換の際に必要な範囲変換テーブルを読み出せるようにしている。
【００３５】
なお、上述した数式（１）（２）に基づく演算結果に小数点以下の端数が生じた場合、本実施形態では小数点以下の数値を四捨五入して、撮像データ１９の各画素（ｘ、ｙ）を特定している。
【００３６】
また、変換テーブルの倍率変更テーブルは、上述して得られた表示用データの各画素（Ｘ、Ｙ）で構成される各水平行、垂直列のいずれかを重複又は削除することで、画像を拡大、縮小を可能にするものである。なお、拡大及び縮小には水平方向又は垂直方向のいずれか一方向のみを行うことも可能であり、例えば、垂直方向のみを２倍に拡大する場合は、各画素の水平行を２回連続して並べるようにしている。
【００３７】
このような倍率変更テーブルは、数式（１）（２）による変換と倍率の変更を同時に行うように数式（１）（２）で得られた各画素の情報を倍率に応じて配置している。なお、倍率変更テーブルも倍率の変更程度に応じては多数のものが存在し、種々の倍率変更テーブルが変換テーブル用メモリ２１に記憶されている。
【００３８】
さらに、変換テーブルの配置テーブルは、数式（１）（２）による演算で歪みを矯正された複数の画像を組み合わせて配置する変換を行うものである。配置テーブルに基づく変換の一例として、図５（ａ）に示す撮像データ１９の湾曲画像１８における上半分の範囲１８１を変換して得られた画像２０１を、表示用データ２０の上半分に配置すると共に、撮像データ１９の湾曲画像１８における下左半分の範囲１８２を変換して得られた画像２０２を表示用データ２０の下左半分に配置するものがある。
【００３９】
このような配置テーブルを用いることで、図５（ａ）の表示用データ２０は、約２７０度に亘る車両の外部の状況を一度に運転者の把握しやすい状況で表示でき、車両周囲の死角を解消できる。また、別の配置テーブルとして、図５（ｂ）に示すように、右カメラ１２Ｂの撮像データ１９に基づく画像２０３及び左カメラ１２Ａの撮像データ１９に基づく画像２０４を左右に配置するものがあり、このような配置を行うことで、運転者が一目で車外の左右の状況を把握できるようにしている。なお、配置テーブルは、上述した内容以外にも多数存在し、これら各配置テーブルも変換テーブル用メモリ２１に記憶されている。
【００４０】
また、図１に示す画像処理装置１３は、変換テーブル用メモリ２１以外にも、通信インタフェース２２、マイクロコンピュータ２３、画像処理ＡＳＩＣ２４、フレームメモリ２５、モニタインタフェース２６、ＲＯＭ２７及びＲＡＭ２８を設けている。
【００４１】
通信インタフェース２２はシステムの物理層処理、データリンク層処理及びトランザクション層処理を行うネットワークの接続インタフェースであり、左右カメラ１２Ａ、１２Ｂから送出された撮像データの受付に係る処理を上述した各層に応じて行っている。
【００４２】
マイクロコンピュータ２３は、ＲＯＭ２７内に記憶されているプログラムに基づいて画像処理に係る全般の制御処理を行うものであり、特に、外部の操作部２９及び車両状況検出部３０からの各種信号に応じて、変換処理に用いる範囲変換テーブル、倍率変更テーブル及び配置テーブル等の各種変換テーブルを切り換える切換手段として機能している。
【００４３】
即ち、操作部２９は車両の搭乗者により操作されるものであり、変換テーブルの切換スイッチ２９ａ及び切換ダイヤル２９ｂ等が設けられている。切換スイッチ２９ａは適用する変換テーブルの種類等を設定するものであり、切換スイッチ２９ａが操作された場合、設定された変換テーブルを適用する旨の指示信号が出力され、マイクロコンピュータ２３は、この指示信号に対応する変換テーブルの読込用トリガを発行し、この読込用トリガに基づき画像処理ＡＳＩＣ２４が変換テーブル用メモリ２１より該当する変換テーブルを読み出すように制御している。
【００４４】
また、切換ダイヤル２９ｂは、適用する範囲変換テーブルを切換ダイヤル２９ｂの回転方向に応じて切り換える旨の指示信号を出力するものである。例えば、切換ダイヤル２９ｂを時計方向に回転させることで、図６（ａ）に示すように湾曲画像１８の角度θ１が３０度、角度θ２が１５０度の範囲に対応した範囲変換テーブルを、図６（ｂ）に示す角度θ１が０度、角度θ２が１２０度の範囲変換テーブルへ、さらには、図６（ｃ）に示す角度θ１が−３０度、角度θ２が９０度の範囲変換テーブルへ切り換える指示信号を出力するようにしている。
【００４５】
このような切換ダイヤル２９ｂの操作により、表示画像を回転でき、図１０の従来の回転するカメラ装置９と同様な画像を範囲変換テーブルの切換で可能にしている。
【００４６】
また、車両状況検出部３０は、車両の各所に設けられた各種センサにより車両の状況を検出するものであり、例えば、車両の左折、右折等を舵取装置に設けられた舵角センサから検出可能にし、また、後進を変速装置に設けられたギア位置センサ等から検出できるようにしている。車両状況検出部３０は、左折、右折及び後進等を検出した場合、検出した内容の検出信号を出力し、マイクロコンピュータ２３は出力された検出信号に応じた変換テーブルの読込用トリガを発行し、画像処理ＡＳＩＣ２４が発行された読込用トリガに対応する範囲変換テーブルを変換テーブル用メモリ２１から読み出すようにしている。
【００４７】
例えば、左折時であると車両状況検出部３０が検出した場合、マイクロコンピュータ２３は左カメラ１２Ａ用の範囲変換テーブルの読込用トリガを発行する制御を行う。なお、マイクロコンピュータ２３は、操作部２９からの指示信号を受け付けた場合、車両状況検出部３０からの信号に比べて優先的に扱うようにしている。また、マイクロコンピュータ２３は、処理中の各種データ等をＲＡＭ２８に記憶するようにしている。
【００４８】
画像処理ＡＳＩＣ２４は、画像処理専用のカスタムＩＣであり、変換手段として左右カメラ１２Ａ、１２Ｂの撮像データ１９を変換テーブル用メモリ２１から読み出した変換テーブルに基づいて表示用データ２０に変換するものである。変換テーブルに基づく変換は、例えば、図３に示す表示用データ２０の画素を、範囲変換テーブルに係る各数式（１）（２）に代入して、代入した画素に対応する図４の撮像データの画素を求め、この求めた画素情報を対応する表示用データ２０に配置することで行っている。
【００４９】
なお、画像処理ＡＳＩＣ２４は、マイクロコンピュータ２３が発行する読込用トリガに応じて読み出した種々の変換テーブルに基づき変換を行うことにより、撮像データ１９を歪みが矯正された様々な形態の表示用データ２０に変換できる。このように変換された表示用データ２０は、一旦、画像処理ＡＳＩＣ２４からフレームメモリ２５へ伝送される。
【００５０】
フレームメモリ２５は、撮像データ記憶領域及び表示用データ記憶領域を有しており、撮像データ記憶領域で左右カメラ１２Ａ、１２Ｂから送出された撮像データ１９を１画面単位で一時的に記憶し、表示用データ記憶領域で画像処理ＡＳＩＣ２４により変換された表示用データを１画面単位で記憶している。なお、表示用データ記憶領域は、１画面分の表示用データを蓄積した後、蓄積した各表示用データをモニタインタフェース２６へ順次送出している。また、表示用データ記憶領域では、表示用データ以外にも、初期画面用のデータ、背景用のデータ等も記憶している。
【００５１】
モニタインタフェース２６は、モニタ装置１４への接続用インタフェースであり、表示用データをアナログ画像信号の形態でモニタ装置１４へ出力する。なお、モニタインタフェース２６は、アナログＲＧＢ信号又はモニタ装置１４との間でデジタル伝送等に係るデジタル画像信号に対応したデータを出力可能にしてもよい。
【００５２】
次に、車外画像表示システム１０の変換テーブルに基づく撮像データの表示に至る全体的な変換処理方法の流れを図７のフローチャートに基づいて説明する。先ず、車外画像表示システム１０を起動してモニタ装置１４に初期画面を表示すると共に、画像処理装置１３は左右カメラ１２Ａ、１２Ｂから湾曲画像１８の撮像データ１９の受付があるか否かを判断している（Ｓ１）。
【００５３】
撮像データ１９の受付が無い場合は、左右カメラ１２Ａ、１２Ｂからの撮像データ１９を受け付けるまで、処理待ち状態（初期画面の表示状態）になる。また、撮像データ１９の受付がある場合は、操作部２９による操作で適用する変換テーブルの設定があるか否かを画像処理装置１３で判断している（Ｓ２）。
【００５４】
操作部２９で変換テーブルの設定がある場合は、設定された変換テーブルを変換テーブル用メモリ２１から読み出す（Ｓ３）。また、変換テーブルの設定が無い場合、車両状況検出部３０の検出状況に応じた変換テーブルを読み出す（Ｓ４）。この後、画像処理装置１３は、上述したように読み出した変換テーブルに基づいて、受け付けた撮像データ１９の湾曲画像１８を歪みの矯正された表示用データ２０に変換する（Ｓ５）。
【００５５】
このように変換された表示用データ２０は、モニタ装置１４で表示され（Ｓ６）、歪みのない自然な広角画像をモニタ装置１４で映し出し、運転者が車両の死角となる箇所の状況を通常の距離感で確認できるようにしている。
【００５６】
なお、本発明に係る車外画像表示システム１０は、上述した形態以外にも種々の変形例が可能である。例えば、上述した実施形態では、図１に示すように、画像処理装置１３はモニタ装置１４と別体にされているが、画像処理装置１３をモニタ装置１４に組み込んで画像処理装置１３とモニタ装置１４とを一体化するようにしてもよい。また、車両に設けるカメラは車両の前部左右だけでなく、車両の後部、運転席と反対側等にも設置して、撮像データを画像処理装置１３へ送出するようにしてもよい。
【００５７】
さらに、これら各カメラには、３６０度の全方位カメラの他にも湾曲画像を撮像できる魚眼レンズ、広角レンズ等を適用することも可能である。さらに、また、車外画像表示システム１０は、各カメラ及び画像処理装置１３をネットワーク的に接続する以外に、ワイヤハーネス等で非ネットワーク的に接続してシステムを構築してもよい。
【００５８】
また、図２の撮像データ１９をインターレース方式で表示するようにしてもよい。この場合、図８に示すように奇数番目の走査線のフィールド１９１と、偶数番目の走査線のフィールド１９２を組み合わせて１画面の撮像データ１９０を形成するが、このようなインターレース方式による撮像データ１９０を、数式（１）（２）に係る範囲変換テーブルに基づき変換を行う場合、数式（２）の垂直画素ｙが各走査線の番号と対応することになる。
【００５９】
なお、奇数番目の走査線のフィールド１９１における各走査線は０〜２３９の番号が付与され、偶数番目の走査線のフィールド１９２における各走査線は２４０〜４７９の番号が付与され、垂直画素ｙと各走査線の番号は、以下の表１に示す対応関係になる。
【００６０】
【表１】

【００６１】
上述した表１より、奇数番目の走査線（奇数走査線Ｋ）及び偶数番目の走査線（偶数走査線Ｇ）と、数式（２）の関係は以下の数式（３）（４）で表すことができる。
Ｋ＝ｙ／２・・・（３）
Ｇ＝Ｋｍａｘ＋（ｙ＋１）／２・・・（４）
（但し、Ｋｍａｘは奇数走査線Ｋの最大数）
【００６２】
このような数式（３）（４）に基づく変換テーブルを作成して、画像処理装置１３の変換テーブル用メモリ２１に記憶させることで、画像処理装置１３はインターレース方式の画像表示にも対応して湾曲画像を矯正した表示用データの表示も実現できる。
【００６３】
なお、インターレース方式における信号規格にはＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ　ｓｔａｎｄａｒｄ）信号があり、このＮＴＳＣ信号は各フィールド毎にブランク領域を形成する約２０本のブランク用走査線を有する。よって、ＮＴＳＣ信号では１画面全体の走査線数は５２５本になるが、ブランク用走査線は表示データに関係しないためブランク用走査線を除外して走査線を考慮すれば、上述した表１の関係はＮＴＳＣ信号の場合でも成立する。
【００６４】
【発明の効果】
以上に詳述した如く、第１発明、第７発明及び第８発明にあっては、変換テーブルに基づいて、撮像データの湾曲画像を歪みが矯正された表示用データに変換し表示装置で表示するため、車両の運転者は距離間等を把握しやすい自然な画像で車両外方の状況を確認できる。
【００６５】
第２発明にあっては、湾曲画像の一部の範囲を範囲変換テーブルに基づき変換することで、所要範囲のみを抽出して変換し、必要な範囲の画像のみを歪みを矯正した状態で表示できる。
第３発明にあっては、数式に基づき画素単位で変換を行うので、変換範囲等を詳細に設定できる。
第４発明にあっては、複数の範囲変換テーブルを切り換えて変換を行うことにより、表示される画像範囲を所要角度で回転させるような多彩な表示形態を実現できる。
【００６６】
第５発明にあっては、歪みの矯正に加えて他の変換も同時に行う種々の変換テーブルに基づき変換を行うので、一段と様々な表示形態を効率的な変換により実現できる。
第６発明にあっては、撮像装置が撮像手段により全方位を撮像できるので、車両の死角となる範囲全体を撮像でき、運転者は車両の外方の状況を広範囲にわたり確認できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る車外画像表示システムの全体構成図である。
【図２】撮像データの湾曲画像から歪みが矯正された表示用データへの変換を示す概略図である。
【図３】表示用データの画素を示す概略図である。
【図４】撮像データの構成を示す概略図である。
【図５】（ａ）は配置テーブルにより一の撮像データの複数範囲を一画面内に配置した表示用データの概略図、（ｂ）は左右カメラの各撮像データを一画面内に配置した表示用データの概略図である。
【図６】（ａ）（ｂ）（ｃ）は、範囲が３０度相違する各範囲変換テーブルを時計方向に切り換えていく状況を示す概略図である。
【図７】変換処理に係る画像表示方法のフローチャートである。
【図８】インターレース方式により表示される撮像データの構成を示す概略図である。
【図９】（ａ）は、車両に設けられた従来の車外画像表示システムの概略図、（ｂ）は左カメラにより撮像された画像データの図である。
【図１０】従来の車外画像表示システムに適用されるカメラ装置の一例を示す概略図である。
【符号の説明】
１０　車外画像表示システム
１２Ａ　左カメラ
１２Ｂ　右カメラ
１３　画像処理装置
１４　モニタ装置
１８　湾曲画像
１９　撮像データ
２０　表示用データ
２１　変換テーブル用メモリ
２３　マイクロコンピュータ
２９　操作部
３０　車両状況検出部

Claims

車両の外方に向けて設けてある撮像装置が撮像した湾曲画像の撮像データを、画像処理装置で表示用データに変換して車内に設けてある表示装置で表示する車外画像表示システムにおいて、
前記画像処理装置は、
前記湾曲画像の歪みを矯正する変換テーブルと、
前記変換テーブルに基づいて、前記撮像データを表示用データに変換する変換手段と
を備えることを特徴とする車外画像表示システム。
前記変換テーブルは、
前記湾曲画像の一部の範囲を矯正する範囲変換テーブルを備える請求項１に記載の車外画像表示システム。
前記範囲は扇状であり、
前記範囲変換テーブルは、
前記湾曲画像の各画素及び前記表示用データの各画素を下式に基づいて対応付けることで、前記歪みを矯正する請求項２に記載の車外画像表示システム。
ｘ＝｛ｒ２−（ｒ２−ｒ１）×Ｙ／Ｂ｝×ｓｉｎ｛（θ１−θ２）×Ｘ／Ａ＋θ２｝＋Ｃ
ｙ＝｛ｒ２−（ｒ２−ｒ１）×Ｙ／Ｂ｝×ｃｏｓ｛（θ１−θ２）×Ｘ／Ａ＋θ２｝＋Ｄ
（但し、ｘは撮像データの水平画素、ｙは撮像データの垂直画素、Ｘは表示用データの水平画素、Ｙは表示用データの垂直画素、Ａは撮像データの水平画素数、Ｂは撮像データの垂直画素数、ｒ１は湾曲画像の湾曲中心から内周までの半径、ｒ２は湾曲画像の湾曲中心から外周までの半径、θ１は水平方向と前記範囲の一境界線との角度、θ２は水平方向と前記範囲の他境界線との角度、Ｃは原点から前記湾曲中心までの水平画素数、Ｄは原点から前記湾曲中心までの垂直画素数）
前記変換テーブルは、
前記湾曲画像の相違する複数の範囲に夫々対応した複数の前記範囲変換テーブルを備え、
前記画像処理装置は更に、
前記複数の範囲変換テーブルを切り換える切換手段を備える請求項２又は請求項３に記載の車外画像表示システム。
前記変換テーブルは、
歪みを矯正した画像の表示倍率を変更する倍率変更テーブル、及び／又は、歪みを矯正した複数の画像を一画面内に配置する配置テーブルを備える請求項１乃至請求項４のいずれかに記載の車外画像表示システム。
前記撮像装置は、全方位を撮像する撮像手段を備える請求項１乃至請求項５のいずれかに記載の車外画像表示システム。
外部から受け付けた湾曲画像のデータを表示用データに変換する画像処理装置において、
前記湾曲画像の歪みを矯正する変換テーブルと、
前記変換テーブルに基づいて、前記データを表示用データに変換する変換手段と
を備えることを特徴とする画像処理装置。
車両の外方に向けて設けてある湾曲画像撮像用の撮像装置で車外を撮像し、撮像された撮像データを画像処理装置で表示用データに変換し、該表示用データを車内に設けてある表示装置で表示する車外画像表示方法において、
前記画像処理装置は、
前記撮像データの湾曲画像の歪みを矯正する変換テーブルを備え、
前記変換テーブルに基づいて、前記撮像データを表示用データに変換していることを特徴とする車外画像表示方法。