JP2005222307A - 画像表示システム及び画像表示方法 - Google Patents

Abstract

【課題】 自動車の周囲の状況に応じて、不要な画像データの転送解像度を低く抑えることで、車載ネットワークを流れる全体のデータ量を抑制する画像表示システム及び画像表示方法を提供する。
【解決手段】 車両の周囲を撮像する複数の撮像装置と、複数の撮像装置により取得した画像データを表示する表示装置と、複数の撮像装置及び表示装置間の通信手段とを有する画像表示システムにおいて、車両の周囲の物体との距離を検出する複数の距離計測手段と、車両の速度を検出する速度検出手段とを有し、撮像装置は、検出した速度及び近傍に配置した距離計測手段で検出した距離に基づいて、撮像した画像データの表示装置への送信時の解像度を低くするか否かを判断し、画像データの解像度を低くすると判断した場合、画像データの解像度を低く変換して、画像データを表示装置へ送信する。
【選択図】 図５

Description

本発明は、車両に設置され周囲を撮像する撮像装置により撮像された画像データの解像度を障害物との距離に応じて変換して表示する画像表示システム及び画像表示方法に関する。

自動車の運転席からの視界は、窓部を広く設けた場合であっても、窓部を除く車体部により遮られた死角部分を生じる。該死角部分に存在する障害物、接近車両等を運転者が認識できるようにすべく、車体部の適切な箇所にビデオカメラを配置し、車体の周囲の状況を撮像して、運転者に表示するシステムが開発されている。

例えば、車体部の前部に右左折監視用のビデオカメラを、後部に後方監視用のビデオカメラを、それぞれ設置する等、複数のビデオカメラを自動車に搭載し、運転者の死角部分に該当する周囲の状況を撮像し、撮像した画像を運転席の表示装置に表示することで、死角部分に対する視覚的補助を行う。

ビデオカメラが撮像した映像は、運転者が見やすいように画像変換して表示装置に表示される。例えば、後方監視用のビデオカメラで撮像した画像データに対して、そのままでは後方に位置する障害物、目標物等との位置関係を把握しにくい場合、映像の視点変換のために座標変換処理を施し、変換された画像データを鳥瞰図として表示装置に表示する（非特許文献１参照）。

また、運転者の死角部分に関する情報を提供する場合に、同時に多くの情報を提供することは、却って運転者にとって煩わしくなることから、車両の走行状況に応じて運転者が必要となる情報を選択して表示する表示方法が開示されている（特許文献１参照）。
特開２００３−１６３９２６号公報 畑中健一他、「車載情報ネットワークを用いる周辺監視システムの開発」、ITS World Congress、２００３年

しかし、ビデオカメラで撮像した画像データを表示装置で表示すべく、ビデオカメラと表示装置とを通信可能に接続する車載ネットワークのデータ伝送容量には物理的な制約が存在し、運転者による見易さを重視して高い解像度の画像データを多量に伝送する場合、通信ネットワークに用いるケーブルの伝送容量を大きく設定しておく必要があり、安価なケーブル、例えばメタルケーブルのみで車載ネットワークを構成することができず、全体としてシステム構築コストが増大するという問題点があった。

また、障害物が存在せず、安全上の観点から特に詳細な画像表示を必要としない画像データについて、高い解像度で表示する必要性は少ない。

本発明は、斯かる事情に鑑みてなされたものであり、自動車の周囲の状況に応じて、必要な画像データについてのみ高い解像度の画像データとしてビデオカメラから表示装置に伝送し、他の画像データについては低い解像度の画像データとしてビデオカメラから表示装置に伝送することにより、複数のビデオカメラが撮像した画像データのうち、必要な画像データのみ解像度を高めることで視認しやすくするとともに、他の画像データの解像度を低く抑えることで、車載ネットワークを流れる全体のデータ量を抑制する画像表示システム及び画像表示方法を提供することを目的とする。

また、本発明の他の目的は、ビデオカメラで撮像した画像データの表示優先度を求めることで、表示優先度に基づいて解像度の高い画像データに変換する画像データを特定する画像表示システム及び画像表示方法を提供することを目的とする。

上記目的を達成するために第１発明に係る画像表示システムは、車両の周囲を撮像する複数の撮像装置と、複数の該撮像装置により取得した画像データを表示する表示装置と、複数の前記撮像装置及び前記表示装置間の通信手段とを有する画像表示システムにおいて、車両と、該車両の周囲の物体との近接状況に基づいて複数の前記撮像装置の表示優先度を算出する手段と、算出した表示優先度に基づいて、複数の前記撮像装置で撮像した画像データの解像度を決定する手段と、決定した解像度に基づいて、複数の前記撮像装置で撮像した画像データのうち解像度の変換が必要な画像データにつき解像度を変換する手段と、解像度を変換した画像データを含む複数の前記撮像装置で撮像した画像データを前記表示装置へ送信する手段とを備えることを特徴とする。

また、第２発明に係る画像表示システムは、第１発明において、前記撮像装置から前記表示装置への通信手段は、他のデータの通信と兼用であり、解像度を変換した画像データを含む複数の前記撮像装置で撮像した画像データの占める通信帯域が所定値以下であることを特徴とする。

また、第３発明に係る画像表示システムは、第１又は第２発明において、車両の周囲の物体との距離を算出する手段、又は車両の速度若しくは前記周囲の物体との相対的な速度を検出する手段、あるいは両方の手段を備えており、前記表示優先度は、前記距離又は前記速度、若しくは前記距離及び前記速度に基づいて算出することを特徴とする。

次に、上記目的を達成するために第４発明に係る画像表示方法は、車両の周囲を撮像する複数の撮像装置により取得した画像データを表示する画像表示方法において、車両の周囲の物体との近接状況を検出し、前記近接状況に基づいて、撮像された画像データの解像度を低くするか否かを判断し、画像データの解像度を低くすると判断した場合、解像度を低く変換した画像データを、画像データの解像度を低くしないと判断した場合、そのままの画像データを、それぞれ前記撮像装置から取得して表示することを特徴とする。

また、第５発明に係る画像表示方法は、第４発明において、複数の前記撮像装置から取得した異なる解像度の画像データを、一つの表示面に並べて表示すべくなしてあることを特徴とする。

また、第６発明に係る画像表示方法は、第４又は第５発明において、前記解像度を低くするか否かの判断は、前記近接状況が一定期間継続するか否か、又は前記近接状況の変化量が所定値より大きいか否かに基づいて判断すべくなしてあることを特徴とする。

第１の発明では、車両と、該車両の周囲の物体との近接状況を検出し、安全上の観点から撮像した画像データの解像度を高くする必要のある画像データのみ画像データの高い解像度の画像データとして撮像装置から表示装置へ送信する。これにより、安全上の観点から撮像した画像データの解像度を高くする必要のない画像データは低い解像度の画像データとして車載ネットワークを介して表示装置へ送信されることから、車載ネットワーク内を流れるデータ容量の全体量を増大させることがなく、安価なメタルケーブルを使用でき、システム構築コストを抑制することができるとともに、安全上必要な画像データについては高い解像度で表示することができ、運転者が確実に死角部分を確認することが可能となる。

第２の発明では、通信手段は、他のデータの通信と兼用であり、解像度を変換した画像データを含む複数の撮像装置で撮像した画像データの占める通信帯域を所定の範囲内に制限する。これにより、車載ネットワーク内を流れるデータ容量の全体量を増大させることがないことから、安価なメタルケーブルを使用でき、システム構築コストを抑制することが可能となる。

第３の発明では、車両の周囲の物体との距離、又は車両の速度若しくは周囲の物体との相対的な速度、あるいは両方に基づいて表示優先度を算出する。これにより、実際の状況に即した表示優先度を求めることができ、車載ネットワーク内で最も表示優先度が高い画像データのみ高い解像度の画像データとして撮像装置から表示装置へ送信することで、車載ネットワーク内を流れるデータ容量の全体量を抑制することが可能となる。

第４の発明では、車両の周囲の物体との近接状況を検出し、安全上の観点から撮像した画像データの解像度を高くする必要のある画像データのみ画像データの高い解像度の画像データとして撮像装置から表示装置へ送信する。これにより、安全上の観点から撮像した画像データの解像度を高くする必要のない画像データは低い解像度の画像データとして車載ネットワークを介して表示装置へ送信されることから、車載ネットワーク内を流れるデータ容量の全体量を増大させることがなく、安価なメタルケーブルを使用でき、システム構築コストを抑制することができるとともに、安全上必要な画像データについては高い解像度で表示することができ、運転者が確実に死角部分を確認することが可能となる。

第５の発明では、複数の撮像装置から取得した異なる解像度の画像データを、一つの表示面に並べて表示する。これにより、撮像装置から取得した画像データの一覧性を確保することができるとともに、表示可能な画像データのデータ容量の総和は、表示可能な一画面の大きさが上限となるよう制限することが可能となる。

第６の発明では、解像度を低くするか否かの判断は、近接状況が一定期間継続するか否か、又は近接状況の変化量が所定値より大きいか否かに基づいて判断する。これにより、例えば近接状況が一定時間継続して変動しない場合、安全上の観点から撮像した画像データの解像度を高くする必要のない画像データであると判断し、低い解像度の画像データとして車載ネットワークを介して表示装置へ送信する。また、近接度合が著しく高まった場合、安全のために直ちに解像度を高くする必要がある画像データであると判断し、高い解像度の画像データとして車載ネットワークを介して表示装置へ送信する。さらに、近接度合が所定範囲高くなった場合であり、しかも該状況が所定時間継続したときは、同様の判断を行い、高い解像度の画像データとして車載ネットワークを介して表示装置へ送信する。したがって、車載ネットワーク内を流れるデータ容量の全体量を増大させることがなく、安価なメタルケーブルを使用でき、システム構築コストを抑制することができるとともに、安全上必要な画像データについては高い解像度で表示することができ、運転者が確実に死角部分を確認することが可能となる。一方、突然障害物が飛び出してきた場合等についても、近接状況の大きな変化として検知することができ、より安全度の高い画像表示システムを実現することが可能となる。

第１の発明及び第４の発明によれば、安全上の観点から撮像した画像データの解像度を高くする必要のない画像データは低い解像度の画像データとして車載ネットワークを介して撮像装置から表示装置へ送信されることから、車載ネットワーク内を流れるデータ容量の全体量を増大させることがなく、安価なメタルケーブルを使用することができ、システム構築コストを抑制することができるとともに、安全上必要な画像データについては高い解像度で表示することができ、運転者が確実に死角部分を確認することが可能となる。

第２の発明によれば、車載ネットワーク内を流れるデータ容量の全体量を増大させることがないことから、安価なメタルケーブルを使用でき、システム構築コストを抑制することが可能となる。

第３の発明によれば、実際の状況に即した表示優先度を求めることができ、車載ネットワーク内で最も表示優先度が高い画像データのみ高い解像度の画像データとして撮像装置から表示装置へ送信することで、車載ネットワーク内を流れるデータ容量の全体量を抑制することが可能となる。

第５の発明によれば、撮像装置から取得した画像データの一覧性を確保することができるとともに、表示可能な画像データのデータ容量の総和は、表示可能な一画面の大きさが上限となるよう制限することが可能となる。

第６の発明によれば、例えば近接状況が一定時間継続して変動しない場合、安全上の観点から撮像した画像データの解像度を高くする必要のない画像データであると判断し、低い解像度の画像データとして車載ネットワークを介して表示装置へ送信する。また、近接度合が著しく高まった場合、安全のために直ちに解像度を高くする必要がある画像データであると判断し、高い解像度の画像データとして車載ネットワークを介して表示装置へ送信する。さらに、近接度合が所定範囲高くなった場合であり、しかも該状況が所定時間継続したときは、同様の判断を行い、高い解像度の画像データとして車載ネットワークを介して表示装置へ送信する。したがって、車載ネットワーク内を流れるデータ容量の全体量を増大させることがなく、安価なメタルケーブルを使用でき、システム構築コストを抑制することができるとともに、安全上必要な画像データについては高い解像度で表示することができ、運転者が確実に死角部分を確認することが可能となる。一方、突然障害物が飛び出してきた場合等についても、近接状況の大きな変化として検知することができ、より安全度の高い画像表示時ステムを実現することが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像表示システムの構成を示すブロック図である。図１に示すように、１、２、及び３は車両に搭載された撮像装置であり、１は前方監視用のビデオカメラ、２は後方監視用のビデオカメラ、３は右左折監視用のビデオカメラである。

前方監視用のビデオカメラ１は、車両の前方を撮像するために前窓部に設置してあり、車両の進行方向の監視などに用いられる。

後方監視用のビデオカメラ２は、広角レンズを備えたビデオカメラであり、車両の後方を撮像するために車両後部のバンパ中央部に設置してある。広角レンズの光軸は、車両の後方略水平方向に配置されている。後方監視用のビデオカメラ２は、車両を後進する際の後方の死角部分をカバーするために用いられる。

右左折監視用のビデオカメラ３は、車両の前方左右方向を撮像すべく車両の前部バンパの中央部に設置してある。右左折監視用のビデオカメラ３のレンズの光軸は、車両の前方略水平方向に配置されている。レンズの光軸を挟んで左右水平方向に１組のプリズムを設け、車両の左右方向からの光をレンズに収束させている。右左折監視用のビデオカメラ３は、見通しの悪い交差点における左右から接近する車両を確認するために用いられる。

以上のように、車両に搭載されるビデオカメラ１、２、及び３は、車両における設置位置に応じて撮像対象となる死角部分が相違しており、運転者の死角部分を相互に補完できるように設置されている。

ビデオカメラ１、２、及び３は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ３０に接続されており、中継器７、７を介して、表示装置５に接続されている。表示装置５は画像表示部６を備えている。

図２は、本発明の実施の形態１に係る画像表示システムにおけるビデオカメラの構成を示すブロック図である。基本的にビデオカメラ１、２、３は同様の構成を有する。図２において、２１は画像読取部であり、光学信号を電気信号に変換するＣＣＤ（Charge Coupled Device）を設けてあり、車両の周囲の光学信号をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号として読み取り、読み取ったＲＧＢ信号を内部バス２７を介してＭＰＵ２２へ出力する。

ＭＰＵ２２は、入力されたＲＧＢのアナログ信号をＲＧＢのデジタル信号に変換し、光学系で生じた各種の歪みを取り除く処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理、表示装置へ送信する画像データの解像度変換処理等を行う。なお、ＭＰＵ２２が実行するプログラムは、ＲＯＭ２３に記憶されており、実行時に読み出される。ＭＰＵ２２は、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとしてＲＡＭ２４へ一時記憶する。

１３９４インタフェース部２５は、車載ＬＡＮ３０を介して表示装置５と通信を行う。ＭＰＵ２２は、１３９４インタフェース部２５を介して表示装置５と通信を行い、自分自身以外のビデオカメラで撮像された画像データの表示優先度を取得する。取得したビデオカメラ毎の表示優先度はＲＡＭ２４に一次記憶される。

また、ビデオカメラ１は、車両の周囲の物体との距離を検出する距離センサ２６を設ける。距離センサ２６は、車両の周辺に存在する物体との相対的距離を検出できれば足り、例えば超音波センサを用いて超音波を出射し、反射波の位相遅れに基づいて被反射物体との距離を検出する。検出した物体との距離は、ＲＡＭ２４に一時記憶される。

図３は、本発明の実施の形態１に係る画像表示システムにおける表示装置５の構成を示すブロック図である。図３において、３１はインタフェース部であり、ビデオカメラ１、２、及び３からの画像データを受信する。受信した画像データはＲＡＭ３２に一時記憶する。

ＲＡＭ３２は、インタフェース部３１から入力されたビデオカメラ１、２、及び３毎の画像データをフレーム単位で一時記憶する。

ＭＰＵ３３は、ＲＡＭ３２に一時記憶された１フレーム分の画像データを読み出し、読み出した画像データについて、ビデオカメラ１、２、及び３毎に、運転者が視認することが容易なデータ形式へと画像変換処理を行う。例えばパノラマ表示、鳥瞰表示等の画像変換処理を行い、変換した画像データを、フレーム単位でＲＡＭ３２へ一時記憶する。

ＭＰＵ３３は、ＲＡＭ３２に一時記憶された変換した画像データを画像表示部６へ伝送することで、画像表示部６で表示する。この際、解像度の高い画像については、他の画像よりも大きく表示する。図４は、画像表示部６における画像の表示状態の例示図である。

図４では、５台のビデオカメラを設置し、後進しつつ車庫入れを行っている状況を想定している。５台のビデオカメラは、前方監視用のビデオカメラ１を車両前方に２台、後方監視用のビデオカメラ２を１台、右左折監視用のビデオカメラを車両後方に２台設置している。図４では、直進的に自動車が後退していることから、後方監視用のビデオカメラ２が安全上の観点から最も表示優先度が高く、ビデオカメラ２で撮像された画像データが高解像度で表示装置５へ送信されている。したがって、ビデオカメラ２で撮像された画像が、最大画像表示領域４１に大きく表示されている。その他のビデオカメラ１、１、３、３で撮像された画像は、やや小さな画像として、画像表示領域４２に左上から、前方左画像、前方右画像（それぞれビデオカメラ１で撮像された画像）、後方左画像、後方右画像（それぞれビデオカメラ３で撮像された画像）の順序で表示されている。

また、どのビデオカメラ２で撮像された画像が大きく表示されているのかを、画面右の車両を模したインジケータ画面を用いて表示する。例えば後方監視用のビデオカメラ２で撮像された画像データが大きく表示されている場合、位置を示すインジケータ４３が、他のインジケータと異なる色彩で表示される。インジケータ画面はこれに限定されるものではなく、大きく表示されているビデオカメラ２の位置を表示できる画面であれば何でもよい。

さらに、表示優先度によっては、幾つかのビデオカメラ２で撮像された画像を同時に大きく表示することも有効である。この場合、例えば表示画面左に大きい表示画面を並べて表示し、画面右の車両を模したインジケータ画面において、大きく表示されているビデオカメラ２の位置を複数表示する。なお、一画面に表示できる画像のデータ容量には物理的な上限が存在することから、表示装置へ送信されてくる画像のデータ容量を制限する通信帯域により、大きく表示できる画面の数が制約されていることは言うまでもない。

上述した構成の画像表示システムの動作について説明する。図５は、撮像装置であるビデオカメラ１のＭＰＵ２２での処理のフローチャートである。なお、図５で示す処理は、ビデオカメラ１のＭＰＵ２２において、例えば１００ｍｓｅｃ毎に繰り返し処理される。

ＭＰＵ２２は、車両の速度計で検出した車両の速度と、距離センサ２６で検出した周囲の物体との距離を取得する(ステップＳ５０１)。取得した速度及び距離に基づいて、ビデオカメラで撮像された画像データの表示優先度Ｅを算出する(ステップＳ５０２)。具体的には、取得した速度及び距離に基づいて、安全上の観点からビデオカメラで撮像された画像データの表示優先度を算出する。例えば速度（相対的な速度を意味し、前進又は後進の区別も含む）と距離との各々に重み付け係数を乗算し、適切な影響度を加味した関数値として（数１）のように表示優先度Ｅを算出する。（数１）において、ｆは表示優先度算出関数を、Ｄは距離を、Ｖは相対速度を、ａ、ｂは重み付け係数を、それぞれ示す。表示優先度Ｅが大きいほど、安全上の観点から運転者にとって重要な画像データであると判断する。

Ｅ＝ｆ（ａ＊Ｄ、ｂ＊Ｖ）・・・（数１）

ＭＰＵ２２は、同様に算出した他のビデオカメラで撮像された画像データの表示優先度を車載ＬＡＮ３０を介して取得し（ステップＳ５０３）、算出した表示優先度Ｅと比較する（ステップＳ５０４）。ＭＰＵ２２が、算出した表示優先度Ｅより、取得したビデオカメラの表示優先度が大きいと判断した場合（ステップＳ５０４：ＹＥＳ）、運転者にとっては重要ではない画像データであるものとして、撮像した画像データを低い解像度であるＱＶＧＡフォーマットに変換し（ステップＳ５０５）、送信用パケットデータの生成を行う（ステップＳ５０６）。

ＭＰＵ２２が、算出した表示優先度Ｅより、取得したビデオカメラの表示優先度が大きくないと判断した場合（ステップＳ５０４：ＮＯ）、すべてのビデオカメラについて上述した比較判断を行い（ステップＳ５０７）、算出した表示優先度Ｅより大きい表示優先度が存在しなかった場合（ステップＳ５０７：ＹＥＳ）、運転者にとって重要な画像データであるものとして、撮像した画像データを高い解像度であるＶＧＡフォーマットのまま、送信用パケットデータの生成を行う（ステップＳ５０８）。

なお、算出した表示優先度Ｅより、取得したビデオカメラの表示優先度が大きいか否かの判断は、所定の期間、例えば１秒間、算出した表示優先度Ｅより取得したビデオカメラの表示優先度が大きい場合に行う。このようにすることで、表示優先度が双方近接している場合、表示画面が頻繁に切り替わるおそれを未然に回避することができ、視認性の高い画面表示が可能となる。

また、例えば何らかの障害物が突然飛び出してきた場合等、ビデオカメラの表示優先度が大きく変化する場合であっても確実に表示画面を切り替えることができるよう、表示優先度が所定の値よりも大きく変化した場合には、所定の期間表示優先度の大小関係が維持されていないときでも、表示優先度が大きく変化したビデオカメラで撮像した画像の表示画面に切り替える。

ＭＰＵ２２は、生成したパケットデータを、１３９４インタフェース部２５から車載ＬＡＮ３０を介して表示装置５へ送信する（ステップＳ５０９）。

例えばビデオカメラで撮像した画像データをＶＧＡフォーマットで送信する場合、データ容量は約１５０Ｍｂｐｓとなる。５つのビデオカメラすべてがこの容量に対応可能であるように車載ＬＡＮ３０のケーブルの伝送容量を設計する場合、ケーブルに必要なデータ容量は７５０Ｍｂｐｓとなり、安価なケーブルではデータ伝送容量が不足することから高価な伝送容量の大きいケーブルを用いる必要が生じ、システム構築のコストアップ要因となる。

それに対して、表示優先度の最も高いビデオカメラで撮像した画像データはＶＧＡフォーマットで、他の４つのビデオカメラで撮像した画像データはＱＶＧＡフォーマットで、それぞれ送信する場合、ＱＶＧＡフォーマットのデータ容量はＶＧＡフォーマットのデータ容量の約４分の１である約３７．５Ｍｂｐｓであることから、車載ＬＡＮ３０のケーブルの伝送容量として必要なデータ容量は３００Ｍｂｐｓとなり、安価なメタルケーブルでも十分対応可能なデータ容量となる。

このように、死角部分として特に表示優先度の高いビデオカメラで撮像された画像データのみ高い解像度で送信するよう撮像装置側で制御することで、画像データを送信する車載ＬＡＮのケーブルに必要とされるデータ送信可能容量を抑制することができ、安価なメタルケーブルを使用することによりシステム全体の構築コストの低減が可能となる。

図６は、表示装置５のＭＰＵ３３での処理のフローチャートである。なお、図６に示す処理は、フレームレート単位で実行される。図６においてＭＰＵ３３は、ビデオカメラ５台からの画像データを受信し（ステップＳ６０１）、ビデオカメラの識別番号に対応付けて、１フレーム分の画像データをＲＡＭ３２に一時記憶する（ステップＳ６０２）。

ＭＰＵ３３は、一時記憶された画像データを読み出し、ビデオカメラの識別番号ごとにＶＧＡフォーマットの画像データであるかＱＶＧＡフォーマットの画像データであるかを判別する（ステップＳ６０３）。ＭＰＵ３３が、ＶＧＡフォーマットであると判別した画像データについては、最大表示領域４１に表示し（ステップＳ６０４）、ＶＧＡフォーマットでないと判別したその他の画像データについては、事前に定めた順序で画像表示領域４２に表示する（ステップＳ６０５）。

上述した処理を、一定周期で繰り返し実行することで、近接状況のヒステリシスに応じて表示優先度を算出することも有効である。ヒステリシスを利用することにより、状況変化の間隔が短い場合に生じる表示画面の切り替わり回数の急増による視認性の劣化を防止することが可能となるからである。

また、運転者にとって見やすい画像となるように画像変換処理を行ってもよい。例えば、後方監視用のビデオカメラ２が撮像した画像データについては、鳥瞰表示による視点変換処理を行う。具体的には、後方監視用のビデオカメラ２の設置位置の高さ、後方監視用のビデオカメラ２の設置角度、及び焦点距離に対応付けて設定された鳥瞰表示用の変換テーブルをＲＡＭ３４に記憶しておき、該変換テーブルを照会することにより３次元座標系に変換する。変換した３次元座標系を後方監視用のビデオカメラ２の位置を中心として平面に写像することにより、上空から見たような映像として表示することが可能となる。

以上のように本実施の形態１によれば、車載ＬＡＮ内を流れる画像データのデータ容量の全体量を増大させることなく、安価なメタルケーブルを使用して車載ＬＡＮを構成することができ、システム全体の構築コストを抑制することができるとともに、安全上必要な画像データについてのみ高い解像度で表示することができ、運転者が確実に死角部分を確認することが可能となる。

（実施の形態２）
本発明の実施の形態２に係る画像表示システムの構成は実施の形態１と同様である。すなわち、ビデオカメラ１、２、及び３は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ３０に接続されており、中継器７、７を介して、表示装置５に接続されている。表示装置５は画像表示部６を備えている。実施の形態１と相違するのは、ビデオカメラ１、２、及び３でビデオカメラで撮像された画像データの表示優先度を判断するのではなく、表示装置５で一括して判断する点にある。

図７は、撮像装置であるビデオカメラ１のＭＰＵ２２での処理のフローチャートである。なお、図７で示す処理は、ビデオカメラ１のＭＰＵ２２において、例えば１００ｍｓｅｃ毎に繰り返し処理される。

ＭＰＵ２２は、車両の速度計で検出した車両の速度と、距離センサ２６で検出した周囲の物体との距離を取得する(ステップＳ７０１)。取得した速度及び距離に基づいて、ビデオカメラで撮像された画像データの表示優先度Ｅを算出する(ステップＳ７０２)。具体的には、取得した速度及び距離に基づいて、安全上の観点からビデオカメラで撮像された画像データの表示優先度Ｅを算出する。例えば速度（相対的な速度を意味し、前進又は後進の区別も含む）と距離との各々に重み付け係数を乗算し、適切な影響度を加味した関数値として、表示優先度Ｅを（数２）のように算出する。（数２）において、ｆは表示優先度算出関数を、Ｄは距離を、Ｖは相対速度を、ａ、ｂは重み付け係数を、それぞれ示す。表示優先度Ｅが大きいほど、安全上の観点から運転者にとって重要な画像データであると判断する。

Ｅ＝ｆ（ａ＊Ｄ、ｂ＊Ｖ）・・・（数２）

ＭＰＵ２２は、算出した表示優先度を、該ビデオカメラの識別情報である識別番号とともに、車載ＬＡＮ３０を介して表示装置５へ送信し（ステップＳ７０３）、表示装置５から送信される表示優先度Ｅが最も大きい旨を示す変換不要信号を受信した場合（ステップＳ７０４：変換不要信号）、ＭＰＵ２２は、撮像した画像データを高い解像度であるＶＧＡフォーマットのまま、送信用のパケットデータを生成する（ステップＳ７０５）。

ＭＰＵ２２は、表示装置５から送信される表示優先度Ｅが最も大きい値ではない旨を示す変換指示信号を受信した場合（ステップＳ７０４：変換指示信号）、ＭＰＵ２２は、撮像した画像データを低い解像度であるＱＶＧＡフォーマットに画像変換処理を行い（ステップＳ７０６）、ＱＶＧＡフォーマットで送信用のパケットデータを生成する（ステップＳ７０７）。

ＭＰＵ２２は、生成したパケットデータを、１３９４インタフェース部２５から車載ＬＡＮ３０を介して表示装置５へ送信する（ステップＳ７０８）。

これにより、死角部分として特に表示優先度の高いビデオカメラで撮像された画像データのみ高い解像度で送信するよう撮像装置で制御することで、画像データを送信する車載ＬＡＮのケーブルに必要とされるデータ送信可能容量を抑制することができ、安価なメタルケーブルを使用することによりシステム全体の構築コストの低減が可能となる。

図８は、表示装置５のＭＰＵ３３での処理のフローチャートである。なお、図８で示す処理も、ビデオカメラ１のＭＰＵ２２において、例えば１００ｍｓｅｃ毎に繰り返し処理される。

ＭＰＵ３３は、ビデオカメラ５台から、それぞれ算出した表示優先度Ｅを車載ＬＡＮ３０を介して受信し（ステップＳ８０１）、ＲＡＭ３２へビデオカメラ１、２、３、３、３、３それぞれの識別番号とともに一時記憶する（ステップＳ８０２）。ＭＰＵ３３は、一時記憶した表示優先度をＲＡＭ３２から読み出し、どのビデオカメラで算出された表示優先度が最も大きいか否かを判断する（ステップＳ８０３）。ＭＰＵ３３が、表示優先度Ｅが最も大きいと判断したビデオカメラに対しては（ステップＳ８０３：ＹＥＳ）、表示優先度Ｅが最も大きい旨を示す変換不要信号を送信し（ステップＳ８０４）、他のビデオカメラに対しては（ステップＳ８０３：ＮＯ）、表示優先度Ｅが最も大きい値ではない旨を示す変換指示信号を送信する（ステップＳ８０５）。

ＭＰＵ３３は、ビデオカメラ５台から、それぞれＶＧＡフォーマット又はＱＶＧＡフォーマットの画像データを受信し（ステップＳ８０６）、ビデオカメラの識別番号に対応付けて、１フレーム分の画像データをＲＡＭ３２に一時記憶する（ステップＳ８０７）。

ＭＰＵ３３は、一時記憶された画像データを読み出し、ビデオカメラの識別番号ごとにＶＧＡフォーマットの画像データであるかＱＶＧＡフォーマットの画像データであるかを判別する（ステップＳ８０８）。ＭＰＵ３３が、ＶＧＡフォーマットであると判別した画像データについては、最大表示領域に表示し（ステップＳ８０９）、ＶＧＡフォーマットでないと判別したその他の画像データについては、事前に定めた順序で画像表示領域に表示する（ステップＳ８１０）。

上述した処理を、一定周期で繰り返し実行することで、近接状況のヒステリシスに応じて表示優先度を算出することも有効である。ヒステリシスを利用することにより、状況変化の間隔が短い場合に生じる表示画面の切り替わり回数の急増による視認性の劣化を防止することが可能となるからである。

以上のように本実施の形態２によれば、車載ＬＡＮ内を流れる画像データのデータ容量の全体量を増大させることなく、安全上必要な画像データについてのみ高解像度で表示することができ、運転者が確実に死角部分を確認することができる。また、安価なメタルケーブルを使用して車載ＬＡＮを構成することができ、システム全体の構築コストを抑制することが可能となる。

なお、上述した実施の形態１及び２では、車両の速度計で検出した車両の速度と、距離センサ２６で検出した周囲の物体との距離とに応じて、ビデオカメラで撮像された画像データの表示優先度を算出しているが、必ず両者が必要というものでもなく、例えば車両の速度（相対速度を含む）のみから算出しても良いし、周囲の物体との距離のみから算出しても良い。

本発明の実施の形態１に係る画像表示システムの構成を示すブロック図である。 本発明の実施の形態１に係る画像表示システムにおけるビデオカメラの構成を示すブロック図である。 本発明の実施の形態１に係る画像表示システムにおける表示装置の構成を示すブロック図である。 画像表示部における画像の表示状態の例示図である。 撮像装置であるビデオカメラのＭＰＵでの処理のフローチャートである。 表示装置のＭＰＵでの処理のフローチャートである。 撮像装置であるビデオカメラのＭＰＵでの処理のフローチャートである。 表示装置のＭＰＵでの処理のフローチャートである。

符号の説明

１、２、３ ビデオカメラ（撮像装置）
５ 表示装置
６ 画像表示部
７ 中継器
２１ 画像読取部
２２、３３ ＭＰＵ
２３ ＲＯＭ
２４、３２ ＲＡＭ
２５ １３９４インタフェース部
２６ 距離センサ
３０ 車載ＬＡＮ
３１ インタフェース部

Claims (6)

1. 車両の周囲を撮像する複数の撮像装置と、複数の該撮像装置により取得した画像データを表示する表示装置と、複数の前記撮像装置及び前記表示装置間の通信手段とを有する画像表示システムにおいて、
   車両と、該車両の周囲の物体との近接状況に基づいて複数の前記撮像装置の表示優先度を算出する手段と、
   算出した表示優先度に基づいて、複数の前記撮像装置で撮像した画像データの解像度を決定する手段と、
   決定した解像度に基づいて、複数の前記撮像装置で撮像した画像データのうち解像度の変換が必要な画像データにつき解像度を変換する手段と、
   解像度を変換した画像データを含む複数の前記撮像装置で撮像した画像データを前記表示装置へ送信する手段と
   を備えることを特徴とする画像表示システム。
2. 前記撮像装置から前記表示装置への通信手段は、他のデータの通信と兼用であり、解像度を変換した画像データを含む複数の前記撮像装置で撮像した画像データの占める通信帯域が所定値以下であることを特徴とする請求項１記載の画像表示システム。
3. 車両の周囲の物体との距離を算出する手段、又は車両の速度若しくは前記周囲の物体との相対的な速度を検出する手段、あるいは両方の手段を備えており、
   前記表示優先度は、前記距離又は前記速度、若しくは前記距離及び前記速度に基づいて算出することを特徴とする請求項１又は２に記載の画像表示システム。
4. 車両の周囲を撮像する複数の撮像装置により取得した画像データを表示する画像表示方法において、
   車両の周囲の物体との近接状況を検出し、
   前記近接状況に基づいて、撮像された画像データの解像度を低くするか否かを判断し、
   画像データの解像度を低くすると判断した場合、解像度を低く変換した画像データを、画像データの解像度を低くしないと判断した場合、そのままの画像データを、それぞれ前記撮像装置から取得して表示することを特徴とする画像表示方法。
5. 複数の前記撮像装置から取得した異なる解像度の画像データを、一つの表示面に並べて表示すべくなしてあることを特徴とする請求項４記載の画像表示方法。
6. 前記解像度を低くするか否かの判断は、前記近接状況が一定期間継続するか否か、又は前記近接状況の変化量が所定値より大きいか否かに基づいて判断すべくなしてあることを特徴とする請求項４又は５に記載の画像表示方法。
   

Images