JP2007189368A - 画像リサイジング機能付撮像装置及び画像表示システム - Google Patents

Abstract

【課題】表示装置側への画像の伝送手段として現状のＮＴＳＣ信号等を使用した場合でもイメージセンサの高解像度化のメリットを活かすことができるとともに、表示装置側で必要とする部分の画像を取得できるようにした「画像リサイジング機能付撮像装置及び画像表示システム」を提供すること。
【解決手段】撮像装置１０は、イメージセンサ１２と、取得要求の対象とされる画像の種類に応じて予めリサイジングの態様を規定したテーブルを格納した記憶手段１７と、制御手段１５とを備える。制御手段１５は、外部からの画像要求信号ＲＱに応答してテーブルを参照し、イメージセンサ１２で取得された画像データを、画像要求信号ＲＱにより指示される画像の種類に対応したリサイジングの態様により、所要の解像度に合わせた出力画像サイズに変換して出力する。
【選択図】図２

Description

本発明は、デジタルカメラ等の撮像装置においてイメージセンサで取得した画像を「リサイジング」する技術に関し、特に、車載用に適応された画像リサイジング機能付撮像装置、及びこの撮像装置から出力された画像データを表示装置に転送して表示するための画像表示システムに関する。

デジタルカメラは、撮影した画像を即時に再生することができ、また、パーソナルコンピュータ等の画像入力装置として簡便に利用できる等の利点から、様々な分野で利用されている。例えば、車載用として利用する場合、車両周囲を撮影してその撮像画像をＬＣＤモニタ等の表示装置の画面に表示すれば、パーキングエリアでの駐車や車庫入れ等の際に運転者の便宜（駐車支援）を図ることができる。この場合、撮像装置（車載カメラ）で取得された画像のデータは車載ＥＣＵ（電子制御ユニット）等のコンピュータに転送され、コンピュータにおいて適宜画像処理がなされた後、表示装置に供給されてその画面に車両周囲画像が表示される。

このように撮像装置で取得された画像をコンピュータを介して表示装置に転送するよう適応されたシステムでは、撮像装置とコンピュータの接続は、コンポジット映像信号（例えば、ＮＴＳＣ信号）による伝送ラインを用いて行うのが一般的である。その理由は、コンポジット映像信号は、テレビジョン映像を構成する輝度信号、色信号を合成して同時に扱えるようにした複合映像信号であって、現行アナログテレビ放送の方式であり、過去の膨大な映像ソフトウエア資産の記録方式でもあるＮＴＳＣ信号やＰＡＬ信号がそのまま扱えるからである。

一方、デジタルカメラには、光学レンズを通して被写体から反射された光を電気信号に変換するイメージセンサが内蔵されており、現状の技術では、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）を利用したイメージセンサが使用されている。デジタルカメラでは、イメージセンサから出力される電気信号はアナログ信号であるので、このアナログ信号をデジタル信号に変換した後、そのデジタル化された画像データをデジタル信号プロセッサ（ＤＳＰ）に入力している。このプロセッサでは、多種多様の画像処理が行われ、例えば、自動焦点、自動露光、自動ホワイトバランス調整、画像空間解像度スケーリング、圧縮などの画像処理が行われる。このプロセッサを通して画像処理された画像データは、上記のコンポジット映像信号（ＮＴＳＣ信号等）に変換されてコンピュータに転送され、さらに表示装置に供給される。

このようなデジタルカメラには、イメージセンサの画素数が大きい場合（つまり、解像度が高い場合）にＶＧＡ（６４０×４８０ドットの解像度）やＱＶＧＡ（３２０×２４０ドットの解像度）など所要の解像度に合わせた出力画像サイズに変換（リサイジング）する機能が備えられ、この画像リサイジング機能は上記のＤＳＰが担っている。典型的なリサイジングの態様としては、イメージセンサで取得された画像（例えば、図４、図５において「４２」、「４４」で示すようなマトリクス状の画素群からなる画像）に対し、全体を一定に間引く方法（例えば、水平方向の１ライン毎に交互に画素を間引く方法や、所定数単位の画素毎に１画素ずつ間引く方法等）、あるいは画像の一部の領域を切り取る方法が用いられている。

上記の従来技術に関連する技術としては、例えば、特許文献１に記載されるように、カメラ用イメージセンサによる画像信号を用いてコンピュータ制御ディスプレイに画像を表示させるにあたり、画像の特定の領域についての画像情報はフルデータ転送を行い、それ以外の領域については、間引きデータ転送を行うようにしたものがある。
実開平７−１３０６２号公報

上述したようにデジタルカメラには、イメージセンサの画素数が大きい場合にその取得された画像（データ）をＶＧＡ等の解像度に合わせた画像サイズにリサイジングして出力する機能が備えられているが、従来のリサイジングの態様では、画像全体に対して一定の割合で画素を間引いたり、あるいは画像の一部の領域を切り取るようにしていたため、特に車載用として利用した場合に以下の問題点があった。

すなわち、車載カメラを高解像度対応のもの（１００万〜２００万画素程度のデジタルカメラ）にした場合、表示装置側への画像の伝送手段として現状のようなコンポジット映像信号（ＮＴＳＣ信号等）を使用すると、実質３５万画素程度（＝７２０×４８０ピクセル（画素））のデータ量しか転送できないため、せっかく高解像度対応のデジタルカメラを車載用に利用してもその高解像度のメリットを活かすことができないといった課題があった。また、従来のように単純に画像の一部を切り取るようにしたリサイジングでは、必ずしも表示装置側において必要とする部分の画像を取得できない場合も起こり得るといった問題もあった。

かかる不都合に対処するには、カメラで取得した画像データをデジタル信号に変換して表示装置側に転送することが考えられるが、この場合には、カメラ側と表示装置側とを接続する伝送路の信号線の本数が増えてしまったり、表示装置側で画像データをキャプチャするメモリの容量が大きくなったりしてしまうなど別の問題が生じてしまう。

本発明は、かかる従来技術における課題に鑑み創作されたもので、表示装置側への画像の伝送手段として現状のＮＴＳＣ信号等を使用した場合でもイメージセンサの高解像度化のメリットを活かすことができるとともに、表示装置側で必要とする部分の画像を取得できるようにした画像リサイジング機能付撮像装置及び画像表示システムを提供することを目的とする。

上述した従来技術の課題を解決するため、本発明の一形態に係る画像リサイジング機能付撮像装置は、画像データを取得するイメージセンサと、外部からの取得要求の対象とされる画像の種類に応じて予め前記イメージセンサからの出力画像に対するリサイジングの態様を規定したテーブルを格納した記憶手段と、外部からの画像要求信号に応答して前記テーブルを参照し、前記イメージセンサで取得された画像データを、前記画像要求信号により指示される画像の種類に対応したリサイジングの態様により、所要の解像度に合わせた出力画像サイズに変換して出力する制御手段とを備えたことを特徴とする。

この形態に係る画像リサイジング機能付撮像装置によれば、外部（特定的には、表示装置）からの画像要求信号を受信したときに、記憶手段に格納されているテーブルを参照して、その画像要求信号により指示される画像の種類に対応したリサイジングの態様を特定し、その特定したリサイジングの態様に従い、イメージセンサで取得された画像データを所要の解像度に合わせた出力画像サイズに変換（リサイジング）して出力するようにしている。つまり、外部で取得したい画像の種類に応じて出力画像のリサイジングの態様を選択的に変えている。

これにより、外部（特定的には、表示装置）への画像の伝送手段として現状のＮＴＳＣ信号等を使用した場合でも、イメージセンサの高解像度化のメリットを十分に活かすことができる。また、外部で取得したい画像の種類に応じて出力画像のリサイジングの態様を変えているので、従来のように表示装置側において必要な部分の画像を取得できないといった問題を解消することができる。つまり、表示装置側で必要とする部分の画像を確実に取得することが可能となる。

また、本発明の他の形態によれば、車両に搭載された画像表示システムであって、表示装置と、上記の形態に係る画像リサイジング機能付撮像装置と、該撮像装置に前記画像要求信号を供給し、該撮像装置からコンポジット映像信号の形式で出力された画像データを適宜画像処理して前記表示装置に転送する制御装置とを備えたことを特徴とする画像表示システムが提供される。

この形態に係る画像表示システムの他の構成上の特徴及びその動作態様等については、後述する発明の実施の形態を参照しながら詳細に説明する。

以下、本発明の実施の形態について、添付の図面を参照しながら説明する。

図１は本発明の一実施形態に係る車載カメラ（画像リサイジング機能付撮像装置）を使用した画像表示システムの概略構成を示したものである。本実施形態では、本発明に係る画像リサイジング機能付撮像装置をトップビュー表示機能を備えた車載用画像表示システムの一部として組み込んだ場合の構成例を示している。「トップビュー表示」とは、ディスプレイの画面上で自車両を真上から見た表示であり、典型的なトップビュー表示機能によれば、予め自車画像をメモリ等に記憶させておき、その一方で複数の車載カメラにより車両周囲の各方向の画像を取得し、取得した各画像を自車両の上方からの視点に変換した後の車両周囲の画像と、上記の自車画像とを必要なときに合成して、ディスプレイの画面に表示する。

本実施形態に係る画像表示システム５０は、図１に示すように４台の車載カメラ（前方カメラ１０ａ、後方カメラ１０ｂ、左方カメラ１０ｃ及び右方カメラ１０ｄ）と、各車載カメラ１０ａ〜１０ｄで取得された画像のデータを適宜画像処理するＥＣＵ（電子制御ユニット）２０と、この画像処理されたデータ（情報）を画面に表示するディスプレイ装置３０とを備えている。各車載カメラ１０ａ〜１０ｄは、後述するように画像リサイジング機能を備えており、これについては後で説明する。

各車載カメラ１０ａ，１０ｂ，１０ｃ及び１０ｄは、それぞれ自車両の前方、後方、左方及び右方の画像を取得するためのものであり、車両の適当な箇所に設置されている。特に図示はしないが、前方カメラ１０ａは車両の前部（例えば、車室内のルームミラーの近傍）に、後方カメラ１０ｂは車両の後部（リヤ側の後ろ側の天井部分の近傍）に、左方カメラ１０ｃ及び右方カメラ１０ｄはそれぞれ車両の左側部及び右側部（例えば、ドアミラーの下部）に設置されている。また、本実施形態では、各車載カメラ１０ａ〜１０ｄは、各々のレンズ（魚眼レンズ）が若干下方を向くように位置決めされ、広角範囲（理想的には１８０°の撮像範囲）で画像を取得できるように設置されている。つまり、各車載カメラ１０ａ〜１０ｄが協働して自車両の全周囲を撮影できるように配置されている。

電子制御ユニット（ＥＣＵ）２０は、車室内のセンターコンソールの内側（いわゆるダッシュボードの内部）に設置されている。このＥＣＵ２０の内部構成については後で説明する。

ディスプレイ装置３０はＬＣＤモニタ等からなり、センターコンソールのほぼ中間位置において内側に収納され、必要に応じて表示画面がセンターコンソール上に現れるように設置されている。このディスプレイ装置３０の画面には、ＥＣＵ２０からの制御に基づいて、後述するように各車載カメラ１０ａ〜１０ｄで画像リサイジングが行われて出力された画像データを適宜画像処理して得られた車両周囲画像（トップビュー画像）が表示される。

次に、本実施形態に係る画像表示システム５０において使用される各車載カメラ１０ａ〜１０ｄの内部構成について、図２を参照しながら説明する。

図示のように車載カメラ１０（ａ〜ｄ）は、被写体で反射された光を透過させる光学レンズ１１と、このレンズ１１を通して入射された光を当該被写体に応じた映像信号（アナログの電気信号）に変換するＣＣＤイメージセンサ１２と、このＣＣＤイメージセンサ１２を駆動するＣＣＤドライバ１３と、ＣＣＤイメージセンサ１２から出力されるアナログの画像データに対して各種処理を行うアナログフロントエンド（Ｆ／Ｅ）１４と、デジタル信号プロセッサ（ＤＳＰ）１５と、データ格納用のメモリ１６と、本発明を特徴付ける特定のリサイジングの態様を規定したテーブルを格納したメモリ１７と、ビデオエンコーダ１８とを備えている。さらに、電源部（図示せず）も備えており、必要に応じて各機能ブロックにそれぞれ所要の電源電圧が供給されるようになっている。なお、図示の構成例では、ＣＣＤイメージセンサ１２を使用しているが、これに代えてＣＭＯＳイメージセンサを使用してもよい。

この構成において、アナログＦ／Ｅ１４は、特に図示はしないが、ＣＣＤイメージセンサ１２で取得されたアナログの画像信号からノイズ成分を除去するためのフィルタ、そのアナログの画像信号を増幅するアンプ、その増幅されたアナログ信号をデジタル画像信号に変換するＡ／Ｄ変換器などの機能ブロックを有している。このアナログＦ／Ｅ１４は、基本的には、ＣＣＤイメージセンサ１２の出力をＡ／Ｄ変換する際の入力ゲインを制御したり、ＣＣＤドライバ１３に対してＣＣＤイメージセンサ１２を駆動するのに必要な制御信号を供給するものである。

メモリ１６は、例えば、フラッシュメモリ等の半導体メモリからなる。このメモリ１６には、ＤＳＰ１５からの制御に基づき、アナログＦ／Ｅ１４を通して適宜画像処理されたデジタル画像データが格納される。メモリ１７は、同様にフラッシュメモリ等の半導体メモリからなる。このメモリ１７には、外部からの取得要求の対象とされる画像（本実施形態では、ＥＣＵ２０から送られてくる画像要求信号ＲＱにより指示される画像）の種類に応じて、それぞれイメージセンサ１２からの出力画像に対するリサイジングの態様を予め規定したテーブルが格納されている。

ＤＳＰ１５は、基本的には、アナログＦ／Ｅ１４を通して適宜画像処理されたデジタル画像データに対して、一般的なデジタルカメラにおいて行われているのと同様のデジタル信号処理、ガンマ（γ）補正等の信号加工や補正、ＹＵＶ信号への変換処理等を行う。ＹＵＶは、周知のようにコンポジット映像信号で基準として使用されている表色系であり、Ｙは輝度信号、Ｕは輝度信号と青色成分の差で定義される色差信号、Ｖは輝度信号と赤色成分の差で定義される色差信号を表している。例えば、ＹＵＶ４２２は、各成分を４：２：２にサンプリングする形式であり、水平方向の１つのＹに対して１つのＵ及びＶが対応する。ＹＵＶ４２０は、垂直／水平方向の２×２のＹに対して１つのＵ及びＶが対応するようにサンプリングする形式である。

さらにＤＳＰ１５は、本発明に関連する処理として、後述するようにＥＣＵ２０からの画像要求信号ＲＱを受信したときに、メモリ１７に格納されているテーブルを参照して、その画像要求信号ＲＱにより指示される画像の種類に対応したリサイジングの態様を特定し、その特定したリサイジングの態様に従い、イメージセンサ１２で取得された画像データ（メモリ１６にいったん格納されたデジタル画像データ）をＶＧＡ等の所要の出力画像サイズとなるように「リサイジング」を行う。このようにリサイジング処理がなされたデジタル画像データは、上記のγ補正等の信号加工や補正、ＹＵＶ信号への変換処理等を経て、ビデオエンコーダ１８に出力される。

ビデオエンコーダ１８では、そのデジタル画像信号（ＹＵＶ信号）をアナログの画像信号（ＮＴＳＣ信号）に変換して、ＥＣＵ２０への伝送ライン上に出力する。

次に、ＥＣＵ２０の内部構成について、図３を参照しながら説明する。

ＥＣＵ２０は、全体として、各車載カメラ１０ａ〜１０ｄから出力された画像データに対し、後述するように適宜画像処理を施して車両周囲の画像（トップビュー画像）を生成し、ディスプレイ装置３０に供給するための制御ユニットである。このＥＣＵ２０は、図３に示すように、車載カメラから転送されてきたアナログの画像データをデジタルデータに変換する画像入力部（Ａ／Ｄ）２１と、データ格納用のメモリ２２と、ＣＰＵ２３と、画像処理部２４と、ＣＰＵ２３で行うトップビュー表示のための処理を規定したプログラムを格納したメモリ２５と、車両情報検出部２６とを備えている。

メモリ２２は、例えば、フラッシュメモリ等の半導体メモリからなる。このメモリ２２には、ＣＰＵ２３からの制御に基づき、画像入力部２１を通してＡ／Ｄ変換された画像データ（各車載カメラ１０ａ〜１０ｄで取得された車両周辺の画像データ）が格納されると共に、後述するように画像処理部２４で画像処理されたデジタル画像データ（車両周辺の画像データの視点変換後の俯瞰画像データ）が格納される。さらにメモリ２２には、予め準備された自車両の画像（自車画像）のデータが格納されている。

画像処理部２４は、ＣＰＵ２３からの制御に基づき、メモリ２２に格納されている画像データを参照して、各車載カメラ１０ａ〜１０ｄで取得された各方向（自車両の前方、後方、左方及び右方）の画像の視点をそれぞれ自車両の上方からの視点に変換した画像（俯瞰画像）を生成し、生成された各方向の俯瞰画像を合成して車両周囲の画像を生成し、さらに、生成された車両周囲の画像（俯瞰画像）に自車画像を合成してトップビュー画像を生成する。

車両情報検出部２６は、車両に装備された各種センサ等（図示せず）の出力信号から自車両の状態を指示する情報を検出するためのブロックである。例えば、ＧＰＳ受信機の出力から車両位置を検出し、距離センサやジャイロ等の角度センサの出力、ステアリング回転角信号などから車速や車両方位等を検出し、シフト位置検出センサの出力から車両の進行方向を検出し、イグニション・キーのオン／オフ出力からエンジン起動／停止の状態を検出する。

ＣＰＵ２３は、基本的には、各車載カメラ１０ａ〜１０ｄから出力された画像データに基づいてトップビュー表示に係る各種画像処理を制御する。車両情報検出部２６で検出された車両状態指示情報の一部は、このトップビュー表示機能を「オン」させるためのトリガとして用いられる。さらにＣＰＵ２３は、本発明に関連する処理として、車両情報検出部２６で検出された車両状態指示情報を演算処理することにより、各車載カメラ１０ａ〜１０ｄに対して取得したい画像の種類を判別し、その画像の種類を指示する画像要求信号ＲＱを生成する。例えば、車速や車両方位、車両の進行方向を指示する情報を検出した場合、その車両状態指示情報を適宜演算処理することで、「車両が後ろ向き（バック）に駐車しようとしている状態」にあることを判別することができる。この場合、その判別結果に基づき、各車載カメラ１０ａ〜１０ｄのＤＳＰ１５に対してその時点での車両周囲近傍の画像を取得したい旨の画像要求信号ＲＱを生成し、出力する。また、演算処理に基づいて「車両が左折しようとしている状態」にあることを判別した場合には、その時点での車両左方の画像を取得したい旨の画像要求信号ＲＱを生成し、出力する。

以上のように構成された本実施形態に係る画像表示システム５０において、各車載カメラ１０ａ〜１０ｄは「画像リサイジング機能付撮像装置」に、ＤＳＰ１５及びビデオエンコーダ１８は協働して「制御手段」に、テーブル格納用メモリ１７は「記憶手段」に、ＥＣＵ２０は「制御装置」に、車両情報検出部２６は「車両状態指示情報検出手段」に、ディスプレイ装置３０は「表示装置」に、それぞれ対応している。

以下、本実施形態の画像表示システム５０に使用される車載カメラ１０ａ〜１０ｄにおいてＤＳＰ１５が行う画像リサイジングの態様について、図４及び図５を参照しながら説明する。

図４は、車載カメラにより車両周囲近傍の画像を取得した場合のリサイジングの一例を模式的に示したものである。図中、（ａ）は車載カメラのレンズから見た画像範囲４１とイメージセンサによる画像取得範囲４２との位置関係、（ｂ）は（ａ）の画像取得対象が車両周囲のどの部分であるか（図示の例では、車両が後ろ向き（バック）に駐車しようとしている状態）をトップビュー表示の態様で拡大して示したものである。なお、４０は自車画像を示している。図４（ａ）に示すように、車載カメラのレンズは平面的に丸いのでその画像範囲４１も「円形」となっているのに対し、イメージセンサによる画像取得範囲４２は、その受光部が２次元アレイのマトリクス状に配列されたフォトダイオードから構成されているため、カメラレンズの視野内で「矩形」となっている。なお、画像取得範囲４２において格子状に点線で区分けされた各部分は画素（ピクセル）を表している。

図４に示すリサイジングの例では、車載カメラにより車両周囲近傍の画像（図示の例では、後方カメラ１０ｂによる車両後方の画像）が取得された場合に対応して、イメージセンサ１２で取得された画像（画像取得範囲４２）のうち中央部分の領域Ａについてのみ画素を間引き、周辺部分の領域Ｂについては画素を間引かずに残すようにしている。このようなリサイジングの態様としたのは以下の理由による。

すなわち、トップビュー画面には駐車支援のための車両周囲の画像が表示され、また、車両周囲の画像を広角範囲で取得するために一般に魚眼レンズが使用されている。このため、この魚眼レンズを通してＣＣＤやＣＭＯＳ等のイメージセンサで画像を取得すると、レンズの周辺部分は中央部分と比べて解像度が落ちる。よって、この中央部分の画像データのみを表示装置側（ＥＣＵ２０及びディスプレイ装置３０）に転送するのが望ましい。その一方で、トップビュー表示の目的からすると周辺部分の画像も必要であり、この周辺部分の画像データも含めて表示装置側に転送できれば望ましい。しかし、前述したように現状技術では表示装置側への画像の伝送手段としてＮＴＳＣ信号等が広く使われており、かかるＮＴＳＣ信号等では一度に転送できる画像データ量に制約があるため、一部の領域の画素（データ）については「間引き」を行う必要がある。この場合、中央部分の画像は周辺部分の画像よりも解像度は良いので、この中央部分について多少の間引きを行ってもトップビュー画像全体としてはそれほど支障は生じない。

よって、図４に例示するようにイメージセンサによる画像取得範囲４２の周辺部分（領域Ｂ）の画素のデータは間引かずにそのままＥＣＵ２０側に転送し、画像取得範囲４２の中央部分（領域Ａ）の画素についてはデータを適当に間引いて転送しても、ＥＣＵ２０からの制御に基づきディスプレイ装置３０の画面上で、駐車支援に十分な車両周囲画像を確認することができる。

なお、車載カメラから表示装置側への画像転送にあたり、ＤＳＰ１５では、転送される画像のサイズ（Ａ＋Ｂ）が所要の出力画像サイズ（この場合、ＶＧＡサイズ）となるように画像リサイジングを行う。図示の例では、水平方向の１ラインについて、画素位置が１〜１４９の画素については「間引き無し」、画素位置が１５０〜３４９の画素については「間引き有り」、画素位置が３５０以降の画素については「間引き無し」のリサイジングの態様となっている。

図５は、車載カメラにより車両周囲から遠い部分の画像を取得した場合のリサイジングの一例を模式的に示したものである。図４の場合と同様に、（ａ）はカメラレンズから見た画像範囲４３とイメージセンサによる画像取得範囲４４との位置関係、（ｂ）は（ａ）の画像取得対象が車両周囲のどの部分であるか（図示の例では、車両が左折しようとしている状態）をトップビュー表示の態様で拡大して示したものである。カメラレンズから見た画像範囲４３とイメージセンサによる画像取得範囲４４の形状については、図４の場合と同様である。

図５に示すリサイジングの例では、車載カメラにより車両周囲から遠い部分の画像（図示の例では、左方カメラ１０ｃによる車両左方の画像）が取得された場合に対応して、イメージセンサ１２で取得された画像（画像取得範囲４４）のうち、左寄り中央部分の領域Ｄについては画素を間引かずに残すようにし、それ以外の周辺部分の領域Ｃについてのみ画素を間引くようにしている。このようなリサイジングの態様としたのは、表示対象としている画像の種類が上記の場合（図４）とは違い、駐車支援のために利用される画像ではないからである。

つまり、表示対象としているのは「車両が左折しようとしている状態」を示す画像であるため、周辺部分の画像よりもむしろ車両左側近傍（中央部分）の画像を表示させる必要がある。その一方で、ＮＴＳＣ信号等では一度に転送できる画像データ量に制約があるため、一部の領域の画素（データ）については「間引き」を行う必要がある。この場合、魚眼レンズの使用により中央部分の画像は周辺部分の画像よりも解像度は良く、しかも、車両左側近傍（中央部分）の画像を表示させる必要があることから、周辺部分の画像を間引くのが望ましい。

よって、図５に例示するようにイメージセンサによる画像取得範囲４４の中央部分（領域Ｄ）の画素のデータは間引かずにそのままＥＣＵ２０側に転送し、画像取得範囲４４の周辺部分（領域Ｃ）の画素についてはデータを適当に間引いて転送しても、ＥＣＵ２０からの制御に基づきディスプレイ装置３０の画面上に、左折する際に確認するのに十分な車両左方の画像を表示させることができる。

同様に、車載カメラから表示装置側への画像転送にあたり、ＤＳＰ１５では、転送される画像のサイズ（Ｃ＋Ｄ）がＶＧＡサイズとなるように画像リサイジングを行う。図示の例では、水平方向の１ラインについて、画素位置が１〜２４９の画素については「間引き無し」、画素位置が２５０以降の画素については「間引き有り」のリサイジングの態様となっている。

以上説明したように、本実施形態に係る車載カメラ１０ａ〜１０ｄ（画像リサイジング機能付撮像装置）及びこれを使用した画像表示システム５０によれば、ＥＣＵ２０からの画像要求信号ＲＱを受信したときに、メモリ１７に格納されているテーブルを参照して、その画像要求信号ＲＱにより指示される画像の種類に対応したリサイジングの態様を特定し、その特定したリサイジングの態様に従い、イメージセンサ１２で取得された画像データをＶＧＡ等の所要の出力画像サイズとなるように変換（リサイジング）して出力している。つまり、表示装置側（ＥＣＵ２０及びディスプレイ装置３０）で取得したい画像の種類に応じて出力画像のリサイジングの態様を選択的に変えている。

これによって、表示装置側への画像の伝送手段として現状のＮＴＳＣ信号等のコンポジット映像信号を使用した場合でも、イメージセンサ１２の高解像度化（高画素化）のメリットを十分に活かすことができる。また、表示装置側で取得したい画像の種類に応じて出力画像のリサイジングの態様を変えているので、従来のように表示装置側において必要な部分の画像を取得できないといった問題は生じない。つまり、表示装置側で必要とする部分の画像を確実に取得することができる。

上述した実施形態では、画像リサイジング機能付撮像装置としての車載カメラ１０ａ〜１０ｄをトップビュー表示機能を備えた車載用画像表示システムの一部として組み込んだ場合を例にとって説明したが、本発明に係る画像リサイジング機能付撮像装置及び画像表示システムは、その要旨からも明らかなように、必ずしもトップビュー表示機能を備えた画像表示システムを搭載した車両に搭載される必要がないことはもちろんである。要は、上述したように撮像装置（車載カメラ１０ａ〜１０ｄ）が、表示装置側（ＥＣＵ２０及びディスプレイ装置３０）で取得したい画像の種類に応じて出力画像のリサイジングの態様を選択的に変える機能（特定的には、メモリ１７内のテーブル）を有していれば十分であり、本発明は、かかる機能を有した撮像装置であれば、トップビュー表示機能の具備／不備にかかわらず、また、車載用に限らず、同様に適用することが可能である。

また、上述した実施形態では、車載カメラ１０ａ〜１０ｄで行う画像リサイジングの態様として図４及び図５に示した２種類の場合を例にとって説明したが、表示装置側で取得したい画像の種類がこれら２種類に限定されないことはもちろんである。また、図４及び図５の例示では、イメージセンサによる画像取得範囲４２，４４を中央部分と周辺部分の２つの領域（「間引き有り」又は「間引き無し」の領域）に分けているが、分割する領域が２つの領域に限定されないことはもちろんである。さらに、画像取得範囲における「間引き有り」の部分と「間引き無し」の部分の配置についても、必ずしも中央部分又は周辺部分に限定されないことはもちろんである。

また、上述した実施形態では、車載カメラ１０ａ〜１０ｄのレンズを若干下方に向けて広角範囲で画像を取得できるように（つまり、自車両の全周囲を撮影できるように）配置した場合を例にとって説明したが、車載カメラのレンズは必ずしも下方に向ける必要はなく、例えば、水平方向にカメラレンズが向くように配置してもよい。

この場合には、車両周囲の画像ではなく、車両からかなり離れた遠方の画像を取得することになり、カメラレンズ（魚眼レンズ）から見た画像範囲の周辺部分の画素のデータは有効に使えないため、この部分の画像を切り取り、イメージセンサによる画像取得範囲の中央部分の画素のデータをそのまま（間引き無しで）切り出す。この場合も同様に、切り出される中央部分の画像（つまり、表示装置側に転送される画像）のサイズがＶＧＡ等の所要の出力画像サイズとなるようにリサイジングを行うことはもちろんである。また、この場合には、メモリ１７に格納されるテーブルには、各車載カメラ１０ａ〜１０ｄにより車両から遠方の画像が取得された場合に対応して、イメージセンサ１２で取得された画像のうち周辺部分の領域については画素を切り取り、中央部分の領域についてのみ画素を間引かずに残すようにしたリサイジングの態様が規定される。

本発明の一実施形態に係る車載カメラ（画像リサイジング機能付撮像装置）を使用した画像表示システムの概略構成を示す図である。 図１のシステムにおける各車載カメラの内部構成を概略的に示すブロック図である。 図１のシステムにおけるＥＣＵの内部構成を概略的に示すブロック図である。 図２の車載カメラにおいて行うＤＳＰが行う画像リサイジングの一例を説明するための図である。 図２の車載カメラにおいて行うＤＳＰが行う画像リサイジングの他の例を説明するための図である。

符号の説明

１０ａ，１０ｂ，１０ｃ，１０ｄ…車載カメラ（画像リサイジング機能付撮像装置）、
１２…ＣＣＤイメージセンサ、
１５…デジタル信号プロセッサ（ＤＳＰ／制御手段）、
１７…テーブル格納用メモリ（記憶手段）、
１８…ビデオエンコーダ（制御手段）、
２０…電子制御ユニット（ＥＣＵ／制御装置）、
２３…ＣＰＵ、
２６…車両情報検出部（車両状態指示情報検出手段）、
３０…ディスプレイ装置（表示装置）、
４０…自車画像、
４１，４３…カメラレンズから見た画像範囲、
４２，４４…イメージセンサによる画像取得範囲、
５０…画像表示システム、
Ａ，Ｃ…イメージセンサによる取得画像に対して「間引き」を行う領域、
Ｂ，Ｄ…イメージセンサによる取得画像に対して「間引き」を行わない領域、
ＲＱ…画像要求信号。

Claims (6)

1. 画像データを取得するイメージセンサと、
   外部からの取得要求の対象とされる画像の種類に応じて予め前記イメージセンサからの出力画像に対するリサイジングの態様を規定したテーブルを格納した記憶手段と、
   外部からの画像要求信号に応答して前記テーブルを参照し、前記イメージセンサで取得された画像データを、前記画像要求信号により指示される画像の種類に対応したリサイジングの態様により、所要の解像度に合わせた出力画像サイズに変換して出力する制御手段とを備えたことを特徴とする画像リサイジング機能付撮像装置。
2. 前記制御手段は、前記画像要求信号により指示される画像の種類に応じたリサイジングの態様により変換された画像データをコンポジット映像信号に変換して出力することを特徴とする請求項１に記載の画像リサイジング機能付撮像装置。
3. 車両に搭載された画像表示システムであって、
   表示装置と、
   請求項２に記載の画像リサイジング機能付撮像装置と、
   該撮像装置に前記画像要求信号を供給し、該撮像装置からコンポジット映像信号の形式で出力された画像データを適宜画像処理して前記表示装置に転送する制御装置とを備えたことを特徴とする画像表示システム。
4. 前記制御装置は、当該車両の状態を指示する情報を検出する手段を有し、該検出された情報を適宜演算処理した結果に基づいて前記画像要求信号を生成することを特徴とする請求項３に記載の画像表示システム。
5. 前記画像リサイジング機能付撮像装置は、当該車両の前方、後方、左方及び右方に設けられ、かつ、それぞれレンズを下方に向けて広角範囲で画像を取得可能に設置された車載カメラであり、
   前記制御装置は、前記各車載カメラにより取得された各方向の画像の視点を当該車両の上方からの視点に変換し、視点変換後の各画像を合成して前記表示装置に転送することを特徴とする請求項３に記載の画像表示システム。
6. 前記記憶手段に格納されているテーブルには、前記リサイジングの態様として、少なくとも、前記各車載カメラにより車両周囲近傍の画像が取得された場合に対応して、前記イメージセンサで取得された画像のうち中央部分の領域についてのみ画素を間引いた第１のリサイジング態様と、前記各車載カメラにより車両周囲から遠い部分の画像が取得された場合に対応して、前記イメージセンサで取得された画像のうち周辺部分の領域についてのみ画素を間引いた第２のリサイジング態様とが規定されていることを特徴とする請求項５に記載の画像表示システム。

Images