JP2008153882A - 撮像表示システム - Google Patents

Abstract

【課題】撮像表示システムにおいて、カメラの数が増加しても、ハードウェアの構成の規模が大幅に増大するのを防止する。
【解決手段】撮像表示システム（１００）に用いられるＣＭＯＳカメラ部１１は、景色Ｖ１が投影されるＣＭＯＳイメージセンサ１１ａと、ＣＭＯＳイメージセンサ１１ａの撮像素子のうち任意の撮像素子から像信号を読み出すタイミング発生器１１ｂと、画質を調整する画質調整部およびビデオ信号形式でエンコードするＮＴＳＣエンコーダを有するカメラ信号処理部１１ｃと、ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１からモニタ部３０に表示しようとする俯瞰像Ｇ１′への像変形の位置関係を、俯瞰像Ｇ１′を基準として規定するマッピングテーブルが記憶されたメモリ１１ｄとを備え、タイミング発生器１１ｂは、マッピングテーブルにより特定される撮像素子から像信号を読み出す。
【選択図】図３

Description

本発明は、撮像表示システムに関し、詳細には、カメラで得られた像を変形して表示する撮像表示システムに関する。

ナビゲーションシステムの普及等により、像を表示するモニタを備えた車両が増えている。加えて、カメラの低価格化により、映像を利用した、駐車支援をはじめとする安全運転支援システムの開発・普及も進展している。

その代表的な例として、例えば、車両の後部や両側部、前部などにカメラを設置し、このカメラで得られた車両の周囲の像を車室内に設置されたモニタに表示することで、運転者から死角となる車両周囲の様子を、車室内で視認可能としたシステムがある。

このシステムでは、各カメラによりそれぞれ得られたビデオ信号（例えば、ＮＴＳＣでエンコードされた信号）を信号合成処理装置に入力し、この信号合成処理装置で一旦デコードし、デコードして得られた各ビデオ信号が表す像の信号に対して、撮像対象の真上に設置された仮想カメラで得られると想定される像（俯瞰像）となるように像変形の処理を施し、得られた各俯瞰像の大きさを揃え、位置を整合させて、単一の俯瞰像に合成する信号処理（画像処理）を施し、得られた単一の俯瞰像を、再び所定規格のビデオ信号にエンコードした後にモニタに出力している。

これにより、車両を含めた車両周囲の広い範囲を、車両の真上から視たときに得られると想定される俯瞰像としてモニタに表示することができるため、運転者等乗員は、自車周囲の他車や障害物等に対する自車の客観的な位置関係を、素早く的確に把握することができる。

ここで、俯瞰像への変換処理の内容は、元の像から変換後の俯瞰像への像変形の位置関係を規定するマッピングテーブルにより特定される。

カメラの近くの物体の像はカメラから遠い物体の像よりも大きなサイズの像となるが、これを俯瞰像に変換すると、カメラからの距離の大小に拘わらず、現実の物体のサイズで表現されるため、マッピングデータは、例えば、カメラから遠い物体の像に対しては、画素間隔を広げて補間データを生成する（像の拡大）ようなマッピングデータが適用され、カメラに近い物体の像に対しては、画素を間引きしたうえで、画素間隔を他の画素間隔と揃える（像の縮小）ようなマッピングデータを適用している（特許文献１，２）。
特開２００２−３５４４６８号公報 特開２００６−０４８４５１号公報

ところで、このようにカメラで撮像してモニタに表示するシステム（撮像表示システム）では、カメラの設置位置等の差異により各カメラに投影される像が互いに異なるため、信号合成処理装置にカメラと同じ数のデコード部および同じ数のマッピングデータを備える必要がある。

そして、それらの設けられた複数のマッピングデータは互いに相違するものであるため、マッピングデータに基づいて俯瞰像に変換処理する俯瞰像処理部もカメラと同数だけ必要となり、信号合成処理装置のハードウェアの構成の規模が大きくなり、コスト面でも不利となる。

そして、カメラの設置数が今後さらに増えると、ハードウェア構成の規模の拡大はさらに顕著となる。

また、略リアルタイムでの処理が要求されるため処理の高速化は必須であるが、ハードウェア構成の規模が大きくなるにしたがって、高速化に伴う発熱も大きくなり、信頼性の観点から発熱量を抑制することが求められる。

本発明は上記事情に鑑みなされたもので、カメラの数が増加しても、ハードウェアの構成の規模が大幅に拡大するのを防止することができる撮像表示システムを提供することを目的とする。

本発明に係る撮像表示システムは、カメラ部ごとにマッピングデータを備え、ＣＭＯＳイメージセンサから像信号を読み出す駆動回路が、マッピングデータに対応した撮像素子から像信号を読み出すことにより、カメラの数が増加しても、ハードウェアの構成上は、その当該カメラの数の増加だけにとどめるものである。

すなわち、本発明に係る撮像表示システムは、ＣＭＯＳイメージセンサ（結像光学系を含むものであってもよい。）と、前記ＣＭＯＳイメージセンサの撮像素子のうち任意の撮像素子から像信号を読み出す駆動回路と、前記駆動回路によって読み出された像信号を、所定の規格のビデオ信号形式でエンコードして出力するカメラ信号処理部とを有するＣＭＯＳカメラ部、および前記ＣＭＯＳカメラ部から出力された前記ビデオ信号に基づいて像を表示する表示部を備えた撮像表示システムにおいて、前記ＣＭＯＳイメージセンサに投影された元の像から前記表示部に表示しようとする像への像変形の対応関係を、該表示部に表示しようとする像を基準として規定するマッピングテーブルを、前記ＣＭＯＳカメラ部に備え、前記駆動回路は、前記マッピングテーブルにより規定される撮像素子から前記像信号を読み出すものであることを特徴とする。

ここで、駆動回路は、ＣＭＯＳイメージセンサの任意の撮像素子から像信号を読み出すことができるものである。

所定の規格のビデオ信号形式とは、例えばＮＴＳＣ形式やＰＡＬ形式等、信号を可視像として表示部に表示するために満たすべき信号形式を意味する。ＮＴＳＣ形式やＰＡＬ形式に限定するものではなく、現在用いられ、または将来用いられることがある各種の信号形式を適用することができる。

このように構成された撮像表示システムによれば、イメージセンサとしてＣＭＯＳイメージセンサを用いているため、任意の撮像素子から像信号を読み出すことができる。したがって、駆動回路は、マッピングテーブルのデータにより規定される撮像素子から像信号を読み出すことができる。

ここで、マッピングテーブルのデータを、ＣＭＯＳイメージセンサに投影された元の像から表示部に表示しようとする像への像変形の対応関係（主として位置関係）を、該表示部に表示しようとする像を基準として規定するマッピングテーブルに設定しておくことで、カメラ部から像信号を読み出した時点で既に、変形後の像を表す信号を得ることができる。

この場合、マッピングテーブルは、ＣＭＯＳカメラ部内に備えられるため、従来のように、像変形を担う画像処理部を別途設ける必要がない。つまり、ＣＭＯＳカメラ部内で独立して像変形を完結することができる。

したがって、カメラ部の数が増加しても、ハードウェアの構成は、カメラ部の増加だけにとどめることができ、構成規模の大幅な拡大を防止することができる。よって、コストの上昇を緩和することもでき、また、処理の高速化による発熱増大の程度も緩和して信頼性を向上させることができる。

本発明に係る撮像表示システムによれば、カメラ部の数が増加しても、ハードウェアの構成の規模が大幅に増大するのを防止することができる。

以下、本発明に係る撮像表示システムの実施形態について、図面を用いて説明する。

本発明の一実施形態に係る撮像表示システム１００は、図１のブロック図および図２の模式図に示すように、例えば車両２００に搭載されて、駐車支援システムや安全運転支援システムなどに用いられ、車両２００の後部、前部、両側部にそれぞれ設置されたＣＭＯＳカメラ部１１，１２，１３，１４と、像を表示するモニタ部３０（表示部）と、各ＣＭＯＳカメラ部１１，１２，１３，１４により得られた４つの像を単一の像に合成する合成処理部２０（信号合成処理部）とを備えた構成である。

ここで、モニタ部３０は、車両２００に既設のカーナビゲーションシステム等で用いられているモニタを利用してもよい。

また、車両２００の後部に設置されたＣＭＯＳカメラ部１１は、車両２００の後方の路面を含む景色Ｖ１が投影されるように、車両２００の前部に設置されたＣＭＯＳカメラ部１２は、車両２００の前方の路面を含む景色Ｖ２が投影されるように、車両２００の左側部（例えば左サイドミラー下部）に設置されたＣＭＯＳカメラ部１３は、車両２００の左方の路面を含む景色Ｖ３が投影されるように、車両２００の右側部（例えば右サイドミラー下部）に設置されたＣＭＯＳカメラ部１４は、車両２００の右方の路面を含む景色Ｖ４が投影されるように、それぞれ設置されている。

そして、後部設置のＣＭＯＳカメラ部１１に投影される景色Ｖ１および左側部設置のＣＭＯＳカメラ部１３に投影される景色Ｖ３には、車両２００の左後方の景色の一部Ｖ１３が共通して含まれている。

同様に、後部設置のＣＭＯＳカメラ部１１に投影される景色Ｖ１および右側部設置のＣＭＯＳカメラ部１４に投影される景色Ｖ４には、車両２００の右後方の景色の一部Ｖ１４が共通して含まれ、前部設置のＣＭＯＳカメラ部１２に投影される景色Ｖ２および左側部設置のＣＭＯＳカメラ部１３に投影される景色Ｖ３には、車両２００の左前方の景色の一部Ｖ２３が共通して含まれ、前部設置のＣＭＯＳカメラ部１２に投影される景色Ｖ２および右側部設置のＣＭＯＳカメラ部１４に投影される景色Ｖ４には、車両２００の右前方の景色の一部Ｖ２４が共通して含まれる。

なお、このように、２つのＣＭＯＳカメラ部で、景色の一部が共通して投影されるように設定されているのは、合成処理部２０により各ＣＭＯＳカメラ部１１，１２，１３，１４で得られた４つの像を単一の像に合成する際に、この共通した景色Ｖ１３，Ｖ１４，Ｖ２３，Ｖ２４の像を重ね合わせることで、位置関係を対応させやすくすることができて利便性が高いためであるが、合成する４つの像の位置関係が予め精密に設定されている場合には、そのような位置関係の目安である共通する像部分を設ける必要がないため、隣接する２つのＣＭＯＳカメラ部間で景色Ｖの一部を共有させる必要はない。

各ＣＭＯＳカメラ部１１，１２，１３，１４は、互いに同じ構成であり、代表として後部に設置されたＣＭＯＳカメラ部１１は、例えば図３に示すように、後方の景色Ｖ１の像Ｇ１が投影される２次元ＣＭＯＳイメージセンサ（結像光学系を含む）１１ａと、ＣＭＯＳイメージセンサ１１ａを構成するマトリックス状に配列された撮像素子（画素）のうち任意の撮像素子から像信号を読み出すタイミング発生器１１ｂ（駆動回路）と、タイミング発生器１１ｂによってＣＭＯＳイメージセンサ１１ａから読み出された像信号に対して、ダイナミックレンジ調整やガンマ補正等の画質を調整する画質調整部および画質調整後の像信号を所定の規格のビデオ信号（映像信号）形式でエンコードして出力するＮＴＳＣエンコーダを有するカメラ信号処理部１１ｃと、ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１（車両２００の後方の景色Ｖ１の像）からモニタ部３０に表示しようとする像Ｇ１′への像変形の位置関係を、モニタ部３０に表示しようとする像Ｇ１′を基準として規定するマッピングテーブルが記憶されたメモリ１１ｄとを備え、タイミング発生器１１ｂは、メモリ１１ｄに記憶されたマッピングテーブルにより特定される撮像素子から像信号を読み出すものである。

他のＣＭＯＳカメラ部１２〜１４の詳しい構成は、車両２００に設置される部位および向きの差異に応じて各ＣＭＯＳイメージセンサに投影される景色Ｖ２〜Ｖ４が異なる以外は、上記ＣＭＯＳカメラ部１１と同じ構成である。

カメラ信号処理部１１ｃによる所定の規格のビデオ信号としては、本実施形態では例えば、画質調整後の像信号に、タイミング発生器１１ｂの読出しタイミングの信号に基づく映像同期信号を加えたＮＴＳＣ（アナログ映像の場合）等のビデオ信号を適用し、上記エンコード部としてＮＴＳＣエンコーダを適用しているが、本発明に係る撮像表示システムでは、ＮＴＳＣのビデオ信号に限定されるものではなく、ＰＡＬ（アナログ映像）のビデオ信号や、デジタル映像向けのビデオ信号等種々の規格のビデオ信号を適用することができる。

ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１（ＣＭＯＳカメラ部１１に距離が近い物体（景色）の像は大きく、ＣＭＯＳカメラ部１１から距離が遠い物体（景色）の像は小さい、という特徴の像）からモニタ部３０に表示しようとする像への像変形としては、例えば、俯瞰像への変形を適用することができる。

俯瞰像Ｇ１′は、車両２００を含めた車両２００の周囲の広い範囲の景色Ｖ１を、車両２００の真上から視たときに得られると想定される仮想の平面視の像であり、例えば図４（１）に示したＣＭＯＳカメラ部１１に投影された元の像Ｇ１（路面に駐車区画を示すラインＬ１，Ｌ２，Ｌ３，…が表示された駐車場の像）を俯瞰像Ｇ１′に像変形すると、俯瞰像Ｇ１′は同図（２）に示すように、ラインＬ１，Ｌ２が、現実の物体としての駐車場におけるラインＬ１，Ｌ２と同様に、平行な状態で表示される。

なお、符号２０１は、車両２００の後端部の一部（例えば、リヤバンパの一部）を示す。また、符号Ｂは、ＣＭＯＳイメージセンサ１１ａの撮像範囲外であるため対応する像信号が存在しないが、当該部もモニタ部３０に表示させる必要があるため、像信号として例えば輝度値０が与えられた範囲（マスキング領域）を示す。

ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１（図４（１））からモニタ部３０に表示しようとする俯瞰像Ｇ１′（同図（２））への像変形の位置関係を、モニタ部３０に表示しようとする像を基準として規定するマッピングテーブルは、図５（２）に示した俯瞰像Ｇ１′の座標系Ｐ′の各画素Ｐ′（ｘ，ｙ）が、図５（１）に示した元の像Ｇ１の座標系Ｐ（ＣＭＯＳイメージセンサ１１ａの撮像素子の配列に一致または対応している座標系）の、いずれの画素Ｐ（ｘ，ｙ）に対応しているかを規定したものである。

すなわち、俯瞰像Ｇ１′におけるラインＬ１とラインＬ３との交点に対応する画素Ｐ′（６，２）は、元の像Ｇ１の画素Ｐ（８，３）に対応しており、俯瞰像Ｇ１′におけるラインＬ２とラインＬ３との交点に対応する画素Ｐ′（１６，２）は、元の像Ｇ１の画素Ｐ（１３，２）に対応している。

同様に、俯瞰像Ｇ１′における画素Ｐ′（６，１３）は、元の像Ｇ１の画素Ｐ（１，１２）に対応しており、俯瞰像Ｇ１′における画素Ｐ′（１６，１３）は、元の像Ｇ１の画素Ｐ（２０，１１）に対応し、俯瞰像Ｇ１′における各画素Ｐ′（ｘ，ｙ）（ｘ＝１，２，…、ｙ＝１，２，…）は、元の像Ｇ１のいずれかの画素Ｐ（ｘ，ｙ）に対応付けられている。

ただし、マスキング領域Ｂの画素Ｐ′（ｘ，ｙ）については、元の像Ｇ１の範囲外であるため対応画素は存在せず、したがって元の像Ｇ１のいずれの画素Ｐ（ｘ，ｙ）にも対応付けられていない。

ここで、俯瞰像Ｇ１′を表す像信号は、読み出された後にカメラ信号処理部１１ｃのＮＴＳＣエンコーダでＮＴＳＣのビデオ信号にエンコードされるため、俯瞰像Ｇ１′における座標系Ｐ′のｙ軸方向の画素数は、ＮＴＳＣビデオ信号の走査ライン数（垂直方向）に対応している。

また、俯瞰像Ｇ１′における座標系Ｐ′のｘ軸方向は、ＮＴＳＣビデオ信号の走査ラインに沿った方向（略水平方向）に対応しているが、ＮＴＳＣビデオ信号はアナログ信号であるため、ｘ軸方向の画素数に制限はないものの、通常放送信号のアスペクト比４：３（横（ｘ軸）：縦（ｙ軸））またはハイビジョン放送信号のアスペクト比１６：９（横（ｘ軸）：縦（ｙ軸））と同程度を目安として設定すればよい。

ここで、図５（２）に示した俯瞰像Ｇ１′は、そのような画素数に設定されていないが、同図は、図面の記載内容が過度に煩雑になるのを防止するために簡略化したものであり、実施に際しては、上述したアスペクト比やモニタ部３０の表示画素数も考慮して、適切な画素数に設定すればよい。

ところで、従来の撮像表示システムにおいては、カメラ部のイメージセンサは、それがＣＣＤイメージセンサであるかＣＭＯＳイメージセンサであるかに拘わらず、エンコードされるビデオ信号がＮＴＳＣの場合、例えば横６４０画素×縦４８０画素（全体で約３０万画素）または横７２０画素×縦４８０画素（全体で約３５万画素）など、画素数が比較的小さいものが用いられている。

これは、イメージセンサに投影された像（本発明における元の像に相当）をそのまま表す像信号としてＮＴＳＣ等のビデオ信号にエンコードしてカメラ部から出力されているため、ビデオ信号の規格（１画面（フレーム）を形成する画素数（走査線の数などに基づく））を超えるスペックのイメージセンサを用いるのは過剰スペックで無駄だからである。

一方、本実施形態の撮像表示システム１００においても、各カメラ部１１〜１４でＮＴＳＣ等のビデオ信号にエンコードされるが、このエンコードされる像信号は、ＣＭＯＳイメージセンサ１１ａ（カメラ部１１の場合）に投影された像（元の像Ｇ１）をそのまま表す像信号ではなく、マッピングテーブルのデータに基づく読出しで変形された後の像（表示しようとする像＝俯瞰像Ｇ１′）を表す像信号であるため、この俯瞰像Ｇ１′の座標系Ｐ′における画素Ｐ′（ｘ，ｙ）のうちには、元の像Ｇ１の座標系Ｐにおける対応画素Ｐ（ｘ，ｙ）が存在しない場合もある。

例えば、図５（２）に示した俯瞰像Ｇ１′の座標系Ｐ′における画素Ｐ′（６，２）と画素Ｐ′（１６，２）とは、ｘ軸方向１０画素およびｙ軸方向０画素だけ離れており、これら両画素Ｐ′（６，２）、Ｐ′（１６，２）の間には、両画素Ｐ′（６，２）、Ｐ′（１６，２）を含めて１１個の画素が存在する。

しかし、この俯瞰像Ｇ１′の基となっている図５（１）に示した元の像Ｇ１には、画素Ｐ′（６，２）に対応する画素Ｐ（８，３）とＰ′（１６，２）に対応する画素Ｐ（１３，２）とは、ｘ軸方向５画素およびｙ軸方向１画素だけ離れているが、俯瞰像Ｇ１′の画素Ｐ′（６，２）と画素Ｐ′（１６，２）との間に存在する１５個の画素Ｐ′（７，２）、Ｐ′（８，２）、…、Ｐ′（１５，２）に直接対応する元の像Ｇ１の画素Ｐ（ｘ，ｙ）が存在しないことになる。

そこで、本実施形態の撮像表示システム１００では、対応する画素Ｐ（ｘ_m ，ｙ_n ）が存在しない当該画素Ｐ′（ｘ_i ，ｙ_j ）に対しては、最近傍補間と同じ原理で、当該画素Ｐ′（ｘ_i ，ｙ_j ）に隣接する画素Ｐ′（ｘ_i-1 ，ｙ_j）またはＰ′（ｘ_i ，ｙ_j-1 ）が対応する画素Ｐ（ｘ_p ，ｙ_q ）と同じ画素を対応付ければよい。例えば、
画素Ｐ′（６，２）に対して画素Ｐ（８，３）、
画素Ｐ′（７，２）に対して画素Ｐ（９，３）、
画素Ｐ′（８，２）に対しても画素Ｐ（９，３）、
画素Ｐ′（９，２）に対して画素Ｐ（１０，３）、
画素Ｐ′（１０，２）に対しても画素Ｐ（１１，３）、
画素Ｐ′（１１，２）に対して画素Ｐ（１１，３）
画素Ｐ′（１２，２）に対しても画素Ｐ（１１，３）、
画素Ｐ′（１３，２）に対して画素Ｐ（１２，３）、
画素Ｐ′（１４，２）に対しても画素Ｐ（１２，３）、
画素Ｐ′（１５，２）に対して画素Ｐ（１２，３）、
画素Ｐ′（１６，２）に対して画素Ｐ（１３，２）
というように対応付ければよく、メモリ１１ｄに記憶されているマッピングテーブルには、俯瞰像Ｇ１′の各画素Ｐ′（ｘ，ｙ）ごとに、上述した元の像Ｇ１における対応画素Ｐ（ｘ，ｙ）が規定されている。

そして、タイミング発生器１１ｂが、メモリ１１ｄに記憶されたこのマッピングテーブルにしたがった順序で、ＣＭＯＳイメージセンサ１１ａの各撮像素子（画素）から像信号を読み出し、その読み出された像信号は読み出された順にカメラ信号処理部１１ｃに送られる。

ここで、タイミング発生器１１ｂが、ＣＭＯＳイメージセンサ１１ａの特定の撮像素子から像信号を読み出す処理について、図６を用いて説明する。

なお、例示として、図６（１）に示すように、ＣＭＯＳイメージセンサ１１ａを構成する多数の撮像素子のうち、縦２画素×横２画素（計４画素）のマトリックスを構成する４つの画素Ｐ（１，１）（＝Ｈ１Ｖ１のＰＤ（撮像素子）），Ｐ（２，１）（＝Ｈ２Ｖ１のＰＤ（撮像素子）），Ｐ（１，２）（＝Ｈ１Ｖ２のＰＤ（撮像素子）），Ｐ（２，２）（＝Ｈ２Ｖ２のＰＤ（撮像素子））を、Ｐ（２，２）→Ｐ（１，２）→Ｐ（２，１）→Ｐ（１，１）の順に読み出す処理について説明する。

図６において、Ｈｎライン（ｎ＝１，２）、Ｖｎライン（ｎ＝１，２）は、水平、垂直それぞれの走査回路の信号ラインに相当する。また、ＣＭＯＳイメージセンサ１１ａに投影された像は、物体（風景等）に対して、上下および左右がそれぞれ反対の像となる。

図示において、各信号ラインのスイッチは、対応する信号ラインの走査駆動信号がＨ（ハイ）のときＯＮ（接続）となり、信号がＬ（ロー）のときＯＦＦ（切断）となる。

図６（２）に示した状態では、Ｈ２ラインがＨ、Ｈ１ラインがＬ、Ｖ２ラインがＨ、Ｖ１ラインがＬとなるように、水平走査回路および垂直走査回路からそれぞれ走査駆動信号が出力され、これによって、同図（１）に示すように、Ｈ２Ｖ２のＰＤの像信号のみが読み出される。

以下、同図（２）に示すように、Ｈ２ラインにＬ→Ｈ→Ｌ、Ｈ１ラインにＨ→Ｌ→Ｈ、Ｖ２ラインにＨ→Ｌ→Ｌ、Ｖ１ラインにＬ→Ｈ→Ｈ、という順に信号が出力されて、Ｈ１Ｖ２のＰＤ→Ｈ２Ｖ１のＰＤ→Ｈ１Ｖ１のＰＤ、の順に像信号が出力される。

そして、タイミング発生器１１ｂは、メモリ１１ｄに記憶されたマッピングテーブルで規定された座標系Ｐ′（ｘ，ｙ）に対応するＨｎＶｎの撮像素子から像信号が出力されるように、水平走査回路および垂直走査回路から出力される走査駆動信号を制御している。

なお、上述したマスキング領域Ｂ（図４（２）、図５（２））については、例えば、元の像Ｇ１における不存在の画素Ｐ（０，０）を対応付ければよい。このように不存在の画素を対応付けると、ＰＤからの読出し処理の際に、画素Ｐ（０，０）のＰＤを指定することになるが、この画素Ｐ（０，０）のＰＤは実存しないため、走査回路は、全ての信号ラインの信号をＬとする。この結果、読み出される像信号は基準電位の信号、すなわち輝度値０を表す像信号となり、マスキング領域Ｂを形成することができる。

合成処理部２０は、各カメラ部１１〜１４にそれぞれ対応して、各カメラ部１１〜１４からそれぞれ出力されたビデオ信号を、これらのビデオ信号が表す俯瞰像Ｇ１′を合成処理するのに適した信号形式に変換する映像信号デコーダ２１，２２，２３，２４と、各映像信号デコード部２１〜２４によりそれぞれ変換して得られた車両２００の後方の俯瞰像Ｇ１′、前方の俯瞰像Ｇ２′、左側方の俯瞰像Ｇ３′および右側方の俯瞰像Ｇ４′を、これらの位置関係を対応させて単一の俯瞰像Ｇ′に合成処理する画像合成装置２５と、この画像合成装置２５によって得られた単一の俯瞰像Ｇ′を、前述したカメラ信号処理部１１ｃのＮＴＳＣエンコーダと同様にＮＴＳＣ等モニタ部３０に表示するのに必要なビデオ信号形式にエンコードし直す映像信号エンコーダ２６とを備えている。

なお、４つの俯瞰像Ｇ１′〜Ｇ４′を合成して得られた単一の俯瞰像Ｇ′は、各単一の俯瞰像Ｇ１′〜Ｇ４′よりも信号数（データ数、画素数）が多くなるため、ＮＴＳＣ等ビデオ信号形式に適合するように、画像合成装置２５または映像信号エンコーダ２６において、信号数を減らす間引き処理（リサイズ処理）等を行ってもよい。

次に、本実施形態に係る撮像表示システム１００の作用について、図１，３に示したブロック図および図７に示したフローチャートを用いて説明する。

カメラ部１１のＣＭＯＳイメージセンサ１１ａには、車両２００の後方の景色Ｖ１の像Ｇ１が投影されており、タイミング発生器１１ｂは、メモリ１１ｄに記憶されたマッピングテーブルからデータを読み出し（Ｓ１０１）、マッピングテーブルのデータに対応した順序でＣＭＯＳイメージセンサ１１ａの撮像素子から像信号を読み出すための走査駆動信号（またはこの走査駆動信号に対応したタイミングチャート）を作成する（Ｓ１０２）。

作成された走査駆動信号は、タイミング発生器１１ｂからＣＭＯＳイメージセンサ１１ａに出力され、ＣＭＯＳイメージセンサ１１ａはこの走査駆動信号で特定された撮像素子から順次、像信号を出力する（Ｓ１０３）。このとき出力された像信号は、既に俯瞰像Ｇ′を表すものとなっている。

また、タイミング発生器１１ｂは、走査駆動信号の出力と同時に、ＮＴＳＣエンコーダからの出力信号（ビデオ信号）の同期の基となるタイミング信号を、カメラ処理部１１ｃに出力する。

ＣＭＯＳイメージセンサ１１ａから出力された俯瞰像Ｇ１′を表す像信号は、カメラ信号処理部１１ｃに入力され、カメラ信号処理部１１ｃは、ＣＭＯＳイメージセンサ１１ａから読み出された像信号に対して、画質調整部がダイナミックレンジ調整やガンマ補正等の画質を調整し（Ｓ１０４）、画質調整後の像信号を、タイミング発生器１１ｂから入力されたタイミング信号にしたがってＮＴＳＣ等のビデオ信号形式のビデオ信号（本実施形態では、標準映像信号の一つであるＮＴＳＣのビデオ信号）にエンコード（Ｓ１０５）して、合成処理部２０に出力する（Ｓ１０５）。

以上説明した処理の流れは、車両２００の後部に設置されたＣＭＯＳカメラ部１１だけでなく、車両２００の前部、両側部にそれぞれ設置された他の全てのＣＭＯＳカメラ部１２，１３，１４についても同じであり、これら全てのＣＭＯＳカメラ部１１〜１４の作用は同時並行的になされる。

そして、各ＣＭＯＳカメラ１１〜１４からそれぞれ出力されたビデオ信号は、各ＣＭＯＳカメラ部１１〜１４ごとに対応した映像信号デコーダ２１〜２４に入力され、各映像信号デコーダ２１〜２４は、入力されたビデオ信号から映像同期の基となるタイミング信号を分離するとともに、各ビデオ信号が表す俯瞰像Ｇ１′〜Ｇ４′を単一の俯瞰像Ｇ′に合成処理するのに適した信号形式にそれぞれ変換し、この変換された４つの像信号は、画像合成装置２５により、各像信号が表す俯瞰像Ｇ１′〜Ｇ４′を、単一の俯瞰像Ｇ′に合成処理し、この合成処理して得られた単一の俯瞰像Ｇ′を表す像信号を出力する。

出力されたする俯瞰像Ｇ′を表す得信号は、映像信号エンコーダ２６に入力され、映像信号エンコーダ２６は、映像同期の基となるタイミング信号に基づいて、カメラ信号処理部１１ｃのＮＴＳＣエンコーダと同様にＮＴＳＣ等モニタ部３０に像を表示するのに必要なビデオ信号形式にエンコードする。

そして、得られたビデオ信号は、モニタ部３０に出力され、モニタ部３０は、入力されたビデオ信号（単一の俯瞰像Ｇ′を表すビデオ信号）に基づいて、当該単一の俯瞰像Ｇ′をモニタ部３０に表示する。

このように、本実施形態に係る撮像表示システム１００によれば、ＣＭＯＳカメラ部１０のイメージセンサとしてＣＭＯＳイメージセンサ１１ａ，…を用いているため、任意の撮像素子から像信号を読み出すことができ、タイミング発生器１１ｂ，…は、マッピングテーブルのデータにより特定される任意の撮像素子から像信号を読み出すことができる。

ここで、マッピングテーブルのデータを、ＣＭＯＳイメージセンサ１１ａ，…に投影された元の像Ｇからモニタ部３０に表示しようとする俯瞰像Ｇ′への像変形の位置関係を、モニタ部３０に表示しようとする俯瞰像Ｇ′を基準として規定するマッピングテーブルに設定しておくことで、カメラ部１０から像信号を読み出して時点で既に、変形後の俯瞰像Ｇ′を表すビデオ信号として出力することができる。

この場合、マッピングテーブルは、各ＣＭＯＳカメラ部１１，１２，１３，１４に備えられているため、合成処理部２０内に、各ＣＭＯＳカメラ部１１，１２，１３，１４に対応した数の、俯瞰像Ｇ１′，Ｇ２′，Ｇ３′，Ｇ４′への像変形を担う像変形部を別途設ける必要がない。つまり、各ＣＭＯＳカメラ部１１，１２，１３，１４内で独立して像変形を完結することができる。

しかも、ＣＭＯＳカメラ部１１（以下、ＣＭＯＳカメラ１２，１３，１４も同じ。）には、タイミング発生器１１ｂが、ＣＭＯＳイメージセンサ１１ａから像信号を読み出すために従来より内部に備えられているため、ＣＭＯＳカメラ部１１のサイズが大型化することがない。

また、ＣＭＯＳカメラ部１１内に、タイミング発生器１１ｂの動作を制御することとなるマッピングテーブルのデータを備える必要があるが、このようなマッピングテーブルのデータ自体は、微小なサイズのメモリ１１ｄに記憶させることができ、ＣＭＯＳカメラ部１１のサイズに実質的な影響を与えることはない。

よって、ＣＭＯＳカメラ部１０の数が増加しても、ハードウェアの構成の規模が大幅に増大するのを防止することができるため、コストの上昇を緩和することもでき、また、処理の高速化による発熱増大の程度も緩和して信頼性を向上させることができる。

本実施形態に係る撮像表示システム１００は、ＣＭＯＳカメラ部１０として、互いに異なる範囲の景色Ｖ１〜Ｖ４を撮像する４つのＣＭＯＳカメラ部１１〜１４を有するとともに、各ＣＭＯＳカメラ部１１〜１４からそれぞれ出力されたビデオ信号を、各別に像信号の処理用にデコードする４つの映像信号デコーダ２１〜２４（デコード部）と、各映像信号デコーダ２１〜２４でデコードして得られた像信号（俯瞰像Ｇ１′〜Ｇ４′をそれぞれ表す）を用いて単一の俯瞰像Ｇ′を合成する画像合成装置２５（像合成部）と、画像合成装置２５で合成して得られた単一の俯瞰像Ｇ′に対応した像信号を、ＮＴＳＣ（所定の規格のビデオ信号）形式でエンコードする映像信号エンコーダ２６（エンコード部）とを有し、エンコーダ２６でエンコードされたビデオ信号をモニタ部３０に出力する合成処理部２０（信号合成処理部）を備えた構成であるが、本発明に係る撮像表示システムはこのように複数のＣＭＯＳカメラ部１１〜１４を備えたものに限定されるものではなく、単一のＣＭＯＳカメラ部１１（またはＣＭＯＳカメラ部１２，１３，１４のうちいずれか１つ。以下、同じ。）だけを備え、複数の像を合成する合成処理部２０を備えないものであってもよい。

このように、ＣＭＯＳカメラ部として単一のＣＭＯＳカメラ部１１のみを備えた撮像表示システムによっても、この単一の当該ＣＭＯＳカメラ部１１から像信号を出力する時点で、既に俯瞰像Ｇ′への像変換を完結しているため、従来のようにＣＭＯＳカメラ部から像信号を出力した後に像変形の処理を別途行う必要がなく、処理の高速化およびシステムの簡素化を図ることができる。

また、本実施形態の撮像表示システム１００において、マッピングテーブルは、メモリ１１ｄ（他のＣＭＯＳカメラ部であれば、１２ｄ，１３ｄ，１４ｄ；図示せず）に記憶されたものであり、このメモリ１１ｄは、例えば一般的にはＲＯＭ（読出し専用記憶部）であるが、フラッシュメモリ等書換え可能のメモリであってもよい。

このようにメモリ１１ｄが書換え可能のメモリであれば、このメモリに記憶されているマッピングテーブルを、当該マッピングテーブルとは像変形の内容が異なる他のマッピングテーブルに書き換えることで、マッピングテーブルの交換を可能にすることができる。

そして、マッピングテーブルの交換により、単一の構造のＣＭＯＳカメラ部であっても複数種類の像変形に対応することができ、コストの低減や、汎用品として普及を促進することができる。

図８は、そのような書換え可能のメモリ１１ｅを備えたＣＭＯＳカメラ部１１′を示すブロック図であり、図１に示した実施形態の撮像表示システム１００におけるＣＭＯＳカメラ部１０（１１〜１４）と置き換えられて用いられる。

図８に示したＣＭＯＳカメラ部１１′には、書換え可能のメモリ１１ｅと、このメモリ１１ｅに電気的に接続される雌コネクタ１１ｆとが具備され、雌コネクタ１１ｆは、ＣＭＯＳカメラ部１１′の筐体等に固定されている。

一方、ＣＭＯＳカメラ部１１′の外部にあって、マッピングテーブルのデータが記憶された記憶媒体１１ｈは、雌コネクタ１１ｆと接続される雄コネクタ１１ｇを備え、ＣＭＯＳカメラ部１１の雌コネクタ１１ｆに接続されると、この記憶媒体１１ｈに記憶されているマッピングテーブルのデータが、雄コネクタ１１ｇおよび雌コネクタ１１ｆの接続を介してメモリ１１ｅに記憶される。

メモリ１１ｅに、マッピングテーブルのデータが記憶された後は、雌コネクタ１１ｆから雄コネクタ１１ｇが引き抜かれて、ＣＭＯＳカメラ部１１′は記憶媒体１１ｈから切り離され、ＣＭＯＳカメラ部１１′は、メモリ１１ｅに記憶されたマッピングテーブルのデータにしたがって動作する。

すなわち、タイミング発生器１１ｂは、図３に示したＣＭＯＳカメラ部１１のタイミング発生器１１ｂと同様に、メモリ１１ｅに記憶されたマッピングテーブルのデータにしたがって、走査駆動信号を生成する。

また、適用したいマッピングテーブルのデータを他のデータと取り替える場合は、その取り替えようとする新たなマッピングデータが記憶された他の記憶媒体（１１ｈに相当する記憶媒体。その取り替えようとする新たなマッピングテーブルのデータを記憶媒体１１ｈに記憶させることができるときは、記憶媒体１１ｈをそのまま用いてもよい。）の雄コネクタ１１ｇを、ＣＭＯＳイメージセンサ１１ａの雌コネクタ１１ｆに接続することで、ＣＭＯＳカメラ部１１′のメモリ１１ｅに記憶されているマッピングテーブルのデータは、接続された他の記憶媒体に記憶されている他のマッピングテーブルのデータに書き換えられる。

このように構成されたＣＭＯＳカメラ部１１′を備えた実施形態の撮像表示システムであっても、上述した実施形態と同じ効果を得ることができ、加えて、複数種類の像変形に対応することができる。

また、マッピングテーブルを交換可能としたものでは、上述したように、マッピングテーブルがＣＭＯＳカメラ部１１の内部に備えられたメモリ１１ｄに記憶されているものに限定されるものではない。

すなわち、図９に示すＣＭＯＳカメラ部１１″は、図１に示した実施形態の撮像表示システム１００におけるＣＭＯＳカメラ部１０（１１〜１４）と置き換えられて用いられるものであり、ＣＭＯＳこのカメラ部１１″は、内部に、マッピングテーブルを記憶するためのメモリを備えていない。

そして、ＣＭＯＳこのカメラ部１１″は、そのようなメモリを備える代わりに、マッピングテーブルのデータが記憶された記憶媒体１１ｊを着脱可能（挿抜可能）としたソケット１１ｉを備え、このソケット１１ｉは、タイミング発生器１１ｂに電気的に接続されている。

したがって、マッピングテーブルのデータが記憶された記憶媒体１１ｊとタイミング発生器１１ｂとは着脱可能のソケット１１ｉを介して接続され、このソケット１１ｉに、他のマッピングテーブルが記憶された別異の記憶媒体（１１ｊに相当するもの）をソケット１１ｉに装着することにより、メモリに記憶されたマッピングテーブルと同じ作用効果を発揮させている。

このように構成されたＣＭＯＳカメラ部１１″を備えた実施形態の撮像表示システムであっても、上述した実施形態と同じ効果を得ることができ、加えて、複数種類の像変形に対応することができる。

なお、上述した各実施形態の撮像表示システム１００では、従来の撮像表示システムと同様に各カメラ部１１〜１４でＮＴＳＣ等のビデオ信号にエンコードするものの、ＣＭＯＳイメージセンサ１１ａ（他のカメラ部１２，１３，１４のＣＭＯＳイメージセンサも同様）の画素数（ＣＭＯＳイメージセンサ１１ａを構成する撮像素子の数）は、ＮＴＳＣ等のビデオ信号の規格を超える画素数としてもよく、そのような構成によれば、ＮＴＳＣ等のビデオ信号にエンコードされる画素数分の俯瞰像Ｇ′における画素Ｐ′（ｘ、ｙ）については、元の像Ｇにおいて重複を避けて対応画素Ｐ（Ｘ，Ｙ）を準備することができ、好ましい。

例えば、ＣＭＯＳイメージセンサ１１ａとして、横１２８０画素×縦９６０画素（全体で約１２３万画素）のものを用いた場合、元の像ＧをそのままＮＴＳＣのビデオ信号にエンコードするには、縦横ともそれぞれビデオ信号の規格に対して約２倍の過剰スペックであるため、縦横ともに１／２の数に画素を間引く必要がある。

しかし、好ましい実施形態の撮像表示システム１００では、ＣＭＯＳイメージセンサ１１ａに投影されている元の像Ｇ（約１２３万画素）から、ＮＴＳＣのビデオ信号の規格にしたがった約３０万画素の俯瞰像Ｇ′（約３０万画素）を得るように、タイミング発生器１１ｂが、メモリ１１ｄに記憶されたマッピングテーブルにしたがってＣＭＯＳイメージセンサ１１ａから像信号を読み出す場合は、ＣＭＯＳイメージセンサ１１ａの画素数が多くても過剰スペックにはならず、しかも、元の像Ｇの画素数が多いため、俯瞰像Ｇ′における画素Ｐ′（ｘ、ｙ）の多くが、元の像Ｇにおいて対応画素Ｐ（Ｘ，Ｙ）が存在することになり、最近傍補間で生じやすいアーチファクト（偽画像）の発生を抑制することができる。

本発明の一実施形態に係る撮像表示システムの構成を示すブロック図である。 図１に示した撮像表示システムが備える構成の、車両における配設部位と、各ＣＭＯＳカメラ部により撮影される範囲とを模式的に示した模式図である。 図１に示した撮像表示システムのうちＣＭＯＳカメラ部の詳細な構成を示すブロック図である。 （１）はＣＭＯＳカメラ部に投影された車両後方の像（元の像）、（２）は（１）の投影像を俯瞰して得られる俯瞰像、をそれぞれ示す図である。 （１）は元の像の座標系Ｐ、（２）は俯瞰像の座標系Ｐ′、をそれぞれ示す図である。 ＣＭＯＳイメージセンサの特定の撮像素子（ＰＤ）から像信号を読み出す処理を説明する作用説明図であり、（１）は回路図、（２）はタイミングチャート、をそれぞれ示す。 図１に示した撮像表示システムの作用を説明するフローチャートである。 ＣＭＯＳカメラ部の他の形態の一例（その１）を示すブロック図である。 ＣＭＯＳカメラ部の他の形態の一例（その２）を示すブロック図である。

符号の説明

１１ ＣＭＯＳカメラ部
１１ａ ＣＭＯＳイメージセンサ
１１ｂ タイミング発生器（駆動回路）
１１ｃ カメラ信号処理部
１１ｄ メモリ
３０ モニタ部（表示部）
１００ 撮像表示システム
２００ 車両
Ｖ１ 景色
Ｇ１ 元の像（景色Ｖ１の像）
Ｇ１′ 俯瞰像（モニタ部に表示しようとする像）

Claims (5)

1. ＣＭＯＳイメージセンサと、前記ＣＭＯＳイメージセンサの撮像素子のうち任意の撮像素子から像信号を読み出す駆動回路と、前記駆動回路によって読み出された像信号を、所定の規格のビデオ信号形式でエンコードして出力するカメラ信号処理部とを有するＣＭＯＳカメラ部、および前記ＣＭＯＳカメラ部から出力された前記ビデオ信号に基づいて像を表示する表示部を備えた撮像表示システムにおいて、
   前記ＣＭＯＳイメージセンサに投影された元の像から前記表示部に表示しようとする像への像変形の対応関係を該表示部に表示しようとする像を基準として規定するマッピングテーブルを、前記ＣＭＯＳカメラ部に備え、
   前記駆動回路は、前記マッピングテーブルにより規定される撮像素子から前記像信号を読み出すものであることを特徴とする撮像表示システム。
2. 前記マッピングテーブルは、該マッピングテーブルとは前記像変形の内容が異なる他のマッピングテーブルに交換可能とされていることを特徴とする請求項１に記載の撮像表示システム。
3. 前記マッピングテーブルは所定の記憶媒体に記憶され、該記憶媒体と前記駆動回路とは着脱可能のソケットを介して接続され、前記他のマッピングテーブルが記憶された別異の記憶媒体を前記ソケットに装着することにより、前記マッピングテーブルを交換可能としたものであることを特徴とする請求項２に記載の撮像表示システム。
4. 前記ＣＭＯＳカメラ部は、前記駆動回路に接続された書換え可能のメモリを備え、前記マッピングテーブルは前記メモリに書換え可能に記憶され、前記メモリに記憶されているマッピングテーブルを前記他のマッピングテーブルに書き換えることにより、前記マッピングテーブルを交換可能としたものであることを特徴とする請求項２に記載の撮像表示システム。
5. 前記ＣＭＯＳカメラ部として互いに異なる範囲を撮像する複数個のＣＭＯＳカメラ部を有し、
   前記各ＣＭＯＳカメラ部からそれぞれ出力されたビデオ信号を、像信号の処理用にデコードするデコード部と、前記デコード部でデコードして得られた像信号を用いて単一の像を合成する像合成部と、前記像合成部で合成して得られた単一の像に対応した像信号を、前記所定の規格のビデオ信号形式でエンコードするエンコード部とを有する、前記エンコード部でエンコードされたビデオ信号を前記表示部に出力する信号合成処理部を備えたことを特徴とする請求項１から４のうちいずれか１項に記載の撮像表示システム。

Images