JP2008219504A - 撮像表示システム - Google Patents

Abstract

【課題】撮像表示システムにおいて、カメラから出力されるビデオ信号が所定規格のビデオ信号形式であっても、鮮鋭度の低下を抑制した拡大処理像を表示部に表示可能とする。
【解決手段】ＣＭＯＳイメージセンサ１１ａの撮像素子からタイミング発生器１１ｂによって像信号を読み出し、得られた像信号をカメラ信号処理部１１ｃによりＮＴＳＣ規格のビデオ信号形式で出力するＣＭＯＳカメラ部１１と、出力されたビデオ信号Ｇ１′に基づいて像を表示するモニタ部３０とを備え、ＣＭＯＳイメージセンサ１１ａは、ビデオ信号Ｇ１′の画素数を超える撮像素子数を有し、ＣＭＯＳカメラ部１１は、元の像Ｇ１からビデオ信号Ｇ１′の画素数のビデオ信号像Ｇ１′への像変形の対応関係を規定したマッピングテーブルを記憶したメモリ１１ｄを備え、タイミング発生器１１ｂは、マッピングテーブルにより特定された撮像素子から像信号を読み出すものである。
【選択図】図３

Description

本発明は、撮像表示システムに関し、詳細には、カメラで得られた像を変形して、この変形後の像を表示する撮像表示システムに関する。

ナビゲーションシステムの普及等により、車両の周囲の像を表示するモニタ（表示部の一例）を備えた車両が増えている。加えて、カメラの低価格化により、映像を利用した、駐車支援をはじめとする安全運転支援システムの開発・普及も進展している。

その代表的な例として、例えば、車両の後部や両側部、前部などにカメラを設置し、このカメラで得られた車両の周囲の像を車室内に設置されたモニタに表示することで、運転者から死角等となる車両周囲の様子を、車室内で視認可能としたシステムがある。

このシステムでは、各カメラの駆動回路によって各撮像素子から像信号を読み出し、読み出された像信号を、カメラの信号処理部により所定の規格のビデオ信号形式（例えば、ＮＴＳＣ規格のビデオ信号）でエンコードし、このエンコードされたビデオ信号をカメラから出力し、出力されたビデオ信号を、カメラの外部の信号合成処理装置に入力し、この信号合成処理装置で一旦デコードし、デコードして得られた各ビデオ信号に対して、このビデオ信号が表す像（ビデオ信号像）を拡大処理等するように信号処理し、信号処理後の信号を上記規格にしたがったビデオ信号形式に整えてモニタに出力することで、乗員に対して、より有益な画像を提供している。

例えば、各カメラで撮像された像を、車両の真上から視たときに得られると想定される平面視の俯瞰像としてモニタに表示するなどであり、この場合、乗員は、モニタに映し出された俯瞰像を観察することで、自車周囲の他車や障害物等に対する自車の客観的な位置関係を的確に把握することができる（特許文献１，２）。

このシステムでは、カメラで撮像された画像を俯瞰像に変形処理する方法として、元の像における各画素の位置と変換後の像の各画素の位置との対応関係を規定するマッピングテーブルが用いられる。

そして、画像の拡大処理を伴う領域では、変形前の元の画像には存在しない画素のデータを補間処理によって生成する必要がある。

ここで、予め撮像素子数（画素数）の多いカメラを使用するとしても、カメラから出力されるビデオ信号の形式が所定の規格にしたがったものであるときは、カメラから出力される段階で、画素数は当該ビデオ信号の規格に応じた数に絞られるため、上記と同じ結果となり、補間処理を要する。

したがって、カメラの撮像素子数だけを多くする効果はなく、カメラの撮像素子数は、ビデオ信号の規格に対応した数に設定されている。例えばＮＴＳＣ方式のビデオ信号（横７２０［画素］×縦４８６［画素］）を出力するカメラは、ＮＴＳＣ方式の規格にしたがって約３５万画素（≒７２０×４８６）のものが用いられている。
特開２００２−３５４４６８号公報 特開２００６−０４８４５１号公報

ところで、上述した従来のシステムにおいては、モニタに表示される像（俯瞰像など）のうち、拡大処理されている部分に、周囲の画素のデータに基づいて生成された補間データが用いられているため、像の鮮鋭度が低下したり、アーチファクト（偽画像）が発生する虞がある。

また、実在していた障害物であっても、カメラからの距離が遠かったり、サイズが極めて小さい等の理由で、カメラの撮像素子に投影されず、カメラからビデオ信号が出力される段階で既に、その障害物に対応した信号が欠落している虞もあり、このような出力信号（ビデオ信号）に対して拡大処理を施しても、当該障害物を表示部に表示することはできない。

本発明は上記事情に鑑みなされたものであり、カメラから出力されるビデオ信号が所定の規格のビデオ信号形式であっても、表示部に、鮮鋭度の低下や像の欠落を抑制した拡大処理像を表示することができる撮像表示システムを提供することを目的とする。

本発明に係る撮像表示システムは、カメラ部から出力されるビデオ信号の規格よりも多い撮像素子数のＣＭＯＳイメージセンサを用いるとともに、このイメージセンサから像信号を読み出す段階で、マッピングテーブルにしたがった撮像素子から生データ（各撮像素子に蓄積されたデータ）の読出しを行う（特願２００６−３３８９２１）ことで、カメラから出力するビデオ信号の規格に対応した画素数の制限を満たしつつ、拡大処理等の像変形を完了し、鮮鋭度の低下や像の欠落を抑制した像を表示部に表示するものである。

すなわち、本発明に係る撮像表示システムは、ＣＭＯＳイメージセンサ（結像光学系を含むものであってもよい。）の撮像素子から駆動回路によって像信号を読み出し、この読み出された像信号をカメラ信号処理部により所定の規格のビデオ信号形式でエンコードして出力するＣＭＯＳカメラ部と、前記ＣＭＯＳカメラ部から出力された前記ビデオ信号に基づいて像を表示する表示部とを備え、前記ＣＭＯＳイメージセンサは、前記所定の規格における前記ビデオ信号の画素数を超える数の撮像素子を有するものであり、前記ＣＭＯＳカメラ部は、前記ＣＭＯＳイメージセンサに投影された元の像から前記ビデオ信号で規格化された画素数のビデオ信号像への像変形の対応関係を、該ビデオ信号像を基準として規定したマッピングテーブルを備えるとともに、該ＣＭＯＳカメラ部の前記駆動回路は、前記マッピングテーブルにより特定された前記ＣＭＯＳイメージセンサの撮像素子から前記像信号を読み出すものであることを特徴とする。

ここで、駆動回路は、ＣＭＯＳイメージセンサの任意の撮像素子から像信号を読み出すことができるものである。

所定の規格のビデオ信号形式とは、例えばＮＴＳＣ形式やＰＡＬ形式等、信号を可視像として表示部に表示するために満たすべき信号形式を意味する。ＮＴＳＣ形式やＰＡＬ形式に限定するものではなく、現在用いられ、または将来用いられることがある各種の信号形式を適用することができる。

なお、ＣＭＯＳイメージセンサが有する撮像素子の数は、所定の規格におけるビデオ信号の画素数を超える数であればいくつでもよいが、実用上は、横２倍×縦２倍の４倍程度以上が好ましい。

したがって、例えばＮＴＳＣ規格のビデオ信号（横７２０［画素］×縦４８６［画素］）を出力するカメラは、ＮＴＳＣ規格にしたがって約３５万画素（≒７２０×４８６）の４倍程度の画素数、つまり１４０万画素〜１５０万画素（≒横１４００〜１５００［画素］×縦９６０〜１０００［画素］）以上の画素数を有するものであることが好ましい。

カメラの画素数が多くなるにしたがって、表示される画像の鮮鋭度の低下なく像変形の拡大率を高くすることができるため、カメラの画素数は多いほど好ましいが、画素数が多くなるにしたがってカメラの価格は高くなるため、この経済性の観点と拡大処理されて表示部に表示された像の画質との兼ね合いや、表示部に表示しようとする像における注目範囲での拡大率等に応じて、適切なものであればよく、例えば、所定の規格におけるビデオ信号の画素数の４倍〜１６倍程度の数の撮像素子を有するものが好ましい。

また、カメラのイメージセンサとしてＣＭＯＳイメージセンサを適用することによって、ＣＭＯＳイメージセンサの任意の撮像素子から画素データを読み出すことができ、画素データをマッピングテーブルにしたがった位置の画素から読み出すのに適したものとなる。

このように構成された撮像表示システムによれば、イメージセンサとしてＣＭＯＳイメージセンサを用いているため、任意の撮像素子から像信号を読み出すことができる。したがって、駆動回路は、マッピングテーブルのデータにより特定される任意の撮像素子のみから像信号を読み出すことができ、イメージセンサの画素数を多くしても、画素データの読出し時間が延長するのを防止することができる。

また、マッピングテーブルのデータを、ＣＭＯＳイメージセンサに投影された元の像からビデオ信号の画素数のビデオ信号像への像変形の対応関係（主として位置関係）を、このビデオ信号像を基準として規定したマッピングテーブルに設定しておくことで、駆動回路がマッピングテーブルにしたがってカメラ部から像信号を読み出した時点で既に、変形後の像を表す像信号を得ることができる。

そして、この像信号の画素数を、マッピングテーブルによって、所定の規格のビデオ信号における画素数と同等に設定することができ、カメラ部から所定の規格にしたがった画素数のビデオ信号を出力することができる。

しかも、このビデオ信号は、実存する撮像素子の画素データ（像信号）であるため、従来のように補間処理で得られた想定データではなく、表示部に表示される像の鮮鋭度の低下や像の欠落を抑制することができる。

なお、マッピングテーブルは、ＣＭＯＳカメラ部内に備えられているため、従来のように像変形を担う画像処理部を別途設ける必要がない。つまり、ＣＭＯＳカメラ部内で独立して像変形を完結することができる。したがって、カメラ部の数が増加しても、ハードウェアの構成は、カメラ部の増加だけにとどめることができ、構成規模の大幅な拡大を防止することができる。よって、コストの上昇を緩和することもでき、また、処理の高速化による発熱増大の程度も緩和して信頼性を向上させることができる。

本発明に係る撮像表示システムによれば、カメラから出力されるビデオ信号が所定の規格のビデオ信号形式であっても、表示部に、鮮鋭度の低下や像の欠落を抑制した拡大処理像を表示することができる。

以下、本発明に係る撮像表示システムの実施形態について、図面を用いて説明する。

本発明の一実施形態に係る撮像表示システム１００は、図１のブロック図および図２の模式図に示すように、例えば車両２００に搭載されて、駐車支援システムや安全運転支援システムなどに用いられ、車両２００の後部、前部、両側部にそれぞれ設置されたＣＭＯＳカメラ部１１，１２，１３，１４と、像を表示するモニタ部３０（表示部）と、各ＣＭＯＳカメラ部１１，１２，１３，１４により得られた４つの像を単一の像に合成する合成処理部２０（信号合成処理部）とを備えた構成である。

ここで、モニタ部３０としては、車両２００に既設のカーナビゲーションシステム等におけるモニタを利用してもよい。

また、車両２００の後部に設置されたＣＭＯＳカメラ部１１は、車両２００の後方の路面を含む景色Ｖ１が投影されるように、車両２００の前部に設置されたＣＭＯＳカメラ部１２は、車両２００の前方の路面を含む景色Ｖ２が投影されるように、車両２００の左側部（例えば左サイドミラー下部）に設置されたＣＭＯＳカメラ部１３は、車両２００の左方の路面を含む景色Ｖ３が投影されるように、車両２００の右側部（例えば右サイドミラー下部）に設置されたＣＭＯＳカメラ部１４は、車両２００の右方の路面を含む景色Ｖ４が投影されるように、それぞれ設置されている。

そして、後部設置のＣＭＯＳカメラ部１１に投影される景色Ｖ１および左側部設置のＣＭＯＳカメラ部１３に投影される景色Ｖ３には、車両２００の左後方の景色の一部Ｖ１３が共通して含まれている。

同様に、後部設置のＣＭＯＳカメラ部１１に投影される景色Ｖ１および右側部設置のＣＭＯＳカメラ部１４に投影される景色Ｖ４には、車両２００の右後方の景色の一部Ｖ１４が共通して含まれ、前部設置のＣＭＯＳカメラ部１２に投影される景色Ｖ２および左側部設置のＣＭＯＳカメラ部１３に投影される景色Ｖ３には、車両２００の左前方の景色の一部Ｖ２３が共通して含まれ、前部設置のＣＭＯＳカメラ部１２に投影される景色Ｖ２および右側部設置のＣＭＯＳカメラ部１４に投影される景色Ｖ４には、車両２００の右前方の景色の一部Ｖ２４が共通して含まれる。

なお、このように、２つのＣＭＯＳカメラ部で、景色の一部が共通して投影されるように設定されているのは、合成処理部２０により各ＣＭＯＳカメラ部１１，１２，１３，１４で得られた４つの像を単一の像に合成する際に、この共通した景色Ｖ１３，Ｖ１４，Ｖ２３，Ｖ２４の像を重ね合わせることで、位置関係を対応させやすくすることができて利便性が高いためであるが、合成する４つの像の位置関係が予め精密に設定されている場合には、そのような位置関係の目安である共通する像部分を設ける必要がないため、隣接する２つのＣＭＯＳカメラ部間で景色Ｖの一部を共有させる必要はない。

各ＣＭＯＳカメラ部１１，１２，１３，１４は、互いに同じ構成であり、代表として後部に設置されたＣＭＯＳカメラ部１１は、例えば図３に示すように、後方の景色Ｖ１の像Ｇ１が投影される２次元ＣＭＯＳイメージセンサ（結像光学系を含む）１１ａと、ＣＭＯＳイメージセンサ１１ａを構成するマトリックス状に配列された撮像素子（画素）のうち任意の撮像素子から像信号を読み出すことができるタイミング発生器１１ｂ（駆動回路）と、タイミング発生器１１ｂによってＣＭＯＳイメージセンサ１１ａから読み出された像信号に対して、ダイナミックレンジ調整やガンマ補正等の画質を調整する画質調整部および画質調整後の像信号を所定の規格のビデオ信号（映像信号）形式でエンコードして出力するＮＴＳＣエンコーダを有するカメラ信号処理部１１ｃと、ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１（車両２００の後方の景色Ｖ１の像）からビデオ信号の画素数のビデオ信号像Ｇ１′への像変形の位置関係（対応関係）を、ビデオ信号像Ｇ１′を基準として規定するマッピングテーブルが記憶されたメモリ１１ｄとを備えている。

ＣＭＯＳイメージセンサ１１ａは、この所定の規格で定義されたビデオ信号の画素数を超える数の撮像素子を有するものであり、例えば、所定の規格のビデオ信号の画素数に対して、縦、横ともに４倍の画素数（全体で１６倍の画素数）を有している。

タイミング発生器１１ｂは、メモリ１１ｄに記憶されたマッピングテーブルにより特定される位置の撮像素子から像信号を読み出すものである。

他のＣＭＯＳカメラ部１２〜１４の詳しい構成は、車両２００に設置される部位および向きの差異に応じて各ＣＭＯＳイメージセンサに投影される景色Ｖ２〜Ｖ４が異なる以外は、上記ＣＭＯＳカメラ部１１と同じ構成である。

カメラ信号処理部１１ｃによる所定の規格のビデオ信号としては、本実施形態では例えば、画質調整後の像信号に、タイミング発生器１１ｂの読出しタイミングの信号に基づく映像同期信号を加えたＮＴＳＣ規格等のビデオ信号を適用し、上記エンコード部としてＮＴＳＣエンコーダを適用しているが、本発明に係る撮像表示システムでは、ＮＴＳＣ規格のビデオ信号に限定されるものではなく、ＰＡＬ（アナログ映像）のビデオ信号や、デジタル映像向けのビデオ信号等種々の規格のビデオ信号を適用することができる。

ここで、ＮＴＳＣ規格のビデオ信号は、横７２０［画素］×縦４８６［画素］で定義されているため、ＣＭＯＳイメージセンサ１１ａ等は、この約１６倍（＝横４倍×縦４倍）の画素数である５５０万画素（≒横２８８０［画素］×縦１９２０［画素］）の撮像素子が、マトリックス状に配列されている。

なお、このＣＭＯＳイメージセンサ１１ａ等の画素数は、ＮＴＳＣ規格のビデオ信号である３５万画素を超えるものであればよく、本実施形態の５５０万画素に限定されるものではない。ただし、拡大処理によって生じる像の鮮鋭度の低下を実質的に防止する効果の面からは、ＮＴＳＣ規格のビデオ信号の４倍（＝横２倍×縦２倍）程度以上の撮像素子数を有するものであることが好ましい。

以下、ＮＴＳＣ規格のビデオ信号Ｇ１′の３５万画素およびＣＭＯＳイメージセンサ１１ａ等の撮像素子数５５０万画素を、限られたスペースに図示するのは困難であるため、ＮＴＳＣ規格のビデオ信号Ｇ１′を横２０［画素］×縦１４［画素］、ＣＭＯＳイメージセンサ１１ａ等の撮像素子数を横８０［画素］×縦５６［画素］（横２０［画素］×縦１４［画素］で表現されたＮＴＳＣ規格のビデオ信号Ｇ１′に対して横２［倍］×縦２［倍］の画素数）でそれぞれ表現することで、両者の差異を明確化した。

ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１（ＣＭＯＳカメラ部１１に距離が近い物体（景色）の像は大きく、ＣＭＯＳカメラ部１１から距離が遠い物体（景色）の像は小さい、という特徴の像）からビデオ信号像Ｇ１′（モニタ部３０に表示しようとする像）への像変形としては、例えば、俯瞰像への変形を適用することができる。

俯瞰像（以下、ビデオ信号像Ｇ１′と同一符号Ｇ１′を付すものとする。）は、車両２００を含めた車両２００の周囲の広い範囲の景色Ｖ１を、車両２００の真上から視たときに得られると想定される仮想の平面視の像であり、例えば模式的に示した図４（１）におけるＣＭＯＳカメラ部１１に投影された元の像Ｇ１（路面に駐車区画を示すラインＬ１，Ｌ２，Ｌ３，…が表示された駐車場の像）を俯瞰像Ｇ１′に像変形すると、俯瞰像Ｇ１′は模式的に示した図４（２）におけるラインＬ１，Ｌ２が、現実の物体としての駐車場におけるラインＬ１，Ｌ２と同様に、平行な状態で表示される。

なお、符号２０１は、車両２００の後端部の一部（例えば、リヤバンパの一部）を示す。また、符号Ｂは、ＣＭＯＳイメージセンサ１１ａの撮像範囲外であるため対応する像信号が存在しないが、当該部もモニタ部３０に表示させる必要があるため、像信号として例えば輝度値０が与えられた範囲（マスキング領域）を示す。

ＣＭＯＳイメージセンサ１１ａに投影された元の像Ｇ１（図４（１））からモニタ部３０に表示しようとする俯瞰像Ｇ１′（同図（２））への像変形の位置関係を、ビデオ信号（モニタ部３０に表示しようとする像）を基準として規定するマッピングテーブルは、模式的に示した図６におけるＧ１′（ビデオ信号の規格の画素数で形成されたビデオ信号像）の座標系Ｐ′の各画素Ｐ′（ｘ，ｙ）が、同じく模式的に示した図５における元の像Ｇ１（ＣＭＯＳイメージセンサ１１ａの画素数で形成された像）の座標系Ｐ（ＣＭＯＳイメージセンサ１１ａの撮像素子の配列に一致または対応している座標系）の、いずれの画素Ｐ（ｘ，ｙ）に対応しているかを規定したものである。

すなわち、俯瞰像Ｇ１′におけるラインＬ１とラインＬ３との交点に対応する画素Ｐ′（６，２）は、元の像Ｇ１の画素Ｐ（３３，９）に対応しており、俯瞰像Ｇ１′におけるラインＬ２とラインＬ３との交点に対応する画素Ｐ′（１６，２）は、元の像Ｇ１の画素Ｐ（５２，９）に対応している。

同様に、俯瞰像Ｇ１′における画素Ｐ′（６，１３）は、元の像Ｇ１の画素Ｐ（３，４５）に対応しており、俯瞰像Ｇ１′における画素Ｐ′（１６，１３）は、元の像Ｇ１の画素Ｐ（７９，４２）に対応し、俯瞰像Ｇ１′における各画素Ｐ′（ｘ，ｙ）（ｘ＝１，２，…、ｙ＝１，２，…）は、元の像Ｇ１のいずれかの画素Ｐ（ｘ，ｙ）に対応付けられている。

ただし、マスキング領域Ｂの画素Ｐ′（ｘ，ｙ）については、元の像Ｇ１の範囲外であるため対応画素は存在せず、したがって元の像Ｇ１のいずれの画素Ｐ（ｘ，ｙ）にも対応付けられていない。

ここで、俯瞰像Ｇ１′を表す像信号は、読み出された後にカメラ信号処理部１１ｃのＮＴＳＣエンコーダでＮＴＳＣのビデオ信号にエンコードされるため、俯瞰像Ｇ１′における座標系Ｐ′のｙ軸方向の画素数は、ＮＴＳＣビデオ信号の走査ライン数（垂直方向）に対応している。

また、俯瞰像Ｇ１′における座標系Ｐ′のｘ軸方向は、ＮＴＳＣビデオ信号の走査ラインに沿った方向（略水平方向）に対応しているが、ＮＴＳＣビデオ信号はアナログ信号であるため、ｘ軸方向の画素数に制限はないものの、通常放送信号のアスペクト比４：３（横（ｘ軸）：縦（ｙ軸））またはハイビジョン放送信号のアスペクト比１６：９（横（ｘ軸）：縦（ｙ軸））と同程度を目安として設定すればよい。

ここで、図６に示した俯瞰像Ｇ１′は、そのような画素数に設定されていないが、同図は、図面の記載内容が過度に煩雑になるのを防止するために簡略化したものであり、実施に際しては、上述したアスペクト比やモニタ部３０の表示画素数も考慮して、適切な画素数に設定すればよい。

ところで、従来の撮像表示システムにおいては、カメラ部のイメージセンサは、それがＣＣＤイメージセンサであるかＣＭＯＳイメージセンサであるかに拘わらず、エンコードされるビデオ信号がＮＴＳＣの場合、例えば横６４０画素×縦４８０画素（全体で約３０万画素）または横７２０画素×縦４８０画素（全体で約３５万画素）など、画素数が比較的少ないものが用いられている。

これは、イメージセンサに投影された像（本発明における元の像に相当）をそのまま読み出して、そのままＮＴＳＣ等のビデオ信号にエンコードしてカメラ部から出力するため、ビデオ信号を定義する規格（１画面（フレーム）を形成する画素数（走査線の数などに基づく））を超えるスペックのイメージセンサを用いるのは過剰スペックで無駄だからである。

一方、本実施形態の撮像表示システム１００は、カメラ部にＣＭＯＳイメージセンサ１１ａを用いているため、ＣＭＯＳイメージセンサ１１ａの任意の撮像素子から像信号を読み出すことができる。

また、本実施形態の撮像表示システム１００も、各カメラ部１１〜１４でＮＴＳＣ等のビデオ信号にエンコードされるが、上述したＣＭＯＳイメージセンサ１１ａによる読出し画素の特定の任意性を利用することで、エンコードされる像信号は、ＣＭＯＳイメージセンサ１１ａ（カメラ部１１の場合）に投影された像（元の像Ｇ１）をそのまま表す像信号ではなく、メモリ１１ｄに記憶されたマッピングテーブルのデータに基づく読出しで変形処理された後の像（ビデオ信号像＝俯瞰像Ｇ１′）を表す像信号とすることができる。

つまり、ＣＭＯＳイメージセンサ１１ａからタイミング発生器１１ｂにより像信号を読み出すことと、この元の像Ｇ１を俯瞰像Ｇ１′に変形処理することとが同時に行われる。

しかも、この俯瞰像Ｇ１′は、ＮＴＳＣ規格で定義された画素数のビデオ信号Ｇ１′であるのに対して、元の像Ｇ１が投影されているＣＭＯＳイメージセンサ１１ａの画素数は、このビデオ信号像Ｇ１′の画素数の１６倍であるため、俯瞰像Ｇ１への像変形の際に、部分的な拡大処理と同等の像変形処理が必要であっても、従来のように、補間処理で画素データを生成することなく、実存する撮像素子の画素データ（像信号）で対応することができるため、ビデオ信号像Ｇ１′の鮮鋭度を、従来よりも向上させることができる。同様に、像の欠落も抑制することができる。

以上のようにして、タイミング発生器１１ｂが、メモリ１１ｄに記憶されたこのマッピングテーブルにしたがった順序で、ＣＭＯＳイメージセンサ１１ａの各撮像素子（画素）から像信号を読み出し、その読み出された像信号は読み出された順にカメラ信号処理部１１ｃに送られる。

ここで、タイミング発生器１１ｂが、ＣＭＯＳイメージセンサ１１ａの特定の撮像素子から像信号を読み出す処理について、図７を用いて説明する。

なお、例示として、図７（１）に示すように、ＣＭＯＳイメージセンサ１１ａを構成する多数の撮像素子のうち、縦２画素×横２画素（計４画素）のマトリックスを構成する４つの画素Ｐ（１，１）（＝Ｈ１Ｖ１のＰＤ（撮像素子）），Ｐ（２，１）（＝Ｈ２Ｖ１のＰＤ（撮像素子）），Ｐ（１，２）（＝Ｈ１Ｖ２のＰＤ（撮像素子）），Ｐ（２，２）（＝Ｈ２Ｖ２のＰＤ（撮像素子））を、Ｐ（２，２）→Ｐ（１，２）→Ｐ（２，１）→Ｐ（１，１）の順に読み出す処理について説明する。

図７において、Ｈｎライン（ｎ＝１，２）、Ｖｎライン（ｎ＝１，２）は、水平、垂直それぞれの走査回路の信号ラインに相当する。また、ＣＭＯＳイメージセンサ１１ａに投影された像は、物体（風景等）に対して、上下および左右がそれぞれ反対の像となる。

図示において、各信号ラインのスイッチは、対応する信号ラインの走査駆動信号がＨ（ハイ）のときＯＮ（接続）となり、信号がＬ（ロー）のときＯＦＦ（切断）となる。

図７（２）に示した状態では、Ｈ２ラインがＨ、Ｈ１ラインがＬ、Ｖ２ラインがＨ、Ｖ１ラインがＬとなるように、水平走査回路および垂直走査回路からそれぞれ走査駆動信号が出力され、これによって、同図（１）に示すように、Ｈ２Ｖ２のＰＤの像信号のみが読み出される。

以下、同図（２）に示すように、Ｈ２ラインにＬ→Ｈ→Ｌ、Ｈ１ラインにＨ→Ｌ→Ｈ、Ｖ２ラインにＨ→Ｌ→Ｌ、Ｖ１ラインにＬ→Ｈ→Ｈ、という順に信号が出力されて、Ｈ１Ｖ２のＰＤ→Ｈ２Ｖ１のＰＤ→Ｈ１Ｖ１のＰＤ、の順に像信号が出力される。

そして、タイミング発生器１１ｂは、メモリ１１ｄに記憶されたマッピングテーブルで規定された座標系Ｐ′（ｘ，ｙ）に対応するＨｎＶｎの撮像素子から像信号が出力されるように、水平走査回路および垂直走査回路から出力される走査駆動信号を制御している。

なお、上述したマスキング領域Ｂ（図４（２）、図６）については、例えば、元の像Ｇ１における不存在の画素Ｐ（０，０）を対応付ければよい。このように不存在の画素を対応付けると、ＰＤからの読出し処理の際に、画素Ｐ（０，０）のＰＤを指定することになるが、この画素Ｐ（０，０）のＰＤは実存しないため、走査回路は、全ての信号ラインの信号をＬとする。この結果、読み出される像信号は基準電位の信号、すなわち輝度値０を表す像信号となり、マスキング領域Ｂを形成することができる。

合成処理部２０は、各カメラ部１１〜１４にそれぞれ対応して、各カメラ部１１〜１４からそれぞれ出力されたビデオ信号を、これらのビデオ信号が表す俯瞰像Ｇ１′を合成処理するのに適した信号形式に変換する映像信号デコーダ２１，２２，２３，２４と、各映像信号デコード部２１〜２４によりそれぞれ変換して得られた車両２００の後方の俯瞰像Ｇ１′、前方の俯瞰像Ｇ２′、左側方の俯瞰像Ｇ３′および右側方の俯瞰像Ｇ４′を、これらの位置関係を対応させて単一の俯瞰像Ｇ′に合成処理する画像合成装置２５と、この画像合成装置２５によって得られた単一の俯瞰像Ｇ′を、前述したカメラ信号処理部１１ｃのＮＴＳＣエンコーダと同様に、モニタ部３０に表示するのに必要なＮＴＳＣ等ビデオ信号形式にエンコードし直す映像信号エンコーダ２６とを備えている。

なお、４つの俯瞰像Ｇ１′〜Ｇ４′を合成して得られた単一の俯瞰像Ｇ′は、各単一の俯瞰像Ｇ１′〜Ｇ４′よりも信号数（データ数、画素数）が多くなるため、ＮＴＳＣ等ビデオ信号形式に適合するように、画像合成装置２５または映像信号エンコーダ２６において、信号数を減らす間引き処理（リサイズ処理）等を行ってもよい。

次に、本実施形態に係る撮像表示システム１００の作用について、図１，３に示したブロック図および図８に示したフローチャートを用いて説明する。

カメラ部１１のＣＭＯＳイメージセンサ１１ａには、車両２００の後方の景色Ｖ１の像Ｇ１が投影されており、タイミング発生器１１ｂは、メモリ１１ｄに記憶されたマッピングテーブルからデータを読み出し（Ｓ１０１）、マッピングテーブルのデータに対応した順序でＣＭＯＳイメージセンサ１１ａの撮像素子から像信号を読み出すための走査駆動信号（またはこの走査駆動信号に対応したタイミングチャート）を作成する（Ｓ１０２）。

作成された走査駆動信号は、タイミング発生器１１ｂからＣＭＯＳイメージセンサ１１ａに出力され、ＣＭＯＳイメージセンサ１１ａはこの走査駆動信号で特定された撮像素子から順次、像信号を出力する（Ｓ１０３）。このとき出力された像信号は、既に俯瞰像Ｇ′を表すものとなっている。

また、タイミング発生器１１ｂは、走査駆動信号の出力と同時に、ＮＴＳＣエンコーダからの出力信号（ビデオ信号）の同期の基となるタイミング信号を、カメラ処理部１１ｃに出力する。

ＣＭＯＳイメージセンサ１１ａから出力された俯瞰像Ｇ１′を表す像信号は、カメラ信号処理部１１ｃに入力され、カメラ信号処理部１１ｃは、ＣＭＯＳイメージセンサ１１ａから読み出された像信号に対して、画質調整部がダイナミックレンジ調整やガンマ補正等の画質を調整し（Ｓ１０４）、画質調整後の像信号を、タイミング発生器１１ｂから入力されたタイミング信号にしたがってＮＴＳＣ等のビデオ信号形式のビデオ信号（本実施形態では、標準映像信号の一つであるＮＴＳＣのビデオ信号）にエンコード（Ｓ１０５）して、合成処理部２０に出力する（Ｓ１０５）。

以上説明した処理の流れは、車両２００の後部に設置されたＣＭＯＳカメラ部１１だけでなく、車両２００の前部、両側部にそれぞれ設置された他の全てのＣＭＯＳカメラ部１２，１３，１４についても同じであり、これら全てのＣＭＯＳカメラ部１１〜１４の作用は同時並行的になされる。

そして、各ＣＭＯＳカメラ１１〜１４からそれぞれ出力されたビデオ信号は、各ＣＭＯＳカメラ部１１〜１４ごとに対応した映像信号デコーダ２１〜２４に入力され、各映像信号デコーダ２１〜２４は、入力されたビデオ信号から映像同期の基となるタイミング信号を分離するとともに、各ビデオ信号が表す俯瞰像Ｇ１′〜Ｇ４′を単一の俯瞰像Ｇ′に合成処理するのに適した信号形式にそれぞれ変換し、この変換された４つの像信号は、画像合成装置２５により、各像信号が表す俯瞰像Ｇ１′〜Ｇ４′を、単一の俯瞰像Ｇ′に合成処理し、この合成処理して得られた単一の俯瞰像Ｇ′を表す像信号を出力する。

出力されたする俯瞰像Ｇ′を表す得信号は、映像信号エンコーダ２６に入力され、映像信号エンコーダ２６は、映像同期の基となるタイミング信号に基づいて、カメラ信号処理部１１ｃのＮＴＳＣエンコーダと同様にＮＴＳＣ等モニタ部３０に像を表示するのに必要なビデオ信号形式にエンコードする。

そして、得られたビデオ信号は、モニタ部３０に出力され、モニタ部３０は、入力されたビデオ信号（単一の俯瞰像Ｇ′を表すビデオ信号）に基づいて、当該単一の俯瞰像Ｇ′をモニタ部３０に表示する。

このように、本実施形態に係る撮像表示システム１００によれば、ＣＭＯＳカメラ部１０のイメージセンサとしてＣＭＯＳイメージセンサ１１ａ，…を用いているため、任意の撮像素子から像信号を読み出すことができ、タイミング発生器１１ｂ，…は、マッピングテーブルのデータにより特定される任意の撮像素子から像信号を読み出すことができる。

ここで、マッピングテーブルのデータを、ＣＭＯＳイメージセンサ１１ａ，…に投影された元の像Ｇからモニタ部３０に表示しようとする俯瞰像Ｇ′への像変形の位置関係を、モニタ部３０に表示しようとする俯瞰像Ｇ′を基準として規定するマッピングテーブルに設定しておくことで、カメラ部１０から像信号を読み出して時点で既に、変形後の俯瞰像Ｇ′を表すビデオ信号として出力することができる。

この場合、マッピングテーブルは、各ＣＭＯＳカメラ部１１，１２，１３，１４に備えられているため、合成処理部２０内に、各ＣＭＯＳカメラ部１１，１２，１３，１４に対応した数の、俯瞰像Ｇ１′，Ｇ２′，Ｇ３′，Ｇ４′への像変形を担う像変形部を別途設ける必要がない。つまり、各ＣＭＯＳカメラ部１１，１２，１３，１４内で独立して像変形を完結することができる。

しかも、ＣＭＯＳカメラ部１１（以下、ＣＭＯＳカメラ１２，１３，１４も同じ。）には、タイミング発生器１１ｂが、ＣＭＯＳイメージセンサ１１ａから像信号を読み出すために従来より内部に備えられているため、ＣＭＯＳカメラ部１１のサイズが大型化することがない。

また、ＣＭＯＳカメラ部１１内に、タイミング発生器１１ｂの動作を制御することとなるマッピングテーブルのデータを備える必要があるが、このようなマッピングテーブルのデータ自体は、微小なサイズのメモリ１１ｄに記憶させることができ、ＣＭＯＳカメラ部１１のサイズに実質的な影響を与えることはない。

よって、ＣＭＯＳカメラ部１０の数が増加しても、ハードウェアの構成の規模が大幅に増大するのを防止することができるため、コストの上昇を緩和することもでき、また、処理の高速化による発熱増大の程度も緩和して信頼性を向上させることができる。

なお、既述したように、本実施形態に係る撮像表示システム１００によれば、ＣＭＯＳカメラ部１１等から出力されるビデオ信号Ｇ１′等が所定の規格のビデオ信号形式であっても、モニタ部３０に、鮮鋭度の低下や像の欠落を抑制した拡大処理範囲を含む俯瞰像Ｇ′を表示することができる。

また、本実施形態に係る撮像表示システム１００は、ＣＭＯＳカメラ部１１等のＣＭＯＳイメージセンサ１１ａ等は全ての領域において均一に、ＮＴＳＣ規格のビデオ信号Ｇ１′よりも、撮像素子数を増加させたものであるが、本発明に係る撮像表示システムはこの形態に限定されるものではなく、ＣＭＯＳカメラ部１１等におけるビデオ信号Ｇ１′の画素数を超える数の撮像素子は、マッピングテーブルにしたがった像変形（本実施形態では、元の像Ｇ１から俯瞰像Ｇ１′に像変形する処理）のうち、少なくとも画素間隔を広げる拡大処理を伴う像変形に対応した領域（主として、車両２００から遠い景色を含む画像領域）における画素密度を高めるように配置されているものであればよい。

したがって、図９に示すように、車両２００から離れる（例えば、車両２００の後方および左右方向に離れる）にしたがって、ＣＭＯＳイメージセンサ１１ａの撮像素子数が増加するように設定されているものであってもよく、このように構成された撮像表示システムによれば、拡大処理が必要な領域だけで撮像素子を増やせばよいため、撮像素子数の過剰な増加を抑制することができる。

また、図９に示した形態の撮像表示システムによれば、ＣＭＯＳイメージセンサ１１ａの撮像素子数が、ＣＭＯＳイメージセンサ１１ａからの距離に応じて略連続的に増加するため、拡大処理後のビデオ信号像Ｇ１′を違和感の少ない画像とすることができる。

なお、ＣＭＯＳカメラ部１１の、ビデオ信号Ｇ１′の画素数を超える数の撮像素子は、ＣＭＯＳイメージセンサ１１ａにおける拡大処理を伴う像変形に対応した領域のうち、有効画素数に対応した領域における画素密度を高めるように配置されているものであればよい。

有効画素とは、ＣＭＯＳイメージセンサの撮像素子のうち、実際に撮影に使用される画素のことであり、ＣＭＯＳイメージセンサの周縁部近傍では、ノイズが発生しやすいなどの理由で、撮影には供されない撮像素子の領域が存在し、この範囲を除いた領域に存在する撮像素子が有効画素であり、その数（有効画素数）は、通常は、総画素数の９０％程度である。なお、実際には、有効画素数は製品ごとに異なる。

そして、ＣＭＯＳイメージセンサ１１ａの総画素領域のうち、このように有効画素の存在領域を有効画素数に対応した領域と称するものである。

このように、有効画素数に対応した領域においてのみ上述した画素密度を高めるように設定した撮像表示システム（例えば、図１０参照）によれば、有効画素数に対応した領域以外の領域では、撮像素子が元の像Ｇ１の一部を構成する信号を出力しないため、撮像素子数の過剰な増加を抑制することができる。

本実施形態に係る撮像表示システム１００は、ＣＭＯＳカメラ部１０として、互いに異なる範囲の景色Ｖ１〜Ｖ４を撮像する４つのＣＭＯＳカメラ部１１〜１４を有するとともに、各ＣＭＯＳカメラ部１１〜１４からそれぞれ出力されたビデオ信号を、各別に像信号の処理用にデコードする４つの映像信号デコーダ２１〜２４（デコード部）と、各映像信号デコーダ２１〜２４でデコードして得られた像信号（俯瞰像Ｇ１′〜Ｇ４′をそれぞれ表す）を用いて単一の俯瞰像Ｇ′を合成する画像合成装置２５（像合成部）と、画像合成装置２５で合成して得られた単一の俯瞰像Ｇ′に対応した像信号を、ＮＴＳＣ（所定の規格のビデオ信号）形式でエンコードする映像信号エンコーダ２６（エンコード部）とを有し、エンコーダ２６でエンコードされたビデオ信号をモニタ部３０に出力する合成処理部２０（信号合成処理部）を備えた構成であるが、本発明に係る撮像表示システムはこのように複数のＣＭＯＳカメラ部１１〜１４を備えたものに限定されるものではなく、単一のＣＭＯＳカメラ部１１（またはＣＭＯＳカメラ部１２，１３，１４のうちいずれか１つ。以下、同じ。）だけを備え、複数の像を合成する合成処理部２０を備えないものであってもよい。

このように、ＣＭＯＳカメラ部として単一のＣＭＯＳカメラ部１１のみを備えた撮像表示システムによっても、単一の当該ＣＭＯＳカメラ部１１から像信号を出力する時点で、既に俯瞰像Ｇ′への像変換を完結しているため、従来のようにＣＭＯＳカメラ部から像信号を出力した後に像変形の処理を別途行う必要がなく、処理の高速化およびシステムの簡素化を図ることができる。

また、本実施形態の撮像表示システム１００において、マッピングテーブルは、メモリ１１ｄ（他のＣＭＯＳカメラ部であれば、１２ｄ，１３ｄ，１４ｄ；図示せず）に記憶されたものであり、このメモリ１１ｄは、例えば一般的にはＲＯＭ（読出し専用記憶部）であるが、フラッシュメモリ等書換え可能のメモリであってもよい。

このようにメモリ１１ｄが書換え可能のメモリであれば、このメモリに記憶されているマッピングテーブルを、当該マッピングテーブルとは像変形の内容が異なる他のマッピングテーブルに書き換えることで、マッピングテーブルの交換を可能にすることができる。

そして、マッピングテーブルの交換により、単一の構造のＣＭＯＳカメラ部であっても複数種類の像変形に対応することができ、コストの低減や、汎用品として普及を促進することができる。

なお、マッピングテーブルを交換可能とする構成としては、上述した書換え可能のメモリを上記メモリ１１ｄとして用いた構成の他、メモリ１１ｄをカメラ部１１等から着脱可能とした構成や、カメラに内蔵されたメモリ１１ｄに代えて、カメラ部１１に記憶メディア（ＳＤメモリカードやＣＦカードなどの半導体メモリカード、ＣＤ−Ｒ等）を交換可能に着脱しうる接続部を設けて、その記憶メディアにマッピングテーブルを記憶させた構成などを採用することができる。

本発明の一実施形態に係る撮像表示システムの構成を示すブロック図である。 図１に示した撮像表示システムが備える構成の、車両における配設部位と、各ＣＭＯＳカメラ部により撮影される範囲とを模式的に示した模式図である。 図１に示した撮像表示システムのうちＣＭＯＳカメラ部の詳細な構成を示すブロック図である。 （１）はＣＭＯＳカメラ部に投影された車両後方の像（元の像）、（２）は（１）の投影像を俯瞰して得られる俯瞰像、をそれぞれ示す図である。 元の像の座標系を示す図である。 俯瞰像の座標系を示す図である。 ＣＭＯＳイメージセンサの特定の撮像素子（ＰＤ）から像信号を読み出す処理を説明する作用説明図であり、（１）は回路図、（２）はタイミングチャート、をそれぞれ示す。 図１に示した撮像表示システムの作用を説明するフローチャートである。 ＣＭＯＳイメージセンサの撮像素子数を、ＣＭＯＳイメージセンサからの距離に応じて略連続的に増加した構成による、元の像の模式図である。 図９に示したＣＭＯＳイメージセンサの撮像素子を、有効画素数に対応した領域にのみ限定した構成による、元の像の模式図である。

符号の説明

１１ ＣＭＯＳカメラ部
１１ａ ＣＭＯＳイメージセンサ
１１ｂ タイミング発生器（駆動回路）
１１ｃ カメラ信号処理部
１１ｄ メモリ
３０ モニタ部（表示部）
１００ 撮像表示システム
Ｇ１ 元の像
Ｇ１′ 俯瞰像（ビデオ信号像）

Claims (4)

1. ＣＭＯＳイメージセンサの撮像素子から駆動回路によって像信号を読み出し、この読み出された像信号をカメラ信号処理部により所定の規格のビデオ信号形式でエンコードして出力するＣＭＯＳカメラ部と、前記ＣＭＯＳカメラ部から出力された前記ビデオ信号に基づいて像を表示する表示部とを備え、
   前記ＣＭＯＳイメージセンサは、前記所定の規格における前記ビデオ信号の画素数を超える数の撮像素子を有するものであり、
   前記ＣＭＯＳカメラ部は、前記ＣＭＯＳイメージセンサに投影された元の像から前記ビデオ信号の画素数のビデオ信号像への像変形の対応関係を、該ビデオ信号像を基準として規定したマッピングテーブルを備えるとともに、該ＣＭＯＳカメラ部の前記駆動回路は、前記マッピングテーブルにより特定された前記ＣＭＯＳイメージセンサの撮像素子から前記像信号を読み出すものであることを特徴とする撮像表示システム。
2. 前記ＣＭＯＳカメラの、前記ビデオ信号の画素数を超える数の撮像素子は、前記マッピングテーブルにしたがった前記像変形のうち、少なくとも画素間隔を広げる拡大処理を伴う像変形に対応した領域における画素密度を高めるように配置されていることを特徴とする請求項１に記載の撮像表示システム。
3. 前記ＣＭＯＳカメラの、前記ビデオ信号の画素数を超える数の撮像素子は、前記拡大処理を伴う像変形に対応した領域のうち有効画素数に対応した領域における画素密度を高めるように配置されていることを特徴とする請求項２に記載の撮像表示システム。
4. 前記マッピングテーブルは、該マッピングテーブルとは前記像変形の内容が異なる他のマッピングテーブルに交換可能とされていることを特徴とする請求項１から３のうちいずれか１項に記載の撮像表示システム。

Images