JP2004147190A - 画像合成機能付き撮像装置及び撮像システム - Google Patents

Abstract

【課題】画像合成用のコントロールユニット無しに、複数の撮像画像を合成し表示することを可能とする。
【解決手段】スレーブ側撮像装置３が接続されスレーブ側撮像装置３から伝送されてくる撮像画像信号を取り込む入力手段１６、１７と、入力手段１６、１７から取り込んだスレーブ側撮像装置３の第１の撮像画像信号と、内部で生成される第２の撮像画像信号とを画像合成する画像合成手段１８と、画像合成手段１８で合成した合成画像の映像信号を表示装置４に出力する出力手段２１とを備える。この構成により、２台の撮像装置を接続するだけで、合成画像の映像信号を表示装置４に表示させることができる。
【選択図】　図４

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の撮像装置による撮像画像を合成して出力し表示装置に表示させることができる画像合成機能付き撮像装置及び撮像システムに関する。
【０００２】
【従来の技術】
近年の自動車には、運転席から死角となる場所を撮影するＣＣＤ等の撮像手段が車体に設置され、この撮像手段による撮像画像を運転席から視認可能な表示装置に表示させ、安全運転を支援する様になっている。そして更に、車体に複数の撮像手段を搭載し、各撮像手段の撮像画像を１画面に合成して表示装置に表示させるようになってきている。
【０００３】
例えば特開平１１―３３８０７４号公報（特許文献１）記載の従来技術では、左右方向の死角映像を、車体前方左右に設置した左前方撮影用撮像手段（ＣＣＤカメラ）と右前方撮影用撮像手段（ＣＣＤカメラ）の２台の撮像手段で撮像し、各撮像画像をコントロールユニットが取り込んで１画面の画像に合成し、モニタ画面に表示する様になっている。
【０００４】
【特許文献１】
特開平１１―３３８０７４号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述した従来技術では、コントロールユニットがなければ画像合成ができないため、複数の撮像手段の設置スペースの他、画像合成用のコントロールユニットの設置スペースが必要となってしまうという問題がある。また、画像合成用コントロールユニットのコストも嵩んでしまうという問題がある。
【０００６】
本発明の目的は、画像合成用のコントロールユニット無しに複数の撮像装置による撮像画像を合成して表示装置に表示することができる画像合成機能付き撮像装置及び撮像システムを提供することにある。
【０００７】
【課題を解決するための手段】
本発明の画像合成機能付き撮像装置は、スレーブ側撮像装置が接続され前記スレーブ側撮像装置から伝送されてくる第１の撮像画像信号を取り込む入力手段と、前記入力手段から取り込んだ前記スレーブ側撮像装置の前記第１の撮像画像信号と内部で生成される第２の撮像画像信号とを画像合成する画像合成手段と、前記画像合成手段で合成した合成画像の映像信号を表示装置に出力する出力手段とを備えたことを特徴とする。この構成により、画像合成用のコントロールユニット無しでスレーブ側撮像装置の撮像画像を自身の撮像画像と画像合成することが可能となる。
【０００８】
また、本発明の撮像システムは、上記の画像合成機能付き撮像装置と、前記画像合成機能付き撮像装置に信号線により接続される前記スレーブ側撮像装置と、前記画像合成機能付き撮像装置から出力される前記映像信号を表示する表示装置とを備えたことを特徴とする。この構成により、簡易なシステム構成により複数の撮像装置の撮像画像を合成して表示装置に表示可能となる。
【０００９】
更に、本発明の撮像システムは、上記において、前記スレーブ側撮像装置から前記信号線を介して前記画像合成機能付き撮像装置に伝送される前記撮像画像信号はアナログ信号により行われることを特徴とする。この構成により、表示装置に表示されるスレーブ側撮像装置の撮像画像中に混入するノイズ及び伝送系から放出するノイズを低減することが可能となる。
【００１０】
更に、本発明の撮像システムは、上記において、前記スレーブ側撮像装置及び前記画像合成機能付き撮像装置が車両に設置され、前記表示装置が前記車両の運転席から視認可能位置に設置されることを特徴とする。この構成により、表示装置の１つの画面に複数の撮像装置の各撮像画像が一度に集約して表示でき、安全運転を支援することが可能となる。
【００１１】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して説明する。
【００１２】
図１（ａ）及び図１（ｂ）は、本発明の一実施の形態に係る撮像システムを搭載した車両の上面図及び側面図である。この車両１の前方端部には、車両１の前端右側方を撮像する撮像手段（以下、右カメラともいう。）２と、車両１の前端左側方を撮像する撮像手段（以下、左カメラともいう。）３とが設置されている。
【００１３】
図２は、本実施の形態に係る撮像システムの全体構成図である。この撮像システムは、左カメラ３が右カメラ２に接続され、運転席から視認可能な表示装置４は、右カメラ２に接続される構成となっている。この例では、今、右カメラ２が車両１近辺でボール５を追っている人６を映しており、左カメラ３が車両１に向かってくるトラック７を映しているとする。
【００１４】
図３は、図２に示す表示装置４の表示画面構成例を示す図である。表示装置４のモニタ画面４ａは、上下の斜線領域として図示する非表示領域４ｎを除いた部分が左右に分割され、右領域４Ｒに右カメラ２で映されたボール５及び人６の夫々のボール画像５ａ及び人物画像６ａが表示され、左領域４Ｌに左カメラ３で映されたトラック７の画像７ａが表示される様になっている。
【００１５】
この様に、車両先端部分に取り付けた右カメラ２及び左カメラ３の撮像画像をモニタ表示することで、車両１の先端部分が例えば十字路に入って直ぐに、運転者は、自車両１の走行道路と交差する道路の状況をモニタ画面で知ることができ、安全運転を支援することが可能となる。
【００１６】
表示装置４は、狭い運転席周りに設置する関係上、別個の表示装置である必要はなく、カーナビゲーションシステム用の表示装置と兼用するのが良く、また、カメラ毎に表示装置を設けるスペースも無いため、図３に示す様に、左右のカメラ３、２の撮像画像を合成して表示する。勿論、表示モードによっては、左右のカメラ３、２の撮像画像を個別に表示画面４ａに単独表示することも可能である。
【００１７】
本実施の形態に係る撮像システムでは、右カメラ２と左カメラ３の撮像画像を画像合成して図３に示す様に表示する機能を右カメラ２に内蔵させ、従来の画像合成用コントローラを不要にしたことを特徴とする。
【００１８】
図４は、本実施の形態に係る撮像システムの詳細構成図である。本実施の形態では、右カメラ２をマスタ側として画像合成機能を搭載し、左カメラ３をスレーブ側としてモニタ表示用の後述するエンコーダを省略した構成としている。
【００１９】
右カメラ２は、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）１０と、このＣＣＤ１０のドライバ１１と、ＣＣＤ１０から出力される色信号の相関二重サンプリングをとるＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）１２と、ＣＤＳ１２の出力信号の自動利得制御を行うＡＧＣ１３と、ＡＧＣ１３の出力信号をデジタル信号に変換するＡＤ変換器１４と、ＡＤ変換器１４から出力されるデジタルの色信号を輝度信号Ｙ及び色差信号Ｕ、Ｖに変換するＹＵＶ（ＲＧＢ）信号処理回路１５とを備える。
【００２０】
右カメラ２は更に、左カメラ３から送られてくるアナログの輝度信号Ｙ及び色差信号Ｕ、Ｖを夫々デジタル信号に変換するＡＤ変換器１６、１７と、各ＡＤ変換器１６、１７の出力信号とＹＵＶ（ＲＧＢ）信号処理回路１５の出力信号とを取り込み詳細は後述するようにして画像合成を行う画像合成回路１８と、画像合成回路１８から出力される輝度信号Ｙ及び色差信号Ｕ、Ｖを規格に適合した信号波形に変換してＮＴＳＣ等の映像信号として出力するエンコーダ（図４ではＥＮＣと略記）１９と、エンコーダ１９から出力される映像信号をアナログ信号に変換するＤＡ変換器２０と、ＤＡ変換器２０から出力される映像信号を取り込み表示装置４に表示するドライバ２１とを備える。本実施の形態では、ＡＤ変換器１６、１７が入力手段を構成し、ドライバ２１が出力手段を構成する。
【００２１】
更にこの右カメラ２は、標準信号発生器（図４ではＳＳＧと略記）２２と、ＣＰＵ２３と、電源回路２４とを備える。ＣＰＵ２３は右カメラ２全体の制御を行い、標準信号発生器２２は右カメラ２の構成デバイス（上述したＣＣＤ１０、ＣＤＳ１２など）に駆動信号を供給し、電源回路２４は車載バッテリから１２Ｖ電圧を取り込んでＶＨ（ボルト）の他にＶＭ（ボルト）とＶＬ（ボルト）を生成し、右カメラ２の各構成デバイスに必要駆動電圧を供給する。
【００２２】
左カメラ３は、右カメラ２と同様に、ＣＣＤ３０と、ＣＣＤ３０のドライバ３１と、ＣＤＳ３２と、ＡＧＣ３３と、ＡＤ変換器３４と、ＹＵＶ（ＲＧＢ）信号処理回路３５とを備える。そして、左カメラ３は、ＹＵＶ（ＲＧＢ）信号処理回路３５で求められた輝度信号Ｙをアナログ信号に変換するＤＡ変換器３６と、ＹＵＶ（ＲＧＢ）信号処理回路３５で求められた色差信号Ｕ、Ｖの順次信号をアナログ信号に変換するＤＡ変換器３７と、標準信号発生器４２と、左カメラ３全体を統括制御するＣＰＵ４３と、電源回路４４とを備える。
【００２３】
右カメラ２と左カメラ３とは、標準信号発生器２２、４２同士を接続する信号線４５と、ＡＤ変換器１６とＤＡ変換器３６とを接続する信号線４６と、ＡＤ変換器１７とＤＡ変換器３７とを接続する信号線４７と、電源回路２４、４４同士を接続する電源線４８及びアース線４９によって接続される。左カメラ３の標準信号発生器４２は、右カメラ２の標準信号発生器２２と同期した標準信号を発生して左カメラ３の構成デバイスに供給する。
【００２４】
図５は、図４に示す画像合成回路１８の詳細構成図である。この画像合成回路１８は、右カメラ２の撮像画像を構成する輝度信号Ｙ及び色差信号Ｕ、Ｖを取り込む遅延合わせ回路５０と、遅延合わせ回路５０から出力される輝度信号Ｙ及び色差信号Ｕ、Ｖを取り込むマスターＲＡＭ５５と、ＡＤ変換器１６、１７の出力信号すなわち左カメラ３の撮像画像を構成する輝度信号Ｙ及び色差信号Ｕ、Ｖの順次信号を取り込むゲイン合わせ回路６０と、ゲイン合わせ回路６０から出力される輝度信号Ｙ及び順次信号を取り込む同時化回路６５と、同時化回路６５から出力される輝度信号Ｙ及び色差信号Ｕ、Ｖを取り込むスレーブＲＡＭ７０と、マスターＲＡＭ５５及びスレーブＲＡＭ７０の書き込みと読み出しを制御するＲＡＭ制御回路７５と、マスターＲＡＭ５５から読み出された右カメラ２の画像信号とスレーブＲＡＭ７０から読み出された左カメラ３の画像信号とを合成し合成後の輝度信号Ｙ及び色差信号Ｕ、Ｖをエンコーダ１９に出力する合成回路８０とを備える。
【００２５】
遅延合わせ回路５０は、入力輝度信号Ｙを１水平期間Ｈだけ遅延させて出力するＲＡＭ（以下、１Ｈ―ＲＡＭという。）５１と、入力色差信号Ｖを１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ５２と、入力色差信号Ｕを１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ５３とを備える。
【００２６】
ゲイン合わせ回路６０は、入力輝度信号Ｙに対してＹ信号用ゲインを乗算する乗算器６１と、色差信号Ｕ、Ｖの入力順次信号に対して夫々Ｕ信号用ゲインまたはＶ信号用ゲインを乗算する乗算器６２と、Ｕ信号用ゲインまたはＶ信号用ゲインの一方を選択して乗算器６２に印加する選択回路６３とを備える。
【００２７】
同時化回路６５は、ゲイン合わせ回路６０によりゲイン調整された輝度信号Ｙを１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ６６と、ゲイン合わせ回路６０によりゲイン調整された色差信号Ｕ、Ｖの順次信号を１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ６７と、この１Ｈ―ＲＡＭ６７の出力信号を更に１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ６８と、ゲイン合わせ回路６０から出力される色差信号Ｕ、Ｖの順次信号と１Ｈ―ＲＡＭ６７と１Ｈ―ＲＡＭ６８の各出力を取り込んで色差信号Ｕと色差信号Ｖとを生成し出力する選択回路６９とを備える。
【００２８】
マスターＲＡＭ５５は、遅延合わせ回路５０から出力される輝度信号Ｙ及び色差信号Ｖ、Ｕを夫々１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ５６、５７、５８を備え、スレーブＲＡＭ７０は、同時化回路６５から出力される輝度信号Ｙ及び色差信号Ｖ、Ｕを夫々１水平期間Ｈだけ遅延させて出力する１Ｈ―ＲＡＭ７１、７２、７３を備え、これらの１Ｈ―ＲＡＭ５６、５７、５８、７１、７２、７３の書き込みと読み出しは、ＲＡＭ制御回路７５によって制御される。
【００２９】
ＲＡＭ制御回路７５は、書き込み制御回路７６と読み出し制御回路７７とを備え、これらは、合成回路８０からの指令に基づいて、マスターＲＡＭ５５とスレーブＲＡＭ７０を制御する。
【００３０】
合成回路８０は、３つの選択回路８１、８２、８３と、各選択回路８１、８２、８３の入力信号のいずれかを選択して出力させる共にＲＡＭ制御回路７５に対して書き込み制御信号及び読み出し制御信号を出力する合成パターン制御回路８４と、マスク部の輝度信号Ｙ及び色差信号Ｕ、Ｖを出力するマスク部色指定回路８５とを備える。
【００３１】
選択回路８１にはマスターＲＡＭ５５の１Ｈ―ＲＡＭ５６から出力される右カメラ２の撮像画像の輝度信号Ｙと、スレーブＲＡＭ７０の１Ｈ―ＲＡＭ７１から出力される左カメラ３の撮像画像の輝度信号Ｙと、マスク部色指定回路８５から出力されるマスク部の輝度信号Ｙとが入力される。同様に、選択回路８２には、右カメラ２の撮像画像の色差信号Ｖと左カメラ３の撮像画像の色差信号Ｖとマスク部の色差信号Ｖとが入力され、選択回路８３には、右カメラ２の撮像画像の色差信号Ｕと左カメラ３の撮像画像の色差信号Ｕとマスク部の色差信号Ｕとが入力される。
【００３２】
次に、上述した構成の本実施の形態に係る撮像システムの動作について説明する。
【００３３】
今、図２に示す様に、右カメラ２が人物６を撮影しており、左カメラ３がトラック７を撮影しているとする。図４のＣＣＤ１０で撮像された人物６の撮像画像信号は、ＣＤＳ１２、ＡＧＣ１３、ＡＤ変換器１４を通り、ＹＵＶ（ＲＧＢ）信号処理回路１５によって輝度信号Ｙと色差信号Ｕ、Ｖとに分離され、画像合成回路１８に入力される。
【００３４】
一方、ＣＣＤ３０で撮像されたトラック７の撮像画像信号は、ＣＤＳ３２、ＡＧＣ３３、ＡＤ変換器３４を通り、ＹＵＶ（ＲＧＢ）信号処理回路３５によって輝度信号Ｙ及び色差信号Ｕ、Ｖの順次信号に分離される。この輝度信号ＹはＤＡ変換器３６によってアナログ信号に変換され、色差信号Ｕ、Ｖの順次信号はＤＡ変換器３７によってアナログ信号に変換され、信号線４６、４７を通して右カメラ２内のＡＤ変換器１６、１７に入力されて夫々デジタル信号に変換され、その後、画像合成回路１８に入力される。
【００３５】
このように、ＡＤ変換器３４によって一旦デジタル信号に変換された左カメラ３の撮像画像信号をアナログ信号に変換し直してから右カメラ２に伝送するため、左カメラ３の撮像画像に混入するノイズ量、及び伝送系から放出されるノイズ量を低減することが可能となる。
【００３６】
画像合成回路１８では、遅延合わせ回路５０によって左右カメラ３、２の撮像画像間の時間遅延量が合わせられ、また、左カメラ３の撮像画像信号のゲイン調整と同時化処理とがゲイン合わせ回路６０と同時化回路６５で夫々行われる。そして、表示装置４に表示される左右カメラ３、２の各撮像画像の輝度信号Ｙと色差信号Ｖ、Ｕとが夫々スレーブＲＡＭ７０、マスターＲＡＭ５５に格納される。
【００３７】
今、例えば車両１の運転者が表示装置４の図示しないタッチパネル等の操作手段から左右カメラ３、２の撮像画像を図３に示す様に左右に並べて表示する様に指示したとする。
【００３８】
この場合、合成パターン制御回路８４はＲＡＭ制御回路７５に読み出し制御信号を出力すると共に、選択回路８１、８２、８３を制御し、図３に示す非表示領域４ｎを描画するときはマスク部色指定回路８５の出力信号を選択回路８１、８２、８３に選択させ、左領域４Ｌに左カメラ３の撮像画像を描画するときはスレーブＲＡＭ７０の出力信号を選択回路８１、８２、８３に選択させ、右領域４Ｒに右カメラ２の撮像画像を描画するときはマスターＲＡＭ５５の出力信号を選択回路８１、８２、８３に選択させる。
【００３９】
この様にして、画像合成回路１８から図３に示す合成画像の輝度信号Ｙと色差信号Ｕ、Ｖが出力されると、これらの信号はエンコーダ１９に入力され、エンコーダ１９は、これらの信号Ｙ、Ｕ、ＶをＮＴＳＣ等の映像信号に変換し、ドライバ２１に出力する。これにより、ドライバ２１が、図３に示す合成画像を表示装置４の画面４ａに描画する。また同様に、上記フローのＹ、Ｕ、ＶをＲ、Ｇ、Ｂに置き換えることで、原色系カメラ信号処理にも対応できる。
【００４０】
本実施の形態に係る撮像システムによれば、マスタ側のカメラ２がスレーブ側のカメラ３の撮像画像を自身の撮像画像に合成して表示装置に表示する構成としたため、画像合成用のコントロールユニットが不要となり、この撮像システムの設置スペースの省スペース化を図ることが可能となり、また、コントロールユニットのコスト削減も可能となる。更に、スレーブ側カメラの構成が簡単となって低コスト化を図ることも可能となる。
【００４１】
図６は、画像合成回路の別実施形態に係る構成図である。この実施の形態に係る画像合成回路９０は、基本構成を図５に示す画像合成回路１８からＵＶを多重化処理をすることで、画像合成回路１８と比較して、遅延合わせ回路５０を簡易化し、同時化回路６５を無くした点と、信号線形がＵ、Ｖの２本を１本にまとめた点が異なる。これにより、画像合成回路９０は、色差信号Ｕ、Ｖを多重化して出力を２系統にするため、１Ｈ―ＲＡＭの個数を７個減らすことが可能となる。
【００４２】
尚、上述した実施の形態では、車体前端部分に複数の撮像装置を設置した例について述べたが、撮像装置の設置個所はこれに限るものではなく、例えば図７の様に、車体後部ミラー部、車体内部など、撮像装置を複数台設置して各撮像画像を合成して表示装置に表示するものでもよい。更に、本実施の形態の撮像システムは車両に搭載するものに限るものではなく、例えば表示装置を多数台設けることのできない監視システム等にも適用可能である。
【００４３】
【発明の効果】
本発明によれば、マスタ側の撮像装置にスレーブ側の撮像装置を接続するだけで画像合成を行うことができ、システム構成が簡単で省スペース化、低コスト化を図った撮像システム及び画像合成機能付き撮像装置を提供することが可能となる。
【図面の簡単な説明】
【図１】（ａ）本発明の一実施の形態に係る撮像システムを搭載した自動車の上面図
（ｂ）本発明の一実施の形態に係る撮像システムを搭載した自動車の側面図
【図２】本発明の一実施の形態に係る撮像システムの全体構成図
【図３】本発明の一実施の形態に係る撮像システムの画面構成図
【図４】本発明の一実施の形態に係る撮像システムの詳細構成図
【図５】本発明の一実施の形態に係る撮像システムを構成する画像合成回路の詳細構成図
【図６】本発明の別実施形態に係る画像合成回路の詳細構成図
【図７】本発明の一実施の形態に係る撮像システム搭載図
【符号の説明】
１　車両
２　右カメラ（マスタ側の撮像装置）
３　左カメラ（スレーブ側の撮像装置）
４　表示装置
４Ｌ　左領域
４Ｒ　右領域
４ｎ　非表示領域
１０、３０　ＣＣＤ
１５、３５　ＹＵＶ（ＲＧＢ）信号処理回路
１６、１７　ＡＤ変換器
３６、３７　ＤＡ変換器
１８、９０　画像合成回路
１９　エンコーダ

Claims (4)

1. スレーブ側撮像装置が接続され前記スレーブ側撮像装置から伝送されてくる第１の撮像画像信号を取り込む入力手段と、前記入力手段から取り込んだ前記スレーブ側撮像装置の前記第１の撮像画像信号と内部で生成される第２の撮像画像信号とを画像合成する画像合成手段と、前記画像合成手段で合成した合成画像の映像信号を表示装置に出力する出力手段とを備えたことを特徴とする画像合成機能付き撮像装置。
2. 請求項１に記載の画像合成機能付き撮像装置と、前記画像合成機能付き撮像装置に信号線により接続される前記スレーブ側撮像装置と、前記画像合成機能付き撮像装置から出力される前記映像信号を表示する表示装置とを備えたことを特徴とする撮像システム。
3. 前記スレーブ側撮像装置から前記信号線を介して前記画像合成機能付き撮像装置に伝送される前記撮像画像信号はアナログ信号により伝送されることを特徴とする請求項２に記載の撮像システム。
4. 前記スレーブ側撮像装置及び前記画像合成機能付き撮像装置が車両に設置され、前記表示装置が前記車両の運転席から視認可能位置に設置されることを特徴とする請求項２または請求項３に記載の撮像システム。

Images