JP2015165628A

JP2015165628A - 画像処理システム

Info

Publication number: JP2015165628A
Application number: JP2014040217A
Authority: JP
Inventors: 一孝本橋; Kazutaka Motohashi
Original assignee: SMK Corp
Current assignee: SMK Corp
Priority date: 2014-03-03
Filing date: 2014-03-03
Publication date: 2015-09-17
Anticipated expiration: 2034-03-03
Also published as: US20160198089A1; DE112014006438T5; JP6194819B2; US10178307B2; CN105340266A; WO2015132979A1; DE112014006438B4

Abstract

【課題】複数のカメラモジュールの撮像動作を同期させ、リアルタイムに複数のカメラモジュールが撮像した画像を合成してモニターへ出力する画像処理システムを提供する。
【解決手段】画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、垂直同期信号の位相を制御する位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、複数のカメラモジュールから出力される垂直同期信号の位相を比較する位相監視手段と、位相監視手段で監視する各カメラモジュールの垂直同期信号が同期するように各カメラモジュールの位相制御部へ所定の周期で相対位相制御信号を出力する相対位相制御手段を備え、画像合成手段は、同期制御された垂直同期信号のタイミングで各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する。
【選択図】図２

Description

本発明は、撮像視野の異なる複数の画像から合成して一枚の合成画像を生成する画像処理システムに関し、更に詳しくは、連続生成した合成画像を動画像としてモニターへ出力する画像処理システムに関する。

車両の運転支援システムとして、図１に示すように、撮像視野の異なる車両５０の周囲を複数のカメラモジュールＣＡ１〜ＣＡ４が一定周期で撮像し、各カメラモジュールＣＡ１〜ＣＡ４が撮像した画像から車両５０の周囲を俯瞰する一枚の俯瞰画像を合成し、連続生成した俯瞰画像を動画像として運転席周囲に設置された表示装置へ表示する画像処理システムが知られている。

複数のカメラモジュールＣＡ１〜ＣＡ４が撮像した画像を一枚の合成画像に合成する場合には、合成する複数の画像間の同期をとる必要があり、従来、個々のカメラモジュールＣＡ１〜ＣＡ４から非同期で出力される画像を表す画像信号をバッファへ一次記憶しておき、バッファに記憶される多数の画像信号から、画像信号とともに入力される垂直同期信号Ｖｓｙｎｃの位相が互いに近似する各カメラモジュールＣＡ１〜ＣＡ４の画像を選択して読み出し、選択した画像を合成している（特許文献１）。すなわち、バッファに記憶される記憶時間で各画像間の位相差を解消し、各カメラモジュールＣＡ１〜ＣＡ４から入力される各画像の同期をとって合成画像を生成している。

特開２００６−１８０３４０号公報

特許文献１に記載の従来の画像処理システムでは、相互に非同期な複数のカメラモジュールＣＡ１〜ＣＡ４からの画像をバッファへ一時記憶するので、各カメラモジュールＣＡ１〜ＣＡ４から入力される画像のうち、最も位相が遅れて入力される画像に合わせて合成画像が生成され、モニターに表示するまでの遅延時間が生じる。

このような画像処理システムが車両の車庫入れや幅寄せ等のドライバーの視覚を補う運転支援システムの用途として用いられている限りは問題がないが、高速に車両に接近する物体を検知し事故防止処置をとる目的で使用される画像処理システムでは、可能な限りのリアルタイム性が求められ、バッファーに一時記憶することによる遅延は看過できない。

更に、各カメラモジュールＣＡ１〜ＣＡ４で撮像するタイミングは非同期であるので、瞬間的に障害物が発生した場合に、一部のカメラモジュールでは撮像できず、合成画像が連続しないという問題が生じる。例えば、各カメラモジュールＣＡ１〜ＣＡ４は、３０フレーム（画像）／秒の３３ｍｓｅｃの周期で画像合成装置側に画像を出力するので、モニターに出力されるまで、撮像視野が隣り合う画像間で最大３３／２ｍｓｅｃ、１画像の両側に隣り合う３画像全体画像間で最大３３ｍｓｅｃの遅延が生じ、その間に接近する障害物を撮像できないことがあり、このために事故防止処置をとることができず、記録した動画から事故原因を解明することもできない場合がある。

このような課題は、本質的に画像を合成する装置側では解決できず、各カメラモジュールＣＡ１〜ＣＡ４の撮像動作自体を同期させなければならない。そこで、各カメラモジュールＣＡ１〜ＣＡ４へ同時に起動信号を出力して起動させ、各カメラモジュールＣＡ１〜ＣＡ４の撮像動作を同期させる方法や、各カメラモジュールＣＡ１〜ＣＡ４へ共通の同期信号を出力し、各カメラモジュールＣＡ１〜ＣＡ４で共通する同期信号により撮像動作を行わせる方法が検討された。

しかしながら、前者の方法は、各カメラモジュールＣＡ１〜ＣＡ４が、通常は個別にＰＬＬ（位相同期制御回路）を備えているので、一斉に起動させてもクロックを同期させることが困難であり、また、一時的に同期させても、各カメラモジュールに内蔵の水晶発振器によるクロックが経過時間とともにずれて、撮像タイミングを定める垂直同期信号の位相がずれる。

また、後者の方法では、共通する同期信号を生成する同期信号発生部が必要となるためにシステム全体の構成が複雑化するとともに、各カメラモジュールＣＡ１〜ＣＡ４毎に同期信号に対する応答時間が異なるので、各カメラモジュールＣＡ１〜ＣＡ４で生成する垂直同期信号に位相差が生じる場合がある。

更に、既存のカメラモジュールは、内蔵クロックから撮像タイミングを定める垂直同期信号を生成しているので、大幅に改造しなければ既存のカメラモジュールを用いることができない。

更に、上述のように各カメラモジュールが３３ｍｓｅｃの周期で画像合成装置側に画像を出力する場合には、最大３３ｍｓｅｃの位相ずれが生じる可能性があるにもかかわらず、既存のカメラモジュールでは、一度に数１０μｓｅｃ程度の垂直同期信号の位相の補正が限界であり、全てのカメラモジュールの垂直同期信号を外部から同期制御することは極めて困難と考えられていた。

以上の理由から、合成画像にリアルタイム性が要望されながら、既存のカメラモジュールを大幅に改良することなくこれを実現することはできなかった。

本発明は、このような従来の問題点を考慮してなされたものであり、複数のカメラモジュールの撮像動作を同期させ、従ってリアルタイムに複数のカメラモジュールが撮像した画像を合成してモニターへ出力する画像処理システムを提供することを目的とする。

また、既存のカメラモジュールの構造を大幅に改造することなく、全てのカメラモジュールの撮像動作を同期させることが可能な画像処理システムを提供することを目的とする。

上述の目的を達成するため、請求項１に記載の画像処理システムは、画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、垂直同期信号の位相を制御する位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、複数の各カメラモジュールから出力される画像信号と垂直同期信号をもとに、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、画像合成手段が連続生成した合成画像を動画像としてモニターへ出力する動画出力手段とを備えた画像処理システムであって、
複数のカメラモジュールから出力される垂直同期信号の位相を比較する位相監視手段と、位相監視手段で監視する各カメラモジュールの垂直同期信号が同期するように各カメラモジュールの位相制御部へ所定の周期で相対位相制御信号を出力する相対位相制御手段を更に備え、画像合成手段は、同期制御された垂直同期信号のタイミングで各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成することを特徴とする。

相対位相制御手段は、位相監視手段で監視する各カメラモジュールの垂直同期信号が同期するように各カメラモジュールの位相制御部へ所定の周期で相対位相制御信号を出力するので、各カメラモジュールの位相制御部は、相対位相制御信号を入力する毎に垂直同期信号の位相を他のカメラモジュールの垂直同期信号と同期させる制御を繰り返し、その結果、全てのカメラモジュールから同期制御された垂直同期信号のタイミングで撮像した画像が出力される。

請求項２に記載の画像処理システムは、複数の各カメラモジュールが、撮像視野が異なる車両の周囲を撮像する車両の各部に設置され、それぞれ接続ケーブルを介して位相監視手段と相対位相制御手段と画像合成手段を有する画像合成装置に接続され、画像合成装置の位相監視手段が、接続ケーブルを介して各カメラモジュールから出力される垂直同期信号の位相を比較し、各カメラモジュールの位相制御部が、画像合成装置の相対位相制御手段から接続ケーブルを介して出力される相対位相制御信号をもとに垂直同期信号の位相を制御することを特徴とする。

複数の各カメラモジュールの位相制御部は、画像合成手段の相対位相制御手段からそれぞれ相対位相制御信号を受けて、垂直同期信号を他のカメラモジュールの垂直同期信号と同期させるように制御し、複数の各カメラモジュールは同期制御された垂直同期信号のタイミングで撮像視野が異なる車両の周囲を撮像する。画像合成手段は、撮像視野が異なる車両の周囲を撮像した画像から遅延なく合成画像を生成する。

請求項３に記載の画像処理システムは、位相監視手段は、接続ケーブルを介して各カメラモジュールから出力される垂直同期信号の位相を比較し、相対位相制御手段は、各カメラモジュールの垂直同期信号が同期するように各カメラモジュールへ位相を早め若しくは遅らせる位相制御信号を出力することを特徴とする。

相対位相制御手段から、カメラモジュールの位相制御部へ所定の周期で位相を早め若しくは遅らせる相対位相制御信号を繰り返し出力することにより、位相制御部による一度の制御で解消できない位相ずれが解消され、各カメラモジュールの垂直同期信号が同期する。

請求項４に記載の画像処理システムは、画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、垂直同期信号の位相を制御する位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、複数の各カメラモジュールから出力される画像信号と垂直同期信号をもとに、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、画像合成手段が連続生成した合成画像を動画像としてモニターへ出力する動画出力手段とを備えた画像処理システムであって、
複数のカメラモジュールは、画像合成手段にデイジーチェーン接続され、デイジーチェーンで上流のカメラモジュールに接続されている下流のカメラモジュールの位相制御部は、垂直同期信号の位相を上流のカメラモジュールから入力される垂直同期信号の位相と同期するように制御し、下流のカメラモジュールは、上流のカメラモジュールから入力される１又は２以上の画像信号とともに、位相制御部が位相を制御した垂直同期信号と、その垂直同期信号のタイミングで撮像部が撮像した画像の画像信号とを出力することを特徴とする。

デイジーチェーンで接続される下流のカメラモジュールの位相制御部は、垂直同期信号をその上流のカメラモジュールの垂直同期信号と同期するように位相を制御し、デイジーチェーンで接続される下流の全てのカメラモジュールの位相制御部が同様に垂直同期信号の位相を制御することより、第２画像装置から最も離れた最上流のカメラモジュールの垂直同期信号に、他のカメラモジュールの垂直同期信号が同期する。その結果、デイジーチェーンで接続される全てのカメラモジュールから同期制御された垂直同期信号のタイミングで撮像した画像が最下流に接続された画像合成手段へ出力される。

請求項５に記載の画像処理システムは、デイジーチェーンで接続されている複数のカメラモジュールが、撮像視野が異なる車両の周囲を撮像する車両の各部に設置されていることを特徴とする。

画像合成手段から、車両の各部に設置される複数の全てのカメラモジュールが接続ケーブルにより直列に接続される。

請求項１と請求項４の発明によれば、各カメラモジュールの撮像動作を同期させて撮像した画像が画像合成手段に入力されるので、リアルタイムに合成画像を生成してモニターへ表示できる。

また、合成画像とする画像を撮像する全てのカメラモジュールの撮像動作が同期制御されるので、一部のカメラモジュールが接近する障害物を撮像できないという問題がなく、合成画像とする画像間の連続性が損なわれない。

更に、内蔵クロックから垂直同期信号を生成し、位相制御部で一度に数１０μｓｅｃの位相補正のみが可能である既存のカメラモジュールを、その構造を改造することなく、他のカメラモジュールの撮像動作と同期させることができるので、既存のカメラモジュールムを用いて撮像視野の追加や、カメラモジュールの交換を容易に行うことができる。

請求項２の発明によれば、異なる視野の車両周囲の画像をリアルタイムに合成画像としてモニターへ表示できるので、高速に車両に接近する物体を検知し事故防止処置をとる運転支援システムに利用できる。

また、異なる視野の車両周囲の画像を撮像タイミングを同期させて複数のカメラモジュールで撮像するので、画像間の連続性を損なわずに合成画像が生成され、モニターに出力される動画を記録すれば、事故原因を漏れなく異なる視野を撮像した画像から解明できる。

更に、既存のカメラモジュールの構造を変更することなく、画像合成装置と接続ケーブルで接続するだけで、車両の新たな設置場所へのカメラモジュールの追加したり、カメラモジュールを交換できる。

請求項３の発明によれば、一度に数１０μｓｅｃの位相補正のみが可能である既存のカメラモジュールを用いても、全てのカメラモジュールの垂直同期信号を同期させることができる。

請求項４の発明によれば、更に、複数のカメラモジュールと画像合成手段とを単方向通信が可能な接続ケーブルで接続できる。

請求項５の発明によれば、モニターの近くの運転席付近に配置する画像合成手段と車両の各部に設置する各カメラモジュールとの接続ケーブルよるの配線を簡略化でき、配線長さを短縮できる。

車両５０の各部に設置される各カメラモジュールＣＡ１〜ＣＡ４の撮像視野を示す平面図である。本発明の一実施の形態に係る画像処理システム１を示すブロック図である。相対位相制御部１２から各カメラモジュールＣＡの位相制御部３へ出力される相対位相制御信号を表す説明図である。第２実施の形態に係る画像処理システム３０を示すブロック図である。

以下、本発明の一実施の形態に係る画像処理システム１を、図１乃至図３を用いて説明する。この画像処理システム１は、高速に車両に接近する物体を検知し事故防止処置をとる目的の運転支援システムに使用され、図１に示すように、４台のカメラモジュールＣＡ１〜ＣＡ４を用いて、カメラモジュールＣＡ１を、撮像方向が車両５０の前方やや下向きとなるように車両５０の前方に、カメラモジュールＣＡ２を、撮像方向が車両５０の右方やや下向きとなるように車両５０の右方に、カメラモジュールＣＡ３を、撮像方向が車両５０の後方やや下向きとなるように車両５０の後方に、カメラモジュールＣＡ４を、撮像方向が車両５０の左方やや下向きとなるように車両５０の左方にそれぞれ設置している。

これにより、各カメラモジュールＣＡ１〜ＣＡ４は、それぞれ撮像視野ＶＷ１〜ＶＷ４の画像ＩＭ１〜ＩＭ４を３０フレーム／秒の速度で撮像する。隣り合う撮像視野ＶＷ１〜ＶＷ４の画像ＩＭ１〜ＩＭ４は、図に示すように重複しているので、後述する画像合成手段として動作する制御回路１４は、画像ＩＭ１〜ＩＭ４の重複部を補正して４種類の画像ＩＭ１〜ＩＭ４を合成し、車両５０の上方から俯瞰したようにみえる一枚の合成画像を生成する。

各カメラモジュールＣＡ１〜ＣＡ４は、この種の運転支援システムで通常用いられているそれぞれ同一構成のカメラモジュールＣＡであり、図２に示すよう、撮像視野ＶＷ１〜ＶＷ４を撮像する撮像部２と、撮像部２の撮像タイミングを表す垂直同期信号Ｖｓｙｎｃの位相を制御する位相制御部３と、カメラモジュールＣＡの入出力インターフェースである直並列／平直列変換回路４とを備えている。

撮像部２は、１フレームの撮像周期である１／３０秒、すなわち約３３ｍｓｅｃの周期で、内蔵する図示しない発振器のクロックを分周した水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃに応答して撮像視野ＶＷの画像ＩＭを撮像し、画像ＩＭを表す画像信号Ｓｐとともにその画像ＩＭを撮像した際の水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃを、９６Ｍｈｚの８ビットパラレル信号にしてデータバス５を介して直並列／平直列変換回路４に出力する。

ここで各カメラモジュールＣＡ１〜ＣＡ４は、同一構成で同一仕様に設計されているので、クロックを分周した垂直同期信号Ｖｓｙｎｃの周波数も同一であるが、起動時の垂直同期信号Ｖｓｙｎｃの位相は、各カメラモジュールＣＡ１〜ＣＡ４で独立し、相互に位相のずれが生じている。説明を容易にするため、例えば図３に示すように、１／３０秒の周期の基準信号Ｓｒに対してカメラモジュールＣＡ１の垂直同期信号Ｖｓｙｎｃ−１は、＋α１進み、カメラモジュールＣＡ２の垂直同期信号Ｖｓｙｎｃ−２は、＋α２進み、カメラモジュールＣＡ３の垂直同期信号Ｖｓｙｎｃ−３は、−α３遅れ、カメラモジュールＣＡ４のＶｓｙｎｃ−４は＋α４進んでいるものとする。

位相制御部３は、後述する相対位相制御部１２から出力される相対位相制御信号をデータバス５から入力し、相対位相制御信号の制御内容に従って垂直同期信号Ｖｓｙｎｃの位相を一度の制御で±１０μｓｅｃの範囲で補正する。すなわち、進み制御の相対位相制御信号が入力された場合には、垂直同期信号Ｖｓｙｎｃの位相を＋１０μｓｅｃ進める制御を繰り返し、遅れ制御の相対位相制御信号が入力された場合には、垂直同期信号Ｖｓｙｎｃの位相を＋１０μｓｅｃ進める制御を繰り返す。

各カメラモジュールＣＡ１〜ＣＡ４は、それぞれ３ｍから８ｍの長さのＬＶＤＳ（Low voltage differential signling）ケーブル６により車両５０の運転席近くに設置されている画像合成装置１０に接続している。ＬＶＤＳケーブル６は、双方向シリアル伝送線であるので、各カメラモジュールＣＡ１〜ＣＡ４の直並列／平直列変換回路４は、データバス５から出力される８ビットパラレル信号の画像信号Ｓｐと水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃとを、平直列変換してＬＶＤＳケーブル６へ出力するとともに、相対位相制御部１２からＬＶＤＳケーブル６を介して入力される相対位相制御信号を直並列変換してデータバス５へ出力する。

同様に画像合成装置１０内のデータバス１６と各カメラモジュールＣＡ１〜ＣＡ４に接続するＬＶＤＳケーブル６との間には、それぞれ直並列／平直列変換回路１３が接続され、各ＬＶＤＳケーブル６に出力される画像信号Ｓｐと水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃとを、直並列変換してデータバス１６へ入力するとともに、データバス１６から出力される８ビットパラレル信号で表される相対位相制御信号を平直列変換して各ＬＶＤＳケーブル６へ出力する。

図２に示すように、画像合成装置１０は、データバス１６を介して接続される位相監視部１１、相対位相制御部１２、制御回路１４及びＳＤＲＡＭ１５を備えている。制御回路１４は、各カメラモジュールＣＡ１〜ＣＡ４から画像信号Ｓｐが入力される毎に、その画像信号Ｓｐを、その画像信号Ｓｐとともに入力される水平同期信号Ｈｓｙｎｃ及び垂直同期信号ＶｓｙｎｃをもとにカメラモジュールＣＡ１〜ＣＡ４が撮像した画像ＩＭ１〜ＩＭ４とし、ＳＤＲＡＭ１５へ一時記憶する。

また、位相監視部１１は、各カメラモジュールＣＡ１〜ＣＡ４から画像信号Ｓｐが入力されると、その画像信号Ｓｐとともに入力される垂直同期信号Ｖｓｙｎｃの位相を監視し、各カメラモジュールＣＡ１〜ＣＡ４について相互の相対位相を比較する。相対位相の比較は、いずれかのカメラモジュールＣＡの垂直同期信号Ｖｓｙｎｃを基準信号としてその他のカメラモジュールＣＡの垂直同期信号Ｖｓｙｎｃとの位相ずれを比較しても良いが、ここでは、画像合成装置１０内の図示しないクロックから生成した１／３０秒の周期の基準信号Ｓｒに対する各カメラモジュールＣＡ１〜ＣＡ４の相対的な位相ずれを比較する。

相対位相制御部１２は、一定の周期で、位相監視部１１が検出した各カメラモジュールＣＡ１〜ＣＡ４の相対的な位相ずれから、各カメラモジュールＣＡ１〜ＣＡ４毎にその垂直同期信号Ｖｓｙｎｃの位相を補正する相対位相制御信号を生成し、ＬＶＤＳケーブル６を介して各カメラモジュールＣＡ１〜ＣＡ４の位相制御部３へ出力する。ここでは、各カメラモジュールＣＡ１〜ＣＡ４から入力される垂直同期信号Ｖｓｙｎｃの位相が基準信号Ｓｒに対して遅れている場合に進み制御の相対位相制御信号を、進んでいる場合に遅れ制御の相対位相制御信号を生成し、そのカメラモジュールＣＡ１〜ＣＡ４の位相制御部３へ出力する。また、垂直同期信号Ｖｓｙｎｃの位相が基準信号Ｓｒに一致している場合には、相対位相制御信号を出力しない。例えば、各カメラモジュールＣＡ１〜ＣＡ４の垂直同期信号Ｖｓｙｎｃが図３に示す位相であるとすれば、カメラモジュールＣＡ１、ＣＡ２、ＣＡ４の位相制御部３に対して遅れ制御の相対位相制御信号を、カメラモジュールＣＡ３の位相制御部３に対して進み制御の相対位相制御信号を出力する。

相対位相制御部１２から相対位相制御信号を出力する周期は任意に設定できるが、ここでは、基準信号Ｓｒの周期で出力する。従って、各カメラモジュールＣＡ１〜ＣＡ４の位相制御部３は、基準信号Ｓｒの周期で次に相対位相制御信号が入力されるまで、相対位相制御信号の制御内容に従った垂直同期信号Ｖｓｙｎｃの位相補正制御を繰り返す。垂直同期信号Ｖｓｙｎｃに基準信号Ｓｒとの位相のずれが生じている限り、基準信号Ｓｒに同期させる位相制御が繰り返されるので、結局全てのカメラモジュールＣＡ１〜ＣＡ４の垂直同期信号Ｖｓｙｎｃは基準信号Ｓｒと同位相に収束される。

カメラモジュールＣＡ１〜ＣＡ４は、基準信号Ｓｒに同期する垂直同期信号Ｖｓｙｎｃのタイミングでそれぞれ画像ＩＭ１〜ＩＭ４を撮像し、その画像ＩＭ１〜ＩＭ４を表す各画像信号Ｓｐを画像合成装置１０へ出力するので、制御回路１４は、ＲＡＭ１５にほぼ同時に記憶された４枚の画像ＩＭ１〜ＩＭ４をＳＤＲＡＭ１５から読み出し、一枚の合成画像を生成する。画像ＩＭ１〜ＩＭ４を表す各画像信号Ｓｐは、１／３０秒の周期で入力されるので、制御回路１４も１／３０秒の周期で合成画像を表示装置２０へ出力し、表示装置２０に車両５０の周囲を上方から俯瞰する動画を表示する。

上述の実施の形態では、相対位相制御部１２が所定周期で出力する相対位相制御信号の制御内容は進み制御若しくは遅れ制御の２通りであるが、進み制御若しくは遅れ制御とともに、その位相差に応じて各カメラモジュールＣＡ１〜ＣＡ４の位相制御部３が垂直同期信号Ｖｓｙｎｃの位相を補正制御する回数を含めてもよい。

また、上述の実施の形態では、合成画像を生成する画像合成装置１０に対してそれぞれＬＶＤＳケーブル６でスター接続された各カメラモジュールＣＡ１〜ＣＡ４の位相制御部３へ相対位相制御信号を出力して、各カメラモジュールＣＡ１〜ＣＡ４の撮像のタイミングを同期させているが、全てのカメラモジュールＣＡ１〜ＣＡ４を２以上のグループに分け、各グループのカメラモジュールＣＡをＬＶＤＳケーブル６を介してデイジーチェーン接続により合成画像を生成する画像合成装置１０へ接続し、画像合成装置１０からデイジーチェーン接続するカメラモジュールＣＡの位相制御部３へ相対位相制御信号を出力してもよい。

更に、合成画像を生成する画像合成装置に対して、全てのカメラモジュールＣＡ１〜ＣＡ４を一列にデイジーチェーン接続し、各カメラモジュールＣＡ１〜ＣＡ４の垂直同期信号Ｖｓｙｎｃを同期させて撮像動作を同期させることもできる。以下、この第２の実施の形態にかかる画像処理システム３０を図４を用いて説明する。画像処理システム３０についての説明においては、第１の実施の形態と同一若しくは相当する構成は、図中同一番号を付してその詳細な説明を省略する。

画像処理システム３０では、図１に示す４台のカメラモジュールＣＡ１〜ＣＡ４が、車両５０の運転席付近に設置される画像合成装置３１に対してデイジーチェーンで接続されている。すなわち、カメラモジュールＣＡ１〜ＣＡ４と画像合成装置３１のうちの車両５０の上方からみて時計回りで隣り合う一組がその間に配線されるＬＶＤＳケーブル３２で接続され、最上流のカメラモジュールＣＡ１から画像合成装置３１までが直列に接続される。従って、車両５０回りのほぼ一回りの配線で、全てのカメラモジュールＣＡ１〜ＣＡ４を画像合成装置３１へ接続できる。

各カメラモジュールＣＡ１〜ＣＡ４は、第１実施の形態と同様に、この種の運転支援システムで通常用いられているそれぞれ同一構成のカメラモジュールＣＡであり、撮像視野ＶＷ１〜ＶＷ４を撮像する撮像部２と、撮像部２の撮像タイミングを表す垂直同期信号Ｖｓｙｎｃの位相を制御する位相制御部３３と、入出力インターフェースである直並列／平直列変換回路４とを備えている。このうち、最上流のカメラモジュールＣＡ１には、必ずしも位相制御部３３を備える必要はなく、また、直並列／平直列変換回路４は、平直列変換のみの回路に置き換えてもよい。

最上流のカメラモジュールＣＡ１の撮像部２は、１フレームの撮像周期である１／３０秒、すなわち約３３ｍｓｅｃの周期で、内蔵する図示しない発振器のクロックを分周した水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃに応答して撮像視野ＶＷ１の画像ＩＭ１を撮像し、画像ＩＭ１を表す画像信号Ｓｐ１とともにその画像ＩＭを撮像した際の水平同期信号Ｈｓｙｎｃ−１と垂直同期信号Ｖｓｙｎｃ−１（以下、画像信号Ｓｐとその画像信号Ｓｐとともに出力される水平同期信号Ｈｓｙｎｃと垂直同期信号Ｖｓｙｎｃの全体を撮像信号Ｓｉｍという）を、ＬＶＤＳケーブル３２を介してその下流のカメラモジュールＣＡ２へ出力する。

また、カメラモジュールＣＡ２は、撮像視野ＶＷ２を撮像した画像ＩＭ２の画像信号Ｓｐ２とその画像ＩＭ２撮像した際の水平同期信号Ｈｓｙｎｃ−１及び垂直同期信号Ｖｓｙｎｃ−１とからなる撮像信号Ｓｉｍ−２を、カメラモジュールＣＡ１から入力される撮像信号Ｓｉｍ−１に加えて、ＬＶＤＳケーブル３２を介して更にその下流のカメラモジュールＣＡ３へ出力する。

以下、カメラモジュールＣＡ３、ＣＡ４は、同様の処理を実行し、これにより、カメラモジュールＣＡ４からＬＶＤＳケーブル３２を介して画像合成装置３１へ、画像ＩＭ１乃至ＩＭ４を表す撮像信号Ｓｉｍ−１乃至Ｓｉｍ−４が出力される。画像合成装置３１の制御回路１４は、撮像信号Ｓｉｍ−１乃至Ｓｉｍ−４をもとに生成する画像ＩＭ１〜ＩＭ４を合成して合成画像とし、１／３０秒の周期で表示装置２０へ出力し、表示装置２０に車両５０の周囲を上方から俯瞰する動画を表示する。

最上流のカメラモジュールＣＡ１を除く、各カメラモジュールＣＡ２〜ＣＡ４の位相制御部３３は、その上流のカメラモジュールＣＡから入力される撮像信号Ｓｉｍ−１に含まれる垂直同期信号Ｖｓｙｎｃ−１の位相を監視し、自身の垂直同期信号Ｖｓｙｎｃが垂直同期信号Ｖｓｙｎｃ−１と同期するように±１０μｓｅｃの範囲での位相補正制御を繰り返す。その結果、全てのカメラモジュールＣＡ１〜〜ＣＡ４の垂直同期信号Ｖｓｙｎｃは、カメラモジュールＣＡ１の垂直同期信号Ｖｓｙｎｃ−１と同期する位相に収束し、デイジーチェーンで接続される全てのカメラモジュールＣＡ１〜ＣＡ４から同期制御された垂直同期信号Ｖｓｙｎｃのタイミングで撮像した画像ＩＭ１乃至ＩＭ４の画像信号Ｓｐ１〜Ｓｐ４が最下流に接続された画像合成装置３１へ出力される。

上述の各実施の形態は、車両の運転支援システムの用途で用いられる画像処理システム１、３０であるので、各カメラモジュールＣＡ１〜ＣＡ４は、車両５０の各部に設置されているが、異なる撮像視野を撮像した画像を一定周期で合成して、連続生成した合成画像を動画像として表示装置へ表示する画像処理システムであれば、カメラモジュールの設置位置やその数は、上記実施の形態に限らない。

また、合成画像を連続して表示する動画像の表示手段や表示方法は、任意にその用途に応じて選択できる。

広範囲の撮像視野で高速に接近する物体を検知する画像処理システムに適している。

１、３０画像処理システム
２撮像部
３位相制御部
６ＬＶＤＳケーブル（接続ケーブル）
１０画像合成装置
１１位相監視部（位相監視手段）
１２相対位相制御部（相対位相制御手段）
１４制御回路（画像合成手段、動画出力手段）
２０表示装置（モニター）
３１画像合成装置
５０車両
ＩＭ画像
Ｖｓｙｎｃ垂直同期信号
ＣＡカメラモジュール
Ｓｐ画像信号
ＶＷ撮像視野

上述の目的を達成するため、請求項１に記載の画像処理システムは、画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、外部から入力される相対位相制御信号の制御内容に従って垂直同期信号の位相を補正する制御を繰り返す位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、複数の各カメラモジュールから出力される画像信号と垂直同期信号をもとに、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、画像合成手段が連続生成した合成画像を動画像としてモニターへ出力する動画出力手段とを備えた画像処理システムであって、
複数のカメラモジュールから出力される垂直同期信号の位相を比較し、相対的な位相ずれを検出する位相監視手段と、位相監視手段で監視する各カメラモジュールの垂直同期信号が同期するように、前記相対的な位相ずれから、各カメラモジュール毎に位相を補正する相対位相制御信号を生成し、各カメラモジュールの位相制御部へ所定の周期で相対位相制御信号を出力する相対位相制御手段を更に備え、画像合成手段は、同期制御された垂直同期信号のタイミングで各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成することを特徴とする。

請求項４に記載の画像処理システムは、画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、外部から入力される相対位相制御信号の制御内容に従って垂直同期信号の位相を補正する制御を繰り返す位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、複数の各カメラモジュールから出力される画像信号と垂直同期信号をもとに、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、画像合成手段が連続生成した合成画像を動画像としてモニターへ出力する動画出力手段とを備えた画像処理システムであって、
複数のカメラモジュールは、画像合成手段にデイジーチェーン接続され、デイジーチェーンで上流のカメラモジュールに接続されている下流のカメラモジュールの位相制御部は、前記上流のカメラモジュールから入力される画像信号に含まれる垂直同期信号の位相を監視し、自身の垂直同期信号の位相を上流のカメラモジュールから入力される垂直同期信号の位相と同期するように位相補正制御を繰り返し、下流のカメラモジュールは、上流のカメラモジュールから入力される１又は２以上の画像信号とともに、位相制御部が位相を制御した垂直同期信号と、その垂直同期信号のタイミングで撮像部が撮像した画像の画像信号とを出力することを特徴とする。

Claims

画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、前記垂直同期信号の位相を制御する位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、
前記複数の各カメラモジュールから出力される画像信号と垂直同期信号をもとに、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、
画像合成手段が連続生成した合成画像を動画像としてモニターへ出力する動画出力手段とを備えた画像処理システムであって、
前記複数のカメラモジュールから出力される垂直同期信号の位相を比較する位相監視手段と、
位相監視手段で監視する各カメラモジュールの垂直同期信号が同期するように各カメラモジュールの位相制御部へ所定の周期で相対位相制御信号を出力する相対位相制御手段を更に備え、
画像合成手段は、同期制御された垂直同期信号のタイミングで各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成することを特徴とする画像処理システム。
前記複数の各カメラモジュールは、撮像視野が異なる車両の周囲を撮像する車両の各部に設置され、それぞれ接続ケーブルを介して位相監視手段と相対位相制御手段と画像合成手段を有する画像合成装置に接続され、
画像合成装置の位相監視手段は、接続ケーブルを介して各カメラモジュールから出力される垂直同期信号の位相を比較し、
各カメラモジュールの位相制御部は、画像合成装置の相対位相制御手段から接続ケーブルを介して出力される相対位相制御信号をもとに垂直同期信号の位相を制御することを特徴とする請求項１に記載の画像処理システム。
位相監視手段は、接続ケーブルを介して各カメラモジュールから出力される垂直同期信号の位相を比較し、
相対位相制御手段は、各カメラモジュールの垂直同期信号が同期するように各カメラモジュールへ位相を早め若しくは遅らせる位相制御信号を出力することを特徴とする請求項２に記載の画像処理システム。
画像を一定周期で繰り返される垂直同期信号のタイミングで撮像する撮像部と、前記垂直同期信号の位相を制御する位相制御部を有し、それぞれ撮像視野が異なる画像を撮像した画像の画像信号ととともに垂直同期信号を出力する複数のカメラモジュールと、
前記複数の各カメラモジュールから出力される画像信号と垂直同期信号をもとに、複数の各カメラモジュールが撮像した画像を合成して一枚の合成画像を生成する画像合成手段と、
画像合成手段が連続生成した合成画像を動画像としてモニターへ出力する動画出力手段とを備えた画像処理システムであって、
複数のカメラモジュールは、画像合成手段にデイジーチェーン接続され、
デイジーチェーンで上流のカメラモジュールに接続されている下流のカメラモジュールの位相制御部は、垂直同期信号の位相を前記上流のカメラモジュールから入力される垂直同期信号の位相と同期するように制御し、
前記下流のカメラモジュールは、前記上流のカメラモジュールから入力される１又は２以上の画像信号とともに、位相制御部が位相を制御した垂直同期信号と、その垂直同期信号のタイミングで撮像部が撮像した画像の画像信号とを出力することを特徴とする画像処理システム。
デイジーチェーンで接続されている複数のカメラモジュールは、撮像視野が異なる車両の周囲を撮像する車両の各部に設置されていることを特徴とする請求項４に記載の画像処理システム。