JP2002027448A - 画像処理装置および監視システム - Google Patents

画像処理装置および監視システム

Info

Publication number
JP2002027448A
JP2002027448A JP2001113976A JP2001113976A JP2002027448A JP 2002027448 A JP2002027448 A JP 2002027448A JP 2001113976 A JP2001113976 A JP 2001113976A JP 2001113976 A JP2001113976 A JP 2001113976A JP 2002027448 A JP2002027448 A JP 2002027448A
Authority
JP
Japan
Prior art keywords
image
vehicle
parameter
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001113976A
Other languages
English (en)
Other versions
JP3300337B2 (ja
Inventor
Kazuo Nobori
一生 登
Masamichi Nakagawa
雅通 中川
Hiroshi Ishii
浩史 石井
Shusaku Okamoto
修作 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001113976A priority Critical patent/JP3300337B2/ja
Publication of JP2002027448A publication Critical patent/JP2002027448A/ja
Application granted granted Critical
Publication of JP3300337B2 publication Critical patent/JP3300337B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 車両の周囲を撮影する複数のカメラの撮像画
像から合成画像を生成する画像処理装置として、より自
然な合成画像を生成可能にする。 【解決手段】 パラメタ記憶部１０９はカメラ画像と合
成画像との対応関係を表し、かつ、空間的または時間的
な解像度の関係が互いに異なる複数の画像合成パラメタ
を記憶する。パラメタ選択部１０８は速度や向きなどの
車両の動きを検出する車動検出部１０７の出力に応じ
て、画像合成パラメタを選択する。画像合成部１０４は
選択された画像合成パラメタに従って、各カメラ１０１
の撮像画像から合成画像を生成する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数のカメラによ
って撮像された画像を用いて合成画像を生成する画像処
理技術に関するものであり、特に、車両運転の際の安全
確認の補助などに利用される監視システムに有効な技術
に属する。
【０００２】
【従来の技術】近年、車載用のディスプレイ装置の普及
やカメラなどの映像機器の低価格化に伴い、カメラによ
って車両周辺を監視することによって安全運転を支援す
る装置が実用化され、普及しつつある。
【０００３】このような車両周辺監視装置の従来例とし
ては、運転者からは死角となる車両の後方などの領域を
映すようにカメラを設置し、カメラ画像をディスプレイ
から監視させるというような装置がある。
【０００４】例えば、特開昭５８−１１０３３４号公報
では、車両の周囲に複数台のカメラを設置し、撮影され
た複数のカメラ画像を用いて自車を中心として上方から
見た画像を変形合成し、車内の表示装置に表示する、と
いった構成が開示されている。このような車両周辺監視
装置を用いると、運転席からは直接見ることができない
死角領域を表示画面上で確認することができるので、事
故を回避したり、運転操作を容易にしたりすることが可
能になる。
【０００５】
【発明が解決しようとする課題】しかしながら、本願発
明者の実験などによる検討によって、従来の構成では、
次のような問題があることが分かった。
【０００６】図２２は車両が動いた場合の画像合成の例
を示す図である。インターレース走査のカメラを用いた
場合、車両が動くと、図２２（ａ）のような１水平ライ
ン毎に櫛状にずれた入力画像になる。この入力画像をそ
のままインターレース走査のディスプレイで観察した場
合には特に違和感はない。ところが、この入力画像を用
いて、変形を伴う合成処理を行うと、図２２（ｂ）に示
すように、櫛状のずれも画像変形とともに変形され、画
素によって撮像タイミングと表示タイミングの関係がず
れてしまうので、観察した場合に違和感のある画像にな
ってしまう。すなわち、いわゆるインターレースノイズ
が、合成画像上により顕著に現れることになる。
【０００７】一方、１フィールドの入力画像から１フィ
ールドの合成画像を生成する場合には、上述したような
不自然さはなくなる。ところが、フレームごとに合成す
る場合に比べて入力画像の解像度が低くなるため、図２
２（ｃ）のように、２フィールド分の画像をフレーム画
像として観察した場合に、画像が静止していても、座標
値の量子化誤差によって櫛状のずれが生じる。このた
め、車両が静止しているときに、特に、入力画像が合成
画像上で拡大されている領域の画質が悪くなる。
【０００８】すなわち、まず第１に、１フレーム（２フ
ィールド）の入力画像から１フレームの合成画像を生成
する場合は、車両が動いた場合や動きのある画像が映っ
ているときに不自然な合成画像となり、一方、１フィー
ルドの入力画像から１フィールドの合成画像を生成する
場合は、解像度が低い合成画像になる、という問題があ
る。
【０００９】第２に、カメラ画像の変形処理を行う場
合、合成画像の構図によっては入力画像の縮小を伴う場
合があることから、合成画像に部分的に折り返し歪みが
発生してしまう、という問題がある。
【００１０】また第３に、図２３（ａ）に示すように、
各カメラごとにホワイトバランスなどが行われるため
に、合成画像上において、入力画像のつなぎ目で輝度や
色合いが一致しなかったり、図２３（ｂ）に示すよう
に、画像合成の方法によっては、計算誤差や被写体位置
の誤検出などに起因して画像のつなぎ目がずれるなどと
いった、入力画像のつなぎ目が不自然になる、という問
題がある。
【００１１】このような問題に鑑み、本発明は、複数の
カメラ画像から合成画像を生成する画像処理装置とし
て、従来と比べてより自然な合成画像が生成可能になる
ようにすることを課題とする。
【００１２】
【課題を解決するための手段】前記の課題を解決するた
めに、請求項１の発明が講じた解決手段は、車両の周囲
を撮影する複数のカメラの撮像画像を入力とし、これら
のカメラ画像から合成画像を生成する画像処理装置とし
て、カメラ画像と合成画像との対応関係をそれぞれ表
し、かつ、空間的または時間的な解像度の関係が互いに
異なる複数の画像合成パラメタを生成可能に構成された
パラメタ生成部を備え、前記パラメタ生成部によって生
成された画像合成パラメタに従ってカメラ画像から合成
画像を生成するものであり、前記パラメタ生成部は、生
成する画像合成パラメタを、車両の動きを検出する車動
検出部の出力に応じて切り替えるものである。
【００１３】請求項１の発明によると、合成画像の生成
に用いられる画像合成パラメタは、車両の動きに応じて
切り替えられるので、車両が動いている場合や動きのあ
る物体を撮像したときの合成画像の不自然さを低減でき
るとともに、車両が静止している場合の合成画像の解像
度の低下を防ぐことができる。
【００１４】請求項２の発明は、前記請求項１の画像処
理装置におけるパラメタ生成部は、前記複数の画像合成
パラメタを記憶するパラメタ記憶部と、前記車動検出部
の出力に応じて、前記パラメタ記憶部が記憶する複数の
画像合成パラメタの中から少なくとも１つを選択するパ
ラメタ選択部とを備えたものとする。
【００１５】請求項３の発明では、前記請求項１の画像
処理装置におけるカメラ画像はインターレース画像であ
り、前記複数の画像合成パラメタは、少なくとも、フレ
ームベースの画像合成パラメタと、フィールドベースの
画像合成パラメタとを含むものとする。
【００１６】請求項４の発明では、前記請求項３の画像
処理装置におけるパラメタ生成部は、前記車動検出部に
よって検出された車両の動きが、相対的に速いときはフ
ィールドベースの画像合成パラメタを生成する一方、相
対的に遅いときはフレームベースの画像合成パラメタを
生成するものとする。
【００１７】請求項５の発明では、前記請求項１の画像
処理装置における車動検出部は、カメラ画像から車両の
動きを検出するものとする。
【００１８】請求項６の発明では、前記請求項１の画像
処理装置における複数のカメラは、入力された切替信号
に応じてその撮像パターンが切替可能に構成されてお
り、前記パラメタ生成部は、前記車動検出部の出力に応
じて、前記画像合成パラメタの生成とともに、前記各カ
メラに切替信号を送り各カメラの撮像パターンを切り替
えるものとする。
【００１９】請求項７の発明では、前記請求項６の画像
処理装置におけるパラメタ生成部は、前記車動検出部の
出力に加えて、車両周辺の明るさを検出する車両状況検
出部の出力を加味して、画像合成パラメタの選択や各カ
メラの撮像パターンの切替を行うものとする。
【００２０】請求項８の発明では、前記請求項１の画像
処理装置におけるパラメタ生成部は、前記車動検出部の
出力に加えて、車両乗員の操作または車両周辺の障害物
の有無などの車両状況を検出する車両状況検出部の出力
を加味して、画像合成パラメタの生成を行うものとす
る。
【００２１】そして、請求項９の発明は、前記請求項１
に係る画像処理装置を画像処理部として備えた監視シス
テムである。
【００２２】また、請求項１０の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、カメラ画像と合成画像との対応関係
を表す画像合成パラメタとこの画像合成パラメタに対応
するフィルタパラメタとの組を複数個記憶するパラメタ
記憶部と、車両の動きを検出する車動検出部の出力およ
び車両乗員の操作または車両周辺の障害物の有無などの
車両状況を検出する車両状況検出部の出力に応じて、前
記パラメタ記憶部が記憶する複数の画像合成パラメタお
よびフィルタパラメタの組の中から少なくとも１組を選
択するパラメタ選択部と、各カメラ画像に対し、前記パ
ラメタ選択部によって選択された組のフィルタパラメタ
に応じて周波数帯域制限フィルタ処理を行うフィルタ処
理部とを備え、前記パラメタ選択部によって選択された
組の画像合成パラメタに従って、前記フィルタ処理部に
よって処理されたカメラ画像から合成画像を生成するも
のである。
【００２３】請求項１０の発明によると、車両の動きや
車両の状況に応じて、フィルタパラメタが選択され、こ
の選択されたフィルタパラメタに応じて、各カメラ画像
に対して周波数帯域制限フィルタ処理が行われるので、
合成画像において、折り返し歪みを効果的に抑制するこ
とができる。
【００２４】請求項１１の発明では、前記請求項１０の
画像処理装置におけるフィルタパラメタは、カメラ画像
の画素位置毎にフィルタ処理の設定データが記述された
ものとする。
【００２５】そして、請求項１２の発明は、請求項１０
に係る画像処理装置を画像処理部として備えた監視シス
テムである。
【００２６】また、請求項１３の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、各カメラ画像の輝度や色あいを補正
するための輝度補正パラメタを算出する輝度補正パラメ
タ算出部と、前記輝度補正パラメタ算出部によって算出
された輝度補正パラメタを用いて各カメラ画像の輝度や
色合いを補正する輝度補正部とを備え、カメラ画像と合
成画像との対応関係を表す画像合成パラメタに従って、
前記輝度補正部によって輝度補正された複数のカメラ画
像から合成画像を生成するものであり、前記画像合成パ
ラメタは、合成画像上において複数のカメラの撮影範囲
が重複する重複領域について対応するカメラ画像の画素
座標を示す重複領域データを有し、前記輝度補正パラメ
タ算出部は、前記重複領域データを入力とし、この重複
領域データが示す前記重複領域に対応する各カメラ画像
の画素の輝度や色合いのデータを用いて、輝度補正パラ
メタを算出するものである。
【００２７】請求項１３の発明によると、合成画像上の
重複領域に対応するカメラ画像の輝度や色合いの情報を
用いて、輝度補正パラメタが算出され、この輝度補正パ
ラメタを用いて輝度補正が行われるので、合成画像上で
のつなぎ目の不自然さを低減することができる。
【００２８】請求項１４の発明では、前記請求項１３の
画像処理装置における輝度補正パラメタ算出部は、前記
重複領域に対応する各カメラ画像について、重複領域に
おける輝度の統計処理を行い、これらの処理結果に基づ
いて輝度補正パラメタを算出するものとする。
【００２９】請求項１５の発明では、前記請求項１３の
画像処理装置における輝度補正パラメタ算出部は、前記
重複領域が複数個存在する場合に、輝度補正パラメタ算
出の際に考慮する重複領域の優先順位を車両の動きを検
出する車動検出部の出力に応じて設定するものとする。
【００３０】請求項１６の発明では、前記請求項１３の
画像処理装置における輝度補正部は、各カメラに内蔵さ
れているものとする。
【００３１】そして、請求項１７の発明は、前記請求項
１３に係る画像処理装置を画像処理部として備えた監視
システムである。
【００３２】また、請求項１８の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、合成画像上で複数のカメラの撮影範
囲が重複する重複領域において、この複数のカメラの画
像の中から、合成画像の生成に用いるカメラ画像を、車
両の動きを検出する車動検出部の出力または車両乗員の
操作若しくは車両周辺の障害物の有無などの車両状況を
検出する車両状況検出部の出力に応じて選択するもので
ある。
【００３３】また、請求項１９の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、合成画像上で複数のカメラの撮影範
囲が重複する重複領域において、この複数のカメラの画
像に対する重み付けを、車両の動きを検出する車動検出
部の出力または車両乗員の操作若しくは車両周辺の障害
物の有無などの車両状況を検出する車両状況検出部の出
力に応じて設定するものである。
【００３４】そして、請求項２０の発明は、前記請求項
１９の画像処理装置は、合成画像の画素とカメラ画像の
画素とを対応付ける画像合成パラメタと、重み参照番号
と重み情報の組み合わせとの対応関係を表すテーブルと
を備え、前記重複領域に係る画像合成パラメタは、前記
テーブルに示された重み参照番号の値のいずれかを保持
するものとする。
【００３５】そして、請求項２１の発明は、前記請求項
１８に係る画像処理装置を画像処理部として備えた監視
システムである。
【００３６】また、請求項２２の発明は、前記請求項１
９に係る画像処理装置を画像処理部として備えた監視シ
ステムである。
【００３７】また、請求項２３の発明が講じた解決手段
は、車両の周囲を撮影する複数のカメラの撮像画像を入
力とし、これらのカメラ画像から合成画像を生成する画
像処理装置として、合成画像の画素とカメラ画像の画素
とを対応付ける画像合成パラメタを備え、前記画像合成
パラメタは、合成画像上で複数のカメラの撮影範囲が重
複する重複領域におけるこの複数のカメラの画像に対す
る重み付けが、ディザ法によって、表されているもので
ある。
【００３８】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。
【００３９】（第１の実施形態）図１は本発明の第１の
実施形態に係る車両周辺監視システムの構成を示す図で
ある。図１において、１０１は画像を取り込むカメラ、
１０２はアナログ画像信号をデジタル化するＡ／Ｄ変換
器、１０３はデジタル化された入力画像を一時的に保持
するフレームメモリである。フレームメモリ１０３は、
カメラ１０１から出力される画像を常時連続して記憶し
続けるとともに直前の１フレーム分の画像データは一時
的に記憶している，いわゆるダブルバッファ構成のフレ
ームメモリである。すなわち、フレームメモリ１０３
は、画像合成部１０４からの読み出し要求に応じて、直
前の１フレーム分の画像の任意の画素データの読み出し
が可能なように構成されている。
【００４０】１０７は車両の動きを検出する車動検出
部、１０９はカメラ画像と合成画像との対応関係を表す
画像合成パラメタを予め複数記憶するパラメタ記憶部、
１０８は車動検出部１０７によって検出された車両の動
きに応じて、パラメタ記憶部１０９に記憶された複数の
画像合成パラメタの中からいずれか１つを選択して出力
するパラメタ選択部である。１０４はパラメタ選択部１
０８によって選択された画像合成パラメタに応じて、フ
レームメモリ１０３から画像を順次読み出して画像合成
を行い、合成画像として出力する画像合成部、１０５は
読み出された合成画像をアナログ信号に変換するＤ／Ａ
変換器、１０６はアナログ信号に変換された合成画像を
表示する表示部としてのディスプレイである。
【００４１】Ａ／Ｄ変換器１０２、フレームメモリ１０
３、画像合成部１０４、Ｄ／Ａ変換器１０５、パラメタ
選択部１０８およびパラメタ記憶部１０９によって、画
像処理装置または画像処理部が構成されている。また、
パラメタ選択部１０８およびパラメタ記憶部１０９によ
って、パラメタ生成部が構成されている。
【００４２】ここでは、カメラ１０１およびディスプレ
イ１０６によって扱われる画像は、一般的なインターレ
ース走査の画像であるものとする。また、車動検出部１
０７は、車両の車軸やシフトレバーなどに設置したセン
サの信号から、車輪の回転速度や進行方向などを車両の
動きとして検出するものとする。
【００４３】なお、車両状況検出部２００とその利用方
法については、後述する。
【００４４】図１のように構成された車両周辺監視装置
について、以下、その動作を説明する。
【００４５】図２は画像合成パラメタを用いた画像合成
を説明するための図である。同図中、（ａ）はカメラ画
像の例であり、図１５のように設置されたカメラ１の１
フレーム分の画像を示したものである。図２（ｂ）は４
枚のカメラ画像を変形合成して得られた１フレーム分の
合成画像の例である。
【００４６】図２（ｃ）は画像合成パラメタの例であ
る。画像合成パラメタの各座標は、合成画像の画素座標
と１対１に対応している。そして、各座標のパラメタと
して、その座標に対応する合成画像画素を生成するため
のカメラ画像のカメラ番号および画素座標を示す２次元
配列が、表現されている。図２（ｃ）の例では、画像合
成パラメタの座標（ｘｏ，ｙｏ）に『カメラ番号＝１、
座標（ｘｉ，ｙｉ）』という情報が格納されている。こ
れは、合成画像の座標（ｘｏ，ｙｏ）の画素は、カメラ
１の画像の座標（ｘｉ，ｙｉ）の画素によって生成され
る、ということを示している。図２（ｃ）のような構造
の合成画像パラメタを用いることによって、複数のカメ
ラ画像と合成画像との画素の対応関係を記述することが
できる。
【００４７】本実施形態では、パラメタ記憶部１０９
は、カメラ画像および合成画像のうちの少なくともいず
れか一方の空間解像度または時間解像度が互いに異なる
複数の画像合成パラメタを、記憶しているものとする。
【００４８】特にここでは、空間解像度または時間解像
度が互いに異なる複数の画像合成パラメタとして、パラ
メタ記憶部１０９に、合成画像の構図は同一の、フレー
ムベースの画像合成パラメタとフィールドベースの画像
合成パラメタとが、準備されているものとする。フレー
ムベースの画像合成パラメタとは、１フレームのカメラ
画像と１フレームの合成画像とを対応させる画像合成パ
ラメタのことをいい、フィールドベースの画像合成パラ
メタとは、カメラ画像の第１フィールドは合成画像の一
方のフィールドに対応させ、カメラ画像の第２フィール
ドは合成画像の他方のフィールドに対応させる画像合成
パラメタのことをいう。カメラ画像と合成画像とのフィ
ールド単位の対応関係は、合成画像とカメラ画像のＹ座
標同士がそれぞれ奇数は奇数に、偶数は偶数に対応する
ように制約を加えることによって、容易に記述すること
ができる。
【００４９】図３は本実施形態に係るパラメタ選択部１
０８の動作の一例を示す図である。図３に示すように、
パラメタ選択部１０８は、車動検出部１０７によって検
出された車両の速度に応じて、予め決められた基準に従
って、車両の動きが相対的に遅いとき例えば車速が１０
ｋｍ／ｈ未満のときは、フレームベースの画像合成パラ
メタを選択する一方、車両の動きが相対的に速いとき例
えば車速が１０ｋｍ／ｈ以上のときは、フィールドベー
スの画像合成パラメタを選択する。画像合成部１０４
は、パラメタ選択部１０８によって選択された画像合成
パラメタのカメラ番号および座標値に応じて、フレーム
メモリ１０３からカメラ画像の画素データを読み出し、
合成画像を生成する。生成された合成画像は、Ｄ／Ａ変
換器１０５によってアナログ信号に変換され、ディスプ
レイ１０６に表示される。
【００５０】このような動作によって、車両の速度が高
く、カメラ画像中の動きが大きい場合は、フィールドご
とに画像が合成されるため、櫛状のずれの無い自然な合
成画像が生成される一方、車両の速度が低い場合は、フ
レームごとに画像が合成されるため、解像度が高いきれ
いな合成画像が生成される。すなわち、車両の動きに応
じた画像合成を行うことによって、車両が動いている場
合の合成画像の不自然さを低減するとともに、車両がほ
ぼ静止している場合の合成画像の解像度の低下を防ぐこ
とができる。
【００５１】なお、上記の実施形態では、車動検出部１
０７は車軸やシフトレバーなどに設置したセンサの信号
から車輪の回転速度や進行方向などの車両の動きを検出
するものとしたが、その代わりに、カメラ画像から車の
動きを検出する構成としてもよい。
【００５２】この場合、車動検出部１０７は、カメラ１
０１によって撮像された画像をフレームメモリ１０３か
ら連続して読み出し、時間的に連続した複数フレームま
たは複数フィールド分の画像から、画像中の動きベクト
ルを算出する。そして、算出した動きベクトルと、予め
計測しておいたカメラ１０１の設置位置や向き、および
焦点距離などのカメラパラメタとを基にして、画像中の
路面部分の動きの方向や速度を求め、これを車両の速度
として出力する。
【００５３】このように、カメラ画像から車両の動きを
検出する車動検出部１０７を設けることによって、車軸
やシフトレバーに設置したセンサの信号など，画像以外
の入力が不要になるので、簡潔な構成のシステムを実現
することができる。
【００５４】また、カメラ１０１が、入力された切替信
号に応じて、その撮像パターンが切替可能に構成されて
いる場合には、パラメタ選択部１０８は、車動検出部１
０７によって検出された車両の動きに応じて、上述した
ような画像合成パラメタの選択とともに、各カメラ１０
１の撮像パターンを切り替えるようにしてもよい。
【００５５】図４はこのような場合のパラメタ選択部１
０８の動作の一例を示す図である。ここでは、各カメラ
１０１は、切替信号に応じて、インターレース撮像（１
／６０秒ごとに１フィールド）またはノンインターレー
ス撮像（１／３０秒ごとに１フレーム）の切り替えと、
シャッタースピード（露光時間が１／３０秒、１／６０
秒、１／１２０秒）の切り替えが可能であるものとす
る。
【００５６】図４に示すように、パラメタ選択部１０８
は、車動検出部１０７によって検出された車両の速度に
応じて、予め決められた基準に従って、画像合成パラメ
タを選択するとともに、各カメラ１０１の撮像パターン
を切り替える。具体的には、車速が１０ｋｍ／ｈ未満の
ときはフレームベースの画像合成パラメタを選択する一
方、車速が１０ｋｍ／ｈ以上のときはフィールドベース
の画像合成パラメタを選択する。これとともに、カメラ
１０１の撮像パターンを、車速が１０ｋｍ／ｈ未満のと
きはノンインターレース撮像かつ露光時間１／３０秒と
し、車速が１０ｋｍ／ｈ以上３０ｋｍ／ｈ未満のときは
インターレース撮像かつ露光時間１／６０秒とし、車速
が３０ｋｍ／ｈ以上のときはインターレース撮像かつ露
光時間１／１２０秒とする。
【００５７】このような動作によって、合成画像は、車
両の速度が１０ｋｍ／ｈ未満のときは、ノンインターレ
ース撮像されかつフレームベースで画像合成されるた
め、解像度が高くなる一方、車両の速度が１０ｋｍ／ｈ
以上のときは、インターレース撮像されかつフィールド
ベースで画像合成されるため、解像度は低くなるが、動
きが自然な画像になる。さらに、車両の速度に応じて露
光時間を切り替えることによって、合成画像は、動きに
よるぼけ量が少ない自然な画像になる。すなわち、車両
の動きに応じて、画像合成パラメタの選択と撮像パター
ンの切り替えとを行うことによって、車両の動きに応じ
た最適な画質の合成画像を生成することができる。
【００５８】また、図１の構成は、車両の状況を検出す
る車両状況検出部２００を備えている。この車両状況検
出部２００の出力を用いて、画像合成パラメタの選択や
各カメラの撮像パターンの切替を実行することによっ
て、合成画像の画質をさらに向上させることができる。
ここでは、車両状況検出部２００は、車両に設置された
光学センサなどによって構成されており、車両周辺の明
るさを検出する手段２１０と、運転者のスイッチ操作を
検出する手段２２０と、車両周辺の障害物を検出する手
段２３０とを備えている。
【００５９】図５は明るさ検出手段２１０の出力を利用
したパラメタ選択部１０８の動作の一例を示す図であ
る。ここで一般的に、１フレームを撮像するときの露光
時間は、インターレース撮像ではノンインターレース撮
像の半分になる。また、露光時間が長いときは、動きの
ある画像はぼける反面明るい画像を得ることができる一
方、露光時間が短いときは、動きのある画像のぼけは少
なくなる反面画像は暗くなる、という性質がある。そこ
で、パラメタ選択部１０８は、図５に示すように、車動
検出部１０７によって検出された車両の速度に加え、明
るさ検出手段２１０によって検出された車両周辺の明る
さに応じて、画像合成パラメタの選択と各カメラ１０１
の撮像パターンの切替とを行う。これにより、車両周辺
の明るさと車両の速度に応じた最適な画質の合成画像を
生成することができる。
【００６０】図６はスイッチ検出手段２２０および障害
物検出手段２３０の出力を利用したパラメタ選択部１０
８の動作の一例を示す図である。ここでは、図７
（ａ），（ｂ）に示すような２種類の構図についてそれ
ぞれ、フレームベースとフィールドベースの画像合成パ
ラメタが、パラメタ記憶部１０９に準備されているもの
とする。そして、運転者は画像合成の構図について「構
図Ａ」「構図Ｂ」「自動」の３種類のうちいずれかをス
イッチ操作によって選択できるものとする。スイッチ検
出手段２２０は運転者のスイッチ操作を検出する。ま
た、障害物検出手段２３０は、車両に設置された超音波
による障害物センサによって障害物までの距離を計測
し、出力する。
【００６１】パラメタ選択部１０８は、図６に示すよう
に、検出された車両の状況、すなわち運転者の選択およ
び障害物までの距離と、車動検出部１０７によって検出
された車両の速度とに応じて、画像合成パラメタの選択
を行う。
【００６２】ここで、図７（ａ）の構図Ａでは、自車の
周辺が遠くまで映っているのに対して、図７（ｂ）の構
図Ｂでは、自車の周辺の近くがより大きく映されてい
る。このため、車両の速度が同じ場合には、構図Ａの合
成画像よりも構図Ｂの合成画像の方が、発生する櫛状の
ずれが大きくなる。そこで、図６に示すように、合成画
像パラメタをフレームベースからフィールドベースに切
り替える速度を、車両の動きや車両の状況に応じて変え
ることによって、より最適な画質の合成画像を生成する
ことが可能になる。
【００６３】なお、運転者の操作として、シフトレバー
やウィンカーなどの操作を車両状況検出部２００によっ
て検出するようにしてもかまわない。
【００６４】また、本実施形態では、フィールドベース
とフレームベースの画像合成パラメタを例にとって説明
したが、空間的または時間的な解像度の関係が互いに異
なる他の種類の画像合成パラメタを用いてもかまわな
い。例えば、１フレームのカメラ画像が異なる撮像時間
で撮影された複数の画像によって構成されるような場合
には、空間的または時間的な解像度の組み合わせが異な
る複数の画像合成パラメタを用いることによって、本実
施形態と同様の効果を得ることができる。
【００６５】また、本実施形態において、図３〜図６ま
たは図１０に示したパラメタ選択の規則は、あくまでも
一例に過ぎず、これら以外の規則に従って、車両の動き
や車両の状況に応じてパラメタ選択を行ってもかまわな
いことはいうまでもない。
【００６６】また、本実施形態では、フィールドベース
とフレームベースの画像合成パラメタをそれぞれ準備し
ておくものとしたが、フレームベースの画像合成パラメ
タのみを準備しておいても、本実施形態と同様の動作は
実現可能である。すなわち、フィールドベースの画像合
成パラメタは、フレームベースの画像合成パラメタのＹ
座標値Ｙ０のフィールドに応じてカメラ画像のＹ座標値
Ｙｉを奇数または偶数に丸めることによって、生成する
ことが可能である。このため、パラメタ記憶部１０９に
はフレームベースの画像合成パラメタのみを記憶してお
き、パラメタ選択部１０８は、フレームベースの画像合
成パラメタが必要なときはパラメタ記憶部１０９からそ
のまま読み出し、フィールドベースの画像合成パラメタ
が必要なときはパラメタ記憶部１０９に記憶されたフレ
ームベースの画像合成パラメタを上述した方法によって
変換するようにすればよい。
【００６７】（第２の実施形態）図８は本発明の第２の
実施形態に係る車両周辺監視システムの構成を示す図で
ある。図１の構成と異なるのは、Ａ／Ｄ変換器１０２と
フレームメモリ１０３との間に、各カメラ画像に対して
フィルタ処理を行うフィルタ処理部３１０を設けた点で
ある。そしてパラメタ記憶部３３０は、カメラ画像と合
成画像との対応関係を表す画像合成パラメタとこの画像
合成パラメタに対応するフィルタパラメタとの組を複数
個記憶しており、パラメタ選択部３２０は、車動検出部
１０７によって検出された車両の動きと車両状況検出部
２００によって検出された車両状況とに応じて、パラメ
タ記憶部３３０から画像合成パラメタとフィルタパラメ
タの組を選択する。フィルタ処理部３１０はパラメタ選
択部３２０によって選択された組のフィルタパラメタに
応じて、各カメラ画像に対し、周波数帯域制限フィルタ
処理を行う。
【００６８】図９はフィルタパラメタの一例を示す図で
ある。図９に示すフィルタパラメタは、各カメラに対し
てそれぞれ、カットオフ周波数を指定している。フィル
タ処理部３１０は、Ａ／Ｄ変換器１０２から出力される
デジタル化された画像データに対して、フィルタパラメ
タが指定するカットオフ周波数の低域通過型のフィルタ
処理を行う。
【００６９】ここでは、画素クロックｆｓに対してカッ
トオフ周波数を与えるものとし、画像データ入力をその
まま出力するときは「１／２ｆｓ」と、カットオフ周波
数１／４ｆｓのフィルタをかけるときは「１／４ｆｓ」
と指定する。カットオフ周波数は、画像合成パラメタに
従った画像合成の際に、そのカメラ画像が最も縮小され
る部分の縮小率に応じて、サンプリング定理によって予
め算出しておく。例えば、カメラ１の画像が画像合成の
際に最も縮小される部分の縮小率が長さ比で１／２であ
るとき、カメラ１のカットオフ周波数は１／４ｆｓとす
る。
【００７０】カメラ画像の縮小率は、画像合成パラメタ
に含まれるカメラ画像の座標値を用いて求めることがで
きる。例えば、画像合成パラメタの座標（ｘ０，ｙ０）
における要素が『カメラ番号＝１、座標（ｘ１，ｙ
１）』であり、画像合成パラメタの座標（ｘ０＋１，ｙ
０）における要素が『カメラ番号＝１、座標（ｘ２，ｙ
２）』であったとする。このとき、座標（ｘ１，ｙ１）
と（ｘ２，ｙ２）との距離をＤとすると、カメラ番号１
のカメラ画像において、座標（ｘ１，ｙ１）または（ｘ
２，ｙ２）の近辺は、合成画像上で１／Ｄに縮小されて
いるといえる。このようにして、各カメラ画像のある画
素周辺における縮小率を求めることができる。そして、
各カメラ画像の縮小率の最小値が、最も縮小される部分
の縮小率といえる。
【００７１】パラメタ選択部３２０は、車動検出部１０
７によって検出された車両の速度や車両状況検出部２０
０によって検出された車両の状況に応じて、例えば図１
０に示すように、画像合成パラメタおよびフィルタパラ
メタを選択する。他の動作は第１の実施形態と同様であ
る。
【００７２】ここで、課題の項で述べたように、画像の
縮小を伴う変形では、縮小率に応じた高域の周波数成分
の除去を行わないと、折り返し歪みが発生する。本実施
形態では、フィルタパラメタに応じた低域通過フィルタ
処理によって、折り返し歪みを除去できる上に、図７の
ように合成画像の構図を切り替える場合、フィルタパラ
メタも併せて切り替えることによって、合成画像の構図
に適したフィルタ処理が可能になる。したがって、車両
の状況と車両の速度に応じた，折り返し歪みの少ない最
適な画質の合成画像を生成することができる。
【００７３】図１１はフィルタパラメタの他の構成の例
を示す図である。図１１（ｂ）に示すフィルタパラメタ
は、１フレーム分のカメラ画像の各画素座標に１対１に
対応した要素を有しており、各要素は、各カメラ画像に
対するフィルタ処理のカットオフ周波数を記述してい
る。すなわち、このフィルタパラメタは、カメラ画像の
画素位置毎に、フィルタ処理の設定データが記述された
ものである。
【００７４】パラメタ選択部３２０は、車動検出部１０
７によって検出された車両の速度や車両状況検出部２０
０によって検出された車両の状況に応じて、画像合成パ
ラメタおよびフィルタパラメタを選択し、順次走査しな
がらそのデータを出力する。フィルタ処理部３１０は、
パラメタ選択部３２０から出力されたフィルタパラメタ
のカットオフ周波数の情報から、Ａ／Ｄ変換器１０２か
ら出力されるデジタル化された画像データに対して、フ
ィルタパラメタに応じた低域通過型のフィルタ処理を行
う。
【００７５】ここで、図９に示すようなフィルタパラメ
タを用いる場合、１個のカメラ画像に対し１種類のカッ
トオフ周波数しか与えることができない。これは、カメ
ラ画像上の位置によって縮小率が異なるような画像合成
を行う場合には、あまり好ましくない。そこで、図１１
（ｂ）に示すようなフィルタパラメタを用いることによ
って、カメラ画像上の位置によってカットオフ周波数を
変えることができるため、入力画像の縮小されない部分
がぼけるのを防ぐことができる。
【００７６】なお、図１１（ｂ）のフィルタパラメタ
は、１フレーム分のカメラ画像の各画素座標に１対１に
対応したフィルタ処理の設定データを保持する構成とな
っている。一般的に、近傍画素のフィルタパラメタはよ
く似た値になることが多いので、例えば（８×８）画素
の矩形領域毎にフィルタ処理の設定データを保持する
等、近傍の複数画素について共通の設定データを保持す
るようにしてもかまわない。これにより、縮小されない
部分の画像がぼけるのを防ぐことができる上に、フィル
タ処理の設定データを画素毎に保持する場合に比べて、
フィルタパラメタのデータ量を少なくすることができる
という効果が得られる。
【００７７】また、第１の実施形態と第２の実施形態と
を組み合わせて実行することによって、より顕著な効果
を得ることができる。すなわち、第１の実施形態に係る
技術的特徴によって、インターレースノイズを除去する
ことができ、これとともに、第２の実施形態に係る技術
的特徴によって、折り返し歪みを除去することができる
ので、車両が高速走行する場合であっても、画質の良い
合成画像を生成することができる。
【００７８】（第３の実施形態）図１２は本発明の第３
の実施形態に係る車両周辺監視システムの構成を示す図
である。図１の構成と異なるのは、フレームメモリ１０
３と画像合成部１０４との間に、各カメラ画像の輝度や
色合いを補正する輝度補正部４１０を設けた点である。
また、輝度補正部４１０が用いる輝度補正パラメタを算
出する輝度補正パラメタ算出部４２０も、設けられてい
る。
【００７９】図１３は複数のカメラ画像から合成画像を
生成するための画像合成パラメタの例を示す図である。
同図中、（ａ），（ｂ）は車両の後方に設置された２台
のカメラで撮像された画像の例であり、この例では、車
両の真後ろの領域はカメラ１とカメラ２の両方によって
重複して撮影されている。図１３（ｃ）は合成画像の
例、図１３（ｄ）は画像合成パラメタの例である。
【００８０】図１３（ｄ）の例では、画像合成パラメタ
の座標（ｘｏ，ｙｏ）の要素は、カメラ１の画像の（Ｘ
ｉ１，Ｙｉ１）の画素と、カメラ２の画像の（Ｘｉ２，
Ｙｉ２）の画素を、重み０．７：０．３で重み付けして
合成すればよいことを示している。画像合成部１０４
は、このような画像合成パラメタに従って、各カメラ画
像を重み付けして加算し、順次合成画像として出力す
る。これにより、合成画像の画素を１個のカメラ画像の
単一画素から生成する場合に比べて、カメラ画像の輝度
や色合いの違いによるつなぎ目が目立たない、滑らかな
合成画像を生成することができる。
【００８１】さらに、本実施形態では、合成画像におけ
る重複領域の情報を用いて、輝度補正パラメタの算出を
行う。
【００８２】すなわち、パラメタ記憶部１０９が記憶す
る画像合成パラメタは、合成画像上の重複領域につい
て、対応するカメラ画像の画素座標を示す重複領域デー
タを有しており、輝度補正パラメタ算出部４２０は、画
像合成パラメタが有する重複領域データを入力とし、こ
の重複領域データが示す重複領域に対応する各カメラ画
像の画素の，輝度や色合いのデータを用いて、輝度補正
パラメタを算出する。
【００８３】図１４は重複領域を有する合成画像とその
画像合成パラメタの例を示す図である。図１４（ａ）に
示す合成画像において、斜線部はそれぞれ、カメラ１の
撮影範囲とカメラ２の撮影範囲を表しており、車両後方
部分にカメラ１の撮影範囲とカメラ２の撮影範囲とが重
複した重複領域が形成されている。図１４（ｂ）の画像
合成パラメタには、重複領域に対応するカメラ画像の画
素座標を示す重複領域データの一部が示されている。す
なわち、重複領域の座標（ｘｏ，ｙｏ）に、カメラ１の
画像の座標（Ｘｉ１，Ｙｉ１）の画素と、カメラ２の画
像の（Ｘｉ２，Ｙｉ２）の画素とが対応することが、重
複領域データとして示されている。
【００８４】ここで、重みの情報が「１：０」かそれ以
外の値であるかによって、非重複領域であるか重複領域
であるかを判別することができる。または、有効なカメ
ラ番号が２個以上指定されていれば重複領域であり、有
効なカメラ番号が１個以下しか指定されていなければ非
重複領域であると判別してもよい。
【００８５】パラメタ選択部１０８は、車動検出部１０
７によって検出された車両の速度や車両状況検出部２０
０によって検出された車両の状況に応じて、予め決めら
れた基準に従って画像合成パラメタを選択し、インター
レース走査によって順次読み出し、画像合成部１０４に
出力する。パラメタ選択部１０８から出力された画像合
成パラメタが有する重複領域データは、輝度補正パラメ
タ算出部４２０にも出力される。
【００８６】輝度補正パラメタ算出部４２０は、パラメ
タ選択部１０８から出力される重複領域データと、画像
合成部１０４がフレームメモリ１０３から読み出した画
素値から、重複領域における各カメラ画像の輝度や色あ
いの分布を求め、これらの分布が重複領域においてほぼ
一致するような輝度補正パラメタを算出する。
【００８７】輝度補正部４１０は、画像合成部１０４が
フレームメモリ１０３から読み出した画素値に対し、輝
度補正パラメタ算出部４２０によって算出された輝度補
正パラメタに従って輝度補正を行い、画像合成部１０４
に出力する。画像合成部１０４は、パラメタ選択部１０
８から出力された画像合成パラメタに従って、輝度補正
部４１０によって輝度補正されたカメラ画像から、合成
画像を生成する。
【００８８】輝度補正パラメタの算出の手順について、
具体例を挙げて説明する。
【００８９】例えば、輝度補正パラメタ算出部４２０
は、重複領域における各カメラ画像の輝度の平均と分散
が一致するような、ゲイン係数およびオフセット係数を
輝度補正パラメタとして出力するものとする。そして、
輝度補正部４１０は各カメラ画像の画素値に対し、輝度
補正パラメタであるゲイン係数およびオフセット係数を
用いた１次式によって補正をかけるものとする。
【００９０】ここで、重複領域が複数個存在するものと
する。例えば４種類の重複領域すなわち、カメラ１とカ
メラ２の第１の重複領域、カメラ１とカメラ３の第２の
重複領域、カメラ２とカメラ４の第３の重複領域、およ
びカメラ３とカメラ４の第４の重複領域が存在するもの
とする。
【００９１】輝度補正パラメタ算出部４２０は、まず、
第１の重複領域に着目し、画像合成部１０４がフレーム
メモリ１０３から読み出したカメラ１とカメラ２の画像
をそれぞれ１フレーム分累積し、第１の重複領域におけ
るカメラ１とカメラ２の画像の輝度の平均と分散をそれ
ぞれ求める。同様に、他の第２〜第４の重複領域につい
ても、その重複領域に対応するカメラ画像の輝度の平均
と分散を求める。
【００９２】次に、第１の重複領域のカメラ１とカメラ
２の画像の輝度の平均と分散が一致するように、輝度補
正パラメタとしてゲインとオフセットを求める。例え
ば、第１の重複領域において、カメラ１の画像の輝度の
平均が１００、分散が１０であり、カメラ２の画像の輝
度の平均が１２１、分散が１１であったとすると、カメ
ラ１の画像に対するゲインを１、オフセットを０とし、
カメラ２の画像に対するゲインを１０／１１、オフセッ
トを−１０とすると、カメラ１とカメラ２の画像の輝度
の平均と分散が一致する。
【００９３】次に、第１の重複領域から求めた輝度補正
パラメタを用いて、第２の重複領域におけるカメラ１の
画像の輝度の平均と分散を修正する。ただし上記の例で
は、カメラ１の画像に対するゲインは１、オフセットは
０であるので、カメラ１の画像の輝度の平均と分散を修
正する必要はない。そして、第２の重複領域においてカ
メラ１とカメラ３の画像の輝度の平均と分散が一致する
ように、カメラ３の画像に対する輝度補正パラメタを求
める。同様に、第１の重複領域から求めた輝度補正パラ
メタを用いて、第３の重複領域におけるカメラ２の画像
の輝度の平均と分散を修正する。そして、第３の重複領
域においてカメラ２とカメラ４の画像の輝度の平均と分
散が一致するように、カメラ４の画像に対する輝度補正
パラメタを求める。
【００９４】ただし、このような算出手順では、第４の
重複領域においては必ずしも適切に輝度補正はなされな
い可能性がある。したがって、上述した以外の算出手順
として、例えば、各重複領域から輝度補正パラメタを一
旦算出し、複数の重複領域に対応するカメラ画像につい
ては、一旦算出した輝度補正パラメタの平均値を最終的
な輝度補正パラメタとして求めてもよい。この場合、各
重複領域において輝度や色合いは完全には一致しない
が、合成画像全体としては、輝度や色合いが大きくずれ
た重複領域がなくなることが期待できる。
【００９５】また、重複領域が複数個存在する場合に
は、輝度補正パラメタ算出の際に考慮する重複領域の優
先順位を、車動検出部１０７によって検出された車両の
動きに応じて設定してもかまわない。
【００９６】例えば、車両が後退している場合は、合成
画像上で車両後方に位置する重複領域を優先的に考慮す
ればよい。一方、車両が前進している場合は、合成画像
上で車両前方に位置する重複領域を優先的に考慮すれば
よい。一般的に、運転者は、車両が後退している場合は
車両の後方に注目する傾向にあり、車両が前進している
場合は車両の前方に注目する傾向にある。したがって、
一部の重複領域の輝度や色合いは一致しなくても、運転
者が注目しやすい位置にある重複領域では輝度や色合い
は一致しているので、運転者からみてより自然な合成画
像になる。
【００９７】以上のように、本実施形態によると、重複
領域に対応する各カメラ画像の画素の輝度や色合いのデ
ータを用いて、輝度補正パラメタを算出し、輝度補正を
行うので、カメラ画像の輝度や色合いの相違に起因する
つなぎ目が目立たない、滑らかな合成画像を得ることが
できる。
【００９８】なお、図１２の構成では、輝度補正部４１
０を設けているが、カメラ１０１が、輝度補正部４１０
に相当する機能を内蔵している場合には、その機能を利
用することによって、輝度補正部４１０を省くことがで
き、システムの構成を簡略化することができる。
【００９９】なお、輝度補正の手法は、本実施形態に示
したものに限られるものではなく、重複領域の輝度や色
合いが近くなるような処理であれば、他の手法を用いて
も、本実施形態と同様の効果を得ることができる。
【０１００】なお、本実施形態では、重複領域を判別す
るために、画像合成パラメタ中の重みの情報を用いるも
のとしたが、重み情報の代わりに、重複領域であるか否
かを示す専用の情報を画像合成パラメタ中に設けるよう
にしてもかまわないことはいうまでもない。
【０１０１】（第４の実施形態）本発明の第４の実施形
態は、合成画像上で複数のカメラの撮影範囲が重複する
重複領域において、画像合成に用いるカメラ画像の選択
や、各カメラ画像の重み付けの設定を、適宜切り替える
ものである。
【０１０２】本実施形態に係る車両周辺監視システムの
構成は、図１に示す構成と同様である。ただし、パラメ
タ記憶部１０９が、構図は同一であるが、重複領域にお
いて画像合成に用いるカメラ画像の選択が互いに異なる
複数の画像合成パラメタを有している点が異なる。
【０１０３】図１５は本実施形態におけるカメラおよび
障害物検出手段２３０としての障害物センサの設置位置
を示す図である。図１５に示すように、カメラ１および
カメラ２は車両後方のピラーに設置されており、カメラ
１は車両左後方を撮影し、カメラ２は車両右後方を撮影
している。カメラ１とカメラ２の撮影範囲は、車両後方
において重複している。また、車両後方に２個の障害物
センサが設置されており、この障害物センサによって、
車両後方の障害物を検出することができる。
【０１０４】図１６は合成画像とこの合成画像を生成す
るための画像合成パラメタの例を示す図である。同図
中、（ａ）は合成画像、（ｂ），（ｃ）は（ａ）の合成
画像を生成するための２種類の画像合成パラメタであ
る。画像合成パラメタＡ（ｂ）と画像合成パラメタＢ
（ｃ）はいずれも同一の構図の合成画像（ａ）を生成す
るための画像合成パラメタであるが、車両後方部分の重
複領域において、画像合成のために用いるカメラ画像が
異なっている。重複領域において、画像合成パラメタＡ
はカメラ１の画像を用いており、画像合成パラメタＢは
カメラ２の画像を用いている。
【０１０５】本実施形態に係る車両走行監視システムの
動作を説明する。
【０１０６】障害物検出手段２３０は、車両後方の左右
いずれかに障害物がある場合、その検出位置をパラメタ
選択部１０８に出力する。パラメタ選択部１０８は、検
出された障害物の位置やユーザーのスイッチ操作に応じ
て画像合成パラメタを選択して出力する。
【０１０７】例えば、車両の左後方に障害物がある場合
は画像合成パラメタＡを、車両の右後方に障害物がある
場合は画像合成パラメタＢを選択して出力する。画像合
成部１０４は、選択された画像合成パラメタに従って、
フレームメモリ１０３からカメラ画像を読み出し、合成
画像を生成する。
【０１０８】このような動作によって、例えば図１７
（ａ）に示すように、車両の左後方に障害物例えば他の
車両がある場合、画像合成パラメタＡを選択することに
よって、図１７（ｂ）に示すように、合成画像上でカメ
ラ画像のつなぎ目が目立たなくなる。もし、このときに
画像合成パラメタＢを選択すると、図１７（ｃ）に示す
ように、合成画像上でのカメラ画像のつなぎ目が他の車
両の画像にかかり、これによって、つなぎ目が不自然に
なってしまう。すなわち、障害物の位置に応じて画像合
成パラメタを選択して画像合成を行うことによって、合
成画像上でつなぎ目の位置を目立たないところに変える
ことができるので、見た目が自然な合成画像を生成する
ことができる。
【０１０９】また、パラメタ選択部１０８は、車両状況
検出部２００の出力の代わりに、車動検出部１０７によ
って検出された車両の動きに応じて、画像合成パラメタ
を切り替えてもよい。これにより、重複領域において画
像合成に用いるカメラ画像を、車両の進む向きや速度に
応じて、切り替えることができる。これにより、例え
ば、撮影範囲が車両の進行方向により近いカメラの画像
を選択することによって、運転者が注視しやすい領域付
近でのつなぎ目を少なくすることができるので、運転の
しやすい合成画像の表示が可能になる。もちろん、車両
状況検出部２００の出力と車動検出部１０７の出力とを
併せて用いてもかまわない。
【０１１０】図１８は本実施形態に係る画像合成パラメ
タの他の例を示す図である。図１８の画像合成パラメタ
は、合成画像上の重複領域について、各カメラ画像に対
する重み付けの情報を複数個有している。例えば図１８
において、画像合成パラメタの座標（ｘ０，ｙ０）は、
カメラ１の画像の（Ｘｉ１，Ｙｉ１）の画素とカメラ２
の画像の（Ｘｉ２，Ｙｉ２）の画素とが重複した領域で
あり、合成時の重み付けについて、重み情報Ａ（０．
７：０．３）と重み情報Ｂ（０．２：０．８）との２組
が準備されている。
【０１１１】この場合、パラメタ選択部１０８は、車両
状況検出部２００の出力に応じて、画像合成パラメタが
有する複数の重み付け情報のいずれかを選択する。例え
ば、車両の左後方に障害物があるときは、重み情報Ａ
を、車両の右後方に障害物があるときは、重み情報Ｂを
選択する。
【０１１２】このように重み情報を選択して画像合成を
行うことによって、図１７に示す場合と同様に、障害物
の位置に応じて、合成画像上のカメラ画像のつなぎ目の
不自然さを低減することができ、つなぎ目がより滑らか
な合成画像を生成することができる。
【０１１３】図１９は本実施形態に係る画像合成パラメ
タの他の例を示す図である。図１９の画像合成パラメタ
は、図１８の画像合成パラメタと等価であり、異なる点
は、各画素毎にそれぞれ重み情報を持つ代わりに、重み
情報の組み合わせを示す１つの重み参照番号を有する点
である。
【０１１４】図１９の例では、画像合成パラメタの座標
（ｘ０，ｙ０）の重み参照番号は「３」である。そして
別のテーブルから、重み参照番号「３」は、各画素の合
成時の重み付けが、０．７：０．３である（重み情報
Ａ）か、０．２：０．８である（重み情報Ｂ）ことを示
している。
【０１１５】ここで、図１８の画像合成パラメタは、重
みに関して各座標毎に４つの値を保持する必要があるの
に対して、図１９の画像合成パラメタは、１個の重み参
照情報の値を保持するだけですむ。このため、画像合成
パラメタの画素数が多く、重み情報の組み合わせの数が
少ないほど、図１９の画像合成パラメタの方が、データ
量がより少なくなるといえる。
【０１１６】このように、合成画像パラメタの各座標毎
に複数の重み情報を保持する代わりに、複数の重み情報
の組み合わせを表す重み参照番号を保持することによっ
て、画像合成パラメタのデータ量を少なくすることがで
きる。
【０１１７】図２０は本実施形態に係る画像合成パラメ
タの他の例を示す図である。図２０の画像合成パラメタ
は、図１８の画像合成パラメタを基に、ディザ法を用い
て生成されたものである。
【０１１８】図２０（ａ）の画像合成パラメタＡは、図
１８の画像合成パラメタの各画素に対応するカメラ番号
と重み情報Ａを基に、着目画素の近傍における各カメラ
画像の画素数の比率が重みと近くなるよう、着目画素の
いずれか一方のカメラ画像を選択する、いわゆるディザ
法によって生成されたものである。同様に、図２０
（ｂ）の画像合成パラメタＢは、図１８の画像合成パラ
メタの各画素に対応するカメラ番号と重み情報Ｂを基に
して生成されたものである。
【０１１９】例えば図１８の画像合成パラメタの重み情
報Ａでは、座標（ｘ０，ｙ０）において、カメラ１が
０．７、カメラ２が０．３の重みであることを示してい
る。図２０（ａ）の画像合成パラメタＡでは、座標（ｘ
０，ｙ０）の近傍画素のカメラ１の画素数とカメラ２の
画素数の比率が０．７：０．３に近くなるように、カメ
ラ番号が選択されている。図２０（ａ）の例では、座標
（ｘ０，ｙ０）ではカメラ１が選択されているが、周辺
の画素におけるカメラ１とカメラ２の画素比率がほぼ
０．７：０．３になっている。
【０１２０】上記のディザ法は、「テレビション画像情
報工学ハンドブック」（映像情報メディア学会編／オー
ム社）等に開示されており、広く一般に知られた方法で
あるため、カメラ画像の選択方法についての詳細な説明
は、ここでは省略する。
【０１２１】パラメタ選択部１０８は、車両状況検出部
２００の出力に応じて、画像合成パラメタＡまたは画像
合成パラメタＢのいずれかを選択する。
【０１２２】このようにディザ処理された複数の画像合
成パラメタを選択して画像合成することによって、図１
８の画像合成パラメタを用いた場合と同様に、障害物の
位置に応じて、画像合成上のつなぎ目の不自然さを低減
することができ、つなぎ目の滑らかな合成画像を生成す
ることができる。
【０１２３】また、図２０（ａ）の画像合成パラメタＡ
と図２０（ｂ）の画像合成パラメタＢとを合わせたデー
タ量は、図１８の画像合成パラメタのデータ量に対し
て、重みの情報分だけデータ量が少ないといえる。
【０１２４】さらに、図２０（ａ）の画像合成パラメタ
Ａまたは図２０（ｂ）の画像合成パラメタＢを用いて画
像合成を行う場合、図１８の重み付き画像合成パラメタ
を用いて画像合成を行う場合に対して、画像合成部１０
４がフレームメモリ１０３から読み出す画素数、および
画像合成部１０４での重み付け加算分の演算量が少ない
といえる。
【０１２５】このように画像合成パラメタとして、ディ
ザ法によって生成された画像合成パラメタを用いること
によって、重み情報を用いた画像合成パラメタを用いる
場合に比べて、画像合成パラメタのデータ量が少なくな
る上に、画像合成の処理量が少なくなるという効果があ
る。
【０１２６】なお、上述した各実施形態では、ディスプ
レイ１０６はインターレース走査の画像を表示するもの
とし、パラメタ選択部１０８，３２０はインターレース
走査によって画像合成パラメタを読み出すものとした
が、いずれもノンインターレース走査を用いても、各実
施形態と同様の効果を得ることができる。
【０１２７】また、上述した各実施形態では、画像合成
パラメタは、カメラ画像と合成画像との座標の対応関係
を示すテーブル状のデータであるものとしたが、カメラ
画像と合成画像との対応関係を示すものであれば、他の
形式、例えば変数を含む数式やプログラムによって記述
したものであってもかまわない。この場合、画像合成部
は、変数を含む数式やプログラムによって記述された画
像合成パラメタを用いて、座標の対応を求める構成とす
ればよい。なお、このような変数を含む数式やプログラ
ムによって記述された画像合成パラメタを導出する方法
は、特願平１０−２１７２６１などに開示されている。
【０１２８】なお、上述した各実施形態では、画像合成
パラメタは、１フレーム分の合成画像の画素座標と１対
１に対応した要素を含み、合成画像とサイズが同一であ
るものとしたが、画像合成パラメタのサイズは合成画像
と同一である必要は必ずしもない。例えば、合成画像よ
りもサイズが大きい画像合成パラメタを準備しておき、
ここの画像合成パラメタから、合成画像と同じサイズの
範囲を切り出して、画像合成を行うようにしてもかまわ
ない。
【０１２９】なお、以上の説明では、本発明に係る監視
システムや画像処理装置は、車両に適用するものとした
が、車両以外の移動体、例えば飛行機や船舶などであっ
ても、同様に適用することができる。また、移動体以外
の監視対象、例えば店舗、住居、ショールームなどにカ
メラを設置してもよい。
【０１３０】また、複数のカメラの設置位置や台数は、
ここで示したものに限られるものではない。
【０１３１】また、本発明に係る画像処理装置の機能
は、その全部または一部を、専用のハードウェアを用い
て実現してもかまわないし、ソフトウェアによって実現
してもかまわない。また、本発明に係る画像処理装置の
機能の全部または一部をコンピュータに実行させるため
のプログラムを格納した記録媒体や伝送媒体を、利用す
ることも可能である。例えば、図２１に示すようなコン
ピュータを用いた構成において、画像合成部やパラメタ
選択部などの各処理手段を、ＣＰＵ５１０によって実行
されるソフトウェアによって実現し、ＲＯＭ５２０また
はＲＡＭ５３０に格納しておいてもかまわない。
【０１３２】
【発明の効果】以上のように本発明によると、合成画像
について、車両が動いている場合の不自然さを低減でき
るとともに、車両が静止している場合の解像度の低下を
防ぐことができる。また、合成画像上で、折り返し歪み
を効果的に抑制することができる。さらに、合成画像上
で、カメラ画像のつなぎ目の不自然さを低減することが
できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る車両周辺監視シ
ステムの構成図である。
【図２】画像合成パラメタを用いた画像合成を説明する
ための図である。
【図３】本発明の第１の実施形態に係る画像合成パラメ
タの選択の一例である。
【図４】本発明の第１の実施形態に係る，画像合成パラ
メタと撮像パターンの選択の一例である。
【図５】本発明の第１の実施形態に係る，明るさ検出手
段の出力を利用した画像合成パラメタと撮像パターンの
選択の一例である。
【図６】本発明の第１の実施形態に係る，スイッチ検出
手段および障害物検出手段の出力を利用した画像合成パ
ラメタの選択の一例である。
【図７】合成画像の構図の例である。
【図８】本発明の第２の実施形態に係る車両周辺監視シ
ステムの構成図である。
【図９】フィルタパラメタの一例を示す図である。
【図１０】本発明の第２の実施形態に係る画像合成パラ
メタおよびフィルタパラメタの選択の一例である。
【図１１】フィルタパラメタの一例を示す図である。
【図１２】本発明の第３の実施形態に係る車両周辺監視
システムの構成図である。
【図１３】複数のカメラ画像から合成画像を生成するた
めの画像合成パラメタの例を示す図である。
【図１４】重複領域を有する合成画像とその画像合成パ
ラメタの例を示す図である。
【図１５】本発明の第４の実施形態におけるカメラおよ
び障害物センサの設置位置を示す図である。
【図１６】合成画像とこの合成画像を生成するための画
像合成パラメタの例を示す図である。
【図１７】本発明の第４の実施形態に係る画像合成パラ
メタの選択の例を示す図である。
【図１８】本発明の第４の実施形態に係る画像合成パラ
メタの他の例を示す図である。
【図１９】本発明の第４の実施形態に係る画像合成パラ
メタの他の例を示す図である。
【図２０】本発明の第４の実施形態に係る画像合成パラ
メタの他の例を示す図である。
【図２１】本発明を実現するための構成の他の例を示す
図である。
【図２２】従来の課題を説明するための図である。
【図２３】従来の課題を説明するための図である。
【符号の説明】
１０１ カメラ １０６ ディスプレイ（表示部） １０７ 車動検出部 １０８ パラメタ選択部 １０９ パラメタ記憶部 ２００ 車両状況検出部 ３１０ フィルタ処理部 ３２０ パラメタ選択部 ３３０ パラメタ記憶部 ４１０ 輝度補正部 ４２０ 輝度補正パラメタ算出部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１３年８月１０日（２００１．８．１
０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】請求項９
【補正方法】変更
【補正内容】
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者 石井 浩史 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 岡本 修作 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA16 BA02 BA19 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE10 5C054 CC05 EA05 ED11 EE08 EG01 FC13 FE02 FE09 FE12 GB11 HA30 5H180 CC04 LL02 5L096 AA02 AA06 BA02 CA04 CA05 DA01 FA32 FA33 HA03

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 車両の周囲を撮影する複数のカメラの撮
    像画像を入力とし、これらのカメラ画像から合成画像を
    生成する画像処理装置であって、 カメラ画像と合成画像との対応関係をそれぞれ表し、か
    つ、空間的または時間的な解像度の関係が互いに異なる
    複数の画像合成パラメタを生成可能に構成されたパラメ
    タ生成部を備え、 前記パラメタ生成部によって生成された画像合成パラメ
    タに従って、カメラ画像から合成画像を生成するもので
    あり、 前記パラメタ生成部は、生成する画像合成パラメタを、
    車両の動きを検出する車動検出部の出力に応じて、切り
    替えることを特徴とする画像処理装置。
  2. 【請求項２】 請求項１記載の画像処理装置において、 前記パラメタ生成部は、 前記複数の画像合成パラメタを記憶するパラメタ記憶部
    と、 前記車動検出部の出力に応じて、前記パラメタ記憶部が
    記憶する複数の画像合成パラメタの中から、少なくとも
    １つを選択するパラメタ選択部とを備えたものであるこ
    とを特徴とする画像処理装置。
  3. 【請求項３】 請求項１記載の画像処理装置において、 前記カメラ画像は、インターレース画像であり、 前記複数の画像合成パラメタは、少なくとも、フレーム
    ベースの画像合成パラメタと、フィールドベースの画像
    合成パラメタとを含むことを特徴とする画像処理装置。
  4. 【請求項４】 請求項３記載の画像処理装置において、 前記パラメタ生成部は、 前記車動検出部によって検出された車両の動きが、相対
    的に速いときは、フィールドベースの画像合成パラメタ
    を生成する一方、相対的に遅いときは、フレームベース
    の画像合成パラメタを生成するものであることを特徴と
    する画像処理装置。
  5. 【請求項５】 請求項１記載の画像処理装置において、 前記車動検出部は、カメラ画像から、車両の動きを検出
    するものであることを特徴とする画像処理装置。
  6. 【請求項６】 請求項１記載の画像処理装置において、 前記複数のカメラは、入力された切替信号に応じて、そ
    の撮像パターンが切替可能に構成されており、 前記パラメタ生成部は、 前記車動検出部の出力に応じて、前記画像合成パラメタ
    の生成とともに、前記各カメラに切替信号を送り、各カ
    メラの撮像パターンを切り替えることを特徴とする画像
    処理装置。
  7. 【請求項７】 請求項６記載の画像処理装置において、 前記パラメタ生成部は、 前記車動検出部の出力に加えて、車両周辺の明るさを検
    出する車両状況検出部の出力を加味して、画像合成パラ
    メタの選択や、各カメラの撮像パターンの切替を行うこ
    とを特徴とする画像処理装置。
  8. 【請求項８】 請求項１記載の画像処理装置において、 前記パラメタ生成部は、 前記車動検出部の出力に加えて、車両乗員の操作または
    車両周辺の障害物の有無などの車両状況を検出する車両
    状況検出部の出力を加味して、画像合成パラメタの生成
    を行うことを特徴とする画像処理装置。
  9. 【請求項９】 車両の周囲を撮影する複数のカメラと、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 カメラ画像と合成画像との対応関係をそれぞれ表し、か
    つ、空間的または時間的な解像度の関係が互いに異なる
    複数の画像合成パラメタを生成可能に構成されたパラメ
    タ生成部を備え、 前記パラメタ生成部によって生成された画像合成パラメ
    タに従って、カメラ画像から合成画像を生成するもので
    あり、 前記パラメタ生成部は、車両の動きを検出する車動検出
    部の出力に応じて、前記複数の画像合成パラメタの中の
    少なくとも１つを生成することを特徴とする監視システ
    ム。
  10. 【請求項１０】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタと、この画像合成パラメタに対応するフィルタパラ
    メタとの組を、複数個、記憶するパラメタ記憶部と、 車両の動きを検出する車動検出部の出力、および、車両
    乗員の操作または車両周辺の障害物の有無などの車両状
    況を検出する車両状況検出部の出力に応じて、前記パラ
    メタ記憶部が記憶する複数の画像合成パラメタおよびフ
    ィルタパラメタの組の中から、少なくとも１組を選択す
    るパラメタ選択部と、 各カメラ画像に対し、前記パラメタ選択部によって選択
    された組のフィルタパラメタに応じて、周波数帯域制限
    フィルタ処理を行うフィルタ処理部とを備え、 前記パラメタ選択部によって選択された組の画像合成パ
    ラメタに従って、前記フィルタ処理部によって処理され
    たカメラ画像から、合成画像を生成することを特徴とす
    る画像処理装置。
  11. 【請求項１１】 請求項１０記載の画像処理装置におい
    て、 前記フィルタパラメタは、カメラ画像の画素位置毎に、
    フィルタ処理の設定データが記述されたものであること
    を特徴とする画像処理装置。
  12. 【請求項１２】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタと、この画像合成パラメタに対応するフィルタパラ
    メタとの組を、複数個、記憶するパラメタ記憶部と、 車両の動きを検出する車動検出部の出力、および、車両
    乗員の操作または車両周辺の障害物の有無などの車両状
    況を検出する車両状況検出部の出力に応じて、前記パラ
    メタ記憶部が記憶する複数の画像合成パラメタおよびフ
    ィルタパラメタの組の中から、少なくとも１組を選択す
    るパラメタ選択部と、 各カメラ画像に対し、前記パラメタ選択部によって選択
    された組のフィルタパラメタに応じて、周波数帯域制限
    フィルタ処理を行うフィルタ処理部とを備え、 前記パラメタ選択部によって選択された組の画像合成パ
    ラメタに従って、前記フィルタ処理部によって処理され
    たカメラ画像から、合成画像を生成するものであること
    を特徴とする監視システム。
  13. 【請求項１３】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 各カメラ画像の輝度や色あいを補正するための輝度補正
    パラメタを算出する輝度補正パラメタ算出部と、 前記輝度補正パラメタ算出部によって算出された輝度補
    正パラメタを用いて、各カメラ画像の輝度や色合いを補
    正する輝度補正部とを備え、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタに従って、前記輝度補正部によって輝度補正された
    複数のカメラ画像から、合成画像を生成するものであ
    り、 前記画像合成パラメタは、合成画像上において複数のカ
    メラの撮影範囲が重複する重複領域について、対応する
    カメラ画像の画素座標を示す重複領域データを有し、 前記輝度補正パラメタ算出部は、前記重複領域データを
    入力とし、この重複領域データが示す前記重複領域に対
    応する各カメラ画像の画素の，輝度や色合いのデータを
    用いて、輝度補正パラメタを算出することを特徴とする
    画像処理装置。
  14. 【請求項１４】 請求項１３記載の画像処理装置におい
    て、 前記輝度補正パラメタ算出部は、 前記重複領域に対応する各カメラ画像について、重複領
    域における輝度の統計処理を行い、これらの処理結果に
    基づいて、輝度補正パラメタを算出することを特徴とす
    る画像処理装置。
  15. 【請求項１５】 請求項１３記載の画像処理装置におい
    て、 前記輝度補正パラメタ算出部は、 前記重複領域が複数個存在する場合に、輝度補正パラメ
    タ算出の際に考慮する重複領域の優先順位を、車両の動
    きを検出する車動検出部の出力に応じて設定することを
    特徴とする画像処理装置。
  16. 【請求項１６】 請求項１３記載の画像処理装置におい
    て、 前記輝度補正部は、各カメラに内蔵されていることを特
    徴とする画像処理装置。
  17. 【請求項１７】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 各カメラ画像の輝度や色あいを補正するための輝度補正
    パラメタを算出する輝度補正パラメタ算出部と、 前記輝度補正パラメタ算出部によって算出された輝度補
    正パラメタを用いて、各カメラ画像の輝度や色合いを補
    正する輝度補正部とを備え、 カメラ画像と合成画像との対応関係を表す画像合成パラ
    メタに従って、前記輝度補正部によって輝度補正された
    複数のカメラ画像から、合成画像を生成するものであ
    り、 前記画像合成パラメタは、合成画像上で複数のカメラの
    撮影範囲が重複する重複領域について、対応するカメラ
    画像の画素座標を示す重複領域データを有し、 前記輝度補正パラメタ算出部は、前記重複領域データを
    入力とし、この重複領域データが示す前記重複領域に対
    応する各カメラ画像の画素の，輝度や色合いのデータを
    用いて、輝度補正パラメタを算出するものであることを
    特徴とする監視システム。
  18. 【請求項１８】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像の中から、合成画
    像の生成に用いるカメラ画像を、車両の動きを検出する
    車動検出部の出力、または、車両乗員の操作若しくは車
    両周辺の障害物の有無などの車両状況を検出する車両状
    況検出部の出力に応じて、選択することを特徴とする画
    像処理装置。
  19. 【請求項１９】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像に対する重み付け
    を、車両の動きを検出する車動検出部の出力、または、
    車両乗員の操作若しくは車両周辺の障害物の有無などの
    車両状況を検出する車両状況検出部の出力に応じて、設
    定することを特徴とする画像処理装置。
  20. 【請求項２０】 請求項１９記載の画像処理装置におい
    て、 合成画像の画素とカメラ画像の画素とを対応付ける画像
    合成パラメタと、 重み参照番号と重み情報の組み合わせとの対応関係を表
    すテーブルとを備え、 前記重複領域に係る画像合成パラメタは、 前記テーブルに示された重み参照番号の値のいずれかを
    保持するものであることを特徴とする画像処理装置。
  21. 【請求項２１】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像の中から、合成画
    像の生成に用いるカメラ画像を、車両の動きを検出する
    車動検出部の出力、または、車両乗員の操作若しくは車
    両周辺の障害物の有無などの車両状況を検出する車両状
    況検出部の出力に応じて、選択するものであることを特
    徴とする監視システム。
  22. 【請求項２２】 車両の周囲を撮影する複数のカメラ
    と、 前記複数のカメラの撮像画像を入力とし、これらのカメ
    ラ画像から合成画像を生成する画像処理部と、 前記画像処理部によって生成された合成画像を表示する
    表示部とを備え、 前記画像処理部は、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域において、この複数のカメラの画像に対する重み付け
    を、車両の動きを検出する車動検出部の出力、または、
    車両乗員の操作若しくは車両周辺の障害物の有無などの
    車両状況を検出する車両状況検出部の出力に応じて、設
    定するものであることを特徴とする監視システム。
  23. 【請求項２３】 車両の周囲を撮影する複数のカメラの
    撮像画像を入力とし、これらのカメラ画像から合成画像
    を生成する画像処理装置であって、 合成画像の画素とカメラ画像の画素とを対応付ける画像
    合成パラメタを備え、 前記画像合成パラメタは、 合成画像上で複数のカメラの撮影範囲が重複する重複領
    域における，この複数のカメラの画像に対する重み付け
    が、ディザ法によって、表されているものであることを
    特徴とする画像処理装置。
JP2001113976A 2000-04-28 2001-04-12 画像処理装置および監視システム Expired - Lifetime JP3300337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001113976A JP3300337B2 (ja) 2000-04-28 2001-04-12 画像処理装置および監視システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000130171 2000-04-28
JP2000-130171 2000-04-28
JP2001113976A JP3300337B2 (ja) 2000-04-28 2001-04-12 画像処理装置および監視システム

Publications (2)

Publication Number Publication Date
JP2002027448A true JP2002027448A (ja) 2002-01-25
JP3300337B2 JP3300337B2 (ja) 2002-07-08

Family

ID=26591170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001113976A Expired - Lifetime JP3300337B2 (ja) 2000-04-28 2001-04-12 画像処理装置および監視システム

Country Status (1)

Country Link
JP (1) JP3300337B2 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215879A (ja) * 2004-01-28 2005-08-11 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
WO2005125208A1 (ja) * 2004-06-15 2005-12-29 Matsushita Electric Industrial Co., Ltd. 監視装置および車両周辺監視装置
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2007027948A (ja) * 2005-07-13 2007-02-01 Nissan Motor Co Ltd 車両周辺監視装置及び車両周辺監視方法
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP2007233948A (ja) * 2006-03-03 2007-09-13 Nissan Motor Co Ltd 映像表示装置
JP2007243464A (ja) * 2006-03-07 2007-09-20 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008028521A (ja) * 2006-07-19 2008-02-07 Xanavi Informatics Corp 画像表示システム
JP2008077595A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP2008090605A (ja) * 2006-10-02 2008-04-17 Matsushita Electric Ind Co Ltd 映像合成装置
JP2008211405A (ja) * 2007-02-23 2008-09-11 Nagaoka Univ Of Technology 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
JP2009070367A (ja) * 2007-09-13 2009-04-02 Korea Electronics Telecommun 車両走行状況警告方法および装置
JP2009080724A (ja) * 2007-09-27 2009-04-16 Panasonic Corp 画像処理装置
JP2009302715A (ja) * 2008-06-11 2009-12-24 Alpine Electronics Inc 画像処理装置およびこれを適用した車両周辺監視装置
EP2237228A2 (en) 2009-03-31 2010-10-06 Fujitsu Limited Combination of videos from multiple cameras
JP2011254190A (ja) * 2010-06-01 2011-12-15 Clarion Co Ltd 車両用周囲監視装置
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP2013061317A (ja) * 2011-09-14 2013-04-04 Hyundai Motor Co Ltd 車両周辺情報提供システム及びその方法
JP2013246493A (ja) * 2012-05-23 2013-12-09 Denso Corp 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
WO2014033886A1 (ja) 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
JP2014086076A (ja) * 2012-10-23 2014-05-12 Avisonic Technology Corp 動的画像処理方法および車両画像を処理するシステム
CN104660980A (zh) * 2013-11-22 2015-05-27 瑞萨电子株式会社 车载图像处理装置和半导体装置
WO2016017136A1 (ja) * 2014-07-30 2016-02-04 株式会社デンソー 制御情報検出装置および制御情報検出方法
JP2016208306A (ja) * 2015-04-23 2016-12-08 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP2017028595A (ja) * 2015-07-27 2017-02-02 株式会社 日立産業制御ソリューションズ 画像合成装置および画像合成方法
JPWO2015079702A1 (ja) * 2013-11-27 2017-03-16 京セラ株式会社 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP2018533858A (ja) * 2015-08-27 2018-11-15 ノキア テクノロジーズ オサケユイチア アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置
CN110942023A (zh) * 2019-11-25 2020-03-31 鹰驾科技（深圳）有限公司 车辆视觉盲区的指示方法、装置、设备及存储介质
JP2021145195A (ja) * 2020-03-10 2021-09-24 住友重機械工業株式会社 画像処理装置、画像処理方法、及び画像処理システム
US12041357B2 (en) 2020-12-23 2024-07-16 Denso Corporation In-vehicle camera
WO2024166281A1 (ja) * 2023-02-09 2024-08-15 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ可読媒体
WO2024176317A1 (ja) * 2023-02-20 2024-08-29 日本電信電話株式会社 調整装置、調整方法、および調整プログラム

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005215879A (ja) * 2004-01-28 2005-08-11 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
US7512251B2 (en) * 2004-06-15 2009-03-31 Panasonic Corporation Monitoring system and vehicle surrounding monitoring system
WO2005125208A1 (ja) * 2004-06-15 2005-12-29 Matsushita Electric Industrial Co., Ltd. 監視装置および車両周辺監視装置
US7916899B2 (en) * 2004-06-15 2011-03-29 Panasonic Corporation Monitoring system and vehicle surrounding monitoring system
US7693303B2 (en) * 2004-06-15 2010-04-06 Panasonic Corporation Monitoring system and vehicle surrounding monitoring system
JP4639753B2 (ja) * 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
JP2006121587A (ja) * 2004-10-25 2006-05-11 Nissan Motor Co Ltd 運転支援装置及び俯瞰画像作成方法
JP2007027948A (ja) * 2005-07-13 2007-02-01 Nissan Motor Co Ltd 車両周辺監視装置及び車両周辺監視方法
JP2007036668A (ja) * 2005-07-27 2007-02-08 Nissan Motor Co Ltd 俯瞰画像表示システム及び俯瞰画像の表示方法
US8174576B2 (en) 2005-09-28 2012-05-08 Nissan Motor Co., Ltd. Vehicle periphery video providing apparatus and method
JP2007124609A (ja) * 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP2007233948A (ja) * 2006-03-03 2007-09-13 Nissan Motor Co Ltd 映像表示装置
JP2007243464A (ja) * 2006-03-07 2007-09-20 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP2008028521A (ja) * 2006-07-19 2008-02-07 Xanavi Informatics Corp 画像表示システム
JP2008077595A (ja) * 2006-09-25 2008-04-03 Matsushita Electric Ind Co Ltd 合成映像表示装置
JP2008090605A (ja) * 2006-10-02 2008-04-17 Matsushita Electric Ind Co Ltd 映像合成装置
JP2008211405A (ja) * 2007-02-23 2008-09-11 Nagaoka Univ Of Technology 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
JP2009070367A (ja) * 2007-09-13 2009-04-02 Korea Electronics Telecommun 車両走行状況警告方法および装置
JP2009080724A (ja) * 2007-09-27 2009-04-16 Panasonic Corp 画像処理装置
JP2009302715A (ja) * 2008-06-11 2009-12-24 Alpine Electronics Inc 画像処理装置およびこれを適用した車両周辺監視装置
US8736665B2 (en) 2009-03-31 2014-05-27 Fujitsu Limited Video processing apparatus
EP2237228A2 (en) 2009-03-31 2010-10-06 Fujitsu Limited Combination of videos from multiple cameras
JP2011254190A (ja) * 2010-06-01 2011-12-15 Clarion Co Ltd 車両用周囲監視装置
JP2013061317A (ja) * 2011-09-14 2013-04-04 Hyundai Motor Co Ltd 車両周辺情報提供システム及びその方法
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
US9715631B2 (en) 2011-09-30 2017-07-25 Panasonic Intellectual Property Management Co., Ltd. Birds-eye-view image generation device, and birds-eye-view image generation method
JPWO2013046593A1 (ja) * 2011-09-30 2015-03-26 パナソニックＩｐマネジメント株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
JP2013246493A (ja) * 2012-05-23 2013-12-09 Denso Corp 車両周囲画像表示制御装置および車両周囲画像表示制御プログラム
WO2014033886A1 (ja) 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム
US9436986B2 (en) 2012-08-30 2016-09-06 Fujitsu Limited Image processing apparatus and image processing method
US9087256B2 (en) 2012-10-23 2015-07-21 Avisonic Technology Corporation Dynamic image processing method and system for processing vehicular image
JP2014086076A (ja) * 2012-10-23 2014-05-12 Avisonic Technology Corp 動的画像処理方法および車両画像を処理するシステム
CN104660980A (zh) * 2013-11-22 2015-05-27 瑞萨电子株式会社 车载图像处理装置和半导体装置
JP2015103894A (ja) * 2013-11-22 2015-06-04 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置
CN104660980B (zh) * 2013-11-22 2019-04-02 瑞萨电子株式会社 车载图像处理装置和半导体装置
US9946938B2 (en) 2013-11-22 2018-04-17 Renesas Electronics Corporation In-vehicle image processing device and semiconductor device
US10455159B2 (en) 2013-11-27 2019-10-22 Kyocera Corporation Imaging setting changing apparatus, imaging system, and imaging setting changing method
JPWO2015079702A1 (ja) * 2013-11-27 2017-03-16 京セラ株式会社 撮像設定変更装置、撮像システム、および撮像設定変更方法
JP2016031701A (ja) * 2014-07-30 2016-03-07 株式会社デンソー 制御情報検出装置および制御情報検出方法
WO2016017136A1 (ja) * 2014-07-30 2016-02-04 株式会社デンソー 制御情報検出装置および制御情報検出方法
JP2016208306A (ja) * 2015-04-23 2016-12-08 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP2017028595A (ja) * 2015-07-27 2017-02-02 株式会社 日立産業制御ソリューションズ 画像合成装置および画像合成方法
JP2018533858A (ja) * 2015-08-27 2018-11-15 ノキア テクノロジーズ オサケユイチア アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置
CN110942023A (zh) * 2019-11-25 2020-03-31 鹰驾科技（深圳）有限公司 车辆视觉盲区的指示方法、装置、设备及存储介质
JP2021145195A (ja) * 2020-03-10 2021-09-24 住友重機械工業株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP7469083B2 (ja) 2020-03-10 2024-04-16 住友重機械工業株式会社 画像処理装置、画像処理方法、及び画像処理システム
US12041357B2 (en) 2020-12-23 2024-07-16 Denso Corporation In-vehicle camera
JP7537274B2 (ja) 2020-12-23 2024-08-21 株式会社デンソー 車載用カメラ
WO2024166281A1 (ja) * 2023-02-09 2024-08-15 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ可読媒体
WO2024176317A1 (ja) * 2023-02-20 2024-08-29 日本電信電話株式会社 調整装置、調整方法、および調整プログラム

Also Published As

Publication number Publication date
JP3300337B2 (ja) 2002-07-08

Similar Documents

Publication Publication Date Title
JP3300337B2 (ja) 画像処理装置および監視システム
KR100737655B1 (ko) 화상처리장치 및 감시시스템
JP5108840B2 (ja) 車両用周辺監視装置および車両用周辺画像表示方法
JP4976685B2 (ja) 画像処理装置
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
WO2011048716A1 (ja) 映像変換装置及び撮像装置
JP2001218197A (ja) 車両用周辺表示装置
WO2002089484A1 (fr) Procede et appareil de synthese et d'affichage d'images issues de cameras disposees dans un vehicule
JP5195841B2 (ja) 車載カメラ装置および車両
JP2009027604A (ja) ノイズ低減装置およびノイズ低減方法
JP4862321B2 (ja) 車載カメラ装置
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
US7970227B2 (en) Image processing apparatus, image processing method, and computer program
US7899273B2 (en) Image processing apparatus, image processing method, and computer program
JP4814752B2 (ja) 表示制御装置
JP4901625B2 (ja) ノイズ低減装置およびノイズ低減方法
JP4581294B2 (ja) 車両用表示装置
JPH11266391A (ja) 撮像装置
JP2955984B2 (ja) 補間装置
JPH08186802A (ja) 飛び越し走査画像の補間画素作成方法
JP5606774B2 (ja) 映像表示装置及び映像表示方法
JP2011061588A (ja) 画像処理装置、画像処理方法及び車載カメラ装置
JP2008219716A (ja) 表示制御装置
JP2009302715A (ja) 画像処理装置およびこれを適用した車両周辺監視装置
JPH1013745A (ja) Ｃｃｄカメラの画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3300337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080419

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140419

Year of fee payment: 12

EXPY Cancellation because of completion of term