JP2010021619A - 複数カメラ画像処理装置及び複数カメラ画像表示装置 - Google Patents

Abstract

【課題】複数のカメラを用いて撮像した画像から視認性の向上した処理画像を生成、表示する複数カメラ画像処理装置及び複数カメラ画像表示装置を得る。
【解決手段】移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部４と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部３と、画像一時記憶部又は、画像一時記憶部と前記１台のカメラから撮像画像を読み込んで画像処理を行う画像処理部５とを備える。
【選択図】図１

Description

この発明は、移動体上に搭載された複数のカメラから入力される撮像画像を画像処理し、処理画像を作成し表示する複数カメラ画像処理装置及び複数カメラ画像表示装置に関する。

車両等の移動体の複数箇所にカメラを設置し、複数のカメラから得られた撮像画像から、それぞれ有効な領域の切り出しや貼り合わせ等の画像合成を行って死角の少ない合成画像を生成する方法が提案されている。従来の複数カメラ画像合成表示装置においては、車両進行方向に対して異なる方向に設置した複数のカメラを用い、複数カメラの相互配置と車速をもとに、車両後方の合成画像を生成、表示している（例えば、特許文献１参照。）。

特開２００７−１１０５７２号公報（第６〜８頁、第１〜５図）

従来の複数カメラ画像合成表示装置では、単一カメラでは死角となる領域を別のカメラの撮像画像にて補い、それらを１つの合成画像とすることにより、死角の減少と共に違和感の少ない合成表示を可能とし視野を広げているが、動きのなめらかさ、あるいは、低ノイズ、高解像度、画像中の異物といった視認性について問題点があった。

この発明は、上述のような問題点を解決するためになされたもので、複数のカメラを用いて撮像した画像から視認性の向上した処理画像を生成、表示する複数カメラ画像処理装置及び複数カメラ画像表示装置を得るものである。

この発明に係る複数カメラ画像処理装置は、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、複数のカメラのフレームレートとそれぞれの設置位置及び、移動体の移動速度を基にして複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、画像一時記憶部又は、画像一時記憶部と前記１台のカメラから撮像画像を読み込んで画像処理を行う画像処理部とを備えるものである。

この発明によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように設けられ、撮像タイミングが制御された複数のカメラによる撮像画像を用いて画像処理を行うため、視認性の良好な処理画像が得られる。

実施の形態１．
図１はこの発明を実施するための実施の形態１による複数カメラ画像処理装置１の構成を示すブロック図である。図において、複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８とを備える。複数カメラ部２は、Ｎ個の画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。なお、Ｎは２以上の整数である。

入力端子７は、複数カメラ部２を構成するカメラのフレームレートや相互配置などの固定情報の他、移動体の移動速度等の移動体情報が入力される。タイミング制御部３は、入力端子７を介して入力される移動体情報から複数カメラ部２の個々のカメラの撮像タイミングを決定し、第１の撮像制御信号、・・・、第Ｎの撮像制御信号を複数カメラ部２に出力する。

Ｎ個のカメラを有する複数カメラ部２は、Ｎ個の画像６ａ〜６ｂをタイミング制御部３から入力される各カメラの撮像タイミングで取り込み、各カメラの撮像画像を画像一時記憶部４に出力する。

画像一時記憶部４は、複数カメラ部２から出力された撮像画像を一時的に記憶しておき、画像処理部５からの読み出し制御信号に応じて出力する。

画像処理部５は、入力端子７からの移動体情報と、タイミング制御部３からの撮像タイミング情報から各カメラの撮像画像の読み出しタイミングを決定し、画像一時記憶部４に対して読み出し制御信号を出力し、画像一時記憶部４からの各カメラの撮像画像を読み込む。読み込まれた各カメラの撮像画像は補整処理がなされた後、画像処理により連続した１つの処理画像が生成され、出力端子８に出力される。

このように構成された複数カメラ画像処理装置の動作について図１〜５を用いて説明をする。図２は、図１の複数カメラ部２の要部構成を示すブロック図である。複数カメラ部２は、第１のカメラ２１ａ〜第Ｎのカメラ２１ｂ、Ｎ個の入力端子２２ａ〜２２ｂ、Ｎ個の出力端子２３ａ〜２３ｂを備えている。第１のカメラ２１ａ〜第Ｎのカメラ２１ｂには、画像６ａ〜６ｂが絶えず入力されている。入力端子２２ａ〜２２ｂには、タイミング制御部３から出力された第１の撮像制御信号〜第Ｎの撮像制御信号が入力される。

図１に示すタイミング制御部３は、入力端子７から入力される移動体情報から第１のカメラ２１ａ〜第Ｎのカメラ２１ｂのそれぞれの撮像タイミングを決定し、第１の撮像制御信号〜第Ｎの撮像制御信号を複数カメラ部２に出力する。これらの情報は、撮像タイミング情報として、画像処理部５にも出力される。ここで、移動体情報とは、複数カメラ部２を構成する個々のカメラ（第１のカメラ２１ａ〜第Ｎのカメラ２１ｂ）の相互配置位置や角度等の固定情報、カメラ設定（光や電荷の蓄積時間やフレームレート）の他、移動体の移動速度、移動方向、移動距離などである。

複数カメラ部２では、入力端子２２ａ〜２２ｂを介してタイミング制御部３から入力された第１の撮像制御信号〜第Ｎの撮像制御信号により、Ｎ個の画像６ａ〜６ｂを第１のカメラ２１ａ〜第Ｎのカメラ２１ｂで撮像し取り込み、撮像画像を出力端子２３ａ〜２３ｂを介し画像一時記憶部４に出力する。

図３は、画像一時記憶部４の要部構成を示すブロック図である。画像一時記憶部４は、第１のメモリ４１ａ〜第Ｎのメモリ４１ｂ、Ｎ個の入力端子４２ａ〜４２ｂ、Ｎ個の入力端子４３ａ〜４３ｂ、Ｎ個の出力端子４４ａ〜４４ｂを備えている。入力端子４２ａ〜４２ｂには、複数カメラ部２から出力された各カメラ２１ａ〜２１ｂの撮像画像が入力される。入力端子４３ａ〜４３ｂには、画像処理部５から出力された第１の読み出し制御信号〜第Ｎの読み出し制御信号が入力される。

第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、入力端子４２ａ〜４２ｂを介して複数カメラ部２から入力された各カメラ２１ａ〜２１ｂの撮像画像が入力され、一時記憶される。入力端子４３ａ〜４３ｂを介して画像処理部５から入力される第１の読み出し制御信号〜第Ｎの読み出し制御信号により、一時記憶された各カメラ２１ａ〜２１ｂの撮像画像は読み出され、出力端子４４ａ〜４４ｂを介し画像処理部５に出力する。

図４は、図１の画像処理部５の形態の一つとして、フレームレート変換部５２ａを備えた画像処理部５ａの要部構成を示すブロック図である。画像処理部５ａは、それぞれのカメラ２１ａ〜２１ｂに対応した第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、フレームレート変換部５２ａ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。

画像処理部５ａには、入力端子７から入力される移動体情報が入力端子５７を介して入力され、タイミング制御部３から出力される撮像タイミング情報が入力端子５６を介して入力される。入力端子５６を介して入力された撮像タイミング情報と、入力端子５７を介して入力された移動体情報は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂとフレームレート変換部５２ａに入力される。

フレームレート変換部５２ａでは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と、入力端子５７を介して入力端子７から入力された移動体情報から、画像一時記憶部４に一時記憶された各カメラ２１ａ〜２１ｂの撮像画像の読み出しタイミングを決定し、第１の読み出し制御信号〜第Ｎの読み出し制御信号を、出力端子５４ａ〜５４ｂを介して画像一時記憶部４に出力する。

出力端子５４ａ〜５４ｂを介して出力された各カメラ２１ａ〜２１ｂの撮像画像の第１の読み出し制御信号〜第Ｎの読み出し制御信号は、画像一時記憶部４の入力端子４３ａ〜４３ｂを介して第１のメモリ４１ａ〜第Ｎのメモリ４１ｂに入力される。第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、各カメラ２１ａ〜２１ｂの撮像画像を読み出し、出力端子４４ａ〜４４ｂを介して、画像処理部５ａに出力する。

入力端子５３ａ〜５３ｂを介して画像処理部５ａに入力された各カメラ２１ａ〜２１ｂの撮像画像は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂに入力される。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と入力端子５７を介して入力端子７から入力された移動体情報により、画像一時記憶部４から入力された各カメラ２１ａ〜２１ｂの撮像画像の補整処理を行う。補整処理としては、回転、拡大縮小、変形、及び切り出し処理等があるが、具体例については、後述する。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂにより補整処理された各カメラ２１ａ〜２１ｂの撮像画像はフレームレート変換部５２ａに出力され、フレームレート変換処理がなされる。

移動体としては、自動車や列車のような車両や、航空機等があげられるが、ここでは自動車を例にとって具体的に説明する。図５には、移動速度Ｖで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ（カメラａがカメラｂに対して進行方向前方側）を２個、間隔Ｄで設置し、車両進行方向に対して、カメラの撮影方向が重なるように配置している。本例では、進行方向に対して垂直方向（横方向）を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラａが撮像した後に車両が曲がると車両の向きに伴って後続のカメラｂの向きも変わる。この場合、後続のカメラｂは、カメラａと同じ向きを撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラａと撮影方向が重なるように制御されていてもよい。カメラはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラでも、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラでも、また、赤外線カメラ、近赤外線カメラ、遠赤外線カメラでも構わない。

ここでは、ＣＭＯＳカメラを例に説明する。光（電荷）の蓄積時間をＴとする。連続動作をさせた場合、フレームレートは１／Ｔとなる。現在、フレームレートが１５Ｈｚや、３０ＨｚのＣＭＯＳカメラが存在する。撮影時刻をｔ、カメラａの撮影位置（移動距離）をｐｏｓＡ、カメラｂの撮影位置（移動距離）をｐｏｓＢとする。フレームレートと移動速度を基に、１フレーム分の移動体の移動経路（蓄積時間Ｔあたりの移動距離Ｌ＝Ｖ×Ｔ）をカメラの台数で分割した移動体の移動経路上のそれぞれの位置（０、Ｌ／２、Ｌ、３×Ｌ／２、・・・）において、カメラａ、カメラｂを交互に用いて、同じ方向を撮影する。つまり、ｔ＝ｔ_０ａ、ｐｏｓＡ＝０の時カメラａで、ｔ＝ｔ_０ｂ、ｐｏｓＢ＝Ｌ／２の時カメラｂで、ｔ＝ｔ_１ａ、ｐｏｓＡ＝Ｌの時カメラａで、ｔ＝ｔ_１ｂ、ｐｏｓＢ＝３×Ｌ／２の時カメラｂで撮影を行う。カメラａ，ｂの撮像範囲は、車両の移動中、連続した範囲の一部をほぼ等間隔で切り取るようになる。

カメラａはフレームレートの関係上０、Ｌ、２Ｌ・・・の位置で撮像を行うが、Ｌ／２の位置においてカメラａが撮るべき撮像範囲と重複するようにカメラｂはＬ／２の位置に来たときに撮像する。つまり、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する。これにより、カメラａの画像をカメラｂによって補間することができるようになり、フレームレートをあげることが可能となる。

具体的には、カメラａによる撮影からカメラｂによる撮影までの時間差を、ｔ_０ｂ−ｔ_０ａ＝Ｔ／２＋Ｄ／Ｖ、カメラｂによる撮影からカメラａによる撮影までの時間差を、ｔ_１ａ−ｔ_０ｂ＝Ｔ／２−Ｄ／Ｖとなるように制御する。なお、移動速度がＶ_１に変化した場合は、蓄積時間Ｔあたりの移動距離はＬ_１＝Ｖ_１×Ｔに変化するが、この場合も車両の移動経路をカメラの台数分の等間隔の位置（０、Ｌ_１／２、Ｌ_１、３×Ｌ_１／２、・・・）に分割して、上記と同様に撮影すればよい。

カメラａ、カメラｂは、複数カメラ部２の第１のカメラ２１ａ、第Ｎのカメラ２１ｂに相当する。撮影時刻ｔ_０ａ、ｔ_０ｂ、ｔ_１ａ、ｔ_１ｂは、タイミング制御部３が入力端子７から入力された移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）とカメラ設定（蓄積時間Ｔ又は、フレームレート：１／Ｔ）をもとに決定する。また、これらの時間に複数カメラ部２に第１の撮像制御信号と第Ｎの撮像制御信号が出力され、カメラａとカメラｂが画像６ａ、６ｂを取り込む。

カメラａとカメラｂで撮像された撮像画像は、第１のメモリ４１ａと第Ｎのメモリ４１ｂに一時記憶される。画像処理部５ａでは、タイミング制御部３から出力された撮像タイミング情報（カメラａの撮像タイミングとカメラｂの撮像タイミング）と、入力端子７から入力される移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）から各カメラの撮像画像の読み出しタイミングｔ_ｄ０、ｔ_ｄ１、ｔ_ｄ２、ｔ_ｄ３を決定し、そのタイミングにあわせて第１の読み出し制御信号と第Ｎの読み出し制御信号を第１のメモリ４１ａと第Ｎのメモリ４１ｂに出力する。

第１のメモリ４１ａと第Ｎのメモリ４１ｂは、画像処理部５ａから出力された第１の読み出し制御信号と第Ｎの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部５ａに出力する。画像処理部５ａに入力された各カメラの撮像画像は、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂに入力される。

第１の画像補整部５１ａと第Ｎの画像補整部５１ｂでは、タイミング制御部３から入力される撮像タイミング情報と、入力端子７から入力される移動体情報をもとに、各カメラａ、ｂの撮像画像を補整する。具体的には、カメラａ、ｂの相互配置の細かな違いや、移動体の移動方向や移動速度など移動体の移動にともなう画像のズレや歪みを補整する。相互配置の細かな違いによるものとしては、例えば、図６に示すような移動体の形状や取り付け制約からくる、カメラａ、ｂの移動体側面での奥行き方向の取り付け位置の差異ΔＸによる撮影倍率の差異、高さ方向の取り付け位置の差異ΔＨによる撮像範囲の差異や、取り付け角度の差異Δθによる図形変形の差異がある。同様な影響を及ぼすものとして、移動体が直線的な移動だけなく、ある方向に曲がったり、加速、減速など移動速度を変化したりすることによる撮影位置、撮影タイミングのずれによるものがある。

補整処理としては、例えば、アフィン変換等を使う。ｘ、ｙ、ｚ軸回りの回転は、それぞれ以下の（１）〜（３）式で表される。

拡大縮小は以下の（４）式で表され、原点を中心に、ｘ、ｙ、ｚ軸方向にそれぞれ、Ｓｘ、Ｓｙ、Ｓｚだけ伸縮する。

平行移動は以下の（５）式で表され、ｘ、ｙ、ｚ軸方向にそれぞれ、Ｔｘ、Ｔｙ、Ｔｚだけ平行移動する。

第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像は、フレームレート変換部５２ａに受け渡される。フレームレート変換部５２ａでは、入力端子５７を介して入力された移動体情報と入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報とから、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラａ、ｂの撮像画像を順番に選択して、出力端子８から出力する。

具体的には、画像処理等を含めた遅れ時間をｔ_ｄｌｙａ、ｔ_ｄｌｙｂとすると、例えば、時刻ｔ_ｄ０（＝ｔ_０ａ＋ｔ_ｄｌｙａ）には、カメラａ（第１のカメラ）による撮像画像を、時刻ｔ_ｄ１（＝ｔ_０ｂ＋ｔ_ｄｌｙｂ）には、カメラｂ（第Ｎのカメラ）による撮像画像を、時刻ｔ_ｄ２（＝ｔ_１ａ＋ｔ_ｄｌｙａ）には、カメラａ（第１のカメラ）による撮像画像を、時刻ｔ_ｄ３（＝ｔ_１ｂ＋ｔ_ｄｌｙｂ）には、カメラｂ（第Ｎのカメラ）による撮像画像を選択して出力する。このとき、ｔ_ｄｌｙａ＝ｔ_ｄｌｙｂ＋Ｄ／Ｖとし、時刻ｔ_ｄ０、ｔ_ｄ１、ｔ_ｄ２、ｔ_ｄ３が等間隔となるように制御する。

なお、複数カメラの個数は２個に限るものではなく、Ｎ個（Ｎは２以上の整数）の場合にも、同様の考え方を適用することによって、単一カメラを使用したときに比べて、フレームレートをＮ倍にし、なめらかな動きの処理画像とすることが可能である。

さらに、フレームレート変換部５２ａでは、時刻ｔ＝ｔ_ｄ０と時刻ｔ＝ｔ_ｄ１の間の、例えば、時刻ｔ＝（ｔ_ｄ０＋ｔ_ｄ１）／２に、時刻ｔ＝ｔ_ｄ０に出力するカメラａ（第１のカメラ）の撮像画像と、時刻ｔ＝ｔ_ｄ１に出力するカメラｂ（第Ｎのカメラ）の撮像画像からフレームを補間して作成することにより、フレームレートが更に高く、動きが更になめらか画像を得ることも可能である。なお、フレームの補間に使用する画像（フレーム）は補間位置前後のフレームに限るものではなく、さらにその前後のフレームもあわせて使用してもよい。なお、フレームレート変換の方法は上述したものに限るものではない。

なお、第Ｎのカメラ２１ｂの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第１〜第（Ｎ−１）のカメラの画像の読み出し制御をすれば、第Ｎのカメラ用の第Ｎのメモリ４１ｂを削減することが可能である。この場合は、第１〜第（Ｎ−１）のカメラの撮像画像は、画像一時記憶部４の第１のメモリ〜第（Ｎ−１）のメモリから、第Ｎのカメラの撮像画像は、第Ｎのカメラから直接読み出すことになる。

また、複数カメラ画像処理装置１と、この複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力し、移動体上に設置された複数のカメラ２１ａ〜２１ｂと、複数カメラ画像処理装置１からの処理画像を記録するドライブレコーダ等の記録部と、複数カメラ画像処理装置と記録部からの画像を表示する表示部とを備えて、複数カメラ画像表示装置を構成しても良い。この場合は、ドライブ途中の風景や建物、標識等を再生することができる。

このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、１フレーム分の移動経路をカメラの台数分で分割する位置とタイミングを使うと、１つのカメラによる撮影と撮影の間を別のカメラの撮影によって適切に補間することができる。そのため、フレームレートが高く、動きのなめらかな処理画像を得ることができ、視認性が向上する。また、撮像画像の間のフレームを補間して生成すると、更にフレームレートの高い処理画像を生成できるので、更に動きが滑らかな画像を得ることができる。

また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、回転、拡大縮小、変形、切り出し処理等を行って、画像のズレや歪みを補整するため、複数カメラの切り替え、あるいは、複数カメラからの補間処理により生成した連続した１つの処理画像として違和感のない良好なものを得ることができる。

また、カメラの向きを変更する機構を備えれば、カメラの設置角度の微調整が可能であるとともに、任意の方向の画像を取得できるため、利便性が増す。また、車両が曲がったことによるカメラの方向の補正もできるため、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影でき、視認性が向上する。また、画像一時記憶部の一部のメモリを省略すれば、コストを下げた複数カメラ画像処理装置を得ることができる。また、ドライブレコーダ等に処理画像を記録すれば、視認性に優れた画像を適宜再生することができるため、通り過ぎた建物や標識等を再生して確認でき、ドライブ時の利便性が向上する。

実施の形態２．
実施の形態１は、複数のカメラを用いてフレーム間の画像を補間することにより動きを滑らかにして視認性を向上させるが、ここでは、ノイズを減少させたり、解像度を向上させたりすることにより視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態２に係る複数カメラ画像処理装置１の要部構成も実施の形態１で示した図１を用いて説明する。なお、本発明の実施の形態２に係る複数カメラ画像処理装置１は、画像処理部５の構成が、実施の形態１の構成と若干異なる。

複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８を備えている。複数カメラ部２は、Ｎ個の同様な画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。図７、８は、図１の画像処理部５の形態の一つとして、それぞれノイズ低減部５２ｂと解像度変換部５２ｃを備えた画像処理部５ｂ、５ｃの要部構成を示すブロック図である。画像処理部５ｂ、５ｃは、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、ノイズ低減部５２ｂ又は解像度変換部５２ｃ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。

このように構成された複数カメラ画像処理装置の動作について図１〜３、７〜９を用いて説明をする。図１、２の複数カメラ部２と、図１、３の画像一時記憶部４の動作は実施の形態１と同じである。

図７、８に示す画像処理部５ｂ、５ｃには、入力端子７から入力される移動体情報が入力端子５７を介して入力され、タイミング制御部３から出力される撮像タイミング情報が入力端子５６を介して入力される。入力端子５６を介して入力された撮像タイミング情報と、入力端子５７を介して入力された移動体情報は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂと、ノイズ低減部５２ｂ又は解像度変換部５２ｃに入力される。

ノイズ低減部５２ｂ又は解像度変換部５２ｃでは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と、入力端子５７を介して入力端子７から入力された移動体情報から、画像一時記憶部４に一時記憶された各カメラ２１ａ〜２１ｂの撮像画像の読み出しタイミングを決定し、第１の読み出し制御信号〜第Ｎの読み出し制御信号を、出力端子５４ａ〜５４ｂを介して画像一時記憶部４に出力する。

出力端子５４ａ〜５４ｂを介して出力された各カメラ２１ａ〜２１ｂの撮像画像の第１の読み出し制御信号〜第Ｎの読み出し制御信号は、画像一時記憶部４の入力端子４３ａ〜４３ｂを介して第１のメモリ４１ａ〜第Ｎのメモリ４１ｂに入力される。第１のメモリ４１ａ〜第Ｎのメモリ４１ｂは、各カメラ２１ａ〜２１ｂの撮像画像を読み出し、出力端子４４ａ〜４４ｂを介して、画像処理部５ｂ、５ｃに出力する。

入力端子５３ａ〜５３ｂを介して画像処理部５ｂ、５ｃに入力された各カメラ２１ａ〜２１ｂの撮像画像は、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂに入力される。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂは、入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報と入力端子５７を介して入力端子７から入力された移動体情報により、画像一時記憶部４から入力された各カメラの撮像画像の補整処理を行う。第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂにより補整処理された各カメラ２１ａ〜２１ｂの撮像画像は、ノイズ低減部５２ｂに出力されノイズ低減処理、又は、解像度変換部５２ｃに出力され解像度変換処理がなされる。

図９を用いて、移動速度Ｖで移動している車両の側面に、進行方向に沿って同じ高さで同じ特性のカメラ（カメラａがカメラｂに対して進行方向前方側）を２個、間隔Ｄで配置し、移動体の移動によって異なるカメラの撮像範囲が重複するように撮影する場合について説明する。本例では、進行方向に対して垂直方向（横方向）を撮影するものとして図示しているが、進行方向に対してある一定の角度の方向を撮影する場合にも同様である。また、これらのカメラは向きを変更する機構を備えていてもよい。特に、進行方向に対し最前に位置するカメラａが撮像した後に車両が曲がると車両の向きに伴って後続のカメラｂの向きも変わる。この場合、後続のカメラｂは、カメラａと同じ向きで同じ画像を撮像するために、車両が曲がったことによる方向の補正のため、向きを変更し、カメラａと撮像範囲が重複するように制御されていてもよい。

ＣＭＯＳカメラを例に説明する。光（電荷）の蓄積時間をＴとする。連続動作をさせた場合、フレームレートは１／Ｔとなる。撮影時刻をｔ、カメラａの撮影位置（移動距離）をｐｏｓＡ、カメラｂの撮影位置（移動距離）をｐｏｓＢとする。フレームレートと移動速度を基にした移動体の移動経路（蓄積時間Ｔあたりの移動距離Ｌ＝Ｖ×Ｔ）上で、複数のカメラのそれぞれが同じ位置（０、Ｌ、・・・）の時、カメラａ、カメラｂを交互に用いて、撮像範囲が重複するように同じ方向を撮影し、同様の撮像画像を得る。つまり、ｔ＝ｔ_０ａ、ｐｏｓＡ＝０の時カメラａで、ｔ＝ｔ_０ｂ、ｐｏｓＢ＝０の時カメラｂで、ｔ＝ｔ_１ａ、ｐｏｓＡ＝Ｌの時カメラａで、ｔ＝ｔ_１ｂ、ｐｏｓＢ＝Ｌの時カメラｂで撮影を行う。このとき、カメラａによる撮影からカメラｂによる撮影までの時間差を、ｔ_０ｂ−ｔ_０ａ＝Ｄ／Ｖ、カメラｂによる撮影からカメラａによる撮影までの時間差を、ｔ_１ａ−ｔ_０ｂ＝Ｔ−Ｄ／Ｖとなるように制御する。なお、移動速度がＶ_１に変化した場合は、蓄積時間Ｔあたりの移動距離はＬ_１＝Ｖ_１×Ｔに変化するが、この場合も車両の移動経路上の複数のカメラのそれぞれが同じ位置（０、Ｌ_１、・・・）で上記と同様に撮影すればよい。

カメラａ、カメラｂは、複数カメラ部２の第１のカメラ２１ａ、第Ｎのカメラ２１ｂに相当する。撮影時刻ｔ_０ａ、ｔ_０ｂ、ｔ_１ａ、ｔ_１ｂは、タイミング制御部３が入力端子７から入力された移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）とカメラ設定（蓄積時間Ｔ又は、フレームレート：１／Ｔ）をもとに決定する。また、これらの時間に複数カメラ部２に第１の撮像制御信号と第Ｎの撮像制御信号が出力され、カメラａとカメラｂが画像６ａ、６ｂを取り込む。

カメラａとカメラｂで撮像された撮像画像は、第１のメモリ４１ａと第Ｎのメモリ４１ｂに一時記憶される。画像処理部５ｂでは、タイミング制御部３から出力された撮像タイミング情報（カメラａの撮像タイミングとカメラｂの撮像タイミング）と、入力端子７から入力される移動体情報（複数カメラの相互配置：間隔Ｄ、移動体の移動速度Ｖ）から各カメラの撮像画像の読み出しタイミングｔ_ｄ０、ｔ_ｄ１を決定し、そのタイミングにあわせて第１の読み出し制御信号と第Ｎの読み出し制御信号を第１のメモリ４１ａと第Ｎのメモリ４１ｂに出力する。

第１のメモリ４１ａと第Ｎのメモリ４１ｂは、画像処理部５ｂ、５ｃから出力された第１の読み出し制御信号と第Ｎの読み出し制御信号により、各メモリに一時記憶されている各カメラの撮像画像を画像処理部５ｂ、５ｃに出力する。画像処理部５ｂ、５ｃに入力された各カメラの撮像画像は、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂに入力される。

第１の画像補整部５１ａと第Ｎの画像補整部５１ｂでは、タイミング制御部３から入力される撮像タイミング情報と、入力端子７から入力される移動体情報をもとに、各カメラの撮像画像を実施の形態１と同様に補整する。

第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像は、ノイズ低減部５２ｂ又は解像度変換部５２ｃに受け渡される。ノイズ低減部５２ｂ又は解像度変換部５２ｃは、入力端子５７を介して入力された移動体情報と入力端子５６を介してタイミング制御部３から入力された撮像タイミング情報とから、第１の画像補整部５１ａと第Ｎの画像補整部５１ｂで補整処理された各カメラの撮像画像に対して重ね合わせ処理を行ない、ノイズが低減された処理結果（処理画像）又は、解像度が向上した処理結果（処理画像）を出力端子８から出力する。

具体的には、カメラａとカメラｂからの画像処理等を含めた遅れ時間をそれぞれｔ_ｄｌｙａ、ｔ_ｄｌｙｂとすると、例えば、時刻ｔ_ｄ０（＝ｔ_０ａ＋ｔ_ｄｌｙａ＝ｔ_０ｂ＋ｔ_ｄｌｙｂ）には、カメラａ（第１のカメラ）による撮像画像とカメラｂ（第Ｎのカメラ）による撮像画像の処理画像を、時刻ｔ_ｄ１（＝ｔ_１ａ＋ｔ_ｄｌｙａ＝ｔ_１ｂ＋ｔ_ｄｌｙｂ）には、カメラａ（第１のカメラ）による撮像画像とカメラｂ（第Ｎのカメラ）による撮像画像の処理画像を取得して、重ね合わせ処理を行うことによりノイズ低減や解像度向上を行う。なお、ノイズ低減方法については、例えば、吹抜敬彦著「ＴＶ画像の多次元信号処理」日刊工業新聞社、１９８８年、などに技術の概要が記載されている。また、重ね合わせ処理を行うことにより、解像度が向上できることは超解像技術として知られており、例えば、高木幹雄・下田陽久監修「新編画像解析ハンドブック」東京大学出版会、２００４年、などに技術の概要が記載されている。

なお、重ね合わせ処理に際して、重ね合わせる複数の撮像画像の位置合わせのため、撮像画像の向きや大きさ、範囲をあわせる必要があるが、これを第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂでまとめて行なえるように、入力端子５３ａ、５３ｂと第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂの間に、相互の撮像画像を比較する手段を設け、その比較結果により、第１の画像補整部５１ａ、第Ｎの画像補整部５１ｂの補整処理を制御するように構成してもよい。

また、解像度変換部５２ｃの処理前後で、画像サイズが変化しない場合に適用できるだけでなく、画像サイズが増加する、つまり、拡大処理されるような場合にも、逆に、画像サイズが減少する、つまり、縮小処理されるような場合にも同様に適用できることは言うまでもない。

また、複数カメラの個数は２個に限るものではなく、Ｎ個（Ｎは２以上の整数）の場合も、同様に撮像画像の重ね合わせ処理をすれば、よりノイズが低減できたり、解像度の高い処理画像が得られたりする。

また、第Ｎのカメラ２１ｂの撮像タイミングと画像読み出し時間に合わせて、画像一時記憶部からの第１〜第（Ｎ−１）のカメラの画像の読み出し制御をすれば、第Ｎのカメラ用の第Ｎのメモリ４１ｂを削減することが可能である。この場合は、第１〜第（Ｎ−１）のカメラの撮像画像は、画像一時記憶部４の第１のメモリ〜第（Ｎ−１）のメモリから、第Ｎのカメラの撮像画像は、直接第Ｎのカメラから読み出すことになる。

このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域（方向、範囲）を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、ノイズの少ない処理画像や、解像度の高い処理画像を得ることができ、視認性が向上する。

また、各カメラの撮像画像に対して、移動体の移動方向や移動速度、複数カメラの相互配置などの移動体情報に基づき、画像のズレや歪みを補整した後に、複数カメラの撮像画像による重ね合わせ処理をするので、連続した１つの処理画像として違和感のない良好なものを得ることができる。

実施の形態３．
実施の形態２は、複数のカメラを用いてノイズを低減させたり、解像度を向上させたりすることにより視認性を向上させるが、ここでは、カメラと背景の間にある移動物（異物）のために背後に隠れて見えなくなる背景の画像を補正して定常画像を作成することにより、背景の視認性の向上を行う複数カメラ画像処理装置について述べる。本発明の実施の形態３に係る複数カメラ画像処理装置１の要部構成も実施の形態１で示した図１を用いて説明する。なお、本発明の実施の形態３に係る複数カメラ画像処理装置１は、画像処理部５の構成が、実施の形態１、２の構成と若干異なる。

複数カメラ画像処理装置１は、タイミング制御部３と、画像一時記憶部４と、画像処理部５と、入力端子７と、出力端子８を備えている。複数カメラ部２は、Ｎ個の同様な画像６ａ〜６ｂを取り込むため、移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置されたＮ個のカメラを有しており、複数カメラ画像処理装置１により撮像タイミングを制御され、複数カメラ画像処理装置１に撮像画像を出力する。図１０は、図１の画像処理部５の形態の一つとして、定常画像作成部５２ｄを備えた画像処理部５ｄの要部構成を示すブロック図である。画像処理部５ｄは、第１の画像補整部５１ａ〜第Ｎの画像補整部５１ｂ、定常画像作成部５２ｄ、Ｎ個の入力端子５３ａ〜５３ｂ、Ｎ個の出力端子５４ａ〜５４ｂ、出力端子５５、入力端子５６、５７を備えている。

このように構成された複数カメラ画像処理装置の動作について説明をする。画像処理部５ｄの動作は、実施の形態２の画像処理部５ｂ、５ｃとほぼ同じであるが、最後の重ね合わせ処理をする定常画像作成部５２ｄの働きだけが異なる。定常画像作成部５２ｄの動作例を図１１を用いて説明する。

まず、車両の側面にカメラａ〜ｃを設置する。その後、車両の移動に伴い、カメラが移動経路上の同じ位置に来たときに、カメラａ、ｂ、ｃを用い順番に同じ方向を撮像する。その結果、同じ背景の画像が３枚得られる。このとき、カメラと背景の間に移動する異物（混入物）が撮像されることがある。カメラが１台のときは、異物の背後に隠れた例えば建物等の看板や道路標識、大売出し等ののぼりは確認することはできない。ここで、３枚の中のある同じエリアを比較したとき、１枚だけが他の２枚と異なるときは、そこを異物と判断し、異物が写っていない他の撮像画像から補間することにより、異物を消した定常画像を作成することができる。

また、別の方法としては、複数の画像を比較したとき、同じ異物が違う位置に写ることにより変化のあるところは、これを移動物と判断し、移動物（異物）が移っていない画像から補間することにより、異物を消した定常画像を作成することができる。

このように構成された複数カメラ画像処理装置及び複数カメラ画像表示装置によれば、移動体の移動によって異なるカメラの撮像範囲が重複するように異なる位置に設置された複数のカメラを用い、これらが移動経路上の同じ位置から同じ方向を撮影するようにタイミングを制御すると、複数のカメラが同じ領域（方向、範囲）を撮影することができる。そのため、それら複数の撮像画像の重ね合わせ処理をすることにより、移動物（異物）を消した定常画像を得ることができ、視認性が向上する。

また、処理画像をドライブレコーダ等の記録部に記録し、それを後で表示部で再生することにより、移動物（異物）の背後の建物等の看板や道路標識や大売出し等ののぼりを確認することができ、また、カーナビゲーション装置には記録されていない大売出し等の限定情報も得ることができるので、ドライブの利便性が増す。

この発明の実施の形態１〜３を示す複数カメラ画像処理装置の構成を示すブロック図である。 この発明の実施の形態１〜３を示す複数カメラ部の構成を示すブロック図である この発明の実施の形態１〜３を示す画像一時記憶部の構成を示すブロック図である この発明の実施の形態１を示す画像処理部の構成を示すブロック図である この発明の実施の形態１を示す複数カメラ画像処理装置の動作説明図である。 この発明の実施の形態１〜３の複数カメラの相互配置のずれを説明するための図である。 この発明の実施の形態２を示す画像処理部の構成を示すブロック図である この発明の実施の形態２を示す別の画像処理部の構成を示すブロック図である。 この発明の実施の形態２を示す複数カメラ画像処理装置の動作説明図である。 この発明の実施の形態３を示す画像処理部の構成を示すブロック図である。 この発明の実施の形態３の定常画像作成部の処理例を示す図である。

符号の説明

１ 複数カメラ画像処理装置
２ 複数カメラ部
３ タイミング制御部
４ 画像一時記憶部
５、５ａ、５ｂ、５ｃ、５ｄ 画像処理部
６ａ、６ｂ 画像
２１ａ 第１のカメラ
２１ｂ 第Ｎのカメラ
２２ａ、２２ｂ 入力端子
２３ａ、２３ｂ 出力端子
４１ａ 第１のメモリ
４１ｂ 第Ｎのメモリ
４２ａ、４２ｂ 入力端子
４３ａ、４３ａ 入力端子
４４ａ、４４ｂ 出力端子
５１ａ 第１の画像補整部
５１ｂ 第Ｎの画像補整部
５２ａ フレームレート変換部
５２ｂ ノイズ低減部
５２ｃ 解像度変換部
５２ｄ 定常画像作成部
５３ａ、５３ｂ 入力端子
５４ａ、５４ｂ 出力端子
５５ 出力端子
５６ 入力端子
５７ 入力端子

Claims (10)

1. 移動体の移動によって異なるカメラの撮像範囲が重複するように移動体の進行方向に沿って異なる位置に設置された複数のカメラ又は前記複数のカメラのうち１台のカメラを除いた他のカメラからの撮像画像を保存する画像一時記憶部と、
   前記複数のカメラのフレームレートとそれぞれの設置位置及び、前記移動体の移動速度を基にして前記複数のカメラのそれぞれの撮像タイミングを制御するタイミング制御部と、
   前記画像一時記憶部又は、前記画像一時記憶部と前記１台のカメラから前記撮像画像を読み込んで画像処理を行う画像処理部とを備えた複数カメラ画像処理装置。
2. 前記画像処理部は、前記複数のカメラのそれぞれに対応し、撮像画像に対して、回転、拡大縮小、変形、及び切り出し処理のうち少なくとも１つを行う画像補整部を更に備える請求項１記載の複数カメラ画像処理装置。
3. 前記進行方向に沿って最前のカメラの撮像範囲と重複するように後続のカメラの撮像範囲を変更する機構を更に備える請求項１記載の複数カメラ画像処理装置。
4. 前記タイミング制御部は、前記フレームレートと前記移動速度を基に、１フレーム分の前記移動体の移動経路を前記複数のカメラの台数分に分割する位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する請求項１記載の複数カメラ画像処理装置。
5. 前記画像処理部は、前記撮像画像を基にフレームレートの高い処理画像を生成するフレームレート変換部を更に備える請求項４記載の複数カメラ画像処理装置。
6. 前記フレームレート変換部は、前記複数のカメラのそれぞれのカメラからの撮像画像の間のフレームを補間して生成することにより、さらにフレームレートの高い処理画像を生成する請求項５記載の複数カメラ画像処理装置。
7. 前記タイミング制御部は、前記フレームレートと前記移動速度を基に、前記移動体の移動経路上で前記複数のカメラのそれぞれが同じ位置から撮像するように前記複数のカメラのそれぞれの撮像タイミングを制御する請求項１記載の複数カメラ画像処理装置。
8. 前記画像処理部は、前記同じ位置から撮像した複数のカメラからの撮像画像に対し、重ね合わせ処理を行う請求項７記載の複数カメラ画像処理装置。
9. 前記画像処理部は、前記撮像画像のノイズ低減、解像度向上、及び異物の削除のうち少なくとも１つを行う請求項８記載の複数カメラ画像処理装置。
10. 請求項１ないし９のいずれかに記載の複数カメラ画像処理装置と、
    前記複数カメラ画像処理装置により撮像タイミングを制御され、前記複数カメラ画像処理装置に撮像画像を出力する前記移動体に設置された複数のカメラと、
    前記複数カメラ画像処理装置からの処理画像を記録する記録部と、
    前記複数カメラ画像処理装置と前記記録部からの画像を表示する表示部とを備えた複数カメラ画像表示装置。

Images