JP2014059642A - 路上映像情報システム - Google Patents

Abstract

【課題】走行路付近に設置された撮像装置を用いて視認性の良好な映像情報を提供する。
【解決手段】路上映像情報システムは、動体が走行する走行路の近傍に配置されて死角領域を撮像する撮像システム３０と、撮像画像を処理する画像処理装置１１と、画像処理装置１１から出力される画像を表示する表示装置２１とを備える。画像処理装置１１は、撮像画像から動体を含まない局所領域の画像を参照色画像として抽出する画像抽出部４３と、参照色画像の色情報に基づいて、撮像画像の色の適正な色からのずれを示す色補正パラメータＰ１を算出する色補正パラメータ算出部４４と、色補正パラメータＰ１に従って撮像画像を補正する画像補正部４５と、画像補正部４５で補正された画像を出力する画像出力部４６とを有する。
【選択図】図３

Description

本発明は、車両などの動体が走行する走行路の映像情報を提供する画像処理技術に関し、特に、走行路付近に設置された撮像装置を用いて当該走行路の映像情報を提供する路上映像情報システムに関する。

従来より、道路や線路などの走行路の交通の安全確保や、走行路の監視またはその交通管制を支援することを目的として、当該走行路の映像情報を当該走行路付近に設置された表示装置に表示したり、当該走行路を走行する車両にその映像情報を無線配信したり、あるいは、遠隔の交通管制センターにその映像情報を転送し蓄積させたりする映像情報システムが開発されている。特に、近年の撮像装置（特に、固体撮像素子）の性能の向上及び低価格化に伴い、道路管理者の監視業務支援並びに事故防止支援（車両運転者の走行支援）を目的とした映像情報システムに撮像装置が広く使用されるようになってきた。道路管理者の監視業務支援を目的とする映像情報システムの場合、たとえば、車両の運転者にとって見通しの悪い道路のカーブ区間などの事故多発地域あるいはトンネル内に撮像装置が配置されている。

特開２０１０−０５５１５７号公報（特許文献１）には、道路の交差点付近に設置された撮像装置と、この交差点に進入しようとする車に設置された車載装置とを備えた交差点状況確認システムが開示されている。この交差点状況確認システムでは、撮像装置は、当該交差点に進入しようとする車から死角となる方向の領域を撮影し、その撮影画像を車載装置に無線送信する。車載装置は、撮像装置から受信したその撮影画像を表示することができる。

一方、近年のディジタル処理技術の発展に伴い、撮像装置で得られた動画像データに対してフィルタリング、画素補間もしくはフレーム補間などの画像処理を施すことが一般に行われている。たとえば、特開２００９−０５５２３１号公報（特許文献２）には、一覧表示された複数の動画像間の明るさまたは色調などの不均衡を解消して、当該複数の動画像についての視認性を向上し得る画像処理技術が開示されている。この画像処理技術は、当該複数の動画像の各々の明るさまたは色調に関する特徴量を算出し、当該算出された特徴量を基準値に近づけることで、動画像間の不均衡を解消するものである。

特開２０１０−０５５１５７号公報（図１及び段落００７８〜００９２など） 特開２００９−０５５２３１号公報（図２及び段落００３８〜００４２など）

走行路付近に設置された撮像装置を利用する映像情報システムでは、走行路の撮像環境は時々刻々と変化する。たとえば、季節（春夏秋冬）、時間帯（日中及び夜間など）もしくは予測困難な天候に応じて走行路の照度分布などの撮像環境は大きく変化し得る。このような場合、撮像装置の性能が撮像環境の変化に追従することができず、撮像画像に画像処理が施されたとしても、その表示画像の視認性が著しく低下するという問題がある。また、走行路において輝度及び色の異なる多種多様な車両が通過する場合にも、撮像環境が大きく変化し得るので、前述の問題と同様の問題が生じ得る。

上記に鑑みて本発明の目的は、走行路付近に設置された撮像装置を用いて視認性の良好な映像情報を生成することができる路上映像情報システムを提供することである。

本発明の一態様による路上映像情報システムは、動体が走行する走行路の近傍に配置され、前記走行路上の所定地点に対して死角となる死角領域を撮像する撮像システムと、前記撮像システムで取得された撮像画像を処理する画像処理装置と、前記画像処理装置から出力される画像を前記所定地点に向けて表示する表示システムとを備えた路上映像情報システムであって、前記画像処理装置は、前記撮像画像から前記動体を含まない局所領域の画像を参照色画像として抽出する画像抽出部と、前記参照色画像の色情報に基づいて、前記撮像画像の色の適正な色からのずれを示す色補正パラメータを算出する色補正パラメータ算出部と、前記色補正パラメータに従って前記撮像画像を補正する画像色補正部と、前記画像色補正部で補正された画像を出力する画像出力部とを有することを特徴とする。

本発明の他の一態様による路上映像情報システムは、動体が走行する走行路の近傍に配置され、前記走行路上の互いに異なる位置に設定された複数の観測地点に対してそれぞれ死角となる複数の路上領域を撮像する複数台の撮像装置からなる撮像システムと、前記複数台の撮像装置でそれぞれ取得された複数の路上領域画像を処理する画像処理装置と、前記画像処理装置から出力される画像を表示する表示システムとを備えた路上映像情報システムであって、前記表示システムは、当該表示システムから前記複数の観測地点の方向へ複数の光学像をそれぞれ出射する複数の表示画素群からなる単一の画像表示面を有し、前記画像処理装置は、複数の画像処理部と、前記複数の画像処理部からそれぞれ出力される複数の画像から統合画像を生成し、前記統合画像を前記表示システムに出力する画像統合部とを有し、前記複数の画像処理部の各々は、前記複数台の撮像装置の中の当該対応する撮像装置で取得された路上領域画像を入力画像とし、前記入力画像から前記動体を含まない局所領域の画像を参照色画像として抽出する画像抽出部と、前記参照色画像の色情報に基づいて、前記入力画像の色の適正な色からのずれを示す色補正パラメータを算出する色補正パラメータ算出部と、前記色補正パラメータに従って前記入力画像を補正する画像色補正部と、前記画像色補正部で補正された画像を前記画像統合部に出力する画像出力部とを含み、前記画像統合部は、前記複数の画像処理部からそれぞれ出力される複数の画像を前記複数の表示画素群にそれぞれ割り当てて前記統合画像を生成することを特徴とする。

本発明によれば、走行路の近傍に設置された撮像装置を用いて視認性の良好な映像情報を提供することができる。

本発明に係る実施の形態１の路上映像情報システムの概略構成を示す図である。 実施の形態１の路上映像情報システムの機能ブロック図である。 実施の形態１の画像処理装置の構成を概略的に示す機能ブロック図である。 実施の形態１の画像解析部の構成を概略的に示す機能ブロック図である。 実施の形態１の画像補正部の概略構成を示す機能ブロック図である。 （Ａ），（Ｂ）は、明度の入力値と出力値（変換値）との対応関係の例を示すグラフである。 実施の形態１の画像出力部の概略構成を示す機能ブロック図である。 本発明に係る実施の形態２の画像処理装置の構成を概略的に示す機能ブロック図である。 本発明に係る実施の形態３の画像処理装置の構成を概略的に示す機能ブロック図である。 実施の形態３の画像解析部の構成を概略的に示す機能ブロック図である。 実施の形態３の画像出力部の概略構成を示す機能ブロック図である。 本発明に係る実施の形態４の画像処理装置の構成を概略的に示す機能ブロック図である。 本発明に係る実施の形態５の画像処理装置の構成を概略的に示す機能ブロック図である。 本発明に係る実施の形態６の画像処理装置の構成を概略的に示す機能ブロック図である。 本発明に係る実施の形態７の画像処理装置の構成を概略的に示す機能ブロック図である。 本発明に係る実施の形態８の路上映像情報システムの概略構成を示す図である。 実施の形態８の路上映像情報システムの機能ブロック図である。 実施の形態８の表示装置の表示画素群を概略的に示す図である。 実施の形態８の表示装置の表示内容を概略的に示す図である。 実施の形態８の画像処理装置の構成を概略的に示す機能ブロック図である。 実施の形態８の他の画像処理装置の構成を概略的に示す機能ブロック図である。

以下、本発明に係る種々の実施の形態について図面を参照しつつ説明する。なお、すべての図面において、同様な構成要素には同一符号が付されており、その詳細な説明は重複しないように適宜省略される。

実施の形態１．
図１は、本発明に係る実施の形態１の路上映像情報システム１の概略構成を示す図であり、図２は、実施の形態１の路上映像情報システム１の機能ブロック図である。この路上映像情報システム１は、２台の撮像装置３１，３２からなる撮像システム３０と、これら撮像装置３１，３２で取得された撮像画像を処理する画像処理装置１１，１２，１３，１４と、画像処理装置１１，１２，１３，１４から出力される画像をそれぞれ表示する４台の表示装置２１，２２，２３，２４からなる表示システム２０とを備えて構成される。

図１に示されるように、撮像装置３１，３２は、車両（たとえば、自動車，自動二輪車または自転車）などの動体が走行する４本の走行路２Ａ，２Ｂ，２Ｃ，２Ｄの合流地点Ｃｐの近傍に配置されている。本実施の形態では、合流地点Ｃｐは、十字形の交差点であるが、これに限定されるものではない。

走行路２Ａ上の第１地点Ｐａと走行路２Ｃ上の第３地点Ｐｃとは、走行路２Ｂ上の第２地点Ｐｂと走行路２Ｄ上の第４地点Ｐｄとに対して死角となる領域であり、第２地点Ｐｂまたは第４地点Ｐｄにおける観察者は、第１地点Ｐａ及び第４地点Ｐｃを視認することができない。逆に、第２地点Ｐｂと第４地点Ｐｄとは、第１地点Ｐａと第３地点Ｐｃとに対して死角となる領域であり、第１地点Ｐａまたは第３地点Ｐｃにおける観察者は、第２地点Ｐｂ及び第４地点Ｐｄを視認することができない。撮像装置３１は、第３地点Ｐｃと第４地点Ｐｄとを含む撮像画角と撮像範囲ＣＡ１とを有し、撮像範囲ＣＡ１の動画像を表す画像信号Ｓ１を画像処理装置１１，１２，１３，１４に供給する。一方、撮像装置３２は、第１地点Ｐａと第２地点Ｐｂとを含む撮像画角と撮像範囲ＣＡ２とを有し、この撮像範囲ＣＡ２の動画像を表す画像信号Ｓ２を画像処理装置１１，１２，１３，１４に供給する。

撮像装置３１としては、たとえば、ＣＣＤ画像センサまたはＣＭＯＳ画像センサといった固体撮像素子と、撮像装置３１への入射光を固体撮像素子の撮像面に集光する光学系と、当該撮像面の受光量を調整する絞り機構と、当該固体撮像素子の出力を信号処理してＲＧＢ信号またはＹＣｂＣｒ信号などの画像信号Ｓ１を生成する信号処理部とを備えた公知の撮像装置を使用すればよい。固体撮像素子は、たとえば、赤色（Ｒ），緑色（Ｇ）及び青色（Ｂ）といった多色のカラーフィルタからなるカラーフィルタアレイと、このカラーフィルタアレイを通して入射した光学像を光電変換する２次元配列の受光素子とを有している。撮像装置３１は、撮像範囲ＣＡ１のカラー画像を表す画像信号Ｓ１を出力することができる。撮像装置３２も、撮像装置３１と同様の構成を有する。

画像処理装置１１は、画像信号Ｓ１，Ｓ２を処理して、第１地点Ｐａの局所的な路上領域画像と第３地点Ｐｃの局所的な路上領域画像とが並列に配列された合成画像（動画像）を生成し、この合成画像を表す画像信号を表示装置２１に供給する。表示装置２１は、第４地点Ｐｄの方向を向いた画像表示面２１ｃａを有しており、画像処理装置１１で生成された合成画像を画像表示面２１ｃａに表示する。図２に示されるように、画像表示面２１ｃａの右半分に第１地点Ｐａの画像が表示され、画像表示面２１ｃａの左半分に第３地点Ｐｃの画像が表示される。このため、第４地点Ｐｄから表示装置２１を観測する観察者は、当該第４地点Ｐｄに対して死角となる第１地点Ｐａ及び第３地点Ｐｃの路上領域画像を視認することができる。

同様に、画像処理装置１２は、画像信号Ｓ１，Ｓ２を処理して、第２地点Ｐｂの局所的な路上領域画像と第４地点Ｐｄの局所的な路上領域画像とが並列に配列された合成画像（動画像）を生成し、この合成画像を表す画像信号を表示装置２２に供給する。表示装置２２は、第１地点Ｐａの方向を向いた画像表示面２１ｄｂを有しており、この画像表示面２１ｄｂの右半分に第２地点Ｐｂの画像が表示され、画像表示面２１ｄｂの左半分に第４地点Ｐｄの画像が表示される。このため、第１地点Ｐａから表示装置２２を観測する観察者は、当該第１地点Ｐａに対して死角となる第２地点Ｐｂ及び第４地点Ｐｄの路上領域画像を視認することができる。

また、画像処理装置１３は、画像信号Ｓ１，Ｓ２を処理して、第３地点Ｐｃの局所的な路上領域画像と第１地点Ｐａの局所的な路上領域画像とが並列に配列された合成画像（動画像）を生成し、この合成画像を表す画像信号を表示装置２３に供給する。表示装置２３は、第２地点Ｐｂの方向を向いた画像表示面２３ａｃを有しており、この画像表示面２３ａｃの右半分に第３地点Ｐｃの画像が表示され、画像表示面２３ａｃの左半分に第１地点Ｐａの画像が表示される。このため、第２地点Ｐｂから表示装置２３を観測する観察者は、当該第２地点Ｐｂに対して死角となる第３地点Ｐｃ及び第１地点Ｐａの路上領域画像を視認することができる。

そして、画像処理装置１４は、画像信号Ｓ１，Ｓ２を処理して、第４地点Ｐｄの局所的な路上領域画像と第２地点Ｐｂの局所的な路上領域画像とが並列に配列された合成画像（動画像）を生成し、この合成画像を表す画像信号を表示装置２４に供給する。表示装置２４は、第３地点Ｐｃの方向を向いた画像表示面２４ｂｄを有しており、この画像表示面２４ｂｄの右半分に第４地点Ｐｄの画像が表示され、画像表示面２４ｂｄの左半分に第２地点Ｐｂの画像が表示される。このため、第３地点Ｐｃから表示装置２４を観測する観察者は、当該第３地点Ｐｃに対して死角となる第４地点Ｐｄ及び第２地点Ｐｂの路上領域画像を視認することができる。

以上に説明したように、表示装置２２，２４は、走行路２Ａ，２Ｃから交差点Ｃｐに進入しようとする動体に向けて第２地点Ｐｂ及び第４地点Ｐｄの画像を表示することができ、表示装置２１，２３は、走行路２Ｂ，２Ｄから交差点Ｃｐに進入しようとする動体に向けて第１地点Ｐａ及び第３地点Ｐｃの画像を表示することができる。なお、上記表示装置２１，２２，２３，２４として、たとえば、液晶表示装置を使用することができるが、これに限定されるものではない。

次に、画像処理装置１１，１２，１３，１４の構成及び動作について説明する。図３は、実施の形態１の画像処理装置１１の構成を概略的に示す機能ブロック図である。他の画像処理装置１２，１３，１４の基本構成は、全て画像処理装置１１の基本構成と同じである。図３に示されるように、画像処理装置１１は、画像合成部４１、画像解析部４２、画像抽出部４３、色補正パラメータ算出部４４、画像補正部４５、画像出力部４６、表示領域検出部４７及び外光補正パラメータ算出部４８を有する。

画像合成部４１は、画像信号Ｓ１で表される撮像画像から第１地点Ｐａの路上領域画像を切り出し、画像信号Ｓ２で表される撮像画像から第３地点Ｐｃの路上領域画像を切り出し、これら路上領域画像が水平画素方向に並列に配列された合成画像を生成する。画像合成部４１は、当該合成画像を表す画像信号Ｓ３を画像解析部４２、画像抽出部４３及び画像補正部４５に出力する。ここで、撮像画像から切り出された第１地点Ｐａ及び第３地点Ｐｃの路上領域画像は、解像度変換により表示装置２１の水平解像度に合わせて拡大または縮小される。

画像解析部４２は、合成画像を解析して当該合成画像に現れる動体を検出する機能を有し、解析結果を示す解析情報Ａ１を画像補正部４５及び画像出力部４６に供給することができる。図４は、実施の形態１の画像解析部４２の構成を概略的に示す機能ブロック図である。図４に示されるように、画像解析部４２は、動き検出部５１、動体検出部５２、動体分類部５３、加速度検出部５４及び脅威度算出部５５を有している。

合成画像は、時間的に連続する一連のフレーム（静止画像）からなる動画像である。動き検出部５１は、入力端子５０ａを介して入力される画像信号Ｓ３に基づいて、フレーム間における物体の動きを推定する機能を有する。具体的には、動き検出部５１は、公知のブロックマッチング法もしくは公知の勾配法（たとえば、Ｌｕｃａｓ−Ｋａｎａｄｅ法）に従って、各フレームを複数のブロックに分割し、ブロック単位（たとえば、８×８画素や１６×１６画素の単位）で動きベクトルを検出することができる。また、動き検出部５１は、ブロック単位の動きベクトルに基づいて、１画素単位の精度で動きベクトルを補間することも可能である。動き検出部５１は、検出された動き情報（動きベクトルの情報）を、動体検出部５２、加速度検出部５４及び脅威度算出部５５に供給する。

動体検出部５２は、画像信号Ｓ３を入力とし、画像信号Ｓ３で表される動画像に現れる動体を動きベクトルを用いて検出する機能を有する。動体の検出方法については、たとえば、同様の動きを有する隣接するブロックまたは画素の群を１つの動体として検出することが可能である。予め用意された背景画像あるいは一定期間内の複数のフレームを平均化することで生成された背景画像に対して異なる画素領域を動体として検出する方法も考えられるが、この方法のみでは、たとえば、時間帯、季節または天候に応じて撮像環境が変化する場合に動体を精度良く検出することが難しい。本実施の形態の動体検出部５２は、動きベクトルを使用するので動体を精度良く検出することができる。検出された動体の座標情報は、動体分類部５３に与えられる。

動体分類部５３は、画像信号Ｓ３と動体の座標情報とを用いて当該動体を分類する機能を有する。動体の分類先（種類）としては、たとえば、自動車、自動二輪車、自転車及び歩行者などの項目が挙げられる。たとえば、当該動体の速度、大きさ及び形状の組み合わせに応じて複数の項目の中から動体の種類を選択することができる。なお、自動車、自動二輪車、自転車及び歩行者以外の項目が追加されていてもよいし、あるいは、これらの項目よりも少ない項目が用意されていてもよい。

加速度検出部５４は、動き検出部５１から供給された動きベクトルの情報に基づいて、ブロック単位または１画素単位で加速度を検出する機能を有する。加速度の検出方法については、たとえば、時間的に隣接するフレーム間における動き情報の差分（動きベクトルの変化）から加速度を検出すればよいが、これに限定されるものではない。検出された加速度の情報は、脅威度算出部５５に与えられる。加速度の情報は、たとえば、急激な加減速を行う脅威度の高い動体を検出するために使用され得る。

脅威度算出部５５は、動き検出部５１、動体分類部５３及び加速度検出部５４から動きベクトル情報、動体分類情報及び加速度情報を受け取り、これら動きベクトル情報、動体分類情報及び加速度情報に基づいて、当該動体の交通における危険性の指標を示す脅威度を算出する機能を有する。脅威度の値は、当該動体の種類、速度及び加速度の組み合わせに応じて定めることができる。当該動体の速度が大きいほど、また、当該動体が急激な加速度を有するほど、脅威度を大きい値とすることができる。また、当該動体の推定重量が大きいほど、脅威度の値を大きくすることもできる。さらに、当該動体の交差点Ｃｐからの距離が近いほど、脅威度の値を大きくすることも可能である。たとえば、当該動体の速度に対応する値をＶとし、当該の加速度に対応する値をＡｃとし、当該動体の種類に応じた重みをγとし、当該動体の交差点Ｃｐからの距離の逆数に比例する値をＩとするとき、γ×（Ｃｖ×Ｖ＋Ｃａ×Ａｃ＋Ｃｉ×Ｉ）、の式に従って脅威度を算出してもよい。ここで、Ｃｖ，Ｃａ，Ｃｉは重み係数である。脅威度は、たとえば、０．００〜１．００の範囲内の実数値で表されてよく、あるいは、１０段階のレベルで表されてもよい。なお、脅威度算出部５５は、加速度情報を用いずに、動き情報と動体分類情報とに基づいて脅威度を算出することも可能である。

画像解析部４２は、出力端子５０ｂ，５０ｃ，５０ｄ，５０ｅから、動き情報、加速度情報、動体分類情報及び脅威度を解析情報Ａ１として出力する。この解析情報Ａ１は、画像補正部４５及び画像出力部４６に与えられる。

図３を参照すると、画像抽出部４３は、合成画像から、動体を含まない局所領域の画像を参照色画像として抽出し、当該参照色画像を表す画像信号Ｓ３Ｅを色補正パラメータ算出部４４に供給する機能を有する。当該参照色画像は、画像信号Ｓ３で表される合成画像の色（明度、彩度及び色相）を補正するために使用される。上述の通り、画像信号Ｓ３で表される合成画像は、互いに異なる２地点の路上領域画像を水平画素方向に並列に配列したものである。画像抽出部４３は、これら２つの路上領域画像のうちの一方の画像から所定の被写体の画像を第１の参照色画像として抽出し、その他方の画像からは、同種の被写体の画像を第２の参照色画像として抽出する。

参照色画像用の被写体としては、同一の撮像環境下では共通の色及び輝度を有するもの、たとえば、走行路の路面及び上空の一方または双方を選択することが適切である。上空は、どの方向から見ても同じ色（たとえば、晴天時には青色）をしていると推測されるため、共通の色及び輝度を有する同種の被写体として適切である。また、路面に関しても、上空と同様に共通の色及び輝度を有していると推測される。特に、撮像装置３１，３２の撮像範囲ＣＡ１，ＣＡ２は、必ず交差点Ｃｐまたはその付近の路面を含むため、当該路面領域の画像を参照色画像として選択することが好ましい。

なお、画像抽出部４３は、画像解析部４２で得られた解析情報Ａ１を用いて、動きを有する領域以外の被写体の画像を選択し参照色画像として抽出してもよい。

色補正パラメータ算出部４４は、参照色画像の色情報に基づいて、画像信号Ｓ３で表される合成画像の色の適正な色からのずれを示す色補正パラメータＰ１を算出する。画像信号Ｓ３Ｅは、ＲＧＢ色空間もしくはＹＣｂＣｒ空間を有している。ここで、ＲＧＢ色空間は、赤色成分，緑色成分及び青色成分の組み合わせで形成される色空間であり、ＹＣｂＣｒ空間は、輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒの組み合わせで形成される色空間である。色補正パラメータ算出部４４は、まず、画像信号Ｓ３Ｅで表される第１及び第２の参照色画像の色空間をＨＳＶ色空間に変換する。ＨＳＶ色空間は、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）及び明度（Ｖａｌｕｅ）の組み合わせで形成される色空間である。

色補正パラメータ算出部４４は、色空間変換後の第１の参照色画像の画素値をフレーム内で平均化して平均画素値（色相、彩度及び明度の平均値）を算出し、色空間変換後の第２の参照色画像の画素値をフレーム内で平均化して平均画素値（色相、彩度及び明度の平均値）を算出する。そして、色補正パラメータ算出部４４は、第１の参照色画像と第２の参照色画像との間の平均画素値の差分を色補正パラメータＰ１として算出する。なお、色補正パラメータ算出部４４は、平均画素値に代えて、中央値または最頻値を算出し利用することも有効である。

なお、色補正パラメータ算出部４４は、第１の参照色画像と第２の参照色画像との間の平均画素値の差分を色補正パラメータＰ１として算出する代わりに、適正な色を示す基準画素値（色相、彩度及び明度）からの第１の参照色画像の平均画素値のずれを示すパラメータと、当該基準画素値からの第２の参照色画像の平均画素値のずれを示すパラメータとを色補正パラメータＰ１として算出してもよい。基準画素値には、季節（春夏秋冬）、時間帯（日中及び夜間など）もしくは天候に対応して予め用意された値を使用すればよい。

ところで、画像抽出部４３は、第１及び第２の参照色画像の色情報（色相、彩度及び明度）が予め定められた適合条件に合致するか否かを判定する機能を有する。画像抽出部４３は、色情報が当該適合条件に合致しない場合には、第１及び第２の参照色画像が不適当である旨を示す情報を色補正パラメータ算出部４４に通知する。色補正パラメータ算出部４４は、当該情報の通知を受けた場合には、過去に算出済みの有効な色補正パラメータＰ１を画像補正部４５に供給する。具体的には、上空が被写体とされたとき、上空が雲で覆われた悪天候時または十分な照度が得られない夜間の場合には、上空の青色を得ることができず、第１及び第２の参照色画像の色情報は不適当である。画像抽出部４３は、第１及び第２の参照色画像の色相、彩度及び明度をそれぞれ予め決められた閾値と比較して、そのような場合の有無を判定することができる。

一方、表示領域検出部４７は、画像信号Ｓ３を入力とし、この画像信号Ｓ３で表される合成画像に現れる複数台の表示装置の中から特定の表示装置２１の画像表示面２１ｃａを検出する機能を有し、当該検出結果の画像を表す画像信号Ｓ２Ｄを外光補正パラメータ算出部４８に供給する。画像処理装置１１は、これら表示装置２１，２２，２３，２４の中の特定の表示装置２１に画像信号Ｓ５を出力する。表示領域検出部４７は、この表示装置２１の位置情報（座標情報）に基づいて画像表示面２１ｃａを検出することが可能である。

また、表示領域検出部４７は、画像表示面２１ｃａに表示される画像パターンを用いたパターンマッチングにより画像表示面２１ｃａを検出することもできる。画像パターンとしては、たとえば、画像信号Ｓ５で表される撮像画像の特徴を示す画像パターンを随時使用すればよい。これにより、画像パターンを随時更新することができるので、たとえ表示装置２１の設置位置がずれたとしても、確実に画像表示面２１ｃａを検出することが可能となる。ここで、表示領域検出部４７は、表示装置２１の位置情報（座標情報）を用いてパターンマッチングの探索範囲を限定し、短時間で画像表示面２１ｃａを検出することもできる。

外光補正パラメータ算出部４８は、画像表示面２１ｃａの画像に含まれる外光成分を低減させる外光補正パラメータＰ２を算出する機能を有し、当該外光補正パラメータＰ２を画像補正部４５に供給する。具体的には、外光補正パラメータ算出部４８は、画像信号Ｓ２Ｄで表される画像の彩度を算出し、当該算出された彩度に基づいて外光補正パラメータＰ２を算出する。たとえば、外光補正パラメータ算出部４８は、画像信号Ｓ２Ｄで表される画像の色空間をＨＳＶ色空間に変換し、全ての画素について彩度の平均値、中央値または最頻値を算出しこれを利用することができる。当該算出された彩度の平均値、中央値または最頻値が閾値未満のとき、外光補正パラメータ算出部４８は、画像表示面２１ｃａへの外光の映り込みが大きいと判断し、当該外光成分を低減させる外光補正パラメータＰ２を生成することが可能である。このとき、外光補正パラメータ算出部４８は、当該算出された彩度の平均値、中央値または最頻値と閾値との間の差分が大きいほど、彩度を拡張させる外光補正パラメータＰ２の値を大きくすることができる。

画像補正部４５は、色補正パラメータＰ１及び外光補正パラメータＰ２に従って画像信号Ｓ３で表される合成画像を補正し、補正画像を表す画像信号Ｓ４を画像出力部４６に出力する。これにより、合成画像の色（色相、彩度及び明度）を適正な色に補正し、且つ、外光に起因する画像表示面２１ｃａへの映り込みを低減させることができる。

図５は、実施の形態１の画像補正部４５の概略構成を示す機能ブロック図である。図５に示されるように、画像補正部４５は、雑音低減部６１、鮮鋭度改善部６２、画像色補正部６３、映り込み補正部６４、明度補正部６５、画像歪み補正部６６、解像度変換部６７及び動画特性調整部６８を有している。

雑音低減部６１は、入力端子６０ａを介して入力された画像信号Ｓ３にノイズ低減処理を施して、雑音（ノイズ）が抑圧された画像信号を鮮鋭度改善部６２に出力する。これにより、たとえば、夜間などの十分な明度が得られない撮像環境下で取得された撮像画像についての視認性が向上する。雑音低減部６１は、たとえば、平滑化フィルタリングを実行してノイズ低減処理を実行すればよい。また、雑音低減部６１は、入力端子６０ｄを介して入力された解析情報Ａ１を用いて適応的なノイズ低減処理を実行することもできる。具体的には、解析情報Ａ１を用いて、入力画像における動体の局所画像とこれ以外の背景画像とにそれぞれ平滑化強度の異なる平滑化フィルタリングを施すことが可能である。なお、解析情報Ａ１を用いずにノイズ低減処理を実行してもよい。

鮮鋭度改善部６２は、雑音低減部６１からの入力画像の鮮鋭度を向上させる機能を有する。これにより、より鮮明で視認性の高い映像情報を提供することができる。具体的には、たとえば、次式に基づくラプラシアンフィルタを用いた鮮鋭化処理を実行することが可能である。

ここで、ｐ（ｘ＋ｘｔ，ｙ＋ｙｔ）は、入力画像における水平画素座標ｘと垂直画素座標ｙとで指定される着目画素から、水平画素方向に−ｘｔだけ移動し且つ垂直画素方向に−ｙｔだけ移動した点での画素の値を示す。また、ｃ（ｘｔ，ｙｔ）は、着目画素を中心とする３×３画素（＝９画素）に適用されるフィルタ係数を示し、ｓ（ｘ，ｙ）は、着目画素に対応するフィルタ出力値を示す。

たとえば、以下のように、フィルタ係数ｃ（ｘｔ，ｙｔ）の値を設定することができるが、これに限定されるものではない。

また、鮮鋭度改善部６２は、入力端子６０ｄを介して入力された解析情報Ａ１を用いて適応的な鮮鋭化処理を実行することもできる。具体的には、解析情報Ａ１を用いて、入力画像における動体の局所画像とこれ以外の背景画像とにそれぞれ強度の異なる鮮鋭化処理を施すことが可能である。なお、解析情報Ａ１を用いずに鮮鋭化処理を実行してもよい。

画像色補正部６３は、入力端子６０ｂを介して入力された色補正パラメータＰ１に従って鮮鋭度改善部６２からの入力画像を補正する。具体的には、画像色補正部６３は、先ず、当該入力画像の色空間をＨＳＶ色空間に変換して画素ごとの色相、彩度及び明度のデータを得る。上述の通り、画像信号Ｓ３で表される合成画像は、２地点の路上領域画像を並列に配列したものであるので、画像色補正部６３への入力画像も、並列に配列された２地点の路上領域画像を含む。画像色補正部６３は、色補正パラメータＰ１に従って、これら２地点の路上領域画像の少なくとも一方の色相、彩度及び明度を補正することで、これら２地点の路上領域画像間の色情報の差を低減させる。これにより、表示装置２１が２地点の路上領域画像を並べて表示する場合でも、これら表示画像間の色情報の差に起因する視認性の低下を抑制することができる。

画像色補正部６３は、２地点の路上領域画像のうち視認性の高い一方の画像の色情報に合わせて他方の画像の色情報を補正してもよい。画像色補正部６３は、明度もしくはコントラストに基づいて２地点の路上領域画像の中から視認性の高い画像を検出すればよい。

なお、上述の通り、基準画素値（色相、彩度及び明度の基準値）からの第１の参照色画像の平均画素値のずれを示すパラメータと、当該基準画素値からの第２の参照色画像の平均画素値のずれを示すパラメータとが色補正パラメータＰ１として算出される場合には、画像色補正部６３は、当該色補正パラメータＰ１に従って、２地点の路上領域画像の各々の色相、彩度及び明度を基準画素値に近づける補正を行うことで、路上領域画像間の色情報の差を低減させることが可能である。

次に、映り込み補正部６４は、入力端子６０ｃを介して入力される外光補正パラメータＰ２に従って、映り込み補正部６４からの入力画像の色調（明度及び彩度）を補正する機能を有する。これにより、表示装置２１での表示画像における外光成分を低減させることができる。よって、表示装置２１への日光などの外光の映り込みによる視認性低下を改善することができる。映り込み補正部６４は、外光の影響により表示装置２１における表示画像の彩度及びコントラストが低くなるという問題を改善することができる。

明度補正部６５は、解析情報Ａ１に基づいて、映り込み補正部６４からの入力画像の明度を補正する機能を有する。具体的には、明度補正部６５は、映り込み補正部６４からの入力画像（動画像）を構成する各フレーム内の全有効画素について明度の平均値を算出し、当該平均値が下限値よりも低い場合には、入力画像の明度を強調させ、当該平均値が上限値よりも高い場合には、入力画像の明度を低減させる処理を実行することができる。図６（Ａ），（Ｂ）は、入力画像の明度が２５６階調値である場合に明度の入力値と出力値（変換値）との対応関係の例を示すグラフである。明度補正部６５は、明度の平均値が上限値よりも高い場合には、図６（Ａ）に例示されるように下方に凸状の変換曲線を使用して入力画像の明度を低減させる。一方、明度の平均値が下限値よりも低い場合には、明度補正部６５は、図６（Ｂ）に例示されるように上方に凸状の変換曲線を使用して入力画像の明度を強調させることができる。このように明度補正部６５が明度を適正に補正することで、夜間などの時間帯に十分な照度が得られない撮像環境下でも、視認性の良好な表示画像を提供することができる。

画像歪み補正部６６は、明度補正部６５からの入力画像の幾何学的歪みを補正する機能を有する。幾何学的歪みの補正方法としては、幾何学的歪みは動的に変わるものではないので、たとえば、予め計測された歪み量に応じた座標変換を各フレームに対して実行すればよい。従来より、交差点には死角領域を映す鏡面が配置されているが、その鏡面に表示される画像は幾何学的に歪み、利用者にとって視認性の良好なものとは言い難かった。本実施の形態は、画像歪み補正部６６が入力画像の幾何学的歪みを適正に補正するので、利用者にとって視認性の良好な表示画像を提供することができる。

解像度変換部６７は、画像歪み補正部６６からの入力画像（動画像）を構成する各フレームの解像度を表示装置２１の表示解像度に合わせて変換する機能を有する。このとき、解像度変換部６７は、解析情報Ａ１に含まれる動きベクトル情報を用いて各フレームの画素を補間しまたは間引いて解像度を変換する。たとえば、画像信号Ｓ３の解像度が表示装置２１の表示解像度よりも低い場合には、解像度を高くする必要がある。また、画像歪み補正部６６が入力画像の幾何学的歪みを補正したことにより、歪みが補正された画素領域の解像度が低下している場合があるため、当該歪みが補正された画素領域のみに対して画素ごとの歪み補正量に応じた解像度変換が実行されてもよい。このような高解像度化処理により、より鮮鋭な表示画像を提供することができる。

動画特性調整部６８は、解像度変換部６７からの入力画像（動画像）のフレームレートを表示装置２１に合わせて向上させる機能を有する。このとき、動画特性調整部６８は、解析情報Ａ１に含まれる動きベクトル情報を用いてフレームを内挿補間してフレームレートを変換する。これにより、撮像装置３１，３２の出力画像のフレームレートが低くても、滑らかな動画像を提供することができる。動画特性調整部６８は、画像信号Ｓ４を入力端子６０ｅから画像出力部４６に出力する。なお、画像補正部４５の構成要素６１〜６８の配置を適宜入れ替えてもよい。

図７は、実施の形態１の画像出力部４６の概略構成を示す機能ブロック図である。図７に示されるように、画像出力部４６は、画像重畳部７１及び付加画像生成部７２を有している。

付加画像生成部７２には、入力端子７０ａを介して画像信号Ｓ４が入力され、入力端子７０ｂを介して解析情報Ａ１が入力される。付加画像生成部７２は、画像信号Ｓ４に基づいて解析情報Ａ１に応じた付加画像を生成し、この付加画像を画像重畳部７１に供給する。画像重畳部７１は、画像信号Ｓ４で表される画像に当該付加画像を重畳（オーバレイ）して重畳画像を生成し、この重畳画像を表す画像信号Ｓ５を入力端子７０ｃから表示装置２１に出力する。具体的には、付加画像生成部７２は、上記した脅威度が所定の設定値を超えたとき、警告情報を表す付加画像を生成することができる。付加画像生成部７２は、たとえば、交通に対しての危険性が高い当該動体の輪郭部を赤く縁取りして強調させる画像、もしくは、当該動体の画像領域の周辺部に配置されるべき注意を促すアイコン画像を付加画像として生成すればよい。

以上、実施の形態１の画像処理装置１１について詳細に説明したが、他の画像処理装置１２，１３，１４も、画像処理装置１１と同様の構成を有する。本実施の形態の画像解析部４２は、撮像装置３１，３２で取得された撮像画像から参照色画像を抽出し、色補正パラメータ算出部４４は、当該抽出された参照色画像の色情報に基づいて色補正パラメータＰ１を生成する。画像補正部４５は、色補正パラメータＰ１に従って撮像画像の色を適正な色に補正することができる。したがって、表示装置２１，２２，２３，２４は、視認性の良好な画像を表示することができる。

特に、色補正パラメータ算出部４４は、画像合成部４１で生成された合成画像に含まれる２地点の路上領域画像間の色ずれを示す色補正パラメータＰ１を生成するため、画像補正部４５は、並列表示される２地点の路上領域画像間の色ずれを補正することができる。このため、表示装置２１，２２，２３，２４は、利用者にとって視認性の良好な合成画像を表示することができる。たとえば、路上領域画像間で距離感などの視覚的な認識の差が抑制された合成画像を表示することができる。

また、外光補正パラメータ算出部４８は、表示装置２１，２２，２３，２４に日光などの外光が映り込んだときにその外光成分を低減させる外光補正パラメータＰ２を生成し、画像補正部４５は、その外光補正パラメータＰ２に従って合成画像を補正する。したがって、表示装置２１，２２，２３，２４は、視認性の良好な画像を表示することができる。表示装置２１，２２，２３，２４は、コントラストと彩度の高い視認性の良好な画像を表示することができる。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。図８は、実施の形態２の画像処理装置１１Ｂの構成を概略的に示す機能ブロック図である。実施の形態２の路上映像情報システムの構成は、上記画像処理装置１１に代えて図８の画像処理装置１１Ｂを有する点を除いて、上記実施の形態１の路上映像情報システム１（図１）の構成とほぼ同じである。また、本実施の形態の画像処理装置１１Ｂの構成は、撮像条件制御部４９を有する点を除いて、上記実施の形態１の画像処理装置１１（図３）の構成と同じである。

本実施の形態の撮像条件制御部４９は、色補正パラメータＰ１及び外光補正パラメータＰ２に基づいて、撮像システム３０の撮像条件を制御するカメラパラメータＣ１，Ｃ２を生成する。カメラパラメータＣ１は撮像装置３１に供給され、カメラパラメータＣ２は撮像装置３２に供給される。

カメラパラメータＣ１，Ｃ２は、たとえば、撮像装置３１，３２での絞り値、ホワイトバランス調整及び露光量を外部から制御するための制御情報である。撮像条件制御部４９は、色補正パラメータＰ１に従って、撮像装置３１，３２で取得される撮像画像間の色ずれ（色情報の差）が低減するようにカメラパラメータＣ１，Ｃ２を生成する。たとえば、色補正パラメータＰ１が色相の差を示している場合には、撮像条件制御部４９は、撮像画像のＲ信号，Ｇ信号及びＢ信号のゲインを個別に変化させるカメラパラメータＣ１，Ｃ２を撮像装置３１，３２に供給することができる。撮像装置３１，３２のホワイトバランス調整機能は、カメラパラメータＣ１，Ｃ２に応じてＲ信号，Ｇ信号及びＢ信号のゲインを個別に変化させて当該色相の差を低減させる。

また、撮像条件制御部４９は、外光補正パラメータＰ２に従って、撮像装置３１，３２で取得される撮像画像中の外光成分が低減するようにカメラパラメータＣ１，Ｃ２を生成することもできる。たとえば、撮像装置３１，３２の絞り機構は、カメラパラメータＣ１，Ｃ２で指定された量だけ絞り値を変化させて外光成分の影響を低減させることができる。あるいは、撮像装置３１，３２は、カメラパラメータＣ１，Ｃ２で指定されたシャッター速度で撮像して外光成分の影響を低減させることもできる。

以上に説明したように実施の形態２の画像処理装置１１Ｂは、色補正パラメータＰ１及び外光補正パラメータＰ２に応じて撮像装置３１，３２の撮像条件を最適化することができるため、実施の形態１と比べて、より視認性の良好な合成画像を表示装置２１，２２，２３，２４に表示させることができる。

なお、撮像条件制御部４９は、色補正パラメータＰ１の値または外光補正パラメータＰ２の値が所定の許容範囲内のときは、カメラパラメータＣ１，Ｃ２を生成せず、色補正パラメータＰ１の値または外光補正パラメータＰ２の値が所定の許容範囲を超えたときにのみ、カメラパラメータＣ１，Ｃ２を生成してもよい。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図９は、実施の形態３の画像処理装置１１Ｃの構成を概略的に示す機能ブロック図である。実施の形態３の路上映像情報システムの構成は、上記画像処理装置１１に代えて図９の画像処理装置１１Ｃを有する点を除いて、上記実施の形態１の路上映像情報システム１（図１）の構成とほぼ同じである。また、本実施の形態の画像処理装置１１Ｃの構成は、画像解析部４２Ｃ及び画像出力部４６Ｃを除いて、上記実施の形態２の画像処理装置１１Ｂ（図８）の構成と同じである。

図１０は、実施の形態３の画像解析部４２Ｃの構成を概略的に示す機能ブロック図である。図１０に示されるように、画像解析部４２Ｃは、上記実施の形態１の画像解析部４２と同様に、動き検出部５１、動体検出部５２、動体分類部５３、加速度検出部５４及び脅威度算出部５５を有する。本実施の形態の画像解析部４２Ｃは、さらに行動解析部５６及び交通解析部５７を有する点で、実施の形態１の画像解析部４２とは異なる。

行動解析部５６は、動き検出部５１、動体分類部５３及び加速度検出部５４からそれぞれ供給された当該動体の動き情報、動体分類情報及び加速度情報に基づいて当該動体の動きを解析して当該動体の異常行動を検知する機能を有し、その検知結果を示す行動解析情報を出力する。たとえば、動体分類部５３によって自動車に分類された動体が別の動体に対して非常に大きな加速度を有する場合に、その加速度が正であれば、当該自動車は、追突事故を起こす行動をする車両であると推測することができ、その加速度が負であれば、当該自動車は、衝突を受けて異常な行動をした車両であることを推測することができる。また、同じ動体が同じ交差点Ｃｐを繰り返し行き来して当該交差点Ｃｐ内に長時間滞在している場合には、当該物体の行動は、不審行動であると推測することもできる。

交通解析部５７は、動き検出部５１、動体分類部５３及び加速度検出部５４からそれぞれ供給された当該動体の動き情報、動体分類情報及び加速度情報に基づいて前記走行路上の交通状態を解析する機能を有し、その解析情報を出力する。たとえば、交通解析部５７は、交差点Ｃｐ内を行き交う車両を計数したり、当該交差点Ｃｐまたはその付近における渋滞情報を生成したり、交通量を計数化したりすることができる。

画像解析部４２Ｃは、出力端子５０ｂ，５０ｃ，５０ｄ，５０ｅ，５０ｆ，５０ｇから、当該動体の動き情報、加速度情報、動体分類情報、脅威度、行動解析情報及び交通解析情報を解析情報Ａ２として出力する。この解析情報Ａ２は、画像補正部４５及び画像出力部４６Ｃに与えられる。

図１１は、実施の形態３の画像出力部４６Ｃの概略構成を示す機能ブロック図である。図７に示されるように、画像出力部４６Ｃは、画像重畳部７１及び付加画像生成部７２Ｃを有している。

付加画像生成部７２Ｃには、入力端子７０ａを介して画像信号Ｓ４が入力され、入力端子７０ｂを介して解析情報Ａ２が入力される。付加画像生成部７２Ｃは、画像信号Ｓ４に基づいて解析情報Ａ２に応じた付加画像を生成し、この付加画像を画像重畳部７１に供給する。画像重畳部７１は、画像信号Ｓ４で表される画像に当該付加画像を重畳（オーバレイ）して重畳画像を生成し、この重畳画像を表す画像信号Ｓ５を入力端子７０ｃから表示装置２１に出力する。

付加画像生成部７２Ｃは、上記実施の形態１の付加画像生成部７２と同様に、動き情報、加速度情報、動体分類情報または脅威度に応じた付加画像を生成し、この付加画像を画像重畳部７１に供給することができる。本実施の形態の付加画像生成部７２Ｃは、さらに、行動解析情報または交通解析情報に応じた付加画像を生成し、この付加画像を画像重畳部７１に供給することができる。付加画像生成部７２Ｃは、行動解析情報が当該動体の異常行動の検知を示す場合には、警告情報を表す付加画像（たとえば、当該動体の輪郭部を強調させる画像）を生成することができる。また、付加画像生成部７２Ｃは、交通解析情報の中に渋滞情報が含まれる場合には、渋滞情報を示す付加画像（たとえば、渋滞情報を説明する文字画像）を生成することができる。

以上に説明したように実施の形態３は、当該動体に関する行動解析情報または交通解析情報に応じた付加画像を表示装置２１，２２，２３，２４に表示させることができる。このため、実施の形態３の路上映像情報システムは、交通の安全性をさらに向上させることができる。

実施の形態４．
次に、本発明に係る実施の形態４について説明する。図１２は、実施の形態４の画像処理装置１１Ｄの構成を概略的に示す機能ブロック図である。実施の形態４の路上映像情報システムの構成は、上記画像処理装置１１に代えて図１２の画像処理装置１１Ｄを有する点を除いて、上記実施の形態１の路上映像情報システム１（図１）の構成とほぼ同じである。また、本実施の形態の画像処理装置１１Ｄの構成は、データ配信部８０を有する点を除いて、上記実施の形態３の画像処理装置１１Ｃ（図９）の構成と同じである。

図１２に示されるように、本実施の形態のデータ配信部８０は、データ配信制御部８１及び送信部８２を有している。送信部８２は、無線伝送路を介して外部機器にデータを送信する機能を有する。データ配信制御部８１は、送信部８２を制御して画像信号Ｓ４，Ｓ５の一方または双方を外部システムに配信する。このとき、データ配信制御部８１は、解析情報Ａ２からメタ情報を生成し、このメタ情報を画像信号Ｓ４，Ｓ５の一方または双方に付帯させて外部システムに配信することができる。たとえば、データ配信制御部８１は、路上映像情報システムの設置時に設定されたシステム設置箇所の位置情報と合成画像に関する撮像範囲（撮影方向）の情報とを取得し、解析情報Ａ２と合わせてメタ情報を生成することができる。

交差点Ｃｐに進入しようとする車両が、データ配信部８０から配信データを受信できる受信機と、配信された画像データを表示する車載器とを有していれば、車両の運転者または搭乗者は、車載ナビゲーション装置などの車載器に表示された死角領域の画像を視認することができる。また、システム設置箇所の位置情報と撮像範囲（撮影方向）の情報とがメタ情報として配信されるので、車載器は、メタ情報と自車の現在位置及び進行方向とから、その表示画像が死角を映す画像であるか否かを判断することが可能である。

また、メタ情報に含まれる脅威度または行動解析情報に基づいて、事故の発生もしくは不審者または不審車両の存在などの危険の存在を検知し、運転者に注意を促す通知をする車載器を提供することが可能となる。特に、行動解析情報に基づいて、危険の存在を自動的に通報する路上映像情報システムを構築することができる。さらには、メタ情報に含まれる交通解析情報に基づいて、交通量の情報または渋滞情報をリアルタイムで受信する車載器を提供することも可能となる。

なお、配信データの送信先としては、車両に限定されるものではない。近距離無線通信機能だけでなく、無線伝送路または有線伝送路を用いた遠距離通信機能を有するように送信部８２を構成することで、遠隔地の管制センターまたは道路交通情報センターなどに配信データを送信することも可能である。

実施の形態５．
次に、本発明に係る実施の形態５について説明する。図１３は、実施の形態５の画像処理装置１１Ｅの構成を概略的に示す機能ブロック図である。実施の形態５の路上映像情報システムの構成は、上記画像処理装置１１に代えて図１３の画像処理装置１１Ｅを有する点を除いて、上記実施の形態１の路上映像情報システム１（図１）の構成とほぼ同じである。また、本実施の形態の画像処理装置１１Ｅの構成は、省電力制御部８４を除いて、上記実施の形態２の画像処理装置１１Ｂ（図８）の構成と同じである。

表示装置２１，２２，２３，２４は、いずれも、上記したような撮像動作を行う通常動作モードと、通常動作モードよりも低い電力消費量で動作する省電力動作モードとのいずれか一方で動作するように構成されている。

図１３に示されるように、省電力制御部８４は、解析情報Ａ２を入力とし、この解析情報Ａ２の内容に応じた制御信号ＰＷｃを表示装置２１に供給して表示装置２１の動作モードを通常動作モード及び省電力動作モードの一方から他方へ切り替えることができる。たとえば、表示装置２１がバックライトを有する液晶表示装置である場合、この表示装置２１は、省電力動作モードでは、バックライトの発光輝度を低輝度に抑制することで低い電力消費量を実現することができる。

具体的には、省電力制御部８４は、たとえば、解析情報Ａ２に基づいて撮像画像中に動体が検出されないと判断した場合、解析情報Ａ２に基づいて脅威度が低いと判断した場合、あるいは、解析情報Ａ２に基づいて動体の異常行動が検知されない場合には、省電力動作モードで動作させる制御信号ＰＷｃを表示装置２１に供給することができる。

また、解析情報Ａ２に基づいて表示装置２１を観測する利用者（動体）が検出されない場合、省電力制御部８４は、表示装置２１の動作モードを自動的に省電力動作モードに遷移させることができる。たとえば、第４地点Ｐｄに対して死角となる第１地点Ｐａ及び第３地点Ｐｃの撮像画像中に脅威度の高い高脅威物体もしくは異常行動を行う動体が確認されたときであっても、表示装置２１が正対する方向を撮像する撮像装置３１で取得された第４地点Ｐｄの撮像画像中に動体が検出されないときは、省電力制御部８４は、表示装置２１の動作モードを省電力動作モードに遷移させることが可能である。

なお、本実施の形態の画像処理装置１１Ｅは、上記実施の形態４のデータ配信部８０を有していてもよい。

実施の形態６．
次に、本発明に係る実施の形態６について説明する。図１４は、実施の形態６の画像処理装置１１Ｆの構成を概略的に示す機能ブロック図である。実施の形態６の路上映像情報システムの構成は、上記画像処理装置１１に代えて図１４の画像処理装置１１Ｆを有し且つ記憶装置８７を有する点を除いて、上記実施の形態１の路上映像情報システム１（図１）の構成とほぼ同じである。また、本実施の形態の画像処理装置１１Ｆの構成は、データ蓄積制御部８６を有する点を除いて、上記実施の形態２の画像処理装置１１Ｂ（図８）の構成と同じである。

図１４に示されるように、画像処理装置１１Ｆは、大容量の記憶装置８７にデータを転送して記憶させるデータ蓄積制御部８６を有している。データ蓄積制御部８６は、解析情報Ａ２及び時刻情報をメタ情報として付帯させた画像信号Ｓ４を記憶装置８７に転送することが可能である。記憶装置８７に蓄積された画像データとメタ情報とは、たとえば、後日の交通調査及び犯罪捜査の際に活用することができる。

また、データ蓄積制御部８６は、解析情報Ａ２に含まれる交通解析情報に基づいて交差点Ｃｐを通過した車両を計数し、その計数値の情報を画像データに付帯させて記憶装置８７に記憶させることもできる。

なお、データ蓄積制御部８６は、解析情報Ａ２の内容に応じた制御信号を記憶装置８７に供給して記憶装置８７の電力消費量を制御してもよい。たとえば、解析情報Ａ２に基づいて撮像画像中に動体が検出されないと判断した場合、解析情報Ａ２に基づいて脅威度が低いと判断した場合、あるいは、解析情報Ａ２に基づいて動体の異常行動が検知されない場合には、データ蓄積制御部８６は、記憶装置８７の電源を一時的にオフにするように記憶装置８７の動作を制御してもよい。これにより、重要な画像データを記憶装置８７に蓄積しつつ、記憶装置８７の電力消費量を節減することができる。

本実施の形態の画像処理装置１１Ｆは、上記実施の形態４のデータ配信部８０及び上記実施の形態５の省電力制御部８４の少なくとも一方を有していてもよい。

実施の形態７．
次に、本発明に係る実施の形態７について説明する。図１５は、実施の形態７の画像処理装置１１Ｇの構成を概略的に示す機能ブロック図である。実施の形態７の路上映像情報システムの構成は、上記画像処理装置１１に代えて図１５の画像処理装置１１Ｇを有し且つ記憶装置９０を有する点を除いて、上記実施の形態１の路上映像情報システム１（図１）の構成とほぼ同じである。また、本実施の形態の画像処理装置１１Ｇの構成は、受信部９１、画像切替制御部９２及び出力画像切替部９３を有する点を除いて、上記実施の形態３の画像処理装置１１Ｃ（図９）の構成と同じである。

図１５に示されるように、本実施の形態の画像処理装置１１Ｇは、管制センターなどの外部システムから無線伝送路または有線伝送路を介して遠隔制御信号を受信する受信部９１と、受信された遠隔制御信号ＲＣで指定された画像データＳ６を記憶装置９０から読み出す画像切替制御部９２と、当該画像データＳ６を画像信号Ｓ５に代えて表示装置２１に出力する出力画像切替部９３とを備えている。これにより、外部システムは、状況に応じて、表示装置２１に表示すべき画像を切り替えることができる。

なお、受信部９１が遠隔制御信号ＲＣに加えて画像データも受信する場合には、画像切替制御部９２は、記憶装置９０から画像データを読み出さずに、当該受信された画像データを出力画像切替部９３に供給してもよい。

管制センターなどの外部システムは、本実施の形態の路上映像情報システムを利用して表示システム２０での表示内容を制御することができる。たとえば、災害時などの緊急事態の発生時に、避難誘導などのための情報提供を想定して、管制センターから任意内容の画像表示を行うことが可能となる。また、管制センターは、死角領域において事故が発生し、通行が不可能となった場合には、進入禁止の旨を表示システム２０に表示させることも可能である。

なお、本実施の形態の画像処理装置１１Ｇは、上記実施の形態４のデータ配信部８０、上記実施の形態５の省電力制御部８４及び上記実施の形態６のデータ蓄積制御部８６の少なくとも１つを有していてもよい。

実施の形態８．
次に、本発明に係る実施の形態８について説明する。図１６は、実施の形態８の路上映像情報システム１Ｂの概略構成を示す図であり、図１７は、実施の形態８の路上映像情報システム１Ｂの機能ブロック図である。この路上映像情報システム１Ｂは、２台の撮像装置３１，３２からなる撮像システム３０と、これら撮像装置３１，３２で取得された撮像画像を処理する画像処理装置１６，１７，１８，１９と、画像処理装置１６，１７，１８，１９から出力される画像をそれぞれ表示する４台の表示装置２６，２７，２８，２９からなる表示システム２０Ｂとを備えて構成される。

図１６に示されるように、撮像装置３１，３２は、車両（たとえば、自動車，自動二輪車または自転車）などの動体が走行する４本の走行路２Ａ，２Ｂ，２Ｃ，２Ｄの合流地点Ｃｐの近傍に配置されている。本実施の形態では、合流地点Ｃｐは、十字形の交差点であるが、これに限定されるものではない。これら走行路２Ａ，２Ｂ，２Ｃ，２Ｄの配置は、図１に示した実施の形態１の路上映像情報システム１が設置される走行路２Ａ，２Ｂ，２Ｃ，２Ｄの配置と同じである。

撮像装置３１は、第３地点Ｐｃと第４地点Ｐｄとを含む撮像画角と撮像範囲ＣＡ１とを有し、撮像範囲ＣＡ１の動画像を表す画像信号Ｓ１を画像処理装置１６，１７，１８，１９に供給する。一方、撮像装置３２は、第１地点Ｐａと第２地点Ｐｂとを含む撮像画角と撮像範囲ＣＡ２とを有し、この撮像範囲ＣＡ２の動画像を表す画像信号Ｓ２を画像処理装置１６，１７，１８，１９に供給する。

画像処理装置１６は、画像信号Ｓ１，Ｓ２を処理して、第３地点Ｐｃの局所的な路上領域画像と第４地点Ｐｄの局所的な路上領域画像とが統合された統合画像（動画像）を生成し、この統合画像を表示装置２６に供給する。表示装置２６は、第３地点Ｐｃの方向と第４地点Ｐｄの方向とを向いた画像表示面２６ｃｄを有しており、画像処理装置１６で生成された統合画像を画像表示面２６ｃｄに表示する。これにより、第３地点Ｐｃから表示装置２６を観測する者は、死角となる第４地点Ｐｄの路上領域画像を視認することができ、第４地点Ｐｄから表示装置２６を観測する者は、死角となる第３地点Ｐｃの路上領域画像を視認することができる。よって、従来のカーブミラーと同様に、画像表示面２６ｃｄに映されている画像がどの方向の死角領域の画像なのかを直感的に理解しやすい効果が得られる。

図１６に示されるように、画像処理装置１６は、画像信号Ｓ１，Ｓ２を処理する画像処理部１０１，１０２と、これら画像処理部１０１，１０２から出力された画像を統合して統合画像を生成する画像統合部１０３とを有する。表示装置２６の画像表示面２６ｃｄは、異なる指向性を有する複数の光学像をそれぞれ異なる方向へ出射する複数の表示画素群を有するものである。画像統合部１０３は、画像処理部１０１，１０２からそれぞれ出力される２つの画像を画像表示面２６ｃｄの２つの表示画素群にそれぞれ割り当てて統合画像を生成することができる。ここで、画像統合部１０３は、画像処理部１０１，１０２から出力される２つの画像の画素を間引く解像度変換を実行する必要がある。

図１８は、表示装置２６の表示画素群を概略的に示す図である。図１８に示されるように、奇数番目画素Ｐｏからなる第１の表示画素群は、光学像Ｌｃを出射し、偶数番目画素Ｐｅからなる第２の表示画素群は、光学像Ｌｃとは異なる方向へ進行する光学像Ｌｃを出射する。これにより、たとえば、図１９に示されるように、表示装置２６は、「Ａ」及び「Ｂ」という２つの文字画像を表示しているが、「Ａ」の文字画像は、奇数番目画素Ｐｏからなる表示画素群に割り当てられ、「Ｂ」の文字画像は、偶数番目画素Ｐｅからなる表示画素群に割り当てられるため、観察者３Ｃは、「Ａ」の文字画像のみを視認し、観察者３Ｃと異なる地点にいる観察者３Ｄは、「Ｂ」の文字画像のみを視認することができる。このような画像表示面２６ｃｄは、各表示画素が発する光に指向性を持たせるレンズないしは仕切りを画素ごとに設置することで実現することが可能である。

他の表示装置２７，２８，２９も、表示装置２６と同様に指向性を有する複数の光学像を出射し得る画像表示面２７ａｄ，２８ａｂ，２９ｂｃをそれぞれ有している。

画像処理装置１８は、画像処理装置１６と同様の構成を有する。画像処理装置１８は、画像信号Ｓ１，Ｓ２を処理して、第１地点Ｐａの局所的な路上領域画像と第２地点Ｐｂの局所的な路上領域画像とが統合された統合画像（動画像）を生成し、この統合画像を表示装置２８に供給する。表示装置２８は、第１地点Ｐａの方向と第２地点Ｐｂの方向とを向いた画像表示面２８ａｂを有しており、画像処理装置１８で生成された統合画像を画像表示面２６ｃｄに表示する。これにより、第１地点Ｐａから表示装置２８を観測する者は、死角となる第２地点Ｐｂの路上領域画像を視認することができ、第２地点Ｐｂから表示装置２８を観測する者は、死角となる第１地点Ｐａの路上領域画像を視認することができる。

一方、画像処理装置１７は、画像信号Ｓ１，Ｓ２を処理して、第１地点Ｐａの局所的な路上領域画像と第４地点Ｐｄの局所的な路上領域画像とが統合された統合画像（動画像）を生成し、この統合画像を表示装置２７に供給する。表示装置２７は、第１地点Ｐａの方向と第４地点Ｐｄの方向とを向いた画像表示面２７ａｄを有しており、画像処理装置１７で生成された統合画像を画像表示面２７ａｄに表示する。これにより、第１地点Ｐａから表示装置２７を観測する者は、死角となる第４地点Ｐｄの路上領域画像を視認することができ、第４地点Ｐｄから表示装置２７を観測する者は、死角となる第１地点Ｐａの路上領域画像を視認することができる。

図１７に示されるように、画像処理装置１７は、画像信号Ｓ１，Ｓ２を処理する画像処理部１０５，１０６と、これら画像処理部１０５，１０６から出力された画像を統合して統合画像を生成する画像統合部１０７とを有する。

画像処理装置１９は、画像処理装置１７と同様の構成を有する。画像処理装置１９は、画像信号Ｓ１，Ｓ２を処理して、第２地点Ｐｂの局所的な路上領域画像と第３地点Ｐｃの局所的な路上領域画像とが統合された統合画像（動画像）を生成し、この統合画像を表示装置２９に供給する。表示装置２９は、第２地点Ｐｂの方向と第３地点Ｐｃの方向とを向いた画像表示面２９ｂｃを有しており、画像処理装置１９で生成された統合画像を画像表示面２９ｂｃに表示する。これにより、第２地点Ｐｂから表示装置２９を観測する者は、死角となる第３地点Ｐｃの路上領域画像を視認することができ、第３地点Ｐｃから表示装置２９を観測する者は、死角となる第２地点Ｐｂの路上領域画像を視認することができる。

次に、画像処理装置１６，１８の構成及び動作について説明する。図２０は、実施の形態８の画像処理装置１６の構成を概略的に示す機能ブロック図である。他の画像処理装置１８の基本構成は、画像処理装置１６の基本構成と同じである。図２０に示されるように、画像処理装置１６は、画像処理部１０１，１０２と、これら画像処理部１０１，１０２から出力された画像を統合して統合画像を生成し、この統合画像を表す画像信号Ｓ６を出力する画像統合部１０３とを有する。

画像処理部１０１は、画像切出部５８Ａ、画像解析部４２Ａ、画像抽出部４３Ａ、色補正パラメータ算出部４４Ａ、画像補正部４５Ａ、画像出力部４６Ａ、表示領域検出部４７Ａ及び外光補正パラメータ算出部４８Ａを有する。画像切出部５８Ａは、画像信号Ｓ１で表される撮像画像から第３地点Ｐｃの路上領域画像を切り出し、当該路上領域画像を表す画像信号Ｓ３ａを、画像補正部４５Ａ、画像解析部４２Ａ、画像抽出部４３Ａ及び画像処理部１０２の画像抽出部４３Ｂに出力する。ここで、切り出された路上領域画像は、解像度変換により表示装置の水平解像度に合わせて拡大または縮小される。

画像解析部４２Ａ、画像抽出部４３Ａ、色補正パラメータ算出部４４Ａ、画像補正部４５Ａ、画像出力部４６Ａ、表示領域検出部４７Ａ及び外光補正パラメータ算出部４８Ａは、上記実施の形態２の画像解析部４２Ｅ、画像抽出部４３、色補正パラメータ算出部４４、画像補正部４５、画像出力部４６、表示領域検出部４７及び外光補正パラメータ算出部４８とそれぞれ同様の構成を有している。ただし、表示領域検出部４７Ａは、画像信号Ｓ２で表される撮像画像に現れる複数台の表示装置の中から特定の表示装置２６の画像表示面２６ｃｄを検出する機能を有し、当該検出結果の画像を表す画像信号Ｓ２Ｄａを外光補正パラメータ算出部４８Ａに供給する。

一方、画像処理部１０２は、画像切出部５８Ｂ、画像解析部４２Ｂ、画像抽出部４３Ｂ、色補正パラメータ算出部４４Ｂ、画像補正部４５Ｂ、画像出力部４６Ｂ、表示領域検出部４７Ｂ及び外光補正パラメータ算出部４８Ｂを有する。画像切出部５８Ｂは、画像信号Ｓ１で表される撮像画像から第４地点Ｐｄの路上領域画像を切り出し、当該路上領域画像を表す画像信号Ｓ３ｂを、画像補正部４５Ｂ、画像解析部４２Ｂ、画像抽出部４３Ｂ及び画像処理部１０１の画像抽出部４３Ａに出力する。ここで、切り出された路上領域画像は、解像度変換により表示装置の水平解像度に合わせて拡大または縮小される。

画像解析部４２Ｂ、画像抽出部４３Ｂ、色補正パラメータ算出部４４Ｂ、画像補正部４５Ｂ、画像出力部４６Ｂ、表示領域検出部４７及び外光補正パラメータ算出部４８は、上記実施の形態２の画像解析部４２Ｅ、画像抽出部４３、色補正パラメータ算出部４４、画像補正部４５、画像出力部４６、表示領域検出部４７及び外光補正パラメータ算出部４８と同様の構成を有している。ただし、表示領域検出部４７Ｂは、画像信号Ｓ２で表される撮像画像に現れる複数台の表示装置の中から特定の表示装置２６の画像表示面２６ｃｄを検出する機能を有し、当該検出結果の画像を表す画像信号Ｓ２Ｄｂを外光補正パラメータ算出部４８Ｂに供給する。

次に、画像処理装置１７，１９の構成及び動作について説明する。図２１は、実施の形態８の画像処理装置１７の構成を概略的に示す機能ブロック図である。他の画像処理装置１９の基本構成は、画像処理装置１７の基本構成と同じである。

画像処理部１０５は、画像切出部５８Ｄ、画像解析部４２Ｄ、画像抽出部４３Ｄ、色補正パラメータ算出部４４Ｄ、画像補正部４５Ｄ、画像出力部４６Ｄ、表示領域検出部４７Ｄ及び外光補正パラメータ算出部４８Ｄを有する。画像切出部５８Ｄは、画像信号Ｓ１で表される撮像画像から第４地点Ｐｄの路上領域画像を切り出し、当該路上領域画像を表す画像信号Ｓ３ｄを、画像補正部４５Ｄ、画像解析部４２Ｄ、画像抽出部４３Ｄ及び画像処理部１０６に出力する。ここで、切り出された路上領域画像は、解像度変換により表示装置の水平解像度に合わせて拡大または縮小される。

画像解析部４２Ｄ、画像抽出部４３Ｄ、色補正パラメータ算出部４４Ｄ、画像補正部４５Ｄ、画像出力部４６Ｄ、表示領域検出部４７Ｄ及び外光補正パラメータ算出部４８Ｄは、上記実施の形態２の画像解析部４２Ｅ、画像抽出部４３、色補正パラメータ算出部４４、画像補正部４５、画像出力部４６、表示領域検出部４７及び外光補正パラメータ算出部４８とそれぞれ同様の構成を有している。ただし、画像抽出部４３Ｄは、画像信号Ｓ３ｄと、画像処理部１０６で生成された画像信号Ｓ３ｅとを入力として画像抽出処理を実行する。

一方、画像処理部１０６は、画像切出部５８Ｅ、画像解析部４２Ｅ、画像抽出部４３Ｅ、色補正パラメータ算出部４４Ｅ、画像補正部４５Ｅ、画像出力部４６Ｅ、表示領域検出部４７Ｅ及び外光補正パラメータ算出部４８Ｅを有する。画像切出部５８Ｅは、画像信号Ｓ２で表される撮像画像から第１地点Ｐａの路上領域画像を切り出し、当該路上領域画像を表す画像信号Ｓ３ｅを、画像補正部４５Ｅ、画像解析部４２Ｅ、画像抽出部４３Ｅ及び画像処理部１０５に出力する。ここで、切り出された路上領域画像は、解像度変換により表示装置の水平解像度に合わせて拡大または縮小される。

画像解析部４２Ｄ、画像抽出部４３Ｄ、色補正パラメータ算出部４４Ｄ、画像補正部４５Ｄ、画像出力部４６Ｄ、表示領域検出部４７Ｄ及び外光補正パラメータ算出部４８Ｄは、上記実施の形態２の画像解析部４２Ｅ、画像抽出部４３、色補正パラメータ算出部４４、画像補正部４５、画像出力部４６、表示領域検出部４７及び外光補正パラメータ算出部４８とそれぞれ同様の構成を有している。ただし、画像抽出部４３Ｅは、画像信号Ｓ３ｅと、画像処理部１０５で生成された画像信号Ｓ３ｄとを入力として画像抽出処理を実行する。

以上に説明したように実施の形態８の路上映像情報システム１Ｂも、上記実施の形態１と同様の効果を奏することができる。

実施の形態１〜８の変形例．
以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、上記実施の形態１〜８は、２台の撮像装置３１，３２の使用を前提としていたが、１台の撮像装置を用いる構成に変更することが可能である。

上記実施の形態１〜８の路上映像情報システムの設置場所は、いずれも、４本の走行路２Ａ，２Ｂ，２Ｃ，２Ｄの合流地点Ｃｐ付近であるが、これに限定されるものではない。上記実施の形態１〜８の路上映像情報システムの全部または一部を、たとえば、見通しの悪いカーブを含む走行路の近傍に、または、３本の走行路が１地点に合流するＴ字路もしくはＹ字路の近傍に設置してもよい。

また、画像処理装置１１，１１Ｂ〜１１Ｇ，１２，１３，１４，１６，１７，１８，１９は、たとえば、ＬＳＩなどのハードウェアで構成することができる。

１，１Ｂ 路上映像情報システム、 ２Ａ〜２Ｄ 走行路、 １１，１１Ｂ〜１１Ｇ，１２〜１４，１６〜１９ 画像処理装置、 ２０，２０Ｂ 表示システム、 ２１〜２４，２６〜２９ 表示装置、 ３０ 撮像システム、 ３１，３２ 撮像装置、 ４１ 画像合成部、 ４２，４２Ｃ，４２Ａ，４２Ｂ 画像解析部、 ４３ 画像抽出部、 ４４ 色補正パラメータ算出部、 ４５ 画像補正部、 ４６，４６Ｃ 画像出力部、 ４７ 表示領域検出部、 ４８ 外光補正パラメータ算出部、 ４９ 撮像条件制御部、 ５１ 動き検出部、 ５２ 動体検出部、 ５３ 動体分類部、 ５４ 加速度検出部、 ５５ 脅威度算出部、 ５６ 行動解析部、 ５７ 交通解析部、 ５８Ａ，５８Ｂ，５８Ｄ，５８Ｅ 画像切出部、 ６１ 雑音低減部、 ６２ 鮮鋭度改善部、 ６３ 画像色補正部、 ６４ 映り込み補正部、 ６５ 明度補正部、 ６６ 画像歪み補正部、 ６７ 解像度変換部、 ６８ 動画特性調整部、 ７１ 画像重畳部、 ７２，７２Ｃ 付加画像生成部、 ８０ データ配信部、 ８１ データ配信制御部、 ８２ 送信部、 ８４ 省電力制御部、 ８６ データ蓄積制御部、 ８７，９０ 記憶装置、 ９１ 受信部、 ９２ 画像切替制御部、 ９３ 出力画像切替部、 １０１，１０２，１０５，１０６ 画像処理部、 １０３，１０７ 画像統合部。

Claims (24)

1. 動体が走行する走行路の近傍に配置され、前記走行路上の所定地点に対して死角となる死角領域を撮像する撮像システムと、前記撮像システムで取得された撮像画像を処理する画像処理装置と、前記画像処理装置から出力される画像を前記所定地点に向けて表示する表示システムとを備えた路上映像情報システムであって、
   前記画像処理装置は、
   前記撮像画像から前記動体を含まない局所領域の画像を参照色画像として抽出する画像抽出部と、
   前記参照色画像の色情報に基づいて、前記撮像画像の色の適正な色からのずれを示す色補正パラメータを算出する色補正パラメータ算出部と、
   前記色補正パラメータに従って前記撮像画像を補正する画像色補正部と、
   前記画像色補正部で補正された画像を出力する画像出力部と
   を有することを特徴とする路上映像情報システム。
2. 請求項１に記載の路上映像情報システムであって、
   前記撮像システムは、前記死角領域のうち互いに異なる複数の路上領域をそれぞれ撮像する複数台の撮像装置を含み、
   前記画像処理装置は、前記複数台の撮像装置でそれぞれ取得された複数の路上領域画像が並列に配列された合成画像を生成する画像合成部をさらに有し、
   前記画像抽出部は、前記複数の路上領域画像から互いに同種の複数の被写体の画像を前記参照色画像としてそれぞれ抽出し、
   前記色補正パラメータ算出部は、前記複数の被写体の画像間の色ずれを示すパラメータを前記色補正パラメータとして算出し、
   前記画像色補正部は、前記色補正パラメータに従って前記複数の路上領域画像の少なくとも１つを補正して前記色ずれを低減させる
   ことを特徴とする路上映像情報システム。
3. 請求項２に記載の路上映像情報システムであって、前記複数の被写体は、同一の撮像環境下では共通の色及び輝度を有することを特徴とする路上映像情報システム。
4. 動体が走行する走行路の近傍に配置され、前記走行路上の互いに異なる位置に設定された複数の観測地点に対してそれぞれ死角となる複数の路上領域を撮像する複数台の撮像装置からなる撮像システムと、前記複数台の撮像装置でそれぞれ取得された複数の路上領域画像を処理する画像処理装置と、前記画像処理装置から出力される画像を表示する表示システムとを備えた路上映像情報システムであって、
   前記表示システムは、当該表示システムから前記複数の観測地点の方向へ複数の光学像をそれぞれ出射する複数の表示画素群からなる単一の画像表示面を有し、
   前記画像処理装置は、
   複数の画像処理部と、
   前記複数の画像処理部からそれぞれ出力される複数の画像から統合画像を生成し、前記統合画像を前記表示システムに出力する画像統合部と
   を有し、
   前記複数の画像処理部の各々は、
   前記複数台の撮像装置の中の当該対応する撮像装置で取得された路上領域画像を入力画像とし、前記入力画像から前記動体を含まない局所領域の画像を参照色画像として抽出する画像抽出部と、
   前記参照色画像の色情報に基づいて、前記入力画像の色の適正な色からのずれを示す色補正パラメータを算出する色補正パラメータ算出部と、
   前記色補正パラメータに従って前記入力画像を補正する画像色補正部と、
   前記画像色補正部で補正された画像を前記画像統合部に出力する画像出力部と
   を含み、
   前記画像統合部は、前記複数の画像処理部からそれぞれ出力される複数の画像を前記複数の表示画素群にそれぞれ割り当てて前記統合画像を生成する
   ことを特徴とする路上映像情報システム。
5. 請求項４に記載の路上映像情報システムであって、
   前記画像抽出部は、前記複数台の撮像装置の中の当該対応する撮像装置以外の撮像装置で取得された路上領域画像を副入力画像とし、前記副入力画像と前記入力画像とから互いに同種の被写体の画像を前記参照色画像としてそれぞれ抽出し、
   前記色補正パラメータ算出部は、前記入力画像から抽出された当該被写体の画像と前記副入力画像から抽出された当該被写体の画像との間の色ずれを示すパラメータを前記色補正パラメータとして算出する
   ことを特徴とする路上映像情報システム。
6. 請求項１から５のうちのいずれか１項に記載の路上映像情報システムであって、
   前記画像抽出部は、前記参照色画像の色情報が予め定められた適合条件に合致するか否かを判定して、前記色情報が前記適合条件に合致しない場合には、前記参照色画像の不適合を示す情報を前記色補正パラメータ算出部に通知し、
   前記色補正パラメータ算出部は、前記画像抽出部からの当該情報の通知に応じて、前記色補正パラメータを算出せずに、過去に算出済みの有効な色補正パラメータを前記画像色補正部に供給し、
   前記画像色補正部は、当該有効な色補正パラメータに従って前記撮像画像を補正する
   ことを特徴とする路上映像情報システム。
7. 請求項１から６のうちのいずれか１項に記載の路上映像情報システムであって、前記画像抽出部は、前記撮像システムで取得された撮像画像から、前記走行路の路面及び上空の少なくとも一方の画像を前記参照色画像として抽出することを特徴とする路上映像情報システム。
8. 請求項１から７のうちのいずれか１項に記載の路上映像情報システムであって、
   前記画像処理装置は、前記撮像システムの撮像条件を制御するカメラパラメータを生成する撮像条件制御部をさらに有し、
   前記撮像条件制御部は、前記色補正パラメータに基づいて前記カメラパラメータを生成し前記撮像システムに供給する
   ことを特徴とする路上映像情報システム。
9. 請求項１から８のうちのいずれか１項に記載の路上映像情報システムであって、
   前記撮像システムの撮像範囲は、前記表示システムの画像表示面を含み、
   前記画像処理装置は、
   前記撮像システムで取得された撮像画像に現れる当該画像表示面を検出する表示領域検出部と、
   当該検出された画像表示面の画像に含まれる外光成分を低減させる外光補正パラメータを算出する外光補正パラメータ算出部と、
   前記外光補正パラメータに従って前記撮像画像を補正する映り込み補正部と
   をさらに有することを特徴とする路上映像情報システム。
10. 請求項９に記載の路上映像情報システムであって、前記外光補正パラメータ算出部は、当該検出された画像表示面の彩度を算出し、当該算出された彩度に基づいて前記外光補正パラメータを算出することを特徴とする路上映像情報システム。
11. 請求項９または１０に記載の路上映像情報システムであって、前記表示領域検出部は、画像パターンを用いたパターンマッチングにより前記画像表示面を検出し、前記画像パターンを更新することを特徴とする路上映像情報システム。
12. 請求項９から１１のうちのいずれか１項に記載の路上映像情報システムであって、
    前記表示システムは、複数台の表示装置を有し、
    前記画像出力部は、前記画像色補正部で補正された画像を前記複数台の表示装置のうちの特定の表示装置に出力し、
    前記表示領域検出部は、前記特定の表示装置の位置情報に基づいて、前記複数台の表示装置の画像表示面の中から前記特定の表示装置の画像表示面を検出する
    ことを特徴とする路上映像情報システム。
13. 請求項９から１２のうちのいずれか１項に記載の路上映像情報システムであって、
    前記画像処理装置は、前記撮像システムの撮像条件を制御するカメラパラメータを生成する撮像条件制御部をさらに有し、
    前記撮像条件制御部は、前記色補正パラメータ及び前記外光補正パラメータに基づいて前記カメラパラメータを生成し前記撮像システムに供給する
    ことを特徴とする路上映像情報システム。
14. 請求項１から１３のうちのいずれか１項に記載の路上映像情報システムであって、
    前記画像処理装置は、前記撮像画像を解析して当該撮像画像に現れる動体を検出する画像解析部をさらに有し、
    前記画像出力部は、前記画像解析部による解析結果に応じた所定の情報を表す付加画像を、前記画像色補正部で補正された画像に重畳して重畳画像を生成し、前記重畳画像を前記表示システムに出力する
    ことを特徴とする路上映像情報システム。
15. 請求項１４に記載の路上映像情報システムであって、
    前記画像解析部は、当該動体の動きを解析して当該動体の脅威度を算出し、
    前記画像出力部は、前記脅威度が所定の設定値を超えたとき、警告情報を表す付加画像を前記画像色補正部で補正された画像に重畳して前記重畳画像を生成する
    ことを特徴とする路上映像情報システム。
16. 請求項１４または１５に記載の路上映像情報システムであって、
    前記画像解析部は、当該動体の動きを解析して当該動体の異常行動を検知し、
    前記画像出力部は、前記異常行動の検知に応じて、警告情報を表す付加画像を前記画像色補正部で補正された画像に重畳して前記重畳画像を生成する
    ことを特徴とする路上映像情報システム。
17. 請求項１４から１６のうちのいずれか１項に記載の路上映像情報システムであって、
    前記画像解析部は、当該動体の動きに基づいて前記走行路上の交通状態を解析し、
    前記画像出力部は、当該解析結果に対応する画像を、前記画像色補正部で補正された画像に重畳して前記重畳画像を生成する
    ことを特徴とする路上映像情報システム。
18. 請求項１から１３のうちのいずれか１項に記載の路上映像情報システムであって、前記画像処理装置は、前記画像出力部から出力される画像のデータを外部機器に配信するデータ配信部をさらに有することを特徴とする路上映像情報システム。
19. 請求項１４から１８のうちのいずれか１項に記載の路上映像情報システムであって、
    前記画像処理装置は、前記画像出力部から出力される画像を含む配信データを外部機器に送信するデータ配信部をさらに有し、
    前記データ配信部は、前記画像解析部による解析結果を前記配信データに含めて前記外部機器に送信する
    ことを特徴とする路上映像情報システム。
20. 請求項１４から１８のうちのいずれか１項に記載の路上映像情報システムであって、
    前記表示システムは、通常動作モードと、前記通常動作モードよりも低い電力消費量で動作する省電力動作モードとのいずれか一方で動作し、
    前記画像処理装置は、前記画像解析部による解析結果に応じて、前記表示システムの動作モードを前記通常動作モード及び前記省電力動作モードの一方から他方へ切り替える消費電力制御部をさらに備える
    ことを特徴とする路上映像情報システム。
21. 請求項１から１３のうちのいずれか１項に記載の路上映像情報システムであって、
    転送されたデータを蓄積する記憶装置をさらに備え、
    前記画像処理装置は、前記画像出力部から出力される画像のデータを前記記憶装置に転送するデータ蓄積制御部をさらに有する
    ことを特徴とする路上映像情報システム。
22. 請求項１４から１８のうちのいずれか１項に記載の路上映像情報システムであって、
    転送されたデータを蓄積する記憶装置をさらに備え、
    前記画像処理装置は、前記画像出力部から出力される画像のデータとともに前記画像解析部による解析結果のデータを前記記憶装置に転送するデータ蓄積制御部をさらに有する
    ことを特徴とする路上映像情報システム。
23. 請求項１から２２のうちのいずれか１項に記載の路上映像情報システムであって、
    前記画像処理装置は、
    外部の伝送路を介して伝送された遠隔制御信号を受信する受信部と、
    前記表示システムに出力されるべき画像を、前記画像出力部から出力される画像から、前記遠隔制御信号で指定された画像に切り替える出力画像切替部と
    をさらに有することを特徴とする路上映像情報システム。
24. 請求項１から２３に記載の路上映像情報システムであって、前記撮像システムは、複数の前記走行路が合流する地点の近傍に配置されることを特徴とする路上映像情報システム。

Images