JP2013141209A - 画像霧除去装置及び画像霧除去方法 - Google Patents

Abstract

【課題】マルチフレーム画像を記憶することにより霧濃度基準点を探す又は霧濃度基準値を算出する画像範囲を増大させて、霧除去処理の正確性を向上させる画像霧除去装置を提供することを目的とする。
【解決手段】
本発明に係る画像霧除去装置１００は、撮像機の少なくとも一方向以上の駆動及び／又はズーミングを制御し、撮像機により連続的に撮像された複数の画像のＰＴＺ特徴データを記録し出力する撮像機コントローラ１０１と、連続的に撮像された複数の画像のうち直近の画像であって画像記憶パラメータである所定数のフレーム画像を、ＰＴＺ特徴データに基づいてパノラマ画像に加工する霧濃度基準推定領域生成手段１０２と、パノラマ画像の霧濃度基準値を算出する霧濃度基準算出手段１０３と、霧濃度基準値を用いて現在フレーム画像に対して霧除去処理を行う霧除去手段１０４と、を備えていることを特徴とする。
【選択図】図２

Description

本発明は、画像霧除去装置及び画像霧除去方法に関する。

大気要素により劣化した画像の可視度を増強することは、画像処理の分野で重要である。なお、上記大気要素には、霧、ヘイズ（比較的に薄い霧）及び煙塵（例えば砂嵐、燃焼が不十分な自動車から排出される排ガス、及び化学燃焼反応による煙霧）が含まれる。

大気要素は、液体状態又は固体状態で浮遊する浮遊粒子からなり、空気中において少なくとも一定範囲内に均一に分布し、そして、大気中を伝搬する光線に対し様々な影響（例えば遮蔽、散乱及び反射）を与えるという共通の特性を有している。以下、上記大気要素を霧と総称する。

天候が霧の場合、目標物のコントラスト、輝度及び色の何れにも歪みが生じ、撮像された画像の識別性を低下させる可能性がある。よって、観測者が画像から見たい目標物を識別し、目標物の境界及び色を確定することが非常に困難である。

一方、霧化画像に対して霧除去処理を行うことにより、画像の視覚効果を改善することができる。当該技術の代表的な応用場面として、屋外でのビデオ監視、車載されて自動撮像による画像採集、高空から撮像する遠隔監視等が挙げられる。これらの応用場面で、観測者は、撮像された画像情報が増加することなく、画像処理により目標物をより容易に識別できることを望んでいる。

また、霧が空気中に均一に分布されていても（霧の密度が均一）、画像中の位置が異なれば霧濃度も変化する。これは、景物（撮像される対象）と撮影レンズとの距離が変化するためである。景物と撮影レンズとの距離が長くなるほど、撮像範囲上における霧の濃度も高くなる。

現在、霧化画像の霧除去技術は、主に、ヒストグラム均等化方法と、大気モデルに基づく方法とに分けられる。

ヒストグラム均等化方法は、画像全体における霧濃度を均一なものと見なし、コントラストと飽和度とを増強することにより、視覚効果を向上させている。
ヒストグラム均等化方法の欠点は、同一画像中における異なる位置の霧濃度の相違に対応できないことにある。
また、ヒストグラム均等化方法の改善アルゴリズムでは、ヒストグラム均等化を利用した領域面積を縮小することにより、霧濃度の変化に適応する能力が向上している。ただし、改善アルゴリズムの演算量は莫大でブロック効果等が生じることがある。

一方、大気モデルに基づく方法では、まず霧による画像退化モデルを構築する。なお、画像退化モデルは、本来霧のない画像に、霧を作用させることにより霧化画像を生成する過程を数式で記述したものである。
霧が除去されていない初期カラー画像（つまり霧化画像）を既知の量として退化モデルの式に代入して、霧除去後のカラー画像の最適な推定値を算出する。以下、当該画像を、霧除去画像と称する。

ここで、「大気モデル」とは、大気中に浮遊粒子が存在する場合に、撮像機で画像を撮像し又は肉眼で物体を観察する光学原理をいう。「大気モデル」については、Ｓｒｉｎｉｖａｓａ Ｇ．ＮａｒａｓｉｍｈａｎとＳｈｒｅｅ Ｋ．Ｎａｙａｒより作成された論文（下記の非特許文献を参照）において記述されている。

大気モデルは、下記式（１）で示され、画像のＲＧＢの三つの色チャンネルに作用する。

式（１）中のＩ(Ｘ)は、入力画像であって、撮像機で撮像した霧付き画像又は肉眼で観察した霧付き画像（つまり霧化画像）を示す。Ｘ＝(ｘ，ｙ)は画像画素の座標を示す。Ｊ（Ｘ）は、物体からの反射光、つまり霧のない画像を示し、霧除去処理の結果の画像（つまり霧除去画像）である。Ａは、大気光値を示し、画像中において霧が最も濃い霧点に対する推定値である。なお、当該値は、画像中の霧濃度の範囲を決定し、その正確性は、直に画像全体における各画素上の霧除去の効果に影響を及ぼす。

最も濃い霧点は、ほとんどの場合に、画像中における地平線よりも上方であって地平線に極めて近い位置、又は仰角が大きくない空中に位置している。画像に上記のような部分が含まれない場合、異なるアルゴリズムで、依然として画像中の既存情報から大気光値を推定する必要がある。このようにして得られた霧濃度基準値は、通常、部分的な最適な解を得るに過ぎず、最もよい解とは言えない。

式（１）中のｔ（Ｘ）は、空気媒体の伝達関数であり、空中の浮遊粒子により散乱された後においても残存し、撮像機に到達する物体からの反射光の割合を示したものである。すなわち、当該伝達関数ｔ（Ｘ）は、物体からの反射光が、大気中でどの程度減衰した後に撮像機又は肉眼に到達できるかを示す０超１未満のスカラデータであり、画像中において画素ごとに一つのｔ(Ｘ)を有している。
以下、図１を参照しながら上記式(１)を具体的に説明する。

図１は、大気モデルの概念図である。図１の左側に図示される画像は、肉眼又は撮像機で観察した画像Ｉ（Ｘ）（つまり霧化画像）である。画像Ｉ（Ｘ）は、物体からの反射光が大気中の浮遊粒子により散乱した後においても残存する部分Ｊ（Ｘ）ｔ（Ｘ）と、太陽光が空中の浮遊粒子により散乱してなる大気環境光Ａ（１−ｔ（Ｘ））との二つの部分からなる。なお、式（１）における、空気媒体の伝達関数であるｔ（Ｘ）は、被写体（物体）と撮像機（肉眼）との距離を示す関数であり、具体的には下記式（２）で示される。

式（２）中、ｄ(Ｘ)は、画像における一つの物体点と撮像機との距離を示すため、ｔ（Ｘ）を「距離パラメータ」とも称する。βは、大気散乱係数を示す定数である。
式（１）及び式（２）から分かるように、物体からの反射光が撮像機に到達する際の強さＪ（Ｘ）ｔ（Ｘ）は、物体と撮像機との距離ｄ（Ｘ）と反比例し、距離が長いほど光線の減衰が大きくなる。大気環境光が撮像機に到達する際の強さＡ（１−ｔ（Ｘ））は、距離ｄ（Ｘ）と正比例し、距離が遠いほど光線が強くなるので、無限に遠いところが白色をなす。

また、大気モデルに基づく霧除去アルゴリズムでは、一つの霧付き画像Ｉ（Ｘ）を得た場合に、ｔ（Ｘ）と大気光値Ａを算出した後、式（１）により霧除去した結果の画像Ｊ（Ｘ）（つまり霧除去画像）を得ると簡単に処理できる。

画像退化モデルに関し、変数の数が方程式の数より多いので、様々な条件を代入して解を有することができる。そのため、多くの学者は、各種の仮説を方程式の付加条件として代入して画像退化モデルの全てのパラメータを推定することにより、霧除去画像の最適な推定値を求める。

同一のアルゴリズムでは、算出された大気光値Ａの正確性は、大気光値点が所在する位置の理想的度合に依存する。つまり、画像に含まれる地平線と天空が多いほど、最適な大気光値Ａを得る可能性が大きくなる。

Ｖｉｓｉｏｎ ａｎｄ ｔｈｅ Ａｔｍｏｓｐｈｅｒｅ》（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎｅｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、２００１）

ところで、今まで上記退化モデルのパラメータを算出する方法が開示されているが、演算量が非常に多い。特に、ビデオ画像の処理を主とする監視分野において、リアルタイムで霧除去効果を実現するために、１秒単位２５フレームを超える画像を処理する必要があり、この処理に対する演算量は非常に多い。そのため、霧除去処理の演算量の低減と霧除去速度の向上とが非常に望まれている。

また、大気モデルに基づく霧除去方法と霧除去装置の性能は、基本的に算出された大気光値（又は霧濃度基準推定値）に非常に依存する。また、画像中において理想的な霧濃度基準推定領域がない場合に、正確な大気光値（又は霧濃度基準推定値）を得ることができない。

本発明は、マルチフレーム画像を記憶することにより霧濃度基準点を探す画像範囲又は霧濃度基準値を算出する画像範囲を増大させて、霧除去処理の正確性を著しく向上させる画像霧除去装置及び対応の霧除去方法を提供することを目的とする。

この目的に達成するために、本発明は、撮像機により撮像された画像に対して霧除去処理を行う画像霧除去装置であって、前記撮像機の少なくとも一方向以上の駆動及び／又はズーミングを制御し、前記撮像機により連続的に撮像された複数の画像のＰＴＺ特徴データを記録し出力する撮像機コントローラと、前記連続的に撮像された複数の画像のうち直近の画像であって画像記憶パラメータである所定数のフレーム画像を、前記ＰＴＺ特徴データに基づいてパノラマ画像に加工する霧濃度基準推定領域生成手段と、前記パノラマ画像の霧濃度基準値を算出する霧濃度基準算出手段と、前記霧濃度基準値を用いて現在フレーム画像に対して霧除去処理を行う霧除去手段と、を備えていることを特徴とする。

本発明の一つの実施形態では、前記霧濃度基準推定領域生成手段は、前記連続的に撮像された複数の画像のうち直近の画像であって画像記憶パラメータである所定数のフレーム画像を記憶する第１の記憶手段と、前記第１の記憶手段における各フレーム画像のＰＴＺ特徴データを記憶する第２の記憶手段と、前記第２の記憶手段におけるＰＴＺ特徴データを用いて前記第１の記憶手段における前記フレーム画像を前記パノラマ画像に加工するパノラマ画像生成手段と、を備えていることを特徴とする。

本発明の一つの実施形態では、前記霧濃度基準推定領域生成手段は、前記画像記憶パラメータの値を設定し、前記画像記憶パラメータの値が固定値である、ことを特徴とする。

本発明の一つの実施形態では、前記霧濃度基準推定領域生成手段は、調節可能な前記画像記憶パラメータの値を初期化し、前記霧濃度基準推定領域生成手段は、前記霧濃度基準算出手段により算出された霧濃度基準値を記憶する第３の記憶手段と、前記画像記憶パラメータを調節する必要があるか否か、及びどのように前記画像記憶パラメータを調節するかを判定する画像記憶パラメータ計算手段とをさらに備えていることを特徴とする。

本発明の一つの実施形態では、前記画像記憶パラメータ計算手段は、前記現在フレーム画像の霧濃度基準値と直前フレーム画像の霧濃度基準値を比較し、前記現在フレーム画像の霧濃度基準値と前記直前フレーム画像の霧濃度基準値との差が予め設定された閾値以上であれば、前記画像記憶パラメータの値を減少させ、前記現在フレーム画像の霧濃度基準値と前記直前フレーム画像の霧濃度基準値との差が前記予め設定された閾値未満であれば、前記画像記憶パラメータの値を増大させる、ことを特徴とする。

本発明の一つの実施形態では、前記画像記憶パラメータ計算手段は、前記現在フレーム画像の霧濃度基準値と予め設定された第１の閾値及び予め設定された前記第１の閾値未満である第２の閾値とを比較し、前記現在フレーム画像の霧濃度基準値が前記第１の閾値以上であれば、前記画像記憶パラメータの値を減少させ、前記現在フレーム画像の霧濃度基準値が前記第２の閾値未満であれば、前記画像記憶パラメータの値を増大させる、ことを特徴とする。

本発明の一つの実施形態では、前記画像記憶パラメータ計算手段は、前記現在フレーム画像の霧濃度基準値と天候状況の履歴データ及び／又は少なくとも当日の天候予測が記録されているルックアップテーブルに基づき前記画像記憶パラメータの値を調節する、ことを特徴とする。

本発明の一つの実施形態では、前記霧濃度基準推定領域生成手段は、前記画像記憶パラメータの値の上限値と下限値を設定する、ことを特徴とする。

本発明の一つの実施形態では、前記霧濃度基準推定領域生成は、前記パノラマ画像において霧濃度基準理想的推定領域を識別する霧濃度基準理想的推定領域識別手段をさらに備え、前記霧濃度基準理想的推定領域が存在している場合に前記画像記憶パラメータの値の上限値を第１の上限値に設定し、前記霧濃度基準理想的推定領域が存在していない場合に前記画像記憶パラメータの値の上限値を前記第１の上限値より小さい第２の上限値に設定する、ことを特徴とする。

本発明の一つの実施形態では、前記霧濃度基準推定領域生成手段は、前記霧濃度基準理想的推定領域の位置情報を記憶する第４の記憶手段をさらに備え、前記霧濃度基準推定領域生成手段は、前記霧濃度基準理想的推定領域の撮像を行う旨のユーザ指令を受け付けた時に、前記霧濃度基準理想的推定領域の位置情報に基づき、前記霧濃度基準理想的推定領域を自発的に撮像するよう前記撮像機を制御する、ことを特徴とする。

本発明は、撮像機により撮像された画像に対して霧除去処理を行う画像霧除去方法であって、画像記憶パラメータの値を設定するステップと、前記撮像機の少なくとも一方向の駆動及び／又はズーミングを制御し、連続した複数の画像を撮像するとともに撮像された画像のＰＴＺ特徴データを記録し出力するステップと、前記連続的に撮像された複数の画像のうち直近の画像である所定数のフレーム画像を前記ＰＴＺ特徴データに基づいてパノラマ画像に加工するステップと、前記パノラマ画像の霧濃度基準値を算出するステップと、前記霧濃度基準値を用いて現在フレーム画像に対して霧除去処理を行うステップと、を含むことを特徴とする。

本発明に係る画像霧除去方法又は画像霧除去装置は、以下の効果を有する。
１．特にビデオ画像序列の霧除去処理において、シングルフレーム画像に基づく霧除去アルゴリズムよりも正確な霧濃度基準値を推定することができる。
２．撮像機の通常の運行中であっても、撮像機の運転、特に撮像機のＰＴＺ調整に影響を与えることなく、霧濃度基準値の推定に必要なパラメータの調整を自動的に行うことができる。
３．本発明に係る霧濃度基準値を算出する過程は、大気モデルに基づくその他の方法と容易に組み合わせることができる。
４．本発明に係る方法又は装置は、ソフトウエア又はハードウエアにより容易に実現され、従来のソフトウエア又はハードウエアに比べて小さく変更することができる。

大気モデルを示す概念図である。 本発明の第１実施例に係る画像霧除去装置を示す概念的ブロック図である。 本発明の第１実施例に係る画像霧除去方法を示すフローチャートである。 ＰＴＺ特徴データと画像位置の概念的関係を示す図である。 非線形歪みを示す概念図である。 最大焦点距離時のＰＴＺ特徴データとパノラマ画像の概念的関係を示す図である。 焦点距離変化時にＰＴＺ特徴データからパノラマ画像を算出することを示す概念図である。 ビデオ画像序列を示す概念図である。 本発明の第２実施例に係る画像霧除去装置を示す概念的ブロック図である。 本発明の第２実施例に係る画像霧除去方法を示すフローチャートである。 本発明の第３実施例に係る画像霧除去装置を示す概念的ブロック図である。 本発明の第３実施例に係る画像霧除去方法を示すフローチャートである。 本発明の第４実施例に係る画像霧除去装置を示す概念的ブロック図である。

以下、図面を参照しながら本発明の実施例を詳述する。
まず、図２と図３を参照しながら、本発明に係る画像霧除去装置と画像霧除去方法の基本的原理を説明する。図２は本発明の第１実施例に係る画像霧除去装置を示す構造ブロック図である。図３は第１実施例に係る画像霧除去方法のステップを示すフローチャート図である。

本発明は、マルチフレーム画像を記憶することにより、霧濃度基準点を探す画像範囲又は霧濃度基準値を算出する画像範囲を増大させ、霧除去処理の正確性を著しく向上させるものである。
また、霧濃度基準点は、画像中における霧が最も濃い画素を示す。霧濃度基準値は、画像中における霧が最も濃い画素の値（ＲＧＢ）である。なお、従来技術で知られるいくつかの方法により、霧濃度基準値を計算又は推定することができる。

図２に示すように、第１実施例の画像霧除去装置１００は、撮像機コントローラ１０１と、霧濃度基準推定領域生成手段１０２と、霧濃度基準算出手段１０３と、霧除去手段１０４とを備えている。

撮像機コントローラ１０１は、撮像機の少なくとも一方向以上の駆動を制御することができる。撮像機が、例えば、監視分野において常用されるＰＴＺ撮像機の場合、撮像機コントローラ１０１は、ＰＴＺ撮像機を水平方向に駆動及び／又は垂直方向に駆動させることと、焦点距離を調節することができる。
なお、ＰＴＺ撮像機の水平方向の駆動には、水平方向への移動又は左右への回動が含まれる。また、ＰＴＺ撮像機の垂直方向の駆動には、垂直方向への移動又はピッチ回動が含まれる。

一方、撮像機コントローラ１０１は、撮像機が何れか１つのフレーム画像を撮像する時に、撮像機の水平駆動、垂直駆動及び焦点距離に関するデータ（例えば水平角、ピッチ角及び焦点距離）を記録し出力することができる。なお、これらデータを、以下、画像のＰＴＺ特徴データと称する。
撮像機コントローラ１０１は、撮像機により撮像可能な最大撮像範囲、つまり、前記ＰＴＺ特徴データの限界値を記憶し出力することができる。そのうち、前記ＰＴＺ特徴データの限界値は、通常、前記最大撮像範囲のエッジ領域に対応する。
ここで、前記最大撮像範囲を視野範囲と称する。また、視野範囲の画像は、全視野画像Ｐである。撮像機の駆動によって撮像機により撮像された何れか１つのフレーム画像は、全視野画像Ｐより小さく、全視野画像Ｐに含まれる。
なお、全視野画像Ｐは仮想の画像であり、撮像機によりある時刻に実際に撮像された画像ではない。

撮像機コントローラ１０１は、各フレーム画像のＰＴＺ特徴データに基づいて、撮像機の撮像可能な最大撮像範囲に対する各フレーム画像の相対的位置を確定させること、即ち、全視野画像Ｐに対する各フレーム画像の相対的位置（座標）を算出することができる。

霧濃度基準推定領域生成手段１０２は、記憶しているマルチフレーム画像に基づき霧濃度基準推定領域を生成する。霧濃度基準推定領域生成手段１０２は、第１の記憶手段１０５と、第２の記憶手段１０６と、パノラマ画像生成手段１０７とを備えている。

第１の記憶手段１０５は、連続的に撮像された複数の画像のうち直近の画像であるＦフレーム画像（Ｆ枚のフレーム画像）を記憶している。
即ち、現在フレーム画像（現在撮像しているフレーム画像）に加え、その前に連続的に撮像されたＦ−１フレーム画像（（Ｆ−１）枚のフレーム画像）も記憶している。

第２の記憶手段１０６は、各フレーム画像のＰＴＺ特徴データを記憶する。
パノラマ画像生成手段１０７は、各フレーム画像のＰＴＺ特徴データを用いて、第１の記憶手段１０５に記憶される各フレーム画像から一つのパノラマ画像を生成する。このパノラマ画像は、霧濃度基準推定領域に相当するものである。

霧濃度基準算出手段１０３は、霧濃度基準推定領域生成手段１０２により生成されたパノラマ画像の霧濃度基準値を計算して現在フレーム画像の霧濃度基準値とし、さらに、霧除去アルゴリズムに必要な他のパラメータ、例えば伝送画像を計算する。

霧除去手段１０４は、例えば図１と式（１）に示すような大気モデルに従って、算出された霧濃度基準値と、他のパラメータを用いて霧除去画像を算出する。以下、図３を参照しながら、画像霧除去装置１００が画像の霧除去を実施する過程を説明する。

まず、ステップＳ３０１において、記憶するフレーム画像数を決定する画像記憶パラメータＦの値を設定する。ここで、画像記憶パラメータＦの単位は枚（フレーム数）であり、画像記憶パラメータＦが設定された場合、現在フレーム画像に加え、現在フレーム画像よりも前に連続的に撮像されたＦ−１フレーム画像が記憶される。即ち、連続的に撮像されたフレーム画像のうち直近（最新）のＦ枚のフレーム画像を記憶し、それらより前のフレーム画像を記憶していないことになる。

次のステップＳ３０２において、霧除去処理を停止する旨の指令を受け付けたか否かを判定する。
ここで、前記停止指令を受け付けたと判定した場合は（「Ｙｅｓ」の場合）、画像霧除去装置の画像霧除去処理を停止し、本発明に係る画像霧除去方法を終了する。
一方、前記停止指令を受け付けていないと判定した場合は（「Ｎｏ」の場合）、ステップＳ３０３に処理が移行する。

次のステップＳ３０３において、撮像機が１フレーム画像（現在フレーム画像）を撮像して、霧濃度基準推定領域生成手段１０２と霧除去手段１０４とに現在フレーム画像を伝送する。
これにより、現在フレーム画像が、霧濃度基準推定領域生成手段１０２の第１の記憶手段１０５に記憶される。上記処理とともに、撮像機コントローラ１０１は、現在フレーム画像のＰＴＺ特徴データを記録するとともに、現在フレーム画像のＰＴＺ特徴データを霧濃度基準推定領域生成手段１０２の第２の記憶手段１０６に記憶させる。

次のステップＳ３０４において、記憶されているフレーム画像の数が設定された画像記憶パラメータＦより大きいか否かを判定する。

記憶されているフレーム画像の数が設定された画像記憶パラメータＦより大きいと判定した場合（「Ｙｅｓ」の場合）、第１の記憶手段１０５と第２の記憶手段１０６は、現在フレーム画像から第Ｆ枚目のフレーム画像及び第Ｆ枚目のフレーム画像より前に撮像された全ての画像、並びにそれらに対応するＰＴＺ特徴データを放棄する。
即ち、連続的に撮像された画像のうち直近（最新）のＦ枚のフレーム画像及びそれらに対応するＰＴＺ特徴データだけを保留する（Ｓ３０５）。
一方で、記憶されているフレーム画像の数が設定された画像記憶パラメータＦより小さいと判定した場合（「Ｎｏ」の場合）、ステップＳ３０６に処理が移行する。

次のステップＳ３０６において、パノラマ画像生成手段１０７が、第２の記憶手段１０６に記憶されているＰＴＺ特徴データを読み取るとともに、ＰＴＺ特徴データに基づき、全視野画像に対する画像の相対的位置（座標）を算出する。

そして、パノラマ画像生成手段１０７は、第１の記憶手段１０５に記憶されている画像を読み取るとともに、ＰＴＺ特徴データから算出された各フレーム画像の相対的位置（座標）に従って読み取った画像を配置する。

画像を配置した時に現れる重合部分に関して、時間的に比較的遅く撮像された画像のデータが、比較的早く撮像された画像のデータに代わる。これにより一つのパノラマ画像に加工される。

現在フレーム画像は、生成されたパノラマ画像に完全に保留されている。なお、他のフレーム画像は、パノラマ画像に完全に保留されていない可能性がある。
そのため、生成されたパノラマ画像は、一つの又は複数の空白となった領域を有する可能性がある。そのうち、空白となった複数の領域が現れた原因としては、ＰＴＺ撮像機の動作速度が非常に速いため、撮像された画像が空間的に重ならないことにある。
なお、従来技術として知られている方法、例えば直接加工、補間、擬似変換等により加工の隣接箇所を処理することができる。

次のステップＳ３０７において、霧濃度基準算出手段１０３は、霧濃度基準推定領域生成手段１０２により生成（加工）されたパノラマ画像に基づき霧濃度基準値を計算して、現在フレーム画像の霧濃度基準値とする。
霧濃度基準算出手段１０３は、現在フレーム画像の他のパラメータ、例えば伝達関数を計算することにより、若しくは、大気モデルに基づく方法を用いてることにより、画像霧除去を行うこともできる。
なお、複数種類ある既知の方法、例えばダークチャンネル法（Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ）等を用いて霧濃度基準値や他のパラメータを算出することができる。

次のステップＳ３０８において、例えば図１と式（１）に示すような大気モデルに従って、算出された霧濃度基準値と他のパラメータを用いて霧除去画像を算出する。

次に、前記画像霧除去方法は、ステップＳ３０２に戻り、上記したステップＳ３０２〜Ｓ３０８を繰り返して、次のフレーム画像に対して霧除去処理を行う。
これにより、前記画像霧除去方法は、霧除去処理を停止する旨の指令を受け付けるまで、繰り返し継続される。

図４を参照しながら、ＰＴＺ特徴データと画像位置との関係を概念的に説明する。
第１フレーム画像と第２フレーム画像は、それぞれ撮像機がピッチ角１とピッチ角２にある時に撮像された２つのフレーム画像である。
ピッチ角１とピッチ角２は、水平線に対し上側又は下側を向くように傾いている。同様に、水平角は、第１フレーム画像と第２フレーム画像との全視野画像に対する水平位置に影響を及ぼす。

上記例では、第１フレーム画像よりも、第２フレーム画像の方が焦点距離が小さいため、撮像している範囲が大きい。各フレーム画像のＰＴＺ特徴データは、通常、水平角とピッチ角と焦点距離という三つのパラメータを含むとともに、全視野画像に対する各フレーム画像の位置を一義的に決定することができ、逆に各フレーム画像からＰＴＺ特徴データを一義的に確定することもできる。

なお、図４に示すような全視野画像と画像の形状は、撮像機レンズによる非線形的な歪みを考慮していないが、ＰＴＺ特徴データと全視野画像に対する各フレーム画像の位置との一義的に決定できる関係に影響を及ぼさない。

図５は、前記非線形的な歪みを概念的に示した図である。図５に示すように、直線的な画像エッジであっても全視野画像に配置した時に直線的とならない。

図６は、最大焦点距離時のＰＴＺ特徴データとパノラマ画像の概念的関係を示している。撮像機ＰＴＺが運行（駆動）するとき、ブラケットにより支持された回転点でＰＴ動作、つまり左右回動とピッチ回動を行うと同時に、この回転点を通る直線上のＺ動作、つまり焦点距離を調節する動作を行う。
レンズ結像によって、撮像機の感光素子の分解能（画素数）は、最大焦点距離の時に撮像される画像の画面のサイズ、つまり図６に示すような領域ＡＢＣＤを決定する。
また、ＰＴ動作によって、領域ＡＢＣＤが空間上を移動し、撮像可能な最大面積は、空間上において一つの球面を構成し、球面の半径がｄとなる。

一方で、図６に示すように、水平視角がα１、垂直視角がα２と、ＰＴ動作が限られる場合、カバー可能な最大面積は当該球面の一部となる。なお、幾つかの特殊なレンズを有する撮像機は、他の撮像効果を生じ、他の空間的曲面、例えば柱面を得ることができるが、原理は同一である。
また、撮像機により撮像された画像は、通常、矩形、又はエッジが僅かに変形した矩形となっているが、領域ＡＢＣＤが空間上においてその位置が一義的に決定するため、領域ＡＢＣＤを加工さえすればパノラマ画像を得ることができる。

なお、従来技術では、いくつかの加工方法が開示されており、これらの方法は、通常、制御点の選択、擬似変換、及び補間等のステップを含む。例えばＲｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉの《Ｉｍａｇｅ ａｌｉｇｎｍｅｎｔ ａｎｄ ｓｔｉｔｃｈｉｎｇ》、Ｎ．Ｐａｒａｇｉｏｓらより編集した《Ｈａｎｄｂｏｏｋ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｍｏｄｅｌｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ》（第２７３〜２９２頁、Ｓｐｒｉｎｇｅｒ出版社、２００５）に言及されているいくつかの方法がある。

図７は焦点距離変化時にＰＴＺ特徴データからパノラマ画像を算出することを示す概念図である。
図６で示した場合と同様に、撮像機の焦点距離が最大のとき、対応するパノラマ画像の球面半径はＯＯ’（長さはｄ）である。
焦点距離を調節する場合において、焦点距離が最大焦点距離に達しない限り、対応する球面半径はｄ未満となる。なお、図７に示すＯＯ"は、半径がｄ’である。
ここで、画素数が変わらず、即ちＡＢＣＤ領域面積が変わらないが、水平視角がα１’＞α１、かつ垂直視角がα２’＞α２となるため、それにつれて空間において撮像される範囲が増大する。つまり、図７に示すように、半径がＯＯ’の球面上のより大きい領域Ａ’Ｂ’Ｃ’Ｄ’を撮像したことになる。

ここで、パノラマ画像は、最大焦点距離に対応する球面ＯＯ’上の画像である。
よって、投影計算過程により、ＡＢＣＤ画像における画素間に補間を行い、Ａ’Ｂ’Ｃ’Ｄ’をカバーしている補間後の画像を得る。
なお、補間の方法としては、複数種類の従来技術がある。また、焦点距離が最大値である場合には、撮像された画像の領域Ａ’Ｂ’Ｃ’Ｄ’を補間することなく得られる。つまり、ｄの値が求められている場合には、Ａ’Ｂ’Ｃ’Ｄ’は、補正する必要がない。
以上、空間球体上の複数の領域Ａ’Ｂ’Ｃ’Ｄ’を補正することによりパノラマ画像を生成することができる。
なお、パノラマ画像生成手段１０７で生成された画像の輪郭は必ずしも矩形ではなく、通常、不規則なものとなっている。

図８に示すように、ある時刻に撮像機が第１７フレーム画像（第１７枚目のフレーム画像）を撮像している。また、例えば、撮像機の駆動により、第１７フレーム画像は、その前に連続的に撮像された１６枚のフレーム画像とともに連続的に並び合わせてなる画像重ね合せを構成している。
その外包絡は、パノラマ画像生成手段１０７で生成されるパノラマ画像のエッジを構成する。

記憶しているマルチフレーム画像により生成されたパノラマ画像で撮像されている撮像範囲は、原則的に現在フレーム画像でカバーされている撮像範囲よりも小さくない。よって、霧濃度基準値を算出するにあたって、理想的な画像部分を含む確率を向上させることができる。

なお、前記した理想的な画像部分は、霧濃度基準理想的推定領域とも称し、通常、画像中における地平線よりも上方であって地平線に極めて近い位置、又は仰角が大きくない天空領域である。
つまり、霧が非常に濃く地平線以下の景物を遮蔽した状況以外、霧濃度基準値の計算又は推定を行うために地平線よりも上方の画像部分が必要となる。
例えば、図８では、現在フレームは第１７フレームであり、第１４フレーム画像以降の画像の撮像範囲は、地平線及びそれよりも上方の領域を含まないので、第１７フレーム画像だけを用いて霧濃度基準値を算出する場合には、間違った結果又は部分的に最適にすぎない解を得ることになる。

本発明によれば、記憶されているマルチフレーム画像を加工して得られたパノラマ画像が、第８フレーム画像から第１３フレーム画像までを含んで生成されるパノラマ画像であるため、地平線を含む領域を部分的にカバーしている。
そのため、第８フレーム画像以降の各フレーム画像については、地平線を含む領域のデータから算出された霧濃度基準値を用いることで、より信頼性が向上する。

また、第１の記憶手段１０５と第２の記憶手段１０６とは、それぞれ最新のＦフレーム画像と、最新のＦフレーム画像に対応するＰＴＺ特徴データだけを保留している。
よって、パノラマ画像生成手段１０４で生成されたパノラマ画像の範囲は、撮像機の駆動及び／又はズーミング操作による画像走査軌跡に関連するとともに、画像記憶パラメータＦのサイズにも関連することとなる。

例えば、図８に示す例によれば、Ｆ＝１７を設定した場合、パノラマ画像生成手段１０７で生成されたパノラマ画像は、第１フレーム画像から第１７フレーム画像で撮像される範囲をカバーしている。
Ｆ＝６を設定した場合、パノラマ画像生成手段１０７で生成されたパノラマ画像は、図８の斜線で示される範囲だけをカバーしている。

第１実施例に係る画像記憶パラメータＦの値は固定値である。また、画像記憶パラメータＦの値は、出荷時に設定、または本発明に係る装置を設置した後にユーザが設定できるようにしても良い。
また、画像記憶パラメータＦの値は、通常、比較的に大きく、例えば数百フレーム又は数千フレームに達するように設定しても良い。また、経験及び／又は具体的な天候状況に基づき画像記憶パラメータＦの値を設定するのが好ましい。

図９は、本発明の第２実施例に係る画像霧除去装置を示す概念的構成ブロック図である。図１０は、第２実施例に係る画像霧除去方法のステップを示すフローチャート図である。なお、第１実施例に係る画像霧除去装置及び画像霧除去方法と同一の構成について重複説明しない。第１実施例に係る画像霧除去装置及び画像霧除去方法との相違点のみ詳述する。

本発明の第２実施例に係る画像霧除去装置２００は、第１実施例に係る画像霧除去装置に比べて、第３の記憶手段１０８と画像記憶パラメータ計算手段１０９をさらに備えている。

第３の記憶手段１０８は、霧濃度基準算出手段１０３により算出された霧濃度基準値を記憶する。画像記憶パラメータ計算手段１０９は、画像記憶パラメータＦを調節する必要があるか否か、及びどのように画像記憶パラメータＦを調節するかを判定する。

画像記憶パラメータＦを調節する基本的な考え方について説明する。
霧が基本的に安定しているときに、撮像機により撮像された連続画像の各霧濃度基準値は著しく相違しない。一方、霧が変化するとき、撮像機により撮像された連続画像の各霧濃度基準値が変化する。そして、霧が変化する時に、時間的に比較的早く撮像された画像に基づき現在フレーム画像の霧濃度基準値を推定すると、著しい誤差を生じる可能性がある。よって、実際の霧濃度の変化状況に基づき、時間的に比較的早く撮像された画像を含まないように画像記憶パラメータＦを調節することで、上記する誤差を防止することができる。

第２実施例に係る画像霧除去方法は、ステップＳ８０１で、画像記憶パラメータＦの初期値を設定する他に、画像記憶パラメータＦの上下限範囲を設定する。
画像記憶パラメータＦの上下限範囲を設定する目的は、主にＦの減少や増大が合理的な範囲を超えること（例えば極端な場合として、Ｆが零まで減少し又は無限に増大すること）を防止することにある。

なお、第２実施例に係る画像霧除去方法のステップＳ８０２〜Ｓ８０７は、第１実施例に係る画像霧除去方法のステップＳ３０２〜Ｓ３０７と同一である。
ただし、ステップＳ８０７において、パノラマ画像に基づき霧濃度基準値を現在フレーム画像の霧濃度基準値として計算する点がＳ３０７と同じであるが、現在フレーム画像の霧濃度基準値をさらに第３の記憶手段１０８に伝送して、第３の記憶手段１０８に記憶させている点がＳ３０７と相違する。

次のステップＳ８０８において、画像記憶パラメータ計算手段１０９は、画像記憶パラメータＦを調節する必要があるか否か、及びどのように画像記憶パラメータＦを調節するかを判定する。なお、これは、以下の処理により実現することができる。

第１の処理は、実際の霧濃度の変化状況を判定するために、現在フレーム画像の霧濃度基準値Ｒ_Nと直前フレーム画像の霧濃度基準値Ｒ_N-1とを比較する。
Ｒ_NとＲ_N-1との差が、予め設定された正の値である閾値ΔＲ１以上であれば、Ｆを減少させ、Ｒ_NとＲ_Nとの差が前記予め設定された閾値ΔＲ１未満であれば、Ｆを増大させる。

例えば、Ｒ_N−Ｒ_N-1≧ΔＲ１の場合にＦ＝Ｆ−ΔＦ₁であり、Ｒ_N−Ｒ_N-1＜ΔＲ１の場合にＦ＝Ｆ＋ΔＦ₂である。なお、Ｆの減少量ΔＦ₁とＦの増大量ΔＦ₂は、等しくてもよく、又は等しくなくてもよい。
さらに、等しくない場合には、霧濃度の濃向き変化と淡向き変化に対する霧除去装置の異なる感度を表現させてもよい。ΔＦ₁とΔＦ₂の代表的な値として１〜１０が挙げられる。
また、ΔＲ１は、予め設定されたものであってもよく、また、履歴統計から設定されてもよい。代表的な値として１〜１０が挙げられる（画像記憶が８ビット、即ち画素輝度範囲が０〜２５５の時）。

第２の処理では、実際の霧濃度の変化状況を判定するために、現在フレーム画像の霧濃度基準値Ｒ_Nとその前に撮像されたフレーム画像の霧濃度基準値Ｒ_N-xとを比較する。
Ｒ_NとＲ_N-xとの差が予め設定された正の値である閾値ΔＲ２以上であれば、Ｆを減少させ、Ｒ_NとＲ_N-xとの差が前記予め設定された閾値ΔＲ２未満であれば、Ｆを増大させる。

ここで、ｘは、現在フレームの番号（順番）と前に撮像されたフレームの番号（順番）との差分であり、撮像機の画像撮像速度及び／又は具体的な撮像環境及び／又は具体的な天候状況に基づき予め設定することができる。
撮像のフレームレートに対して霧濃度の変化が非常に遅い場合、ｘを設定することは、非常に効果的である。
例えば、Ｒ_N−Ｒ_N-x≧ΔＲ２の場合にＦ＝Ｆ−ΔＦ₃であり、Ｒ_N−Ｒ_N-x＜ΔＲ２の場合にＦ＝Ｆ＋ΔＦ₄である。なお、Ｆの減少量ΔＦ₃とＦの増大量ΔＦ₄は、等しくてもよく、又は等しくなくてもよい。
さらに、等しくない場合には、霧濃度の濃向き変化と淡向き変化に対する霧除去装置の異なる感度を表現させてもよく、その場合のΔＦ₃とΔＦ₄の代表的な値は１〜１０である。なお、ΔＲ２は、予め設定されたものでも統計履歴からのものでもよく、代表的な値は１〜１０である（画像記憶が８ビット、即ち画素輝度範囲が０〜２５５の時）。

第３の処理では、霧濃度の実際の変化状況を判定するために、現在フレーム画像を含み連続的に撮像されたＭフレーム画像（Ｍ枚のフレーム画像）の霧濃度基準値の平均値ａｖｅ(Ｒ_N…Ｒ_N-M+1)と、その前に連続的に撮像されたＭフレーム画像（Ｍ枚のフレーム画像）の霧濃度基準値ａｖｅ(Ｒ_N-M…Ｒ_N-2M+1)とを比較する。

ａｖｅ(Ｒ_N…Ｒ_N-M+1)とａｖｅ(Ｒ_N-M…Ｒ_N-2M+1)との差が予め設定された閾値ΔＲ３以上であれば、Ｆを減少させ、ａｖｅ(Ｒ_N…Ｒ_N-M+1)とａｖｅ(Ｒ_N-M…Ｒ_N-2M+1)との差が前記予め設定された閾値ΔＲ３未満であれば、Ｆを増大させる。
ここで、Ｍは、画像撮像速度、具体的な撮像環境及び／又は具体的な天候状況に基づき予め設定することができる。または、前に連続的に撮像されたＭフレーム画像と後に連続的に撮像されたＭフレーム画像との間は、予め設定されたフレーム数を空けることができる。

第４の処理では、現在フレーム画像の霧濃度基準値Ｒ_Nと予め設定された第１の閾値Ｒ_F1及び予め設定された第２の閾値Ｒ_F2とを単純に比較してもよい。
Ｒ_NがＲ_F1以上であれば、Ｆを減少させ、Ｒ_NがＲ_F2未満であれば、Ｆを増大させる。ここで、Ｒ_F1はＲ_F2より大きくてもそれと等しくてもよい。また、Ｒ_F1とＲ_F2は、経験値に基づき予め設定してもよい。

ここで、第４の処理は、以下の見解に基づくものである。つまり、大気系の気象法則によって、霧濃度と霧濃度の変化速度とは、基本的に逆に変化する関係となる。言い換えれば、薄い霧又はヘイズは、長時間にわたって安定に存在し、逆に、霧が濃いほど短時間内に変化を生じやすい。

第５の処理では、現在フレーム画像の霧濃度基準値と一つのルックアップテーブルＬＵＴ（Ｌｏｏｋ−ｕｐ Ｔａｂｌｅ）に基づき画像記憶パラメータＦの調節を行う。なお、前記ルックアップテーブルＬＵＴは、一つの図示しない記憶手段に記憶させてもよい。
前記ルックアップテーブルＬＵＴには、天候状況（特に霧）の履歴データ及び／又は少なくとも当日の天候予測が記録されている。これにより、より柔軟で速やかに画像記憶パラメータＦを調節することができる。

画像記憶パラメータＦの上下限範囲は、経験値に基づき設定してもよく、履歴データの正規分布の標準偏差を数倍に設定してもよい。
また、当然ながら、画像記憶パラメータＦを増大又は減少させる場合の幅（変化量）について、上記第１の処理〜第４の処理における判断結果に適応させてもよい。
例えば、閾値との比較結果に適応させて、対応する閾値との差値に基づき調節画像記憶パラメータＦを増大又は減少する幅（変化量）を調節してもよい。

図１１は、本発明の第３実施例に係る画像霧除去装置３００を示す概念的構造ブロック図である。図１２は、フローチャートで本発明の第３実施例に係る画像霧除去方法のステップを示す。

第２実施例に係る画像霧除去装置と比較して、第３実施例に係る画像霧除去装置３００は、霧濃度基準理想的推定領域を識別する霧濃度基準理想的推定領域識別手段１１０をさらに備えている。なお、ここで第２実施例に係る画像霧除去装置及び画像霧除去方法と同一部分について説明しない。第２実施例に係る画像霧除去装置及び画像霧除去方法との相違点だけを詳述する。

第３実施例に係る画像霧除去装置及び画像霧除去方法は、ビデオ画像のテクスチャ変化に自己適応することで、より小さい画像記憶パラメータＦを実現するとともに計算オーバーヘッド（余分な計算処理）の低減を図るものである。

この基本的原理は、撮像機の運行時（この期間では、例えば回動及び／又はズーミングを行うことができる）に撮像された画像が霧濃度基準理想的推定領域を撮像していない場合、多くの無駄な画像を記憶してしまうとともに、算出された霧濃度基準値の何れもが部分的に最適な解に過ぎない。
このような場合に、画像記憶パラメータＦを大きく減少することで、記憶するデータ量を軽減することができ、同時に、パノラマ画像面積の減少によって、霧濃度基準値及び他の大気モデルパラメータの算出と霧除去画像の算出の時における計算オーバーヘッド（余分な計算処理）を低減することが可能となる。

本発明の第３実施例に係る画像霧除去方法は、図１２に示すように、第２実施例に係る画像霧除去方法とは異なる。
まず、ステップＳ１００１において、画像記憶パラメータＦの初期値と上下限範囲を設定する際に、選択可能な２つの値Ｆｍａｘ１とＦｍａｘ２のうち比較的に小さいＦｍａｘ２を上限値Ｆｍａｘとして選択する。
比較的に小さい上限値Ｆｍａｘ２は、パノラマ画像を構成する画像序列に霧濃度基準理想的推定領域が含まれない場合の最大画像記憶パラメータを示す。

なお、本発明の第３実施例に係る画像霧除去方法のステップＳ１００２〜Ｓ１００７とＳ１０１１〜Ｓ１０１２は、それぞれ第２実施例に係る画像霧除去方法のステップＳ８０２〜Ｓ８０９と同一であるため、説明を省略する。

ステップＳ１００８において、霧濃度基準理想的推定領域識別手段１１０は、パノラマ画像を構成するビデオ画像序列に霧濃度基準理想的推定領域が含まれていると識別した場合、ステップＳ１００９で、比較的に大きい上限値Ｆｍａｘ１を上限値Ｆｍａｘとして選択することにより、パノラマ画像において霧濃度基準理想的推定領域が存在する時間をより長くする。

一方で、ステップＳ１００８において、霧濃度基準理想的推定領域識別手段１１０は、パノラマ画像を構成するビデオ画像序列に霧濃度基準理想的推定領域が含まれていないと識別した場合、ステップＳ１０１０で、比較的に小さい上限値Ｆｍａｘ２を上限値Ｆｍａｘとして選択することにより、パノラマ画像において霧濃度基準理想的推定領域が存在する時間をより短くする。

ステップＳ１００８では、霧濃度基準理想的推定領域識別手段１１０は、例えば、画像色ブロックのサイズ、空間変化の速さ及び相対的位置等の特徴に基づき、画像の分割と識別を用いて地平線と天空領域を判定する方法と、予め設定された撮像機の運行パラメータ（主としては、水平揺動、垂直揺動及び焦点距離に関するデータ）の範囲に基づきパノラマ画像における霧濃度基準理想的推定領域を判定する方法である。
図８に示すように地平線（粗黒水平線）領域が霧濃度基準理想的推定領域であれば、対応するＰＴＺ特徴パラメータを算出することができる。
例えば、撮像機の運行過程で、地平線（粗黒水平線）領域に対応するＰＴＺ特徴パラメータが現れれば、霧濃度基準理想的推定領域が存在すると判定できる方法と、深度情報（距離情報）を取得し、無限遠を天空として識別するとともに無限遠領域の下境界を地平線として識別することにより、霧濃度基準理想的推定領域を確定する方法と、の複数種類の方法により霧濃度基準理想的推定領域を識別することができる。
また、撮像機の運行に合わせて撮像機により撮像された画像の各画素の対応の距離値を算出して、霧濃度基準理想的推定領域を確定する距離検出器をさらに設置するのが好ましい。

図１３は、本発明の第４実施例に係る画像霧除去装置を示す概念的構造ブロック図である。第４実施例に係る画像霧除去装置は、ユーザの撮像ニーズがない期間内に撮像機を操作することにより霧濃度基準理想的推定領域を捕捉する。
なお、ユーザの撮像ニーズがない期間とは、通常、撮像機又は撮像機システムが起動した後の短時間でもよい。または、ユーザがより正確な霧除去を実現するために自発的に設定した期間でもよい。

第３実施例に係る画像霧除去装置３００と比較すると、本発明の第４実施例に係る画像霧除去装置４００は、霧濃度基準理想的推定領域識別手段１１０に接続されている第４記憶手段１１１をさらに備えている。

前記する第４の記憶手段１１１には、（全視野画像に対する）霧濃度基準理想的推定領域の位置情報が記憶されている。ここで、前記位置情報は、ユーザにより予め設定された方式と、履歴データに基づき判定する方式と、のいずれかにより得られる。

ユーザにより予め設定された方式は、例えばＰＴＺ撮像機を設置した後に、ユーザにより対応する領域のＰＴＺ特徴パラメータを設定することにより前記位置情報を確定し、或いは撮像機又は撮像システムを起動したごとにユーザが撮像機を操作して前記位置情報を記録する、という方式である。

履歴データに基づき判定する方式は、例えば画像霧除去装置の運行過程において撮像機により霧濃度基準理想的推定領域が撮像された時に、対応のＰＴＺ特徴パラメータが第４の記憶手段１１１に記憶され、特にこれにより霧濃度基準理想的推定領域のＰＴＺ特徴パラメータに対応するデータベースを得る方式である。

霧濃度基準推定領域生成手段１０２が霧濃度基準理想的推定領域の撮像を行う旨のユーザ指令を受け付けたとき、霧濃度基準理想的推定領域識別手段１１０が撮像機コントローラ１０１に操作指令を発する。
そして、撮像機コントローラ１０１は、前記ユーザ指令に従って撮像機の水平位置と垂直位置とを調整するとともに、必要な場合には撮像機の焦点距離を調整することにより、霧濃度基準理想的推定領域を自発的に撮像する。

ここで、最も速い撮像に用いられるために現在フレーム画像のＰＴＺ特徴パラメータとの差が最小の霧濃度基準理想的推定領域を撮像してもよく、或いは、霧濃度基準理想的推定領域のＰＴＺ特徴パラメータに対応するデータベースのうち最も理想的な位置のＰＴＺ特徴パラメータに対応する領域を撮像してもよい。特に、以上のような実施例では、各フレーム画像を完全に保存せず、加工したパノラマ画像だけを保存することができる。
現在フレーム画像のＰＴＺ特徴データに基づき、現在フレーム画像と保存しているパノラマ画像から新規のパノラマ画像を得る。

次に、霧濃度基準算出手段１０３では、新規のパノラマ画像に基づき現在フレーム画像の霧濃度基準値を計算する。これにより、多くの記憶空間を節約することができる。
特に、以上のような実施例では、撮像機の姿勢と焦点距離が長時間にわたって変更していない場合、撮像された撮像範囲も変わらないよう保持され、ここで、直近の１フレーム画像だけを保存することができる。これにより、多くの記憶空間を節約することができる。

以上のような実施例において、霧濃度基準算出手段１０３は、ダークチャンネル法（Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ）を用いて霧濃度基準値を含む大気モデルパラメータを計算するよう構成すれば、パノラマ画像のダークチャンネル（Ｄ．Ｃ．）値をさらに保存することにより、計算オーバーヘッドをさらに低減することができる。

ここで、現在フレーム画像のダークチャンネル画像とその前のパノラマ画像のダークチャンネル画像を加工する時に、単に加工することなく、加工境界領域のダークチャンネル値を新たに計算する必要がある。それは、ダークチャンネル画像の各画素の計算がその周りの予め設定されたウィンドウ内の画像値に関係するからである。
ここで、１枚の画像では霧の濃度分布が均一又は不均一であると仮定することができ、これは異なる霧濃度推定方法と関連性があるに過ぎないが、霧濃度基準の計算又は推定と関連性さえあれば、本方法は適用される、と解すべきである。
以上のように言及されている「霧濃度基準値」又は「霧濃度基準」は、上記した背景技術に言及されている「大気光値」と同等であり、言い換えれば、大気モデルに基づいて算出された大気光値は「霧濃度基準」の推定である、といえる。

また、本発明においては、第１の記憶手段１０５、第２の記憶手段１０６、第３の記憶手段１０８及び第４の記憶手段１１１は、単独な記憶装置でもよいし、一つの記憶装置における異なる手段又は記憶領域でもよい。

また、画像記憶パラメータＦの調節は、霧濃度の時間的変化に適応することを主な目的とする、ものである。そして、画像記憶パラメータＦの調節も同様に、同一の撮像機又は異なる撮像機の画像撮像速度又は分解能の変化を考慮することができ、これら状況は、具体的な応用場面に応じ簡単な適応的調整さえ行えば、本発明を適用できる。

本発明に係る画像霧除去装置又は画像霧除去方法は、ハードウエア、ソフトウエア又は両者の組合せることで実現される。好ましくは、本発明に係る画像霧除去装置は、ＦＰＧＡ、ＡＳＩＣ又はマイクロコントローラに基づく任意の回路装置により実現される。

本明細書では具体的な実施例を参照して本発明を記述し説明したが、本発明は上述のような実施例に限られず、本発明の主旨から逸脱しない限り、特許請求の範囲と同等の範囲内において、詳細に対する各種の変更を行うことができる。

１００、２００、３００、４００ 画像霧除去装置
１０１ 撮像機コントローラ
１０２ 霧濃度基準推定領域生成手段
１０３ 霧濃度基準算出手段
１０４ 霧除去手段
１０５ 第１の記憶手段
１０６ 第２の記憶手段
１０７ パノラマ画像生成手段
１０８ 第３の記憶手段
１０９ 画像記憶パラメータ計算手段
１１０ 霧濃度基準理想的推定領域識別手段
１１１ 第４の記憶手段

Claims (11)

1. 撮像機により撮像された画像に対して霧除去処理を行う画像霧除去装置であって、
   前記撮像機の少なくとも一方向以上の駆動及び／又はズーミングを制御し、前記撮像機により連続的に撮像された複数の画像のＰＴＺ特徴データを記録し出力する撮像機コントローラと、
   前記連続的に撮像された複数の画像のうち直近の画像であって画像記憶パラメータである所定数のフレーム画像を、前記ＰＴＺ特徴データに基づいてパノラマ画像に加工する霧濃度基準推定領域生成手段と、
   前記パノラマ画像の霧濃度基準値を算出する霧濃度基準算出手段と、
   前記霧濃度基準値を用いて現在フレーム画像に対して霧除去処理を行う霧除去手段と、を備えていることを特徴とする画像霧除去装置。
2. 前記霧濃度基準推定領域生成手段は、
   前記連続的に撮像された複数の画像のうち直近の画像であって画像記憶パラメータである所定数のフレーム画像を記憶する第１の記憶手段と、
   前記第１の記憶手段における各フレーム画像のＰＴＺ特徴データを記憶する第２の記憶手段と、
   前記第２の記憶手段におけるＰＴＺ特徴データを用いて前記第１の記憶手段における前記フレーム画像を前記パノラマ画像に加工するパノラマ画像生成手段と、を備えていることを特徴とする請求項１に記載の画像霧除去装置。
3. 前記霧濃度基準推定領域生成手段は、前記画像記憶パラメータの値を設定し、
   前記画像記憶パラメータの値が固定値である、ことを特徴とする請求項２に記載の画像霧除去装置。
4. 前記霧濃度基準推定領域生成手段は、調節可能な前記画像記憶パラメータの値を初期化し、
   前記霧濃度基準推定領域生成手段は、前記霧濃度基準算出手段により算出された霧濃度基準値を記憶する第３の記憶手段と、前記画像記憶パラメータを調節する必要があるか否か、及びどのように前記画像記憶パラメータを調節するかを判定する画像記憶パラメータ計算手段とをさらに備えていることを特徴とする請求項２に記載の画像霧除去装置。
5. 前記画像記憶パラメータ計算手段は、前記現在フレーム画像の霧濃度基準値と直前フレーム画像の霧濃度基準値を比較し、前記現在フレーム画像の霧濃度基準値と前記直前フレーム画像の霧濃度基準値との差が予め設定された閾値以上であれば、前記画像記憶パラメータの値を減少させ、前記現在フレーム画像の霧濃度基準値と前記直前フレーム画像の霧濃度基準値との差が前記予め設定された閾値未満であれば、前記画像記憶パラメータの値を増大させる、ことを特徴とする請求項４に記載の画像霧除去装置。
6. 前記画像記憶パラメータ計算手段は、前記現在フレーム画像の霧濃度基準値と予め設定された第１の閾値及び予め設定された前記第１の閾値未満である第２の閾値とを比較し、
   前記現在フレーム画像の霧濃度基準値が前記第１の閾値以上であれば、前記画像記憶パラメータの値を減少させ、
   前記現在フレーム画像の霧濃度基準値が前記第２の閾値未満であれば、前記画像記憶パラメータの値を増大させる、ことを特徴とする請求項４に記載の画像霧除去装置。
7. 前記画像記憶パラメータ計算手段は、前記現在フレーム画像の霧濃度基準値と天候状況の履歴データ及び／又は少なくとも当日の天候予測が記録されているルックアップテーブルに基づき前記画像記憶パラメータの値を調節する、ことを特徴とする請求項４に記載の画像霧除去装置。
8. 前記霧濃度基準推定領域生成手段は、前記画像記憶パラメータの値の上限値と下限値を設定する、ことを特徴とする請求項４〜７の何れか１項に記載の画像霧除去装置。
9. 前記霧濃度基準推定領域生成は、前記パノラマ画像において霧濃度基準理想的推定領域を識別する霧濃度基準理想的推定領域識別手段をさらに備え、
   前記霧濃度基準理想的推定領域が存在している場合に前記画像記憶パラメータの値の上限値を第１の上限値に設定し、前記霧濃度基準理想的推定領域が存在していない場合に前記画像記憶パラメータの値の上限値を前記第１の上限値より小さい第２の上限値に設定する、ことを特徴とする請求項８に記載の画像霧除去装置。
10. 前記霧濃度基準推定領域生成手段は、前記霧濃度基準理想的推定領域の位置情報を記憶する第４の記憶手段をさらに備え、
    前記霧濃度基準推定領域生成手段は、前記霧濃度基準理想的推定領域の撮像を行う旨のユーザ指令を受け付けた時に、前記霧濃度基準理想的推定領域の位置情報に基づき、前記霧濃度基準理想的推定領域を自発的に撮像するよう前記撮像機を制御する、ことを特徴とする請求項９に記載の画像霧除去装置。
11. 撮像機により撮像された画像に対して霧除去処理を行う画像霧除去方法であって、
    画像記憶パラメータの値を設定するステップと、
    前記撮像機の少なくとも一方向の駆動及び／又はズーミングを制御し、連続した複数の画像を撮像するとともに撮像された画像のＰＴＺ特徴データを記録し出力するステップと、
    前記連続的に撮像された複数の画像のうち直近の画像である所定数のフレーム画像を前記ＰＴＺ特徴データに基づいてパノラマ画像に加工するステップと、
    前記パノラマ画像の霧濃度基準値を算出するステップと、
    前記霧濃度基準値を用いて現在フレーム画像に対して霧除去処理を行うステップと、を含むことを特徴とする画像霧除去方法。