JP2012168936A - 動画処理装置及び動画処理方法 - Google Patents

Abstract

【課題】大気モデルに基づいて霧の天候のビデオを明瞭化させ、画面の視程を拡大し、かつ、画像のリアルタイム処理の要求を充分に満たす動画処理装置及び動画処理方法を提供する。
【解決手段】本発明の動画処理装置は、ビデオの霧除去過程において、ビデオを、メーンフレームとなるキーフレームと、サブフレームとなるノーマルフレームとに区分する。キーフレームに対し、距離パラメータとなるｔ（Ｘ）と天空点パラメータＡとを改めて算出し、ノーマルフレームに対し、Ａを算出せずキーフレームのＡを利用する。ノーマルフレームの背景部分に対し、キーフレームに対応する領域のｔ（Ｘ）を利用し、ノーマルフレームの前景部分に対し、ｔ（Ｘ）を改めて算出する。
【選択図】図２

Description

本発明は、霧、砂塵などの天候下で撮像した動画（以下、「霧の天候のビデオ」という）を明瞭化させる動画処理装置及び動画処理方法に関する。

屋外のビデオ監視の品質は、常に濃霧、砂嵐などの悪天候から影響を受け、視程が非常に制限されるため、ビデオの詳細や遠隔監視シーン情報が失われてしまう。かつ、屋外では、監視が適用されるシーンが多く、天候の変化が複雑であり、霧や砂塵の天候が常に発生し、特に、市内の道路や高速道路の環境において、その発生はより頻繁でひどくなる。従って、霧や砂塵の天候下で、ビデオの明瞭度を向上することは、ビデオ監視の分野における切実なニーズとなっている。従来のビデオ撮像装置製品は、ビデオを明瞭化させるための機能である霧除去機能を持っているが、従来の技術では、通常、簡単な画像増強処理技術、例えば画像ヒストグラムの拡張などを用いているので、効果が不充分である。

２００２年、NARASIMAHANらは、「Vision and the Atmosphere」という論文において、はじめて大気モデルに基づく霧除去明瞭化方法を提案した。しかし、NARASIMAHANらにより提案されている大気モデルに基づく霧除去明瞭化方法は、その効果が理想的ではない。かつ、当該霧除去明瞭化方法においては、二つの異なる天候シーン下での画像を入力して現在シーンの関係情報を取得することが、霧除去明瞭化処理を達成する前提条件となっている。

２００８〜２００９年、Fattal, Kaiming Heらは、大気モデルに基づく新規の霧除去明瞭化方法を提案した。この方法では、複数の画像を入力する必要がなく、現在の画像情報を利用するだけでも霧除去明瞭化処理を達成することができ、かつ、霧除去明瞭化の効果は、従来の簡単な画像増強処理技術等を用いた霧除去明瞭化方法より大きい。これら新規の霧除去明瞭化方法は、何れも大気モデルに基づいたものである。いわゆる「大気モデル」とは、大気中に浮遊粒子がある場合に、撮像機で画像を撮像し又は肉眼で物体を観察する光学原理をいう。

大気モデルは、下記式（１）で示される。
Ｉ（Ｘ）＝Ｊ（Ｘ）ｔ（Ｘ）＋Ａ（１−ｔ（Ｘ）） （１）
式（１）は、画像のＲＧＢの三つの色チャネルに作用する。
式（１）中、Ｉ（Ｘ）は撮像装置で撮像した霧付き画像、又は肉眼で観察した霧付き画像を示し、入力画像である。Ｘ＝（ｘ，ｙ）は画像画素の座標を示す。
Ｊ（Ｘ）は、物体からの反射光であり、霧のない画像を示し、霧除去処理の結果得られる画像である。

Ａは、天空の点のパラメータを示し、天空中の何れか１点（以下、「天空点」という）の画像ＲＧＢ値のベクトルデータである。現在入力画像に天空がない場合に、画像における霧の濃度が最も大きい点を天空点とみなし、一つの画像における全ての画素は、一つの天空点のパラメータを共用する。Ｉ（Ｘ）及びＪ（Ｘ）は、Ａと同様に、何れも画像ＲＧＢ値のベクトルデータである。

ｔ（Ｘ）は、空気媒体の伝達関数である。当該伝達関数は、空中の浮遊粒子により散乱された後においても残存して撮像装置に到達する、物体からの反射光を記述する。すなわち、当該伝達関数ｔ（Ｘ）は、物体からの反射光が大気によりどの程度減衰された後に撮像装置又は肉眼に到達できるかを示す０超１未満のスカラデータであり、画像における画素ごとに一つの値を有する。

以下、図９を参照しながら上記式（１）を説明する。
図９は、大気モデルの式の概念図である。図９の左側の画像は、肉眼又は撮像装置で観察した画像Ｉ（Ｘ）である。当該画像Ｉ（Ｘ）は、物体からの反射光が空中の浮遊粒子により散乱された後においても残存する部分Ｊ（Ｘ）ｔ（Ｘ）と、太陽光が空中の浮遊粒子により散乱された結果である大気環境光Ａ（１−ｔ（Ｘ））との二つの部分からなる。
そのうち、式（１）における、空気媒体の伝達関数であるｔ（Ｘ）は、被写体（物体）と撮像装置（肉眼）との距離を示す関数であり、具体的には下記式（２）で示される。
ｔ（Ｘ）＝ｅ^{−βｄ（Ｘ）} （２）

そのうち、ｄ（Ｘ）は、画像における一つの物体点Ｘと撮像装置との距離を示すため、ｔ（Ｘ）を「距離パラメータ」とも称する。βは、大気散乱係数を示す定数である。式（１）及び式（２）から分かるように、物体からの反射光が撮像装置に到達する強さＪ（Ｘ）ｔ（Ｘ）は、物体と撮像装置との距離ｄ（Ｘ）と反比例し、距離が遠いほど光線の減衰がひどくなる。大気環境光が撮像装置に到達する強さＡ（１−ｔ（Ｘ））は、距離ｄ（Ｘ）と正比例し、距離が遠いほど光線が強くなるので、無限遠のところが白色をなす。

次に、図１０を参照しながら大気モデルに基づく霧除去明瞭化方法を説明する。図１０に示すように、図１０（Ａ）は入力画像Ｉ（Ｘ）であり、図１０（Ｂ）は霧除去明瞭化処理を行った出力画像Ｊ（Ｘ）であり、図１０（Ｃ）は算出した天空点パラメータＡであり、図１０（Ｄ）は算出したｔ（Ｘ）である。図１０によれば、大気モデルに基づく霧除去アルゴリズムは、単独の霧付き画像である入力画像Ｉ（Ｘ）を得た場合に、ｔ（Ｘ）と天空点パラメータＡを求めた後、式（１）により霧除去した結果画像Ｊ（Ｘ）を得る。かつ、従来のシングルフレーム霧除去明瞭化方法では、どのようにしてｔ（Ｘ）とＡを求めるかに応じて、異なるアルゴリズムが挙げられる。そして、これらのアルゴリズムは、現在、良好な霧除去効果を奏することができ、簡単な画像増強に基づく霧除去アルゴリズムよりもはるかに良好な効果を奏する。以下、表１では、ｔ（Ｘ）とＡを求める方法が三つ挙げられる。

これらの方法は、従来の簡単な画像増強による霧除去明瞭化の処理方法に比べ、より良好な霧除去効果を奏する。しかし、これらの方法は、アルゴリズムの速度が非常に遅く、リアルタイム性が悪いという欠点がある。ビデオ監視の分野において、霧除去は、ビデオの前処理に属する。そこで、霧除去明瞭化処理は、ビデオ圧縮又はビデオ内容の解析に比べ、できるだけ短い時間内で最も少ないシステム負担で完成する必要がある。表２では、従来のアルゴリズムに基づく霧除去明瞭化の処理時間が幾つか挙げられる。

実際のビデオ監視又はビデオ圧縮の分野は、常にマルチフレームの場合を対象にしている。従来の技術では、主に、シングルフレームの場合に霧除去明瞭化の効果をどのように高めるかを研究するに留まり、シングルフレーム霧除去アルゴリズムを、マルチフレームビデオの場合に応用することをさらに研究することはない。表２の１行目から分かるように、シングルフレーム６００×４００の画像に対し、少なくとも１０秒を必要とするため、従来の技術のシングルフレームに対する霧除去明瞭化方法をビデオなどの動画に直接応用すれば、リアルタイム性に悪影響を及ぼす。

また、特許文献１には、ヒストグラム均等化補正過剰復元に基づく霧の天候のビデオ明瞭化方法が開示されている。具体的には、ヒストグラム均等化による霧除去明瞭化方法をビデオに対し応用することについて、ビデオの前後フレームにヒストグラム均等化のマッピングテーブルを再利用して処理速度を高める加速方法が提案されている。

中国特許出願公開第１０１２９０６８０Ａ号明細書

しかし、当該特許文献１におけるシングルフレーム霧除去アルゴリズムは、簡単なヒストグラム均等化画像増強方法であり、この方法は、霧除去の環境に対して設計されたものではなく、その効果は理想的ではない。

そこで、本発明は、大気モデルに基づいて霧の天候のビデオを明瞭化させ、画面の視程を拡大し、かつ、画像のリアルタイム処理の要求を充分に満たす動画処理装置及び動画処理方法を提供することを目的とする。

特許文献１の発明と本発明とは、以下の点で相違する。即ち、
（１）特許文献１の発明のシングルフレーム霧除去アルゴリズムは、簡単なヒストグラム均等化画像増強方法であり、この方法は、霧除去の環境に対して設計されたものではなく、その効果は特に理想的というほどではない。本発明のシングルフレーム霧除去アルゴリズムは、大気モデルに基づく最新の霧除去明瞭化処理専用アルゴリズムであり、この方法は、霧除去の環境に対して設計されたものであり、従来の画像増強アルゴリズムよりも効果が良好である。
（２）特許文献１の発明では、マルチフレーム間にヒストグラム均等化のマッピングテーブルを再利用している。本発明では、マルチフレーム間に、現在の被写界深度及び大気環境の不変かつグローバルな物理特徴に基づいて、不変なｔ（Ｘ）部分を再利用し、よりよい霧除去効果を有する。

本発明の発明者は、従来の各種のシングルフレーム霧除去アルゴリズムを、効果的かつ速やかにマルチフレームビデオ監視又は一般のビデオ処理の分野に適用することに着目した。本発明の発明者らは、ｔ（Ｘ）の物理意義から解析したように、ｔ（Ｘ）が現在の被写界深度及び大気環境のみに関連すること、そして、ｔ（Ｘ）は、前後フレーム間で画像のほとんどの領域において大きな変化を生じず、画像における物体の動きを有する前景部分のみにおいて変化を生じることに着目した。それは、物体の動きが、物体から撮像装置までの直線的な距離の変化をもたらす可能性があるためである。天空点パラメータＡは、画像における天空点又は霧の最濃点のＲＧＢ値を示し、当該パラメータも同様に前後フレーム間で変化を生じない。

即ち、式（１）におけるキーとなるパラメータｔ（Ｘ）及びＡは、現在の被写界深度及び大気環境に関連し、画像全体としては、これらのパラメータは局部のみに遅く更新している。そこで、本発明では、このｔ（Ｘ）及びＡの特性を利用して、大気モデルに基づくビデオ霧除去明瞭化方法において、前後フレーム間でｔ（Ｘ）及びＡという部分を再利用（新たに算出することなく既に算出されたものをそのまま流用）している。画像の背景については、前後フレーム間で変化を生じない部分にｔ（Ｘ）を再利用し、画像の前景については、前後フレーム間で変化を生じない部分においてｔ（Ｘ）を改めて算出する。背景部分と前景部分は、同時に天空点パラメータＡを再利用する。

上述の目的に達するために、本発明に係る動画処理装置は、入力した動画から、出力する動画を生成する動画処理装置であって、外部又は内蔵の撮像装置により被写体を撮像して作成される動画を入力する入力手段と、当該入力した動画に対し画像処理を行う処理手段と、画像処理を行った動画を出力する出力手段と、を備え、前記処理手段は、前記入力した動画における複数のフレームを解析し、各フレームにシーンの変更があるか否かを判定し、シーンの変更があるフレームをメーンフレーム、シーンの変更がないフレームをサブフレームとし、前記サブフレームとその前のメーンフレームとを比較し、前記サブフレームを、変化のある前景部分と変化のない背景部分とに区分し、前記メーンフレームに対し、当該メーンフレーム中の前記撮像装置と被写体との距離に関する距離パラメータに基づいて画像処理を行い、前記サブフレームの背景部分に対し、前記サブフレームの前のメーンフレームの前記距離パラメータに基づいて画像処理を行い、前記サブフレームの前景部分に対し、当該サブフレーム中の変化に基づいて算出された距離パラメータに基づいて画像処理を行うことを特徴とする。

本発明に係る動画処理装置及び動画処理方法は、霧除去環境に対して設計されたものであり、従来の画像増強アルゴリズムよりも効果が良好である。かつ、マルチフレーム間で現在の被写界深度、大気環境の不変かつグローバルな物理特徴に基づいて、不変なｔ（Ｘ）部分を再利用し、よりよい霧除去効果を奏する。よって、本発明は、従来の大気モデルに基づくシングルフレーム画像霧除去明瞭化方法をビデオに応用すると速度が遅くなるとの問題を克服する。さらに、それだけでなく、本発明は、画面の視程を拡大するとともに、画像のリアルタイム処理の要求を満たすことができるため、特にビデオ監視の分野に適用され、当然ながら、一般のビデオ処理にも同様に適用される。

本発明に係る動画処理装置を有するシステムの構造を示す構成図である。 本発明の実施例１のフローチャートである。 本発明の実施例１のビデオ内の各フレームをキーフレームとノーマルフレームに区分した概略図である。 （ａ）、（ｂ）、（ｃ）及び（ｄ）は、従来の技術と実施例１を利用してそれぞれ画像処理を行った効果の比較図である。 本発明の実施例２を示す図であり、そのうち、（ａ）はキーフレームの被写界深度図であり、（ｂ）は、ノーマルフレームの被写界深度図である。 本発明の実施例２のフローチャートである。 （ａ）及び（ｂ）は、本発明の実施例２のノーマルフレームの前景部分の前景動き領域を示す図である。 本発明の実施例３のフローチャートである。 大気モデル公式の概略図である。 （Ａ）、（Ｂ）、（Ｃ）及び（Ｄ）は、大気モデルに基づく霧除去明瞭化の効果を示す概略図である。

以下、図１を参照しながら本発明に係る動画処理装置を説明する。図１は本発明に係る動画処理装置を有するシステムの構造を示す構成図である。図１に示すように、本発明に係る動画処理装置は、入力手段１００、処理手段２００、出力手段３００、及び共用メモリ９０を含む。入力手段１００は、外部又は内蔵の撮像装置（図示せず）により被写体を撮像して作成されるビデオなどの動画を入力する。処理手段２００は、入力手段１００から入力されたビデオに対し画像処理を行う。出力手段３００は、例えばディスプレイであり、処理手段２００により処理されたビデオを表示する。共用メモリ９０は、各種のデータを記憶する。

処理手段２００は、フレーム分離手段１０、キーフレームパラメータ算出手段２０、キーフレームパラメータ記憶手段３０、ノーマルフレームパラメータ再利用手段４０、画像霧除去手段５０、及びグローバル制御手段６０を含む。
フレーム分離手段１０は、入力手段１００から入力されたビデオの各フレームを解析し、各フレームにシーンの変更があるか否かを判定し、シーンの変更があるフレームをメーンフレームとし、シーンの変更がないフレームをサブフレームとする。

なお、「メーンフレーム」はキーフレームパラメータ算出手段２０の処理対象となる。「サブフレーム」はノーマルフレームパラメータ再利用手段４０の処理対象となる。その意味で、本明細書は、「メーンフレーム」は「キーフレーム」と同義であり、「サブフレーム」は、「ノーマルフレーム」と同義であるものとして説明を行っている。

キーフレームパラメータ算出手段２０は、入力したキーフレームについて当該キーフレームの各種のパラメータを算出する。これらのパラメータは、距離パラメータとなる伝達関数ｔ（Ｘ）と天空点パラメータＡとを含み、シングルフレームの大気モデルに基づく霧除去アルゴリズムに関する従来の技術により算出されればよい。
キーフレームパラメータ記憶手段３０は、キーフレームパラメータ算出手段２０により算出されたキーフレームの各種のパラメータを記憶する。

ノーマルフレームパラメータ再利用手段４０は、ノーマルフレームを、変化のある前景部分と変化のない背景部分とに区分し、かつ、ノーマルフレームの前景部分のパラメータと背景部分のパラメータをそれぞれ確定する。例を挙げると、ノーマルフレームにおける変化のある前景部分について、ノーマルフレームパラメータ再利用手段４０は、伝達関数ｔ（Ｘ）及び天空点パラメータＡを新たに算出する。一方、ノーマルフレームパラメータ再利用手段４０は、ノーマルフレームにおける変化のない背景部分について、伝達関数ｔ（Ｘ）及び天空点パラメータＡを新たに算出することはない。その代わり、キーフレームパラメータ記憶手段３０に記憶されているキーフレーム（通常、当該ノーマルフレームの直前のキーフレームである）の伝達関数ｔ（Ｘ）及び天空点パラメータＡを、それぞれ、当該ノーマルフレームの伝達関数ｔ（Ｘ）及び天空点パラメータＡに流用する。

画像霧除去手段５０は、キーフレームパラメータ算出手段２０により算出された各パラメータを用いて、キーフレームに対し霧除去明瞭化などの画像処理を行うとともに、ノーマルフレームパラメータ再利用手段４０により得られた各パラメータを用いて、ノーマルフレームに対し霧除去明瞭化などの画像処理を行う。これら霧除去明瞭化などの画像処理は、従来の技術を用いればよい。
グローバル制御手段６０は、処理手段２００の各構成手段又はモジュールに対しグローバル制御を行う。

以上、本発明に係る動画処理装置の一例を説明したが、当然ながら、本発明はこれに限られず、本発明の主旨の範囲内で、各種の変更を行うことができる。例えば、図１の処理手段２００は、複数の手段からなるが、当然ながら、複数の手段を一体化して一つのモジュールとして実現されてもよい。

以下、図２及び図３を参照しながら本発明の実施例１を説明する。図２はフローチャートであり、図３はビデオ中の各フレームをキーフレームとノーマルフレームに区分した概略図である。本発明に係る動画処理装置が大気モデルに基づきビデオの霧除去明瞭化を行うフローでは、図２に示されるように、まず、入力手段１００により、外部又は内蔵の撮像装置から当該撮像装置により被写体を撮像して作成されるビデオが入力される。以下、当該ビデオを入力画像Ｉ（Ｘ）と称する（ステップＳ０）。

次に、フレーム分離手段１０は、入力したビデオ中の現在フレームにシーンの変換があるか否かを判定する（ステップＳ１）。当該シーンの変換があるか否かを判定する方法は、従来のアルゴリズムにより実現することができる。ステップＳ１では、フレーム分離手段１０は、シーンの変換がある場合は、現在フレームがキーフレームであると判定し、その後ステップＳ２を実行する。フレーム分離手段１０は、シーンの変換がない場合は、現在フレームがノーマルフレームであると判定し、その後ステップＳ３を実行する。

以下、図３を参照しながら図２中のステップＳ１をさらに詳しく説明する。図３に示すように、ビデオは、フレーム１、２、……、Ｎ＋２を含み、そのうち、太い実線で示されるフレーム１及びフレームＮはキーフレームであり、その他のフレームはノーマルフレームである。キーフレームとノーマルフレームに対しては、異なる霧除去アルゴリズムが用いられる。キーフレームとノーマルフレームの区分は、下記２種の方式を用いて行うことができる。

第１の方式は、ビデオにおいて固定の間隔でキーフレームを選択し、例えば、３００フレーム毎に１フレームをキーフレームとして選択し、その他のフレームはノーマルフレームとする。第２の方式は、ビデオにおいてシーンの切替えが発生すると、現在フレームをキーフレームとして選択し、シーンの切替えが発生しないフレームは、ノーマルフレームとする。いわゆる「シーンの切替え」とは、現在のシーンが変化する、すなわち、環境としての背景が変化することをいう。シーンの切替えに対する検出については、現在、成熟した技術及び方法が多くある。

次に、図２に戻る。ステップＳ２では、キーフレームパラメータ算出手段２０は、従来のシングルフレームの大気モデルに基づく霧除去アルゴリズムを用いて、当該キーフレームの伝達関数ｔ（Ｘ）及び天空点パラメータＡを算出する。次に、式（１）に基づき、キーフレームに対し霧除去明瞭化処理を行って画像Ｊ（Ｘ）を得る（ステップＳ７）。最後に、出力手段３００は、処理された画像Ｊ（Ｘ）を出力する（ステップＳ８）。

ステップＳ３では、ノーマルフレームパラメータ再利用手段４０は、ノーマルフレームを、変化のない背景部分（つまり静止部分）と変化のある前景部分（つまり動き領域）との二つの部分に分割する。背景部分と前景部分の分割は、従来の動き検出技術により実現される。比較的簡単な方法は、前後フレームの減算により現在フレームの動き変化部分を見つけることである。

ノーマルフレームパラメータ再利用手段４０は、ノーマルフレームの背景部分に対し、ステップＳ４を実行し、背景部分を処理し、その直前のキーフレームに対応する領域のｔ（Ｘ）を当該背景部分の伝達関数として再利用する。ここでの背景部分の伝達関数を、ｔ１（Ｘ）と記する。また、ノーマルフレームパラメータ再利用手段４０は、ノーマルフレームの前景部分に対し、ステップＳ５を実行し、当該前景部分の伝達関数ｔ（Ｘ）を改めて算出する。ここでの前景部分の伝達関数を、ｔ２（Ｘ）と記し、算出方法は、同様に従来のシングルフレームの大気モデルに基づく霧除去アルゴリズムを用いる。

ステップＳ４、ステップＳ５を実行した後、ステップＳ６を実行し、ステップＳ４で得られた背景部分の伝達関数ｔ１（Ｘ）とステップＳ５で得られた前景部分の伝達関数ｔ２（Ｘ）に基づいて、現在ノーマルフレーム全体についての伝達関数ｔ（Ｘ）を取得する。そして、キーフレームの天空点パラメータを、当該ノーマルフレームの天空点パラメータＡとして用いる。次に、大気モデル式（１）に基づき、当該ノーマルフレームに対し霧除去明瞭化処理を行って画像Ｊ（Ｘ）を取得する（ステップＳ７）。最後に、出力手段３００は、処理された画像Ｊ（Ｘ）を出力する（ステップＳ８）。
次に、表３に基づき、図１に示す本発明に係る動画処理装置の処理速度を説明する。

表３に記載のデータは推定データである。「従来の技術」の行において、《Single image haze remove using dark channel prior》という論文の方法を用いると仮定し、６００×４００のシングル画像に対する処理時間は１０秒である。

「本発明」の行において、ビデオ監視領域のシーンの切替えが発生する頻度が高くないので、ここで、１０秒毎に１回のシーン切替えが発生すると仮定する。さらに、ビデオの採集レートが３０フレーム／秒であると仮定する。これらの仮定によれば、この３００フレームには１個のキーフレームと２９９個のノーマルフレームがあることになる（実際の監視シーンの切替え間隔は１０秒より大きく、キーフレームが現れる回数はそれより少ない）。フレーム毎にシングルフレームの大気モデルに基づく霧除去アルゴリズムを用いると、フレーム毎に１０秒を要する。即ち、本発明においては、キーフレームの処理時間が１０秒であること、ノーマルフレームは、ビデオ監視における一部の領域が静止しており、多くの場合に動き物体がないことを考慮している。したがって、各ノーマルフレームにおいて、画像面積に対して動き物体の面積が占める平均割合が５％であると仮定すれば、ノーマルフレームの処理時間が１０×５％＝０．５秒となり、３００フレームに対する平均処理時間は（１×１０＋２９９×０．５）／３００＝０．５３秒である。実際のビデオ監視の場合に、シーンの切替え回数の平均と画像面積に対して動き物体の面積が占める平均割合は比較的に小さいことを考慮したので、本発明の速度向上の優位は一層向上する。

表３に示すように、本発明に係る動画処理装置は、シングルフレームの大気モデルに基づく霧除去明瞭化方法がビデオに応用される処理速度を向上させる。次に、図４を参照しながら、図１に示す本発明に係る動画処理装置の画像処理品質を説明する。

図４は、図１に示す本発明に係る動画処理装置の処理中の各画像である。そのうち、図４（ａ）はキーフレームであって、霧付きの最初画像つまり入力画像Ｉ（Ｘ）である。図４（ｂ）はノーマルフレームであり、キーフレームから数えて８個目のフレームであると仮定する。また、当該ノーマルフレーム内の下方の黒色の四角枠領域内の部分は、当該ノーマルフレームが図４（ａ）に示すキーフレームに対して変化した前景部分である。そして、当該四角枠以外のその他の領域は、変化のない背景部分である。図４（ｃ）は、図４（ｂ）に示す当該ノーマルフレームに対し、従来のシングルフレームの霧除去アルゴリズムを用いて得られた結果画像である。図４（ｄ）は、図１に示す本発明に係る動画処理装置を用いて、図２に示すフローにより得られた結果画像である。

従来の技術により処理された図４（ｃ）と本発明により処理された図４（ｄ）とを対比すると、視覚的に効果が類似している。かつ、図４（ｃ）と図４（ｄ）のＰＳＮＲ（ピーク信号対雑音比peak signal-to-noise ratio）パラメータを算出することにより、ＰＳＮＲ＝３１．３６５が得られる。ＰＳＮＲパラメータは、通常、画像処理又はビデオ圧縮の領域において最初画像と処理された画像との相違を示す。ビデオ圧縮の領域において、ＰＳＮＲの値が３０〜５０の範囲内にあると、ビデオの品質が比較的良好である。即ち、霧除去の品質の面で、本発明に係る動画処理装置は、シングルフレームの霧除去アルゴリズムに対して低下しないことは明らかである。
上述のように、本発明の実施例１に係る動画処理装置は、画面の視程を向上するだけでなく、画像のリアルタイム処理の要求を充分に満たすことができる。

以下、図５及び図６を参照しながら本発明の実施例を説明する。図５（ａ）はキーフレームの被写界深度図であり、図５（ｂ）は、ノーマルフレームの被写界深度図であり、図６は本発明の実施例２のフローチャートである。

当該実施例２は、実施例１を改善したものであり、実施例１に比してノーマルフレームの前景部分の処理に相違がある。実施例１においては、ノーマルフレームの前景部分に対し当該部分のｔ（Ｘ）を改めて算出している。一方、実施例２においては、ノーマルフレームの前景部分に対し、所定の条件（詳細後記）を満たす場合はｔ（Ｘ）を改めて算出し、満たしていない場合は、キーフレームにおける同一の対応領域のｔ（Ｘ）を再利用するという、背景部分についてと同一の処理を行う。

上記のような所定の条件とは、具体的には、物体の動きが当該物体の画像における被写界深度（つまり物体から撮像装置までの距離）の変化を引き起しているか否かということである。ある物体が、撮像装置から遠い領域を起点とし、撮像装置から近い領域を終点として移動すると、当該物体の動きが物体の画像における被写界深度の変化を引き起こす。この場合、この部分の領域に対しｔ（Ｘ）を改めて算出する。当該物体の動きが物体の画像における被写界深度の変化を引き起こしていない場合は、この部分の領域に対し、キーフレームにおける対応領域のｔ（Ｘ）を再利用する。その原理は、上述の式（２）に基づくものである。

上述の式（２）において、伝達関数ｔ（Ｘ）は、被写界深度ｄ（Ｘ）と大気散乱係数βとの関数であり、画像における画素は異なるｄ（Ｘ）を有し、大気散乱係数βは、大気環境に関する定数である。霧除去過程において求めたｔ（Ｘ）により、現在シーンの相対的深度情報−βｄ（ｘ）が得られ、画像における物体から撮像装置又は肉眼までの具体的な距離の値が分からなくても、相対的深度情報−βｄ（ｘ）が得られる。霧除去明瞭化処理は、画像の明瞭度を増強することに加え、画像の相対的被写界深度を得ることもできる。従って、キーフレームの霧除去により得られた現在シーンの相対的被写界深度に基づいて、現在ノーマルフレームの物体の動きによる深度の変化があるか否かを判定して、対応の処理を行う。

図５（ａ）において、左側から数えて第１の図面は、キーフレームの最初の霧付きの図面であり、第２の図面は、キーフレームの霧除去過程において得られた伝達関数ｔ（Ｘ）であり、第３の図面は、ｔ（Ｘ）と式（２）により得られた相対的被写界深度図となる−βｄ（ｘ）である。第４の図面は、第３の図面の画素値を５つの領域１３０、１３１、１３２、１３３、１３４に分割して得られたシーンの相対的被写界深度分割図である（「被写界深度図」と略称する）。第４の図面では、この５つの領域の輝度は、浅い奥行から深い奥行まで変化し、距離が遠くから近くまで変化することを示す。本発明の実施例２では、ノーマルフレームに対し画像処理を行うとき、キーフレームに基づいてシーンの相対的被写界深度図が得られる。

図５（ｂ）において、左側の第１の図面は、ノーマルフレームであり、四角枠１４０は当該ノーマルフレームにおける前景部分の動き物体を示す。図５（ｂ）の右側の第２の図面には、四角枠１４０に対応する位置（白色領域）が表記されている。四角枠１４０が、同一の被写界深度領域１３３内を移動する場合、つまり、黒色矢印の方向に移動する場合、深度の変化は生じない。このとき、四角枠１４０に示す前景部分の伝達関数ｔ（Ｘ）を改めて算出せず、それを背景部分とみなす処理が行われる。四角枠１０４が、白色矢印の方向に移動する場合、つまり被写界深度図の領域１３３から領域１３４まで移動する場合、深度の変化が生じる。このとき、依然として四角枠１４０に示す部分を前景部分とし、伝達関数ｔ（Ｘ）を改めて算出する処理が行われる。

図６は、本発明の実施例２のフローチャートである。図２のフローチャートに比べた相違点は、図２のステップＳ２の代わりにステップＳ２−１を用いることと、図２のステップＳ５の代わりにステップＳ５−１〜ステップＳ５−３を用いることとの二つである。したがって、その他の同一のステップの説明を省略し、ステップＳ２−１、ステップＳ５−１〜ステップＳ５−３のみを説明する。

図６に示すように、ステップＳ２−１において、図２のステップＳ２のように全図のｔ（Ｘ）と天空点パラメータＡを算出するのに加え、現在シーンの被写界深度図を算出する。
ステップＳ５−１において、ノーマルフレームパラメータ再利用手段４０は、ノーマルフレームの前景部分の動きによる深度の変化があるか否かを判定する。変化があると判定する場合は（ステップＳ５−１において「ＹＥＳ」）、次にステップＳ５−２を実行し、ノーマルフレームにおける深度の変化が生じた前景部分のｔ（Ｘ）を改めて算出してｔ２（Ｘ）を取得する。変化がないと判定する場合は（ステップＳ５−１において「ＮＯ」）、次にステップＳ５−３を実行し、ノーマルフレームにおける深度の変化が生じない前景部分に対し、キーフレームの伝達関数ｔ（Ｘ）を再利用してｔ２（Ｘ）を取得する。

本発明の実施例１に比べ、実施例２によれば、処理速度を一層向上できる。しかしながら、図１に示す動画処理装置において、追加的なメモリを増加することにより現在シーンの被写界深度図情報を記憶する必要がある。かつ、被写界深度に対し分割処理を行い、前景部分の動きが被写界深度図において異なる領域を跨ることを、ノーマルフレームのｔ（Ｘ）を改めて算出するか否かの基準とする必要があるので、ノーマルフレームでは、最終的に得られたｔ（Ｘ）は、精度が僅かに低下している。

以下、図７及び図８を参照しながら本発明の実施例３を説明する。図７（ａ）及び図７（ｂ）は、ノーマルフレームの前景部分の前景動き領域を示す図であり、図８は本発明の実施例３のフローチャートである。実際の応用では、ビデオの霧除去は前処理過程としてのみ行われ、霧除去後、ビデオ圧縮、ネットワーク伝送などの、より重要なシステムタスクを常に伴う。このようなマルチタスクのシステムでは、部分毎に経過することを許される算出時間は制限される。従って、ノーマルフレームにおける、その都度ｔ（Ｘ）を改めて算出する領域も制限される。マルチタスクシステムにおいて、ノーマルフレームに割り当てる霧除去明瞭化処理のアルゴリズムの時間は、Ｔ（budget）パラメータであり、当該パラメータによって最大の更新可能なｔ（Ｘ）の画素面積（つまり最大更新面積）が得られる。即ち、当該最大更新面積が、パラメータMax_Update_Sizeである（０≦Max_Update_Size≦Image Size）。ノーマルフレームにおける前景動き領域の全面積がMax_Update_Sizeより大きい場合は、動き領域内の、面積が大きい幾つかの領域のみを、大きい順に選択する。そして、Max_Update_Sizeの制限を満たすような選択された領域のみに対しｔ（Ｘ）を改めて算出し更新する。面積の小さい動き領域に対しては、ｔ（Ｘ）を改めて算出せず、キーフレームの対応部分のｔ（Ｘ）を再利用する。

図７（ａ）に示すように、当該ノーマルフレームの前景部分には、白色四角枠で示される二つの大きい動き領域がある。Max_Update_Sizeの要求を満たすために、図７（ｂ）に示すように二つの動き領域のうち面積の大きい左側の領域の伝達関数ｔ（Ｘ）のみを改めて算出し、右側の面積の小さい動き領域は背景部分とみなして処理され、キーフレームの対応部分の伝達関数ｔ（Ｘ）を再利用する。また、極端な例ではあるがよくある場合においては、Max_Update_Size＝０であり、このように、霧除去明瞭化処理において、キーフレームに対しｔ（Ｘ）と天空点パラメータＡを一回のみ算出し、その他の全てのノーマルフレームについては、キーフレームのｔ（Ｘ）とＡを再利用する。

図８に示すように、当該実施例３のフローチャートは、実施例１のフローチャート（図２）に比べ、ステップＳ５の代わりにステップＳ５−４、Ｓ５−５、Ｓ５−６を用いるという一点だけが相違する。したがって、その他の同一のステップの説明を省略し、ステップＳ５−４〜ステップＳ５−６のみを説明する。

ステップＳ５−４において、前景部分における異なる動き領域の面積の大きさに応じ、選択された領域の和がパラメータMax_Update_Size以上になるまで、異なる領域を大きい順に選択する。次に、ステップＳ５−５を実行し、ステップＳ５−４において選択されたこれら面積の大きい領域の伝達関数ｔ（Ｘ）を改めて算出し、これら領域に対応するｔ２（Ｘ）を得る。次に、ステップＳ５−６を実行し、ステップＳ５−４において選択されていない面積の小さい領域に対し、キーフレームの伝達関数ｔ（Ｘ）を再利用し、これら領域に対応するｔ２（Ｘ）を得る。
本実施例３は、ノーマルフレームの前景部分における各々の部分の処理時間を制御でき、高い実用価値を有する。

本発明に係る動画処理装置及び動画処理方法は、特に、ビデオ監視分野に適用され、また、画像、ビデオに関する何れの装置、例えば一般の撮像装置、デコーダ、カメラなどに適用されてもよい。

１０ フレーム分離手段
２０ キーフレームパラメータ算出手段
３０ キーフレームパラメータ記憶手段
４０ ノーマルフレームパラメータ再利用手段
５０ 画像霧除去手段
６０ グローバル制御手段
９０ 共用メモリ
１００ 入力手段
２００ 処理手段

Claims (8)

1. 入力した動画に対し画像処理を行って出力する動画処理装置であって、
   外部又は内蔵の撮像装置により被写体を撮像して作成される動画を入力する入力手段と、
   前記入力した動画に対し画像処理を行う処理手段と、
   前記画像処理を行った動画を出力する出力手段と、
   を備え、
   前記処理手段は、
   前記入力した動画における複数のフレームを解析し、各フレームにシーンの変更があるか否かを判定し、シーンの変更があるフレームをメーンフレーム、シーンの変更がないフレームをサブフレームとし、
   前記サブフレームとその前のメーンフレームとを比較し、前記サブフレームを、変化のある前景部分と変化のない背景部分とに区分し、
   前記メーンフレームに対し、当該メーンフレーム中の前記撮像装置と前記被写体との距離に関する距離パラメータに基づいて画像処理を行い、
   前記サブフレームの背景部分に対し、当該サブフレームの前のメーンフレームの前記距離パラメータに基づいて画像処理を行い、前記サブフレームの前景部分に対し、当該サブフレーム中の変化に基づいて算出された距離パラメータに基づいて画像処理を行うこと、
   を特徴とする動画処理装置。
2. 前記処理手段は、
   前記サブフレームの前景部分における変化のある部分に対し、複数の領域を有する被写界深度図に基づいて、前記サブフレームの前景部分中の被写体の移動が、前記被写界深度図における一つの領域から当該一つの領域以外の領域への移動であるか否かを判定し、
   前記被写体の移動が、前記被写界深度図における一つの領域から当該一つの領域以外の領域への移動である場合、前記サブフレームの前景部分の距離パラメータを改めて算出し、
   前記被写体の移動が、同一の領域内の移動である場合、前記サブフレームの前のメーンフレームの距離パラメータと同一の距離パラメータを利用し、
   前記被写界深度図は、
   前記撮像装置から前記被写体までの距離の深度に従って前記サブフレームの前景部分を分割して作成されること、
   を特徴とする請求項１に記載の動画処理装置。
3. 前記処理手段は、
   前記サブフレームの前景部分における変化のある部分が複数存在する場合、複数の変化のある部分のうち面積の最大な部分を選択し、当該面積の最大な部分を優先して前記距離パラメータを算出すること、
   を特徴とする請求項２に記載の動画処理装置。
4. 前記処理手段は、
   前記サブフレームの前景部分における、前記距離パラメータを算出可能な面積の最大値である最大更新面積を予め設定した場合、前記前景部分における変化のある部分の面積が前記最大更新面積を超えたときに、前記最大更新面積を超えた前記前景部分における変化のある部分に対し、前記サブフレームの前のメーンフレームの距離パラメータと同一の距離パラメータを利用すること、
   を特徴とする請求項３に記載の動画処理装置。
5. 入力した動画に対し画像処理を行って出力する動画処理装置を用いた動画処理方法であって、
   前記動画処理装置は、
   入力した動画における複数のフレームを解析し、各フレームにシーンの変更があるか否かを判定し、シーンの変更があるフレームをメーンフレーム、シーンの変更がないフレームをサブフレームとするステップと、
   前記サブフレームとその前のメーンフレームとを比較し、前記サブフレームを、変化のある前景部分と変化のない背景部分とに区分するステップと、
   前記メーンフレームに対し、当該メーンフレーム中の撮像装置と被写体との距離に関する距離パラメータに基づいて画像処理を行うステップと、
   前記サブフレームの背景部分に対し、前記サブフレームの前のメーンフレームの前記距離パラメータに基づいて画像処理を行い、前記サブフレームの前景部分に対し、当該サブフレーム中の変化に基づいて算出された距離パラメータに基づいて画像処理を行うステップと、
   を実行することを特徴とする動画処理方法。
6. 前記動画処理装置は、
   前記サブフレームの前景部分における変化のある部分に対し、複数の領域を有する被写界深度図に基づいて、前記サブフレームの前景部分中の被写体の移動が、前記被写界深度図における一つの領域から当該一つの領域以外の領域への移動であるか否かを判定し、
   前記被写体の移動が、前記被写界深度図における一つの領域から当該一つの領域以外の領域への移動である場合、前記サブフレームの前景部分の距離パラメータを改めて算出し、
   前記被写体の移動が同一の領域内の移動である場合、前記サブフレームの前のメーンフレームの距離パラメータと同一の距離パラメータを利用し、
   前記被写界深度図は、
   前記撮像装置から前記被写体までの距離の深度に従って前記サブフレームの前景部分を分割して作成されること、
   を特徴とする請求項５に記載の動画処理方法。
7. 前記動画処理装置は、
   前記サブフレームの前景部分における変化のある部分が複数存在する場合、複数の変化のある部分のうち面積の最大な部分を選択し、当該面積の最大な部分を優先して前記距離パラメータを算出すること、
   を特徴とする請求項６に記載の動画処理方法。
8. 前記動画処理装置は、
   前記サブフレームの前景部分における、前記距離パラメータを算出可能な面積の最大値である最大更新面積を予め設定した場合、前記前景部分における変化のある部分の面積が前記最大更新面積を超えたときに、前記最大更新面積を超えた前記前景部分における変化のある部分に対し、前記サブフレームの前のメーンフレームの距離パラメータと同一の距離パラメータを利用すること、
   を特徴とする請求項７に記載の動画処理方法。