JP2003199123A - 動画におけるフリッカ補正 - Google Patents

Abstract

(57)【要約】 【課題】 動画のフリッカの処理を効果的に行えるよう
にする。 【解決手段】 複数のフレームからなる動画のフリッカ
補正において、当該フレームを含む複数フレームについ
ての画像データの累積ヒストグラムと移行平均である移
行平均累積ヒストグラムとを作成する。次に、画像デー
タを補正するためのガンマテーブルを、補正後の画像デ
ータの累積ヒストグラムが前記の移行平均累積ヒストグ
ラムとなるように作成する。次に、作成したガンマテー
ブルを用いて画像データの補正を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画の画像処理、
特に動画のフリッカの処理に関する。

【０００２】

【従来の技術】デジタルカメラなどで撮影された動画
は、撮影された条件によって、フリッカが発生する。フ
リッカは、照明の周波数と動画のフレームレートとが同
期しないことにより、明度などが周期的に変化するとい
う現象である。

【０００３】

【発明が解決しようとする問題点】動画に対し種々の画
像処理（色かぶり補正など）がなされるが、フリッカ現
象についても自動的に補正できるようにすることが望ま
しい。特開２０００−3２４３６５号公報に記載された
画像処理装置では、フリッカ補正のため、過去数フレー
ム分の画像の画素データの平均値を参照画像データとし
て最新の入力画像の画素データの平均値との差分を求
め、それを元に補正データを算出している。この装置で
は、単に平均値の差分を基に画像データを補正している
が、さらに補正の精度を上げることが望ましい。

【０００４】本発明の目的は、動画のフリッカの処理を
効果的に行えるようにすることである。

【０００５】

【課題を解決するための手段】本発明に係る第１のコン
ピュータにより実行可能な画像処理プログラムは、複数
のフレームからなる動画について、当該フレームを含む
複数フレームについての画像データの累積ヒストグラム
とその移行平均である移行平均累積ヒストグラムとを作
成するステップと、画像データを補正するためのガンマ
テーブルを、補正後の画像データの累積ヒストグラムが
前記の移行平均累積ヒストグラムとなるように作成する
ステップと、作成したガンマテーブルを用いて画像デー
タの補正を行うステップとからなる。こうして、フリッ
カを原因とする不要な明度、彩度、色相などの変化に対
して、各フレームの移行平均累積ヒストグラムを用いて
補正用ガンマテーブルを作成し補正を行うので、精度良
く補正を行え、補正の効果が高い。

【０００６】たとえば、前記の動画の画像データは、
赤、緑及び青の画像データ、明度の画像データまたは彩
度の画像データである。

【０００７】前記の画像処理プログラムにおいて、複数
の画像データについてのフリッカ補正処理を組み合わせ
てもよい。たとえば、ＲＧＢそれぞれの累積ヒストグラ
ムを元にフリッカ補正を行った後、さらに、L(明度)お
よび／またはＳ(彩度)の累積ヒストグラムを元に、フリ
ッカ補正を行う。

【０００８】前記の画像処理プログラムの累積ヒストグ
ラムの移行平均において、たとえば、当該フレーム及び
過去のフレームのみについて移行平均をとる。これによ
り実質的なリアルタイム処理が可能になる。

【０００９】前記の画像処理プログラムにおいて、さら
に、フレームを複数の領域に分割するステップを備え、
領域ごとに、累積ヒストグラム作成、移行平均累積ヒス
トグラム作成及び補正用ガンマテーブル作成を行う。こ
れにより、フレーム内で部分的にフリッカが起こってい
る場合や、フリッカの強さが変化している場合に対応す
る。ここで、前記の１フレームだけ大きく画素値が変化
しているフレームについては、フリッカ補正に使用しな
いようにしてもよい。これにより、フラッシュ等の影響
による１フレームだけの変化の副作用を防ぐ。

【００１０】撮影対象物が速く動く場合も適切にフリッ
カ補正を行うため、得られた補正用ガンマテーブルにお
いて、所定範囲の画像データについて所定の形状に修正
する。たとえば、画像データの最大値から第１のしきい
値まで、また、画像データの最小値から第２のしきい値
までについて、直線に修正する。動きが速いとき、移行
平均を用いることによる悪影響が起こるが、動きの影響
を受けやすい所定範囲のデータについて、前述の処理に
より悪影響をさけることができる。特に複数領域に分割
する場合に効果が大きい。

【００１１】また、撮影対象物が速く動いている場合の
副作用を防ぐため、さらに、動き領域を検出するステッ
プを設け、検出した動き領域を累積ヒストグラムの算出
に使用しないようにしてもよい。特に複数領域に分割す
る場合に効果が大きい。動き領域は、たとえば、複数フ
レームの間の差分をとり、差分がしきい値より大きい画
素を取り出すことにより、得られる。

【００１２】本発明に係る第２のコンピュータにより実
行可能な画像処理プログラムは、フレームを複数の領域
に分割するステップと、それぞれの領域について、フレ
ーム間の画素値の変化を調べるステップと、それぞれの
領域について、画素値の変化の大きさによりフリッカの
有無とその種類（たとえば全体または局所）を判定する
ステップとからなる。さらに、判定結果を元にフリッカ
補正処理方法を決めるステップを設けると、フリッカの
種類（たとえば、フレーム内で全体的なフリッカ、局所
的なフリッカまたはフリッカなし）を判定することで、
適切な処理方法を自動的に選択して、補正できる。

【００１３】また、屋外から屋内に移動しながら撮影す
る場合のようにシーンチェンジがある場合、シーンごと
にフリッカの有無や性質が異なることがある。そのよう
な場合に対応するため、画像処理プログラムにおいて、
たとえば、動画においてシーンチェンジを検出し、同一
シーンのフレーム群に分類するステップと、次に、同一
シーンのフレーム群ごとに前述のようにフリッカの有無
とその種類を判定するステップと、その判定結果を基に
個別に補正を行うステップを設ける。

【００１４】

【発明の実施の形態】以下、添付の図面を参照して本発
明の実施の形態を説明する。図１は、画像処理装置の全
体の構成を概念的に示す。画像処理システムにおいて、
ホストコンピュータ１０には、入力装置としてキーボー
ド１２とマウス１４が、出力装置としてモニタ１６が備
えられる。また、外部記憶装置１８として、たとえばハ
ードディスク装置が備えられる。プログラムは、その１
部が外部記憶装置にあってもよい。ハードディスク２０
には、ＯＳ２２その他のプログラムが記憶され、その中
に、画像処理プログラム２４も含まれる。ここで、キー
ボード１２やマウス１４によるユーザの指示が入出力イ
ンタフェース２６を通じてＯＳ２２に伝えられる。コン
ピュータ１０において、ＣＰＵ２６が、画像処理プログ
ラム２４を用いてその指示を処理する。処理の結果は、
入出力インタフェース２８を通じてモニタ１６に表示す
る。なお、図１に示した画像処理装置の構成は、各実施
形態において同様である。

【００１５】次に、画像処理プログラム２４に含まれる
フリッカ補正について説明する。連続するフレーム間で
は、ＲＧＢヒストグラムの形が相似形であるか、または
相似形に近い。そこで、この性質を利用し、ＲＧＢヒス
トグラムを合わせる。まず、各フレームについて、画像
データ（たとえばＲＧＢ）の累積ヒストグラムを求め
る。次に、フレーム間のヒストグラムの形を合わせる。
具体的には、各フレームについて、前後の複数フレーム
の累積ヒストグラムの移行平均をとった移行平均累積ヒ
ストグラムを求める。平均をとるフレームの数はフリッ
カの１周期を含むように決定する。次に、各フレームご
とに、当該フレームの補正後の画像データが、先に求め
た移行平均累積ヒストグラムとなるように、画像データ
を補正する。具体的には、各フレームごとに移行平均累
積ヒストグラムを用いて、補正用ガンマテーブルを作成
して、そのガンマテーブルを用いて画像データを補正す
る。このように移行平均累積ヒストグラムを元に補正用
ガンマテーブルを作成し画像データの補正を行うので、
補正の効果が高く、フリッカ補正の精度が向上する。

【００１６】前述の移行平均累積ヒストグラムの作成に
おいて、移行平均処理と累積ヒストグラム作成処理と
は、どちらを先にしてもよい。以下の実施形態では、先
に、フレーム毎に画像データの累積ヒストグラムを作成
し、次に、前後また過去の数フレームの累積ヒストグラ
ムを平均して、移行平均累積ヒストグラムを作成する。
別の手法では、先に、前後または過去の数フレームの画
像データのヒストグラムを平均処理して、移行平均ヒス
トグラムを作成し、次に、その移行平均ヒストグラムを
元に移行平均累積ヒストグラムを作成する。

【００１７】次に、第1の実施の形態におけるフリッカ
処理について説明する。このフリッカ補正では、赤緑青
（ＲＧＢ）の画像データの累積ヒストグラムを元に、補
正用ガンマテーブルを作成して、画像データを補正す
る。図２は、この実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャートを示す。まず、各フレ
ームのＲＧＢそれぞれの累積ヒストグラムAcHist_R
_ｊ(ｉ)，AcHist_G_ｊ(ｉ)，AcHist_B_ｊ(ｉ)を作成する
（Ｓ１００、Ｓ１０２）。ここでｉは画像の８ビット画
素値０〜２５５を表し、累積ヒストグラムは、フレーム
の全画素数に対するパーセンテージで表すものとする。
すなわち、 AcHist_R_ｊ(0)＝AcHist_G_ｊ(0)＝AcHist_B_ｊ(0)＝0 (％) AcHist_R_ｊ(255)＝AcHist_G_ｊ(255)＝AcHist_B_ｊ(255)＝100 (％） ここで、添え字ｊはフレーム番号を表す。図３の上図で
は、１例として、Ｒの累積ヒストグラムを実線で示す。
なお、累積ヒストグラムの作成の高速化のため、全画素
を使用せず、規則的に抽出した画素を使用してもよい。
たとえば、縦横とも1画素おきにサンプリングする。

【００１８】すべてのフレームについてＲＧＢ累積ヒス
トグラムを作成すると、次に、前後の数フレームの累積
ヒストグラムの移行平均をとって移行平均累積ヒストグ
ラムAveHist_R_ｊ(i)，AveHist_G_ｊ(i)，AveHist_B_ｊ(i)
を作成する（Ｓ１０４）。ここでは、次の式に示すよう
に、前後６フレームの移行平均をとった。

【数１】

【数２】

【数３】 図３の上図では、１例として、Ｒの移行平均累積ヒスト
グラムを破線で示す。ただし、実際に前後６フレームが
存在しない場合（動画の先頭や最後あたりのフレームの
場合）には、存在する最も近い６フレームで、移行平均
をとることにする。（存在する最も近い６フレームと
は、たとえば先頭フレームなら、第１から第６のフレー
ムを指す。）

【００１９】移行平均をとる際のフレーム数について説
明すると、発生しているフリッカの明暗周期が分かって
いる場合、フレーム数をその明暗周期の倍数にすると、
フリッカの補正精度があがる。たとえば、５０MHz、１
５fps（フレームレート）の動画の場合、周期３のフリ
ッカとなるため、移行平均に使用するフレームの数を３
または６にする。

【００２０】次に、得られた移行平均累積ヒストグラム
を元に補正用ガンマテーブルを作成する。まず、図３の
上図のように、補正前のＲの画素値をＡ、補正後のＲの
画素値をＢとすると、 AveHist_R_ｊ(B_１)＝AcHist_R_ｋ(A_１) が成り立つような（Ａ_１，Ｂ_１）の組み合わせを複数の
Ａの値について計算する。図３の例では、累積ヒストグ
ラムで２０％ごとの組み合わせ(Ａ_１，Ｂ_１)、…、(Ａ
_５，Ｂ_５)を計算する。次に、刻みの間（たとえば、Ａ
_１とＡ_２の間）の画素値の計算では直線で補間する。す
なわち、複数点の間を図３の下図のようにつないで折れ
線近似をして、Ｒの補正用ガンマテーブルGamma_R(ｉ)
を算出する。Ｇ，Ｂの補正用ガンマテーブルGamma_G
(ｉ)，Gamma_B(ｉ)についても、全く同様に算出する。
なお、図３では、図示を簡単にするため、累積ヒストグ
ラムの間隔を２０％としているが、実際上はもっと細か
く（たとえば２％刻みで）処理する。（しかし、刻みを
細かくしすぎると処理時間がかかりすぎるため、あまり
補正精度が必要ないなら、刻みを粗くしてもよい。）

【００２１】こうして作成したガンマテーブルGamma_R
(ｉ)を元に、各画素のＲの値を変換する（Ｓ１０６）。
補正前の画素（ｘ, y）のＲの画素値をＲ(ｘ，y）、補
正後のＲの画素値をRnew(ｘ, y)とすると、変換は、 Rnew(ｘ，y)＝Gamma_R(R(ｘ, y）） として行う。Ｇ，Ｂに対しても、全く同様に補正を行
う。 Gnew(ｘ, y)＝Gamma_G(G(ｘ, y)) Bnew(ｘ, y)＝Gamma_B(B(ｘ, y)) このフリッカ補正では、各フレームにおいてＲＧＢのヒ
ストグラムの形が似てくる結果、フリッカの補正の精度
が向上する。

【００２２】次に、第２の実施の形態の画像補正につい
て説明する。第１の実施形態では、赤緑青（ＲＧＢ）の
累積ヒストグラムを用いていたが、この実施形態では、
赤緑青（ＲＧＢ）の累積ヒストグラムの代わりにＬ（明
度）の累積ヒストグラムを用いてフリッカ補正を行う。
図４は、この実施形態の画像処理プログラムにおけるフ
リッカ処理のフローチャートを示す。まず、色空間を、
たとえばＨＳＬへ変換する（Ｓ２００）。なお、ここで
はＨＳＬ空間を用いたが、明度または輝度を扱えれば他
の色空間でも良い。次に、明度（Ｌ）について、第１の
実施形態のステップＳ１００〜Ｓ１０８と同様に、移行
平均累積ヒストグラムを元に補正テーブルを作成し、補
正を行う（Ｓ２０２〜Ｓ２１０）。最後に、色空間を元
のＲＧＢに戻す（Ｓ２１２）。この処理により、明度成
分についてフリッカ補正を行うことができる。

【００２３】次に、第３の実施の形態の画像補正につい
て説明する。第２の実施形態では、Ｌ(明度)の累積ヒス
トグラムを元に補正用ガンマテーブルを作成したが、こ
の実施形態では、Ｓ(彩度)の累積ヒストグラムを元に補
正用ガンマテーブルを作成し、フリッカ補正を行う。図
５は、この実施形態の画像処理プログラムにおけるフリ
ッカ処理のフローチャートを示す。まず、色空間を、た
とえばＨＳＬへ変換する（Ｓ３００）。なお、ここでは
ＨＳＬ空間を用いたが、彩度を扱えれば何でもよい。第
１の実施の形態のステップＳ１００〜Ｓ１０８と同様
に、彩度（Ｓ）について、移行平均累積ヒストグラムを
元に補正テーブルを作成し、補正を行う（Ｓ３０２〜Ｓ
３１０）。最後に、色空間を元のＲＧＢに戻す（Ｓ３１
２）。この処理により、彩度成分について、フリッカ補
正を行うことができる。

【００２４】次に、第４の実施の形態の画像補正につい
て説明する。第１の実施形態では、ＲＧＢの移行平均累
積ヒストグラムを元に、補正用ガンマテーブルを作成し
たが、この実施形態では、RGBの移行平均累積ヒストグ
ラムを元に、フリッカ補正を行った後、さらに、Ｌ(明
度)および／またはＳ(彩度)の移行平均累積ヒストグラ
ムを元にフリッカ補正を行う。図６は、この実施形態の
画像処理プログラムにおけるフリッカ処理のフローチャ
ートを示す。ここでは、まず第１の実施形態と同様にＲ
ＧＢの移行平均累積ヒストグラムを基に画像データの補
正をする（Ｓ４００）。次に、ＬとＳ両方の移行平均累
積ヒストグラムを元にさらに補正を行う。すなわち、各
フレームについて、色空間をたとえばＨＳＬへ変換する
（Ｓ４０２〜Ｓ４０４）。次に、第１の実施の形態のス
テップＳ１００〜Ｓ１０８と同様に、移行平均累積ヒス
トグラムを元に補正テーブルを作成し、補正を行う（Ｓ
４０４〜Ｓ４１２）。最後に、色空間を元のＲＧＢに戻
す（Ｓ４１４）。なお、ここではＨＳＬ空間を用いた
が、彩度と明度を扱えれば何でもよい。このように、Ｒ
ＧＢでフリッカ補正を行った後、さらに後処理としてＬ
（明度）とＳ（彩度）に対してもフリッカ補正するの
で、さらに補正効果を高めることができる。なおＬとＳ
は、どちらかのみを後処理として補正しても良い。

【００２５】次に、第５の実施の形態の画像補正につい
て説明する。この実施形態では、過去のフレームのみを
用いて、フリッカ補正する。処理対象のフレームとその
過去のフレームのみを用いることで、実質上のリアルタ
イム処理が行える。したがって、（少しの遅延があって
もよいような）テレビ会議システム、ストリーミングビ
デオ用補正サーバー、デジタルビデオ、デジタルカメラ
などのハードウェアヘの組み込みが可能となる。

【００２６】図７は、この実施形態の画像処理プログラ
ムにおけるフリッカ処理のフローチャートを示す。ここ
では、ＲＧＢ累積ヒストグラムを用いた場合の例を示
す。（これは、ＬやＳに対しても、同様に適応でき
る。）第１の実施形態との違いを中心に、記載すると、
まず、先頭フレーム（フレーム番号1）のＲＧＢそれぞ
れの累積ヒストグラムAcHist_R_１(i），AcHist_G
_１(i），AcHist_B_１(i）を作成する（図３の上図の実
線）（Ｓ５００）。ここでｉは画素値０〜２５５を表
し、累積ヒストグラムは、フレームの全画素数に対する
パーセンテージで表されるものとする。また、添え字は
フレーム番号を表す。

【００２７】次に、過去のフレームが存在すれば、最大
たとえば６フレームの累積ヒストグラムの移行平均をと
った移行平均累積ヒストグラムAveHist_R_１(i)，AveHis
t_G _１(i)，AveHist_B_１(i)を作成する（Ｓ５０２）。先
頭フレームの場合は、現在のフレームのみしかないの
で、現在の１フレームのみで平均することになり、実際
は全く同じとなる（図３の上図の破線）。 AveHist_R_１(i)＝AcHist_R_ｌ(i) AveHist_G_１(i)＝AcHist_G_ｌ(i) AveHist_B_１(i)＝AcHist_B_ｌ(i) その後の処理は、第１の実施形態と同じであり、ＲＧＢ
に対し補正用ガンマテーブルを作成し、フリッカ補正を
行う（Ｓ５０４）。その結果、1フレーム目は、実際は
何も補正がかからないことになる。

【００２８】次に、次のフレームがあるので（Ｓ５０６
でＹＥＳ）、２フレーム目の処理に移り、まず累積ヒス
トグラムAcHist_R_２(i)、AcHist_G_２(i)、AcHist_B
_２(i)を作成する。過去に1フレームだけ存在するので、

【数４】

【数５】

【数６】 その後の処理は、第１の実施形態と同じである。ＧＢに
対し、同様に補正用ガンマテーブルを作成し、フリッカ
補正を行う。

【００２９】同様に次のフレームヘと処理を繰り返し、
たとえば（７フレーム目以降の）jフレーム目を補正す
るときには、

【数７】

【数８】

【数９】 として、移行平均累積ヒストグラムを作成する。その後
の処理は、第１の実施形態と同じであり、ＲＧＢに対し
補正用ガンマテーブルを作成し、フリッカ補正を行う。

【００３０】次に、第６の実施の形態の画像補正につい
て説明する。この実施形態では、１フレームを複数の領
域に分割し、領域単位でフリッカ補正をする。領域分割
が必要となるのは、たとえば、フレームの一部でのみフ
リッカが起きている場合や、フレームの場所により照明
光源との距離に応じてフリッカの強さにばらつきがある
場合である。以下に説明する例では、図８に示すよう
に、３２０×２４０画素のサイズの動画を８０×８０の
サイズの１２の矩形領域に分割し、ＲＧＢの移行平均累
積ヒストグラムを用いてフリッカ補正をする。図８の中
の矩形ｒは矩形を表わす番号である。

【００３１】図９は、第６の実施形態の画像処理プログ
ラムにおけるフリッカ処理のフローチャートを示す。ま
ず、フレーム内を複数の矩形領域に分割する（Ｓ６０
０）。ここでは、図８に示すように、３２０×２４０の
画素サイズのフレームを８０×８０のサイズの１２個の
矩形に領域分割する。次に、各矩形領域に対し、第１の
実施形態のように、ＲＧＢそれぞれの累積ヒストグラム
を作成する。これを、各フレームについておこなう（Ｓ
６０２〜Ｓ６０４）。

【００３２】次に、各矩形領域に対し、前後の数フレー
ムで累積ヒストグラムの移行平均をとる（Ｓ６０６）。
次に、矩形領域ごとに、移行平均累積ヒストグラムを用
いて補正用ガンマテーブルを作成する（Ｓ６０８）。こ
こで各矩形領域ｒの補正用ガンマテーブルをGamma_R
_ｒ(m)、Gamma_G_ｒ(m)、Gamma_B_ｒ(m)とすると、各画素
に対して、その位置（矩形の中心点からの距離（ｘ，
ｙ））に応じて以下のように線形に補間した補正用ガン
マテーブルGamma_R(x,y,m）、Gamma_G(x,y,m）、Gamma_
B(x,y,m）を作成する。ここで、図１０に示すように、w
idthとheightを矩形の幅と高さの半分とし、ｘ'＝ｘ／
(２×width），ｙ'＝ｙ／(２×height）とすると、 Gamma_R(x,y,m)＝(１−ｘ')(1−y')Gamma_R_１(m)+ｘ'(1
−y')Gamma_R_２(m)+(1−ｘ')y'Gamma_R_５(m)+ｘ'y'Gamm
a_R_６(m) Gamma_G(x,y,m)＝(１−ｘ')(1−y')Gamma_G_１(m)+ｘ'(1
−y')Gamma_G_２(m)+(1−ｘ')y'Gamma_Ｇ_５(m)+ｘ'y'Gam
ma_Ｇ_６(m) Gamma_B(x,y,m)＝(１−ｘ')(1−y')Gamma_B_１(m)+ｘ'(1
−y')Gamma_B_２(m)+(１−ｘ')y'Gamma_B_５(m)+ｘ'y'Gam
ma_B_６(m) 次に、補間した補正用ガンマテーブルを用いて、画素値
を変換し補正する（Ｓ６１０)。

【００３３】なお、この実施形態では、ガンマテーブル
そのものを補間すると説明している。しかし、実際には
補正前の画素値（r，g，b）を変換するのに使用するだ
けなので、以下のように必要な画素値に対するガンマテ
ーブルのみを作成し、補正する。補正後の画素値を
（r’，g’，b’）とすると、以下のようになる。 ｒ'＝(１−ｘ')(1−y')Gamma_R_１(ｒ)+ｘ'(1−y')Gamma
_R_２(ｒ)+(1−ｘ')y'Gamma_R_５(ｒ)+ｘ'y'Gamma_R
_６(ｒ) ｇ'＝(１−ｘ')(1−y')Gamma_G_１(ｇ)+ｘ'(1−y')Gamma
_G_２(ｇ)+(1−ｘ')y'Gamma_Ｇ_５(ｇ)+ｘ'y'Gamma_Ｇ
_６(ｇ) ｂ'＝(１−ｘ')(1−y')Gamma_B_１(ｂ)+ｘ'(1−y')Gamma
_B_２(ｂ)+(1−ｘ')y'Gamma_B_５(ｂ)+ｘ'y'Gamma_B
_６(ｂ) なお、たとえば図１０において、矩形1（実線で囲まれ
た部分）の左上四半分のように、隣接する矩形が無いと
ころは補間処理をせず、矩形１の右上四半分のように、
隣接する矩形が右側にしか無いときは、その右側の矩形
２との1方向の補間処理を行うものとする。

【００３４】次に、第７の実施の形態の画像補正につい
て説明する。この実施形態は、第６の実施形態の変形例
である。図１１は、この実施形態の画像処理プログラム
におけるフリッカ処理のフローチャートを示す。本実施
形態における領域分割では、図８に示した領域分割に加
え、さらに、矩形の半分のサイズ（縦４０、横４０画
素）ずつずらした矩形領域を作成する（Ｓ７００）。こ
うして、図１２の例では、たとえば、矩形１３は、図８
の領域分割図において、１行目の矩形１を右側に４０画
素ずらした矩形領域である。したがって、１行目には、
矩形１，２，３，４，１３，１４，１５の７個の矩形領
域が存在する。また、矩形１を下側に４０画素ずらして
矩形１６が設けられる。このように横方向に５行段の矩
形が重複した設けられる。したがって、１フレームを、
８０×８０画素の７×５＝３５個の重複した矩形領域に
分割する。

【００３５】次に、各矩形領域で補正用ガンマテーブル
を作成し、そのテーブルを元に補正する（画素値を変換
する）（Ｓ７０２〜Ｓ７１２）。この処理は、図９のス
テップＳ６０２〜Ｓ６１２に対応する。ここで、図１２
の各矩形１，１３，１６，１７に対して、補正した画素
値を 矩形1： （ｒ_ｌ，g_１，b_１） 矩形１３：（r_１３，g_１３，b_１３〉 矩形１６：（r_１６，g_１６，b_１６） 矩形１７：（r_１７，g_１７，b_１７） とし、補間後の画素値を（r，g，b）とすると、ｘ'＝ｘ
／width、y'＝y／height（図１３参照）と規格化して、
次のようになる。 r＝(1−ｘ')×(1−ｙ')×r_１＋ｘ'×(1−y')×r_１３＋
(１−ｘ')×y'×r_１６＋ｘ'×y'×r_１７ ｇ＝(1−ｘ')×(1−ｙ')×ｇ_１＋ｘ'×(1−y')×ｇ_１３
＋(１−ｘ')×y’×ｇ_１６＋ｘ'×y'×ｇ_１７ ｂ＝(1−ｘ')×(1−ｙ')×ｂ_１＋ｘ'×(1−y')×ｂ_１３
＋(１−ｘ')×y'×ｂ_１６＋ｘ'×y'×ｂ_１７

【００３６】なお、たとえば図１３の矩形1の左上四半
部のように、隣接する矩形領域が無いところは補間処理
をせず、図１３の矩形１の右上四半部のように、隣接す
る矩形領域が右側にしか無いときは、その右側の矩形１
３との１方向の補間処理を行うものとする。

【００３７】なお、第６と第７の実施形態とも、矩形領
域の数を大きくしすぎると、ヒストグラム算出時に使用
される画素数が少なくなりすぎるため、少しの被写体の
動きに対しても色合いがおかしくなるなど、副作用が発
生しやすくなる。従って矩形分割数を、大きくても、第
６の実施形態なら２０程度、第７の実施形態なら６０程
度に抑える必要がある。

【００３８】また、３２１×２４０画素のようなサイズ
の動画の場合、端数の画素ができてもどこかの矩形に吸
収し、著しく小さな矩形を作成しないよう考慮する必要
がある。たとえば、３２１×２４０画素を図８のように
分割するとき矩形４，８，１２を８１×８０画素のサイ
ズにする。

【００３９】次に、移行平均累積ヒストグラムを用いた
画像補正をそのまま適用すると逆効果になる場合の副作
用を防ぐ処理を説明する。まず、第８の実施の形態の画
像補正について説明する。フラッシュを用いた場合など
において、１フレームだけ大きく画素値が変化すること
がある。第１の実施形態の画像補正をそのまま適応する
と、ヒストグラムを前後のフレームを元に平均化した結
果、フラッシュのフレームが暗く、フラッシュの前後の
フレームが明るく、誤って補正されてしまう。そこで、
この実施形態では、1フレームだけ大きく画素値が変化
しているフレームは、フリッカ補正に使用しないことに
より、フラッシュ等による悪影響を防ぐ。たとえば、図
１４のように、1フレームだけ、たとえば平均明度がし
きい値Th（たとえば５０）を超えて大きく変化していれ
ば、フラッシュと判定して、補正しないようにする。た
とえば、フラッシュのフレームの累積ヒストグラムを、
前後の累積ヒストグラムの平均値（図１４の白丸）で置
き換えて、補正用ガンマテーブルを作成する。これによ
り、フラッシュなどによる悪影響を防止できる。なお、
平均明度の代わりに、緑Gの平均値で代用しても良い。

【００４０】次に、第９の実施の形態の画像補正につい
て説明する。この実施形態では、２つのしきい値を元に
補正用ガンマテーブルを修正し、撮影対象物が早く動い
ている場合の副作用を防ぐ。第１の実施形態の画像補正
では、撮影対象物の動きの無いものや比較的ゆっくり動
くものに対しては、問題なく補正できる。これは、連続
するフレームの間では、ＲＧＢヒストグラムの形が相似
形または相似形に近いという性質を利用し、ＲＧＢヒス
トグラムを合わせるよう、画像データを補正しているた
めである。しかし、被写体が大きく動く場合には、フリ
ッカが起きていない場合でも、ヒストグラムの形は同一
ではない。従って、それを同一にしようとする第１の実
施の形態の画像補正を適用すると、逆に副作用として色
合いが変になってしまう場合がある。この副作用は、特
に領域分割をする第６や第７の実施形態のアルゴリズム
で、顕著に現れる。そこで、この副作用を防ぐため、補
正用ガンマテーブルを修正する。すなわち、図１５のよ
うに、画素データの０近傍と２５５近傍、すなわち、0
〜Th1（たとえば50）、Th2（たとえば200）〜255の区間
を直線で近似する。（図１５において、実線が修正前
で、点線が修正後の補正用ガンマテーブルを表す。）

【００４１】この点についてさらに説明をすると、摘影
対象物の動きがないフリッカを補正するために、補正用
ガンマテーブルを作成すると、図１６の例１、例２の実
線のようなテーブルが得られることが、実験的に分かっ
た。（ここで、0〜Thl（たとえば50）、Th2（たとえば2
00）〜255は、比較的に直線に近いことがわかる。）し
かし、上記の副作用が起きている補正用ガンマテーブル
の場合、図１５の実線のように、0〜Thl、Th2〜255にお
いて、直線からかけ離れた形を示すことが実験的に分か
った。そこで、この0〜Thl（たとえば50）、Th2（たと
えば200）〜255の区間の補正用ガンマテーブルを直線で
近似することで、副作用を防ぐ。

【００４２】次に、第１０の実施の形態の画像補正につ
いて説明する。この実施形態では、動き領域を検出し、
検出した動き領域を累積ヒストグラムの算出に使用しな
いことで、撮影対象物が早く動いている場合の副作用を
防ぐ。例を用いて説明すると、図１７の例のように、一
部の被写体が動いているとき、たとえば連続するフレー
ム間で差分を取り、差分があるしきい値Th（たとえば、
ＲＧＢとも５０）以上である画素を取り出すと、図１７
の２段目のように、動き成分（動きベクトルともいう）
を取り出せる（図の黒部分）。ここで、たとえば図１７
の２フレーム目のフリッカ補正をするため、１フレーム
目と３フレーム目を用いた３フレームでの移行平均累積
ヒストグラムを計算するとした場合、図１７のように、
その３フレーム共通の動きのない背景の画素部分（図１
７の３段目の白部分）を用いて、ＲＧＢの累積ヒストグ
ラムと移行平均累積ヒストグラムを算出し、補正用ガン
マテーブルを作成する。こうして、被写体が動く場合の
副作用を防ぐことができる。これは、第９の実施形態と
同様に、図１８のように領域分割を行い補正する場合
に、より効果を発揮する。

【００４３】次に、第１１の実施の形態について説明す
る。この実施形態では、フレーム内を複数の館域に分割
し、それぞれの領域毎の画素値の変化を調べることで、
フリッカの有無とフリッカの種類（全体または局所）を
判定する。ここでは、調べる画素値としてたとえば明度
の変化を調べる例を述べる。図１９は、この実施形態の
画像処理プログラムにおけるフリッカ処理のフローチャ
ートを示す。図８のように、領域に分割し（Ｓ８０
０）、各フレームに対する平均明度Ｌ_ｉ(f)を算出する
（Ｓ８０２）。ここで、fはフレーム番号、添え字iは領
域番号を示す。次に、領域毎に平均明度のふれ幅を計算
する。これには、たとえば前のフレームとの差分の絶対
値Abs（L_ｉ(f)−L_ｉ(f-1））を計算する。これを全フレ
ーム分計算し、1フレームあたりの平均値を求め、表１
の「平均明度ふれ幅」とする。次に、表１のように平均
明度ふれ幅が、 0〜Th1（たとえば５）： フリッカ強さ0（フリッカなし） Th1〜Th2（たとえば１０）： フリッカ強さ1（フリッカ弱） Th2〜： フリッカ強さ2（フリッカ強） のように判定し、各領域のフリッカの強さを求める（Ｓ
８０４）。ここで、全領域でフリッカ強さ０ならフリッ
カなし、全領域でフリッカ強さが０以外の同じ値なら全
体フリッカ、領域毎にフリッカ強さが異なるなら局所フ
リッカと判定する（Ｓ８０６）。たとえば、表１の場合
には、局所フリッカと判定する。なお、明度変化の代わ
りに緑Ｇの値の変化で代用しても良い。

【００４４】

【表１】

【００４５】次に、第１２の実施の形態の画像補正につ
いて説明する。この実施形態では、第１１の実施の形態
のようにフリッカの有無とその種類（全体または局所）
の判定し、その結果を元に補正処理を決めることで、そ
れに対応したフリッカ補正を自動的に行う。図２０は、
この実施形態の画像処理プログラムにおけるフリッカ処
理のフローチャートを示す。まず、第１１の実施形態と
同様にフリッカの有無とフリッカの種類を判定する（Ｓ
９００）。次に、判定結果を元に分岐する（Ｓ９０
２）。フリッカなしの場合は、フリッカ補正をしない。
全体フリッカの場合、領域に分割せず、フリッカ補正を
する（Ｓ９０６）。局所フリッカの場合、領域に分割
し、フリッカ補正をする（Ｓ９０８）。こうして、フリ
ッカの態様に対応して自動的にフリッカ補正を行う。

【００４６】次に、第１３の実施の形態の画像補正につ
いて説明する。この実施形態では、シーンチェンジを検
出し、同一シーンのフレーム群毎にフリッカ補正方法を
変更する。たとえば屋内から屋外へ移動しながら撮影し
た動画の場合のように、フリッカの有無や種別が、フレ
ーム群ごとに違っている場合には、第１の実施の形態の
画像補正を適用すると、逆に副作用として色合いが変に
なってしまう場合がある。そこで、以下のように対応す
る。図２２は、この実施形態の画像処理プログラムにお
けるフリッカ処理のフローチャートを示す。まず最初に
シーンチェンジを判断し、フレーム群に分割する（Ｓ１
０００）。シーンチェンジの検出では、たとえば図２１
に示すように、各フレームの緑の平均値の変化を元に、
急激に変化したフレームがあると、シーンチェンジと判
断する。次に、フレーム群ごとに、第１２の実施形態の
ように、フリッカの有無やその種別を判定し、その判定
結果を元にフリッカ補正を行う。これをすべてのフレー
ム群について行う。（Ｓ１００２〜Ｓ１０１０）。これ
により、シーンの変化に対応したフリッカ補正を行う。

【００４７】

【発明の効果】動画像のフリッカ補正において、移行平
均累積ヒストグラムを用いて画像を補正するので、フリ
ッカ補正が高精度で行える。

【００４８】また、ＲＧＢやＬ（明度）、Ｓ（彩度）な
どの、個々の色成分に対してフリッカ補正を行うこと
で、色相を含めたフリッカの補正を行え、補正効果が高
い。

【００４９】また、過去のフレームのみを用いてフリッ
カ補正を行うので、実質的にリアルタイム処理ができ
る。

【００５０】また、フレームを領域に分割してフリッカ
補正をすることにより、フリッカ補正がより適切に行え
る。

【００５１】また、フラッシュがある場合、撮影対象物
に動きがある場合、シーンチェンジがある場合などのよ
うに、画像が大きく変化する場合に、移行平均累積ヒス
トグラムを用いた画像補正においてその影響を抑える処
理を入れることで、副作用を防ぐことができる。

【００５２】また、フレームに対して全体的なフリッカ
か、局所的なフリッカかを判定し、その結果に応じて、
補正アルゴリズムを変更するので、最適な補正アルゴリ
ズムを自動的に選択し補正できる。

【図面の簡単な説明】

【図１】 画像処理装置の全体の構成を示すブロック図

【図２】 第１の実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャート

【図３】 補正を説明するための図

【図４】 第２の実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャート

【図５】 第３の実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャート

【図６】 第４の実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャート

【図７】 第５の実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャート

【図８】 第６の実施形態における矩形領域への分割を
示す図

【図９】 第６の実施形態の画像処理プログラムにおけ
るフリッカ処理のフローチャート

【図１０】 矩形領域内のパラメータを示す図

【図１１】 第７の実施形態の画像処理プログラムにお
けるフリッカ処理のフローチャート

【図１２】 第７の実施形態における矩形領域への分割
を示す図

【図１３】 矩形領域内のパラメータを示す図

【図１４】 フラッシュの悪影響がある例を示すグラフ

【図１５】 修正前(実線)と修正後(点線)の補正用ガン
マテーブルを表すグラフ

【図１６】 補正用ガンマテーブルを表すグラフ

【図１７】 一部の被写体が動いているときの処理を説
明するための図

【図１８】 領域分割をしたときの動き成分の例を示す
図

【図１９】 第１１の実施形態の画像処理プログラムに
おけるフリッカ処理のフローチャート

【図２０】 第１２の実施形態の画像処理プログラムに
おけるフリッカ処理のフローチャート

【図２１】 フレーム群に分割した状況を示す図

【図２２】 第１３の実施形態の画像処理プログラムに
おけるフリッカ処理のフローチャート

【符号の説明】

１０ コンピュータ、 １２ キーボード、 １４
マウス、 １６モニタ、 １８ 外部記憶装置、
２０ ハードディスク、 ２４ 画像処理プログ
ラム、 ２６ ＣＰＵ。

フロントページの続き Ｆターム(参考） 5C021 PA77 PA79 PA80 RA01 RB06 XA34 XB07 YA07 5C065 AA01 BB12 BB21 CC01 GG13 GG30 GG31 5C066 AA01 CA17 EC05 EF11 GA01 GA02 GA05 KE07 KE09 KM01 KP05

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数のフレームからなる動画について、
   当該フレームを含む複数フレームについての画像データ
   の累積ヒストグラムとその移行平均である移行平均累積
   ヒストグラムとを作成するステップと、 画像データを補正するためのガンマテーブルを、補正後
   の画像データの累積ヒストグラムが前記の移行平均累積
   ヒストグラムとなるように作成するステップと、 作成したガンマテーブルを用いて画像データの補正を行
   うステップとからなり、コンピュータにより実行可能な
   画像処理プログラム。
2. 【請求項２】 前記の動画の画像データが、赤、緑及び
   青の画像データ、明度の画像データまたは彩度の画像デ
   ータであることを特徴とする請求項１に記載された画像
   処理プログラム。
3. 【請求項３】 前記の累積ヒストグラムの移行平均にお
   いて、当該フレーム及び過去のフレームのみについて移
   行平均をとることを特徴とする請求項１に記載された画
   像処理プログラム。
4. 【請求項４】 さらに、フレームを複数の領域に分割す
   るステップを備え、 領域ごとに、累積ヒストグラム作成、移行平均累積ヒス
   トグラム作成及び補正用ガンマテーブル作成を行うこと
   を特徴とする請求項１に記載された画像処理プログラ
   ム。
5. 【請求項５】 フレームを複数の領域に分割するステッ
   プと、 それぞれの領域について、フレーム間の画素値の変化を
   調べるステップと、 それぞれの領域について、画素値の変化の大きさにより
   フリッカの有無とその種類を判定するステップとからな
   り、コンピュータにより実行可能な画像処理プログラ
   ム。