JP2013150122A - 画像処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】実施形態によれば、動画像におけるオブジェクトの色の変動を目立たせることなく色補正を行なうことができる画像処理装置、方法、及びプログラムを提供する。
【解決手段】取得部は、複数のフレームを含む動画像を取得する。分類部は、動画像において、類似するシーンに属するフレームを互いに関連するグループに分類する。検出部は、
グループに属するフレームにおいて、対応する少なくとも１つのオブジェクト領域を検出し、フレーム毎にオブジェクトの色分布を求める。補正部は、各々の色分布から、各フレームのオブジェクトの代表的な色分布を求め、代表的な色分布に基づいて、グループに属するフレーム内の色補正を行なう。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。

ビデオカメラで撮影された動画像のホワイトバランスを調節し、色補正を行なう画像処理方法がある。

このような画像処理方法では、当該動画像の各フレームの画面構成に応じて、各フレームのホワイトバランスを調節するため、オブジェクト（例えば人物）の色の変動が目立ってしまうことがある。

そのため、従来の画像処理方法には、一定時間内におけるフレームに対して、同じホワイトバランスを用いることにより、オブジェクトの色の変動を抑制しようとするものがある。

しかしながら、類似するシーンであっても、一定時間経過後のフレームに対しては、新たに決定したホワイトバランスを適用するため、オブジェクトの色の変動が未だ目立ってしまうとの課題がある。

特開平９−５５９４９号公報

本発明が解決しようとする課題は、動画像におけるオブジェクトの色の変動を目立たせることなく色補正を行なうことができる画像処理装置、方法、及びプログラムを提供することである。

上記目的を達成するために、本発明の実施形態に係る画像処理装置は、取得部と、分類部と、検出部と、補正部とを備える。

取得部は、複数のフレームを含む動画像を取得する。分類部は、前記動画像において、類似するシーンに属するフレームを互いに関連するグループに分類する。検出部は、
前記グループに属するフレームにおいて、対応する少なくとも１つのオブジェクト領域を検出し、フレーム毎に前記オブジェクトの色分布を求める。補正部は、各々の前記色分布から、各フレームの前記オブジェクトの代表的な色分布を求め、前記代表的な色分布に基づいて、前記グループに属するフレームの色補正を行なう。

第１の実施形態に係る画像処理装置１を表すブロック図。 画像処理装置１の処理を表すフローチャート。 第１近似度の説明図。 第２の実施形態に係る画像処理装置２を表すブロック図。 画像処理装置２の処理を表すフローチャート。 第３の実施形態に係る画像処理装置３を表すブロック図。 画像処理装置３の処理を表すフローチャート。 色補正部３４２の処理を表すフローチャート。 処理対象フレームにおける画素の座標（ｉ，ｊ）、人物領域、光源領域の関係図。

（第１の実施形態）
第１の実施形態に係る画像処理装置１は、動画像を編集することが可能な画像編集ソフトウェア等に好適である。当該画像編集ソフトウェアは、例えば、パーソナルコンピュータやデジタルカメラ等に用いられてよい。

画像処理装置１は、動画像の各フレームに対して色補正を行なうものである。画像処理装置１は、動画像において類似するシーンに属するフレームを、互いに関連するグループに分類し、各グループに含まれるオブジェクト領域（例えば、人物の顔や、人物の肌）の色分布が統一されるように、各フレームの色補正を行なう。

これにより、動画像におけるオブジェクトの色の変動を目立たせることなく色補正を行なうことができる。なお、本実施形態では、人物の顔を、オブジェクトの一例として説明する。

図１は、画像処理装置１を表すブロック図である。画像処理装置１は、取得部１１と、分類部１２と、検出部１３と、補正部１４と、出力部１５とを備える。補正部１４は、格納部５１と、算出部１４１と、色補正部１４２とを含む。

取得部１１は、複数のフレームを含む動画像を取得する。

分類部１２は、取得された動画像において、類似するシーンに属するフレームを互いに関連するグループに分類する。分類部１２は、時系列的に一連でなく、途切れたシーンであっても、シーンどうしが類似していれば、各シーンに含まれるフレームを同じグループに分類する。詳細は後述する。

検出部１３は、各グループに属するフレームにおいて、対応する少なくとも１人の人物の顔を検出し、フレーム毎に当該人物の顔の色分布（第１色分布）を求める。

算出部１４１は、フレーム毎に、第１色分布と、予め設定された人物の顔の標準的な色分布（第１標準色分布）との近似の度合い（第１近似度）を算出する。

色補正部１４２は、第１近似度が最も高いフレームの第１色分布と、第１標準色分布とに基づいて、各フレームの前記オブジェクトの色分布が統一されるように、各フレームの色補正を行なう。

出力部１５は、各フレームの色補正が行われた動画像を、例えば表示装置や記憶装置等に出力する。

取得部１１と、分類部１２と、検出部１３と、補正部１４と、出力部１５とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。

以上、画像処理装置１の構成について説明した。

図２は、画像処理装置１の処理を表すフローチャートである。

取得部１１は、動画像を取得する（Ｓ１０１）。例えば、動画像は、ビデオカメラで撮影された動画や、ハードディスクレコーダー等に録画された動画等であってよい。

分類部１２は、動画像において、類似するシーンに属するフレームを互いに関連するグループに分類する（Ｓ１０２）。例えば、分類部１２は、各フレームの局所領域の画素値の分布（ＳＩＦＴ特徴量）を求め、ＳＩＦＴ特徴量の値が近いフレームを、同じグループに分類してよい。

検出部１３は、各グループに属するフレームにおいて、対応する少なくとも１人の人物の顔を検出し、フレーム毎に第１色分布を求める（Ｓ１０３）。ステップＳ１０３において、検出部１３は、公知の顔認識技術を用いて、人物の顔の領域（人物領域）を検出し、当該領域に含まれる画素の画素値の分布を第１色分布として求めてよい。取得された動画像の信号は、ＲＧＢ信号でも、ＹＵＶ信号等、どのような形式であってもよい。

算出部１４１は、フレーム毎に、第１色分布と第１標準色分布との第１近似度を算出する（Ｓ１０４）。第１標準色分布とは、太陽光、蛍光灯、白熱灯、ＬＥＤ光等、一定の光源下において観察される人肌の色分布である。

第１標準色分布のデータは算出部１４１が保持していてよい。第１標準色分布のデータは、第１標準色分布を示すモデル画像やその信号値を表すデータである。

第１近似度は、例えば、第１色分布が第１標準色分布からどれだけ離れているかを表すものであってよい。図３は、第１近似度の説明図である。図３の右図は、フレームを表す。図３の左図は、色度座標を表す。算出部１４１は、フレーム内で検出された人物領域を色度座標における第１色分布に変換する。

ステップＳ１０４において、算出部１４１は、第１色分布の中心から各第１標準色分布の中心までの距離Ｄ_ｉ（ｉ=０, １, ２,・・・,Ｎ）を求める。ここで、Ｎは、各光源の種類の数である。光源の種類として、太陽光、蛍光灯、白熱灯、ＬＥＤ光の４つを仮定していれば、Ｎ＝４となる。

算出部１４１は、求めた距離Ｄ_ｉのうち、最小値Ｄ_ｍｉｎを、第１色分布と第１標準色分布との第１近似度とする。算出部１４１は、各フレームについて、同様に第１近似度を求める。

なお、算出部１４１は、上述の例以外にも、第１標準色分布の分布軌跡を定義し、その中心軌跡との距離を第１近似度として求めてもよい。例えば、分布中心として分布密度が最大となる分布点を用いればよい。また、色分布中心から大きく離れた分布点は、第１近似度の算出に用いなくてもよい。

色補正部１４２は、第１近似度が最も高いフレームの第１色分布と、第１標準色分布とに基づいて、各フレームの前記オブジェクトの色分布が統一されるように、各フレームの色補正を行なう（Ｓ１０５）。

ステップＳ１０５において、色補正部１４２は、分類部１２で分類されたグループ毎に、第１近似度が最も高いフレームを求める。色補正部１４２は、例えば、第１近似度が最も高いフレームの第１色分布に各フレームが統一されるように、各フレームの色補正を行なう。なお、判定対象とするフレームの前後Ｔ秒以内のフレームに異なるグループに属するフレームがある場合、そのフレームの第１近似度が最も高い場合であっても、そのフレームは統一先のフレームから除外しても構わない。

また、人物領域が検出されなかったフレームは、前後のフレームの補正値の平均を用いて色補正演算を行なう。

出力部１５は、各フレームの色補正が行われた動画像を、例えば表示装置や記憶装置等に出力する（Ｓ１０６）。

以上、画像処理装置１の処理について説明した。

（変形例）
算出部１４１は、第１標準色分布のデータを保持しているのではなく、光源の分光分布データＰ（λ）と、人物（例えば人肌）の分光反射率データＲ（λ）から、第１標準色分布データを生成してもよい。

すなわち、算出部１４１は光源の分光分布データＰ（λ）と、人物（例えば人肌）の分光反射率データＲ（λ）と、式１で表わされる等色関数ｆ（λ）とを積算することにより第１標準色分布を生成する。

ここで、Ｔは転置を表す。

また、式２で表わされるカメラの分光感度ｈ（λ）が既知であれば、等色関数ｆ（λ）の代わりに分光感度ｈ（λ）に用いてもよい。

なお、光源の分光分布データＰ（λ）として、例えば、ＪＩＳ＿Ｚ＿８７２０の定める標準イルミナントや補助イルミナント、ＪＩＳ＿Ｚ＿８７１９の定める代表的な蛍光ランプの分光分布データを用いることができる。また、人肌の分光反射率データＲ（λ）として、ＳＯＣＳ（色再現評価用標準物体色分光データベースの肌色データ）で定める日本人、白人、黒人などの標準的な肌色データを用いることができる。この場合も、光源ごとに人肌のデータをまとめた分布を生成する。本変形例において、第１標準色分布ＳＳＭ（Ｒ，Ｇ，Ｂ）は、例えば、式（３）で求めることができる。

本実施形態によれば、動画像におけるオブジェクトの色の変動を目立たせることなく色補正を行なうことができる。

（第２の実施形態）
第２の実施形態に係る画像処理装置２は、光源の色分布を用いた第２近似度を算出し、第１近似度と第２近似度とに基づいて、各グループに含まれるオブジェクト領域の色分布が統一されるように、各フレームの色補正を行なう点が第１の実施形態の場合と異なる。本実施形態は、フレームにおいて検出された人物領域のサイズが小さい場合に好適である。

図４は、画像処理装置２を表すブロック図である。画像処理装置２の構成は、画像処理装置１の構成と同じであるが、検出部２３及び補正部２４（算出部２４１と色補正部２４２とを含む）の処理の内容が、第１の実施形態の場合と異なる。以下、第１の実施形態と異なる点について述べる。

検出部２３は、各グループに属するフレームにおいて、対応する少なくとも１人の人物の顔を検出し、第１色分布を求める。検出部２３は、各グループに属するフレームにおいて、光源の領域を検出し、フレーム毎に当該光源の色分布（第２色分布）を求める。

算出部２４１は、フレーム毎に、第１近似度、及び、第２色分布と予め設定された光源の標準的な色分布（第２標準色分布）との近似の度合い（第２近似度）を算出する。

色補正部２４２は、第１近似度及び第２近似度と、第１色分布及び第２色分布と、第１標準色分布及び第２標準色分布と、に基づいて、各フレームの前記オブジェクトの色分布が統一されるように、各フレームの色補正を行なう。

以上、画像処理装置２の構成について説明した。

図５は、画像処理装置２の処理を表すフローチャートである。図５に示すフローチャートは、図２に示すフローチャートのうち、ステップＳ１０３とステップＳ１０４とステップＳ１０５とが、各々、ステップＳ２０３とステップＳ２０４とステップＳ２０５とに置き換わったものである。

ステップＳ２０３において、検出部２３は、各グループに属するフレームにおいて、対応する少なくとも１人の人物の顔を検出し、第１色分布を求める。検出部２３は、各グループに属するフレームにおいて、光源領域を検出し、第２色分布を求める（Ｓ２０３）。検出部２３は、例えば、輝度が高い領域を光源領域として検出し、第２色分布を求めてよい。

ステップＳ２０４において、算出部２４１は、フレーム毎に、第１近似度Ｗ_１と第２近似度Ｗ_２とを算出する（２０４）。

第１の実施形態の場合と同様に、第１標準色分布のデータと第２標準色分布のデータとは、算出部２４１が保持していてよい。第２標準色分布のデータは、第２標準色分布を示すモデル画像やその信号値を表すデータである。

或いは、算出部２４１は、第１の実施形態の変形例の場合と同様に、第１標準色分布と第２標準色分布とを求めてもよい。ここで、第２標準色分布は、人肌の分光反射率データＲ（λ）を、白色拡散板の反射率データＣ（λ）に置き換えることにより、生成され得る。

この場合、算出部２４１は、第２標準色分布を、照明分布データと白色拡散板の反射率データＣ（λ）と、等色関数ｆ（λ）と、カメラの分光感度ｈ（λ）とを積算することで生成する。また、他にも、標準的な光源を示す光源画像やその信号値をデータテーブルとして算出部２４１が保持していてもよい。

色補正部２４２は、第１近似度Ｗ_１及び第２近似度Ｗ_２と、第１色分布及び第２色分布と、第１標準色分布及び第２標準色分布と、に基づいて、各フレームの前記オブジェクトの色分布が統一されるように、各フレームの色補正を行なう（Ｓ２０５）。

ステップＳ２０５において、色補正部２４２は、同一グループに属するフレームについて、人物領域が検出されたフレーム数Ｆ_１と、光源領域が検出されたフレーム数Ｆ_２とを求める。色補正部２４２は、同一グループの各フレームについて、第１近似度Ｗ_１とフレーム数Ｆ_１とを乗算する（Ｗ_１×Ｆ_１）。色補正部２４２は、同一グループの各フレームについて、第２近似度Ｗ_２とフレーム数Ｆ_２とを乗算する（Ｗ_２×Ｆ_２）。

色補正部２４２は、（Ｗ_１×Ｆ_１）及び（Ｗ_２×Ｆ_２）の中で、値が最大となるフレーム（基準フレーム）を決定する。色補正部２４２は、基準フレームについて、（Ｗ_１×Ｆ_１）及び（Ｗ_２×Ｆ_２）のいずれが大きいかを求める。

（Ｗ_１×Ｆ_１）のほうが大きい場合、色補正部２４２は、基準フレームの第１色分布に各フレームが統一されるように、各フレームの色補正を行なう。なお、人物領域が検出されなかったフレームについては、前後の同一シーンに属するフレームの補正値の平均を用いて色補正を行なう。

（Ｗ_２×Ｆ_２）のほうが大きい場合、色補正部２４２は、基準フレームの第２色分布に各フレームが統一されるように、各フレームの色補正を行なう。なお、光源領域が検出されなかったフレームについては、前後の同一シーンに属するフレームの補正値の平均を用いて色補正を行なう。

本実施形態によれば、人物領域が検出されない画像においても、同一および類似する光源下にあるフレームにおいて、最も自然な色再現結果が得られているフレームを基準として、色補正変動が抑制された色補正を行なうことができる。

（第３の実施形態）
第３の実施形態に係る画像処理装置３は、第１色分布を用いて求めたフレームの色補正結果と、第２色分布を用いて求めたフレームの色補正結果とを統合して、フレームの色補正を行なう点が前実施形態の場合となる。

図６は、画像処理装置３を表すブロック図である。画像処理装置３の構成は、画像処理装置２の構成と同じであるが、検出部２３及び色補正部２４２の処理の内容が、第２の実施形態の場合と異なる。以下、第２の実施形態と異なる点について述べる。

検出部３３は、取得された動画像の各フレームにおける人物領域を検出して、第１色分布を求める。検出部３３は、人物領域の位置を求める。検出部３３は、取得された動画像の各フレームにおける光源領域を検出して、第２色分布を求める。検出部３３は、光源領域の位置を求める。

色補正部３４２は、分類されたグループ毎に、最も第１近似度が高いフレームの第１色分布に基づいて各フレームの色補正結果（第１色補正結果）を推定する。色補正部３４２は、分類されたグループ毎に、最も第２近似度が高いフレームの第２色分布に基づいて、各フレームの色補正結果（第２色補正結果）を推定する。

色補正部３４２は、第１近似度と、第２近似度と、人物領域の位置Ｐ_１と、光源領域の位置Ｐ_２と、に基づいて、第１色補正結果と第２色補正結果との重み付き平均を求め、当該重み付き平均に基づいて、各フレームの色補正を行なう。

以上、画像処理装置３の構成について説明した。

図７は、画像処理装置３の処理を表すフローチャートである。図７に示すフローチャートは、図５に示すフローチャートのうち、ステップＳ２０５がステップＳ３０２に置き換わる。また、ステップＳ３０１の処理が加わる。

ステップＳ３０１において、検出部３３は、人物領域の位置と光源領域の位置とを求める（Ｓ３０１）。

ステップＳ３０２において、色補正部３４２は、分類されたグループ毎に、第１色補正結果と第２色補正結果とを推定する。

色補正部３４２は、第１近似度と、第２近似度と、人物領域の位置Ｐ_１と、光源領域の位置Ｐ_２と、に基づいて、第１色補正結果と第２色補正結果との重み付き平均を求め、当該重み付き平均に基づいて、各フレームの色補正を行なう（Ｓ３０２）。

図８は、色補正部３４２の処理を表すフローチャートである。

色補正部３４２は、処理対象となるフレーム（処理対象フレーム）を決定する（Ｓ８０１）。色補正部３４２は、処理対象フレーム中に、人物領域又は光源領域が検出されたか否かを判定する（Ｓ８０２）。例えば、色補正部３４２は、第１近似度及び第２近似度から、人物領域又は光源領域が検出されたか否かを判定してよい。

ステップＳ８０２の判定がＹＥＳの場合、色補正部３４２は、第１色補正結果と第２色補正結果とをαブレンドし、重み付き平均を求める（Ｓ８０３）。

図９は、処理対象フレームにおける画素の座標（ｉ，ｊ）、人物領域、光源領域の関係図である。色補正部３４２は、第１色補正結果の各フレームにおける画素（ｉ，ｊ）の画素値Ａ（ｉ，ｊ）と、第２色補正結果の各フレームにおける画素（ｉ，ｊ）の画素値Ｂ（ｉ，ｊ）との重み付き平均（αブレンド値）を求める。例えば、色補正部３４２は、式４を用いて、当該αブレンド値であるＣ（ｉ，ｊ）を求めてよい。

ここで、Ｗ１は第１近似度を表す。Ｗ２は第２近似度を表す。ｄ１は、画素（ｉ，ｊ）と人物領域との距離を表す。ｄ２は、画素（ｉ，ｊ）と光源領域との距離を表す。

なお、色補正部３４２は、人物領域又は光源領域として複数の領域が検出されていた場合、距離が最小となる領域を選択してよい。また、画素（ｉ，ｊ）が人物領域内又は光源領域内にある場合、距離を０としてよい。また、αは０以上１.０以下の値である。本実施形態では、αを画素（ｉ，ｊ）毎に算出したが、αはフレーム毎に決定してもよいし、取得された動画像で決定してもよい。

ステップＳ８０２の判定がＮＯの場合、色補正部３４２は、同一グループに属する前後のフレームの補正値の平均を用いて色補正演算（補間演算）を行なう（Ｓ８０４）。

色補正部３４２は、全てのフレームに対する処理が終了したか否かを判定する（Ｓ８０５）。ステップＳ８０５の判定がＮＯの場合、ステップＳ８０１に遷移する。ステップＳ８０５の判定がＹＥＳの場合、処理を終了する。

本実施形態の画像処理装置によれば、動画像における同一又は類似する光源が映っているフレームにおいて、人物の肌に局所的に他の光源からの光が照射されているような場合においても、色補正変動が抑制されたよ色補正を行うことができる。

上述した実施形態によれば、動画像におけるオブジェクトの色の変動を目立たせることなく色補正を行なうことができる。

なお、上述のオブジェクト領域特定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、Ａ、Ｂ、ＣおよびＤは、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、オブジェクト領域特定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、ＢおよびＣは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２、３・・・画像処理装置
１１・・・取得部
１２・・・分類部
１３、２３、３３・・・検出部
１４、２４、３４・・・補正部
１５・・・出力部
１４１、２４１・・・算出部
１４２、２４２、３４２・・・色補正部

Claims (8)

1. 複数のフレームを含む動画像を取得する取得部と、
   前記動画像において、類似するシーンに属するフレームを互いに関連するグループに分類する分類部と、
   前記グループに属するフレームにおいて、対応する少なくとも１つのオブジェクト領域を検出し、フレーム毎に前記オブジェクトの色分布を求める検出部と、
   各々の前記色分布から、各フレームの前記オブジェクトの代表的な色分布を求め、前記代表的な色分布に基づいて、前記グループに属するフレームの色補正を行なう補正部と
   を備える、画像処理装置。
2. 前記補正部は、
   各々の前記色分布と、予め設定された前記オブジェクトの代表的な色分布との近似の度合いを算出する算出部と、
   前記近似の度合いに基づいて、各フレームの前記オブジェクトの色分布が統一されるように、各フレームの色補正を行なう色補正部と
   をさらに備える、請求項１記載の画像処理装置。
3. 前記色補正部は、
   前記近似の度合いが高いフレームの前記オブジェクトの色分布に、他のフレームの前記オブジェクトの色分布が統一されるように、各フレームの色補正を行なう、
   請求項２記載の画像処理装置。
4. 前記色補正部は、
   色度座標における、各々の前記色分布と、予め設定された前記オブジェクトの代表的な色分布との距離を、前記近似の度合いとして算出する、
   請求項３記載の画像処理装置。
5. 前記オブジェクトは少なくとも人物を含み、前記オブジェクトの色分布とは前記人物の肌の色の分布である、
   請求項１記載の画像処理装置。
6. 前記オブジェクトは、さらに光源を含み、前記オブジェクトの色分布とは前記光源の色の分布である、
   請求項５記載の画像処理装置。
7. 複数のフレームを含む動画像を取得し、
   前記動画像において、類似するシーンに属するフレームを互いに関連するグループに分類し、
   前記グループに属するフレームにおいて、対応する少なくとも１つのオブジェクト領域を検出し、フレーム毎に前記オブジェクトの色分布を求め、
   各々の前記色分布から、各フレームの前記オブジェクトの代表的な色分布を求め、前記代表的な色分布に基づいて、前記グループに属するフレームの色補正を行なう、
   画像処理方法。
8. コンピュータを、
   複数のフレームを含む動画像を取得する手段と、
   前記動画像において、類似するシーンに属するフレームを互いに関連するグループに分類する手段と、
   前記グループに属するフレームにおいて、対応する少なくとも１つのオブジェクト領域を検出し、フレーム毎に前記オブジェクトの色分布を求める手段と、
   各々の前記色分布から、各フレームの前記オブジェクトの代表的な色分布を求め、前記代表的な色分布に基づいて、前記グループに属するフレームの色補正を行なう手段と
   して機能させるための、画像処理プログラム。

Images