JP2008294969A - 映像変換装置、映像変換方法、映像変換プログラム - Google Patents

Abstract

【課題】階調補正に不慣れなユーザでも意図した通りに色変換を行えるようにする。
【解決手段】映像入力部１１により入力映像の入力を受け付けると共に、目標画像入力部１３により目標画像の入力を受け付け、目標輝度分布作成部２６、目標墨分布作成部２７、目標色味分布作成部２８によりそれぞれ輝度、墨成分、色味に関する目標分布情報を目標画像から作成し、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５によりそれぞれ輝度、墨成分、色味に関する目標分布情報を入力映像に反映するための変換関数を作成し、当該変換関数を入力映像に適用する。
【選択図】図１

Description

本発明は、映像を自動で変換する技術に関するものであり、特に、デジタル映像処理装置において、入力された映像を変換する技術に関する。

映像のヒストグラムは、映像内の各ピクセルに対する明暗値の分布を示したものである。コントラストストレッチングは、明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる手法である。コントラストストレッチングを通して暗すぎる映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって、映像の全体的なコントラストバランスが改善される。

図２６は、従来のコントラストストレッチング装置の構成を示すブロック図である。同図に示すように、従来のコントラストストレッチング装置は、画像入力部４１、分布計算部４２、目標値入力部４３、ストレッチング部４４を有する。
分布計算部４２は、画像入力部４１で入力された映像から明暗値を計数してヒストグラム値またはヒストグラム関数（確率密度関数）を求める。目標値入力部４３は、目標最低値と目標最高値とが入力され、入力された値をストレッチング部４４に出力する。ストレッチング部４４は、分布計算部４２で求めた確率密度関数を用いて最低値と最高値を有する明暗値を求め、入力映像の明度の最低値と最高値が目標最低値と目標最高値とにそれぞれ一致するようにヒストグラムを変換する。ストレッチング部４４の処理において、目標最低値が０であり目標最高値が２５５であれば、映像は０から２５５までの明暗値を有することになり映像のコントラストが増加する。

上述したヒストグラムの拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったままコントラストを増加させることが可能となる。また、Ｒ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラムの拡大処理を施すことで、色味の偏りが少ないコントラストが増加した映像を作成することが可能となる。なお、本願に関連する先行技術文献としては、次のものがある。
特開１９９２−２５７０８２号公報 特開２００６−２９３７２０号公報 P. Viola, M. Jones, "Rapid object Detection using a Boosted Cascade of Simple Features", In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, kauai, USA, 2001

しかし、従来のコントラストストレッチングでは、目標最低値と目標最高値とをユーザが設定しなければならず、コントラストストレッチングによる階調補正に不慣れなユーザにとっては目標値の違いによるコントラストストレッチング結果の違いを想像しにくく、意図した通りの色変換を行いにくいという問題があった。

本発明は、上記問題を解決するためになされたものであり、その課題とするところは、階調補正に不慣れなユーザでも意図した通りに色変換を行えるようにすることにある。

第１の本発明に係る映像変換装置は、入力された入力映像を記憶する記憶手段と、前記入力映像の色変換の目標となる目標画像の入力を受け付けて記憶する記憶手段と、前記目標画像から色成分に関する目標分布を示す目標分布情報を作成して記憶手段に記憶させる目標分布情報作成手段と、前記目標分布情報を前記入力映像に反映する変換関数を作成して記憶手段に記憶させる変換関数作成手段と、前記変換関数を前記入力映像に適用して映像を変換する映像変換手段と、を有することを特徴とする。

本発明にあっては、入力された目標画像から色成分に関する目標分布情報を作成し、この目標分布情報を入力映像に反映する変換関数を作成し適用することで、ユーザが目標画像を指定するだけで入力映像の色成分を目標画像の色成分と似た階調に補正することを可能にする。

上記映像変換装置において、前記入力映像を複数の対象物の領域に分割して記憶手段に記憶させる入力映像領域分割手段を更に有し、前記目標分布情報作成手段は、前記目標画像を複数の対象物の領域に分割して記憶手段に記憶させる目標画像領域分割手段と、分割された前記目標画像について所望の色成分における各領域のヒストグラムを作成して記憶手段に記憶させるヒストグラム作成手段と、前記各ヒストグラムの分布から目標値を算出して記憶手段に記憶させる目標値算出手段と、を有し、前記変換関数作成手段は、分割された前記入力映像について所望の色成分における各領域のヒストグラムを作成すると共に、前記目標分布情報作成手段において作成された目標値を読み出して前記入力映像の各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成することを特徴とする。

本発明にあっては、入力映像と目標画像をそれぞれ複数の領域に分割し、入力映像の各領域のヒストグラムが目標画像の各領域のヒストグラムから算出された目標値に合致する分布範囲となるように変換関数を作成し、この変換関数を入力映像に適用することで、領域毎に階調変換が行われるようにして、映像全体を一体として階調変換させる場合のように映像全体が一部の明るい箇所や暗い箇所の影響を受けてコントラストを適切に変換できなくなることを防ぐ。

上記映像変換装置において、前記目標値算出手段は、複数の目標画像からそれぞれの目標画像に対応した目標値を算出し、各目標値を合成して新たな合成目標値を算出する目標値合成手段を有し、前記変換関数作成手段は、前記目標値として当該合成目標値を用いることを特徴とする。

本発明にあっては、複数の目標画像に対応した目標値を算出し、各目標値を合成した合成目標値を用いて入力映像を変換することで、より適切な映像変換の結果が得られるようにしている。

上記映像変換装置において、前記変換関数作成手段は、予め記憶手段に記憶された修正係数の値に応じて、入力映像の各ヒストグラムを変化させる大きさの異なる変換関数を作成することを特徴とする。

本発明にあっては、予め設定した修正係数の値に応じて大きさの異なる変換関数を作成することで、より正確に色変換ができるようにしている。

上記映像変換装置において、前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとして輝度ヒストグラムを作成し、前記目標値算出手段は、当該各輝度ヒストグラムの分布から目標値を算出し、前記変換関数作成手段は、前記入力映像の各領域のヒストグラムとして輝度ヒストグラムを作成し当該輝度ヒストグラムについて変換関数を作成することを特徴とする。

本発明にあっては、入力映像の各領域の輝度ヒストグラムが目標画像の各輝度ヒストグラムから算出した目標値に合致する分布範囲となるように変換関数を作成することで、輝度を適切に変換できるようにしている。

上記映像変換装置において、前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとして墨ヒストグラムを作成し、前記目標値算出手段は、当該各墨ヒストグラムの分布から目標値を算出し、前記変換関数作成手段は、前記入力映像の各領域のヒストグラムとして墨ヒストグラムを作成し当該墨ヒストグラムについて変換関数を作成することを特徴とする。

本発明にあっては、入力映像の各領域の墨ヒストグラムが目標画像の各墨ヒストグラムから算出した目標値に合致する分布範囲となるように変換関数を作成することで、墨成分を適切に変換できるようにしている。

上記映像変換装置において、前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとして２個以上の独立した色成分のヒストグラムを作成し、前記目標値算出手段は、当該各ヒストグラムの分布から各色成分の目標値を算出し、これらの目標値を統合して目標色を作成して記憶手段に記憶させ、前記変換関数作成手段は、前記入力映像のヒストグラムとして各色成分のヒストグラムを作成すると共に、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応した変換関数を作成することを特徴とする。

本発明にあっては、入力映像の２個以上の独立した色成分のヒストグラムが各色成分の目標値を統合した目標色に合致するように各ヒストグラムに対応した変換関数を作成し適用することで、色味を適切に変換できるようにしている。

上記映像変換装置において、前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとしてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成し、前記目標値算出手段は、当該各ヒストグラムの分布からＲ成分の目標値とＧ成分の目標値とＢ成分の目標値とを算出し、これらの目標値を統合して目標色を作成して記憶手段に記憶させ、前記変換関数作成手段は、前記入力映像の各領域のヒストグラムとしてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成することを特徴とする。

本発明にあっては、入力映像のＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとがＲ成分の目標値、Ｇ成分の目標値、Ｂ成分の目標値にそれぞれ合致するように各ヒストグラムに対応した変換関数を作成し適用することで、色味をより適切に変換できるようにしている。

上記映像変換装置において、前記目標値算出手段は、輝度についての目標画像である目標輝度画像の各領域の輝度ヒストグラムを作成し、当該各輝度ヒストグラムについて目標値を算出する目標輝度算出手段と、墨についての目標画像である目標墨画像の各領域の墨ヒストグラムを作成し、当該各墨ヒストグラムについて目標値を作成する目標墨値算出手段と、色彩についての目標画像である目標色彩画像の各領域のＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成し、当該各ヒストがラムから算出した目標値を統合して目標色を算出する目標色作成手段と、のうちの少なくとも２つ以上を有し、前記変換関数作成手段は、前記目標輝度値算出手段が出力した目標輝度値に従って輝度変換関数を作成する輝度変換関数作成手段と、前記目標墨値算出手段が出力した目標墨値に従って墨変換関数を作成する墨変換関数作成手段と、前記目標色作成手段が出力した目標色に従って色味変換関数を作成する色味変換関数作成手段と、のうちの少なくとも２つ以上を有するものであって、前記輝度変換関数作成手段、前記墨変換関数作成手段、前記色味変換関数作成手段が出力した変換関数を合成して前記映像変換手段に出力する変換関数合成手段を更に有することを特徴とする。

本発明にあっては、輝度、墨成分、色味の要素のうちの２つ以上について変換関数を合成し、この合成関数を入力映像に適用することで、各要素を適用したときのそれぞれの効果が重畳された変換後の映像を得ることができる。

上記映像変換装置において、前記目標輝度画像と前記目標墨画像と前記目標色彩画像のうちの２つ以上が同一の画像であることを特徴とする。

本発明にあっては、各目標画像として同一のものを用いることで、複数回に渡って目標画像を設定する手間を省けるようにしている。

第２の本発明に係る映像変換方法は、映像変換装置により行う映像変換方法であって、入力された入力映像を記憶手段に記憶させると共に、前記入力映像の色変換の目標となる目標画像を記憶手段に記憶させるステップと、ユーザの入力を受け付けて前記目標画像から色成分に関する目標分布を示す目標分布情報を作成して記憶手段に記憶させるステップと、前記目標分布情報を前記入力映像に反映する変換関数を作成して記憶手段に記憶させるステップと、前記変換関数を前記入力映像に適用して映像を変換するステップと、を有することを特徴とする。

第３の本発明に係る映像変換プログラムは、入力された入力映像を記憶手段に記憶させると共に、前記入力映像の色変換の目標となる目標画像を記憶手段に記憶させる処理と、ユーザの入力を受け付けて前記目標画像から色成分に関する目標分布を示す目標分布情報を作成して記憶手段に記憶させる処理と、前記目標分布情報を前記入力映像に反映する変換関数を作成して記憶手段に記憶させる処理と、前記変換関数を前記入力映像に適用して映像を変換する処理と、をコンピュータに実行させることを特徴とする。

本発明により、ユーザは階調補正のための煩雑なパラメタを直接設定する必要がなくなり、目標画像を指定するだけで入力映像の階調を目標画像と似た階調に補正する色変換処理を施すことが可能になる。数字調整によるパラメタ設定と異なり、画像を指定することによるパラメタ設定はユーザにとって色変換の結果を想像しやすく、階調補正に不慣れなユーザでも意図した通りに色変換を行いやすくなる。

図１は、本実施形態における映像変換装置の全体的な構成を示すブロック図である。同図に示すように、本映像変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、シャッター入力部１２、目標画像入力部１３、分布合成度入力部１４、修正係数入力部１５を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５、目標輝度分布作成部２６、目標墨分布作成部２７、目標色彩分布作成部２８、変換関数合成部２９、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部３０、映像変換部３１を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、分布特徴記憶部３２、変換ＬＵＴ記憶部３３を有する。

本映像変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。

映像信号入力部１１は、映像信号が入力され、これをフレーム抽出部２１と映像変換部３１に出力する。ここでは、映像信号入力部１１が出力する映像を入力映像と呼ぶ。

本実施形態で扱う入力映像は、複数のフレームによって構成される動画であり、各フレームは、複数のピクセルによって構成される静止画像である。入力映像の幅をwidth、高さをheightで表すと、各フレームは、width×height個のピクセルによって構成される。各ピクセルは、ＲＧＢカラーモデルで色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。

シャッター入力部１２は、ユーザによりシャッター操作が行われると、フレーム抽出部２１にシャッター操作を伝えるためのシャッター信号を出力する。

目標画像入力部１３では、ユーザが目標画像群として目標輝度画像群、目標墨画像群、目標彩色画像群のいずれか１つ以上を設定すると、目標輝度画像群を目標輝度分布作成部２６に出力し、目標墨画像群を目標墨分布作成部２７に出力し、目標色彩画像群を目標色彩分布作成部２８に出力する。各目標画像群は１枚以上の目標画像によって構成される。ここで目標画像とは、入力映像の色変換の目標となる画像のことをいう。

目標輝度画像は、ユーザが求める輝度変換結果に近い印象を持つ静止画像であり、例えばユーザが入力映像内の被写体の顔を明るくするように輝度変換を行いたい場合には、被写体の顔が明るく写っている静止画を目標輝度画像として設定する。

目標墨画像は、ユーザが求める墨変換結果に近い印象を持つ静止画像であり、例えばユーザが入力映像内の被写体の黒目を黒くするように輝度変換を行いたい場合には、被写体の黒目が黒く写っている静止画を目標墨画像として設定する。

目標色彩画像は、ユーザが求める色彩変換結果に近い印象を持つ静止画であり、例えばユーザが入力映像内の被写体の顔色の赤みを強くするように色味変換を行いたい場合には、被写体の顔色の赤みが強く写っている静止画を目標色彩画像として設定する。

また、輝度も墨も色彩も気に入っている静止画があれば、目標輝度画像・目標墨画像・目標色彩画像の全てに同一の静止画を設定してもよい。また、気に入っている静止画が複数ある場合には各目標画像にそれぞれ複数の静止画を設定してもよい。

分布合成度入力部１４は、ユーザの操作を受け付けて輝度分布合成度群、墨分布合成度群、色彩分布合成度群のいずれか１つ以上を生成し、輝度分布合成度群を目標輝度分布作成部２６へ出力し、墨分布合成度群を目標墨分布作成部２７へ出力し、色彩分布合成度群を目標色彩分布作成部２８へ出力する。

輝度分布合成度群は、１個以上の輝度分布合成度によって構成され、各輝度分布合成度は目標輝度画像１枚に対応して１個ずつ生成される。すなわち輝度分布合成度の数は目標画像入力部１３が出力する目標輝度画像の数と同数となる。同様に墨分布合成度も目標墨画像１枚に対応して１個ずつ、色彩分布合成度も目標色彩画像１枚に対応して１個ずつ生成される。

各合成度は０以上１以下の小数とする。各合成度はそれぞれをユーザによるスライダ操作などを受け付けて分布合成度入力部１４が生成してもよい。また、複数の合成度に同一の値を利用してもよい。例えば、目標輝度画像と目標墨画像が同一の静止画である場合に、分布合成度入力部１４に対するユーザの操作によって生成された輝度分布合成度の値を、分布合成度入力部１４が墨分布合成度にも設定することで、ユーザの操作を簡略化することができる。

修正係数入力部１５は、ユーザの操作を受け付けて輝度修正係数、墨修正係数、色彩修正係数のいずれか１つ以上を生成し、輝度修正係数を目標輝度分布作成部２６へ出力し、墨修正係数を目標墨分布作成部２７へ出力し、色彩修正係数を目標色彩分布作成部２８へ出力する。各修正係数は０以上１以下の小数とする。各修正係数は、それぞれをユーザによるスライダ操作などを受け付けて修正係数入力部１５が生成してもよい。あるいは、ユーザの操作により生成された修正係数にある値を掛け合わせて別の修正係数を生成することで、ユーザの操作を簡略化してもよい。例えば、墨修正係数がＫと設定された場合に自動的に輝度修正係数をＫ×0.5と設定することでユーザによる輝度修正係数の生成操作を省略することができる。

目標輝度分布作成部２６は、目標輝度画像群と、輝度合成度群と、輝度修正係数と、輝度分布特徴情報とが入力され、これらの情報を用いて目標輝度画像群から輝度に関する目標分布を示す目標輝度分布情報を作成し、作成した目標輝度分布情報を輝度変換関数作成部２３へ出力する。なお、輝度分布特徴情報は分布特徴記憶部３２から読み出されたものが入力される。

目標墨分布作成部２７は、目標墨画像群と、墨合成度群と、墨修正係数と、墨分布特徴情報とが入力され、これらの情報を用いて目標墨画像群から墨成分に関する目標分布を示す目標墨分布情報を作成し、作成した目標墨分布情報を墨変換関数作成部２４へ出力する。なお、墨分布特徴情報は分布特徴記憶部３２から読み出されたものが入力される。

目標色彩分布作成部２８は、目標色彩画像群と、色彩合成度群と、色彩修正係数と、色彩分布特徴情報とが入力され、これらの情報を用いて目標色彩画像群から色彩に関する目標分布を示す目標色彩分布情報を作成し、作成した目標色彩分布情報を色味変換関数作成部２５へ出力する。なお、色彩分布特徴情報は分布特徴記憶部３２から読み出されたものが入力される。

本映像変換装置は、目標輝度分布作成部２６、目標墨分布作成部２７、目標色彩分布作成部２８のうちいずれか１つだけを備えた構成としてもよいし、いずれか２つ以上を備えた構成としてもよい。

フレーム抽出部２１は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部２１が出力する静止画像は入力映像から取り出した１フレームの静止画像である。

領域分割部２２は、入力映像を複数の対象物の領域に分割する。輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５は、それぞれが独立した変換関数作成部であり、所望の色成分における各領域のヒストグラムを作成すると共に、目標輝度分布作成部２６、目標墨分布作成部２７、目標色彩分布作成部２８がそれそれ出力する目標値を入力として受け取り、各ヒストグラムが目標値に合致する分布範囲となるように変換関数を作成する。

より具体的には、輝度変換関数作成部２３は、各領域の輝度ヒストグラムを作成し、各輝度ヒストグラムが目標値に合致する分布範囲となるように変換関数を作成する。墨変換関数作成部２４は、各領域の色成分が墨のヒストグラムを作成し、各ヒストグラムが目標値に合致する分布範囲となるように変換関数を作成する。色味変換関数作成部２５は、色味の変換を行うために、各領域についてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、予め記憶装置３に記憶されている目標色の情報を読み出して、各ヒストグラムが目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

本映像変換装置は、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５のうちいずれか１つだけを備えた構成としてもよいし、これらのうちのいずれか２つ以上を備えた構成としてもよい。前者の場合には、作成された変換関数を映像変換部３１によって入力映像に適用する。後者の場合には、作成された変換関数を各変換関数作成部で順次入力映像に適用する。或いは、作成された変換関数を変換関数合成部２９により合成し、この合成関数を映像変換部３１によって入力映像に適用する。以下、各部における詳細な処理について説明する。

領域分割部２２は、静止画像が入力され、領域情報群を出力する。領域情報群は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合Region_R によって構成される。ピクセルｐのｘ座標値をｘ_p 、ｙ座標値をｙ_p とすると領域集合Region_R は次のように表される。

領域分割部２２では、静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。

ここでは、全体領域情報は領域名WHOLEと全体領域集合Region_WHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合Region_FACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合Region_EYEによって構成されるものとする。なお、全体領域集合Region_WHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。

図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２は、画像スケール変換部２２１と、検出対象領域切出部２２２と、空間周波数分析部２２３と、顔候補判定部２２４と、顔候補選択部２２５と、肌領域抽出部２２６と、黒目領域抽出部２２７と、によって構成される。

領域分割部２２における顔候補の選択はＨａａｒ型の特徴量を用い、ＡｄａＢｏｏｓｔ学習法、及びカスケード構造検出器による方法を用いる（例えば特許文献２参照）。

検出対象領域切出部２２２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。

空間周波数分析部２２３では、切り出された領域に対し空間周波数フィルタリングを行う。例えば、ＡｄａＢｏｏｓｔ学習法、及びカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を用いてもよい。この手法は、非特許文献３に詳しいので、ここでは詳細な説明は省略する。

顔候補判定部２２４では、空間周波数分析部２２３の出力値をもとに、領域が顔領域候補となり得るかを判定する。

顔候補選択部２２５では、顔候補となり得ると判断された顔領域候補のうち面積が最大となる顔領域候補を選択し、出力する。

肌領域抽出部２２６では、顔領域候補を入力として顔領域集合Region_FACEを出力する。顔領域集合Region_FACEは、顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegion_FACEは、ピクセルｐのｘ座標値をｘ_p 、ｙ座標値をｙ_p 、Ｒ値をｒ_p、Ｇ値をｇ_p 、Ｂ値をｂ_p とすると次のように表される。

なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣb値が−４０以上−２０以下でありＣb値が１５以上３５以下の値を肌色とするなどの手法を用いる。

黒目領域抽出部２２７では、顔領域候補を入力として黒目領域集合Region_EYEを出力する。黒目領域集合Region_EYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。図３は、領域分割部２２で人の顔を検出する際の処理の一例を示す図である。

目標輝度分布作成部２６は、目標輝度画像群と、輝度合成群と、輝度修正係数と、輝度分布特徴情報とが入力され、輝度に関する目標分布を示す目標輝度分布情報を出力する。輝度分布特徴情報は分布特徴記憶部３２から読み出される。図４は、輝度分布特徴情報の一例を示す図である。輝度分布特徴情報は、複数の輝度分布特徴レコードによって構成され、各輝度分布特徴レコードは色成分名、領域名、累積割合値によって構成される。ここで累積割合値は０以上１以下の小数値である。

本実施形態において扱う色成分について説明すると、輝度（ＹＣb ＣrカラーモデルにおけるＹ成分）、Ｃb（ＹＣbＣrカラーモデルにおけるＣb成分）、Ｃr（ＹＣbＣrカラーモデルにおけるＣr成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。

図５は、目標輝度画像群を輝度分布特徴情報に基づいて解析し、目標輝度分布情報を出力するための目標輝度分布作成部２６の構成を示すブロック図である。ここでの目標輝度分布作成部２６は、目標輝度画像領域分割部２６１と、輝度ヒストグラム作成部２６２と、目標輝度値算出部２６３と、輝度分布合成部２６４とによって構成される。

目標輝度画像領域分割部２６１は、目標輝度画像が入力され、領域分割部２２と同様の処理手法により輝度画像領域情報群を生成して出力する。

輝度ヒストグラム作成部２６２は、目標輝度画像群と輝度画像領域情報群とが入力され、各輝度画像領域情報に対応する輝度ヒストグラムを作成する。輝度ヒストグラムを、あるピクセルｐの輝度値がｘとなる確率を示す確率密度関数で表すと、その確率密度関数は次の手順によって定義される。

まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を次のように表す。

ここでｇ(Component,p,x)を次のように定義する。

ピクセルの集合Ｐにおいて領域集合Region_R にも含まれるピクセルｐを取り出したとき、色成分Componentにおけるピクセルｐの色値がｘとなる確率、すなわちcolor(p,Component)＝ｘとなる確率を表す確率密度関数frequency(P,Region_R ,Component,x)は次のように定義される。

例えば、輝度画像領域情報群が画像全体領域情報（領域名WHOLE，領域集合Region_WHOLE）と、顔領域情報（領域名FACE，領域集合Region_FACE）と、黒目領域情報（領域名EYE，領域集合Region_EYE）によって構成されており、目標輝度画像を表すピクセルの集合をPyとし、輝度の色成分をYとすると、全体領域輝度ヒストグラムはfrequency(Py,Region_WHOLE,Y,x)と表され、同様に顔領域輝度ヒストグラムはfrequency(Py,Region_FACE,Y,x)と、黒目領域輝度ヒストグラムはfrequency(Py,Region_EYE,Y,x)と表される。

目標輝度値算出部２６３は、各領域の輝度ヒストグラムと輝度分布特徴情報とが入力され、目標値列を作成して出力する。目標値列の作成には、下記の手順によって定義される目標値算出関数targetを用いる。なお、目標値列の各値はそれぞれ輝度分布特徴レコードに対応して一つずつ計算される。

まず、輝度ヒストグラムを表す確率密度関数frequency(P,Region_R ,Component,x)から導き出される累積分布関数cumulative(P,Region_R,Component,x)は次のように表される。

確率密度関数が図６の曲線で表されたとすると、その累積分布関数は、図７のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数は次のように表される。

ただし、ｙはｙ＝cumulative(P,Region_R ,Component,x)の関係を満たす値である。ここで、ある輝度分布特徴レコードが領域名Ｒ、累積割合値Ａ、色成分Componentによって構成されるとき、この輝度分布特徴レコードから目標値を算出する目標値算出関数target(P,Region_R ,Component,A)を次のように定義する。

この目標値算出関数を累積割合値Ａに適用することによって、図８に示されるように累積割合値Ａに対応する目標値Ｔが得られる。

目標輝度分布情報は、上記の目標値算出関数を用いて各輝度分布特徴レコードに対応する目標値を算出することで作成される。すなわち、目標輝度画像Ｉ_kに対して、Ｉ_kに含まれるピクセルの集合をP(I_k)、Ｉ_kにおける領域名Ｒの領域情報をRegion_R(I_k)、輝度の色成分をＹ、累積割合値をＡとしたとき、target(P(I_k),Region_R(I_k),Y,A)を目標値として算出する。各輝度分布特徴レコードに対応して算出された目標値の例を図９に示す。

上記手順のようにして、目標輝度画像領域分割部２６１、輝度ヒストグラム作成部２６２、目標輝度値算出部２６３によって、目標輝度画像１枚に対してそれぞれ目標値を算出する。目標輝度画像群に含まれるＮ枚の目標輝度画像をＩ₁,...,Ｉ_Nとしたとき、各目標輝度画像に対してそれぞれ算出された、各輝度分布特徴レコードに対応する目標値の例を図１０に示す。同図に示されるような各目標輝度画像と各輝度分布特徴レコードに対応する目標値を全てまとめて、ここでは目標値情報と呼ぶ。目標輝度画像がＮ枚、輝度分布特徴レコードがＭ個存在したとすると目標値情報はＮ×Ｍ個の目標値によって構成される。

輝度分布合成部２６４は、輝度分布特徴情報、目標値情報、輝度合成度、輝度修正係数が入力され、目標輝度分布情報を出力する。

目標輝度画像がＮ枚、輝度分布特徴レコードがＭ個存在したとして、目標輝度画像Ｉ_k（ただしk=1,...,N）に対して算出された目標値をｔ_k1,...,ｔ_kM、輝度合成度をａ_kとすると、目標輝度画像I_kに対する合成目標値列Ｓ₁,...,Ｓ_Mを算出する合成目標値算出関数synthesizeは次のように表される。

この合成目標値算出関数synthesizeにより合成目標輝度値列{S}_k=1,...,Mが算出される。図１１は、算出された合成目標輝度値の例である。同図では、合成目標輝度値を輝度分布特徴レコード及び目標値情報と共に示してある。

また、輝度分布合成部２６４では、各輝度分布特徴レコードに対応して同一の輝度修正係数を設定し、輝度分布特徴情報と、各輝度分布特徴レコードに対応する合成目標値と、修正係数とをまとめて目標輝度分布情報を作成し、出力する。図１２は、作成された目標輝度分布情報の例である。目標輝度分布情報は複数の目標輝度分布レコードによって構成され、各目標輝度分布レコードは色成分名、領域名、累積割合値、目標値、修正係数によって構成される。

輝度変換関数作成部２３は、静止画と領域情報群と目標輝度分布情報とが入力され、輝度変換関数と変換画像Ａを出力する。静止画はフレーム抽出部２１が出力するものであり、領域情報群は領域分割部２２が出力するものであり、目標輝度分布情報は目標輝度分布作成部２６が作成するものである。

輝度変換関数作成部２３では、各目標輝度分布レコードから制御値を算出する。制御値算出関数controlは上記の累積分布関数cumulativeを用いて次のように定義される。

ただし、ここでは入力された静止画像に含まれるピクセルの集合をＰ，目標輝度分布レコードにおける領域名をＲ、静止画像を領域分割して作成した領域名Ｒに対応する領域集合をRegion_R、色成分をComponent、累積割合値をＡとしている。この制御値算出関数を累積割合値Ａに適用することによって、図１３に示されるように累積割合値Ａに対応する制御値ｃが得られる。

また、制御値ｃ、目標値ｔ、修正係数ｋを用いて、ヒストグラムの分布範囲を指定するために修正目標値を算出する修正目標値算出関数adjust(c,t,k)を次のように定義する。

制御値は画像から取得される値であり、目標値は予め定められた値である。これら制御値算出関数と修正目標値算出関数を用いて、各目標輝度分布レコードに対応する制御値と修正目標値を算出し、図１４に示すように各目標輝度分布レコードに制御値と修正目標値の情報を追加して色変換用の目標輝度分布レコードを作成し、全ての色変換用目標輝度分布レコードによって構成される目標輝度分布情報を作成する。

また、制御値数列{ｃ_k}_k=1,2,…,n（ただしｃ₁≦ｃ₂≦…≦ｃ_ｎ）と、各制御値に対応する修正目標値数列{ａ_k}_k=1,2,…,nを用いて、色値ｘの変換を行う変換関数convert({ｃ_k}_k=1,2,…,n,{ａ_k}_k=1,2,…,n,ｘ)を次のように定義する。

ここで色変換用の目標輝度分布情報を入力として，制御値数列{CY,k}_k=1,2,…,nと修正目標値数列{aY,k}_k=1,2,…,nとを用いて輝度値の変換を行う輝度変換関数convert_y(ｘ)を次のように定義する。

ここでＲＧＢカラーモデルとＹＣbＣrカラーモデルの間の変換関数を次のように定義する。

そして、convert_y(ｘ)を用いてＲＧＢデータの輝度を変換する輝度変換関数convertＲＧＢ_y(r,g,b)を次のように定義する。

輝度変換関数作成部２３は、上記のようにして最終的に得られた輝度変換関数を出力する。また、入力映像の各ピクセルのＲＧＢデータに対して輝度変換関数を適用することで変換画像Ａを作成し、出力する。

ここで、例えば入力映像の輝度ヒストグラムが図１５のように分布していたとすると、入力映像の各ピクセルに輝度変換関数convertＲＧＢ_y(r,g,b)を適用して作成した変換画像Ａの輝度ヒストグラムは図１６のようになる。同図に示すように、輝度変換関数は制御値と修正目標値が合致するようにヒストグラムを変換する。

目標墨分布作成部２７は、目標墨画像群、墨合成度群、墨修正係数、墨分布特徴情報が入力され、目標墨分布情報を出力する。墨分布特徴情報には分布特徴記憶部３２から読み出されたものが用いられる。墨分布特徴情報は複数の墨分布特徴レコードによって構成され、各墨分布特徴レコードは輝度分布特徴レコードと同様に色成分名と領域名と累積割合値によって構成される。墨分布特徴情報の例を図１７に示す。

目標墨分布作成部２７は、目標輝度分布作成部２６と同様の手法を用いて目標墨分布情報を作成する。より具体的には、目標輝度画像群に代えて目標墨画像群を、輝度合成度群に代えて墨合成度群を、輝度修正係数に代えて墨修正係数を、輝度分布特徴情報に代えて墨分布特徴情報をそれぞれ利用する。また、色成分には輝度に代えて墨を利用する。すなわち、目標墨分布作成部２７は、目標墨画像群に対して領域分割と、墨ヒストグラムの作成を行い、目標墨画像Ｉに対して、Ｉに含まれるピクセルの集合をP(I)、Ｉにおける領域名Rの領域情報をRegion_R(I)、墨の色成分をＫ、累積割合値をＡとしたとき、target(P(I),Region_R(I),Y,A)を目標値として算出する。

目標墨画像がＮ枚、墨分布特徴レコードがＭ個存在したとすると、合成墨値列{T}_k=1,...,Mは次式により算出される。

目標墨分布作成部２７では、さらに墨修正係数を加えて目標墨分布情報を作成し、出力する。作成された目標墨分布情報の例を図１８に示す。目標墨分布情報は複数の目標墨分布レコードによって構成され、各目標墨分布レコードは色成分名、領域名、累積割合値、目標値、修正係数によって構成される。

墨変換関数作成部２４は、変換画像Ａと、領域情報群と、目標墨分布情報とを入力として、制御値算出関数と修正目標値算出関数とを用いて、色変換用の目標墨分布情報を作成する。墨変換関数作成部２４での処理は基本的には輝度変換関数作成部２３と同様であり、作成した色変換用の目標墨分布情報を用いて墨変換関数convert_k(ｘ)を作成し、出力する。また、変換画像Ａの各ピクセルのＲＧＢデータに対して、この墨変換関数を適用することで変換画像Ｂを作成し、出力する。

なお、輝度変換関数と墨変換関数の適用はその順番を逆にして最初に墨変換処理を行った後に輝度変換処理を行っても良い。また、輝度変換処理と墨変換処理のいずれか一方だけを適用することとしてもよく、この場合の変換画像Ｂはいずれか一方だけを処理した結果となる。また、後述する色味変換処理だけを適用する場合には、これら輝度変換処理、墨変換処理については行わないようにし、この場合の変換画像Ｂには入力画像そのものを用いるようにする。

目標色彩分布作成部２８は、目標墨画像群と、色彩合成度群と、色彩修正係数と、色彩分布特徴特徴情報とが入力され、目標色彩分布情報を出力する。色彩分布特徴情報には分布特徴記憶部３２から読み出されたものが用いられる。色彩分布特徴情報は複数の色彩分布特徴レコードによって構成され、各色彩分布特徴レコードは、領域名と累積割合値によって構成される。色彩分布特徴情報の例を図１９に示す。

目標色彩分布作成部２８は、目標輝度分布作成部２６や目標墨分布作成部２７と同様に領域分割と、ヒストグラムの作成とを行い、目標値算出関数を用いて目標値を算出する。ただし、目標色彩分布作成部２８では、色成分レッド(R)と色成分グリーン(G)と色成分ブルー(B)の３種類の目標値を算出する。目標値の算出には目標値算出関数targetを利用し、目標色彩画像Ｉに対して、Ｉに含まれるピクセルの集合をＰ(I),Ｉにおける領域名Ｒの領域情報をRegion_R(I)、レッドの色成分をRED、グリーンの色成分をGREEN、ブルーの色成分をBLUE、累積割合値をＡとしたとき、各目標値は次のように表される。

各色彩分布特徴レコードに対して算出されたＲ目標値とＧ目標値とＢ目標値の例を図２０に示す。

また、目標色彩分布作成部２８では、目標輝度分布作成部２６と同様に合成目標値算出関数synthesizeを用いて目標値の合成を行う。その際、目標値の合成はＲ目標値とＧ目標値とＢ目標値のそれぞれに対して行い、Ｒ合成目標値とＧ合成目標値とＢ合成目標値とを算出する。すなわち、目標色彩画像がＮ枚、色彩分布特徴レコードがＭ個存在したとすると、各合成目標値は次のように表される。

Ｒ合成目標値とＧ合成目標値とＢ合成目標値とをまとめたＲＧＢ値を目標色と呼ぶ。すなわち、Ｒ合成目標値がＲs、Ｇ合成目標値がＧs、Ｂ合成目標値がＢsであったとすると、(Rs,Gs,Bs)が目標色となる。目標色彩分布作成部２８では、各色彩分布特徴レコードに対して目標色を算出し、色彩修正係数を設定して目標色彩分布情報を作成する。作成された目標色彩分布情報の例を図２１に示す。目標色彩分布情報は複数の目標色彩分布レコードによって構成され、各目標色彩分布レコードは領域名、累積割合値、目標色、修正係数によって構成される。

ここで、ピクセルの集合がＰ、領域名がＲ、累積割合値がＡであったとする。また、色味変換関数では任意のカラーモデルの独立した色成分を用いることが可能であり、例えばＲＧＢのＲ色成分とＧ色成分とＢ色成分を用いても、ＣＭＹＫのＣ色成分とＭ色成分とＹ色成分とＫ色成分を用いても、ＹＣbＣrカラーモデルのＹ色成分とＣｂ色成分とＣｒ色成分を用いてもよい。色味変換関数作成部は、選択されたカラーモデルの各色成分について変換関数を作成する。また、目標色のカラーモデルは選択されたカラーモデルと同一のカラーモデルとなる。本実施例においては、ＲＧＢのＲ色成分とＧ色成分とＢ色成分を用いた場合について説明するが、他のカラーモデルを用いても色成分が変わるだけで同様の処理が可能である。ここでＲ色成分をRED、Ｇ色成分をGREEN、Ｂ色成分をBLUEとすると、前記の制御値算出関数control(P,Region_R ,component,A)を用いて、各制御値を次のように算出する。

また、あるカラーモデルModel（例えばＲＧＢカラーモデル）において、Modelに含まれる全ての色成分（例えばＲ色成分とＧ色成分とＢ色成分）によって構成される、色を表すベクトル値ｖ（例えば(r,g,b)）から、色成分Componentにおける色値を算出する関数ColorValue(Model,Component,v)を次のように定義する。

また、あるカラーモデルModel₁における色ベクトルｖ₁をカラーモデルModel₂における色ベクトルｖ₂に変換する関数を次のように定義する。

このとき、例えばＨＳＶカラーモデルにおける色を表すベクトル(h,s,v)をＲＧＢカラーモデルにおける色を表すベクトル(r,g,b)に変換する関数ColorConvert(HSV,RGB(h,s,v))は、ＨＳＶカラーモデルをHSV、ＲＧＢカラーモデルをRGB、Ｒ色成分をR、Ｇ色成分をG、Ｂ色成分をBとすると次の関係を満たす。

目標色のＲ値をTr、Ｇ値をTg、Ｂ値をTbとしたときに、ＲＧＢ値の色相と彩度を目標色に合致させる明度固定ＲＧＢ変換関数changeHS(r,g,b,Tr,Tg,Tb)は、ＲＧＢカラーモデルをRGB、Ｒ色成分をR、Ｇ色成分をG、Ｂ色成分をB、ＨＳＶカラーモデルをHSV、Ｈ色成分をH、Ｓ色成分をS、Ｖ色成分をVと表すと、次のように定義される。

また、ＹＣｂＣｒカラーモデルをYCbCr、Ｙ色成分をY、Ｃｂ色成分をCb、Ｃｒ色成分をCrと表すと輝度固定ＲＧＢ変換関数changeCbCr(r,g,b,Tr,Tg,Tb)は次のように定義される。

また、CbCr固定ＲＧＢ変換関数changeY(r,g,b,Tr,Tg,Tb)は次のように定義される。

同様に、墨固定ＲＧＢ変換関数changeK(r,g,b,Tr,Tg,Tb)、明度固定ＲＧＢ変換関数changeV(r,g,b,Tr,Tg,Tb)等も定義可能である。

ここで変換画像Ｂに含まれるピクセルの集合がＰb、目標色彩分布レコードＳの領域がＲs、累積割合値がＡs、目標色が(Tr,Tg,Tb)であったとき、変換画像Ｂと目標色彩分布レコードＳとに対応して目標ＲＧＢ値算出関数targetRGB(Pb,Region_Rs ,As,Tr,Tg,Tb)を次のように定義する。

また、CbCr固定ＲＧＢ変換関数changeY(r,g,b,Tr,Tg,Tb)を用いると、色味ではなく輝度の変換が可能となる。その際は次のように定義する。

上記の目標ＲＧＢ値算出関数はＲＧＢ目標値を返す。このＲＧＢ目標値は、Ｒ成分、Ｇ成分、Ｂ成分の３つの値によって構成される。

色味変換関数作成部２５では、変換画像Ｂと領域情報群と目標色彩分布情報とが入力され、色味変換関数を出力する。この処理を行うため、まず変換画像Ｂと、領域情報群と、目標色彩分布情報に含まれる各目標色彩分布レコードとを用いて、前記のＲ制御値算出関数を用いてＲ制御値を算出し、Ｇ制御値算出関数を用いてＧ制御値を算出し、Ｂ制御値算出関数を用いてＢ制御値を算出する。そして、前記の目標ＲＧＢ値算出関数を用いて目標色彩分布情報に含まれる各目標色彩分布レコードに対応するＲＧＢ目標値を算出し、算出したＲ制御値とＧ制御値とＢ制御値とＲＧＢ目標値とを各目標色彩分布レコードに追加して色変換用の目標色彩分布情報を作成する。この手順により作成した色変換用の目標色彩分布情報の例を図２２に示す。また、目標色彩分布情報の作成においては前記の目標ＲＧＢ値算出関数を用いず、目標色のＲＧＢ値をそのままＲ目標値、Ｇ目標値、Ｂ目標値として目標色彩分布情報を作成してもよい。このとき色味変換関数作成部は、色味だけでなく明るさも目標色に近づける変換を行うことが可能となる。

続いて色味変換関数作成部２５は、上記の手順により作成した色変換用の目標色彩分布情報を用いてＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

ここで、色変換用の目標色彩分布情報に含まれるＲ制御値列を{C_RED,k}_k=1,...,M、Ｇ制御値列を{C_GREEN,k}_k=1,...,M、Ｂ制御値列を{C_BLUE,k}_k=1,...,M、ＲＧＢ目標値列を{{t_RED,k,t_GREEN,k,t_BLUE,k}}_k=1,...,Mとして、各目標色彩分布に含まれる修正係数をｄ_kとする。このとき、修正ＲＧＢ目標値列{{a_RED,k,a_GREEN,k,a_BLUE,k}}_k=1,...,Mを上記の修正目標値算出関数adjustを用いて次のように定義する。

さらに、上記の色変換関数convertを用いてＲ変換関数convert_RED(x)を次のように定義する。

またＧ変換関数convert_GREEN(x)を次のように定義する。

またＢ変換関数convert_BLUE(x)を次のように定義する。

ここで、Ｒ変換関数convert_RED(x)とＧ変換関数convert_GREEN(x)とＢ変換関数convert_BLUE(x)とを用いてカラーバランスを示す色味変換関数balanceRGB(r,g,b)を次のように定義する。

色味変換関数作成部２５ではこの色味変換関数balanceRGB(r,g,b)を出力する。そして、変換画像Ｂに対して色味変換関数を適用することで、変換映像を得る。

上記の例では、各変換関数作成部で作成した変換関数を入力映像に順次適用した場合について説明した。次に、各変換関数作成部で作成した変換関数を合成してから入力映像に適用する例について説明する。

変換関数合成部２９は、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５がそれぞれ作成した変換関数を合成する。合成の際には、輝度変換処理、墨変換処理、色味変換処理を施す順番も定義する。例えば、前述したように、輝度変換処理、墨変換処理、色味変換処理をこの順で行う場合には、輝度変換関数と墨変換関数と色味変換関数とが順番に施されるように変換関数を作成する。輝度変換関数をconvertRGB_Y(r,g,b)、墨変換関数をconvertRGB_K(r,g,b)、色味変換関数をbalanceRGB(r,g,b)としたとき、合成後の変換関数convertRGB_YKRGB(r,g,b)を次のように定義する。

目標輝度画像と目標墨画像と目標色彩画像をそれぞれ１枚ずつ指定したときの変換関数を作成する処理の例を図２３に示す。ここでは各修正係数は予め定められた値を利用するものとし、その入力の様子は省略してある。

変換ＬＵＴ作成部３０は、合成後の変換関数を入力として色変換ＬＵＴを出力する。具体的には、値として取り得る全てのＲＧＢデータに対して、各ＲＧＢデータに合成後の変換関数を適用した変換ＲＧＢデータが対応する図２４に示すようなＬＵＴを作成し、変換ＬＵＴ記憶部３３に記憶させる。

映像変換部３１は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。具体的には、入力映像の各フレームの各ピクセルについて色変換ＬＵＴを参照して色変換した変換後のフレームを作成し、作成した変換フレームを順次出力することで最終的な変換映像を出力する。

ただし、ＲＧＢによる色味変換関数のみを施した場合は、Ｒ成分とＧ成分とＢ成分に対して独立に色変換が施されるため、全てのＲＧＢデータに対して変換ＲＧＢデータを作成する必要はなく、図２５に示すようにＲ成分のＬＵＴとＧ成分のＬＵＴとＢ成分のＬＵＴを独立に作成すればよい。この場合、映像変換部３０は、入力映像の各フレームの各ピクセルの各ＲＧＢ値について色変換ＬＵＴを参照して色変換した変換後のフレームを作成する。この手法によって、ＬＵＴの作成に必要なメモリ量を大幅に節約することが可能となる。

以上、説明したように、本実施の形態によれば、映像入力部１１により入力映像の入力を受け付けると共に、目標画像入力部１３により目標画像の入力を受け付け、目標輝度分布作成部２６、目標墨分布作成部２７、目標色味分布作成部２８によりそれぞれ輝度、墨成分、色味に関する目標分布情報を目標画像から作成し、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５によりそれぞれ輝度、墨成分、色味に関する目標分布情報を入力映像に反映するための変換関数を作成し、当該変換関数を入力映像に適用する。これにより、ユーザは階調補正のための煩雑なパラメタを直接設定する必要がなくなり、目標画像を指定するだけで入力映像の階調を目標画像と似た階調に補正することが可能になる。数字調整によるパラメタ設定と異なり、画像を指定することによるパラメタ設定はユーザにとって色変換の結果を想像しやすく、階調補正に不慣れなユーザでも容易に意図した通りに色変換を行うことができる。

一実施形態における映像変換装置の全体的な構成を示すブロック図である。 入力映像から顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。 領域分割部２２で人の顔を検出する際の処理の一例を示す図である。 輝度分布特徴情報の一例を示す図である。 目標輝度分布作成部２６の構成の一例を示すブロック図である。 ある色成分におけるピクセルｐの色値に関する確率密度関数の一例を示す図である。 図６に示す確率密度関数についての累積分布関数を示す図である。 累積割合値から目標値を算出するための目標値算出関数の一例を示す図である。 複数の輝度分布特徴レコードに対応して算出された目標値の例を示すテーブルである。 各目標輝度画像に対して算出された、各輝度分布特徴レコードに対応する目標値の例を示すテーブルである。 合成目標値算出関数を用いて算出された合成目標輝度値の例を示すテーブルである。 目標輝度分布情報の例を示すテーブルである。 累積割合値から制御値を算出するための制御値算出関数の一例を示す図である。 図９の目標輝度分布情報に修正係数、制御値、修正目標値を追加して作成した色変換用の目標輝度分布情報を示す図である。 入力映像の輝度ヒストグラムの一例を示す図である。 図１５に用いた入力映像のＲＧＢデータに輝度変換関数を適用した後の映像の輝度ヒストグラムを示す図である。 墨分布特徴情報の例を示すテーブルである。 目標墨分布情報の例を示すテーブルである。 色彩分布特徴情報の例を示すテーブルである。 各色彩分布特徴レコードに対して算出されたＲ目標値とＧ目標値とＢ目標値の例を示すテーブルである。 目標色彩分布情報の例を示すテーブルである。 図２１の情報にＲ制御値、Ｇ制御値、Ｂ制御値、ＲＧＢ目標値を追加した目標色彩分布情報の例を示すテーブルである。 変換関数を作成する処理の一例を示す図である。 ＲＧＢデータの変換前後での対応関係を表すルックアップテーブルの一例を示す図である。 Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの色変換用のルックアップテーブルの一例を示す図である。 従来のコントラストストレッチング装置の構成を示すブロック図である。

符号の説明

１…入力装置
２…中央処理制御装置
３…記憶装置
１１…映像信号入力部
１２…シャッター入力部
１３…目標画像入力部
１４…分布合成度入力部
１５…修正係数入力部
２１…フレーム抽出部
２２…領域分割部
２３…輝度変換関数作成部
２４…墨変換関数作成部
２５…色味変換関数作成部
２６…目標輝度分布作成部
２７…目標墨分布作成部
２８…目標色彩分布作成部
２９…変換関数合成部
３０…変換ＬＵＴ作成部
３１…映像変換部
３２…分布特徴記憶部
３３…変換ＬＵＴ記憶部
４１…画像入力部
４２…分布計算部
４３…目標値入力部
４４…ストレッチング部
２２１…画像スケール変換部
２２２…検出対象領域切出部
２２３…空間周波数分析部
２２４…顔候補判定部
２２５…顔候補選択部
２２６…肌領域抽出部
２２７…黒目領域抽出部
２６１…目標輝度画像領域分割部
２６２…輝度ヒストグラム作成部
２６３…目標輝度値算出部
２６４…輝度分布合成部

Claims (12)

1. 入力された入力映像を記憶する記憶手段と、
   前記入力映像の色変換の目標となる目標画像の入力を受け付けて記憶する記憶手段と、
   前記目標画像から色成分に関する目標分布を示す目標分布情報を作成して記憶手段に記憶させる目標分布情報作成手段と、
   前記目標分布情報を前記入力映像に反映する変換関数を作成して記憶手段に記憶させる変換関数作成手段と、
   前記変換関数を前記入力映像に適用して映像を変換する映像変換手段と、
   を有することを特徴とする映像変換装置。
2. 前記入力映像を複数の対象物の領域に分割して記憶手段に記憶させる入力映像領域分割手段を更に有し、
   前記目標分布情報作成手段は、前記目標画像を複数の対象物の領域に分割して記憶手段に記憶させる目標画像領域分割手段と、
   分割された前記目標画像について所望の色成分における各領域のヒストグラムを作成して記憶手段に記憶させるヒストグラム作成手段と、
   前記各ヒストグラムの分布から目標値を算出して記憶手段に記憶させる目標値算出手段と、を有し、
   前記変換関数作成手段は、分割された前記入力映像について所望の色成分における各領域のヒストグラムを作成すると共に、前記目標分布情報作成手段において作成された目標値を読み出して前記入力映像の各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成することを特徴とする請求項１記載の映像変換装置。
3. 前記目標値算出手段は、複数の目標画像からそれぞれの目標画像に対応した目標値を算出し、各目標値を合成して新たな合成目標値を算出する目標値合成手段を有し、
   前記変換関数作成手段は、前記目標値として当該合成目標値を用いることを特徴とする請求項２に記載の映像変換装置。
4. 前記変換関数作成手段は、予め記憶手段に記憶された修正係数の値に応じて、入力映像の各ヒストグラムを変化させる大きさの異なる変換関数を作成することを特徴とする請求項２に記載の映像変換装置。
5. 前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとして輝度ヒストグラムを作成し、
   前記目標値算出手段は、当該各輝度ヒストグラムの分布から目標値を算出し、
   前記変換関数作成手段は、前記入力映像の各領域のヒストグラムとして輝度ヒストグラムを作成し当該輝度ヒストグラムについて変換関数を作成することを特徴とする請求項２に記載の映像変換装置。
6. 前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとして墨ヒストグラムを作成し、
   前記目標値算出手段は、当該各墨ヒストグラムの分布から目標値を算出し、
   前記変換関数作成手段は、前記入力映像の各領域のヒストグラムとして墨ヒストグラムを作成し当該墨ヒストグラムについて変換関数を作成することを特徴とする請求項２に記載の映像変換装置。
7. 前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとして２個以上の独立した色成分のヒストグラムを作成し、
   前記目標値算出手段は、当該各ヒストグラムの分布から各色成分の目標値を算出し、これらの目標値を統合して目標色を作成して記憶手段に記憶させ、
   前記変換関数作成手段は、前記入力映像のヒストグラムとして各色成分のヒストグラムを作成すると共に、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応した変換関数を作成することを特徴とする請求項２に記載の映像変換装置。
8. 前記ヒストグラム作成手段は、前記目標画像の各領域のヒストグラムとしてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成し、
   前記目標値算出手段は、当該各ヒストグラムの分布からＲ成分の目標値とＧ成分の目標値とＢ成分の目標値とを算出し、これらの目標値を統合して目標色を作成して記憶手段に記憶させ、
   前記変換関数作成手段は、前記入力映像の各領域のヒストグラムとしてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成することを特徴とする請求項２に記載の映像変換装置。
9. 前記目標値算出手段は、輝度についての目標画像である目標輝度画像の各領域の輝度ヒストグラムを作成し、当該各輝度ヒストグラムについて目標値を算出する目標輝度算出手段と、
   墨についての目標画像である目標墨画像の各領域の墨ヒストグラムを作成し、当該各墨ヒストグラムについて目標値を作成する目標墨値算出手段と、
   色彩についての目標画像である目標色彩画像の各領域のＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成し、当該各ヒストがラムから算出した目標値を統合して目標色を算出する目標色作成手段と、のうちの少なくとも２つ以上を有し、
   前記変換関数作成手段は、前記目標輝度値算出手段が出力した目標輝度値に従って輝度変換関数を作成する輝度変換関数作成手段と、
   前記目標墨値算出手段が出力した目標墨値に従って墨変換関数を作成する墨変換関数作成手段と、
   前記目標色作成手段が出力した目標色に従って色味変換関数を作成する色味変換関数作成手段と、のうちの少なくとも２つ以上を有するものであって、
   前記輝度変換関数作成手段、前記墨変換関数作成手段、前記色味変換関数作成手段が出力した変換関数を合成して前記映像変換手段に出力する変換関数合成手段を更に有することを特徴とする請求項２に記載の映像変換装置。
10. 前記目標輝度画像と前記目標墨画像と前記目標色彩画像のうちの２つ以上が同一の画像であることを特徴とする請求項９記載の映像変換装置。
11. 映像変換装置により行う映像変換方法であって、
    入力された入力映像を記憶手段に記憶させると共に、前記入力映像の色変換の目標となる目標画像を記憶手段に記憶させるステップと、
    ユーザの入力を受け付けて前記目標画像から色成分に関する目標分布を示す目標分布情報を作成して記憶手段に記憶させるステップと、
    前記目標分布情報を前記入力映像に反映する変換関数を作成して記憶手段に記憶させるステップと、
    前記変換関数を前記入力映像に適用して映像を変換するステップと、
    を有することを特徴とする映像変換方法。
12. 入力された入力映像を記憶手段に記憶させると共に、前記入力映像の色変換の目標となる目標画像を記憶手段に記憶させる処理と、
    ユーザの入力を受け付けて前記目標画像から色成分に関する目標分布を示す目標分布情報を作成して記憶手段に記憶させる処理と、
    前記目標分布情報を前記入力映像に反映する変換関数を作成して記憶手段に記憶させる処理と、
    前記変換関数を前記入力映像に適用して映像を変換する処理と、
    をコンピュータに実行させることを特徴とする映像変換プログラム。

Images