JP2008312177A - 映像階調変換装置、映像階調変換方法、映像階調変換プログラム - Google Patents

Abstract

【課題】映像の明るい箇所や暗い箇所に影響を受けることなく映像の階調を適切に変換する。また、背景及び被写体の双方について、輝度、コントラスト、色味を適切に変換する。
【解決手段】領域分割部２２により映像を複数の対象物の領域に分割し、輝度変換関数作成部２３，墨変換関数作成部２４，色味変換関数作成部２５のいずれか１つ以上により各領域のヒストグラムが目標値に合致する分布範囲となる変換関数を作成し、映像変換部３０により変換関数を映像に適用する。これにより、領域毎に階調変換を行い、明るい箇所や暗い箇所に影響を受けてコントラストが変換されてしまうことを防ぐ。また、映像全体だけではなく被写体の色を輝度と墨とＲ成分とＧ成分とＢ成分との複数の色成分において指定の範囲に分布させることが可能となり、映像全体だけでなく被写体の明るさ、コントラスト、色味もユーザにとって好ましい映像を作成することが可能となる。
【選択図】図１

Description

本発明は、映像の階調を自動で変換する技術に関するものであり、特に、デジタル映像処理装置において、入力された映像の階調を変換する技術に関する。

映像のヒストグラムは、映像内の各ピクセルに対する明暗値の分布を示したものである。コントラストストレッチングは、明暗値の分布が偏った画像について明暗値を低い値から高い値まで広く分布させることによって映像のコントラストを向上させる手法である。コントラストストレッチングを通して暗すぎる映像は明るくなり、明るすぎる映像は暗くなって適当な明暗値を維持する。すなわち、映像の輝度値分布を修正することによって、映像の全体的なコントラストバランスが改善される。

図１５は、従来のコントラストストレッチング装置の構成を示すブロック図である。同図に示すように、従来のコントラストストレッチング装置は、分布計算部４２及びストレッチング部４３を有する。

分布計算部４２は、入力された映像から明暗値を計数してヒストグラム値またはヒストグラム関数（確率密度関数）を求める。ストレッチング部４３は、分布計算部４２で求めたヒストグラム関数を用いて最低値と最高値を有する明暗値を求め、求められた明暗値を用いて入力映像の明暗値部分を最大限活用するようヒストグラムを広げる。映像において最低値を有する明暗値を用いて引き算演算を行えばヒストグラムは低値側に移動するが、この際、映像の明暗値が全体に分布するよう拡張される。従って、映像は０から２５５までの明暗値を有し映像のコントラストが増加する。

また、上述したヒストグラムの拡大処理を映像のＲ成分とＧ成分とＢ成分とに対して同様に施すことで色味を保ったままコントラストを増加させることが可能となる。或いは、Ｒ成分とＧ成分とＢ成分とに対してそれぞれ独立にヒストグラムの拡大処理を施すことで、色味の偏りが少ないコントラストが増加した映像を作成することが可能となる。なお、本願に関連する先行技術文献としては、次のものがある。
特開平４−２５７０８２号公報 特開２００６−２９３７２０号公報 P. Viola, M. Jones, "Rapid object Detection using a Boosted Cascade of Simple Features", In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, kauai, USA, 2001

しかし、従来のコントラストストレッチングでは、被写体が暗くても映像に明るい箇所があればストレッチングできる余裕がなくて被写体を明るくすることができないという問題がある。同様に、被写体が明るくても映像に暗い箇所があればストレッチングできる余裕がなくて被写体を暗くすることができない。

また、コントラストストレッチングでは、色味を保ったままのコントラスト向上と、色味の偏りの少ないコントラスト向上は可能であるが、背景及び被写体の双方の色味をユーザの望むように調整することはできない。

本発明は、上記各問題を解決するためになされたものであり、その課題とするところは、映像の明るい箇所や暗い箇所に影響を受けることなく、映像の階調を適切に変換することにある。

本発明の別の課題は、背景および被写体の双方について、輝度、コントラスト、色味を適切なものに変換することにある。

第１の本発明に係る映像階調変換装置は、入力された映像を記憶する記憶手段と、前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる領域分割手段と、所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶手段に記憶されている目標値を読み出して、各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成して記憶手段に記憶させる変換関数作成手段と、前記変換関数を前記映像に適用して映像を変換する映像変換手段と、を有することを特徴とする。

本発明にあっては、映像を複数の対象物の領域に分割し、各領域のヒストグラムが目標値に合致する分布範囲となる変換関数を作成し、この変換関数を映像に適用することで、領域毎に階調変換が行われるようにして、映像全体が明るい箇所や暗い箇所に影響を受けてコントラストを適切に変換できなくなることを防ぐ。

上記映像階調変換装置において、前記変換関数作成手段は、各領域の輝度ヒストグラムを作成し、当該各輝度ヒストグラムについて変換関数を作成することを特徴とする。

本発明にあっては、分割された各領域の輝度ヒストグラムについて変換関数を作成し、この変換関数を映像に適用することで、背景および被写体の双方について輝度を適切なものに変換する。

上記映像階調変換装置において、前記変換関数作成手段は、各領域の色成分が墨のヒストグラムを作成し、当該各ヒストグラムについて変換関数を作成することを特徴とする。

本発明にあっては、分割された各領域の色成分が墨のヒストグラムについて変換関数を作成し、この変換関数を映像に適用することで、背景および被写体の双方についてコントラストを適切なものに変換する。

上記映像階調変換装置において、前記変換関数作成手段は、前記各領域について２個以上の独立した色成分のヒストグラムを作成すると共に、予め記憶手段に記憶されている各色成分の目標値を統合した目標色の情報を読み出して、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応した変換関数を作成することを特徴とする。

本発明にあっては、入力映像の２個以上の独立した色成分のヒストグラムが各色成分の目標値を統合した目標色に合致するように各ヒストグラムに対応した変換関数を作成し適用することで、色味を適切に変換する。

前記変換関数作成手段は、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成することを特徴とする。

本発明にあっては、分割された各領域のＲ成分のヒストグラム、Ｇ成分のヒストグラム、Ｂ成分のヒストグラムのそれぞれについて変換関数を作成し、この変換関数を映像に適用することで、背景および被写体の双方について色味を適切なものに変換する。

上記映像階調変換装置において、前記変換関数作成手段は、各領域の輝度ヒストグラムを作成し、当該各輝度ヒストグラムについて変換関数を作成する輝度変換関数作成手段と、各領域の色成分が墨のヒストグラムを作成し、当該各ヒストグラムについて変換関数を作成する墨変換関数作成手段と、色味の変換を行うために、前記各領域についてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、予め記憶手段に記憶されている目標色の情報を読み出して、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する色味変換関数作成手段のうちの少なくとも２つ以上を有するものであって、前記輝度変換関数作成手段、前記墨変換関数作成手段、前記色味変換関数作成手段が出力した変換関数を合成して前記映像変換手段に出力する変換関数合成手段を更に有することを特徴とする。

本発明にあっては、輝度、墨成分、色味の要素のうちの２つ以上についての変換関数を合成し、この合成関数を映像に適用することで、各要素を適用したときのそれぞれの効果が重畳された変換後の映像を得ることができる。

上記映像階調変換装置において、前記変換関数作成手段は、２個以上の変換関数を合成して合成変換関数を作成し、前記映像変換関手段は、当該合成変換関数を前記映像に適用して映像を変換することを特徴とする。

本発明にあっては、変換関数が２個以上ある場合に、これらを合成して映像に適用できるようにしている。

第２の本発明に係る映像階調変換方法は、映像階調変換装置により、入力された映像を記憶手段に記憶させるステップと、前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させるステップと、所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶手段に記憶されている目標値を読み出して、各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成して記憶手段に記憶させるステップと、前記変換関数を前記映像に適用して映像を変換するステップと、を有することを特徴とする。

第３の本発明に係る映像階調変換プログラムは、入力された映像を記憶手段に記憶させる処理と、前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる処理と、所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶手段に記憶されている目標値を読み出して、各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成して記憶手段に記憶させる処理と、前記変換関数を前記映像に適用して映像を変換する処理と、をコンピュータに実行させることを特徴とする。

本発明によれば、映像の明るい箇所や暗い箇所に影響を受けることなく、映像の階調を適切に変換することができる。

また、本発明によれば、背景および被写体の双方について、輝度、コントラスト、色味を適切なものに変換することができる。

図１は、本実施形態における映像階調変換装置の全体的な構成を示すブロック図である。同図に示すように、本映像階調変換装置は、入力装置１、中央処理制御装置２、記憶装置３を有する。入力装置１は、映像信号入力部１１、シャッター入力部１２、色変換属性入力部１３を有し、中央処理制御装置２は、フレーム抽出部２１、領域分割部２２、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５、基準分布選択部２６、基準色彩選択部２７、変換関数合成部２８、変換ＬＵＴ(ルックアッフ゜テーフ゛ル)作成部２９、映像変換部３０を有し、記憶装置３は、各部が出力する情報を記憶する記憶部の他、基準分布群記憶部３１、基準色彩群記憶部３２、変換ＬＵＴ記憶部３３を有する。

本映像階調変換装置は、専用のハードウェアとして構成してもよいし、汎用的なコンピュータを用いて構成し、各部の処理をコンピュータプログラムによって実行させるようにしてもよい。尚、各部が処理した結果は、記憶部に読み出し可能に記憶される。

映像信号入力部１１は、映像信号が入力されると、これをフレーム抽出部２１と映像変換部３０に出力する。ここでは、映像信号入力部１１が出力する映像を入力映像と呼ぶ。

本実施形態で扱う入力映像は、複数のフレームによって構成される動画であり、各フレームは、複数のピクセルによって構成される静止画像である。入力映像の幅をwidth、高さをheightで表すと、各フレームは、width×height個のピクセルによって構成される。各ピクセルは、ＲＧＢカラーモデルで色を表現するデータであり、フレームにおけるｘ座標値とｙ座標値とＲ値とＧ値とＢ値によって構成され、ｘ座標値は１以上width以下の整数値であり、ｙ座標値は１以上height以下の整数値であり、Ｒ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。

シャッター入力部１２は、ユーザによりシャッター操作が行われると、フレーム抽出部２１にシャッター操作を伝えるシャッター信号を出力する。

色変換属性入力部１３は、ユーザにより色変換属性が入力あるいは選択されると、色変換属性情報を生成し出力する。

フレーム抽出部２１は、映像信号とシャッター信号が入力され、静止画像を出力する。フレーム抽出部２１が出力する静止画像は入力映像から取り出した１フレームの静止画像である。

領域分割部２２は、入力映像を複数の対象物の領域に分割する。輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５は、それぞれが、独立した変換関数作成部であり、所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶装置３に記憶されている目標値を読み出して、各ヒストグラムが目標値に合致する分布範囲となるように変換関数を作成する。

より具体的には、輝度変換関数作成部２３は、各領域の輝度ヒストグラムを作成し、各輝度ヒストグラムが目標値に合致する分布範囲となるように変換関数を作成する。墨変換関数作成部２４は、各領域の色成分が墨のヒストグラムを作成し、各ヒストグラムが目標値に合致する分布範囲となるように変換関数を作成する。色味変換関数作成部２５は、色味の変換を行うために、各領域についてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、予め記憶装置３に記憶されている目標色の情報を読み出して、各ヒストグラムが目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

本映像階調変換装置は、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５のうちのいずれか１つだけを備えた構成としてもよいし、これらのうちのいずれか２つ以上を備えた構成としてもよい。前者の場合には、作成された変換関数が映像変換部３０によって入力映像に適用される。後者の場合には、作成された変換関数が変換関数合成部２８により合成され、この合成関数が映像変換部３０によって入力映像に適用される。以下、各部における詳細な処理について説明する。

領域分割部２２は、静止画像が入力され、領域情報群を出力する。領域情報群は、複数の領域情報によって構成され、各領域情報は領域名Ｒと領域集合Region_R によって構成される。ピクセルｐのｘ座標値をｘ_p 、ｙ座標値をｙ_p とすると領域集合Region_R は

と表される。領域分割部２２では、静止画像の被写体が人物である場合は、全体領域情報と顔領域情報と黒目領域情報を検出してもよい。或いは静止画像の被写体が物体である場合には、全体領域情報と被写体領域情報と背景領域情報を検出してもよい。以下では被写体が人物である場合に、全体領域情報と顔領域情報と黒目領域情報を検出するときの例について説明する。

ここでは、全体領域情報は領域名WHOLEと全体領域集合Region_WHOLEによって構成され、顔領域集合は領域名FACEと顔領域集合Region_FACEによって構成され、黒目領域集合は領域名EYEと黒目領域集合Region_EYEによって構成されるものとする。なお、全体領域集合Region_WHOLEとは、入力された静止画像に含まれるすべてのピクセルを含む集合である。

図２は、顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。領域分割部２２は、画像スケール変換部２２１と、検出対象領域切出部２２２と、空間周波数分析部２２３と、顔候補判定部２２４と、顔候補選択部２２５と、肌領域抽出部２２６と、黒目領域抽出部２２７と、によって構成される。

領域分割部２２における顔候補の選択はＨａａｒ型の特徴量を用い、ＡｄａＢｏｏｓｔ学習法、及びカスケード構造検出器による方法を用いる（例えば特許文献２参照）。

検出対象領域切出部２２２では、スケール変換された画像から既定のサイズの領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。

空間周波数分析部２２３では、切り出された領域に対し空間周波数フィルタリングを行う。例えば、ＡｄａＢｏｏｓｔ学習法、及びカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法を用いてもよい。この手法は、非特許文献３に詳しいので、ここでは詳細な説明は省略する。

顔候補判定部２２４では、空間周波数分析部２２３の出力値をもとに、領域が顔領域候補となり得るかを判定する。

顔候補選択部２２５では、顔候補となり得ると判断された顔領域候補のうち面積が最大となる顔領域候補を選択し、出力する。

肌領域抽出部２２６では、顔領域候補を入力として顔領域集合Region_FACEを出力する。顔領域集合Region_FACEは、顔領域候補内に含まれるピクセルのうち、ピクセルの色が肌色であるものによって構成される。すなわちRegion_FACEは、ピクセルｐのｘ座標値をｘ_p 、ｙ座標値をｙ_p 、Ｒ値をｒ_p、Ｇ値をｇ_p 、Ｂ値をｂ_p とすると

と表される。なお、肌色として扱うＲＧＢ値は予め設定してあるものとする。例えばＹＵＶカラーモデルにおいてＣb 値が−４０以上−２０以下でありＣb 値が１５以上３５以下の値を肌色とするなどの手法を用いる。

黒目領域抽出部２２７では、顔領域候補を入力として黒目領域集合Region_EYEを出力する。黒目領域集合Region_EYEは、顔領域候補内に含まれるピクセルのうち、輝度値が低いピクセルによって構成される。より具体的には顔領域候補内に含まれるピクセルのうち輝度値の低い順に１％のピクセル群を黒目領域集合とする。図３は、領域分割部２２で人の顔を検出する際の処理の一例を示す図である。

基準分布選択部２６は、色変換属性情報が入力され、基準分布情報を出力する。すなわち、基準分布選択部２６は、色変換属性情報と基準分布情報の対応表を基準分布群記憶部３１から参照し、色変換属性情報に対応する基準分布情報を基準分布群記憶部３１から取り出して出力する。

図４は、この基準分布情報の一例を示す図である。基準分布情報は、複数の基準分布レコードによって構成され、各基準分布レコードは色成分名、領域名、累積割合値、目標値、修正係数によって構成される。ここで累積割合値と修正係数は０以上１以下の小数値であり、目標値は０以上２５５以下の整数値である。

本実施形態において扱う色成分について説明すると、輝度（ＹＣb ＣrカラーモデルにおけるＹ成分）、Ｃb（ＹＣbＣrカラーモデルにおけるＣb成分）、Ｃr（ＹＣbＣrカラーモデルにおけるＣr成分）、墨（ＣＭＹＫカラーモデルにおけるＫ成分）、レッド（ＲＧＢカラーモデルにおけるＲ成分）、グリーン（ＲＧＢカラーモデルにおけるＧ成分）、ブルー（ＲＧＢカラーモデルにおけるＢ成分）、色相（ＨＳＶカラーモデルにおけるＨ成分）、彩度（ＨＳＶカラーモデルにおけるＳ成分）、明度（ＨＳＶカラーモデルにおけるＶ成分）の１０種類であり、全ての色成分において最小値は０、最大値は２５５とする。

輝度変換関数作成部２３は、静止画像と領域情報群と基準輝度分布情報とが入力され、輝度変換関数と変換画像Ａを出力する。ここで基準分布レコードのうち色成分名が輝度であるものを基準輝度分布レコードと呼ぶ。基準輝度分布情報は全ての基準輝度分布レコードによって構成される。

輝度変換関数作成部２３では、各基準分布レコードから制御値を算出する。制御値算出関数controlは、次の手順によって定義される。

まず、色成分Componentにおけるピクセルｐの色値を返す色値算出関数を

とする。ここでｇ(Component,p,x)を

と定義すると、ピクセルの集合Ｐにおいて領域集合Region_R にも含まれるピクセルｐを取り出したとき、色成分Componentにおけるピクセルｐの色値がｘとなる確率、すなわちcolor(p,Component)＝ｘとなる確率を表す確率密度関数（ヒストグラム関数）frequency(P,Region_R,Component,x)は

と表される。この確率密度関数から導き出される累積分布関数cumulative(P,Region_R,Component,x)は

と表される。確率密度関数が図５の曲線で表されたとすると、その累積分布関数は、図６のように表される曲線となる。さらに、累積分布関数のｘに関する逆関数を

と記述する。ただし、ｙはｙ＝cumulative（P,Region_R,Component,x）の関係を満たす値である。ここで、ある基準分布レコードが領域名Ｒ、累積割合値Ａ、色成分Componentによって構成されるとき、この基準分布レコードから制御値を算出する制御値算出関数control(P,Region_R,Component,A)を

と定義する。この制御値算出関数を累積割合値Ａに適用することによって、図７に示されるように累積割合値Ａに対応する制御値Ｃが得られる。

また、制御値ｃ、目標値ｔ、修正係数ｋを用いて、ヒストグラムの分布範囲を指定するために修正目標値を算出する修正目標値算出関数adjust(c,t,k)を

と定義する。制御値は画像から取得される値であり、目標値は予め定められた値である。これら制御値算出関数と修正目標値算出関数を用いて、各基準輝度分布レコードに対応する制御値と修正目標値を算出し、図８に示すように各基準輝度分布レコードに制御値と修正目標値の情報を追加して色変換用の基準輝度分布レコードを作成し、全ての色変換用基準輝度分布レコードによって構成される色変換用の基準輝度分布情報を作成する。

また、制御値数列{ｃ_k}_k=1,2,…,n（ただしｃ₁≦ｃ₂≦…≦ｃ_ｎ）と、各制御値に対応する修正目標値数列{ａ_k}_k=1,2,…,nを用いて、色値ｘの変換を行う変換関数convert({ｃ_k}_k=1,2,…,n,{ａ_k}_k=1,2,…,n,ｘ)を,

と定義する。ここで色変換用基準輝度分布情報を入力として制御値数列{CY,k}_k=1,2,…,nと、修正目標値数列{aY,k}_k=1,2,…,nを用いて輝度値の変更を行う輝度変換関数convert_y (ｘ)を

と定義する。

ここでＲＧＢカラーモデルとＹＣbＣr カラーモデルの間の変換関数を

と定義して、convert_y(ｘ)を用いてＲＧＢデータの輝度を変換する輝度変換関数convertＲＧＢ_y(r,g,b)を

と定義する。

輝度変換関数作成部２３は、上記の輝度変換関数を出力する。また、入力画像の各ピクセルのＲＧＢデータに対して輝度変換関数を適用することで変換画像Ａを作成し、出力する。

ここで、例えば入力映像の輝度ヒストグラムが図９のように分布していたとすると、入力映像の各ピクセルに輝度変換関数convertＲＧＢ_y (r,g,b)を適用して作成した変換画像Ａの輝度ヒストグラムは図１０のようになる。同図に示すように、輝度変換関数は制御値と修正目標値が合致するようにヒストグラムを変換する。

墨変換関数作成部２４は、変換画像Ａと、領域情報群と、基準墨分布情報とを入力として、制御値算出関数と修正目標値算出関数とを用いて、色変換用の基準墨分布情報を作成する。ここでは、前述した基準分布レコードのうち色成分が墨であるものを基準墨分布レコードと呼び、基準墨分布情報は全ての基準墨分布レコードによって構成されるものとする。その後の墨変換関数作成部２４での処理は基本的には輝度変換関数作成部２３と同様であり、作成した色変換用の基準墨分布情報を用いて墨変換関数convert_k (ｘ)を作成し、作成した墨変換関数とＲＧＢ・ＣＭＹＫ変換関数を用いて墨変換ＲＧＢ処理関数convertＲＧＢ_k (r,g,b)を作成し、作成した墨変換ＲＧＢ処理関数を墨変換関数として出力する。また、変換画像Ａの各ピクセルのＲＧＢデータに対して、この墨変換関数を適用することで変換画像Ｂを作成し、出力する。

なお、輝度変換関数と墨変換関数の適用はその順番を逆にして最初に墨変換処理を行った後に輝度変換処理を行っても良い。また、最初に処理する色成分における基準分布レコードの修正係数を０．５とし、後に処理する色成分における基準分布レコードの修正係数を１とした場合は２つのカラーモデルのバランスの良い色変換が行われやすい。もちろん、輝度変換処理と墨変換処理のいずれか一方だけを適用することとしてもよく、この場合の変換画像Ｂはいずれか一方だけを処理した結果となる。また、後述する色味変換処理だけを適用する場合には、これら輝度変換処理、墨変換処理については行わないようにし、この場合の変換画像Ｂには入力画像そのものを用いるようにする。

基準色彩選択部２７は、色変換属性情報が入力され、基準色彩情報を出力する。基準色彩選択部２７では、色変換属性情報と基準色彩情報の対応表について基準色彩群記憶部３２の情報を参照し、色変換属性情報に対応する基準色彩情報を基準色彩群記憶部３２から取り出して出力する。図１１は、基準色彩情報の一例を示す図である。基準色彩情報は複数の基準色彩レコードによって構成され、各基準色彩レコードは領域名、累積割合値、目標色によって構成され、目標色はＲ値とＧ値とＢ値とによって構成される。ここで累積割合値は０以上１以下の小数値であり、目標色を構成するＲ値とＧ値とＢ値はそれぞれ０以上２５５以下の整数値である。

色味変換関数作成部２５は、目標値としてＲＧＢの目標色を用いる。色味変換関数では任意のカラーモデルの独立した色成分を用いることが可能であり、例えばＲＧＢのＲ色成分とＧ色成分とＢ色成分とを用いても、ＣＭＹＫのＣ色成分とＭ色成分とＹ色成分とＫ色成分とを用いても、ＹＣｂＣｒ色成分のＹ色成分とＣｂ色成分とＣｒ色成分を用いてもよい。色味変換関数作成部２５は、選択したカラーモデルの各色成分について変換関数を作成する。本実施形態においては、ＲＧＢのＲ色成分とＧ色成分とＢ色成分を用いた場合について説明するが、他のカラーモデルを用いた場合も色成分が変わるだけで同様の処理が可能である。ここで、ピクセルの集合がP、領域名がR、累積割合値がAであって、ＲＧＢのＲ色成分をRED、Ｇ色成分をGREEN、Ｂ色成分をBLUEとすると、前記の制御値算出関数control(P,Region_R,component,A)を用いて

また、あるカラーモデルModel（例えばＲＧＢカラーモデル）において、Modelに含まれる全ての色成分（例えばＲ色成分とＧ色成分とＢ色成分）によって構成される、色を表すベクトル値ｖ（例えば(r,g,b)）から、色成分Componentにおける色値を算出する関数ColorValue(Model,Component,v)を次のように定義する。

また、あるカラーモデルModel₁における色ベクトルｖ₁をカラーモデルModel₂における色ベクトルｖ₂に変換する関数を次のように定義する。

このとき、例えばＨＳＶカラーモデルにおける色を表すベクトル(h,s,v)をＲＧＢカラーモデルにおける色を表すベクトル(r,g,b)に変換する関数ColorConvert(HSV,RGB(h,s,v))は、ＨＳＶカラーモデルをHSV、ＲＧＢカラーモデルをRGB、Ｒ色成分をR、Ｇ色成分をG、Ｂ色成分をBとすると次の関係を満たす。

目標色のＲ値をTr、Ｇ値をTg、Ｂ値をTbとしたときに、ＲＧＢ値の色相と彩度を目標色に合致させる明度固定ＲＧＢ変換関数changeHS(r,g,b,Tr,Tg,Tb)は、ＲＧＢカラーモデルをRGB、Ｒ色成分をR、Ｇ色成分をG、Ｂ色成分をB、ＨＳＶカラーモデルをHSV、Ｈ色成分をH、Ｓ色成分をS、Ｖ色成分をVと表すと、次のように定義される。

また、ＹＣｂＣｒカラーモデルをYCbCr、Ｙ色成分をY、Ｃｂ色成分をCb、Ｃｒ色成分をCrと表すと輝度固定ＲＧＢ変換関数changeCbCr(r,g,b,Tr,Tg,Tb)は次のように定義される。

また、ＣｂＣｒ固定ＲＧＢ変換関数changeY(r,g,b,Tr,Tg,Tb)は次のように定義される。

同様に、墨固定ＲＧＢ変換関数changeK(r,g,b,Tr,Tg,Tb)、明度固定ＲＧＢ変換関数changeV(r,g,b,Tr,Tg,Tb)等も定義可能である。

このとき変換画像Ｂに含まれるピクセルの集合がＰb、基準色彩レコードＳの領域がＲs、累積割合値がＡs、目標色が(Tr,Tg,Tb)であったとき、変換画像Ｂと基準色彩レコードＳとに対応して目標ＲＧＢ値算出関数targetＲＧＢ(Pb,Region_Rs ,As,Tr,Tg,Tb)を

と定義する。或いは輝度固定ＲＧＢ変換関数changeＣbＣr(r,g,b,Tr,Tg)を用いて

と定義してもよい。また、ＣｂＣｒ固定ＲＧＢ変換関数changeY(r,g,b,Tr,Tg,Tb)を用いると、色味ではなく輝度の変換が可能となる。その際は次のように定義する。

上述したいずれかの手法で定義した目標ＲＧＢ値算出関数はＲＧＢ目標値を返す。ＲＧＢ目標値は、Ｒ目標値とＧ目標値とＢ目標値とによって構成される。

色味変換関数作成部２５では、変換画像Ｂと領域情報群と基準色彩情報とが入力され、色味変換関数を出力する。この処理を行うため、まず変換画像Ｂと、領域情報群と、基準色彩情報に含まれる各基準色彩レコードとを用いて、前記のＲ制御値算出関数を用いてＲ制御値を算出し、Ｇ制御値算出関数を用いてＧ制御値を算出し、Ｂ制御値算出関数を用いてＢ制御値を算出する。そして、前記の目標ＲＧＢ値算出関数を用いて基準色彩情報に含まれる各基準色彩レコードに対応するＲ目標値とＧ目標値とＢ目標値とを算出し、算出したＲ制御値とＧ制御値とＢ制御値とＲ目標値とＧ目標値とＢ目標値とを各基準色彩レコードに追加して色変換用の基準色彩情報を作成する。この手順により作成した色変換用基準色彩情報の例を図１２に示す。また、基準色彩情報の作成においては前記の目標ＲＧＢ値算出関数を用いず、目標色のＲＧＢ値をそのままＲ目標値、Ｇ目標値、Ｂ目標値として基準色彩情報を作成してもよい。この場合、色味変換関数作成部２５は色味だけでなく明るさも目標色に近づける変換を行うことが可能になる。

続いて色味変換関数作成部２５は、上記の手順により作成した色変換用基準色彩情報を用いてＲ変換関数とＧ変換関数とＢ変換関数とを作成する。

Ｒ変換関数の作成においては、色変換用基準色彩情報に含まれるＲ制御値列{c_RED.k}_k=1,2,…,nとＲ目標値列{t_RED.k}_k=1,2,…,nと変換関数convertとを用いてＲ変換関数convert_RED(x)を

と定義する。Ｇ変換関数の作成においては、色変換用基準色彩情報に含まれるＧ制御値列{ｃ_GREEN.k}_k=1,2,…,nとＧ目標値列{t_GREEN.k}_k=1,2,…,nと変換関数convertを用いてＧ変換関数convert_GREEN(x)を

と定義する。Ｂ変換関数の作成においては、色変換用基準色彩情報に含まれるＢ制御値列{c_BLUE.k}_k=1,2,…,nとＢ目標値列{t_BLUE.k}_k=1,2,…,nと変換関数convertを用いてＢ変換関数convert_BLUE(x)を

と定義する。

ここで、Ｒ変換関数convert_RED(x)とＧ変換関数convert_GREEN(x)とＢ変換関数convert_BLUE(x)とを用いてカラーバランスを示す色味変換関数balanceRGB(r,g,b)を

と定義する。

色味変換関数作成部２５では、この色味変換関数balanceRGB(r,g,b)を、変換画像Ｂの各ピクセルのＲＧＢデータに対して適用することで、変換画像Ｃを作成し出力する。尚、上述した色味変換関数作成部２５の処理においてはＲＧＢカラーモデルの代わりにＣＭＹカラーモデルを用いても同様の処理が可能である。

変換画像Ｃは、輝度変換処理、墨変換処理、色味変換処理のうちの１つ以上が入力画像に施されたものであるが、ここでは更に次に示すように、変換関数合成部２８、変換ＬＵＴ（ルックアップテーブル）作成部２９、映像変換部３０により、各変換関数を合成し、合成後の変換関数を入力画像に対して一括して適用する場合について説明する。

変換関数合成部２８は、輝度変換関数作成部２３、墨変換関数作成部２４、色味変換関数作成部２５がそれぞれ作成した変換関数を合成する。合成の際には、輝度変換処理、墨変換処理、色味変換処理を施す順番も定義する。例えば、前述したように、輝度変換処理、墨変換処理、色味変換処理をこの順で行う場合には、輝度変換関数convertRGB_y (r,g,b)と、墨変換関数convertRGB_k (r,g,b)と、色味変換関数balanceRGB(r,g,b)と、が順番に施されるように、合成後の変換関数convertRGB_YKRGB(r,g,b)を

と定義する。

また、複数の合成後の変換関数convertRGB_YKRGB(r,g,b)を合成して新たな合成変換関数を作成してもよい。例えば、合成後の変換関数Ｆ₁,Ｆ₂,…,Ｆ_nが存在し、合成係数Ｓ₀,Ｓ₁,…,Ｓ_nが存在するとき合成変換関数syntheticConvertRGB(r,g,b)を次のように定義する。

ここで、変換関数は記憶装置に記憶されている関数を利用すれば良く、合成係数は記憶装置に予め記憶されている値を利用してもよいし、そのときにユーザが設定した値を利用してもよい。

変換ＬＵＴ作成部２９は、合成後の変換関数を入力として色変換ＬＵＴを出力する。具体的には、値として取り得る全てのＲＧＢデータに対して、各ＲＧＢデータに合成後の変換関数を適用した変換ＲＧＢデータが対応する図１３に示すようなＬＵＴを作成し、変換ＬＵＴ記憶部３３に記憶させる。

映像変換部３０は、入力映像と色変換ＬＵＴを入力として変換映像を出力する。具体的には、入力映像の各フレームの各ピクセルについて色変換ＬＵＴを参照して色変換した変換後のフレームを作成し、作成した変換フレームを順次出力することで最終的な変換映像を出力する。

ただし、ＲＧＢによる色味変換関数のみを施した場合は、Ｒ成分とＧ成分とＢ成分に対して独立に色変換が施されるため、全てのＲＧＢデータに対して変換ＲＧＢデータを作成する必要はなく、図１４に示すようにＲ成分のＬＵＴとＧ成分のＬＵＴとＢ成分のＬＵＴを独立に作成すればよい。この場合、映像変換部３０は、入力映像の各フレームの各ピクセルの各ＲＧＢ値について色変換ＬＵＴを参照して色変換した変換後のフレームを作成する。この手法によって、ＬＵＴの作成に必要なメモリ量を大幅に節約することが可能となる。

以上、説明したように、本実施の形態によれば、映像を複数の対象物の領域に分割し、各領域のヒストグラムが目標値に合致する分布範囲となる変換関数を作成し、この変換関数を映像に適用することで、領域毎に階調変換が行われるので、明るい箇所や暗い箇所に影響を受けて映像全体が階調変換されてしまうことを防ぐことができる。

すなわち、映像全体だけではなく被写体の色についても、輝度と墨とＲ成分とＧ成分とＢ成分との複数の色成分において指定の範囲に分布させることが可能となり、映像全体だけでなく被写体の明るさ、コントラスト、色味もユーザにとって好ましい映像を作成することが可能となる。また、本実施形態における色変換処理はデジタルカメラに用いられる階調補正手法と比較すると単純な手法であり、リアルタイムでユーザにとって望ましい色変換動画像を提供することが可能となる。

一実施形態における映像階調変換装置の全体的な構成を示すブロック図である。 顔領域情報と黒目領域情報を検出し、入力映像を顔領域と黒目領域に分割するための領域分割部２２の構成を示すブロック図である。 領域分割部２２で人の顔を検出する際の処理の一例を示す図である。 基準分布情報の一例を示す図である。 ある色成分におけるピクセルｐの色値がｘとなる確率を表す確率密度関数（ヒストグラム関数）の一例を示す図である。 図５に示す確率密度関数についての累積分布関数を示す図である。 累積割合値Ａから制御値を算出するための制御値算出関数の一例を示す図である。 図４の各基準輝度分布情報に制御値と修正目標値の情報を追加して作成した色変換用の基準輝度分布情報を示す図である。 入力映像の輝度ヒストグラムの一例を示す図である。 図９に用いた入力映像のＲＧＢデータに輝度変換関数を適用した後の映像の輝度ヒストグラムを示す図である。 基準色彩情報の一例を示す図である。 色変換用の基準色彩情報の一例を示す図である。 ＲＧＢデータの変換前後での対応を表すルックアップテーブルの一例を示す図である。 Ｒ成分、Ｇ成分、Ｂ成分のそれぞれの色変換用のルックアップテーブルの一例を示す図である。 従来のコントラストストレッチング装置の構成を示すブロック図である。

符号の説明

１…入力装置
２…中央処理制御装置
３…記憶装置
１１…映像信号入力部
１２…シャッター入力部
１３…色変換属性入力部
２１…フレーム抽出部
２２…領域分割部
２３…輝度変換関数作成部
２４…墨変換関数作成部
２５…色味変換関数作成部
２６…基準分布選択部
２７…基準色彩選択部
２８…変換関数合成部
２９…変換ＬＵＴ作成部
３０…映像変換部
３１…基準分布群記憶部
３２…基準色彩群記憶部
３３…変換ＬＵＴ記憶部
４２…分布計算部
４３…ストレッチング部
２２１…画像スケール変換部
２２２…検出対象領域切出部
２２３…空間周波数分析部
２２４…顔候補判定部
２２５…顔候補選択部
２２６…肌領域抽出部
２２７…黒目領域抽出部

Claims (9)

1. 入力された映像を記憶する記憶手段と、
   前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる領域分割手段と、
   所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶手段に記憶されている目標値を読み出して、各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成して記憶手段に記憶させる変換関数作成手段と、
   前記変換関数を前記映像に適用して映像を変換する映像変換手段と、
   を有することを特徴とする映像階調変換装置。
2. 前記変換関数作成手段は、各領域の輝度ヒストグラムを作成し、当該各輝度ヒストグラムについて変換関数を作成することを特徴とする請求項１記載の映像階調変換装置。
3. 前記変換関数作成手段は、各領域の色成分が墨のヒストグラムを作成し、当該各ヒストグラムについて変換関数を作成することを特徴とする請求項１記載の映像階調変換装置。
4. 前記変換関数作成手段は、前記各領域について２個以上の独立した色成分のヒストグラムを作成すると共に、予め記憶手段に記憶されている各色成分の目標値を統合した目標色の情報を読み出して、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応した変換関数を作成することを特徴とする請求項１記載の映像階調変換装置。
5. 前記変換関数作成手段は、前記各領域についてＲ成分、Ｇ成分、Ｂ成分のヒストグラムを作成することを特徴とする請求項４記載の映像階調変換装置。
6. 前記変換関数作成手段は、
   各領域の輝度ヒストグラムを作成し、当該各輝度ヒストグラムについて変換関数を作成する輝度変換関数作成手段と、
   各領域の色成分が墨のヒストグラムを作成し、当該各ヒストグラムについて変換関数を作成する墨変換関数作成手段と、
   色味の変換を行うために、前記各領域についてＲ成分のヒストグラムとＧ成分のヒストグラムとＢ成分のヒストグラムとを作成すると共に、予め記憶手段に記憶されている目標色の情報を読み出して、当該各ヒストグラムが前記目標色に合致する分布範囲となるように各ヒストグラムに対応したＲ変換関数とＧ変換関数とＢ変換関数とを作成する色味変換関数作成手段と、のうちの少なくとも２つ以上を有するものであって、
   前記輝度変換関数作成手段、前記墨変換関数作成手段、前記色味変換関数作成手段が出力した変換関数を合成して前記映像変換手段に出力する変換関数合成手段を更に有することを特徴とする請求項１記載の映像階調変換装置。
7. 前記変換関数作成手段は、２個以上の変換関数を合成して合成変換関数を作成し、
   前記映像変換関手段は、当該合成変換関数を前記映像に適用して映像を変換することを特徴とする請求項１記載の映像階調変換装置。
8. 映像階調変換装置により行う映像階調変換方法であって、
   入力された映像を記憶手段に記憶させるステップと、
   前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させるステップと、
   所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶手段に記憶されている目標値を読み出して、各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成して記憶手段に記憶させるステップと、
   前記変換関数を前記映像に適用して映像を変換するステップと、
   を有することを特徴とする映像階調変換方法。
9. 入力された映像を記憶手段に記憶させる処理と、
   前記映像を読み出し、複数の対象物の領域に分割して記憶手段に記憶させる処理と、
   所望の色成分における各領域のヒストグラムを作成すると共に、予め記憶手段に記憶されている目標値を読み出して、各ヒストグラムが当該目標値に合致する分布範囲となるように変換関数を作成して記憶手段に記憶させる処理と、
   前記変換関数を前記映像に適用して映像を変換する処理と、
   をコンピュータに実行させることを特徴とする映像階調変換プログラム。

Images