JP2013051685A - デジタル装置のための映像処理方法 - Google Patents

Abstract

【課題】本発明は、前述したホワイトバランスを簡単で、かつ正確に処理できる映像処理方法を提供することをその目的とする。
【解決手段】本発明に従う映像処理方法は、ホワイトバランスを遂行するための基準区分線を構成するステップと、基準区分線に基づいてピクセルの分布度を含むグリッドを形成するステップと、基準区分線に位置した特定のポイントに対してレッドゲイン値、ブルーゲイン値、及びピクセル分布度を抽出するステップと、抽出したピクセル分布度が最大点か否かを判断するステップと、ピクセル分布度が最大点か否かによって、抽出したレッドゲイン値及びブルーゲイン値を用いて新たなゲイン値を設定するステップと、を含む。
【選択図】図５

Description

本発明は、ホワイトバランスのための映像処理方法に関し、特に、ＧＲＧＢグリッド上の基準区分線に沿ってゲイン値をアップデートし、それに従う最終ゲイン値を用いて境界化を遂行することによって、イメージの品質を向上させることができる映像処理方法に関する。

本特許出願は、２０１１年８月３０日付で韓国に出願した特許出願番号第１０−２０１１−００８７３９５号に対し、米国特許法１１９条（３５Ｕ．Ｓ．Ｃ）及び３６５条（３５Ｕ．Ｓ．Ｃ）により優先権を主張し、その全ての内容は参考文献として本特許出願に併合される。

最近、カメラ及びビデオ装置を用いた映像技術が発達するにつれて、多様な環境でも優れた画質を得るための自動焦点調節（Automatic Focusing：ＡＦ）、自動絞り調節（Automatic Exposure：ＡＥ）、または自動ホワイトバランス調節（Automatic white balance：ＡＷＢ）のような自動調節技術が求められている。

ホワイトバランス（White Balance）は、写真で理想的でない色調（color casts）を除去する過程であって、白色に見える物体が写真または絵で正しく表れるようにする。

カメラは光源の色温度を考慮してホワイトバランスを遂行しなければならないが、ホワイトバランスは光源の相対的な冷たさ（coolness）または温かさ（warmth）に依存的である。

人間の目は他の光源下で白色を判別できるが、ディジタルカメラによっては自動ホワイトバランス（Auto White Balance）の遂行においてたびたび誤りが発生する。これは、人の目とカメラに取り付けられたイメージセンサーの特性及び感度が異なるためである。

不正確なホワイトバランスは目に逆らう青色、オレンジ、または緑色などの色気味を発生させることがあるので、人物写真において理想的でなく、甚だしくは 致命的な結果をもたらす。

例えば、光源の温度が高いほど青色が目立って、反対の場合は赤色が目立つようになる。このように色調の歪曲現象をなくすために、青色と赤色の均衡を自然光状態と類似するように調節する技術がホワイトバランスである。

一方、色温度（color temperature）は表面温度（surface temperature）を有する理想的な「黒体」（blackbody）から放射される光のスペクトルを表しており、表面温度を数値化して表したものである。

黒体は光の吸収のみを行い、反射または透過しない理想的な物体を意味し、以下の＜表１＞のように光源（Light source）の種類によって色温度の範囲が変わりうる。

本発明は、前述したホワイトバランスを簡単で、かつ正確に処理できる映像処理方法を提供することをその目的とする。

本発明が達成しようとする技術的課題は、前述した技術的課題に制限されず、言及されない更に他の技術的課題は以下の記載から提案される実施形態が属する技術分野で通常の知識を有する者に明確に理解されることができる。

実施形態に従う映像処理方法は、ホワイトバランスを遂行するための基準区分線を構成するステップ、基準区分線に基づいてピクセルの分布度を含むグリッドを形成するステップ、基準区分線に位置した特定のポイントに対してレッドゲイン値、ブルーゲイン値、及びピクセル分布度を抽出するステップ、抽出したピクセル分布度が最大点か否かを判断するステップ、及びピクセル分布度が最大点か否かによって、抽出したレッドゲイン値及びブルーゲイン値を用いて新たなゲイン値を設定するステップを含む。

また、抽出したレッドゲイン値及びブルーゲイン値に既設定された重み付け値を適用するステップをさらに含み、新たなゲイン値は、重み付け値が適用されたレッドゲイン値及びブルーゲイン値に基づいて設定される。

また、設定するステップは、ピクセル分布度が最大点であれば、重み付け値が適用されたレッドゲイン値及びブルーゲイン値を格納するステップと、格納したレッドゲイン値及びブルーゲイン値を用いて既設定されたレッドゲイン値及びブルーゲイン値を更新するステップを含む。

また、ピクセル分布度が最大点でなければ、基準区分線内で特定のポイントを変更するステップをさらに含む。

また、特定のポイントが最後のポイントの場合、現在ゲイン値を更新し、特定のポイントが最後のポイントでない場合、基準区分線内で特定のポイントを変更するステップをさらに含む。

また、重み付け値は特定のポイントに該当する色温度に基づいて設定される。

また、重み付け値は被写体の色温度によって互いに異なるように設定される。

また、ゲイン値を更新するステップは、現在ゲイン値＋（現在ゲイン値−以前ゲイン値）／（現在ゲイン値＋以前ゲイン値）を新たなゲイン値に設定するステップを含み、現在ゲイン値は、格納したブルーゲイン値及びレッドゲイン値を含む。

また、グリッドは特定レッドゲイン値及びブルーゲイン値に該当するピクセルの分布度で構成される。

また、基準区分線を構成するステップは、マクベスチャートから獲得される境界ボックスを用いて基準区分線を構成するステップを含む。

最大点か否かは、レッドゲイン値、ブルーゲイン値のピクセル分布度が既設定された基準値以上か否か、またはピクセル分布度が増加してから減少する変化特性により判断される。

本発明によれば、正確なホワイトバランスを遂行することによって、鮮明なイメージを獲得することができる。

一方、その他の多様な効果は後述する本発明の実施形態に従う詳細な説明で直接的または暗示的に開示される。

ベイヤーアレイを示す図である。 ＧＲＧＢグリッドを示す図である。 ＧＲＧＢグリッド上の色温度分布を示す図である。 レッドゲイン値及びブルーゲイン値の算出過程を説明するための図である。 本発明の一実施形態に従って最大点を抽出する過程を説明するためのグラフである。 本発明の一実施形態に従う映像処理方法に対するフローチャートである。

本発明は多様な変更を加えることができ、さまざまな実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細に説明しようとする。

しかしながら、これは本発明を特定の実施形態に対して限定しようとするものでなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むものと理解されるべきである。

第１、第２などの用語は、多様な構成要素の説明に使用できるが、構成要素は用語により限定されてはならない。用語は１つの構成要素を他の構成要素から区別する目的のみに使われる。例えば、本発明の権利範囲を逸脱することなく、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。及び／またはという用語は、複数の関連した記載された項目の組合または複数の関連した記載された項目のうちのある項目を含む。

以下、添付した図面を参照して、本発明の好ましい実施形態をより詳細に説明しようとする。本発明を説明するに当たって、全体的な理解を容易にするために、図面上の同一な構成要素に対しては同一な参照符号を使用し、同一な構成要素に対して重複した説明は省略する。

一般に、マクベスチャート（Macbeth chart）は２３００Ｋ、２８００Ｋ、３０００Ｋ、３４００Ｋ、５０００Ｋ、及び６５００Ｋのような更に異なる色温度条件で獲得できる基準カラーに対するチャートである。

これは、ホワイトバランスのために更に異なる色温度の光源に対する赤色及び青色補正が行なわれたカラーチャートである。この補正された値は他の光源条件下で該当する白色点（white point）を全て含む複数の多角形ボックス（polygonal bounding box）に反映されている。

多角形ボックスは点の集合を用いて基準区分線を設定し、これを検索幅（Search Width）位両側に拡張することによって構成できる。マクベスチャートは、その他にもカラー補正のためのイメージ処理に多様に使われている。

本発明の一実施形態に従う映像処理方法では、イメージセンサーから獲得される各ピクセルのＲＧＢ値に対してホワイトバランスを遂行する。また、各ピクセルで獲得されるＲＧＢ値はベイヤーアレイで構成できる。

ベイヤーカラーフィルタアレイ（Bayer Color filter Array）は、フォトセンサーの平方グリッドにＲＧＢカラーフィルタを配列するアレイの一種であって、発明者ブライスベイヤー（Bryce Bayer）の名前を取って作られた名称である。

ベイヤーカラーフィルタアレイは、モザイク形状のアレイで構成され、図１のようにＲＧＢカラーフィルタが各々２５％、５０％、及び２５％の割合でアレイの上に分布することによって、ＲＧＢ色相をピクセル別に感知することができる。

また、ベイヤーカラーフィルタアレイはピクセル別に獲得されるＲ値、Ｇ値、及びＢ値を用いてＧ／Ｒ及びＧ／Ｂを算出することができる。

また、ベイヤーカラーフィルタアレイは算出したＧ／Ｒ及びＧ／Ｂを用いて図２のＧ／Ｒ ｖｓ Ｇ／Ｂグリッド平面を形成することができる。

本発明において、Ｇ／Ｒ値はレッドゲイン値であり、Ｇ／Ｂ値はブルーゲイン値を表す。

一方、図２のＧ／Ｒ ｖｓ Ｇ／Ｂグリッド平面は、ベイヤーアレイで構成されるイメージピクセルに対して平面の一次元をレッドゲイン値であるＧ／Ｒ＝（（Ｇｒ＋Ｇｂ）／２）／Ｒをｘ軸にし、平面の異なる次元をブルーゲイン値であるＧ／Ｂ＝（（Ｇｒ＋Ｇｂ）／２）／Ｂをy軸にして構成できる。

即ち、Ｇ／Ｒ ｖｓ Ｇ／Ｂグリッド平面はＧ／Ｒ及びＧ／Ｂ値に該当するピクセルの分布を表している。

ここで、Ｇ／Ｒ及びＧ／Ｂ値は格納を容易にするために各々１００倍数され、１００倍数された値が２５５を超過した場合、２５５を差し引くことによって算出できる。

図２では、特定範囲のＧ／Ｒ及びＧ／Ｂ値を有するピクセルからなる多角形が形成され、該当多角形は境界ボックスになることができる。

本発明では、該当境界ボックス内のグリッドから最適のブルーゲイン値及びレッドゲイン値を算出する方法を提示する。

図２の基準区分線は本発明の一実施形態においてポイントを移動することによって、ブルーゲイン値及びレッドゲイン値を算出するための基準線になることができる。

一方、図２のＧＲＧＢグリッドに図示される境界ボックスは特定色温度を含むことができ、図３のように色温度が分布することができる。

図４は、レッドゲイン値及びブルーゲイン値の算出過程を説明するための図である。

レッドゲイン値及びブルーゲイン値の算出のために、まず、相異する色温度の上でブルー補正及びレッド補正が行なわれたマクベスチャートが利用できる。次に、図２のＧＲＧＢグリッドの基準区分線に沿って各ポイントに対してホワイトバランスを遂行することができる。

即ち、図４に示すように、ＧＲＧＢグリッドの上で基準区分線内に存在する各ポイント（Ｐ０，．．．，Ｐｎ）に対し、各々ホワイトバランスを遂行することができ、各ポイントを中心として所定の検索幅を有するグリッドがホワイトバランスの基礎となることができる。

この際、各グリッドは基準区分線に従うポイント（Ｐ０，．．．，Ｐｎ）を中心とする矩形となることができる。また、グリッド内での矩形を構成する検索幅及びデータの個数は制約的でない。

以下、＜表２＞のＧＲＧＢグリッドを用いて、基準区分線に沿ってレッドゲイン値及びブルーゲイン値を求めるための過程を説明する。

＜表２＞の横軸はＧ／Ｒ値を表し、縦軸はＧ／Ｂ値を表す。

次に、＜表２＞の各ピクセル別の値にレッドゲイン値であるｘ軸値（１，２，３，・・・）を掛けて＜表３＞を得ることができる。

次に、＜表２＞の各ピクセル別の値にブルーゲイン値であるｙ軸値（１，２，３，・・・）を掛けて＜表４＞を得ることができる。

＜表３＞及び＜表４＞において、新しく算出された値はピクセル分布度に特定ゲイン値を掛けた値である。

即ち、＜表３＞のように新しく算出された値はピクセル分布度にレッドゲイン値を掛けた値であり、＜表４＞のように新しく算出された値はピクセル分布度にブルーゲイン値を掛けた値である。

また、＜表３＞及び＜表４＞により新しく算出された値は、各々該当ゲイン値（ブルーゲイン値またはレッドゲイン値）の影響がより増大化した値である。

そして、＜表３＞及び＜表４＞の算出過程で表すように、＜表２＞のＧ／Ｒ値及びＧ／Ｂ値は増大化した値に対して一種の重み付け値として動作している。

次に、＜表３＞及び＜表４＞での値を全て足す過程を遂行する。

即ち、＜表３＞に記載された値に対する第１和は２２１１、＜表４＞に記載された値に対する第２和は２８８８となることができ、＜表２＞に記載された値に対する第３和は７９５となることができる。

以後、第１和に対する結果値と第２和に対する結果値を、各々第３和に対する結果値で割る。

この際、第１和に対する結果値を第３和に対する結果値で割れば、‘２．７８１・・・’となり、第２和に対する結果値を第３和に対する結果値で割れば、‘３．６３２・・・’となる。

そして、のような演算により導出された値は新たなレッドゲイン値とブルーゲイン値として使用できる。

言い換えると、 ‘２．７８１・・・’は新たなレッドゲイン値として使われることができ、‘３．６３２・・・’は新たなブルーゲイン値として使われることができる。

また、新たなレッドゲイン値及びブルーゲイン値に該当するピクセルの分布度が＜表２＞の上で最大点になることができるかを判断することができる。

図５は、本発明の一実施形態によって最大点を抽出する過程を説明するためのグラフである。

図５を参照すると、横軸に例示される特定のポイントに対して縦軸として重み付け値が掛けられることができる。一方、重み付け値の適用においては色温度に基づいて各々相異するように適用できる。図５では、６５００Ｋに該当する色温度に対して最高の重み付け値が適用されており、それより低いか高い色温度では、より低い重み付け値が適用されている。

例えば、日光の下ではレッドゲイン値に適用される重み付け値は徐々に増加し、ブルーゲイン値に適用される重み付け値は減少するようにすることができる等、色温度によって適用される重み付け値はイメージの抽出条件、例えば被写体の色温度によって変わることができる。

＜表２＞乃至＜表４＞で算出される新たなレッドゲイン値及びブルーゲイン値に対して図５のように重み付け値が適用されれば、現在ポイントに対するゲイン値が算出される。

新しく算出される現在ポイントのゲイン値に対して該当ゲイン値に対するピクセル分布が最大であるかを判断することができる。

該当ゲイン値が最大点か否かの判断は、該当ゲイン値のピクセル分布が所定値以上であるか、またはゲイン値に対するピクセル分布が増加してから減少するかによって判断される。

一方、現在ポイントに対するゲイン値が最大の分布度を有する場合には現在ポイントを現在ゲイン値として格納することができる。

次に、基準区分線に含まれた各ポイントに対するゲイン値の算出は基準区分線の最後のポイントまで遂行できる。最後のポイントまでゲイン値の算出が完了した場合には、最初に格納された現在ゲイン値を用いてゲイン値を更新することができ、これを用いてグリッドを境界化することができる。

更新された新たなゲイン値は、以下の式のように設定できる。
アップデートされたゲイン値＝現在ゲイン値＋（現在ゲイン値−以前ゲイン値）／（現在ゲイン値＋以前ゲイン値）

最終のゲイン値が獲得された場合には該当ゲイン値を含むグリッドの領域のみを抽出することができ、各グリッドは所定範囲の色温度、例えば図３に示すように、２３００Ｋ乃至７０００Ｋ範囲の色温度の下に抽出されるグリッドのみを含むことができる。これで、色調の歪曲が減少したイメージを獲得することができる。

図６は、本発明の一実施形態に従う映像処理方法に対する順序度を示す。

ステップ（Ｓ１１）で、マクベスチャートから獲得される境界ボックスを用いて基準区分線を構成する。

ステップ（Ｓ１２）で、基準区分線を構成する各ポイントに対してグリッドを形成する。

ステップ（Ｓ１３）で、各ポイントに該当するグリッド内でレッドゲイン値、ブルーゲイン値、及びピクセル分布度を抽出する。新たなレッドゲイン値及びブルーゲイン値は前述した＜表２＞乃至＜表４＞及びこれと関連する詳細な説明で説明したことがある。新たなレッドゲイン値及びブルーゲイン値に該当するピクセルの分布度も算出する。

ステップ（Ｓ１４）で、ステップ（Ｓ１３）で算出した新たなレッドゲイン値及びブルーゲイン値に対して色温度に基づいて重み付け値を適用する。

ステップ（Ｓ１５）で、重み付け値が適用されたポイントに対してゲイン値が最大のピクセル分布を含むかを判断する。

ステップ（Ｓ１６）で、ステップ（Ｓ１５）で現在ポイントが最大の場合には現在ポイントを現在ゲイン値として格納する。

ステップ（Ｓ１５）で、現在ポイントが最大でないと判断された場合には、基準区分線の上の次のポイントに移動してステップ（Ｓ１３）乃至ステップ（Ｓ１５）の動作を繰り返す。

ステップ（Ｓ１７）で、現在ポイントが最後のポイントであるかを判断して最後のポイントでない場合にはステップ（Ｓ１３）乃至ステップ（Ｓ１５）の動作を繰り返す。

ステップ（Ｓ１８）で、現在ポイントが最後のポイントの場合には、最終ゲイン値を用いてゲイン値を更新し、グリッドを境界化する。

一方、以上では本発明の具体的な実施形態に関して説明したが、本発明の範囲から外れない限度内でさまざまな変形が可能であることは勿論である。したがって、本発明の範囲は説明された実施形態に限定されず、後述する特許請求範囲だけでなく、この特許請求範囲と均等物により定まるべきである。

Claims (11)

1. ホワイトバランスを遂行するための基準区分線を構成するステップと、
   前記基準区分線に基づいてピクセルの分布度を含むグリッドを形成するステップと、
   前記基準区分線に位置した特定のポイントに対してレッドゲイン値、ブルーゲイン値、及びピクセル分布度を抽出するステップと、
   前記抽出したピクセル分布度が最大点か否かを判断するステップと、
   前記ピクセル分布度が最大点か否かによって、前記抽出したレッドゲイン値及びブルーゲイン値を用いて新たなゲイン値を設定するステップと、
   を含むことを特徴とする、映像処理方法。
2. 前記抽出したレッドゲイン値及びブルーゲイン値に既設定された重み付け値を適用するステップをさらに含み、
   前記新たなゲイン値は、
   前記重み付け値が適用されたレッドゲイン値及びブルーゲイン値に基づいて設定されることを特徴とする、請求項１に記載の映像処理方法。
3. 前記設定するステップは、
   前記ピクセル分布度が最大点であれば、前記重み付け値が適用されたレッドゲイン値及びブルーゲイン値を格納するステップと、
   前記格納したレッドゲイン値及びブルーゲイン値を用いて既設定されたレッドゲイン値及びブルーゲイン値を更新するステップと、
   を含むことを特徴とする、請求項２に記載の映像処理方法。
4. 前記ピクセル分布度が最大点でなければ、前記基準区分線内で前記特定のポイントを変更するステップをさらに含むことを特徴とする、請求項１に記載の映像処理方法。
5. 前記特定のポイントが最後のポイントの場合、前記現在ゲイン値を更新し、前記特定のポイントが最後のポイントでない場合、前記基準区分線内で前記特定のポイントを変更するステップをさらに含むことを特徴とする、請求項３に記載の映像処理方法。
6. 前記重み付け値は前記特定のポイントに該当する色温度に基づいて設定されることを特徴とする、請求項３に記載の映像処理方法。
7. 前記重み付け値は被写体の色温度によって互いに異なるように設定されることを特徴とする、請求項６に記載の映像処理方法。
8. 前記ゲイン値を更新するステップは、
   現在ゲイン値＋（現在ゲイン値−以前ゲイン値）／（現在ゲイン値＋以前ゲイン値）を新たなゲイン値に設定するステップを含み、
   前記現在ゲイン値は、
   前記格納したブルーゲイン値及びレッドゲイン値を含むことを特徴とする、請求項３に記載の映像処理方法。
9. 前記グリッドは、
   特定レッドゲイン値及びブルーゲイン値に該当するピクセルの分布度で構成されることを特徴とする、請求項１に記載の映像処理方法。
10. 前記基準区分線を構成するステップは、
    マクベスチャートから獲得される境界ボックスを用いて前記基準区分線を構成するステップを含むことを特徴とする、請求項１に記載の映像処理方法。
11. 前記最大点か否かは、
    前記レッドゲイン値、ブルーゲイン値のピクセル分布度が既設定された基準値以上か否か、または前記ピクセル分布度が増加してから減少する変化特性により判断されることを特徴とする、請求項１に記載の映像処理方法。