JP2012104099A

JP2012104099A - ベジェ曲線を利用したコントラスト改善方法

Info

Publication number: JP2012104099A
Application number: JP2011130420A
Authority: JP
Inventors: Soo-Jin Park; スージンパク
Original assignee: LG Innotek Co Ltd
Current assignee: LG Innotek Co Ltd
Priority date: 2010-11-05
Filing date: 2011-06-10
Publication date: 2012-05-31
Anticipated expiration: 2031-06-10
Also published as: US20120114267A1; US8577141B2; JP5859749B2

Abstract

【課題】画像タイプによって、コントラストを適応的に改善する空間領域でのコントラスト改善方法を提供する。
【解決手段】本発明は、撮影されるかまたは記憶媒体から読み込んだ画像からヒストグラム分布を算出して、画像をコントラスト状態によって種類別に区分して、種類別に３次元ベジェ曲線の制御点移動方向を決めて、ヒストグラム分布に存在する輝度値の個数に基づいて３次元ベジェ曲線の制御点移動距離を計算する。決められた制御点移動方向及び制御点移動距離に基づいて３次元ベジェ曲線の制御点２個を移動させて、移動された制御点２個と固定されている制御点２個を使用してベジェ曲線を生成する。それから、生成されたベジェ曲線を適用して画像の改善を遂行する。
【選択図】図１

Description

本発明は、画像のコントラスト改善方法に関するものである。より具体的には、本発明は、撮影され、または記憶媒体に読み込まれた画像からヒストグラム分布を算出し、画像をコントラストの状態によって種類別に区分し、種類別に３次元ベジェ曲線の制御点移動方向を決め、ヒストグラム分布に存在する輝度値の個数に基づいて３次元ベジェ曲線の制御点移動距離を計算する。さらに、決められた制御点移動方向と制御点移動距離に基づいて３次元ベジェ曲線の制御点２個を移動させ、移動された制御点２個と固定されている制御点２個を使用してベジェ曲線を生成する。その後、生成されたベジェ曲線を適用して画像の改善を遂行する。

コントラストは人間の視覚的認知において、画像の品質に相当な影響を与える。画像のコントラストの改善は、基本的に人間の目のための画像情報の相互翻訳性または認識性を改善して、他の自動化された画像処理技術のための「さらに優れた」入力を提供するものである。画像の改善の主な目的は、画像の属性を変更して与えられた作業及び特定観察者にさらに適切にさせることである。このような処理過程で、画像の一つ以上の属性が変更される。

通常、画像のコントラストは、与えられた画像で可用な輝度及び強度の範囲で定義される。数学的に、画像のコントラストは次の式(１)のように表現することができる。
コントラスト＝(Ｌ_max−Ｌ_min)／(Ｌ_max＋Ｌ_min) (１)

ここで、Ｌ_max及びＬ_minは、それぞれ与えられた画像の最大輝度値及び最小輝度値である。

コントラストの改善は、強度を定量化するために使用されるビット数によって提供される最大範囲の強度を使用することで、画像をより明瞭にするプロセスである。

このようなコントラスト改善方法のなかでも、肉眼で最適化することができるようにコントラストを改善する方法が要求される。

本発明は、画像タイプによって、コントラストを適応的に改善する空間領域でのコントラスト改善方法を提供することを目的とする。

本発明の一実施例によって、ベジェ曲線を利用したコントラスト改善方法が提供される。本発明のコントラスト改善方法は、画像を読み込む段階と、画像の輝度値分布を算出する段階と、輝度値の低輝度、中輝度、高輝度の各区間別ピクセル数を算出する段階と、区間別ピクセル数に基づいて画像タイプを決める段階と、画像タイプに基づいて制御点移動方向を決める段階と、画像の輝度値分布に基づいて制御点移動距離を計算する段階と、制御点移動方向と制御点移動距離に基づいて制御点を移動して、移動された制御点に基づいて３次元ベジェ曲線を生成する段階と、生成された３次元ベジェ曲線を使用して、コントラストの改善を遂行する段階と、を含むことを特徴とする。

本発明によれば、少ない計算量で肉眼で最適化することができるようにコントラストを改善することができる。

画像の輝度値ヒストグラム分布による画像タイプを示す図である。本発明の一実施例による画像のヒストグラム分布を示す図である。本発明の一実施例によって３次元ベジェ曲線の制御点を設定する方法を示す図である。本発明の一実施例によって、画像タイプ別に制御点を移動する方法を示す図である。本発明の一実施例によって、輝度値分布に存在する輝度値の個数Ｎについて説明するための図面である。本発明の一実施例によって、計算された制御点移動距離だけ制御点を移動する方法を示す図である。本発明の一実施例によって、最終的に得られたベジェ曲線を利用した参照曲線を示す図である。本発明の一実施例による、適応的コントラスト改善方法を示す流れ図である。

以下、図面を参照して、本発明の実施例について詳細に説明する。

図１に、画像の輝度値ヒストグラム分布による画像のタイプ（画像タイプ）を示す。図１に示すように、画像は、同図(ａ)の暗画像、同図(ｂ)の明画像、同図(ｃ)の逆光画像、同図(ｄ)のローコントラスト画像、同図(ｅ)のハイコントラスト画像の各タイプの画像にそれぞれ分類することができる。

画像のヒストグラム分布を図２のように３個の領域、すなわち、低輝度(Ｌ)、中輝度(Ｍ)、及び高輝度(Ｈ)の各領域に区分することができる。望ましくは、低輝度区間、中輝度区間、高輝度区間の各区間の幅をほぼ同一に設定する。すなわち、低輝度区間、中輝度区間、高輝度区間に含まれる輝度値は総数２５６個の離散的な輝度値のうち、それぞれ８５個、８５個、８６個とすることができる。

一方、ベジェ曲線は、コンピューターグラフィックス及びその関連分野でよく使用されるパラメトリック曲線である。ベジェ曲線は滑らかな曲線をモデリングするためにコンピューターグラフィックスの分野で広く使用される。本発明ではコントラストの改善のために３次元ベジェ曲線を使用する。

３次元ベジェ曲線は下記の式によって定義することができる。

ここで、Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃は、３次元ベジェ曲線の制御点である。

３次元ベジェ曲線は、場面または画像コンテンツに基づいて動的に互いに異なるシナリオに対するコントラスト改善問題をモデリングするために使用することができる。制御点の位置を変更することでコントラスト改善のために必要な全ての曲線形態を得ることができる。制御点Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃の位置によって、生成されるベジェ曲線の形態が変わる。

以下、本発明の一実施例によって、コントラストの改善に使用する曲線を得るために制御点の位置をどのように設定するかについて説明する。図３は、本発明の一実施例によって３次元ベジェ曲線の制御点を設定する方法を示す図である。

先ず、４個の制御点Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃のうち、制御点Ｐ₀及びＰ₃は、互いに向かい合う対角線の方向に固定される。すなわち、図３において、Ｐ₀は(０，０)に、Ｐ₃は(１，１)に固定される。Ｐ₁及びＰ₂は、それぞれＰ₀及びＰ₃と同じ位置にあり、輝度値ヒストグラム分布の３個の領域、すなわち、低輝度、中輝度、高輝度の各区間のピクセル数によって決まる距離だけＰ₀、Ｐ₃から遠ざかる方向に移動する。Ｐ₁、Ｐ₂がＰ₀、Ｐ₃から遠ざかる方向は画像タイプによって変えることができる。

画像タイプは、図１に示された５種類に分類することができ、どのタイプに属するかは輝度値ヒストグラムの各区間に属するピクセル数によって決まる。

Ｎ(Ｌ)を低輝度区間に属するピクセル数、Ｎ(Ｍ)を中輝度区間に属するピクセル数、Ｎ(Ｈ)を高輝度区間に属するピクセル数とすれば、下記の条件式に従って画像タイプを決めることができる。
Ｉｆ(Ｎ(Ｌ)＞Ｎ(Ｍ))＆＆((Ｎ(Ｌ)＞Ｎ(Ｈ)))ｔｈｅｎ暗画像;
ＥｌｓｅＩｆ(Ｎ(Ｈ)＞Ｎ(Ｍ))＆＆((Ｎ(Ｈ)＞Ｎ(Ｌ)))ｔｈｅｎ明画像;
ＥｌｓｅＩｆ(Ｎ(Ｌ)＞Ｎ(Ｍ))＆＆((Ｎ(Ｈ)＞Ｎ(Ｍ)))ｔｈｅｎ逆光画像;
ＥｌｓｅＩｆ(Ｎ(Ｍ)＞Ｎ(Ｌ))＆＆((Ｎ(Ｍ)＞Ｎ(Ｈ)))ｔｈｅｎローコントラスト画像;
Ｅｌｓｅハイコントラスト画像

即ち、低輝度区間のピクセル数Ｎ(Ｌ)が中輝度区間のピクセル数Ｎ(Ｍ)より大きく、低輝度区間のピクセル数Ｎ(Ｌ)が高輝度区間のピクセル数Ｎ(Ｈ)より大きい場合は、暗画像と決定する。

高輝度区間のピクセル数Ｎ(Ｈ)が中輝度区間のピクセル数Ｎ(Ｍ)より大きく、高輝度区間のピクセル数Ｎ(Ｈ)が低輝度区間のピクセル数Ｎ(Ｌ)より大きい場合は、明画像と決定する。

低輝度区間のピクセル数Ｎ(Ｌ)が中輝度区間のピクセル数Ｎ(Ｍ)より大きく、高輝度区間のピクセル数Ｎ(Ｈ)が中輝度区間のピクセル数Ｎ(Ｍ)より大きい場合は、逆光画像と決定する。

中輝度区間のピクセル数Ｎ(Ｍ)が低輝度区間のピクセル数Ｎ(Ｌ)より大きく、中輝度区間のピクセル数Ｎ(Ｍ)が高輝度区間のピクセル数Ｎ(Ｈ)より大きい場合は、ローコントラスト画像と決定する。

その他の場合は、ハイコントラスト画像と決定する。

以上のようにして、区間別ピクセル数に基づいて画像タイプを決めることができる。

望ましくは、画像を、ハイコントラスト画像を除いた残りのタイプに分類するときは、Ｎ(Ｌ)、Ｎ(Ｍ)、Ｎ(Ｈ)のそれぞれの大きさが大きく、例えば、画像の総ピクセル数の１０％以上差がある場合に限定する。Ｎ(Ｌ)、Ｎ(Ｍ)、Ｎ(Ｈ)の各値に差が存在して、算術的にはハイコントラスト以外の他のタイプに決めることができるが、その差が大きくない場合には全てハイコントラスト画像に分類することが望ましいからである。例えば、画像の総ピクセル数が１７８０個である場合に、Ｎ(Ｌ)＝６００、Ｎ(Ｍ)＝５９０、Ｎ(Ｈ)＝５９０とすると、上記の分類では暗画像に分類されるものの、これは区間別ピクセル数の差が大きくないために、そのままハイコントラスト画像に分類することができる。区間別ピクセル数の差が総ピクセル数１７８０×１０％＝１７８個以上差が生じるとき、ハイコントラスト画像を除いた残りのタイプに分類することができる。上記の１０％という基準は各区間別ピクセル数の差が大きいか否かを判断するための基準として、実施例によって２０％、３０％等、その値を変えることができる。

図４を参照すると、画像が図４(ａ)の暗画像に分類される場合は、Ｐ₂は固定されてＰ₃と同一の位置にあって、Ｐ₁が上に移動する。その結果、Ｐ₀、Ｐ₁、Ｐ₂、Ｐ₃によってベジェ曲線を生成することができる。

画像が図４(ｂ)の明画像に分類される場合は、Ｐ₁は固定されてＰ₀と同一の位置にあって、Ｐ₂が下方向に移動する。

画像が図４(ｃ)の逆光画像に分類される場合は、Ｐ₁は上に、Ｐ₂は下に移動する。

画像が図４(ｄ)のローコントラスト画像に分類される場合は、Ｐ₁は右側に、Ｐ₂は左側に移動する。

画像が図４(ｅ)のハイコントラスト画像に分類される場合は、制御点は移動せずに、直線状のベジェ曲線が生成される。直線状のベジェ曲線を使用してコントラストの改善を遂行すれば、入力値と改善した値が同一となり実質的に画像に変化がなくなる。

Ｐ₁とＰ₂が移動する距離は、下記の式(３)のトーンコントラスト(ＴＣ：tonal contrast)比によって決めることができる。

ＴＣ＝Ｎ／(Ｌ_max−Ｌ_min＋１) (３)

Ｎは、輝度値分布に存在する輝度値の個数であり、Ｌ_maxは輝度値分布の最大輝度値であり、Ｌ_minは輝度値分布の最小輝度値である。

図５を参照して輝度値分布に存在する輝度値の個数Ｎについて説明する。図５のようなヒストグラム分布が算出されたと仮定すると、０〜２５５までの全ての輝度値にピクセルが存在するものではなく、特定の輝度値のみにピクセルが存在する場合がある。図５では９個の輝度値にピクセルが集中している。この場合、Ｎ＝９になる。特定の画像に対してＮは１〜２５６の範囲となり得る。

制御点Ｐ₁、Ｐ₂の制御点移動距離(Ｄ)は、下記の式(４)によって決めることができる。
Ｄ＝(２＾Ｎ−１)×ＴＣ (４)

例えば、画像のヒストグラム分布から、画像タイプが逆光画像と決められ、Ｎ＝９、Ｌ_max＝２４０、Ｌ_min＝５の場合は、トーンコントラスト比(ＴＣ)は次のようになる。
ＴＣ＝９／(２４０−５＋１)＝０．０３８１３５

画像タイプが逆光画像であるので、Ｐ₁は上に、Ｐ₂は下に移動するはずであり、制御点移動距離は次のように決まる。
Ｄ＝(２＾９−１)×０．０３８１３５＝９．７２４５７

したがって、Ｐ₁とＰ₂はそれぞれ９．７２４５７単位程度、すなわち、輝度値９．７２４５７程度移動するようになる。このとき、計算量を減らすために、Ｐ₁とＰ₂の移動量を四捨五入して整数値とすることができる。例えば、９．７２４５７を四捨五入した１０単位程度移動させることができる。

図６を参照すると、Ｐ₁とＰ₂がそれぞれ上と下に１０単位程度移動する場合が示されている。図６ではｘ軸とｙ軸を[０，２５５]にスケーリングして表示した。ｘ軸、ｙ軸が[０，１]にスケーリングされている場合は計算された制御点移動距離を２５６に分けた距離程度移動させることができるであろう。

このような過程を経て得られた制御点４個で３次元ベジェ曲線を生成すれば、図７のようになる。ｘ軸は入力輝度値であり、ｙ軸は出力輝度値である。与えられた画像を図７のような参照曲線を使用して新しい輝度値にマッピングすることでコントラストを改善することができる。

図８は、本発明の一実施例による、適応的コントラスト改善方法を示す流れ図である。

ステップ(Ｓ１１)で、画像を読み込む。画像は、デジタルカメラで撮影することもでき、記憶媒体に保存された画像データを読み込むこともできる。

ステップ(Ｓ１２)で、読み込んだ画像のＲＧＢ値をＹＣｂＣｒに変換して、ピクセル別に輝度成分であるＹ値を抽出し、画像の輝度値分布（輝度値のヒストグラム分布）を算出する。

ステップ(Ｓ１３)で、抽出されたピクセル別のＹ値に基づいて低輝度、中輝度、高輝度の各区間別ピクセル数を算出する。

ステップ(Ｓ１４)で、区間別ピクセル数に基づいて画像タイプを決める。画像タイプは、前述したように図４に示した５種類のタイプのうちの一つとすることができる。

ステップ(Ｓ１５)で、決められた画像タイプに基づいて制御点移動方向を決める。前述したように、Ｐ₀及びＰ₃は、それぞれ(０，０)及び(１，１)に固定され、Ｐ₁、Ｐ₂は、それぞれ上、下、右側または左側に移動される。

ステップ(Ｓ１６)で、輝度値分布（輝度値のヒストグラム分布）に基づいて制御点Ｐ₁、Ｐ₂の制御点移動距離を計算する。このとき、前述したように、輝度値のヒストグラム分布で０〜２５５の輝度値のうちでピクセルが存在する輝度値の数(Ｎ)を抽出して、前述したような方法で制御点移動距離を計算することができる。

ステップ(Ｓ１７)で、移動された制御点Ｐ₁及びＰ₂と、固定された制御点Ｐ₀及びＰ₃とに基づいて３次元ベジェ曲線を生成する。

ステップ(Ｓ１８)で生成されたベジェ曲線または０〜２５５にスケーリングした参照曲線を使用してコントラストの改善を遂行する。

以上、実施例について説明したが、本発明の範囲は上記の実施例に限定されない。上述した実施例に多様な変形を加えることができるし、その変形された実施例も本発明の範囲に含まれる。

Claims

ベジェ曲線を利用したコントラスト改善方法であって、
画像を読み込む段階と、
前記画像の輝度値分布を算出する段階と、
前記輝度値の低輝度、中輝度、高輝度の各区間別ピクセル数を算出する段階と、
前記区間別ピクセル数に基づいて画像タイプを決める段階と、
前記画像タイプに基づいて制御点移動方向を決める段階と、
前記画像の輝度値分布に基づいて制御点移動距離を計算する段階と、
前記制御点移動方向及び前記制御点移動距離に基づいて制御点を移動し、移動された前記制御点に基づいて３次元ベジェ曲線を生成する段階と、
生成された前記３次元ベジェ曲線を使用してコントラストの改善を遂行する段階と、
を含むことを特徴とするコントラスト改善方法。
前記画像タイプは、暗画像、明画像、逆光画像、ローコントラスト画像及びハイコントラスト画像のうちの一つである、請求項１に記載のコントラスト改善方法。
前記区間別ピクセル数に基づいて前記画像タイプを決める段階は、
前記低輝度区間のピクセル数が前記中輝度区間のピクセル数より大きく、前記低輝度区間のピクセル数が前記高輝度区間のピクセル数より大きい場合は暗画像と決定し、
前記高輝度区間のピクセル数が前記中輝度区間のピクセル数より大きく、前記高輝度区間のピクセル数が前記低輝度区間のピクセル数より大きい場合は明画像と決定し、
前記低輝度区間のピクセル数が前記中輝度区間のピクセル数より大きく、前記高輝度区間のピクセル数が前記中輝度区間のピクセル数より大きい場合は逆光画像と決定し、
前記中輝度区間のピクセル数が前記低輝度区間のピクセル数より大きく、前記中輝度区間のピクセル数が前記高輝度区間のピクセル数より大きい場合はローコントラスト画像と決定し、
その他の場合は、ハイコントラスト画像と決定する段階を含む、請求項１に記載のコントラスト改善方法。
前記輝度値分布に基づいて前記制御点移動距離を計算する段階は、
前記輝度値分布に存在する輝度値の個数(Ｎ)を抽出する段階と、
前記輝度値の個数に基づいてトーンコントラスト比(ＴＣ)を計算する段階と、
前記トーンコントラスト比(ＴＣ)に基づいて前記制御点移動距離を計算する段階と、を含み、
前記トーンコントラスト比(ＴＣ)は、
ＴＣ＝Ｎ／(Ｌ_max−Ｌ_min＋１)
により決定され、
前記制御点移動距離(Ｄ)は、
Ｄ＝(２＾Ｎ−１)×ＴＣ
により決定され、
前記Ｌ_maxは前記輝度値分布の最大輝度値であり、前記Ｌ_minは前記輝度値分布の最小輝度値である、請求項１に記載のコントラスト改善方法。
前記制御点は、決定された前記制御点移動距離(Ｄ)を四捨五入した整数値だけ移動される、請求項４に記載のコントラスト改善方法。