JP2007067985A

JP2007067985A - 輝度変換装置

Info

Publication number: JP2007067985A
Application number: JP2005252985A
Authority: JP
Inventors: Kazunaga Miyake; 一永三宅; Masato Nishizawa; 眞人西澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-09-01
Filing date: 2005-09-01
Publication date: 2007-03-15

Abstract

【課題】輝度ヒストグラムの分布状態にかかわらず、適切にコントラストの強調を行える輝度変換装置を提供する。
【解決手段】輝度変換装置１は、入力された画像のそれぞれの画素の周辺画素との変化量を求める微分値算出部１１及び絶対値算出部１２と、同じ輝度を有する画素について、微分値算出部１１にて算出された変化量の平均値を求める平均値算出部１４と、平均値算出部１４にて算出された平均値に基づいて輝度変換を行うためのテーブルを作成する輝度変換ＬＵＴ作成部１５と、輝度変換ＬＵＴ作成部１５にて作成されたテーブルを用いて輝度変換を行う輝度変換部１６とを備える。
【選択図】図１

Description

本発明は、輝度分布に偏り等に起因して、コントラストが小さくなっている画像を補正する輝度変換装置に関する。

従来から、輝度分布に偏り等に起因して、コントラストが小さくなっている画像を補正するために、ヒストグラム平滑化による手法に過補正を防止する手段を追加してコントラスト強調を行う輝度変換装置が知られている。

図７は従来の輝度変換装置７０の構成を示す図、図８（ａ）〜図８（ｄ）は従来の輝度変換装置７０の動作を説明するための図である。図７に示す輝度ヒストグラム作成部７１は、入力画像の各画素位置における輝度のヒストグラムを作成する。図８（ａ）は、輝度ヒストグラム作成部７１にて作成される輝度ヒストグラムの例を示す図である。このヒストグラムを輝度ごとに累積して、図８（ｂ）に示すような累積曲線を作成して、この累積曲線が出力輝度の範囲に収まるように累積値を正規化することにより、輝度変換ルックアップテーブル（輝度変換ＬＵＴ）を作成する。輝度変換装置は、この輝度変換ＬＵＴを用いて輝度変換を行っていた。この輝度変換ＬＵＴを用いた方法では、図８（ａ）に示すように、大きい輝度ヒストグラム８１を有する輝度では、輝度変換ＬＵＴの傾きが大きくなるため（図８（ｂ）の符号８２参照）、コントラストを大きくする輝度変換がなされる。これにより、同じ輝度の画素が広範囲にあると、過剰にコントラストが強調される。

そこで、図７に示すような従来の輝度変換装置７０においては、輝度ヒストグラムに上限を設ける輝度ヒストグラムリミット部７２が設けられ、過剰なコントラスト強調を防いでいた。図８（ｃ）はリミット部７２を設けた場合の輝度ヒストグラムの例を示す図である。図８（ａ）における輝度ヒストグラム８１が、輝度ヒストグラムリミット８３により、制限された輝度ヒストグラム８４になる。そして、輝度変換装置７０の輝度変換ＬＵＴ作成部７３は、リミットがかけられた輝度ヒストグラムを累積して輝度変換ＬＵＴを作成する。これにより、図８（ｄ）に示すように８５の部分で傾きが緩やかになった輝度変換ＬＵＴが作成される。輝度変換装置７０の輝度変換部７４は、作成された輝度変換ＬＵＴを用いて入力画像の輝度を変換するので、過剰なコントラスト強調を防止したコントラストの改善がなされる。
特開２００１−１１８０６２号公報

しかしながら、従来の輝度変換装置は、過剰なコントラスト強調を防ぐ機能を有してはいるが、輝度ヒストグラムに依存した輝度変換を行うため、変換対象画像の輝度ヒストグラムの分布状態によっては、コントラストが低下するという問題があった。

例えば、図９（ａ）に示すように、建物の壁面９１に人物９２が書かれている画像を輝度変換処理する場合について考える。ここで、建物の壁面９１には、輝度ヒストグラムの上限に抵触しない程度にグラデーションが掛かっている。

輝度ヒストグラム作成部７１は、図９（ａ）に示す画像から図９（ｂ）に示す輝度ヒストグラムを作成する。輝度範囲９３は人物の輝度、輝度範囲９４は建物の壁面部分の輝度を示している。図９（ｃ）は、図９（ｂ）の輝度ヒストグラムを累積して得られる輝度変換ＬＵＴを示す図である。図９（ｃ）に示されるように、建物の壁面の輝度が低い部分と、人物の輝度との輝度の差（コントラスト）９５が減少する。このように、処理する画像によっては、実際には輝度の変化がある場所であっても輝度ヒストグラムが小さいために、コントラストの低下を招く場合があった。

本発明は、上記背景に鑑みてなされたものであり、輝度ヒストグラムの分布状態にかかわらず、適切にコントラストの強調を行える輝度変換装置を提供することを目的とする。

本発明の輝度変換装置は、入力された画像のそれぞれの画素について周辺画素との変化量を求める変化量算出部と、同じ輝度を持つ複数の画素について前記変化量算出部にて算出された変化量の平均値を求める平均値算出部と、前記平均値算出部にて算出された平均値に基づいて輝度変換を行うためのテーブルを作成するテーブル作成部と、前記テーブル作成部にて作成されたテーブルを用いて輝度変換を行う輝度変換部と、前記輝度変換部にて輝度の変換がなされた画像を出力する画像出力部とを備えた構成を有する。

このように平均変化量を用いることにより、輝度ヒストグラムの分布状態にかかわらず、輝度の変化に応じてコントラストの強調を行うことができる。すなわち、輝度が一様な部分では変化量が低下するので輝度毎の平均変化量も小さくなり、この平均変化量を評価値として作成されるテーブルによって、その輝度周辺のコントラストを小さくする変換がなされる。また、輝度が一様でない部分では変化量が高くなるので、その輝度周辺のコントラストを大きくする変換がなされる。

本発明の輝度変換装置において、前記テーブル作成部は、前記平均値算出部にて算出された平均値を輝度ごとに累積した累積曲線を求め、その累積曲線を前記画像出力部の輝度の出力幅に正規化して前記テーブルを作成する構成を有する。

この構成により、平均変化量に基づいて、輝度変換のテーブルを適切に作成することができる。

本発明の輝度変換装置において、前記変化量算出部は、対象画素の輝度とその周辺画素の輝度との微分値を求める構成を有する。

これにより、それぞれの画素の周辺画素との変化量を適切に求めることができる。

本発明の輝度変換装置において、前記変化量算出部は、（２Ｎ＋１）×（２Ｎ＋１）（Ｎ：１以上の整数）のマトリックスの係数を持つ微分オペレータの出力によって微分値を求める構成を有する。

この構成により、輝度の変化が粗い撮影対象のコントラストを強調する輝度変換がなされる。

本発明の輝度変換装置は、前記変化量算出部にて求めた変化量が、あらかじめ定められた閾値より大きい場合には、変化量を制限する変化量制限部を備えた構成を有する。

この構成により、入力画像の明るい部分と暗い部分の境界における輝度差の増大を防ぐことにより、例えば、逆光などの照明条件下の画像のコントラストが上昇し、鮮明な画像が得られる。

本発明の撮像装置は、上記の輝度変換装置を有する。

この構成により、本発明の輝度変換装置と同様に、輝度ヒストグラムによらず、輝度の変化に応じてコントラストの強調を行うことができる。これにより、照明条件に気を配る必要がなくなり、気軽に撮影を行うことができる。また、本発明の輝度変換装置の各種の構成を本発明の撮像装置に適用することも可能である。

本発明の携帯電話は、上記の撮像装置を有する。

本発明によれば、平均変化量を用いて輝度変換を行うことにより、輝度ヒストグラムの分布状態によらず、輝度の変化に応じてコントラストの強調を行うことができるというすぐれた効果を有する。

以下、本発明の実施の形態の輝度変換装置について、図面を用いて説明する。
（第１の実施の形態）
図１は、第１の実施の形態における輝度変換装置１の構成を示すブロック図である。第１の実施の形態の輝度変換装置１は、入力画像の各画素における輝度とその画素周辺の輝度変化量として微分値を出力する微分値算出部１１と、微分値算出部１１にて求めた微分値の絶対値を出力する絶対値算出部１２と、絶対値算出部１２にて求めた絶対値を輝度別に積算する輝度別積算部１３と、輝度別積算部１３にて求めた絶対値の積算値を積算回数で除することにより輝度別の絶対値の平均を算出する平均値算出部１４と、平均値算出部１４にて求めた平均値をコントラスト強調の評価値とする輝度変換ＬＵＴを作成する輝度変換ＬＵＴ作成部１５と、輝度変換ＬＵＴ作成部１５にて作成された輝度変換ＬＵＴを使用して入力輝度を変換する輝度変換部１６とを有する。

図２は、輝度変換装置１の動作を示すフローチャートである。輝度変換装置１は、画像の各画素の輝度が入力されると（Ｓ１０）、微分値算出部１１によって入力画像の各画素の周辺輝度の変化を示す値として微分値を算出する（Ｓ１２）。この微分値の算出方法は、中心画素の１画素毎に８方向を取り囲む画素において、図３（ａ）に示す係数をもつｐｒｅｗｉｔｔオペレータの出力を使用する。図３（ａ）において、「ｆｘ」はｘ方向の微分値、「ｆｙ」はｙ方向の微分値を求めるためのオペレータである。微分値算出部１１は、入力された各画素の輝度とこのｘ方向の微分値ｆｘとｙ方向の微分値ｆｙを、図１に示す絶対値算出部１２へ出力する。

なお、微分値算出部１１で求める微分値は、各画素周辺における輝度の変化を示すものであればよく、各画素の輝度とその周辺輝度との微分値や、ｐｒｅｗｉｔｔや、ｓｏｂｅｌに代表される微分オペレータの出力値を用いてよい。また、フィルタの範囲を（２Ｎ＋１）×（２Ｎ＋１）（Ｎ：１以上の整数）の範囲に広げた微分オペレータであってもよい。図３（ｂ）は、Ｎ＝２のときの微分オペレータの例を示す図である。

次に、絶対値算出部１２は、微分値算出部１１で算出された微分値の絶対値Ｖを次に示す計算式により算出する。これにより、計算対象の画素周辺の輝度の変化量と、計算対象の画素の輝度を得る。

ここで求められる変化量は、画素周辺の輝度が一様であれば小さい値となり、輝度が複雑に変化していれば大きな値となる。例えば、図３（ｃ）において、輝度が一様な部分３１では絶対値算出部１２で出力される変化量は小さい値であり、輝度が一様でない部分３２では絶対値算出部１２で出力される変化量は大きな値になる。以上のように、微分値算出部１１と、絶対値算出部１２により、各画素における周辺輝度の変化量を計測する（Ｓ１２）。

次に、輝度変換装置１は、輝度別積算部１３と平均値算出部１４により、絶対値算出部１２にて得られた輝度と輝度の変化量に基づいて、当該輝度毎の平均変化量を算出する（Ｓ１４）。具体的には、輝度別積算部１３では、絶対値算出部１２にて得られた輝度の変化量を同時に得られる輝度毎に積算し、輝度毎の積算回数と積算値を平均値算出部１４へ出力する。平均値算出部１４は、輝度別積算部１３から渡された変化量の積算値を、積算回数で割る事により、輝度毎に変化量の平均値（平均変化量）を算出する。

図３（ｄ）は、平均値算出部１４にて輝度毎に得られる平均変化量を示す図である。例えば、建物の壁面といった輝度変化が小さい部分３１（図３（ｃ）参照）の平均変化量は小さくなり（符号３４参照）、例えば、人物といった輝度変化の大きい部分３２（図３（ｃ）参照）の平均変化量は大きくなる（符号３３参照）。

次に、輝度変換ＬＵＴ作成部１５は、平均値算出部１４にて輝度毎に算出した平均変化量を使用して輝度変換ＬＵＴを作成する（Ｓ１６）。輝度変換ＬＵＴ作成部１５では、ヒストグラム平滑化と同じ手順で、輝度ヒストグラムの代わりに平均変化量を使用して、輝度変換ＬＵＴを作成する。つまり、平均変化量を積算した累積曲線を作成して、出力輝度の範囲に収まるように正規化して輝度変換ＬＵＴを作成する。この輝度変換ＬＵＴでは、平均変化量の大きさに比例して輝度変換ＬＵＴの傾きは大きくなるので、出力輝度の変化量は大きくなる。

図３（ｅ）は、輝度変換ＬＵＴの例を示すグラフである。輝度変換ＬＵＴにおいて、輝度変化が小さい部分３１（図３（ｃ）参照）は傾きが小さく（符号３６参照）、輝度が一様でない部分３２は傾きが大きい（符号３５参照）。

続いて、輝度変換部１６では、輝度変換ＬＵＴ作成部１５にて作成した輝度変換ＬＵＴを使用して、入力画像の輝度値が一様な変化をする部分では変化量を小さくし、一様でない部分では変化量を大きくする輝度変換を行い（Ｓ１８）、輝度変換後の信号を出力する（Ｓ２０）。
以上、本発明の第１の実施の形態の輝度変換装置１の構成および動作について説明した。

第１の実施の形態の輝度変換装置１によれば、平均変化量を使用して輝度変換ＬＵＴを作成することで、一様な変化をする部分では変化量を小さく、一様でない部分では変化量を大きくする輝度変換ＬＵＴが作成される。作成された輝度変換ＬＵＴを使用して、入力画像の輝度を変換することにより、輝度ヒストグラムの分布状態によらず、コントラストを強調する輝度変換装置を提供することができる。

（第２の実施の形態）
図４は、第２の実施の形態の輝度変換装置２の構成を示すブロック図を示す図である。第２の実施の形態の輝度変換装置２は、第１の実施の形態の輝度変換装置１と基本的な構成は同じであるが、周辺輝度の変化量に制限を設ける変化量制限部１７を備えている点が異なる。

変化量制限部１７は、絶対値算出部１２にて算出される変化量に対して、所定のレベル以上の変化量を０にする事で、各画素間の輝度の差が極度に開くことを防止する。例えば、入力画像に非常に明るい部分と非常に暗い部分がある場合には、その境界における変化量が非常に大きくなる。従って、この入力画像をそのまま輝度変換すると、両部分の境界における画素間の輝度差を広げる変換がなされ、それ以外の部分のコントラストが低下する。

図５は変化量と、制限を設ける事により修正される修正変化量との関係を示すグラフである。図５に示すように、変化量制限部１７は、変化量が閾値Ｔｈ以上の値になると、修正変化量を０にする処理を行う。この処理によって、平均値算出部１４で算出される各輝度の平均変化量が下げられるので、非常に明るい部分と非常に暗い部分との境界以外のコントラストが強調される。

第２の実施の形態の輝度変換装置２によれば、本発明の第１の実施の形態の輝度変換装置１の効果に加えて、逆光などの照明条件下の画像においてもコントラストが上昇し、鮮明な画像が得られるという効果がある。

（第３の実施の形態）
図６は、第３の実施の形態の撮像装置３の構成を示す図である。第３の実施の形態の輝度変換装置３は、撮像素子４と、輝度変換装置１と、画像出力部５とを備えている。撮像素子４は、被写体からの光を画像信号に変換し、輝度変換装置１に入力する機能を有する。輝度変換装置１は、第１の実施の形態で説明した輝度変換装置と同じ構成を有する。画像出力部５は、輝度変換装置１にて輝度変換がなされた画像信号を出力する機能を有する。なお、本実施の形態では、第１の実施の形態で説明した輝度変換装置１を用いる例を説明しているが、第２の実施の形態で説明した輝度変換装置２を用いてもよい。また、本実施の形態では、輝度変換装置１を備えた撮像装置について説明しているが、本実施の形態で説明する構成は、撮像装置を備えた携帯電話にも適用できる。

本実施の形態の撮像素子４は、連続して２回撮影を行う機能を有し、２回撮影された画像信号を輝度変換装置１に入力する。輝度変換装置１は、撮像素子４から入力された１回目の画像信号を用いて、輝度変換ＬＵＴを作成する。続けて、輝度変換装置１は、２回目の撮影で得られた画像信号に対して輝度変換ＬＵＴを用いて輝度変換を行う。撮像装置３は、輝度変換された補正輝度信号に基づいて画像を出力する。

このような本発明の第３の実施の形態の撮像装置３によれば、第１の実施の形態の輝度変換装置と同様に、輝度ヒストグラムの分布状態によらず、コントラストを強調できる。

以上、本発明の輝度変換装置および撮像装置について実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

以上説明したように、本発明によれば、平均変化量を用いて輝度変換を行うことにより、輝度ヒストグラムによらず、輝度の変化に応じてコントラストの強調を行うことができるというすぐれた効果を有し、例えば、様々な照明条件において用いられる撮像装置等に搭載することでき、有用である。

第１の実施の形態の輝度変換装置の構成を示す図第１の実施の形態の輝度変換アルゴリズムによる処理の動作を示す図（ａ）ｐｒｅｗｉｔｔオペレータの例を示す図（ｂ）サイズを５×５に広げた微分オペレータの例を示す図（ｃ）入力画像の例を示す図（ｄ）平均変化量のグラフの例を示す図（ｅ）輝度変換ＬＵＴの例を示す図第２の実施の形態の輝度変換装置の構成を示す図変化量と修正変化量との関連を示す図第３の実施の形態の撮像装置の構成を示す図従来の輝度変換装置のブロック図（ａ）輝度のヒストグラムの例を示す図（ｂ）輝度変換ＬＵＴの例を示す図（ｃ）リミットを設けた場合の輝度のヒストグラムを示す図（ｄ）リミットを設けた場合の輝度変換ＬＵＴを示す図（ａ）入力画像の例を示す図（ｂ）輝度ヒストグラムの例を示す図（ｃ）輝度変換ＬＵＴの例を示す図

符号の説明

１第１の実施の形態の輝度変換装置
２第２の実施の形態の輝度変換装置
３第３の実施の形態の輝度変換装置
４撮像素子
５画像出力部
１１微分値算出部
１２絶対値算出部
１３輝度別積算部
１４平均値算出部
１５輝度変換ＬＵＴ作成部
１６輝度変換部
１７変化量制限部
３１輝度が一様な画像の１部分
３２輝度が一様でない画像の１部分
３３輝度が一様でない画像の部分の平均変化量
３４輝度が一様な画像の部分の平均変化量
３５輝度が一様でない画像の部分の輝度変換ＬＵＴ
３６輝度が一様な画像の部分の輝度変換ＬＵＴ
７０従来の輝度変換装置
７１輝度ヒストグラム作成部
７２輝度ヒストグラムリミット部
７３輝度変換ＬＵＴ作成部
７４輝度変換部
８１大きい輝度ヒストグラム
８２傾きの大きい輝度変換ＬＵＴ
８３輝度ヒストグラムのリミット
８４リミットにより、制限されたヒストグラム
８５制限されたヒストグラムを使用して作成された輝度変換ＬＵＴ
９１グラデーションが掛かった壁面
９２人物
９３人物の輝度
９４壁面の輝度
９５出力画像における人物と壁面との輝度差

Claims

入力された画像のそれぞれの画素について周辺画素との変化量を求める変化量算出部と、
同じ輝度を持つ複数の画素について前記変化量算出部にて算出された変化量の平均値を求める平均値算出部と、
前記平均値算出部にて算出された平均値に基づいて輝度変換を行うためのテーブルを作成するテーブル作成部と、
前記テーブル作成部にて作成されたテーブルを用いて輝度変換を行う輝度変換部と、
前記輝度変換部にて輝度の変換がなされた画像を出力する画像出力部と、
を備えたことを特徴とする輝度変換装置。
前記テーブル作成部は、前記平均値算出部にて算出された平均値を輝度ごとに累積した累積曲線を求め、その累積曲線を前記画像出力部の輝度の出力幅に正規化して前記テーブルを作成することを特徴とする請求項１に記載の輝度変換装置。
前記変化量算出部は、対象画素の輝度とその周辺画素の輝度との微分値を求めることを特徴とする請求項１記載の輝度変換装置。
前記変化量算出部は、（２Ｎ＋１）×（２Ｎ＋１）（Ｎ：１以上の整数）のマトリックスの係数を持つ微分オペレータの出力によって微分値を求めることを特徴とする請求項３に記載の輝度変換装置。
前記変化量算出部にて求めた変化量が、あらかじめ定められた閾値より大きい場合には、変化量を制限する変化量制限部を備えたことを特徴とする前記請求項１に記載の輝度変換装置。
請求項１〜５のいずれかに記載の輝度変換装置を有することを特徴とする撮像装置。
請求項６に記載の撮像装置を有することを特徴とする携帯電話。