JP2011022779A

JP2011022779A - 画像補正装置、画像補正方法及びプログラム

Info

Publication number: JP2011022779A
Application number: JP2009166953A
Authority: JP
Inventors: Tomoji Ito; 友二伊藤
Original assignee: Pioneer Electronic Corp
Current assignee: Pioneer Corp
Priority date: 2009-07-15
Filing date: 2009-07-15
Publication date: 2011-02-03

Abstract

【課題】
局部的に画像の階調が失われることなく簡単な処理で滑らかな階調変化の画像に補正することができる画像補正装置、画像補正方法及びプログラムを提供する。
【解決手段】
入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更手段と、入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定手段と、第１入力信号階調変更手段による変更後の各画素の信号値を画像内の領域毎の明るさ調整量によって調整する明るさ調整手段と、明るさ調整手段による調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定手段と、画素毎に入力画像信号の信号値と上下限設定手段の出力信号値とを混合して出力映像信号を生成する混合手段と、を備える。
【選択図】図１

Description

本発明は、画像信号の階調処理を行う画像補正装置、画像補正方法及びプログラムに関する。

従来、画像の視覚的効果を改善するために画像信号に階調処理を施してその画像信号が示す画像の階調を補正する画像補正装置がある。階調処理では、通常、画像を構成する映像信号の各画素値（輝度）をルックアップテーブル（ＬＵＴ）などを用いて予め定められた階調変換曲線に従って変換することが行われる。

また、階調処理として、画像を複数の領域に分割して領域毎に選択された階調変換曲線に従って画素値変換を行う従来装置が示されている（特許文献１参照）。具体的には、入力信号として入力される原画像を複数の画像領域に分割する画像分割部と、それぞれの画像領域に対して階調変換曲線を導出する階調変換曲線導出部と、その導出された階調変換曲線をロードしそれぞれの画像領域に対して階調処理した出力信号を出力する階調処理部とが備えられている。

特許第４１２６２９８号公報

しかしながら、かかる従来の画像補正装置においては、全体的に靄がかかったような階調に乏しい画像である場合や、暗い、明るい場合においては非常に有効であるが、局所的に明暗がはっきりしていてある程度の階調が存在する場合には、逆に補正によって明るさが規格外となって階調を失う可能性があった。また、自然な絵作りのため変更曲線を滑らかにしたいときに曲線近似をするために計算処理が複雑になったり、処理データ量が増加するという別の問題もあった。

そこで、本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、局部的に画像の階調が失われることなく簡単な処理で滑らかな階調変化の画像に補正することができる画像補正装置、画像補正方法及びプログラムを提供することを本発明の目的とする。

請求項１に係る本発明の画像補正装置は、入力画像信号の階調処理を行う画像補正装置であって、前記入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更手段と、前記入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定手段と、前記第１入力信号階調変更手段による変更後の各画素の信号値を前記画像内の領域毎の前記明るさ調整量によって調整する明るさ調整手段と、前記明るさ調整手段による調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定手段と、画素毎に前記入力画像信号の信号値と前記上下限設定手段の出力信号値とを混合して出力映像信号を生成する混合手段と、を備えることを特徴としている。

請求項１３に係る本発明の画像補正方法は、入力画像信号の階調処理を行う画像補正方法であって、前記入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更ステップと、前記入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定ステップと、前記第１入力信号階調変更ステップによる変更後の各画素の信号値を前記画像内の領域毎の前記明るさ調整量によって調整する明るさ調整ステップと、前記明るさ調整ステップによる調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定ステップと、画素毎に前記入力画像信号の信号値と前記上下限設定ステップの出力信号値とを混合して出力映像信号を生成する混合ステップと、を備えることを特徴としている。

請求項１４に係る本発明のプログラムは、入力画像信号の階調処理を行う画像補正のためのプログラムであって、コンピュータに、前記入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更ステップと、前記入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定ステップと、前記第１入力信号階調変更ステップによる変更後の各画素の信号値を前記画像内の領域毎の前記明るさ調整量によって調整する明るさ調整ステップと、前記明るさ調整ステップによる調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定ステップと、画素毎に前記入力画像信号の信号値と前記上下限設定ステップの出力信号値とを混合して出力映像信号を生成する混合ステップと、を実行させることを特徴としている。

本発明の実施例を示すブロック図である。図１の装置内のぼかし画像生成部の構成を示すブロック図である。階調変更曲線を示す図である。明るさ調整量変換曲線を示す図である。入力信号−明るさ調整出力曲線を示す図である。上下限設定後の入力信号−明るさ調整出力曲線を示す図である。混合後の入力信号−出力信号曲線を示す図である。正負極性を含む明るさ調整量変換曲線を示す図である。本発明の他の実施例を示すブロック図である。本発明の他の実施例を示すブロック図である。本発明の他の実施例を示すブロック図である。本発明の他の実施例を示すブロック図である。本発明の他の実施例を示すブロック図である。本発明の他の実施例を示すブロック図である。混合後の入力信号−出力信号曲線を示す図である。本発明の他の実施例を示すブロック図である。リミッタ後の入力信号−出力信号曲線を示す図である。

請求項１，１３及び１４に係る発明によれば、入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する一方、入力画像信号が示す画像の明るさに応じて明るさ調整量を決定し、単一の階調変更曲線に従って変更した各画素の信号値を領域毎の明るさ調整量によって調整し、その調整後の各画素の信号値が上限値以下及び下限値以上となるように設定し、画素毎に入力画像信号の信号値と上下限設定後の出力信号値とを混合して出力映像信号とすることが行われる。よって、領域毎に明るさ調整量を、所定の階調変更曲線に従って変更した各画素の信号値に対して加減算することにより、暗い領域の場合にはその領域内にある画素の明るさが持ち上げられ、逆に、明るい場合にはそのままか明るさが下げられるので、比較的簡単な処理で階調を失うことなく明るさ補正が可能である。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は本発明の第１の実施例として画像補正装置の構成を示している。この画像補正装置は、ぼかし画像生成部１１、明るさ調整量決定部１２、入力信号階調変更部１３、明るさ調整部１４、上下限値設定部１５、及び画像混合部１６を備えている。

ぼかし画像生成部１１は入力画像信号からぼかし画像の画像信号を作成する。ぼかし画像生成部１１は、図２に示すように、画像縮小処理により入力画像信号の画素数を削減する画像縮小部１１Ａと、その画像縮小部１１Ａで得られた縮小画像の画像信号に対してぼかし処理を施して縮小ぼけ画像を作成するフィルタリング部１１Ｂと、画像拡大処理によりその縮小ぼけ画像を元の画像のサイズに拡大して画像信号として出力する画像拡大部１１Ｃとからなる。画像縮小部１１Ａではニアレストネイバー法、バイリニア法、バイキュービック等の縮小化方法を用いることができ、元画像の全ての点の情報を利用して平均画素法による縮小化を行うことによって縮小画像の時間毎の大きな変化を避けることができる。また、縮小するサイズは元画像のサイズを等分に分割することができるようなサイズではなくても良く、例えば、ＶＧＡサイズ（６４０画素×４８０画素）から２５画素×２５画素のような正方形への縮小でも良い。フィルタリング部１１Ｂにおける縮小画像へのぼかし処理は、３画素×３画素以上のサイズが望ましく、その際には、平均化フィルタが用いられる。そのぼかし処理の際に、フィルタリングの中心画素を除く周囲の画素を用いたぼかしや、ガウシアンぼかしでも良い。画像拡大部１１Ｃでは画像を元の画像サイズに拡大する際、ニアレストネイバー法、バイリニア法、バイキュービック等どの方法を用いても良いが、バイリニア法による拡大方法がもっとも簡単にかつきれいに巨大ぼかし画像を生成できる上で好ましい。このぼかし画像生成部１１によるぼかし画像生成により画像の各領域の平均的な明るさ（輝度）が算出される。

明るさ調整量決定部１２はぼかし画像生成部１の出力画像信号に応じて明るさの調整量を決定する。すなわち、画面の領域毎に明るさ調整量が決定されるので、同一の領域に属する全ての画素については同一の明るさ調整量が決定されることになる。

入力信号階調変更部１３は第１入力信号階調変更手段であり、入力映像信号の階調を理想曲線（所定の階調変更曲線）に従って画素毎に変更する。理想曲線は入力映像信号に対し傾きが１以上になるようにされている。

明るさ調整部１４は入力信号階調変更部１３から出力される画素毎の明るさを、明るさ変更量決定部１２の調整量によって調整する。

上下限値設定部１５は明るさ調整部１４による明るさ調整結果に対して、最終的な出力信号の規格に合うよう上下限を規格の範囲に収める。

画像混合部１６は上下限値設定部１５の出力画像信号と入力画像信号とを所定の混合比によって混合して出力する。

かかる構成の本発明の画像補正装置において、入力画像信号は例えば、８ビットのディジタル信号（YCbCr信号）である。入力画像信号の画素毎の信号値（輝度Ｙ）をＩとすると、入力信号階調変更部１３において信号値Ｉは図３に示すような変更曲線に従って変換されて信号値Ｃとされる。図３においては信号値Ｉは０〜１の範囲の値で示されている。

また、入力画像信号はぼかし画像生成部１１によってぼかし画像の画像信号とされる。このぼかし画像信号の画素毎の信号値（輝度）をＭとすると、明るさ調整量決定部１２において信号値Ｍは例えば、図４に示すような変換曲線に従って変換されて明るさ調整量Ｗとされる。この例では明るさ調整量Ｗは正の値であるが、負の値となることもある。

明るさ調整部１４においては、入力信号階調変更部１３の出力信号値Ｃから明るさ調整量Ｗが減算され（Ｗが負の値の場合には加算）、その結果、信号値Ｘ＝Ｃ−Ｗが生成される。よって、信号値Ｍ各々についての入力信号値Ｉに対する信号値Ｘは図５に示すような曲線となる。

明るさ調整部１４で得られる信号値Ｘは明るさの上限値Ｔmaxを上回ったり、或いは明るさの下限値Ｔminを下回ったりすることがあるので、上下限値設定部１５においてはＸ≧Ｔmaxであれば、出力信号値ＤはＤ＝Ｔmaxとされ、Ｘ≦Ｔminであれば、Ｄ＝Ｔminとされる。また、Ｔmin＜Ｘ＜Ｔmaxであれば、Ｄ＝Ｘとされる。よって、上下限値設定後において信号値Ｍ各々についての入力信号値Ｉに対する信号値Ｄは図６に示すような曲線となる。

画像混合部１６においては、入力映像信号の信号値Ｉと信号値Ｄとが混合される。その混合比率αは０≦α≦１である。画像混合部１６の出力信号値をＯとすると、出力信号値Ｏは、
Ｏ＝（Ｉ・α＋Ｄ・(１−α))
の如く算出される。α＝０．５とした場合には信号値Ｍ各々についての入力信号値Ｉに対する出力信号値Ｏは図７に示すような曲線となる。

このように、入力映像信号値Ｉの階調（濃淡）を予め定められた理想曲線に従って変更して信号値Ｃとし、一方、明るさ調整部１４にて局所的に明るさ調整量決定部１２によって決定された明るさ調整量Ｗを信号値Ｃに対して加減算することで画素の明るさを調整し、加減算された結果である信号値Ｘに対して出力画像のレンジに応じてオーバーシュート又はアンダーシュートした部分を規格の下限上限値Ｔmin，Ｔmaxに変更し、その結果Ｄと入力信号値Ｉを一定の比率αで混合することによって出力信号Ｏを決定することが行われる。

よって、上記の実施例によれば、入力映像信号の階調を先ず理想曲線に従って変更するので、暗部と明部との階調を改善させることができる。また、局所（領域）毎に明るさ調整量Ｗを信号値Ｃに対して加減算することにより、暗い局所の場合にはその局所内にある画素の明るさが持ち上げられ、逆に、明るい場合にはそのままか明るさが下げられるので、階調を失うことなく明るさ補正が可能である。

更に、加減算された結果に対して出力画像のレンジに対応してオーバーシュート又はアンダーシュートした部分を規格の下限上限に値を変更し、その結果と入力映像信号を一定の比率αで混合するので、局所領域において存在確立が非常に小さい明るさの階調を改善させることができる。例えば、真っ暗闇に階調感のある小さな映像ではまったく白い物体に置き換えられてしまうことを回避させることができる。

また、理想曲線を階調変更曲線のベースとするため、データ量は少なく、かつ複雑な計算は不要という利点もある。

なお、明るさ調整部１４で加減算する明るさ調整量決定部１２からの信号値Ｗは、入力信号階調変更部１３の出力信号値Ｃに対して１フレーム以上前の信号値を使用しても良い。これは急激なシーンの変化が数ms内では起こり難いことと、すばやく移動するものに対しては人間の目で確認しうるレベルではぼやけた画像となるためである。これにより、リアルタイム性を損なうことなく処理を行うことができる
また、ぼかし画像生成部１１のぼかし処理は、一般的に知られているガウシアン、バイラテラル、εフィルタ等のフィルタを用いたぼかしで良い。バイラテラルフィルタの場合には、明暗差の激しい箇所の擬似輪郭の発生が抑えやすいという利点がある。

また、上記のように、画像の縮小を行った後、小さなサイズのぼかしフィルタを用いてぼかし処理を行う場合に、フィルタが３画素×３画素よりも大きくとらないものならば、ぼかし画像生成部１１を２回以上通すのが望ましい。その理由としては、縮小画像に対して小さな領域でのフィルタリングだけになると、隣接画素でのコントラスト比が高い場合には動画を本画像補正装置によって補正をかけた際に本来見えてはいけない、擬似的な輪郭が生成される恐れがあるためである。３画素×３画素のフィルタを更に適応した場合には３画素×３画素以上の範囲の影響がフィルタリング結果に含まれることとなり、隣接間画素の急峻な変化が緩和され、特に移動中の車両からの緑の背景中の電柱のような撮影画像においても滑らかに階調が変化するようになる。

上記の実施例においては、明るさ調整部１４は減算器からなっているが、図８に示すような特性により、明るさ調整量決定部１２の信号に負の信号と正の信号が含まれているならば、それを加算器からなる明るさ調整部１４で加算することによって加減算になっていても良い。

また、上記の実施例においては、入力信号変更部１３の理想曲線については逆Ｓ字に近い形になっているが、暗部のコントラスト及び明部のコントラストを変えるためで、目的に応じてストレートや逆に暗部でも明部でもなく中間部のみを浮き出したい場合はＳ字に近い形にしても良い。

画像混合部１６の混合比率αは画像全体の明るさの平均値を元に自動で調整されるものであったり、図９に示すように、外部信号、例えば、外光の量に応じて自動で調整されるもので良い。外光強度が強いほどαは小さくされる。外光が強い場合にはα＝０．５として明暗部の強調が図られる。また、外光がない場合にはα＝１として入力画像信号のままの出力信号が得られる。

また、上記の実施例の処理の後において、更に、ヒストグラムを見て平坦化を行ったり、輝度信号のある範囲を抜き出してコントラストをさらに改善しても良い。

本発明の他の実施例として、図１０及び図１１に示すように、入力信号階調変更部１３の前後に画像のサイズ変更を行う画像サイズ変更部２１を備えても良い。また、フィルタリング部の後に画像サイズ変更部２２を持つことにより、出力の画像サイズを変更しながら効率的に階調補正を行うことができる。画像サイズ変更部２１，２２各々は画像を同一サイズに変更する。更に、図１１に示すように、画像サイズ変更部２２を明るさ調整量決定部１２の後に配置しても良い。入力信号階調変更部１３の前後にある画像サイズ変更部２１のサイズ変更方法としては、ニアレストネイバー法、バイリニア法、バイキュービック等の方法を用いることができる。

画像サイズの変更を画像混合部１６の出力信号に応じて実行する場合にはそれだけスループット時間が増加されるが、図１０及び図１１のように構成することによりその時間増加を避けることができる。

また、上記の各実施例においては、画像混合部１６には入力映像信号が上下限設定部１５の出力信号と共に供給される構成になっているが、図１２に示すように、入力映像信号の階調を予め定められた階調変更曲線に従って変換する入力信号階調変更部２３（第２入力信号階調変更手段）を備え、その入力信号階調変更部２３の出力映像信号は画像混合部１６に供給する構成でも良い。入力信号階調変更部２３の階調変更曲線は例えば、逆ガンマ特性であり、入力信号階調変更部１３の理想曲線とは異なるようにされる。

更に、上記の各実施例においては、明るさ調整量決定部１２の明るさ調整量特性は固定であるが、図１３に示すように周囲の外光等の外部信号に応じて明るさ調整量特性を変更する構成でも良い。

また、ぼかし画像生成部１１及び明るさ調整量決定部１２の配置については、図１４に示すように明るさ調整量決定部１２の出力信号がぼかし画像生成部１１に供給される構成でも良い。

更に、上記した実施例においては、画像混合部１６から出力される出力信号値Ｏが図１５に示すように信号値Ｍによっては入力映像信号の信号値Ｉより下がってしまう場合がある。これに対処するために、図１６に示すように、画像混合部１６の後段にリミッタ１７を設けても良い。リミッタ１７は入力映像信号又は予め定められたリミッタ曲線を用いて画像混合部１６の出力信号の低下を制限する。例えば、図１５の画像混合部１６の出力信号をリミッタ１７を介して補正することにより、信号値Ｍ各々についての入力信号値Ｉに対するリミッタ１７の出力信号値Ｌは図１７に示すようになる。この結果、リミッタ１７の出力信号値Ｌが入力信号値Ｉよりも低下することが防止される。

なお、図１の装置中の各部１１〜１６をコンピュータによって構成し、メモリに記憶されたプログラムに従ってコンピュータが上記した各部１１〜１６の動作をステップとして実行するようにしても良いことは勿論である。このことは他の実施例についても同様である。

１１ぼかし画像生成部
１２明るさ調整量決定部
１３入力信号階調変更部
１４明るさ調整部
１５上下限値設定部
１６画像混合部
１７リミッタ

Claims

入力画像信号の階調処理を行う画像補正装置であって、
前記入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更手段と、
前記入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定手段と、
前記第１入力信号階調変更手段による変更後の各画素の信号値を前記画像内の領域毎の前記明るさ調整量によって調整する明るさ調整手段と、
前記明るさ調整手段による調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定手段と、
画素毎に前記入力画像信号の信号値と前記上下限設定手段の出力信号値とを混合して出力映像信号を生成する混合手段と、を備えることを特徴とする画像補正装置。
前記調整量決定手段は、前記入力映像信号に前記領域単位でぼかし処理を施してぼかし画像を生成するぼかし画像生成部と、
明るさ調整量変更曲線に従って前記複数の領域各々のぼかし画像の明るさに対応した前記明るさ調整量を決定する明るさ調整量決定部と、を備えることを特徴とする請求項１記載の画像補正装置。
前記ぼかし画像生成部は、前記入力映像信号に画像縮小処理を施して前記入力映像信号が示す画像を縮小させる画像縮小部と、前記画像縮小部によって縮小された画像の画像信号に対してぼかし処理を施して縮小ぼけ画像を作成するフィルタリング部と、前記フィルタリング部によって作成された縮小ぼけ画像を前記入力映像信号が示す画像のサイズに拡大して前記複数の領域各々のぼかし画像とする画像拡大部と、を備えることを特徴とする請求項２記載の画像補正装置。
前記明るさ調整手段は前記第１入力信号階調変更手段による変更後の各画素の信号値から領域毎の前記明るさ調整量を加算又は減算することにより前記各画素の信号値を調整することを特徴とする請求項１記載の画像補正装置。
前記上下限設定手段は前記明るさ調整手段による調整後の画素の信号値が前記上限値以上であるときその信号値を前記上限値に等しくさせ、前記明るさ調整手段による調整後の画素の信号値が前記下限値以下であるときその信号値を前記下限値に等しくさせることを特徴とする請求項１記載の画像補正装置。
前記混合手段は、画素毎に前記入力画像信号の信号値に混合比率α（ただし、０≦α≦１）を乗算し、前記上下限設定手段の出力信号値に（１−前記混合比率α）を乗算し、それらの乗算結果を加算して前記出力映像信号を生成することを特徴とする請求項１記載の画像補正装置。
前記混合手段は前記混合比率αを外部信号に応じて変化させることを特徴とする請求項６記載の画像補正装置。
前記第１入力信号階調変更手段は前記入力映像信号が示す画像のサイズとは異なる所定サイズで階調変更後の信号を出力し、前記調整量決定手段は前記所定サイズについて領域毎に画像の明るさに応じて明るさ調整量を決定することを特徴とする請求項１記載画像補正装置。
入力画像信号の階調を前記単一の階調変更曲線とは異なる階調変更曲線に従って画素毎に変更し、それを前記入力画像信号の信号値として前記混合手段に供給する第２入力信号階調変更手段を備えることを特徴とする請求項１記載画像補正装置。
前記明るさ調整量決定部は、前記明るさ調整量変更曲線を外部信号に応じて変化させることを特徴とする請求項２記載の画像補正装置。
前記調整量決定手段は、明るさ調整量変更曲線に従って前記入力映像信号が示す画像の画素毎に前記明るさ調整量を決定する明るさ調整量決定部と、
前記明るさ調整量に前記領域単位のぼかし処理を施して領域毎の前記明るさ調整量を決定するぼかし画像生成部と、を備えることを特徴とする請求項１記載の画像補正装置。
前記混合手段の出力映像信号の画素毎の信号値が前記入力映像信号の信号値以上又は予め定められたリミッタ曲線の信号値以上となるように前記混合手段の出力映像信号の低下を制限するリミッタを有することを特徴とする請求項１記載の画像補正装置。
入力画像信号の階調処理を行う画像補正方法であって、
前記入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更ステップと、
前記入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定ステップと、
前記第１入力信号階調変更ステップによる変更後の各画素の信号値を前記画像内の領域毎の前記明るさ調整量によって調整する明るさ調整ステップと、
前記明るさ調整ステップによる調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定ステップと、
画素毎に前記入力画像信号の信号値と前記上下限設定ステップの出力信号値とを混合して出力映像信号を生成する混合ステップと、を備えることを特徴とする画像補正方法。
入力画像信号の階調処理を行う画像補正のためのプログラムであって、コンピュータに、
前記入力画像信号の階調を単一の階調変更曲線に従って画素毎に変更する第１入力信号階調変更ステップと、
前記入力画像信号が示す画像の明るさに応じて明るさ調整量を決定する調整量決定ステップと、
前記第１入力信号階調変更ステップによる変更後の各画素の信号値を前記画像内の領域毎の前記明るさ調整量によって調整する明るさ調整ステップと、
前記明るさ調整ステップによる調整後の各画素の信号値が上限値以下及び下限値以上となるように設定する上下限設定ステップと、
画素毎に前記入力画像信号の信号値と前記上下限設定ステップの出力信号値とを混合して出力映像信号を生成する混合ステップと、を実行させることを特徴とするプログラム。