JP2004007202A

JP2004007202A - 画像処理装置

Info

Publication number: JP2004007202A
Application number: JP2002159606A
Authority: JP
Inventors: Koji Ichikawa; 市川　幸治
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2004-01-08

Abstract

【課題】暗い元画像を自動的に明るく補正した場合等に発生する画質の劣化を軽減することができる画像処理装置を提供する。
【解決手段】分割部４０は撮影画像領域を複数の領域に分割し、重み係数設定部４２は分割された領域の各々に重みを設定する。Ｙヒストグラム算出部２０は重みが付与された輝度信号Ｙのヒストグラムを作成し、ＬＵＴ算出部２２は作成されたヒストグラムから補正係数を算出し、輝度信号Ｙを補正するためのＬＵＴを算出する。ＬＵＴ変換部２４は、ＬＵＴにより輝度信号Ｙを変換する。輝度平均値算出部４４は、重みが付与された輝度信号Ｙの輝度平均値を求める。シャープネス補正／ノイズ除去処理部２８は、輝度平均値に基づいて、変換後の輝度信号Ｙのシャープネス補正やノイズ除去処理の補正量を調整する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置に係り、特に、監視カメラ等で撮影された画像の階調補正を行う画像処理装置に関する。
【０００２】
【従来の技術】
従来より、テレビカメラやモニタなどの画像信号のコントラストを変換して階調性を改善する技術が提案されている。
【０００３】
例えば、特開平７−７３３０８号公報には、入力データからヒストグラムを作成し、このヒストグラムを用いて入力データのコントラストを変換する補間回路の出力と入力データとを所定の割合で加算平均することにより、ヒストグラム頻度の少ない画像部分においても、最適なコントラスト変換を行うことが可能な技術が開示されている。
【０００４】
ところで、銀行やスーパー等に設置される監視カメラや、家の玄関先に設置されるドアホンカメラ等の画像入力装置で撮影した画像をＣＲＴやＬＣＤ等の画像表示装置に表示させるシステムがある。
【０００５】
上記のような画像入力装置は、設置位置が固定されると共に、その機能の性質上、ストロボやライト等による補助光を使用することができなかったり、コストダウンや小型化のため、絞り、露光時間、感度等の露出条件に制約が生じ、設置位置、撮影時間帯等によって被写体の明るさが大きく異なる。このため、適正な明るさで撮影できない場合がある。
【０００６】
このような画像入力装置で撮影された画像を上記のような画像表示装置で表示させた場合、階調性が悪く、画像が認識しづらい等の問題があった。また、このような画像入力装置で撮影された画像を特開平７−３３０８号公報で記載された技術でコントラスト変換を行えば、ヒストグラム頻度の少ない画像部分においても、良好な階調性を維持することが可能となるが、様々な用途の画像入力装置に応じて画像全体の階調性を最適に改善することはできない。
【０００７】
【発明が解決しようとする課題】
ところで、撮影した画像の輪郭を強調するためのシャープネス処理する装置が従来から知られている（例えば特開平２００１―３１２２６５号公報、特開平２００２−４４５１２号公報参照）。
【０００８】
そして、上記のような画像入力装置で撮影された画像を、表示系の特性に応じてシャープネス補正を行う場合も多いが、暗い元画像を自動的に明るく補正した場合、これにシャープネス補正を行うと、特にノイズが浮き出て目立つ場合が多い。
【０００９】
本発明は、上記事実を考慮してなされたものであり、暗い元画像を自動的に明るく補正した場合等に発生する画質の劣化を軽減することができる画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明は、撮影画像の画像データから前記撮影画像の各画素の輝度データを作成する作成手段と、前記輝度データに基づいて、前記撮影画像の画質を改善する補正処理の補正量を定めるための調整パラメータを設定するパラメータ設定手段と、前記輝度データのヒストグラムを算出するヒストグラム算出手段と、前記ヒストグラムに基づいて前記ヒストグラムが平坦化されるように前記輝度データの各々を補正するための補正係数を各々算出する補正係数算出手段と、前記補正係数に基づいて、前記輝度データを変換する変換手段と、変換された輝度データについて、前記調整パラメータに応じた補正量で画質を改善する補正処理を行う補正手段と、を備えたことを特徴とする。
【００１１】
この発明によれば、作成手段によって、撮影画像の画像データから撮影画像の各画素の輝度データを作成し、ヒストグラム算出手段によって輝度データのヒストグラムを算出する。すなわち、輝度データの出現頻度（累積画素数）が算出される。
【００１２】
そして、補正係数算出手段は、ヒストグラム算出手段によって算出されたヒストグラムに基づいて、ヒストグラムが平坦化されるように輝度データの各々を補正するための補正係数を各々算出する。すなわち、ヒストグラムの特定領域に極端なピークが存在する場合には、このピーク付近の輝度データが周囲に分散されるように補正係数が算出される。
【００１３】
変換手段は、算出された補正係数に基づいて、輝度データを変換する。これにより、明るい部分が暗くなるように、暗い部分が明るくなるように輝度データが補正される。
【００１４】
このように、自動的に撮影画像の明るさを補正した場合、明るさ補正後の撮影画像の画質が劣化する場合がある。例えば、暗めの元画像を明るくなるように自動的に補正した場合、明るさ補正後の画像にノイズが浮き出たりする場合があり、特に、シャープネス補正を施した場合にはこれが顕著となる。
【００１５】
そこで、パラメータ設定手段は、輝度データに基づいて、撮影画像の画質を改善する補正処理の補正量を定めるための調整パラメータを設定する。この調整パラメータは、例えば撮影画像の明るさや階調の傾向を表すパラメータであり、例えば撮影画像の輝度データの平均値や積算値などを用いることができる。この場合、調整パラメータの値が大きいほど元画像が明るく、調整パラメータの値が小さいほど元画像が暗いといえる。
【００１６】
そして、補正手段は、変換された輝度データについて、調整パラメータに応じた補正量で画質を改善する補正処理を行う。例えば、調整パラメータが、ノイズが浮き出ると判断できる所定閾値以下の場合には、画質の劣化が軽減される方向に補正量が変化するようにして画質を改善する補正処理を行う。また、例えば調整パラメータの値が大きくなるに従って画質の劣化が軽減される方向に補正量が変化するような調整パラメータと補正量との対応関係を予め定めておき、この対応関係から補正量を求めて補正処理するようにしてもよい。
【００１７】
このように、撮影画像の輝度データに基づいて定められた調整パラメータによって、画質を改善する補正処理の補正量を調整するため、明るさ補正後の画像にノイズが浮き出たりするのを軽減することができる。
【００１８】
また、請求項２に記載したように、前記撮影画像を予め定めた複数の領域に分割する分割手段と、予め定められた前記輝度データに付与する重みを前記複数の領域毎に設定する重み設定手段と、をさらに備え、前記パラメータ設定手段は、前記複数の領域毎に設定された重みを対応する輝度データに各々付与し、前記重みが付与された輝度データの平均値を前記調整パラメータとして設定するようにしてもよい。
【００１９】
例えば、主要被写体が撮影画像の中心に存在する場合が多いと想定される場合には、重み設定手段は、複数の領域のうち中央付近の領域の重みを大きくし、周辺の領域の重みを小さくする。これにより、主要被写体の明るさに応じて適切な補正処理を行うことが可能となる。
【００２０】
なお、分割手段は、等分割で分割してもよいし、例えば中央付近の領域を細かく、周辺付近の領域を粗く分割する等、領域の位置に応じて領域の大きさを異ならせてもよい。
【００２１】
また、重み設定手段は、採用されるシステムの用途に応じて複数の重みのパターンを予め記憶手段に記憶させておき、これら複数の重みのパターンから選択できるように構成してもよく、入力手段で入力された重みを設定できるように構成してもよい。
【００２２】
また、請求項３に記載したように、前記画質を改善する補正処理は、シャープネス補正処理及びノイズ除去処理の少なくとも一方を含むようにすることができる。
【００２３】
この場合、補正手段は、調整パラメータがノイズが浮き出ると判断できる所定閾値以上の場合には、シャープネス補正の補正量を小さくしたり、ノイズ除去処理の補正量を大きくしたりする。これにより、明るさ補正後の画像にノイズが浮き出たりするのを軽減することができる。
【００２４】
また、前記輝度データの補正に傾向を付与するための強度係数を入力する入力手段をさらに備え、変換手段が、前記入力手段により入力された強度係数により前記傾向が付与された補正係数に基づいて、前記輝度データを変換するようにしてもよい。
【００２５】
すなわち、変換手段は、入力手段によって入力された輝度データの補正に傾向を付与するための強度係数により、補正係数を調整し、調整された補正係数に基づいて、輝度データを変換する。この強度係数は、撮影画像を撮影した画像入力装置の種類や特性、設置場所、撮影画像の用途等に応じて予め定められ、入力するようにしてもよいし、予めメモリに記憶されていてもよい。
【００２６】
このように、入力される強度係数により輝度データの補正、すなわち階調補正に傾向を付与することができるため、システムに応じて強度係数を設定することにより、システムに応じた最適な階調補正を行うことができる。
【００２７】
なお、前記強度係数は、前記輝度データが高くなるように補正するための補正係数に傾向を付与する第１の強度係数及び前記輝度データが低くなるように補正するための補正係数に傾向を付与する第２の強度係数とから成るようにしてもよい。これにより、輝度データを高くするための補正、すなわち画像を明るくするための補正と、輝度データを低くするための補正、すなわち、画像を暗くするための補正とについて、それぞれ独立に傾向を付与することができるため、より最適にシステムに応じた階調補正を行うことができる。
【００２８】
ところで、撮影画像にある所定以上の面積を有するベタ背景（例えば青空等）が存在する場合、輝度データが予め定めた所定頻度以上となり、補正後の画像にノイズが浮き出てしまう場合がある。そこで、前記ヒストグラムについて、予め定めた所定頻度以上の輝度データの頻度を低減する低減手段をさらに備え、前記補正係数算出手段は、前記低減手段による低減後のヒストグラムに基づいて前記補正係数を各々算出するようにしてもよい。
【００２９】
これにより、撮影画像にある所定以上の面積を有するベタ背景が存在する場合でも、補正後のベタ背景にノイズが浮き出てしまうのを防ぐことができる。
【００３０】
また、ヒストグラム算出手段は、分割手段によって分割された領域毎に予め定められた重みを対応する輝度データに付与し、重みが付与された輝度データに基づいてヒストグラムを算出するようにしてもよい。これにより、より適正に階調補正を行うことができる。
【００３１】
また、前記傾向が付与された補正係数に基づいて、補正の度合いを示す特徴量を算出する特徴量算出手段をさらに備え、補正手段は、特徴量に応じて変換された輝度データについて補正処理を行うようにしてもよい。
【００３２】
例えば、補正の傾向が明るくする方向に強い場合には、補正後の画像にノイズが発生していまう場合があるので、特徴量を、画像を明るくする補正の度合いと補正後の画像に発生するノイズとの相対関係を表す物理量として定める。そして、例えば明るくする補正の度合いと画像を暗くする補正の度合いとの差分を特徴量として算出し、この特徴量が大きくなるに従って、画質の劣化が軽減するように補正量を変化させる。これにより、明るさ補正による画像の劣化を防ぐことができる。
【００３３】
また、前記画像データから前記撮影画像の彩度に関するクロマ信号を作成するクロマ信号作成手段と、作成したクロマ信号からクロマ累積ヒストグラムを算出する累積ヒストグラム算出手段と、算出した累積ヒストグラムから前記クロマ信号を補正するための補正値を算出する補正値算出手段と、算出された補正値により前記クロマ信号を補正するクロマ信号補正手段と、をさらに備えた構成としてもよい。
【００３４】
例えば、補正値算出手段は、算出した累積ヒストグラムにより、予め定めた彩度以上であるか否かを判断し、予め定めた彩度以上の場合に、クロマ信号が小さくなるように補正値を算出する。そして、算出された補正値によりクロマ信号が補正手段により補正される。これにより、撮影画像の彩度を補正することができる。
【００３５】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態の一例について詳細に説明する。
【００３６】
図１には、画像処理システム１０の概略ブロック図を示した。画像処理システム１０は、画像入力装置１２、画像処理装置１４、及び画像出力装置１６で構成されている。
【００３７】
画像入力装置１２は、例えば監視カメラやドアホンカメラ等、その機能や用途の性質上、ストロボやライト等による補助光を使用することができない装置が用いられる。
【００３８】
画像入力装置１２は、図示は省略したが、例えばレンズ、撮像素子としてのＣＣＤ、該ＣＣＤを駆動するための駆動回路などを含んで構成される。レンズを介してＣＣＤの受光面に結像された被写体像は、各センサで光の入射光量に応じた量の信号電荷に変換され、該信号電荷に応じたＲ、Ｇ、Ｂの各データが画像データとして画像処理装置１４へ出力される。
【００３９】
画像処理装置１４では、入力された各画素のＲ，Ｇ，Ｂデータに基づいて階調補正やノイズ除去、色差ゲインの補正などの処理を行い、例えばＣＲＴやＬＣＤ等の画像出力装置１６へ出力する。
【００４０】
画像処理装置１４は、Ｙ／Ｃ変換部１８、Ｙヒストグラム算出部２０、ＬＵＴ算出部２２、強度係数入力部２３、ＬＵＴ変換部２４、特徴量算出部２６、シャープネス補正／ノイズ除去処理部２８、クロマ変換部３０、クロマ累積ヒストグラム算出部３２、クロマ補正値算出部３４、色差ゲイン処理部３６、ＲＧＢ変換部３８、分割部４０、重み係数設定部４２、及び輝度平均値算出部４４により構成されている。
【００４１】
Ｙ／Ｃ変換部１８は、画像入力装置１２から出力された各画素のＲ，Ｇ，Ｂデータを各画素の輝度信号Ｙ、及びクロマ信号Ｃｒ、Ｃｂに変換する。変換された輝度信号Ｙは、分割部４０及びＬＵＴ変換部２４へ出力され、クロマ信号Ｃｒ，Ｃｂは、クロマ変換部３０及び色差ゲイン処理部３６へ出力される。
【００４２】
まず、輝度信号Ｙに基づく処理について説明する。
【００４３】
分割部４０は、例えば図１０に示すように撮影画像領域４５を複数の領域４６に分割し、分割した領域の輝度信号Ｙを重み係数設定部４２に出力する。
【００４４】
重み係数設定部４２は、分割部４０で設定された分割された領域の各々に重みを設定する。例えば、主要被写体が中央に存在する場合が多いと想定される場合には、図１０に示すように、中央の領域の重みが大きくなるように、周辺の領域の重みが小さくなるように設定される。そして、各領域の輝度信号Ｙに、対応する重みを乗算した輝度信号ＹをＹヒストグラム算出部２０及び輝度平均値算出部４４へ出力する。なお、重みは、記憶手段に記憶させておいてもよいし、入力手段によって入力できるようにしてもよい。
【００４５】
輝度平均値算出部４４では、重みが付与された輝度信号Ｙの平均値を求め、これをシャープネス補正やノイズ除去処理等の画質を改善するための補正処理の補正量を定めるための調整パラメータとして設定し、後述するシャープネス補正／ノイズ除去処理部２８へ出力する。なお、調整パラメータとして、重みが付与される前の輝度信号Ｙの平均値を用いてもよい。この場合、重み係数設定部４２で設定される重みを全て１にすればよい。また、Ｙ／Ｃ変換部１８から出力された輝度信号Ｙから直接平均値を求めてもよい。
【００４６】
Ｙヒストグラム算出部２０は、重み係数設定部４２から出力された各画素の重みが付与された輝度信号Ｙのヒストグラムを作成する。すなわち、Ｙヒストグラム算出部２０は、各画素の重みが付与された輝度信号（階調値）Ｙから、各階調値ｉ（＝０，１，２，…，Ｎ−１：Ｎは階調数）の頻度（累積画素数）を算出する。なお、本実施の形態では、階調数Ｎが２５６とし、階調値ｉが０〜２５５までのそれぞれについて頻度を算出する。
【００４７】
ＬＵＴ算出部２２では、Ｙヒストグラム算出部２０によって算出された各階調値ｉの頻度に基づいて、入力階調値Ｙを出力階調値Ｔ（Ｙ）に変換するためのＬＵＴ（ルックアップテーブル）を算出する。具体的には、まず次式によって階調値ｉを補正するための補正係数ＢＡＩ（ｉ）をｉ＝０〜２５５までの各々について算出する。
【００４８】
【数１】

【００４９】
但し、Ｄ（ｉ）は、各画素の入力階調値Ｙから算出した階調値ｉの頻度である。Ｕｐｐｅｒは、階調値ｉが０から予め定めた所定閾値Ｕｐｐまでの各頻度の累積値であり、Ｌｏｗｅｒは、階調値ｉが０から予め定めた所定閾値Ｌｏｗまでの各頻度の累積値である。なお、所定閾値Ｕｐｐは基本的にはＮ−１（この場合は２５５）、所定閾値Ｌｏｗは０である。また、ＢＡＩ（ｉ）＜０の場合には、強制的にＢＡＩ（ｉ）＝０とする。
【００５０】
上記（１）式により算出された補正係数ＢＡＩ（ｉ）は、当該補正係数ＢＡＩ（ｉ）で入力階調値Ｙを補正した場合に、入力階調値Ｙのヒストグラムが平坦化されるように補正する機能を有する。例えば、図２の実線で示す補正前のヒストグラムのように、暗い部分の頻度と明るい部分の頻度とが極端に異なるヒストグラムは、補正係数ＢＡＩ（ｉ）により補正した場合には、図２の点線で示す補正後のヒストグラムのように、暗い部分及び明るい部分がそれぞれ平坦化されたヒストグラムとなる。
【００５１】
次に、上記（１）式により算出された補正係数ＢＡＩ（ｉ）を次式により調整する。
【００５２】
ＢＡＩ’（ｉ）＝ＢＡＩ（ｉ）^ＫＯ（ＢＡＩ（ｉ）≧１．０）　　…（２
ＢＡＩ’（ｉ）＝ＢＡＩ（ｉ）^ＫＵ（ＢＡＩ（ｉ）＜１．０）　　…（３
ここで、ＫＯは、ＢＡＩ（ｉ）が１以上の場合、すなわち、入力階調値Ｙが高くなるように補正するための補正係数の場合に、その補正に傾向を付与するための強度係数、すなわち補正強度を調整するための強度係数であり、ＫＵは、ＢＡＩ（ｉ）が１未満の場合、すなわち、入力階調値Ｙが低くなるように補正するための補正係数の場合に、その補正強度を調整するための強度係数である。
【００５３】
従って、ＫＯの値が大きくなるに従って、入力階調値Ｙが高くなるように補正される度合いが大きくなり、ＫＵの値が大きくなるに従って、入力階調値Ｙが低くなるように補正される度合いが大きくなる。すなわち、ＫＯ＞ＫＵとなるように設定することにより、暗めの画像が明るめの画像になるように補正され、ＫＯ＜ＫＵとなるように設定することにより、明るめの画像が暗めの画像になるように補正される。なお、ＫＯ＝ＫＵ＝０の場合は、無補正となり、ＫＯ＝ＫＵ＝１の場合は、補正強度が調整されず、ＢＡＩ（ｉ）による補正となる。
【００５４】
また、強度係数ＫＯ，ＫＵは、強度係数入力部２３から入力することができ、画像処理システム１０が使用されるシステムの用途等に応じて設定される。すなわち、暗めの画像が明るめの画像になるように補正することに重点をおく場合には、ＫＯ＞ＫＵとなるように設定し、明るめの画像が暗めの画像になるように補正することに重点をおく場合には、ＫＯ＜ＫＵとなるように設定する。なお、強度係数ＫＯ，ＫＵは、手動で入力してもよいし、強度係数ＫＯ，ＫＵを予めメモリに記憶しておき、読み出してもよい。また、強度係数ＫＯ，ＫＵを書き換え可能なメモリに記憶しておき、適用するシステムに応じて書き換えられるようにしてもよい。
【００５５】
このように、入力階調値Ｙが高くなるように（明るくなるように）補正される度合いと、入力階調値Ｙが低くなるように（暗くなるように）補正される度合いとの両方を独立して調整することができるため、使用されるシステムに応じて最適な階調補正を行うことができる。
【００５６】
次に、上記（２）式又は（３）式により算出された調整後の補正係数ＢＡＩ’を用いて、階調値ｉに対応する階調値Ｔ（ｉ）を算出する。
【００５７】
Ｔ（ｉ）＝ｉ×ＢＡＩ’（ｉ）　　…（４）
上記（４）式の計算を全ての階調値ｉについて行うことにより、階調値ｉと階調値Ｔ（ｉ）との対応関係を表すＬＵＴを求めることができる。なお、Ｔ（ｉ）＞Ｎ−１の場合は、強制的にＴ（ｉ）＝Ｎ−１とする。
【００５８】
ＬＵＴ変換部２４では、Ｙ／Ｃ変換部１８から出力された各画素の入力階調値Ｙを、ＬＵＴ算出部２２で算出されたＬＵＴにより、出力階調値Ｔ（Ｙ）に変換する。ＬＵＴ変換部２４で変換された出力階調値Ｔ（Ｙ）は、特徴量算出部２６及びシャープネス補正／ノイズ除去処理部２８へ出力される。
【００５９】
このようなＬＵＴの一例を図３に示す。図３に示すＬＵＴは、例えば図２の実線で示すような暗い部分の頻度と明るい部分の頻度とが極端に異なるヒストグラムについて算出したＬＵＴである。このようなＬＵＴによって入力階調値Ｙを補正することにより、図２の点線で示す補正後のヒストグラムのように、暗い部分及び明るい部分がそれぞれ平坦化されたヒストグラムとなる。
【００６０】
また、ＫＯ＝ＫＵ＝０の場合は、上記（２）、（３）式より、ＢＡＩ’（ｉ）＝１となるため無補正であり、ＫＯ又はＫＵの値が大きくなるに従って、補正の度合いが大きくなっているのが判る。このため、暗めの画像が明るめの画像になるように補正することに重点をおく場合には、ＫＯ＞ＫＵとなるように設定し、明るめの画像が暗めの画像になるように補正することに重点をおく場合には、ＫＯ＜ＫＵとなるように設定することにより、システムに応じて最適な階調補正を行うことができる。
【００６１】
また、前述したように、所定閾値Ｕｐｐは基本的にはＮ−１（この場合は２５５）、所定閾値Ｌｏｗは０であり、この場合は、図４の２点鎖線で示すように、０〜２５５の全ての入力階調値Ｙが補正されるが、システムによっては、所定閾値以上の階調値又は所定閾値以下の階調値については、略同一の値に変換されるようにしたい場合がある。この場合は、所定閾値Ｕｐｐを（Ｎ−１）以下の値にし、所定閾値Ｌｏｗを０よりも大きい値にすればよい。これにより、図４の実線で示すように、所定閾値Ｕｐｐ以上の入力階調値又は所定閾値Ｌｏｗ以下の入力階調値を略同一の値に補正することができる。
【００６２】
ところで、撮影された画像に、所定以上の面積を有するベタ背景（例えば青空等）が存在する場合、図５に示すように、ベタ背景付近の階調値の頻度が極端に高くなる。このような特性の画像に対してＬＵＴを算出すると、図６に示すように、ベタ背景付近の傾きが急峻になり、ベタ背景付近の階調値ｉに対する出力階調値Ｔ（ｉ）の変動が大きくなり、補正後の画像のベタ背景付近にノイズが浮き出てしまう場合がある。
【００６３】
そこで、Ｙヒストグラム算出部２０においてヒストグラムを算出する際に、予め定めた所定閾値以上の頻度を有する階調値ｉの頻度を低減するようにしてもよい。例えば、所定閾値以上の頻度を有する階調値ｉの頻度から予め定めた所定値を減算したり、０にしたりする。これにより、補正後の画像のベタ背景付近にノイズが浮き出てしまうのを防ぐことができる。
【００６４】
特徴量算出部２６では、ＬＵＴ算出部２２で算出したＬＵＴに基づいて、入力画像を明るくする補正の度合いと補正後の画像に発生するノイズとの相対関係を表す物理量である特徴量を算出する。具体的には、例えば図７の点線で示すように、階調値ｉと階調値Ｔ（ｉ）とが同一の値となる線と、実線（曲線）で示す階調値ｉと階調値Ｔ（ｉ）との関係を示す線とにより閉じられた領域で、かつ前記点線よりも上側に形成される領域Ａの面積、すなわち階調値ｉを上げる（明るくする）補正の度合いと、前記点線よりも下側に形成される領域Ｂの面積、すなわち階調値ｉを下げる（暗くする）補正の度合いとの差分（Ａ−Ｂ）を算出し、これを特徴量Ｆとする。
【００６５】
この特徴量Ｆは、シャープネス補正／ノイズ除去処理部２８へ出力される。シャープネス補正／ノイズ除去処理部２８は、シャープネス補正部や、例えばローパスフィルタ等で構成されたノイズ除去処理部を含んで構成されている。
【００６６】
シャープネス補正／ノイズ除去処理部２８は、特徴量算出部２６から出力された特徴量Ｆに応じてＬＵＴ変換部２４から出力された階調値Ｔ（Ｙ）に対してシャープネス補正やノイズ除去処理を行い、階調値Ｔ’（Ｙ）としてＲＧＢ変換部３８へ出力する。具体的には、例えば、特徴量Ｆが大きい場合、すなわち、領域Ａの面積が領域Ｂの面積よりも大きい場合には、明るく補正される度合いが強くなり、ノイズが発生する度合いが強くなるため、シャープネス補正の補正量を小さくしたり、ノイズ除去処理の強度を大きくする。一方、特徴量Ｆが小さい場合、すなわち、領域Ａの面積が領域Ｂの面積と同じような場合には、通常のシャープネス補正やノイズ除去処理を行ったり、あるいは処理を行わずにＲＧＢ変換部３８へ出力する。このように、明るさ補正の度合い（傾向）に応じてシャープネス補正やノイズ除去の強度を変えることができるため、明るさ補正の度合いに応じて最適にシャープネス補正やノイズ除去を行うことができる。
【００６７】
また、シャープネス補正／ノイズ除去処理部２８は、特徴量Ｆに応じてＬＵＴ変換部２４から出力された階調値Ｔ（Ｙ）に対してシャープネス補正やノイズ除去処理を行う場合の他、輝度平均値算出部４４によって算出された輝度平均値に応じてシャープネス補正やノイズ除去処理を行うことができる。
【００６８】
輝度平均値算出部４４では、前述したように、例えば重みが付与された輝度信号Ｙの平均値が求められ、これがシャープネス補正／ノイズ除去処理部２８で実行されるシャープネス補正やノイズ除去処理等の画質を改善するための補正処理の補正量を定めるための調整パラメータとして設定される。すなわち、調整パラメータの値が大きいほど、元画像が明るく、調整パラメータの値が小さいほど、元画像が暗いといえる。
【００６９】
シャープネス補正／ノイズ除去処理部２８では、例えば、この調整パラメータが、明るさ補正後の画像にノイズが浮き出ると判断できる予め定めた所定閾値以下の場合には、シャープネス補正の補正量を軽減したり、ノイズ除去処理の補正量を大きくしたりして、画質の劣化が軽減するように処理する。これにより、元画像が暗く、自動的に明るくなるように明るさ補正をするとノイズが浮き出るような場合でも、ノイズが目立つのを防ぐことができ、画質が劣化するのを防ぐことができる。
【００７０】
また、輝度平均値は、中央の領域の重みが大きくなるように、周辺の領域の重みが小さくなるように設定された重みが付与された輝度信号に基づいて算出されているため、主要被写体の明るさに応じて適切に補正処理される。これにより、精度よく明るさ補正による画質の劣化を軽減することができる。
【００７１】
また、シャープネス補正／ノイズ除去処理部２８に、調整パラメータの値と補正量との予め定めた対応関係を記憶した記憶手段を設け、この対応関係から補正量を求めてシャープネス補正やノイズ除去処理を行うようにしてもよい。
【００７２】
なお、シャープネス補正やノイズ除去処理は、何れか一方のみを行ってもよいし、両方行ってもよい。また、特徴量Ｆのみに基づいてシャープネス補正やノイズ除去処理の補正量を変化させてもよいし、調整パラメータのみに基づいてシャープネス補正やノイズ除去処理の補正量を変化させてもよいし、特徴量Ｆ及び調整パラメータの両方を考慮してシャープネス補正やノイズ除去処理の補正量を変化させてもよい。
【００７３】
次に、クロマ信号Ｃｒ，Ｃｂに基づく処理について説明する。
【００７４】
クロマ変換部３０では、各画素のクロマ信号Ｃｒ，Ｃｂに基づいて、各画素の彩度に関するクロマ値Ｃをそれぞれ算出してクロマ累積ヒストグラム算出部３２へ出力する。クロマ値Ｃは、次式により求めることができる。
【００７５】
【数２】

【００７６】
クロマ累積ヒストグラム算出部３２では、各画素のクロマ値Ｃからクロマ値の累積ヒストグラムを算出してクロマ補正値算出部３４へ出力する。図８には、累積ヒストグラムの一例を示した。図８において実線で示す累積ヒストグラムは、図９の実線で示すような高彩度の画像の累積ヒストグラムであり、図８において点線で示すヒストグラムは、図９の点線で示すような低彩度の画像の累積ヒストグラムである。
【００７７】
クロマ補正値算出部３４では、クロマ累積ヒストグラム算出部３２で算出されたクロマ累積ヒストグラムに基づいて、クロマ信号Ｃｒ，Ｃｂを補正するための補正値Ｇを算出して色差ゲイン処理部３６へ出力する。具体的には、例えばクロマ値Ｃの累積頻度が予め定めた所定閾値ＴＨｒ（例えば９５％）以上となるクロマ値Ｃｔを求める。図８の点線で示す累積ヒストグラムの場合は、Ｃｔ＝Ｃ１であり、図８の実線で示す累積ヒストグラムの場合は、Ｃｔ＝Ｃ２である。そして、このクロマ値Ｃｔが、画像が所定以上の高彩度であるか否かを判断するための予め定めた所定閾値ＴＨｃ以上の場合には、画像が高彩度の傾向が強いと判断し、色差ゲインを抑えるための補正値Ｇを算出して、色差ゲイン処理部３６へ出力する。
【００７８】
なお、クロマ値Ｃｔが、画像が所定以下の低彩度であるか否かを判断するための所定閾値Ｃｔ_２を設定し、ＣｔがＣｔ_２以下か否かを判断し、該所定閾値以下の場合に、画像が低彩度の傾向が強いと判断し、色差ゲインを上げるための補正値Ｇを算出して、色差ゲイン処理部３６へ出力するようにしてもよい。また、彩度を調整するための予め定めた所定式によりクロマ値Ｃｔに応じた補正値Ｇが算出されるようにしてもよい。
【００７９】
色差ゲイン処理部３６では、次式によりクロマ信号Ｃｒ，Ｃｂを補正し、補正されたクロマ信号Ｃｒ’，Ｃｂ’をＲＧＢ変換部３８へ出力する。
【００８０】
Ｃｒ’＝Ｃｒ×Ｇ　　…（６）
Ｃｂ’＝Ｃｂ×Ｇ　　…（７）
すなわち、クロマ補正値算出部３４では、低彩度の画像を高彩度側へ補正したい場合、すなわち色差ゲインを上げたい場合には、Ｇ＞１となるように補正値Ｇを算出し、高彩度の画像を低彩度側へ補正したい場合、すなわち色差ゲインを抑制したい場合には、Ｇ＜１となるように補正値Ｇを算出する。また、彩度の補正が必要ない場合には、Ｇ＝１となる。
【００８１】
ＲＧＢ変換部３８では、シャープネス補正／ノイズ除去処理部２８から出力された出力階調値Ｔ’（Ｙ）と、色差ゲイン処理部３６から出力されたクロマ信号Ｃｒ’、Ｃｂ’とから、Ｒ，Ｇ，Ｂの各信号を作成して画像出力装置１６へ出力する。
【００８２】
画像出力装置１６は、画像処理装置１４から出力されたＲ，Ｇ，Ｂの各信号に基づく画像を出力する。
【００８３】
このように、本実施の形態では、撮影画像の輝度平均値に応じてシャープネス補正やノイズ除去処理の補正量を変化させるため、元画像が暗く、自動的に明るくなるように明るさ補正をするとノイズが浮き出るような場合でも、ノイズが目立つのを防ぐことができ、画質が劣化するのを防ぐことができる。
【００８４】
図１１には、上記の画像処理システムの適用例を示した。図１１に示すシステムは、静止画像の圧縮フォーマットであるｊｐｅｇで圧縮された元画像５０をｊｐｅｇ解凍処理部５２で解凍し、画素数縮小処理部５４で画素数を縮小する。そして、明るさ・階調補正処理部５６で明るさや階調補正が施され、シャープネス補正及びノイズ除去処理部５８でシャープネス補正やノイズ除去処理が行われる。そして、再びｊｐｅｇ圧縮部６０でｊｐｅｇフォーマットで圧縮され、配信部６２により配信先、例えば携帯電話に配信される。なお、画素数縮小処理部５４及びｊｐｅｇ圧縮部６０では、記憶部６４に記憶された配信先端末情報、すなわち携帯電話の表示特性等の情報に応じた処理が施される。
【００８５】
すなわち、図１１に示すシステムは、例えば携帯電話等の小型でかつ表示能力が比較的低い表示手段を備えた端末に配信するシステムである。このようなシステムの場合、元画像の明るさを補正する等の処理を行って配信する必要がある場合があるが、前述したように、自動的に明るさ補正を行った場合には、ノイズが浮き出てしまう場合がある。このため、本実施形態で説明した画像処理システムを図１１に示すようなシステムに適用することにより、配信先に配信される画像の劣化を軽減することが可能となる。
【００８６】
なお、本実施の形態では、ＲＧＢ信号から輝度信号Ｙを作成してヒストグラムを算出し、この算出したヒストグラムに基づいてＬＵＴを算出する場合について説明したが、これに限らず、Ｇ信号のヒストグラムを算出し、この算出したヒストグラムに基づいてＬＵＴを算出してもよく、ＲＧＢ信号からＬ^＊ａ^＊ｂ^＊信号に変換し、明度を表すＬ^＊信号のヒストグラムを算出し、この算出したヒストグラムに基づいてＬＵＴを作成するようにしてもよい。
【００８７】
【発明の効果】
以上説明したように本発明によれば、撮影画像の輝度データに基づいて、撮影画像の画質を改善する補正処理の補正量を定めるための調整パラメータを設定し、変換された輝度データについて、調整パラメータに応じた補正量で画質を改善する補正処理を行うようにしたので、元画像が暗く、自動的に明るくなるように明るさ補正をするとノイズが浮き出るような場合でも、ノイズが目立つのを防ぐことができ、画質が劣化するのを防ぐことができる、という効果を有する。
【図面の簡単な説明】
【図１】画像処理システムの概略ブロック図である。
【図２】階調値と頻度との関係を示す線図である。
【図３】入力階調値と出力階調値との関係を示す線図である。
【図４】ベタ背景が存在する画像における階調値と頻度との関係を示す線図である。
【図５】ベタ背景が存在する画像における入力階調値と出力階調値との関係を示す線図である。
【図６】入力階調値と出力階調値との関係を示す線図である。
【図７】特徴量について説明するための線図である。
【図８】クロマ値と累積頻度との関係を示す線図である。
【図９】クロマ値と頻度との関係を示す線図である。
【図１０】重みの設定の一例を示す図である。
【図１１】画像処理システムの適用例を示すシステム図である。
【符号の説明】
１０画像処理システム
１２画像入力装置
１４画像処理装置
１６画像出力装置
１８Ｙ／Ｃ変換部（作成手段）
２０Ｙヒストグラム算出部（ヒストグラム算出手段、低減手段）
２２ＬＵＴ算出部（補正係数算出手段）
２３強度係数入力部
２４ＬＵＴ変換部（変換手段）
２６特徴量算出部
２８シャープネス補正／ノイズ除去処理部（補正手段）
３０クロマ変換部
３２クロマ累積ヒストグラム算出部
３４クロマ補正値算出部
４０分割部（分割手段）
４２重み係数設定部（重み設定手段）
４４輝度平均値算出部（パラメータ設定手段）

Claims

撮影画像の画像データから前記撮影画像の各画素の輝度データを作成する作成手段と、
前記輝度データに基づいて、前記撮影画像の画質を改善する補正処理の補正量を定めるための調整パラメータを設定するパラメータ設定手段と、
前記輝度データのヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムに基づいて前記ヒストグラムが平坦化されるように前記輝度データの各々を補正するための補正係数を各々算出する補正係数算出手段と、
前記補正係数に基づいて、前記輝度データを変換する変換手段と、
変換された輝度データについて、前記調整パラメータに応じた補正量で画質を改善する補正処理を行う補正手段と、
を備えた画像処理装置。
前記撮影画像を予め定めた複数の領域に分割する分割手段と、予め定められた前記輝度データに付与する重みを前記複数の領域毎に設定する重み設定手段と、をさらに備え、
前記パラメータ設定手段は、前記複数の領域毎に設定された重みを対応する輝度データに各々付与し、前記重みが付与された輝度データの平均値を前記調整パラメータとして設定することを特徴とする請求項１記載の画像処理装置。
前記画質を改善する補正処理は、シャープネス補正処理及びノイズ除去処理の少なくとも一方を含むことを特徴とする請求項１又は請求項２に記載の画像処理装置。