JP2008048280A - 画像処理装置 - Google Patents

Abstract

【課題】低輝度部の補正量が高輝度部の補正量より大きい階調補正を行い、かつ階調補正の補正量を大きくした場合において、コントラストの劣化を回避して階調補正を行う。
【解決手段】制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように重み付け処理部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように重み付け処理部の制御を行う。
【選択図】図１

Description

本発明は、デジタル画像を階調圧縮による明部、暗部ともに階調再現する画像処理装置に関するものである。

従来、デジタル画像の階調補正を行う画像処理装置においては、外部画像出力手段や固体撮像素子等の画像入力手段によって入力される画像データの輝度を所定の基準輝度と比較する。そして、高輝度部のみを、あるいは高低に個別に基準輝度を設けて、低い基準輝度に対する低輝度部と高い基準輝度に対する高輝度部の両方を、信号処理回路は部分的に階調数を減じて、階調圧縮を行っている。

この場合、例えば画像データの明部領域においてはコントラストが低下してしまう。
これに対して、特許文献１は、部分的な階調数の減少を防ぐため、画像データを定数Ｍ×Ｎの大きさを持つ複数の領域に分ける。そして、それぞれの領域の平均値に応じた補正係数を生成し、同一領域内に属する画素に対しては同一の補正係数によって画素値を補正することによって、同一領域内では画素値の大小関係を保持する。これにより、例えば画像データの明部領域においてもコントラストの劣化を回避する事ができる。
更に、複数組の定数Ｍ×Ｎを用意し、複数の補正係数を生成した後、合成して１つの合成補正係数を求めることにより、異常な輪郭の強調を緩和する事ができる。

特許第３２３３１１４号公報 特開２０００−１５２０３３号公報 特許第３４２４５７６号公報

しかしながら、実際には、逆光撮影などによって明るい背景に対して被写体が暗く撮影され、被写体部分を明るく補正する場合、補正者によって希望する補正量が異なる。
同一の補正係数が適用される領域が大きく、補正者の希望する補正量が大きい場合、被写体と背景の両方が存在する領域において、背景の輝度が被写体とともに過度に上がる。更に、領域の大きさにより生じるジャギーのある線状の明るくなった背景が目立つようになり、不自然な画像になる。

一方、同一の補正係数が適用される領域を小さくすると、画素値の大小関係を保持できる領域も小さくなるため、コントラストの劣化につながる。
図６は、階調補正する際に用いる原画像の解像度を低下させたボケ画像（ここではＬ、Ｍ、Ｈの３個）を示す模式図である。ここで、ボケ画像Ｌの解像度はボケ画像Ｍの縦１／２・横１／２、ボケ画像Ｍの解像度はボケ画像Ｈの縦１／２・横１／２である時、各ボケ画像から生成される補正係数要素が同一の値となる領域をマス目で表す。また、円形の暗い被写体が補正係数に影響する範囲を暗い被写体周囲の着色部分で示す。

特許文献１においては複数の補正係数を合成する時に、補正量の大小に関わらず事前に設定された係数で重み付けを行って合成補正係数を求めており、様々な補正量で補正を行うと補正量によって、画像の不自然さ、コントラストの劣化が生じる等の問題があった。

特許文献２においては、補正量の大小に関わらず、原画像の画素値に応じて所定の係数で重み付けを行って合成補正係数を求めており、様々な補正量で補正を行うと補正量によって、画像の不自然さ、コントラストの劣化が生じるなどの問題があった。

特許文献３においては、過度な輪郭強調を回避するために、画像のエッジ近傍で同一の補正係数が適用される領域を小さくするものである。この場合、複数の補正係数の合成結果を画素値の最大値と最小値の両方を作成し、且つ更にこれらを用いて再度合成をする必要があり、構成が複雑になる。それと共に、補正量の大小に関わらず、原画像の画素値に依存して補正を行っており、様々な補正量で補正を行うと補正量によって、画像の不自然さ、コントラストの劣化が生じるなどの問題があった。

本発明は以上の点を考慮してなされたものであり、低輝度部の補正量が高輝度部の補正量より大きい階調補正を行い、かつ階調補正の補正量を大きくした場合において、逆光撮影などによって明るい背景に対して暗く撮影された被写体部分を明るく補正する際に被写体と背景の境界付近にジャギーのある線状の過度に明るい背景の一部分が目立つ不自然な画像となることなく、コントラストの劣化を回避して階調補正を行うことができる画像処理装置を提供することを目的とする。

本発明の画像処理装置は、外部画像出力装置と通信を行って画像を受信する通信部と、受信画像を記憶する原画像バッファと、前記受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部と、前記Ｙ画像の解像度を下げて解像度が各々異なる複数の縮小画像を生成する画像縮小部と、前記複数の縮小画像を記憶する縮小画像バッファと、前記複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部と、前記複数の縮小ボケ画像を記憶するガウシアンバッファと、前記複数の縮小ボケ画像の解像度を複数の縮小ボケ画像の最も高い解像度に拡大処理して複数のボケ画像を出力する画像拡大部と、生成された前記複数のボケ画像から複数の補正係数要素を求めるテーブル参照部と、前記複数の補正係数要素に対して各々重み付け係数を乗じて、重み付けされた複数の補正係数要素の出力を行う重み付け処理部と、前記重み付けされた複数の補正係数要素を加算して補正係数を出力する補正係数要素加算部と、前記補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成し、外部機器に出力させる補正係数適用部と、輝度補正レベルの設定値を保持する補正レベル設定部と、前記補正レベル設定部に保持された前記輝度補正レベルに応じて前記重み付け処理部を制御するとともに画像処理装置全体を制御する制御部とを含み、前記制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように前記重み付け処理部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように前記重み付け処理部の制御を行う。

本発明の画像処理装置は、外部画像出力装置と通信を行って画像を受信する通信部と、受信画像を記憶する原画像バッファと、前記受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部と、前記Ｙ画像の解像度を下げて解像度が各々異なる複数の縮小画像を生成する画像縮小部と、前記複数の縮小画像を記憶する縮小画像バッファと、前記複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部と、前記複数の縮小ボケ画像を記憶するガウシアンバッファと、前記複数の縮小ボケ画像の解像度を複数の縮小ボケ画像の最も高い解像度に拡大処理して複数のボケ画像を出力する画像拡大部と、生成された前記複数のボケ画像から各々重み付け係数を乗じた複数の重み付け後の補正係数要素を求めるテーブル参照部と、前記複数の重み付け後の補正係数要素を加算して補正係数を出力する補正係数要素加算部と、前記補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成し、外部機器に出力させる補正係数適用部と、輝度補正レベルの設定値を保持する補正レベル設定部と、前記補正レベル設定部に保持された前記輝度補正レベルに応じて前記テーブル参照部を制御するとともに画像処理装置全体を制御する制御部とを含み、前記制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように前記テーブル参照部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように前記テーブル参照部の制御を行う。

本発明の画像処理装置は、画像の解像度を下げて解像度が各々異なる複数の縮小画像から複数の縮小ボケ画像を出力するボケ画像生成部と、生成された前記複数のボケ画像から複数の補正係数要素に基づいて複数の補正係数要素を加算して補正係数を出力する補正係数要素加算部と、前記補正係数を画像に適用して補正画像を生成して外部機器に出力させる補正係数適用部と、補正レベルに応じて前記重み付け処理部を制御するとともに画像処理装置全体を制御する制御部とを含み、前記制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように前記重み付け処理部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように前記重み付け処理部の制御を行う。

本発明によれば、低輝度部の補正量が高輝度部の補正量より大きい階調補正を行い、かつ階調補正の補正量を大きくした場合において、逆光撮影などによって明るい背景に対して暗く撮影された被写体部分を明るく補正する際に被写体と背景の境界付近にジャギーのある線状の過度に明るい背景の一部分が目立つ不自然な画像となることなく、コントラストの劣化を回避して階調補正を行う。

（第１の実施形態）
本発明の第１の実施形態を表す図として、図１、図２、図５であり、図１は構成を表すブロック図、図２は制御の流れを表すフローチャート、図５は入力画像の輝度値に対する補正画像の輝度値を示す特性図である。

図１に従って、本発明の第１の実施形態の全体構成を説明する。
画像処理装置１は、外部画像出力装置２と通信を行って画像を受信する通信部１５、受信画像を記憶する原画像バッファ１２、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１６を有する。

また、Ｙ画像の解像度を下げてＮ（Ｎ＞１）個の解像度が各々異なる縮小画像を生成する画像縮小部１７、画像縮小部１７からの出力先を縮小画像の解像度に応じて振り分ける第１のデマルチプレクサ２６を有する。

また、第１のデマルチプレクサ２６から出力されるＮ個の縮小画像を記憶する縮小画像バッファ２４−１〜Ｎ、Ｎ個の縮小画像に対して輝度の平滑化をしてＮ個の縮小ボケ画像を出力するガウシアンフィルタ処理部１８を有する。

また、ガウシアンフィルタ処理部１８へデータを出力する縮小画像バッファ２４−１〜Ｎを選択する第１のセレクタ２９、ガウシアンフィルタ処理部１８からの出力先を縮小ボケ画像の解像度に応じて振り分ける第２のデマルチプレクサ２７を有する。

また、Ｎ個の縮小ボケ画像を記憶するガウシアンバッファ２５−１〜Ｎ、Ｎ個の縮小ボケ画像の解像度を複数の縮小ボケ画像の最も高い解像度に拡大処理してＮ個のボケ画像を出力する画像拡大部１９−１〜Ｎを有する。

また、生成されたＮ個のボケ画像の輝度レベルからＮ個の補正係数要素を求めるテーブル参照部１３、テーブル参照部１３へデータを出力する画像拡大部１９−１〜Ｎを選択する第２のセレクタ３０を有する。

また、テーブル参照部１３からの出力先をボケ画像の解像度に応じて振り分ける第３のデマルチプレクサ２８を有する。また、第３のデマルチプレクサ２８から出力されるＮ個の補正係数要素に対して各々所定の重み付け係数を乗じて重み付けを行う重み付け処理部２１−１〜Ｎを有する。

また、重み付け後のＮ個の補正係数要素を加算して補正係数を出力する補正係数要素加算部２０、補正係数を原画像バッファ１２に記憶されている画像に適用して補正画像を生成、外部機器等に出力する補正係数適用部１４を有する。

また、輝度補正レベルの設定値を保持する補正レベル設定部２２、補正レベル設定部２２に輝度補正レベルを入力する入力部２３を有する。
また、補正レベル設定部２２に保持された輝度補正レベルに応じて重み付け処理部２１−１〜Ｎを制御するとともに画像処理装置１全体を制御する制御部１１から構成される。
外部画像出力装置２は、例えばデジタル画像を撮像可能なカメラであり、色信号ＲＧＢ、色差信号ＹＣｂＣｒ等のデジタル画像データを画像処理装置１に対して出力する。

以下、図１、図２、図５を用いて実際の動作について説明する。
まず、輝度補正レベルがスイッチなどの入力部２３からユーザによって入力され、補正レベル設定部２２に設定される。入力部２３からの設定がない場合は、予め定めた輝度補正レベルが設定される。
次に、外部画像出力装置２から画像を通信部１５が受信した時（ステップＳ１１）、制御部１１はボケ画像を生成するための制御を実行する（ステップＳ１２）。

ボケ画像の生成について説明する。
まず、Ｙ成分抽出部１６が、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力し、画像縮小部１７へ入力される。
受信画像が水平７２０ドット×垂直４８０ドット、プログレッシブ画像である時のＹ画像が画像縮小部１７に入力された時、Ｎパターンの異なる解像度を持つ縮小画像を生成する。

例えば、縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットの３パターンの縮小画像を生成する。

縮小画像のパターン数、解像度はこれと同じ組み合わせに固定する必要は無い。
受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に入力部２３又は外部からコマンドを与えて任意に変更できるようにしても良い。

画像縮小部１７が出力したＮ個の縮小画像は、第１のデマルチプレクサ２６で振り分けられて縮小画像バッファ２４−１〜Ｎに蓄積される。蓄積の進行に応じて、制御部１１は縮小画像バッファ２４−１〜Ｎから第１のセレクタ２９を介して順次Ｎ個の縮小画像を読み出し、ガウシアンフィルタ処理部１８を動作させてＮ個の縮小ボケ画像を生成する。第２のデマルチプレクサ２７で振り分けられてガウシアンバッファ２５−１〜Ｎに蓄積する。
制御部１１は、ガウシアンバッファ２５−１〜ＮからＮ個の縮小ボケ画像を読み出し、各縮小ボケ画像を拡大処理してＮ個のボケ画像を出力するように画像拡大部１９−１〜Ｎを制御する。

この例では、最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。
もちろん、データ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全てのＮ個の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。

ボケ画像が生成されると、制御部１１は、第２のセレクタ３０を介して順次Ｎ個のボケ画像を読み出し、テーブル参照部１３を用いて、Ｎ個のボケ画像の輝度レベルからＮ個の補正係数要素を求める（ステップＳ１３）。

テーブル参照部１３には、受信画像の輝度値を予め定めた関係によって変換し、出力画像の輝度値を求めるための関係を示した固定テーブルが保持されている。
輝度補正量を可変とするために、輝度補正レベル毎に固定テーブルがあり、補正レベル設定部２２に設定されている輝度補正レベルに対応する固定テーブルが制御部１１によって選択される。

図５は一例として輝度補正レベルを３個用意するものとして、それぞれの受信画像の輝度値と変換後の出力画像の輝度値の重み付け前の関係を示している。
逆光補正の効果を上げるために同一の補正レベルでは、低輝度部の補正量が高輝度部の補正量より大きくなる関係としている。

求められたＮ個の補正係数要素は、第３のデマルチプレクサ２８で振り分けられて重み付け処理部２１−１〜Ｎへ入力される。
テーブル参照部１３の固定テーブルに保持されている補正係数要素は、Ｎ個を加算後に平均値を求める除算を不要にするために、図５の出力画像の輝度値に対して予め１／Ｎ倍にされている。重み付けを行わない場合には、加算結果がそのまま補正係数となるように構成されている。

したがって重み付け係数は、総和がＮになり、且つ輝度補正レベルが大きいほど、補正係数に対するボケ画像の寄与度が輝度補正レベルに応じて予め定められている。具体的には、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度に対して大きくなるように、ボケ画像の寄与度が定められている。

例えばＮ＝３、３つの縮小画像をそれぞれＬ、Ｍ、Ｈ、縮小画像の解像度がＬ＜Ｍ＜Ｈの関係にあり、図５に示す３個の輝度補正レベルと、それに対応した受信画像の輝度値と変換後の出力画像の輝度値の関係を持つ固定テーブルがある場合について考える。この場合、輝度補正レベル１の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、全て１とする。輝度補正レベル２の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．８、１．０、１．２とする。輝度補正レベル３の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．７、０．９、１．４のように定める。

また、異なる重み付け係数の組み合わせとして、輝度補正レベル２の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．９、０．９、１．２としても良い。輝度補正レベル３の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．８、０．８、１．４と定めても良い。
１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となっていればよい。

勿論、輝度補正レベル１において重み付けをするように重み付け係数を定めても構わない。
ボケ画像から生成される補正係数要素が同一の値となる領域は、各ボケ画像を生成する過程で生成された縮小ボケ画像の各々の解像度に依存する。

制御部１１は、輝度補正レベルに応じて、重み付け処理部２１−１〜Ｎで、第３のデマルチプレクサ２８から入力されるＮ個の補正係数要素に対して、重み付け係数を乗じて重み付けを行う（ステップＳ１４）。このとき、重み付け後のＮ個の補正係数要素は補正係数要素加算部２０で加算され補正係数が生成される（ステップＳ１５）。

補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の各画素に対応する各補正係数を適用して補正画像を生成する（ステップＳ１６）。そして、外部機器等に出力させる（ステップＳ１７）。

画像の受信開始後に、輝度補正レベルがスイッチなどの入力部２３からユーザによって入力された時は、１フレーム終了後に新しい輝度補正レベルが補正レベル設定部２２に設定される。

ここで、画像縮小部１７は複数の縮小倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる縮小倍率について各々画像縮小部１７を設けるようにしても良い。
更に、画像拡大部１９−１〜Ｎは複数の拡大倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる拡大倍率について各々画像拡大部を設けるようにしても良い。

また、画像拡大部１９−１〜Ｎは、１つのボケ画像生成に１つの画像拡大部１９−１〜Ｎを用いる構成で説明したが、時分割で単一の画像拡大部を複数のボケ画像生成に用いるようにしても良い。
更に、縮小画像バッファ２４−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。

更に、ガウシアンバッファ２５−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
更に、縮小画像バッファ２４−１〜Ｎ、ガウシアンバッファ２５−１〜Ｎの両方を単一のメモリを用いて内部領域を分ける構成としても良い。

更に、輝度補正レベルは、スイッチなどの入力部２３からユーザによって入力され、補正レベル設定部２２に設定されるとしたが、補正画像の出力先の機器から指示を受けて補正レベル設定部２２に設定しても良い。また、外部画像出力装置２から指示を受けて補正レベル設定部２２に設定しても良い。

重み付け処理部２１−１〜ＮでＮ個の重み付け係数を乗ずるとしたが、時分割で単一の重み付け処理部で係数を変えながら乗ずるようにしても良い。
テーブル参照部１３は、各輝度補正レベルに対応する固定テーブルを持っているとしたが、書き換え可能なＲＡＭ等を用いて、補正レベル設定部２２に設定されている輝度補正レベルに応じて、テーブルを適宜生成するように構成しても良い。

以上のように、第１の実施形態では、低輝度部の補正量が高輝度部の補正量より大きい階調補正を行う時に、かつ階調補正の補正量を大きくした場合においても、逆光撮影などによって明るい背景に対して被写体が暗く撮影され、被写体部分を明るく補正する際のジャギーのある線状の明るい背景が目立つ不自然な画像となることなく、コントラストの劣化を回避して階調補正を行うことができる。

（第２の実施形態）
本発明の第２の実施形態を表す図として、図３、図４、図５であり、図３は構成を表すブロック図、図４は制御の流れを表すフローチャート、図５は入力画像の輝度値に対する補正画像の輝度値を示す特性図である。

図３に従って、本発明の第２の実施形態の全体構成を説明する。画像処理装置１は、外部画像出力装置２と通信を行って画像を受信する通信部１５、受信画像を記憶する原画像バッファ１２を有する。

また、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部１６、Ｙ画像の解像度を下げてＮ（Ｎ＞１）個の解像度が各々異なる縮小画像を生成する画像縮小部１７を有する。

また、画像縮小部１７からの出力先を縮小画像の解像度に応じて振り分ける第１のデマルチプレクサ２６、第１のデマルチプレクサ２６から出力されるＮ個の縮小画像を記憶する縮小画像バッファ２４−１〜Ｎを有する。

また、Ｎ個の縮小画像に対して輝度の平滑化をしてＮ個の縮小ボケ画像を出力するガウシアンフィルタ処理部１８、ガウシアンフィルタ処理部１８へデータを出力する縮小画像バッファ２４−１〜Ｎを選択する第１のセレクタ２９を有する。

また、ガウシアンフィルタ処理部１８からの出力先を縮小ボケ画像の解像度に応じて振り分ける第２のデマルチプレクサ２７、Ｎ個の縮小ボケ画像を記憶するガウシアンバッファ２５−１〜Ｎを有する。

また、Ｎ個の縮小ボケ画像の解像度を複数の縮小ボケ画像の最も高い解像度に拡大処理してＮ個のボケ画像を出力する画像拡大部１９−１〜Ｎを有する。また、生成されたＮ個のボケ画像の輝度レベルから各々所定の重み付け係数を予め乗じたＮ個の重み付け後の補正係数要素を求めるテーブル参照部１３を有する。

また、テーブル参照部１３へデータを出力する画像拡大部１９−１〜Ｎを選択する第２のセレクタ３０、テーブル参照部１３からの出力をボケ画像の解像度に応じて振り分ける第３のデマルチプレクサ２８を有する。

また、第３のデマルチプレクサ２８から出力されるＮ個の重み付け後の補正係数要素を加算して補正係数を出力する補正係数要素加算部２０、補正係数を原画像バッファ１２に記憶されている画像に適用して補正画像を生成を有する。

また、外部機器等に出力する補正係数適用部１４、輝度補正レベルの設定値を保持する補正レベル設定部２２、補正レベル設定部２２に輝度補正レベルを入力する入力部２３を有する。

また、補正レベル設定部２２に保持された輝度補正レベル、及び各ボケ画像を生成する過程で生成された縮小ボケ画像の各々の解像度を有する。更に、生成したボケ画像の総数に応じてテーブル参照部１３を制御するとともに画像処理装置１全体を制御する制御部１１を有して構成される。
外部画像出力装置２は、例えばデジタル画像を撮像可能なカメラであり、色信号ＲＧＢ、色差信号ＹＣｂＣｒ等のデジタル画像データを画像処理装置１に対して出力する。

以下、図３〜図５を用いて実際の動作について説明する。
まず、輝度補正レベルがスイッチなどの入力部２３からユーザによって入力され、補正レベル設定部２２に設定される。入力部２３からの設定がない場合は、予め定めた輝度補正レベルが設定される。
次に、外部画像出力装置２から画像を通信部１５が受信した時（ステップＳ２１）、制御部１１はボケ画像を生成するための制御を実行する（ステップＳ２２）。

ボケ画像の生成について説明する。まず、Ｙ成分抽出部１６が、受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力し、画像縮小部１７へ入力される。
受信画像が水平７２０ドット×垂直４８０ドット、プログレッシブ画像である時のＹ画像が画像縮小部１７に入力された時、Ｎパターンの異なる解像度を持つ縮小画像を生成する。例えば縮小画像の解像度を各々水平３６０ドット×垂直２４０ドット、水平４５ドット×垂直３０ドット、水平１５ドット×垂直１０ドットの３パターンの縮小画像を生成する。

縮小画像のパターン数、解像度はこれと同じ組み合わせに固定する必要は無い。受信画像の解像度に応じて一義的に決定するように予め設定するか、制御部１１に入力部２３又は外部からコマンドを与えて任意に変更できるようにしても良い。

画像縮小部１７が出力したＮ個の縮小画像は、第１のデマルチプレクサ２６で振り分けられて縮小画像バッファ２４−１〜Ｎに蓄積される。蓄積の進行に応じて、制御部１１は縮小画像バッファ２４−１〜Ｎから第１のセレクタ２９を介して順次Ｎ個の縮小画像を読み出し、ガウシアンフィルタ処理部１８を動作させてＮ個の縮小ボケ画像を生成する。Ｎ個の縮小ボケ画像は、第２のデマルチプレクサ２７で振り分けられてガウシアンバッファ２５−１〜Ｎに蓄積される。

制御部１１は、ガウシアンバッファ２５−１〜ＮからＮ個の縮小ボケ画像を読み出し、各縮小ボケ画像を拡大処理してＮ個のボケ画像を出力するように画像拡大部１９−１〜Ｎを制御する。

この例では、最も解像度の高い縮小ボケ画像が取り込まれることになる画像拡大部１９−１〜Ｎのうちの１つは等倍処理であるため、単なるデータ線で代用しても良い。
勿論、データ線に代えずに最も解像度の高い縮小ボケ画像の解像度よりも高い解像度に全てのＮ個の縮小ボケ画像を拡大処理してボケ画像を出力するように制御しても良い。

ボケ画像が生成されると、制御部１１は、第２のセレクタ３０を介して順次Ｎ個のボケ画像を読み出す。
テーブル参照部１３には、受信画像の輝度値を予め定めた関係によって変換し、出力画像の輝度値を求めるための関係を持ち、かつ所定の重み付け係数が乗じられた固定テーブルが保持されている。

各ボケ画像を生成する過程で生成された縮小ボケ画像の各々の解像度と、生成したボケ画像の総数と、前記補正レベル設定部２２に保持されている前記輝度補正レベルの設定値の組み合わせに対応した固定テーブルがある。この組み合わせに対応する固定テーブルが制御部１１によって選択される（ステップＳ２３）。

そして制御部１１は、テーブル参照部１３を用いて、Ｎ個のボケ画像の輝度レベルから各々所定の重み付け係数を予め乗じたＮ個の重み付け後の補正係数要素を求める（ステップＳ２４）。

図５は、一例として輝度補正レベルを３個用意するものとして、それぞれの受信画像の輝度値と変換後の出力画像の輝度値の重み付け前の関係を示している。
逆光補正の効果を上げるために同一の補正レベルでは、低輝度部の補正量が高輝度部の補正量より大きくなる関係としている。

テーブル参照部１３の固定テーブルに保持されている補正係数要素は、Ｎ個を加算後に平均値を求める除算を不要にするために、図５の出力画像の輝度値に対して予め１／Ｎ倍にされている。

従って、予め乗じられている所定の重み付け係数は、総和がＮになり、且つ輝度補正レベルが大きいほど、補正係数に対するボケ画像の寄与度が以下のように定められている。即ち、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度に対して大きくなるように定められている。

例えばＮ＝３、３つの縮小画像をそれぞれＬ、Ｍ、Ｈ、縮小画像の解像度がＬ＜Ｍ＜Ｈの関係にあり、図５に示す３個の輝度補正レベルと、それに対応した受信画像の輝度値と変換後の出力画像の輝度値の関係があるとした場合について考える。この場合、輝度補正レベル１の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、全て１とする。輝度補正レベル２の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．８、１．０、１．２とする。輝度補正レベル３の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．７、０．９、１．４のように定める。

また、異なる重み付け係数の組み合わせとして、輝度補正レベル２の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．９、０．９、１．２としても良い。輝度補正レベル３の時の重み付け係数は、Ｌ、Ｍ、Ｈを元にした各補正係数に対して、各々０．８、０．８、１．４と定めても良い。

１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となっていれば良い。勿論、輝度補正レベル１において重み付けをするように重み付け係数を定めても構わない。

求められた各々所定の重み付け係数を予め乗じたＮ個の重み付け後の補正係数要素は、第３のデマルチプレクサ２８でボケ画像の解像度に応じて振り分けられて補正係数要素加算部２０へ入力される。

入力された重み付け後のＮ個の補正係数要素は補正係数要素加算部２０で加算され補正係数が生成される（ステップＳ２５）。
補正係数適用部１４において、ボケ画像の各画素の元となった原画像バッファ１２の画像の領域を求め、その領域内に含まれる原画像の各画素に対して、ボケ画像の各画素に対応する各補正係数を適用して補正画像を生成する（ステップＳ２６）。そして、外部機器等に出力させる（ステップＳ２７）。

画像の受信開始後に、輝度補正レベルがスイッチなどの入力部２３からユーザによって入力された時は、１フレーム終了後に新しい輝度補正レベルが補正レベル設定部２２に設定される。
ここで、画像縮小部１７は、複数の縮小倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる縮小倍率について各々画像縮小部１７を設けるようにしても良い。

更に、画像拡大部１９−１〜Ｎは、複数の拡大倍率に可変可能なものを用いて説明したが、本発明の実施において必要となる拡大倍率について各々画像拡大部を設けるようにしても良い。
また、画像拡大部１９−１〜Ｎは、１つのボケ画像生成に１つの画像拡大部１９−１〜Ｎを用いる構成で説明したが、時分割で単一の画像拡大部を複数のボケ画像生成に用いるようにしても良い。

更に、縮小画像バッファ２４−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。
更に、ガウシアンバッファ２５−１〜Ｎは単一のメモリを用いて内部領域を分ける構成としても、物理的に個別のメモリを用いて構成しても良い。

更に、縮小画像バッファ２４−１〜Ｎ、ガウシアンバッファ２５−１〜Ｎの両方を単一のメモリを用いて内部領域を分ける構成としても良い。
更に、輝度補正レベルは、スイッチなどの入力部２３からユーザによって入力され、補正レベル設定部２２に設定されるとしたが、補正画像の出力先の機器から指示を受けて補正レベル設定部２２に設定しても良い。また、外部画像出力装置２から指示を受けて補正レベル設定部２２に設定しても良い。

重み付け処理部２１−１〜ＮでＮ個の重み付け係数を乗ずるとしたが、時分割で単一の重み付け処理部で係数を変えながら乗ずるようにしても良い。
テーブル参照部１３は、予め固定テーブルを持っているとしたが、以下のように、輝度補正量及び重み付け係数を考慮したテーブルを適宜生成するように構成しても良い。即ち、書き換え可能なＲＡＭ等を用いて、各ボケ画像を生成する過程で生成された縮小ボケ画像の各々の解像度と、生成したボケ画像の総数と、前記補正レベル設定部２２に保持されている前記輝度補正レベルの設定値の組み合わせに応じてテーブルを適宜生成する。

以上のように、第２の実施形態では、第1の実施形態と同様に、低輝度部の補正量が高輝度部の補正量より大きい階調補正を行う時に、かつ階調補正の補正量を大きくした場合においても、逆光撮影などによって明るい背景に対して被写体が暗く撮影され、被写体部分を明るく補正する際のジャギーのある線状の明るい背景が目立つ不自然な画像となることなく、コントラストの劣化を回避して階調補正を行うことができる。
更に、重み付け処理をテーブル参照部１３でのテーブル参照時に同時に行うため、階調処理に要する時間を短縮する事ができる。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第１の実施形態に係る画像処理装置の画像処理の流れを表すフローチャートである。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の画像処理の流れを表すフローチャートである。 本発明に係る画像処理装置における入力画像の輝度値に対する補正画像の輝度値を示す特性図である。 階調補正する際に用いる原画像の解像度を低下させたボケ画像（ここではＬ、Ｍ、Ｈの３個）を示す模式図である。

符号の説明

１ 画像処理装置
２ 外部画像出力装置
１１ 制御部
１２ 原画像バッファ
１３ テーブル参照部
１４ 補正係数適用部
１５ 通信部
１６ Ｙ成分抽出部
１７ 画像縮小部
１８ ガウシアンフィルタ処理部
１９ 画像拡大部
２０ 補正係数要素加算部
２１ 重み付け処理部
２２ 補正レベル設定部
２３ 入力部
２４ 縮小画像バッファ
２５ ガウシアンバッファ
２６ 第１のデマルチプレクサ
２７ 第２のデマルチプレクサ
２８ 第３のデマルチプレクサ
２９ 第１のセレクタ
３０ 第２のセレクタ

Claims (14)

1. 外部画像出力装置と通信を行って画像を受信する通信部と、
   受信画像を記憶する原画像バッファと、
   前記受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部と、
   前記Ｙ画像の解像度を下げて解像度が各々異なる複数の縮小画像を生成する画像縮小部と、
   前記複数の縮小画像を記憶する縮小画像バッファと、
   前記複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部と、
   前記複数の縮小ボケ画像を記憶するガウシアンバッファと、
   前記複数の縮小ボケ画像の解像度を複数の縮小ボケ画像の最も高い解像度に拡大処理して複数のボケ画像を出力する画像拡大部と、
   生成された前記複数のボケ画像から複数の補正係数要素を求めるテーブル参照部と、
   前記複数の補正係数要素に対して各々の重み付け係数を乗じて、重み付けされた複数の補正係数要素の出力を行う重み付け処理部と、
   前記重み付けされた複数の補正係数要素を加算して補正係数を出力する補正係数要素加算部と、
   前記補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成し、外部機器に出力させる補正係数適用部と、
   輝度補正レベルの設定値を保持する補正レベル設定部と、
   前記補正レベル設定部に保持された前記輝度補正レベルに応じて前記重み付け処理部を制御するとともに画像処理装置全体を制御する制御部と
   を含み、
   前記制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように前記重み付け処理部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように前記重み付け処理部の制御を行うことを特徴とする画像処理装置。
2. 前記補正レベル設定部に前記輝度補正レベルを入力する入力部を更に含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正レベル設定部は外部機器の指示によって前記輝度補正レベルを設定されることを特徴とする請求項１に記載の画像処理装置。
4. 前記補正レベル設定部に前記輝度補正レベルを入力する入力部を有して輝度補正レベルを設定可能であり、且つ前記補正レベル設定部は外部機器の指示によって前記輝度補正レベルを設定することも可能であることを特徴とする請求項１に記載の画像処理装置。
5. 前記補正レベル設定部に前記輝度補正レベルが設定されない場合、予め定められた初期値を前記輝度補正レベルとすることを特徴とする請求項２〜４のいずれか１項に記載の画像処理装置。
6. 同一の前記輝度補正レベルにおいて、低輝度部分の補正量が高輝度部分の補正量より大きいことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 外部画像出力装置と通信を行って画像を受信する通信部と、
   受信画像を記憶する原画像バッファと、
   前記受信画像から輝度レベル情報を抽出して輝度成分のみのデータを持つＹ画像を出力するＹ成分抽出部と、
   前記Ｙ画像の解像度を下げて解像度が各々異なる複数の縮小画像を生成する画像縮小部と、
   前記複数の縮小画像を記憶する縮小画像バッファと、
   前記複数の縮小画像に対して輝度の平滑化をして複数の縮小ボケ画像を出力するガウシアンフィルタ処理部と、
   前記複数の縮小ボケ画像を記憶するガウシアンバッファと、
   前記複数の縮小ボケ画像の解像度を複数の縮小ボケ画像の最も高い解像度に拡大処理して複数のボケ画像を出力する画像拡大部と、
   生成された前記複数のボケ画像から各々重み付け係数を乗じた複数の重み付け後の補正係数要素を求めるテーブル参照部と、
   前記複数の重み付け後の補正係数要素を加算して補正係数を出力する補正係数要素加算部と、
   前記補正係数を前記原画像バッファに記憶されている画像に適用して補正画像を生成し、外部機器に出力させる補正係数適用部と、
   輝度補正レベルの設定値を保持する補正レベル設定部と、
   前記補正レベル設定部に保持された前記輝度補正レベルに応じて前記テーブル参照部を制御するとともに画像処理装置全体を制御する制御部と
   を含み、
   前記制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように前記テーブル参照部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように前記テーブル参照部の制御を行うことを特徴とする画像処理装置。
8. 前記制御部は、前記テーブル参照部を制御する際に、各ボケ画像を生成する過程で生成された縮小ボケ画像の各々の解像度と、生成したボケ画像の総数と、前記補正レベル設定部に保持されている前記輝度補正レベルの設定値に応じて、前記テーブル参照部に対して、参照するテーブルを変更する制御を行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記補正レベル設定部に前記輝度補正レベルを入力する入力部を有することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記補正レベル設定部は、外部機器の指示によって前記輝度補正レベルを設定されることを特徴とする請求項７又は８に記載の画像処理装置。
11. 前記補正レベル設定部に前記輝度補正レベルを入力する入力部を有して輝度補正レベルを設定可能であり、且つ前記補正レベル設定部は外部機器の指示によって前記輝度補正レベルを設定することも可能であることを特徴とする請求項７又は８に記載の画像処理装置。
12. 前記補正レベル設定部に前記輝度補正レベルが設定されない場合、予め定められた初期値を前記輝度補正レベルとすることを特徴とする請求項７〜１１のいずれか１項に記載の画像処理装置。
13. 同一の前記輝度補正レベルにおいて、低輝度部分の補正量が高輝度部分の補正量より大きいことを特徴とする請求項７〜１２のいずれか１項に記載の画像処理装置。
14. 画像の解像度を下げて解像度が各々異なる複数の縮小画像から複数の縮小ボケ画像を出力するボケ画像生成部と、
    生成された前記複数のボケ画像から複数の補正係数要素に基づいて複数の補正係数要素を加算して補正係数を出力する補正係数要素加算部と、
    前記補正係数を画像に適用して補正画像を生成して外部機器に出力させる補正係数適用部と、
    補正レベルに応じて前記重み付け処理部を制御するとともに画像処理装置全体を制御する制御部と
    を含み、
    前記制御部は、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度以上となるように前記重み付け処理部を制御するとともに、輝度補正レベルに応じて、暗部輝度の明方向への補正量が大きいほど、１つの縮小画像から生成されたボケ画像の寄与度が、より解像度の低い縮小画像から生成されたボケ画像の寄与度の対して大きくなるように前記重み付け処理部の制御を行うことを特徴とする画像処理装置。

Images