JP2007006168A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】鮮鋭度を損なうことなくコントラストを向上させるように圧縮する。
【解決手段】加算器３３は、加算器２５乃至乗算器３２により、照明成分の加減残量Ｔ（Ｌ）を算出する。加算器３４は、元々の照明成分にＴ（Ｌ）を加算し、ゲイン最適化照明成分Ｔ（Ｌ）’を算出する。アパーチャコントローラ２３は、反射率ゲイン係数算出部３５により決定された適応エリアに基づいて、照明成分レベル依存のアパーチャ補正を行う。加算器３７は、アパーチャ補正後のテクスチャ成分にＴ（Ｌ）’を加算する。これにより、ダイナミックレンジ圧縮後の輝度信号Ｙ２が得られる。HPF４１乃至加算器４３は、低域レベル部分のクロマ信号に対してLPF処理する。これにより、ダイナミックレンジ圧縮後のクロマ信号Ｃ２が得られる。本発明は、ディジタルビデオカメラに適用することができる。
【選択図】図２

Description

本発明は、撮像されたディジタル画像を適切に圧縮することができるようにした画像処理装置および方法、並びにプログラムに関するものである。

従来、例えば、ディジタルビデオカメラ等のディジタル画像記録装置においては、固体撮像素子によって撮像され、A/D（Analog to Digital）変換されたディジタル画像の入力レンジを適切に圧縮し、コントラスト感（明暗の差）や鮮鋭度（境界の明確さ）を損なうことなく記録レンジへと変換する手法として、階調変換によるコントラスト強調手法が考えられていた。

このコントラスト強調手法の代表的なものとしては、例えば、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、レベル変換関数と称する）で変換するトーンカーブ調整法、または、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる手法が提案されている。

これらのコントラスト強調手法を用いると、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち、一部の輝度域しかコントラストを向上させることができない課題があった。また、トーンカーブ調整の場合には、画像の最明部と最暗部において、ヒストグラムイコライゼーションの場合には、頻度分布の少ない輝度域付近において、コントラストが逆に低下してしまうという課題があった。さらに、コントラスト強調手法では、高周波信号を含むエッジ付近のコントラストも強調されることになり、不自然な増幅が誘発され、画質劣化を避けることができない問題があった。

そこで、例えば、特許文献１においては、入力画像データのうち、画素値の変化が急峻なエッジを保存したまま当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調して、画像鮮鋭度を損なうことなく全体のコントラスト及び鮮鋭度を向上させる技術が提案されている。
特開２００１−２９８６２１号公報

しかしながら、上述した特許文献１の技術をカメラ信号処理システムに適用した場合、処理負荷が非常に高くなる問題があった。

また、Y/C分離されたカラー画像に対して適用した場合、Ｙ信号には適切な処理が施されるものの、対応するＣ信号に対しては、何ら処理が施されず、所望する結果が得られない問題があった。

本発明はこのような状況に鑑みてなされたものであり、撮像されたディジタル画像を適切に圧縮することにより、鮮鋭度を損なうことなくコントラストを向上させることができるようにするものである。

本発明は、入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された上方向と下方向の平均輝度成分の差分値、および左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出手段／ステップと、検出手段／ステップにより検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内にあるか否かを判定する判定手段／ステップと、判定手段／ステップにより注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第１のフィルタリング手段／ステップと、判定手段／ステップにより注目画素がエッジ方向のレベル差内にないと判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングを施す第２のフィルタリング手段／ステップと、第１および第２のフィルタリング手段／ステップによりフィルタリングされた入力画像から照明成分を抽出する抽出手段／ステップと、入力画像の輝度信号、および抽出手段／ステップにより抽出された照明成分に基づいて、テクスチャ成分を分離する分離手段／ステップと、抽出手段／ステップにより抽出された照明成分に基づいて、照明成分加減残量を算出する第１の算出手段／ステップと、照明成分、および第１の算出手段／ステップにより算出された照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第１の取得手段／ステップと、分離手段／ステップにより分離されたテクスチャ成分、および第１の取得手段／ステップにより取得されたゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得手段／ステップとを備えることを特徴とする。

前記レベル差内とは、レベルの高い方の平均輝度成分とレベルの低い方の平均輝度成分の間のレベルであるようにすることができる。

前記抽出手段により抽出された照明成分から、アパーチャ補正のゲイン量を算出する第２の算出手段と、第２の算出手段により算出されたゲイン量に基づいて、分離手段により分離されたテクスチャ成分をアパーチャ補正する補正手段とをさらに設けるようにすることができる。

前記第１の算出手段は、固定の入出力関数を有し、固定の入出力関数に基づいて、照明成分加減残量を算出するようにすることができる。

前記第１の算出手段は、固定の入出力関数を可変に調整する調整手段を有するようにすることができる。

前記第１の算出手段は、入力信号のレベル毎に、１つの処理ブロックまたは複数の処理ブロックで構成されているものとすることができる。

本発明においては、入力画像のうち、注目画素を含む周囲の４方向の画素の平均輝度成分が算出され、算出された上下方向および左右方向の平均輝度成分の差分値に基づいて、エッジ方向が検出され、検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内にあるか否かが判定され、注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングが施され、注目画素がエッジ方向のレベル差内にないと判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングが施される。そして、フィルタリングされた入力画像から照明成分が抽出され、入力画像の輝度信号および抽出された照明成分に基づいて、テクスチャ成分が分離され、照明成分に基づいて照明成分加減残量が算出され、照明成分および照明成分加減残量に基づいてゲイン最適化照明成分が取得され、テクスチャ成分およびゲイン最適化照明成分に基づいて出力輝度信号が取得される。

本発明によれば、撮像されたディジタル画像を適切に圧縮することができる。特に、鮮鋭度を損なうことなくコントラストを向上させるとともに、処理負荷を低減しつつ、撮像されたディジタル画像を適切に圧縮することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

請求項１に記載の画像処理装置（例えば、図１のディジタルビデオカメラ１）は、入力画像のうち、注目画素（例えば、図３Ａの注目画素５１）を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分（例えば、図３Ｂの上側平均輝度成分６１、下側平均輝度成分６２、右側平均輝度成分６３、および左側平均輝度成分６４）を算出し、算出された上方向と下方向の平均輝度成分の差分値（例えば、図３Ｂの差分△ｖ）、および左方向と右方向の平均輝度成分の差分値（例えば、図３Ｂの差分△ｈ）に基づいて、エッジ方向を検出する検出手段（例えば、図２のエッジ検出機能付LPF２１）と、検出手段により検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内（例えば、図１６Ａまたは図１６Ｂのレベルの高い方の平均輝度成分のレベルＬ１とレベルの低い方の平均輝度成分のレベルＬ２の間の範囲Ｂ）にあるか否かを判定する判定手段（例えば、図２のエッジ検出機能付LPF２１）と、判定手段により注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す（例えば、３×３画素のLPFによる加算平均値で置き換えて出力する）第１のフィルタリング手段（例えば、図２のエッジ検出機能付LPF２１）と、判定手段により注目画素がエッジ方向のレベル差内にない（例えば、図１６Ａまたは図１６Ｂに示す、レベルの高い方の平均輝度成分のレベルＬ１より高い範囲Ａまたはレベルの低い方の平均輝度成分のレベルＬ２より低い範囲Ｃ）と判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングを施す（上下または左右の平均輝度成分で置き換えて出力する）第２のフィルタリング手段（例えば、図２のエッジ検出機能付LPF２１）と、第１および第２のフィルタリング手段によりフィルタリングされた入力画像から照明成分を抽出する抽出手段（例えば、図２のエッジ検出機能付LPF２１）と、入力画像の輝度信号、および抽出手段により抽出された照明成分に基づいて、テクスチャ成分を分離する分離手段（例えば、図２の加算器２２）と、抽出手段により抽出された照明成分に基づいて、照明成分加減残量を算出する第１の算出手段（例えば、図２の加算器３３）と、照明成分、および第１の算出手段により算出された照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第１の取得手段（例えば、図２の加算器３４）と、分離手段により分離されたテクスチャ成分、および第１の取得手段により取得されたゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得手段（例えば、図２の加算器３７）とを備えることを特徴とする。

請求項３に記載の画像処理装置は、抽出手段により抽出された照明成分から、アパーチャ補正のゲイン量を算出する第２の算出手段（例えば、図２の反射率ゲイン係数算出部３５）と、第２の算出手段により算出されたゲイン量に基づいて、分離手段により分離されたテクスチャ成分をアパーチャ補正する補正手段（例えば、図２のアパーチャコントローラ２３）とをさらに備えることを特徴とする。

請求項４に記載の画像処理装置の第１の算出手段は、固定の入出力関数（例えば、図５Ａおよび図６Ａに示すオフセットテーブル）を有し、固定の入出力関数に基づいて、照明成分加減残量を算出することを特徴とする。

請求項５に記載の画像処理装置の第１の算出手段は、固定の入出力関数を可変に調整する調整手段（例えば、入力調整１ａ，１ｂ，２ａ，２ｂ、およびゲイン１ｃ，２ｃの値を調整する図２のマイクロコンピュータ２４）を有することを特徴とする。

請求項７に記載の画像処理方法は、入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された上方向と下方向の平均輝度成分の差分値、および左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出ステップ（例えば、図１８のステップＳ４１乃至Ｓ４４およびＳ４８）と、検出ステップの処理により検出されたエッジ方向に関し、注目画素がエッジ方向のレベル差内にあるか否かを判定する判定ステップ（例えば、図１８のステップＳ４５またはＳ４９）と、判定ステップの処理により注目画素がエッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第１のフィルタリングステップ（例えば、図１８のステップＳ４６またはＳ５０）と、判定ステップの処理により注目画素がエッジ方向のレベル差内にないと判定された場合、エッジ方向と平行な方向の平均輝度成分を用いてフィルタリングを施す第２のフィルタリングステップ（例えば、図１８のステップＳ４７またはＳ５１）と、第１および第２のフィルタリングステップの処理によりフィルタリングされた入力画像から照明成分を抽出する抽出ステップ（例えば、図１０のステップＳ１）と、入力画像の輝度信号、および抽出ステップの処理により抽出された照明成分に基づいて、テクスチャ成分を分離する分離ステップ（例えば、図１０のステップＳ２）と、抽出ステップの処理により抽出された照明成分に基づいて、照明成分加減残量を算出する算出ステップ（例えば、図１０のステップＳ４）と、照明成分、および算出ステップの処理により算出された照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第１の取得ステップ（例えば、図１０のステップＳ５）と、分離ステップの処理により分離されたテクスチャ成分、および第１の取得ステップの処理により取得されたゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得ステップ（例えば、図１０のステップＳ６）とを含むことを特徴とする。

なお、請求項８に記載のプログラムにおいても、各ステップが対応する実施の形態（但し一例）は、請求項７に記載の画像処理方法と同様である。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明を適用したディジタルビデオカメラ１の記録系の構成例を示す図である。

固体撮像素子１１は、例えば、CCD（Charge Coupled Devices）やC-MOS（Complementary Metal Oxide Semiconductor）等で構成され、入射された被写体の光像を光電変換して入力画像データＳ１を生成し、生成した入力画像データＳ１をカメラ信号処理部１２に出力する。カメラ信号処理部１２は、固体撮像素子１１より入力された入力画像データＳ１に対し、サンプリング処理やＹＣ分離処理などの信号処理を施し、輝度信号Ｙ１およびクロマ信号Ｃ１をダイナミックレンジ圧縮部１３に出力する。

ダイナミックレンジ圧縮部１３は、カメラ信号処理部１２より入力された輝度信号Ｙ１およびクロマ信号Ｃ１を、鮮鋭度を損なうことなくコントラストを向上させるようにして、記録レンジに圧縮し、圧縮された輝度信号Ｙ２およびクロマ信号Ｃ２を記録フォーマット処理部１４に出力する。記録フォーマット処理部１４は、ダイナミックレンジ圧縮部１３より入力された輝度信号Ｙ２およびクロマ信号Ｃ２に対し、誤り訂正符号の付加や変調など所定の処理を施し、信号Ｓ２を記録メディア１５に記録させる。記録メディア１５は、例えば、CD-ROM（Compact Disc-Read Only Memory）、DVD（Digital Versatile Disc）、あるいは半導体メモリなどで構成される。

図２は、ダイナミックレンジ圧縮部１３の内部の構成例を示すブロック図である。

図２の例の場合、大きく分けて、輝度信号Ｙ１の処理を行うブロックとクロマ信号Ｃ１の処理を行うブロックで構成されている。また、加算器２５乃至加算器３４は、輝度信号Ｙ１の暗い部分に対する処理を行うブロックであり、加算器２２、アパーチャコントローラ２３、反射率ゲイン係数算出部３５、および加算器３６は、輝度信号Ｙ１の明るい部分に対する処理を行うブロックである。

カメラ信号処理部１２より出力された輝度信号Ｙ１は、エッジ検出機能付LPF（Lowpass Filter）２１、加算器２２、およびアパーチャコントローラ（アパコン）２３に入力され、クロマ信号Ｃ１は、乗算器３９に入力される。

エッジ検出機能付LPF２１は、入力された輝度信号Ｙ１から照明成分（エッジが保存された平滑化信号Ｌ）を抽出し、抽出された平滑化信号Ｌを加算器２２，２５，２９、および３４、反射率ゲイン係数算出部３５、クロマゲイン係数算出部３８、並びに、クロマエリア判別部４０にそれぞれ供給する。以下、エッジが保存された平滑化信号Ｌを、信号Ｌと略称する。

ここで、図３を参照して、エッジ検出機能付LPF２１のエッジ検出の詳細について説明する。なお、図３において、最上左部の画素を（１，１）の画素と記載し、その横方向ｍ番目、縦方向ｎ番目の画素を（ｍ，ｎ）の画素と記載する。

エッジ検出機能付LPF２１は、図３Ａに示されるように、注目画素５１（（４，４）の画素）に対して、その周囲の縦７個×横７個の画素を処理対象に設定する。まず、エッジ検出機能付LPF２１は、メディアン処理対象画素である、（４，１）、（４，２）、（４，３）、（４，５）、（４，６）、（４，７）、（１，４）、（２，４）、（３，４）、（５，４）、（６，４）、および（７，４）の各画素値を算出する。

例えば、画素Ｐ（（４，１）の画素）の画素値を算出する場合には、水平方向の７つの画素群５３が用いられ、例えば、（１,６,１５,２０,１５,６,１）／６４のローパスフィルタにより加算平均値が算出される。すなわち、画素Ｐ＝｛（１，１）の画素×１／６４｝＋｛（２，１）の画素×６／６４｝＋｛（３，１）の画素×１５／６４｝＋｛（４，１）の画素×２０／６４｝＋｛（５，１）の画素×１５／６４｝＋｛（６，１）の画素×６／６４｝＋｛（７，１）の画素×１／６４｝により算出される。

次に、エッジ検出機能付LPF２１は、注目画素５１と左側メディアン処理対象画素である３つの画素群５４に基づいて、メディアン値を算出し、その中央２値の平均値を左側平均輝度成分（適宜、H_leftと称する）６４とする。同様に、上側平均輝度成分（適宜、V_topと称する）６１、下側平均輝度成分（適宜、V_downと称する）６２、右側平均輝度成分（適宜、H_rightと称する）６３も算出する。これにより、図３Ｂに示されるように、注目画素５１の周囲４方向の平均輝度成分が得られる。エッジ検出機能付LPF２１は、縦方向の平均輝度成分の差分△ｖおよび横方向の平均輝度成分の差分△ｈを算出し、差分の大きい方、すなわち、相関の小さい方をエッジ方向と判断する。エッジ方向が判断された後は、エッジ方向と注目画素５１が比較される。

そして、エッジ検出機能付LPF２１は、図４に示されるように、注目画素５１が、エッジ方向のレベル差内である範囲Ｂ（すなわち、レベルの高い方の平均輝度成分のレベルＬ１とレベルの低い方の平均輝度成分のレベルＬ２の間）にある場合、注目画素５１をそのまま出力する。これに対し、注目画素５１が、エッジ方向のレベル差外である範囲Ａ（レベルの高い方の平均輝度成分のレベルＬ１より高い）または範囲Ｃ（レベルの低い方の平均輝度成分のレベルＬ２より低い）にある場合、エッジ検出機能付LPF２１は、平滑化信号Ｌ（例えば、７×７画素のローパスフィルタによる加算平均値）で置き換えて出力する。

なお、図３の例では、注目画素５１に対して、その周囲の縦７個×横７個の画素を処理対象とするようにしたが、これに限らず、縦９個×横９個の画素、縦１１個×横１１個の画素、またはそれ以上の数の画素を処理対象とするようにしてもよい。

図２の説明に戻る。マイクロコンピュータ（マイコン）２４は、照明成分オフセットテーブル２７の入力輝度レベルから減算されるオフセット量を表す入力調整１ａを加算器２５に供給し、照明成分オフセットテーブル２７の入力輝度レベルに乗算されるゲイン量を表す入力調整１ｂを乗算器２６に供給する。またマイクロコンピュータ２４は、照明成分オフセットテーブル３１の入力輝度レベルから減算されるオフセット量を表す入力調整２ａを加算器２９に供給し、照明成分オフセットテーブル３１の入力輝度レベルに乗算されるゲイン量を表す入力調整２ｂを乗算器３０に供給する。またマイクロコンピュータ２４は、照明成分オフセットテーブル２７の出力輝度レベルに乗算される最大ゲイン量を表すゲイン１ｃを乗算器２８に供給し、照明成分オフセットテーブル３１の出力輝度レベルに乗算される最大ゲイン量を表すゲイン２ｃを乗算器３２に供給する。さらにマイクロコンピュータ２４は、反射率ゲイン係数テーブルの入力輝度レベルから減算されるオフセット量を表す入力調整add、および、反射率ゲイン係数テーブルの出力輝度レベルに乗算されるゲイン量を表す出力調整offsetを反射率ゲイン係数算出部３５に供給する。

ここで、マイクロコンピュータ２４は、ヒストグラムを判断して、入力調整１ａ，１ｂ，２ａ，２ｂ、ゲイン１ｃ，２ｃ、入力調整add、および出力調整offsetの値を調整するか、あるいは、ユーザからの指示に基づいて、これらの値を調整する。また、入力調整１ａ，１ｂ，２ａ，２ｂ、ゲイン１ｃ，２ｃは、製造過程において予め決められるようにしても良い。

加算器２５は、エッジ検出機能付LPF２１から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整１ａを加算し、乗算器２６に供給する。乗算器２６は、加算器２５から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整１ｂを乗算し、照明成分オフセットテーブル２７に供給する。

照明成分オフセットテーブル２７は、加算器２５および乗算器２６から供給された入力調整１ａ，１ｂに基づいて、超低域の輝度レベルのブースト量を決定するオフセットテーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフセットテーブル２７は、保持しているオフセットテーブルを参照し、加算器２５および乗算器２６を介して供給された信号Ｌの輝度レベルに応じたオフセット量ofst1を乗算器２８に供給する。乗算器２８は、照明成分オフセットテーブル２７から供給されたオフセット量ofst1に、マイクロコンピュータ２４から供給されたゲイン１ｃを乗算し、加算器３３に供給する。

図５Ａは、照明成分オフセットテーブル２７が保持するオフセットテーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量ofst1を表わしている（後述する図５Ｂにおいても同様とする）。ここで、図５Ａに示されるオフセットテーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、オフセット量ofst1（縦軸）は、例えば、次式（１）で表される。

図５Ｂは、照明成分オフセットテーブル２７が保持するオフセットテーブルと調整パラメータの関係を説明するための図である。図５Ｂに示されるように、入力調整１ａ（図中矢印１ａ）は、オフセットテーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整１ａは、オフセットテーブルを右方向にシフトさせる量である。入力調整１ｂ（図中矢印１ｂ）は、オフセットテーブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が固定である場合、入力調整１ｂは、オフセットテーブルのエリア幅を増減させる量であって、処理を施す輝度レベル範囲の調整に相当する。ゲイン１ｃ（図中矢印１ｃ）は、オフセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わしている。すなわち、ゲイン１ｃは、オフセットテーブルの縦軸を増減させる量であって、処理のブースト量に直接効いてくる値とされる。

図２の説明に戻る。加算器２９は、エッジ検出機能付LPF２１から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整２ａ加算し、乗算器３０に供給する。乗算器３０は、加算器２９から供給された信号Ｌに、マイクロコンピュータ２４から供給された入力調整２ｂを乗算し、照明成分オフセットテーブル３１に供給する。

照明成分オフセットテーブル３１は、加算器２９および乗算器３０から供給された入力調整２ａ，２ｂに基づいて、低域の輝度レベルのブースト量を決定するオフセットテーブルのオフセット量およびゲイン量を調整し、それを保持する。また照明成分オフセットテーブル３１は、保持しているオフセットテーブルを参照し、加算器２９および乗算器３０を介して供給された信号Ｌの輝度レベルに応じたオフセット量ofst2を乗算器３２に供給する。乗算器３２は、照明成分オフセットテーブル３１から供給されたオフセット量ofst2に、マイクロコンピュータ２４から供給されたゲイン２ｃを乗算し、加算器３３に供給する。

図６Ａは、照明成分オフセットテーブル３１が保持するオフセットテーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、オフセット量ofst2を表わしている（後述する図６Ｂにおいても同様とする）。ここで、図６Ａに示されるオフセットテーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、オフセット量ofst2（縦軸）は、例えば、次式（２）で表される。

図６Ｂは、照明成分オフセットテーブル３１が保持するオフセットテーブルと調整パラメータの関係を説明するための図である。図６Ｂに示されるように、入力調整２ａ（図中矢印２ａ）は、オフセットテーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整２ａは、オフセットテーブルを右方向にシフトさせる量である。入力調整２ｂ（図中矢印２ｂ）は、オフセットテーブルへの入力輝度レベルに乗算されるゲイン量を表わしている。すなわち、入力が固定である場合、入力調整２ｂは、オフセットテーブルのエリア幅を増減させる量であって、処理を施す輝度レベル範囲の調整に相当する。ゲイン２ｃ（図中矢印２ｃ）は、オフセットテーブルからの出力輝度レベルに乗算される最大ゲイン量を表わしている。すなわち、ゲイン２ｃは、オフセットテーブルの縦軸を増減させる量であって、処理のブースト量に直接効いてくる値とされる。

図２の説明に戻る。加算器３３は、乗算器２８から供給された、最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフセット量ofst1に、乗算器３２から供給された、最大ゲイン量が調整された低域の輝度レベルのブースト量を決定するオフセット量ofst2を加算し、得られたオフセット量（照明成分加減残量Ｔ（Ｌ））を加算器３４に供給する。加算器３４は、エッジ検出機能付LPF２１から供給された信号Ｌ（元々の照明成分）に、加算器３３から供給された照明成分加減残量Ｔ（Ｌ）を加算し、得られたゲイン最適化照明成分（信号Ｔ（Ｌ）’）を加算器３７に供給する。

加算器２２は、カメラ信号処理部１２から入力された輝度信号Ｙ１（原信号）から、エッジ検出機能付LPF２１から供給された信号Ｌ（照明成分）を減算し、得られたテクスチャ成分（信号Ｒ）を加算器３６に供給する。

反射率ゲイン係数算出部３５は、反射率ゲイン係数テーブルを参照し、ブーストした輝度信号のうち、超低輝度および低輝度のブーストエリア外を適応エリアに決定し、それをアパーチャコントローラ２３に供給する。また反射率ゲイン係数算出部３５は、適応エリアを決定する際、マイクロコンピュータ２４から供給された入力調整addおよび出力調整offsetに基づいて、反射率ゲイン係数テーブルのオフセット量およびゲイン量を調整する。

図７Ａは、反射率ゲイン係数算出部３５が保持する反射率ゲイン係数テーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、反射率ゲイン量を表わしている（後述する図７Ｂにおいても同様とする）。図７Ｂは、反射率ゲイン係数算出部３５が保持する反射率ゲイン係数テーブルと調整パラメータの関係を説明するための図である。

図７Ｂに示されるように、出力調整offset（図中矢印offset）は、反射率ゲイン係数テーブルからの出力輝度レベルに乗算されるゲイン量を表わしている。すなわち、出力調整offsetは、反射率ゲイン係数テーブルの縦軸を増加させる量である。調整パラメータＡ（図中矢印Ａ）は、アパーチャコントローラ２３の最大ゲイン量を決定するパラメータを表わしている。入力調整add（図中矢印add）は、反射率ゲイン係数テーブルへの入力輝度レベルから差し引かれるオフセット量を表わしている。すなわち、入力が固定である場合、入力調整addは、反射率ゲイン係数テーブルを右方向にシフトさせる量である。limit levelは、アパーチャコントローラ２３において余分なアパーチャ信号をつけないようにするために設定されたマックスリミット（最大ゲイン量）を表わしている。

ここで、図７Ｂに示される反射率ゲイン係数テーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、アパーチャコントロール量apgain（縦軸）は、例えば、次式（３）で表される。ただし、Ａは、アパーチャコントローラ２３の最大ゲイン量を表わし、offsetは、反射率ゲイン係数テーブルを上方向にシフトさせる量を表わし、addは、反射率ゲイン係数テーブルを右方向にシフトさせる量を表わしている。

なお、上記式（３）による算出の結果、アパーチャコントロール量apgain’がlimit levelより小さい場合（図７Ｂにおいて、実線で示す反射率ゲイン係数テーブル）は、apgain’がアパーチャコントロール量apgainとして出力される。一方、アパーチャコントロール量apgain’がlimit levelより大きい場合（図７Ｂにおいて、点線で示す反射率ゲイン係数テーブルのlimit levelより大きくなる部分）は、limit levelがアパーチャコントロール量apgainとして出力される。

図２の説明に戻る。アパーチャコントローラ２３は、反射率ゲイン係数算出部３５により決定された適応エリアに基づいて、超低輝度および低輝度のブーストエリア外に適応されるように、カメラ信号処理部１２から入力された輝度信号Ｙ１の照明成分レベル依存のアパーチャ補正を行い、加算器３６に供給する。

加算器３６は、加算器２２から供給された信号Ｒ（原信号から照明成分が差し引かれたテクスチャ成分）に、アパーチャコントローラ２３から供給されたアパーチャ補正された輝度信号を加算し、加算器３７に供給する。加算器３７は、加算器３６から供給されたアパーチャ補正後のテクスチャ成分に、加算器３４から供給されたゲイン最適化照明成分（信号Ｔ（Ｌ）’）を加算し、得られたダイナミックレンジ圧縮後の輝度信号Ｙ２を記録フォーマット処理部１４に出力する。

クロマゲイン係数算出部３８は、クロマゲイン係数テーブルを参照し、ブーストした輝度信号のうち、特に低輝度レベルにのったクロマ信号に対して乗算するゲイン量を決定し、それを乗算器３９に供給する。

図８Ａは、クロマゲイン係数算出部３８が保持するクロマゲイン係数テーブルの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマゲイン量を表わし、この縦軸の値には、１のオフセットがはかされている（後述する図８Ｂにおいても同様とする）。図８Ｂは、クロマゲイン係数算出部３８が保持する係数テーブルと調整パラメータの関係を説明するための図である。図８Ｂに示されるように、調整パラメータＢは、クロマゲイン係数テーブルの最大ゲイン量を決定するパラメータを表わしている（図中矢印Ｂ）。ここで、図８Ｂに示されるクロマゲイン係数テーブルにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、クロマゲイン量cgain（縦軸）は、例えば、次式（４）で表される。ただし、Ｂは、クロマゲイン係数テーブルの最大ゲイン量を表わしている。

図２の説明に戻る。乗算器３９は、入力されたクロマ信号Ｃ１に、クロマゲイン係数算出部３８から供給されたゲイン量を乗算し、HPF（Highpass Filter）４１および加算器４３に供給する。なお、図８Ｂに示したクロマゲイン係数テーブルにおいて、縦軸の値には、１のオフセットがはかされているため、例えば、調整パラメータＢが０．０の場合、クロマ信号が入力値のまま乗算器３９から出力される。

HPF４１は、乗算器３９から供給されたクロマ信号の高域成分を抽出し、それを乗算器４２に供給する。クロマエリア判別部４０は、ブーストしたエリアの輝度信号にのったクロマ信号に対し、LPFをかけるエリアを選択し、それを乗算器４２に供給する。

図９は、クロマエリア判別部４０が選択に用いる判別エリアの例を示している。同図において、横軸は、入力輝度レベルを表わし、縦軸は、クロマエリアを表わしている。図９に示されるように、判別エリアは、ブーストエリアと非ブーストエリアがリニアに変化されている。これにより、LPFのかかり具合が調整される。ここで、図９に示される判別エリアにおいて、８ビットに正規化された入力輝度レベル（横軸）をｘとすると、クロマエリアcarea（縦軸）は、例えば、次式（５）で表される。

図２の説明に戻る。乗算器４２は、HPF４１から供給された高域成分のクロマ信号に、クロマエリア判別部４０から供給されたLPFをかけるエリアを乗算し、それを加算器４３に供給する。加算器４３は、乗算器３９から供給されたクロマ信号から、乗算器４２から供給された高域成分のクロマ信号を減算（すなわち、低域レベル部分のクロマ信号に対してLPF処理）することでクロマノイズを低減し、得られたダイナミックレンジ圧縮後のクロマ信号Ｃ２を記録フォーマット処理部１４に出力する。

図２の例では、加算器２５、乗算器２６、照明成分オフセットテーブル２７、および乗算器２８が、超低域の輝度レベルのブースト量を決定するブロックを構成し、加算器２９、乗算器３０、照明成分オフセットテーブル３１、および乗算器３２が、低域の輝度レベルのブースト量を決定するブロックを構成しているが、これは一例であり、少なくとも、低輝度のブースト量を決定する１つのブロックが構成されていれば、その数は、１つでも、２つ以上（複数）でもよい。

次に、図１０のフローチャートを参照して、ダイナミックレンジ圧縮部１３が実行する、輝度信号の圧縮処理について説明する。

ステップＳ１において、エッジ検出機能付LPF２１は、カメラ信号処理部１２より入力された画像データのうち、輝度信号Ｙ１の画素値の変化が急峻なエッジを検出し（図３Ｂ）、そのエッジを保存したまま輝度信号Ｙ１を平滑化し、照明成分（信号Ｌ）を抽出する。ここで、エッジ検出機能付LPF２１は、図４に示したように、注目画素５１がエッジ方向のレベル差内（範囲Ｂ）であるか否かに応じて、輝度信号Ｙ１を平滑化するか否かを判断する。ステップＳ２において、加算器２２は、カメラ信号処理部１２より入力された輝度信号Ｙ１（原信号）から、ステップＳ１の処理により抽出された照明成分を減算し、テクスチャ成分（信号Ｒ）を分離する。

ステップＳ３において、アパーチャコントローラ２３は、反射率ゲイン係数算出部３５により決定された適応エリア（図７Ｂ）に基づいて、超低輝度および低輝度のブーストエリア外に適応されるように、カメラ信号処理部１２から入力された輝度信号Ｙ１の照明成分レベル依存のアパーチャ補正を行う。ステップＳ４において、加算器３３は、乗算器２８を介して照明成分オフセットテーブル２７から供給された、オフセット量、ゲイン量、および最大ゲイン量が調整された超低域の輝度レベルのブースト量を決定するオフセット量ofst1（図５Ｂ）と、乗算器３２を介して照明成分オフセットテーブル３１から供給された、オフセット量、ゲイン量、および最大ゲイン量が調整された低域の輝度レベルのブースト量を決定するオフセット量ofst2（図６Ｂ）を加算し、照明成分加減残量Ｔ（Ｌ）を算出する。

ステップＳ５において、加算器３４は、ステップＳ１の処理により抽出された照明成分に、ステップＳ４の処理により算出された照明成分加減残量Ｔ（Ｌ）を加算し、ゲイン最適化照明成分（信号Ｔ（Ｌ）’）を取得する。ステップＳ６において、加算器３７は、ステップＳ３の処理によりアパーチャ補正されたテクスチャ成分に、ステップＳ５の処理により取得されたゲイン最適化照明成分（信号Ｔ（Ｌ）’）を加算し、ダイナミックレンジ圧縮後の出力輝度信号Ｙ２を取得する。

以上の処理により取得されたダイナミックレンジ圧縮後の出力輝度信号Ｙ２が、記録フォーマット処理部１４に出力される。

次に、図１１のフローチャートを参照して、ダイナミックレンジ圧縮部１３が実行する、クロマ信号の圧縮処理について説明する。

ステップＳ２１において、クロマゲイン係数算出部３８は、カメラ信号処理部１２より入力された画像データのうち、図１０のステップＳ１の処理により抽出された輝度信号Ｙ１の照明成分から、クロマ信号Ｃ１の増幅量（ゲイン量）を算出する（図８Ｂ）。ステップＳ２２において、クロマエリア判別部４０は、図１０のステップＳ１の処理により抽出された輝度信号Ｙ１の照明成分から、クロマ信号Ｃ１のノイズ低減エリア（すなわち、LPFをかけるエリア）を選択する（図９）。

ステップＳ２３において、加算器４３は、ステップＳ２２の処理により選択されたノイズ低減エリアに基づいて、ゲインがかけられた低輝度レベルのクロマ信号のクロマノイズを低減し、ダイナミックレンジ圧縮後のクロマ信号Ｃ２を取得する。

以上の処理により取得されたダイナミックレンジ圧縮後の出力クロマ信号Ｃ２が、記録フォーマット処理部１４に出力される。

以上のように、ディジタルビデオカメラなどのディジタル画像記録装置において、本発明を適用することにより、固体撮像素子１１によって撮像されたディジタル画像に対し、従来では輝度値が低くコントラストが得られなかった部分の画像データのうち、エッジを保存したまま、そのエッジ以外の部分の画像データを増幅することができる。これにより、記録レンジよりも広い入力レンジを持つカメラ信号処理システムの輝度信号およびクロマ信号に対しても、鮮鋭度を損なうことなくコントラストを向上し、撮像されたディジタル画像を記録レンジへと適切に圧縮することが可能となる。

また、本発明を適用することにより、輝度成分を増幅したエリアにのっているクロマ信号に対しても、適切な増幅が行われる。これにより、同時にクロマノイズの低減を図ることができるため、単に白浮きした画像ではない、自然なダイナミックレンジ画像が獲得できる。さらに、輝度成分の増幅部分をオフセット量のテーブルとして保持することにより、低輝度および超低輝度部分のブースト処理を加算処理で実現することができるため、処理負荷を低減することが可能となる。

ところで、上述したようなエッジ検出機能付LPF２１によるLPFのオン／オフの判断処理（注目画素がエッジ方向のレベル差内である場合は注目画素をそのまま出力し、注目画素がエッジ方向のレベル差外である場合は注目画素を７×７画素のLPFによる加算平均値で置き換えて出力する）では、入力画像にステップ入力等による急峻なエッジが存在する場合、適切なエッジ保存が行われず、エッジ付近で不具合がみられる場合がある。これは、エッジ検出時に誤検出した輝度レベルが、ちょうどブースト対象レベルに存在し、ブーストが掛けられた後にテクスチャ成分へと足し戻されるため、周囲の正しい検出エリアと比べて輝度差が生じることが原因である。

図１２は、急峻な矩形のエッジが存在する画像の一例を示す図である。

図１２Ａに示す画像は、８ビットレンジにおける輝度値０の画素が黒色で表され、８ビットレンジにおける輝度値２５５の画素が白色で表されている。図１２Ｂは、図１２Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

図１３は、図１２に示したような急峻な矩形のエッジが存在する画像が入力された場合において、上述したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。

図１３Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図１３Ｂは、図１３Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。なお、数値は、輝度値を表わしている。

ここで、エッジ検出機能付LPF２１が、注目画素Ａ乃至Ｅの画素に対して、それぞれ、その周囲の縦７個×横７個の画素を処理対象に設定した場合のLPFのオン／オフの判断処理の結果を以下に示す。

（１）注目画素Ａ
V_up（上側平均輝度成分）＝H_right（右側平均輝度成分）
V_down（下側平均輝度成分）＝H_left（左側平均輝度成分）
エッジ判別Δｖ＝Δｈ
→注目画素を７×７画素のLPFによる加算平均値で置き換えて出力する。
（２）注目画素Ｂ
V_up＝V_down＝２５５→Δｖ＝０
２５５＞H_right＞H_left→Δｈ＞０
注目画素（２５５）＞H_right
エッジ判別Δｈ＞Δｖ
→注目画素を７×７画素のLPFによる加算平均値で置き換えて出力する。
（３）注目画素Ｃ
V_up＝V_down＝２５５→Δｖ＝０
H_right＝H_left＜２５５→Δｈ＝０
エッジ判別Δｖ＝Δｈ＝０
→注目画素を７×７画素のLPFによる加算平均値で置き換えて出力する。
（４）注目画素Ｄ
V_up＝２５５，V_down≒１２８→Δｖ≒１２８
H_right＝H_left＜２５５→Δｈ＝０
注目画素（２５５）＝V_up
エッジ判別Δｖ＞Δｈ
→注目画素をそのまま出力する。
（５）注目画素Ｅ
V_up＝２５５，V_down＝０→Δｖ＝２５５
H_right＝H_left＜２５５→Δｈ＝０
注目画素（２５５）＝V_up
エッジ判別Δｖ＞Δｈ
→注目画素をそのまま出力する。

このように、上述したLPFのオン／オフの判断処理（注目画素がエッジ方向のレベル差内である場合は注目画素をそのまま出力し、注目画素がエッジ方向のレベル差外である場合は注目画素を７×７画素のLPFによる加算平均値で置き換えて出力する）により、注目画素Ａ，Ｂ，Ｃは、７×７画素のLPFによる加算平均値で置き換えて出力される。そのため、エッジ付近には、アーチファクト７１乃至７５が発生する。

すなわち、図１３Ｂに示すように、輝度値２５５に近い画素が、輝度値２１９，２２４の画素で出力され（アーチファクト７１）、輝度値２５５に近い画素が、輝度値２１９の画素で出力され（アーチファクト７２）、輝度値２５５に近い画素が、輝度値２０８，２３４の画素で出力される（アーチファクト７３）。また、輝度値０に近い画素が、輝度値３６の画素で出力される（アーチファクト７４，７５）。これは、非線形フィルタの特性によって、避けられない影響である。

そこで、エッジ検出機能付LPF２１は、図１４Ａに示されるように、注目画素が横方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差外である範囲Ａ（レベルの高い方の平均輝度成分のレベルＬ１より高い）または範囲Ｃ（レベルの低い方の平均輝度成分のレベルＬ２より低い）にある場合、注目画素を上下の平均輝度成分（（V_top+V_Down）/2）で置き換えて出力する。また、エッジ検出機能付LPF２１は、図１４Ｂに示されるように、注目画素が縦方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差外である範囲Ａまたは範囲Ｃにある場合、注目画素を左右の平均輝度成分（(H_right+H_left)/2）で置き換えて出力する。

このように、エッジ検出機能付LPF２１は、注目画素がエッジ方向のレベル差外である範囲Ａまたは範囲Ｃにある場合、エッジがないと思われる方向（縦方向の平均輝度成分の差分△ｖおよび横方向の平均輝度成分の差分△ｈを比較して差分の小さい方）の平均輝度成分で置き換えて出力する。

図１５は、図１２に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図１４に示したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。

図１５Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図１５Ｂは、図１５Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

ここで、エッジ検出機能付LPF２１が、注目画素Ａ乃至Ｅの画素に対して、それぞれ、その周囲の縦７個×横７個の画素を処理対象に設定した場合のLPFのオン／オフの判断処理の結果を以下に示す。

（１）注目画素Ａ
V_up（上側平均輝度成分）＝H_right（右側平均輝度成分）
V_down（下側平均輝度成分）＝H_left（左側平均輝度成分）
エッジ判別Δｖ＝Δｈ
→注目画を(H_right+H_left)/2または（V_top+V_Down）/2で置き換えて出力する。
（２）注目画素Ｂ
V_up＝V_down＝２５５→Δｖ＝０
２５５＞H_right＞H_left→Δｈ＞０
注目画素（２５５）＞H_right
エッジ判別Δｈ＞Δｖ
→注目画を（V_top+V_Down）/2で置き換えて出力する。
（３）注目画素Ｃ
V_up＝V_down＝２５５→Δｖ＝０
H_right＝H_left＜２５５→Δｈ＝０
エッジ判別Δｖ＝Δｈ＝０
→注目画を(H_right+H_left)/2または（V_top+V_Down）/2で置き換えて出力する。
（４）注目画素Ｄ
V_up＝２５５，V_down≒１２８→Δｖ≒１２８
H_right＝H_left＜２５５→Δｈ＝０
注目画素（２５５）＝V_up
エッジ判別Δｖ＞Δｈ
→注目画素をそのまま出力する。
（５）注目画素Ｅ
V_up＝２５５，V_down＝０→Δｖ＝２５５
H_right＝H_left＜２５５→Δｈ＝０
注目画素（２５５）＝V_up
エッジ判別Δｖ＞Δｈ
→注目画素をそのまま出力する。

このように、図１４に示したLPFのオン／オフの判断処理（注目画素がエッジ方向のレベル差内である場合は注目画素をそのまま出力し、注目画素がエッジ方向のレベル差外である場合は注目画を上下または左右の平均輝度成分で置き換えて出力する）により、注目画素Ｂの左右方向の平均輝度成分は、注目画素の輝度値２５５と近くなり、アーチファクトを低減することができる。すなわち、図１３で発生していたアーチファクト７１，７２，７４，７５が解消される。

しかしながら、図１４に示したLPFのオン／オフの判断処理では、依然としてアーチファクト７３が発生する。これは、注目画素がエッジ方向のレベル差内である場合に注目画素をそのまま出力することに原因がある。

そこで、エッジ検出機能付LPF２１は、図１６Ａに示されるように、注目画素が横方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差内である範囲Ｂ（レベルの高い方の平均輝度成分のレベルＬ１とレベルの低い方の平均輝度成分のレベルＬ２の間）にある場合、注目画素を７×７画素のエリアよりも小さい範囲のLPF（例えば、３×３画素のLPFによる加算平均値）で置き換えて出力する。また、エッジ検出機能付LPF２１は、図１６Ｂに示されるように、注目画素が縦方向にエッジと判断し、かつ、注目画素がエッジ方向のレベル差内である範囲Ｂにある場合、注目画素を７×７画素のエリアよりも小さい範囲のLPF（例えば、３×３画素のLPFによる加算平均値）で置き換えて出力する。

このように、エッジ検出機能付LPF２１は、注目画素がエッジ方向のレベル差内である範囲Ｂにある場合、注目画素をカットオフ周波数の高いLPFで置き換えて出力する。

図１７は、図１２に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図１６に示したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。

図１７Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図１７Ｂは、図１７Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

ここで、エッジ検出機能付LPF２１が、注目画素Ａ乃至Ｅの画素に対して、それぞれ、その周囲の縦７個×横７個の画素を処理対象に設定した場合のLPFのオン／オフの判断処理の結果を以下に示す。

（１）注目画素Ａ
V_up（上側平均輝度成分）＝H_right（右側平均輝度成分）
V_down（下側平均輝度成分）＝H_left（左側平均輝度成分）
エッジ判別Δｖ＝Δｈ
→注目画素を(H_right+H_left)/2または（V_top+V_Down）/2で置き換えて出力す
る。
（２）注目画素Ｂ
V_up＝V_down＝２５５→Δｖ＝０
２５５＞H_right＞H_left→Δｈ＞０
注目画素（２５５）＞H_right
エッジ判別Δｈ＞Δｖ
→注目画素を（V_top+V_Down）/2で置き換えて出力する。
（３）注目画素Ｃ
V_up＝V_down＝２５５→Δｖ＝０
H_right＝H_left＜２５５→Δｈ＝０
エッジ判別Δｖ＝Δｈ＝０
→注目画素を(H_right+H_left)/2または（V_top+V_Down）/2で置き換えて出力す
る。
（４）注目画素Ｄ
V_up＝２５５，V_down≒１２８→Δｖ≒１２８
H_right＝H_left＜２５５→Δｈ＝０
注目画素（２５５）＝V_up
エッジ判別Δｖ＞Δｈ
→注目画素を３×３画素のLPFによる加算平均値で置き換えて出力する。
（５）注目画素Ｅ
V_up＝２５５，V_down＝０→Δｖ＝２５５
H_right＝H_left＜２５５→Δｈ＝０
注目画素（２５５）＝V_up
エッジ判別Δｖ＞Δｈ
→注目画素を３×３画素のLPFによる加算平均値で置き換えて出力する。

このように、図１６に示したLPFのオン／オフの判断処理（注目画素がエッジ方向のレベル差内である場合は注目画素を３×３画素のLPFによる加算平均値で置き換えて出力し、注目画素がエッジ方向のレベル差外である場合は注目画素を上下または左右の平均輝度成分で置き換えて出力する）により、アーチファクトを低減することができる。すなわち、エッジの特性が若干悪くなるものの、図１５で発生していたエッジ部分の不自然なアーチファクト７３が解消される。

次に、図１８のフローチャートを参照して、エッジ検出機能付LPF２１が実行する、LPFのオン／オフの判断処理について説明する。

ステップＳ４１において、エッジ検出機能付LPF２１は、注目画素の周囲４方向の平均輝度成分を算出する。すなわち、図３Ａに示したように、エッジ検出機能付LPF２１は、注目画素５１に対して、その周囲の縦７個×横７個の画素を処理対象に設定し、各画素値を算出する。次に、エッジ検出機能付LPF２１は、注目画素５１とその左側にある３つの画素に基づいて、メディアン値を算出し、その中央２値の平均値を左側平均輝度成分（H_left）とする。同様に、エッジ検出機能付LPF２１は、注目画素５１とその右側にある３つの画素、注目画素５１とその上側にある３つの画素、および、注目画素とその下側にある３つの画素に基づいて、それぞれメディアン値を算出し、その中央２値の平均値を右側平均輝度成分（H_right）、上側平均輝度成分（V_top）、および、下側平均輝度成分（V_down）とする。これにより、図３Ｂに示されるように、注目画素５１の周囲４方向の平均輝度成分が得られる。

ステップＳ４２において、エッジ検出機能付LPF２１は、次式（６）に従って、縦方向の平均輝度成分の差分Δｖおよび横方向の平均輝度成分の差分Δｈを算出する。
Δｖ＝｜V_top−V_down｜
Δｈ＝｜H_right−H_left｜ ・・・（６）

ステップＳ４３において、エッジ検出機能付LPF２１は、ステップＳ４２の処理により算出された縦方向の平均輝度成分Δｖが横方向の平均輝度成分の差分Δｈより大きいか否かを判定し、縦方向の平均輝度成分Δｖが横方向の平均輝度成分Δｈより大きいと判定した場合、ステップＳ４４に進む。

ステップＳ４４において、エッジ検出機能付LPF２１は、差分の大きい方である（相関の小さい方である）縦方向をエッジと判断する。

ステップＳ４５において、エッジ検出機能付LPF２１は、図１６Ｂに示したように、注目画素がエッジ方向のレベル差内である範囲Ｂ（レベルの高い方の平均輝度成分のレベルＬ１とレベルの低い方の平均輝度成分のレベルＬ２の間）にあるか否かを判定し、注目画素がエッジ方向のレベル差内である（すなわち、注目画素がエッジである）と判定した場合、ステップＳ４６に進む。

ステップＳ４６において、エッジ検出機能付LPF２１は、注目画素を３×３画素のLPFによる加算平均値で置き換えて出力する。

一方、ステップＳ４５において、エッジ検出機能付LPF２１は、図１６Ｂに示したように、注目画素がエッジ方向のレベル差外である範囲Ａ（レベルの高い方の平均輝度成分のレベルＬ１より高い）または範囲Ｃ（レベルの低い方の平均輝度成分のレベルＬ２より低い）にある（すなわち、注目画素がエッジではない）と判定した場合、ステップＳ４７に進む。

ステップＳ４７において、エッジ検出機能付LPF２１は、注目画素を左右の平均輝度成分（(H_right+H_left)/2）で置き換えて出力する。

ステップＳ４３において、エッジ検出機能付LPF２１は、縦方向の平均輝度成分Δｖが横方向の平均輝度成分Δｈより大きくないと判定した場合、すなわち、横方向の平均輝度成分Δｈが縦方向の平均輝度成分Δｖより大きいと判定した場合、ステップＳ４８に進む。

ステップＳ４８において、エッジ検出機能付LPF２１は、差分の大きい方である（相関の小さい方である）横方向をエッジと判断する。

ステップＳ４９において、エッジ検出機能付LPF２１は、図１６Ａに示したように、注目画素がエッジ方向のレベル差内である範囲Ｂにあるか否かを判定し、注目画素がエッジ方向のレベル差内である（すなわち、注目画素がエッジである）と判定した場合、ステップＳ５０に進む。

ステップＳ５０において、エッジ検出機能付LPF２１は、注目画素を３×３画素のLPFによる加算平均値で置き換えて出力する。

一方、ステップＳ４９において、エッジ検出機能付LPF２１は、図１６Ａに示したように、注目画素がエッジ方向のレベル差外である範囲Ａまたは範囲Ｃにある（すなわち、注目画素がエッジではない）と判定された場合、ステップＳ５１に進む。

ステップＳ５１において、エッジ検出機能付LPF２１は、注目画素を上下の平均輝度成分（（V_top+V_Down）/2）で置き換えて出力する。

以上の処理により、エッジ近辺の誤検出を無くし、照明成分のエッジ付近でのアーチファクトを低減するとともに、エッジの階調の不自然さを低減して、ブーストによる出力画像への影響を抑制することができる。

次に、エッジ検出機能付LPF２１がLPFのオン／オフの判断処理を施した場合の処理結果について、図１９乃至図２２を参照して説明する。

図１９Ａは、急峻な矩形のエッジが存在する画像の一例を示す図である。

図１９Ａに示す画像は、８ビットレンジにおける輝度値０の画素が黒色で表され、８ビットレンジにおける輝度値２５５の画素が白色で表されている。図１９Ｂは、図１９Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

図２０は、図１９に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図４に示したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。

図２０Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図２０Ｂは、図２０Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

このように、図４に示したLPFのオン／オフの判断処理では、画素群８１に不自然な階調が現われる。

図２１は、図１９に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図１４に示したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。

図２１Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図２１Ｂは、図２１Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

このように、図１４に示したLPFのオン／オフの判断処理では、画素群８１に不自然な階調が現われる。

図２２は、図１９に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図１６に示したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。

図２２Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図２２Ｂは、図２２Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

このように、図１６に示したLPFのオン／オフの判断処理では、不自然な階調が解消されている。

以上の処理結果をまとめると、図４および図１４に示したLPFのオン／オフの判断処理では、エッジ付近に、不自然な階調が現われる（図２０および図２１に示す画素群８１）。これに対して、図１６に示したLPFのオン／オフの判断処理では、エッジの不自然さが改善され、ユーザがこれらのエッジ画像を観察したときに違和感の少ない画像を得ることができる。

以上においては、注目画素がエッジ方向のレベル差内である場合、注目画素を３×３画素のLPFによる加算平均値で置き換えて出力するようにしたが、本発明はこれに限られるものではなく、例えば、注目画素を１×５画素のLPFによる加算平均値で置き換えて出力するようにしてもよい。

図２３は、図１９に示したような急峻な矩形のエッジが存在する画像が入力された場合において、図１６に示したLPFのオン／オフの判断処理が施された結果の出力画像を示す図である。なお、注目画素がエッジ方向のレベル差内である場合、注目画素が１×５画素のLPFによる加算平均値で置き換えて出力される。

図２３Ａに示す画像は、８ビットレンジにおける輝度値のレベルに応じて各画素がグレースケールで表されている。図２３Ｂは、図２３Ａに示す画像の各画素の位置に対応する輝度値が数値で表されている。

このように、注目画素がエッジ方向のレベル差内である場合、注目画素を１×５画素のLPFによる加算平均値で置き換えて出力するようにしても、エッジ近辺の誤検出を無くし、照明成分のエッジ付近でのアーチファクトを低減するとともに、エッジの階調の不自然さを低減して、ブーストによる出力画像への影響を抑制することができる。

上述したように、これらの一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ダイナミックレンジ圧縮部１３は、図２４に示されるようなコンピュータ１００により実現される。

図２４において、CPU(Central Processing Unit)１０１は、ROM１０２に記憶されているプログラム、または記憶部１０８からRAM(Random Access Memory)１０３にロードされたプログラムに従って、各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、ディスプレイなどよりなる出力部１０７、記憶部１０８、通信部１０９が接続されている。
通信部１０９は、ネットワークを介しての通信処理を行う。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図２４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory）、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（MD(Mini-Disc)（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア１１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１０３または記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。

本発明を適用したディジタルビデオカメラの記録系の構成例を示す図である。 ダイナミックレンジ圧縮部の内部の構成例を示すブロック図である。 エッジ検出機能付LPFのエッジ検出の詳細を説明する図である。 LPFのオン／オフの判断処理を説明する図である。 オフセットテーブルの例を示す図である。 オフセットテーブルの他の例を示す図である。 反射率ゲイン係数テーブルの例を示す図である。 クロマゲイン係数テーブルの例を示す図である。 判別エリアの例を示す図である。 輝度信号の圧縮処理を説明するフローチャートである。 クロマ信号の圧縮処理を説明するフローチャートである。 入力画像の一例を示す図である。 図４のLPFのオン／オフの判断処理を施した結果の出力画像を示す図である。 LPFのオン／オフの判断処理を説明する図である。 図１４のLPFのオン／オフの判断処理を施した結果の出力画像を示す図である。 LPFのオン／オフの判断処理を説明する図である。 図１６のLPFのオン／オフの判断処理を施した結果の出力画像を示す図である。 LPFのオン／オフの判断処理を説明するフローチャートである。 入力画像の一例を示す図である。 図４のLPFのオン／オフの判断処理を施した結果の出力画像を示す図である。 図１４のLPFのオン／オフの判断処理を施した結果の出力画像を示す図である。 図１６のLPFのオン／オフの判断処理を施した結果の出力画像を示す図である。 図１６のLPFのオン／オフの判断処理を施した結果の他の出力画像を示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１ ディジタルビデオカメラ， １１ 固体撮像素子， １２ カメラ信号処理部， ダイナミックレンジ圧縮部， １４ 記録フォーマット処理部， １５ 記録メディア， ２１ エッジ検出機能付LPF， ２２ 加算器， ２３ アパーチャコントローラ， ２４ マイクロコンピュータ， ２５，２６ 加算器， ２７ 照明成分オフセットテーブル， ２８ 乗算器， ２９ 加算器， ３０ 乗算器， ３１ 照明成分オフセットテーブル， ３２ 乗算器， ３３，３４ 加算器， ３５ 反射率ゲイン係数算出部， ３６，３７ 加算器， ３８ クロマゲイン係数算出部， ３９ 乗算器， ４０ クロマエリア判別部， ４１ HPF， ４２ 乗算器， ４３ 加算器

Claims (8)

1. 入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された前記上方向と下方向の平均輝度成分の差分値、および前記左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出手段と、
   前記検出手段により検出された前記エッジ方向に関し、前記注目画素が前記エッジ方向のレベル差内にあるか否かを判定する判定手段と、
   前記判定手段により前記注目画素が前記エッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第１のフィルタリング手段と、
   前記判定手段により前記注目画素が前記エッジ方向のレベル差内にないと判定された場合、前記エッジ方向と平行な方向の前記平均輝度成分を用いてフィルタリングを施す第２のフィルタリング手段と、
   前記第１および第２のフィルタリング手段によりフィルタリングされた前記入力画像から照明成分を抽出する抽出手段と、
   前記入力画像の輝度信号、および前記抽出手段により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離手段と、
   前記抽出手段により抽出された前記照明成分に基づいて、照明成分加減残量を算出する第１の算出手段と、
   前記照明成分、および前記第１の算出手段により算出された前記照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第１の取得手段と、
   前記分離手段により分離された前記テクスチャ成分、および前記第１の取得手段により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得手段と
   を備えることを特徴とする画像処理装置。
2. 前記レベル差内とは、レベルの高い方の平均輝度成分とレベルの低い方の平均輝度成分の間のレベルである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出手段により抽出された前記照明成分から、アパーチャ補正のゲイン量を算出する第２の算出手段と、
   前記第２の算出手段により算出された前記ゲイン量に基づいて、前記分離手段により分離された前記テクスチャ成分をアパーチャ補正する補正手段と
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の算出手段は、固定の入出力関数を有し、前記固定の入出力関数に基づいて、前記照明成分加減残量を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の算出手段は、前記固定の入出力関数を可変に調整する調整手段を有する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の算出手段は、入力信号のレベル毎に、１つの処理ブロックまたは複数の処理ブロックで構成されている
   ことを特徴とする請求項１に記載の画像処理装置。
7. 入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された前記上方向と下方向の平均輝度成分の差分値、および前記左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出ステップと、
   前記検出ステップの処理により検出された前記エッジ方向に関し、前記注目画素が前記エッジ方向のレベル差内にあるか否かを判定する判定ステップと、
   前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第１のフィルタリングステップと、
   前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にないと判定された場合、前記エッジ方向と平行な方向の前記平均輝度成分を用いてフィルタリングを施す第２のフィルタリングステップと、
   前記第１および第２のフィルタリングステップの処理によりフィルタリングされた前記入力画像から照明成分を抽出する抽出ステップと、
   前記入力画像の輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離ステップと、
   前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加減残量を算出する算出ステップと、
   前記照明成分、および前記算出ステップの処理により算出された前記照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第１の取得ステップと、
   前記分離ステップの処理により分離された前記テクスチャ成分、および前記第１の取得ステップの処理により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得ステップと
   を含むことを特徴とする画像処理方法。
8. 入力画像のうち、注目画素を含む周囲の画素の上方向、下方向、左方向、および右方向の平均輝度成分を算出し、算出された前記上方向と下方向の平均輝度成分の差分値、および前記左方向と右方向の平均輝度成分の差分値に基づいて、エッジ方向を検出する検出ステップと、
   前記検出ステップの処理により検出された前記エッジ方向に関し、前記注目画素が前記エッジ方向のレベル差内にあるか否かを判定する判定ステップと、
   前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にあると判定された場合、カットオフ周波数の高いフィルタリングを施す第１のフィルタリングステップと、
   前記判定ステップの処理により前記注目画素が前記エッジ方向のレベル差内にないと判定された場合、前記エッジ方向と平行な方向の前記平均輝度成分を用いてフィルタリングを施す第２のフィルタリングステップと、
   前記第１および第２のフィルタリングステップの処理によりフィルタリングされた前記入力画像から照明成分を抽出する抽出ステップと、
   前記入力画像の輝度信号、および前記抽出ステップの処理により抽出された前記照明成分に基づいて、テクスチャ成分を分離する分離ステップと、
   前記抽出ステップの処理により抽出された前記照明成分に基づいて、照明成分加減残量を算出する算出ステップと、
   前記照明成分、および前記算出ステップの処理により算出された前記照明成分加減残量に基づいて、ゲイン最適化照明成分を取得する第１の取得ステップと、
   前記分離ステップの処理により分離された前記テクスチャ成分、および前記第１の取得ステップの処理により取得された前記ゲイン最適化照明成分に基づいて、出力輝度信号を取得する第２の取得ステップと
   含む処理をコンピュータに実行させるプログラム。

Images