JP2006094419A

JP2006094419A - 画像信号処理装置及び画像信号処理方法

Info

Publication number: JP2006094419A
Application number: JP2004280524A
Authority: JP
Inventors: Katsuaki Watanabe; 勝明渡辺
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-09-27
Filing date: 2004-09-27
Publication date: 2006-04-06
Anticipated expiration: 2024-09-27
Also published as: JP4299753B2

Abstract

【課題】各分割領域の画像に好適な画像補正処理を行なうことによって、画像の画質を向上させることができる画像信号処理装置を得る。
【解決手段】画像データが予め定められた分割領域に分割される。次に、分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関関数を算出する。また、分割領域の画像データに対しエッジ抽出処理を行い、エッジ値を出力すると共に、分割領域の画像データがエッジの部分、平坦部の部分、及びテクスチャの部分の何れを表しているかを判別する。そして、各分割領域の画像データに対して、算出された相関関数と、エッジ値と、判別結果とに基づいて輪郭補正処理やノイズ低減処理のパラメータを決定し、ノイズ低減処理及び輪郭補正処理を行なう。
【選択図】図３

Description

本発明は、画像信号処理装置及び画像信号処理方法に係り、特に、デジタルカメラが撮像した画像の画像データに対して輪郭補正及びノイズ低減を行なう画像信号処理装置及び画像信号処理方法に関する。

従来、デジタルカメラでは、撮像素子を用い静止画等を撮影すると、アナログ／デジタル変換された後、ガンマ処理などのデジタル信号処理がなされ、画像のＲＧＢデータあるいＹＣ（輝度・色差）データが生成される。その後、電子ズーム倍率が指定された場合には、デジタルカメラのＣＰＵによって所望の電子ズーム倍率に拡大され、予め設定された圧縮形式（例えば、ＪＰＥＧ）によって圧縮した状態でメモリカード等の記録媒体に記録して保存する。

ここで、画像データに応じた好適な画像補正処理を行うことによりＳＮ比（信号対雑音比）を改善するものとして、電子ズーム倍率に応じて輪郭補正係数の値を可変して解像度の低下を抑えるビデオカメラ装置が知られている（特許文献１）。

また、電子ズーム倍率に応じた画像の画像周波数帯域に対して輪郭補償処理を行なう輪郭補償システムが知られている（特許文献２）。
特開平５−１２２５７７号公報特開平１１−１６８６５３号公報

しかしながら、上記の特許文献１の技術では、電子ズーム倍率に応じて可変される輪郭補正係数に基づいて、画像全体を一様に輪郭補正するため、良好な輪郭補正処理を行うことは困難である。

また、上記の特許文献２の技術では、画像周波数帯域のみで輪郭補正処理の判断を行なっているために、輪郭が強調されると同時にノイズの成分も持ち上げてしまう、といった問題がある。

本発明は上記問題点を解決するためになされたものであり、画像の領域分割された部分に対して、各分割領域の画像に好適な画像補正処理を行なうことによって、画像の画質を向上させることができる画像信号処理装置を提供することを目的とする。

上記目的を達成するために、第１の発明に係る画像信号処理装置は、画像を予め定められた分割領域毎に分割する分割手段と、前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出する空間周波数特性算出手段と、前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、を備えて構成されている。

第１の発明に係る画像信号処理装置によれば、分割手段が、画像を予め定められた分割領域毎に分割し、空間周波数特性算出手段が、分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出する。そして、補正量決定手段が、空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の部分相関に基づいて各分割領域の画像データの補正量を決定し、補正画像生成手段が、決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する。

従って、画像を予め定められた分割領域に分割し、各分割領域の画像の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関に基づいて各分割領域の画像データを補正することによって、各分割領域の画像に好適な画像補正処理を行なうことでき、画像の画質を向上させることができる。

第１の発明に係る補正量決定手段は、部分相関に基づいて相関値を演算し、相関値が大きくなるに従って、小さくなるように補正量を決定し、相関値が小さくなるに従って、大きくなるように補正量を決定することができる。

また、第２の発明に係る画像信号処理装置は、前記分割領域の画像データ及び前記画像全体の画像データに基づいて、前記分割領域の空間周波数特性及び画像全体の空間周波数特性を算出する空間周波数特性算出手段と、前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求めると共に、前記画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を求め、前記部分相関と前記求められた全体相関とに基づいて総合相関を求め、求められた各分割領域の前記総合相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、を備えて構成されている。

第２の発明に係る画像信号処理装置によれば、空間周波数特性算出手段が、分割領域の画像データ及び画像全体の画像データに基づいて、分割領域の空間周波数特性及び画像全体の空間周波数特性を算出する。そして、補正量決定手段が、空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求めると共に、画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を求め、各分割領域の部分相関と求められた全体相関とに基づいて総合相関を求め、求められた各分割領域の総合相関に基づいて各分割領域の画像データの補正量を決定し、補正画像生成手段が、決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する。

従って、画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を考慮して、各分割領域の画像データの補正量を決定することにより、各分割領域毎に異なる補正量のばらつきを抑制することができる。

第２の発明に係る補正量決定手段は、総合相関に基づいて相関値を演算し、相関値が大きくなるに従って、小さくなるように補正量を決定し、相関値が小さくなるに従って、大きくなるように補正量を決定することができる。

また、第１の発明及び第２の発明に係る画像信号処理装置は、各分割領域の画像データが輪郭部、テクスチャ部、及び平坦部の何れを表しているかを判別する判別手段を更に備え、補正量決定手段は、判別手段の判別結果に応じて、決定する各分割領域の画像データの補正量を調整することができる。各分割領域の画像データが輪郭部、テクスチャ部、及び平坦部の何れを表しているかに応じて、各分割領域の画像データの補正量を調整することによって、画像の画質をさらに向上させることができる。

第３の発明に係る画像信号処理方法は、画像を予め定められた分割領域毎に分割し、前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出し、前記算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定し、前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する。

本発明によれば、画像を予め定められた分割領域に分割し、各分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関に基づいて各分割領域の画像データを補正することによって、各分割領域の画像に好適な画像補正処理を行なうことができ、画像の画質を向上させることができる、という効果が得られる。

以下、本発明の実施の形態について詳細に説明する。

図１に示すように、デジタルカメラ１０の正面には、被写体像を結像させるためのレンズ２１と、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、撮影する被写体の構図を決定するために用いられるファインダ２０とが設けられている。また、デジタルカメラ１０の上面には、撮影を実行する際に押圧操作されるレリーズスイッチ５６Ａと、電源スイッチ５６Ｂと、撮影モード及び被写体像を後述するＬＣＤ３８に再生するモードである再生モードの何れかのモードに設定するためのモード切替スイッチ５６Ｃとが設けられている。

なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチ５６Ａは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を越えた最終押下位置まで押下される状態（以下、「全押し状態」という。）との２段階の押圧操作が検出可能に構成されている。

また、デジタルカメラ１０の背面には、前述のファインダ２０の接眼部と、撮影された被写体像やメニュー画面等を表示するための液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、十字カーソルスイッチ５６Ｄと、撮影時に被写体像のズーミング（拡大及び縮小）を行うときに操作されるズームスイッチ５６Ｅとが設けられている。

ズームスイッチ５６Ｅは、同図の‘Ｔ’の位置に対応し、かつ被写体像を拡大（ズーム・イン）するときに操作されるテレ・ボタンと、同図の‘Ｗ’の位置に対応し、かつ被写体像を縮小（ズーム・アウト）するときに操作されるワイド・ボタンとを含んで構成されている。

更に、デジタルカメラ１０の背面には、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチと、それまでの操作内容を確定するときに押圧操作される決定スイッチと、直前の操作内容をキャンセルするときに押圧操作されるストロボスイッチと、マクロ撮影を行なうときに押圧操作されるマクロ撮影スイッチとが設けられている。

次に、本実施の形態に係るデジタルカメラ１０の電気系の主要構成を説明する。

図２に示すように、デジタルカメラ１０は、前述のレンズ２１を含んで構成された光学ユニット２２と、レンズ２１の光軸後方に配設された電荷結合素子（以下、「ＣＣＤ」という。）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行なうアナログ信号処理部２６とが設けられている。

また、デジタルカメラ１０には、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行なうデジタル信号処理部３０とが設けられている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行なう。

ＣＣＤ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＣＤ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

また、デジタルカメラ１０には、デジタルカメラ１０全体の動作を制御するＣＰＵ４０と、撮影により得られた画像データ等を一時的に記憶するＳＤＲＡＭ（Synchronous DRAM）で構成されるメモリ４８と、メモリ４８に対するアクセスの制御を行なうメモリインタフェース４６とが設けられている。

更に、デジタルカメラ１０には、可搬型のスマートメディア（Smart Media(登録商標)）で構成されるメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行なう圧縮・伸張処理回路５４とが設けられている。

一方、デジタルカメラ１０は、主としてＣＣＤ２４を駆動させるためのタイミング信号を生成してＣＣＤ２４に供給するタイミングジェネレータ３２を備えており、ＣＣＤ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

更に、デジタルカメラにはモータ駆動部３４が設けられており、光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係るレンズ２１は、複数枚のレンズを有し、焦点距離の変更（変倍）が可能なズームレンズで構成されており、レンズ２１は図示しないレンズ駆動機構を備えている。上記焦点調整モータ、ズームモータ及び絞り駆動モータはこのレンズ駆動機構に含まれ、これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、前述のレリーズスイッチ５６Ａ、電源スイッチ５６Ｂ、モード切替スイッチ５６Ｃ、十字カーソルスイッチ５６Ｄ、ズームスイッチ５６Ｅ、メニュースイッチ等の各種スイッチ（図２では、「操作部５６」と総称。）はＣＰＵに接続されており、ＣＰＵ４０は、操作部５６に対する操作状態を常時把握できる。

また、デジタルカメラ１０には、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２が設けられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

また、デジタルカメラ１０は、デジタル画像データにより示される被写体像やメニュー画面等をＬＣＤ３８に表示させるための画像信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６を備えている。

その他、ＬＣＤインタフェース３６では、画像データにより示される被写体像の画素配列に変換する画素配列変換処理、当該被写体像の画素数をＬＣＤ３８の画素数に変換する画素数変換処理、当該被写体像に対するＬＣＤ３８の特性等に応じたガンマ処理やシャープネス処理等の各種処理を実行するが、以上のようなＬＣＤインタフェース３６の動作は従来既知であるので、これ以上の説明は省略する。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０、及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０、ＬＣＤインタフェース３６及び圧縮・伸張処理回路５４の作動の制御、並びにメモリ４８及びメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを行なう。

次に、本実施の形態に係るデジタル信号処理部３０の主要な機能構成を説明する。

図３に示すように、画像データを電子ズーム倍率の大きさに応じて拡大する電子ズーム処理部６２と、画像データを予め定められた分割領域に分割する画像領域分割処理部８２とが設けられている。また、画像データを空間周波数特性に変換する画像周波数変換処理部８０と、画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関関数を算出する相関関数算出部８４とが設けられている。更に、画像データに対しエッジ抽出処理を行なうことにより、エッジ値を出力するエッジ抽出処理部９４と、画像データがエッジの部分及び平坦部の部分の何れを表しているかを判別するエッジ・平坦部判別処理部９６と、画像データが予め定められたテクスチャを表しているか否かを判別するテクスチャ判別処理部９８とが設けられている。そして、エッジ・平坦部判別処理部９６及びテクスチャ判別処理部９８の判別結果に基づいて、画像データがエッジの部分、平坦部の部分、及びテクスチャの部分の何れを表しているかを判別する判別部１００が設けられている。

また、相関関数算出部８４より算出された相関関数と、エッジ抽出処理部９４により出力されたエッジ値と、判別部１００の判別結果とに基づいて、輪郭補正処理やノイズ低減処理のパラメータを決定するパラメータ決定部８８と、パラメータ決定部８８により決定されたパラメータに基づいて、画像データに対しノイズ低減処理を行なうノイズ低減処理部６６と、画像データに対し輪郭補正処理を行なう輪郭補正処理部６８と、ノイズ低減処理部６６及び輪郭補正処理部６８の出力に基づいて全体補正画像データを生成する全体画像生成部７０とが設けられている。

次に、本実施の形態に係るデジタルカメラ１０の画像処理動作について説明する。ここでは、画像処理動作の一例として電子ズーム時の画像処理動作を説明するが、電子ズーム時でなくてもよい。

デジタルカメラ１０で、ズームスイッチ５６Ｅが押圧操作されて被写体像のズーム倍率が設定されると、光学ズーム処理が行なわれた後に、被写体が撮像され、デジタルデータがメモリ４８の所定領域に格納される。そして、メモリ４８の所定領域に格納されたデジタルデータは、ＣＰＵ４０による制御に応じてデジタル信号処理部３０により読み出され、所定の物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行なうと共に、ガンマ処理、シャープネス処理、及びＹＣ信号処理を行ない、画像データ（ＹＣデータ）ＤＡＴＡを生成する。

次に、デジタル信号処理部３０において、以下に説明するように、被写体像の画像データＤＡＴＡに対する電子ズーム処理、及び輪郭補正処理やノイズ低減処理などの画像補正処理が行なわれる。

まず、電子ズーム処理部６２において、電子ズーム倍率を算出し、電子ズーム倍率の大きさに応じて、画像データＤＡＴＡの一部分を切り取って拡大することにより拡大画像データＥＤＡＴＡを生成する。例えば、ズームスイッチ５６Ｅの押圧操作により設定されたズーム倍率をメモリ４８から読み出し、読み出したズーム倍率から光学ズームのズーム倍率を減算することにより、電子ズーム倍率を算出する。そして、電子ズーム倍率に応じて画像データＤＡＴＡの一部分を切り取り、ＣＣＤ２４による撮像で得られていない画像データ（画素単位のデジタル画像データ）を補間処理することにより、電子ズーム倍率の大きさに応じた拡大画像データＥＤＡＴＡを生成する。

次に、電子ズーム処理部６２で生成された拡大画像データＥＤＡＴＡが画像周波数変換処理部８０に入力され、画像周波数変換処理部８０において、拡大画像データＥＤＡＴＡをフーリエ変換処理して、周波数関数である空間周波数特性Ｆ_full（ｆ）に変換する。なお、空間周波数特性に変換する処理はフーリエ変換処理に限定されるわけではなく、離散コサイン変換処理やウエーブレット変換処理、Ｈａａｒ変換処理でもよい。

また、画像領域分割処理部８２が、拡大画像データＥＤＡＴＡを予め定められたＭ×Ｎ個の分割領域に分割して、各分割領域の画像データＳＤＡＴＡを生成し、画像周波数変換処理部８０において、各分割領域の画像データＳＤＡＴＡが空間周波数特性Ｆ_block_₁₁（ｆ）〜Ｆ_block__MN（ｆ）に変換される。そして、拡大画像データＥＤＡＴＡの空間周波数特性Ｆ_full（ｆ）と分割領域の画像データＳＤＡＴＡの空間周波数特性Ｆ_block_₁₁（ｆ）〜Ｆ_block__MN（ｆ）とが相関関数算出部８４に入力され、相関関数が算出される。

相関関数算出部８４では、図４に示すように、空間周波数特性記憶部１０２に、空間周波数に対する人間の視覚によるコントラスト感度を示す周波数関数である人間の視覚特性に基づく空間周波数特性Ｆ_vis（ｆ）が予め記憶されている。この人間の視覚特性に基づく空間周波数特性Ｆ_vis（ｆ）と、Ｆ_full（ｆ）及びＦ_block_₁₁（ｆ）〜Ｆ_block__MN（ｆ）の各々とを周波数軸上で畳み込み掛け算することにより、Ｆ_full（ｆ）及びＦ_block_₁₁（ｆ）〜Ｆ_block__MN（ｆ）の各々とＦ_vis（ｆ）との相関をそれぞれ求める。

次に、αβ決定部９０において、Ｆ_block_₁₁（ｆ）〜Ｆ_block__MN（ｆ）の各々とＦ_vis（ｆ）との畳み込み掛け算により求められた相関の各々に基づいてα₁₁〜α_MNが決定され、Ｆ_full（ｆ）とＦ_vis（ｆ）との畳み込み掛け算により求められた相関に基づいてβが決定される。

ここで、各分割領域毎に畳み込み掛け算により求められた相関は周波数関数として表されており、例えば、この周波数関数を周波数軸上で積分することにより、この相関の相関値が求められる。また、その相関値とα_ijとの関係を定めたα決定用ルックアップテーブル（ＬＵＴ）と、相関値とβとの関係を定めたβ決定用ルックアップテーブル（ＬＵＴ）を予め設けておき、α決定用ＬＵＴから相関値に対応するα₁₁〜α_MNが求められ、β決定用ＬＵＴから相関値に対応するβが求められる。α決定用ＬＵＴ及びβ決定用ＬＵＴは、相関値が大きいほど、大きい値のα_ij、βが対応するように設定されており、また、α_ijの値に比べてβの値は小さくなるように設定されている。

次に、各分割領域毎にＦ_block__ij（ｆ）とＦ_vis（ｆ）との畳み込み掛け算により求められた相関、Ｆ_full（ｆ）とＦ_vis（ｆ）との畳み込み掛け算による相関、及びαβ決定部９０で決定されたα_ij、βの値が相関関数決定部９２に入力され、下記の式で求められる相関関数Ｆ_cor__ij（ｆ）を各分割領域毎に算出し、出力する。

上記の式の第１項が、対象となっている分割領域の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関を表し、第２項が画像全体の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関を表している。また、第１項にはα_ijが重み付けされており、第２項にはβが重み付けされており、α_ijは上述したようにβより大きな値になるように設定されているので、第１項と第２項とを加算した相関関数Ｆ_cor__ij（ｆ）は、画像全体の空間周波数特性を考慮した、分割領域の空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関を表している。

また、エッジ抽出処理部９４では、分割領域の画像データＳＤＡＴＡに対してラプラシアンフィルタ処理を行ない、エッジ値として各画素毎のラプラシアンフィルタ処理の演算結果を出力する。なお、エッジ抽出処理部９４で行なう処理は、ラプラシアンフィルタ処理に限定されるものではなく、ハイパスフィルタ処理でもよい。

また、エッジ・平坦部判別処理部９６では、例えば、対象の画素の輝度データと周辺８画素の平均輝度データとの差を算出し、その差と所定の閾値とを比較し、その差が所定の閾値より大きい場合にはこの対象画素はエッジの部分であると判定し、その差が所定の閾値より小さい場合には平坦部の部分であると判定する。そして、このエッジの部分であると判定された画素数が所定の画素数より大きい場合には、この分割領域はエッジの部分であると判別し、それ以外の場合には、この分割領域は平坦部の部分であると判別する。なお、この所定の閾値及び所定の画素数は、エッジの部分の画像データ及び平坦部の部分の画像データに基づいて、統計的に予め定められている。

また、テクスチャ判別処理部９８では、予め定められたテクスチャに該当するか否かを判別する。例えば、予め定められた網目や木目を表すテクスチャの画像データの特徴量を予め抽出し設定しておく。そして、分割領域の画像データから濃度や輝度などの特徴量を抽出し、この特徴量と予め定められた特徴量とを比較して、特徴量の差が所定の閾値以下であれば、対象となっている分割領域の画像データは、予め定められたテクスチャの部分であると判別する。

判別部１００では、エッジ・平坦部判別処理部９６及びテクスチャ判別処理部９８の出力結果に基づいて、分割領域の画像データがエッジの部分、平坦部の部分、及びテクスチャの部分の何れを表しているかを判別し、その判別結果を出力する。テクスチャ判別処理部９８によって予め定められたテクスチャの部分であると判別された場合には、判別部１００は、テクスチャの部分であるという判別結果を出力し、それ以外の場合に、判別部１００がエッジ・平坦部判別処理部９６の判別結果をそのまま出力する。

次に、パラメータ決定部８８において、相関関数算出部８４から入力された各分割領域毎の相関関数Ｆ_cor__ij（ｆ）と、エッジ抽出処理部９４から入力されたエッジ値と、判別部１００から入力された判別結果とに基づいて、輪郭補正処理やノイズ低減処理の画像処理のパラメータを決定する。

ここで、相関関数Ｆ_cor__ij（ｆ）と、エッジ値及び判別結果とに基づいて、対象となっている分割領域に好適な輪郭補正処理やノイズ低減処理の画像処理のパラメータを決定する原理を説明する。

相関関数Ｆ_cor__ij（ｆ）に基づいて相関値を算出した場合、相関値が大きければ、対象となっている分割領域の画像は、人間の視覚の感度に適した画像であると言えるため、相関関数Ｆ_cor__ij（ｆ）に基づいて算出された相関値は、人間の見やすさに対応している。従って、相関値が大きい場合には、画像データを補正する必要が少ないので、輪郭補正処理及びノイズ低減処理の効果を小さくするパラメータを設定する。一方、相関値が小さい場合には、輪郭補正処理及びノイズ低減処理の効果が大きくし、かつ、相関値が大きくなる方向に画像データを補正するようにパラメータを設定する。

また、判別部１００の判別結果がエッジの部分である場合には、輪郭を鮮鋭にし、ノイズ低減処理により輪郭の鮮鋭度が低下しないようにする必要があるため、輪郭補正処理の効果が大きくなるように輪郭補正処理のパラメータを調整し、ノイズ低減処理は行なわないようにする。判別部１００の判別結果がテクスチャの部分である場合には、ノイズ低減処理によりテクスチャの鮮鋭度が低下しないようにする必要があるため、ノイズ低減処理の効果が小さくなるようにノイズ低減処理のパラメータを設定する。また、平坦部の部分である場合には、輪郭がないため輪郭を強調する必要がなく、また、ノイズを低減する必要があるため、輪郭補正処理を行なわないようにし、ノイズ低減処理の効果が多くなるようにパラメータを調整する。これにより、エッジの部分、テクスチャの部分、及び平坦部の部分の各々に好適な輪郭補正処理及びノイズ低減処理を行なうことができる。

次に、上記の原理に基づいて、パラメータ決定部８８が輪郭補正処理及びノイズ低減処理のパラメータを決定する方法について説明する。

相関関数Ｆ_cor__ij（ｆ）を周波数軸上で積分することにより、相関関数Ｆ_cor__ij（ｆ）の相関値を算出する。そして、相関値と輪郭補正処理及びノイズ低減処理のパラメータとの関係を表したルックアップテーブル（ＬＵＴ）を予め設けておき、相関値をＬＵＴに入力することにより、上記の原理に基づいた輪郭補正処理及びノイズ低減処理のパラメータを決定する。ここで、このＬＵＴによって決定される輪郭補正処理のパラメータは、例えば、輪郭補正処理のゲイン係数であり、このゲイン係数をエッジ値に乗算したパラメータが輪郭補正処理のパラメータとなる。また、このＬＵＴによって決定されるノイズ低減処理のパラメータは、例えば、ローパスフィルタなどのノイズ低減フィルタのパラメータである。

さらに、判別部１００の判別結果と輪郭補正処理及びノイズ低減処理のパラメータ調整値とのルックアップテーブル（ＬＵＴ）を予め設け、判別部１００の判別結果を入力することにより、上記の原理に基づいた輪郭補正処理及びノイズ低減処理のパラメータ調整値を決定する。上記で決定された輪郭補正処理及びノイズ低減処理のパラメータにこのパラメータ調整値を反映することにより、輪郭補正処理及びノイズ低減処理のパラメータを最終的に決定する。

そして、パラメータ決定部８８から出力されたノイズ低減処理のパラメータに基づいて、ノイズ低減処理部６６が、画像領域分割処理部８２から入力された分割領域の画像データＳＤＡＴＡに対してノイズ低減処理を行なう。また、パラメータ決定部８８から出力された輪郭補正処理のパラメータに基づいて、輪郭補正処理部６８が、画像領域分割処理部８２から入力された分割領域の画像データＳＤＡＴＡに対して輪郭補正処理を行なう。そして、全体画像生成部７０において、ノイズ低減処理部６６及び輪郭補正処理部６８から入力されたデータに基づいて、各分割領域の補正画像データを生成すると共に、全ての分割領域の補正画像データを組み合わせることにより、全体補正画像データを生成し、全体補正画像データを外部メモリインタフェース５０を介してメモリカード５２に記憶する。

なお、輪郭補正処理及びノイズ低減処理について、既存の技術を用いればよいため、輪郭補正処理及びノイズ低減処理の詳細な説明は省略する。

以上説明したように、画像の領域分割された部分に対して、各分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関関数に基づいて、各分割領域の画像に好適な輪郭補正処理、ノイズ低減処理などの画像補正処理を行なうことができ、画像の画質を向上させることができる。また、画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を考慮して、各分割領域の画像データの補正量を決定することにより、各分割領域毎に異なる補正量のばらつきを抑制することができる。また、各分割領域の画像データがエッジの部分、テクスチャの部分、及び平坦部の部分の何れを表しているかによって、各分割領域の画像データの補正量を調整することによって、画像の画質をさらに向上させることができる。

なお、本実施の形態では、判別処理部でエッジ抽出処理、エッジ・平坦部判別処理、及びテクスチャ判別処理を行なう例を挙げたが、さらに、各分割領域の画像の明度を判別する処理を行ない、分割領域の明度に応じて、輪郭補正処理及びノイズ低減処理のパラメータを調整するようにしてもよい。特に、分割領域の画像データが平坦部の部分で、明度が低い場合には、ノイズ低減処理の効果を大きくするようにパラメータを調整すると、暗い背景部に多く含まれるノイズを効果的に取り除くことができる。

また、本実施の形態では、αβを決定する場合や、輪郭補正処理及びノイズ低減処理のパラメータやパラメータ調整値を算出する場合に、ルックアップテーブルを使用する例を挙げたが、各種値を出力する関数をそれぞれ予め設けておき、その関数に基づいてそれぞれの値を算出するようにしてもよい。

また、本実施の形態では、画像補正処理として、輪郭補正処理とノイズ低減処理を行なう例を挙げたが、これに限定されるものではなく、各分割領域の画像データの空間周波数特性と人間の視覚特性に基づく空間周波数特性との相関値を大きくするような画像補正処理であればよい。

また、相関関数Ｆ_cor__ij（ｆ）の相関値が小さい場合には、相関値が大きくなる方向に分割領域の画像を補正するようにパラメータを設定する例を挙げたが、判別部の判別結果によって、相関値を大きくしない方が人間にとって見やすい場合には、相関値を大きくしないようなパラメータを設定すればよい。

実施の形態に係るデジタルカメラの外観を示す外観図である。実施の形態に係るデジタルカメラの電気系の主要構成を示すブロック図である。実施の形態に係る電子ズーム時における画像処理を示す機能ブロック図である。実施の形態に係る相関関数を算出する処理を示す機能ブロック図である。

符号の説明

１０デジタルカメラ
６６ノイズ低減処理部
６８輪郭補正処理部
７０全体画像生成部
８０画像周波数変換処理部
８２画像領域分割処理部
８４相関関数算出部
８８パラメータ決定部
９２相関関数決定部
９４エッジ抽出処理部
９６エッジ・平坦部判別処理部
９８テクスチャ判別処理部
１００判別部
ＥＤＡＴＡ拡大画像データ
ＳＤＡＴＡ分割領域の画像データ

Claims

画像を予め定められた分割領域毎に分割する分割手段と、
前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出する空間周波数特性算出手段と、
前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、
前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、
を備えた画像信号処理装置。
画像を予め定められた分割領域毎に分割する分割手段と、
前記分割領域の画像データ及び前記画像全体の画像データに基づいて、前記分割領域の空間周波数特性及び画像全体の空間周波数特性を算出する空間周波数特性算出手段と、
前記空間周波数特性算出手段により算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求めると共に、前記画像全体の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す全体相関を求め、各分割領域の前記部分相関と前記求められた全体相関とに基づいて総合相関を求め、求められた各分割領域の前記総合相関に基づいて各分割領域の画像データの補正量を決定する補正量決定手段と、
前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する補正画像生成手段と、
を備えた画像信号処理装置。
前記補正量決定手段は、前記部分相関に基づいて相関値を演算し、前記相関値が大きくなるに従って、小さくなるように前記補正量を決定し、前記相関値が小さくなるに従って、大きくなるように前記補正量を決定する請求項１に記載の画像信号処理装置。
前記補正量決定手段は、前記総合相関に基づいて相関値を演算し、前記相関値が大きくなるに従って、小さくなるように前記補正量を決定し、前記相関値が小さくなるに従って、大きくなるように前記補正量を決定する請求項２に記載の画像信号処理装置。
各分割領域の画像データが輪郭部、テクスチャ部、及び平坦部の何れを表しているかを判別する判別手段を更に備え、
前記補正量決定手段は、前記判別手段の判別結果に応じて、前記決定する各分割領域の画像データの補正量を調整する請求項１〜請求項４の何れか１項に記載の画像信号処理装置。
画像を予め定められた分割領域毎に分割し、
前記分割領域の画像データに基づいて、前記分割領域の空間周波数特性を算出し、
前記算出された各分割領域の空間周波数特性と予め定められた人間の視覚特性に基づく空間周波数特性との相関を示す部分相関を求め、求められた各分割領域の前記部分相関に基づいて各分割領域の画像データの補正量を決定し、
前記決定された各分割領域の補正量に基づいて各分割領域の画像データを補正した補正画像データを生成する画像信号処理方法。