JP2012141725A - 信号処理装置、信号処理方法、およびプログラム - Google Patents

Abstract

【課題】インパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能な信号処理装置、信号処理方法、およびプログラムを提供する。
【解決手段】データ信号をフィルタリングする第１のローパスフィルタと、インパルス応答を第２のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第１のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置。
【選択図】図１３

Description

本発明は、信号処理装置、信号処理方法、およびプログラムに関する。

近日、ＣＣＤやＣＭＯＳなどの撮像素子を用い、撮像レンズにより撮像素子の受光面上に結像された被写体の光学像を撮像する撮像装置が普及している。このような撮像装置により得られる画像は、受光面上の受光画素数や撮像レンズの解像力に応じた解像度を有する。

このため、撮像装置により得られる画像の解像度を向上するためには、受光画素の数を増大させることや、撮像レンズの解像力を高めることが効果的である。例えば、受光面上の受光画素の密度を高くすると共に、撮像レンズを通して受光面上に投影される点像が１つの受光画素の範囲内に収まるように撮像レンズの解像力を高めることにより、撮像装置により得られる画像の解像度を向上することが可能である。

ここで、撮像素子を構成する受光画素の密度を高めることは近年の技術向上により比較的容易である。一方、撮像レンズの解像力を高めるためには、撮像レンズを構成する各レンズの形状誤差や組立誤差などを低減することが有効であるが、加工、組立および調整制度などの製作精度をさらに高めることの困難性は高い。

また、解像度を高める他のアプローチとして、特許文献１には、撮像装置の撮像により得られた画像を点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）に基づいて信号処理することにより解像度を高める方法が記載されている。

また、特許文献２には、入力画像の周波数成分を帯域分割フィルタにより帯域分割し、入力画像の低周波成分に対してのみ点像分布関数の逆関数を畳み込むことにより、畳み込みの演算負荷を複製する画像処理方法が記載されている。

特開２００９−１４１７４２号公報 特開２００７−７２５５８号公報

しかし、特許文献２に記載の画像処理方法では、帯域分割フィルタの影響で、復元力および解像度が十分に向上されないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、点像分布関数などのインパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能な、新規かつ改良された信号処理装置、信号処理方法、およびプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、データ信号をフィルタリングする第１のローパスフィルタと、インパルス応答を第２のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第１のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置が提供される。

前記第１のローパスフィルタと前記第２のローパスフィルタは同一特性を有してもよい。

前記信号処理装置は、前記畳み込み部による畳み込み結果と前記データ信号を加算する加算部をさらに備えてもよい。

前記データ信号は画像信号であり、前記信号処理装置は、前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、前記加算部は、前記調整部による調整結果と前記データ信号を加算してもよい。

前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整してもよい。

前記調整部は、前記データ信号における前記領域のエッジ情報、または前記畳み込み結果における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、データ信号を第１のローパスフィルタによりフィルタリングするステップと、インパルス応答を第２のローパスフィルタによりフィルタリングするステップと、前記第２のローパスフィルタにより得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを設計するステップと、前記第１のローパスフィルタにより得られた前記データ信号の低域成分に前記補償フィルタを畳み込むステップと、を含む信号処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、データ信号をフィルタリングする第１のローパスフィルタと、インパルス応答を第２のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第１のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と、を備える信号処理装置として機能させるための、プログラムが提供される。

以上説明したように本発明によれば、点像分布関数などのインパルス応答が畳み込まれたデータ信号の補償精度を向上することが可能である。

本発明の実施形態による画像処理装置の構成を示した説明図である。 ベイヤー配列型のＣＭＯＳ撮像素子の受光面における画素配列を示した説明図である。 ベイヤー配列画像の周波数帯域の概念を示した説明図である。 比較例による信号処理部の構成を示した機能ブロック図である。 比較例による信号処理部の動作を示したフローチャートである。 比較例による信号処理部において設計される逆フィルタの２次元周波数応答のＹ軸断面を示した説明図である。 比較例による信号処理部によって復元された画像の２次元周波数応答のＹ軸の断面を示した説明図である。 入力画像の２次元周波数応答のＹ軸断面を示した説明図である。 比較例による画像処理方法による図８に示した入力画像の復元結果の２次元周波数応答のＹ軸断面を示した説明図である。 本発明の第１の実施形態による信号処理部の構成を示した機能ブロック図である。 第１の実施形態により設計される逆フィルタの２次元周波数応答のＹ軸面を示した説明図である。 本発明の第１の実施形態による動作を示したフローチャートである。 第２の実施形態による信号処理部の構成を示した説明図である。 エッジ情報の算出に利用する画素位置を示した説明図である。 エッジ情報とゲインの関係を示した説明図である。 本発明の第２の実施形態による動作を示したフローチャートである。 本発明の第２の実施形態によって復元された画像の２次元周波数応答のＹ軸の断面を示した説明図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．画像処理装置の基本構成
２．比較例による画像処理
３．本発明の第１の実施形態
３−１．第１の実施形態による信号処理部の構成
３−２．第１の実施形態による動作
４．本発明の第２の実施形態
４−１．第２の実施形態による信号処理部の構成
４−２．第２の実施形態による動作
５．まとめ

＜１．画像処理装置の基本構成＞
本発明は、一例として「３．第１の実施形態」および「４．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。また、各実施形態による画像処理装置（信号処理装置）は、
Ａ．データ信号をフィルタリングする第１のローパスフィルタ（２２０Ｂ）と、
Ｂ．インパルス応答を第２のローパスフィルタ（２２０Ｂ）でフィルタリングして得られるインパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第１のローパスフィルタにより得られたデータ信号の低域成分に畳み込む畳み込み部（２４０）と、
を備える。

以下では、まず、このような各実施形態において共通する基本構成について図１〜図３を参照して説明する。

図１は、本発明の実施形態による画像処理装置１の構成を示した説明図である。図１に示したように、本発明の実施形態による画像処理装置１は、撮像光学系１０と、アイリス２と、ＣＭＯＳ撮像素子１４と、Ｓ／Ｈ＿ＡＧＣ１６と、Ａ／Ｄ変換部１８と、ＡＥ検波ブロック２４と、マイクロコンピュータ２６と、アイリスドライバ２８と、を備える。なお、本発明の実施形態による画像処理装置１は、撮像装置、携帯機器、車載機器および医療機器などの多様な機器に適用可能である。

撮像光学系１０は、複数の撮像レンズからなり、アイリス１２を介して被写体の光学像をＣＭＯＳ撮像素子１４の受光面に結像させる。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子１４は、受光面に結像された被写体の光学像を電気信号に変換する。なお、ＣＭＯＳ撮像素子１４は撮像素子の一例に過ぎず、画像処理装置１は、ＣＭＯＳ撮像素子１４に代えて例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子を備えてもよい。

Ｓ／Ｈ＿ＡＧＣ１６は、ＣＭＯＳ撮像素子１４からの出力に対してサンプルホールド（Ｓ／Ｈ）およびＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）を施し、Ａ／Ｄ変換部１８は、Ｓ／Ｈ＿ＡＧＣ１６からの出力をデジタル形式に変換する。Ａ／Ｄ変換部１８からのデジタル信号は、信号処理部２０およびＡＥ検波ブロック２４に供給される。

信号処理部２０は、Ａ／Ｄ変換部１８からのデジタル出力に対して各種の信号処理を施し、出力端子２２を介して後段回路に処理後の信号を出力する。例えば、信号処理部２０は、詳細については各実施形態として後述するように、デジタル出力として入力される入力画像の解像度を向上させるための信号処理を行う。

ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）検波ブロック２４は、Ａ／Ｄ変換部１８から入力されるデジタル信号を検波する。マイクロコンピュータ２６は、ＡＥ検波ブロック２４から供給される検波値に基づき、アイリス１２の開度を制御するための制御信号をアイリスドライバ２８に供給する。アイリスドライバ２８は、マイクロコンピュータ２６から供給される制御信号に従ってアイリス１２を駆動する。

（ベイヤー配列）
上述したＣＭＯＳ撮像素子１４は、ベイヤー配列に従って画素が配列されている。以下、図２を参照してベイヤー配列について説明する。

図２は、ベイヤー配列型のＣＭＯＳ撮像素子１４の受光面における画素配列を示した説明図である。図２に示したように、ベイヤー配列においては、水平方向に沿った第１ライン（最上段のライン）にはＢ成分を検知する画素とＧ成分を検知する画素が交互に配置され、第２ラインにはＧ成分を検知する画素とＲ成分を検知する画素とが交互に配置される。以下、垂直方向Ｖには同様の画素配列を有する複数のラインが配置され、各画素において光電変換が行われることにより、ＣＭＯＳ撮像素子１４からカラー画像が出力される。

図３は、ベイヤー配列を有する画像の周波数帯域の概念を示した説明図である。図３に示したように、ベイヤー配列を有する画像は、サンプリングの観点から、Ｇ成分の帯域がＲ、Ｂ成分の帯域の２倍に相当する。

＜２．比較例による画像復元処理＞
以上、本発明の実施形態による画像処理装置の基本構成を説明した。続いて、図４〜図９を参照し、比較例による画像復元処理を説明する。

図４は、比較例による信号処理部８０の構成を示した機能ブロック図である。図４に示したように、比較例による信号処理部８０は、ＰＳＦテーブル８２と、逆フィルタ設計部８４と、畳み込み部８６と、加算部８８と、を有する。

ＰＳＦテーブル８２は、ＲＧＢ成分ごと、および画素ごとに定義される点像分布関数Ｐ（ｚ）を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開２００９−１４１７４２号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。

逆フィルタ設計部８４は、ＲＧＢ成分ごと、および画素ごとに、点像分布関数Ｐ（ｚ）に対する逆フィルタＫ（ｚ）を設計する。例えば、逆フィルタ設計部８４は、特開２００９−１４１７４２号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタＫ（ｚ）を設計する。

具体的には、逆フィルタ設計部８４は、以下の数式１に従って逆フィルタの周波数応答Ｋ（ｗ）を算出し、逆フィルタの周波数応答Ｋ（ω）を逆フーリエ変換することにより逆フィルタＫ（ｗ）を設計することができる。なお、数式１においてＰ（ｗ）はＰＳＦの周波数応答を示し、Ｎ（ｗ）はノイズ成分の周波数応答を示す。

畳み込み部８６は、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々に対し、逆フィルタ設計部８４により算出されたＲ成分向けの逆フィルタＫ_ｒ（ｚ）、Ｇ成分向けの逆フィルタＫ_ｇ（ｚ）、およびＢ成分向けの逆フィルタＫ_ｂ（ｚ）の各々を畳み込む。このような畳み込み部８６による演算を以下の数式２に示す。なお、数式２においてＸ_ｒ（ｚ）は入力画像のＲ成分を示し、Ｘ_ｇ（ｚ）は入力画像のＧ成分を示し、Ｘ_ｂ（ｚ）は入力画像のＢ成分を示す。

加算部８８は、数式３に示すように畳み込み部８６により得られた畳み込み結果Ｙ（ｚ）をＲＧＢ成分ごとに入力画像に加算する。なお、数式３においてＯ_ｒ（ｚ）は出力画像のＲ成分を示し、Ｏ_ｇ（ｚ）は出力画像のＧ成分を示し、Ｏ_ｂ（ｚ）は出力画像のＢ成分を示す。

以上、比較例による信号処理部８０の構成を説明した。続いて、図５を参照し、比較例による信号処理部８０の動作を説明する。

‐ステップＳ９４
まず、図５に示したように、逆フィルタ設計部８４が、ＲＧＢ成分ごと、および画素ごとに、例えば数式１に示したように点像分布関数Ｐ（ｚ）に対する逆フィルタＫ（ｚ）を設計する。

‐ステップＳ９６
その後、畳み込み部８６は、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々に対し、逆フィルタ設計部８４により算出されたＲ成分向けの逆フィルタＫ_ｒ（ｚ）、Ｇ成分向けの逆フィルタＫ_ｇ（ｚ）、およびＢ成分向けの逆フィルタＫ_ｂ（ｚ）の各々を畳み込む（Ｓ９６）。

‐ステップＳ９８
そして、加算部８８は、畳み込み部８６により得られた畳み込み結果Ｙ（ｚ）を例えば数式３に示したようにＲＧＢ成分ごとに入力画像に加算し、出力画像Ｏ（ｚ）を出力する。

図６は、このような比較例による信号処理部８０において設計される逆フィルタの２次元周波数応答のＹ軸断面を示した説明図である。図７は、比較例による信号処理部８０によって復元された画像の２次元周波数応答のＹ軸の断面を示した説明図である。なお、図面においてはＲ成分を実線で示し、Ｂ成分を破線で示し、Ｇ成分を細線で示す。

（本発明の実施形態に至る経緯）
図６に示したように、比較例によるＧ成分およびＢ成分の逆フィルタでは、ナイキスト周波数を１としたときの０．５以上の周波数も１０ｄＢ以上持ち上げられる。しかし、撮像レンズを通過した高域の周波数成分のほとんどは、画像成分でなくノイズ成分である。このため、比較例による復元方法では、画像の解像度だけでなく、ノイズ成分も増幅してしまうという問題が生じる。

また、図２に示したベイヤー配列型の画像に対して比較例による復元方法を適用すると、Ｇ成分がＲＢ成分に対して２倍の帯域を有するので、色つきが生じる。具体的には、図７に示したように、Ｇ成分とＢ成分は高域まで復元されるが、Ｒ成分は０．４程度の周波数から急激に減少しているので、この復元結果の画像では赤色の色つきが生じる。

一方、入力画像の周波数成分を帯域分割フィルタにより帯域分割し、入力画像の低周波成分に対してのみ点像分布関数の逆関数を畳み込む画像処理方法も考えられる。以下、図８および図９を参照し、当該画像処理方法について説明する。

図８は、ある入力画像の２次元周波数応答のＹ軸断面を示した説明図である。図９は、比較例による画像処理方法による図８に示した入力画像の復元結果の２次元周波数応答のＹ軸断面を示した説明図である。図９に示したように、当該画像処理方法によれば、図７に示した２次元周波数応答と比較して各色とも０．３程度から落ちているので色つきの問題は解消される。しかし、低域成分が十分に持ち上がっていないので、復元効果が弱いという問題がある。

本発明の実施形態は、上記事情を一着眼点にしてなされたものであり、本発明の実施形態によれば、色つきおよび解像力などの観点から、撮像光学系１０により得られる画像の品質を向上することが可能である。以下、このような本発明の各実施形態について詳細に説明する。

＜３．本発明の第１の実施形態＞
［３−１．第１の実施形態による信号処理部の構成］
図１０は、本発明の第１の実施形態による信号処理部２０−１の構成を示した機能ブロック図である。図１０に示したように、第１の実施形態による信号処理部２０−１は、ＰＳＦテーブル２１０と、ローパスフィルタ２２０Ａおよび２２０Ｂと、逆フィルタ設計部２３０と、畳み込み部２４０と、を有する。

ＰＳＦテーブル２１０は、ＲＧＢ成分ごと、および画素ごとに定義される点像分布関数Ｐ（ｚ）を保持する。点像分布関数は画面内で非一様な分布であるが、近隣画素との差分は必ずしも大きくないので、ある範囲内のブロックで点像分布関数を一様に近似することも可能である。なお、点像分布関数は、例えば特開２００９−１４１７４２号公報に記載の方法により取得される。または、光学設計値の点像分布関数を用いてもよい。

ローパスフィルタ２２０Ａは、数式４に示すように、各色の点像分布関数Ｐ（ｚ）をフィルタリングして各色の点像分布関数Ｐ（ｚ）の低域成分Ｐ_ａ（Ｚ）を算出する。なお、数式４においてＬ_ａｒ（ｚ）はＲ成分に対するローパスフィルタ２２０Ａを示し、Ｌ_ａｇ（ｚ）はＧ成分に対するローパスフィルタ２２０Ａを示し、Ｌ_ａｂ（ｚ）はＢ成分に対するローパスフィルタ２２０Ａを示す。

逆フィルタ設計部２３０は、ＲＧＢ成分ごと、および画素ごとに、ローパスフィルタ２２０Ａによりフィルタリングされた点像分布関数Ｐ_ａ（Ｚ）に対して逆特性を有する逆フィルタＫ_ａ（ｚ）を設計する。例えば、逆フィルタ設計部２３０は、特開２００９−１４１７４２号公報に記載の方法や、ウィナーフィルタに基づき入力画像との平均二乗誤差を最小とする方法により逆フィルタＫ_ａ（ｚ）を設計する。

具体的には、逆フィルタ設計部２３０は、以下の数式５に従って逆フィルタの周波数応答Ｋ_ａ（ｗ）を算出し、逆フィルタの周波数応答Ｋ_ａ（ω）を逆フーリエ変換することにより逆フィルタＫ_ａ（ｚ）を設計することができる。なお、数式５においてＰ_ａ（ｗ）はフィルタリング後の点像分布関数の周波数応答を示し、Ｎ（ｗ）はノイズ成分の周波数応答を示す。また、数式５においては記載を省略しているが、逆フィルタ設計部２３０は、ＲＧＢ成分ごと、および画素ごとに逆フィルタＫ_ｒ（ｚ）、Ｋ_ｇ（ｚ）、Ｋ_ｂ（ｚ）を算出する。また、逆フィルタは、厳密に点像分布関数Ｐ_ａ（Ｚ）の逆特性である必要はなく、点像分布関数Ｐ_ａ（Ｚ）による信号劣化の少なくとも一部を補償する補償フィルタであればよい。

ローパスフィルタ２２０Ｂは、数式６に示すように、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々をフィルタリングしてＸ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）を算出する。なお、ローパスフィルタ２２０Ｂは、ローパスフィルタ２２０Ａと同一の周波数特性を有してもよい。

畳み込み部２４０は、ローパスフィルタ２２０Ｂによるフィルタリング後の入力画像Ｘ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）の各々に対し、逆フィルタ設計部２３０により設計された逆フィルタＫ_ａｒ（ｚ）、Ｋ_ａｇ（ｚ）、Ｋ_ａｂ（ｚ）の各々を畳み込む。このような畳み込み部２４０による演算を以下の数式７に示す。

ここで、図１１を参照し、本発明の第１の実施形態による効果を説明する。

図１１は、第１の実施形態により設計される逆フィルタの２次元周波数応答のＹ軸面を示した説明図である。図１１に示したように、第１の実施形態により設計される逆フィルタは、図６に示した比較例による逆フィルタと比較してＲＧＢ成分ごとの特性差が少ないので、色つきの問題が解消される。また、第１の実施形態により設計される逆フィルタは、図６に示した比較例による逆フィルタと同様に、低域の復元は１０ｄＢ以上の持ち上げを保っている。一方、第１の実施形態により設計される逆フィルタは、ローパスフィルタ２２０によるフィルタリングにより高域成分に対する周波数応答が弱くなっているので、ノイズ成分の増幅量を抑制することが可能である。

［３−２．第１の実施形態による動作］
以上、本発明の第１の実施形態による信号処理部２０−１の構成を説明した。続いて、図１２を参照し、本発明の第１の実施形態による動作を説明する。

図１２は、本発明の第１の実施形態による動作を示したフローチャートである。図１２に示したように、まず、ローパスフィルタ２２０Ａが数式４に示したように各色の点像分布関数Ｐ（ｚ）をフィルタリングして各色のＰ_ａ（Ｚ）を算出する（Ｓ３１０）。

続いて、逆フィルタ設計部２３０は、ＲＧＢ成分ごと、および画素ごとに、ローパスフィルタ２２０Ａによりフィルタリングされた点像分布関数Ｐ_ａ（Ｚ）に対して逆特性を有する逆フィルタＫ_ａ（ｚ）を設計する（Ｓ３２０）。

また、ローパスフィルタ２２０Ｂは、数式６に示したように、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々をフィルタリングしてＸ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）を算出する（Ｓ３３０）。

その後、畳み込み部２４０が、ローパスフィルタ２２０Ｂによるフィルタリング後の入力画像Ｘ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）の各々に対し、逆フィルタ設計部２３０により設計された逆フィルタＫ_ａｒ（ｚ）、Ｋ_ａｇ（ｚ）、Ｋ_ａｂ（ｚ）の各々を畳み込む（Ｓ３４０）。これにより、出力画像Ｙ_ａ（ｚ）が得られる。

＜４．本発明の第２の実施形態＞
以上、本発明の第１の実施形態を説明した。続いて、図１３〜図１７を参照し、本発明の第２の実施形態を説明する。

［４−１．第２の実施形態による信号処理部の構成］
図１３は、第２の実施形態による信号処理部２０−２の構成を示した説明図である。図１３に示したように、第２の実施形態による信号処理部２０−２は、ＰＳＦテーブル２１０と、ローパスフィルタ２２０Ａおよび２２０Ｂと、逆フィルタ設計部２３０’と、畳み込み部２４０と、調整部２５０と、加算部２６０と、を有する。ＰＳＦテーブル２１０と、ローパスフィルタ２２０Ａおよび２２０Ｂについては、第１の実施形態で説明したので、詳細な説明を省略する。

逆フィルタ設計部２３０’は、ＲＧＢ成分ごと、および画素ごとに、ローパスフィルタ２２０Ａによりフィルタリングされた点像分布関数Ｐ_ａ（Ｚ）に対して逆特性を有する逆フィルタＫ_ａ（ｚ）を設計する。

具体的には、逆フィルタ設計部２３０’は、以下の数式８に従って逆フィルタの周波数応答Ｋ_ａ（ｗ）を算出し、逆フィルタの周波数応答Ｋ_ａ（ω）を逆フーリエ変換することにより逆フィルタＫ_ａ（ｚ）を設計することができる。なお、数式８においてＰ_ａ（ｗ）はフィルタリング後の点像分布関数の周波数応答を示し、Ｐ^＊ _ａ（ｗ）はＰ_ａ（ｗ）の複素共役を示し、Ｎ（ｗ）はノイズ成分の周波数応答を示す。また、数式８においては記載を省略しているが、逆フィルタ設計部２３０’は、ＲＧＢ成分ごと、および画素ごとに逆フィルタＫ_ｒ（ｚ）、Ｋ_ｇ（ｚ）、Ｋ_ｂ（ｚ）を算出する。

畳み込み部２４０は、ローパスフィルタ２２０Ｂによるフィルタリング後の入力画像Ｘ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）の各々に対し、逆フィルタ設計部２３０’により設計された逆フィルタＫ_ａｒ（ｚ）、Ｋ_ａｇ（ｚ）、Ｋ_ａｂ（ｚ）の各々を畳み込む。このような畳み込み部２４０による演算を以下の数式９に示す。

調整部２５０は、畳み込み部２４０によるある対象画素の畳み込み結果Ｙ_ａ（ｚ）を、対象画素付近のエッジ情報に基づいて調整する。具体的には、調整部２５０は、まず数式１０に示す対象画素付近のエッジ情報Ｄｉｆｆを算出する。なお、数式１０における画素Ａ、Ｂ、Ｃ、およびＤの対象画素Ｐに対する位置は図１４に示した通りである。調整部２５０は、入力画像における対象画素付近のエッジ情報Ｄｉｆｆを算出してもよいし、畳み込み部２４０による畳み込み結果における対象画素付近のエッジ情報Ｄｉｆｆを算出してもよい。

そして、調整部２５０は、エッジ情報Ｄｉｆｆに応じてゲインＧを算出する。例えば、調整部２５０は、エッジ情報ＤｉｆｆとゲインＧの図１５に示した関係に従ってゲインＧを算出してもよい。図１５に示した関係によれば、エッジ情報Ｄｉｆｆが閾値以下である場合はゲインＧとして１．００を算出され、エッジ情報Ｄｉｆｆが閾値以上になるとゲインＧが段階的に減少する。

さらに、調整部２５０は、数式１１に示すように、畳み込み部２４０による畳み込み結果Ｙ_ａ（ｚ）を、算出したゲインＧに従って調整する。

ここで、エッジ情報Ｄｉｆｆは、対象画素Ｐ付近のエッジ成分が強いほど大きな値になるので、対象画素Ｐに関するゲインＧは、対象画素Ｐ付近のエッジ成分が強いほど小さな値になる。このため、エッジ領域を強調し過ぎて出力画像が不自然になってしまうことを防止することが可能である。

加算部２６０は、数式１２に示すように、調整部２５０による調整結果Ｚ_ａ（ｚ）を、入力画像Ｘ（ｚ）に加算して出力画像Ｏ（ｚ）を得る。

［４−２．第２の実施形態による動作］
以上、本発明の第２の実施形態による信号処理部２０−２の構成を説明した。続いて、図１６を参照し、本発明の第２の実施形態による動作を説明する。

図１６は、本発明の第２の実施形態による動作を示したフローチャートである。図１６に示したように、まず、ローパスフィルタ２２０Ａが数式４に示したように各色の点像分布関数Ｐ（ｚ）をフィルタリングして各色のＰ_ａ（Ｚ）を算出する（Ｓ３１０）。

続いて、逆フィルタ設計部２３０’は、ＲＧＢ成分ごと、および画素ごとに、ローパスフィルタ２２０Ａによりフィルタリングされた点像分布関数Ｐ_ａ（Ｚ）に対して逆特性を有する逆フィルタＫ_ａ（ｚ）を設計する（Ｓ３２０）。

また、ローパスフィルタ２２０Ｂは、数式６に示したように、ベイヤー配列の入力画像Ｘ（ｚ）のＲ成分、Ｇ成分、Ｂ成分の各々をフィルタリングしてＸ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）を算出する（Ｓ３３０）。

その後、畳み込み部２４０が、ローパスフィルタ２２０Ｂによるフィルタリング後の入力画像Ｘ_ａｒ（ｚ）、Ｘ_ａｇ（ｚ）、Ｘ_ａｂ（ｚ）の各々に対し、逆フィルタ設計部２３０’により設計された逆フィルタＫ_ａｒ（ｚ）、Ｋ_ａｇ（ｚ）、Ｋ_ａｂ（ｚ）の各々を畳み込む（Ｓ３４０）。

続いて、調整部２５０が、畳み込み部２４０によるある対象画素の畳み込み結果Ｙ_ａ（ｚ）を、対象画素付近のエッジ情報に基づいて調整する（Ｓ３５０）。そして、加算部２６０が、調整部２５０による調整結果Ｚ_ａ（ｚ）を、入力画像Ｘ（ｚ）に加算して出力画像Ｏ（ｚ）を得る。

ここで、図１７を参照し、本発明の第２の実施形態による効果を説明する。

図１７は、本発明の第２の実施形態によって復元された画像の２次元周波数応答のＹ軸の断面を示した説明図である。図１７に示したように、本発明の第２の実施形態によれば、図９に示した比較例による画像処理方法に比べ、０．４程度までの低域を十分に復元することが可能である。また、本発明の第２の実施形態によれば、図１７に示したように、各色とも０．４程度から落ちているので色つきの問題は解消され、かつ、高域は−１０ｄＢ以上落とされるので高域のノイズ成分は増幅されない。また、調整部２５０によるエッジ情報に基づく調整により、白黒のエッジ部分に起きる画素が黒色に沈む現象も改善することが可能である。

＜５．まとめ＞
以上説明したように、本発明の実施形態によれば、ＲＧＢ成分ごとの特性差が抑制された逆フィルタを設計できるので、出力画像の色つきの問題が解消される。また、本発明の実施形態によれば、高域のノイズ成分の増幅を回避しつつ、比較例による画像処理方法に比べ、０．４程度までの低域を十分に復元することが可能である。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では点像分布関数が畳み込まれた入力画像を補償する画像処理装置を説明したが、本発明はかかる例に限定されない。点像分布関数はインパルス応答の一例に過ぎず、入力画像はデータ信号の一例に過ぎず、画像処理装置はインパルス応答が畳み込まれたデータ信号を補償する信号処理装置の一例に過ぎない。本発明は、インパルス応答が畳み込まれたデータ信号を補償する信号処理装置全般に適用可能である。

また、本明細書の信号処理部２０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、信号処理部２０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、画像処理装置１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した信号処理部２０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１ 画像処理装置
１０ 撮像光学系
２０ 信号処理部
２１０ ＰＳＦテーブル
２２０ ローパスフィルタ
２３０、２３０’ 逆フィルタ設計部
２４０ 畳み込み部
２５０ 調整部
２６０ 加算部

Claims (9)

1. データ信号をフィルタリングする第１のローパスフィルタと；
   インパルス応答を第２のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第１のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と；
   を備える、信号処理装置。
2. 前記第１のローパスフィルタと前記第２のローパスフィルタは同一特性を有する、請求項１に記載の信号処理装置。
3. 前記信号処理装置は、
   前記畳み込み部による畳み込み結果と前記データ信号を加算する加算部をさらに備える、請求項２に記載の信号処理装置。
4. 前記データ信号は画像信号であり、
   前記信号処理装置は、
   前記畳み込み部によるある領域に関する畳み込み結果を、前記領域のエッジ情報に基づいて調整する調整部をさらに備え、
   前記加算部は、前記調整部による調整結果と前記データ信号を加算する、請求項３に記載の信号処理装置。
5. 前記調整部は、前記エッジ情報に基づき、前記領域のエッジ成分が弱いほどゲインが高くなるように前記領域に関する畳み込み結果を調整する、請求項４に記載の信号処理装置。
6. 前記調整部は、前記データ信号における前記領域のエッジ情報、または前記畳み込み結果における前記領域のエッジ情報に基づいて前記領域に関する畳み込み結果を調整する、請求項５に記載の信号処理装置。
7. 前記データ信号は、撮像光学系により撮像された画像信号であり、
   前記インパルス応答は、前記撮像光学系の点像分布関数である、請求項６に記載の信号処理装置。
8. データ信号を第１のローパスフィルタによりフィルタリングするステップと；
   インパルス応答を第２のローパスフィルタによりフィルタリングするステップと；
   前記第２のローパスフィルタにより得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを設計するステップと；
   前記第１のローパスフィルタにより得られた前記データ信号の低域成分に前記補償フィルタを畳み込むステップと；
   を含む、信号処理方法。
9. コンピュータを、
   データ信号をフィルタリングする第１のローパスフィルタと；
   インパルス応答を第２のローパスフィルタでフィルタリングして得られる前記インパルス応答の低域成分による信号劣化を補償する補償フィルタを、前記第１のローパスフィルタにより得られた前記データ信号の低域成分に畳み込む畳み込み部と；
   を備える、信号処理装置として機能させるための、プログラム。
   

Images