JP2004328506A

JP2004328506A - 撮像装置および画像復元方法

Info

Publication number: JP2004328506A
Application number: JP2003122433A
Authority: JP
Inventors: Mitsuaki Kita; 光昭喜多
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-04-25
Filing date: 2003-04-25
Publication date: 2004-11-18

Abstract

【課題】ズーム量、デフォーカス量、絞り量が変化する場合でも、予めその変化に応じた振幅伝達関数の逆関数を定義し、それを用いてフィルタ処理をすることにより原画像の周波数特性に画像を復元する。
【解決手段】本発明の撮像装置は、画像復元手段により、光学系通過後の像を撮像手段で撮像し、撮像した画像Ａを画像処理手段により画像処理する際に、撮像手段で得られた画像Ｂに対して、光学系に対する光学調整量に応じた伝達関数の逆関数のＭＴＦフィルタ５を用いて光学系通過後の画像を光学系通過前の周波数特性を持った画像８に復元するものである。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、デジタルスチルカメラに適用して好適な撮像装置および画像復元方法に関するものである。
【０００２】
【従来の技術】
撮像装置における画像補正において、空間周波数処理技術が従来より用いられている。この空間周波数処理技術では、各入出力装置のＭＴＦ（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を測定して、そのデバイスの特性とし、そのデバイス特性に基づいて補正を行うものである。
【０００３】
例えば、特許文献１にはＭＴＦフィルタ処理を行うと画像が大きく劣化する画像データ中のノイズを除去することを目的として、ノイズ低減変換部はスキャナ部からの入力画像データを、有効信号とノイズ成分の差分値が少なくなるように変換し、次いでＭＴＦフィルタ処理部はノイズ低減変換部により処理された画像中のエッジを強調し、次いでノイズ低減変換補正部はＭＴＦフィルタ処理部により処理された画像データに対して、ノイズ低減変換部のノイズ低減変換特性と反対の変換特性で補正を行う画像形成装置が開示されている。
【０００４】
また、特許文献２には画像入力の際に画像入力装置や入力画像に関わらず、同一の鮮鋭さの出力画像を得ることができるようにすることを目的として、階調特性が既知である階調テストパターン画像を画像入力手段に取り込み、取り込んだパターン画像から測定される階調特性と、上記既知の階調特性との対応関係から信号空間変換係数を算出する。空間周波数特性が既知である空間周波数テストパターン画像を前記画像入力手段に取り込み、取り込んだパターン画像の信号空間を信号空間変換係数を用いて信号空間変換をした後、その変換後画像から測定される空間周波数特性と、上記既知の空間周波数特性との対応関係から空間周波数処理係数を算出する。画像入力手段から取り込んだ入力画像は、その信号空間を信号空間変換係数を用いて変換した後、算出した空間周波数処理係数を用いて、空間周波数特性の補正を行う画像処理方法が開示されている。
【０００５】
【特許文献１】
特開２０００−１８８６８８号公報
【特許文献２】
特開平１１−２２５２７５号公報
【０００６】
【発明が解決しようとする課題】
しかし、上述した特許文献１に記載の技術は画像を読み取って複写するためのスキャナーや複写機に対するものであり、ここで述べられているＭＴＦ特性の逆特性のフィルタ処理を施す方法ではＣＣＤに入力された画像に畳み込み積分処理を施すことにより原画像の周波数特性に復元している。この方法では焦点距離は一定と考え、入力画像全体に対して均等に同じ周波数特性のフィルタ処理を施しているがズーム量、デフォーカス量、絞り量が変化すると振幅伝達関数が変化するシステムに対して復元処理出来ないという不都合があった。
【０００７】
また、特許文献２に記載の技術は画像を読み取って複写するためのスキャナーや複写機に対するものであり、ここではＣＣＤにテスト信号を入力し、入力されたテスト信号を画像データに変換し、ＭＴＦの逆フィルタを用いてＭＴＦ補正処理し、逆フィルタが最適と考えられる周波数特性になるようにフィルタ特性を適応的に変化させる手法について述べている。しかしフィルタ特性の適応処理が複雑となるという不都合があった。
【０００８】
そこで、本発明は、かかる点に鑑みてなされたものであり、ズーム量、デフォーカス量、絞り量が変化する場合でも、あらかじめその変化に応じた振幅伝達関数の逆関数を定義し、それを用いてフィルタ処理をすることにより原画像の周波数特性に画像を復元することができる撮像装置および画像復元方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明の撮像装置は、画像復元手段により、光学系通過後の像を撮像手段で撮像し、撮像した画像データを画像処理手段により画像処理する際に、撮像手段で得られた画像データに対して、光学系に対する光学調整量に応じた伝達関数の逆関数を用いて光学系通過後の画像を光学系通過前の周波数特性を持った画像に復元するものである。
【００１０】
従って本発明によれば、以下の作用をする。
光学系レンズのフィルタがかかった画像を生成するためには、元の画像からあるブロックの画像を切り取り、切り取った時間領域の画像から周波数領域の画像を生成する。この周波数領域の画像により画像を周波数軸上で表現することが出来る。次に、この周波数領域の画像に光学系に対する光学調整量に応じた伝達関数の逆関数のフィルタを乗算器により掛け合わせる。最後にこの乗算結果に対して周波数領域から時間領域に戻すことによりレンズフィルタ処理された画像を生成することが出来る。
【００１１】
ここで復元フィルタ処理を施す場合には光学系に対する光学調整量に応じた伝達関数の曲線の逆関数の曲線のフィルタを求めることが出来ればレンズ通過前の画像を生成することが可能となる。
【００１２】
本発明の画像復元方法は、光学系通過後の像を上記撮像手段で撮像し、撮像した画像データを画像処理手段により画像処理し、撮像手段で得られた画像データに対して、光学系に対する光学調整量を決定し、光学調整量に応じた伝達関数の逆関数を選択し、逆関数を用いて光学系通過後の画像を光学系通過前の周波数特性を持った画像に復元するものである。
【００１３】
従って本発明によれば、以下の作用をする。
光学系レンズのフィルタがかかった画像を生成するためには、元の画像からあるブロックの画像を切り取り、切り取った時間領域の画像から周波数領域の画像を生成する。この周波数領域の画像により画像を周波数軸上で表現することが出来る。次に、光学系に対する光学調整量を決定し、この周波数領域の画像に光学系に対する光学調整量に応じた伝達関数の逆関数を選択し、逆関数を用いたフィルタを乗算器により掛け合わせる。最後にこの乗算結果に対して周波数領域から時間領域に戻すことによりレンズフィルタ処理された画像を生成することが出来る。
【００１４】
ここで復元フィルタ処理を施す場合には光学系に対する光学調整量に応じた伝達関数の曲線の逆関数の曲線のフィルタを求めることが出来ればレンズ通過前の画像を生成することが可能となる。
【００１５】
【発明の実施の形態】
以下に、本発明の実施の形態について、適宜図面を参照しながら説明する。
【００１６】
［ＭＴＦ］
レンズ等の光学系がどれほどまで細かな正弦波状のパターンを読み取ることができるかを、光学系の伝達関数ＯＴＦ（Ｏｐｔｉｃａｌｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎ）といい、複素数で表される。その絶対値をＭＴＦ（ｍｏｄｕｌａｔｉｏｎｔｒａｎｓｆｅｒｆｕｎｃｔｉｏｎ）と呼び、振幅の伝達関数を示す。
【００１７】
ＭＴＦは図１２に示すようにレンズの特性を横軸に空間周波数、縦軸にＭＴＦを用いて示す。横軸の空間周波数は結像面における１ｍｍあたりの正弦波数（Ｌｉｎｅｐａｉｒ／ｍｍ）である。縦軸のＭＴＦはこの正弦波の透過率になっている。従って周波数が高い領域で透過率が高い特性を持つレンズが良いレンズであると考えられる。
【００１８】
［ＭＴＦ測定方法］
ＭＴＦを測定するためには図１３に示すように入射瞳１３１の前面を等面積にメッシュ１３３状に細分化して、それぞれのメッシュ１３３の分割部分に１本の光線１３４を対応させ、全光線を追跡する。分割方法は矩形状メッシュ１３４による分割方式を用いる。軸上収差は回転対象であるため追跡計算は１／４円１３２について行う。分割する形は円形、正方形、多角形である。
【００１９】
図１４に示すように光源１４１から発射された光線１４２は指定された入射瞳１４３の位置を通り、屈折することにより結像面１４４の点１４５に結像する。レーザー光線１４２を用いた場合、光は分散されず、一本の光線１４２が発射されると入射瞳１４３を通り、結像面１４４に点１４５が映し出される。しかし実際には入射瞳１４３より前または後にレンズが配置されている。従ってレンズの特性により、発射された光線１４２は収差などの影響を受け、図１５に示すように結像面１５１には分散された複数点（点像１５２）が映し出される。
【００２０】
ここで点像１６１の軸は図１６に示すように円周状（Ｓａｇｉｔａｌ）１６２，放射状（Ｔａｎｇｅｎｔｉａｌ）１６３の２軸に分割できる。すなわち点像１６１は球面レンズを通って結像されたと考えると結像面の円周状（Ｓａｇｉｔａｌ）１６２方向（Ｓ軸）は同じ特性になると考えることが出来る。同様に放射状（Ｔａｎｇｅｎｔｉａｌ）１６３方向（Ｔ軸）についても言える。これにより図１７に示すように点像１７１に対して、円周状（Ｓａｇｉｔａｌ）１７２のｓ方向における点像１７１の強度分布と、放射状（Ｔａｎｇｅｎｔｉａｌ）１７３のｔ方向における点像１７１の強度分布を得ることが出来る。
【００２１】
収差を持つレンズの場合、物点に対する像の強度分布は広がりを持つ。この点像強度分布をフーリエ展開すれば正弦波（ｃｏｓ）の各周波数で構成される多項の正弦波関数に分解できる。振幅は周波数によって変化し、一般に高い周波数ほど減衰していく。従って正弦波の合成が点像強度分布を構成しているため、それぞれの周波数の正弦波に対する振幅変調度の変調度低減を知ればそれが物点に対しての系の結像性能の全てを示す。従ってＭＴＦは点像の強度分布のフーリエ変換によって求められ、その値は周波数の関数となる。レンズの場合高周波となるに従ってＭＴＦの値は低下するのが普通であり、ローパスフィルタであると考えることが出来る。
【００２２】
ＭＴＦは入射瞳のｔ方向に光線をずらしていくことにより、より精密なレンズの特性を測定することが出来る。すなわち図１８に示すようにｔ方向にずらした距離は結像面１８１でいえば点像１８２，１８３が得られるポイントの像高の移動距離１８４に比例する。
【００２３】
ここで軸上１８５の場合のみｓ、ｔ方向の点像強度分布は同じであると考えることが出来る。ｔ方向に光線をずらす位置を１，２とすると、点像１８２，１８３の強度分布のフーリエ変換により得られたｔ１、ｓ１、ｔ２、ｓ２のＭＴＦ曲線は図１９のようになる。
【００２４】
［ＭＴＦ曲線］
ＭＴＦ曲線の横軸の空間周波数は先にも述べたように本数／ｍｍで表される。また白黒で１本とカウントする。つまりＭＴＦ曲線の最高周波数が３００本／ｍｍだとすると１ｍｍあたり白と黒それぞれ３００本表現可能なレンズであると考えることが出来る。これを画像で考えてみると、図２０に示すように白と黒それぞれ３００本表現するには６００画素必要であると考えることが出来る。
【００２５】
様々なレンズのＭＴＦ特性を調べたところ、最高周波数の相場は３００本／ｍｍであることが分かった。従って画像から６００画素以上切り取るとＭＴＦの周波数帯域と１対１にすることが出来る。しかし、ＦＦＴ処理の都合上５１２画素切り取り、最高周波数が２５６本／ｍｍでフィルタリングすることにした。
【００２６】
図１は、レンズのフィルタがかかった画像を生成する図である。
そこで、図１に示すようにレンズのフィルタがかかった画像を生成するためには、元の画像Ａ（１）から５１２ｘ５１２の画像Ｂ（２）を切り取り、画像Ｂ（２）に対してフーリエ変換（ＦＦＴ）３を施してＦＦＴ画像４を生成する。このＦＦＴ画像４により画像を周波数軸上で表現することが出来る。次に、このＦＦＴ画像４にＭＴＦフィルタ５を乗算器６により掛け合わせる。最後にこの乗算結果に対して逆フーリエ変換（ＩＦＦＴ）７を施すことによりレンズフィルタ処理されたＩＦＦＴ画像８を生成することが出来る。
【００２７】
復元フィルタ処理を施す場合にも同様である。図２に示すようなＭＴＦ曲線の逆関数のＩＭＴＦ曲線のＭＴＦフィルタ５を求めることが出来ればレンズ通過前の画像を生成することが可能である。
【００２８】
［ＭＴＦ復元フィルタ処理の詳細］
画像とＭＴＦ曲線との関係について上述し、ＭＴＦフィルタリングの概念について述べた。ここでは具体的処理について述べる。ここに述べる方法はズーム量、デフォーカス量、絞り量が決定されているものとして考える。
【００２９】
図１８に示したようにＭＴＦは結像面の軸上からｔ方向に像高を変化させ測定したものである。従ってＭＴＦは結像面の中心からの半径により決定される。従って図１において切り出された画像Ｂ（２）にフィルタ処理する場合には画像Ａ（１）中心からの距離により使用するフィルタが決定される。通常は図３の３２に示すように画像Ｂ３１に対して通常フィルタリングするが、フィルタリング対象画像Ｂ（２）は正方形であるため同一円上にある画像の場合でも位置によりフィルタを傾けて処理しなければならない。図４の４１に示すように画像Ａ（１）中心（ｘ、ｙ）＝（０、０）とすると、画像Ａ（４１）中心と処理対象画像Ｂの中心座標（ｘｉ、ｙｉ）４２の差（△ｘｉ、△ｙｉ）４３を求め、アークタンジェントによりベクトルをなす角度を求める。図３の３４に示すように求められた角度分だけフィルタを傾けて画像Ｂ３３に対してフィルタリングすることにより円周上に対して同一特性でフィルタリングすることが出来る。
【００３０】
ｓ方向のＭＴＦ曲線をＭＴＦ−Ｓｊ（ω）とする。切り出した画像Ｂ（２）の位置が（ｘｉ、ｙｉ）とする。ベクトルをなす角度θはａｒｃｔａｎ（ｙｉ／ｘｉ）により計算することが出来る。
【００３１】
切り出した画像Ｂのフーリエ変換後の空間周波数をＢ（ｕ，ｖ）とすると、フィルタリングは以下の数１式により施される。
【００３２】
【数１】
Ｂ｀（ｕ，ｖ）＝Ｂ（ｕ，ｖ）・ＭＴＦ−Ｓｊ（ω）
【００３３】
ここにωは、ω＝ｕ・ｃｏｓθ＋ｖ・ｓｉｎθで得られる。
ｔ方向のＭＴＦ曲線をＭＴＦ−Ｔｊ（ω）とする。ｓ方向のＭＴＦ処理された画像Ｂの空間周波数をＢ｀（ｕ，ｖ）とするとフィルタリングは以下の数２式により施される。
【００３４】
【数２】
Ｂ｀｀（ｕ，ｖ）＝Ｂ｀（ｕ，ｖ）・ＭＴＦ−Ｔｊ（ω）
【００３５】
ここにωは、ω＝ｕ・ｃｏｓ（θ＋９０°）＋ｖ・ｓｉｎ（θ＋９０°）で得られる。
復元フィルタの伝達関数Ｈｊ（ω）を以下の数３式とする。
【００３６】
【数３】
Ｈｊ（ω）＝１／ＭＴＦ−Ｔｊ（ω）
【００３７】
すると、復元画像＾Ｆ（ｕ，ｖ）は以下の数４式となる。
【００３８】
【数４】
＾Ｆ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｈｊ（ω）
【００３９】
５１２ｘ５１２の画像Ｂ（２）を切り出してＦＦＴ処理するのであるが、単純に画像Ａ（１）から切り出し、ＭＴＦフィルタ５によりフィルタリングすると、生成されたＩＦＦＴ画像とＩＦＦＴ画像の境界線に淵が発生してしまうことが考えられる。従ってフィルタリング処理されて生成されたＩＦＦＴ画像はタイル状になり、非常に見苦しい画像になってしまう場合がある。
【００４０】
ここでこの現象を回避するために実際に切り出す画像を小さくし、ＦＦＴ処理するときに５１２ｘ５１２で処理する手法を用いた。
【００４１】
図５は、５１２ｘ５１２の画像から３２ｘ３２の画像を戻す様子を示す図である。
元の画像Ａ（５１）から５１２ｘ５１２の画像Ｂ（５２）を切り取り、画像Ｂ（５２）に対してフーリエ変換（ＦＦＴ）５３を施してＦＦＴ画像５４を生成する。このＦＦＴ画像５４により画像を周波数軸上で表現することが出来る。次に、このＦＦＴ画像５４にＭＴＦフィルタ５５を乗算器５６により掛け合わせる。最後にこの乗算結果に対して逆フーリエ変換（ＩＦＦＴ）５７を施すことによりレンズフィルタ処理された５１２ｘ５１２のＩＦＦＴ画像が生成されるが、ここで、５１２ｘ５１２のＩＦＦＴ画像から３２ｘ３２のＩＦＦＴ画像５８を切り出して、再生画像５９を生成することが出来る。
【００４２】
すなわち図５に示すように画像Ａ（５１）から５１２ｘ５１２の画像Ｂ（５２）を順に切り取ってゆくのであるが。切り取られた画像Ｂ（５２）に対してＦＦＴ処理３を施し、ＦＦＴ画像５４に対してＭＴＦフィルタ５を掛け、画像Ａ（５１）に戻すときには３２ｘ３２の画像５８を戻すことにより、再生画像５９を生成する。
【００４３】
［詳細処理］
図６は、デジタルスチルカメラの内部処理を示すブロック図である。
図６において、デジタルスチルカメラ６１は、カメラ系ではＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）６２とＡ／Ｄ（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌ）変換部６３と、信号処理部６５とを有して構成される。信号処理部６５は、カメラ処理部（ＣＡＭＤＳＰ：ＣａｍｅｒａＤｉｇｉｔａｌＳｉｇｉｎａｌＰｒｏｃｅｓｓｏｒ）６５−２と、ＭＴＦ補正部６５−１と、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈＥｘｐｅｒｔｓＧｒｏｕｐ）補正部６５−３とを有して構成される。
【００４４】
また、デジタルスチルカメラ６１は、表示制御系では表示制御部６７と、表示部６９と、表示機器７０への外部機器インターフェース６８とを有して構成される。
【００４５】
また、デジタルスチルカメラ６１は、記録制御系ではキー入力部６４と、カメラ制御部６６と、ＲＡＭ７２と、ＲＯＭ７３と、記録媒体７４に対するドライブ７１とを有して構成される。カメラ制御部６６は、ＣＰＵ６６−１と、バスインターフェース６６−２とを有して構成される。
【００４６】
デジタルスチルカメラの内部処理の大まかな流れを図６を用いて処理の流れを説明すると、キー入力部（シャッターボタン）６４から入力されたシャッター情報（シャッターボタンオン情報）を得ることにより、カメラ制御部６６のＣＰＵ６６−１は、ＣＣＤ６２による露光を開始し、撮像画像がＣＣＤ６２からＡ／Ｄ変換部６３に取り込まれる。得られた入力画像はＡ／Ｄ変換部６３でＡ／Ｄ変換される。Ａ／Ｄ変換された画像に信号処理部６５によりカメラ信号処理が施される。ここで、カメラ処理部６５−２から受け取った画像に対してＭＴＦ補正部６５−１によりＭＴＦ補正処理が施される。ＭＴＦ補正処理された画像はＪＰＥＧ補正部６５−３により静止画圧縮される。その後、記録制御系では静止画画像はＣＰＵ６６−１を通り、バスインターフェース６６−２であるフラッシュメモリーカードＩ／Ｆを通り、ドライブ７１により記録媒体７４であるメモリーカードに保存される。
【００４７】
また、表示制御系では静止画画像は表示制御部６７により表示制御されて表示部６９に表示され、または外部機器インターフェース６８を介して表示機器７０へ表示される。
【００４８】
図７にズーム量、デフォーカス量、絞り量の決定を示す。図１０にズーム量、デフォーカス量、絞り量の決定の動作のフローチャートを示す。
【００４９】
図１０において、ステップＳ１で、キーを読む。具体的には、図７において、ズーム量はカメラ制御部６６に対するキー入力部６４からのユーザー入力により決定される。カメラ制御部６６によりズーム量が決定され、キー入力部６４においてシャッターボタンが押されると、デフォーカス量、絞り量を信号処理部６５のカメラ処理部（ＣＡＭＤＳＰ）６５−２とカメラ制御部６６とのやり取りで決定される。
【００５０】
ステップＳ２で、レンズ部を制御する。具体的には、図７において、最終的に、決定されたズーム量、デフォーカス量、絞り量を信号処理部６５のカメラ処理部（ＣＡＭＤＳＰ）６５−２からカメラ制御部６６に入力して、カメラ制御部６６は決定されたズーム量、デフォーカス量、絞り量に基づいてズーム制御Ｃ１およびデフォーカス制御Ｃ２と、絞り制御Ｃ３をレンズ部７６、絞り部７７に供給して、レンズ部７６、絞り部７７を制御する。
【００５１】
ステップＳ３で、キー入力部６４においてシャッターボタンが押されたか否かを判断する。シャッターボタンが押されるまで、ステップＳ１からステップＳ３までの処理および判断を繰り返す。
【００５２】
ステップＳ３でシャッターボタンが押されたときは、ステップＳ４で、ＣＣＤから撮像画像の読み出しを行う。具体的には、図７において、カメラ制御部６６は、ＣＣＤ６２による露光を開始して、ＣＣＤ６２から撮像画像を読み出す。
【００５３】
ステップＳ４で、撮像画像はＡ／Ｄ変換される。具体的には、図７において、撮像画像がＣＣＤ６２からＡ／Ｄ変換部６３に取り込まれる。得られた入力画像はＡ／Ｄ変換部６３でＡ／Ｄ変換される。
【００５４】
ステップＳ６で、画像データはカメラ信号処理される。具体的には、図７において、Ａ／Ｄ変換された画像に信号処理部６５のカメラ処理部６５−２によりカメラ信号処理が施される。
【００５５】
ただしデフォーカス量、絞り量はユーザーのレンズ部７６、絞り部７７に対するマニュアル操作により予め決定される場合もある。この場合は直接ステップＳ３でキー入力部６４においてシャッターボタンが押されると直ちにカメラ制御部６６はＣＣＤ６２による露光を開始する。
【００５６】
［ＭＴＦ補正部の処理フロー］
図８は、ＭＴＦ補正部の内部処理を示すブロック図である。図１１は、ＭＴＦ補正部の内部処理の動作のフローチャートを示す。
【００５７】
図１１において、ステップＳ１１で、全ブロック数が処理されたか否かを判断する。全ブロック数が処理されていないときは、ステップＳ１２で、画像から指定画素の切り取り（１ブロック分）を行う。具体的には、図８において示すように信号処理部６５においてカメラ処理部（ＣＡＭＤＳＰ）６５−２から出力された画像情報はＭＴＦ補正部６５−１に入力される。カメラ処理部（ＣＡＭＤＳＰ）６５−２とカメラ制御部６６で決定されたズーム量、デフォーカス量、絞り量の情報も同時にＭＴＦ補正部６５−１に入力される。
【００５８】
ステップＳ１３で、プロックの位置により画像中心からの角度を計算する。ステップＳ１４で、プロックの位置により画像中心からの距離を計算し像高を決定する。ステップＳ１５で、１ブロック分のＦＦＴ処理を行う。具体的には、図８において、画像入力部８２に入力された画像情報はＭＴＦ復元フィルタの詳細の項に示した画像分割手法を用いてＦＦＴ演算部８３によりＦＦＴ計算され、空間周波数成分に変換される。
【００５９】
ステップＳ１６で、ズーム量、デフォーカス量、絞り量、像高をキーとしてＭＴＦ補正フィルタの選択処理を行う。
具体的には、図８において、ＦＦＴ演算部８３によりＦＦＴ計算された結果にＭＴＦ逆関数テーブル８７により各像高に対するＭＴＦ補正フィルタリングをする。ＭＴＦ補正フィルタリングする方法はＭＴＦ復元フィルタの詳細の項に示したとおりである。ただし、ズーム量、デフォーカス量、絞り量のパラメータが存在するため各パラメータによりＭＴＦ逆関数テーブル８７のＭＴＦ補正フィルタを決定しなくてはならない。
【００６０】
ＭＴＦ逆関数テーブル８７のＭＴＦ補正フィルタの決定方法としてはズーム量、デフォーカス量、絞り量をキーとして予め決定されているテーブルを参照することにより選択決定される。
【００６１】
ステップＳ１７で、ＭＴＦ補正フィルタの補間処理を行う。具体的には、図８において、ＭＴＦ逆関数テーブル８７に存在しないズーム量、デフォーカス量、絞り量であった場合、ＭＴＦ補間処理部８８によりＭＴＦ逆関数テーブル８７に対してＭＴＦ補正フィルタの補間処理を行う。
【００６２】
ステップＳ１８で、角度分ＭＴＦ補正フィルタを傾ける。ステップＳ１９で、フィルタリング処理を行う。ステップＳ２０で、１ブロック分のＩＦＦＴ処理を行う。具体的には、図８において、空間周波数領域でＭＴＦ補正フィルタリングされた結果を時間領域に戻すためＩＦＦＴ演算部８５によりＩＦＦＴ計算する。
【００６３】
ステップＳ１１に戻って、全ブロック数が処理されたか否かを判断する。全ブロック数が処理されたときは、ステップＳ２２で、ＪＰＥＧ圧縮処理を行う。具体的には、図８において、ＩＦＦＴ計算された結果を画像出力部８６からＪＰＥＧ圧縮部６５−３、表示制御部６７に入力する。
【００６４】
［ＭＴＦ逆関数テーブル詳細］
図９に示すように逆関数テーブルはツリー構造とする。テーブルは静的なもので生産時にＲＯＭに書き込まれているものとする。
【００６５】
例としてズーム量はズーム量１（９１）・・・ズーム量３（９３）の３種類、デフォーカス量はデフォーカス量１（９１−１）・・・デフォーカス量３（９３−１）の３種類、絞り量は絞り量１（９１−２）・・・絞り量３（９３−２）の３種類とすると３種類ずつ３つの組み合わせで合計２７種類のＭＴＦ逆関数データが書き込まれているものとする。
【００６６】
すなわち信号処理部から得られたデータである。このデータはズーム量、デフォーカス量、絞り量をキーとして予め決定されており像高０〜１０割のＭＴＦから成り立っている。
【００６７】
すなわち２７種類のＭＴＦ全てに０〜１０割のＭＴＦデータ９１−３・・・９３−３が決定されているものとする。
【００６８】
ズーム量、デフォーカス量、絞り量をキーとして補正処理するのであるが、ＭＴＦ補正フィルタの詳細で述べた画像にＭＴＦ補正処理する一連の処理内容は変わらない。
【００６９】
［補間処理］
ズーム量、デフォーカス量、絞り量ともに３種類としたが種類数が増えればより詳しい補正が可能となる。
【００７０】
以下は、生産時にＲＯＭに書き込まれているＭＴＦデータを元としてズーム量、デフォーカス量、絞り量に応じて動的にＭＴＦ補正フィルタを補間する方法について述べる。
【００７１】
図９に示すツリーはルートから、ズーム量、デフォーカス量、絞り量の順であるが、それぞれ独立であるため、テーブル生成段階ではこの順番は入れ替わっていても良いものとする。また、ＭＴＦは０〜１０割のデータを用いるのであるが、０〜１０割の分割数は多ければ多いほど精度の高い補正処理が可能である。また分割数が少ない場合は間のデータを線形補間で求める。ただし補間方法は線形補間に限らず他の手法を用いてもかまわない。
【００７２】
０割と５割のデータがあり、間を補間する場合は、以下の数５式となる。
【００７３】
【数５】
ＭＴＦｉ＝ＭＴＦ０−［（ＭＴＦ０−ＭＴＦ５）／５］ｉ
【００７４】
ズーム量、デフォーカス量、絞り量ともに３種類であるが、実測値が中間値（例：ズーム量１と２の間）であった場合、実測値と決定されている量を比較し、１ｏｒ２でどちらか近い方を選択する。
中間値である場合の処理としてＭＴＦの線形補間がある。
【００７５】
ズーム量は１と２の中間値（ＭＴＦｉ（１．５，１，１））、デフォーカス量１、絞り量１であった場合、ズーム量１、デフォーカス量１、絞り量１のＭＴＦ（ＭＴＦｉ（１，１，１））とズーム量２、デフォーカス量１、絞り量１（ＭＴＦｉ（２，１，１））のＭＴＦを線形補間するものとする。ただし補間方法は線形補間に限らず他の手法を用いてもかまわない。
補間式は、以下の数６式となる。
【００７６】
【数６】
ＭＴＦｉ（１．５，１，１）＝ＭＴＦｉ（１，１，１）−［ＭＴＦｉ（１，１，１）−ＭＴＦｉ（２，１，１）］／２
【００７７】
なお、上述した本発明の実施の形態に限らず、本発明の特許請求の範囲を逸脱しない限り、適宜他の構成をとりうることができることはいうまでもない。
【００７８】
【発明の効果】
デジタルカメラの小型化、ＣＣＤの小型化によりレンズサイズが小型化される傾向にあるなかで、レンズが小型化されるとＭＴＦ特性が悪くなり、レンズ周辺の収差が激しくなっている。従ってレンズ周辺で高周波域の周波数特性成分が失われてしまうためこれを復元する手段が必要であるため、本発明によれば、失われた高周波域の情報をレンズのＭＴＦ特性の逆関数を用いて復元することができるという効果を奏する。
【００７９】
レンズの周波数特性はレンズ中心位置からの極座標形式になっているため、レンズを通過した後の画像にフィルタリングする場合にレンズ中心からの距離により使用するフィルタを選択しなければならないが、本発明によれば、ズーム量、デフォーカス量、絞り量などの光学調整量により使用するフィルタを選択して、レンズを通過した後の画像にフィルタリングすることができるという効果を奏する。またフィルタリングする場合はレンズ中心とフィルタリング対象画像とのなす角度によりフィルタを傾けて処理しなければならないが、本発明によれば、このような同一特性でフィルタを傾けてフィルタリングすることを可能とすることができるという効果を奏する。
【図面の簡単な説明】
【図１】レンズのフィルタがかかった画像を生成する図である。
【図２】ＩＭＴＦ曲線を示す図である。
【図３】フィルタを傾けてフィルタリングする様子を示す図である。
【図４】円周上に対して同一特性でフィルタリングする様子を示す図である。
【図５】５１２ｘ５１２の画像から３２ｘ３２の画像を戻す様子を示す図である。
【図６】デジタルスチルカメラの内部処理を示すブロック図である。
【図７】ズーム量、デフォーカス量、絞り量の決定を示す図である。
【図８】ＭＴＦ補正部の内部処理を示すブロック図である。
【図９】ツリー構造の逆関数テーブルを示す図である。
【図１０】ズーム量、デフォーカス量、絞り量の決定動作を示すフローチャートである。
【図１１】ＭＴＦ補正部の内部処理動作を示すフローチャートである。
【図１２】ＭＴＦ曲線を示す図である。
【図１３】ＭＴＦ測定を示す図である。
【図１４】レーザー光線の結像を示す図である。
【図１５】レンズの特性による点像を示す図である。
【図１６】点像の２軸への分割を示す図である。
【図１７】ｓ方向とｔ方向の点像の強度分布を示す図である。
【図１８】ｔ方向の像高の移動距離を示す図である。
【図１９】得られたＭＴＦ曲線を示す図である。
【図２０】白と黒３０本の画像が６０画素必要であることを示す図である。
【符号の説明】
１……画像Ａ、２……画像Ｂ、３……ＦＦＴ演算、４……ＦＦＴ画像、５……ＭＴＦテーブル、６……乗算、７……ＩＦＦＴ演算、８……ＩＦＦＴ画像、４１……画像Ａ（１）中心（ｘ、ｙ）＝（０、０）、４２……画像Ｂの中心座標（ｘｉ、ｙｉ）、４３……差（△ｘｉ、△ｙｉ）、５１……画像Ａ、５２……画像Ｂ、５３……ＦＦＴ演算、５４……ＦＦＴ画像、５５……ＭＴＦテーブル、５６……乗算、５７……ＩＦＦＴ演算、５８……５１２ｘ５１２から切り出された３２ｘ３２のＩＦＦＴ画像、５９……生成画像、６１……デジタルスチルカメラ、６２……ＣＣＤ、６３……Ａ／Ｄ変換部と、６４……キー入力部、６５……信号処理部、６５−１……ＭＴＦ補正部、６５−２……カメラ処理部（ＣＡＭＤＳＰ）、６５−３……ＪＰＥＧ補正部、６６……カメラ制御部、６６−１……ＣＰＵと、６６−２……バスインターフェース、６７……表示制御部、６８……外部機器インターフェース、６９……表示部、７０……表示機器、７１……ドライブ、７２……ＲＡＭ、７３……ＲＯＭ、７４……記録媒体、９１……ズーム量１、９１−１……デフォーカス量１、９１−２……絞り量１、９３……ズーム量３、９３−１……デフォーカス量３、９３−２……絞り量３

Claims

光学系を介して被写体を撮像手段により撮像し、撮像出力に画像処理手段により画像処理を施して出力する撮像装置において、
上記光学系通過後の像を上記撮像手段で撮像し、上記撮像した画像データを画像処理手段により画像処理する際に、上記撮像手段で得られた画像データに対して、上記光学系に対する光学調整量に応じた伝達関数の逆関数を用いて上記光学系通過後の画像を上記光学系通過前の周波数特性を持った画像に復元する画像復元手段を備えたことを特徴とする撮像装置。
請求項１記載の撮像装置において、
上記画像復元手段は上記光学系の振幅伝達関数の逆関数特性を有するフィルタによる補正部であって、上記光学調整量であるズーム量、デフォーカス量、および／または絞り量に対応して設けられた振幅伝達関数の逆関数特性を有するフィルタを用いて上記光学系通過前の周波数特性に画像を復元することを特徴とする撮像装置。
請求項２記載の撮像装置において、
上記画像復元手段は、上記撮像手段で得られた画像データを等分割し、等分割されたそれぞれの画像に対応する振幅伝達関数を選択し、選択された振幅伝達関数の逆関数特性を有するフィルタを用いて上記光学系通過前の周波数特性に画像を復元することを特徴とする撮像装置。
請求項３記載の撮像装置において、
上記撮像手段で得られた画像データを等分割する際の分割する形は円形、正方形、多角形であることを特徴とする撮像装置。
請求項２記載の撮像装置において、
上記画像復元手段は、上記撮像手段で得られた画像データを極座標変換し、振幅伝達関数の逆関数を用いて上記光学系通過前の周波数特性に画像を復元することを特徴とする撮像装置。
請求項５記載の撮像装置において、
上記極座標変換された画像データをフーリエ変換し、これに対応する振幅伝達関数の逆関数のフィルタを選択し、フィルタリングを行い、フィルタリングされた結果を逆フーリエ変換し、極座標逆変換を行い、時間軸の画像データに戻すことを特徴とした撮像装置。
請求項２記載の撮像装置において、
上記画像復元手段は、上記撮像手段で得られた画像データを等分割し、等分割されたそれぞれの画像をフーリエ変換し、フーリエ変換された画像データに対して、あらかじめ求められているズーム量、デフォーカス量、および／または絞り量に応じた振幅伝達関数の逆関数を掛け合わせ、逆フーリエ変換を行い、逆フーリエ変換された画像をつなぎ合わせ、上記光学系通過前の周波数特性に画像を復元することを特徴とする撮像装置。
請求項２記載の撮像装置において、
上記画像復元手段は、上記撮像手段で得られた画像データを等分割し、上記等分割されたそれぞれの画像に対応する振幅伝達関数を選択し、選択された振幅伝達関数の逆関数を用いてレンズを通過する前の周波数特性の画像に復元する際に、処理対象とする画像に施すフィルタは上記光学系の光軸中心位置からの傾きによりフィルタを傾けることを特徴とする撮像装置。
光学系を介して被写体を撮像手段により撮像し、撮像出力に画像処理手段により画像処理を施して出力する撮像装置における画像復元方法において、
上記光学系通過後の像を上記撮像手段で撮像し、上記撮像した画像データを画像処理手段により画像処理するステップと、
上記撮像手段で得られた画像データに対して、上記光学系に対する光学調整量を決定するステップと、
上記光学調整量に応じた伝達関数の逆関数を選択するステップと、
上記逆関数を用いて上記光学系通過後の画像を上記光学系通過前の周波数特性を持った画像に復元するステップと
を備えたことを特徴とする画像復元方法。
請求項９記載の画像復元方法において、
上記画像復元ステップは上記光学系の振幅伝達関数の逆関数特性を有するフィルタによる補正処理であって、上記光学調整量であるズーム量、デフォーカス量、および／または絞り量に対応して設けられた振幅伝達関数の逆関数特性を有するフィルタを用いて上記光学系通過前の周波数特性に画像を復元することを特徴とする画像復元方法。
請求項１０記載の画像復元方法において、
上記画像復元ステップは、上記撮像手段で得られた画像データを等分割し、等分割されたそれぞれの画像に対応する振幅伝達関数を選択し、選択された振幅伝達関数の逆関数特性を有するフィルタを用いて上記光学系通過前の周波数特性に画像を復元することを特徴とする画像復元方法。
請求項１１記載の画像復元方法において、
上記撮像手段で得られた画像データを等分割する際の分割する形は円形、正方形、多角形であることを特徴とする画像復元方法。
請求項１０記載の画像復元方法において、
上記画像復元ステップは、上記撮像手段で得られた画像データを極座標変換し、振幅伝達関数の逆関数を用いて上記光学系通過前の周波数特性に画像を復元することを特徴とする画像復元方法。
請求項１３記載の画像復元方法において、
上記極座標変換された画像データをフーリエ変換し、これに対応する振幅伝達関数の逆関数のフィルタを選択し、フィルタリングを行い、フィルタリングされた結果を逆フーリエ変換し、極座標逆変換を行い、時間軸の画像データに戻すことを特徴とした画像復元方法。
請求項１０記載の画像復元方法において、
上記画像復元ステップは、上記撮像手段で得られた画像データを等分割し、等分割されたそれぞれの画像をフーリエ変換し、フーリエ変換された画像データに対して、あらかじめ求められているズーム量、デフォーカス量、および／または絞り量に応じた振幅伝達関数の逆関数を掛け合わせ、逆フーリエ変換を行い、逆フーリエ変換された画像をつなぎ合わせ、上記光学系通過前の周波数特性に画像を復元することを特徴とする画像復元方法。
請求項１０記載の画像復元方法において、
上記画像復元ステップは、上記撮像手段で得られた画像データを等分割し、上記等分割されたそれぞれの画像に対応する振幅伝達関数を選択し、選択された振幅伝達関数の逆関数を用いてレンズを通過する前の周波数特性の画像に復元する際に、処理対象とする画像に施すフィルタは上記光学系の光軸中心位置からの傾きによりフィルタを傾けることを特徴とする画像復元方法。