JP2009260724A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】デジタル信号を取得する際のフィルタ処理により生じる画像の歪みを除去すること。
【解決手段】フィルタ処理の特性を示す特性パラメータを入力する入力手段と、前記入力手段により入力された前記特性パラメータに基づいて、撮像信号と取得信号との間の位相シフト量を検出する検出手段と、注目撮像画素値の予測に用いる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と、前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と、を備える画像処理装置を提供する。
【選択図】図６

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来、実世界の光を撮像して画像信号を得る過程で生じる様々な信号の変化を、デジタル処理によって復元あるいは補正するための様々な技術が提案されている。例えば、下記特許文献１では、画像読取装置の個体差を考慮し、読取の際のエラーを最小化する画像処理装置が開示されている。下記特許文献２では、スキャナで読み取られた画像信号の放射ノイズレベルを低減して画像品質を向上させる技術が提案されている。

さらに、下記特許文献３では、例えば画像信号に含まれる動きボケを補正することのできる信号処理装置が開示されている。下記特許文献４では、デジタルスチルカメラのオートフォーカス機能により生じるボケを、真の値と観測値の関係を表すモデルを考慮して修正する画像信号処理装置が開示されている。

特開平１１−２６６３６３号公報 特開２００３−８８４５号公報 特開２００１−２５０１１９号公報 特開２００５−６３０９７号公報

しかしながら、実世界の光を撮像して得られた画像信号に対してデジタル処理を行う場合には、処理の前提としてアナログ信号をデジタル信号へと変換（以下、ＡＤ変換という。）する際に、画像信号に歪みが生じる場合がある。例えば、ＡＤ変換におけるサンプリングに伴う折り返し雑音の遮断を目的として多くの撮像装置に実装されているアンチエイリアシングフィルタを通すことによって、画像中の境界部分の周辺にリンギングと呼ばれる歪みが発生することが知られている。

こうした画像信号の歪みは、実世界により近い画像を得るためのデジタル処理が用いるモデルに影響を与える。即ち、実世界の状況に即して定義されたモデルをＡＤ変換後の画像信号に対して適用すると、前述の画像信号の歪みがモデルに対する誤差となり、期待されたデジタル処理の効果が得られないといった状況が生じ得る。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、デジタル信号を取得する際のフィルタ処理により生じる画像の歪みを除去することのできる、新規かつ改良された画像処理装置、撮像装置、画像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力手段と、前記入力手段により入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出手段と、前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と、前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と、前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と、を備える画像処理装置が提供される。

かかる構成によれば、入力手段は、実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する。検出手段は、入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する。そして、第１の構築手段は、前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する。さらに、係数取得手段は、前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する。そして、第１の演算手段により、取得された前記第１の予測係数と前記第１の予測タップの値との積和演算の結果、前記撮像信号に相当する第１の出力信号が生成される。

また、前記画像処理装置において、前記撮像信号は実世界の光から取得された原画像信号に対する積分効果により生成された信号であり、前記原画像信号のうちの注目原画素値の予測に用いる複数の撮像画素からなる第２の予測タップを、前記撮像信号に相当する前記第１の出力信号から構築する第２の構築手段と、前記第２の予測タップの値との積和演算により前記注目原画素値を予測するために前記撮像信号の生成時の積分効果のモデルに基づいて生成された第２の予測係数と前記第２の構築手段から出力された前記第２の予測タップの値との積和演算を行って、前記原画像信号に相当する第２の出力信号を生成する第２の演算手段と、をさらに備えてもよい。

また、前記係数取得手段は、前記特性パラメータに基づいて生成した前記撮像信号と前記取得信号との間の関係式、及び画像の近傍相関の性質に基づいて生成した拘束条件式を用いて、前記第１の予測係数を算出する係数生成手段であってもよい。

また、前記入力手段は、前記取得信号のヘッダに含まれる前記特性パラメータを取得してもよい。

また、前記検出手段は、前記特性パラメータと前記位相シフト量とを関連付けて保持しているテーブルから前記位相シフト量を取得して検出してもよい。

また、前記係数取得手段は、予め保持される撮像標本信号と前記特性パラメータとに基づいて前記撮像標本信号に対する取得信号に相当する取得標本信号を計算し、前記撮像標本信号と計算された前記取得標本信号とを用いて生成された方程式から前記第１の予測係数を算出する係数生成手段であってもよい。

また、前記入力手段は、利用者の操作に応じて前記特性パラメータを入力装置から取得してもよい。

また、前記検出手段は、予め保持される撮像標本信号と前記特性パラメータとに基づいて前記撮像標本信号に対する取得信号に相当する取得標本信号を計算し、前記取得標本信号を所定の画素数分シフトさせた複数のシフト済み信号のうち、前記撮像標本信号との間の差分が最小となるシフト済み信号に対応するシフトさせた画素数を、前記位相シフト量として検出してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、実世界の光を撮像して撮像信号を生成する撮像手段と、前記撮像手段により生成された前記撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力手段と、前記入力手段により入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出手段と、前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と、前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と、前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と、を備える撮像装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力する入力ステップと、入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出ステップと、前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築ステップと、前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得ステップと、取得された前記第１の予測係数と前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算ステップと、を含む画像処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、画像処理装置を制御するコンピュータを、実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力手段と、前記入力手段により入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出手段と、前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と、前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と、前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と、として機能させるためのプログラムが提供される。

以上説明したように、本発明に係る画像処理装置、撮像装置、画像処理方法、及びプログラムによれば、デジタル信号を取得する際のフィルタ処理により生じる画像の歪みを除去することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、実世界の光が撮像され、デジタルデータに変換された信号が取得されるまでの処理の概略を一例として示した模式図である。

図１を参照すると、実世界の被写体からの光が光学ローパスフィルタ１０を経由して撮像部２０に入力される。撮像部２０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサに該当する。本明細書では、光学ローパスフィルタ１０を経由して撮像部２０に入力される信号を、原画像信号と称する。

撮像部２０に入力された原画像信号は、例えば撮像部２０において電荷として蓄積され、アナログ形式の電気信号である撮像信号として出力される。その後、撮像部２０から出力された撮像信号は、アンチエイリアシングフィルタ３０に入力される。アンチエイリアシングフィルタ３０は、デジタル変換時のサンプリングに伴う折り返し雑音を遮断するために使用されるフィルタである。アンチエイリアシングフィルタ３０は、典型的にはアナログのローパスフィルタ（低域通過フィルタ）を用いて構成される。

アンチエイリアシングフィルタ３０を通して取得されたアナログ信号は、ＡＤ変換部４０によってサンプリングされ、デジタル信号に変換される。本明細書では、アンチエイリアシングフィルタ３０を通した後に取得される画像信号を、取得信号と称する。

図２は、撮像部２０の動作の一例として、ＣＣＤにより原画像信号が撮像信号に変換されて出力される様子を示した模式図である。図２には、９つの画素を有するＣＣＤの動作が時系列的に６つの図（ａ）〜（ｆ）に分けて示されている。

図２（ａ）を参照すると、ＣＣＤは、３×３の行列状に配置された９つの受光領域２２、受光領域２２の各列に隣接する３つの垂直転送部２４、各垂直転送部２４に接続される水平転送部２６、及び水平転送部２６に接続される増幅器２８を有している。

このようなＣＣＤの構成において、入力された原画像信号は、まず各受光領域２２に電荷として蓄積される（図２（ａ））。次に、蓄積された電荷は垂直転送部２４に移動される（図２（ｂ））。その後、垂直転送部２４の電荷が水平転送部２６に向けて１行分ずつ移動される（図２（ｃ））。そして、水平転送部２６内の電荷が水平方向に移動され、増幅器２８で増幅された上で出力される（図２（ｄ））。続いて、次の１行分の電荷が水平転送部２６に移動される（図２（ｅ））。そして、水平転送部２６内の電荷が同様に水平方向に移動され、増幅器２８で増幅された上で出力される（図２（ｆ））。

ここで見たように、ＣＣＤを用いて撮像部２０を構成した場合、二次元の画像信号は一次元の水平方向の電気信号に変換された上で、撮像信号として出力される。また、例えばＣＭＯＳを用いて撮像部２０を構成した場合にも、二次元の画像信号は同様に一次元の電気信号に変換された上で出力される。

図１に関連して述べたように、撮像部２０から出力された一次元の電気信号である撮像信号は、ＡＤ変換器４０に入力される前に、アンチエイリアシングフィルタ３０によって処理される。このとき、フィルタ処理の結果として出力される取得信号に画像の歪みや劣化などが生じる場合がある。

図３は、アンチエイリアシングフィルタによる信号への影響の例を、等価なＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いてシミュレーションした結果を示した説明図である。

図３（Ａ）はＩＩＲフィルタに入力された撮像信号、図３（Ｂ）はＩＩＲフィルタが出力した取得信号を示している。図３（Ａ）及び図３（Ｂ）の横軸は画素位置、縦軸は画素位置に対する画素値を表す。

図３（Ａ）を参照すると、画素位置６〜８にかけて立下りエッジが存在する。この領域は、例えば実世界における被写体と背景の境界部分に該当する。これに対し、図３（Ｂ）を参照すると、立下りエッジから一定間隔を置いた画素位置１０、１１付近に、撮像信号には無い山の部分が存在している。これは、アンチエイリアシングフィルタと等価なＩＩＲフィルタによって一部の周波数成分が除去されたことにより生じる、リンギングと呼ばれる画像の歪みである。

このような画像の歪みや劣化は、例えば取得信号を画像データとして拡大表示すると、利用者に視覚的に大きな歪みとして認知される。また、取得信号に対して原画像信号に近い画像を得るための補正処理などを行う際に、このような画像の歪みや劣化が存在していると、処理のモデルに誤差が生じ、期待された効果が得られないという状況が生じ得る。

そこで、以下に説明する本発明の第１〜第４の実施形態により、フィルタ処理に伴う画像の歪みや劣化を除去する。

〔１〕第１の実施形態
図４は、本発明の第１の実施形態に係る画像処理装置１００の構成の概略を示したブロック図である。図４を参照すると、画像処理装置１００は、パラメータ入力部１１０及び画像処理部１２０を備える。

パラメータ入力部１１０は、画像処理部１２０に接続され、実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを、画像処理部１２０へ入力する。例えば、図１に示したように、撮像信号に対してアンチエイリアシング処理が施される場合には、アンチエイリアシングフィルタの特性を示す特性パラメータが、パラメータ入力部１１０から画像処理部１２０へ入力される。

ここで、アンチエイリアシングフィルタを例にとり、特性パラメータについて説明する。特性パラメータは、通常はカメラなどの撮像機器の部品の種類などから一意に決定される。

前述したように、アンチエイリアシングフィルタは、アナログのローパスフィルタである。そのため、デジタル処理においては、ローパスフィルタの特性に合わせた等価なＩＩＲフィルタによって、アンチエイリアシングフィルタの特性を表すことができる。ＩＩＲフィルタの特性は、フィルタへ入力される撮像信号をＡ_ｉ、フィルタから出力される取得信号をＢ_ｉとすると、式（１）によって表現される。

ここで、ｎはＩＩＲフィルタの次数、ａ_ｉは撮像信号Ａ_ｉに乗算される係数、ｂ_ｉは再帰される取得信号Ｂ_ｉに乗算される係数である。アンチエイリアシングフィルタでは、このような演算が、例えば図２に示した増幅器２８から出力される撮像信号に対して、水平方向に順次行われる。

例えば、ローパスフィルタが、次数４、正規化されたカットオフ周波数０．５のバタワース型ＩＩＲフィルタで近似できるとすると、係数ａ_ｉは、ａ_０＝０．０９４０、ａ_１＝０．３７５９、ａ_２＝０．５６３９、ａ_３＝０．３７５９、ａ_４＝０．０９４０となる。また、係数ｂ_ｉは、ｂ_１＝０．００００、ｂ_２＝０．４８６０、ｂ_３＝０．００００、ｂ_４＝０．０１７７となる。なお、正規化されたカットオフ周波数とは、ナイキスト周波数を１としてフィルタの利得応答が√（１／２）となる周波数を指す。

図５に、次数４の場合の式（１）に基づくＩＩＲフィルタの演算の様子を概略的に示している。図５（Ａ）において水平方向に並べられた円形はそれぞれ、時系列でフィルタに入力される撮像信号Ａ_ｉを表している。一方、図５（Ｂ）において水平方向に並べられた円形はそれぞれ、フィルタでの演算の結果出力される取得信号Ｂ_ｉを表している。時系列の各信号は、水平方向の左から右へ行くに従って新しい信号となる。

図５を参照すると、最新の取得信号Ｂ_０は、最新の入力信号Ａ_０を含む過去５回分の撮像信号Ａ_ｉ（０≦ｉ≦４）と、過去４回分の取得信号Ｂ_ｉ（１≦ｉ≦４）とを用いて、式（１）に従って計算されることが理解される。

図４の説明に戻ると、パラメータ入力部１１０は、このようなフィルタの特性を模した特性パラメータとして、ＩＩＲフィルタの次数ｎ、正規化されたカットオフ周波数ω、撮像信号に対する係数ａ_ｉ、及び取得信号に対する係数ｂ_ｉを、画像処理部１２０へ入力する。

パラメータ入力部１１０は、例えば利用者から特性パラメータの入力を受け付ける手段であってもよい。例えば、画像処理装置１００がボタンやスイッチ、キーボードなどの入力装置と液晶ディスプレイなどの表示装置とを有している場合には、特性パラメータを決定するための選択肢を表示装置に表示させ、一の選択肢を入力装置を介して利用者に選択させてもよい。

また、例えば特性パラメータを変えながら、後述する画像処理部１２０の処理結果として出力される画像を表示し、適切な画像を利用者に選択させてもよい。そうした場合には、特性パラメータが利用者にとって既知でない場合にも、適切な特性パラメータに基づいて処理された画像を得ることができる。

また、特性パラメータが利用者にとって既知である場合には、特性パラメータの値を利用者に入力させてもよい。このような選択肢または画像の表示、及び利用者による選択や情報の入力は、例えば後に説明する図３０における出力部９１４または入力部９１２を介して行うことができる。

その代わりに、パラメータ入力部１１０は、例えば入力される取得信号のヘッダ領域に予め記録された特性パラメータを取得し、画像処理部１２０へ入力してもよい。例えば、図１に示したＡＤ変換部４０により取得信号がデジタル信号に変換された後、取得信号に特性パラメータを含むヘッダ領域を付加することができる。そうした場合には、画像処理装置１００自体に利用者からの入力を受け付ける手段を設けなくても、画像処理装置１００は特性パラメータ情報を取得することができる。ヘッダを利用した特性パラメータの入力については、後述する第４の実施形態においてさらに説明する。

一方、図４に示した画像処理部１２０は、入力信号としてＡＤ変換後の取得信号を受け取り、前述の特性パラメータを用いて以下に詳述する一連の処理を行った後、出力信号を生成する。本実施形態における画像処理部１２０の出力信号は、アンチエイリアシングフィルタによる画像の歪みを除去して復元された撮像信号に相当するデジタル信号となる。

図６は、本実施形態に係る画像処理部１２０の詳細な構成を示したブロック図である。図６を参照すると、画像処理部１２０は、位相シフト量検出部１３０、予測タップ構築部１５０、係数生成部１６０、及び予測演算部１８０を備える。

位相シフト量検出部１３０は、パラメータ入力部１１０により入力される前述の特性パラメータに基づいて、撮像信号と、撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量ｓを検出して出力する。

ここで、位相シフトとは、時間軸上での一連の信号の移動を意味する。位相シフト量とは、そうした信号の移動量である。例えば、アナログ信号をローパスフィルタに通すと、フィルタ処理後の信号において、フィルタ処理前の信号との間で信号パターンに時間軸上でのずれが生じることが知られている。図２を用いて説明したように、本実施形態に係る画像処理部１２０に入力される撮像信号は、二次元の画像信号を一次元の電気信号に変換して時系列に取り出した信号である。そのため、本実施形態で扱う撮像信号と取得信号との間にも位相シフトが生じ、単純に式（１）に基づく信号の演算を行うだけでは正しい結果が得られない場合がある。そこで、本実施形態に係る画像処理部１２０では、撮像信号に施されたフィルタ処理による信号のずれを位相シフト量として検出し、検出した位相シフト量を考慮して信号を補正しながら演算を行う。

以下、図７〜図１０を用いて位相シフト量検出部１３０の２つの構成例について説明する。

図７は、第１の構成例に係る位相シフト量検出部１３０ａの構成を示したブロック図である。図７を参照すると、位相シフト量検出部１３０ａは、標本信号保持部１３２、係数演算部１３４、シフト信号生成部１３６、差分演算部１３８、及び最小差分判定部１４０を備える。

標本信号保持部１３２は、位相シフト量検出部１３０ａが有する記憶領域であって、任意の撮像信号のサンプル値である撮像標本信号ＩＭａを保持している。標本信号保持部１３２は、位相シフト量の検出にあたり、撮像標本信号ＩＭａを係数演算部１３４及び差分演算部１３８へ出力する。

係数演算部１３４は、標本信号保持部１３２から取得した撮像標本信号ＩＭａに対し、パラメータ入力部１１０から入力された特性パラメータを用いて前述の式（１）の計算を行って、撮像標本信号ＩＭａに対する取得信号に相当する取得標本信号ＩＭｂを出力する。

シフト信号生成部１３６は、係数演算部１３４から出力された取得標本信号ＩＭｂについて、所定の画素数分だけ取得標本信号ＩＭｂの位相をシフトさせた複数のシフト済み信号ＩＭｂ_ｄ（ｄ＝１、２…）を生成する。ここで、所定の画素数分とは、例えば−５以上＋５以下の画素数の範囲とすることができる。シフト信号生成部１３６において、−５以上＋５以下の画素数の範囲でシフト済み信号を生成した場合、シフトされない信号も含めて１１通りのシフト済み信号ＩＭｂ_ｄが出力される。

また、シフト信号生成部１３６は、シフト済み信号ＩＭｂ_ｄを差分演算部１３８に出力すると同時に、シフトさせた画素数ｓ_ｄ（ｄ＝１、２…）を最小差分判定部１４０へ出力する。このとき、例えばシフトさせたそれぞれの画素数ｓ_ｄは、図５における水平方向（右方向）を正の方向とすると、正の方向に２画素シフトさせた場合は「２」、負の方向に２画素シフトさせた場合は「−２」などとなる。

差分演算部１３８では、標本信号保持部１３２から取得した撮像標本信号ＩＭａと、シフト信号生成部１３６から出力された各シフト済み信号ＩＭｂ_ｄとの間の差分値を計算する。差分演算部１３８にて計算される差分値としては、例えば各画像信号のうち注目画素の周囲の一定領域内の画素についての、画素値の差分絶対値総和などを用いることができる。差分演算部１３８は、そのように各シフト済み信号ＩＭｂ_ｄについて計算した差分値ｖ_ｄ（ｄ＝１、２…）を、最小差分判定部１４０へ出力する。

最小差分判定部１４０は、シフト信号生成部１３６から出力されるシフトさせた画素数ｓ_ｄと差分演算部１３８から出力される差分値ｖ_ｄを一時的に対応付けて保持し、差分値ｖ_ｄの最小値を判定する。そして、最小値であると判定された差分値ｖ_ｄに対応するシフトさせた画素数ｓ_ｄを、フィルタ処理により生じた位相シフト量ｓとして出力する。

なお、ここでは位相シフト量検出部１３０ａにおいて撮像標本信号ＩＭａを用いたが、撮像標本信号ＩＭａは画像データでなくてもよい。例えば、位相シフト量を検出できるデータであれば任意の一次元データを撮像標本信号ＩＭａとして用いてもよい。

図８は、第１の構成例に係る位相シフト量検出部１３０ａによる位相シフト量検出処理の流れを示したフローチャートである。

図８を参照すると、まず係数演算部１３４が、標本信号保持部１３２から取得した撮像標本信号ＩＭａについて、パラメータ入力部１１０から入力された特性パラメータを用いて係数演算を行い、取得標本信号ＩＭｂを出力する（Ｓ８０４）。

次に、シフト信号生成部１３６により、取得標本信号ＩＭｂを所定の画素数分シフトさせた複数のシフト済み信号ＩＭｂ_ｄが生成される（Ｓ８０８）。このとき、シフト済み信号ＩＭｂ_ｄが差分演算部１３８へ出力されると同時に、シフトされた画素数ｓ_ｄが最小差分判定部１４０へ出力される。

その後、差分演算部１３８により、シフト済み信号ＩＭｂ_ｄについて撮像標本信号ＩＭａとの差分計算が順次行われ、各シフト済み信号ＩＭｂ_ｄに対応する差分値ｖ_ｄが最小差分判定部１４０へ出力される（Ｓ８１２）。このとき、全てのシフト済み信号ＩＭｂ_ｄについて差分計算が終了していれば処理はＳ８２０へ移動し、差分計算が終了していないシフト済み信号ＩＭｂ_ｄが残っていれば処理はＳ８０８に戻って繰り返される（Ｓ８１６）。

そして、最小差分判定部１４０により、最も小さい差分値ｖ_ｄの得られたシフトされた画素数ｓ_ｄが、位相シフト量ｓとして検出、出力される（Ｓ８２０）。

第１の構成例に係る位相シフト量検出部１３０ａによれば、パラメータ入力部１１０から入力された特性パラメータに応じて、撮像標本信号を用いて位相シフト量を検出することができる。それにより、撮像信号に施されたフィルタ処理により生じた位相シフトを適宜補正しながら後述する撮像信号の予測処理を行うことで、予測の精度が向上される。

次に、図９は、第２の構成例に係る位相シフト量検出部１３０ｂの構成を示したブロック図である。図９を参照すると、位相シフト量検出部１３０ｂは、位相シフトテーブル１４２を備える。

位相シフトテーブル１４２は、フィルタの特性を表す特性パラメータと各フィルタにより生じる位相シフト量とを関連付けて保持する参照テーブルである。位相シフト量は、通常は特性パラメータが決まると一意に定まる。よって、パラメータ入力部１１０から入力される特性パラメータの候補が既知であれば、特性パラメータとそれに対応する位相シフト量とを関連付けて位相シフトテーブル１４２に保持しておくことが可能である。

図１０は、位相シフトテーブル１４２の構成を示した説明図である。図１０を参照すると、位相シフトテーブル１４２は、各列がフィルタ次数ｎの値、各行が正規化されたカットオフ周波数ωの値に対応する二次元の表形式で構成されている。図１０の例では、フィルタ次数ｎとして４、５、６の３つの値、カットオフ周波数ωとして０．１単位で０．５〜０．８の４つの値が定義され、３×４＝１２通りの位相シフト量が保持されている。ここで例示した位相シフト量の値は、各フィルタ次数及びカットオフ周波数を有するバタワース型のＩＩＲフィルタで近似されたフィルタによる位相シフト量である。

図９に示した第２の構成例に係る位相シフト量検出部１３０ｂは、パラメータ入力部１１０からの特性パラメータの入力を受け、図１０に示した位相シフトテーブル１４２を参照し、入力された特性パラメータに対応する位相シフト量を取得して出力する。それにより、特性パラメータが入力される都度位相シフト量検出のための演算を行うことなく、位相シフト量を取得することができる。

なお、図７〜図１０を用いて説明を行った２つの構成例を組み合わせて、位相シフト量検出部１３０を構成してもよい。例えば、入力された特性パラメータが既知のパラメータであった場合には第２の構成例に従って位相シフトテーブル１４２から位相シフト量を取得し、既知でないパラメータであった場合には第１の構成例に従って位相シフト量を計算してもよい。このとき、第１の構成例に従って計算した位相シフト量を位相シフトテーブル１４２に追加することにより、同じ特性パラメータが再度入力された場合に、位相シフト量を再計算することなく位相シフトテーブル１４２から位相シフト量を取得することができる。

次に、図６に戻り、本実施形態に係る画像処理部１２０の構成の説明を継続する。

予測タップ構築部１５０は、位相シフト量検出部１３０から出力される位相シフト量ｓを用いて取得信号ｘの位相をシフトさせ、撮像信号のうち注目撮像画素値の予測に用いる複数の取得画素からなる予測タップｘ_ｉを、位相シフトさせた取得信号から抽出して構築する。ここで、注目撮像画素値とは、撮像信号の予測を行う対象となる画素位置に対応した撮像信号の画素値を意味するものとする。

図１１は、予測タップ構築部１５０における処理の様子を概念的に描いた模式図である。前述の式（１）から理解されるように、フィルタ処理を行った後の取得信号の各画素値は、当該画素の周囲に位置する画素値との間で相関を持つ。よって、注目撮像画素の周囲に位置する複数の画素値を用いて、注目撮像画素値の予測を行う。予測タップとは、こうした注目撮像画素値の予測に用いる複数の画素値の配列のことである。

図１１の上部には、予め設定される予測タップの一例として、注目画素Ｂ_４を中心とするＢ_１〜Ｂ_７の７つの画素が示されている。予測タップの画素数は、典型的には予測タップ構築部１５０の内部で予め定義される。図１１では予測タップの画素数を７としているが、予測タップの画素数は、これに限らず任意の値であってよい。

この予め設定される予測タップに対し、予測タップ構築部１５０は、前述の位相シフトを考慮して予測タップの構築を行う。例えば、位相シフト量検出部１３０から入力された位相シフト量ｓ＝−１であったとする。これは、撮像部２０から出力された撮像信号が、フィルタ処理によって１画素分遅延して得られたことを意味する。そこで、予測タップ構築部１５０は、注目撮像画素値の予測に用いる予測タップを、予め設定される予測タップから１画素分先にシフトさせた上で抽出する。

図１１を参照すると、図の下部には、予測タップ構築部１５０によって抽出される予測タップが示されている。ここでは、位相シフト量検出部１３０から入力された位相シフト量ｓ＝−１に基づいて、予め設定される予測タップＢ_１〜Ｂ_７から１画素分先（図における右方向）にシフトされた予測タップＢ_０〜Ｂ_６が抽出されている。

再び図６に戻り、本実施形態に係る画像処理部１２０の構成の説明を継続する。

係数生成部１６０は、予測タップ構築部１５０から出力される予測タップｘ_ｉとの積和演算により注目撮像画素値を予測するために用いられる予測係数ｗ_ｉを、前記特性パラメータ及び前記位相シフト量ｓに応じて生成して取得する。

以下、図１２〜図１５を用いて係数生成部１６０の２つの構成例について説明する。

図１２は、第１の構成例に係る係数生成部１６０ａの構成を示したブロック図である。係数生成部１６０ａは、係数近似部１６２、拘束条件設定部１６４、行列生成部１６６、及び係数算出部１６８を備える。

係数近似部１６２は、パラメータ入力部１１０から入力されるフィルタの特性パラメータを用いて、取得画素値と撮像画素値との間の関係式の係数の近似値を算出する。

ここで、前述の式（１）に示したＩＩＲフィルタの演算式を取得画素値Ｂ_ｉ（ｉ＝１〜４）に適用すると、式（２）〜式（５）が導かれる。

これらの式から、取得画素値Ｂ_ｉを順次展開していくと、注目取得画素値Ｂ_０を決定する項として、Ｂ_０から負の方向に無限個の撮像画素値Ａ_ｉ（０≦ｉ）が現れる。そこで、係数近似部１６２では、無限個の撮像画素値Ａ_ｉのうち、注目取得画素値Ｂ_０に有意な影響を与える近傍の有限個の撮像画素値Ａ_ｉのみを用いて取得画素値Ｂ_ｉを表すように、撮像画素値Ａ_ｉと取得画素値Ｂ_ｉとの関係を近似する。

一例として、ここでは撮像画素値Ａ_ｉ（０≦ｉ≦６）を用いて近似を行う。まず、取得画素値Ｂ_ｉを順次展開して式（１）に代入すると、式（６）が導かれる。

ここで、α_ｉとβ_ｉは取得画素値Ｂ_ｉを順次展開し式（１）に代入して得られる、各Ａ_ｉ及びＢ_ｉの項にかかる係数を一括して表す値である。さらにＡ_ｉ（０≦ｉ≦６）の項のみを抽出して近似することにより、式（７）が導かれる。

ここで、係数ａ’_ｉ（以下、近似係数という。）は、特性パラメータａ_ｉ、ｂ_ｉに基づいて計算されるα_ｉを用いて、式（８）で表される。

図１３は、式（７）の近似式を概念的に表した模式図である。図１３（Ａ）には、例えばＣＣＤなどに該当する撮像部２０に電荷として蓄積された撮像信号の各画素値Ａ_ｉ（０≦ｉ≦６）が示されている。図１３（Ｂ）は、撮像信号の各画素値Ａ_ｉに掛けられる近似係数ａ’_ｉを、ゼロを基準とする棒グラフの形式で示している。図１３（Ｃ）は、撮像信号の各画素値Ａ_ｉに係数ａ’_ｉを掛けて積算した結果得られる取得信号の画素値Ｂ_０を示している。

なお、図１３（Ｂ）に示しているように、近似係数ａ’_ｉは負の値をとる場合もある。よって、実際には図１３のように全ての電荷を加算するわけではない。しかし、図１３（Ｃ）では、説明の便宜上、全ての電荷を積み上げて表している。

図１２に戻り、第１の構成例による係数生成部１６０ａの説明を継続する。

行列生成部１６６は、係数近似部１６２で生成した近似係数ａ’_ｉを用いて、予測タップ構築部１５０から入力される予測タップｘ_ｉに含まれる画素数に応じて予測係数を算出するための行列式を作成する。

予測タップｘ_ｉに含まれる画素数をｍ、近似係数の数をｋとすると、以下の式（９）で表される撮像信号と取得信号との間の関係式がｍ個成立する。

ここで、ｌは０以上ｍ−１以下の整数である。式（９）で表されるｍ個分の関係式を行列形式で表記すると、式（１０）が導かれる。

また、撮像信号の行列をＡ、近似係数の行列をａ’、取得信号の行列をＢとすると、式（１０）で表された撮像信号と取得信号との間の関係式を、式（１１）のように表すこともできる。

行列生成部１６６は、式（１０）または式（１１）に示した行列式を生成する。しかし、この関係式を解くためには、方程式の次数が不足している。そこで、さらに拘束条件設定部１６４において、Ａ_ｉを算出するための拘束条件式を設定し、不足している方程式の次数を補う。

拘束条件設定部１６４は、係数近似部１６２から入力される近似係数の数ｋ及び予測タップｘ_ｉに含まれる画素数ｍから、以下に説明する撮像画素値Ａ_ｉについての拘束条件式を設定する。拘束条件式としては、撮像画素値Ａ_ｉに所定の拘束条件係数ｃ_ｉを乗算し、それらの和または差を用いて定義される関係式を用いるのが好適である。拘束条件式は、撮像画素値Ａ_ｉの画素間の適切な関係を表す式であれば任意のものを用いてよいが、ここでは、画像の近傍相関の性質を表す式を用いる例について説明する。

画像の近傍相関の性質を表す式として、例えば、隣り合う画素の画素値は等しいことを表す式（１２）の関係式を用いることができる。

式（１２）を行列形式で表記すると、次式が導かれる。

または、画像の近傍相関の性質を表す式として、例えば、隣り合う画素間の変化量は一定であることを表す式（１４）の関係式を用いてもよい。

式（１４）を行列形式で表記すると、次式が導かれる。

さらに、後述する係数算出部１６８において、予測係数を算出する際に拘束条件式の影響を調整し得るようにするために、式（１３）または式（１５）の代わりに式（１６）または式（１７）を用いてもよい。

式（１６）または式（１７）を用いた場合、拘束条件式の影響を強くする場合にはｗを大きい値に、拘束条件式の影響を弱くする場合にはｗを小さい値に設定する。

これら拘束条件式の左辺をＯ、拘束条件係数の行列をｃ、撮像信号の行列をＡとすると、式（１３）、式（１５）、式（１６）または式（１７）を次式のように表すことができる。

拘束条件設定部１６４は、式（１８）の行列式を拘束条件式として行列生成部１６６へ出力する。

再び図１２に戻り、第１の構成例による係数生成部１６０ａの説明を継続する。

行列生成部１６６は、式（１０）または式（１１）に示した撮像信号と取得信号との間の関係式、及び式（１８）に示した拘束条件式を組み合わせて以下の式（１９）を生成する。

式（１９）は、撮像信号と取得信号との間の関係式で不足していた次数が拘束条件式によって補われたことにより、予測係数の解を求めるために十分な次数を有する。行列生成部１６６の生成した式（１９）は、係数算出部１６８へ出力される。

係数算出部１６８は、行列生成部１６６から出力された式（１９）を解くことにより、取得信号から撮像信号を予測するための予測係数を算出する。

式（１９）を式（２０）のように表すと、予測係数は、式（２１）のＥを最小とする係数として求めることができる。

式（２１）のＥを最小とする係数は、式（２２）を満たす値として算出することができる。

よって、予測係数を各要素とする予測係数行列Ｗは、式（２３）のように算出される。

ここで、ｔは行列の転置、−１は行列の逆行列を表す。さらに、式（１９）、式（２０）及び式（２３）より次式が導かれる。

即ち、予測係数行列Ｗは、撮像信号の画素値を表す行列Ａの全ての要素を、取得信号の画素値を表す行列Ｂから予測するための係数を与える行列である。予測係数行列Ｗの第１行目は撮像画素値Ａ_０を予測する係数、第２行目は撮像画素値Ａ_１を予測する係数、以下、第ｉ行目は撮像画素値Ａ_ｉ−１を予測する係数となる。

このように算出した予測係数行列Ｗから、係数算出部１６８は、予測タップ構築部１５０により構築された予測タップの注目画素位置に対応する予測係数ｗ_ｉを抽出し、係数生成の結果として出力する。なお、予測係数行列Ｗからの予測係数ｗ_ｉの抽出時には、位相シフト量検出部１３０から出力される位相シフト量ｓが考慮される。例えば、図１１に示したように位相シフト量ｓ＝−１である場合には、水平方向の右端の画素から４番目のＢ_３が注目画素の位置となるため、予測係数行列Ｗの第４行目の係数が予測係数ｗ_ｉとして出力される。

図１４は、第１の構成例に係る係数生成部１６０ａによる係数生成処理の流れを示したフローチャートである。

図１４を参照すると、まず係数近似部１６２により、撮像信号と取得信号との間の関係式の近似係数が、特性パラメータに基づいて生成される（Ｓ１４０４）。

次に、拘束条件設定部１６４により、係数近似部１６２から入力される近似係数の数及び予測タップに含まれる画素数から、Ｓ１４０４で生成した関係式の次数を補うための拘束条件式が生成される（Ｓ１４０８）。

その後、行列生成部１６６により、Ｓ１４０４で生成された近似係数を用いる撮像信号と取得信号との間の関係式と、Ｓ１４０８で生成された拘束条件式とを用いて、予測係数算出用の行列式が生成される（Ｓ１４１２）。

そして、係数算出部１６８において、Ｓ１４１２で生成された行列式を解くことにより予測係数行列が算出され、注目撮像画素値を計算するための予測係数が抽出、出力される（Ｓ１４１６）。

ここまで、図１２〜図１４を用いて係数生成部１６０の第１の構成例について説明を行った。係数生成部１６０の第１の構成例によれば、パラメータ入力部１１０から入力された特性パラメータに基づいて生成した撮像信号と取得信号との間の関係式、及び画像の近傍相関の性質に基づいて生成した拘束条件式を用いて、注目撮像画素値を予測するための予測係数を計算して取得することができる。

次に、図１５及び図１６を用いて、係数生成部１６０の第２の構成例について説明する。図１５は、第２の構成例に係る係数生成部１６０ｂの構成を示したブロック図である。係数生成部１６０ｂは、標本信号保持部１７０、係数演算部１７２、予測タップ抽出部１７４、正規方程式生成部１７６、及び係数算出部１７８を備える。

標本信号保持部１７０は、係数生成部１６０ｂが有する記憶領域であって、任意の撮像信号のサンプル値である撮像標本信号ＩＮａを保持している。標本信号保持部１７０は、予測係数の生成にあたり、撮像標本信号ＩＮａを係数演算部１７２及び正規方程式生成部１７６へ出力する。

係数演算部１７２は、標本信号保持部１７０から入力された撮像標本信号ＩＮａに対し、パラメータ入力部１１０から入力された特性パラメータを用いて前述の式（１）で表されるフィルタ演算を行う。そして、係数演算部１７２は、撮像標本信号ＩＮａに対する取得信号に相当する取得標本信号ＩＮｂを予測タップ抽出部１７４へ出力する。

予測タップ抽出部１７４は、図１１を用いて説明した予測タップ構築部１５０の処理と同様にして、取得標本信号ＩＮｂから係数生成用の予測タップを抽出し、正規方程式生成部１７６へ出力する。

なお、予測タップ抽出部１７４において取得標本信号ＩＮｂから係数生成用の予測タップを抽出する代わりに、位相シフト量ｓに応じて係数演算部１７２から出力される取得標本信号ＩＮｂの位相を元に戻してもよい。その場合には、予測タップ構築部１５０において構築された予測タップｘ_ｉの位相も元に戻すことが必要となる。

正規方程式生成部１７６は、標本信号保持部１７０から入力された撮像標本信号ＩＮａと予測タップ抽出部１７４から入力された係数生成用の予測タップを用いて、以下の予測式を生成する。

ここで、Ａ_ｋは撮像標本信号ＩＮａの注目画素位置ｋにおける画素値、Ｂ_ｋｉは取得標本信号ＩＮｂから抽出された係数生成用の予測タップｉの注目画素位置ｋにおける画素値、ｍは予測タップに含まれる画素数、ｗ_ｉは予測係数を表す。そして、予測式の生成に用いる画素数をＮとすると、予測係数ｗ_ｉは式（２６）のＥを最小とする係数として求めることができる。

式（２６）のＥを最小とする係数は、式（２７）を満たす値として算出することができる。

式（２６）を展開すると、次に示す式（２８）及び式（２９）を用いて、式（３０）が導かれる。

式（３０）は、一般に正規方程式と呼ばれる方程式である。正規方程式生成部１７６は、式（３０）に示した正規方程式を生成し、係数算出部１７８へ出力する。

係数算出部１７８は、正規方程式生成部１７６から入力された式（３０）の正規方程式を、掃き出し法（ガウスの消去法またはガウス−ジョルダンの消去法）などによりｗ_ｉについて解き、予測係数ｗ_ｉを出力する。

図１６は、第２の構成例に係る係数生成部１６０ｂによる係数生成処理の流れを示したフローチャートである。

図１６を参照すると、まず係数演算部１７２が、標本信号保持部１７０から取得した撮像標本信号について、パラメータ入力部１１０から入力された特性パラメータを用いて係数演算を行い、取得標本信号を出力する（Ｓ１６０４）。

次に、予測タップ抽出部１７４により、係数演算部１７２から入力された取得標本信号の中から予測係数の算出に用いる予測タップが抽出される（Ｓ１６０８）。

その後、正規方程式生成部１７６により、標本信号保持部１７０から取得された撮像標本信号とＳ１６０８で取得標本信号から抽出された予測タップとを用いて、予測係数算出用の正規方程式が生成される（Ｓ１６１２）。

そして、係数算出部１７８において、Ｓ１６１２で生成された正規行列式を解くことにより予測係数行列が算出され、注目撮像画素値を計算するための予測係数が取得、出力される（Ｓ１６１６）。

ここまで、係数生成部１６０の第２の構成例について説明を行った。係数生成部１６０の第２の構成例によれば、予め保持される撮像標本信号とパラメータ入力部１１０から入力された特性パラメータとに基づいて、撮像標本信号に対する取得信号に相当する取得標本信号が計算される。そして、撮像標本信号と計算された取得標本信号から抽出される予測タップとを用いて生成された方程式から、撮像画素値を予測するための予測係数が計算して取得される。

再び図６に戻り、本実施形態に係る画像処理部１２０の構成の説明をさらに継続する。

係数生成部１６０により取得された予測係数ｗ_ｉは、予測演算部１８０へ入力される。予測演算部１８０は、入力された予測係数ｗ_ｉと予測タップｘ_ｉとの間で積和演算を行って、撮像信号に相当する出力信号ｙを生成する。予測演算部１８０における積和演算は、次式で表される。

ここで、ｙ_ｋは出力信号の注目画素位置ｋにおける画素値、ｘ_ｋｉは取得信号から構築された注目画素位置ｋの予測タップのｉ番目の画素値、ｍは予測タップに含まれる画素数、ｗ_ｉは予測係数を表す。

式（３１）の結果生成された出力信号Ｙ_ｋは、本実施形態に係る画像処理部１２０の処理結果として、予測演算部１８０から出力される。

図１７は、本実施形態に係る画像処理部１００の処理の流れを示したフローチャートである。

図１７を参照すると、まずパラメータ入力部１１０から画像処理部１２０へ撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータが入力される（Ｓ１７０４）。

次に、位相シフト量検出部１３０により、パラメータ入力部１１０から入力された特性パラメータに基づいて、撮像信号と、撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量が検出される（Ｓ１７０８）。ここで検出された位相シフト量は、予測タップ構築部１５０及び係数生成部１６０へ出力される。

その後、予測タップ構築部１５０により、撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる予測タップが、位相シフトされた取得信号から構築される（Ｓ１７１２）。ここで構築された予測タップは、係数生成部１６０及び予測演算部１８０へ出力される。

さらに、係数生成部１６０により、注目撮像画素値を予測するための予測係数が、特性パラメータ及び位相シフト量に応じて生成、取得される（Ｓ１７１６）。ここで取得された予測係数は、予測演算部１８０へ出力される。

そして、予測演算部１８０において、係数生成部１６０によって取得された予測係数と予測タップ構築部１５０から出力された予測タップとの間の積和演算により、注目撮像画素値が算出される（Ｓ１７２０）。

このとき、全ての注目撮像画素について処理が終了していなければ、次の注目撮像画素に対してＳ１７２０の処理が繰り返される（Ｓ１７２４）。全ての注目撮像画素について処理が終了していれば、本実施形態に係る画像処理部１００の処理は終了する。

ここまで、本発明の第１の実施形態に係る画像処理装置１００について説明を行った。第１の実施形態に係る画像処理装置１００によれば、画像処理装置１００に入力される特性パラメータに基づいて取得信号から撮像信号を予測して出力することにより、撮像信号に施されたフィルタ処理により生じる画像の歪みを除去することができる。

なお、通常は、画像処理装置１００に入力される取得信号の内容が変わったとしても、フィルタの種類が変わらなければ、取得信号から撮像信号を予測するための予測係数は変化しない。そのため、以下に本発明の第２の実施形態として説明するように、一旦生成した予測係数を記憶しておき、フィルタの種類が変わらない場合には記憶されている予測係数を適宜取得して撮像信号の予測に用いることもできる。

〔２〕第２の実施形態
図１８は、本発明の第２の実施形態に係る画像処理装置２００の構成の概略を示したブロック図である。図１８を参照すると、画像処理装置２００は、パラメータ入力部１１０及び画像処理部２２０を備える。

パラメータ入力部１１０は、画像処理部２２０に接続され、第１の実施形態と同様に、フィルタ処理の特性を示す特性パラメータを、画像処理部２２０へ入力する。

画像処理部２２０は、パラメータ入力部１１０から入力される特性パラメータを用いて、取得信号ｘから予測した撮像信号に相当する出力信号ｙを生成する。

図１９は、本実施形態に係る画像処理部２２０の詳細な構成を示したブロック図である。図１９を参照すると、画像処理部２２０は、位相シフト量検出部１３０、予測タップ構築部１５０、予測演算部１８０、係数算出部２９０、記憶部２９２、及び係数取得部２９４を備える。以下、各構成要素について、第１の実施形態に係る画像処理部１２０の構成要素と異なる部分を中心に説明を行う。

係数算出部２９０は、予測タップ構築部１５０から出力される予測タップｘ_ｉとの積和演算により注目撮像画素値を予測するために用いられる予測係数ｗ_ｉを、前記特性パラメータ及び前記位相シフト量ｓに応じて生成する。係数算出部２９０による予測係数の生成は、図１２〜図１４を用いて説明した係数生成部１６０の第１の構成例に基づく方法、または図１５及び図１６を用いて説明した係数生成部１６０の第２の構成例に基づく方法によって行うことができる。そして、係数算出部２９０は、いずれかの方法により生成した予測係数ｗ_ｉを、予測演算部１８０へ出力する代わりに、記憶部２９２の所定の記憶領域へ格納する。

記憶部２９２は、任意の記憶領域であって、例えばフラッシュメモリやハードディスクなどの記憶手段により構成される。記憶部２９２には、係数算出部２９０により算出された予測係数が、例えば特性パラメータと対応付けて格納される。なお、記憶部２９２は、後に説明する図３０の記憶部９１６と同一の記憶領域であってもよい。

係数取得部２９４は、取得信号ｘから撮像信号に相当する出力信号ｙを予測演算する際に、使用すべき予測係数を記憶部２９２を参照して取得する。使用すべき予測係数とは、例えば入力された特性パラメータと対応付けて記憶部２９２に格納された予測係数などである。その代わりに、記憶部２９２に算出された最新の予測係数のみを格納し、係数取得部２９４では当該最新の予測係数を取得するようにしてもよい。

図２０は、本実施形態に係る係数算出部２９０による係数算出処理の流れを示したフローチャートである。

図２０を参照すると、まずパラメータ入力部１１０から特性パラメータが入力される（Ｓ２００４）。次に、位相シフト量検出部１３０によって特性パラメータから検出された位相シフト量が取得される（Ｓ２００８）。その後、図１４または図１６を用いて説明した係数生成が実行され、取得信号から撮像信号を予測するための予測係数が算出される（Ｓ２０１２）。そして、算出された予測係数が記憶部２９４に格納される（Ｓ２０１６）。

このような係数算出処理は、取得信号が入力される都度ではなく、特性パラメータに変更が生じた時点で一度行えばよい。

その後、画像処理装置２００に取得信号ｘが入力されると、係数取得部２９４によって、事前に算出された予測係数が記憶部２９２から取得され、各撮像画素値を計算して出力する予測演算処理が行われる。

図２１は、本実施形態に係る画像処理装置２００による予測演算処理の流れを示したフローチャートである。

図２１を参照すると、まずパラメータ入力部１１０から特性パラメータが入力される（Ｓ２１０４）。そして、特性パラメータに変更が生じたかどうかが判定される（Ｓ２１０８）。このとき、特性パラメータに変更が生じていれば、図２０を用いて説明した係数算出部２９０による係数算出処理が再度実行され、新しい予測係数が記憶部２９２に格納される。

その後、係数取得部２９４により、予測係数が記憶部２９２から取得される（Ｓ２１１６）。また、位相シフト量検出部１３０によって位相シフト量が計算され、または位相シフトテーブルから取得される（Ｓ２１２０）。さらに、予測タップ構築部１５０によって、取得信号から位相シフト量を考慮した予測タップが構築される（Ｓ２１２４）。

そして、予測演算部１８０において、係数取得部２９４によって取得された予測係数と予測タップ構築部１５０から出力された予測タップとの間の積和演算により、注目撮像画素値が算出される（Ｓ２１２８）。

このとき、全ての注目撮像画素について処理が終了していなければ、次の注目撮像画素に対してＳ２１２８の処理が繰り返される（Ｓ２１３２）。全ての注目撮像画素について処理が終了していれば、本実施形態に係る画像処理部２００による予測演算処理は終了する。

ここまで、図１８〜図２１を用いて、本発明の第２の実施形態に係る画像処理装置２００について説明を行った。第２の実施形態に係る画像処理装置２００によれば、特性パラメータに変更が生じた時点で算出した予測係数を記憶しておくことにより、取得信号が入力される都度撮像信号を予測するための予測係数を生成する処理を行う必要が無くなり、画像処理に掛かる負荷が軽減される。

〔３〕第３の実施形態
これまで説明を行った第１及び第２の実施形態では、撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータに基づいて取得信号から予測された出力信号が、画像処理装置１００または２００から出力される。これら出力信号は、取得信号からフィルタ処理による画像の歪みを除去して復元された撮像信号に相当し、実世界の状況に即して定義されたモデルに基づく様々な画像処理に適している。そこで、第３の実施形態として、さらに撮像信号から原画像信号を予測する第２の予測演算処理を行う画像処理装置について説明する。

図２２は、第３の実施形態において処理の対象とする範囲を表した模式図である。図２２を参照すると、図１を用いて説明した実世界の光が撮像されてデジタル信号が取得されるまでの処理の概略があらためて示されている。

さらに、図２２の下部には、第１の予測演算処理及び第２の予測演算処理を表す２つの矢印が示されている。このうち、第１の予測演算処理は、これまでに説明した第１及び第２の実施形態における予測演算処理に該当し、取得信号から撮像信号を予測するものである。一方、第２の予測演算処理は、撮像信号に相当する第１の予測演算処理の出力信号（第１の出力信号）から、撮像部２０に入力される原画像信号を予測するものである。第３の実施形態では、このような第１及び第２の予測演算処理を行い、原画像信号に相当する第２の出力信号を最終的に出力する。

図２３は、本実施形態に係る画像処理装置３００の構成の概略を示したブロック図である。図２３を参照すると、画像処理装置３００は、パラメータ入力部１１０、第１の画像処理部１２０、及び第２の画像処理部３２０を備える。

パラメータ入力部１１０は、第１の実施形態と同様に、フィルタ処理の特性を示す特性パラメータを、第１の画像処理部１２０へ入力する。

第１の画像処理部１２０は、第１の実施形態において説明した画像処理部１２０と同一の処理部である。即ち、第１の画像処理部１２０は、パラメータ入力部１１０から入力される特性パラメータに基づいて取得信号ｘから撮像信号に相当する信号を予測演算により生成し、第１の出力信号ｙとして出力する。なお、画像処理装置３００の構成は、図２３に示した構成に限定されない。例えば、第２の実施形態に係る画像処理部２２０を、本実施形態の第１の画像処理部１２０の代わりに用いてもよい。

第２の画像処理部３２０は、第１の画像処理部１２０から出力される第１の出力信号ｙに対し、原画像信号を予測するための後述するモデルに基づく第２の予測演算を行った後、第２の出力信号ｚを出力する。図２２を用いて説明したように、第２の出力信号ｚは、撮像信号に相当する第１の出力信号ｙから予測される、原画像信号に相当する信号である。

ここで、図２４及び図２５を用いて、第２の画像処理部３２０における第２の予測演算処理で扱う、デジタルスチルカメラのオートフォーカス機能によるボケを修正するためのモデルについて説明する。

デジタルスチルカメラのオートフォーカス機能によるボケとは、利用者が本来撮影したい被写体ではなく背景にフォーカスが合った状態で撮影が行われた結果、被写体のエッジが不鮮明な状態の撮像信号が得られる現象のことである。こうしたボケにおいて、撮像信号からボケの無い原画像信号を予測する場合には、ボケによる積分効果のモデルが利用される。

図２４は、オートフォーカス機能によるボケの積分効果を表す模式図である。図１２（Ａ）には、光学ローパスフィルタ１０を経由して撮像部２０に入力される原画像信号Ｚ_ｉ（０≦ｉ≦６）が示されている。図２４（Ｂ）には、注目撮像画素値が決まる際の近傍の画素値の寄与の重みを表す係数ｕ_ｉが、ゼロを基準とする棒グラフの形状で示されている。ここでの注目画素は、図２４（Ａ）の画素列の中央にあたるｉ＝３の画素である。

図２４（ｃ）には、原画像信号Ｚ_ｉと係数ｕ_ｉの積和によって与えられる注目撮像画素値Ａ_３が示されている。図２４（ｃ）から理解されるように、オートフォーカス機能によるボケが生じた場合、フォーカスが被写体の前後にずれることにより、ボケの生じた撮像画素値は、近傍の原画像信号の画素値に所定の係数で表される重みを掛けて積算した値となる。これは、撮像時の空間的な積分効果の一種である。

なお、図２４では便宜的に一次元の画素列を用いて説明を行っているが、ボケのモデルにおいては、実際には二次元の受光面上で注目画素から近傍に位置する画素値が、当該注目撮像画素値に寄与する。

図２５は、二次元平面上での撮像信号と原画像信号との間の関係を表す模式図である。図２５を参照すると、二次元平面がｘ軸とｙ軸によって表現されている。ここで、ｘｙ座標によって表される各マスは、撮像部２０における各受光領域に該当する。

図２５に示した二次元の受光面を有する撮像部２０においてオートフォーカス機能によるボケが生じると、撮像信号の画素値Ａ_ｘｙは、例えば近傍の５×５＝２５個分の原画像信号の画素値Ｚ_ｘｙによって決定される。

図２５の例では、例えば撮像信号の画素値Ａ_２２は、Ｚ_４４を含む枠ａに囲まれた２５個の原画像信号の画素値から決定される。同様に、例えば原画像信号の画素値Ｚ_４４を撮像信号から予測する際には、Ａ_２２を含む枠ｂに囲まれた２５個の撮像信号の画素値を考慮すべきことも理解される。

図２４及び図２５に示したボケのモデルに基づく撮像信号と原画像信号の関係は、例えば式（３２）〜式（３５）により表される。なお、ここでは予測タップとして８×８＝６４個（ｘ方向８個×ｙ方向８個）の画素が用いられている。

ここで、Ａ_ｆは二次元の撮像信号を行ごとに取り出して一列に並べた列ベクトル、Ｗ_ｆは注目画素からの相対位置で表される画素ごとの係数行列、Ｚ_ｆは注目画素からの相対位置で表される原画像信号の画素値行列である。

式（３５）において、係数行列Ｗ_ｆの逆行列を求めることができれば、撮像信号から原画像信号を予測することができる。即ち、ボケの発生した撮像信号を修正してボケの無い原画像信号を得ることができる。

しかしながら、式（３２）〜式（３５）に示した行列式は、撮像信号の画素数に対して原画像信号の画素数が多く、このままでは逆行列を求めることができない。そこで、原画像信号の予測においても、前述の画像の近傍相関の性質を利用した拘束条件式を導入することにより、不足する行列式の次数を補う。

画像の近傍相関の性質を利用した拘束条件式としては、例えば式（３６）〜式（３９）により表される関係式を用いることができる。

これらは、二次元平面において上下左右方向に隣り合う画素値は等しいとする関係式である。ここで、係数Ｕ_１〜Ｕ_４は、式（３６）〜式（３９）の各拘束条件の影響を調整し得るようにするために導入される係数である。これら係数Ｕ_１〜Ｕ_４の値は、例えば前述の特許文献４において開示された手法により適宜設定される。

このように、式（３５）の関係式に加えて式（３６）〜式（３９）の拘束条件式を導入することにより、式（４０）に示される係数行列Ｗ_ｆの逆行列Ｗ_ｆ ^−１を求めることが可能となる。

本実施形態に係る第２の画像処理部３２０では、このような積分効果のモデルに基づいて、前述の原画像信号に相当する第２の出力信号を生成する。

図２６は、第２の画像処理部３２０の構成を示したブロック図である。図２６を参照すると、第２の画像処理部３２０は、第２の予測タップ構築部３５０、記憶部３６０、第２の係数取得部３７０、及び第２の予測演算部３８０を備える。

第２の予測タップ構築部３５０は、撮像信号に相当する第１の出力信号ｙから、原画像信号のうちの注目原画素値の予測に用いられる複数の画素を抽出し、第２の予測タップＡ_ｆを構築する。

記憶部３６０は、予め計算された予測係数行列Ｗ_ｆ ^−１を記憶している記憶領域である。予測係数行列Ｗ_ｆ ^−１は、第２の予測タップＡ_ｆの値との積和演算によって注目原画素値を予測するために、前述の積分効果のモデルに基づいて計算される。

第２の係数取得部３７０は、原画像信号の予測に際し、記憶部３６０に記憶されている予測係数行列Ｗ_ｆ ^−１を取得する。そして、第２の係数取得部３７０は、予測係数行列Ｗ_ｆ ^−１の中から注目原画素値の予測に用いられる行を第２の予測係数ｗ_ｆとして抽出し、第２の予測演算部３８０に出力する。

第２の予測演算部３８０は、第２の係数取得部３７０から出力された第２の予測係数ｗ_ｆと、第２の予測タップ構築部３５０から出力された第２の予測タップＡ_ｆの値との積和演算を行って、原画像信号に相当する第２の出力信号ｚを生成、出力する。

図２７は、本実施形態に係る第２の画像処理部３２０による予測演算処理の流れを示したフローチャートである。

図２７を参照すると、まず係数取得部３７０により、第２の予測係数が記憶部３６０から取得される（Ｓ２７０４）。次に、第２の予測タップ構築部３５０によって、撮像信号に相当する第１の出力信号から第２の予測タップが構築される（Ｓ２７０８）。そして、第２の予測演算部３８０において、取得された第２の予測係数と構築された第２の予測タップとの間の積和演算により、注目原画素値（注目画素における原画像信号の画素値）が算出される（Ｓ２７１２）。

このとき、全ての注目原画素値について処理が終了していなければ、次の注目原画素に対してＳ２７１２の処理が繰り返される（Ｓ２７１６）。全ての注目原画素について処理が終了していれば、本実施形態に係る第２の画像処理部３２０による予測演算処理は終了する。

ここまで、図２２〜図２７を用いて、本発明の第３の実施形態に係る画像処理装置３００について説明を行った。第３の実施形態に係る画像処理装置３００によれば、取得信号から撮像信号に相当する第１の出力信号が生成された後、さらに積分効果のモデルに基づいて原画像信号に相当する第２の出力信号が生成される。このとき、第１の画像処理部１２０において、例えば図３を用いて説明したリンギングなどの画像の歪みが除去されているため、積分効果のモデルの誤差が低減され、第２の画像処理部３２０による原画像信号の予測処理の精度を向上させることができる。

なお、第３の実施形態に係る画像処理装置３００において扱うことのできる積分効果のモデルは、前述のオートフォーカス機能によるボケのモデルに限られない。例えば、被写体または撮像者が移動しながら撮像を行った場合に生じる動きボケについても、これを積分効果のモデルで表現することができる。

図２８は、動きボケの積分効果を表す模式図である。図２８（Ａ）には、被写体が、時刻ｔ＝１〜５の時間において、画素位置ｉ＝１〜ｆで表される受光面内を移動した場合の、撮像部２０に入力される原画像信号Ｚ_ｉｔの変化の様子が示されている。図２８（Ａ）の各画素を表すマスの内部に示された文字“Ｆ”は、当該画素に前景（即ち被写体）が映っていることを表している。一方、文字“Ｂ”は、当該画素に背景が映っていることを表している。

図２８（Ａ）において、時刻ｔ＝１の時点で画素位置ｉ＝３〜７に映っていた被写体は、時刻が１進むごとに、画素位置の正の方向（図の右方向）に１ずつ移動し、時刻ｔ＝５の時点では画素位置ｉ＝７〜ｂに位置している。このとき、例えば撮像部２０において時刻ｔ＝１〜５の間に渡って露光が行われると、図２８（Ａ）に示した同一画素位置の時間軸上の５つの画素の画素値の平均が、撮像の結果得られる撮像画素値となる。

図２８（Ｂ）には、そのようにして得られた撮像信号の各画素値Ａ_ｉを、画素値の大きさを示す棒グラフで示している。なお、ここでは便宜的に、前景の原画像信号の画素値Ｚ_ｉｔ＝Ｆ、背景の原画像信号の画素値Ｚ_ｉｔ＝０としている。

図２８（Ｂ）を参照すると、露光時間の間常に前景が映っていた画素位置ｉ＝７では、撮像信号の画素値Ａ_７＝Ｆとなっている。これに対し、露光時間の間に被写体が移動して前景と背景が写り込んだ画素位置ｉ＝７の周囲の画素（３≦ｉ≦６及び８≦ｉ≦ｂ）では、撮像画素値は、０以上Ｆ未満の中間的な値となっている。図２８（Ｂ）における撮像信号の各画素値Ａ_ｉは、次式で与えられる。

式（４１）で表された動きボケは、撮像時の時間的な積分効果の一種である。しかしながら、図２８（Ａ）から理解されるように、動きボケの生じた状況において、任意の時刻での原画像信号の画素値は、その前後の時刻に近傍の他の画素に入力される画素値にほぼ等しいと言える。例えば、時刻ｔ＝５、画素位置ｉ＝７における原画像信号の画素値Ｚ_７５は、移動した被写体の左端部にあたる画素値Ｚ_６４、Ｚ_５３、Ｚ_４２、及びＺ_３１と等しい。よって、動きボケについても、撮像信号の複数の画素から予測タップを構築し、所定の予測係数と予測タップの画素値との積和演算を行うことにより、動きボケを除去した原画像信号に相当する出力信号を得ることができる。

このとき、フィルタ処理に伴うリンギングなどの画像の歪みを含む取得信号から予測した撮像信号に対して動きボケの除去処理を行うと、前述の動きボケのモデルに誤差が生じ、除去の効果が十分得られない。しかしながら、本発明の第３の実施形態を適用することにより、フィルタ処理に伴う画像の歪みを除去した上でさらに動きボケを除去できるため、動きボケの除去を効果的に行うことができる。

ここまで、本発明の第１〜第３の実施形態について説明を行った。各実施形態は、取得信号から撮像信号または原画像信号を予測する画像処理装置についての実施形態である。これに対し、以下に第４の実施形態として説明するように、第１〜第３の実施形態に係る画像処理装置１００〜３００と撮像手段とを組み合わせて、撮像装置を構成してもよい。

〔４〕第４の実施形態
図２９は、第１の実施形態に係る画像処理装置１００と撮像手段とを組み合わせた撮像装置４００の構成を示すブロック図である。図２９を参照すると、撮像装置４００は、光学ローパスフィルタ１０、撮像部２０、アンチエイリアシングフィルタ３０、ＡＤ変換部４０、信号統合部５０、パラメータ入力部１１０、及び画像処理部１２０を備える。

撮像装置４００に入力された光信号は、光学ローパスフィルタ１０を経由して原画像信号となり、撮像部２０に入力される。撮像部２０に入力された原画像信号は、電荷として蓄積され、アナログ形式の撮像信号として出力される。撮像部２０から出力された撮像信号は、アンチエイリアシングフィルタ３０に入力される。アンチエイリアシングフィルタ３０では、撮像信号に含まれる折り返し雑音の原因となる所定の周波数成分が除去される。アンチエイリアシングフィルタ３０を通して取得されたアナログ信号は、ＡＤ変換部４０によってデジタル信号に変換される。

本実施形態では、ＡＤ変換部４０によってデジタル信号に変換された取得信号は、信号統合部５０へ入力される。信号統合部５０では、取得信号にフィルタの特性パラメータを含むヘッダが付加される。そして、ヘッダの付加された取得信号は、画像処理部１２０及びパラメータ入力部１１０に入力される。

パラメータ入力部１１０は、入力された取得信号のヘッダから特性パラメータを取得し、画像処理部１２０へ入力する。なお、第１の実施形態において例示したように、パラメータ入力部１１０において利用者から特性パラメータを入力させる場合には、本実施形態のように取得信号にヘッダを付加する信号統合部５０を設けなくてもよい。その場合、ＡＤ変換部４０によってデジタル信号に変換された取得信号は、直接画像処理部１２０へと入力される。

画像処理部１２０は、デジタル信号に変換された取得信号とパラメータ入力部１１０から入力される特性パラメータとに基づいて、前述した予測演算処理を行い、画像の歪みが除去された出力信号を出力する。

本発明の第４の実施形態によれば、撮像手段と画像の歪みを除去する画像処理手段が一体として利用者に提供され、画像の歪みの除去に係る前述の効果が広く利用者に享受される。

なお、本明細書において説明した第１〜第４の実施形態に係る一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、または例えば図３０に示した汎用コンピュータなどを用いて実行される。

図３０において、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４には、一連の処理の一部または全部を記述したプログラムまたはデータが格納される。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６には、ＣＰＵ９０２が演算処理に用いるプログラムやデータなどが一時的に記憶される。

ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９０８を介して相互に接続される。バス９０８にはさらに、入出力インタフェース９１０が接続される。

入出力インタフェース９１０は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力部９１２、出力部９１４、記憶部９１６、通信部９１８、及びドライブ９２０とを接続するためのインタフェースである。

入力部９１２は、例えばボタン、スイッチ、レバー、マウスやキーボードなどの入力装置を介して、利用者からの指示や情報入力を受け付ける。出力部９１４は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの表示装置、またはスピーカーなどの音声出力装置を介して利用者に対して情報を出力する。

記憶部９１６は、例えばハードディスクドライブまたはフラッシュメモリなどにより構成され、プログラム、プログラムデータ、画像データなどを記憶する。通信部９１８は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットなどのネットワークを介する通信処理を行う。ドライブ９２０は、必要に応じて汎用コンピュータに設けられ、例えばドライブ９２０にはリムーバブルメディア９２２が装着される。

第１〜第４の実施形態に係る一連の処理をソフトウェアで実行する場合には、例えば図３０に示したＲＯＭ９０４、記憶部９１６、またはリムーバブルメディア９２２に格納されたプログラムが、実行時にＲＡＭ９０６に読み込まれ、ＣＰＵ９０２によって実行される。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、ここまで説明した各実施形態に係る画像処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。第１〜第３の実施形態に係る画像処理装置、及び第４の実施形態に係る撮像装置における各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。

実世界の光を撮像したデジタル信号が取得されるまでの処理の一例を示した模式図である。 原画像信号の一次元の撮像信号への変換の一例を示した模式図である。 アンチエイリアシングフィルタによる信号への影響の一例を示した説明図である。 第１の実施形態に係る画像処理装置の構成を示したブロック図である。 ＩＩＲフィルタによるフィルタ演算の一例を説明するための説明図である。 第１の実施形態に係る画像処理部の構成を示したブロック図である。 位相シフト量検出部の第１の構成例を示したブロック図である。 位相シフト量検出部の第１の構成例による位相シフト量検出処理の流れを示したフローチャートである。 位相シフト量検出部の第２の構成例を示したブロック図である。 位相シフトテーブルの構成の一例を示した説明図である。 第１の実施形態に係る予測タップ構築部の処理の一例を説明するための説明図である。 係数生成部の第１の構成例を示したブロック図である。 撮像信号と取得信号との間の関係を説明するための説明図である。 係数生成部の第１の構成例による係数生成処理の流れを示したフローチャートである。 係数生成部の第２の構成例を示したブロック図である。 係数生成部の第２の構成例による係数生成処理の流れを示したフローチャートである。 第１の実施形態に係る画像処理装置による処理の流れを示したフローチャートである。 第２の実施形態に係る画像処理装置の構成を示したブロック図である。 第２の実施形態に係る画像処理部の構成を示したブロック図である。 第２の実施形態に係る係数算出部の処理の流れを示したフローチャートである。 第２の実施形態に係る画像処理装置の予測演算処理の流れを示したフローチャートである。 第３の実施形態の処理対象範囲を表す模式図である。 第３の実施形態に係る画像処理装置の構成を示したブロック図である。 オートフォーカス機能によるボケの積分効果を表す模式図である。 二次元平面における撮像信号と原画像信号の関係を表す模式図である。 第３の実施形態の第２の画像処理部の構成を示したブロック図である。 第３の実施形態に係る第２の予測演算処理の流れを示したフローチャートである。 動きボケの積分効果を表す模式図である。 第４の実施形態に係る撮像装置の構成を示すブロック図である。 汎用コンピュータの構成例を示すブロック図である。

符号の説明

１００、２００、３００ 画像処理装置
４００ 撮像装置
１１０ パラメータ入力部
１３０ 位相シフト量検出部
１５０ 予測タップ構築部
１６０、２９４ 係数生成部、係数取得部
１８０ 予測演算部
３５０ 第２の予測タップ構築部
３８０ 第２の予測演算部
２０ 撮像部

Claims (11)

1. 実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力手段と；
   前記入力手段により入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出手段と；
   前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と；
   前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と；
   前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と；
   を備える画像処理装置。
2. 前記撮像信号は実世界の光から取得された原画像信号に対する積分効果により生成された信号であり；
   前記原画像信号のうちの注目原画素値の予測に用いる複数の撮像画素からなる第２の予測タップを、前記撮像信号に相当する前記第１の出力信号から構築する第２の構築手段と；
   前記第２の予測タップの値との積和演算により前記注目原画素値を予測するために前記撮像信号の生成時の積分効果のモデルに基づいて生成された第２の予測係数と、前記第２の構築手段から出力された前記第２の予測タップの値との積和演算を行って、前記原画像信号に相当する第２の出力信号を生成する第２の演算手段と；
   をさらに備える、請求項１に記載の画像処理装置。
3. 前記係数取得手段は、前記特性パラメータに基づいて生成した前記撮像信号と前記取得信号との間の関係式、及び画像の近傍相関の性質に基づいて生成した拘束条件式を用いて、前記第１の予測係数を算出する係数生成手段である、請求項１または請求項２のいずれかに記載の画像処理装置。
4. 前記入力手段は、前記取得信号のヘッダに含まれる前記特性パラメータを取得する、請求項１〜３のいずれかに記載の画像処理装置。
5. 前記検出手段は、前記特性パラメータと前記位相シフト量とを関連付けて保持しているテーブルから前記位相シフト量を取得して検出する、請求項１〜４のいずれかに記載の画像処理装置。
6. 前記係数取得手段は、予め保持される撮像標本信号と前記特性パラメータとに基づいて前記撮像標本信号に対する取得信号に相当する取得標本信号を計算し、前記撮像標本信号と計算された前記取得標本信号とを用いて生成された方程式から前記第１の予測係数を算出する係数生成手段である、請求項１に記載の画像処理装置。
7. 前記入力手段は、利用者の操作に応じて前記特性パラメータを入力装置から取得する、請求項１に記載の画像処理装置。
8. 前記検出手段は、予め保持される撮像標本信号と前記特性パラメータとに基づいて前記撮像標本信号に対する取得信号に相当する取得標本信号を計算し、前記取得標本信号を所定の画素数分シフトさせた複数のシフト済み信号のうち、前記撮像標本信号との間の差分が最小となるシフト済み信号に対応するシフトさせた画素数を、前記位相シフト量として検出する、請求項１に記載の画像処理装置。
9. 実世界の光を撮像して撮像信号を生成する撮像手段と；
   前記撮像手段により生成された前記撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力手段と；
   前記入力手段により入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出手段と；
   前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と；
   前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と；
   前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と；
   を備える撮像装置。
10. 実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力する入力ステップと；
    入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出ステップと；
    前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築ステップと；
    前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得ステップと；
    取得された前記第１の予測係数と前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算ステップと；
    を含む、画像処理方法。
11. 画像処理装置を制御するコンピュータを：
    実世界の光を撮像して生成された撮像信号に対して施されるフィルタ処理の特性を示す特性パラメータを入力する入力手段と；
    前記入力手段により入力された前記特性パラメータに基づいて、前記撮像信号と、前記撮像信号に対するフィルタ処理の結果取得される取得信号との間の位相シフト量を検出する検出手段と；
    前記撮像信号のうちの注目撮像画素値の予測に用いる複数の取得画素からなる第１の予測タップを、前記検出手段により検出された前記位相シフト量を用いて位相シフトされた前記取得信号から構築する第１の構築手段と；
    前記第１の予測タップの値との積和演算により前記注目撮像画素値を予測するために、前記特性パラメータ及び前記位相シフト量に応じて生成された第１の予測係数を取得する係数取得手段と；
    前記係数取得手段により取得された前記第１の予測係数と前記第１の構築手段から出力された前記第１の予測タップの値との積和演算を行って、前記撮像信号に相当する第１の出力信号を生成する第１の演算手段と；
    として機能させるための、プログラム。

Images