JP2010087614A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP2010087614A
JP2010087614A JP2008251658A JP2008251658A JP2010087614A JP 2010087614 A JP2010087614 A JP 2010087614A JP 2008251658 A JP2008251658 A JP 2008251658A JP 2008251658 A JP2008251658 A JP 2008251658A JP 2010087614 A JP2010087614 A JP 2010087614A
Authority
JP
Japan
Prior art keywords
blur
image data
curved surface
image
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008251658A
Other languages
English (en)
Inventor
Sunao Mishima
直 三島
Kenzo Isogawa
賢造 五十川
Masahiro Baba
雅裕 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008251658A priority Critical patent/JP2010087614A/ja
Priority to US12/560,601 priority patent/US20100079630A1/en
Publication of JP2010087614A publication Critical patent/JP2010087614A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】単板イメージセンサにより取得される各色の情報から、本来の解像度を有効に活用して、解像度が劣化しないボケ復元を実現する画像処理装置、画像処理方法、及び、プログラムを提供すること。
【解決手段】単板イメージセンサから入力される入力画像データに対し、レンズの所定の光学ボケを再現させてボケ再現画像データを出力するボケ再現部と、ボケ再現部から出力されるボケ再現画像データと入力画像データとの二乗誤差が小さくなる補正によりボケ再現画像を補正したボケ補正画像データを出力するボケ補正部と、ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、色コンポーネント間で同一になるように、色コンポーネント毎の曲面形状を変更することにより、ボケ補正画像データを更新する曲面フィッティング部と、を有する画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
従来から、イメージセンサから出力される画像に含まれる様々な収差を補正する技術がある。イメージセンサは、外部の光線がレンズによりイメージセンサ上に集光されることにより、光電変換され電荷として蓄積されるものである。イメージセンサが高解像度に対応する場合でも、レンズの集光がその解像度に対応しなければ、ボケが生じる。
例えば、非特許文献１には、Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄによるボケ画像を復元することが開示されている。非特許文献１には、さらに、正則化によりノイズを抑えることが開示されている。Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄを用いることで、レンズの相対的な性能の低下を補償することができるが、Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄは、ノイズに弱い。そこで正則化によりノイズを抑えることにより、ボケ補正を好適に行うことができる。
例えば、特開２００５−３５４６１０号公報（特許文献１）は、入力されるカラー画像に対して単板イメージセンサによる撮像をシミュレートした推定画像を生成し、推定画像に対して光学ボケをシミュレートし、シミュレート画像と撮像画像とを比較してボケ補正量を算出し、さらに色の相関を用いて不自然応答に対するペナルティを算出し、ボケ補正量とペナルティとに基づいて、ボケを補正する画像処理装置等の発明が開示されている。特許文献１に開示の画像処理装置等の発明は、色の相関の有無により適応的に正則化を行う手法である。
特開２００５−３５４６１０号公報 Ｊ． Ｂｉｅｍｏｎｄ， Ｒ．Ｌ． Ｌａｇｅｎｄｉｊｋ， Ｒ．Ｍ． Ｍｅｒｓｅｒｅａｕ， "Ｉｔｅｒａｔｉｖｅ ｍｅｔｈｏｄｓ ｆｏｒ ｉｍａｇｅ ｄｅｂｌｕｒｒｉｎｇ"， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ， Ｖｏｌｕｍｅ ７８， Ｉｓｓｕｅ ５， Ｐａｇｅ（ｓ）：８５６ - ８８３， Ｍａｙ １９９０
ところで、画像処理における正則化は、近傍の画素値の変動が滑らかであるという制約がある。単板イメージセンサによる画像データは、各画素位置に単色しか存在しないため、隣接する画素間の相関の有無を判断する際には、画素補間が必要となる。したがって、単板イメージセンサによる画像データは、正則化を制御する解像度が補間の精度に依存し、本来の解像度が有効に活用されないという課題があるが、上記特許文献１に開示の画像処理装置等の発明では、そのようなことは考慮されていない。
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、単板イメージセンサにより取得される各色の情報から、本来の解像度を有効に活用して、解像度が劣化しないボケ復元を実現する画像処理装置、画像処理方法、及び、プログラムを提供することを目的としている。
上記目的を達成するために、本発明の画像処理装置は、単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現部と、前記ボケ再現部から出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正部と、前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティング部と、を有し、前記ボケ再現部は、さらに、前記曲面フィッティング部により更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する構成とすることができる。
また、上記目的を達成するために、本発明の画像処理方法は、単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、を有し、前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する構成とすることができる。
また、上記目的を達成するために、本発明の画像処理プログラムは、単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、を有し、前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理方法を、コンピュータに実行させるためのプログラムとすることができる。
本発明の画像処理装置、画像処理方法、及び、プログラムによれば、単板イメージセンサにより取得される各色の情報から、本来の解像度を有効に活用して、解像度が劣化しないボケ復元を実現することが可能になる。
以下、本実施の形態を図面に基づき説明する。本実施例の構成は、例えば、デジタルカメラ等で用いられるイメージセンサ用の画像処理装置である。本実施の形態によれば、外部の光線が、レンズによりイメージセンサ上に集光され、それがイメージセンサにより光電変換されて電荷として蓄積される。蓄積された電荷は、本実施の形態に係る画像処理装置に入力され光学ボケが補正される。なお、以下の実施の形態では、単板イメージセンサによるカラー画像としてＲＧＢを用いて説明する。しかしながら、本発明の実施の形態は、ＲＧＢに限らず補色系でもよい。
半導体プロセスで製造されるイメージセンサは、半導体のプロセスルールが微細化するほどイメージセンサ上に作り込まれるトランジスタの密度が増加し、生成する画像の高解像度化が実現される。しかしながら、イメージセンサ上に光を集光するレンズの性能は、光学設計の複雑さやレンズシステムの小型化要求等により、イメージセンサに比して向上の程度が少ない。そこで、イメージセンサが高解像度化してもレンズによる集光がそれに追いつかなければ、解像感のある絵が得られず、生成される画像がボケた画像となる。
以下の実施の形態では、局所的な多項式近似（Ｋｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎ）を用いることにより、ＲＧＢの曲面形状を連動させることによって、単板イメージセンサ上のすべての情報を有効に活用し、解像度の劣化しないボケ復元方法等について説明する。
〔第１の実施の形態〕
（本実施形態の画像処理装置の機能ブロック）
図１は、本実施形態の画像処理装置の機能構成を示すブロック図である。図１の画像処理装置１００は、イメージセンサ１１０、微分部１２０、画像構造パラメータ算出部１３０、ボケ再現部１４１、ボケ再現部１４３、ボケ再現部１４５、ボケ補正部１５１、ボケ補正部１５３、ボケ補正部１５５、マルチプレクサ１６０、曲面フィッティング部１７０、及び、デマルチプレクサ１９９を有する。
イメージセンサ１１０は、光電変換によりレンズにより集光される光を電荷に変換してＲＧＢの画像データを出力する。出力される画像データは、ＲＡＷデータである。微分部１２０は、画像のＲＡＷデータから、ｘ方向及びｙ方向の一次微分を算出する。画像構造パラメータ算出部１３０は、一次微分から、画像構造のパラメータを算出する。画像構造のパラメータは、例えば、異方性ガウス関数により表される。
ボケ再現部１４１は、ＲＡＷデータのうち、Ｒコンポーネントに対してイメージセンサによるボケをシミュレートする。ボケ補正部１５１は、ボケ再現部１４１により生成されたＲコンポーネントのボケ再現画像とボケが補正されたボケ補正画像との最小二乗誤差が最小になるボケ補正画像を出力する。
ボケ再現部１４３とボケ補正部１５３とは、Ｇコンポーネントに対するボケ再現とボケ補正との処理を行い、ボケ再現部１４５とボケ補正部１５５とは、Ｂコンポーネントに対するボケ再現とボケ補正との処理を行う。マルチプレクサ１６０は、ボケ補正された色コンポーネント毎の補正画像のデータをエンコードしてＲＡＷデータとする。
曲面フィッティング部１７０は、色コンポーネント毎に画素値を結ぶ曲面形状をＲＧＢ間において同一にすることにより、正則化を好適に行わせる。なお、「色コンポーネント毎に画素値を結ぶ曲面形状をＲＧＢ間において同一にすること」を、「曲面形状をＲＧＢで連動させる」という。
（本実施形態による画像処理方法の概略）
図２は、本実施形態による画像処理装置１００における画像処理方法の概略を説明する図である。本実施の形態ではＬａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄによるボケ復元アルゴリズムを用い、正則化としてＫｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングを行う。
Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄのボケ復元アルゴリズムは、ボケ再現ステップ２４０とボケ補正ステップ２５０とを有する。Ｌａｎｄｗｅｂｅｒ ＭｅｔｈｏｄはＲＧＢの色コンポーネント毎に、それぞれ独立に行う。
また、Ｋｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングは、微分ステップ２２０、画像構造パラメータ算出ステップ２３０、曲面フィッティングステップ２７０、及び、判断ステップ２７５を有する。曲面フィッティングはＲＧＢの色コンポーネントを全て使って行う。
微分ステップ２２０、及び、画像構造パラメータ算出ステップ２３０は、入力されたＲＡＷデータに対して一回だけ行われる。ボケ再現ステップ２４０、ボケ補正ステップ２５０、及び、曲面フィッティングステップ２７０は、任意のイテレーション回数ＩＴＥまで繰り返し処理される。イテレーション回数の判断は、判断ステップ２７５において実行される。最後にボケ補正された画像が出力される。
（イメージセンサから得られる画像データの例）
図３及び図４は、イメージセンサから得られる画像データを説明する図である。図３では、連続する１６箇所の画素位置における、３つの色コンポーネントの画素値が示されている。図３の画素値は、例えば、図４に示すベイヤ配列を有するイメージセンサにより得られた画像データである。図４のベイヤ配列では、ドットのハッチングがＧの画素値を取得する画素位置であり、斜線のハッチングがＲの画素値を取得する画素位置であり、斜線が交叉するハッチングがＢの画素値を取得する画素位置である。
図３では、各画素位置には、１色のデータしか存在しない。そこで、色コンポーネント毎に画素値を結ぶ曲面形状をＲＧＢで連動させることにより、イメージセンサ上のすべてのデータを利用して正則化をおこなうことができる。
本実施の形態では、カラーフィルタ配列がベイヤ配列の単板イメージセンサから得られた画像データを処理するが、本発明の実施の形態は、ベイヤ配列に限らず、他のカラーフィルタ配列でもよい。
（本実施形態における画像処理方法の詳細）
以下は、本実施形態における画像処理方法の詳細について、図２に示すステップ毎に説明する。ここでは、イメージセンサから出力される画像データを、ＲＡＷデータと呼ぶ。画素位置ｉ＝（ｉ，ｊ）ＴのＲＡＷデータをｙｉとする。カラーフィルタ配列をｃｉ∈｛Ｒ，Ｇ，Ｂ｝とする。また、求めるべき補正された画像をχｉとする。光学ボケにより画像がどのようにぼけるかは、例えば、Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ（以下、「ＰＳＦ」という。）によって記述することができる。画素位置ｉを中心とした局所位置ｓ＝（ｓ，ｔ）Ｔの色ｃｉのＰＳＦをｈ（ｓ，ｉ，ｃｉ）とする。またこのＰＳＦは既知である。ＰＳＦはレンズの設計地によるシミュレーションや測定などによって事前に求めておくことができる。
（微分ステップ２２０）
図５は、微分部１２０により行われる微分ステップ２２０の詳細を説明するフロー図である。微分ステップ２２０では、画素位置毎の一次微分を求める。図５のステップＳ１０１では、一次微分を求める画素位置を（ｉ，ｊ）とする。ステップＳ１０１に続いてステップＳ１０２に進み、変数ｓｒｃの値を、画素位置（ｉ，ｊ）のＲＡＷデータとする。さらに、画素位置（ｉ，ｊ）におけるｘ方向の微分データを出力するための変数ｄｉｆｆｘと、画素位置（ｉ，ｊ）におけるｙ方向の微分データを出力するための変数ｄｉｆｆｙとの領域を確保する。
ステップＳ１０２に続いてステップＳ１０３に進み、画素位置（ｉ，ｊ）における色コンポーネントに応じて、図６に示す方法により、微分値ｄｘ及びｄｙを得る。図６では、一次微分を、ＲＧＢそれぞれ独立に求める。ＲＡＷデータは、ＲＧＢの配列がそれぞれ異なるため、そのための処理をおこなう必要がある。
図６（ａ）は、ベイヤ配列を示す。また、図６（ｃ）及び（ｄ）は、ベイヤ配列における、ＲとＢとの一次微分を求める例を示す図である。ＲとＢはＧよりもサンプリングの粗い正方の格子配列である。図６（ｃ）及び（ｄ）において、ｘ方向の一次微分とｙ方向の一次微分は、それぞれの方向の差分で近似する。ｘ方向の一次微分とｙ方向の一次微分をそれぞれｄｘｉ，ｄｙｉとすると、ｃｉ＝＝Ｒ又はｃｉ＝＝Ｂのとき、ｄｘｉ及びｄｙｉは、次式（１）で計算することができる。
Figure 2010087614
一方、図６（ｂ）に示すＧは、ベイヤ配列において斜め格子であり、ＲとＢとは異なる処理を行う。テーラー展開の１次成分が１次微分であることに着目し、テーラー展開を１次で打ち切った平面を２点のＧによって当てはめることにより１次微分を求める。図６（ｂ）に示す２つの三角形を考え、それぞれの三角形に対する平面当てはめによる１次微分の和を求めることとする。
先ず、一つめの三角形に対して次式（２）が成り立ち、式（２）を解くことにより、一つ目の三角形による一次微分が得られる。式（３）は、一つ目の三角形による一次微分である。
Figure 2010087614
二つ目の三角形に対しても、対しても同様に、式（４）が成り立ち、式（４）を解くことにより、二つ目の三角形による一次微分が得られる。式（５）は、二つ目の三角形による一次部分である。
Figure 2010087614
 さらに、次式（６）により、式（３）及び式（５）の和を求めることにより、Ｇの一次微分が得られる。
Figure 2010087614
図５に戻り、ステップＳ１０３に続くステップＳ１０４では、変数ｄｉｆｆｘ及びｄｉｆｆｙの値が、それぞれｄｘとｄｙとなり、処理を終了する。
（画像構造パラメータ算出ステップ）
図７及び図８は、画像構造パラメータ算出ステップ２３０において用いられる異方性ガウス関数を説明する図である。画像の局所構造を表す統計量として、例えば、構造テンソルがある。Ｃｕｍａｎｉらは構造テンソルの固有値・固有ベクトルを用いて詳細なエッジの強度・方向を算出した［Ａ． Ｋｏｓｃｈａｎ， Ｍ． Ａｂｉｄｉ， “Ｄｅｔｅｃｔｉｏｎ ａｎｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｅｄｇｅｓ ｉｎ ｃｏｌｏｒ ｉｍａｇｅｓ”， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｍａｇａｚｉｎｅ， ＩＥＥＥ， Ｖｏｌｕｍｅ ２２， Ｉｓｓｕｅ １， Ｊａｎ ２００５， Ｐａｇｅ（ｓ）：６４ - ７３］。
また、構造テンソルからフィッティングの際の重みを決定してもよい。これは構造テンソルを共分散行列とする異方性ガウス関数を用いたものである。異方性ガウス関数を図７に示す。図７（ａ）は、異方性ガウス関数の平面図であり、図７（ｂ）は、異方性ガウス関数の俯瞰図である。
図８は、本実施の形態による画像構造カーネルパラメータを説明する図である。図８（ａ）において、λ＋及びλ−は、それぞれ、大なる固有値と小なる固有値とであり、θは固有ベクトルとｘ軸とのなすを表す。固有ベクトルは、エッジに沿う方向となる。構造テンソルを共分散行列とした異方性ガウス関数は、エッジ強度の強い方向に沿って楕円がつぶれるため、エッジを跨いだフィッティングを防止し先鋭度が保たれる。
ここでは微分ステップ２２０において求められたｘ方向の１次微分とｙ方向の１次微分とを用いて、Ｃｕｍａｎｉらと同様に位置ｉにおけるエッジの方向・大きさを示した画像構造カーネルパラメータを算出する。画像構造カーネルは図８（ａ）に示す異方性のガウス関数で表され、微分値の構造テンソルＨｉは、次式（７）により定義される。
Figure 2010087614
式（７）において、ｓ∈Ｎは、位置ｉを中心とした局所近傍Ｎ内の点の位置である。また、グローバルスムースｈ＞０は、異方性ガウス関数の標準偏差を表す。グローバルスムースｈにより、平滑化の強度を設定することができる。すなわち、ｈが大きい値の場合に、平滑化が強くなる。図８（ｂ）から図８（ｇ）は、エッジと画像構造カーネルとの関係を示す図である。これらの画像構造カーネルは、エッジの法線方向成分が強い、つまりエッジが明確なほど、エッジの接線方向に潰れた楕円形状となる。
式（７）の構造テンソルＨｉより、画像構造カーネルパラメータの算出は次式（８）及び（９）により行うことができる。
Figure 2010087614
式（８）において、画像構造角θが画像のｘ軸と画像構造カーネルの長軸方向とのなす角を表し、λ＋が長軸方向の長さ、λ−が短軸方向の長さを表す。なお、λ＋及びλ−は構造テンソルの固有値である。画像構造カーネルの長軸はエッジの接線方向であり、画像構造カーネルの短軸はエッジの法線方向に一致する。
式（８）及び（９）は、画像に含まれるノイズにより、画像構造カーネルパラメータが安定して算出されない。そこで次式（１０）による、位置ｉを中心とした局所近傍Ｎ内の点に関して畳み込んだ構造テンソルを用いてもよい。
Figure 2010087614
 式（１０）において、局所近傍Ｎは任意の形状を考えることができる。例えば、位置ｉを中心とした５ｘ５タップの矩形領域などを用いてもよい。
（ボケ再現処理及びボケ補正処理）
Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄのボケ復元アルゴリズムは、ボケ再現ステップとボケ補正ステップとからなる。Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄは、ＰＳＦを用いてボケ補正画像をぼかしたボケ再現画像とＲＡＷデータとの二乗誤差が最小となるように、ボケ補正画像を反復的に更新する手法である。
（ボケ再現ステップ２４０）
ボケ再現ステップ２４０は、ボケ補正画像に対してＰＳＦを適用してぼかしボケ再現画像を生成する。ボケ再現画像ｂｉは、画素位置ｉを中心とした局所領域Ｎの画素をＰＳＦの重み付けて畳み込むことにより次式（１１）により得られる。
Figure 2010087614
 式（１１）において、局所領域Ｎ内の局所位置をｓとする。
（ボケ再現処理のフロー）
図９は、ボケ再現部１４１等により行われるボケ再現ステップ２４０の詳細を説明するフロー図である。図９のステップＳ２０１では、ボケ再現処理が行われる画素位置（ｉ，ｊ）が定められる。ステップＳ２０１に続いてステップＳ２０２に進み、各変数に所定の値が代入される。
より詳細には、配列変数ｐｒｏｃに、画素位置（ｉ，ｊ）のＲＡＷデータの値が設定され、変数ｂｌｕｒｒｅｄは、画素位置（ｉ，ｊ）のボケＲＡＷデータが代入される変数として設定される。また、画素位置（ｉ，ｊ）のＰＳＦデータが読み込まれて、配列変数ｆｉｌｔｅｒに代入される。図１０は、色コンポーネント毎のＰＳＦを説明する図である。図１０において、各色コンポーネントのＰＳＦはベイヤ配列に対応し、正規化されている。
さらに、ＰＳＦデータの半径ｒ、画素位置（ｉ，ｊ）の色コンポーネント種別が設定される。
ステップＳ２０２に続いてステップＳ２０３に進み、フィルタリング処理が開始される。初期値として、変数ｓｕｍに値０が代入され、フィルタリングを行う範囲ｍ及びｎを、−ｒ≦ｍ≦ｒ，−ｒ≦ｎ≦ｒとする。ステップＳ２０３に続いてステップＳ２０４に進み、変数ｓｕｍの値に、配列変数ｆｉｌｔｅｒの値と変数ｐｒｏｃの値とを乗じた数が加算される。すなわち、ｓｕｍ＝ｓｕｍ＋（ｆｉｌｔｅｒ（ｍ，ｎ））＊（ｐｒｏｃ（ｉ＋ｍ，ｊ＋ｎ））なる式により、変数ｓｕｍの値が更新される。
ステップＳ２０４に続いてステップＳ２０５に進み、配列変数ｆｉｌｔｅｒの各変数を用いる処理が全て終了している場合には、ステップＳ２０６に進み、終了していない場合には、ステップＳ２０４に戻って処理を繰り返す。
ステップＳ２０５に続くステップＳ２０６では、変数ｂｌｕｒｒｅｄ（ｉ，ｊ）に、変数ｓｕｍの値が代入され、処理を終了する。
（ボケ補正ステップ）
ボケ補正ステップ２５０では、ボケ再現画像とＲＡＷデータとの二乗誤差が小さくなるようにボケ補正画像を更新する。二乗誤差最小化問題は式（１２）となる。式（１２）の最急降下法による更新式は式（１３）及び式（１４）となる。
Figure 2010087614
 式（１３）及び式（１４）の微分方程式を差分方程式により置き換えると式（１５）ののＬａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄによる更新式が得られる。
Figure 2010087614
 式（１５）中、上付き添え字（ｌ）はイテレーションの回数を示す数である。
（ボケ補正処理のフロー）
図１１は、ボケ補正部１５１等により行われるボケ補正ステップ２５０の詳細を説明するフロー図である。図１１のステップＳ３０１では、ボケ補正処理が行われる画素位置（ｉ，ｊ）が定められる。ステップＳ３０１に続いてステップＳ３０２に進み、各変数に所定の値が代入される。
より詳細には、配列変数ｓｒｃに、画素位置（ｉ，ｊ）を中心とするＲＡＷデータが代入され、配列変数ｂｌｕｒｒｅｄに、ボケ再現ステップ２４０により得られた画素位置（ｉ，ｊ）のボケＲＡＷデータが代入される。
また、配列変数ｐｒｏｃは、画素位置（ｉ，ｊ）の補正後のＲＡＷデータの値が代入される変数として設定され、画素位置（ｉ，ｊ）のＰＳＦデータが読み込まれて、配列変数ｆｉｌｔｅｒに代入される。
図１２は、色コンポーネント毎のＰＳＦを説明する図である。図１２において、各色コンポーネントのＰＳＦはベイヤ配列に対応し、正規化されている。図１１に戻り、ステップＳ３０２では、さらに、ＰＳＦデータの半径ｒ、画素位置（ｉ，ｊ）の色コンポーネント種別Ｃ、ステップ幅ｓｔｅｐ＿ｓｉｚｅが設定される。
ステップＳ３０２に続いてステップＳ３０３に進み、フィルタリング処理が開始される。初期値として、変数ｓｕｍに値０が代入され、フィルタリングを行う範囲ｍ及びｎを、−ｒ≦ｍ≦ｒ，−ｒ≦ｎ≦ｒとする。
ステップＳ３０３に続いてステップＳ３０４に進み、変数ｓｕｍの値に、配列変数ｆｉｌｔｅｒの値と変数ｓｒｃの値とを乗じた数に配列変数ｂｌｕｒｒｅｄの値を減算した数が加算される。すなわち、ｓｕｍ＝ｓｕｍ＋（ｆｉｌｔｅｒ（ｍ，ｎ））＊（ｓｒｃ（ｉ＋ｍ，ｊ＋ｎ））−（ｂｌｕｒｒｅｄ（ｉ＋ｍ，ｊ＋ｎ））なる式により、変数ｓｕｍの値が更新される。
ステップＳ３０４に続いてステップＳ３０５に進み、配列変数ｆｉｌｔｅｒの各変数を用いる処理が全て終了している場合には、ステップＳ３０６に進み、終了していない場合には、ステップＳ３０４に戻って処理を繰り返す。
ステップＳ３０５に続くステップＳ３０６では、変数ｐｒｏｃの値が、ｐｒｏｃ（ｉ，ｊ））＝ｐｒｏｃ（ｉ，ｊ））＋ｓｔｅｐ＿ｓｉｚｅ＊ｓｕｍなる式により更新され、処理を終了する。
（曲面フィッティングステップ２７０）
曲面フィッティングステップ２７０では、図３に示すＲＧＢの連動した曲面モデルを用いて、ボケ補正画像に対して曲面フィッティングすることにより、ノイズの抑えられた滑らかなボケ補正画像を得る。このような連動を実現するモデルは、例えば、次式（１６）に示す多項式関数がある。
Figure 2010087614
ここでａｉ＝（aR，aG，aB，a０，a１，a２，a３）Tは、曲面モデルのパラメータであり、定数項（aR，aG，aB）Tは、フィッティング後のボケ補正画像の画素値となる。局所位置ｓは、画像の基準座標（ｘ，ｙ）Tと平行に設定されることがあるが、その場合は、画像の局所構造を反映していない。一方、画像の局所構造は、画像構造パラメータステップで算出した構造テンソルの固有値と回転角によって表すことができるので、これらの画像構造を反映させた曲面モデルを設定することにより、画像の構造にマッチした曲面フィッティングを行うことができる。
そこで、回転角θに応じて画素位置ｉの局所位置ｓを、画像構造カーネルの局所座標ｕｖへ座標変換する。画像のｓｔ座標から回転カーネルの局所座標ｕｖへの座標変換を、次式（１７）に示す。
Figure 2010087614
 ここでｕ＝（ｕ，ｖ）Ｔは、画像構造カーネルの局所座標であり、ｕが楕円の長軸方向、ｖが楕円の短軸方向を示す。
本実施形態の画像構造パラメータ算出ステップでは、構造テンソルを用いて画像の局所的な特徴を表現するエッジの接線方向、楕円の長軸、短軸といったパラメータを算出している。ところで、Ｈａｒｒｉｓらは構造テンソルから画像の特徴分類を行っている［Ｃ． Ｈａｒｒｉｓ ａｎｄ Ｍ． Ｓｔｅｐｈｅｎｓ （１９８８）． “Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ”． Ｐｒｏｃ． ｏｆ ｔｈｅ ４ｔｈ ＡＬＶＥＹ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ： ｐｐ． １４７−１５１］。
図１３は、Ｈａｒｒｉｓらによる画像特徴分類を説明する図であり、λ＋，λ−は、構造テンソルの固有値である。図１３では、画像特徴が、エッジ領域と、フラット領域と、コーナー領域とに分類されている。どちらかの固有値が大きく、もう片方が小さければ、楕円はつぶれており、エッジ領域であることを示す。両方の固有値が大きければ、楕円は等方の円形で小さくなり、角や尖端等のコーナー領域を示している。両方の固有値が小さければ楕円は等方の円形で大きくなり、フラットな領域を示している。
エッジ領域では、エッジ法線方向、すなわち、ｖ軸に情報が集中しているため、次式（１８）のモデルを当てはめることができる。
Figure 2010087614
一方、コーナー領域とフラット領域とは、等方的な楕円であるため、情報が短軸であるｖ軸に集中していない。そこで、ｕ軸とｖ軸との両方を使う方がよい。コーナー領域は画素の変化も大きいため曲面モデルの自由度は高い方が適している。そこで、次式（１９）のモデルを当てはめることができる。
Figure 2010087614
 フラット領域は、なるべくノイズを押さえたいので曲面モデルを低次とする。フラット領域は、次式（２０）のモデルを当てはめることができる。
Figure 2010087614
曲面モデル選択ステップでは、構造テンソルの固有値λ＋，λ−に基づき、例えば図１３に示す分類に従い、対象画素の分類を行い、その分類に応じて上記曲面モデルを選択する。次式（２１）は、曲面モデルのベクトル表記である。
Figure 2010087614
曲面フィッティング処理では、観測されるＲＡＷデータにノイズが含まれる状況で、未知の曲面パラメータａｉを求める。これは最小二乗法によって解くとよい。最小二乗問題を、次式（２２）及び（２３）に示す。
Figure 2010087614
 ここでサーカムフレックス（ａｉ）が最小二乗フィッティングパラメータ、ｋ（ｉ，ｓ）は、点ｓにおける重みである。ここでは回転カーネルの式（７）を用いる。またｃｉをカラーフィルタベクトルとし、次式（２４）で定義する。
Figure 2010087614
カラーフィルタベクトルは、ＲＡＷデータとＲＧＢ曲面モデルとを接続するために用いる。局所近傍Ｎは任意の形状を考えることができるが、例えば位置ｘを中心とした５ｘ５タップの矩形領域などを用いるとよい。
さらにカラー毎のＰＳＦの違いを、重みとして反映させてもよい。ＲＧＢの色コンポーネント毎にＰＳＦが異なり、レンズによっては、例えば、ＧはボケていないがＲとＢはボケている状況が発生することがある。
図１４及び図１５は、ＲＧＢで曲面形状を連動させる前後のＲＧＢの曲面を示す図である。図１４は、ＲＧＢ間のＰＳＦの違いを考慮しないで曲面形状を連動させる処理を示す図であり、図１４（ａ）が、曲面フィッティング前の曲面形状を表し、図１４（ｂ）が、曲面フィッティング後の曲面形状を表す。ＰＳＦの違いを考慮していないと、図１４（ｂ）に示すようにＲ，Ｇ，Ｂの平均曲率曲面にフィッティングされることになり、Ｇがボケてしまう。
一方、図１５は、ＲＧＢのＰＳＦの違いを考慮して曲面形状を連動させる処理を示す図である。図１５（ｂ）に示すように、ＲＧＢのＰＳＦの違いを考慮し、Ｇの曲率に沿った曲面形状でフィッティングをおこなえば、Ｇがボケることはなく、ＲとＢのボケも解消できる。次式（２５）は、ＰＳＦの違いを考慮して曲面フィッティングを行う際の誤差関数である。
Figure 2010087614
 ここでｒＣｉ≧０は、色コンポーネント毎のＰＳＦによる補正係数であり、ボケの少ない色コンポーネントでは重みを大きくし、それ以外の色コンポーネントは重みを小さくする。記述を簡単にするため式（２５）を、行列形式の式（２６）及び（２７）にする。
Figure 2010087614
 ここで局所近傍Ｎ内の点をＮ＝｛ｓ０，・・・，ｓＮ｝である。行列形式を用いると最小二乗法の解は次式（２８）により一意に求められる。
Figure 2010087614
式（２８）は、正規方程式と呼ばれ、線形の最小二乗法の場合にはこれが最適解となる。逆行列はＬＵ分解や特異値分解などにより数値計算することができる。サーカムフレックス（ａｉ）内の（aR，aG，aB）Tがフィッティング後の画素値である。また、次式（２９）のように、ボケ補正画像を、曲面フィッティング処理した画素値によって更新する。
Figure 2010087614
 また（aR，aG，aB）Tをそのまま出力すればＲＧＢ全部の値を取得できデモザイキングも行うことができる。
（曲面フィッティングステップ２７０の詳細）
図１６は、曲面フィッティングステップ２７０の詳細等を示すフロー図である。図１６の処理は、主として曲面フィッティング部１７０により行われる。
ステップＳ４０１では、微分部１２０が、画像のＲＡＷデータから、ｘ方向及びｙ方向の一次微分を算出する。ステップＳ４０１に続いてステップＳ４０２に進み、画像構造パラメータ算出部２３０が、カーネル内のｘ方向微分とｙ方向の微分との構造テンソルから、画像構造パラメータを算出する。
ステップＳ４０２に続くステップＳ４０３からステップＳ４１０の処理は、曲面フィッティングステップ２７０において行われる。ステップＳ４０３では、構造テンソルの固有値から、図１３等に従い画像特徴によりクラス分けして曲面モデルを選択する。
ステップＳ４０３に続いてステップＳ４０４に進み、式（１７）により回転補正を行う。ステップＳ４０４に続いてステップＳ４０５に進み、式（２７）によりＰを計算する。ステップＳ４０５に続いてステップＳ４０６に進み、画像構造パラメータを用いる式（２７）により、Ｗを計算する。
ステップＳ４０６に続くステップＳ４０７及びステップＳ４０８では、それぞれ、ＰＴＷＰとＰＴＷＹとを計算する。ステップＳ４０８に続いてステップＳ４０９に進み、（ＰＴＷＰ）−１を計算する。ステップＳ４０９に続いてステップＳ４１０に進み、サーカムフレックス（ａｉ）を計算する。
〔第２の実施の形態〕
（ルックアップテーブルを用いる処理）
図１７は、第２の実施の形態の画像処理装置の機能構成を示すブロック図である。図１７の画像処理装置１００ａは、イメージセンサ１１０、微分部１２０、画像構造パラメータ算出部１３０、ボケ再現部１４１、ボケ再現部１４３、ボケ再現部１４５、ボケ補正部１５１、ボケ補正部１５３、ボケ補正部１５５、マルチプレクサ１６０、フィルタ選択部１８０、フィルタリング部１９０、及び、デマルチプレクサ１９９を有する。
図１７において、図１の画像処理装置１００と同一の機能及び構成を有するブロックは、図１と同一の符号を付し、ここでは説明を省略する。
フィルタ選択部１８０は、図示しない記憶部等に保存されている正規方程式を解いた結果のフィルタ係数が格納されているをルックアップテーブル（以下、「ＬＵＴ」という。）から、フィルタを選択する。これにより、回路による実装を容易にする構成となる。フィルタリング部１９０は、フィルタ選択部１８０において選択されたフィルタにより、フィルタリング処理を行う。
（本実施形態における画像処理方法の概略）
図１８は、本実施形態による画像処理装置１００ａにおける画像処理方法の概略を説明する図である。本実施の形態では、第１の実施の形態と同様に、Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄによるボケ復元アルゴリズムを用い、正則化としてＫｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングを行う。
Ｌａｎｄｗｅｂｅｒ Ｍｅｔｈｏｄのボケ復元アルゴリズムは、ボケ再現ステップ３４０とボケ補正ステップ３５０とを有する。Ｌａｎｄｗｅｂｅｒ ＭｅｔｈｏｄはＲＧＢの色コンポーネント毎に、それぞれ独立に行う。
また、Ｋｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによる曲面フィッティングは、微分ステップ３２０、画像構造パラメータ算出ステップ３３０、フィルタ選択ステップ３８０、フィルタリングステップ３９０、及び、判断ステップ３９５を有する。
以下の説明では、図２の画像処理方法と異なるステップである、フィルタ選択ステップ３８０、及び、フィルタリングステップ３９０について説明し、他のステップの説明は省略する。
フィルタ選択ステップ３８０は、予め正規方程式が解かれ、その結果としてＬＵＴに保存されているフィルタから、一のフィルタを選択する。これにより、回路による実装を容易にする構成となる。フィルタリングステップ３９０は、フィルタ選択ステップ３８０において選択されたフィルタにより、フィルタリング処理を行う。
図１９は、本実施形態の処理の概略を説明するフロー図である。図１９のステップＳ５０１では、微分部１２０が、画像のＲＡＷデータから、ｘ方向及びｙ方向の一次微分を計算する。ステップＳ５０１に続いてステップＳ５０２に進み、画像構造パラメータ算出部１３０が、カーネル内のｘ方向微分とｙ方向微分との構造テンソルにより、画像構造パラメータを算出する。
ステップＳ５０２に続いてステップＳ５０３に進み、フィルタ選択部１８０が、ステップＳ５０２で取得された構造テンソルの固有値から、画像特徴を、例えば図１３に従いクラス分けし、曲面モデルを選択する。ステップＳ５０３に続いてステップＳ５０４に進み、フィルタ選択部１８０が、ステップＳ５０２で取得された画像構造パラメータにより、フィルタＸ（λ＋，λ−，θ）ｍを選択する。
ステップＳ５０４に続いてステップＳ５０５に進み、フィルタリング部１９０が、サーカムフレックス（ａｉ）を計算する。
（フィルタ選択ステップ３８０）
フィルタ選択ステップ３８０では、画像構造パラメータ算出ステップ３３０において算出された画像構造パラメータに基づき、正規方程式を解いた結果のＬＵＴから適切なフィルタを選択する。
正規方程式は式（２８）により与えられる。式（２７）より、Ｙは、画素値を表しており入力画像に依存して変化する。それに対して（ＰＴＷＰ）−１（ＰＴＷ）は画像構造パラメータ（λ＋，λ−，θ）のみに依存する部分であり、画像には依存しない。画像構造カーネルは式（７）に示す入力画像の微分の構造テンソルにより、次式（３０）となる。
Figure 2010087614
 式（３０）を画像構造パラメータにより書き直すと、式（３１）となる。また、回転カーネルは、式（３２）となる。
Figure 2010087614
 行列Ｗは、式（３３）となり、画像構造パラメータのみに依存する。同様に、行列Ｐは、式（３４）となり、画像構造パラメータのみに依存する。
Figure 2010087614
 ゆえに、次式（３５）も、画像構造パラメータのみに依存する。
Figure 2010087614
式（３５）より、任意の離散化を行った画像構造パラメータの組（λ＋，λ−，θ）ｌ，（ｍ＝０，・・・Ｍ）に対して事前にＸ（λ＋，λ−，θ）ｍ，（ｍ＝０，・・・Ｍ）を計算しておけば、追加計算をすることなく解を次式（３６）により求めることができる。
Figure 2010087614
そこで、フィルタ選択ステップ３８０では、画像構造パラメータの組（λ＋，λ−，θ）ｍ，（ｍ＝０，・・・Ｍ）に対して事前にＸ（λ＋，λ−，θ）ｍ，（ｍ＝０，・・・Ｍ）を計算して、ＬＵＴに登録しておく。ＬＵＴは、フィルタバンクともいう。より詳細には、算出された画像構造パラメータ（λ＋，λ−，θ）に基づき、ＬＵＴから対応するＸ（λ＋，λ−，θ）ｍを選択する処理を行う。
（フィルタリングステップ３９０）
フィルタリングステップ３９０は、フィルタ選択ステップ３８０で選択されたフィルタＸ（λ＋，λ−，θ）ｍを用いて画素値ベクトルＹとの畳み込み演算を行ない最小二乗フィッティングされた出力画素を計算する。具体的には次式（３７）に示す行列演算を行う。
Figure 2010087614
（フィルタリングステップ３９０の詳細）
図２０は、フィルタリングステップ３９０の詳細を示すフロー図である。図２０のステップＳ６０１からステップＳ６０６は、図９のステップＳ２０１からステップＳ２０６とほぼ同一であるが、フィルタ係数を事前に計算されＬＵＴに格納されている値を用いる点が異なる。
図２０のステップＳ６０１では、ボケ再現処理が行われる画素位置（ｉ，ｊ）が定められる。ステップＳ６０１に続いてステップＳ６０２に進み、各変数に所定の値が代入される。
より詳細には、配列変数ｐｒｏｃに、画素位置（ｉ，ｊ）のＲＡＷデータの値が設定される。また、画素位置（ｉ，ｊ）のフィルタ係数が読み込まれて、配列変数ｆｉｌｔｅｒに代入される。図２１は、色コンポーネント毎のＰＳＦを説明する図である。図２１において、各色コンポーネントのＰＳＦはベイヤ配列に対応し、正規化されている。図２１には、さらに、ベイヤ配列における色コンポーネント毎のフィルタ中心を示す。フィルタ中心は、４×４のベイヤ配列における中心４画素の何れか一である。図２０に戻り、さらに、画素位置（ｉ，ｊ）の色コンポーネント種別Ｃが設定される。
ステップＳ６０２に続いてステップＳ６０３に進み、フィルタリング処理が開始される。初期値として、変数ｓｕｍに値０が代入されフィルタリングを行う範囲ｍ及びｎを、−ｒ≦ｍ≦ｒ，−ｒ≦ｎ≦ｒとする。ステップＳ６０３に続いてステップＳ６０４に進み、変数ｓｕｍの値に、配列変数ｆｉｌｔｅｒの値と変数ｐｒｏｃの値とを乗じた数が加算される。すなわち、ｓｕｍ＝ｓｕｍ＋（ｆｉｌｔｅｒ（ｍ，ｎ））＊（ｐｒｏｃ（ｉ＋ｍ，ｊ＋ｎ））なる式により、変数ｓｕｍの値が更新される。
ステップＳ６０４に続いてステップＳ６０５に進み、配列変数ｆｉｌｔｅｒの各変数を用いる処理が全て終了している場合には、ステップＳ６０６に進み、終了していない場合には、ステップＳ６０４に戻って処理を繰り返す。
ステップＳ６０５に続くステップＳ６０６では、配列変数ｐｒｏｃの所定の配列位置に、変数ｓｕｍの値が代入される。所定の配列位置は、ｐｒｏｃ−ｒ＊ｈ＿ｓｉｚｅ−ｒなる式により得られる。ステップＳ６０６の後、処理を終了する。
（コンピュータ等による実現）
図２２は、本実施形態の画像処理装置を実現するコンピュータ４００のハードウェア構成を示したブロック図である。図２２に示すように、コンピュータ４００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１、操作部４０２、表示部４０３、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０４、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０５、信号入力部４０６、及び、記憶部４０７を有し、各部はバス４０８により接続されている。
ＣＰＵ４０１は、ＲＡＭ４０５の所定領域を作業領域として、ＲＯＭ４０４等に予め記憶された各種プログラムとの協働により各種処理を実行し、コンピュータ４００を構成する各部の動作を統括的に制御する。ＣＰＵ４０１は、また、ＲＯＭ４０４等に予め記憶されたプログラムとの協働により、本実施形態に係る画像処理方法を実行する。なお、本実施形態に係る画像処理方法をコンピュータに実行させるためのコンピュータプログラムは、ドライブに挿入されることによりコンピュータに読み取り可能となる情報記録媒体に格納されてよい。
操作部４０２は、各種入力キー等を備え、ユーザーから操作入力された情報を入力信号として受け付け、その入力信号をＣＰＵ４０１に出力する。
表示部４０３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示手段により構成され、ＣＰＵ４０１からの表示信号に基づいて、各種情報を表示する。なお、表示部４０３は、操作部４０２と一体的にタッチパネルを構成する態様としてもよい。
ＲＯＭ４０４は、コンピュータ４００の制御に係るプログラムや各種設定情報等を書き換え不可能に記憶する。ＲＡＭ４０５は、例えば、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ４０１の作業エリアとして機能し、バッファ等の役割を果たす。
信号入力部４０６は、動画像や音声を電気信号に変換し、映像信号としてＣＰＵ４０１に出力するものである。信号入力部４０６は、放送番組受信機（チューナー）等を用いてもよい。
記憶部４０７は、磁気的又は光学的に記録可能な記憶媒体を有し、信号入力部４０６を介して取得された映像信号、又は、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される映像信号等のデータを記憶する。
以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。
第１の実施の形態の画像処理装置の機能構成を示すブロック図。 第１の実施の形態による画像処理方法の概略。 イメージセンサから得られる画像データ（その１）。 イメージセンサから得られる画像データ（その２）。 微分ステップ２２０の詳細を説明するフロー図。 ベイヤ配列における一次微分の演算例。 異方性ガウス関数の例。 異方性ガウス関数による画像構造カーネルパラメータ。 ボケ再現ステップ２４０の詳細を説明するフロー図。 色コンポーネント毎のＰＳＦを説明する図（その１）。 ボケ補正ステップ２５０の詳細を説明するフロー図。 色コンポーネント毎のＰＳＦを説明する図（その２）。 Ｈａｒｒｉｓらによる画像特徴分類を説明する図。 ＲＧＢで曲面形状を連動させる前後のＲＧＢの曲面を示す図（その１）。 ＲＧＢで曲面形状を連動させる前後のＲＧＢの曲面を示す図（その２）。 曲面フィッティングステップ２７０の詳細等を示すフロー図。 第２の実施の形態の画像処理装置の機能構成を示すブロック図。 第２の実施の形態による画像処理方法の概略。 第２の実施の形態の処理の概略を説明するフロー図 フィルタリングステップ３９０の詳細を示すフロー図。 色コンポーネント毎のＰＳＦを説明する図（その３）。 画像処理装置４００のハードウェア構成例。
符号の説明
１００、１００ａ画像処理装置
１１０ イメージセンサ
１２０ 微分部
１３０ 画像構造パラメータ算出部
１４１ ボケ再現部
１４３ ボケ再現部
１４５ ボケ再現部
１５１ ボケ補正部
１５３ ボケ補正部
１５５ ボケ補正部
１６０ マルチプレクサ
１７０ 曲面フィッティング部
１８０ フィルタ選択部
１９０ フィルタリング部
１９９ デマルチプレクサ
４００ 画像処理装置
４０２ 操作部
４０３ 表示部
４０６ 信号入力部
４０７ 記憶部
４０８ バス

Claims (10)

  1. 単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現部と、
    前記ボケ再現部から出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正部と、
    前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティング部と、
    を有し、
    前記ボケ再現部は、さらに、前記曲面フィッティング部により更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理装置。
  2. 前記曲面フィッティング部は、最小二乗法により、前記曲面形状を前記色コンポーネント間で同一にする請求項１記載の画像処理装置。
  3. 前記曲面フィッティング部は、前記色コンポーネント毎の局所領域に対応する前記ボケ補正画像データの領域の画素値に対して重み付けして曲面形状を変更する請求項２記載の画像処理装置。
  4. 前記曲面フィッティング部は、前記局所領域が有するエッジの強度及びエッジの方向に基づいて、前記ボケ補正画像データの領域の画素値に対して重みを付する請求項３記載の画像処理装置。
  5. 前記曲面フィッティング部は、複数の前記色コンポーネント間で一以上のパラメータを共有させることにより、前記曲面形状を前記色コンポーネント間で同一にする請求項１ないし４何れか一項に記載の画像処理装置。
  6. 前記曲面フィッティング部は、さらに、前記曲面形状を前記色コンポーネント間で同一にする最小二乗法の行列式における、前記ボケ補正画像データの色コンポーネント毎の値が除かれた部分式が計算されて得られるフィルタ値が保持されたテーブルから前記フィルタ値を取得し、前記ボケ補正画像データの色コンポーネント毎の画素値に対して前記フィルタ値を乗じることにより、曲面フィッティングを行う請求項３又は４記載の画像処理装置。
  7. 前記フィルタ値を保持する記憶手段を有する請求項６記載の画像処理装置。
  8. 前記フィルタ値が、前記局所領域が有するエッジの強度及びエッジの方向に基づく分類がなされる場合に、
    前記曲面フィッティング部は、前記エッジの強度及び前記エッジの方向に基づいて、前記フィルタ値を選択して取得する請求項６又は７記載の画像処理装置。
  9. 単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、
    前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、
    前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、
    を有し、
    前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理方法。
  10. 単板イメージセンサから入力される入力画像データに対し、レンズの所定のボケを再現させてボケ再現画像データを出力するボケ再現ステップと、
    前記ボケ再現ステップにおいて出力されるボケ再現画像データと前記入力画像データとの二乗誤差が小さくなる補正により前記ボケ再現画像を補正したボケ補正画像データを出力するボケ補正ステップと、
    前記ボケ補正画像データの複数の色コンポーネントのそれぞれの画素値による曲面形状が、前記色コンポーネント間で同一になるように、前記色コンポーネント毎の曲面形状を変更することにより、前記ボケ補正画像データを更新する曲面フィッティングステップと、
    を有し、
    前記ボケ再現ステップにおいて、さらに、前記曲面フィッティングステップにおいて更新されたボケ補正画像データに対し、前記所定のボケを再現させてボケ再現画像データを出力する画像処理方法を、コンピュータに実行させるためのプログラム。
JP2008251658A 2008-09-29 2008-09-29 画像処理装置、画像処理方法、及び、プログラム Pending JP2010087614A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008251658A JP2010087614A (ja) 2008-09-29 2008-09-29 画像処理装置、画像処理方法、及び、プログラム
US12/560,601 US20100079630A1 (en) 2008-09-29 2009-09-16 Image processing apparatus, imaging device, image processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008251658A JP2010087614A (ja) 2008-09-29 2008-09-29 画像処理装置、画像処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2010087614A true JP2010087614A (ja) 2010-04-15

Family

ID=42057039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008251658A Pending JP2010087614A (ja) 2008-09-29 2008-09-29 画像処理装置、画像処理方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20100079630A1 (ja)
JP (1) JP2010087614A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130241A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp 撮像装置
WO2011132279A1 (ja) * 2010-04-21 2011-10-27 キヤノン株式会社 画像処理装置、方法、及び記録媒体
JP2014003550A (ja) * 2012-06-20 2014-01-09 Fujitsu Ltd 画像処理装置及びプログラム
WO2014136321A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
JP2015127864A (ja) * 2013-12-27 2015-07-09 富士通株式会社 画像補正装置、画像補正方法及び画像補正プログラム
JP2015149628A (ja) * 2014-02-06 2015-08-20 株式会社東芝 画像処理装置、画像処理方法及び撮像装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054606A1 (en) * 2008-08-29 2010-03-04 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method, and computer program product
JP5075861B2 (ja) * 2009-03-16 2012-11-21 株式会社東芝 画像処理装置及び画像処理方法
JP2011134204A (ja) * 2009-12-25 2011-07-07 Sony Corp 画像処理装置、画像処理方法、及びプログラム
CN102638360A (zh) * 2011-02-10 2012-08-15 中兴通讯股份有限公司 单板内存数据的获取方法及系统
JP5634420B2 (ja) * 2012-02-24 2014-12-03 株式会社東芝 画像処理装置及び固体撮像装置
CN103514580B (zh) 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
US10096120B2 (en) * 2013-12-06 2018-10-09 Koninklijke Philips N.V. Bone segmentation from image data
WO2019104254A1 (en) 2017-11-22 2019-05-31 South Dakota State University (Sdsu) Atomic force microscope based instrumentation for probing nanoscale charge carrier dynamics with improved temporal and spatial resolution
KR102508992B1 (ko) * 2018-06-19 2023-03-14 삼성디스플레이 주식회사 영상 처리 장치 및 영상 처리 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100247938B1 (ko) * 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
US7728844B2 (en) * 2004-07-09 2010-06-01 Nokia Corporation Restoration of color components in an image model
US7889950B2 (en) * 2005-08-30 2011-02-15 The Regents Of The University Of California, Santa Cruz Kernel regression for image processing and reconstruction
JP4585456B2 (ja) * 2006-01-23 2010-11-24 株式会社東芝 ボケ変換装置
GB2434937A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imaging apparatus performing image enhancement
US20080137978A1 (en) * 2006-12-07 2008-06-12 Guoyi Fu Method And Apparatus For Reducing Motion Blur In An Image
US8184926B2 (en) * 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011130241A (ja) * 2009-12-18 2011-06-30 Fujifilm Corp 撮像装置
US8502896B2 (en) 2009-12-18 2013-08-06 Fujifilm Corporation Image device that accelerates reconstruction process
WO2011132279A1 (ja) * 2010-04-21 2011-10-27 キヤノン株式会社 画像処理装置、方法、及び記録媒体
JPWO2011132279A1 (ja) * 2010-04-21 2013-07-18 キヤノン株式会社 画像処理装置、方法、及び記録媒体
US8629917B2 (en) 2010-04-21 2014-01-14 Canon Kabushiki Kaisha Image processing apparatus, method, and recording medium
JP2014003550A (ja) * 2012-06-20 2014-01-09 Fujitsu Ltd 画像処理装置及びプログラム
WO2014136321A1 (ja) * 2013-03-04 2014-09-12 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
JP5851649B2 (ja) * 2013-03-04 2016-02-03 富士フイルム株式会社 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
US9727955B2 (en) 2013-03-04 2017-08-08 Fujifilm Corporation Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
US9984449B2 (en) 2013-03-04 2018-05-29 Fujifilm Corporation Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
US9984448B2 (en) 2013-03-04 2018-05-29 Fujifilm Corporation Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
US10083500B2 (en) 2013-03-04 2018-09-25 Fujifilm Corporation Restoration filter generation device and method, image processing device and method, imaging device, and non-transitory computer-readable medium
JP2015127864A (ja) * 2013-12-27 2015-07-09 富士通株式会社 画像補正装置、画像補正方法及び画像補正プログラム
JP2015149628A (ja) * 2014-02-06 2015-08-20 株式会社東芝 画像処理装置、画像処理方法及び撮像装置

Also Published As

Publication number Publication date
US20100079630A1 (en) 2010-04-01

Similar Documents

Publication Publication Date Title
JP2010087614A (ja) 画像処理装置、画像処理方法、及び、プログラム
EP2574039B1 (en) Image pickup device, image processing device, image processing method, and image processing program
JP5909540B2 (ja) 画像処理表示装置
JP4571670B2 (ja) 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品
WO2018037521A1 (ja) 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体
JP5222472B2 (ja) 画像処理装置、画像復元方法およびプログラム
JP5438579B2 (ja) 画像処理装置及びその制御方法
JP6164564B1 (ja) 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置
JP2010161701A (ja) 画像処理装置、画像処理方法、プログラム、及び撮像装置
JP4454657B2 (ja) ぶれ補正装置及び方法、並びに撮像装置
US10679326B2 (en) Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data
WO2011096157A1 (ja) 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法
JP6236259B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2011060282A (ja) 動き領域の非線形スムージングを用いた動き検出方法およびシステム
WO2015174257A1 (ja) 画像処理装置、画像処理方法、撮像装置、電子機器、並びにプログラム
US8908988B2 (en) Method and system for recovering a code image including blurring
US20070065043A1 (en) Image processing method, image processing device and program
Banik et al. Transformer based technique for high resolution image restoration
KR20080048385A (ko) 새로운 거리 가중치를 이용한 적응적 선형 보간 방법,지역적 패턴을 고려한 적응적 선형 보간 방법, 패턴가중치를 이용한 적응적 선형 보간 방법
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
US8625923B2 (en) Image processing apparatus, imaging apparatus, and image processing program
JP5418258B2 (ja) 撮像装置および画像処理方法
WO2021124596A1 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置
JP2010079815A (ja) 画像補正装置
JP6491445B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム