JP2015122634A - 画像処理装置、撮像装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、撮像装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
JP2015122634A
JP2015122634A JP2013265472A JP2013265472A JP2015122634A JP 2015122634 A JP2015122634 A JP 2015122634A JP 2013265472 A JP2013265472 A JP 2013265472A JP 2013265472 A JP2013265472 A JP 2013265472A JP 2015122634 A JP2015122634 A JP 2015122634A
Authority
JP
Japan
Prior art keywords
image
band
reference image
interpolation
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013265472A
Other languages
English (en)
Other versions
JP5771677B2 (ja
Inventor
直 菊地
Nao Kikuchi
直 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013265472A priority Critical patent/JP5771677B2/ja
Priority to PCT/JP2014/077286 priority patent/WO2015098243A1/ja
Publication of JP2015122634A publication Critical patent/JP2015122634A/ja
Application granted granted Critical
Publication of JP5771677B2 publication Critical patent/JP5771677B2/ja
Priority to US15/187,405 priority patent/US9843782B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】 ノイズ低減処理の負担を抑えながら、単板マルチバンド撮像素子から得たノイズを含んだ撮像画像から、ノイズが低減されたマルチバンド画像を生成することができる画像処理装置、撮像装置、プログラム及び画像処理方法の提供。
【解決手段】 画像処理装置１００は、４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子２００を用いて撮像された撮像画像を取得する画像取得部１１０と、撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成する低ノイズ参照画像生成部１２０と、生成された低ノイズ参照画像に基づいて、マルチバンドのバンド毎に補間処理を行って、欠落画素の画素値が補間された補間画像を生成する補間画像生成部１３０と、を含む。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置、プログラム及び画像処理方法等に関係する。
フルカラー画像を撮像するために、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の３バンドのカラーフィルタを撮像素子前面に設けた撮像装置が知られている。
近年、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。そして、マルチバンド撮像装置としては、後述する図３（Ａ）及び図３（Ｂ）に示すような４バンド以上のカラーフィルタを撮像素子前面に設けた単板のマルチバンド撮像素子を用いるものがある。このようなマルチバンド撮像素子を用いることで、１枚の画像を撮像するだけでマルチバンド画像を取得可能であり、装置の小型化、フレームレートの保持等のメリットがある。
このようなマルチバンド撮像素子を有する撮像装置では、撮像された単板画像からマルチバンド画像を生成するために補間処理を行う必要がある。この際には、高周波成分を多く含む解像感が高い補間画像を生成するために、例えば特許文献１において開示されるように、高周波成分を精度良く取得可能なバンドの情報を参照して補間画像を生成する手法が有効である。
また、マルチバンド画像にノイズが多く含まれる場合には、ＲＧＢ画像と同様にノイズ低減処理を行う必要がある。前述した特許文献１では、マルチバンド画像のバンド毎にノイズ低減処理を行う手法が開示されている。さらに、特許文献２では、従来のＲＧＢ画像用のノイズ低減処理を流用するために、４バンドのマルチバンド画像を３バンドのＲＧＢ画像へ変換した後にノイズ低減処理を行う手法が開示されている。
特開２０１２−２３９０３８号公報 特開２００２−７７９２８号公報
しかしながら、特許文献１で開示されているノイズ低減処理では、バンド毎にノイズ低減処理を行うために、バンド数の増加に伴い、ノイズ低減処理の回数も増加し、処理時間が増えてしまう。さらに、ノイズを含んだままのバンドの情報を参照して補間画像を生成するために、高精度な補間処理が出来ないという問題がある。
また、特許文献２で開示されているノイズ低減処理では、マルチバンド画像の段階ではノイズ低減効果は得られず、更にマルチバンド画像を３バンドに変換した際に各バンドのノイズが混合されてしまい、高精度なノイズ低減効果を得ることが難しいという問題がある。
本発明の幾つかの態様によれば、ノイズ低減処理の負担を抑えながら、単板マルチバンド撮像素子から得たノイズを含んだ撮像画像から、ノイズが低減されたマルチバンド画像を生成することができる画像処理装置、撮像装置、プログラム及び画像処理方法等を提供することができる。
本発明の一態様は、４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子を用いて撮像された撮像画像を取得する画像取得部と、前記撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成する低ノイズ参照画像生成部と、生成された前記低ノイズ参照画像に基づいて、前記マルチバンドのバンド毎に前記補間処理を行って、欠落画素の画素値が補間された補間画像を生成する補間画像生成部と、を含む画像処理装置に関係する。
本発明の一態様では、マルチバンドのうちの各バンドの補間画像を生成する前に、参照バンドの画素値に対してノイズ低減処理を行い、ノイズが低減された低ノイズ参照画像に基づいて、参照バンド以外のバンドの画素値の補間処理を行う。
よって、ノイズ低減処理の負担を抑えながら、単板マルチバンド撮像素子から得たノイズを含んだ撮像画像から、ノイズが低減されたマルチバンド画像を生成することが可能となる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記撮像画像の画素値のうち、前記参照画像の参照バンドに対応するカラーフィルタを用いて得られた画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成してもよい。
これにより、補間処理により欠落画素にまでノイズ成分が広がることを抑えること等が可能になる。
また、本発明の一態様では、前記補間画像生成部は、前記撮像画像において画素値を有する画素に対しても、前記低ノイズ参照画像に基づいて、新たな画素値を算出して、前記補間画像を生成してもよい。
これにより、元々、画素値を有していた画素と、補間処理を行った画素とにおいて、画素値の差が比較的小さい滑らかな補間画像（マルチバンド画像）を生成すること等が可能になる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記マルチバンドのうちの第１のバンドを、前記参照画像の参照バンドとして選択し、前記撮像画像において、前記第１のバンドに対応する前記カラーフィルタを用いて得られた画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成し、前記補間画像生成部は、前記撮像画像において、前記低ノイズ参照画像に基づいて、前記マルチバンドのうちの第２のバンドに対応する前記カラーフィルタを用いて得られる画素値の前記補間処理を行い、前記第２のバンドの前記補間画像を生成し、前記撮像画像において、前記第２のバンドの前記補間画像に基づいて、前記マルチバンドのうちの第３のバンドに対応する前記カラーフィルタを用いて得られる画素値の前記補間処理を行い、前記第３のバンドの前記補間画像を生成してもよい。
これにより、分光感度特性に応じて参照画像を切り替えること等が可能である。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記撮像画像において、前記参照画像の参照バンドに対応する前記カラーフィルタを用いて得られた各画素に対して、第１の座標系から第２の座標系に画素座標を座標変換し、座標変換後の前記参照バンドの前記各画素の画素値に対して、前記ノイズ低減処理を行い、前記ノイズ低減処理後の前記各画素に対して、前記第２の座標系から前記第１の座標系へ前記画素座標を座標変換して、前記低ノイズ参照画像を生成してもよい。
これにより、参照バンドの画素の補間処理を行っていない状態でノイズ低減処理を行うこと等が可能になる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記第１の座標系から前記第２の座標系への座標変換として、前記画素座標を原点周りで所与の角度だけ回転させる座標変換を行ってもよい。
これにより、カラーフィルタアレイを、参照バンドの画素値を有する画素が隣り合うようなカラーフィルタアレイに変換すること等が可能になる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記マルチバンドの中でサンプル密度が最も高いバンドを、前記参照画像の参照バンドとして選択してもよい。
これにより、高周波成分を最も多く含む解像感が高い参照画像を生成すること等が可能になる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記マルチバンドのうち、前記撮像画像に映る被写体の色特性と最も相関の強いバンドを、前記参照画像の参照バンドとして選択してもよい。
これにより、被写体の色特性に依らず高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記撮像画像において、前記マルチバンドのうちの各バンドと前記撮像画像に映る被写体の色特性との相関と、前記各バンドにおけるノイズ量の少なくとも一方の評価処理を行うことにより、前記マルチバンドの中から前記参照画像の参照バンドを選択してもよい。
これにより、撮影する光源により特定のバンドのノイズが増大してしまうシーンでも、高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記撮像画像において、高周波成分及び輝度の少なくとも一方の評価処理を行うことにより、前記マルチバンドの中から前記参照画像の参照バンドを選択してもよい。
これにより、被写体の色特性と相関が強いバンドを精度良く選択すること等が可能になる。
また、本発明の一態様では、前記低ノイズ参照画像生成部は、前記撮像画像の画素値のうち、前記参照画像の参照バンドに対応するカラーフィルタを用いて得られた画素値の前記補間処理を行い、前記補間処理後の前記参照バンドの画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成してもよい。
これにより、より簡便な処理によりノイズ低減を行うこと等が可能になる。
また、本発明の一態様では、前記マルチバンドのうちの少なくとも一つのバンドの画素値を、波長帯域が異なる他のバンドの画素値に変換するバンド変換部を含み、前記低ノイズ参照画像生成部は、バンド変換されたバンドの中から、前記参照画像の参照バンドとして使用するバンドを選択し、バンド変換により得られた前記参照バンドの画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成してもよい。
これにより、撮像素子から直接取得することができないバンドの画素値を参照バンドの画素値として利用すること等が可能となる。
また、本発明の一態様では、前記バンド変換部は、前記撮像画像に基づいて、前記バンド変換を行って、ＲＧＢ画像を生成し、前記低ノイズ参照画像生成部は、前記ノイズ低減処理として、ＲＧＢ画像用のノイズ低減処理を行ってもよい。
これにより、ＲＧＢ画像用のノイズ低減処理を用いた高精度なノイズ低減を行うこと等が可能となる。
また、本発明の一態様では、前記撮像画像の各画素値を、輝度信号及び色差信号に変換する信号変換部を含み、前記低ノイズ参照画像生成部は、前記輝度信号及び前記色差信号に対してそれぞれ異なる前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成してもよい。
これにより、Ｙ画像（輝度画像）及びＣｂＣｒ画像（色差画像）用のノイズ低減処理を用いた高精度なノイズ低減を行うこと等が可能となる。
また、本発明の他の態様では、前記画像処理装置を含む撮像装置に関係する。
また、本発明の他の態様では、上記各部としてコンピュータを機能させるプログラムに関係する。
また、本発明の他の態様では、４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子を用いて撮像された撮像画像を取得し、前記撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成し、生成された前記低ノイズ参照画像に基づいて、前記マルチバンドのバンド毎に前記補間処理を行って、欠落画素の画素値が補間された補間画像を生成する画像処理方法に関係する。
第１の実施形態のシステム構成例。 第１の実施形態の撮像装置のシステム構成例。 図３（Ａ）、図３（Ｂ）は、カラーフィルタアレイの例。 第１の実施形態の処理の流れを説明するフローチャート。 図５（Ａ）〜図５（Ｃ）は、座標変換処理とノイズ低減処理の説明図。 図６（Ａ）、図６（Ｂ）は、参照バンドの補間処理の説明図。 全バンドの補間処理の説明図。 ガイデッドフィルタの説明図。 分光感度特性の説明図。 全バンドの他の補間処理の説明図。 第１の実施形態における変形例の処理の流れを説明するフローチャート。 分光感度特性の他の説明図。 第２の実施形態のシステム構成例。 第２の実施形態における補間処理の説明図。 第２の実施形態の処理の流れを説明するフローチャート。 第３の実施形態のシステム構成例。
以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．概要
本実施形態では、マルチバンドのうちの各バンドの補間画像を生成する前、すなわち参照画像を生成する際に、参照バンドの画素値に対してノイズ低減処理を行い、ノイズが低減された低ノイズ参照画像に基づいて、その他のバンドの画素値の補間処理を行う。
これにより、マルチバンド画像を生成する際に、ノイズ低減処理を行う回数を削減する。さらに、補間処理を行う際に、元の撮像画像に含まれるノイズが周囲の画素に拡散してしまうことを抑制する。
次に、本実施形態の画像処理装置１００及びこれを含む撮像装置３００の構成例を、図１に示す。画像処理装置１００は、画像取得部１１０と、低ノイズ参照画像生成部１２０と、補間画像生成部１３０と、を含む。画像処理装置１００において、画像取得部１１０は、低ノイズ参照画像生成部１２０に接続されており、低ノイズ参照画像生成部１２０は、補間画像生成部１３０に接続されている。また、撮像装置３００は、画像処理装置１００と、撮像素子２００と、を含む。なお、画像処理装置１００及びこれを含む撮像装置３００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
次に各部で行われる処理について説明する。まず、画像取得部１１０は、４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子２００を用いて撮像された撮像画像を取得する。例えば、後述する図３（Ａ）の５バンド（Ｃ１〜Ｃ５）のカラーフィルタアレイＣＦＡ１を有する撮像素子２００を用いて撮像された撮像画像を取得する。なお、マルチバンドとは、４つ以上のバンドのことを指す。
ここで、撮像画像とは、撮像素子２００から取得された画像であり、例えばＲＡＷ画像（未加工画像）である。また本実施形態の撮像画像は、画素値の情報だけでなく、撮像画像を表すその他の情報も含み、例えば撮像画像の画素値に変換される前の信号データなどであってもよい。さらに、撮像画像は、既に他の画像処理が施された画像であってもよい。
次に、低ノイズ参照画像生成部１２０は、撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成する。
ここで、参照画像とは、撮像画像の画素値の補間処理において参照する画像のことであり、例えば参照バンドの画素値のみが、全ての画素に対して求められた画像である。なお、参照バンドとは、参照画像を生成するために用いられるバンドのことである。言い換えれば、参照バンドは、参照画像を構成する画素の画素値に対応するカラーフィルタのバンドである。参照バンドの設定（選択）方法については、後に詳述する。
そして、低ノイズ参照画像とは、ノイズ低減処理が行われた参照画像のことをいう。また、低ノイズ参照画像は、後述するように、ノイズ低減処理が行われた後に画素値の補間処理を行って生成された画像であってもよいし、画素値の補間処理が行われた後にノイズ低減処理を行って生成された画像であってもよい。
例えば、まず、後述する図６（Ａ）に示すような画像ＩＭ１を、撮像画像から抽出する。この画像ＩＭ１は、画像取得部１１０が取得した撮像画像の画素値のうち、後述する図３（Ａ）のＣ１バンドに対応するカラーフィルタを用いて得られた画素値を有する画素のみから構成される画像である。そして、画像ＩＭ１に対して、ノイズ低減処理と、Ｃ１バンドの画素値の補間処理とを行って、後述する図６（Ｂ）に示すような低ノイズ参照画像ＲＩＭを生成する。なお、ノイズ低減処理及び補間処理の詳細については、後述する。
そして、補間画像生成部１３０は、生成された低ノイズ参照画像に基づいて、マルチバンドのバンド毎に補間処理を行って、欠落画素の画素値が補間された補間画像を生成する。例えば、後述する図７に示すように、低ノイズ参照画像ＲＩＭを用いて、Ｃ２〜Ｃ５のバンド毎に補間処理を行って、各バンドに対応する補間画像（ＳＩＭ２〜ＳＩＭ５）を生成する。なお、低ノイズ参照画像生成部１２０と、補間画像生成部１３０との機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。また、本実施形態の画像処理装置及び撮像装置の一部又は全部の機能は、画像処理装置又は撮像装置と通信により接続されたサーバーにより実現されてもよい。
ここで、補間画像とは、カラーフィルタアレイに配置されるカラーフィルタに対応する複数のバンドのうち、一つのバンドの画素値のみが、全ての画素に対して求められた画像のことをいう。例えば、図７では、画像ＳＩＭ２はＣ２バンドの補間画像であり、画像ＳＩＭ３はＣ３バンドの補間画像である。
以上のように、ノイズ低減処理を行った低ノイズ参照画像を用いることで、バンド毎にノイズ低減処理を行わなくても、ノイズが低減された補間画像を生成することが可能となる。そして、生成された補間画像を合成すれば、ノイズが低減されたマルチバンド画像を取得することができる。
これにより、ノイズ低減処理の負担を抑えながら、単板マルチバンド撮像素子から得たノイズを含んだ撮像画像から、ノイズが低減されたマルチバンド画像を生成することが可能となる。
ここで、比較例として、前述した特許文献１の発明では、バンド毎にノイズ低減処理を行う。そのため、例えば後述する図３（Ａ）の５バンドのカラーフィルタの撮像素子を用いる場合には、ノイズ低減処理を５回行う必要があった。これに対して、本実施形態では、ノイズ低減処理を参照バンドの画素値に対して１回行うだけでよい。よって、処理時間を短縮すること等が可能になる。また、ノイズが低減された参照画像を用いて、補間処理を行うため、高精度の補間処理を行うことも可能である。
また、前述した特許文献２の発明では、ノイズが低減されたマルチバンド画像を取得することはできないが、本実施形態では、マルチバンドのカラーフィルタを用いて、色再現性を向上した上で、ノイズが低減されたマルチバンド画像を得ることが可能である。そのため、観察対象物がマルチバンド画像でなければ観察できない場合などにおいて、本実施形態の方が特に優位である。
２．第１の実施形態
次に、第１の実施形態について説明する。まず、第１の実施形態における画像処理装置１００を含む撮像装置３００の詳細なシステム構成例を図２に示す。
図２に示す撮像装置３００は、各種レンズ（撮像レンズ）から構成される撮像レンズ系２０２と、撮像レンズ系２０２の伸縮駆動や撮像レンズ系２０２内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構２０３と、レンズ駆動機構２０３を制御するためのレンズドライバ２０４と、撮像レンズ系２０２の絞り及びシャッタ内を制御するための露出制御機構２０５と、露出制御機構２０５を制御するための露出制御ドライバ２０６と、被写体像を光電変換するための４種類以上の異なる分光感度特性を有するカラーフィルタを内蔵した撮像素子２００と、撮像素子２００を駆動するための撮像素子ドライバ２０７と、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路２０８と、前述した画像処理装置１００と、外部の記録媒体であるメモリカード２０９とのインタフェースであるカードインタフェース（カードＩ／Ｆ）２１０と、ＬＣＤ画像表示系２１１と、レリーズスイッチ、設定ボタンなど各種スイッチからなる操作スイッチ系２１２と、操作状態及びモード状態等を表示するための操作表示系２１３と、各種設定情報等を設定するための不揮発性メモリ（ＥＥＰＲＯＭ）２１４と、各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）２１５と、を含む。
そして、システムコントローラ２１５が全ての制御を統括的に行っている。具体的には、まずレンズドライバ２０４、露出制御ドライバ２０６及び撮像素子ドライバ２０７により、撮像素子２００の駆動を制御して露光（電化蓄積）及び信号の読み出しを行う。次に、読み出した露光及び信号を、プリプロセス回路２０８を介してＡ／Ｄ変換した後に、画像処理装置１００に取り込み、画像処理装置１００内の各部で各種信号処理を施して、カードインタフェース２１０を介してメモリカード２０９に記録する。
次に、４バンド以上の異なる分光感度特性を有するカラーフィルタアレイの例を、図３（Ａ）及び図３（Ｂ）に示す。このカラーフィルタアレイは、撮像素子２００を構成する各画素のカラーフィルタの配置を表す。まず、図３（Ａ）には、５バンドの分光感度特性を有するカラーフィルタアレイＣＦＡ１の例を示す。カラーフィルタアレイＣＦＡ１では、Ｃ１バンドが他のバンドに比べてサンプル密度が高く、３バンドベイヤー配列におけるＧバンドと同様に市松状に配置されている。ただし、本実施形態で用いるカラーフィルタアレイは、図３（Ａ）に示すような５バンドのものに限定されない。例えば、図３（Ｂ）に示す９バンドのカラーフィルタアレイＣＦＡ２を用いても同様の処理が可能である。
また、本実施形態の説明では、原則として、低ノイズ参照画像生成部１２０は、マルチバンドの中でサンプル密度が最も高いバンドを、参照画像の参照バンドとして選択する。つまり、図３（Ａ）及び図３（Ｂ）のカラーフィルタアレイにおいては、Ｃ１バンドを参照バンドとして使用する。
これにより、高周波成分を最も多く含む解像感が高い参照画像の生成が可能となり、全バンドの補間精度も向上させること等が可能になる。ただし、後述する例のように、Ｃ１バンド以外のバンドを参照バンドとして用いても良い。
次に、画像処理装置１００内で行われる各種信号処理について、図４のフローチャートを用いて詳細に説明する。
まず、撮像を行い（Ｓ１０１）、画像取得部１１０が、撮像素子２００からＲＡＷデータを読み込む（Ｓ１０２）。なお、ＲＡＷデータとは、ＲＡＷ画像（撮像画像）を表すデータである。また、撮像素子２００から出力された信号は、プリプロセス回路２０８によりＡ／Ｄ変換された後に、黒レベル補正処理、ホワイトバランス補正処理等の各種信号処理が施されている。ここでは、このような各種信号処理が行われた後のデータを、ＲＡＷデータと呼ぶ。
次に、低ノイズ参照画像生成部１２０が、Ｃ１バンドを参照バンドとして設定し（又はＣ１バンドの画素を参照バンドの画素として、ＲＡＷデータから抽出し）（Ｓ１０３）、Ｃ１バンドの画素値に対してノイズ低減処理を行う（Ｓ１０４）。例えばノイズ低減処理は、コアリング処理やメディアンフィルタ処理等により行う。
そして、低ノイズ参照画像生成部１２０は、ノイズ低減されたＣ１バンドの画素の補間処理を行い、Ｃ１バンドの画素により構成される参照画像を生成する（Ｓ１０５）。なお、補間処理は、後に詳述するガウシアン補間などにより行う。
最後に、補間画像生成部１３０が、ステップＳ１０５で生成された参照画像を用いて各バンド（Ｃ２バンド〜Ｃ５バンド）の補間処理を行い（Ｓ１０６）、処理を終了する。
このように、低ノイズ参照画像生成部１２０は、撮像画像の画素値のうち、参照画像の参照バンドに対応するカラーフィルタを用いて得られた画素値に対して、ノイズ低減処理を行って、低ノイズ参照画像を生成する。この際に、低ノイズ参照画像生成部１２０は、ノイズ低減処理を行った後に、撮像画像における参照バンドの画素値の補間処理を行って、低ノイズ参照画像を生成する。すなわち、本実施形態では、参照バンドの画素値の補間処理を行っていない状態で、参照バンドの画素値に対してノイズ低減処理を行う。
よって、補間処理により欠落画素にまでノイズ成分が広がることを抑えること等が可能になる。
次に、各ステップの具体的な内容について詳細に説明する。まず、ステップＳ１０４の参照バンドの画素に対するノイズ低減処理について、図５（Ａ）〜図５（Ｃ）を用いて説明する。
例えば、図５（Ａ）において、図３（Ａ）のカラーフィルタアレイＣＦＡ１で参照バンドとして設定されているＣ１バンドの画素の配置を示す。このように、Ｃ１バンドの画素は、市松状に配置されており、この状態でノイズ低減処理を行うことは非常に困難である。
そこで、低ノイズ参照画像生成部１２０は、撮像画像において、参照画像の参照バンドに対応するカラーフィルタを用いて得られた各画素に対して、第１の座標系から第２の座標系に画素座標の座標変換を行う。例えば、図５（Ｂ）のようにｘｙ座標系で配置されている画素を、図５（Ｃ）のようにｕｖ座標系で配置されるように、下式（１）を用いて画素座標の変換を行う。なお、図５（Ａ）〜図５（Ｃ）の例では、第１の座標系がｘｙ座標系であり、第２の座標系がｕｖ座標系である。
この座標変換を行うことにより、例えば、画素座標（ｘ１、ｙ１）の画素は、画素座標（ｕ３、ｖ１）に配置され、画素座標（ｘ１、ｙ３）の画素は、画素座標（ｕ２、ｖ２）に配置され、画素座標（ｘ１、ｙ５）の画素は、画素座標（ｕ１、ｖ３）に配置される。
そして、低ノイズ参照画像生成部１２０は、座標変換後の参照バンドの各画素の画素値に対して、ノイズ低減処理を行う。例えば、ノイズ低減処理として、ｕｖ座標系の画素値に対してコアリング処理やメディアンフィルタ処理を行う。
さらに、低ノイズ参照画像生成部１２０は、ノイズ低減処理後の各画素に対して、第２の座標系から第１の座標系へ画素座標を座標変換する。つまり、ノイズ低減された画素について、ｕｖ座標系から再びｘｙ座標系へと、画素座標の変換を行う。
そして、後に詳述するように、参照バンドの画素値の補間処理を行って、低ノイズ参照画像を生成する。
これにより、参照バンドの画素の補間処理を行っていない状態でノイズ低減処理を行うこと等が可能になる。その結果、前述したように、補間処理によりノイズ成分が周辺画素に広がることを抑えること等が可能になる。
具体的には、低ノイズ参照画像生成部１２０は、第１の座標系から第２の座標系への座標変換として、画素座標を原点周りで所与の角度だけ回転させる座標変換を行う。
例えば、図５（Ｂ）及び図５（Ｃ）の例では、画素座標を４５度回転させることにより、ｘｙ座標系からｕｖ座標系へ座標変換を行う。
これにより、カラーフィルタアレイを、参照バンドの画素値を有する画素が隣り合うようなカラーフィルタアレイに変換すること等が可能になる。
次に、ステップＳ１０５の参照バンドの画素の補間処理（参照画像の生成処理）について説明する。
本実施形態では、参照画像の生成処理においてガウシアン補間（ＧＩ）を用いる。ＧＩは、画素値を推定したい画素位置周辺の局所的な情報の重み付き平均を、欠落画素の画素値として推定する方法であり、画素位置ｘｐに対する推定画素値ＳＧＩ（ｘｐ）は下記の式（２）のように表される。
ここで、Ｎｘｐは画素位置ｘｐの周辺画素の画素位置集合を、ｘｉは画素位置集合Ｎｘｐ内の任意の画素位置を、Ｓ（ｘｉ）は画素位置ｘｉの画素値を、Ｍ（ｘｉ）は画素位置ｘｉのバイナリマスクを、ｋ（ｘｉ−ｘｐ）は画素位置ｘｐからの距離に基づく重みを、ωＧＩ（ｘｐ）は正規化係数、すなわち重みの和を表す。なお、バイナリマスクＭ（ｘｉ）は画素値が存在する場所で１、それ以外で０となる。
例えば、図６（Ａ）の撮像画像ＩＭ１に対して上記の補間処理を行うことにより、図６（Ｂ）のように、全画素位置にＣ１バンドの画素値を有する参照画像ＲＩＭを生成する。
次に、ステップＳ１０６の各バンドの補間処理について説明する。
本実施形態では、参照画像を用いた補間処理として、ガイデッドフィルタ（Guided Filter、ガイデッドイメージフィルタ）を用い、補間処理前の画像に対して補間処理を行って出力画像を生成する。ガイデッドフィルタでは、出力画像は参照画像の線形変換で表されると考える。そして、下記の式（３）に示すように、画素値を推定したい画素位置周辺での局所領域ｋのコスト関数Ｅ（ａｋ、ｂｋ）を最小化するように、最小二乗法により係数ａｋ及びｂｋが算出される。
ここで、ｉは画素の番号を、ｋは局所領域の番号を、Ｉｉは参照画像における画素ｉの画素値を、ｐｉは補間処理前の画像における画素ｉの画素値（信号成分）を、ωｋは、補間処理前の画像の局所領域ｋ内において信号成分を有する画素の画素数を、εは所与の平滑化パラメータを、Ｍｉは、画素ｉにおけるバイナリマスクを表す。具体的に、Ｍｉは、補間処理前の画像において信号成分を有する画素に対しては１となり、信号成分を有しない画素に対しては０となる。また、ａｋ、ｂｋは、下式（４）で用いるために算出されるべき係数パラメータであり、計算開始時には適当な初期値が用いられる。
そして、全局所領域に対する係数ａｋ及びｂｋが算出されると、補間対象の画素に対して、下式（４）により出力画素値ｑｉが算出される。本実施形態では、信号成分を有さない画素だけではなく、元々、信号成分（画素値）を有する画素についても、補間対象とする。なお、下式（４）において、｜ω｜は、局所領域内の全画素数（局所領域数）である。
本実施形態では、図７に示すように、ステップＳ１０５で得られた参照画像ＲＩＭを使用し、参照バンドであるＣ１バンドとは異なるバンド（Ｃ２バンド〜Ｃ５バンド）の補間前の画像（ＩＭ２〜ＩＭ５）を、１つずつ補間対象の画像として使用する。このように、参照画像ＲＩＭを用いた補間処理を行うことで、ノイズを低減しつつ、参照画像ＲＩＭの高周波成分を保持した補間画像（ＳＩＭ２〜ＳＩＭ５）を生成することが可能である。なお、ステップＳ１０６において、Ｃ１バンドの補間前の画像ＩＭ１についても、同様に補間処理を行って、補間画像ＳＩＭ１を出力してもよい。ただし、この補間画像ＳＩＭ１は、ステップＳ１０５において生成した参照画像ＲＩＭと同じ画像になる。よって、処理量削減を図るため、後の処理では、参照画像ＲＩＭを補間画像ＳＩＭ１として用いることが望ましい。
また、撮像画像において元々、画素値を有する画素については、ステップＳ１０６で新たな画素値を算出しないことも可能ではある。しかし、その場合には、元々、画素値を有していた画素と、補間処理を行った画素とにおいて、画素値の差が大きくなり、あたかもノイズが残っているかのような補間画像が生成されてしまうことがある。つまり、斑な補間画像になってしまう。
そこで、前述したように、補間画像生成部１３０は、撮像画像において画素値を有する画素に対しても、低ノイズ参照画像に基づいて、新たな画素値を算出して、補間画像を生成する。
これにより、元々、画素値を有していた画素と、補間処理を行った画素とにおいて、画素値の差が比較的小さい滑らかな補間画像（マルチバンド画像）を生成すること等が可能になる。
以上のように、ノイズが低減された低ノイズ参照画像を用いることで、出力される補間画像もノイズが低減された画像となる。このことを、図８を用いて説明する。前述した通り、ガイデッドフィルタによる出力画像は、参照画像の線形変換により出力される。例えば、図８の参照画像ＲＩＭ１が、太枠で区切られる２つの平坦領域（ＡＲ１及びＡＲ２）から構成されるものとする。具体的には、平坦領域ＡＲ１が第１の色で塗りつぶされた領域であり、平坦領域ＡＲ２が、第１の色と異なる第２の色で塗りつぶされた領域であるものとする。そのため、ノイズが含まれていなければ、平坦領域ＡＲ１及び平坦領域ＡＲ２内の画素の画素値は、各平坦領域内でそれぞれ同じ値になる。しかし、参照画像ＲＩＭ１にはノイズが含まれているため、平坦領域内の画素値が一定でない。この場合には、入力画像（ＲＡＷ画像）ＩＩＭに対して、ガイデッドフィルタによる補間処理を行うと、補間画像（出力画像）ＯＩＭ１が得られるが、補間画像（出力画像）ＯＩＭ１内の画素値ｑｉは、ノイズを引き継いだ値となってしまっている。これは、上式（４）で、参照画像の画素値Ｉｉを定数倍し、さらに定数を加算することにより、出力画素値ｑｉを算出しているためである。
一方で、図８の低ノイズ参照画像ＲＩＭ２のように、ノイズが無く平坦領域（ＡＲ３及びＡＲ４）内の画素値が一定である場合には、補間対象となる入力画像ＩＩＭに関わらず、補間画像ＯＩＭ２のように、平坦領域（ＡＲ３及びＡＲ４）内の画素値が（ほぼ）一定のまま出力されることとなる。このようにして、補間対象となる入力画像にノイズが含まれている場合であっても、ノイズが低減された低ノイズ参照画像ＲＩＭ２を用いることで、ノイズが低減された補間画像ＯＩＭ２を生成することができる。
以上の処理により、ノイズ低減処理の負担を増やすことなくノイズが低減されたマルチバンド画像を生成することが可能となる。本実施形態では、ノイズが低減された低ノイズ参照画像を用いて、全バンドの補間処理を行うため、ノイズ低減処理を行っていないバンドを補間処理した際でも、参照画像と同様にノイズが低減された補間画像を得ることができ、バンド毎にノイズ低減処理を行う必要がない。さらに、バンド毎にノイズ低減処理を行う場合には、高周波成分を含む領域のボケ具合にバンド間で差が発生し、偽色等のアーティファクトが発生する原因となる場合があるが、本実施形態では高周波成分は参照画像の情報を共有するため、偽色の発生も抑制することが可能となる。
また、前述した例では、ステップＳ１０５の補間処理で用いる参照画像として、全てのバンドで同一の画像（例えば７の低ノイズ参照画像ＲＩＭ）を用いていたが、バンド毎に異なる参照画像を用いてもよい。
例えば、図９に示すような分光感度特性を持つカラーフィルタアレイを使用する場合について説明する。図９のグラフは、横軸が波長を表し、縦軸が相対感度を表す。まず、図１０に示すように、ＲＡＷ画像からＣ１バンドの画素値が抽出された画像ＩＭ１に対して、ガウシアン補間を行うことにより、Ｃ１バンドの参照画像ＲＩＭを生成する。
次に、Ｃ１バンドと分光感度特性が近いＣ３バンドの画像ＩＭ３と、Ｃ４バンドの画像ＩＭ４に対しては、Ｃ１バンドの参照画像ＲＩＭを用いて、補間処理を行って、Ｃ３バンドの補間画像ＳＩＭ３と、Ｃ４バンドの補間画像ＳＩＭ４を生成する。
さらに、Ｃ３バンドと分光感度特性が近いＣ２バンドの画像ＩＭ２に対しては、Ｃ３バンドの補間画像ＳＩＭ３を参照画像として用い、補間処理を行って、Ｃ２バンドの補間画像ＳＩＭ２を生成する。Ｃ４バンドと分光感度特性が近いＣ５バンドの画像ＩＭ５に対しては、Ｃ５バンドの補間画像ＳＩＭ５を参照画像として用いて、補間処理を行って、Ｃ５バンドの補間画像ＳＩＭ５を生成する。
このように、低ノイズ参照画像生成部１２０は、マルチバンドのうちの第１のバンドを、参照画像の参照バンドとして選択し、撮像画像において、第１のバンドに対応するカラーフィルタを用いて得られた画素値に対して、ノイズ低減処理を行い、ノイズ低減処理後の第１のバンドの画素値に対して補間処理を行うことにより、低ノイズ参照画像を生成してもよい。前述した図１０の例では、第１のバンドはＣ１バンドであり、低ノイズ参照画像は画像ＲＩＭである。
そして、補間画像生成部１３０は、撮像画像において、低ノイズ参照画像に基づいて、マルチバンドのうちの第２のバンドに対応するカラーフィルタを用いて得られる画素値の補間処理を行い、第２のバンドの補間画像を生成してもよい。前述した図１０の例では、第２のバンドはＣ３バンド及びＣ４バンドであり、第２のバンドの補間画像は画像ＳＩＭ３及びＳＩＭ４である。
さらに、補間画像生成部１３０は、撮像画像において、第２のバンドの補間画像に基づいて、マルチバンドのうちの第３のバンドに対応するカラーフィルタを用いて得られる画素値の補間処理を行い、第３のバンドの補間画像を生成してもよい。前述した図１０の例では、第３のバンドはＣ２バンド及びＣ５バンドであり、第３のバンドの補間画像は画像ＳＩＭ２及びＳＩＭ５である。
このように、分光感度特性に応じて参照画像を切り替えること等が可能である。Ｃ１バンドの画像を全バンドの補間処理において参照画像として使用するよりも、分光感度特性に応じて参照画像を切り替える方が効果的である。また、このように参照画像を切り替える場合でも、ノイズが低減されたＣ１バンドの参照画像ＲＩＭを用いて補間処理を行っているために、Ｃ３バンドの補間画像ＳＩＭ３と、Ｃ４バンドの補間画像ＳＩＭ４もノイズが低減されており、同様にＣ２バンドとＣ５バンドについてもノイズが低減された補間画像を生成することが可能である。
また、前述した例では、図４のフローチャートに示す通り、参照バンドの画素値に対するノイズ低減処理（Ｓ１０４）は、参照バンドの画素の補間処理（Ｓ１０５）の前に行ったが、図１１のフローチャートに示すように、先に参照バンドの画素の補間処理を行ってもよい。
すなわち、低ノイズ参照画像生成部１２０は、撮像画像の画素値のうち、参照画像の参照バンドに対応するカラーフィルタを用いて得られた画素値の補間処理を行い（Ｓ２０４）、補間処理後の参照バンドの画素値に対して、ノイズ低減処理を行って（Ｓ２０５）、低ノイズ参照画像を生成してもよい。なお、ステップＳ２０１〜ステップＳ２０３及びステップＳ２０６については、図４のステップＳ１０１〜ステップＳ１０３及びステップＳ１０６と同様であるため、説明を省略する。
これにより、前述した上式（１）を用いる座標変換処理を行う必要がなくなり、より簡便な処理によりノイズ低減を行うこと等が可能になる。ただし、図４のフローチャートの流れで各処理を行った方が、よりノイズを低減した補間画像を生成することが可能である。
また、本実施形態では、図４のステップＳ１０３において、予め記憶されているバンドの画素値を参照バンドの画素値として抽出したが、撮像素子２００から得られた信号（ＲＡＷデータ）から適応的に参照バンドを選択してもよい。参照バンドを適応的に選択することで、より精度の高い補間画像を得ることが可能となる。
例えば、低ノイズ参照画像生成部１２０は、マルチバンドのうち、撮像画像に映る被写体の色特性と最も相関の強いバンドを、参照画像の参照バンドとして選択してもよい。
具体的には、図３（Ａ）のカラーフィルタアレイＣＦＡ１において、サンプル密度が最も高いＣ１バンドと、被写体の色との相関が低い場合には、Ｃ２バンド〜Ｃ５バンドのうち、被写体の色と相関が最も高いバンドを参照バンドとして選択することで、高周波成分が再現できる。例えば、被写体の色と相関が高いバンドの選択方法としては、ラプラシアンフィルタ等のハイパスフィルタを用いて高周波成分を最も多く含むバンドを選択する方法等がある。
これにより、被写体の色特性に依らず高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
また他にも、撮像画像における輝度値の総和や平均値等が最も高いバンドを選択する方法等もある。すなわち、低ノイズ参照画像生成部１２０は、撮像画像において、高周波成分及び輝度の少なくとも一方の評価処理を行うことにより、マルチバンドの中から参照画像の参照バンドを選択してもよい。
これにより、被写体の色特性と相関が強いバンドを精度良く選択すること等が可能になる。
また、ノイズ量を考慮する方法でもよい。すなわち、低ノイズ参照画像生成部１２０は、撮像画像において、マルチバンドのうちの各バンドと撮像画像に映る被写体の色特性との相関と、各バンドにおけるノイズ量の少なくとも一方の評価処理を行うことにより、マルチバンドの中から参照画像の参照バンドを選択してもよい。
例えば、図１２のグラフに示すような分光感度特性の照明下で撮像された撮像画像の場合、低ノイズ参照画像生成部１２０に送られる前のホワイトバランス補正処理により、短波長側に感度を有するバンド（例えばＢバンド）のノイズが増幅されてしまう。この場合、被写体の色と相関が高いバンドがＢバンドであっても、他のバンドを参照バンドとして選択できるように、被写体の色との相関を評価する相関評価値と、ノイズ量を評価するノイズ評価値との両方を、参照バンドの選択における評価値とする。より具体的には、ノイズ量が予め設定された閾値よりも多いバンドは、被写体の色との相関評価値に関わらず、参照バンドとして選択しないようにする。これにより、高周波成分を最も多く含むバンドを、参照バンドとして選択することができる。
以上のように、撮影する光源により特定のバンドのノイズが増大してしまうシーンでも、高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
３．第２の実施形態
次に、第２の実施形態では、バンド変換部１４０で３バンド画像を生成し、低ノイズ参照画像生成部１２０で３バンド画像用のノイズ低減処理を行う例について説明する。
まず、第２の実施形態における画像処理装置１００は、図１３に示すように、第１の実施形態の構成に加えて、バンド変換部１４０を含む。
そして、バンド変換部１４０は、マルチバンドのうちの少なくとも一つのバンドの画素値を、波長帯域が異なる他のバンドの画素値に変換する。
次に、低ノイズ参照画像生成部１２０は、バンド変換されたバンドの中から、参照画像の参照バンドとして使用するバンドを選択し、バンド変換により得られた参照バンドの画素値に対して、ノイズ低減処理を行って、低ノイズ参照画像を生成する。
具体的には、バンド変換部１４０は、撮像画像に基づいて、バンド変換を行って、ＲＧＢ画像を生成する。そして、低ノイズ参照画像生成部１２０は、ノイズ低減処理として、ＲＧＢ画像用のノイズ低減処理を行う。
さらに、詳細な具体例を、図１３、図１４及び図１５のフローチャートを用いて説明する。まず、バンド変換部１４０は、図１３に示すようにＧバンド補間処理部１４１と、ＲＢバンド補間処理部１４２とを含む。
そして、第１の実施形態と同様に、撮像を行い（Ｓ３０１）、ＲＡＷデータを取得する（Ｓ３０２）。次に、ＲＡＷデータから、ＲＧＢバンドの画素値の抽出処理を行う（Ｓ３０３）。なお、マルチバンドの中にＲＧＢに該当するバンドが無い場合には、全バンドの中からＲＧＢのそれぞれに最も近い分光感度特性を有するバンドを、予めバンド変換部１４０に記憶しておき、分光感度特性が近いバンドの画素値をＲＧＢの画素値に変換して用いる。例えば、図３（Ａ）に示す５バンドのカラーフィルタアレイＣＦＡ１の場合には、Ｇバンドの画素値をＣ１バンドの画素値から求め、Ｒバンドの画素値をＣ５バンドの画素値から求め、Ｂバンドの画素値をＣ２バンドの画素値から求める。
そして、図１４に示すように、Ｇバンド補間処理部１４１では、図４のステップＳ１０５と同様に、ガウシアン補間により、画像ＩＭ１におけるＧバンドの画素値の補間処理を行い、補間画像ＳＩＭ１を生成する（Ｓ３０４）。
次に、ＲＢバンド補間処理部１４２では、Ｇバンド補間処理部１４１が生成したＧバンドの補間画像ＳＩＭ１を参照画像として、ガイデッドフィルタにより補間処理を行い、画像ＩＭ２からＲバンドの補間画像ＳＩＭ２を、画像ＩＭ５からＢバンドの補間画像ＳＩＭ５を生成する（Ｓ３０５）。そして、バンド変換部１４０は、これらの補間画像（ＳＩＭ１、ＳＩＭ２及びＳＩＭ５）から、ＲＧＢ画像を生成する。
次に、低ノイズ参照画像生成部１２０は、バンド変換部１４０で得られたＲＧＢ画像を用いて、ＲＧＢ画像用のノイズ低減処理を行う（Ｓ３０６）。なお、ＲＧＢ画像用のノイズ低減処理は、例えば特開２００９−４９４８２号公報で開示される手法などを初めとして、様々な手法が開示されており、高精度なノイズ低減効果を得ることが可能である。
そして、補間画像生成部１３０は、ＲＧＢバンドの中から参照バンドとして用いるバンドを選択する（Ｓ３０７）。例えば、低ノイズ参照画像生成部１２０で、ＲＧＢの３バンドの全ての情報を用いるノイズ低減処理を行った場合には、補間画像生成部１３０は、ＲＧＢの３バンドの画素値全てを、参照バンドの画素値として抽出する。
本例では、例えばノイズが低減されたＧバンドの補間画像を参照画像ＲＩＭとして、残りのＣ３バンドとＣ４バンドの画素の補間処理を行い（Ｓ３０８）、取得した全ての補間画像（ＳＩＭ１〜ＳＩＭ５）に基づいて、マルチバンド画像を生成して、処理を終了する。なお、前述した図７のケースと同様に、本処理においても、Ｃ１バンド〜Ｃ５バンドの全てについて、補間処理をやり直してもよい。
また、バンド変換部１４０は、必ずしも補間処理前の画像の画素値を、他のバンドの画素値に変換するとは限らない。例えば、マルチバンドのうちＲＧＢに近いバンドの画素を、変換せずに、ＲＧＢの画素として用いて、ＲＧＢ画像用のノイズ低減処理を行ってもよい。例えば、図３（Ａ）に示す５バンドのカラーフィルタアレイＣＦＡ１の場合には、Ｇバンドの画素としてＣ１バンドの画素を、Ｒバンドの画素としてＣ５バンドの画素を、Ｂバンドの画素としてＣ２バンドの画素を用いる。
このように、バンド変換処理を行うことにより、撮像素子から直接取得することができないバンドの画素値を参照バンドの画素値として利用すること等が可能となる。
さらに、バンド変換処理により、ＲＧＢ画像を生成することで、ＲＧＢ画像用のノイズ低減処理を用いた高精度なノイズ低減を行うこと等が可能となる。
４．第３の実施形態
次に、第３の実施形態について説明する。
本実施形態の画像処理装置１００は、図１６に示すように、第２の実施形態のバンド変換部１４０の代わりに、信号変換部１５０を含む。
信号変換部１５０は、撮像画像の各画素値を、輝度信号Ｙ及び色差信号ＣｂＣｒに変換する。
そして、低ノイズ参照画像生成部１２０は、輝度信号Ｙ及び色差信号ＣｂＣｒに対してそれぞれ異なるノイズ低減処理を行って、低ノイズ参照画像を生成する。
例えば、輝度信号Ｙについては、第１のノイズ低減処理を行い、色差信号ＣｂＣｒについては、第１のノイズ低減処理よりもノイズ低減効果の高い第２のノイズ低減処理を行う。そして、このように第１のノイズ低減処理と、第２のノイズ低減処理とを行う場合には、信号変換部１５０でＹ画像（輝度画像）、ＣｂＣｒ画像（色差画像）を生成し、低ノイズ参照画像生成部１２０で輝度Ｙ、色差ＣｂＣｒを参照バンドとして抽出する。
さらに、補間画像生成部１３０は、ノイズ低減されたＹ画像及びＣｂＣｒ画像を、再びＧバンドの画像へと変換し、参照画像として使用することが可能である。この場合、低ノイズ参照画像生成部１２０で、輝度Ｙのみを参照バンドとして抽出することも可能である。また、ノイズ低減されたＹ画像を参照画像として使用することも可能である。
これにより、Ｙ画像及びＣｂＣｒ画像用のノイズ低減処理を用いた高精度なノイズ低減を行うこと等が可能となる。さらに、輝度信号を参照バンドとして使用することで、被写体の色特性に依らず、高周波成分を多く含む解像感が高い補間画像を生成することが可能となる。
なお、本実施形態の画像処理装置及び撮像装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置及び撮像装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
また、本実施形態の画像処理装置及び撮像装置等は、プロセッサとメモリを含んでも良い。ここでのプロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種プロセッサを用いることが可能である。また、プロセッサはＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る画像処理装置及び撮像装置等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して操作を指示する命令であってもよい。
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、撮像装置及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１００ 画像処理装置、１１０ 画像取得部、１２０ 低ノイズ参照画像生成部、
１３０ 補間画像生成部、１４０ バンド変換部、１４１ Ｇバンド補間処理部、
１４２ ＲＢバンド補間処理部、１５０ 信号変換部、２００ 撮像素子、
２０２ 撮像レンズ系、２０３ レンズ駆動機構、２０４ レンズドライバ、
２０５ 露出制御機構、２０６ 露出制御ドライバ、２０７ 撮像素子ドライバ、
２０８ プリプロセス回路、２０９ メモリカード、
２１０ カードインタフェース（カードＩ／Ｆ）、２１１ 画像表示系（ＬＣＤ）、
２１２ 操作スイッチ系（操作ＳＷ）、２１３ 操作表示系、
２１４ 不揮発性メモリ（ＥＥＰＲＯＭ）、２１５ システムコントローラ（ＣＰＵ）、
３００ 撮像装置

Claims (17)

  1. ４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子を用いて撮像された撮像画像を取得する画像取得部と、
    前記撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成する低ノイズ参照画像生成部と、
    生成された前記低ノイズ参照画像に基づいて、前記マルチバンドのバンド毎に前記補間処理を行って、欠落画素の画素値が補間された補間画像を生成する補間画像生成部と、
    を含むことを特徴とする画像処理装置。
  2. 請求項１において、
    前記低ノイズ参照画像生成部は、
    前記撮像画像の画素値のうち、前記参照画像の参照バンドに対応するカラーフィルタを用いて得られた画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成することを特徴とする画像処理装置。
  3. 請求項１又は２において、
    前記補間画像生成部は、
    前記撮像画像において画素値を有する画素に対しても、前記低ノイズ参照画像に基づいて、新たな画素値を算出して、前記補間画像を生成することを特徴とする画像処理装置。
  4. 請求項１乃至３のいずれかにおいて、
    前記低ノイズ参照画像生成部は、
    前記マルチバンドのうちの第１のバンドを、前記参照画像の参照バンドとして選択し、
    前記撮像画像において、前記第１のバンドに対応する前記カラーフィルタを用いて得られた画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成し、
    前記補間画像生成部は、
    前記撮像画像において、前記低ノイズ参照画像に基づいて、前記マルチバンドのうちの第２のバンドに対応する前記カラーフィルタを用いて得られる画素値の前記補間処理を行い、前記第２のバンドの前記補間画像を生成し、
    前記撮像画像において、前記第２のバンドの前記補間画像に基づいて、前記マルチバンドのうちの第３のバンドに対応する前記カラーフィルタを用いて得られる画素値の前記補間処理を行い、前記第３のバンドの前記補間画像を生成することを特徴とする画像処理装置。
  5. 請求項１乃至４のいずれかにおいて、
    前記低ノイズ参照画像生成部は、
    前記撮像画像において、前記参照画像の参照バンドに対応する前記カラーフィルタを用いて得られた各画素に対して、第１の座標系から第２の座標系に画素座標を座標変換し、
    座標変換後の前記参照バンドの前記各画素の画素値に対して、前記ノイズ低減処理を行い、
    前記ノイズ低減処理後の前記各画素に対して、前記第２の座標系から前記第１の座標系へ前記画素座標を座標変換して、前記低ノイズ参照画像を生成することを特徴とする画像処理装置。
  6. 請求項５において、
    前記低ノイズ参照画像生成部は、
    前記第１の座標系から前記第２の座標系への座標変換として、前記画素座標を原点周りで所与の角度だけ回転させる座標変換を行うことを特徴とする画像処理装置。
  7. 請求項１乃至６のいずれかにおいて、
    前記低ノイズ参照画像生成部は、
    前記マルチバンドの中でサンプル密度が最も高いバンドを、前記参照画像の参照バンドとして選択することを特徴とする画像処理装置。
  8. 請求項１乃至６のいずれかにおいて、
    前記低ノイズ参照画像生成部は、
    前記マルチバンドのうち、前記撮像画像に映る被写体の色特性と最も相関の強いバンドを、前記参照画像の参照バンドとして選択することを特徴とする画像処理装置。
  9. 請求項１乃至６のいずれかにおいて、
    前記低ノイズ参照画像生成部は、
    前記撮像画像において、前記マルチバンドのうちの各バンドと前記撮像画像に映る被写体の色特性との相関と、前記各バンドにおけるノイズ量の少なくとも一方の評価処理を行うことにより、前記マルチバンドの中から前記参照画像の参照バンドを選択することを特徴とする画像処理装置。
  10. 請求項１乃至６のいずれかにおいて、
    前記低ノイズ参照画像生成部は、
    前記撮像画像において、高周波成分及び輝度の少なくとも一方の評価処理を行うことにより、前記マルチバンドの中から前記参照画像の参照バンドを選択することを特徴とする画像処理装置。
  11. 請求項１において、
    前記低ノイズ参照画像生成部は、
    前記撮像画像の画素値のうち、前記参照画像の参照バンドに対応するカラーフィルタを用いて得られた画素値の前記補間処理を行い、前記補間処理後の前記参照バンドの画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成することを特徴とする画像処理装置。
  12. 請求項１において、
    前記マルチバンドのうちの少なくとも一つのバンドの画素値を、波長帯域が異なる他のバンドの画素値に変換するバンド変換部を含み、
    前記低ノイズ参照画像生成部は、
    バンド変換されたバンドの中から、前記参照画像の参照バンドとして使用するバンドを選択し、バンド変換により得られた前記参照バンドの画素値に対して、前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成することを特徴とする画像処理装置。
  13. 請求項１２において、
    前記バンド変換部は、
    前記撮像画像に基づいて、前記バンド変換を行って、ＲＧＢ画像を生成し、
    前記低ノイズ参照画像生成部は、
    前記ノイズ低減処理として、ＲＧＢ画像用のノイズ低減処理を行うことを特徴とする画像処理装置。
  14. 請求項１において、
    前記撮像画像の各画素値を、輝度信号及び色差信号に変換する信号変換部を含み、
    前記低ノイズ参照画像生成部は、
    前記輝度信号及び前記色差信号に対してそれぞれ異なる前記ノイズ低減処理を行って、前記低ノイズ参照画像を生成することを特徴とする画像処理装置。
  15. 請求項１乃至１４のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
  16. ４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子を用いて撮像された撮像画像を取得する画像取得部と、
    前記撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成する低ノイズ参照画像生成部と、
    生成された前記低ノイズ参照画像に基づいて、前記マルチバンドのバンド毎に前記補間処理を行って、欠落画素の画素値が補間された補間画像を生成する補間画像生成部として、
    コンピュータを機能させることを特徴とするプログラム。
  17. ４バンド以上のカラーフィルタがアレイ状に配置されたマルチバンドのカラーフィルタアレイを有する撮像素子を用いて撮像された撮像画像を取得し、
    前記撮像画像の画素値の補間処理で用いる参照画像として、ノイズ低減処理が行われた低ノイズ参照画像を生成し、
    生成された前記低ノイズ参照画像に基づいて、前記マルチバンドのバンド毎に前記補間処理を行って、欠落画素の画素値が補間された補間画像を生成することを特徴とする画像処理方法。
JP2013265472A 2013-12-24 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法 Active JP5771677B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013265472A JP5771677B2 (ja) 2013-12-24 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法
PCT/JP2014/077286 WO2015098243A1 (ja) 2013-12-24 2014-10-14 画像処理装置、撮像装置、プログラム及び画像処理方法
US15/187,405 US9843782B2 (en) 2013-12-24 2016-06-20 Interpolation device, storage medium, and method with multi-band color filter and noise reduced reference image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013265472A JP5771677B2 (ja) 2013-12-24 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2015122634A true JP2015122634A (ja) 2015-07-02
JP5771677B2 JP5771677B2 (ja) 2015-09-02

Family

ID=53478122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013265472A Active JP5771677B2 (ja) 2013-12-24 2013-12-24 画像処理装置、撮像装置、プログラム及び画像処理方法

Country Status (3)

Country Link
US (1) US9843782B2 (ja)
JP (1) JP5771677B2 (ja)
WO (1) WO2015098243A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700928B1 (ko) * 2015-11-06 2017-02-01 인천대학교 산학협력단 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
WO2020230319A1 (ja) * 2019-05-16 2020-11-19 三菱電機株式会社 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106852190B (zh) * 2014-10-23 2019-03-19 国立大学法人东京工业大学 图像处理单元、拍摄装置及图像处理方法
WO2017154293A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN111093459A (zh) * 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
CN108399605B (zh) * 2018-01-09 2021-07-06 网宿科技股份有限公司 图片处理方法、终端设备及计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3745948B2 (ja) 2000-08-25 2006-02-15 シャープ株式会社 画像処理装置およびデジタルカメラ
JP4740912B2 (ja) 2007-08-13 2011-08-03 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP5045421B2 (ja) 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8295631B2 (en) 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
JP2012222704A (ja) * 2011-04-12 2012-11-12 Olympus Corp 撮像装置
JP5709131B2 (ja) * 2011-05-11 2015-04-30 国立大学法人東京工業大学 画像処理システム
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700928B1 (ko) * 2015-11-06 2017-02-01 인천대학교 산학협력단 다중 방향성 가중 보간 및 유도필터에 기초한 베이어 패턴 영상의 디모자이킹 방법 및 장치
WO2020230319A1 (ja) * 2019-05-16 2020-11-19 三菱電機株式会社 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体
JPWO2020230319A1 (ja) * 2019-05-16 2021-10-14 三菱電機株式会社 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体
JP7142772B2 (ja) 2019-05-16 2022-09-27 三菱電機株式会社 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体

Also Published As

Publication number Publication date
US20160309131A1 (en) 2016-10-20
WO2015098243A1 (ja) 2015-07-02
US9843782B2 (en) 2017-12-12
JP5771677B2 (ja) 2015-09-02

Similar Documents

Publication Publication Date Title
US9179113B2 (en) Image processing device, and image processing method, and program
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP5047048B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
JP5349790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5546229B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
WO2011122284A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP2007174276A (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2011124692A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
KR20130033304A (ko) 화상처리장치 및 방법
JP2010140442A (ja) 画像処理装置およびその方法
JP4963598B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5020615B2 (ja) 画像処理装置及び撮像装置及び画像処理方法及びプログラム
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP4986820B2 (ja) 画像処理装置及び画像処理方法
JP5047055B2 (ja) 画像処理装置、撮像装置及び画像処理方法
US10217193B2 (en) Image processing apparatus, image capturing apparatus, and storage medium that stores image processing program
JP2009200635A (ja) 画像処理装置及びその方法並びにプログラム
KR101699318B1 (ko) 화상처리장치 및 그 제어방법
JP2014146872A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5274697B2 (ja) 画像処理装置及び画像処理方法
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150629

R151 Written notification of patent or utility model registration

Ref document number: 5771677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250