JP2014146872A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2014146872A
JP2014146872A JP2013012817A JP2013012817A JP2014146872A JP 2014146872 A JP2014146872 A JP 2014146872A JP 2013012817 A JP2013012817 A JP 2013012817A JP 2013012817 A JP2013012817 A JP 2013012817A JP 2014146872 A JP2014146872 A JP 2014146872A
Authority
JP
Japan
Prior art keywords
image
band
color filter
frames
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013012817A
Other languages
English (en)
Other versions
JP5738904B2 (ja
JP2014146872A5 (ja
Inventor
Nao Kikuchi
直 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013012817A priority Critical patent/JP5738904B2/ja
Priority to CN201380071521.XA priority patent/CN104956669B/zh
Priority to PCT/JP2013/084189 priority patent/WO2014115453A1/ja
Publication of JP2014146872A publication Critical patent/JP2014146872A/ja
Priority to US14/541,608 priority patent/US9237321B2/en
Publication of JP2014146872A5 publication Critical patent/JP2014146872A5/ja
Application granted granted Critical
Publication of JP5738904B2 publication Critical patent/JP5738904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 被写体の色特性に関わらず、フレームレートを維持したまま、高周波成分を多く含む解像感が高い補間画像を生成することができる画像処理装置等の提供。
【解決手段】 画像処理装置は、複数バンドのカラーフィルタを有する撮像素子を用いて撮像された複数フレーム分の撮像データを取得する画像取得部１０１と、複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部１０２と、過去フレームの出力画像において複数バンドの中から参照バンドを選択する参照バンド選択部１０５と、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対し、補間処理を行う参照画像生成部１０３と、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対し、参照画像に基づき補間処理を行う補間画像生成部１０４を含む。
【選択図】 図３

Description

本発明は、画像処理装置、撮像装置、画像処理方法及びプログラム等に関係する。
フルカラー画像を撮像するために、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の３バンドのカラーフィルタを撮像素子前面に設けた撮像装置が知られている。単板撮像素子を有する撮像装置では、高周波成分を多く含む解像感が高い補間画像を生成するために、高周波成分を精度良く取得可能なバンドの情報を参照して、補間画像を生成する手法が有効である。
ここで、高周波成分を取得可能なバンドは、第１に、サンプル密度が高く配置されていることと、第２に、被写体の色特性に強い相関を持っていること、という２つの条件を満たすことが必要である。そこで、特許文献１では補間画像を生成する際に参照するバンドを、被写体の色特性に応じて補間方法を切り替える手法が提案されている。
また、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、複数枚の撮像を行うものや複数台のカメラを使用するものがある。例えば、特許文献２では、４バンド以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いる手法が提案されている。
特開２００９−９４５７７号公報 特開２００３−８７８０６号公報
前述した特許文献１で示されている手法では、参照バンドとして使用するバンドのサンプル密度を高くすることは出来ず、３バンドのベイヤー配列においてＧよりもサンプル密度の低いＲやＢを参照バンドとして使用しても、Ｇを参照バンドとして使用する程の高周波成分は再現できない。
さらに、前述した特許文献２で示されているような、３バンド撮像素子よりも各バンドのサンプル密度が低くなってしまうマルチバンド撮像素子においては、被写体の色特性と強い相関を持つとして参照バンドに選択されたバンドがサンプル密度の低いバンドである場合には、高周波成分を再現することがさらに難しくなる。この問題はマルチバンド撮像素子のバンド数が増える程に顕著となる。
また、複数枚を撮像して見掛けの画素密度を向上させる手法では、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能であるが、処理の複雑化、メモリの増大、フレームレートの低下といった問題がある。
本発明の幾つかの態様によれば、被写体の色特性に関わらず、フレームレートを維持したまま、高周波成分を多く含む解像感が高い補間画像を生成することができる画像処理装置、撮像装置、画像処理方法及びプログラム等を提供することができる。
本発明の一態様は、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部と、を含む画像処理装置に関係する。
本発明の一態様では、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する。そして、取得した複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する。さらに、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する。そして、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する。
よって、サンプル密度が低いバンドでもフレームレートを維持したままサンプル密度の高い情報として使用することができ、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能となる。
また、本発明の一態様では、前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記参照画像生成部で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部を含んでもよい。
これにより、参照バンドの種類に応じて、参照画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。
また、本発明の一態様では、前記画像取得部は、第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、前記使用フレーム数決定部は、前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を第１のフレーム数に決定し、前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を、前記第１のフレーム数よりも多い第２のフレーム数に決定してもよい。
これにより、参照バンドのサンプル密度に応じて、参照画像生成用フレーム数を決定すること等が可能になる。
また、本発明の一態様では、前記第１のカラーフィルタは、前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであり、前記第２のカラーフィルタは、前記カラーフィルタアレイにおいて、前記第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであってもよい。
これにより、例えば、市松状に配置されたバンドが参照バンドの場合には、１フレーム分のデータだけでも高精度な参照画像を生成し、市松状に配置されていないバンドが参照バンドの場合にも、複数フレーム分のデータを使用することで高精度な参照画像を生成すること等が可能となる。
また、本発明の一態様では、前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記補間画像生成部で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部を含んでもよい。
これにより、参照バンドの種類に応じて、補間画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。
また、本発明の一態様では、前記画像取得部は、第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、前記使用フレーム数決定部は、前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を第３のフレーム数に決定し、前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を、前記第３のフレーム数よりも少ない第４のフレーム数に決定してもよい。
これにより、参照バンドのサンプル密度に応じて、補間画像生成用フレーム数を決定すること等が可能になる。
また、本発明の一態様では、撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、前記使用フレーム数決定部は、前記フレーム相関判定部の判定結果に基づいて、前記使用フレーム数を決定してもよい。
これにより、例えばシーンが大幅に変わり、フレーム間の相関が無い場合でも、位置合わせ処理の精度低下によるアーティファクト発生を抑えること等が可能となる。
また、本発明の一態様では、前記参照バンド選択部は、前記過去フレームにおける前記出力画像において、前記複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを前記参照バンドとして選択してもよい。
これにより、被写体の色特性に基づいて、補間画像の生成処理等を行うこと等が可能になる。
また、本発明の一態様では、前記参照バンド選択部は、前記過去フレームの前記出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、前記参照バンドを選択してもよい。
これにより、高精度に参照バンドを判別すること等が可能となる。
また、本発明の一態様では、前記参照バンド選択部は、画像を複数の領域に分割した部分領域毎に、前記参照バンドを選択してもよい。
これにより、例えば部分領域毎に異なる参照バンドを使用することで、１つのシーン内で複数種類の色特性の偏った被写体が存在する場合でも、高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
また、本発明の一態様では、前記画像取得部は、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、前記第１のカラーフィルタとは異なる位置に配置され、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、前記参照画像生成部は、前記参照バンド選択部により前記参照バンドが未選択の場合には、前記第１のカラーフィルタの画像データに対して前記補間処理を行うことにより、前記参照画像を生成してもよい。
これにより、例えば、最もサンプル密度が高いバンドを参照バンドとして使用して、他のバンドを参照バンドとして使用するよりも高精度な補間画像を生成すること等が可能となる。
また、本発明の一態様では、前記画像取得部は、分光感度特性が異なる４バンド以上のカラーフィルタが配置された前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得してもよい。
これにより、マルチバンド撮像素子を用いて補間画像を生成する場合においても、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成すること等が可能となる。
また、本発明の他の態様では、前記画像処理装置を含む撮像装置に関係する。
また、本発明の他の態様では、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得し、取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成し、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択し、前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成し、前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する画像処理方法に関係する。
また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。
補間処理の説明図。 図２（Ａ）〜図２（Ｈ）は、複数枚撮像技術の説明図。 第１の実施形態の画像処理装置のシステム構成例。 第１の実施形態の撮像装置のシステム構成例。 第１の実施形態の撮像装置の詳細なシステム構成例。 カラーフィルタアレイの例。 第１の実施形態の処理の流れを説明するフローチャート。 第１の実施形態の処理の流れを時系列順に説明するフローチャート。 １フレームを用いた参照画像生成処理の説明図。 ２フレームを用いた参照画像生成処理の説明図。 分光感度特性の説明図。 ３バンドのカラーフィルタアレイの説明図。 第１の実施形態の画像処理装置の他のシステム構成例。 第１の実施形態の他の処理の流れを説明するフローチャート。 第２の実施形態の画像処理装置のシステム構成例。 第２の実施形態の処理の流れを説明するフローチャート。 第２の実施形態の他の処理の流れを説明するフローチャート。
以下、第１の実施形態及び第２の実施形態について説明する。まず、各実施形態の背景の概要をまとめて説明する。次に、実施形態毎にシステム構成例と処理の詳細と変形例を説明する。そして、最後に第１の実施形態と第２の実施形態の手法についてまとめて説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．概要
フルカラー画像を撮像するために、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の３バンドのカラーフィルタを撮像素子前面に設けた撮像装置が知られている。単板撮像素子を有する撮像装置では、高周波成分を多く含む解像感が高い補間画像を生成するために、図１に示すように、高周波成分を精度良く取得可能なバンドの情報を参照して、補間画像を生成する手法が有効である。
具体的に、図１に示す手法では、Ｃ１〜Ｃ３の３バンドに対応するカラーフィルタを用いて撮像された撮像画像ＰＩＭから、Ｃ１を参照バンドとして選択して、撮像画像ＰＩＭに対してＣ１の補間処理を行って、参照画像ＲＩＭを生成する。その後に、生成した参照画像ＲＩＭに基づいて、Ｃ２とＣ３のそれぞれについて補間処理を行って、Ｃ２の補間画像ＩＩＭ１とＣ３の補間画像ＩＩＭ２とを生成する。
ここで、高周波成分を取得可能なバンドは、第１に、サンプル密度が高く配置されていることと、第２に、被写体の色特性に強い相関を持っていること、という２つの条件を満たすことが必要である。
そこで、前述した特許文献１では補間画像を生成する際に参照するバンドを、被写体の色特性に応じて補間方法を切り替える手法が提案されている。
しかしながら、前述した特許文献１で示されている手法では、参照バンドとして使用するバンドのサンプル密度を高くすることは出来ない。そのため、例えばサンプル密度の高いバンドが被写体の色特性と相関が低い場合などに、被写体の色特性との相関は高いが、サンプル密度が低いバンドを参照バンドとして使用してしまうと、高周波成分の再現が難しくなる。具体的には、ＲＧＢの３バンドのベイヤー配列においてＧよりもサンプル密度の低いＲやＢを参照バンドとして使用しても、Ｇを参照バンドとして使用する程は、高周波成分の再現を期待できない。
一方で、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、複数枚の撮像を行うものや複数台のカメラを使用するものがある。例えば、前述した特許文献２では、４バンド以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いる手法が提案されている。この手法は、例えば後述する図６に示すようなマルチバンド撮像素子を用いることで、画像を１枚撮像することによりマルチバンド画像を取得可能であり、装置の小型化、フレームレートの保持等のメリットがある。このようなマルチバンド撮像素子を用いた際でも高周波成分を多く含む解像感が高い補間画像を生成するには、高周波成分を精度良く取得可能なバンドの情報を参照画像として使用して、補間画像を生成する手法が有効である。
しかし、３バンド撮像素子よりも各バンドのサンプル密度が低くなってしまう図６に示すようなマルチバンド撮像素子においては、被写体の色特性と強い相関を持つとして参照バンドに選択されたバンドがサンプル密度の低いバンドである場合には、高周波成分を再現することはさらに難しくなる。この問題はマルチバンド撮像素子のバンド数が増える程に顕著となる。
また、複数枚を撮像して見掛けの画素密度を向上させる手法では、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能であるが、処理の複雑化、メモリの増大、フレームレートの低下といった問題がある。例えば、図６に示すマルチバンド撮像素子を用いて補間処理を行わずに全画素位置に全バンドの情報を得るためには、図２（Ａ）〜図２（Ｈ）に示すように８枚の画像を撮像する必要がある。このように補間処理を行わずに見掛けの画素密度を向上させるには、補間処理を行う場合に比べて、より多くの枚数の撮像が必要となってしまう。
以下で説明する第１の実施形態及び第２の実施形態の画像処理装置等では、上記の問題点に鑑み、３バンド以上の異なる分光感度特性を有する単板撮像素子を用いて、被写体の色特性に関わらず、フレームレートを維持したまま、高周波成分を多く含む解像感が高い補間画像の生成を可能にする。
２．第１の実施形態
第１の実施形態では、前フレームの出力画像から参照画像として使用するバンド（参照バンド）を選択し、２フレーム分のＲＡＷデータを補間画像生成に使用する例について説明する。
２．１ システム構成例
次に、本実施形態の画像処理装置の構成例を図３に示す。画像処理装置は、画像取得部１０１と、位置合わせ処理部１０２と、参照画像生成部１０３と、補間画像生成部１０４と、参照バンド選択部１０５と、を含む。
次に各部の接続について説明する。画像取得部１０１は、位置合わせ処理部１０２に接続されている。位置合わせ処理部１０２は、参照画像生成部１０３に接続されている。参照画像生成部１０３は、補間画像生成部１０４に接続されている。補間画像生成部１０４は、参照バンド選択部１０５に接続されている。参照バンド選択部１０５は、参照画像生成部１０３に接続されている。
次に各部で行われる処理について説明する。
まず、画像取得部１０１は、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子１２０を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する。なお、撮像素子１２０については後述する。
次に、位置合わせ処理部１０２は、取得された複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する。
そして、参照画像生成部１０３は、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する。
さらに、補間画像生成部１０４は、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する。
そして、参照バンド選択部１０５は、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する。
なお、画像取得部１０１と、位置合わせ処理部１０２と、参照画像生成部１０３と、補間画像生成部１０４と、参照バンド選択部１０５との機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
また、図３の画像処理装置のシステム構成を備えた本実施形態の撮像装置の構成例を図４に示す。撮像装置は、前述した画像処理装置を実現するデジタルプロセス回路１００と、撮像素子１２０と、を含む。
さらに、図５は撮像装置の詳細な全体像を例示するものである。図５の撮像装置は、各種レンズ（撮像レンズ）から構成される撮像レンズ系２０２と、撮像レンズ系２０２の伸縮駆動や撮像レンズ系２０２内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構２０３と、レンズ駆動機構２０３を制御するためのレンズドライバ２０４と、撮像レンズ系２０２の絞り及びシャッタ内を制御するための露出制御機構２０５と、露出制御機構２０５を制御するための露出制御ドライバ２０６と、被写体像を光電変換するための３種類以上の異なる分光感度特性を有するカラーフィルタを内蔵した撮像素子１２０と、撮像素子１２０を駆動するための撮像素子ドライバ２０７と、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路２０８と、記録画像生成のための色信号処理、圧縮伸張処理、その他各種のデジタル処理を行うためのデジタルプロセス回路１００と、外部の記録媒体であるメモリカード２０９とのインタフェースであるカードインタフェース２１０と、ＬＣＤ画像表示系２１１と、レリーズスイッチ、設定ボタンなど各種スイッチからなる操作スイッチ系２１２と、操作状態及びモード状態等を表示するための操作表示系２１３と、各種設定情報等を設定するための不揮発性メモリ２１４と、各部を統括的に制御するためのシステムコントローラ２１５と、を備えている。
具体的に、図５の撮像装置では、撮像素子１２０から得られた複数フレーム分のＲＡＷデータをメモリ１０６で保持し、位置合わせ処理部１０２では、複数フレーム分のＲＡＷデータの位置合わせ処理を行う。
そして、参照画像生成部１０３では、位置合わせ処理部１０２で生成された複数フレーム分のデータに対して、参照バンド選択部１０５で選択された被写体の色特性と最も強い相関を持つバンド（参照バンド）の補間処理を行い、参照画像を生成する。参照バンド選択部１０５の結果が得られていない最初のフレームの場合には、予め参照画像生成部１０３に記憶しているバンドを参照バンドとして使用する。
さらに、補間画像生成部１０４では、位置合わせ処理部１０２で生成された複数フレーム分のデータに対して、参照画像生成部１０３で生成された参照画像を用いて、参照画像生成部１０３で使用していないバンドの補間処理を行い、補間画像を生成する。
そして、参照バンド選択部１０５では、補間画像生成部１０４で生成された補間画像を用いて、被写体の色特性と最も強い相関を持つバンドを判別し、次のフレームの参照バンドの情報を参照画像生成部１０３へ送る。
また、図５の撮像装置においては、システムコントローラ２１５が全ての制御を統括的に行っている。具体的には、まずレンズドライバ２０４、露出制御ドライバ２０６及び撮像素子ドライバ２０７による撮像素子１２０の駆動を制御して露光（電化蓄積）及び信号の読み出しを行う。そして、読み出した露光及び信号を、プリプロセス回路２０８を介してＡ／Ｄ変換した後に、デジタルプロセス回路１００に取り込み、デジタルプロセス回路１００内の信号処理部２１６で各種信号処理を施して、カードインタフェース２１０を介してメモリカード２０９に記録する。
また、図６は、撮像素子１２０を構成する各画素上に配置される３バンド以上の異なる分光感度特性を有するカラーフィルタアレイの例として、５バンドの分光感度特性を有するカラーフィルタアレイ（以下ＣＦＡ）を示している。ここで、Ｃ１画素は他のバンドの画素に比べてサンプル密度が高く、３バンドベイヤー配列におけるＧ画素と同様に市松状に配置されている。
なお、画像処理装置及びこれを含む撮像装置は、図３、図４及び図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態の画像処理装置又は撮像装置の一部又は全部の機能は、画像処理装置又は撮像装置と通信により接続されたサーバーにより実現されてもよい。
２．２ 処理の詳細
次に、図７のフローチャートを用いて本実施形態の処理の流れを説明する。
まず、撮像素子１２０からメモリ１０６に蓄えられたＲＡＷデータの読み出しフレームを設定し（Ｓ４０１）、メモリ１０６に複数フレーム分のＲＡＷデータが保持されているか否かの判定を行う（Ｓ４０２）。なお、ＲＡＷデータとは、画像処理前の撮像画像のデータのことを指す。
次に、１フレーム分のＲＡＷデータしかない場合には、１フレーム分のＲＡＷデータを読み込み、次のステップへ進む（Ｓ４０３）。
一方で、複数フレーム分のＲＡＷデータを保持している場合には、複数フレームのＲＡＷデータを読み込み（Ｓ４０４）、位置合わせ処理を行った後に次のステップへ進む（Ｓ４０５）。
そして、ステップＳ４０３又はステップＳ４０５の後に、参照バンドとして使用するバンドを選択する（Ｓ４０６）。後述するステップＳ４０９により参照バンド判別結果が得られている場合には、判別結果に基づき参照バンドを選択する。ステップＳ４０９の参照バンド判別結果が得られていない１フレーム目の場合には、ＣＦＡの中で最もサンプル密度の高いバンドとして、参照画像生成部１０３に予め記憶されているＣ１バンドを参照バンドとして選択する。
次に、ステップＳ４０３若しくはステップＳ４０４により得られたＲＡＷデータに対して、ステップＳ４０６で選択された参照バンドの補間処理を行い、参照画像を生成する（Ｓ４０７）。
そして、ステップＳ４０３若しくはステップＳ４０４により得られたＲＡＷデータに対して、ステップＳ４０７で得られた参照画像を用いて、参照バンドとして選択されていないバンドの補間処理を行い、補間画像を生成する（Ｓ４０８）。
さらに、生成した補間画像から被写体の色特性と最も強い相関を持つバンドを判別し、次のフレームの参照バンド判別結果とする（Ｓ４０９）。
次に、図７の処理の流れを、図８のフローチャートを用いて時系列に沿って示す。
１フレーム目は、メモリ１０６に１フレーム分のＲＡＷデータしか保持されておらず、さらに参照バンド判別結果も得られていないために、２フレーム目以降の処理とは異なっている。２フレーム目以降では、複数フレーム分のＲＡＷデータを使用し、さらに前フレームの補間画像から被写体の色特性と最も強い相関を持つバンドと判別されたバンドを参照バンドとして設定する。
次に、各ステップの処理の具体的な内容について詳細に説明する。まず、ステップＳ４０５の位置合わせ処理について説明する。
２枚の画像の位置合わせ処理では、画像間の位置ずれ量（動きベクトル）を算出し、この位置ずれ量をキャンセルするように各画素をシフトしながら基準となる画像の各画素に位置合わせを行う。
本実施形態では、位置ずれ量を求める手法としてブロックマッチング処理を用いる。ブロックマッチング処理では、基準フレーム画像において一定の大きさのブロック（例えば８画素×８ライン）に分割し、このブロック単位で前フレーム画像の一定範囲の画素との差を計算し、この差の絶対値の和（ＳＡＤ：Sum absolute difference）が最小となるブロックを探索する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ’において、画素位置をｐ∈Ｉおよびｑ∈Ｉ’、画素レベルをＬｐ、Ｌｑとすると、ＳＡＤは下記の式（１）で定義され、値が小さいほど相関が高いと評価する。なお、ｐ、ｑは２次元の値を持つ量であり、Ｉ及びＩ’は２次元の領域である。また、ｐ∈Ｉは、座標ｐが領域Ｉに含まれていることを示し、ｑ∈Ｉ’は、座標ｑが領域Ｉ’に含まれていることを示す。
そして、ブロックマッチング処理により得られた位置ずれ量に基づいて、前フレーム画像の位置ずれを補正する。
本実施形態では、ブロックマッチングにより位置ずれ量を算出し、位置合わせ処理を行う例を説明したが、当然この手法に限られるものではない。位相限定相関法や、ＳＩＦＴ等の特徴点マッチングを利用することも可能である。また、評価値もＳＡＤに限られるものではなく、下記の式（２）で表される二乗誤差（ＳＳＤ）や正規化相互相関ＮＣＣ等の他の指標値を用いることも可能であり、サブピクセル精度での処理も可能である。
次に、ステップＳ４０７の参照画像の生成処理について説明する。
本実施形態では、参照画像の生成処理においてガウシアン補間（ＧＩ）を用いる。ＧＩは、画素値を推定したい画素位置周辺の局所的な情報の重み付き平均として、画素値を推定する方法であり、画素位置ｘｐに対する推定画素値ＳＧＩ（ｘｐ）は下記の式（３）のように表される。
ここで、Ｎｘｐは画素位置ｘｐの周辺画素の画素位置集合を、ｘｉは画素位置集合Ｎｘｐ内の任意の画素位置を、Ｓ（ｘｉ）は画素位置ｘｉの画素値を、Ｍ（ｘｉ）は画素位置ｘｉのバイナリマスクを、ｋ（ｘｉ−ｘｐ）は画素位置ｘｐからの距離に基づく重みを、ωＧＩ（ｘｐ）は正規化係数、すなわち重みの和を表す。なお、バイナリマスクＭ（ｘｉ）は画素値が存在する場所で１、それ以外で０となる。
例えば、メモリ１０６に保持しているＲＡＷデータが１フレーム分であり、Ｃ１バンドを参照バンドとして選択して、参照画像を生成する例を図６に示す。図６の撮像画像ＰＩＭ９のように、ＲＡＷデータから取得したＣ１バンドの情報は市松状に配置されており、このデータに対して上記の補間処理を行うことにより、全画素位置にＣ１バンドの情報を持った参照画像ＲＩＭ９を生成する。
一方、メモリ１０６に保持しているＲＡＷデータが２フレーム分であり、Ｃ４バンドを参照バンドとして使用する例を図１０に示す。図１０の画像ＰＩＭ１０は、参照画像生成用の２フレームの撮像画像に対して位置合わせ処理を行った結果得られた画像である。そして、図１０の画像ＰＩＭ１０内には、参照バンドとして使用するＣ４バンドを明示的に示している。図６において、Ｃ４画素は画素位置（４、１）、（２、３）、（４、５）の３か所でしか情報を得られていないが、異なる撮像時刻で撮像位置がずれた２フレーム目の撮像画像と位置合わせ処理を行うことで、Ｃ４画素のサンプル密度が高くなっている（太枠で囲んだ画素が増えた画素を表す）。２フレーム分のＲＡＷデータを使用することで増えるＣ４画素が、どの画素位置になるかはステップＳ４０５の位置合わせ処理の結果により異なる。この場合も図９と同様に補間処理により、全画素位置にＣ４バンドの情報を持った参照画像ＲＩＭ１０を生成する。
次に、ステップＳ４０８の補間画像の生成処理について説明する。
本実施形態では、参照画像を用いた補間処理として、ガイデッドフィルタ（ガイデッドイメージフィルタ）を用いる。ガイデッドフィルタでは、出力画像は参照画像の線形変換で表されると考える。そして、下記の式（４）に示すように、画素値を推定したい画素位置ｘｐ周辺での局所領域のコスト関数Ｅ（ａｘｐ、ｂｘｐ）を最小化するように、最小二乗法により係数ａｘｐ及びｂｘｐが算出される。
ここで、ωｘｐは注目画素周辺に存在する信号成分の要素数を、Ｍｉ（）はバイナリマスクを、ａｘｐ、ｂｘｐは算出されるべき係数パラメータであり、計算開始時には適当な初期値が用いられる。また、Ｉｉは周辺画素に対応する参照画像の画素値を、ｐｉは信号成分の画素値を、εは所定の平滑化パラメータを表す。
そして、全画素に対する係数ａｘｐ及びｂｘｐが算出されると、補間対象となる信号成分を有さない画素に対して式（５）により出力画素値ｑｉが算出される。
本実施形態では、ステップＳ４０７で得られた補間画像を参照画像として使用し、参照画像とは異なるバンドを１バンドずつ補間対象の画像として使用する。参照画像を用いた補間処理を行うことで、参照画像の高周波成分を保持した補間画像を生成することが可能である。
なお、上記の説明では、参照画像は全てステップＳ４０７で得られた画像であるものとして説明したが、分光感度特性の相関を利用し、参照画像として用いる画像を順々に切り替えながら補間処理を行うことも可能である。例えば、図１１に示す分光感度特性を有するＣＦＡを用いる場合においては、まず参照バンドとしてＣ５バンドを選択している場合には、Ｃ５バンドを参照画像としてＣ４バンドの補間画像を生成し、次にＣ４バンドの補間画像を参照画像としてＣ１バンドの補間画像を生成してもよい。このように、分光感度特性が隣り合うバンドの画像を参照画像として使用して補間処理を行う。この処理により、参照バンドと相関の弱いバンドに対する補間処理においても、高周波成分を保持した補間画像が生成可能である。
次に、ステップＳ４０９の参照バンド判別処理について説明する。
参照バンドの判別には、ステップＳ４０８で得られた補間画像の各バンドの画像毎に高周波成分の検出を行い、最も多く高周波成分を含むバンドを被写体の色特性と最も相関の強いバンドとして判定する。
また、高周波成分の検出にはハイパスフィルタを使用する。ここで、ハイパスフィルタはラプラシアンフィルタであり、ラプラシアン演算の絶対値の総和が評価値として求められる。この処理をバンド毎に行い、評価値が最も高いバンドを選択する。
このように、補間画像から参照バンドを選択することで、ＲＡＷデータから選択するよりも高精度に高周波成分の検出を行うことが可能である。
本実施形態では、参照バンドの判別方法として高周波成分を検出する方法を用いたが、これに限定されるものではない。例えば簡易的な処理として、補間画像の各バンドの画像毎に輝度値の総和、平均値等の評価値を用いて判別することも可能である。被写体の色特性に強い相関を持つバンドの画像は、輝度値が高いことが想定されるため、輝度値による判断も有効である。輝度値により判断する場合であっても、ＲＡＷデータから選択するよりも補間画像から選択することで、高精度に参照バンドを選択することが可能である。
これらの処理により、被写体の色特性に関わらず高周波成分を多く含む解像感が高い補間画像の生成が可能となる。本実施形態では、ＣＦＡにおいてサンプル密度が低いバンドであっても、複数フレームのＲＡＷデータを使用することにより、サンプル密度の高いデータとして使用することができる。その結果、高周波成分を保持した参照画像を用いて補間処理を行うことができ、高精度な補間画像を生成することができる。さらに、参照バンドの判別処理を補間画像から行うことで、被写体の色特性と相関の高いバンドを高精度に選択することが可能となる。
また、本実施形態では、３バンド以上の異なる分光感度特性を有するＣＦＡの例として、図６に示す５バンドの分光感度特性を有するＣＦＡを用いて説明を行ったが、図１２に示す３バンドのベイヤー配列を用いても同様の処理が可能である。
さらに、本実施形態では、画像全体に対して１つのバンドを参照バンドとして使用したが、画像を複数の部分領域に分割し、部分領域毎に異なるバンドを参照バンドとして選択して、上記の処理を行ってもよい。部分領域毎に異なる参照バンドを使用することで、１つのシーン内で複数種類の色特性の偏った被写体が存在する場合でも、高周波成分を多く含む解像感が高い補間画像を生成することが可能である。本実施形態では、参照バンドの判別を前フレームの補間結果の画像から行うために、ＲＡＷデータの状態で参照バンドを選択する場合に比べて、部分領域内の各バンドのサンプル密度が高くなり、部分領域毎の参照バンドの判別をより正確に行うことが可能である。この効果は撮像素子１２０のバンド数が増える程に顕著となる。
また、上記では、使用するフレーム数が２フレームである場合について説明したが、当然３フレーム以上を使用して上記の処理を行うことも可能である。
２．３ 変形例
本変形例では、複数フレームの位置合わせ処理の結果、フレーム間に相関が無いと判定された場合には１フレームだけを使用するように補間画像生成処理の内容を切り替える例について説明する。
本変形例では、第１の実施形態の構成を基本としてデジタルプロセス回路１００内での処理が異なる。具体的には、図１３に示す通り、フレーム相関判定部１０８が新たに追加される。なお、フレーム相関判定部１０８の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
次に、本変形例での補間画像の生成処理の流れを図１４のフローチャートに示す。なお、図７に示す第１の実施形態と同様のステップについては説明を省略する。
ステップＳ１１０２において、メモリ１０６に複数フレーム分のＲＡＷデータを保持していると判定された場合には、複数フレーム分のＲＡＷデータを読み込み（Ｓ１１０４）、位置合わせ処理を行った後に（Ｓ１１０５）、複数フレーム間に相関があるか否かの判定を行う（Ｓ１１０６）。
この判定では、ステップＳ１１０５の位置合わせ処理時の位置ずれ量が所定の閾値θ１以上または評価値（ＳＡＤ）が所定の閾値θ２以上であれば、フレーム間には相関がないと判定する。
フレーム間に相関が無いと判定された場合には、読み込み対象のフレーム以外のフレームの情報を削除し（Ｓ１１０７）、少なくとも１フレーム分のＲＡＷデータを保持したまま次のステップへ進む。
一方で、フレーム間に相関があると判定された場合には、フレームの削除処理を行わずに（Ｓ１１０７）、参照バンド選択処理を行う（Ｓ１１０８）。
これら処理により、シーンが大幅に変わり、フレーム間に相関が無い場合でも、位置合わせ処理の精度低下によるアーティファクト発生を抑えることが可能となる。
３．第２の実施形態
３．１ システム構成例
本実施形態では、参照バンド選択部での判別結果に基づき、使用するフレーム数を切り替える例について説明する。
本実施形態では、図３に示す第１の実施形態の構成を基本としてデジタルプロセス回路１００内での処理が異なる。具体的には、図１５に示す通り、使用フレーム数決定部１０７が新たに追加される。なお、使用フレーム数決定部１０７の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
３．２ 処理の詳細
次に、本実施形態の補間画像の生成処理の流れを図１６のフローチャートを用いて説明する。なお、図７に示す第１の実施形態と同様のステップについては説明を省略する。
参照バンドを選択する際に、ステップＳ１３１０の参照バンド判別処理の結果が得られていない場合、もしくはステップＳ１３１０の参照バンド判別処理の結果がＣ１バンドだった場合には（Ｓ１３０３）、１フレーム分のＲＡＷデータを読み込み、次のステップへ進む（Ｓ１３０４）。参照バンドがＣ１バンドの場合には、１フレーム分のＲＡＷデータだけでもサンプル密度は高いため、複数フレーム分のＲＡＷデータを使用しなくても高周波成分を多く含む解像感が高い補間画像を生成することが可能である。
一方、参照バンドがＣ１バンドと異なる場合には、第１の実施形態と同様にメモリに複数フレーム分のＲＡＷデータが保持されているか判定を行い（Ｓ１３０５）、判定結果に応じたフレーム分のＲＡＷデータを読み込み（Ｓ１３０６）、次のステップへ進む。参照バンドがＣ１バンド以外の場合には、１フレーム分のＲＡＷデータだけではサンプル密度が低く、高周波成分を精度良く再現することが難しいために複数フレーム分のＲＡＷデータを使用する。
これら処理により、前フレームの補間画像から判別された参照バンドの種類に応じて、補間画像生成に必要なフレーム分のＲＡＷデータだけを読み込む処理を行うことが可能となる。一般的な被写体ではＣ１バンドを用いて１フレームで参照画像を生成できるために位置合わせ処理の簡略化、メモリの節約が可能となる。
３．３ 変形例
本変形例では、参照画像生成部１０３で使用するフレーム数と補間画像生成部１０４で使用するフレーム数を独立して設定する例について説明する。
本変形例では、図１５に示す第２の実施形態と同様のシステム構成をとるが、デジタルプロセス回路１００内での処理が異なる。具体的には、使用フレーム数決定部１０７と補間画像生成部１０４での処理が異なる。
次に、本変形例での補間画像の生成処理の流れを図１７のフローチャートを用いて説明する。なお、図７に示す第１の実施形態と同様のステップについては説明を省略する。
まず、メモリ１０６に複数フレーム分のＲＡＷデータが保持されているかの判定を行い（Ｓ１４０３）、メモリ１０６に複数フレーム分のＲＡＷデータが保持されていると判定した場合には、続けて参照バンドがＣ１バンドであるか否かの判定を行う（Ｓ１４０５）。
そして、参照バンドがＣ１バンドである場合には、参照画像を生成するために複数フレーム分のデータを使用するか否かの判定を行う（Ｓ１４０６）。ここで、予め使用フレーム数決定部１０７に設定されている情報を読み込む。参照バンドがＣ１バンドである場合には、第２の実施形態と同様に、１フレーム分のデータだけで参照画像を生成しても高精度な画像を生成可能である。ただし、複数フレームを使用することで、より高精度な参照画像を生成可能であるため、Ｃ１バンドが参照バンドの場合であっても複数フレーム分のデータを使用することは効果的である。
ステップＳ１４０６において、参照画像の生成処理で１フレーム分のデータのみを使用すると判定された場合には、続けて、補間画像の生成処理に複数フレーム分のデータを使用するか否かの判定処理を行う（Ｓ１４０７）。ステップＳ１４０７の判定処理では、過去フレームにおいて補間画像を生成するために使用したフレーム数と過去フレームの位置合わせ処理の結果に基づいて判定する。
例えば、過去フレームにおいて、補間画像を生成するために１フレームを使用していれば注目フレームでも１フレームのみを使用する。この場合には、１フレーム分の入力データを読み込み（Ｓ１４０４）、ステップＳ１４１６〜Ｓ１４１８の処理を行う。また、過去フレームにおいて、補間画像を生成するために複数フレームを使用していた場合には、過去フレームの位置合わせ処理時の情報からフレーム間に相関があるか否かの判定を行い、フレーム間に相関が無い場合には、注目フレームでは１フレームを使用する（Ｓ１４０４）。
一方、フレーム間に相関がある場合には、補間画像を生成するために注目フレームでも複数フレームを使用する。そして、ステップＳ１４０７で補間画像を生成するために複数フレーム分のデータを使用すると判定した場合には、複数フレーム分のＲＡＷデータを読み込み（Ｓ１４０８）、位置合わせ処理を行い（Ｓ１４０９）、ステップＳ１４１６〜Ｓ１４１８の処理を行う。
次に、ステップＳ１４０５で参照バンドがＣ１バンド以外である場合、もしくは参照バンドがＣ１バンドであってもステップＳ１４０６で参照画像の生成処理において複数フレーム分のデータを使用するとした場合には、複数フレーム分のＲＡＷデータを読み込み（Ｓ１４１０）、位置合わせ処理を行う（Ｓ１４１１）。
そして、読み込んだ複数フレーム分のＲＡＷデータに相関があるか否かの判定を行い（Ｓ１４１２）、相関がある場合にはそのまま次のステップへ進み、相関が無い場合には相関の無いフレームを削除してから（Ｓ１４１３）次のステップへ進む。
さらに、ステップＳ１４１２で複数フレームに相関があると判定された場合には、参照画像生成処理に使用するフレーム数を複数フレームに設定し、ステップＳ１４１２で複数フレームに相関が無いと判定された場合には、参照画像の生成処理に使用するフレーム数を１フレームに設定する（Ｓ１４１４）。
次に、ステップＳ１４１２で複数フレームに相関があると判定された場合には、予め使用フレーム数決定部１０７に記憶されている情報を読み込み、補間画像の生成処理において使用するフレーム数を１フレーム又は複数フレームのどちらかに設定する（Ｓ１４１５）。複数フレームを使用する方がより高精度な画像が生成可能であるが、処理時間やメモリ等を考慮し、１フレームを使用するように設定しておくことも可能である。一方で、ステップＳ１４１２で複数フレームに相関が無いと判定された場合には、補間画像の生成処理において使用するフレーム数を１フレームに設定する。そして、ステップＳ１４１６〜Ｓ１４１８の処理を行う。
以上のように、参照バンドがＣ１バンドの場合には、参照画像の生成処理及び補間画像の生成処理に使用するデータが、１フレーム分のデータだけであっても高精度な画像を生成可能である。ただし、補間画像の生成処理に複数フレーム分のデータを使用できる場合には、より高精度な画像を生成可能である。さらに、参照画像の生成において複数フレーム分のＣ１バンドを使用できる場合には、例えば補間画像の生成に使用するデータが１フレーム分のデータだけであっても、高精度な画像を生成可能であり、補間画像の生成にも複数フレーム分のデータを使用すれば、さらに高精度な画像を生成可能である。
一方で、参照バンドがＣ１バンド以外のバンドである場合には、参照画像の生成処理には複数フレーム分のデータを使用することで高精度な画像を生成可能である。ただし、複数フレーム間に相関が無い場合には、１フレームのみを用いて補間画像の生成処理を行うことで、位置合わせ処理の失敗による画質低下を避けることが可能になる。また、参照画像の生成処理において複数フレームを使用できる場合には、補間画像の生成処理にも複数フレーム分のデータを使用することで高精度な画像を生成可能である。一方、補間画像の生成処理に１フレーム分のデータだけを使用する場合であっても、参照画像の生成および補間画像の生成を１フレーム分のデータだけで行う場合に比べると、高精度な画像を生成可能である。さらに、参照画像を生成した後に過去のフレームのデータを削除することが可能となり、メモリの節約が可能となる。
これら処理により、前フレームの補間画像から判別された参照バンドの種類と使用するフレーム数に応じて、高精度な補間画像を生成可能となる。
４．本実施形態の手法
以上の本実施形態の手法について説明する。
本実施形態の画像処理装置は、複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子１２０を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部１０１と、取得された複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部１０２と、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部１０５と、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部１０３と、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部１０４と、を含む。
本実施形態では、出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、複数のバンドの中から参照画像生成用の参照バンドを選択する。この点が前述した特許文献１に開示されている手法と異なる。
ここで、参照バンドとは、撮像素子１２０が有するカラーフィルタアレイに配置されるカラーフィルタに対応する複数のバンドのうち、参照画像を生成するために用いられるバンドのことをいう。
そして、取得した複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する。
ここで、統合撮像データとは、複数フレーム分の撮像データの位置合わせ処理を行った結果、生成される画像データのことをいう。例えば、前述した図１０の画像ＰＩＭ１０は、２フレーム分の撮像データの位置合わせ処理を行った結果、取得された統合撮像データである。
さらに、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する。
ここで、統合撮像データにおける参照バンドに対応するカラーフィルタの画像データとは、例えば前述した図１０の例では、参照バンドがＣ４バンドであるため、画像ＰＩＭ１０中のＣ４バンドの画素値のことを指す。すなわち、図１０の例では、画像ＰＩＭ１０内に明示的に示したＣ４バンドの画素値が求められている画素以外の画素（白い空欄の画素）では、Ｃ４バンドの画素値が欠落した状態であるため、この欠落した画素に対して、Ｃ４バンドの画素値の補間処理を行い、図１０の画像ＲＩＭ１０のような参照画像を生成する。
また、参照画像とは、参照バンドの画像値のみが、全ての画素に対して求められた画像のことをいう。例えば、図１では画像ＲＩＭが、図９では画像ＲＩＭ９が、図１０では画像ＲＩＭ１０が参照画像である。
そして、統合撮像データにおける参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、参照画像に基づいて補間処理を行うことにより、補間画像を生成する。
ここで、補間画像とは、カラーフィルタアレイに配置されるカラーフィルタに対応する複数のバンドのうち、参照バンド以外の一つのバンドの画素値のみが、全ての画素に対して求められた画像のことをいう。例えば、図１では、画像ＩＩＭ１はＣ２バンドの補間画像であり、画像ＩＩＭ３はＣ３バンドの補間画像である。
よって、複数フレーム分の情報を使用して補間処理することで、サンプル密度が低いバンドでもフレームレートを維持したままサンプル密度の高い情報として使用することができ、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成可能となる。
また、参照バンド選択部１０５により選択された参照バンドの種類に基づいて、参照画像生成部１０３で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部１０７を含んでもよい。
これにより、参照バンドの種類に応じて、参照画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。例えば、図６のカラーフィルタアレイを用いる場合には、一般的な被写体では、最もサンプル密度の高いＣ１バンドを参照バンドとして用いる。その結果、１フレームで参照画像を生成できるために、位置合わせ処理の簡略化、メモリの節約が可能となる。
具体的に、参照画像生成用フレーム数を決定する際には、他のバンドに比べてサンプル密度の高いバンドが参照バンドである場合には、サンプル密度の低いバンドが参照バンドである場合に比べて、参照画像の生成時に用いるフレーム数を少なくしても良い。
すなわち、画像取得部１０１は、第１のカラーフィルタと、第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含むカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。そして、使用フレーム数決定部１０７は、参照バンドが第１のカラーフィルタに対応するバンドである場合には、参照画像生成用フレーム数を第１のフレーム数に決定し、参照バンドが第２のカラーフィルタに対応するバンドである場合には、参照画像生成用フレーム数を、第１のフレーム数よりも多い第２のフレーム数に決定してもよい。
例えば図６のカラーフィルタアレイを用いる場合には、第１のカラーフィルタはＣ１バンドであり、第２のカラーフィルタはＣ２バンド〜Ｃ５バンドのうちのいずれかのバンドである。
これにより、参照バンドのサンプル密度に応じて、参照画像生成用フレーム数を決定すること等が可能になる。
また、第１のカラーフィルタは、カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであってもよい。そして、第２のカラーフィルタは、カラーフィルタアレイにおいて、第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであってもよい。
すなわち、この場合には、第１のカラーフィルタは図６のＣ１バンドの画素のように市松状に配置され、第２のカラーフィルタはＣ２〜Ｃ５バンドの画素のようにＣ１バンドの画素以外の位置に配置される。
これにより、例えば、市松状に配置されたバンドが参照バンドの場合には、１フレーム分のデータだけでも高精度な参照画像を生成し、市松状に配置されていないバンドが参照バンドの場合にも、複数フレーム分のデータを使用することで高精度な参照画像を生成すること等が可能となる。
また、参照バンド選択部１０５により選択された参照バンドの種類に基づいて、補間画像生成部１０４で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部１０７を含んでもよい。
これにより、参照バンドの種類に応じて、補間画像を生成するために必要な数のフレームだけを読み出すこと等が可能となる。
前述したように補間画像は、参照バンド以外のバンドに対応する画像であるため、参照バンドがサンプル密度の高いバンドである場合には、補間画像はサンプル密度の低いバンドに対応する画像になる。そのため、補間画像生成用フレーム数を決定する際には、他のバンドに比べてサンプル密度の高いバンドが参照バンドである場合には、サンプル密度の低いバンドが参照バンドである場合に比べて、参照画像の生成時とは逆に、補間画像の生成時に用いるフレーム数を多くすることが望ましい。
すなわち、画像取得部１０１は、第１のカラーフィルタと、第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含むカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。そして、使用フレーム数決定部１０７は、参照バンドが第１のカラーフィルタに対応するバンドである場合には、補間画像生成用フレーム数を第３のフレーム数に決定し、参照バンドが第２のカラーフィルタに対応するバンドである場合には、補間画像生成用フレーム数を、第３のフレーム数よりも少ない第４のフレーム数に決定してもよい。
なお、第３のフレーム数は前述した第１のフレーム数と同じ数であってもよく、第４のフレーム数は前述した第２のフレーム数と同じ数であってもよい。
これにより、参照バンドのサンプル密度に応じて、補間画像生成用フレーム数を決定すること等が可能になる。
以上により、例えば市松状に配置されたバンドが参照バンドである場合に、参照画像を１フレーム分のデータから生成し、補間画像を複数フレーム分のデータから生成することが可能となり、高精度な補間画像が生成可能となる。
一方で、例えば市松状に配置されていないバンドが参照バンドである場合には、参照画像を複数フレーム分のデータから生成し、補間画像を１フレーム分のデータから生成することが可能となり、参照画像生成・補間画像生成の両方を１フレーム分のデータだけで行うよりも高精度な補間画像が生成可能となる。
また、撮像データのフレーム間の相関を判定するフレーム相関判定部１０８をさらに含んでもよい。そして、使用フレーム数決定部１０７は、フレーム相関判定部１０８の判定結果に基づいて、使用フレーム数を決定してもよい。
これにより、例えばシーンが大幅に変わり、フレーム間の相関が無い場合でも、位置合わせ処理の精度低下によるアーティファクト発生を抑えること等が可能となる。
また、参照バンド選択部１０５は、過去フレームにおける出力画像において、複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを参照バンドとして選択してもよい。
これにより、被写体の色特性に基づいて、補間画像の生成処理等を行うこと等が可能になる。
また、参照バンドは高周波成分を保持しているバンドを使う必要がある。
そこで、参照バンド選択部１０５は、過去フレームの出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、参照バンドを選択してもよい。
これにより、高精度に参照バンドを判別すること等が可能となる。また、前述したように過去フレームの出力画像により評価することで、ＲＡＷデータで評価するよりも高周波成分の検出をより高精度に行うことが可能となる。
また、参照バンド選択部１０５は、画像を複数の領域に分割した部分領域毎に、参照バンドを選択してもよい。
これにより、例えば部分領域毎に異なる参照バンドを使用することで、１つのシーン内で複数種類の色特性の偏った被写体が存在する場合でも、高周波成分を多く含む解像感が高い補間画像を生成すること等が可能となる。
また、画像取得部１０１は、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、第１のカラーフィルタとは異なる位置に配置され、第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含むカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。そして、参照画像生成部１０３は、参照バンド選択部１０５により参照バンドが未選択の場合には、第１のカラーフィルタの画像データに対して補間処理を行うことにより、参照画像を生成してもよい。
これにより、例えば、過去フレームの出力画像から参照バンドの情報が得られていない場合であっても、最もサンプル密度が高いバンドを参照バンドとして使用することで、他のバンドを参照バンドとして使用するよりも高精度な補間画像を生成すること等が可能となる。
また、画像取得部１０１は、分光感度特性が異なる４バンド以上のカラーフィルタが配置されたカラーフィルタアレイを有する撮像素子１２０を用いて撮像された複数フレーム分の撮像データを取得してもよい。
これにより、マルチバンド撮像素子を用いて補間画像を生成する場合においても、被写体の色特性に関わらず高周波成分を多く含む解像感が高い画像を生成すること等が可能となる。
なお、本実施形態の画像処理装置及び撮像装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の画像処理装置及び撮像装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像処理装置、撮像装置及びプログラムの構成、動作も、第１の実施形態又は第２の実施形態で説明したものに限定されず、種々の変形実施が可能である。
１００ デジタルプロセス回路、１０１ 画像取得部、１０２ 位置合わせ処理部、
１０３ 参照画像生成部、１０４ 補間画像生成部、１０５ 参照バンド選択部、１０６ メモリ、
１０７ 使用フレーム数決定部、１０８ フレーム相関判定部、１２０ 撮像素子、
２０２ 撮像レンズ系、２０３ レンズ駆動機構、２０４ レンズドライバ、
２０５ 露出制御機構、２０６ 露出制御ドライバ、２０７ 撮像素子ドライバ、
２０８ プリプロセス回路、２０９ メモリカード、２１０ カードインタフェース、
２１１ 画像表示系（ＬＣＤ）、２１２ 操作スイッチ系、２１３ 操作表示系、
２１４ 不揮発性メモリ（ＥＥＰＲＯＭ）、２１５ システムコントローラ、
２１６ 信号処理部

Claims (15)

  1. 複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
    取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
    出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
    前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
    前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部と、
    を含むことを特徴とする画像処理装置。
  2. 請求項１において、
    前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記参照画像生成部で使用する参照画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
  3. 請求項２において、
    前記画像取得部は、
    第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
    前記使用フレーム数決定部は、
    前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を第１のフレーム数に決定し、
    前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記参照画像生成用フレーム数を、前記第１のフレーム数よりも多い第２のフレーム数に決定することを特徴とする画像処理装置。
  4. 請求項３において、
    前記第１のカラーフィルタは、
    前記カラーフィルタアレイにおいて、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されるカラーフィルタであり、
    前記第２のカラーフィルタは、
    前記カラーフィルタアレイにおいて、前記第１のカラーフィルタとは異なる位置に配置されるカラーフィルタであることを特徴とする画像処理装置。
  5. 請求項１乃至４のいずれかにおいて、
    前記参照バンド選択部により選択された前記参照バンドの種類に基づいて、前記補間画像生成部で使用する補間画像生成用フレーム数を決定する使用フレーム数決定部を含むことを特徴とする画像処理装置。
  6. 請求項５において、
    前記画像取得部は、
    第１のカラーフィルタと、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
    前記使用フレーム数決定部は、
    前記参照バンドが前記第１のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を第３のフレーム数に決定し、
    前記参照バンドが前記第２のカラーフィルタに対応するバンドである場合には、前記補間画像生成用フレーム数を、前記第３のフレーム数よりも少ない第４のフレーム数に決定することを特徴とする画像処理装置。
  7. 請求項２乃至６のいずれかにおいて、
    撮像データのフレーム間の相関を判定するフレーム相関判定部をさらに含み、
    前記使用フレーム数決定部は、
    前記フレーム相関判定部の判定結果に基づいて、前記使用フレーム数を決定することを特徴とする画像処理装置。
  8. 請求項１乃至７のいずれかにおいて、
    前記参照バンド選択部は、
    前記過去フレームにおける前記出力画像において、前記複数のバンドのうち、被写体の色特性と最も強い相関を持つバンドを前記参照バンドとして選択することを特徴とする画像処理装置。
  9. 請求項１乃至８のいずれかにおいて、
    前記参照バンド選択部は、
    前記過去フレームの前記出力画像の高周波成分及び輝度の少なくとも一方の評価を行うことにより、前記参照バンドを選択することを特徴とする画像処理装置。
  10. 請求項１乃至９のいずれかにおいて、
    前記参照バンド選択部は、
    画像を複数の領域に分割した部分領域毎に、前記参照バンドを選択することを特徴とする画像処理装置。
  11. 請求項１乃至１０のいずれかにおいて、
    前記画像取得部は、
    奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置される第１のカラーフィルタと、前記第１のカラーフィルタとは異なる位置に配置され、前記第１のカラーフィルタよりもサンプル密度が低い第２のカラーフィルタとを含む前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得し、
    前記参照画像生成部は、
    前記参照バンド選択部により前記参照バンドが未選択の場合には、前記第１のカラーフィルタの画像データに対して前記補間処理を行うことにより、前記参照画像を生成することを特徴とする画像処理装置。
  12. 請求項１乃至１１のいずれかにおいて、
    前記画像取得部は、
    分光感度特性が異なる４バンド以上のカラーフィルタが配置された前記カラーフィルタアレイを有する前記撮像素子を用いて撮像された前記複数フレーム分の撮像データを取得することを特徴とする画像処理装置。
  13. 請求項１乃至１２のいずれかに記載の画像処理装置を含むことを特徴とする撮像装置。
  14. 複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得し、
    取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成し、
    出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択し、
    前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成し、
    前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成することを特徴とする画像処理方法。
  15. 複数のバンドのカラーフィルタがアレイ状に配置されたカラーフィルタアレイを有する撮像素子を用いて撮像された互いに撮像時刻の異なる複数フレーム分の撮像データを取得する画像取得部と、
    取得された前記複数フレーム分の撮像データの位置合わせ処理を行い、統合撮像データを生成する位置合わせ処理部と、
    出力画像を生成する基準フレームよりも過去の時刻のフレームである過去フレームにおける出力画像において、前記複数のバンドの中から参照画像生成用の参照バンドを選択する参照バンド選択部と、
    前記統合撮像データにおける前記参照バンドに対応するカラーフィルタの画像データに対して、補間処理を行うことにより、参照画像を生成する参照画像生成部と、
    前記統合撮像データにおける前記参照バンドとは異なるバンドに対応するカラーフィルタの画像データに対して、前記参照画像に基づいて補間処理を行うことにより、補間画像を生成する補間画像生成部として、
    コンピューターを機能させることを特徴とするプログラム。
JP2013012817A 2013-01-28 2013-01-28 画像処理装置、撮像装置、画像処理方法及びプログラム Active JP5738904B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013012817A JP5738904B2 (ja) 2013-01-28 2013-01-28 画像処理装置、撮像装置、画像処理方法及びプログラム
CN201380071521.XA CN104956669B (zh) 2013-01-28 2013-12-20 图像处理装置、摄像装置和图像处理方法
PCT/JP2013/084189 WO2014115453A1 (ja) 2013-01-28 2013-12-20 画像処理装置、撮像装置、画像処理方法及びプログラム
US14/541,608 US9237321B2 (en) 2013-01-28 2014-11-14 Image processing device to generate an interpolated image that includes a large amount of high-frequency component and has high resolution, imaging device, image processing method, and information storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013012817A JP5738904B2 (ja) 2013-01-28 2013-01-28 画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2014146872A true JP2014146872A (ja) 2014-08-14
JP2014146872A5 JP2014146872A5 (ja) 2014-11-27
JP5738904B2 JP5738904B2 (ja) 2015-06-24

Family

ID=51227253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013012817A Active JP5738904B2 (ja) 2013-01-28 2013-01-28 画像処理装置、撮像装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US9237321B2 (ja)
JP (1) JP5738904B2 (ja)
CN (1) CN104956669B (ja)
WO (1) WO2014115453A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063316A1 (ja) * 2014-10-23 2016-04-28 国立大学法人東京工業大学 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018096840A1 (ja) * 2016-11-24 2018-05-31 富士フイルム株式会社 画像処理装置、撮像装置、及び画像処理方法
CN111093459A (zh) * 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
CN108665423B (zh) * 2017-12-26 2022-04-29 西安电子科技大学 基于引导滤波和高通滤波的红外图像非均匀性校正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175590A (ja) * 2003-12-08 2005-06-30 Olympus Corp 画像補間装置及び画像補間方法
JP2008532449A (ja) * 2005-03-07 2008-08-14 ディーエックスオー ラブズ カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
JP2010028374A (ja) * 2008-07-17 2010-02-04 Toshiba Design & Manufacturing Service Corp 画像処理装置および画像信号の補間処理方法、画像処理プログラム
WO2012008143A1 (ja) * 2010-07-12 2012-01-19 パナソニック株式会社 画像生成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087806A (ja) 2001-09-12 2003-03-20 Fuji Photo Film Co Ltd マルチバンドカメラ用フィルターとその形成方法並びにこの方法のプログラム及びこれを記録した記録媒体
US7515747B2 (en) * 2003-01-31 2009-04-07 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
EP1837826A1 (en) * 2006-03-20 2007-09-26 Matsushita Electric Industrial Co., Ltd. Image acquisition considering super-resolution post-interpolation
JP4940086B2 (ja) 2007-10-03 2012-05-30 キヤノン株式会社 色処理装置およびその方法
JP5045421B2 (ja) * 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
JP5513978B2 (ja) * 2010-05-14 2014-06-04 パナソニック株式会社 撮像装置、集積回路および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175590A (ja) * 2003-12-08 2005-06-30 Olympus Corp 画像補間装置及び画像補間方法
JP2008532449A (ja) * 2005-03-07 2008-08-14 ディーエックスオー ラブズ カラーデジタル画像を使用する、機能すなわち鮮鋭度の変更を活動化する方法
JP2010028374A (ja) * 2008-07-17 2010-02-04 Toshiba Design & Manufacturing Service Corp 画像処理装置および画像信号の補間処理方法、画像処理プログラム
WO2012008143A1 (ja) * 2010-07-12 2012-01-19 パナソニック株式会社 画像生成装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063316A1 (ja) * 2014-10-23 2016-04-28 国立大学法人東京工業大学 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
CN106852190A (zh) * 2014-10-23 2017-06-13 国立大学法人东京工业大学 图像处理单元、拍摄装置、图像处理程序及图像处理方法
JPWO2016063316A1 (ja) * 2014-10-23 2017-08-03 国立大学法人東京工業大学 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
CN106852190B (zh) * 2014-10-23 2019-03-19 国立大学法人东京工业大学 图像处理单元、拍摄装置及图像处理方法
US10249020B2 (en) 2014-10-23 2019-04-02 Tokyo Institute Of Technology Image processing unit, imaging device, computer-readable medium, and image processing method

Also Published As

Publication number Publication date
US9237321B2 (en) 2016-01-12
US20150070533A1 (en) 2015-03-12
WO2014115453A1 (ja) 2014-07-31
CN104956669A (zh) 2015-09-30
CN104956669B (zh) 2017-03-08
JP5738904B2 (ja) 2015-06-24

Similar Documents

Publication Publication Date Title
JP5687676B2 (ja) 撮像装置及び画像生成方法
US8363123B2 (en) Image pickup apparatus, color noise reduction method, and color noise reduction program
US9179113B2 (en) Image processing device, and image processing method, and program
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
US9092883B2 (en) Image processing device, image processing method and storage medium storing image processing program
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
US8854511B2 (en) Apparatus and method for image processing and storage medium, and image pickup apparatus
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
US8373775B2 (en) Apparatus, method and software stored on a computer-readable storage medium, for reducing noise in an image
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
JP5738904B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JPWO2012153532A1 (ja) 撮像装置
JP6066866B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US8237829B2 (en) Image processing device, image processing method, and imaging apparatus
JP5600812B2 (ja) 撮像装置
US10382676B2 (en) Image display apparatus, image capturing apparatus, image display method, and storage medium
JP7415079B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP2011041094A5 (ja)
JP7286328B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5290734B2 (ja) ノイズ低減装置及びノイズ低減方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141009

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141009

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20141009

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150422

R151 Written notification of patent or utility model registration

Ref document number: 5738904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250