JP2023166546A - カラーフィルタアレイ及びカメラ - Google Patents

カラーフィルタアレイ及びカメラ Download PDF

Info

Publication number
JP2023166546A
JP2023166546A JP2023147591A JP2023147591A JP2023166546A JP 2023166546 A JP2023166546 A JP 2023166546A JP 2023147591 A JP2023147591 A JP 2023147591A JP 2023147591 A JP2023147591 A JP 2023147591A JP 2023166546 A JP2023166546 A JP 2023166546A
Authority
JP
Japan
Prior art keywords
filter
pixel
image
array
narrowband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023147591A
Other languages
English (en)
Inventor
ビュイトナー カーステン
Buettner Carsten
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Blackmagic Design Pty Ltd
Original Assignee
Blackmagic Design Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2018901038A external-priority patent/AU2018901038A0/en
Application filed by Blackmagic Design Pty Ltd filed Critical Blackmagic Design Pty Ltd
Publication of JP2023166546A publication Critical patent/JP2023166546A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

Figure 2023166546000001
【課題】イメージセンサから取得したＲＡＷ画像データをフィルタアレイにより処理する方法、装置及びフィルタアレイを提供する。
【解決手段】フィルタアレイを有するイメージセンサを使って受光して画像データを生成するカメラ１０において、イメージ捕捉システム１２のイメージセンサ１２Ａはピクセルアレイを含み、各ピクセルはフィルタアレイのフィルタエレメントに対応しており、それにより該ピクセルは対応するフィルタエレメントによって少なくとも一部が定義されたスペクトル応答を有する。フィルタアレイは、広帯域フィルタエレメントと少なくとも２タイプの狭帯域フィルタエレメントのパターンを含む。方法は、イメージセンサの各ピクセルの広帯域フィルタエレメント値を有する輝度画像を生成するステップを含む。
【選択図】図２

Description

本発明は画像処理方法に関し、特にイメージセンサから取得したＲＡＷ画像データをフィルタアレイにより処理する方法に関する。本発明はフィルタアレイにも関する。
デジタルカラーカメラは、通常、電荷結合素子（ＣＣＤ）や相補型金属酸化膜半導体（ＣＭＯＳ）センサであるイメージセンサを使って、現実シーンのカラー画像を電子的に捕捉する。イメージセンサは単色性であるので、デジタルカメラのメーカは現場の自然色を捕捉するために様々な解決方法を実行している。これらの解決方法はカラーチャネルごとに１つのセンサを用いる３つのセンサデバイスの使用、垂直色感知フォトサイトの使用、又は最も一般的にはカラーフィルタアレイを備えたシングルセンサデバイスの使用を含む。現在カラーイメージングに使われている最も費用対効果の高い方法の一つが、シングルセンサデバイスの利用であり、デジタルカメラに広く使用されている。
シングルセンサカメラにおいて、本質的にはカラーフィルタの空間的配列であるカラーフィルタアレイ（ＣＦＡ）は、通常はシングルイメージセンサの前方に配置されて、異なるスペクトル成分（色）を同時に捕捉する。ＣＦＡのフィルタはシングルイメージセンサのフォトサイトと空間的に相関し、各フォトサイトは対応するスペクトル選択フィルタを有する。シングルセンサカメラで捕捉されたＲＡＷ画像は、一般的に各フォトサイトにただ１つのカラーエレメントを有するモザイク状のグレースケール画像を構成する。ＲＡＷ画像はその後一連の画像処理ステップを経て捕捉された現実の情景をリアルに表す画像を生成する。
最も一般的に使用されるＣＦＡは、図１に示すようなレッド、グリーン、ブルーが交互に配置されたベイヤーＣＦＡである。各フォトサイトで捕捉されるのはただ１つのカラータイプなので、捕捉されたＲＡＷ画像はそれぞれ異なるフォトサイトのレッド、グリーン、ブルー値の「モザイク」である。「デモザイシング」として知られているプロセスにより各フォトサイトのフルカラー情報を生成する。このプロセスにおいて、フォトサイトの不足するカラー情報は補間プロセスにより隣接のフォトサイトから判定される。ベイヤーＣＦＡを備えたセンサでそのような３色画像を取得する場合、ＲＡＷ画像データ量はこのデモザイシングプロセスにより３倍に増加する。さらにはホワイトバランス、カラー変換、ノイズリダクション、トーンマッピング等のプロセスも必要となる。このような処理工程は以下のように実行される。
（１）上記画像処理工程はカメラが画像を記憶する前に実行され、記憶された画像はディスプレイ上でユーザがいつでも見られるようにする。捕捉した画像やビデオが直ちに見られることに対する要望が大きいため、ほとんどの民生用カメラのアプリケーションはＲＡＷ画像データをそれが記憶される前に処理するようにしている。
（２）上記の画像処理工程のいくつかは後処理に回しても良い。後処理にＲＡＷ画像データを適切なフォーマットでカメラに記憶することを含んでも良い。そのようなアプローチは業務用カメラのアプリケーションではより一般的である。両方のオプションにはそれぞれの長所と短所がある。
さらに、シングルカラーエレメント（例えばＲ，Ｇ，Ｂ）と広帯域（ホワイト）フィルタエレメントとの組み合わせを有するＣＦＡでイメージセンサを構成することに対して様々な提案がある。そのようなイメージセンサは感度を向上するために広帯域スペクトル（広帯域／ホワイト）フォトサイトを使用するとともに狭帯域フィルタのＲＧＢフォトサイトを介してカラー情報を提供する。これらの構成は狭帯域フォトサイトの一部を広帯域フォトサイトに置き換える等の技術に関連し、一般的にはＲＧＢフォトサイトの相対的な数量を減少させ、多くの場合フォトサイトの合計数を大幅に増加させるので（それに応じたフォトサイトのサイズの削減が必要となる）。ＲＧＢとホワイトフォトサイトの実際のレイアウトについては、ベイヤー配列の中にＲＧＢフィルタを維持して高分解能広帯域（ホワイト）イメージデータとともに低分解能カラー情報を捕捉する方法がある。
カラーと広帯域フィルタエレメントの両方を使うＣＦＡの一例を図４に示している。
カラー／広帯域組み合わせイメージセンサのフォトサイトで捕捉されたピクセル値をデモザイシングするために種々のアルゴリズムが知られている。例えば、特許文献１は、シンプルな係数のセットを用いて輝度及びカラーを導き出すシンプルな補間方法を記載している。しかしながらこの方法は、異なったフィルタカーネルサイズを伴うものであり、多くの場合、異なるピクセル位置（Ｇ対Ｗ対Ｒ／Ｂ）に対して異なるローパスフィルタ特性を有することになる。特許文献２～４に示される方法では、各セルに２色ピクセルを使用するためにほとんどスパースカラーサンプリングの場合に限り関連する。
特開２００４－３０４７０６号公報 米国特許第８２７４７１５号明細書 米国特許第８７１１４５２号明細書 米国特許出願公開第２０１１／００１２０１１号明細書
本発明はフォトサイトで捕捉された画像データの処理方法及びカラー／広帯域が組み合わされた画像カラーフィルタアレイを使って画像データを捕捉する装置を提供することを目的とする。
明細書に記載の従来技術の参照は、その従来技術が常識の一部であることを、裁判管轄を問わず承認又は示唆されるものではなく、あるいはその従来技術が当業者によって従来技術の別の部分に関連すると見なされ、及び／又はそれと組み合わされると見なされると合理的に予測できることが承認又は示唆されるものではない。
本発明の第１の態様によれば、カメラの画像データを処理する方法が提供され、該カメラは関連するフィルタアレイを有するイメージセンサを使って受光し画像データを生成するように構成され、前記イメージセンサはピクセルアレイを含み、各ピクセルはフィルタアレイのフィルタエレメントに対応しており、それにより該ピクセルは対応するフィルタエレメントによって少なくとも一部が定義されたスペクトル応答を有し、フィルタアレイは広帯域フィルタエレメントと少なくとも２タイプの狭帯域フィルタエレメントのパターンを含み、該方法はイメージセンサの各ピクセルの広帯域フィルタエレメント値からなる輝度画像を生成することを含む。
通常、フィルタカーネルをイメージセンサのピクセルに適用して広帯域フィルタエレメント値は算出される。フィルタカーネルは広帯域フィルタエレメントに対応するピクセルだけを使ってピクセルの広帯域フィルタエレメント値を算出することが望ましい。
フィルタカーネルはピクセルに対角に隣接する広帯域フィルタエレメントに対応するピクセルを結合してピクセルの広帯域フィルタエレメント値を算出しても良い。
ピクセルが広帯域フィルタエレメントに対応するかあるいは狭帯域フィルタエレメントに対応するかによって異なるフィルタカーネルが該ピクセルに適用されても良い。
１つの実施例では、フィルタカーネルは、２次元ガウシアンフィルタであるかまたはそれに近似している。
該方法は狭帯域フィルタエレメントに対応するピクセルだけを使って算出された、イメージセンサの各ピクセルの狭帯域フィルタエレメント値からなる第２輝度画像を生成するステップを含んでも良い。
該方法は輝度画像を第２輝度画像と組み合わせるステップを含んでも良い。
場合により、該方法は狭帯域フィルタエレメントに対応するピクセルだけを使って算出された、イメージセンサの各ピクセルの広帯域フィルタエレメント値からなる第３輝度画像を生成するステップを含んでも良い。
好ましくは、フィルタアレイは３タイプの狭帯域フィルタエレメントを含む。
一実施例によれば、ピクセルアレイは３タイプの狭帯域フィルタエレメントのそれぞれに対応して等しい密度のピクセルを含む。
フィルタアレイは輝度画像のスペクトル応答が第２輝度画像のスペクトル応答のプロファイルと略一致するプロファイルを有するように配置される。
本発明の他の態様によれば、カメラの画像データを処理する方法が提供され、前記カメラは関連するフィルタアレイを有するイメージセンサを使って受光し画像データを生成するように構成され、前記イメージセンサはピクセルアレイを含み、各ピクセルはフィルタアレイのフィルタエレメントに対応しており、それにより該ピクセルは対応するフィルタエレメントによって少なくとも一部が定義されたスペクトル応答を有し、フィルタアレイは広帯域フィルタエレメントと少なくとも２タイプの狭帯域フィルタエレメントのパターンを含み、該方法は広帯域フィルタエレメントに対応するピクセルの出力に基づいて広帯域輝度画像を生成することを含む。
好ましくは、フィルタアレイは広帯域ピクセルのスペクトル応答が狭帯域フィルタエレメントのスペクトル応答と略同一となるように配置される。
好ましくは、フィルタアレイは３タイプの狭帯域フィルタエレメント、例えば、タイプ１、タイプ２、タイプ３を含む。それぞれが異なる波長を中心とする通過帯域を有しても良い。狭帯域フィルタエレメントは厳密にはバンドパスフィルタではないが、他のフィルタが存在するために、アレイの中でそれらに対応するピクセルに対して通過帯域を形成する効果を有する、カットオフフィルタとなり得る。
好ましくは、ピクセルアレイは３タイプの狭帯域フィルタエレメントのそれぞれに対応して等しい密度のピクセルを含む。
該方法は狭帯域フィルタエレメントに対応するピクセルの出力に基づいて狭帯域輝度画像を生成することをさらに含む。
該狭帯域輝度画像は好ましくは狭帯域フィルタエレメントに対応するピクセルの出力から直接算出される。好ましくは、狭帯域輝度画像はカラープレーンイメージのピクセル値から導出されない。
狭帯域輝度画像を構成するピクセル値は狭帯域フィルタエレメント及び１以上のフィルタカーネルに対応するピクセルの出力から導出されることが望ましい。
該方法は好ましくは広帯域フィルタエレメント及び１以上のフィルタカーネルに対応するピクセルの出力に基づいて広帯域輝度画像を生成することを含む。
該広帯域輝度画像及び狭帯域輝度画像を算出するために同一のフィルタカーネルを使うことができる。
本発明は、少なくとも好ましい実施例において、組み合わされた狭帯域／広帯域イメージセンサの広帯域ピクセル値から高スペクトル応答の輝度画像を算出することに関わる。それによって、イメージセンサの光応答範囲が拡張する。一方、光応答範囲が拡張されたイメージセンサは感度が高くなり、高速のイメージをより良く捕捉できるようになる。
本発明を用いて生成した輝度画像は下流のデモザイシング、及び、ＥＰ３４１６１２８として公開された出願人の係属中のヨーロッパ特許出願に記載されている後処理動作に利用できる。このヨーロッパ特許出願は参照することによりその内容が本願に組み込まれる。
本発明のいくつかの実施例はビニングモードで都合よく動作するＣＦＡを含む。これらの実施例ではＣＦＡの単位胞は同一タイプのペアの広帯域フィルタエレメント及びペアの狭帯域フィルタエレメントを含むマクロセルを有している。通常これはマクロセルの対角線に沿ってピクセルのペアを配置することである。このような実施例により高感度となり高速読出しを行うことができる。
ビニングモードで動作する実施例において、３つの狭帯域フィルタピクセルタイプ間のピクセルタイプの相対的密度は１：１：１の比率を有し、狭帯域ピクセルと広帯域ピクセルペア間の感度の比率も同様である。
ビニングモードでは、ピクセルの各ペアの読出しは同時読出しであり、ピクセル値は結合されている。従って、ビニングされたピクセルの各ペアの感度は同じタイプの各個別ピクセルの感度よりも高い。イメージセンサからピクセル応答の全体数の半数のみを読み出せばよいので、全ての個別のピクセルを読み出すフル読出しモードと較べて同一の視野を維持しながら２倍のフレームレートを達成できるメリットがある。しかしながら、ビニングモードにおける動作の欠点は空間分解能が低下することである。
通常、輝度画像は各カラーピクセルのフォトサイトにおける広帯域コンテンツの推定を使って算出される。これらの推定は１以上の隣接する広帯域ピクセル値から補間することにより算出が可能である。
場合により、本方法は輝度画像と並行してフル分解能カラー画像を算出するステップを含んでも良い。ピクセル値のサブセットからローパスフィルタ処理された広帯域画像を算出することもできる。
本発明の他の態様によれば、狭帯域フィルタエレメントの各タイプの密度が等しい、３タイプの狭帯域フィルタエレメントと広帯域フィルタエレメントからなる１以上の繰り返し単位胞を含んだフィルタエレメントの２次元アレイからなるイメージセンサ用のフィルタアレイを提供する。
フィルタアレイは同数の広帯域フィルタエレメントと狭帯域フィルタエレメントとを含んでも良い。好ましくはフィルタアレイの単位胞は以下のフィルタエレメントを含む：
Ｔ１ｗＴ２ｗＴ３ｗ，ｗＴ１ｗＴ２ｗＴ３，Ｔ２ｗＴ３ｗＴ１ｗ，ｗＴ２ｗＴ３ｗＴ１，Ｔ３ｗＴ１ｗＴ２ｗ，ｗＴ３ｗＴ１ｗＴ２。但し、‘Ｔ１’はタイプ１狭帯域フィルタエレメントに対応し、‘ｗ’は広帯域フィルタに対応し、‘Ｔ２’はタイプ２狭帯域フィルタエレメントに対応し、‘Ｔ３’はタイプ３狭帯域フィルタエレメントに対応する。
望ましくは、タイプ１フィルタはレッドカラーフィルタである。望ましくは、タイプ２フィルタはグリーンカラーフィルタである。望ましくは、タイプ３フィルタはブルーカラーフィルタである。広帯域フィルタは、フィルタ処理がされていないピクセル、中性濃度フィルタ、あるいはタイプ１、タイプ２、タイプ３のフィルタに比べて広いパスバンドを有する他のフィルタを表しても良い。
上記方法は本願で説明するフィルタアレイの実施例を使って実施されることが望ましい。ここで使用される用語の“ｃｏｍｐｒｉｓｅ”及びその変化形の“ｃｏｍｐｒｉｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｅｄ”等は、文脈上別の解釈を必要とする場合を除き、さらなる添加物、コンポーネント、整数又はステップを除外することを意図しない。
本開示のさらなる形態及び先行するパラグラフに記載された形態のさらなる実施例は、例を挙げ添付図面を参照してなされる以下の説明によって明らかとなる。
本発明の実施例は以下に示す図面を参照することにより説明される。
ベイヤーＣＦＡを表す図である。 本願に記載する方法を実行可能なカメラの概略構成図である。 ＣＦＡ及び広帯域可変イメージセンサの代表的なスペクトル感度を表すグラフである。 その関連する感度グラフと共に既知のＲＧＢＷ ＣＦＡパターンを表す図である。この図において点線のボックスはイメージセンサ内に含まれる複数のフォトサイトをカバーするようにイメージセンサに適用される繰り返し「単位胞」を表現している。 その関連する感度グラフと共に本発明の一実施例に係るフィルタアレイを表している。 本発明の一実施例に係る第２フィルタアレイを表している。 広帯域及び３色フィルタエレメントを組み合わせた図４のＣＦＡを表している。図７はさらに３ｘ３フィルタカーネルを使用して輝度画像として利用できるフル分解能の広帯域ピクセルアレイを導出し、５ｘ５フィルタカーネルを使用してカラーフォトサイトから第２輝度画像を算出することを示しており、さらに広帯域ピクセルからローパスフィルタ処理された広帯域アレイを導出することを示している。 図５のＣＦＡ及びフル分解能の広帯域アレイを導出する３ｘ３フィルタの代表的なセット及びカラーピクセルから輝度信号を算出する、及び広帯域フィルタ処理されたピクセルからローパスフィルタ処理された広帯域画像を算出する７ｘ７フィルタの代表的なセットを示している。 図８のＣＦＡ、及びこのＣＦＡからクロミナンス画像を生成するための関連するフィルタカーネルを表している。
本発明の実施形態を具体的な例を参照して説明するが、発明の範囲はそのような例に限定されることはない。例えば、実施態様としてレッド、グリーン、ブルーのフィルタ処理されたピクセル及びフィルタ処理されていない（ホワイト）ピクセルを有するカラーフィルタアレイを備えるシングルセンサを使ったカメラの場合について説明する。しかしながら、本発明の実施形態はアレイの中に中性濃度フィルタを含む他の狭帯域フィルタと広帯域フィルタとの組み合わせと共に使用されてもよい。
図２は本発明に係る方法を実施することができるカメラ１０の概略構成を示す。カメラ１０は受光した光をＲＡＷ画像データに変換するように構成されたイメージ捕捉システム１２を含む。この例では、イメージ捕捉システム１２はイメージセンサ１２Ａ（例えばＣＣＤ又はＣＭＯＳイメージセンサチップやそれに類するもの）及び関連の光学フィルタ１２Ｂ（例えば、赤外線カットフィルタ又は光学ローパスフィルタ）を含む。さらに光学システム１４、例えばレンズがイメージセンサ上にイメージを形成するために設けられる。イメージセンサはフィルタの空間的な配列の形でカラーフィルタアレイ（ＣＦＡ）を含み、ＣＦＡはイメージセンサチップの前方に置かれ異なる位置に配置され個別に選択されるピクセルによって構成された画像を捕捉してカラー画像を生成できる。ＣＦＡのフィルタは単一のイメージセンサであるフォトサイトと空間的に相関しているので、各フォトサイトは対応のスペクトル選択フィルタを有する。
イメージ捕捉システム１２によって生成されたセンサＲＡＷビデオデータは画像処理サブシステム１８へ送られる。画像処理サブシステム１８はＡＳＩＣや、ＦＰＧＡや、関連ソフトウェアを備えたマイクロプロセッサ等の１以上のデータプロセッサを含み、様々な画像処理タスクを実行するように構成される。これらのタスクはそれに限定はされないが以下のタスクを含む：糸巻き型歪みなどの望まない光学的効果の補正、デモザイシング、ノイズリダクション、例えばデッドピクセルを除去し変換効率の変動を補正することによる捕捉されたビデオデータのピクセル間変動の補正等。ワーキングメモリ２０は画像処理及び／又は画像圧縮や他のタスクの間データやソフトウェアなどを一時的に記憶させるために設けられる。
画像処理サブシステム１８はさらにビデオエンコードシステム２２を含む。一般的にビデオエンコードシステム２２は１以上のビデオコーデックを実行可能にするソフトウェアをプロセッサに供給することにより動作する。このシステムはビデオデータをエンコードし任意のフォーマットに圧縮するために使うことができる。
画像処理サブシステム１８は、さらにフォーマット変換システム２４を有し、それはビデオ出力データをビデオ送信システム２６を介して送信することが可能なフォーマットに変換する。一般的に、ビデオ送信システム２６は、１個もしくは数個の送信プロトコルでコンパイルするビデオデータのみを送信するように構成される。フォーマット変換システム２４は、ビデオデータがビデオ送信システム２６へ送られる前に送信を可能にする前記ビデオ送信フォーマットの１つにビデオデータをフォーマット化するために設けられる。これはその元のフォーマットからビデオ送信システム２６の適切なビデオ送信フォーマット（の１つ）へビデオデータをコード変換することを含んでも良い。
ビデオ送信システムは少なくともビデオ出力ポートを有するビデオインターフェイスを介してビデオ出力データを送信（及びオプションとして受信）することができる。ビデオインターフェイスは双方向であってもよく、従ってビデオ入力ポートを含むこともできる。一例として、ビデオインターフェィスはＳＤＩインターフェイスであり、又は他の同様のインターフェイスであっても良い。
カメラはローカル不揮発性メモリ３０に記憶されるビデオデータ（及び他の任意のデータ）の非一時的記憶を制御するように構成された、メモリコントロールサブシステム２８の形でデータ記憶システムを有する。ローカルメモリ３０としてメモリカードまたは着脱式ハードドライブのような着脱式メモリを使用しても良い。しかし一般的には、メモリコントロールサブシステム２８は制御信号をローカルメモリ３０との間で送受信し、メモリ３０へのビデオデータの記憶とその検索を制御し，さらに記憶のためにデータを符号化又はフォーマット化するために配置される。メモリ３０はシリアルＡＴＡプロトコルに従って動作するソリッドステートドライブとすることができ、その場合、メモリコントロールサブシステムはＳＡＴＡドライブの動作をコントロールしＳＡＴＡドライブのデータの読出しと書き込みを管理する。
図２のカメラへの使用に適したフィルタアレイ５０、５１、５２の例が図４～図６に示されている。各フィルタアレイ５０、５１、５２は３タイプ（タイプ１、タイプ２、タイプ３）の狭帯域フィルタの組み合わせを有する。各タイプのフィルタは特有のパスバンドを有する。これらの例では、各フィルタタイプは特定のカラーを中心とするパスバンドを有し、従ってそのカラーで呼称される。例えば、レッドカラー波長を中心とするパスバンドを具備するフィルタエレメントは「レッド」ピクセルと呼び、図では“Ｒ”と表記する。ブルー波長を中心とする「ブルー」ピクセルは図では“Ｂ”と表記し、グリーン波長を中心とする「グリーン」ピクセルは図では“Ｇ”と表記する。本願のＣＦＡはさらに広帯域フィルタピクセルを含み、それは図で“Ｗ”と表記する。
図３（及び図４及び５のグラフ）は、本例の各フィルタエレメントタイプが適用される場合、異なる波長でのイメージセンサの感度を表している。該グラフは赤外カットオフフィルタも存在することを想定している。従って、グラフから分かるように、図示されるイメージセンサの応答は組み合わされたセンサピクセルの応答を表しており、ＣＦＡのフィルタエレメントのフィルタリング効果、さらには赤外カットオフフィルタなどの他のフィルタエレメントのフィルタリング効果も示している。グラフから分かるように広帯域フィルタに対応するピクセルの応答のピークはＲ，Ｇ，Ｂフィルタに対応するピクセルの組み合わされたスペクトル応答の中心付近にある。広帯域ピクセルの応答曲線は３つ全ての狭帯域フィルタの組み合わされた応答曲線よりも「広い」。
以下に詳細に説明するように、図５のフィルタアレイ５１は２次元の配列であり、即ちフィルタアレイ全体に繰り返される６ｘ６ピクセルパターン（単位胞）に配置されたカラーフィルタ及び広帯域フィルタである。図４は４ｘ４の単位胞に配置された３つの狭帯域フィルタと広帯域フィルタからなる他のカラーフィルタアレイの例を示している。前例と同様に狭帯域フィルタは“Ｒ”、“Ｇ”、“Ｂ”と表示されそれぞれレッド、グリーン、ブルーを中心とするパスバンドを具備するフィルタを表す。“Ｗ”ピクセルは図３に示されるパスバンドを具備する広帯域ピクセルである。
図６はさらにその「単位胞」が６ｘ２ピクセルである点において前の実施例とは異なるカラーフィルタアレイ５２を示している。
図４、５、６のカラーフィルタアレイから分かるように、それぞれが異なるＲＧＢＷピクセルの配置を有する。
図４に示された従来技術のカラーフィルタアレイ（ＣＦＡ）は通常のベイヤータイプパターンであって低い分解能のカラーフィルタＲＧＢを維持している。そのような配置はＲＧＢピクセル間で１：２：１のサンプリング比率を実現し、「単位胞」毎にレッド１、グリーン２、ブルー１あるいは図４に示すようにレッド２、グリーン４、ブルー２の代表的なＲＧＢベイヤアレイを構成する。
さらに図４は図４のＣＦＡに従って配置されたレッド、グリーン、ブルーピクセルの感度をその広帯域ピクセルの感度と比較するグラフも示している。上側のグラフはＲＧＢピクセルの個別の感度を点線で示す。広帯域ピクセルの感度は実線で示す。上側のグラフは比較を容易にするために全ての数値は広帯域ピクセルのピーク感度に対し正規化されている。
図４の破線は図４の単位胞５０のＲＧＢピクセルから算出された輝度値Ｙのスペクトル感度を表す。ＹはＹ＝（Ｒ＋２Ｇ＋Ｂ）／４として算出される。この数値は図４のイメージセンサの単一のフォトサイトにおける輝度感度を表している。この算出の詳細については図７に関連して説明する。重要なことは、広帯域ピクセルが狭帯域から導出された数値より高い感度を示すことがこの正規化された数値から分かることである。
図４の下側グラフにおいてＲ，Ｇ，ＢピクセルのＹ値は（３倍に）拡大されてそのスペクトル応答と広帯域ピクセルのスペクトル応答との比較を容易にしている。グラフから分かるようにＹ値の感度は長い波長（例えば６２０ｎｍ以上）でＷ値（広帯域ピクセルの感度）の軌跡と重なるが、グリーンフィルタの中心周波数の近辺でより顕著なピークを示す。この主な原因はグリーンピクセルが図４のＣＦＡにおいて２倍の密度を持つためである。
以下に説明するように、この狭帯域ピクセルと広帯域ピクセル間の感度の不一致は図４のＣＦＡを使う場合に輝度画像の算出に影響を及ぼす。
図５については、ＣＦＡの「単位胞」がＲＧＢＷピクセルの６ｘ６のマトリクスであることが分かる。
フィルタアレイ５１は、図４で示されたものに比べて、グリーンカラーフォトサイトの数が減少しレッドカラー及びブルーカラーフォトサイトの密度が増加している。図４で示されたアレイ５０が１２．５％のレッドピクセルと１２．５％のブルーピクセルで構成されているのに対して、図５のフィルタアレイ５１はこれらのカラーフォトサイトをそれぞれ１６．７％のレッドピクセル及びブルーピクセルに増加している。フィルタアレイ５１は１６．７％のグリーンカラーフォトサイトも有している。これにより全てのカラー情報がＣＦＡから導出される。しかし、精細な画像細部に対する分解能とともにその感度がこれら全てのＲＧＢＷアレイにある広帯域ピクセルによって達成されるため、大きな不利益を被ることなくグリーンピクセルを減らすことができる。
図５のＣＦＡにおける別の利点は、レッド、グリーン、ブルーカラーのフォトサイトの１：１：１サンプリングがその感度グラフに認められることである。図５において上方のグラフはＲ、Ｇ、Ｂピクセルの個々の感度を点線で示す。広帯域ピクセルの感度は実線で示される。前述のように比較を容易にするために全ての数値は広帯域ピクセルのピーク感度に対し正規化されている。
図５の破線は図５の単位胞５１のＲ、Ｇ、Ｂピクセルから算出された輝度値Ｙのスペクトル感度を表している。ＹはＹ＝（Ｒ＋Ｇ＋Ｂ）／３として算出される。この数値は図５のイメージセンサにおける単一のフォトサイトの輝度感度を表す。この算出の詳細については図８に関連して説明する。重要なことは、広帯域ピクセルが狭帯域から導出された数値より高い感度を示すことがこの正規化された数値から分かることである。
前述のように下側グラフは広帯域ピクセルとのスペクトル応答の比較を容易にするためにＲ，Ｇ，ＢピクセルのＹ値を（３倍に）拡大している。グラフから分かるようにＹ値の感度は広帯域フィルタパスバンド全体にわたってＷ値の軌跡とほぼ重なっている。このほとんどマッチングすることの利点については後述する。
図５の実施例のさらなる利点は、それがビニングモードで動作しそれにより感度と読出し速度が向上することである。図５から分かるように、図５のＣＦＡの単位胞５１は一対の広帯域フィルタエレメント（Ｗ）と一対の同じタイプの狭帯域フィルタエレメントを含むマクロセルに分解できる。参照番号５５で示すマクロピクセルはその対角線に沿って配置された一対のレッド狭帯域フィルタエレメントと一対の広帯域フィルタエレメントを含む。水平に隣り合うマクロピクセルはグリーンタイプのフィルタエレメントであり、その隣のマクロピクセルはブルータイプのフィルタエレメントである。ビニングモードにおいて各マクロピクセルの一対のピクセルの読出しは同時に行われそのピクセル値は結合される。従って各ビニングされたピクセルのペアの感度は同じタイプの各個のピクセルの感度よりも高い。
メリットとしては、ピクセル応答の全体数のうち半分のみをイメージセンサから読み出せば済むので、全てのピクセルを個々に読み出すフル読出しモードに比べ同一の視野を維持しながらフレームレートを２倍にできる。しかし、ビニングモードの動作の欠点は、空間分解能が低下することである。
図６はさらに代替のＣＦＡ５２を示す。ＣＦＡ５２も単に６ｘ２の単位胞を用いてレッド、グリーン、ブルーのピクセル間で１：１：１のサンプル比率を達成する。図６のＲＧＢピクセルから生成される輝度感度曲線は各タイプで同一のピクセル密度を有するので、図５の輝度感度曲線と一致する。前述のように、図５及び図６のＣＦＡのＲ，Ｇ，Ｂピクセルから算出されたＹ値の感度は広帯域フィルタパスバンドの全体にわたってＷ値の感度とほぼ重なっている。これにより図５、及び６のＣＦＡを使って生成された輝度画像のダイナミックレンジを拡張するように図５、及び６のＣＦＡを使用することができるメリットがある。広帯域フィルタと空間的に相関するフォトサイトのみを使用する場合に比べて、カラーフィルタから算出された輝度画像は関連動作するイメージセンサの光応答範囲を拡張するメリットがある。これは広帯域フィルタに対応するフォトサイトに比べて、狭帯域（カラー）フィルタに対応するフォトダイオードがより高い飽和露光量を必要とするからである。
これに関連して、図５、図６のＣＦＡは２つの輝度画像（狭帯域フィルタピクセルによる画像と広帯域フィルタピクセルによる画像）を生成するように使用できる。２つの輝度画像はスペクトルレンジにわたって異なる絶対感度を有するが、スペクトル感度のプロファイルは一致している。このことは、明るい環境では（飽和を避けるために）輝度画像は低感度の輝度画像に偏るように算出され、光量が少ない環境又はフレームレートが高い環境では輝度画像は高感度の輝度画像に偏るように算出され、その結果、生成される画像にそれと分かるカラー変化が生じないことを意味している。実施例によっては必要に応じて２つの輝度画像間での切り替えや、あるいはそれらを組み合わせることが可能である。
しかし図６の実施例はビニングモードで動作できないことに留意すべきである。それは図６の実施例が図５の実施例のようにマクロピクセルの狭帯域フィルタのペアを含んでいないからである。
これらのメリットは図４及び５のＣＦＡを使用して輝度画像を生成するプロセスを説明することで理解することができる。図７、８はそれぞれのＣＦＡを使って撮像された画像から複数の輝度画像を生成するメカニズムを説明する。一方、図９は図５のＣＦＡを使って撮像された画像からクロミナンス画像を生成する様子を説明する。
図７は既知のＣＦＡを使ってこのプロセスを説明する。図においてＣＦＡ５０は上部左側に示される４ｘ４の単位胞を含んで描かれている。図から分かるように、ＣＦＡ５０は図４のＣＦＡと同じである。このＣＦＡから図示の３ｘ３フィルタのペアを使ってフル分解能の広帯域画像を生成できる。図示のフィルタカーネルはフィルタでカバーされるピクセル値の加重和に適用される重み付けを表している。選択されたフィルタカーネルは単純化された係数を使って特定幅の２次元ガウシアンフィルタを近似する。しかし、より複雑なフィルタを使って同じ方法を実行することも可能であり、目標に向けて周波数応答を向上することができ、例えば、広帯域ピクセルの輝度画像の精細な細部を維持できる。
広帯域ピクセル値を算出するためにＲ，Ｇ，Ｂピクセルに対応するピクセルに対し上部の３ｘ３フィルタカーネルが使用される。これは、水平方向及び垂直方向に隣接する広帯域ピクセル値を結合することにより（提示されたフィルタカーネルに従って２が乗算されて）実行される。広帯域ピクセルに対応するピクセルに対しては、下部の３ｘ３フィルタカーネルが使用される。“Ｗ”ピクセルの広帯域ピクセル値を算出するために（４倍に重み付けられた）ピクセル値が対角方向に隣接するＷピクセル値と結合されて新しいピクセル値を生成する。このように生成されたフル分解能の広帯域画像は高感度の輝度画像を表す。高感度の広帯域ピクセル値から導かれるので画像は「高感度」となる。２番目に高い分解能の輝度画像が狭帯域（カラー）ピクセル値から生成される。これは、図７の中央の列に表される５ｘ５のフィルタカーネルを使用して実行される。Ｒ，Ｇ，Ｂ値に対応するピクセルに対し右端のフィルタカーネルが使用される。上記のように、フィルタカーネル内の（数値で）表される位置にある現在のピクセルの周囲に空間的に配置されたピクセル値が加重和で結合されてそのピクセル値を生成する。これによって１：２：１の比率でＲ，Ｇ，Ｂのピクセルの結合を実現し、すぐ隣のピクセルにはより重く重み付けがなされ該ピクセルから遠ざかるにつれて重み付けは次第に減少することが分かる。同様に、広帯域ピクセル位置に対応する値を生成するために、左側フィルタカーネルが使用される。フィルタカーネルは注目するピクセルの周囲のＲ，Ｇ，Ｂピクセルの加重和を実行する。このフィルタカーネルが比率１：２：１のＲ，Ｇ，Ｂピクセル値の結合を示すピクセル値を生成することは前述した通りである。結果として得られる画像は画像内カラーピクセル値から生成された輝度画像を示す。Ｒ，Ｇ，Ｂピクセルはフィルタにかけられるので、広帯域ピクセルのように容易に飽和することはなく、従ってこの第２の輝度画像は輝度の高い状況での使用において有用である。実施例によっては、広帯域ピクセルから生成された輝度画像の飽和レベルが飽和に近づけば２つの輝度画像をスイッチしても良い。しかし他の実施例では、例えば、中間の光レベルでは輝度画像値をブレンドする一方、高い又は低い光レベルでは一方又は他方の輝度画像の単独使用に移行させる望ましいアルゴリズムを使用することによって例えばこれらの輝度画像を組み合わせて２つの輝度画像を同時に使うことができる。同じ５ｘ５フィルタカーネルはローパスフィルタ処理された広帯域画像をフル分解能で生成するために使用することもできる。
広帯域ピクセルのローパスフィルタ処理された広帯域アレイは低ノイズを実現する一方でカラーフォトサイトにより算出された輝度画像と同様の空間周波数応答を維持する。これによって、広帯域ピクセルが飽和状態に近づく際に本発明のダイナミックレンジを拡張する方法をシンプルにすることができる。
適切なデモザイシング方法を使用してＲ，Ｇ，Ｂ，Ｗのピクセル値に対するカラープレーンイメージを別々に生成することが理解されるであろう。クロミナンス画像も適切なフィルタを使うことで生成できる。
上記のように、フィルタアレイ５０と関連して動作するイメージセンサも、対角線上に隣接するフォトサイトの結合された電荷や電圧を読み取るピクセルのビニングモードにより動作させることができる。このように電荷や電圧を結合させて読み取ることにより、そのような「ダブルピクセル」の感度を高めるとともにフル分解能に基づいた読出しに関わる方法に比べて読出しを必要とするピクセルの全体数を低減できる。この動作方法によりピクセルアレイの光学的サイズを同じサイズに維持するとともに２倍のフレームレートを効果的に達成できる。ピクセルアレイの光学的サイズを保つことでカメラの視野が変わらない利点が生じる。
さらに、結合されたダブルカラーピクセルとダブル広帯域ピクセル間の感度比はフル分解能モードのシングルカラーピクセルと広帯域ピクセル間の感度比と変わらない。結合されたダブルカラーピクセルと広帯域ピクセル間であってもシングルピクセルの場合と同様のダイナミックレンジの拡張が達成される。
この点に関し、図８は図５の６ｘ６ＣＦＡフィルタの使用を例示する。このＣＦＡから図示の一対の３ｘ３フィルタを使ってフル分解能の広帯域画像を生成することができる。図示のフィルタカーネルはフィルタによってカバーされるピクセル値の加重和に適用される重み付けを表している。先の実施例と同様に選択されたフィルタカーネルは単純化された係数を使って特定幅の２次元ガウシアンフィルタを近似している。しかし必要に応じて他のフィルタを使うこともできる。
広帯域ピクセル値を算出するためにＲ，Ｇ，Ｂピクセルに対応するピクセルに対し上部の３ｘ３フィルタカーネルが使用される。これは、水平方向及び垂直方向に隣接する広帯域ピクセル値を結合することにより（提示されたフィルタカーネルに従って２が乗算されて）実行される。広帯域ピクセルに対応するピクセルに対しては、下部の３ｘ３フィルタカーネルが使用される。“Ｗ”ピクセルに対応するフォトサイトの広帯域ピクセル値を算出するために（４倍に重み付けられた）対応するピクセル値が対角方向に隣接するＷピクセル値と結合されて新しいピクセル値を生成する。このように生成されたフル分解能の広帯域画像は高感度の輝度画像を表す。２番目に高い分解能の輝度画像がカラーピクセル値から生成される。これは、図８の中央の列に表される７ｘ７のフィルタカーネルを使用して実行される。Ｒ，Ｇ，Ｂ値に対応するピクセルに対し右端のフィルタカーネルが使用される。上記のように、フィルタカーネル内の（数値で）表される位置で現在のピクセルの周囲に空間的に配置されたピクセル値が結合されて該ピクセル値を生成する。これによって１：１：１の比率でＲ，Ｇ，Ｂのピクセルの結合を実現し、すぐ隣のピクセルにはより重く重み付けがされ該ピクセルから遠ざかるにつれて重み付けは次第に減少することが分かる。同様に、広帯域ピクセル位置に対応する値を生成するために、左側フィルタカーネルが使用される。フィルタカーネルは注目画素を囲むＲ，Ｇ，Ｂピクセルの加重和を実行する。このフィルタカーネルが比率１：１：１のＲ，Ｇ，Ｂピクセル値の結合を表すピクセル値を生成することは前述した通りである。結果として得られる画像は画像内カラーピクセル値から生成された輝度画像を表す。Ｒ，Ｇ，Ｂピクセルはフィルタにかけられるので、広帯域ピクセルのように容易に飽和することはなく、従ってこの第２の輝度画像は輝度高い状況での使用において有用である。さらに、図５に関連して図示されるように、スペクトルレンジにまたがる両方の輝度画像の感度はうまくマッチするので、画像の色感度はどちらの輝度画像が使われたとしても比較的に一定となる。
実施例によっては広帯域ピクセルから生成される輝度画像の飽和レベルで算出されるように２つの輝度画像間で切り替えを行うことが可能である。しかし他の実施例では、例えば、中間の光レベルでは輝度画像値をブレンドする一方、高い又は低い光レベルでは一方又は他方の輝度画像の単独使用に移行させる望ましいアルゴリズムを使用することによってこれらの輝度画像を組み合わせて２つの輝度画像を同時に使うことができる。
（フル分解能の）ローパスフィルタ処理された広帯域画像がＲＢＧ輝度画像を算出するために使用する７ｘ７フィルタを使って生成される。
広帯域ピクセルのローパスフィルタ処理された広帯域アレイは低ノイズを実現する一方でカラーフォトサイトにより算出された輝度画像と同様の空間周波数応答を維持する。これによって、広帯域ピクセルが飽和状態に近づく際に本発明のダイナミックレンジを拡張する方法をシンプルにすることができる。
フィルタアレイ５１と関連して動作するイメージセンサも対角線上に隣接するフォトサイトの結合された電荷や電圧を読み取ることにより動作させることができる。このように電荷や電圧を結合させて読取ることにより、そのような「ダブルピクセル」の感度を高めるとともにフル分解能に基づいた読取に関わる方法に比べて読出しを必要とするピクセルの全体数を低減できる。この動作方法によりピクセルアレイの光学的サイズを同じサイズに維持するとともに２倍のフレームレートを効果的に達成できる。ピクセルアレイの光学的サイズを保つことでカメラの視野が変わらない利点が生じる。
さらに、結合されたダブルカラーピクセルとダブル広帯域ピクセル間の感度比はフル分解能のモードでのシングルカラーピクセルと広帯域ピクセルの感度比と変わらない。結合されたダブルカラーピクセルと広帯域ピクセル間であってもシングルピクセルの場合と同様のダイナミックレンジの拡張が達成される。図９は図５の６ｘ６ＣＦＡを使って捕捉された画像からクロミナンス画像を算出するために使用されるフィルタカーネル５６、５７のセットを示している。クロミナンス画像Ｃｂ及びＣｒはフル分解能の４分の１の分解能で指定のサイトに生成される。左端のクロミナンス画像はＢ－Ｇチャネルを表し、７ｘ７フィルタカーネル５６を使って生成されて所定のピクセルに適当なＣｂ値を算出する。例えばＣｂクロミナンス画像において２ｘ２ＲＷ、ＷＲマクロピクセル（レッドマクロピクセル）にあるホワイトピクセルのＣｂ値は左端のフィルタカーネルを使って生成される。グリーンマクロピクセルに位置するホワイトピクセルのＣｂ画像は中央のフィルタカーネルに対応し、ブルーマクロピクセルに位置するホワイトピクセルのＣｂ値は右端のフィルタカーネルを使う。
右端のクロミナンス画像ＣｒはＲ－Ｇチャネルを表し、７ｘ７フィルタカーネル５７を使って生成される。例えばＣｒクロミナンス画像において２ｘ２ＲＷ、ＷＲマクロピクセル（レッドマクロピクセル）にあるホワイトピクセルのＣｒ値は右端のフィルタカーネルを使って生成される。グリーンマクロピクセルに位置するホワイトピクセルのＣｒ画像は中央のフィルタカーネルに対応し、ブルーマクロピクセルに位置するホワイトピクセルのＣｒ値は右端のフィルタカーネルを使う。
クロミナンス画像は輝度画像とともに使用可能であり、画像データは通常４：２：０の（ＥＰ３４１６１２８に記載されている）サンプリングフォーマットで記憶する。上述したように、モニタリングやストリーミング（ライブプロダクション）用の代表的なＲＧＢやＹＵＶ４２２フォーマットでビデオ出力を生成するために、ホワイトバランス、カラー変換、ノイズリダクション、トーンマッピング等の付加的プロセスを実行することが一般的に有利である。
この明細書で開示され定義された発明は、テキストや図面によって示された又はそれにより明白な２つ以上の個別の特徴の全ての代替可能な組み合わせに拡張できることが理解されるであろう。これら異なる組み合わせの全てが本発明の多様でかつ代替可能な発明の態様を構成する。

Claims (18)

  1. カメラの画像データを処理する方法であって、前記カメラは関連するフィルタアレイを有するイメージセンサを使って受光し画像データを生成するように構成され、前記イメージセンサはピクセルアレイを含み、各ピクセルは前記フィルタアレイのフィルタエレメントに対応しており、それにより該ピクセルは対応するフィルタエレメントによって少なくとも一部が定義されたスペクトル応答を有し、前記フィルタアレイは、広帯域フィルタエレメントと少なくとも２タイプの狭帯域フィルタエレメントのパターンとを含み、前記方法は、前記イメージセンサの各ピクセルの広帯域フィルタエレメント値を有する輝度画像を生成するステップを含むことを特徴とする、方法。
  2. フィルタカーネルを前記イメージセンサのピクセルに適用することにより広帯域フィルタエレメント値が算出されることを特徴とする、請求項１に記載の方法。
  3. 前記フィルタカーネルは、広帯域フィルタエレメントに対応するピクセルのみを利用してピクセルの広帯域フィルタエレメント値を算出することを特徴とする、請求項２に記載の方法。
  4. 前記フィルタカーネルは、該ピクセルに対角線上に隣接する広帯域フィルタエレメントに対応するピクセルを組み合わせて、該ピクセルの広帯域フィルタエレメント値を算出することを特徴とする、請求項３に記載の方法。
  5. 前記ピクセルが広帯域フィルタエレメントに対応するか又は狭帯域フィルタエレメントに対応するかによって、異なるフィルタカーネルが該ピクセルに適用されることを特徴とする、請求項４に記載の方法。
  6. 前記フィルタカーネルは、２次元ガウシアンフィルタまたはそれに近似することを特徴とする、請求項４に記載の方法。
  7. 狭帯域フィルタエレメントに対応するピクセルのみを使って算出された、イメージセンサの各ピクセルの狭帯域フィルタエレメント値からなる第２輝度画像を生成するステップを含むことを特徴とする、請求項１に記載の方法。
  8. 前記輝度画像を前記第２輝度画像と組み合わせるステップを含むことを特徴とする、請求項７に記載の方法。
  9. 狭帯域フィルタエレメントに対応するピクセルのみを使って算出された、イメージセンサの各ピクセルの広帯域フィルタエレメント値からなる第３輝度画像を生成するステップを含むことを特徴とする、請求項７に記載の方法。
  10. 前記フィルタアレイは３タイプの狭帯域フィルタエレメントを含むことを特徴とする、請求項１に記載の方法。
  11. 前記ピクセルのアレイは３タイプの狭帯域フィルタエレメントのそれぞれに対応して等しい密度のピクセルを含むことを特徴とする、請求項１０に記載の方法。
  12. 前記フィルタアレイは、前記輝度画像のスペクトル応答が前記第２輝度画像のスペクトル応答のプロファイルと略一致するプロファイルを有するように配置されることを特徴とする、請求項７に記載の方法。
  13. ３タイプの狭帯域フィルタエレメントと、広帯域フィルタエレメントとを有する１以上の繰り返し単位胞を含んだフィルタエレメントの２次元アレイを有するイメージセンサ用のフィルタアレイであって、狭帯域フィルタエレメントの各タイプの密度が等しいことを特徴とする、フィルタアレイ。
  14. 同数の広帯域フィルタエレメントと狭帯域フィルタエレメントとを含むことを特徴とする、請求項１３に記載のフィルタアレイ。
  15. フィルタアレイの単位胞は以下のフィルタエレメントを含むことを特徴とする、請求項１３に記載のフィルタアレイ：
    Ｔ１ｗＴ２ｗＴ３ｗ，ｗＴ１ｗＴ２ｗＴ３，Ｔ２ｗＴ３ｗＴ１ｗ，ｗＴ２ｗＴ３ｗＴ１，Ｔ３ｗＴ１ｗＴ２ｗ，ｗＴ３ｗＴ１ｗＴ２、但し、‘Ｔ１’はタイプ１狭帯域フィルタエレメントに対応し、‘ｗ’は広帯域フィルタに対応し、‘Ｔ２’はタイプ２狭帯域フィルタエレメントに対応し、‘Ｔ３’はタイプ３狭帯域フィルタエレメントに対応する。
  16. 請求項１３に記載のフィルタアレイを使うことを特徴とする、請求項１に記載の方法。
  17. さらなる画像処理のために前記輝度画像又は第２輝度画像を選択するステップをさらに含むことを特徴とする、請求項８に記載の方法。
  18. 組み合わせ又は選択は、光量レベル、受光量レベル、レームレート及び露光時間のいずれか１以上に基づいていることを特徴とする、請求項１７に記載の方法。
JP2023147591A 2018-03-28 2023-09-12 カラーフィルタアレイ及びカメラ Pending JP2023166546A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2018901038A AU2018901038A0 (en) 2018-03-28 Image processing method and filter array
AU2018901038 2018-03-28
JP2019050753A JP7349806B2 (ja) 2018-03-28 2019-03-19 画像処理方法及びフィルタアレイ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019050753A Division JP7349806B2 (ja) 2018-03-28 2019-03-19 画像処理方法及びフィルタアレイ

Publications (1)

Publication Number Publication Date
JP2023166546A true JP2023166546A (ja) 2023-11-21

Family

ID=66223577

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019050753A Active JP7349806B2 (ja) 2018-03-28 2019-03-19 画像処理方法及びフィルタアレイ
JP2023147591A Pending JP2023166546A (ja) 2018-03-28 2023-09-12 カラーフィルタアレイ及びカメラ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019050753A Active JP7349806B2 (ja) 2018-03-28 2019-03-19 画像処理方法及びフィルタアレイ

Country Status (4)

Country Link
US (3) US11258992B2 (ja)
EP (1) EP3547680A1 (ja)
JP (2) JP7349806B2 (ja)
CN (2) CN116744094A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
KR20210135380A (ko) 2020-05-04 2021-11-15 삼성전자주식회사 이미지 센서
US11765366B2 (en) 2020-05-07 2023-09-19 Blackmagic Design Pty Ltd Method for processing transform coefficients
CN111726549B (zh) * 2020-06-29 2022-08-23 深圳市汇顶科技股份有限公司 图像传感器、电子设备和芯片
CN112504454B (zh) * 2020-11-25 2022-11-22 天津津航技术物理研究所 一种基于像素级光谱调制的超分辨光谱成像滤波器结构
CN112884667B (zh) * 2021-02-04 2021-10-01 湖南兴芯微电子科技有限公司 一种Bayer域降噪方法和降噪系统
US20230254595A1 (en) * 2023-02-13 2023-08-10 Shantanu Singh Optimal color filter array and a demosaicing method thereof
CN116164841B (zh) * 2023-04-26 2023-07-07 中国科学院长春光学精密机械与物理研究所 基于计算增强型像元分光光谱成像芯片的光谱重构方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59204804A (ja) * 1983-05-09 1984-11-20 Canon Inc カラ−フイルタ−
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US7084905B1 (en) * 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US7477304B2 (en) * 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP4796871B2 (ja) 2006-03-06 2011-10-19 富士フイルム株式会社 撮像装置
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
JP4930109B2 (ja) 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
KR20110006811A (ko) 2009-07-15 2011-01-21 삼성전자주식회사 칼라 필터 어레이 및 이를 포함하는 이미지 센서와 전자 장치
US9369681B1 (en) * 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
KR20160091220A (ko) * 2015-07-02 2016-08-02 연세대학교 산학협력단 다중 스펙트럼 영상 생성을 위한 카메라, 장치 및 방법
US10002408B2 (en) * 2016-08-04 2018-06-19 Intel Corporation Restoring color and infrared images from mosaic data
JP7182907B2 (ja) 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ

Also Published As

Publication number Publication date
CN110324546B (zh) 2023-08-22
JP7349806B2 (ja) 2023-09-25
US20220141429A1 (en) 2022-05-05
CN110324546A (zh) 2019-10-11
EP3547680A1 (en) 2019-10-02
US20190306472A1 (en) 2019-10-03
US20230254597A1 (en) 2023-08-10
JP2019208201A (ja) 2019-12-05
US11258992B2 (en) 2022-02-22
CN116744094A (zh) 2023-09-12
US11632525B2 (en) 2023-04-18

Similar Documents

Publication Publication Date Title
JP7349806B2 (ja) 画像処理方法及びフィルタアレイ
JP6096243B2 (ja) 画像データの処理方法およびシステム
CN109146982B (zh) 原始图像处理系统及方法
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP5206796B2 (ja) 画像入力装置
US20080068477A1 (en) Solid-state imaging device
US20060146064A1 (en) Hexagonal color pixel structure with white pixels
US20070159542A1 (en) Color filter array with neutral elements and color image formation
US7072509B2 (en) Electronic image color plane reconstruction
US20070153099A1 (en) Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof
US8248496B2 (en) Image processing apparatus, image processing method, and image sensor
US9060159B2 (en) Image processing device and method, and imaging device
US10616536B2 (en) Imaging systems having broadband monochromatic and chromatic image sensors
US9160999B2 (en) Image processing device and imaging device
WO2007082289A2 (en) Color filter array with neutral elements and color image formation
US20100165149A1 (en) Opponent Color Detail Enhancement for Saturated Colors
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230925