JP2004343685A - 重み付け勾配ベースの色補正された補間 - Google Patents

重み付け勾配ベースの色補正された補間 Download PDF

Info

Publication number
JP2004343685A
JP2004343685A JP2004009679A JP2004009679A JP2004343685A JP 2004343685 A JP2004343685 A JP 2004343685A JP 2004009679 A JP2004009679 A JP 2004009679A JP 2004009679 A JP2004009679 A JP 2004009679A JP 2004343685 A JP2004343685 A JP 2004343685A
Authority
JP
Japan
Prior art keywords
chrominance
luminance
approximated
data
gradient function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004009679A
Other languages
English (en)
Inventor
Andreas Nilsson
アンドレアス・ニルッソン
Pierre V W Nordblom
ペイーレ・ブイ・ダブリュー・ノードブルン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dialog Semiconductor GmbH
Original Assignee
Dialog Semiconductor GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dialog Semiconductor GmbH filed Critical Dialog Semiconductor GmbH
Publication of JP2004343685A publication Critical patent/JP2004343685A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B11/00—Main component parts of lifts in, or associated with, buildings or other structures
    • B66B11/0005—Constructional features of hoistways
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B7/00—Other common features of elevators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】単一カラーセンサを有するデジタルカメラに関して失われているカラー情報を推定するためのカラーフィルタアレイ（ＣＦＡ）アルゴリズムを提供する。
【解決手段】本発明の装置および方法は、イメージセンサから収集したデジタル画像信号に対して操作を行う。センサは、異なる色のフィルタで覆い、特定のフィルタのそれぞれを通過してフォトサイトまたはピクセル内に伝達されたカラーだけを記録できる。異なる色のフィルタは、そのセンサ全体に及ぶようにある事前定義のパターンで配列する。フルカラー画像を取得するには、反転した勾配関数によって得られる１組の重みつけ値によって失われているカラー情報を推定する。周囲のピクセルは、輝度チャネルの中央ピクセルをより適正に当てはめできるように勾配関数を使用する前にクロミナンスチャネルによって補正する。クロミナンスチャネルも同様の方式で補間し、さらにその中央ピクセルをより適正に当てはめできるように反転した勾配関数を適用する前に補正する。
【選択図】 図２

Description

本発明は、一般に電子イメージングの分野に関し、より詳細には、単一のカラーセンサを有するデジタルカメラに関して失われているカラー情報を推定するためのカラーフィルタアレイ（ＣＦＡ）アルゴリズムに関する。
色は、その波長が４００ｎｍから７００ｎｍまでの領域にある可視光スペクトル領域内の光が網膜上に入射したことによる知覚の結果である。人間の眼に対する光の分光分布は、その各々が１０ｎｍ帯を表す３１個の成分で表現されることが多い。
人間の網膜は３種類の色の光受容体円錐細胞を有しており、これらはそれぞれ若干異なるスペクトル反応曲線をもつ入射放射に応答している。存在するのはちょうど３種類のカラー光受容体であるため、適当なスペクトル重み付け関数が使用されているとして、ある色を記述するには３つの数値成分で必要かつ十分である。
今日、デジタル撮像において最も一般的な民生用カメラはシングルセンサカメラである。イメージセンサは、フォトサイトまたはピクセルと呼ばれる微小な光感応ダイオードからなるアレイとして構築されている。フォトサイトは通常、それ自体では光から色を取り出さず、広スペクトル帯域からの光子を電子に変換しているだけである。シングルセンサを用いてカラー画像を記録するためには、異なるフォトサイトが異なるカラー照明を受けるようにそのセンサにフィルタをかけている。このタイプのセンサはカラーフィルタアレイまたはＣＦＡセンサとして知られている。センサ全体に対して異なるカラーフィルタを事前定義されたパターンで配列させている。
最も一般的な配列はＢａｙｅｒカラーフィルタアレイ（ＣＦＡ）であり、Ｋｏｄａｋ社において発明されたものである。カラーイメージャのＣＦＡは、一般に使用される前記の「Ｂａｙｅｒ」パターンに従わせることが多い。前記のＢａｙｅｒ式ＣＦＡパターンは図１の従来技術に表している。フォトサイトの総数の半分は緑色（Ｇ）であり、一方総数の４分の１をそれぞれ赤色（Ｒ）および青色（Ｂ）に割り当てている。これらのカラー画像フォトサイトは、カラー情報を得るために赤色、緑色または青色のフィルタによる反復パターンで覆っている。フィルタのこのパターン、すなわちシーケンスは変えることができるが、広く採用されているこの「Ｂａｙｅｒ」パターンは、図１の従来技術に示すように反復式の２×２配列である。
図１の従来技術に示すこのパターンは、ヒトの眼がある光景の緑色成分から輝度データのうちの大部分を導出していること、および画像の「分解能」として認識されるのはこの輝度データの分解能であること、を前提としている。したがって、そのピクセルのうちのより多くが「緑色」となることを保証することによって、赤色、緑色および青色のフォトサイトを等しい数だけ使用した交代式Ｒ−Ｇ−Ｂカラーフィルタアレイの場合と比較して、より高い分解能の画像を作成することができる。
シングルセンサカメラは、取り込んだ画像をＣＦＡを用いて空間的にサンプリングしている。その結果、各フォトサイトはある単一のカラー値だけを含む。元のフルカラー画像を再構成させるためには、各ピクセルにおいて失われているカラーを補間しているモザイク解除ステップを実行しなければならない。ＣＦＡモザイク解除の目的には、カラー忠実度、空間分解能、偽色がないこと、ギザギザしたエッジがないこと、エイリアシング・アーティファクトがないこと、および計算の実行可能性が含まれる。多くの場合、鮮鋭画像といわゆる「ジッパー作用」すなわちギザギザしたエッジ外見との間にはトレードオフが存在する。カラー情報を異なる方法で利用する幾つかの補間方法が使用されている。
設計者にとっての挑戦は高品質補間を低計算労力と組み合わせるアルゴリズムを識別することである。
前記の課題に取り扱うために利用可能な種々の特許が存在している。
Ｓｍｉｔｈ等に付与された米国特許第６，３６６，３１８号は、カラー画像ピクセルのアレイから導出されたカラー画像信号を生成するための方法を記述し、そのカラーピクセルのアレイは、サブサンプルされるカラーピクセルのアレイを生成するためにサブサンプルされる。新たな均等間隔のカラーピクセルのアレイがこれらサブサンプルされるカラーピクセルから、同じカラーの周囲ピクセルを用いて補間され、この新カラーピクセルのアレイから導出されたカラー画像信号は、たとえばカラーフィルタアレイ補間において引き続き処理される。事前処理ステップにこの補正を設けることによって、通常の画像処理ハードウェアまたはソフトウェアの残りが、結果として生じたサブサンプルされたＣＦＡ画像に、不規則なサブサンプリングパターンにより生じた特徴的な濃淡のむらや波状のアーティファクトを生じさせることなしに使用され得る。
Ｋｌａｓｓｅｎらに付与された米国特許第６，２６８，９３９号は、サブサンプルされた輝度およびクロミナンスベースのデータを色補正する効率を向上させるための方法および装置を開示している。より具体的には、この発明はある選択したピクセルブロック内の１つのピクセルに関して色空間間の全変換を適用する方法を指向している。変換されたピクセルの輝度値に関係したその輝度値に基づいて、クロミナンス値が残りのピクセルに対して割り当てられる。この発明は各種のタイプの色空間間の変換に使用されることができ、またデバイス依存データとデバイス非依存データの両方に対する処理に関して使用することができる。
Ａｄａｍｓらに付与された米国特許第５，５０６，６１９号は、各フォトサイト位置ごとに少なくとも３つの別々のカラー値であるが唯一のカラー値を生成する、行と列に整列されたカラーフォトサイトを有するイメージセンサから得られたデジタル化画像信号を処理するための装置を記載しており、３つの異なるカラー値を有するように各フォトサイト位置ごとにカラー値を補間する構造を提供している。この装置は、デジタル化画像信号を記憶するための画像バッファと、近傍のフォトサイト位置において失われているカラー値とは異なるカラーをもつカラー値から、このようなフォトサイト位置に対する追加的なカラー値を補間することによってフォトサイト位置から失われている適当なカラー値を発生させるためのバッファ記憶手段と共に動作するプロセッサとを含む。このプロセッサはさらに、行および列が同じである近傍のフォトサイトから少なくとも２つの画像方向でラプラス演算２次値を取得するための構造であって、これらのラプラス演算２次値に応答し、失われているカラー値の補間に関して好ましい向きを選択するための、また、この好ましい向きに一致して選択した近傍の複数のカラー値から失われているカラー値を補間するための構造を含む。
米国特許第６，３６６，３１８号 米国特許第６，２６８，９３９号 米国特許第５，５０６，６１９号
本発明の主要な目的の１つは、カラーフィルタアレイによって提供される失われているカラー情報を推定するシングルセンサカメラのための方法および装置を実現することである。
本発明の別の目的は、低い計算コストで高品質の補間を備えるようなシステムおよび装置を実現することである。
本発明のまた別の目的は、高品質のカラー画像を提供する方法および装置を実現することである。
本発明のこれらの目的に従って、シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法が実現されている。前記の方法は、カラーフィルタアレイ（ＣＦＡ）を備えた露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップを含む。本方法のこれらのステップは、緑色に対する代用として使用される輝度チャネルを補間するステップと、赤色および青色に対する代用として使用されるクロミナンスチャネルを補間するステップと、輝度チャネルを補正するステップと、クロミナンスチャネルを補正するステップである。
本発明の前記の目的に従って、シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法が実現されている。前記の方法は、Ｃ−Ｍ−Ｙカラーフィルタアレイ（ＣＦＡ）を備える露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップを含む。本方法のこれらのステップは、マゼンタに対する代用として使用される輝度チャネルを補間するステップと、イエローおよびシアンに対する代用として使用されるクロミナンスチャネルを補間するステップと、輝度チャネルを補正するステップと、クロミナンスチャネルを補正するステップである。
本発明のこれらの目的に従って、シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法が実現されている。前記の方法は、対角線Ｂａｙｅｒパターンカラーフィルタアレイ（ＣＦＡ）を備えた露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップを含む。本方法のこれらのステップは、緑色に対する代用として使用される輝度チャネルを補間するステップと、赤色および青色に対する代用として使用されるクロミナンスチャネルを補間するステップと、輝度チャネルを補正するステップと、クロミナンスチャネルを補正するステップである。
本発明の前記の目的に従って、シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法が実現されている。前記の方法は、カラーフィルタアレイ（ＣＦＡ）を備えた露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップを含む。前記方法の第１のステップは、輝度データおよびクロミナンスデータを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと、検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップとを含む。次のステップは、クロミナンスデータおよび輝度データを用いて特定の方向で勾配関数を計算するステップと、前述のステップによる結果を用いてクロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと、すべてのカラーチャネルからの情報を用いて、水平方向および垂直方向で２つの勾配関数を計算するステップと、勾配関数が等しくない場合に水平方向および垂直方向で輝度チャネルを補正するステップとを含む。最後のステップは、検討対象の強化した輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、強化したクロミナンスデータおよび輝度データを用いて特定の方向で反転および正規化された勾配関数を計算するステップと、前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップとを含む。
本発明の前記の目的に従って、シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための装置が実現されている。前記の装置は、カラーフィルタアレイ（ＣＦＡ）を備えた露光ユニットと、未処理画像のアナログ／デジタル変換器と、勾配関数によって取得した１組の重みつけ値によって失われているカラー情報を推定すると共にこの１組の重み付け関数を特定の方向での近傍ピクセルから見いだされる補間ユニットと、カラー処理ユニットとを備えている。
この説明の実質的部分を形成するような図面を添付している。
好ましい実施形態では、低い計算コストでクロミナンス値および輝度値に対する高品質の補間を使用することによって高品質の画像を実現するための装置および方法を開示している。
ＲＧＢ色空間は、主にフォトサイト位置における赤色、緑色および青色のレベルを示しており、したがってそのスペクトルの尺度となる。Ｂａｙｅｒパターン画像のカラー補間より得られる画像などのＲＧＢ色空間画像はさらに、「クロミナンス」と「輝度」の両方の情報を有している。輝度とは一般に、ある画像またはフォトサイト内の輝度レベルを指しており、一方クロミナンスとは、色スペクトル内の色相すなわち色の配置と、その色相に関する飽和度すなわち彩度を指している。フォトサイト当たり一カラー画像は、輝度と反対側の色信号との和に等しい。通常のＣＦＡ配列の場合では、輝度およびクロミナンスは空間周波数領域において適正に位置特定されており、これにより適当な周波数の選択によってこれらを推定する方法が提供される。ＲＧＢ画像では、緑色面関連のピクセルがその輝度情報のうちの大部分を含んでおり、一方青色および赤色関連のピクセルはクロミナンス情報のうちの大部分を含む。この理由によって、Ｂａｙｅｒ式ＣＦＡは「赤色または青色フィルタ」の２倍の「緑色フィルタ」から構成されている。緑色画像データによって近似させることによって輝度がより正確に推定されるということが、輝度チャネルの後で、赤色および青色チャネルによって近似させているクロミナンスチャネルを補間する根拠となっている。これに基づいて、輝度をできるだけ正確に補間し、そのチャネルからのそのデータによってクロミナンスチャネル内に誤った修正が生成されることを回避している。
本発明の基本的部分の１つは、輝度が緑色チャネルに対する代用として使用されており、かつクロミナンスが赤色および青色チャネルに対する代用として使用されていることである。その輝度がより正確であるということは、輝度チャネルの後でクロミナンスチャネルを補間する根拠となっている。これに基づいて、輝度をできるだけ正確に補間し、そのチャネルからのそのデータによってクロミナンスチャネル内に誤った修正が生成されることを回避している。
図２は、本発明のシングルセンサＣＦＡのフロントエンド２０の基本構成要素を表している。前記のフロントエンド２０は、記録ユニット２１と処理ユニット２２という２つの部分を備えている。前記の記録ユニット２１は、露光ユニット２３と未処理画像のアナログ／デジタル変換器２４という２つのモジュールを備えると共に、前記の処理ユニット２２は補間ユニット２５とカラー処理ユニット２６という２つのモジュールを備えている。前記の補間ユニット２５が本発明の根幹部分となっている。
図３は、本発明の補間方法の機能ブロック図を表している。前記の方法は、２つの基本ステップを含む。第１の基本ステップ３０は、輝度チャネルの補間３００およびクロミナンスチャネルの補間３０１を含んでおり、次の基本ステップ３１は、輝度チャネルの補正３１０と、これに続くクロミナンスチャネルの補正３１１とを含む。
図４は、図３の概要と比較してより詳細に表した機能ブロック図である。図３のステップ３００は、図４のステップ４０および４１という２つのステップに分割される。本発明のアルゴリズムは、ステップ４０において検討対象の近傍の検査で開始され、このステップにおいて４つのコンパス方位（すなわち、北方向、南方向、東方向および西方向）で高空間周波数の情報が検索される。この吟味には輝度チャネルからだけでなく、カラーチャネルからの勾配情報も補間させることが不可欠である。エッジを横断するのでなく、エッジに沿って補間したいと望むので、発明者らは、最も小さい勾配が最も大きな重みを負い、一方最も大きな勾配が最も小さい重みを負うようにして勾配関数に重み付けするように反転した勾配関数ｆｇｒａｄ、を形成する。勾配に対して重み付けする意図は、周囲の近隣値をより適正に表現している値を見つけだすためである。補間の式を簡略化するために、関数ｆｇｒａｄを正規化し、Ｆｎで表現している。失われている輝度値に対するさらにより正確な推定値を得るために、補正に関してクロミナンス値を使用し、異なるカラーチャネル間でより適正な一致を得ている。
まず、勾配関数を次式で定義する。
Figure 2004343685
上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである。
次に、これらの勾配を反転させている。
Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ （２）
Ｘ＝０に対し、ｆgrd（Ｘ）＝１ （２）
上式において、Ｘは上述の（式１）の勾配関数である。
次に、この反転した勾配関数を正規化する。
Figure 2004343685
上式において、Ｘは上述の（式１）の勾配関数である。
次のステップ４１は上に示すような正規化した反転勾配関数Ｆｎ（ｘ）を利用した失われている輝度値の補間である。
Figure 2004343685
上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである。
クロミナンスチャネルの補間を含む図３のステップ３０１は、図４の３つのステップ４２、４３および４４に分割される。前記のクロミナンスチャネルは赤色および青色によって近似させている。緑色チャネルが輝度に関して、また赤色および青色チャネルがクロミナンスに関して適当な代用であるという前提をさらに利用しており、次いでクロミナンスチャネルにおける補間を同様の方法で実施している。ステップ４２は、検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定することを含む。たとえば次式が示される。
Figure 2004343685
上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、また上式においてＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである。
後続のステップ４３では、反転および正規化された勾配関数を、クロミナンスデータおよび輝度データを用いて４つのコンパス方位で計算する。上に示した（式５）では、そのクロミナンスチャネルは、その輝度が補間前に有していたのと同じ構造に合わせて占有させる。ここで、前記した直前のステップ４２は、４つのコンパス方位（すなわち、北方向、南方向、東方向および西方向）での勾配の吟味を導入することによって強化される。これらの勾配関数は次のように形成される。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
これらの勾配関数はここで（式２）および（式３）に示した反転および規格化と等価となるように反転かつ正規化される。次のステップ４４は、反転した勾配関数Ｆｎ（ｘ）を利用した輝度位置における補間によって次式のようにクロミナンスチャネルを補間することを含む。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
輝度チャネルの計算値の補正を含む図３のステップ３１０は、図４の３つのステップ４５、４６および４７に分割される。ステップ４５では、水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを規定することによってその補正が開始される。前記の補正には、すべてのカラーチャネルからの勾配情報が含まれる。等価式は次式となる。
Figure 2004343685
上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスチャネルであり、またＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである。
ステップ４６では、ΔＨとΔＶの２つの勾配関数を比較する。後続のステップ４７では、この２つの勾配を評価し、この両勾配が等しくない場合には輝度データに対して水平および垂直方向で追加的な補正を実施する。この両勾配が等しい場合は、前記の補正はスキップする。輝度チャネルの前記補正では、次式（９）を適用する。
Figure 2004343685
上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスであり、またＣＢ （ｉ，ｊ）は青色クロミナンスである。
クロミナンスチャネルの計算値の補正を含む図３のステップ３１１は、図４の２つのステップ４８および４９に分割される。クロミナンスチャネルの補正は、輝度チャネルの補間の際に使用したのと同じ補間原理に従って実行する。
ステップ４８では（式６）と比較して勾配関数を規定し直す。
Figure 2004343685
上に示した（式１０）に従って計算した修正勾配関数を用いて、ステップ４９において、ステップ４４の場合と同様に（式７）を用いた補間によってクロミナンス値を補正している。
図５は、クロミナンスチャネルに対してどのように補間および補正を実行するかの代替的な方法を記載しており、図４のステップ４３、４４およびステップ４８乃至４９を入れ替えている。図４のステップ４０および４１で示したような輝度チャネルの補間は変更しないままである。（式５）を用いた反対側のクロミナンス位置におけるクロミナンスの推定を含むステップ４２も同様に変更しないままである。勾配関数に関する計算である図４のステップ４３は、ステップ５１に置き換えている。４つのコンパス方位で周囲のピクセルをどのように利用するかを決定するためにステップ４３に記載したような反転された重み付け関数を使用するのではなく、この代替手法では水平方向の勾配関数ΔＨと垂直方向の勾配関数ΔＶを計算する。前記の勾配関数は次式のように形成する。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
完全に占有されたクロミナンスチャネルを得るための次のステップ５２は、図４のステップ４４に対応する残りのクロミナンスピクセル値の補間である。この代替手法では、ステップ５２においては、ステップ４４で使用した（式７）を上述の（式１１）に従って計算したΔＨとΔＶの値を用いて修正している。残りのピクセル値を計算するための修正された式は次式となる。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
輝度チャネルの補正をカバーしている続くステップ４５乃至４７は変更なしのままである。
さらに別法として、図４のステップ４８に記載したクロミナンスの補正の一部とした勾配関数の計算をステップ５３で置き換えることができ、またステップ４５、４６および４７で計算した強化した輝度チャネルを利用している。
ステップ５３では（式１１）に示す勾配関数を次のように規定し直す。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
この代替手法では、ステップ５４において（式１２）を再度使用して、反対側の位置に関する輝度値とクロミナンス値の両方を用いてクロミナンスピクセル値に対して最終的な補正を実行している。前記の方式では、ここで（式１３）の勾配関数が使用される。
さらに、クロミナンスチャネルの補間を記述している代替的ステップ５１および５２を、ステップ４８および４９に記載したクロミナンスチャネルの補正と組み合わせて使用することが可能である。さらに、ステップ４３および４４に記載したようなクロミナンスチャネルの補間を実行し、さらに代替的ステップ５３および５４を使用してクロミナンスチャネルの補正を実施することも可能である。
別の代替手法は、図４および図５に示したステップ４０乃至４１を修正して、その輝度チャネルの補間に対処している。ステップ４０は、４つのコンパス方位での反転および正規化された勾配関数に関する計算を含む。ステップ４０に記載したような（式１）を用いた４つのコンパス方位での勾配関数の計算は、水平および垂直方向での勾配関数の計算に置き換えている。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
この代替方法では、（式２）で実行しているような勾配の反転、および（式３）で実行しているような勾配の規格化は使用しておらず、ステップ４１に示した輝度の補間は（式４）の代わりに次の（式１５）を用いて実行している。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。
上述したさまざまな方法は、Ｒ−Ｇ−Ｂ式ＣＦＡだけに限定するものではない。補色Ｂａｙｅｒパターンが使用できる別のＣＦＡの１つである。
Figure 2004343685
前記の補色Ｂａｙｅｒパターンは、上掲の表に示すように、Ｒ−Ｇ−Ｂパターンに対する補色に相当する３つのカラー、すなわちシアン、マゼンタおよびイエロー（ＣＭＹ）を含む。上述の方法を使用してＣＭＹ式ＣＦＡを提供するためには２種類の方式が存在する。第１の代替法はＣＭＹパターンをＲＧＢパターンに変換し、記載のように厳密に進めることである。もう１つの代替法は、マゼンタに関する代用として輝度を使用し、かつイエローおよびシアンに関する代用としてクロミナンスを使用することによって直接前記のＣＭＹ式ＣＦＡを使用し、上述のように進めることである。
対角線Ｂａｙｅｒパターンおよびこれの補色バージョンは、提示した本発明と共に使用できるようなＣＦＡの別の代替法である。下表は、こうした対角線Ｂａｙｅｒパターンを赤色、緑色および青色のカラーを用いて表している。
Figure 2004343685
前記の対角線Ｂａｙｅｒパターンを使用すると、ステップ４３の（式５）は次式に置き換えなければならない。
Figure 2004343685
上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である。前記の対角線Ｂａｙｅｒパターンの補色バージョンは、マゼンタに関する代用として輝度を使用し、イエローおよびシアンに関する代用としてクロミナンスを使用することによって容易に実現させ、さらに上述のようにして進めることができる。
本発明について、その好ましい実施形態を参照しながら具体的に図示し説明してきたが、当業者であれば本発明の精神および範囲を逸脱することなく形態および詳細についてさまざまな変更を行うことができることを理解されたい。
Ｒ−Ｇ−Ｂカラーアレイの基本レイアウトを表した従来技術の図である。 補間ユニットを有するシングルセンサＣＦＡカメラの各構成要素の機能ブロック図である。 本発明の方法の主要ステップの流れ図である。 本発明の方法の実施の一形態の詳細ステップの流れ図である。 本発明の方法の代替的実施形態の詳細ステップの流れ図である。
符号の説明
２０ シングルセンサＣＦＡのフロントエンド
２１ 記録ユニット
２２ 処理ユニット
２３ 露光ユニット
２４ アナログ／デジタル変換器
２５ 補間ユニット
２６ カラー処理ユニット

Claims (103)

  1. カラーフィルタアレイ（ＣＦＡ）を備える露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップと、
    輝度チャネルを補間するステップと、
    クロミナンスチャネルを補間するステップと、
    輝度チャネルを補正するステップと、
    クロミナンスチャネルを補正するステップと、
    を含むシングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法。
  2. 前記カラーフィルタアレイはＢａｙｅｒパターンＣＦＡである、請求項１に記載の方法。
  3. 前記カラーフィルタアレイはＣ−Ｍ−Ｙ式ＣＦＡであり、前記Ｃ−Ｍ−Ｙ値がＲ−Ｇ−Ｂ値に変換されている、請求項１に記載の方法。
  4. 前記カラーアレイは対角線ＢａｙｅｒパターンＣＦＡである、請求項１に記載の方法。
  5. 前記カラーアレイは補色対角線ＢａｙｅｒパターンＣＦＡである、請求項１に記載の方法。
  6. 輝度チャネルを前記補間するステップは、
    輝度データおよびクロミナンスデータを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと、
    を含む、請求項１に記載の方法。
  7. ４つのコンパス方位における反転および正規化された勾配関数を前記計算するステップは、次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスであり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    上記反転された前記勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項６に記載の方法。
  8. 前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮して輝度を前記補間するステップは、４つのコンパス方位において正規化され反転された勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである、
    請求項６に記載の方法。
  9. 輝度チャネルを前記補間するステップは、
    輝度データおよびクロミナンスデータを用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと、
    を含む、請求項１に記載の方法。
  10. 水平および垂直方向で勾配関数を前記計算するステップは、前記勾配関数を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項９に記載の方法。
  11. 前述のステップの結果を用いた輝度データおよびクロミナンスデータを考慮した輝度を前記補間するステップは、水平および垂直方向において勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである、
    請求項９に記載の方法。
  12. クロミナンスチャネルを前記補間するステップは、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスデータおよび輝度データを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップの結果を用いて、クロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと、
    を含む、請求項１に記載の方法。
  13. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、前記推定を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、また上式においてＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項１２に記載の方法。
  14. ４つのコンパス方位におけるクロミナンスデータおよび輝度データを用いた反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    前記反転された勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項１２に記載の方法。
  15. クロミナンスデータおよび輝度データを考慮して前述のステップの結果を用いたクロミナンスを前記補間するステップは、輝度位置において前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項１２に記載の方法。
  16. クロミナンスチャネルを前記補間するステップは、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスデータおよび輝度データを用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップの結果を用いてクロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと、
    を含む、請求項１に記載の方法。
  17. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、
    前記推定を計算するための式、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、また上式においてＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    を含む、請求項１６に記載の方法。
  18. クロミナンスデータおよび輝度データを用いた水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項１６に記載の方法。
  19. 輝度位置における前述のステップの結果を用いてクロミナンスデータおよび輝度データを考慮したクロミナンスを前記補間するステップが、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項１６に記載の方法。
  20. 輝度チャネルを前記補正するステップは、
    すべてのカラーチャネルからの情報を用いて、水平方向および垂直方向で２つの勾配関数を計算するステップと、
    評価後において前記勾配関数が等しくない場合に、水平方向または垂直方向で輝度チャネルを補正するステップと、
    を含む、請求項１に記載の方法。
  21. ２つの勾配関数を前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、また上式においてＣＲ （ｉ，ｊ）は赤色クロミナンスチャネル、またＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである、
    請求項２０に記載の方法。
  22. 評価後において前記勾配関数が水平方向と垂直方向で等しくない場合に前記輝度チャネルを前記補正するステップは、前記輝度チャネルを補正するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスチャネルであり、またＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである、
    請求項２０に記載の方法。
  23. クロミナンスチャネルを前記補正するステップは、
    強化したクロミナンスデータおよび輝度データを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップと、
    を含む、請求項１に記載の方法。
  24. 強化したクロミナンスデータおよび輝度データを用いて４つのコンパス方位での反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    前記反転された勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項２３に記載の方法。
  25. 前述のステップの結果を用いてクロミナンスデータおよび強化した輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項２３に記載の方法。
  26. クロミナンスチャネルを前記補正するステップは、
    強化したクロミナンスおよび輝度を用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項１に記載の方法。
  27. 強化したクロミナンスデータおよび輝度データを用いて水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項２６に記載の方法。
  28. 前述のステップの結果を用いてクロミナンスデータおよび強化した輝度データを考慮したクロミナンスを前記補間するステップが、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前述のステップからの水平および垂直方向での勾配関数を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項２６に記載の方法。
  29. Ｃ−Ｍ−Ｙカラーフィルタアレイ（ＣＦＡ）を備える露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップと、
    マゼンタに対する代用として使用される輝度チャネルを補間するステップと、
    イエローおよびシアンに対する代用として使用されるクロミナンスチャネルを補間するステップと、
    輝度チャネルを補正するステップと、
    クロミナンスチャネルを補正するステップと
    を含むシングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法。
  30. 輝度チャネルを前記補間するステップは、
    輝度データおよびクロミナンスデータを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと
    を含む、請求項２９に記載の方法。
  31. ４つのコンパス方位での反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスであり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    上記反転された前記勾配関数を正規化するための次式と、含み、
    Figure 2004343685
     上式において、Ｘは上述の式の勾配関数である、
    、請求項３０に記載の方法。
  32. 前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮した輝度を前記補間するステップは、４つのコンパス方位で正規化され反転された勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項３０に記載の方法。
  33. 輝度チャネルを前記補間するステップは、
    輝度データおよびクロミナンスデータを用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと
    を含む、請求項２９に記載の方法。
  34. 水平および垂直方向で勾配関数を前記計算するステップは、前記勾配関数を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項３３に記載の方法。
  35. 前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮した輝度を前記補間するステップは、水平および垂直方向において勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項３３に記載の方法。
  36. クロミナンスチャネルを前記補間するステップは、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスデータおよび輝度データを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップの結果を用いて、クロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項２９に記載の方法。
  37. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、前記推定を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項３６に記載の方法。
  38. ４つのコンパス方位におけるクロミナンスデータおよび輝度データを用いた反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    前記反転された勾配関数を正規化するための次式と、を含み
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    、請求項３６に記載の方法。
  39. 前述のステップの結果を用いてクロミナンスデータおよび輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置において前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項３６に記載の方法。
  40. クロミナンスチャネルを前記補間するステップは、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスデータおよび輝度データを用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップの結果を用いて、クロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項２９に記載の方法。
  41. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、
    前記推定を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項４０に記載の方法。
  42. クロミナンスデータおよび輝度データを用いて水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項４０に記載の方法。
  43. クロミナンスデータおよび輝度データを考慮して前述のステップの結果を用いたクロミナンスを前記補間するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項４０に記載の方法。
  44. 輝度チャネルを前記補正するステップは、
    すべてのカラーチャネルからの情報を用いて、水平方向および垂直方向で２つの勾配関数を計算するステップと、
    評価後において前記勾配関数が等しくない場合に、水平方向または垂直方向で輝度チャネルを補正するステップと
    を含む、請求項２９に記載の方法。
  45. ２つの勾配関数を前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、また上式においてＣＹ （ｉ，ｊ）はイエロークロミナンスチャネルでありかつＣＣ （ｉ，ｊ）はシアンクロミナンスチャネルである、
    請求項４４に記載の方法。
  46. 評価後において前記勾配関数が水平方向と垂直方向で等しくない場合に前記輝度チャネルを前記補正するステップが、前記輝度チャネルを補正するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、ＣＹ （ｉ，ｊ）はイエロークロミナンスチャネルであり、またＣＣ （ｉ，ｊ）はシアンクロミナンスチャネルである、
    請求項４４に記載の方法。
  47. クロミナンスチャネルを前記補正するステップは、
    強化したクロミナンスデータおよび輝度データを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項２９に記載の方法。
  48. 強化したクロミナンスデータおよび輝度データを用いて４つのコンパス方位での反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスであり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    前記反転された勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項４７に記載の方法。
  49. 前述のステップの結果を用いてクロミナンスデータおよび強化した輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項４７に記載の方法。
  50. クロミナンスチャネルを前記補正するステップは、
    強化したクロミナンスおよび輝度を用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項２９に記載の方法。
  51. 強化したクロミナンスデータおよび輝度データを利用した水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項５０に記載の方法。
  52. 前述のステップの結果を用いてクロミナンスデータおよび強化した輝度データを考慮したクロミナンスを前記補間するステップが、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前述のステップからの水平および垂直方向における勾配関数を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）はマゼンタによって近似された輝度であり、またＣ（ｉ，ｊ）はイエローおよびシアンによって近似されたクロミナンスである、
    請求項５０に記載の方法。
  53. 対角線Ｂａｙｅｒパターンカラーフィルタアレイ（ＣＦＡ）を備えた露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップと、
    緑色に対する代用として使用される輝度チャネルを補間するステップと、
    赤色および青色に対する代用として使用されるクロミナンスチャネルを補間するステップと、
    輝度チャネルを補正するステップと、
    クロミナンスチャネルを補正するステップと
    を含むシングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法。
  54. 輝度チャネルを前記補間するステップは、
    輝度データおよびクロミナンスデータを用いて４つのコンパス方位において反転および正規化された勾配関数を計算するステップと、
    前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと
    を含む、請求項５３に記載の方法。
  55. ４つのコンパス方位において反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスであり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    上記反転された前記勾配関数を正規化するための次式とを含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項５４に記載の方法。
  56. 前述のステップの結果を用いた輝度データおよびクロミナンスデータを考慮した輝度を前記補間するステップは、４つのコンパス方位で正規化され反転された勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである、
    請求項５４に記載の方法。
  57. 輝度チャネルを前記補間するステップは、
    輝度データおよびクロミナンスデータを用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮して前記輝度を補間するステップと
    を含む、請求項５３に記載の方法。
  58. 勾配関数に関する水平および垂直方向での前記計算のステップは、前記勾配関数を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項５７に記載の方法。
  59. 前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮した輝度を前記補間するステップは、水平および垂直方向において勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、またＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである、
    請求項５７に記載の方法。
  60. クロミナンスチャネルを前記補間するステップは、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスデータおよび輝度データを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップの結果を用いて、クロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項５３に記載の方法。
  61. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、前記推定を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、また上式においてＣ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項６０に記載の方法。
  62. ４つのコンパス方位においてクロミナンスデータおよび輝度データを用いて反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度であり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    前記反転された勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項６０に記載の方法。
  63. クロミナンスデータおよび輝度データを考慮して前述のステップの結果を用いたクロミナンスを前記補間するステップが、輝度位置において前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、また上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項６０に記載の方法。
  64. クロミナンスチャネルを前記補間するステップは、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスデータおよび輝度データを用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップの結果を用いて、クロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項５３に記載の方法。
  65. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、
    前記推定を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、Ｃ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項６４に記載の方法。
  66. クロミナンスデータおよび輝度データを用いた水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを前記計算するステップが、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項６４に記載の方法。
  67. 輝度位置における前述のステップの結果を用いてクロミナンスデータおよび輝度データを考慮したクロミナンスを前記補間するステップは、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項６４に記載の方法。
  68. 輝度チャネルを前記補正するステップは、
    すべてのカラーチャネルからの情報を用いて、水平方向および垂直方向で２つの勾配関数を計算するステップと、
    評価後において前記勾配関数が等しくない場合に、水平方向または垂直方向で輝度チャネルを補正するステップと
    を含む、請求項５３に記載の方法。
  69. ２つの勾配関数を前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスチャネルでありかつＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである、
    請求項６８に記載の方法。
  70. 評価後において前記勾配関数が水平方向と垂直方向で等しくない場合に前記輝度チャネルを前記補正するステップは、前記輝度チャネルを補正するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスチャネルであり、またＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである、
    請求項６８に記載の方法。
  71. クロミナンスチャネルを前記補正するステップは、
    強化したクロミナンスデータおよび輝度データを用いて４つのコンパス方位で反転および正規化された勾配関数を計算するステップと、
    前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項５３に記載の方法。
  72. 強化したクロミナンスデータおよび輝度データを用いて４つのコンパス方位での反転および正規化された勾配関数を前記計算するステップは、
    次式を含む前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度であり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    前記反転された勾配関数を正規化するための次式と、を含み
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項７１に記載の方法。
  73. 前述のステップの結果を用いてクロミナンスデータおよび強化した輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前記反転され正規化した勾配関数Ｆｎ（Ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７１に記載の方法。
  74. クロミナンスチャネルを前記補正するステップは、
    強化したクロミナンスおよび輝度を用いて水平および垂直方向で勾配関数を計算するステップと、
    前述のステップによる結果を用いてクロミナンスデータおよび強化した輝度データを考慮してクロミナンスを補間するステップと
    を含む、請求項５３に記載の方法。
  75. 強化したクロミナンスデータおよび輝度データを利用した水平方向の勾配関数ΔＨおよび垂直方向の勾配関数ΔＶを前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７４に記載の方法。
  76. 前述のステップの結果を用いてクロミナンスデータおよび強化した輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前述のステップからの水平および垂直方向での勾配関数を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７４に記載の方法。
  77. シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための方法であって、
    カラーフィルタアレイ（ＣＦＡ）を備えた露光ユニット、未処理画像のアナログ／デジタル変換器、補間ユニット、およびカラー処理ユニットを設けるステップと、
    輝度チャネルの補間を準備するために、輝度データおよびクロミナンスデータを用いて特定の方向において勾配関数を計算するステップと、
    前述のステップの結果を用いて、輝度データおよびクロミナンスデータを考慮して輝度を補間するステップと、
    検討対象の輝度データおよびクロミナンスデータを用いて反対側のクロミナンス位置においてクロミナンスを推定するステップと、
    クロミナンスチャネルの補間を準備するために、クロミナンスデータおよび輝度データを用いて特定の方向で勾配関数を計算するステップと、
    前述のステップによる結果を用いて輝度位置においてクロミナンスデータおよび輝度データを考慮してクロミナンスを補間するステップと、
    輝度チャネルの補正を準備するために、すべてのカラーチャネルからの情報を用いて、水平方向および垂直方向で２つの勾配関数を計算するステップと、
    前記勾配関数が等しくない場合に水平方向および垂直方向で前記輝度チャネルを補正するステップと、
    クロミナンスチャネルの補正を準備するために、強化したクロミナンスデータおよび輝度データを用いて勾配関数を計算するステップと、
    前述のステップによる結果を用いて、輝度位置と反対側のクロミナンス位置の両方においてクロミナンスおよび強化した輝度データを考慮してクロミナンスの補正を決定するクロミナンスを補間するステップと
    を含む方法。
  78. 前記カラーフィルタアレイはＢａｙｅｒパターンＲ−Ｇ−Ｂ式ＣＦＡである、請求項７７に記載の方法。
  79. 前記カラーフィルタアレイはＣ−Ｍ−Ｙ式ＣＦＡであり、前記Ｃ−Ｍ−Ｙ値がＲ−Ｇ−Ｂ値に変換されている、請求項７７に記載の方法。
  80. 輝度チャネルの補間を準備するために勾配関数を前記計算するステップは、
    次式を含む４つのコンパス方位において勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、Ｃ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスであり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    上記反転された前記勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項７７に記載の方法。
  81. 前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮した輝度チャネルを前記補間するステップは、４つのコンパス方位で正規化し反転した勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、Ｃ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである、
    請求項７７に記載の方法。
  82. 輝度チャネルの補間を準備するための勾配関数を前記計算するステップは、水平および垂直方向において前記勾配関数を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、Ｃ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項７７に記載の方法。
  83. 前述のステップの結果を用いて輝度データおよびクロミナンスデータを考慮した輝度を前記補間するステップは、水平および垂直方向において勾配関数を利用して失われている輝度値を補間するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、Ｃ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスである、
    請求項７７に記載の方法。
  84. 反対側のクロミナンス位置におけるクロミナンスを前記推定するステップは、前記推定を計算するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、Ｃ（ｉ，ｊ）は赤色および青色によって近似されたクロミナンスである、
    請求項７７に記載の方法。
  85. クロミナンスデータおよび輝度データを用いてクロミナンスチャネルの補間を準備するために勾配関数を前記計算するステップは、
    次式を含む４つのコンパス方位において前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度であり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    上記反転された前記勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項７７に記載の方法。
  86. クロミナンスデータおよび輝度データを考慮して前述のステップの結果を用いたクロミナンスを前記補間するステップは、前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７７に記載の方法。
  87. クロミナンスデータおよび輝度データを用いてクロミナンスチャネルの補間を準備するために勾配関数を前記計算するステップは、水平および垂直方向で勾配関数を計算するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７７に記載の方法。
  88. 水平および垂直方向における勾配を用いてクロミナンスデータおよび輝度データを考慮したクロミナンスを前記補間するステップは、式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７７に記載の方法。
  89. 水平方向および垂直方向における２つの勾配関数を前記計算するステップは、式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスチャネルでありかつＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである、
    請求項７７に記載の方法。
  90. 評価後において前記勾配関数が水平方向と垂直方向で等しくない場合に前記輝度チャネルを前記補正するステップは、前記輝度チャネルを補正するための式、
    Figure 2004343685
     を含み、上式においてＬ（ｉ，ｊ）は緑色によって近似された輝度であり、ＣＲ （ｉ，ｊ）は赤色クロミナンスチャネルでありかつＣＢ （ｉ，ｊ）は青色クロミナンスチャネルである、
    請求項７７に記載の方法。
  91. 強化したクロミナンスデータおよび輝度データを用いてクロミナンスチャネルの補正を準備するための勾配関数を前記計算するステップは、
    次式を含む４つのコンパス方位において前記勾配関数を計算するための式と、
    Figure 2004343685
     上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度であり、
    Ｘ≠０に対し、ｆgrd（Ｘ）＝１／ｘ
    Ｘ＝０に対し、ｆgrd（Ｘ）＝１
    上式を含む上記勾配を反転させるための式と、上式においてＸは上述の式の勾配関数であり、
    上記反転された前記勾配関数を正規化するための次式と、を含み、
    Figure 2004343685
     上式においてＸは上述の式の勾配関数である、
    請求項７７に記載の方法。
  92. クロミナンスおよび強化した輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前記反転および正規化された勾配関数Ｆｎ（ｘ）を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７７に記載の方法。
  93. 強化したクロミナンスデータおよび輝度データを用いてクロミナンスチャネルの補正を準備するための勾配関数を前記計算するステップは、
    水平および垂直方向で前記勾配関数を計算するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７７に記載の方法。
  94. クロミナンスおよび強化した輝度データを考慮したクロミナンスを前記補間するステップは、輝度位置と反対側のクロミナンス位置の両方におけるクロミナンスの補正を決定する前述のステップからの水平および垂直方向での勾配関数を利用して前記クロミナンスチャネルを補間するための式、
    Figure 2004343685
     を含み、上式においてＣ（ｉ，ｊ）は赤色または青色によって近似されたクロミナンスであり、Ｌ（ｉ，ｊ）は緑色によって近似された輝度である、
    請求項７７に記載の方法。
  95. シングルセンサカメラの失われているカラー情報を推定することによってフルカラー画像を取得するための装置であって、
    カラーフィルタアレイ（ＣＦＡ）を備えた露光ユニットと、
    未処理画像のアナログ／デジタル変換器と、
    勾配関数によって取得した１組の重みつけ値によって失われているカラー情報を推定する補間ユニットと、
    カラー処理ユニットと、を備え、
    １組の重み付け関数は特定の方向において近傍ピクセルから見いだされる、
    装置。
  96. 前記ＣＦＡはＢａｙｅｒパターンＲ−Ｇ−Ｂフィルタアレイである、請求項９５に記載の装置。
  97. 前記ＣＦＡは補色Ｂａｙｅｒパターンフィルタアレイである、請求項９５に記載の装置。
  98. 前記ＣＦＡは対角線Ｂａｙｅｒパターンフィルタアレイである、請求項９５に記載の装置。
  99. 前記ＣＦＡは補色対角線Ｂａｙｅｒパターンフィルタアレイである、請求項９５に記載の装置。
  100. 前記１組の重み付け関数は水平および垂直方向での近傍ピクセルから見いだされる、請求項９５に記載の装置。
  101. 前記１組の重み付け関数は４つのコンパス方位で近傍ピクセルから見いだされる、請求項９５に記載の装置。
  102. 輝度が緑色チャネルに対する代用として使用されており、かつクロミナンスが赤色および青色チャネルに対する代用として使用されている、請求項９５に記載の装置。
  103. 輝度が緑色チャネルに対する代用として使用されており、かつクロミナンスが赤色および青色チャネルに対する代用として使用されている、請求項９５に記載の装置。
JP2004009679A 2003-01-16 2004-01-16 重み付け勾配ベースの色補正された補間 Pending JP2004343685A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP03392002A EP1439715A1 (en) 2003-01-16 2003-01-16 Weighted gradient based colour interpolation for colour filter array

Publications (1)

Publication Number Publication Date
JP2004343685A true JP2004343685A (ja) 2004-12-02

Family

ID=32524283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004009679A Pending JP2004343685A (ja) 2003-01-16 2004-01-16 重み付け勾配ベースの色補正された補間

Country Status (4)

Country Link
US (1) US7256828B2 (ja)
EP (1) EP1439715A1 (ja)
JP (1) JP2004343685A (ja)
KR (1) KR20040066051A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738180B1 (ko) 2005-12-28 2007-07-10 매그나칩 반도체 유한회사 이미지 센서 및 이미지 센서의 칼라 보간 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477781B1 (en) * 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
US20070292022A1 (en) * 2003-01-16 2007-12-20 Andreas Nilsson Weighted gradient based and color corrected interpolation
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array
US7333678B1 (en) * 2003-05-20 2008-02-19 Micronas Usa, Inc. Edge adaptive demosaic system and method
WO2004112401A1 (ja) * 2003-06-12 2004-12-23 Nikon Corporation 画像処理方法、画像処理プログラム、画像処理装置
JP4510421B2 (ja) * 2003-10-20 2010-07-21 キヤノンファインテック株式会社 インクジェット記録用インク、インクジェット記録方法、インクカートリッジおよびインクジェット記録装置
US7376288B2 (en) * 2004-05-20 2008-05-20 Micronas Usa, Inc. Edge adaptive demosaic system and method
JP5049460B2 (ja) * 2004-11-09 2012-10-17 イーストマン コダック カンパニー カラー撮像画像データの補間方法およびプログラム
CN100394883C (zh) * 2005-12-02 2008-06-18 清华大学 无线内窥镜系统的准无损图像压缩和解压缩方法
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
WO2008086037A2 (en) * 2007-01-10 2008-07-17 Flextronics International Usa Inc. Color filter array interpolation
US7889245B2 (en) * 2007-01-12 2011-02-15 Seiko Epson Corporation Automatic white balancing of a digital image
US7920751B2 (en) * 2007-03-16 2011-04-05 General Electric Company Adaptive gradient weighting technique for detector bad cell correction
KR101340518B1 (ko) * 2007-08-23 2013-12-11 삼성전기주식회사 영상의 색수차 보정 방법 및 장치
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
US7986859B2 (en) * 2008-04-16 2011-07-26 Clarity Medical Systems, Inc. Converting bayer pattern RGB images to full resolution RGB images via intermediate hue, saturation and intensity (HSI) conversion
KR101515957B1 (ko) 2008-09-08 2015-05-04 삼성전자주식회사 컬러 보간 장치와 컬러 보간 방법
US20100104178A1 (en) * 2008-10-23 2010-04-29 Daniel Tamburrino Methods and Systems for Demosaicing
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
CN101860680B (zh) * 2009-04-08 2011-12-21 鸿富锦精密工业（深圳）有限公司 影像处理装置及其影像处理方法
KR101335127B1 (ko) * 2009-08-10 2013-12-03 삼성전자주식회사 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말
EP2683166B1 (en) * 2011-02-28 2017-12-13 Fujifilm Corporation Color imaging device
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP5818568B2 (ja) * 2011-08-09 2015-11-18 キヤノン株式会社 画像処理装置及びその制御方法
JP5898428B2 (ja) 2011-08-09 2016-04-06 キヤノン株式会社 画像処理装置及びその制御方法
KR20150091717A (ko) * 2014-02-03 2015-08-12 삼성전자주식회사 이미지의 색상 신호를 보간하는 방법 및 장치
CN113242413B (zh) * 2021-07-12 2021-09-21 深圳市艾为智能有限公司 抗锯齿的rccb滤镜阵列插值计算方法及系统
US12035054B1 (en) * 2021-12-09 2024-07-09 Amazon Technologies, Inc. Color filter array interpolation for RGB-IR image sensors

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
US6268939B1 (en) 1998-01-08 2001-07-31 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
US5990950A (en) * 1998-02-11 1999-11-23 Iterated Systems, Inc. Method and system for color filter array multifactor interpolation
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
US6366318B1 (en) 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US6075889A (en) * 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738180B1 (ko) 2005-12-28 2007-07-10 매그나칩 반도체 유한회사 이미지 센서 및 이미지 센서의 칼라 보간 방법

Also Published As

Publication number Publication date
US20040141072A1 (en) 2004-07-22
KR20040066051A (ko) 2004-07-23
EP1439715A1 (en) 2004-07-21
US7256828B2 (en) 2007-08-14

Similar Documents

Publication Publication Date Title
JP2004343685A (ja) 重み付け勾配ベースの色補正された補間
JP4351825B2 (ja) カラーのディジタルイメージを収集する方法
JP5183880B2 (ja) カラーフィルタおよび撮像素子
US7082218B2 (en) Color correction of images
US20070292022A1 (en) Weighted gradient based and color corrected interpolation
JP4142360B2 (ja) 電子カラー画像の色を補正する画像処理方法
WO2013031367A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
JP2009524989A (ja) パンクロマチック画素及びカラー画素の補間
US20140078346A1 (en) Imaging device and image generation method
JP2012060641A (ja) デジタルｒａｗ画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路
CN107623844B (zh) 中间位置处的像素的颜色值的确定
JP2011041210A (ja) 信号処理装置、撮像装置及び信号処理方法
JP2014158267A (ja) カラーフィルタ、撮像素子、画像処理装置および画像処理方法
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
KR101243285B1 (ko) 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법
JP2011146893A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP4334150B2 (ja) 画像補間装置
JP5139350B2 (ja) 画像処理装置、画像処理方法、撮像装置
JP5195957B2 (ja) カラーフィルタおよび撮像素子
JP2009290568A (ja) 撮像装置
JP2009290599A (ja) 撮像装置
TWI252046B (en) Method and device applied in color digital image for pixel chrominance suppression
JP4334152B2 (ja) 画像補間装置