JP2009524282A - 撮像装置のためのベイヤパターンの色モザイク補間を生成する方法および装置 - Google Patents
撮像装置のためのベイヤパターンの色モザイク補間を生成する方法および装置 Download PDFInfo
- Publication number
- JP2009524282A JP2009524282A JP2008550332A JP2008550332A JP2009524282A JP 2009524282 A JP2009524282 A JP 2009524282A JP 2008550332 A JP2008550332 A JP 2008550332A JP 2008550332 A JP2008550332 A JP 2008550332A JP 2009524282 A JP2009524282 A JP 2009524282A
- Authority
- JP
- Japan
- Prior art keywords
- color
- interpolation
- value
- pixel
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003384 imaging method Methods 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims description 21
- 239000003086 colorant Substances 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims 2
- 230000010363 phase shift Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 8
- 239000010410 layer Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000012212 insulator Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000001465 metallisation Methods 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- 229910000577 Silicon-germanium Inorganic materials 0.000 description 1
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- ONTQJDKFANPPKK-UHFFFAOYSA-L chembl3185981 Chemical compound [Na+].[Na+].CC1=CC(C)=C(S([O-])(=O)=O)C=C1N=NC1=CC(S([O-])(=O)=O)=C(C=CC=C2)C2=C1O ONTQJDKFANPPKK-UHFFFAOYSA-L 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052732 germanium Inorganic materials 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
Abstract
色パターンでの色平面補間のための方法とシステムであって、色平面補間を実行するために画素画像内の色補間点を選択する。いったん色補間点が選択されると、それぞれの色補間点において、色パターンにあるそれぞれの色に対する値が補間される。
【選択図】図3
【選択図】図3
Description
本発明は、固体画像センサに使用する色フィルタに係る。
撮像装置(imager)としても知られる、画像センサは、1960年代後半から1970年代前半に、主にテレビの画像取得、送信、および表示のために開発された。撮像装置は、特定の波長(例えば、可視光(光フォトン)、X線など)の入射放射線を吸収し、吸収した放射線に応じた電気信号を生成する。異なる種類のいくつかの半導体ベースの撮像装置が存在し、電荷結合素子(CCD)、フォトダイオードアレイ、電荷注入装置(CID)、ハイブリッド焦点面アレイ、およびCMOS撮像装置が含まれる。
これらの撮像装置は典型的に、フォトセンサを含む画素セルのアレイから成り、それぞれの画素は、画像がアレイに結像したときに、その素子(フォトセンサ)に作用する光の強さに応じた信号を生成する。その後、これらの信号は蓄積され、例えば、対応する像をモニタに表示したり、あるいは別の方法で、光学像についての情報を供給するのに使用されたりする。フォトセンサは典型的にフォトトランジスタ、フォトコンダクタ、もしくはフォトダイオードである。各画素によって生成される信号の大きさは、それゆえ、フォトセンサに当たった光の量に比例する。
フォトセンサに色付の画像を取得させるためには、例えば、ベイヤパターンを用いた場合、フォトセンサは、赤色(R)フォトン、緑色(G)フォトン、青色(B)フォトンを個別に検出できなければならない。従って、それぞれの画素は1つの色、もしくは1つのスペクトル帯のみを検知しなければならない。このため、色フィルタアレイ(CFA)は典型的に画素の前面に、それぞれの画素が関連付けられたフィルタの色の光を測定できるように配置される。それゆえ、色画像センサのそれぞれの画素は、特定のパターンに従って、赤色、緑色、青色のいずれかのフィルタで覆われる。
最も費用のかからないCMOS画像センサ、もしくはCCD画像センサにおいては、色フィルタはセンサセルと一体化される。色フィルタパターンの一般的な例は、米国特許第3,971,065号(この特許の開示は参照により本明細書に組み込まれる)で説明されるタイル状の色フィルタアレイであり、一般に「ベイヤパターン」色フィルタと呼ばれている。
図1に示すように、ベイヤパターン100は、赤色(R)、緑色(G)、および青色(B)フィルタの繰り返しのアレイである。ベイヤパターン100において、赤色、緑色、および青色の画素は、アレイの第1の行105に赤色と緑色の画素が交互になるように配置され、隣の行110に青色と緑色の画素が交互になるように配置される。これら交互に配置された行が、アレイ全域に繰り返される。それゆえ、各ライン毎に、画像センサが読み出しされたとき、第1のラインの画素シーケンス(pixel sequence)がGRGRGR…を読み出し、その次に、交互に並ぶラインの画素シーケンスがBGBGBG…を読み出す。この出力は、シーケンシャル(順次:sequential) RGBもしくはsRGBと呼ばれる。
ベイヤパターン100において、3原色の全てのサンプリング間隔は、人間の視覚系の鋭敏さに応じて調節される。すなわち、人の目が最も感知し応答する緑色は、より多い数のセンサで検知され、一方、人間の視覚がより低い分解能しか有しない青色と赤色は、よ
り少ない数のセンサで検知される。これが、なぜベイヤパターンにおいて緑色を検知する素子がアレイの2つに1つの場所にあり、一方、赤色を検知する素子と青色を検知する素子がアレイの4つに1つの場所にあるのかの理由である。
り少ない数のセンサで検知される。これが、なぜベイヤパターンにおいて緑色を検知する素子がアレイの2つに1つの場所にあり、一方、赤色を検知する素子と青色を検知する素子がアレイの4つに1つの場所にあるのかの理由である。
図2の固体画像センサに示すように、ベイヤパターンのフィルタは、画素センサセル205のアレイ200一面に形成されうる。具体的に言うと、画素センサセル205のアレイ200は、半導体基板210の上に形成される。それぞれの画素センサセル205は、受光素子215を有し、受光(又は、感光)素子215は、フォトゲート、フォトコンダクタ、もしくはフォトダイオードなどの任意の光る−電化変換装置でありうる。色フィルタアレイ220は、典型的にアレイ200内の金属層225の上に形成され、且つ、絶縁体メタライゼーションパターンを含む層間誘電体層(ILD)と保護層230などのさまざまなメタライゼーション層と絶縁層によって、フォトセンサ215から分離される。金属層225は、不透明であってもよく、光を検知しない画素の領域を保護するのに使用されうる。凸レンズ240は色フィルタ220の上に形成される。動作において、入射光はフィルタ220を通り、レンズ240によって受光素子215に結像される。
ベイヤパターンフィルタにおいて、赤色、緑色、および青色の値はそれぞれの画素で必要である。それぞれの画素センサセルは1つの色のみを検知するため、残りの2色の値は、足りない色を検知する近傍の画素セルから補間(または内挿補間:interpolation)によって計算される。この色平面補間は、デモザイク処理として知られている。例えば、図1を参照して、画素センサセル115は、画素センサセル115に緑色の光を検知させ、緑色の光のみを表す信号を生成させる、緑色フィルタと関連する。画素センサセル115の赤色および青色の光の量の近似値を得るために、近傍の赤色画素センサセル120と125、および、近傍の青色画素センサセル130と135から、値をそれぞれ補間してもよい。デモザイク処理が正しく実行されなかった場合、結果として生じる画像は、非常に目立つ色アーチファクトを含むことに悩まされうる。
Bahadir K. Gunturk、Yucel AltunbasakおよびRussell M. Mersereauによって書かれ、2002年9月のIEEE Transactions on Image Processing, Vol. II, No.9に発表された、「Color Plane Interpolation
Using Alternating Projections」と題する論文(この開示は、参照によって本明細書に組み込まれる)は、いくつかのデモザイク処理技術を比較している。説明されているように、これらの各デモザイク処理技術は、それぞれ有利な点と不利な点を有する。
Using Alternating Projections」と題する論文(この開示は、参照によって本明細書に組み込まれる)は、いくつかのデモザイク処理技術を比較している。説明されているように、これらの各デモザイク処理技術は、それぞれ有利な点と不利な点を有する。
説明されているように、それぞれの画素センサセルにおいて、第1の色に使用される値は検知された色に基づいており、残りの2色の値は対応する近傍の画素の検知値から補間された値に基づいている。それぞれの検知値は、画素の中心での色の値を表す。それぞれの補間された色の値もまた、画素の中心での値を表す。補間された信号は、オリジナルに検知された信号よりも、本質的に質が落ちる。例えば、画素の中心での補間された赤色の値は、同じ画素の中心での検知された赤色の値と異なる。これらの信号の質の差異は、デジタルカメラシステムもしくは他の画像取得後補正プログラムに通常組み込まれる鮮鋭化工程により、増幅されうる。それゆえ、検知された色の値と補間された色の値を混ぜ合わせると、画像全体にわたって不均一な画質になる。これらのアーチファクトのいくつかの具体的な例を以下の項で説明する。
足りない色成分のみを再構成するデモザイク処理法は、ジッパー効果(zipper effect)およびランダムカラードット(random color dot)と呼ばれるアーチファクトを生じる可能性がある。ジッパー効果は、補間のバラツキによって
引き起こされる可能性があり、例えば、2つの画素ごとに1ドットというような規則的な間隔で、横ライン、もしくは縦ラインに沿ったドットの線を生じうる。これは、赤色の値および青色の値の個々の補間のバラツキに起因する可能性があり、最終的な画像にジッパー効果を引き起こす。ランダムカラードットは、より明るい領域が明るいドットを取得し、より暗い領域が暗いドットを取得したときに、たいていは像のエッジに沿って、ならびにラインの終点に現れる。この効果は、おそらく、補間の際に鮮明なエッジを作ろうと試みることよって、および、色の値の決定において近傍の他の画素を使用することによって、引き起こされる。ジッパー効果とランダムカラードットに加えて、特定のベイヤモザイク(基本となる4セル区画)における2つの緑色サンプルが、異なる画素処理チャネルによってデジタル化される際に、さらなるバランスが悪くなるという問題が生じる。
引き起こされる可能性があり、例えば、2つの画素ごとに1ドットというような規則的な間隔で、横ライン、もしくは縦ラインに沿ったドットの線を生じうる。これは、赤色の値および青色の値の個々の補間のバラツキに起因する可能性があり、最終的な画像にジッパー効果を引き起こす。ランダムカラードットは、より明るい領域が明るいドットを取得し、より暗い領域が暗いドットを取得したときに、たいていは像のエッジに沿って、ならびにラインの終点に現れる。この効果は、おそらく、補間の際に鮮明なエッジを作ろうと試みることよって、および、色の値の決定において近傍の他の画素を使用することによって、引き起こされる。ジッパー効果とランダムカラードットに加えて、特定のベイヤモザイク(基本となる4セル区画)における2つの緑色サンプルが、異なる画素処理チャネルによってデジタル化される際に、さらなるバランスが悪くなるという問題が生じる。
従って、既知のデモザイク処理技術の不利な点を軽減する色平面補間法が望まれ、必要とされている。
色パターンに含まれるそれぞれの色の表面色平面補間のために、画素画像中の色補間点を選択する色平面補間の方法と装置が提供される。いったん色補間点が選択されると、色パターンにあるそれぞれの色の値が、それぞれの色補間点について補間される。色補間点と色パターンに含まれるそれぞれの色の補間の利用は、既知のデモザイク処理技術の不利な点のいくつかを軽減、もしくは除去するのに役立つ。
以下の詳細な説明において、添付の図面が参照され、それら図面は本明細書の一部を形成し、その中で、本発明が実施されうる具体的な実施形態を例示目的で示す。これらの実施形態は当業者が本発明を実施できるよう十分詳細に記述されており、また、他の実施形態が利用可能であり、さらに構造的な変更、論理的な変更、および電気的な変更が本発明の趣旨と範囲を逸脱することなく成されうることを理解されたい。
「基板」という用語は、半導体ベースの材料として理解され、シリコン、シリコン・オン・インシュレータ(SOI)、もしくはシリコン・オン・サファイア(SOS)技術、ドープ半導体もしくは非ドープ半導体、ベースとなる半導体の基盤(foundation)に支持されたシリコンのエピタキシャル層、および、他の半導体構造を含む。さらに、以下の説明で「基板」について述べられた場合、ベースとなる半導体の構造もしくは基盤の、内部もしくは上部に、領域もしくは接合点を形成するために前処理工程が利用されている可能性がある。さらに、半導体はシリコンベースである必要はなく、シリコンゲルマニウム、ゲルマニウム、もしくはヒ化ガリウムをベースにすることも可能である。
「画素」という用語は、画像素子ユニットセルのことを指し、フォトセンサ、および光放射を電気信号に変換するためのトランジスタを含む。説明のために、代表的な画素が図および本明細書の記述で説明され、また、典型的には、撮像装置の全ての画素の製造(fabrication)は同じ方法で同時に開始される。以下の詳細な説明は、それゆえ、制限的な意味でとられるべきではなく、本発明の範囲は添付の請求項によって規定される。
本発明によるCMOS撮像装置の参照は、本発明のほんの1つの例を説明することのみを目的として成されると理解されたい。本発明はCMOS撮像装置に限定されず、CCDおよび画素を覆う色フィルタを利用する他の撮像装置にも適用されることが容易に理解されよう。さらに、本発明は、標準的な3色のベイヤパターンを用いて説明される。本発明は、標準的な3色のベイヤパターンに限定されず、異なる色を使用する色空間、または3色よりも多い色、もしくは3色よりも少ない色を使用する色空間に適用されても良いこと
を理解されたい。
を理解されたい。
図3は、本発明の第1の実施形態による3色補間点の上面図である。3色補間点は、図3で(複数の)xによって識別される。代表の「x」を300とする。それぞれの画素センサセルは、対応するそれぞれのフィルタされた色の検知値を供給する。それぞれの緑色(G)画素センサセルは、緑色の検知値を供給する。同様に、それぞれの青色(B)画素センサセルは青色の検知値を供給し、それぞれの赤色(R)画素センサセルは赤色の検知値を供給する。各3色補間点xにおいて、多数の検知された画素の信号値が、その点の値を補間するために使用される。いったんこれらの補間値が計算されると、補間値は色画像を再構成するのに使用される。それぞれの3色補間点xにおいて緑色、赤色、および青色の値を計算すると、それぞれの画素センサセルの中心からの値を、本実施形態においては、画素センサセルの角へと位相(phase)シフトする結果となる。赤色、緑色、および青色のそれぞれの値の補間は、従来技術のシステムで広く利用される、1つの色の検知値と残りの2つの色の補間値とを利用することに起因するバランスの悪さを取り除く。3色補間点は、画素の角に配置される必要は無く、代わりに異なる点に配置されてもよいことが、当業者には理解されるであろう。例えば、補間に含まれる予定の画素を適切に選び、且つ、係数を適切に選択することによって、3色補間点が2つの画素の境界に沿って、画素の上縁と下縁の中間に、305で示されるように配置されてもよく、もしくは画素の中心とは一致しないその他の位置に配置されてもよい。
図4は、本発明の一実施形態による3色補間点「a」「b」「c」および「d」点の上面図である。図4において、それぞれの画素センサセルは、それぞれの色(G、RもしくはB)と、表記xyで示され、ここで、xは、アレイ内の画素センサセルがある場所の行を表し、yは列を表す。例えば、画素センサセル405はG11で示される。ここで、G11は、緑色のフィルタに関連付けられ、ならびに、行の1且つ列の1に配置される画素センサセル405を特定する。同様に、画素センサセル410はB45で示され、青色のフィルタに関連付けられ、ならびに、行の4且つ列の5に配置される画素センサセルを指す。
3色補間点a、b、c、およびdのそれぞれにおける緑色値、赤色値、および青色値は以下のように補間することができる。
『3色補間点「a」の補間値』
『3色補間点「a」の補間値』
例示的な実施形態において、図4の点「a」における緑色値の補間は、画素センサセルG24、G33、G35、G42、G44、およびG53の緑色の検知値を使用して計算される。3色補間点「a」での緑色の補間値は、以下の数式を使用して計算することができる。
Temp1=G33*coef_g3+G53*coef_g1
Temp2=G44*coef_g3+G24*coef_g1
Temp3=G33*coef_g3+G35*coef_g1
Temp4=G44*coef_g3+G42*coef_g1
Ga=(Temp1+Temp2+Temp3+Temp4)/4
Temp1=G33*coef_g3+G53*coef_g1
Temp2=G44*coef_g3+G24*coef_g1
Temp3=G33*coef_g3+G35*coef_g1
Temp4=G44*coef_g3+G42*coef_g1
Ga=(Temp1+Temp2+Temp3+Temp4)/4
ここで、係数「coef_g3」と「coef_g1」は、1/4画素位相シフト(phase shift)フィルタを構成し、また、「coef_g3」と「coef_g1」の合計は1である。例示的な実施形態においては、coef_g1=928/1024で、ならびに、coef_g3=1−(928/1024)、もしくはcoef_g3=96/1024である。その他のフィルタ係数は本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp4は点「a」での緑色値の計算に使用される一時的な値であって、Gaの数式において、Temp値を対応するそれぞれの数式に
置き換えることにより消去できる。
置き換えることにより消去できる。
例示的な実施形態において、図4の点「a」における赤色値の補間は、画素センサセルR32、R34、R52、R54の赤色の検知値と、画素センサセルG22、G24、G31、G33、G35、G42、G44、G51、G53、G55、G62、およびG64の緑色の検知値と、を使用して計算される。3色補間点「a」での赤色の補間値は、以下の数式を使用して計算することができる。
Temp1=R34−(G33+G35+G24+G44)/4
Temp2=R54−(G53+G55+G44+G64)/4
Temp3=R32−(G31+G33+G22+G42)/4
Temp4=R52−(G51+G53+G42+G62)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*coef_r1
Ra=Temp7+Ga
Temp1=R34−(G33+G35+G24+G44)/4
Temp2=R54−(G53+G55+G44+G64)/4
Temp3=R32−(G31+G33+G22+G42)/4
Temp4=R52−(G51+G53+G42+G62)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*coef_r1
Ra=Temp7+Ga
ここで、フィルタ係数「coef_r3」と「coef_r1」は1/4画素位相シフトフィルタを構成し、また、「coef_r3」と「coef_r1」の合計は1である。例示的な実施形態では、coef_r1=768/1024で、ならびに、coef_r3=1−(768/1024)、もしくはcoef_r3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「a」での赤色値の計算に使用される一時的な値であって、Ra数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
例示的な実施形態において、図4の点「a」における青色値の補間は、画素センサセルB23、B25、B43、B45の青色の検知値と、画素センサセルG13、G15、G22、G24、G26、G33、G35、G42、G44、G46、G53、およびG55の緑色の検知値と、を使用して計算される。3色補間点「a」での青色の補間値は、以下の数式を使用して計算することができる。
Temp1=B43−(G42+G44+G33+G53)/4
Temp2=B23−(G22+G24+G13+G33)/4
Temp3=B45−(G44+G46+G35+G55)/4
Temp4=B25−(G24+G26+G15+G35)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Ba=Temp7+Ga
Temp1=B43−(G42+G44+G33+G53)/4
Temp2=B23−(G22+G24+G13+G33)/4
Temp3=B45−(G44+G46+G35+G55)/4
Temp4=B25−(G24+G26+G15+G35)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Ba=Temp7+Ga
ここで、フィルタ係数「coef_b3」と「coef_b1」は1/4画素位相シフトフィルタを構成し、また、「coef_b3」と「coef_b1」の合計は1である。例示的な実施形態では、coef_b1=768/1024で、ならびに、coef_b3=1−(768/1024)、もしくはcoef_b3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「a」での青色値の計算に使用される一時的な値であって、Ba数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
『3色補間点「b」の補間値』
『3色補間点「b」の補間値』
例示的な実施形態において、図4の点「b」における緑色値の補間は、画素センサセル
G24、G33、G35、G44、G46、およびG55の緑色の検知値を使用して計算される。3色補間点「b」での緑色の補間値は、以下の数式を使用して計算することができる。
Temp1=G44*coef_g3+G24*coef_g1
Temp2=G35*coef_g3+G55*coef_g1
Temp3=G44*coef_g3+G46*coef_g1
Temp4=G35*coef_g3+G33*coef_g1
Gb=(Temp1+Temp2+Temp3+Temp4)/4
G24、G33、G35、G44、G46、およびG55の緑色の検知値を使用して計算される。3色補間点「b」での緑色の補間値は、以下の数式を使用して計算することができる。
Temp1=G44*coef_g3+G24*coef_g1
Temp2=G35*coef_g3+G55*coef_g1
Temp3=G44*coef_g3+G46*coef_g1
Temp4=G35*coef_g3+G33*coef_g1
Gb=(Temp1+Temp2+Temp3+Temp4)/4
ここで、フィルタ係数「coef_g3」と「coef_g1」は、1/4画素位相シフトフィルタを構成し、また、「coef_g3」と「coef_g1」の合計は1である。例示的な実施形態においては、coef_g1=928/1024で、ならびに、coef_g3=1−(928/1024)、もしくはcoef_g3=96/1024である。その他のフィルタ係数は本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp4は、点「b」での緑色値の計算に使用される一時的な値であって、Gb数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去ができる。
例示的な実施形態において、図4の点「b」における赤色値の補間は、画素センサセルR34、R36、R54、R56の赤色の検知値と、画素センサセルG24、G26、G33、G35、G37、G44、G46、G53、G55、G57、G64、およびG66の緑色の検知値と、を使用して計算される。3色補間点「b」での赤色の補間値は、以下の数式を使用して計算することができる。
Temp1=R34−(G33+G35+G24+G44)/4
Temp2=R54−(G53+G55+G44+G64)/4
Temp3=R36−(G35+G37+G26+G46)/4
Temp4=R56−(G55+G57+G46+G66)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*eoef_r1
Rb=Temp7+Gb
Temp1=R34−(G33+G35+G24+G44)/4
Temp2=R54−(G53+G55+G44+G64)/4
Temp3=R36−(G35+G37+G26+G46)/4
Temp4=R56−(G55+G57+G46+G66)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*eoef_r1
Rb=Temp7+Gb
ここで、フィルタ係数「coef_r3」と「coef_r1」は1/4画素位相シフトフィルタを構成し、また、「coef_r3」と「coef_r1」の合計は1である。例示的な実施形態では、coef_r1=768/1024で、ならびに、coef_r3=1−(768/1024)、もしくはcoef_r3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「b」での赤色値の計算に使用される一時的な値であって、Rb数式内において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
例示的な実施形態において、図4の点「b」における青色値の補間は、画素センサセルB23、B25、B43、B45の青色の検知値と、画素センサセルG13、G15、G22、G24、G26、G33、G35、G42、G44、G46、G53、およびG55の緑色の検知値と、を使用して計算される。3色補間点「b」での青色の補間値は、以下の数式を使用して計算することができる。
Temp1=B45−(G44+G46+G35+G55)/4
Temp2=B25−(G24+G26+G15+G35)/4
Temp3=B43−(G42+G44+G33+G53)/4
Temp4=B23−(G22+G24+G13+G33)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Bb=Temp7+Gb
Temp1=B45−(G44+G46+G35+G55)/4
Temp2=B25−(G24+G26+G15+G35)/4
Temp3=B43−(G42+G44+G33+G53)/4
Temp4=B23−(G22+G24+G13+G33)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Bb=Temp7+Gb
ここで、フィルタ係数「coef_b3」と「coef_b1」は1/4画素位相シフトフィルタを構成し、また、「coef_b3」と「coef_b1」の合計は1である。例示的な実施形態では、coef_b1=768/1024で、ならびに、coef_b3=1−(768/1024)、もしくはcoef_b3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「b」での青色値の計算に使用される一時的な値であって、Bb数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
『3色補間点「c」の補間値』
『3色補間点「c」の補間値』
例示的な実施形態において、図4の点「c」における緑色値の補間は、画素センサセルG33、G42、G44、G53、G55、およびG64の緑色の検知値を使用して計算される。3色補間点「c」での緑色の補間値は、以下の数式を使用して計算することができる。
Temp1=G53*coef_g3+G33*coef_g1
Temp2=G44*coef_g3+G64*coef_g1
Temp3=G53*coef_g3+G55*coef_g1
Temp4=G44*coef_g3+G42*coef_g1
Gc=(Temp1+Temp2+Temp3+Temp4)/4
Temp1=G53*coef_g3+G33*coef_g1
Temp2=G44*coef_g3+G64*coef_g1
Temp3=G53*coef_g3+G55*coef_g1
Temp4=G44*coef_g3+G42*coef_g1
Gc=(Temp1+Temp2+Temp3+Temp4)/4
ここで、フィルタ係数「coef_g3」と「coef_g1」は1/4画素位相シフトフィルタを構成し、また、「coef_g3」と「coef_g1」の合計は1である。例示的な実施形態において、coef_g1=928/1024で、ならびに、coef_g3=1−(928/1024)、もしくはcoef_g3=96/1024である。その他のフィルタ係数は本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp4は、点「c」での緑色値の計算に使用される一時的な値であって、Gc数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
例示的な実施形態において、図4の点「c」における赤色値の補間は、画素センサセルR32、R34、R52、R54の赤色の検知値と、画素センサセルG22、G24、G31、G33、G35、G42、G44、G51、G53、G55、G62、およびG64の緑色の検知値と、を使用して計算される。3色補間点「c」での赤色の補間値は、以下の数式を使用して計算することができる。
Temp1=R54−(G53+G55+G44+G64)/4
Temp2=R34−(G33+G35+G24+G44)/4
Temp3=R52−(G51+G53+G42+G62)/4
Temp4=R32−(G31+G33+G22+G42)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*coef_r1
Rc=Temp7+Gc
Temp1=R54−(G53+G55+G44+G64)/4
Temp2=R34−(G33+G35+G24+G44)/4
Temp3=R52−(G51+G53+G42+G62)/4
Temp4=R32−(G31+G33+G22+G42)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*coef_r1
Rc=Temp7+Gc
ここで、フィルタ係数「coef_r3」と「coef_r1」は1/4画素位相シフトフィルタを構成し、また、「coef_r3」と「coef_r1」の合計は1である
。例示的な実施形態では、coef_r1=768/1024で、ならびに、coef_r3=1−(768/1024)、もしくはcoef_r3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「c」での赤色値の計算に使用される一時的な値であって、Rc数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
。例示的な実施形態では、coef_r1=768/1024で、ならびに、coef_r3=1−(768/1024)、もしくはcoef_r3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「c」での赤色値の計算に使用される一時的な値であって、Rc数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
例示的な実施形態において、図4の点「c」における青色値の補間は、画素センサセルB43、B45、B63、B65の青色の検知値と、画素センサセルG33、G35、G42、G44、G46、G53、G55、G62、G64、G66、G73、およびG75の緑色の検知値と、を使用して計算される。3色補間点「c」での青色の補間値は、以下の数式を使用して計算することができる。
Temp1=B43−(G42+G44+G33+G53)/4
Temp2=B63−(G62+G64+G53+G73)/4
Temp3=B45−(G44+G46+G35+G55)/4
Temp4=B65−(G64+G66+G55+G75)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Bc=Temp7+Gc
Temp1=B43−(G42+G44+G33+G53)/4
Temp2=B63−(G62+G64+G53+G73)/4
Temp3=B45−(G44+G46+G35+G55)/4
Temp4=B65−(G64+G66+G55+G75)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Bc=Temp7+Gc
ここで、フィルタ係数「coef_b3」と「coef_b1」は1/4画素位相シフトフィルタを構成し、また、「coef_b3」と「coef_b1」の合計は1である。例示的な実施形態では、coef_b1=768/1024で、ならびに、coef_b3=1−(768/1024)、もしくはcoef_b3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「c」での青色値の計算に使用される一時的な値であって、Bc数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
『3色補間点「d」の補間値』
『3色補間点「d」の補間値』
例示的な実施形態において、図4の点「d」における緑色の値の補間は、画素センサセルG35、G44、G46、G53、G55、およびG64の緑色の検知値を使用して計算される。3色補間点「d」での緑色の補間値は、以下の数式を使用して計算することができる。
Temp1=G44*coef_g3+G64*coef_g1
Temp2=G55*coef_g3+G53*coef_g1
Temp3=G44*coef_g3+G46*coef_g1
Temp4=G55*coef_g3+G35*coef_g1
Gd=(Temp1+Temp2+Temp3+Temp4)/4
Temp1=G44*coef_g3+G64*coef_g1
Temp2=G55*coef_g3+G53*coef_g1
Temp3=G44*coef_g3+G46*coef_g1
Temp4=G55*coef_g3+G35*coef_g1
Gd=(Temp1+Temp2+Temp3+Temp4)/4
ここで、フィルタ係数「coef_g3」と「coef_g1」は1/4画素位相シフトフィルタを構成し、「coef_g3」と「coef_g1」の合計は1である。例示的な実施形態において、coef_g1=928/1024で、ならびに、coef_g3=1−(928/1024)、もしくはcoef_g3=96/1024である。その他のフィルタ係数は本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp4は点「d」での緑色値の計算に使用される一時的な値であって、Gd数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
例示的な実施形態において、図4の点「d」における赤色値の補間は、画素センサセルR34、R36、R54、R56の赤色の検知値と、画素センサセルG24、G26、G33、G35、G37、G44、G46、G53、G55、G57、G64、およびG66の緑色の検知値と、を使用して計算される。3色補間点「d」での赤色の補間値は、以下の数式を使用して計算することができる。
Temp1=R54−(G53+G55+G44+G64)/4
Temp2=R34−(G33+G35+G24+G44)/4
Temp3=R56−(G55+G57+G46+G66)/4
Temp4=R36−(G35+G37+G26+G46)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*coef_r1
Rd=Temp7+Gd
Temp1=R54−(G53+G55+G44+G64)/4
Temp2=R34−(G33+G35+G24+G44)/4
Temp3=R56−(G55+G57+G46+G66)/4
Temp4=R36−(G35+G37+G26+G46)/4
Temp5=Temp1*coef_r3+Temp2*coef_r1
Temp6=Temp3*coef_r3+Temp4*coef_r1
Temp7=Temp5*coef_r3+Temp6*coef_r1
Rd=Temp7+Gd
ここで、フィルタ係数「coef_r3」と「coef_r1」は1/4画素位相シフトフィルタを構成し、また、「coef_r3」と「coef_r1」の合計は1である。例示的な実施形態では、coef_r1=768/1024で、ならびに、coef_r3=1−(768/1024)、もしくはcoef_r3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「d」での赤色値の計算に使用される一時的な値であって、点Rd数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
例示的な実施形態において、図4の点「d」における青色値の補間は、画素センサセルB43、B45、B63、B65の青色の検知値と、画素センサセルG33、G35、G42、G44、G46、G53、G55、G62、G64、G66、G73、およびG75の緑色の検知値と、を使用して計算される。3色補間点「d」での青色の補間値は、以下の数式を使用して計算することができる。
Temp1=B45−(G44+G46+G35+G55)/4
Temp2=B65−(G64+G66+G55+G75)/4
Temp3=B43−(G42+G44+G33+G53)/4
Temp4=B63−(G62+G64+G53+G73)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Bd=Temp7+Gd
Temp1=B45−(G44+G46+G35+G55)/4
Temp2=B65−(G64+G66+G55+G75)/4
Temp3=B43−(G42+G44+G33+G53)/4
Temp4=B63−(G62+G64+G53+G73)/4
Temp5=Temp1*coef_b3+Temp2*coef_b1
Temp6=Temp3*coef_b3+Temp4*coef_b1
Temp7=Temp5*coef_b3+Temp6*coef_b1
Bd=Temp7+Gd
ここで、フィルタ係数「coef_b3」と「coef_b1」は1/4画素位相シフトフィルタを構成し、また、「coef_b3」と「coef_b1」の合計は1である。例示的な実施形態では、coef_b1=768/1024で、ならびに、coef_b3=1−(768/1024)、もしくはcoef_b3=256/1024である。その他のフィルタ係数は、本発明の範囲内である事が、当業者には理解されるであろう。Temp1からTemp7は、点「d」での青色値の計算に使用される一時的な値であって、Bd数式において、Temp値を対応するそれぞれの数式に置き換えることにより消去できる。
上記の点a、点b、点c、および点dに与えられた数式によって例証されるように、本実施形態において、緑色の補間値は、緑色をサンプリングし(例えば、点aのG33、G44)、且つ、3色補間点の形成の一端を担う、2つの画素セルの検知値と、緑色をサンプリングし(例えば、点aのG53、G24、G35、およびG42)、且つ、3色補間
点から1画素離れている、4つの追加の画素セルの検知値と、を使用する。補間される緑色値を決定するのに使用される6つの画素は、対応画素セルもしくは近傍画素セルと呼ばれる。さらに、緑色の補間の数式に示されるように、例示的な実施形態において、補間に使用される追加の4つの画素セル(例えば、点aのG53、G24、G35、および、G42)と比較して、3色補間点の形成の一端を担う2つの画素セル(例えば、点aのG33、G44)の検知した緑色値に、より大きい重み付けがされる。数式に示されるように、G34とG44のそれぞれの緑色値は対応する数式内で2度現れ、且つ、フィルタ係数もまた検知された緑色値が正しく重み付けされることを確実にするために使用される。例えば、点aの緑色値の補間において、画素セルG33とG44での検知値は、coef_g3を使用することで、フィルタ係数coef_g1を使用する画素セルG53、G24、G35、およびG42での検知値よりも重く、重み付けされる。
点から1画素離れている、4つの追加の画素セルの検知値と、を使用する。補間される緑色値を決定するのに使用される6つの画素は、対応画素セルもしくは近傍画素セルと呼ばれる。さらに、緑色の補間の数式に示されるように、例示的な実施形態において、補間に使用される追加の4つの画素セル(例えば、点aのG53、G24、G35、および、G42)と比較して、3色補間点の形成の一端を担う2つの画素セル(例えば、点aのG33、G44)の検知した緑色値に、より大きい重み付けがされる。数式に示されるように、G34とG44のそれぞれの緑色値は対応する数式内で2度現れ、且つ、フィルタ係数もまた検知された緑色値が正しく重み付けされることを確実にするために使用される。例えば、点aの緑色値の補間において、画素セルG33とG44での検知値は、coef_g3を使用することで、フィルタ係数coef_g1を使用する画素セルG53、G24、G35、およびG42での検知値よりも重く、重み付けされる。
また、上記の点a、点b、点c、および点dに与えられた数式によって例証されるように、例示的な実施形態において、赤色の補間値は、赤色をサンプリングする最も近くにある4つの画素セル(例えば、点aのR34、R54、R32、およびR52)の検知値を使用する。これら赤色が検知される画素のそれぞれは、1画素幅の所にあるか、もしくは3色補間点のより近くにある。さらに、赤色が検知される画素それぞれにおいて、赤色をサンプリングする画素(点aの補間における画素R34)を取り囲む4つの緑色が検知される画素(例えば、G33、G35、G24、およびG44)が、補間される赤色値を補間するのに使用される。例えば、点aにおける赤色値の補間において、R34、R54、R32、およびR52で検知された赤色値が使用される。さらに、R34の場合は、R34近傍の4つの緑色画素セルG33、G35、G24、およびG44の検知された緑色値が、補間に使用される。同様に、R54の検知された赤色値に加えて、R54近傍の4つの緑色画素セルG53、G55、G44、およびG64の検知された緑色値が、点aでの赤色値の補間に使用される。3色補間点の青色の補間値は、青色値をサンプリングする最も近くにある4つの画素が使用されること、および、これらの画素それぞれの近傍にある4つの緑色画素セルの検知された緑色値が使用されることと、を除いて赤色値と同様に計算される。
記載されるように、本発明は、色平面補間の斬新で新奇なシステムおよび方法を提供し、ここで、緑色、赤色、および青色の補間値は、取得された検知値を基に計算される。本発明において、検知値と補間値との間のバランスの悪さは、3色補間点におけるそれぞれの色の値を補間することによって、取り除かれる。本発明では、2つの緑色画素、1つの青色画素、および1つの赤色画素の角にある3色補間点の位置が説明されるが、その他の3色補間点が可能であり、これも本発明の範囲内である事が、当業者には理解されるであろう。
図5は、行と列に配置された複数の画素を含む画素アレイ505を備えるCMOS撮像装置集積回路(IC)500のブロック図を説明し、画素アレイ505は、例えば、ベイヤパターンで配置された、2つの緑色画素(G)、1つの青色画素(B)、および1つの赤色画素(R)を有する範囲510を含む。アレイ505にあるそれぞれの行の複数の画素は、行選択線515によって全て同時に有効(turn on)にされ、それぞれの列の複数の画素は、それぞれの列選択線520によって選択的に出力される。
行線515は、行アドレスデコーダ530に応じた行ドライバ525により選択的に活性化(activate)される。列選択線520は、列アドレスデコーダ540に応じた列セレクタ535により選択的に活性化される。画素アレイ505は、タイミング及び制御回路545によって操作され、タイミング及び制御回路545は、アドレスデコーダ530、540を制御し、画素信号読み出しのための適切な行線および列線を選択する。
画素列信号は、典型的には画素リセット信号(Vrst)と画素画像信号(Vsig)を含み、列セレクタ535と接続されたサンプルホールド回路550によって読み出しされる。差分信号(Vrst−Vsig)は、増幅されたそれぞれの画素の差動増幅器555によって生成され、アナログ−デジタル変換器570(ADC)によってデジタル化される。アナログ−デジタル変換器570は、本発明の方法が行われる画像プロセッサ575にデジタル化された画素信号を供給する。
本発明により画素信号が補間される画素アレイを有する撮像装置605を含む典型的なプロセッサシステムが、図6の600で大まかに説明される。撮像装置605は、画素アレイから供給された信号に基づいた出力画像を生成する。プロセッサベースのシステムは、CMOS撮像装置の出力を受け取るシステムの例である。制限されることなしに、そのようなシステムには、コンピュータシステム、カメラシステム、スキャナ、マシンビジョンシステム、医療用センサシステム(例えば、医療用錠剤センサ:medical pill sensor)、および自動診断装置システムが含まれてよく、これらのシステムならびにその他の画像システムの全てにおいて本発明を利用することができる。
コンピュータシステムなどのプロセッサベースのシステム600は、例えば一般的には、中央処理装置(CPU)610(例えば、マイクロプロセッサなど)を含み、バス620を介して入力/出力(I/O)装置615と通信する。撮像装置605は、また、バス620もしくは他の通信回線を介してシステムと通信する。コンピュータシステム600はランダムアクセスメモリ(RAM)625も含み、また、コンピュータシステムの場合は、取り外し可能メモリ630を含むフロッピーディスクドライブ、および、もしくは、取り外し可能メモリ630を有するコンパクトディスク(CD)ROM装置などの周辺機器含んでもよく、それらもまた、バス620を介してCPU610と通信する。また、プロセッサ610、撮像装置605、およびメモリ625が1つのICチップ上に統合されることが望ましいこともある。
図7は、本発明の一実施形態の処理700を説明するためのフロー図を示す。ステップ705において、補間点が選択される。本発明の例示的な実施形態において、補間点は4つの画素セルの交点に配置される。ステップ710において、それぞれの画素センサセルに対する検知値が得られる。ステップ715、720、および725において、第一の色、第2の色、および第3の色の補間値は、先に詳細に説明された数式によってそれぞれ決定される。具体的に言うと、緑色値を補間するための数式がステップ715で適用され、赤色値を補間するための数式がステップ720で適用され、ならびに、青色値を補間するための数式がステップ725で適用される。ステップ730において、ステップ715、720、および725で決定された補間値を用いて、色画像が再構成される。
1つ、もしくは複数の3色補間点で緑色、赤色、および青色の値を補間する他の方法は本発明の範囲内であり、また、本発明は先に説明した数式もしくは係数の利用に制限されないことを理解されたい。そのようなものとして、上記の説明と図は、本発明の特徴と効果を実現する例示的な実施形態を例証するものとしてのみ考えられるべきである。付随の請求項の趣旨と範囲内にある本発明の任意の変形例は、本発明の一部と考えられるべきである。従って、本発明は、前述の説明と図によって制限されるものとして考えられるべきではなく、付随の請求項の範囲によってのみ制限される。
先に述べた、および、その他の本発明の効果と特徴は、以下の付随する図面の参照と、先に提供された例示的な実施形態の詳細な説明から、より良く理解されるだろう。
従来の色フィルタアレイの上面図である。
色フィルタアレイを有する画素アレイの一部の横断面図である。
本発明の第1の実施形態による3色補間点の上面図である。
本発明による、点a、b、c、およびdの3色補間点の上面図である。
本発明の例示的な実施形態によって構成された画素アレイを有するCMOS撮像装置集積回路(IC)のブロック図である。
本発明によるCMOS撮像装置を有するプロセッサシステムの説明である。
本発明の一実施形態の処理を説明するフロー図である。
Claims (22)
- 画像の色平面補間方法であって、
色平面補間のために複数の色補間点を選択するステップであり、
ここで、それぞれの前記色補間点が、画像上の位置に相当し、且つ、それぞれの前記色補間点が、画像画素の中心点からずれているステップと、
前記画像の画素値を使用して、それぞれの補間点で、色パターンの複数の色の内のそれぞれの色に対する値を補間するステップと、
を含む、方法。 - 前記色補間点が、前記画素画像内の3色補間点である請求項1の方法。
- それぞれの色に対する値を補間する前記ステップが、
前記色補間点で、第1の色に対する値を補間するステップと、
前記色補間点で、第2の色に対する値を補間するステップと、
前記色補間点で、第3の色に対する値を補間するステップと、
を含む、請求項1の方法。 - それぞれの色に対する値を補間する前記ステップが、
前記3色補間点で、第1の色に対する値を補間するステップと、
前記3色補間点で、第2の色に対する値を補間するステップと、
前記3色補間点で、第3の色に対する値を補間するステップと、
を含む、請求項2の方法。 - 前記3色補間点が、前記画像内の4つの画素の間の共通な角に配置される請求項4の方法。
- 前記第1の色の値に対する前記補間が、前記3色補間点と隣接する2つの画素からの前記第1の色の検知値と、前記3色補間点から1画素幅の所にある4つの追加の画素からの前記第1の色の検知値と、を使用する請求項4の方法。
- 前記第2の色の値に対する前記補間が、前記3色補間点から1画素幅の所にある画素からの前記第2の色の4つの検知値と、前記第2の色の画素のそれぞれに隣接する4つの第1の色の画素それぞれの検知値と、を使用する請求項6の方法。
- 前記第3の色の値に対する前記補間が、前記3色補間点から1画素幅の所にある画素からの前記第3の色の4つの検知値と、前記第3の色の画素のそれぞれに隣接する4つの第1の色の画素それぞれの検知値と、を使用する請求項7の方法。
- 画像画素センサの検知アレイを含む色画像装置であって、
第1の色の検知値を生成するために使用される第1の複数の画像画素センサと、
第2の色の検知値を生成するために使用される第2の複数の画像画素センサと、
補間手段であって、前記第1の色の前記検知値と、前記第2の色の前記検知値とを、色補間点の前記第1の色の補間値、および前記第2の色の補間値を決定するために使用し、ここで、前記色補間点が画像画素の中心からずれている補間手段と、
前記第1の色と前記第2の色の補間値を使用して表示画像を作成する手段と、
を含む、色画像装置。 - 前記色補間点が3色補間点である、請求項9の色画像装置であって、前記色画像装置が、
第3の色の検知値を生成するために使用される第3の複数の画像画素センサと、
補間手段であって、前記第一の色の前記検知値、前記第2の色の前記検知値、および前記第3の色の前記検知値を、色補間点の前記第1の色の補間値、前記第2の色の補間値、および第3の色の補間値を決定するために使用する補間手段と、をさらに含み、ここで、前記表示画像が、前記第1の色、前記第2の色、および前記第3の色の前記補間値を使用して作成される、請求項9の色画像装置。 - 前記3色補間点が、前記検知アレイ内の4つの画素の間の共通な角に配置される請求項10の色画像装置。
- 画像画素センサのアレイを備える画像装置を含むプロセッシングシステムであって、
前記画像装置が、
第1の色の検知値を生成するために使用される第1の複数の画像画素センサと、
第2の色の検知値を生成するために使用される第2の複数の画像画素センサと、
第3の色の検知値を生成するために使用される第3の複数の画像画素センサと、
前記第1の色の前記検知値、前記第2の色の前記検知値、および前記第3の色の前記検知値を、3色補間点の前記第1の色の補間値、前記第2の色の補間値、および前記第3の色の補間値を決定するために使用して、補間を行うプロセッサとを含み、ここで、前記補間が、任意の画素センサの中心からずれた位置について行われることを特徴とする、プロセッシングシステム。 - 前記プロセッサが、前記補間を3色補間点で実行し、ここで、前記3色補間点が、前記アレイ内の4つの画素センサセルの間の共通な角に配置される、請求項12のプロセッシングシステム。
- 前記プロセッサが、前記補間を3色補間点で実行し、ここで、前記3色補間点が、前記アレイ内の2つの画素センサセルの間の交差辺に配置される、請求項12のプロセッシングシステム。
- 前記第1の色の値の前記補間が、前記3色補間点に隣接する2つの画素からの前記第1の色の検知値と、前記3色補間点から1画素幅の所にある4つの追加の画素からの前記第1の色の検知値と、を使用する、請求項13のプロセッシングシステム。
- 前記第2の色の値の前記補間が、前記3色補間点から1画素幅の所の画素からの前記第2の色の4つの検知値と、それぞれの前記第2の色の画素に隣接する4つの第1の色の画素それぞれの検知値と、を使用する請求項15のプロセッシングシステム。
- 前記第3の色の値の前記補間が、前記3色補間点から1画素幅の所の画素からの前記第3の色の4つの検知値と、それぞれの前記第3の色の画素に隣接する4つの第1の色画素のそれぞれの検知値と、を使用する請求項16のプロセッシングシステム。
- 赤色、青色、および緑色スペクトルの内の1つの波長を持つ適用された光に対応する、それぞれの複数の画素センサからの検知値を取得するステップと、
3色補間点に対する赤色値、青色値、および緑色値を、赤色、青色、および緑色のスペクトルの波長を持つ適用された光に対応する前記複数の画素センサからの検知値を使用して補間するステップと、を含む、
デジタル色信号を処理する方法。 - 前記3色補間点が画像画素の中心からずれている、請求項18のデジタル色信号を処理する方法。
- コンピュータが色パターンの色平面補間を実行することを可能にするコンピュータ命令を記憶するための、コンピュータで読取可能な媒体であって、
前記色平面補間が、
画素画像内の色補間点を、前記色補間点で前記色平面補間を実行するために選択するステップと、
それぞれの色補間点で、前記色パターンのそれぞれの色の値を補間するステップと、を含む、コンピュータで読取可能な媒体。 - 前記色補間点が、前記画素画像内の3色補間点であり、それぞれの色の値を補間する前記ステップが、
前記3色補間点で、第1の色に対する値を補間するステップと、
前記3色補間点で、第2の色に対する値を補間するステップと、
前記3色補間点で、第3の色に対する値を補間するステップと、
を含む、請求項20のコンピュータで読取可能な媒体。 - デジタル色信号を処理する方法であって、
受信された信号から、複数の画素センサセルそれぞれの3色補間点に対する補間された緑色値、補間された赤色値、補間された青色値を生成するために、補間を行うステップを含み、ここで、前記受信された信号が、青色光の範囲、赤色光の範囲、および緑色光の範囲の内の1つの範囲内の波長を有する適用された光の量と対応することを特徴とする、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/330,320 US7456881B2 (en) | 2006-01-12 | 2006-01-12 | Method and apparatus for producing Bayer color mosaic interpolation for imagers |
PCT/US2007/000046 WO2007087119A2 (en) | 2006-01-12 | 2007-01-04 | Method and apparatus for producing bayer color mosaic interpolation for imagers |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009524282A true JP2009524282A (ja) | 2009-06-25 |
Family
ID=38180661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008550332A Pending JP2009524282A (ja) | 2006-01-12 | 2007-01-04 | 撮像装置のためのベイヤパターンの色モザイク補間を生成する方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7456881B2 (ja) |
EP (1) | EP1974549A2 (ja) |
JP (1) | JP2009524282A (ja) |
KR (1) | KR20080083712A (ja) |
CN (1) | CN101366288A (ja) |
TW (1) | TW200822763A (ja) |
WO (1) | WO2007087119A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017517001A (ja) * | 2014-06-03 | 2017-06-22 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | ナノ粒子分析器 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005115820A1 (de) | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
US7646910B1 (en) * | 2006-04-19 | 2010-01-12 | Ambarella, Inc. | Digital video camera non-integer-ratio Bayer domain scaler |
US7745779B2 (en) * | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
US8229212B2 (en) * | 2008-04-08 | 2012-07-24 | Qualcomm Incorporated | Interpolation system and method |
DE102008063970B4 (de) * | 2008-12-19 | 2012-07-12 | Lfk-Lenkflugkörpersysteme Gmbh | Verfahren zur Interpolation von Farbwerten an Bildpunkten eines Bildsensors |
TWI477155B (zh) * | 2009-03-06 | 2015-03-11 | Univ Nat Cheng Kung | 色彩內插方法與應用此色彩內插方法之影像解馬賽克方法及其電腦程式產品 |
US9127361B2 (en) | 2009-12-07 | 2015-09-08 | Mks Instruments, Inc. | Methods of and apparatus for controlling pressure in multiple zones of a process tool |
JP5121870B2 (ja) * | 2010-03-25 | 2013-01-16 | 株式会社東芝 | 画像処理方法および画像処理装置 |
JP2012060434A (ja) * | 2010-09-09 | 2012-03-22 | Fuji Xerox Co Ltd | 画素補間装置、画像読取装置、及び画素補間プログラム |
WO2013100036A1 (ja) * | 2011-12-27 | 2013-07-04 | 富士フイルム株式会社 | カラー撮像素子 |
US20150321644A1 (en) * | 2012-08-06 | 2015-11-12 | Conti Temic Microelectronic Gmbh | Detection of Raindrops on a Pane by Means of a Camera and Illumination |
CN105556944B (zh) * | 2012-11-28 | 2019-03-08 | 核心光电有限公司 | 多孔径成像系统和方法 |
CN103530856B (zh) * | 2013-10-25 | 2017-05-17 | 上海交通大学 | 一种Bayer图像去椒盐噪声的方法和系统 |
JP7245835B2 (ja) * | 2017-12-05 | 2023-03-24 | エアリー3ディー インコーポレイティド | 奥行取得のためのライトフィールド画像処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08340455A (ja) * | 1995-06-14 | 1996-12-24 | Olympus Optical Co Ltd | 画像信号処理装置 |
JPH11146407A (ja) * | 1995-02-27 | 1999-05-28 | Sanyo Electric Co Ltd | 単板式カラービデオカメラ |
JP2001054123A (ja) * | 1999-07-22 | 2001-02-23 | Neucore Technol Inc | 画像処理装置 |
JP2002125240A (ja) * | 2000-10-17 | 2002-04-26 | Matsushita Electric Ind Co Ltd | カラー撮像装置 |
JP2003009167A (ja) * | 2001-06-26 | 2003-01-10 | Olympus Optical Co Ltd | 撮像装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
DE69712969T2 (de) | 1996-03-29 | 2003-01-09 | Sanyo Electric Co | Farbkamera mit einem einzigen CCD-Farbbildsensor mit höherer Auflösung, der fähig ist, Geisterfarberzeugung zu begrenzen |
JP3704238B2 (ja) * | 1997-03-31 | 2005-10-12 | 株式会社リコー | 撮像装置 |
KR100269205B1 (ko) * | 1997-07-10 | 2000-10-16 | 윤종용 | 가변 임계치를 이용한 이진 영상의 보간 방법 |
US6563538B1 (en) | 1997-09-26 | 2003-05-13 | Nikon Corporation | Interpolation device, process and recording medium on which interpolation processing program is recorded |
US6507364B1 (en) * | 1998-03-13 | 2003-01-14 | Pictos Technologies, Inc. | Edge-dependent interpolation method for color reconstruction in image processing devices |
US6366318B1 (en) * | 1998-03-27 | 2002-04-02 | Eastman Kodak Company | CFA correction for CFA images captured at partial resolution |
JP4292625B2 (ja) | 1998-06-01 | 2009-07-08 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
AUPQ056099A0 (en) | 1999-05-25 | 1999-06-17 | Silverbrook Research Pty Ltd | A method and apparatus (pprint01) |
KR100291628B1 (ko) | 1999-06-19 | 2001-05-15 | 윤덕용 | 3차원 그래픽 텍스쳐 맵핑용 캐쉬 메모리 및 그의 캐쉬 미스페널티 저감방법 |
US6917381B2 (en) * | 2000-11-30 | 2005-07-12 | Intel Corporation | Color filter array and color interpolation algorithm |
DE60235526D1 (de) * | 2001-01-25 | 2010-04-15 | Nikon Corp | Bildverarbeitungsverfahren, bildverarbeitungsprogramm und bildprozessor |
US6909750B2 (en) | 2001-05-01 | 2005-06-21 | Koninklijke Philips Electronics N.V. | Detection and proper interpolation of interlaced moving areas for MPEG decoding with embedded resizing |
US6965705B1 (en) | 2001-08-09 | 2005-11-15 | Ndsp, Inc. | Method and system for dynamic angle interpolation in image processing |
US6642932B2 (en) * | 2001-09-13 | 2003-11-04 | The Hong Kong University Of Science And Technology | Method and system for interpolation in color images |
JP2005532004A (ja) | 2002-07-04 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 信号処理方法、信号処理装置、コンピュータプログラムプロダクト、コンピュータシステム、およびカメラ |
JP3829985B2 (ja) | 2002-10-31 | 2006-10-04 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US20040114047A1 (en) * | 2002-12-13 | 2004-06-17 | Vora Poorvi L. | Method for transforming an offset sensor array |
US6944263B2 (en) | 2002-12-31 | 2005-09-13 | Tsinghua University | Apparatus and methods for multiple view angle stereoscopic radiography |
US6911955B2 (en) | 2003-07-16 | 2005-06-28 | Raytheon Company | High strength fabric structure and seam therefor with uniform thickness and a method of making same |
US7015930B2 (en) * | 2003-08-01 | 2006-03-21 | Ati Technologies Inc. | Method and apparatus for interpolating pixel parameters based on a plurality of vertex values |
US7019521B2 (en) | 2003-09-15 | 2006-03-28 | Neocera, Inc. | Fault isolation of circuit defects using comparative magnetic field imaging |
-
2006
- 2006-01-12 US US11/330,320 patent/US7456881B2/en active Active
-
2007
- 2007-01-04 WO PCT/US2007/000046 patent/WO2007087119A2/en active Application Filing
- 2007-01-04 KR KR1020087019704A patent/KR20080083712A/ko not_active Application Discontinuation
- 2007-01-04 EP EP07716221A patent/EP1974549A2/en not_active Withdrawn
- 2007-01-04 JP JP2008550332A patent/JP2009524282A/ja active Pending
- 2007-01-04 CN CNA2007800021434A patent/CN101366288A/zh active Pending
- 2007-01-12 TW TW096101318A patent/TW200822763A/zh unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11146407A (ja) * | 1995-02-27 | 1999-05-28 | Sanyo Electric Co Ltd | 単板式カラービデオカメラ |
JPH08340455A (ja) * | 1995-06-14 | 1996-12-24 | Olympus Optical Co Ltd | 画像信号処理装置 |
JP2001054123A (ja) * | 1999-07-22 | 2001-02-23 | Neucore Technol Inc | 画像処理装置 |
JP2002125240A (ja) * | 2000-10-17 | 2002-04-26 | Matsushita Electric Ind Co Ltd | カラー撮像装置 |
JP2003009167A (ja) * | 2001-06-26 | 2003-01-10 | Olympus Optical Co Ltd | 撮像装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017517001A (ja) * | 2014-06-03 | 2017-06-22 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | ナノ粒子分析器 |
Also Published As
Publication number | Publication date |
---|---|
WO2007087119A2 (en) | 2007-08-02 |
CN101366288A (zh) | 2009-02-11 |
TW200822763A (en) | 2008-05-16 |
US7456881B2 (en) | 2008-11-25 |
US20070159544A1 (en) | 2007-07-12 |
EP1974549A2 (en) | 2008-10-01 |
WO2007087119A3 (en) | 2007-11-22 |
KR20080083712A (ko) | 2008-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7456881B2 (en) | Method and apparatus for producing Bayer color mosaic interpolation for imagers | |
EP1969558B1 (en) | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms | |
TWI266903B (en) | Color filter array and solid imaging element | |
US10021358B2 (en) | Imaging apparatus, imaging system, and signal processing method | |
US8902330B2 (en) | Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing same | |
JP5872408B2 (ja) | カラー撮像装置及び画像処理方法 | |
US7745779B2 (en) | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers | |
US6781626B1 (en) | System and method of color interpolation | |
US8593548B2 (en) | Apparataus and method of automatic color shading removal in CMOS image sensors | |
JP4232086B2 (ja) | 二色フォトディテクタのアレイを含むディジタルイメージセンサ、及び二色フォトディテクタのアレイのデモザイク方法 | |
US20080049112A1 (en) | Cmos Image Sensor | |
KR20100018042A (ko) | 고체 촬상 소자 | |
JP2008022521A (ja) | 固体撮像素子 | |
JP2009194604A (ja) | 撮像装置及び撮像装置の駆動方法 | |
US7259788B1 (en) | Image sensor and method for implementing optical summing using selectively transmissive filters | |
JP2005198319A (ja) | 撮像素子および方法 | |
CN207251823U (zh) | 成像设备和成像系统 | |
JPH11355791A (ja) | 二次元カラー撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101207 |