JP2010511350A - 所望の解像度を有するカラー画像の提供 - Google Patents

所望の解像度を有するカラー画像の提供 Download PDF

Info

Publication number
JP2010511350A
JP2010511350A JP2009539258A JP2009539258A JP2010511350A JP 2010511350 A JP2010511350 A JP 2010511350A JP 2009539258 A JP2009539258 A JP 2009539258A JP 2009539258 A JP2009539258 A JP 2009539258A JP 2010511350 A JP2010511350 A JP 2010511350A
Authority
JP
Japan
Prior art keywords
image
color
panchromatic
resolution
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009539258A
Other languages
English (en)
Inventor
イー．，ジュニア アダムス，ジェイムズ
オブライエン，ミシェル
フランクリン，ジュニア ハミルトン，ジョン
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2010511350A publication Critical patent/JP2010511350A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/48—Picture signal generators
    • H04N1/486—Picture signal generators with separate detectors, each detector being used for one specific colour component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)

Abstract

所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成することを含む。

Description

本発明は、パンクロマティック画像と、所望の解像度よりも低い解像度を有するカラー画像とから、所望の解像度を有するカラー画像を形成することに関する。
ビデオカメラ及びデジタル・スチルカメラは一般に、シーンを記録するために、カラーフィルタ・アレイを有する単独の画像センサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる疎密度の単一チャネル画像で始まる。これに続く、近傍画素値の補間が、完全な３チャネル・フルカラー画像の再構成を可能にする。１つの一般的なアプローチは、輝度色チャネル、例えば「グリーン」を直接的に検出するか又は合成し、次いで、初期ステップとして最大解像度(Full-Resolution)輝度画像を生成することである。この輝度チャネルは次いで、残りの色チャネルを補間するために種々の方法で使用される。単純な双線形補間アプローチが、米国特許第５，５０６，６１９号明細書（Adams他）及び同第６，６５４，４９２号明細書（Sasai)に開示される。輝度勾配及びラプラシアンを使用する適応アプローチが、米国特許第５，５０６，６１９号明細書並びに同第５，６２９，７３４号明細書（Hamilton他）においても教示されている。米国特許出願公開第２００２／０１８６３０９号明細書（keshet他）は、異なる種類の適応補間において輝度チャネルの双方向フィルタリングを用いることを明らかにしている。最後に、米国特許出願公開第２００３／００５３６８４号明細書（Acharya）には、さらに別の適応補間法において輝度チャネル上にメディアンフィルタ・バンクを使用することが記載されている。
低光量撮像状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマティックである状態で有することが有利である。これらのパンクロマティック画素は、キャプチャ・システムの最大感光性能力を有する。パンクロマティック画素を採用することは、キャプチャ・システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、撮像装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、キャプチャ装置の低光量性能全体を制限することである。
より多くの画素がカラーフィルタ・アレイにおいて最大感光性を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。そのシーンからのカラー情報をキャプチャするのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに対して応答しない、又はこれを保護しない、単純な線形補間技術を用いることを教示する。
本発明の目的は、パンクロマティック画素及びカラー画素を有するデジタル画像から、所望の解像度を有するデジタル・カラー画像を生成することである。
この目的は、所望の解像度を有するデジタル・カラー画像を形成する方法であって、
（ａ） 所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして
（ｂ） 該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成することを含んで成る方法によって達成される。
本発明の特徴は、パンクロマティック画素及びカラー画素を有するセンサを用いて低光量条件下で画像をキャプチャすることができ、また、処理を施すことにより、パンクロマティック画素及びカラー画素から形成されたデジタル・カラー画像内に所望の解像度が生成されることである。
本発明は、上記方法が、改善された低光量感受性及び改善された色空間分解忠実度の両方を提供するのを可能にするために、パンクロマティック画素とカラー画素とを好適に複合することによって、カラーフィルタ・アレイを利用する。上記方法は、パンクロマティック空間ディテール及びカラー空間ディテールを維持・強化し、そしてフルカラー最大解像度画像を生成する。
図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す斜視図である。 図２は、本発明の好ましい態様を示すブロック・ダイヤグラムである。 図３は、図２のブロック２０６をより詳細に示すブロック・ダイヤグラムである。 図４は、本発明の別の態様としての図２のブロック２０６を、より詳細に示すブロック・ダイヤグラムである。 図５は、本発明の別の態様としての図２のブロック２０６を、より詳細に示すブロック・ダイヤグラムである。 図６は、本発明の別の態様としての図２のブロック２０６を、より詳細に示すブロック・ダイヤグラムである。 図７は、図２のブロック２０６において使用される画素領域を示す図である。 図８は、図３のブロック２１０において使用される画素領域を示す図である。 図９は、図４のブロック２２０において使用される画素領域を示す図である。
以下に、通常はソフトウェアプログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の観点、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当該技術分野の通常の技術範囲に含まれる。
さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリー（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。
本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナルのフィルム、例えばハロゲン化銀塩フィルムを走査することによって）デジタル化されることに留意するのも有益である。
図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェアプログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。
マイクロプロセッサをベースとするユニット１１２にソフトウェアプログラム及びその他の情報を入力する手段を提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェアプログラムを含むコンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェアプログラムを含んでもよく、これはソフトウェアプログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入することもできる。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェアプログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。
ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られている、ＰＣカード１３０内に電子的に具体化されたデジタル化画像を含有するＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ（図示せず）又はスキャナ(図示せず)から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することもできる。
本発明によれば、疎密度画像を補間するために、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像に適用することができる。
図２は、好ましい態様の高レベルのダイヤグラムである。デジタルカメラ１３４は、デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれる元のデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢ ＣＦＡ画像２００から最大解像度パンクロマティック画像２０４を生成する。画像処理鎖内のこの時点では、各カラー画素位置は、関連付けられたパンクロマティック値と、レッド、グリーン、又はブルー値とを有している。ＲＧＢ ＣＦＡ画像２００及び最大解像度パンクロマティック画像２０４から、ＲＧＢ ＣＦＡ画像補間ブロック２０６が続いて、最大解像度フルカラー画像２０８を生成する。
図２において、パンクロマティック画像補間ブロック２０２は、当業者に知られた任意の好適な方法で実施することができる。ここで２つの例を挙げる。図８に示すように、画素Ｘ5のパンクロマティック値を推定するための１つの方法は、周りの６つのパンクロマティック値を単純に平均することである。すなわち：
Ｘ5＝（Ｐ1＋Ｐ2＋Ｐ3＋Ｐ7＋Ｐ8＋Ｐ9）／６
このアプローチにおける画素値に対する交互の重み付けも当業者に知られている。一例としては、
Ｘ5＝（Ｐ1＋２Ｐ2＋Ｐ3＋Ｐ7＋２Ｐ8＋Ｐ9）／８
或いは、方向性勾配の絶対値（絶対方向性勾配）を先ず計算することにより、適応アプローチを用いることもできる。
Ｂ5＝｜Ｐ1−Ｐ9｜
Ｖ5＝｜Ｐ2−Ｐ8｜
Ｓ5＝｜Ｐ3−Ｐ7｜
Ｘ5の値は今や、３つの２点平均のうちの１つによって割り出される。
ＢＸ5＝（Ｐ1＋Ｐ9）／２
ＶＸ5＝（Ｐ2＋Ｐ8）／２
ＳＸ5＝（Ｐ3＋Ｐ7）／２
絶対方向勾配集合の最小値と関連する２点平均は、Ｘ5を計算するために使用される。例えばＶ5≦Ｂ5且つＶ5≦Ｓ5であるならば、Ｘ5＝ＶＸ5である。
図３は、好ましい態様のブロック２０６（図２）をより詳細に示す図である。パンクロマティック補正生成ブロック２１０は、最大解像度パンクロマティック画像２０４（図２）を取得し、そしてパンクロマティック補正２１４を生成する。低解像度ＲＧＢ ＣＦＡ画像補間ブロック２１２は、ＲＧＢＰ ＣＦＡ画像２００（図２）を取得し、そして低解像度フルカラー画像２１６を生成する。画像組み合わせブロック２１８は、パンクロマティック補正２１４と低解像度フルカラー画像２１６とを組み合わせることにより、最大解像度フルカラー画像２０８（図２）を生成する。
図３において、パンクロマティック補正生成ブロック２０６は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、画素Ｐ5のパンクロマティック補正値ＰCを推定するための１つの方法は、中心画素値と、近傍のレッド画素と一致する画素値とを用いて、２次元ラプラシアンを計算することである。すなわち：
ＰC＝（４Ｐ5−Ｐ1−Ｐ3−Ｐ7−Ｐ9）／４
再び図３において、低解像度ＲＧＢ ＣＦＡ画像補間ブロック２１２は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、画素Ｐ5の低解像度レッド画素値ＲLを計算するための１つの方法は、近傍のレッド画素の４点平均を計算することである。すなわち：
ＲL＝（Ｒ1＋Ｒ3＋Ｒ7＋Ｒ9）／４
再び図３において、画像組み合わせブロック２１８は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、画素Ｐ5の最大解像度レッド画素値ＲFを計算するための１つの方法は、低解像度レッド画素値と、スケーリングされた形のパンクロマティック補正値とを合計することである。
すなわち：
ＲF＝ＲL＋ｋＰC
上記式中、スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。異なる色、例えばグリーン及びブルーに関しても、同様の計算が行われる。この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
図４は、別の態様のブロック２０６（図２）をより詳細に示す図である。色差ＣＦＡ画像生成ブロック２２０は、最大解像度パンクロマティック画像２０４（図２）及びＲＧＢＰ ＣＦＡ画像２００（図２）を取得し、そして色差ＣＦＡ画像２２２を生成する。色差ＣＦＡ画像補間ブロック２２４は、色差ＣＦＡ画像２２２を取得し、そして最大解像度色差画像２２６を生成する。最大解像度フルカラー画像生成ブロック２２８は、最大解像度色差画像２２６と最大解像度パンクロマティック画像２０４（図２）とを組み合わせることにより、最大解像度フルカラー画像２０８（図２）を生成する。
図４において、色差ＣＦＡ画像生成ブロック２２０は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、１つの方法は、カラー値とパンクロマティック値との差を各カラー画素位置で計算することである。図７において、下記計算が実施されることになる：
ＣR1＝Ｒ1−Ｐ1
ＣR3＝Ｒ3−Ｐ3
ＣR7＝Ｒ7−Ｐ7
ＣR9＝Ｒ9−Ｐ9
値ＣR1、ＣR3、ＣR7、及びＣR9は、図９に示されているような、結果として生じる色差である。この動作は、画像内のカラー画素毎に行われる。結果として生じる色差ＣＦＡ画素２２２（図４）は、ＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
図４に戻ると、色差ＣＦＡ画像２２４は、当業者に知られた任意の好適な方法で実施することができる。図９を参照すると、１つの方法は、近傍色差値の平均を計算することにより、画素Ｐ5に対応する色差ＣR5を生成することである：
ＣR5＝（ＣR1＋ＣR3＋ＣR7＋ＣR9）／４
この動作は、画像内の画素毎に、そして色差チャネルＣR、ＣG、及びＣB毎に行われる。結果として生じる最大解像度色差画像２２６（図４）は、画素位置毎のＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
図４に戻ると、最大解像度フルカラー画像生成ブロック２２８は、当業者に知られた任意の好適な方法で実施することができる。１つの方法は、各画素位置における色差値とパンクロマティック値との和を計算することである。所与の画素が色差値ＣR、ＣG、及びＣB、並びにパンクロマティック値Ｐを有する場合、相当するカラー値Ｒ、Ｇ及びＢは次のようになる：
Ｒ＝ＣR＋Ｐ
Ｇ＝ＣG＋Ｐ
Ｂ＝ＣB＋Ｐ
この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
図５は、別の態様のブロック２０６（図２）をより詳細に示す図である。パンクロマティック分類子生成ブロック２３０は、最大解像度パンクロマティック画像２０４（図２）を取得し、そしてパンクロマティック分類子２３２を生成する。パンクロマティック分類子分析ブロック２３４は、パンクロマティック分類子２３２を取得し、そしてパンクロマティック分類決定２３６を生成する。ＲＧＢ ＣＦＡ画像補間予測ブロック２３８が、ＲＧＢＰ ＣＦＡ画像２００（図２）上で動作するためにパンクロマティック分類決定２３６を使用することにより、最大解像度フルカラー画像２０８（図２）を生成する。
図５において、パンクロマティック分類子生成ブロック２３０は、当業者に知られた任意の好適な方法で実施することができる。ここで３つの例を挙げる。第１の例は、方向性勾配及びラプラシアンを使用する。図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
下記式：
ＧS5＝｜Ｐ3−Ｐ7｜
ＧB5＝｜Ｐ1−Ｐ9｜
ＬS5＝｜２Ｐ5−Ｐ3−Ｐ7｜
ＬB5＝｜２Ｐ5−Ｐ1−Ｐ9｜
Ｓ5＝ａＧS5＋ｂＬS5
Ｂ5＝ａＧB5＋ｂＬB5
を使用して計算することができる。
ＧS5は画素Ｐ5に対するスラッシュ勾配であり、ＧB5は画素Ｐ5に対するバックスラッシュ勾配である。ＬS5は、画素Ｐ5に対するスラッシュ・ラプラシアンであり、ＬB5は、画素Ｐ5に対するバックスラッシュ・ラプラシアンである。係数ａ及びｂは、それぞれの勾配成分及びラプラシアン成分のうちのどれぐらい多くの成分が最終分類子計算に参加するかを調整するために使用される。ａ及びｂの典型的な値は、勾配専用分類子の場合ａ＝１、ｂ＝０であり、ラプラシアン専用分類子の場合ａ＝０、ｂ＝１であり、そして組み合わせ勾配・ラプラシアン分類子の場合ａ＝１、ｂ＝１である。別の例は、方向性メディアンフィルタを使用する。再び図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
下記式：
ＭS5＝メディアン（Ｐ3、Ｐ5、Ｐ7）
ＭB5＝メディアン（Ｐ1、Ｐ5、Ｐ9）
Ｓ5＝｜ＭS5−Ｐ5｜
Ｂ5＝｜ＭB5−Ｐ5｜
を使用して計算することができる。
ＭS5は、３つのパンクロマティック値Ｐ3、Ｐ5、及びＰ7の統計メディアンである。ＭB5は、３つのパンクロマティック値Ｐ1、Ｐ5、及びＰ9の統計メディアンである。第３の例は、双方向フィルタリングのサブクラスであるシグマ・フィルタリングを使用する。この場合、我々は、画素Ｒ1、Ｒ3、Ｒ7、及びＲ9に対応する４つの分類子ｄ1、ｄ3、ｄ7、及びｄ9：
ｄ1＝｜Ｐ1−Ｐ5｜
ｄ3＝｜Ｐ3−Ｐ5｜
ｄ7＝｜Ｐ7−Ｐ5｜
ｄ9＝｜Ｐ9−Ｐ5｜
を形成する。
図５において、パンクロマティック分類子分析ブロック２３４は、当業者に知られた任意の好適な方法で実施することができる。前段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類子ブロック２３４の分析は、２つの値Ｓ5及びＢ5のうちの小さい方を割り出すことにより、パンクロマティック分類決定２３６を生成することである。Ｓ5≦Ｂ5の場合、パンクロマティック分類決定はスラッシュである。そうでない場合、パンクロマティック分類決定はバックスラッシュである。シグマ・フィルタの場合、パンクロマティック分類子ブロック２３４の分析は、
下記式：
ｄ1＜ｔならばｃ1＝１、そうでなければｃ1＝０
ｄ3＜ｔならばｃ3＝１、そうでなければｃ3＝０
ｄ7＜ｔならばｃ7＝１、そうでなければｃ7＝０
ｄ9＜ｔならばｃ9＝１、そうでなければｃ9＝０
を使用して４つの係数ｃ1、ｃ3、ｃ7及びｃ9の値を割り出すことにより、パンクロマティック分類決定を生成する。
閾値ｔは、画像キャプチャ装置の固有ノイズの関数である。古典的には、このノイズは、関連する平均値及び標準偏差を有するガウス（正規）分布としてモデル化される。値ｔは典型的には、このノイズ・モデルの標準偏差の１〜３倍の値に設定される。
図５において、ＲＧＢ ＣＦＡ画像補間ブロック２３８は、当業者に知られた任意の好適な方法で実施することができる。前の２つの段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類決定２３６は、２つの予測値ＲS5及びＲB5：
ＲS5＝（Ｒ3＋Ｒ7）／２＋ｋ（２Ｐ5−Ｐ3−Ｐ7）／２
ＲB5＝（Ｒ1＋Ｒ9）／２＋ｋ（２Ｐ5−Ｐ1−Ｐ9）／２
から選択するために使用される。
スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。パンクロマティック分類決定がスラッシュであるならば、画素Ｐ5に対応するカラー値Ｒ5はＲS5として計算される。そうでなければ、この値はＲB5として計算される。シグマ・フィルタの場合、ｃ1、ｃ3、ｃ7及びｃ9に応答する単一の予測値が計算される。
すなわち：
Ｒ5＝｛（ｃ1Ｒ1＋ｃ3Ｒ3＋ｃ7Ｒ7＋ｃ9Ｒ9）＋ｋ［（ｃ1＋ｃ3＋ｃ7＋ｃ9）Ｐ5−ｃ1Ｐ1−ｃ3Ｐ3−ｃ7Ｐ7−ｃ9Ｐ9］｝／（ｃ1＋ｃ3＋ｃ7＋ｃ9）
上記等式から、我々は、画素Ｐ5に対して分類子決定の係数ｃ1、ｃ3、ｃ7及びｃ9から、そして既存のレッド画素値及びパンクロマティック画素値Ｒ1、Ｒ3、Ｒ7、Ｒ9、Ｐ5、Ｐ1、Ｐ3、Ｐ7、及びＰ9から、レッド画素値Ｒ5を計算することが判る。スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。異なる色、例えばグリーン及びブルーに関しても、同様の計算が行われる。
ｃ1、ｃ3、ｃ7及びｃ9の値の可能な全ての組み合わせを考えると、これは１６の可能な予測子値のうちの１つを選択することになる。この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
図６は、別の態様のブロック２０６（図２）をより詳細に示す図である。色差ＣＦＡ画像生成ブロック２４０は、最大解像度パンクロマティック画像２０４（図２）及びＲＧＢＰ ＣＦＡ画像２００（図２）を取得し、そして色差ＣＦＡ画像２４２を生成する。パンクロマティック分類子生成２４６は、最大解像度パンクロマティック画像２０４（図２）を取得し、そしてパンクロマティック分類子２４８を生成する。パンクロマティック分類子分析ブロック２５２は、パンクロマティック分類子２４８を取得し、そしてパンクロマティック分類決定２５４を生成する。色差ＣＦＡ画像補間予測ブロック２４４は、色差ＣＦＡ画像２４２上で動作するためにパンクロマティック分類決定２５４を使用することにより、最大解像度色差画像２５０を生成する。最大解像度フルカラー画像生成ブロック２５６は、最大解像度色差画像２５０と最大解像度パンクロマティック画像２０４（図２）とを使用することにより、最大解像度フルカラー画像２０８（図２）を生成する。
図６において、色差ＣＦＡ画像生成ブロック２４０は、当業者に知られた任意の好適な方法で実施することができる。図７に関して、カラー値とパンクロマティック値との差を各カラー画素位置で計算することである。
図７において、下記計算が実施されることになる：
ＣR1＝Ｒ1−Ｐ1
ＣR3＝Ｒ3−Ｐ3
ＣR7＝Ｒ7−Ｐ7
ＣR9＝Ｒ9−Ｐ9
値ＣR1、ＣR3、ＣR7、及びＣR9は、図９に示されているような、結果として生じる色差である。この動作は、画像内のカラー画素毎に行われる。結果として生じる色差ＣＦＡ画素２４２（図６）は、ＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
図６において、パンクロマティック分類子生成ブロック２４６は、当業者に知られた任意の好適な方法で実施することができる。ここで３つの例を挙げる。第１の例は、方向性勾配及びラプラシアンを使用する。図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
下記式：
ＧS5＝｜Ｐ3−Ｐ7｜
ＧB5＝｜Ｐ1−Ｐ9｜
ＬS5＝｜２Ｐ5−Ｐ3−Ｐ7｜
ＬB5＝｜２Ｐ5−Ｐ1−Ｐ9｜
Ｓ5＝ａＧS5＋ｂＬS5
Ｂ5＝ａＧB5＋ｂＬB5
を使用して計算することができる。
ＧS5は画素Ｐ5に対するスラッシュ勾配であり、ＧB5は画素Ｐ5に対するバックスラッシュ勾配である。ＬS5は、画素Ｐ5に対するスラッシュ・ラプラシアンであり、ＬB5は、画素Ｐ5に対するバックスラッシュ・ラプラシアンである。係数ａ及びｂは、それぞれの勾配成分及びラプラシアン成分のうちのどれぐらい多くの成分が最終分類子計算に参加するかを調整するために使用される。ａ及びｂの典型的な値は、勾配専用分類子の場合ａ＝１、ｂ＝０であり、ラプラシアン専用分類子の場合ａ＝０、ｂ＝１であり、そして組み合わせ勾配・ラプラシアン分類子の場合ａ＝１、ｂ＝１である。別の例は、方向性メディアンフィルタを使用する。再び図７に関して、近傍における中心画素Ｐ5に対するスラッシュ分類子Ｓ5、及びバックスラッシュ分類子Ｂ5は、
下記式：
ＭS5＝メディアン（Ｐ3、Ｐ5、Ｐ7）
ＭB5＝メディアン（Ｐ1、Ｐ5、Ｐ9）
Ｓ5＝｜ＭS5−Ｐ5｜
Ｂ5＝｜ＭB5−Ｐ5｜
を使用して計算することができる。
ＭS5は、３つのパンクロマティック値Ｐ3、Ｐ5、及びＰ7の統計メディアンである。ＭB5は、３つのパンクロマティック値Ｐ1、Ｐ5、及びＰ9の統計メディアンである。第３の例は、双方向フィルタリングのサブクラスであるシグマ・フィルタリングを使用する。この場合、我々は、画素Ｒ1、Ｒ3、Ｒ7、及びＲ9に対応する４つの分類子ｄ1、ｄ3、ｄ7、及びｄ9：
ｄ1＝｜Ｐ1−Ｐ5｜
ｄ3＝｜Ｐ3−Ｐ5｜
ｄ7＝｜Ｐ7−Ｐ5｜
ｄ9＝｜Ｐ9−Ｐ5｜
を形成する。
図６において、パンクロマティック分類子分析ブロック２５２は、当業者に知られた任意の好適な方法で実施することができる。前段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類子ブロック２５２の分析は、２つの値Ｓ5及びＢ5のうちの小さい方を割り出すことにより、パンクロマティック分類決定２５４を生成することである。Ｓ5≦Ｂ5の場合、パンクロマティック分類決定はスラッシュである。そうでない場合、パンクロマティック分類決定はバックスラッシュである。シグマ・フィルタの場合、４つの係数ｃ1、ｃ3、ｃ7及びｃ9：
ｄ1＜ｔならばｃ1＝１、そうでなければｃ1＝０
ｄ3＜ｔならばｃ3＝１、そうでなければｃ3＝０
ｄ7＜ｔならばｃ7＝１、そうでなければｃ7＝０
ｄ9＜ｔならばｃ9＝１、そうでなければｃ9＝０
が一緒に、パンクロマティック分類決定を構成する。
閾値ｔは、画像キャプチャ装置の固有ノイズの関数である。古典的には、このノイズは、関連する平均値及び標準偏差を有するガウス（正規）分布としてモデル化される。値ｔは典型的には、このノイズ・モデルの標準偏差の１〜３倍の値に設定される。
図６において、色差ＣＦＡ画像補間予測ブロック２４４は、当業者に知られた任意の好適な方法で実施することができる。前の２つの段落の３つの例が継続される。方向性勾配及びラプラシアンの場合、並びに方向性メディアンの場合、パンクロマティック分類決定２５４は、２つの予測値ＣS5及びＣB5：
ＣS5＝（Ｃ3＋Ｃ7）／２
ＣB5＝（Ｃ1＋Ｃ9）／２
から選択するために使用される。
パンクロマティック分類決定がスラッシュであるならば、画素Ｐ5に対応する色差値Ｃ5はＣS5として計算される。そうでなければ、この値はＣB5として計算される。シグマ・フィルタの場合、ｃ1、ｃ3、ｃ7及びｃ9に応答する単一の予測値が計算される。
すなわち：
Ｃ5＝（ｃ1Ｃ1＋ｃ3Ｃ3＋ｃ7Ｃ7＋ｃ9Ｃ9）／（ｃ1＋ｃ3＋ｃ7＋ｃ9）
上記等式から、我々は、画素Ｐ5に対して分類子決定の係数ｃ1、ｃ3、ｃ7及びｃ9から、そして既存の色差値及びパンクロマティック画素値Ｃ1、Ｃ3、Ｃ7、及びＣ9から、色差値Ｃ5を計算することが判る。スケール係数ｋは名目上１であるが、しかし、負の無限大から正の無限大までの任意の値であってよい。
ｃ1、ｃ3、ｃ7及びｃ9の値の可能な全ての組み合わせを考えると、これは１６の可能な予測子値のうちの１つを選択することになる。結果として生じる最大解像度色差画像２５０は、画素位置毎のＣR、ＣG、ＣB、及びＰ画素値から成ることになる。
図６に戻ると、最大解像度フルカラー画像生成ブロック２５６は、当業者に知られた任意の好適な方法で実施することができる。１つの方法は、各画素位置における色差値とパンクロマティック値との和を計算することである。所与の画素が色差値ＣR、ＣG、及びＣB、並びにパンクロマティック値Ｐを有する場合、相当するカラー値Ｒ、Ｇ及びＢは次のようになる：
Ｒ＝ＣR＋Ｐ
Ｇ＝ＣG＋Ｐ
Ｂ＝ＣB＋Ｐ
この態様のためのブロック２０６（図２）内の動作は、画像内の画素毎に行われる。結果として生じる最大解像度フルカラー画像２０８（図２）は、画素位置毎のＲ、Ｇ及びＢから成ることになる。
本発明の好ましい態様に開示された補間アルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。
それぞれの事例において、補間アルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよく、ユーザー入力を有することができ（完全又は部分手動)、結果を受諾/拒絶するためのユーザー又は操作者の検閲を有することができ、或いはメタデータ（ユーザーによって供給するか、（例えばカメラ内の）測定デバイスによって供給するか、又はアルゴリズムによって決定することができるメタデータ）によって支援することができる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。
本発明による本明細書中に開示された補間アルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。
１１０ コンピュータシステム
１１２ マイクロプロセッサをベースとするユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクトディスク読み出し専用メモリー（ＣＤ−ＲＯＭ）
１２６ フロッピー（登録商標）ディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータ・カード（ＰＣカード）
１３２ ＰＣカードリーダ
１３４ デジタルカメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ ワイヤレス接続
２００ ＲＧＢＰ ＣＦＡ画像
２０２ パンクロマティック画像補間
２０４ 最大解像度パンクロマティック画像
２０６ ＲＧＢ ＣＦＡ画像補間
２０８ 最大解像度フルカラー画像
２１０ パンクロマティック補正生成
２１２ 低解像度ＲＧＢ ＣＦＡ画像補間
２１４ パンクロマティック補正
２１６ 低解像度フルカラー画像
２１８ 画像組み合わせ
２２０ 色差ＣＦＡ画像生成
２２２ 色差ＣＦＡ画像
２２４ 色差ＣＦＡ画像補間
２２６ 最大解像度色差画像
２２８ 最大解像度フルカラー画像生成
２３０ パンクロマティック分類子生成
２３２ パンクロマティック分類子
２３４ パンクロマティック分類子分析
２３６ パンクロマティック分類決定
２３８ ＲＧＢ ＣＦＡ画像補間予測
２４０ 色差ＣＦＡ画像生成
２４２ 色差ＣＦＡ画像
２４４ 色差ＣＦＡ画像補間予測
２４６ パンクロマティック分類子生成
２４８ パンクロマティック分類子
２５０ 最大解像度色差画像
２５２ パンクロマティック分類子分析
２５４ パンクロマティック分類決定
２５６ 最大解像度フルカラー画像生成

Claims (15)

  1. 所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、
    （ａ） 所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして
    （ｂ） 該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成すること
    を含んで成る。
  2. ステップ（ｂ）が、該第１カラー画像の画素値と該パンクロマティック画像の画素値との間の色差を使用することを含む請求項１に記載の方法。
  3. 該第１デジタル・カラー画像に追加される各追加のカラー画素のカラー画素値を割り出すために、少なくとも２つのパンクロマティック画素の値が使用される請求項１に記載の方法。
  4. 該パンクロマティック画素の値のうちの少なくとも１つが、該追加のカラー画素の位置と一致する請求項３に記載の方法。
  5. 少なくとも２つのパンクロマティック画素値と近傍カラー画素の値との間の差を組み合わせることにより、該追加の画素を形成する請求項３に記載の方法。
  6. シーンの、キャプチャされたパンクロマティック画像とキャプチャされたカラー画像とを生成し、そして該キャプチャされたパンクロマティック画像よりも高い解像度を有する第１パンクロマティック画像を生成するために、該キャプチャされたパンクロマティック画像を補間する、カラー画素とパンクロマティック画素とを有する画像センサをさらに含む請求項１に記載の方法。
  7. シーンの、キャプチャされたパンクロマティック画像とキャプチャされたカラー画像とを生成し、そして該キャプチャされたカラー画像よりも高い解像度を有する第１カラー画像を生成するために、該キャプチャされたカラー画像を補間する、カラー画素とパンクロマティック画素とを有する画像センサを含む請求項１に記載の方法。
  8. 所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、
    （ａ） 少なくとも２つのカラー光応答に対応するパンクロマティック画素とカラー画素とを有する画像センサを使用して、シーンの画像をキャプチャし、所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；そして
    （ｂ） 該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成することを
    含んで成る。
  9. ステップ（ｂ）が、該第１カラー画像の画素値と該パンクロマティック画像の画素値との間の色差を使用することを含む請求項８に記載の方法。
  10. 該第１デジタル・カラー画像に追加される各追加のカラー画素のカラー画素値を割り出すために、少なくとも２つのパンクロマティック画素の値が使用される請求項８に記載の方法。
  11. 該パンクロマティック画素の値のうちの少なくとも１つが、該追加のカラー画素の位置と一致する請求項８に記載の方法。
  12. 少なくとも２つのパンクロマティック画素値と近傍カラー画素の値との間の差を組み合わせることにより、該追加の画素を形成する請求項８に記載の方法。
  13. 所望の解像度を有するデジタル・カラー画像を形成する方法であって、当該方法は、
    （ａ） 所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、該所望の解像度よりも低い解像度を有する、少なくとも２つの異なるカラー光応答を有する第１カラー画像とを用意すること；
    （ｂ） 該第１パンクロマティック画素値を使用することにより、分類子を提供すること；そして
    （ｃ） 該分類子と該第１カラー画像からのカラー画素値とパンクロマティック画素値とを使用することにより追加のカラー画素を用意すること、そして該追加のカラー画素と該第１カラー画像とを組み合わせることにより、所望の解像度を有するデジタル・カラー画像を生成すること
    を含んで成る。
  14. 提供された色差画像よりも高い解像度を有するデジタル色差画像を形成する方法であって、当該方法は、
    （ａ） 所望の解像度に少なくとも等しい第１解像度を有するシーンのパンクロマティック画像と、少なくとも２つの異なる色差を有する低解像度色差画像とを用意すること、該色差画像は、該所望の解像度よりも低い解像度を有する、；
    （ｂ） 該第１パンクロマティック画素値を使用することにより、分類子を提供すること；そして
    （ｃ） 該分類子と該低解像度色差画像からの色差値とパンクロマティック画素値とを使用することにより追加の色差値を用意すること、そして該追加の色差値と該色差画像とを組み合わせることにより、より高い解像度を有するデジタル色差画像を生成すること
    を含んで成る。
  15. 最大解像度カラー画像を形成する方法であって、当該方法は、
    （ａ） 元のキャプチャされたカラー画像及び該パンクロマティック画像の画素値に応答して請求項１４に記載の低解像度色差画像を形成すること；
    （ｂ） 請求項１４に記載の方法を用いることにより、高解像度色差画像を生成すること；そして
    （ｃ） 該パンクロマティック画素値と該高解像度色差画像とを使用することにより、最大解像度カラー画像を提供すること
    を含んで成る。
JP2009539258A 2006-11-29 2007-11-14 所望の解像度を有するカラー画像の提供 Withdrawn JP2010511350A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/564,451 US20080123997A1 (en) 2006-11-29 2006-11-29 Providing a desired resolution color image
PCT/US2007/023890 WO2008066703A2 (en) 2006-11-29 2007-11-14 Providing a desired resolution color image

Publications (1)

Publication Number Publication Date
JP2010511350A true JP2010511350A (ja) 2010-04-08

Family

ID=39263079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009539258A Withdrawn JP2010511350A (ja) 2006-11-29 2007-11-14 所望の解像度を有するカラー画像の提供

Country Status (5)

Country Link
US (1) US20080123997A1 (ja)
EP (1) EP2090092A2 (ja)
JP (1) JP2010511350A (ja)
TW (1) TW200834467A (ja)
WO (1) WO2008066703A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110320A (ja) * 2014-12-04 2016-06-20 三菱電機株式会社 画像合成装置

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US8452082B2 (en) * 2007-09-27 2013-05-28 Eastman Kodak Company Pattern conversion for interpolation
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
EP2778635B1 (en) 2011-04-25 2023-11-29 Planet Labs PBC Systems and methods for overhead imaging and video
WO2015192056A1 (en) 2014-06-13 2015-12-17 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
WO2017044168A2 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
EP3380864A4 (en) 2015-11-25 2019-07-03 Urthecast Corp. APPARATUS AND METHODS FOR OPEN SYNTHESIS RADAR IMAGING
KR102519803B1 (ko) * 2016-04-11 2023-04-10 삼성전자주식회사 촬영 장치 및 그 제어 방법
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
US11525910B2 (en) 2017-11-22 2022-12-13 Spacealpha Insights Corp. Synthetic aperture radar apparatus and methods
CN113573030B (zh) * 2021-07-01 2023-11-10 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
US20230196621A1 (en) * 2021-12-17 2023-06-22 Meta Platforms Technologies, Llc Sparse rgb filter hardware accelerator

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US6130960A (en) * 1997-11-03 2000-10-10 Intel Corporation Block-matching algorithm for color interpolation
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US6529239B1 (en) * 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6075889A (en) * 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
US6356672B1 (en) * 1999-03-08 2002-03-12 Sharp Laboratories Of America, Inc. Method and apparatus for reducing the color registration artifact of image capture devices
JP4361991B2 (ja) * 1999-08-20 2009-11-11 メディア・テック・ユーエスエイ・インコーポレーテッド 画像処理装置
US6757012B1 (en) * 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US6816197B2 (en) * 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US20050094887A1 (en) * 2003-11-05 2005-05-05 Cakir Halil I. Methods, systems and computer program products for fusion of high spatial resolution imagery with lower spatial resolution imagery using correspondence analysis
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110320A (ja) * 2014-12-04 2016-06-20 三菱電機株式会社 画像合成装置

Also Published As

Publication number Publication date
WO2008066703A3 (en) 2008-09-12
WO2008066703A2 (en) 2008-06-05
EP2090092A2 (en) 2009-08-19
TW200834467A (en) 2008-08-16
US20080123997A1 (en) 2008-05-29

Similar Documents

Publication Publication Date Title
JP2010511350A (ja) 所望の解像度を有するカラー画像の提供
JP5123212B2 (ja) パンクロマチック画素及びカラー画素の補間
JP5395053B2 (ja) パンクロマティック画素を使用するエッジマッピング
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
JP5291084B2 (ja) パンクロマティック画素を組み込むエッジマッピング
JP5260552B2 (ja) パンクロマティック画素を使用した鮮鋭化方法
US7876956B2 (en) Noise reduction of panchromatic and color image
JP5461568B2 (ja) カラーおよび全色性チャネルｃｆａ画像の修正
JP2010537228A (ja) パンクロ画素を使用する画素アスペクト比の補正
JP2008527852A (ja) ディジタル・カメラの画像のホワイト・バランス補正
US20050140804A1 (en) Extended dynamic range image sensor capture using an array of fast and slow pixels

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110201