JP2021507643A - 画像デモザイク処理システムおよび方法 - Google Patents

画像デモザイク処理システムおよび方法 Download PDF

Info

Publication number
JP2021507643A
JP2021507643A JP2020536101A JP2020536101A JP2021507643A JP 2021507643 A JP2021507643 A JP 2021507643A JP 2020536101 A JP2020536101 A JP 2020536101A JP 2020536101 A JP2020536101 A JP 2020536101A JP 2021507643 A JP2021507643 A JP 2021507643A
Authority
JP
Japan
Prior art keywords
array coordinates
coordinates
pixel values
pixel value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020536101A
Other languages
English (en)
Other versions
JP6889336B2 (ja
Inventor
グレゴリー ジョン ワード
グレゴリー ジョン ワード
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション, ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2021507643A publication Critical patent/JP2021507643A/ja
Application granted granted Critical
Publication of JP6889336B2 publication Critical patent/JP6889336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

画像センサにより取り込まれた画像をデモザイク処理する方法であって、（ａ）複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、それぞれの第１の信頼値を演算するステップと、（ｂ）閾値よりも小さな第１の信頼値を有する各補間ピクセル値を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップと、（ｃ）複数の第２および第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２および第３の閾値化マッピングを生成するステップと、（ｄ）すべての閾値化マッピングに含まれるアレイ座標として、高信頼アレイ座標を決定するステップであり、残りのアレイ座標が低信頼アレイ座標である、複数の高信頼アレイ座標を決定するステップと、（ｅ）各高信頼アレイ座標における、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、（ｆ）低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップと、を含む。【選択図】 図１３

Description

関連出願の相互参照
本出願は、いずれも２０１８年１月１６日に出願された米国特許仮出願第６２／６１７，７０９号および欧州特許出願第１８１５１８５２．３号の優先権を主張するものであり、それぞれのすべての内容が参照により本明細書に組み込まれている。
高ダイナミックレンジ（ＨＤＲ）画像および映像の高精度なレンダリングには、デモザイク処理プロセスにより取り込まれるアーチファクトが結果としての画像に生じないように、カメラにより受像された生画像をデモザイク処理するように構成された画像プロセッサが必要である。既存のデモザイク処理プロセスにおいては、カラーアーチファクトが共通の問題である。非特許文献１には、適応デモザイク処理アルゴリズムが提示されている。最初に、異なるエッジ方向に沿った色差の分散に基づいて、欠落した緑色サンプルが推定される。その後、補間された緑色平面に基づいて、欠落した赤色および青色成分が推定される。このアルゴリズムは、テクスチャ領域に詳細を保存すると同時に、カラーアーチファクトを低減可能である。さらに、非特許文献２においては、カラーチャンネル間の相関を考慮して、カラーフィルタアレイ（ＣＦＡ）画像が補間される。この提案方法では、ＣＦＡ画像において直接、水平方向および垂直方向のチャンネル間差分を推定して、補間の方向を決定する。その後、絶対チャンネル間差分の違いを考慮し、推定した水平方向および垂直方向に沿って、３つの色成分（Ｒ／Ｇ／Ｂ）が補間され、この補間画像を改善する後処理が行われる。
K.-H. Chung et al., "Color Demosaicing Using Variance of Color Differences", IEEE Transactions on Image Processing, volume 15, issue 10, October 2006, pages 2944-2955 Ji Won Lee et al., "Adaptive demosaicing algorithm using characteristics of color filter array pattern" in "Deformation models", 17 December 2013, Springer Netherlands, Dordrecht, volume 11, pages 29-53
本明細書に開示の実施形態は、前述のような既存のデモザイク処理プロセスのカラーアーチファクトの問題を改善する。画像センサにより取り込まれた画像をデモザイク処理する方法が開示される。画像センサは、複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する。複数のセンサピクセルは、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む。この方法は、演算、生成、決定、構成、および充填のステップを含む。
演算ステップは、複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップを含む。複数の第１の補間ピクセル値は、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間される。
生成ステップは、閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップを含む。第１の座標マッピングは、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む。
また、この方法は、複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップを含む。また、この方法は、複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップを含む。
決定ステップは、第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップを含む。構成ステップは、複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップを含む。充填ステップは、複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップを含む。
画像センサにより取り込まれた画像を処理する画像デモザイク処理装置が開示される。画像デモザイク処理装置は、メモリおよびマイクロプロセッサを備える。メモリは、持続性コンピュータ可読命令を記憶するとともに、画像を記憶するように構成される。マイクロプロセッサは、命令を実行して、前述の方法を実行するように構成される。
カメラによってその画像センサ上に撮像されたＨＤＲシーンを示した図である。 一実施形態における、図１の画像センサの領域およびそこから生成された生画像の対応領域の模式平面図である。 図２の生画像から生成された赤色チャンネルの例示的な模式図である。 図２Ｂ〜図２Ｄのチャンネルの組み合わせであるデモザイク処理画像の模式図である。 一実施形態における、図２の生画像から、エッジアーチファクトのない出力画像を生成するように構成された画像デモザイク処理装置の概略図である。 図２Ｂの赤色チャンネルに対応する赤色信頼マップの例示的な領域を示した図である。 図２Ｃの緑色チャンネルに対応する緑色信頼マップの例示的な領域を示した図である。 図２Ｄの青色チャンネルに対応する青色信頼マップの例示的な領域を示した図である。 図４の赤色信頼マップの例示的な閾値化マッピングを示した図である。 図５の緑色信頼マップの例示的な閾値化マッピングを示した図である。 図６の青色信頼マップの例示的な閾値化マッピングを示した図である。 全体として、図３の画像デモザイク処理装置により生成された高信頼アレイ座標の一例である高信頼アレイ座標の例を示した図である。 一実施形態における、図２Ｂ〜図２Ｄのカラーチャンネルおよび図１０の高信頼アレイ座標から生成された例示的な洗練された画像を示した図である。 一実施形態における、図３の画像デモザイク処理装置によって図１１の洗練された画像から生成された出力画像の一例を示した図である。 一実施形態における、画像センサにより取り込まれた画像をデモザイク処理する方法を示したフローチャートである。 一実施形態における、図１３の方法により形成された洗練された画像を充填する方法を示したフローチャートである。
本明細書に提示の実施形態の利点を説明する一例として、図１は、高い輝度ダイナミックレンジを有するシーン１２０を撮像するカメラ１３０を示している。シーン１２０には、発光するライトボックス１２２の最上面１２２Ｔ上の鍵１２１の平面図を含む。カメラ１３０は、結像レンズ（図示せず）、画像センサ１３２、メモリ１１０、および画像センサ１３２に通信結合されたマイクロプロセッサ１０２を具備する。画像センサ１３２は、ピクセルアレイ１３４Ａを含み、その上にカラーフィルタアレイ（ＣＦＡ）１３６を有していてもよい。ピクセルアレイ１３４Ａは、複数のピクセル１３４を含むが、図示の明瞭化のため、図１には示していない。ＣＦＡ１３６の各カラーフィルタは、ピクセルアレイ１３４Ａの各ピクセル１３４と位置合わせされている。結像レンズは、シーン１２０を画像センサ１３２上に結像する。また、画像センサ１３２は、少なくとも１つのアナログ−デジタルコンバータを含む回路１３８を具備する。
各ピクセル１３４は、ピクセルアレイ１３４Ａに結像されたシーン１２０からの各光強度に対応する各ピクセル電荷を有する。回路１３８は、生画像１９４としてメモリ１１０に記憶される複数のピクセル値のそれぞれへと各ピクセル電荷を変換する。カメラ１３０は、生画像１９４をデモザイク処理画像１９６として表示するように構成されたディスプレイ１３９を具備していてもよい。
シーン１２０においては、ライトボックス１２２が最上面１２２Ｔを通じて発光する。鍵１２１は不透明で黒く見えるため、鍵１２１と最上面１２２Ｔとが実質的に異なる照度を有することにより、シーン１２０は高い照度ダイナミックレンジを有する。鍵１２１は、その外周の非断続曲線として表されるエッジ１２１Ｅを有する。シーン１２０の高精度なＨＤＲ画像であれば、エッジ１２１Ｅにおいて、ピクセル値が黒色、白色、またはグレースケールのみに対応するピクセルを含むことになる。ただし、標準的なＨＤＲ撮像のデモザイク処理画像１９６は、擬似色のエッジアーチファクトを含み、エッジ１２１Ｅの画像がグレーレベルではない色に対応するピクセル値を有するピクセルを含む。本明細書に提示の実施形態（たとえば、画像デモザイク処理方法およびこれらの方法を実装するシステム）は、前述の画像アーチファクトのないデモザイク処理画像１９６を生成する。
図２Ａは、画像センサ２００の領域および画像センサ２００により生成された生画像２０２の対応領域の模式平面図である。画像センサ２００および生画像２０２は、ｘ−ｙ座標系２９８に関して位置決めされている。
画像センサ２００は、画像センサ１３２の一例であって、ＣＦＡ１３６は、バイエルパターンに配置された複数の赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）カラーフィルタを含む。座標（ｘ，ｙ）は、各カラーフィルタおよびその直下のピクセルの場所を示す。たとえば、画像センサ２００は、座標（ｉ，ｊ）において赤色のカラーフィルタを含み、ｉおよびｊが整数である。たとえば、Ｇ（ｉ＋１，ｊ）は、座標（ｉ＋１，ｊ）における緑色のカラーフィルタを表す。ＣＦＡ１３６は、本発明の範囲から逸脱することなく、異なるカラーフィルタを含んでいてもよい。たとえば、ＣＦＡ１３６は、シアン色、マゼンタ色、黄色、および無色のカラーフィルタのうちの少なくとも１つのアレイを含んでいてもよい。無色のカラーフィルタは、可視光および近赤外光の少なくとも一方に対して透明である。
生画像２０２は、生画像１９４の一例であって、複数の基本ピクセル値Ｐｒ、複数の基本ピクセル値Ｐｇ、および複数の基本ピクセル値Ｐｂを含む。生画像２０２は、たとえばエッジ１２１Ｅの領域の画像である撮像エッジ２０４を含んでいてもよい。図２Ａは、ピクセルアレイ１３４ＡおよびＣＦＡ１３６の行および列に関するスキューラインとして、撮像エッジ２０４を模式的に示している。
各基本ピクセル値Ｐｒは、ＣＦＡ１３６の赤色カラーフィルタの直下の各ピクセル１３４により生成される。各基本ピクセル値Ｐｇは、ＣＦＡ１３６の緑色カラーフィルタの直下の各ピクセル１３４により生成される。各基本ピクセル値Ｐｂは、ＣＦＡ１３６の青色カラーフィルタの直下の各ピクセル１３４により生成される。たとえば、各座標（ｉ，ｊ）、（ｉ，ｊ＋１）、および（ｉ＋１，ｊ＋１）における基本ピクセル値Ｐｒ、Ｐｇ、およびＰｂは、同じ各座標（ｉ，ｊ）、（ｉ，ｊ＋１）、および（ｉ＋１，ｊ＋１）における画像センサ２００の各ピクセルにより生成される。より簡潔な表現として、本明細書における表記法を導入するなら、基本ピクセル値Ｐｒ（ｉ，ｊ）、Ｐｇ（ｉ，ｊ＋１）、およびＰｂ（ｉ＋１，ｊ＋１）は、カラーフィルタＲ（ｉ，ｊ）、Ｇ（ｉ，ｊ＋１）、およびＢ（ｉ＋１，ｊ＋１）の直下の画像センサ２００の各ピクセルにより生成される。
図２Ｂ、図２Ｃ、および図２Ｄはそれぞれ、生画像１９４から生成された赤色チャンネル２１０、緑色チャンネル２２０、および青色チャンネル２３０の模式図である。チャンネル２１０、２２０、および２３０は、ｘ−ｙ座標系２９８に関して位置決めされている。
赤色チャンネル２１０は、ＣＦＡ１３６の赤色ピクセルに対応する場所において、生画像１９４の基本ピクセル値Ｐｒを含む。また、赤色チャンネル２１０は、基本ピクセル値Ｐｒごとに、隣接基本ピクセル値Ｐｒから補間された３つの補間ピクセル値ｐｒを含む。各補間ピクセル値ｐｒは、複数の各補間ピクセル値ｐｒのうちの１つに対する複数の座標（ｘ，ｙ）の座標マッピングを赤色チャンネル２１０が含むように、各座標（ｘ，ｙ）に対してマッピングされる。
緑色チャンネル２２０は、ＣＦＡ１３６の緑色カラーフィルタに対応する場所において、生画像１９４の基本ピクセル値Ｐｇを含む。また、緑色チャンネル２２０は、基本ピクセル値Ｐｇごとに、隣接基本ピクセル値Ｐｇから補間された２つの補間ピクセル値ｐｇを含む。各補間ピクセル値ｐｇは、複数の各補間ピクセル値ｐｇのうちの１つに対する複数の座標（ｘ，ｙ）の座標マッピングを緑色チャンネル２２０が含むように、各座標（ｘ，ｙ）に対してマッピングされる。
青色チャンネル２３０は、ＣＦＡ１３６の青色ピクセルに対応する場所において、生画像１９４の基本ピクセル値Ｐｂを含む。また、青色チャンネル２３０は、基本ピクセル値Ｐｂごとに、隣接基本ピクセル値Ｐｂから補間された３つの補間ピクセル値ｐｂを含む。各補間ピクセル値ｐｂは、複数の各補間ピクセル値ｐｂのうちの１つに対する複数の座標（ｘ，ｙ）の座標マッピングを青色チャンネル２３０が含むように、各座標（ｘ，ｙ）に対してマッピングされる。
図２Ｅは、赤色チャンネル２１０、緑色チャンネル２２０、および青色チャンネル２３０の組み合わせであるデモザイク処理画像２４０の模式図である。デモザイク処理画像２４０は、１つの基本ピクセル値（Ｐｒ、Ｐｇ、またはＰｂ）および２つの補間ピクセル値（ｐｒ、ｐｇ、またはｐｂ）を含むピクセル値トリプレットとそれぞれ関連付けられた複数の表示ピクセルを含む。デモザイク処理画像２４０は、エッジ１２１Ｅにおけるデモザイク処理画像１９６と類似のエッジアーチファクトを含む可能性がある。
図３は、生画像２０２から、エッジアーチファクトのないデモザイク処理画像３３９を生成するように構成された画像デモザイク処理装置３００の概略図である。画像デモザイク処理装置３００は、マイクロプロセッサ３０２と、コンピュータ可読命令を含むソフトウェア３２０を記憶するメモリ３１０とを具備する。マイクロプロセッサ３０２は、画像プロセッサ等のデジタルシグナルプロセッサであってもよい。メモリ３１０は、非持続性および／または持続性であってもよく、また、揮発性メモリ（たとえば、ＳＲＡＭ、ＤＲＡＭ、ＶＲＡＭ、またはこれらの任意の組み合わせ）および不揮発性メモリ（たとえば、フラッシュ、ＲＯＭ，磁気媒体、光学媒体、またはこれらの任意の組み合わせ）の一方または両方を含んでいてもよい。
メモリ３１０およびマイクロプロセッサ３０２はそれぞれ、カメラ１３０（図１）のメモリ１１０およびマイクロプロセッサ１０２として機能し得る。本明細書に記載の通り、マイクロプロセッサ３０２は、命令を実行して、画像デモザイク処理装置３００の機能を実行するように構成される。メモリ３１０は、基本ピクセル値３１１、信頼閾値３１２、重み閾値３１９Ｔ、信頼マッピング３３１、信頼値３３３、閾値化マッピング３３５、低信頼アレイ座標３３７Ｌ、高信頼アレイ座標３３７Ｈ、洗練された画像３３８、およびデモザイク処理画像３３９のうちの少なくとも１つを記憶していてもよい。ソフトウェア３２０のコンピュータ可読命令には、補間器３２１、信頼評価器３２３、閾値化器３２５、結合演算器３２７、画像生成器３２８、および画像充填器３２９を含む。画像充填器３２９は、スケーリング関数３１８および重み関数３１９の少なくとも一方を含んでいてもよく、これらのいずれかがルックアップテーブルとして記憶されていてもよい。低信頼アレイ座標３３７Ｌおよび高信頼アレイ座標３３７Ｈに位置するピクセルはそれぞれ、低信頼ピクセルおよび高信頼ピクセルと称し得る。
生画像２０２（図２）の基本ピクセル値Ｐｒ、Ｐｇ、およびＰｂは、基本ピクセル値３１１の例である。座標マッピング３３１（１，２，３）は、各補間ピクセル値３３２（１，２，３）を含む。チャンネル２１０、２２０、および２３０の補間ピクセル値ｐｒ、ｐｇ、およびｐｂはそれぞれ、補間ピクセル値３３２（１，２，３）の例である。したがって、座標にマッピングされた補間ピクセル値を含むチャンネル２１０、２２０、および２３０はそれぞれ、座標マッピング３３１（１）、３３１（２）、および３３１（３）の例である。
基本ピクセル値３１１およびデモザイク処理画像３３９は、ＪＰＥＧおよびＴＩＦＦ等の画像ファイルフォーマットまたはＴＩＦＦ／ＥＰおよびＤｉｇｉｔａｌ Ｎｅｇａｔｉｖｅ（ＤＮＧ）等の生画像フォーマットのいずれかにてメモリ３１０に記憶されていてもよい。ピクセル値３１１、３３２およびデモザイク処理画像３３９は、同じフォーマットで記憶されていてもよいし、異なるフォーマットで記憶されていてもよい。一実施形態においては、ピクセル値３１１、３３２およびデモザイク処理画像３３９の少なくとも一方がメモリ３１０の揮発性メモリに記憶され、デモザイク処理画像３３９がメモリ３１０の不揮発性メモリに記憶される。
図４〜図６はそれぞれ、赤色信頼マップ４１０、緑色信頼マップ５１０、および青色信頼マップ６１０の領域を示している。信頼マップ４１０、５１０、および６１０はそれぞれ、複数の信頼値４１１、５１１、および６１１を含む。信頼値４１１は全体として、画像デモザイク処理装置３００の信頼評価器３２３により生成され、メモリ３１０に記憶された信頼値３３３（１）の一例である。信頼値５１１は全体として、信頼値３３３（２）の一例である。信頼値６１１は全体として、信頼値３３３（３）の一例である。
図４に示すように、複数の信頼値４１１はそれぞれ、赤色チャンネル２１０の各座標（ｘ，ｙ）にマッピングされる。たとえば、信頼値４１１３５は、（ｘ，ｙ）座標（３，５）にマッピングされる。赤色信頼マップ４１０は、ｉ＝２およびｊ＝３の座標系２９８の一例である座標系４９８に関して示している。
図５に示すように、複数の信頼値５１１はそれぞれ、緑色チャンネル２２０の各座標（ｘ，ｙ）にマッピングされる。たとえば、信頼値５１１２３は、（ｘ，ｙ）座標（２，３）にマッピングされる。緑色信頼マップ５１０は、座標系４９８に関して示している。
図６に示すように、複数の信頼値６１１はそれぞれ、青色チャンネル２３０の各座標（ｘ，ｙ）にマッピングされる。たとえば、信頼値６１１２３は、（ｘ，ｙ）座標（２，３）にマッピングされる。青色信頼マップ６１０は、座標系４９８に関して示している。
一般的に、各信頼値４１１ｘｙ、５１１ｘｙ、６１１ｘｙは、座標（ｘ，ｙ）における補間ピクセル値が演算された隣接基本ピクセル値の空間類似性（たとえば、ある領域におけるピクセル強度展開）またはスペクトル類似性（たとえば、異なるスペクトル帯の相関）を示し得る。各信頼値４１１ｘｙ、５１１ｘｙ、６１１ｘｙは、たとえば座標（ｘ，ｙ）における補間ピクセル値が演算された隣接基本ピクセル値の均一度を示し得る。このような均一性は、たとえば隣接基本ピクセル値の相対差分または標準偏差であってもよい。信頼マップ４１０（図４）において、信頼値４１１２４は、たとえば座標（２，３）および（２，５）における側方隣接基本ピクセル値Ｐｒの相対差分である。信頼値４１１３４は、たとえば座標（２，３）、（２，５）、（４，３）、および（４，５）における隅部隣接基本ピクセル値Ｐｒの標準偏差である。信頼マップ５１０（図５）において、信頼値５１１３４は、たとえば座標（２，４）、（３，３）、（３，５）、および（４，４）における側方隣接基本ピクセル値Ｐｇの標準偏差である。信頼マップ６１０（図６）において、信頼値６１１２４は、たとえば座標（１，４）および（３，４）における側方隣接基本ピクセル値Ｐｂの相対差分である。信頼値６１１２３は、たとえば座標（１，２）、（１，４）、（３，２）、および（３，４）における隅部隣接基本ピクセル値Ｐｂの標準偏差である。
画像デモザイク処理装置３００は、閾値化器３２５の実装により、信頼マップ４１０、５１０、および６１０の各信頼値を信頼閾値３１２に対して比較するようにしてもよい。このような比較はそれぞれ、たとえば図７、図８、および図９の閾値化マッピング７３５、８３５、および９３５となる。閾値化マッピング７３５、８３５、および９３５はそれぞれ、閾値化マッピング３３５（１）、３３５（２）、および３３５（３）の例である。信頼閾値３１２は、たとえば基本ピクセル値の相対差分または標準偏差の減少関数であるため、相対差分または標準偏差の減少とともに信頼値が単調増加する。
閾値化マッピング７３５、８３５、および９３５はそれぞれ、信頼閾値３１２未満の信頼値４１１、５１１、および６１１を除去した信頼マップ４１０、５１０、および６１０である。信頼閾値３１２未満の信頼値４１１、５１１、および６１１は、撮像エッジ２０４の近くに位置するピクセルに対応しており、図７〜図９において×マークを付している。たとえば、信頼値４１１３３は、信頼閾値３１２未満となる可能性がある。座標（３，３）における補間赤色ピクセル値は、（各座標（２，３）および（４，３）における）基本ピクセル値Ｐｒ（２，３）およびＰｒ（４，３）から演算され、それぞれが撮像エッジ２０４の反対側にあることから大きく異なるピクセル値を有するためである。同様の理由で、共有領域における他の信頼値４１１ｉｊについても、信頼閾値３１２の特定値に応じて、信頼閾値３１２未満となる可能性がある。たとえば、信頼値４１１３５は、基本ピクセル値Ｐｒ（２，５）およびＰｒ（４，５）間の相対差分として決定されるようになっていてもよい。座標（２，５）におけるセンサピクセルは大抵、座標（４，５）におけるセンサピクセルと同じ側にあるため、各ピクセル値が十分に近く、信頼値４１１３５が信頼閾値３１２を超える可能性がある。
図１０は、画像デモザイク処理装置３００の結合演算器３２７により生成された高信頼アレイ座標３３７Ｈの一例である高信頼アレイ座標１０３７Ｈを示している。高信頼アレイ座標１０３７Ｈには、順序付けペアが付された座標を含むが、低信頼アレイ座標３３７Ｌの例である×が付された低信頼アレイ座標１０３７Ｌは含まない。
閾値化マッピング７３５、８３５、および９３５の座標は、閾値化マッピング７３５、８３５、および９３５ごとに、（ａ）座標の信頼値が信頼閾値３１２を超える場合または（ｂ）座標が基本ピクセル値に対応する場合にのみ、高信頼アレイ座標１０３７Ｈに含まれ得る。それ以外の場合、この座標は、低信頼アレイ座標１０３７Ｌ（たとえば、図１０において×を付した座標）のうちの１つである。たとえば、高信頼アレイ座標１０３７Ｈには、座標（２，２）を含む。信頼値４１１２２および６１１２２が信頼閾値３１２を超え、座標（２，２）が基本ピクセル値Ｐｇ（２，２）に対応するためである。
高信頼座標は、隔離高信頼アレイ座標（たとえば、中間の隣接高信頼座標１０３７Ｈを有さない座標および／または低信頼アレイ座標により完全に囲まれた座標）であってもよい。隔離高信頼座標は、たとえば低信頼アレイ座標１０３７Ｌとして、結合演算器３２７により再割り当てまたは指定されるようになっていてもよい。中間の隣接座標の例としては、側方隣接座標および隅部隣接座標の少なくとも一方が挙げられる。
図１１は、高信頼アレイ座標１０３７Ｈならびにチャンネル２１０、２２０、および２３０から、画像デモザイク処理装置３００の画像生成器３２８によって生成された洗練された画像３３８の一例である洗練された画像１１００を示している。洗練された画像１１００は、低信頼アレイ座標１０３７Ｌに対応する補間ピクセル値を除去した後のデモザイク処理画像２４０（図２）である。除去された補間ピクセル値は、×により指定される。２つの×マークが付いた低信頼アレイ座標１０３７Ｌには、高信頼ピクセル値が１つしかない。×マークが１つだけ付いた低信頼アレイ座標１０３７Ｌは、２つの高信頼ピクセル値（１つの基本ピクセル値Ｐαおよび１つの非基本ピクセル値ｐα）を含む。このように２つの高信頼ピクセル値を含む低信頼アレイ座標１０３７Ｌの例としては、座標（２，３）、（３，２）、および（３，５）が挙げられる。
図１２は、画像デモザイク処理装置３００の画像充填器３２９により生成されたデモザイク処理画像３３９の例であるデモザイク処理画像１２００を示している。デモザイク処理画像１２００は、低信頼アレイ座標１０３７Ｌにおいて割り当てピクセル値Ｖαを追加した洗練された画像１１００である。以下の記述において、（ｘ１，ｙ１）は、低信頼アレイ座標を示し、ターゲット座標とも称する。ターゲット座標（ｘ１，ｙ１）は、関連する基本ピクセル値Ｐα（ｘ１，ｙ１）を有し、また、非基本ピクセル値ｐα（ｘ１，ｙ１）を有していてもよい。以下、高信頼ターゲット座標Ρα（ｘ１，ｙ１）は、Ｐα（ｘ１，ｙ１）またはｐα（ｘ１，ｙ１）のいずれかを示す。下付き文字αは、ｒ、ｇ、およびｂのうちの１つを示し、割り当てピクセル値Ｖｒ、Ｖｇ、およびＶｂはそれぞれ、赤色、緑色、および青色ピクセル値である。
画像充填器３２９は、重み関数３１９を採用して、隣接高信頼ピクセル値（基本ピクセル値Ｐαおよび／または隣接非基本ピクセル値ｐα）から、割り当てピクセル値Ｖαを演算するようにしてもよい。本明細書において、ターゲットピクセルの隣接ピクセル値は、ソース座標（ｘ，ｙ）に対応するソースピクセル値とも称する。以下、Ρα（ｘ，ｙ）は、基本ピクセル値Ｐα（ｘ，ｙ）または非基本ピクセル値ｐα（ｘ，ｙ）のいずれかを示す。重み関数３１９（本明細書においては、重みｗα（ｘ，ｙ）とも称する）は、ターゲットピクセルの半径Ｒ内の隣接ピクセル値の加重平均を生成し得る。重みｗα（ｘ，ｙ）は、近接性基準Π（ｘ，ｙ）および類似性基準σα（ｘ，ｙ）の組み合わせであってもよい。たとえば、重みｗα（ｘ，ｙ）は、近接性基準Π（ｘ，ｙ）および類似性基準σα（ｘ，ｙ）の積または線形結合であってもよい。
一実施形態においては、ターゲット座標（ｘ１，ｙ１）に位置するターゲットピクセルに関して、割り当てピクセル値Ｖα（ｘ１，ｙ１）が隣接高信頼ピクセル値Ρα（ｘ，ｙ）（Ｐα（ｘ，ｙ）および／またはｐα（ｘ，ｙ））の加重平均であり、各隣接ピクセル値が重みｗα（ｘ，ｙ）により加重され、（ｘ，ｙ）≠（ｘ１，ｙ１）である。所与の色αに関しては、基本ピクセル値Ｐα（ｘ，ｙ）および補間ピクセル値ｐα（ｘ，ｙ）の一方のみが所与の座標（ｘ，ｙ）と関連付けられることに留意されたい。割り当てピクセル値Ｖα（ｘ１，ｙ１）は、Ｖα（ｘ１，ｙ１）＝Σｘ，ｙｗα（ｘ，ｙ）Ρα（ｘ，ｙ）として表現可能であり、ｗα（ｘ，ｙ）はΠα（ｘ，ｙ）σα（ｘ，ｙ）に等しくてもよい。
近接性基準Π（ｘ，ｙ）は、距離ｄの単調減少関数として表現可能であり、距離
は、ソース座標（ｘ，ｙ）とターゲット座標（ｘ１，ｙ１）との間の距離である。たとえば、Π（ｘ，ｙ）＝ｅｘｐ（−ｄ２／（２ρ２））で、ρ＝Ｒ／ｒ０である。定数ｒ０は、ｄ＝Ｒの場合に近接性基準Π（ｘ，ｙ）が０．２０〜０．２５となるように選定され得る。半径Ｒは、たとえば７つ分のセンサピクセルの幅であり、ｒ０＝１．３±０．１である。近接性基準Π（ｄ）は、ｄ＞Ｒの場合に、ゼロに等しくてもよい。
類似性基準σα（ｘ，ｙ）は、ターゲット座標（ｘ１，ｙ１）における基本ピクセル値Ｐα（ｘ１，ｙ１）とソース座標（ｘ，ｙ）における同色ピクセル値Ρα（ｘ，ｙ）（（ｘ，ｙ）に応じて、ピクセル値ｐα（ｘ，ｙ）または基本ピクセル値Ｐα（ｘ，ｙ）のいずれか）との間で増加する相対差分の関数として減少し得る。たとえば、類似性基準は、σα（ｘ，ｙ）＝ｃ１／（ｃ１＋Δｍ）により表現可能であり、Δｍ＞０である。差分Δは、たとえばソースピクセル値Ρα（ｘ，ｙ）と高信頼ターゲットピクセル値（たとえば、基本ピクセル値Ｐα（ｘ１，ｙ１）または必要に応じて非基本ピクセル値ｐα（ｘ１，ｙ１））との間の相対差分である。近接性基準Π（ｘ，ｙ）の最大値に対する定数ｃ１の比は、たとえば０．０２±０．０１である。指数ｍは、たとえば２に等しい。
割り当てピクセル値Ｖαの輝度をその隣接ピクセル値（Ｐα，ｐα）と整合させるため画像充填器３２９は、スケーリング関数３１８を実装して、倍率κにより割り当てピクセル値Ｖαをスケーリングするようにしてもよい。すなわち、Ｖα（ｘ１，ｙ１）＝Σｘ，ｙκ（ｘ，ｙ）ｗα（ｘ，ｙ）Ρα（ｘ，ｙ）である。倍率κの第１の例は、高信頼ピクセル値が１つだけΡα（ｘ１，ｙ１）＝Ｐα（ｘ１，ｙ１）である低信頼アレイ座標（ｘ１，ｙ１）に対応する割り当てピクセル値Ｖαに当てはまる。このような場合、ソース座標（ｘ，ｙ）における倍率κは、ソースピクセル（（ｘ，ｙ））における同色ピクセル値に対する（（ｘ１，ｙ１）における）ターゲットピクセルの高信頼ピクセル値の比である。たとえば、図１１のｘ１＝２およびｙ１＝４において、高信頼ピクセル値は、Ｐｒ（２，４）（赤色）である。（ｘ１，ｙ１）＝（２，４）において、倍率κ（ｘ，ｙ）は、κ（ｘ，ｙ）＝（Ｐｒ（２，４）＋ｃκ）／（Ρｒ（ｘ，ｙ）＋ｃκ）として表現可能である。
定数ｃκは、Ｐｒ（２，４）およびΡｒ（ｘ，ｙ）の一方または両方が基本ピクセル値３１１のノイズフロアに近い結果として倍率κの値が大き過ぎたり小さ過ぎたりすることのないようにするが、この場合、比Ｐｒ（２，４）／Ρｒ（ｘ，ｙ）は、割り当てピクセル値Ｖｒ、Ｖｇ、およびＶｂの決定に意味を持たない。ビット深度が１６に等しいピクセル値で、最大ピクセル値が２１６の場合、定数ｃκは、２２〜２４の範囲であってもよく、たとえばｃκ＝１０である。一般的に、定数ｃκは、基本ピクセル値３１１のノイズフロアを超え、ノイズフロアの１０倍未満であってもよい。あるいは、定数ｃκは、ゼロに等しくてもよい。
倍率κの第２の例は、高信頼ピクセル値が２つ（たとえば、第１および第２の高信頼ピクセル値）であるターゲット低信頼アレイ座標（ｘ１，ｙ１）に対応する割り当てピクセル値Ｖαに当てはまる。このような場合、ソース座標（ｘ，ｙ）における倍率κは、（ａ）ソースピクセルにおける同色ピクセル値に対する第１の高信頼ピクセル値の比および（ｂ）ソースピクセルにおける同色ピクセル値に対する第２の高信頼ピクセル値の比の合計である。たとえば、図１１のｘ１＝２およびｙ１＝３において、高信頼ピクセル値は、Ｐｒ（２，３）（赤色）およびｐｇ（２，３）である。（ｘ１，ｙ１）＝（２，３）において、ソース座標（ｘ，ｙ）における倍率κ（ｘ，ｙ）は、Ｐｒ（２，３）対Ρｒ（ｘ，ｙ）およびｐｇ（２，３）対Ρｇ（ｘ，ｙ）という２つの比の平均である。たとえば、以下の通りである。
割り当てピクセル値Ｖα（ｘ１，ｙ１）が隣接ピクセル値の加重平均であるかは、重み閾値３１９Ｔの例である所定の閾値τを重みｗα（ｘ，ｙ）の合計Σが超えるかによって決まり得る。たとえば、Ｒ＝７±１の場合は、閾値τ＝０．２±０．１である。重みｗα（ｘ，ｙ）の合計は、たとえばｄのすべての値に関して画像充填器３２９により演算されるようになっていてもよいし、ｄ≦Ｒに限られていてもよい。
第１の実施形態において、合計Σが閾値τを超えない場合、画像充填器３２９は、（ｘ１，ｙ１）における基本ピクセル値に等しくなるように割り当てピクセル値Ｖα（ｘ１，ｙ１）を設定するようにしてもよい。たとえば、デモザイク処理画像１２００における座標（４，２）において、基本ピクセル値は、Ｐｇ（４，２）である。重みｗｒ（ｘ，ｙ）および／またはｗｂ（ｘ，ｙ）の合計Σが閾値τを超えない場合、画像充填器３２９は、Ｐｇ（４，２）に等しくなるようにＶｒ（４，２）および／またはＶｂ（４，２）を設定するようにしてもよい。Ｖｒ（４，２）およびＶｂ（４，２）の両値をこのように設定することは、デモザイク処理画像１２００が座標（４，２）において中間色（たとえば、グレーの色合い）を有することに寄与するため、撮像エッジにおける前述のカラーアーチファクトの導入が回避される。以下２つの実施形態には、アーチファクトを回避する別の手段を含む。
第２の実施形態において、合計Σが閾値τを超えず、ターゲットアレイ座標（ｘ１，ｙ１）が高信頼ピクセル値Ρβ（ｘ１，ｙ１）を有する場合（ここで、βは生画像１９４の第１のカラーチャンネルである）、画像充填器３２９は、高信頼ピクセル値Ρα（ｘｓ，ｙｓ）に等しいものとして割り当てピクセル値Ｖα（ｘ１，ｙ１）を決定するようにしてもよい。ここで、Ρβ（ｘｓ，ｙｓ）は、ターゲットアレイ座標（ｘ１，ｙ１）からの所定の距離（たとえば、半径Ｒ）内のすべてのソースアレイ座標（ｘ，ｙ）のうちでΡβ（ｘ１，ｙ１）に最も近い。本例において、αは、βに対応する第１のチャンネルと異なる生画像１９４の第２のカラーチャンネルである。
第３の実施形態において、合計Σが閾値τを超えない場合、画像充填器３２９は、中間ソースピクセル値Ρα（ｘｎ，ｙｎ）に従って、割り当てピクセル値Ｖα（ｘ１，ｙ１）を決定するようにしてもよい。中間アレイ座標（ｘｎ，ｙｎ）は、最も中間のピクセル値を有するターゲットアレイ座標（ｘ１，ｙ１）の所定の距離（たとえば、半径Ｒ）内の高信頼アレイ座標（ｘ，ｙ）に対応する。中間ピクセル値は、グレーの色合いに対応していてもよい。ピクセル値トリプレットΡｒ，ｇ，ｂ（ｘ，ｙ）が基準を満たす場合に、画像充填器３２９は、それを「中間」と見なし得る。画像充填器３２９は、複数のピクセル値トリプレットΡｒ，ｇ，ｂ（ｘ，ｙ）が十分に中間であるものと見なすように決定するとともに、ターゲットアレイ座標（ｘ１，ｙ１）に最も近接する複数のピクセル値トリプレットのうちの１つとして、中間ソースピクセル値Ρα（ｘｎ，ｙｎ）を決定するようにしてもよい。高信頼ターゲットピクセル値の輝度を整合させるため、スケーリング関数３１８は、ターゲットアレイ座標（ｘ１，ｙ１）における既知の基本ピクセル値に従って、中間ソースピクセル値Ρα（ｘｎ，ｙｎ）をスケーリングするようにしてもよい。
たとえば、デモザイク処理画像１２００における座標（４，２）において、基本ピクセル値はＰｇ（４，２）であり、最も中間の隣接ピクセルは、アレイ座標（４，４）に存在していてもよい。重みｗｒ（ｘ，ｙ）および／またはｗｂ（ｘ，ｙ）の合計Σが閾値τを超えない場合、画像充填器３２９は、倍率κｇ＝（Ｐｇ（４，２）＋ｃｋ）／（Ｐｇ（４，４）＋ｃｋ）を乗じたｐｒ（４，４）に等しいものとしてＶｒ（４，２）を設定し、倍率κｂ＝（Ｐｂ（４，２）＋ｃｋ）／（Ｐｂ（４，４）＋ｃｋ）を乗じたｐｂ（４，４）に等しいものとしてＶｂ（４，２）を設定するようにしてもよい。
本明細書に開示の実施形態では、ピクセル値の中立性を定量化する１つまたは複数の基準を採用するようにしてもよい。たとえば、座標（ｘ，ｙ）におけるピクセル値の中立性の基準としては、３つのピクセル値Ρｒ，ｇ，ｂ（ｘ，ｙ）の平均の標準偏差または分散が挙げられる。基準としては、Ρｒ，ｇ，ｂ（ｘ，ｙ）の飽和が挙げられ、中立性は飽和と逆相関する。飽和は、たとえば数量（１−ｍｉｎ（Ρｒ，Ρｇ，Ρｂ）／Υ）により表現される通りであり、相対輝度Υ＝（ｃｒΡｒ＋ ｃｇΡｇ＋ ｃｂΡｂ）およびｃｒ＋ｃｇ＋ｃｂ＝１である。係数ｃｒ、ｃｇ、およびｃｂはそれぞれ、たとえば０．３、０．６、および０．１である。また、飽和は、ＨＳＬまたはＨＳＶ等、色空間の飽和の定義に従って、ピクセル値トリプレットΡｒ，ｇ，ｂ（ｘ，ｙ）から定量化されるようになっていてもよい。
図１３は、画像センサにより取り込まれた画像をデモザイク処理する方法１３００を示したフローチャートである。画像センサは、複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを含む。複数のセンサピクセルは、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む。
方法１３００は、たとえば画像デモザイク処理装置３００の１つまたは複数の態様において実装される。たとえば、方法１３００は、ソフトウェア３２０のコンピュータ可読命令を実行するマイクロプロセッサ３０２により実装される。方法１３００は、ステップ１３１０、１３２０、１３３０、１３４０、１３５０、１３６０、１３７０、および１３８０のうちの少なくとも１つを含む。
ステップ１３１０は、隣接基本ピクセル値から補間された複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２および第３のアレイ座標それぞれを含む第１の座標マッピングを生成するステップを含む。隣接基本ピクセル値は、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの複数の一部分のピクセル値である。ステップ１３１０の一例において、補間器３２１は、基本ピクセル値３１１（１）から、補間ピクセル値３３２（１）を含む座標マッピング３３１（１）を生成する。赤色チャンネル２１０（図２Ｂ）は、座標マッピング３３１（１）の例である。
ステップ１３２０は、複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第１の信頼値のそれぞれを演算するステップを含む。複数の第１の信頼値はそれぞれ、複数の第２または第３のアレイ座標のいずれかのアレイ座標に対応する。ステップ１３２０の一例において、信頼評価器３２３は、基本ピクセル値３１１（１）の補間ピクセル値３３２（１）および隣接ピクセル値から信頼値３３３（１）を演算する。信頼値４１１（図４）は、信頼値３３３（１）の例である。
ステップ１３３０は、閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップを含む。ステップ１３３０の一例において、閾値化器３２５は、閾値化マッピング７３５（図７）を一例とする閾値化マッピング３３５（１）を生成する。
ステップ１３４０は、複数の第２の一部分のセンサピクセルに対してステップ１３１０、１３２０、および１３３０を繰り返すことにより、第２の閾値化マッピングを生成するステップを含む。ステップ１３１０の一例において、ステップ１３４０において実行される通り、補間器３２１は、基本ピクセル値３１１（２）から、補間ピクセル値３３２（２）を含む座標マッピング３３１（２）を生成する。緑色チャンネル２２０（図２Ｃ）は、座標マッピング３３１（２）の一例である。ステップ１３２０の一例において、ステップ１３４０において実行される通り、信頼評価器３２３は、基本ピクセル値３１１（２）の補間ピクセル値３３２（２）および隣接ピクセル値から信頼値３３３（２）を演算する。信頼値５１１（図５）は、信頼値３３３（２）の例である。ステップ１３３０の一例において、ステップ１３４０において実行される通り、閾値化器３２５は、閾値化マッピング８３５（図８）を一例とする閾値化マッピング３３５（２）を生成する。
ステップ１３５０は、複数の第２の一部分のセンサピクセルに対してステップ１３１０、１３２０、および１３３０を繰り返すことにより、第３の閾値化マッピングを生成するステップを含む。ステップ１３１０の一例において、ステップ１３５０において実行される通り、補間器３２１は、基本ピクセル値３１１（３）から、補間ピクセル値３３２（３）を含む座標マッピング３３１（３）を生成する。青色チャンネル２３０（図２Ｄ）は、座標マッピング３３１（３）の一例である。ステップ１３２０の一例において、ステップ１３４０において実行される通り、信頼評価器３２３は、基本ピクセル値３１１（３）の補間ピクセル値３３２（３）および隣接ピクセル値から信頼値３３３（３）を演算する。信頼値６１１（図６）は、信頼値３３３（３）の例である。ステップ１３３０の一例において、ステップ１３４０において実行される通り、閾値化器３２５は、閾値化マッピング９３５（図９）を一例とする閾値化マッピング３３５（３）を生成する。
ステップ１３６０は、第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップを含む。高信頼アレイ座標として決定されない複数のアレイ座標のうちの残りのアレイ座標は、複数の低信頼アレイ座標である。ステップ１３６０の一例において、結合演算器３２７は、閾値化器３３５それぞれに含まれる座標マッピング３３１のアレイ座標から高信頼アレイ座標３３７Ｈを決定する。残りの座標は、低信頼アレイ座標３３７Ｌである。高信頼アレイ座標１０３７Ｈおよび低信頼アレイ座標１０３７Ｌ（図１０）は、それぞれ高信頼アレイ座標３３７Ｈおよび低信頼アレイ座標３３７Ｌの例である。
ステップ１３７０は、複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップを含む。ステップ１３７０の一例において、画像生成器３２８は、洗練された画像１１００（図１１）を一例とする洗練された画像３３８を構成する。
ステップ１３８０は、複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップを含む。ステップ１３８０の一例において、画像充填器３２９は、洗練された画像３３８を充填して、デモザイク処理画像１２００を一例とするデモザイク処理画像３３９を生成する。デモザイク処理画像１２００は、低信頼アレイ座標１０３７Ｌにおいて割り当てピクセル値Ｖαを含む。
図１４は、方法１３００のステップ１３７０により形成された洗練された画像を充填する方法１４００を示したフローチャートである。ステップ１３８０は、ステップ１４１０ならびにステップ１４２０および１４３０の少なくとも一方を含む方法１４００を実装していてもよい。
ステップ１４１０は、複数の低信頼アレイ座標ごとに、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標のそれぞれに対応する複数の重みを演算するステップを含む。複数の重みそれぞれは、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値の類似性の少なくとも一方により決定される。ステップ１４１０の一例においては、低信頼アレイ座標１０３７Ｌ（図１０）ごとに、画像充填器３２９が重みｗα（ｘ，ｙ）を演算する。
ステップ１４２０は、１つの低信頼アレイ座標と関連付けられた複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定するステップを含む。ステップ１４２０の一例において、画像充填器３２９は、倍率κｇ＝（Ｐｇ（４，２）＋ｃｋ）／（Ｐｇ（４，４）＋ｃｋ）を乗じたｐｒ（４，４）に等しいものとしてＶｒ（４，２）を設定し、倍率κｂ＝（Ｐｂ（４，２）＋ｃｋ）／（Ｐｂ（４，４）＋ｃｋ）を乗じたｐｂ（４，４）に等しいものとしてＶｂ（４，２）を設定する。
ステップ１４３０は、１つの低信頼アレイ座標と関連付けられた複数の重みの合計が所定の重み閾値を超える場合に、ピクセル値の加重平均として割り当てピクセル値を演算するステップを含む。ステップ１４３０の一例において、画像充填器３２９は、デモザイク処理画像１２００（図１２）の割り当てピクセル値Ｖα（ｘ１，ｙ１）を演算する。
特徴の組み合わせ
上述の特徴および以下に請求される特徴は、本発明の範囲から逸脱することなく、様々に組み合わせ可能である。以下の例は、いくつかの考え得る非限定的な組み合わせを示す。
（Ａ１）は、画像センサにより取り込まれた画像をデモザイク処理する方法を示す。画像センサは、複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する。複数のセンサピクセルは、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む。この方法は、演算、生成、決定、構成、および充填のステップを含む。
演算ステップは、複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップを含む。複数の第１の補間ピクセル値は、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間される。
生成ステップは、閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップを含む。第１の座標マッピングは、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む。
また、この方法は、複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップを含む。また、この方法は、複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップを含む。
決定ステップは、第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップを含む。構成ステップは、複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップを含む。充填ステップは、複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップを含む。
（Ａ２）（Ａ１）により示される方法においては、複数の低信頼アレイ座標がそれぞれ、第１、第２、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、充填するステップが、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する複数の低信頼アレイ座標ごとに、（ａ）複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、複数の重みがそれぞれ、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値間の差分の少なくとも一方により決定される、複数の重みを演算するステップと、（ｂ）合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、を含んでいてもよい。
（Ａ３）（Ａ２）により示される方法においては、複数の重みを演算するステップにおいて、複数の重みがそれぞれ、距離の単調減少関数である近接性基準の関数であってもよい。
（Ａ４）（Ａ２）および（Ａ３）の一方により示されるいずれかの方法においては、複数の重みを演算するステップにおいて、複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数であってもよい。
（Ａ５）（Ａ１）〜（Ａ４）のうちの１つにより示されるいずれかの方法においては、演算するステップにおいて、複数の第１の信頼値がそれぞれ、隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づいていてもよい。
（Ａ６）（Ａ１）〜（Ａ５）のうちの１つにより示されるいずれかの方法は、第１の座標マッピングを生成するステップをさらに含んでいてもよい。
（Ａ７）（Ａ１）〜（Ａ６）のうちの１つにより示されるいずれかの方法は、低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を複数の高信頼アレイ座標が含む場合に、隔離高信頼アレイ座標を低信頼アレイ座標として指定するステップをさらに含んでいてもよい。
（Ａ８）（Ａ１）〜（Ａ７）のうちの１つにより示されるいずれかの方法は、低信頼アレイ座標の基本ピクセル値が第１のカラーフィルタと関連付けられた場合に、（ａ）複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、複数の倍率がそれぞれ、第１のカラーフィルタと関連付けられた高信頼アレイ座標におけるピクセル値に対する低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、（ｂ）合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つおよび複数の倍率のうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、をさらに含んでいてもよい。
（Ａ９）（Ａ１）〜（Ａ８）のうちの１つにより示されるいずれかの方法は、複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定するステップをさらに含んでいてもよい。
（Ａ１０）（Ａ１）〜（Ａ９）のうちの１つにより示されるいずれかの方法は、複数のセンサピクセルがそれぞれ、入射するシーンからの各光強度に対応するピクセル電荷を有する場合に、アナログ−デジタルコンバータによって、各ピクセル電荷を基本ピクセル値のそれぞれへと変換し、生成、演算、決定、構成、および充填のステップを実行するように構成されたマイクロプロセッサに通信結合されたメモリに基本ピクセル値を記憶することにより、画像を取り込むステップをさらに含んでいてもよい。
（Ｂ１）画像デモザイク処理装置は、メモリおよびマイクロプロセッサを備え、画像センサにより取り込まれた画像を処理するように構成される。メモリは、持続性コンピュータ可読命令を記憶するとともに、画像を記憶するように構成される。マイクロプロセッサは、命令を実行して、方法（Ａ１）〜（Ａ１０）のいずれかを実行するように構成される。
上記デモザイク処理方法およびデモザイク処理システムにおいては、本発明の範囲から逸脱することなく、変更が可能である。したがって、上記説明に含まれる内容または添付の図面に示される内容については、例示として解釈され、何ら限定的な意味で解釈されるべきではないことに留意されたい。本明細書においては、別段の指定のない限り、形容詞「例示的な（ｅｘｅｍｐｌａｒｙ）」は、一例、事例、または実例として機能することを意味する。以下の特許請求の範囲は、本明細書に記載のすべての一般的および具体的特徴のほか、表現の便宜上、両者間に含まれると考えられる本デモザイク処理方法およびシステムの範囲のすべての記述内容を網羅することが意図される。
以下に列挙される例示的な実施形態（ＥＥＥ）から、本発明の種々態様が明らかとなり得る。
１．複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像をデモザイク処理する方法であって、複数のセンサピクセルが、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含み、
複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、複数の第１の補間ピクセル値が、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップと、
複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップと、
を含む、方法。
２．複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、充填するステップが、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する複数の低信頼アレイ座標ごとに、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、複数の重みがそれぞれ、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値間の差分の少なくとも一方により決定される、複数の重みを演算するステップと、
合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、
を含む、ＥＥＥ１に記載の方法。
３．複数の重みを演算するステップにおいて、複数の重みがそれぞれ、距離の単調減少関数である近接性基準の関数である、ＥＥＥ２に記載の方法。
４．複数の重みを演算するステップにおいて、複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数である、ＥＥＥ２に記載の方法。
５．演算するステップにおいて、複数の第１の信頼値がそれぞれ、隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、ＥＥＥ１に記載の方法。
６．第１の座標マッピングを生成するステップをさらに含む、ＥＥＥ１に記載の方法。
７．低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を複数の高信頼アレイ座標が含む場合に、隔離高信頼アレイ座標を低信頼アレイ座標として指定するステップをさらに含む、ＥＥＥ１に記載の方法。
８．低信頼アレイ座標の基本ピクセル値が、第１のカラーフィルタと関連付けられており、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、複数の倍率がそれぞれ、第１のカラーフィルタと関連付けられた高信頼アレイ座標におけるピクセル値に対する低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、
合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つおよび複数の倍率のうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、
をさらに含む、ＥＥＥ２に記載の方法。
９．複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定する、ＥＥＥ２に記載の方法。
１０．複数のセンサピクセルがそれぞれ、入射するシーンからの各光強度に対応するピクセル電荷を有しており、
アナログ−デジタルコンバータによって、各ピクセル電荷を基本ピクセル値のそれぞれへと変換することと、
生成、演算、決定、構成、および充填のステップを実行するように構成されたマイクロプロセッサに通信結合されたメモリに基本ピクセル値を記憶することと、
によって、画像を取り込むステップをさらに含む、ＥＥＥ１に記載の方法。
１１．複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像を処理する画像デモザイク処理装置であり、複数のセンサピクセルが、（ｉ）複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、（ｉｉ）複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、（ｉｉｉ）複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む、画像デモザイク処理装置であって、
持続性コンピュータ可読命令を記憶するとともに、画像を記憶するように構成されたメモリと、
命令を実行することによって、
複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、複数の第２の一部分のアレイ座標または複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、複数の第１の補間ピクセル値が、複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた複数の第２の一部分のアレイ座標および複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
複数の第２の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
複数の第３の一部分のセンサピクセルに対して演算および生成ステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
第１の閾値化マッピング、第２の閾値化マッピング、および第３の閾値化マッピングそれぞれに含まれる複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、ステップと、
複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、洗練された画像を充填するステップと、
を行うように構成されたマイクロプロセッサと、
を備えた、画像デモザイク処理装置。
１２．複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、マイクロプロセッサが、充填するステップにおいて、複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する複数の低信頼アレイ座標ごとに、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、複数の重みがそれぞれ、（ｉ）高信頼アレイ座標と低信頼アレイ座標との間の距離および（ｉｉ）低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値の類似性の少なくとも一方により決定される、複数の重みを演算するステップと、
合計が所定の重み閾値を超える場合に、複数の一部分の高信頼アレイ座標の各ピクセル値の加重平均として、割り当てピクセル値を演算するステップと、
を行うようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
１３．演算するステップにおいて、複数の第１の信頼値がそれぞれ、隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、ＥＥＥ１１に記載の画像デモザイク処理装置。
１４．複数の重みがそれぞれ、距離の単調減少関数である近接性基準の関数である、ＥＥＥ１１に記載の画像デモザイク処理装置。
１５．複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数である、ＥＥＥ１１に記載の画像デモザイク処理装置。
１６．マイクロプロセッサが、第１の座標マッピングを生成するようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
１７．マイクロプロセッサが、低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を複数の高信頼アレイ座標が含む場合に、隔離高信頼アレイ座標を低信頼アレイ座標として指定するようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
１８．低信頼アレイ座標の基本ピクセル値が、第１のカラーフィルタと関連付けられており、マイクロプロセッサが、
複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、複数の倍率がそれぞれ、第１のカラーフィルタと関連付けられた高信頼アレイ座標におけるピクセル値に対する低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、
合計が所定の重み閾値を超える場合に、複数の重みのうちの対応する１つおよび複数の倍率のうちの対応する１つを乗じた複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、割り当てピクセル値を演算するステップと、
を行うようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
１９．マイクロプロセッサが、複数の重みの合計が所定の重み閾値未満である場合に、色中立条件を満たす第１、第２、および第３のカラーフィルタそれぞれに対応する第１、第２、および第３のピクセル値を有する複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する割り当てピクセル値を設定するようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
２０．複数のセンサピクセルがそれぞれ、入射するシーンからの各光強度に対応するピクセル電荷を有しており、マイクロプロセッサが、画像を取り込む際に、
アナログ−デジタルコンバータによって、各ピクセル電荷を基本ピクセル値のそれぞれへと変換するステップと、
基本ピクセル値をメモリに記憶するステップと、
を行うようにさらに構成された、ＥＥＥ１１に記載の画像デモザイク処理装置。
２１．画像デモザイク処理装置の１つまたは複数のマイクロプロセッサにより実行された場合に、ＥＥＥ１〜ＥＥＥ１０のいずれか一項に記載の方法を画像デモザイク処理装置に実行させるコンピュータ可読命令を含むコンピュータプログラム製品。
２２．ＥＥＥ２１に記載のコンピュータプログラム製品が記憶されたコンピュータ可読媒体。

Claims (15)

  1. 複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像をデモザイク処理する方法であって、前記複数のセンサピクセルが、複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含み、
    複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、前記複数の第２の一部分のアレイ座標または前記複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、前記複数の第１の補間ピクセル値が、前記複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
    閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、前記第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた前記複数の第２の一部分のアレイ座標および前記複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
    前記複数の第２の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
    前記複数の第３の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
    前記第１の閾値化マッピング、前記第２の閾値化マッピング、および前記第３の閾値化マッピングそれぞれに含まれる前記複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、複数の高信頼アレイ座標を決定するステップと、
    前記複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
    前記複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、前記洗練された画像を充填するステップと、
    を含む、方法。
  2. 前記複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、前記充填するステップが、前記複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する前記複数の低信頼アレイ座標ごとに、
    複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、前記複数の重みがそれぞれ、前記高信頼アレイ座標と前記低信頼アレイ座標との間の距離および前記低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値間の差分の少なくとも一方により決定される、複数の重みを演算するステップと、
    前記複数の重みの合計が所定の重み閾値を超える場合に、前記複数の重みのうちの対応する１つを乗じた前記複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、前記割り当てピクセル値を演算するステップと、
    を含む、請求項１に記載の方法。
  3. 前記複数の重みを演算するステップにおいて、前記複数の重みがそれぞれ、前記距離の単調減少関数である近接性基準の関数である、請求項２に記載の方法。
  4. 前記複数の重みを演算するステップにおいて、前記複数の重みがそれぞれ、前記差分の単調減少関数である類似性基準の関数である、請求項２または３に記載の方法。
  5. 前記演算するステップにおいて、前記複数の第１の信頼値がそれぞれ、前記隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、請求項１〜４のいずれか一項に記載の方法。
  6. 前記第１の座標マッピングを生成するステップをさらに含む、請求項１〜５のいずれか一項に記載の方法。
  7. 前記低信頼アレイ座標の基本ピクセル値が、前記第１のカラーフィルタと関連付けられており、
    前記複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の倍率を演算するステップであり、前記複数の倍率がそれぞれ、前記第１のカラーフィルタと関連付けられた前記高信頼アレイ座標における前記ピクセル値に対する前記低信頼アレイ座標の基本ピクセル値の比に比例する、複数の倍率を演算するステップと、
    前記合計が前記所定の重み閾値を超える場合に、前記複数の重みのうちの対応する１つおよび前記複数の倍率のうちの対応する１つを乗じた前記複数の一部分の高信頼アレイ座標の各ピクセル値の平均として、前記割り当てピクセル値を演算するステップと、
    をさらに含む、請求項２〜６のいずれか一項に記載の方法。
  8. 前記複数の重みの前記合計が前記所定の重み閾値未満である場合に、色中立条件を満たす前記第１のカラーフィルタ、前記第２のカラーフィルタ、および前記第３のカラーフィルタそれぞれに対応する第１のピクセル値、第２のピクセル値、および第３のピクセル値を有する前記複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する前記割り当てピクセル値を設定する、請求項２〜７のいずれか一項に記載の方法。
  9. 複数のアレイ座標のそれぞれにそれぞれが位置するアレイ状の複数のセンサピクセルを有する画像センサにより取り込まれた画像を処理する画像デモザイク処理装置であり、前記複数のセンサピクセルが、複数の第１の一部分のアレイ座標における、それぞれの第１のカラーフィルタによりそれぞれフィルタリングされた複数の第１の一部分のセンサピクセルと、複数の第２の一部分のアレイ座標における、それぞれの第２のカラーフィルタによりフィルタリングされた複数の第２の一部分のセンサピクセルと、複数の第３の一部分のアレイ座標における、それぞれの第３のカラーフィルタによりフィルタリングされた複数の第３の一部分のセンサピクセルと、を含む、画像デモザイク処理装置であって、
    持続性コンピュータ可読命令を記憶するとともに、前記画像を記憶するように構成されたメモリと、
    前記命令を実行することによって、
    複数の第１の補間ピクセル値ごとに、隣接基本ピクセル値に基づいて、前記複数の第２の一部分のアレイ座標または前記複数の第３の一部分のアレイ座標のいずれかのアレイ座標にそれぞれ対応する複数の第１の信頼値のそれぞれを演算するステップであり、前記複数の第１の補間ピクセル値が、前記複数の第１の一部分のセンサピクセルにより生成された複数の第１の基本ピクセル値のうちの隣接基本ピクセル値から補間された、複数の第１の信頼値のそれぞれを演算するステップと、
    閾値よりも小さな第１の信頼値を有する各補間ピクセル値およびこれにマッピングされたアレイ座標を除去することによって、第１の座標マッピングから第１の閾値化マッピングを生成するステップであり、前記第１の座標マッピングが、複数の第１の補間ピクセル値のそれぞれにマッピングされた前記複数の第２の一部分のアレイ座標および前記複数の第３の一部分のアレイ座標それぞれを含む、第１の閾値化マッピングを生成するステップと、
    前記複数の第２の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第２の閾値化マッピングを生成するステップと、
    前記複数の第３の一部分のセンサピクセルに対して前記演算するステップおよび前記生成するステップを繰り返すことにより、第３の閾値化マッピングを生成するステップと、
    前記第１の閾値化マッピング、前記第２の閾値化マッピング、および前記第３の閾値化マッピングそれぞれに含まれる前記複数のアレイ座標のうちのアレイ座標として、複数の高信頼アレイ座標を決定するステップであり、残りのアレイ座標が複数の低信頼アレイ座標である、複数の高信頼アレイ座標を決定するステップと、
    前記複数の高信頼アレイ座標それぞれにおいて、１つの基本ピクセル値および２つの補間ピクセル値を含む各ピクセル値トリプレットを含む洗練された画像を構成するステップと、
    前記複数の低信頼アレイ座標ごとに、隣接高信頼アレイ座標のピクセル値に基づいてピクセル値を割り当てることにより、前記洗練された画像を充填するステップと、
    を行うように構成されたマイクロプロセッサと、
    を備えた、画像デモザイク処理装置。
  10. 前記複数の低信頼アレイ座標がそれぞれ、第１の座標マッピング、第２の座標マッピング、および第３の座標マッピングのうちの１つの関連する基本ピクセル値を有し、前記マイクロプロセッサが、前記充填するステップにおいて、前記複数の高信頼アレイ座標のうちの複数の一部分のアレイ座標に近接する前記複数の低信頼アレイ座標ごとに、
    複数の一部分の高信頼アレイ座標のそれぞれに対応する複数の重みを演算するステップであり、前記複数の重みがそれぞれ、前記高信頼アレイ座標と前記低信頼アレイ座標との間の距離および前記低信頼アレイ座標の関連する基本ピクセル値に対する隣接高信頼アレイ座標のピクセル値の類似性の少なくとも一方により決定される、複数の重みを演算するステップと、
    前記複数の重みの合計が所定の重み閾値を超える場合に、前記複数の一部分の高信頼アレイ座標のピクセル値の加重平均として、前記割り当てピクセル値を演算するステップと、
    を行うようにさらに構成された、請求項９に記載の画像デモザイク処理装置。
  11. 前記演算するステップにおいて、前記複数の第１の信頼値がそれぞれ、前記隣接基本ピクセル値の相対差分および標準偏差の少なくとも一方に基づく、請求項９または１０に記載の画像デモザイク処理装置。
  12. 前記複数の重みがそれぞれ、前記距離の単調減少関数である近接性基準の関数である、請求項１０または１１に記載の画像デモザイク処理装置。
  13. 前記複数の重みがそれぞれ、差分の単調減少関数である類似性基準の関数である、請求項１０〜１２のいずれか一項に記載の画像デモザイク処理装置。
  14. 前記マイクロプロセッサが、低信頼アレイ座標により完全に囲まれた隔離高信頼アレイ座標を前記複数の高信頼アレイ座標が含む場合に、前記隔離高信頼アレイ座標を低信頼アレイ座標として指定するようにさらに構成された、請求項９〜１３のいずれか一項に記載の画像デモザイク処理装置。
  15. 前記マイクロプロセッサが、前記複数の重みの前記合計が前記所定の重み閾値未満である場合に、色中立条件を満たす前記第１のカラーフィルタ、前記第２のカラーフィルタ、および前記第３のカラーフィルタそれぞれに対応する第１のピクセル値、第２のピクセル値、および第３のピクセル値を有する前記複数の隣接高信頼アレイ座標のうちの最も近接した座標と関連付けられたピクセル値に比例する前記割り当てピクセル値を設定するようにさらに構成された、請求項１０〜１４のいずれか一項に記載の画像デモザイク処理装置。
JP2020536101A 2018-01-16 2019-01-15 画像デモザイク処理システムおよび方法 Active JP6889336B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862617709P 2018-01-16 2018-01-16
US62/617,709 2018-01-16
EP18151852.3 2018-01-16
EP18151852 2018-01-16
PCT/US2019/013682 WO2019143626A1 (en) 2018-01-16 2019-01-15 Image demosaicing system and method

Publications (2)

Publication Number Publication Date
JP2021507643A true JP2021507643A (ja) 2021-02-22
JP6889336B2 JP6889336B2 (ja) 2021-06-18

Family

ID=66251848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020536101A Active JP6889336B2 (ja) 2018-01-16 2019-01-15 画像デモザイク処理システムおよび方法

Country Status (4)

Country Link
US (1) US10984505B2 (ja)
EP (1) EP3740932A1 (ja)
JP (1) JP6889336B2 (ja)
WO (1) WO2019143626A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170158B (zh) 2018-11-19 2023-07-11 杜比实验室特许公司 视频编码器和编码方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7376288B2 (en) 2004-05-20 2008-05-20 Micronas Usa, Inc. Edge adaptive demosaic system and method
JP5049460B2 (ja) 2004-11-09 2012-10-17 イーストマン コダック カンパニー カラー撮像画像データの補間方法およびプログラム
US7773127B2 (en) 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20090092338A1 (en) 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
US8571312B2 (en) 2009-01-16 2013-10-29 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
JP5452242B2 (ja) 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
ITVI20110052A1 (it) 2011-03-15 2012-09-16 St Microelectronics Srl Riduzione del rumore cromatico di immagini nel dominio bayer
WO2015119574A1 (en) 2014-02-05 2015-08-13 Nanyang Technological University Methods and systems for demosaicing an image
US9582853B1 (en) 2015-08-03 2017-02-28 Intel Corporation Method and system of demosaicing bayer-type image data for image processing
CN105141838B (zh) 2015-08-19 2018-08-07 上海兆芯集成电路有限公司 去马赛克方法以及使用该方法的装置
FR3044449B1 (fr) 2015-12-01 2017-11-24 E2V Semiconductors Procede de traitement de signaux issus d'une matrice de prise d'images en couleur, et capteur correspondant

Also Published As

Publication number Publication date
WO2019143626A1 (en) 2019-07-25
US20210027423A1 (en) 2021-01-28
JP6889336B2 (ja) 2021-06-18
EP3740932A1 (en) 2020-11-25
US10984505B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
KR100791375B1 (ko) 색 보정 장치 및 방법
JP4322781B2 (ja) 撮像装置
US7082218B2 (en) Color correction of images
CN110365961B (zh) 图像去马赛克装置及方法
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
JP2008022521A (ja) 固体撮像素子
JP2006135745A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2007531094A (ja) カメラ写真から得られる画像から原データを抽出する方法
JP2009246963A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2004343685A (ja) 重み付け勾配ベースの色補正された補間
TWI588757B (zh) 邊緣偵測系統及方法
KR20180021721A (ko) 상이한 일정한-휴 리프들에 속하는 커스프 칼라들의 명도에 또한 기초한 명도 맵핑을 사용하는 칼라 색역 맵핑
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
JP6889336B2 (ja) 画像デモザイク処理システムおよび方法
CN105046631B (zh) 图像处理设备和图像处理方法
US6747698B2 (en) Image interpolating device
JP7423033B2 (ja) 画像信号処理方法
JP6415094B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5330291B2 (ja) 信号処理装置及び撮像装置
TWI754291B (zh) 高動態範圍影像感測器和影像捕獲方法
JP2006135962A (ja) 画像の白色点を推定するための方法およびシステム
JP2005333418A (ja) カラー固体撮像装置
KR101072877B1 (ko) 색 보간 방법 및 그 장치
JP6461184B2 (ja) 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
JP6862272B2 (ja) 信号処理装置、信号処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200825

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200825

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210520

R150 Certificate of patent or registration of utility model

Ref document number: 6889336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250