JP2004534429A - 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 - Google Patents
色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 Download PDFInfo
- Publication number
- JP2004534429A JP2004534429A JP2002574588A JP2002574588A JP2004534429A JP 2004534429 A JP2004534429 A JP 2004534429A JP 2002574588 A JP2002574588 A JP 2002574588A JP 2002574588 A JP2002574588 A JP 2002574588A JP 2004534429 A JP2004534429 A JP 2004534429A
- Authority
- JP
- Japan
- Prior art keywords
- value
- color
- image
- interpolation
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012935 Averaging Methods 0.000 claims description 79
- 230000003044 adaptive effect Effects 0.000 claims description 47
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 104
- 230000008859 change Effects 0.000 description 58
- 238000009499 grossing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003707 image sharpening Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Studio Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【解決手段】本発明に係る方法は、非対称補間方式を利用することにより、モザイクイメージの選択された色成分の不連続性を使用して結果としてのデモザイクイメージにおける色不連続性を均等化する。選択された色成分の不連続性は、他の残りの色成分の不連続性と等しいと仮定される。このため、色不連続性均等化は、残りの色成分の不連続性を選択された色成分の不連続性と同じにすることによって達成される。非対称補間方式により、システムおよび方法は、結果としてのデモザイクイメージの特徴エッジに沿ったカラーエイリアシングおよび色無し「ジッパリング」アーティファクトを、色付きアーティファクトと同様に低減することができる。
Description
【0001】
本発明は、概して画像処理の分野に関し、特に、生データ(モザイク)イメージをデモザイク処理するシステムおよび方法に関する。
【背景技術】
【0002】
カラーデジタルカメラは、漸進的に価格が低下していることもあり、消費者市場において広く普及してきている。
カラーデジタルカメラは通常、単一光センサ、すなわち電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサのいずれかを使用して、対象のシーンをデジタル的に取込む。
CCDセンサおよびCMOSセンサはともに、照度にしか感応しない。
したがって、これらのセンサは、異なる色を識別することはできない。
色識別を達成するには、原色、通常は赤、緑および青に関して光を分離するためにカラーフィルタリング技法を適用する。
【0003】
一般的なフィルタリング技法は、センサの上に被せられるカラーフィルタアレイ(CFA)を利用して、入射する光の色をベイヤー(Bayer)パターンで分離する。
ベイヤーパターンは、各次元(垂直および水平)の2つの異なるカラー画素の周期を有する周期的なパターンである。
水平方向では、1つの周期は、緑色画素および赤色画素か、または青色画素および緑色画素のいずれかを含む。
【0004】
垂直方向では、1つの周期は、緑色画素および青色画素か、または赤色画素および緑色画素のいずれかを含む。
したがって、緑色画素の数は、赤色または青色画素の数の2倍である。
緑色画素の数に格差があるのは、人間の眼が、これら3つの色に対して等しく感応しないためである。
したがって、「実際の(true color)」イメージとして感知されるシーンのカラーイメージを生成するために、他より多くの緑色画素が必要とされる。
【0005】
したがって、CFAにより、センサによって取込まれるイメージは、「生データ」イメージとも呼ばれるモザイクイメージであり、モザイクイメージの各画素は、赤、緑または青色に対する輝度値のみを保持する。
そして、モザイクイメージをデモザイク処理して、モザイクイメージの各画素の欠落した色値を推定することによりカラーイメージを生成することができる。
画素の欠落色値は、周囲の画素からの対応する色情報を使用することによって推定される。
【0006】
モザイクイメージをカラー(「デモザイク」)イメージに変換する従来のデモザイク方法は複数あるが、最も基本的なデモザイク方法は、双線形補間方法である。
双線形補間方法は、所与の画素の近傍画素の色値を平均化することであって、それにより、その所与の画素の欠落色値を推定する、平均化することを含む。
【0007】
例として、所与の画素に赤の色値が欠落した場合、所与の画素に隣接する画素の赤色値を平均化することにより、その所与の画素の赤色値が推定される。
このように、モザイクイメージの各画素の欠落色値を推定して、モザイクイメージをカラーイメージに変換することができる。
【発明の開示】
【発明が解決しようとする課題】
【0008】
双線形補間方法の問題は、結果としてのカラーイメージに、イメージの特徴エッジに沿って色付きアーティファクトがもたらされる傾向がある、ということである。
色付きアーティファクトの出現に対処する所定の従来技術によるデモザイク技法は、適応補間プロセスを利用して1つまたは複数の欠落色値を推定する。
【0009】
従来技術によるデモザイク技法によれば、第1および第2の分類器(classifier)が計算されることにより好ましい補間が選択され、それは、事前定義された色値に対する算術平均と近似されスケーリングされたラプラシアン2次項とを含む。
第1および第2の分類器は、水平および垂直分類器であっても、あるいは正勾配対角線および負勾配対角線分類器であってもよい。
分類器は、軸、すなわち、水平、垂直、正勾配対角線または負勾配対角線の軸に沿って、近くの画素の異なる色値を含む。
そして、2つの分類器が互いに比較されて、好ましい補間が選択される。
【0010】
適応補間の従来技術によるデモザイク技法により、特徴エッジに沿った色付きアーティファクトが低減したデモザイクカラーイメージがもたらされるが、特徴エッジに沿ったカラーエイリアシングおよび色無しの「ジッパリング(zippering)」アーティファクト等、他のタイプのアーティファクトを低減するために、入力モザイクイメージを効率的にデモザイク処理するシステムおよび方法が依然として必要とされている。
【課題を解決するための手段】
【0011】
生データ(「モザイク」)イメージをデモザイク処理するシステムおよび方法は、非対称補間方式を利用することにより、モザイクイメージの選択された色成分の不連続性を使用して、結果としてのデモザイクイメージにおける色不連続性を均等化する。
選択された色成分の不連続性は、他の残りの色成分の不連続性と等しいと仮定される。
このため、色不連続性均等化は、残りの色成分の不連続性を、選択された色成分の不連続性と同じにすることによって達成される。
非対称補間方式により、システムおよび方法は、結果としてのデモザイクイメージの特徴エッジに沿ったカラーエイリアシングおよび色無し「ジッパリング」アーティファクトを、色付きアーティファクトと同様に低減することができる。
【0012】
本発明によるモザイクイメージをデモザイク処理することによりデモザイクイメージを導出する方法は、モザイクイメージの第1の色値を独立して補間するステップであって、それにより、デモザイクイメージの第1の補間された値を導出する、補間するステップと、モザイクイメージの第2の色値を補間するステップであって、それにより、デモザイクイメージの第2の補間された値を導出する、補間するステップと、を含む。
第2の色値を補間するステップは、第2の補間された値の不連続性を第1の補間された値の対応する不連続性と実質的に均等化することを含む。
【0013】
実施形態では、第1の色値を独立して補間するステップは、少なくとも第1の補間技法と第2の補間技法とから選択される補間技法を使用して第1の色値を適応的に補間することを含んでもよい。
補間技法の選択は、水平方向と垂直方向と等、少なくとも第1の方向と第2の方向とに沿って第1および第2の色値の変化を確定することを含んでもよい。
【0014】
実施形態では、第2の色値を補間するステップは、補間された第1の色値と平均化された第1の色値とを使用して色不連続性均等化値を計算することを含む。
その補間された第1の色値は、第1の補間された値と等しくてもよい。
色不連続性均等化値を、補間された第1の色値から平均化された第1の色値を減算することによって導出してもよい。
【0015】
色不連続性均等化値を、モザイクイメージの第2の色値に対応するモザイクイメージの画素位置に関して補間された第1の色値をサブサンプリングすることにより、サブサンプリングされた値を導出し、そのサブサンプリングされた値を平均化することにより、平均化された第1の色値を生成することすることによって、導出してもよい。
この実施形態では、第2の色値を補間するステップは、モザイクイメージの第2の色値を平均化することにより平均化された第2の色値を導出すること、色不連続性値と平均化された第2の色値とを合計することにより第2の補間された値を導出することと、を含んでもよい。
【0016】
本方法は、さらに、第1のタイプの第1の色値と第2のタイプの第1の色値との輝度不整合を選択的に補償するステップを含んでもよい。
実施形態では、選択的補償は、第1の色値の勾配および湾曲が閾値より下である場合に、モザイクイメージの第1の色値を平滑化することを含む。
また、本方法は、第1の補間された値に対してのみ作用することによりデモザイクイメージを鮮鋭化するステップを含んでもよい。
【0017】
モザイクイメージをデモザイク処理してデモザイクイメージを導出するシステムは、モザイクイメージの第1の色値を独立して補間することにより、デモザイクイメージの第1の補間された値を導出する第1の補間器と、モザイクイメージの第2の色値を補間することにより、デモザイクイメージの第2の補間された値を導出する第2の補間器と、第2の補間された値の不連続性を第1の補間された値の対応する不連続性と実質的に均等化する色不連続性均等化ユニットと、を含む。
【0018】
実施形態では、第1の補間器は、少なくとも第1の補間技法と第2の補間技法とから選択される補間技法を使用して第1の色値を適応的に補間するように構成される適応補間器を有する。
一実施形態では、水平方向と垂直方向と等、少なくとも第1の方向と第2の方向とに沿って第1および第2の色値の変化を確定するように構成される勾配方向検出器を含む。
【0019】
実施形態では、色不連続性均等化ユニットは、補間された第1の色値と平均化された第1の色値とを使用して色不連続性均等化値を計算するように構成される。
その補間された第1の色値は、第1の補間された値と等しくてもよい。
色不連続性均等化値を、補間された第1の色値から平均化された第1の色値を減算することによって導出してもよい。
【0020】
色不連続性均等化ユニットは、サブサンプリングユニットと平均化ユニットとを有してもよい。
サブサンプリングユニットは、モザイクイメージの第2の色値に対応するモザイクイメージの画素位置に関して補間された第1の色値をサブサンプリングすることにより、サブサンプリングされた値を導出するように構成される。
平均化ユニットは、サブサンプリングされた値を平均化することにより、平均化された第1の色値を生成するように構成される。
この実施形態では、第2の補間器は、モザイクイメージの第2の色値を平均化することにより平均化された第2の色値を導出するように構成される平均化ユニットと、色不連続性均等化値と平均化された第2の色値とを合計することにより第2の補間された値を導出するように構成される加算ユニットと、を有してもよい。
【0021】
本システムは、さらに、第1のタイプの第1の色値と第2のタイプの第1の色値との輝度不整合を選択的に補償するように構成される輝度不整合補償器を含んでもよい。
実施形態では、輝度不整合補償器は、第1の色値の勾配および湾曲が閾値より下である場合に、モザイクイメージの第1の色値を平滑化するように構成されてもよい。
また、本システムは、第1の補間された値に対してのみ作用することによりデモザイクイメージを鮮鋭化するように構成されるイメージ鮮鋭化器を含んでもよい。
【0022】
本発明の他の態様および利点は、本発明の原理を例として示す添付図面を考慮して以下の詳細な説明から明らかとなろう。
【発明の効果】
【0023】
本発明によれば、画像処理の分野において、生データ(モザイク)イメージなどをデモザイク処理することができる。
【発明を実施するための最良の形態】
【0024】
図1を参照すると、本発明によるイメージ処理システム100が示されている。
イメージ処理システムは、対象のシーンをモザイクまたは生データイメージとしてデジタル的に取込むように動作する。
そして、モザイクイメージはデモザイク処理され、その後システムに格納するために圧縮される。
イメージ処理システムは、特徴エッジに沿ったカラーエイリアシングおよび色無し「ジッパリング」アーティファクトを色付きアーティファクトと同様に低減する、双線形補間に基づくデモザイクプロセスを利用する。
【0025】
イメージ処理システム100は、イメージ取込ユニット102と、デモザイク処理ユニット104と、圧縮ユニット106と、記憶ユニット108と、を有する。
画像取込ユニットは、センサとカラーフィルタアレイ(CFA)とを有する。
センサは、電荷結合素子(CCD)であっても、相補型金属酸化膜半導体(CMOS)センサであっても、他のタイプの光電センサであってもよい。
【0026】
例示的な実施形態では、CFAは、ベイヤーフィルタパターンに配置された赤(R)、緑(G)および青(B)フィルタを有する。
しかしながら、CFAは、異なるフィルタパターンで配置された他の色のフィルタを含んでもよい。
CFAは、センサの各光電素子に、特定の色の光のみが透過できるようにする。
このため、イメージ取込ユニットによって取込まれたデジタルイメージは、CFAのフィルタパターンにしたがった色パターンで配置される単色画素からなるモザイクイメージである。
したがって、モザイクイメージの各画素は、単色、たとえばR、GまたはBのみに対する輝度値を有する。
【0027】
例示的な実施形態では、イメージ取込ユニット102によって獲得されたモザイクイメージの単色画素は、イメージ取込ユニットのCFAの構成により、ベイヤーパターンで配置される。
ベイヤーパターンのモザイクイメージの一部を、図2Aに示す。
モザイクイメージの各画素が単色のみに対する輝度値を有するため、各画素には、カラーまたはデモザイクイメージをもたらすために必要とされる他の2色に対する輝度値が欠落している。
【0028】
図2Aに示すように、モザイクイメージのG色画素を、G1またはG2のいずれかとして識別する。
したがって、図2Aのモザイクイメージを、図2Bに示すような4つの色成分、R、G1、G2およびBに関して分解することができる。
モザイクイメージのこれらの分解を、本明細書では、時にG1平面202、G2平面204、R平面206およびB平面208と呼ぶことにする。
G1およびG2平面を、本明細書では、まとめてG平面と呼ぶ。
【0029】
センサによっては、G1位置においてG輝度値を取込む光電素子は、G2位置においてG輝度値を取込む光電素子とは異なる応答を有する場合がある。
したがって、G1およびG2位置における輝度値は、光電素子の応答差のために人為的な変動を有する可能性がある。
これらの人為的な変動を、本明細書では「G1−G2不整合」と呼ぶことにする。
【0030】
イメージ処理システム100のデモザイク処理ユニット104は、入力モザイクイメージをデモザイク処理することにより、結果としてのデモザイクイメージの各画素が、カラーまたはデモザイクイメージを生成するために3原色、たとえばR、GおよびBのすべてに対する輝度値を有するように動作する。
デモザイク処理ユニットは、周囲の画素からの入手可能な輝度値を使用することにより、入力モザイクイメージの各画素に対して欠落輝度値を推定する。
また、デモザイク処理ユニットは、イメージ鮮鋭化とG1−G2不整合補償とを実行してもよい。
デモザイク処理ユニットの動作については後に詳述する。
【0031】
イメージ処理システム100の圧縮ユニット104は、デモザイク処理ユニット104によって生成されたデモザイクイメージを圧縮して圧縮イメージファイルにするように動作する。
例として、圧縮ユニットは、JPEG圧縮方式等のDCTベース圧縮方式を使用してデモザイクイメージを圧縮してもよい。
【0032】
図1において、圧縮ユニットとデモザイク処理ユニットとをイメージ処理システムの別個のコンポーネントとして示すが、これらのコンポーネントを、特定用途向け集積チップ(ASIC)に統合してもよい。
代替的に、圧縮ユニットとデモザイク処理ユニットとを、プロセッサ(図示せず)によって実行される場合にこれらのユニットの機能を実行するソフトウェアプログラムとして組み込んでもよい。
【0033】
イメージ処理システム100の記憶ユニット108は、圧縮ユニット106からの圧縮イメージファイルを格納する媒体を提供する。
記憶ユニットは、DRAM等の従来の記憶メモリであってもよい。
代替的に、記憶ユニットは、標準コンピュータフロッピーディスク等のリムーバブル記憶媒体とインタフェースするドライブであってもよい。
【0034】
システム100のイメージ取込ユニット102と、デモザイク処理ユニット104と、圧縮ユニット106と、記憶ユニット108とを、デジタルカメラ等の単一機器に含めてもよい。
代替的に、イメージ取込ユニットを、別個の機器に含めてもよい。
この代替実施形態では、デモザイク処理ユニットと圧縮ユニットと記憶ユニットとの機能を、コンピュータによって実行してもよい。
【0035】
図3を参照すると、デモザイク処理ユニット104のコンポーネントを例示するブロック図が示されている。
図3に示すように、デモザイク処理ユニットは、色分離器302と、Gパスモジュール304と、カラーパスモジュール306と、を有する。
色分離器は、入力モザイクイメージの観察の窓を受取り、その後、色に関して観察窓内の輝度値を分離する。
【0036】
これにより、輝度値が、R、GおよびBに関して分離される。
RおよびB輝度値は、カラーパスモジュールに送られ、G輝度値は、Gパスモジュールとカラーパスモジュールとの両方に送られる。
図3には図示しないが、RおよびB輝度値もまた、図5に関して説明するようにGパスモジュールに送られる。
【0037】
Gパスモジュールは、観察窓のG輝度値を補間することにより、入力モザイクイメージの観察窓内の各画素に対し補間されたG輝度値(「G'値」)を生成し、カラーパスモジュールは、RおよびB輝度値を補間することにより、観察窓内の各画素に対し補間されたRおよびB輝度値(「R'およびB'値」)を生成する。
したがって、観察窓内の各画素は、最初の観察窓に対応するデモザイク窓を生成するためにR、GおよびB値を有する。
【0038】
入力モザイクイメージの観察窓のすべてが処理されると、完全なデモザイクイメージが生成される。
例示的な実施形態では、Gパスモジュールはまた、G1−G2不整合を補償し、G輝度値のみに関して入力モザイクイメージの所与の観察窓を鮮鋭化することにより、結果としてのデモザイクイメージを鮮鋭化する。
さらに、カラーパスモジュールは、G輝度値によって提供される情報を考慮することにより、色不連続性均等化を提供する。
色不連続性均等化は、イメージの同じ位置における別の色の不連続性を分析することにより、モザイクイメージ内の特定の色の空間的不連続性を推定するプロセスである。
【0039】
色不連続性均等化は、デモザイク処理ユニット104によって、イメージ内の局所的な色不連続性が各色成分に対して同じであると仮定することにより提供される。
すなわち、局所的な輝度値の変化は、R、GおよびB輝度値に対して同じである。
この仮定を、以下のように表現することができる。
△R=△G=△B (1)
【0040】
G輝度値の局所的な色不連続性がイメージを通して入手可能であるとする場合、RおよびB輝度値の局所的な色不連続性を、G輝度値の色不連続性に関して表現することができる。
そして、Rの局所的な色不連続性を、以下のように表現することができる。
△R=△G (2)
ここで、△R=R−R0および△G=G−G0である。
【0041】
上記式では、R0およびG0は、それぞれ入手可能なRおよびG輝度値の局所平均である。
同様に、Bの局所的な色不連続性を、以下のように表現することができる。
△B=△G (3)
ここで、△B=B−B0である。
【0042】
式(3)において、B0は、入手可能なB輝度値の局所平均である。
式(2)および(3)を使用して、Gの色不連続性を均等化するRおよびB輝度値を推定することができる。
すなわち、式(2)を、以下のように書換えることができる。
R=R0+△G (4)
【0043】
また、式(3)を以下のように書換えることができる。
B=B0+△G (5)
【0044】
なお、式(4)および(5)は、△Gが△Rおよび△Bと等しいため、オリジナルのモザイクイメージから入手可能なすべての色値がそのままである、ということを暗示している。
式(4)を、さらに以下のように書換えることができる。
R=G+CR0 (6)
【0045】
ここで、CR0=R0−G0である。
式(6)において、Rは、Gに何らかの色オフセット補正CR0を足したものに等しいと見られる。
この色オフセット補正は、GとRとの局所平均の差に厳密に等しい。
同様に、式(5)を以下のように書換えることができる。
B=G+CB0 (7)
ここで、CB0=B0−G0である。
【0046】
実際には、デモザイク処理プロセスのために式(6)および(7)を使用することにより、デモザイクイメージの特徴エッジに沿ってカラー「ジッパリング」アーティファクトがもたらされる。
色オフセット補正項は、GおよびRの局所平均とGおよびBの局所平均とを比較することによって取得される。
【0047】
しかしながら、比較された平均は、同じ画素位置から抽出されない。
このため、式(6)および(7)に基づく色オフセット補正により、特に特徴エッジ上等、高輝度勾配がある場合に比較が食い違う。
しかしながら、G値がすべての画素位置において入手可能である場合、Gの局所平均を、いかなる画素位置においても計算することができる。
【0048】
CR0の計算の最良の精度のために、G値を、R位置から抽出しなければならない。
同様に、G値を、CB0の計算においてB位置から抽出しなければならない。
このため、式(6)および(7)を、以下のように変更することができる。
R=R0+△GR (8)
ここで、△GR=G−GR0である。
また、
B=B0+△GB (9)
ここで、△GB=G−GB0である。
【0049】
上記式において、CR0およびCB0は、それぞれR位置とB位置とから計算されたG平均を示す。
式(8)および(9)の項△GRおよび△GBは、G値によりRおよびB値の色不連続性を均等化するための色不連続性均等化値を表す。
【0050】
デモザイク処理ユニット104のGパスモジュール304は、G輝度値に作用することにより、G輝度値を独立して補間し、G輝度値がすべての画素位置において入手可能であるようにする。
デモザイク処理ユニットのカラーパスモジュール306は、式(8)および(9)を利用して、補間されたRおよびB輝度値を生成することにより、色不連続性が均等化されたデモザイクイメージをもたらす。
【0051】
図3に示すように、デモザイク処理ユニット104のGパスモジュール304は、G1−G2不整合補償器308と、適応補間器310と、イメージ鮮鋭化器312と、を有する。
G1−G2不整合補償器は、低輝度変動のある入力モザイクイメージの領域においてG1−G2不整合によってもたらされるG1およびG2画素の輝度値差を選択的に平滑化するように動作する。
【0052】
図4に示すように、G1−G2不整合補償器は、画素単位勾配および湾曲量検出器402と、G1−G2平滑化ユニット404と、選択器406と、を有する。
画素単位勾配および湾曲量検出器は、入力モザイクイメージの所与の観察窓がG輝度値に関して低輝度の領域であるか否かを示す信号を生成する。
G1−G2平滑化ユニットは、所与の観察窓のG輝度値を平滑化するために以下のマスクを使用して畳み込みを実行する。
【0053】
【数1】
【0054】
上記マスクの使用により、すべてのG1入力が、考慮された入力と4つのG2近傍値の平均との中間点により置換される。
同じことが、すべてのG2入力にそれらのG1近傍に関して適用される。
【0055】
画素単位勾配および湾曲量検出器402からの信号と、G1−G2平滑化ユニット404からのG1−G2平滑化されたG輝度値とは、選択器406によって受取られる。
選択器はまた、入力モザイクイメージの現観察窓のオリジナルG輝度値も受取る。
画素単位勾配および湾曲量検出器からの信号に応じて、選択器は、さらなる処理のために、G1−G2平滑化されたG輝度値かまたはオリジナルのG輝度値のいずれかを送出する。
【0056】
図4に示すように、画素単位勾配および湾曲量検出器402は、水平勾配フィルタ408と、水平湾曲フィルタ410と、垂直勾配フィルタ412と、垂直湾曲フィルタ414と、変化量分析器416と、を有する。
フィルタ408〜414の出力は、変化量分析器416に供給される。
変化量分析器の出力は、選択器406に供給される。
水平勾配フィルタ408と水平湾曲フィルタ410とは、以下のマスクを利用して、入力モザイクイメージの観察窓のG輝度値に対する水平勾配変化値と水平湾曲変化値とを導出する。
【0057】
【数2】
【0058】
垂直勾配フィルタ412と垂直湾曲フィルタ414とは、以下のマスクを利用して、所与の観察窓のG輝度値に対する垂直勾配変化値と垂直湾曲変化値とを導出する。
【0059】
【数3】
【0060】
変化量分析器416は、水平および垂直フィルタ408〜414から変化値を受取り、現観察窓の最大輝度変化量として識別される最高変化値を選択する。
そして、最大輝度変化量が所定閾値と比較されることにより、G1−G2不整合補償が必要であるか否かが判断される。
最大輝度変化量が所定閾値を超える場合、G1−G2平滑化されたG輝度値が選択されるように、選択器406に信号が送られる。
そうでない場合、変化量分析器は、選択器により現観察窓のオリジナルG輝度値が選択されるように、異なる信号を送る。
【0061】
図3に戻ると、Gパスモジュール304の適応補間器310は、G1−G2不整合補償器308からの入力モザイクイメージの現観察窓のG輝度値を受取るように配置される。
適応補間器は、窓のRおよびB画素位置に対する欠落G輝度値を推定するための入力モザイクイメージの観察窓内の輝度変化によって、水平補間または垂直補間を選択的に適用するように動作する。
適応補間器の基礎となる考えは、イメージ輝度変化が局所的に垂直であるように検出された場合に水平補間を実行することか、またはイメージ変化が局所的に水平であると検出された場合に垂直補間を実行することである。
【0062】
図5に示すように、適応補間器310は、水平補間ユニット502と、垂直補間ユニット504と、画素単位勾配方向検出器506と、選択器508と、を有する。
水平補間ユニットと垂直補間ユニットとは、各々、以下のマスクを使用してG1−G2不整合補償器308からのG輝度値に対して水平補間と垂直補間とを実行する。
【0063】
【数4】
【0064】
適応補間器310の画素単位勾配方向検出器506は、補間されたG輝度値として水平補間の結果を選択すべきであるかまたは垂直補間の結果を選択すべきであるかを判断する。
画素単位勾配方向検出器は、水平G変化フィルタ510と、水平非G変化フィルタ512と、垂直G変化フィルタ514と、垂直非G変化フィルタ516と、を有する。
【0065】
G変化フィルタ510および514は、入力モザイクイメージの現観察窓のG輝度値に対して作用し、非G変化フィルタ512および516は、RおよびB輝度値に対して作用する。
変化フィルタ510〜516は、以下のマスクを利用して、入力モザイクイメージの現観察窓のG輝度値または非G輝度値に関して水平および垂直変化値を導出する。
【0066】
【数5】
【0067】
画素単位勾配方向検出器506はまた、絶対値ユニット518、520、522および524と、加算ユニット526および528と、変化分析器530と、を有する。
各絶対値ユニットは、変化フィルタ510〜516のうちの1つから変化値を受取り、その後、絶対値を取ることにより正変化値を導出する。
それはその後、加算ユニット526および528のうちの1つに送られる。
【0068】
加算ユニット526は、絶対値ユニット518および520からの正変化値を加算することにより水平変化値を導出し、加算ユニット528は、絶対値ユニット522および524からの正変化値を加算することにより垂直変化値を導出する。
そして、水平および垂直値は、変化分析器によって評価される。
【0069】
変化分析器は、水平値が垂直値より大きいか否かを判断する。
大きい場合、変化分析器は、選択器508に対して水平補間の結果を送出するように命令する信号を送出する。
大きくない場合、変化分析器は、選択器に対して垂直補間の結果を送るように命令する、異なる信号を送出する。
【0070】
画素単位勾配方向検出器506によって導出される水平値および垂直値は、湾曲および勾配情報を含む。
入力モザイクイメージのG位置において、G輝度値の畳み込みに含まれる水平マスクの係数は、[1 0 −2 0 1]であり、非G輝度値、すなわちRおよびG輝度値の畳み込みに含まれる水平マスクの係数は、[0 −1 0 1 0]である。
【0071】
したがって、G位置では、湾曲はG輝度値によって与えられ、勾配は非G輝度値によって与えられる。
対照的に、非G位置では、湾曲は非G輝度値によって与えられ、勾配はG輝度値によって与えられる。
しかしながら、勾配と湾曲との合計のみが必要であるため、このG輝度値と非G輝度値との交互の役割は、主なイメージ変化方向の検出に影響を与えない。
同じ理由が、垂直変化値に適用される。
【0072】
図3に戻ると、Gパスモジュール304のイメージ鮮鋭化器312は、適応補間器310から補間されたG輝度値を受取るように配置される。
イメージ鮮鋭化器は、モザイクイメージの現観察窓のG輝度値のみに対して以下の鮮鋭化マスクを適用することにより、全体的なイメージ品質を向上させるように動作する。
【0073】
【数6】
【0074】
デモザイク処理ユニット104のGパスモジュール304の全動作を、図6に関して説明する。
ステップ602において、入力モザイクイメージの観察窓内のG輝度値が、Gパスモジュールによって受取られる。
次に、ステップ604において、G1−G2不整合補償器308のG1−G2平滑化ユニットにより、受取られたG輝度値に対してG1およびG2輝度差の平滑化が実行されることによってG1−G2補償された輝度値が導出される。
【0075】
ステップ606において、G1−G2不整合補償器の変化量分析器416により、G1−G2不整合補償器の水平勾配フィルタ408と、水平湾曲フィルタ410と、垂直勾配フィルタ412と、垂直湾曲フィルタ414と、によって生成される変化値から、観察窓の最大輝度変化量が確定される。
ステップ608において、最大輝度変化量が所定閾値より大きいか否かが判断される。
【0076】
大きい場合、現観察窓が、G1−G2不整合補償(G1およびG2輝度差の平滑化)を実行すべきではない高輝度変化の領域であると判断される。
このため、プロセスはステップ610に進み、そこで、オリジナルG輝度値がさらに処理されるために送出される。
しかしながら、最大輝度変化量が閾値より大きくない場合、現観察窓は、G1−G2不整合補償を実行すべきである低輝度変化の領域であると判断される。
このため、プロセスはステップ612に進み、G1−G2補償された輝度値がさらに処理されるために送出される。
【0077】
次に、ステップ614において、適応補間器310の水平補間ユニット502により、水平補間が実行される。
同様に、ステップ616において、適応補間器の垂直補間ユニット504により、垂直補間が実行される。
【0078】
次に、ステップ618において、適応補間器の水平G変化フィルタ510と、水平非G変化フィルタ512と、絶対値ユニット518および520と、加算ユニット526と、によって、水平変化値が計算される。
さらに、適応補間器の垂直G変化フィルタ514と、垂直非G変化フィルタ516と、絶対値ユニット522および524と、加算ユニット528と、によって、垂直変化値が計算される。
【0079】
ステップ614、616および618は、好ましくは並列に実行される。
ステップ620において、水平変化値が垂直変化値より大きいか否かが判断される。
大きい場合、ステップ622において、水平補間の結果が、さらに処理されるために送出される。
【0080】
大きくない場合、ステップ624において、垂直補間の結果が、さらに処理されるために送出される。
次に、ステップ626において、Gパスモジュール304のイメージ鮮鋭化器312により、補間されたG輝度値に対して鮮鋭化マスクを適用することによってイメージ鮮鋭化が実行される。
【0081】
例示的な実施形態では、デモザイク処理ユニット104のGパスモジュール304は、G1−G2不整合補償器308とイメージ鮮鋭化器312との両方を有する。
しかしながら、Gパスモジュールのこれらのコンポーネントのうちの一方または両方を、Gパスモジュールから取除いてもよい。
【0082】
例として、G1−G2不整合が、システム100のイメージ取込ユニット102によって生成されるモザイクイメージの重大な要因でない場合、G1−G2不整合補償器を、Gパスモジュールに含めなくてもよい。
このため、G1−G2不整合補償器とイメージ鮮鋭化器とは、Gパスモジュールの任意のコンポーネントである。
【0083】
デモザイク処理ユニット104のGパスモジュール304の出力は、最終的な補間されたG輝度値(「G'値」)のセットである。
後述するように、カラーパスモジュール306の出力は、最終的な補間されたR輝度値(「R'値」)のセットと最終的な補間されたB輝度値(「B'値」)のセットとである。
これらの輝度値は、デモザイクカラーイメージの色成分を表す。
式(8)および(9)を使用することにより、カラーパスモジュールによって生成されるデモザイクイメージのR'およびB'値は、イメージのG成分に関してデモザイクイメージのRおよびB成分の不連続性均等化を提供する色不連続性均等化成分を含む。
【0084】
図3に示すように、デモザイク処理ユニット104のカラーパスモジュール306は、R処理ブロック314と、G処理ブロック316と、B処理ブロック318と、を含む。
これらのブロックの各々は、入力モザイクイメージの現観察窓の色平面のうちの1つのみに対して作用する。
たとえば、R処理ブロックは、観察窓のR平面に対してのみ作用する。
【0085】
しかしながら、後述するように、G処理ブロックからの結果が、RおよびB処理ブロックによって使用されることにより、色不連続性均等化のために異なる色平面間の色補正がもたらされる。
このため、最初にカラーパスモジュールのG処理ブロックを説明する。
【0086】
カラーパスモジュール306のG処理ブロック316は、適応補間器320と、Rサブサンプリングユニット322と、Bサブサンプリングユニット324と、補間および平均化フィルタ326および328と、を含む。
適応補間器320は、Gパスモジュール304の適応補間器310と同一である。
このため、G処理ブロックの適応補間器320は、入力モザイクイメージの観察窓のG輝度値に作用してG輝度値を適応的に補間することにより、観察窓のR位置とB位置とに対する欠落G輝度値を導出する。
【0087】
Rサブサンプリングユニットは、観察窓のR位置に関して適応補間器320からの補間されたG輝度値(「G0値」)をサブサンプリングするように動作する。
すなわち、入力モザイクイメージの観察窓のR位置においてG0値がサブサンプリングされることにより、RサブサンプリングされたG0値が導出される。
【0088】
同様に、Bサブサンプリングユニットは、観察窓のB位置に関するG0値をサブサンプリングすることにより、BサブサンプリングされたG0値を導出する。
そして、補間および平均化フィルタ326は、以下の平均化マスクを使用してRサブサンプリングされたG0値を補間し平均化する。
【0089】
【数7】
【0090】
同様に、補間および平均化フィルタ328は、同じ平均化マスクを使用してBサブサンプリングされたG0値を補間し平均化する。
補間および平均化フィルタ326および328から、Rサブサンプリングされ補間されたG0値(「GR0値」)がR処理ブロック314に送られ、Bサブサンプリングされ補間されたG0値(「GB0」値)がB処理ブロック318に送られる。
【0091】
カラーパスモジュール306のG処理ブロック316の動作を、図7を参照して説明する。
ステップ702において、入力モザイクイメージの観察窓内のG輝度値が、G処理ブロックの適応補間器320によって受取られる。
次に、ステップ704において、適応補間器320により、G輝度値に対して適応補間が実行される。
【0092】
現観察窓のG輝度値に関連する水平および垂直変化値に応じて、水平補間または垂直補間のいずれかから、適応補間の結果が導出される。
そして、図7に示すように、プロセスは2つの並列パスに分かれる。
第1のパスは、ステップ706、708および710を含む。
【0093】
ステップ706において、G0値は、G処理ブロックのRサブサンプリングユニット322により観察窓のR位置に関してサブサンプリングされる。
そして、ステップ708において、RサブサンプリングされたG0値が、補間および平均化フィルタ326によって補間され平均化されることにより、GR0値が導出される。
【0094】
次に、ステップ710において、GR0値がR処理ブロック314に送出される。
第2のパスは、ステップ712、714および716を含む。
ステップ712において、G0値は、Bサブサンプリングユニット324によりB位置に関してサブサンプリングされる。
【0095】
そして、ステップ714において、BサブサンプリングされたG0値が、補間および平均化フィルタ328によって補間され平均化されることにより、GB0値が導出される。
次に、ステップ716において、GB0値がB処理ブロック318に送出される。
ステップ706〜710は、好ましくは、ステップ712〜716に並列に実行される。
【0096】
カラーパスモジュール314のR処理ブロック314は、補間および平均化フィルタ330と、減算ユニット332と、加算ユニット334と、を有する。
補間および平均化フィルタ330は、G処理ブロック316の補間および平均化フィルタ326および328と同じ平均化マスクを使用して入力モザイクイメージの現観察窓のR輝度値を補間し平均化する。
【0097】
そして、減算ユニットは、平均化されたR値(「R0値」)を、G処理ブロックの補間および平均化フィルタ326からのGR0値と同様に受取る。
観察窓の各画素に対し、減算ユニットは、対応するR0値からGR0値を減算することにより、減算値(「R0−GB0値」)を導出する。
【0098】
そして、加算ユニットは、減算ユニットからのR0−GB0値を、Gパスモジュール304からのG'値と同様に受取る。
観察窓の各画素に対し、加算ユニットは、R0−GB0値と対応するG'値とを加算することにより、最終的な補間されたR輝度値(「R'値」)を導出する。
これらのR'値は、デモザイクイメージのR成分を表す。
【0099】
カラーパスモジュール306のR処理ブロック314の動作を、図8を参照して説明する。
ステップ802において、入力モザイクイメージの観察窓内のR輝度値が、R処理ブロックの補間および平均化フィルタ330によって受取られる。
【0100】
次に、ステップ804において、補間および平均化フィルタ330により、R輝度値が補間され平均化される。
ステップ806において、R処理ブロックの減算ユニット332により、R0値から、G処理ブロック316の補間および平均化フィルタ326からのGR0値が減算される。
【0101】
次に、ステップ808において、加算ユニット334により、減算ユニットからのR0−GR0値がGパスモジュール304からのG'値に加算されることにより、観察窓のR'値が導出される。
そして、ステップ810において、R'値がR処理ブロックから出力される。
【0102】
R処理ブロック314と同様に、カラーパスモジュール306のB処理ブロック318は、補間および平均化フィルタ336と、減算ユニット338と、加算ユニット340と、を有する。
補間および平均化フィルタ336は、R処理ブロックの補間および平均化フィルタ330と同じ平均化マスクを使用して入力モザイクイメージの所与の観察窓内のB輝度値を補間し平均化する。
【0103】
そして、減算ユニット338は、平均化されたB値(「B0値」)を、G処理ブロック316の平均化ユニット328からのGB0値と同様に受取る。
観察窓の各画素に対し、減算ユニット338は、対応するB0値からGB0値を減算することにより減算値(「B0−GB0値」)を導出する。
そして、加算ユニット340は、減算ユニットからのR0−GB0値を、Gパスモジュール304からのG'値と同様に受取る。
【0104】
観察窓の各画素に対し、加算ユニット340は、R0−GB0値と対応するG'値とを加算することにより、最終的なB補間された値(「B'値」)を導出する。
これらのB'値は、デモザイクイメージのB成分を表す。
B処理ブロックの動作は、R処理ブロックの動作と類似しているため、本明細書では説明しない。
【0105】
カラーパスモジュール306の上記説明から、G処理ブロック316とRおよびB処理ブロック314および318の減算および加算ユニット332、334、338および340とが、色不連続性均等化値、すなわち、式(8)および(9)の△GRおよび△GBを、入力モザイクイメージのR0およびB0値に織込むように動作することにより、色不連続性が均等化されたデモザイクイメージをもたらすR'およびB'値を生成する、ということが分かる。
入力モザイクイメージのR成分の色不連続性均等化値は、最初にR0値からG処理ブロックによって生成されるGR0値を減算し、その後Gパスモジュール304から生成されるG'値を加算することにより、R0値に加算される。
同様に、入力モザイクイメージのB成分の色不連続性均等化値は、最初にR0値からG処理ブロックによって生成されるGB0値を減算し、次にGパスモジュール304から生成されるG'値を加算することにより、B0値に加算される。
【0106】
メモリ容量が制限された他のタイプの実装と同様に、ASIC実装では、デモザイク処理ユニット104の所望の特徴は、必要な畳み込みのすべてが、イメージ処理の単一段中に並列で実行される、ということである。
複数段の畳み込みは、通常、中間ラインバッファを必要とし、それによりシステムのコストが増大する。
【0107】
別の望ましい特徴は、デモザイク処理ユニットが、サイズの小さい畳み込み窓に対して作用する、ということである。
畳み込み窓のサイズは、必要とされるラインバッファの数を確定する。
このため、ラインバッファの数を低減するためには、畳み込み窓を小さくすることが望ましい。
【0108】
さらに別の望ましい特徴は、3×3より大きい平均化マスクを使用することである。
3×3平均化マスクを使用することにより、カラーエイリアシングに関して不十分なデモザイクイメージが生成される。
このため、マスクのサイズは少なくとも5×5でなければならない。
以下は、上述した特徴を具体化することができるGパスモジュール304とカラーパスモジュール306のG処理ブロック316との代替実施形態である。
【0109】
図9に、適応補間およびイメージ鮮鋭化機能を有するGパスモジュール902を示す。
Gパスモジュール902は、適応補間器310とイメージ鮮鋭化器312とのみを有する、図3のGパスモジュール304と機能的に等価である。
図9に示すように、Gパスモジュール902は、水平補間ユニット502と、垂直補間ユニット504と、画素単位勾配方向検出器506と、選択器508と、を有する。
【0110】
Gパスモジュール902のこれらのコンポーネント502〜508は、図5に示す、図3の適応補間器310に見られるコンポーネントと同じである。
コンポーネント502〜508は、画素単位勾配方向検出器508の判断に応じて、水平補間の結果かまたは垂直補間の結果を送出するように動作する。
【0111】
また、図9のGパスモジュール902は、水平微分フィルタ904と、垂直微分フィルタ906と、選択器908と、加算ユニット910と、を有する。
Gパスモジュールのこれらのコンポーネント904〜910は、図3のGパスモジュール304のイメージ鮮鋭器312によって実行されるイメージ鮮鋭化に近似するように動作する。
【0112】
図3のGパスモジュール304の適応補間器310とイメージ鮮鋭化器312との動作を、所与のG輝度値に水平または垂直補間マスクを適用し、その後鮮鋭化マスクを適用することとして、見ることができる。
鮮鋭化動作を、非補間輝度値の微分成分を加算すること解釈することができる。
したがって、結合された補間および鮮鋭化マスクを、以下のように分解することができる。
【0113】
【数8】
【0114】
ここで、
【0115】
【数9】
【0116】
したがって、Gパスモジュール902のコンポーネント904〜910は、補間されたG輝度値の適当な微分成分を選択的に加算するように動作する。
水平および垂直微分フィルタ904および906は、水平および垂直微分マスクを各々使用して入力モザイクイメージの所与の観察窓内のG輝度値に対して独立して作用する。
選択器908は、画素単位勾配方向検出器506の判断に応じて、垂直鮮鋭化の結果または水平鮮鋭化の結果のいずれかを送出する。
【0117】
一シナリオでは、加算ユニット910により、水平補間と水平鮮鋭化との結果が結合されることにより、G'値が生成される。
別のシナリオでは、加算ユニット910により垂直補間と垂直鮮鋭化との結果が結合されることにより、G'値が生成される。
【0118】
しかしながら、図9のGパスモジュール902によって実行される補間および鮮鋭化は、概して、逐次適応補間とイメージ鮮鋭化とを実行する適応補間器310とイメージ鮮鋭化器312とのみを有する図3の均等化のGパスモジュールによって生成されるものと同じG'値をもたらさない。
図9のGパスモジュール902の場合、鮮鋭化畳み込みの出力値は、オリジナルのG輝度値から導出されるが、図3の均等化のGパスモジュールの鮮鋭化畳み込みの出力値は、水平補間されたG輝度値かまたは垂直補間されたG輝度値のいずれかから導出される。
しかしながら、この差異は、デモザイクイメージに顕著なアーティファクトをもたらさない。
【0119】
図10に、G1−G2不整合補償および適応補間機能を有するGパスモジュール1002を示す。
Gパスモジュール1002は、G1−G2不整合補償器308と適応補間器310とのみを有する図3のGパスモジュール304と機能的に等価である。
【0120】
図10に示すように、Gパスモジュール1002は、水平補間ユニット502と、垂直補間ユニット504と、画素単位勾配方向検出器506と、選択器508と、を有する。
Gパスモジュール1002のこれらのコンポーネント502〜508は、図5に示す、図3の適応補間器310に見られるものと同じコンポーネントである。
コンポーネント502〜508は、画素単位勾配方向検出器508の判断に応じて、水平補間の結果かまたは垂直補間の結果を送るように動作する。
【0121】
また、図10のGパスモジュール1002は、平滑化および水平補間フィルタ1004と、平滑化および垂直補間フィルタ1006と、選択器1008と、第2段選択器1010と、画素単位勾配および湾曲量検出器402と、を有する。
フィルタ1004および1006は、単一段プロセスで適応補間とG1−G2不整合補償とをともに実行する。
フィルタ1004および1006は、以下のマスクを使用してG輝度値に対して作用する。
【0122】
【数10】
【0123】
選択器1008は、画素単位勾配方向検出器による判断に応じて、水平補間およびG1−G2平滑化あるいは垂直補間およびG1−G2平滑化のいずれかの結果を第2段選択器に送出する。
第2段選択器もまた、選択器508から水平補間かまたは垂直補間のいずれかの結果を受取る。
第2段選択器は、画素単位勾配および湾曲量検出器によって行われる判断に応じて、さらなる処理を行うために、選択器508からの出力値かまたは選択器1008からの出力値のいずれかを送出する。
【0124】
図9のGパスモジュール902と同様に、図10のGパスモジュール1002は、概して、G1−G2平滑化と適応補間とを逐次実行するG1−G2不整合補償器308と適応補間器310とのみを有する、図3の均等化のGパスモジュールによって生成されるものと同じG'値をもたらさない。
しかしながら、この差異もまた、デモザイクイメージに顕著なアーティファクトをもたらさない。
【0125】
図11に、G1−G2不整合補償、適応補間および鮮鋭化機能を有するGパスモジュール1102を示す。
Gパスモジュール1102は、図3のGパスモジュール304と機能的に等価である。
図11に示すように、Gパスモジュール1102は、図9のGパスモジュール902と図10のGパスモジュール1002とのすべてのコンポーネントを含む。
点線ボックス1104に含まれるコンポーネントは、すべて図10のGパスモジュール1002のコンポーネントである。
【0126】
これらのコンポーネント502〜508および1004〜1010は、G1−G2平滑化と適応補間との結果であるG輝度値を生成する。
また、図11のGパスモジュール1002は、水平微分フィルタ904と、垂直微分フィルタ906と、選択器908と、加算ユニット910と、を含む。
これらのコンポーネント904〜910は、水平および垂直鮮鋭化微分成分値を生成する。
【0127】
画素単位勾配方向検出器の判断に応じて、加算ユニットにより、第2段選択器1010からのG輝度値は、選択器908からの水平微分成分値かまたは垂直微分成分値のいずれかに加算される。
G1−G2不整合が微分成分値の計算にエラーがないことを保証するために、水平および垂直微分フィルタ904および906により、以下の微分マスクが使用される。
【0128】
【数11】
【0129】
これらのマスクは、G1値かまたはG2値のいずれかを単に「読出す」ように設計される。
概して、G1−G2不整合により、各々G1とG2との局所平均間にオフセットがもたらされる。
しかしながら、G1−G2不整合は、それらの各々の変化間の不一致の一因とはほとんどならない。
したがって、かかるマスクの出力は、概してG1−G2不整合に対して反応しない。
【0130】
図12に、本発明の代替実施形態による(ASIC実装のための)図3のカラーパスモジュール306のG処理ブロック1202を示す。
G処理ブロック1202は、図3のカラーパスモジュール306のG処理ブロック316と機能的に等価である。
図12に示すように、G処理ブロック1202は、G輝度値をG1およびG2値に分離するG1−G2分離器1204を有する。
G処理ブロック1020はさらに、水平補間および平均化フィルタ1206と、垂直補間および平均化フィルタ1210と、画素単位勾配方向検出器506と、選択器1214と、を有する。
【0131】
これらのコンポーネントは、入力モザイクイメージの所与の観察窓に対するGR0値を生成するように動作する。
また、G処理ブロックは、水平補間および平均化フィルタ1212と、垂直補間および平均化フィルタ1208と、選択器1216と、を有する。
これらのコンポーネントは、画素単位勾配方向検出器506とともに、現観察窓のGB0値を生成するように動作する。
【0132】
水平補間および平均化フィルタ1206は、G1値に対し以下のマスクを利用して、水平補間が適用された場合に図3のカラーパスモジュールのG処理ブロック316によって生成されるGR0値に近似する「水平成分」GR0値を生成する。
【0133】
【数12】
【0134】
ここで、平均化マスクは以下の通りである。
【0135】
【数13】
【0136】
このため、水平補間および平均化フィルタ1206によって使用されるマスクは、以下のように7×7マスクである。
【0137】
【数14】
【0138】
言換えれば、水平補間および平均化フィルタ1206によって生成される「水平成分」GR0値は、図3のG処理ブロック316の適応補間器320と、Rサブサンプリングユニット322と、補間および平均化フィルタ326と、によって、適応補間器320の出力が水平補間の結果である場合に生成されるGR0値を表す。
【0139】
垂直補間および平均化フィルタ1210は、G2値に対して以下のマスクを利用することにより、垂直補間が適用された場合に図3のG処理ブロック316によって生成されるGR0値に近似する「垂直成分」GR0値を生成する。
【0140】
【数15】
【0141】
ここで、平均化マスクは、水平補間および平均化フィルタ1206によって使用されるものと同じマスクである。
このため、垂直および平均化フィルタ1210によって使用されるマスクは、以下のように7×7マスクである。
【0142】
【数16】
【0143】
言換えれば、垂直補間および平均化フィルタ1210によって生成される「垂直成分」GR0値は、図3のG処理ブロックの適応補間器320と、Rサブサンプリングユニット322と、補間および平均化フィルタ326と、によって、適応補間器320の出力が垂直補間の結果である場合に生成されるGR0値を表す。
【0144】
水平補間および平均化フィルタ1212は、水平補間および平均化フィルタ1206と同じマスクを利用することにより、水平補間が適用された場合に図3のG処理ブロック316によって生成されるGB0値に近似する「水平成分」GB0値を生成する。
同様に、垂直補間および平均化フィルタ1210は、垂直補間および平均化フィルタ1208と同じマスクを利用することにより、垂直補間が適用された場合に図3のG処理ブロック316によって生成されるGB0値に近似する「垂直成分」GB0値を生成する。
【0145】
動作時、G1−G2分離器1204は、入力モザイクイメージの所与の観察窓内のG輝度値を受取る。
G1−G2分離器は、G輝度値のG1値をフィルタ1206および1208に送出する。
さらに、G1−G2分離器は、G輝度値のG2値をフィルタ1210および1212に送出する。
【0146】
水平補間および平均化フィルタ1206は、水平補間された成分を含むGR0値を生成し、垂直補間および平均化フィルタ1210は、垂直補間された成分を含むGR0値を生成する。
これらのGR0値は、選択器1214によって受取られる。
そして、選択器は、画素単位勾配方向検出器506の判断に応じて、水平補間および平均化フィルタ1206からのGR0値かまたは垂直補間および平均化フィルタ1210からのGR0値のいずれかを送出する。
【0147】
フィルタ1206および1210と並列に動作することにより、水平補間および平均化フィルタ1212は、水平補間された成分を含むGB0値を生成し、垂直補間および平均化フィルタ1208は、垂直補間された成分を含むGB0値を生成する。
これらのGB0値は、選択器1216によって受取られる。
そして、選択器は、画素単位勾配方向検出器506の判断に応じて、水平補間および平均化フィルタ1212からのGB0値かまたは垂直補間および平均化フィルタ1208からのGB0値のいずれかを送出する。
【0148】
図13に、図12のG処理ブロック1202より簡易化された構成を有するG処理ブロック1302を示す。
図12のG処理ブロック1202のフィルタ1206〜1212によって使用される7×7マスクは、オリジナルの5×5平均化マスクと類似している。
【0149】
すなわち、フィルタ1206〜1212によって使用される7×7マスクの中心5×5部分は、オリジナルの5×5平均化マスクと類似している。
このため、図13のG処理ブロック1302は、これら7×7マスクとオリジナル5×5平均化マスクとの両方に近似する。
図13に示すように、G処理ブロック1302は、図12のG処理モジュールにも見られる、G1−G2分離器1204と、選択器1214および1216と、画素単位勾配方向検出器506と、を有する。
【0150】
図12と図13とのG処理モジュール間の相違は、G処理モジュール1202のフィルタ1206および1208が補間および平均化フィルタ1304によって置換えられ、G処理モジュール1202のフィルタ1210および1212が補間および平均化フィルタ1306によって置換えられる、ということのみである。
補間および平均化フィルタ1304は、入力モザイクイメージの所与の観察窓のG1値に対して作用し、補間および平均化フィルタ1306は、G2値に対して作用する。
これらの補間および平均化フィルタはともに、オリジナルの5×5平均化マスクを使用する。
【0151】
補間および平均化フィルタ1304の出力値は、「水平成分」GR0値と「垂直成分」GB0値との両方を表す。
同様に、補間および平均化フィルタ1306の出力値は、「水平成分」GB0値と「垂直成分」GR0値との両方を表す。
画素単位勾配方向検出器506の判断に応じて、選択器1214および1216は、「水平成分」GR0およびGB0値かまたは「垂直成分」GR0およびGB0値のいずれかを送る。
【0152】
上述したように、デモザイク処理ユニット104は、△R=△G=△Bという要件を強制することにより、色不連続性均等化を提供する。
しかしながら、デモザイクの後に強い色補正が適用される場合、結果としてのイメージが劣化する。Mが3×3行列である場合、タイプ
【0153】
【数17】
【0154】
の色補正の下では、観察される色不連続性は、
【0155】
【数18】
【0156】
である場合、線形性(△R'、△G'または△B')によってもたらされる。
しかしながら、△R'、△G'および△B'は、概して、△R'=△G'=△B'という要件を満たさず、それがアーティファクトをもたらす可能性がある。
このため、色不連続性均等化を、△R'=△G'=△B'の要件を満たすように変更することができる。
【0157】
色補正を考慮しない色不連続性均等化の場合、色不連続性は、G位置における固定画素の△Gによって与えられる。
均等化は、デモザイク処理するために、式△R=△Gおよび△B=△Gを強制することによって達せられる。
これらの式を、より汎用的である以下の式を導出するように変更する。
△R=a・△G (12)
および
△B=b・△G (13)
ここで、aおよびbは固定定数である。
【0158】
所与の色補正行列Mに対し、上記式が以下を意味するように一対の一意の定数(a,b)が存在する。
すなわち、
△R'=△G' (14)
および
△B'=△G' (15)
である。
【0159】
さらに、一対の定数は、Mの係数に関して一意の式を有する。Mの係数が以下のようにラベル付けされる場合、
【0160】
【数19】
【0161】
それを、線形代数によって(a,b)の一意の解が以下の式を有することを示すことができる。
a = -(bg・gb - bb・gg - bg・rb + gg・rb + bb・rg - gb・rg)/D (17)
および
b =b -(br・gg - bg・gr - br・rb + gr・rb + bb・rr - gg・rr)/D (18)
ここで、
D = br・gb - bb・gr - br・rb + gr・rb + bb・rr - gb・rr (19)
【0162】
このため、上記式を使用して、デモザイク処理の後に強い色補正が続く場合に、色不連続性均等化を提供することができる。
画素がR位置にある場合、以下の式が適用される。
△G=1/a・△R (20)
および
△B=b/a・△R (21)
【0163】
同様に、B位置において、以下の式が適用される。
△R=a/b・△B (22)
および
△G=1/b・△B (23)
【0164】
この「色補正補償された」式は、CR0=R0−G0およびCB0=B0−G0である場合にR=G+CR0およびB=G+CB0である、式(6)および(7)を使用するデモザイク処理プロセスに適用される。
しかしながら、△GR=G−GR0および△GB=G−GB0である場合、R=R0+△GRおよびB=B0+△GBである、式(8)および(9)を使用するデモザイク処理プロセスの場合、色不連続性均等化は、△R=△GRおよび△B=△GBの要件を満たすようにさらに変更される必要があり、△GRおよび△GBは必ずしも等しくはない。
G色不連続性に対して2つの値があるため、式(11)によって定義されるような色不連続性の変換を使用することができない。
このため、△R=△GRおよび△B=△GBの要件を満たすように異なる手法を使用する。
【0165】
所与の画素位置に対し、△GRおよび△GBが計算されたものと仮定する。
目標は、以下のようになるように△Rおよび△Bを見つけることである。
△R'=△G'R (24)
および
△B'=△G'B (25)
ここで、
【0166】
【数20】
【0167】
および
【0168】
【数21】
【0169】
解を求めるために、式(12)および(13)よりさらに汎用的である以下の式を使用する。
△R=a・△GR+b・△GB (28)
および
△B=c・△GR+d・△GB (29)
ここで、係数(a,b,c,d)は、固定定数である。
ここでもまた、線形代数により、
【0170】
【数22】
【0171】
を取ることによって、操作(28)および(29)が式(24)および(25)を満たすということを示すことができる。
【0172】
このため、各画素位置に対し、以下の式を使用する。
R=R0+a・△GR+b・△GB (30)
B=B0+c・△GR+d・△GB (31)
【0173】
上記式は、式(28)および(29)を使用して式(8)および(9)から導出される。
【産業上の利用可能性】
【0174】
本発明は、画像処理に利用可能である。
【図面の簡単な説明】
【0175】
【図1】本発明によるイメージ処理システムのブロック図である。
【図2A】モザイクイメージにおける取込まれた輝度値のベイヤーパターンを示す図である。
【図2B】ベイヤーパターン化されたモザイクイメージの異なる色平面を示す図である。
【図3】図1のシステムのデモザイク処理ユニットのブロック図である。
【図4】図3のデモザイク処理ユニットのG1−G2不整合補償器のブロック図である。
【図5】デモザイク処理ユニットの適応補間器のブロック図である。
【図6】デモザイク処理のGパスモジュールの動作を示すプロセスフロー図である。
【図7】デモザイク処理ユニットのカラーパスモジュールのG処理ブロックの動作を示すプロセスフロー図である。
【図8】デモザイク処理ユニットのカラーパスモジュールのR処理ブロックの動作を示すプロセスフロー図である。
【図9】代替実施形態による適応補間およびイメージ鮮鋭化機能を有するGパスモジュールのブロック図である。
【図10】本発明の代替実施形態によるG1−G2不整合補償および適応補間機能を有するGパスモジュールのブロック図である。
【図11】代替実施形態によるG1−G2不整合補償、適応補間およびイメージ鮮鋭化機能を有するGパスモジュールのブロック図である。
【図12】本発明の代替実施形態によるカラーパスモジュールのG処理ブロックのブロック図である。
【図13】本発明の簡略化した代替実施形態によるカラーパスモジュールのG処理ブロックのブロック図である。
【符号の説明】
【0176】
100・・・イメージ処理システム、
102・・・イメージ取込ユニット、
104・・・デモザイク処理ユニット、
106・・・圧縮ユニット、
108・・・記憶ユニット、
202・・・G1平面、
204・・・G2平面、
206・・・R平面、
208・・・B平面、
302・・・色分離器、
304・・・Gパスモジュール、
306・・・カラーパスモジュール、
308・・・G1−G2不整合補償器、
310・・・適応補間器、
312・・・イメージ鮮鋭化器、
402・・・湾曲量検出器、
404・・・G1−G2平滑化ユニット、
406・・・選択器、
502・・・水平補間ユニット、
504・・・垂直補間ユニット、
506・・・画素単位勾配方向検出器、
508・・・選択器、
510・・・水平G変化フィルタ、
512・・・水平非G変化フィルタ、
514・・・垂直G変化フィルタ、
516・・・垂直非G変化フィルタ、
518〜524・・・絶対値ユニット、
526,528・・・加算ユニット
530・・・変化分析器、
902・・・Gパスモジュール、
904・・・水平微分フィルタ、
906・・・垂直微分フィルタ、
908・・・選択器、
910・・・加算ユニット、
1002・・・Gパスモジュール、
1004・・・水平補間フィルタ、
1006・・・垂直補間フィルタ、
1008・・・選択器、
1010・・・第2段選択器、
1102・・・Gパスモジュール、
1202・・・G処理ブロック、
1204・・・G1−G2分離器、
1206・・・水平補間および平均化フィルタ、
1210・・・垂直補間および平均化フィルタ、
1241・・・選択器、
1302・・・G処理ブロック、
1304・・・補間および平均化フィルタ、
Claims (10)
- モザイクイメージをデモザイク処理することによりデモザイクイメージを導出する方法であって、
前記モザイクイメージの第1の色値を独立して補間することであって、それにより、前記デモザイクイメージの第1の補間された値を導出する、補間すること(304)と、
前記モザイクイメージの第2の色値を補間することであって、それにより、前記デモザイクイメージの第2の補間された値を導出する、補間すること(314および318)とを含み、
該第2の色値を補間することは、前記第2の補間された値の不連続性を前記第1の補間された値の対応する不連続性と実質的に均等化すること(324、334、338および340)とを含む方法。 - 前記第1の色値を独立して補間する前記ステップ(304)は、
少なくとも第1の補間技法と第2の補間技法とから選択される補間技法を使用して前記第1の色値を適応的に補間すること(310)を含む請求項1記載の方法。 - 前記第2の色値を補間する前記ステップ(314および318)は、補間された第1の色値と平均化された第1の色値とを使用して色不連続性等化値を計算すること(316、324、334、338および340)を含み、
前記色不連続性等化値を使用して、前記第2の補間された値の前記不連続性を前記第1の補間された値の前記対応する不連続性と実質的に等化する請求項1または2記載の方法。 - 前記色不連続性等化値を計算する前記ステップ(316、324、334、338および340)は、
前記モザイクイメージの前記第2の色値に対応する前記モザイクイメージの画素位置に関して前記補間された第1の色値をサブサンプリングすることであって、それにより、サブサンプリングされた値を導出する、サブサンプリングすること(706または712)と、
前記サブサンプリングされた値を平均化することであって、それにより、前記平均化された第1の色値を生成する、平均化すること(708および714)とを含む請求項3記載の方法。 - 前記第2の色値を補間する前記ステップ(314および318)は、
前記モザイクイメージの前記第2の色値を平均化することであって、それにより、平均化された第2の色値を導出する、平均化すること(330および336)と、
前記色不連続性等化値と前記平均化された第2の色値とを合計することであって、それにより、前記第2の補間された値を導出すること(332、334、338および340)とを含む請求項3または4記載の方法。 - モザイクイメージをデモザイク処理することによりデモザイクイメージを導出するシステムであって、
前記モザイクイメージの第1の色値を独立して補間することにより、前記デモザイクイメージの第1の補間された値を導出する第1の補間モジュール(304)と、
前記モザイクイメージの第2の色値を補間することにより、前記デモザイクイメージの第2の補間された値を導出する第2の補間モジュール(314および318)と、
該第2の補間された値の不連続性を前記第1の補間された値の対応する不連続性と実質的に等化する等化モジュール(316、332、334、338および340)とを具備するシステム。 - 前記第1の補間モジュール(304)は、
少なくとも第1の補間技法と第2の補間技法とから選択される補間技法を使用して前記第1の色値を適応的に補間するように構成される適応補間器(310)を備える請求項6記載のシステム。 - 前記均等化モジュール(316、332、334、338および340)は、補間された第1の色値と平均化された第1の色値とを使用して色不連続性均等化値(332、334、338および340)を計算するように構成され、
該色不連続性均等化値は、前記均等化手段によって使用されて、前記第2の補間された値の前記不連続性を前記第1の補間された値の対応する前記不連続性と実質的に均等化する請求項6または7記載のシステム。 - 前記均等化モジュール(316、332、334、338および340)は、
前記モザイクイメージの前記第2の色値に対応する前記モザイクイメージの画素位置に関して前記補間された第1の色値をサブサンプリングすることにより、サブサンプリングされた値を導出するように構成されるサブサンプリングユニット(332および324)と、
前記サブサンプリングされた値を平均化することにより、前記平均化された第1の色値を生成するように構成される平均化ユニット(326および328))とを備える請求項8記載のシステム。 - 前記第2の補間モジュール(314および318)は、
前記モザイクイメージの前記第2の色値を平均化することにより平均化された第2の色値を導出するように構成される平均化ユニット(330および336)と、
前記色不連続性均等化値と前記平均化された第2の色値とを合計することにより前記第2の補間された値を導出する計算ユニット(332、334、338および340)とを備える請求項8または9記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/813,750 US20020167602A1 (en) | 2001-03-20 | 2001-03-20 | System and method for asymmetrically demosaicing raw data images using color discontinuity equalization |
PCT/US2002/008642 WO2002075654A2 (en) | 2001-03-20 | 2002-03-20 | System and method for asymmetrically demosaicing raw data images using color discontinuity equalization |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004534429A true JP2004534429A (ja) | 2004-11-11 |
JP4184802B2 JP4184802B2 (ja) | 2008-11-19 |
Family
ID=25213276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002574588A Expired - Fee Related JP4184802B2 (ja) | 2001-03-20 | 2002-03-20 | 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20020167602A1 (ja) |
EP (1) | EP1371014B1 (ja) |
JP (1) | JP4184802B2 (ja) |
DE (1) | DE60211870T2 (ja) |
WO (1) | WO2002075654A2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009001956A1 (ja) | 2007-06-25 | 2008-12-31 | Acutelogic Corporation | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
JP2009536470A (ja) * | 2006-01-19 | 2009-10-08 | クゥアルコム・インコーポレイテッド | 適応自己校正センサの緑色チャネル利得平衡化のための方法および装置 |
US8005297B2 (en) | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
JP2015149628A (ja) * | 2014-02-06 | 2015-08-20 | 株式会社東芝 | 画像処理装置、画像処理方法及び撮像装置 |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999039509A1 (en) * | 1998-01-29 | 1999-08-05 | Koninklijke Philips Electronics N.V. | Color signal interpolation |
US6989862B2 (en) * | 2001-08-23 | 2006-01-24 | Agilent Technologies, Inc. | System and method for concurrently demosaicing and resizing raw data images |
US20030169353A1 (en) * | 2002-03-11 | 2003-09-11 | Renato Keshet | Method and apparatus for processing sensor images |
FI115942B (fi) | 2002-10-14 | 2005-08-15 | Nokia Corp | Menetelmä kuvien interpoloimiseksi ja terävöittämiseksi |
US7133553B2 (en) * | 2003-02-18 | 2006-11-07 | Avago Technologies Sensor Ip Pte. Ltd. | Correlation-based color mosaic interpolation adjustment using luminance gradients |
US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
KR101081000B1 (ko) * | 2003-10-23 | 2011-11-09 | 소니 가부시키가이샤 | 화상 처리 장치 및 화상 처리 방법과 기록 매체 |
JP4501070B2 (ja) * | 2003-10-23 | 2010-07-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
JP3810404B2 (ja) * | 2003-11-10 | 2006-08-16 | 三菱電機株式会社 | 画素補間回路、及び画素補間方法 |
US20050123210A1 (en) * | 2003-12-05 | 2005-06-09 | Bhattacharjya Anoop K. | Print processing of compressed noisy images |
KR20050062709A (ko) * | 2003-12-22 | 2005-06-27 | 삼성전자주식회사 | 디지털 이미지 처리 장치 및 그 방법 |
US7502505B2 (en) | 2004-03-15 | 2009-03-10 | Microsoft Corporation | High-quality gradient-corrected linear interpolation for demosaicing of color images |
US8165389B2 (en) * | 2004-03-15 | 2012-04-24 | Microsoft Corp. | Adaptive interpolation with artifact reduction of images |
US7418130B2 (en) * | 2004-04-29 | 2008-08-26 | Hewlett-Packard Development Company, L.P. | Edge-sensitive denoising and color interpolation of digital images |
JP4534594B2 (ja) * | 2004-05-19 | 2010-09-01 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
FR2873847B1 (fr) | 2004-07-30 | 2007-01-26 | Arjowiggins Security Soc Par A | Dispositif optique comportant un element d'identification |
US7480417B2 (en) * | 2004-10-19 | 2009-01-20 | Microsoft Corp. | System and method for encoding mosaiced image data employing a reversible color transform |
KR100699831B1 (ko) * | 2004-12-16 | 2007-03-27 | 삼성전자주식회사 | 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기 |
US8194757B2 (en) * | 2005-01-28 | 2012-06-05 | Broadcom Corporation | Method and system for combining results of mosquito noise reduction and block noise reduction |
TW200632856A (en) * | 2005-03-09 | 2006-09-16 | Sunplus Technology Co Ltd | System and method for color signal interpolation |
GB2426881B (en) * | 2005-06-01 | 2010-12-29 | Snell & Wilcox Ltd | Method and apparatus for spatial interpolation of colour images |
US7668366B2 (en) | 2005-08-09 | 2010-02-23 | Seiko Epson Corporation | Mosaic image data processing |
ES2301292B1 (es) * | 2005-08-19 | 2009-04-01 | Universidad De Granada | Metodo de prediccion lineal optima para la reconstruccion de la imagen en camaras digitales con sensor de mosaico. |
US8571346B2 (en) * | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
US7750956B2 (en) * | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
US8737832B1 (en) * | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
US7893975B2 (en) * | 2006-10-13 | 2011-02-22 | Apple Inc. | System and method for processing images using predetermined tone reproduction curves |
US7773127B2 (en) | 2006-10-13 | 2010-08-10 | Apple Inc. | System and method for RAW image processing |
US8723969B2 (en) * | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
US8063949B2 (en) * | 2007-03-20 | 2011-11-22 | Texas Instruments Incorporated | Activity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same |
JP4894594B2 (ja) * | 2007-04-05 | 2012-03-14 | ソニー株式会社 | 画像処理装置 |
TWI451755B (zh) | 2007-04-11 | 2014-09-01 | Red Com Inc | 影像攝影機 |
US8237830B2 (en) | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
US7830428B2 (en) * | 2007-04-12 | 2010-11-09 | Aptina Imaging Corporation | Method, apparatus and system providing green-green imbalance compensation |
US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
JP4914303B2 (ja) * | 2007-07-13 | 2012-04-11 | シリコン ヒフェ ベー.フェー. | 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム |
US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
US7825965B2 (en) * | 2007-09-07 | 2010-11-02 | Seiko Epson Corporation | Method and apparatus for interpolating missing colors in a color filter array |
US20090092338A1 (en) * | 2007-10-05 | 2009-04-09 | Jeffrey Matthew Achong | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
US8570634B2 (en) * | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
JP5036482B2 (ja) * | 2007-10-19 | 2012-09-26 | シリコン ヒフェ ベー.フェー. | 画像処理装置及び画像処理方法、画像処理プログラム |
CN101452573B (zh) * | 2007-12-04 | 2013-01-30 | 比亚迪股份有限公司 | 一种图像边缘增强方法 |
US9177368B2 (en) * | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
US8780128B2 (en) * | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
JP5045421B2 (ja) * | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
WO2009098619A2 (en) | 2008-02-07 | 2009-08-13 | Nxp B.V. | Method and device for reconstructing a color image |
US8698908B2 (en) * | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
US8135237B2 (en) * | 2008-02-25 | 2012-03-13 | Aptina Imaging Corporation | Apparatuses and methods for noise reduction |
US9379156B2 (en) * | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
US20100104178A1 (en) * | 2008-10-23 | 2010-04-29 | Daniel Tamburrino | Methods and Systems for Demosaicing |
US8422771B2 (en) * | 2008-10-24 | 2013-04-16 | Sharp Laboratories Of America, Inc. | Methods and systems for demosaicing |
US8477210B2 (en) | 2008-11-21 | 2013-07-02 | Mitsubishi Electric Corporation | Image processing device and image processing method |
US8373718B2 (en) * | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
US8035698B2 (en) * | 2009-01-21 | 2011-10-11 | Seiko Epson Corporation | Joint automatic demosaicking and white balancing |
TW201035909A (en) * | 2009-03-25 | 2010-10-01 | Altek Corp | Compensation method for removing image noise |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
US8698918B2 (en) * | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
JP5665508B2 (ja) * | 2010-11-30 | 2015-02-04 | キヤノン株式会社 | 画像処理装置及び方法、並びにプログラム及び記憶媒体 |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
DE112013006596B4 (de) * | 2013-02-05 | 2019-10-02 | Fujifilm Corporation | Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren und Programm |
WO2014127153A1 (en) * | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
WO2015105682A1 (en) * | 2014-01-09 | 2015-07-16 | Marvell World Trade Ltd. | Method and apparatus for compensating for color imbalance in image data |
TWI542217B (zh) | 2014-03-12 | 2016-07-11 | 瑞昱半導體股份有限公司 | 像素值校正裝置與方法 |
JP6080190B2 (ja) * | 2014-09-15 | 2017-02-15 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | デモザイク化の方法 |
DE102014115742B3 (de) * | 2014-10-29 | 2015-11-26 | Jenoptik Optical Systems Gmbh | Verfahren zur Interpolation fehlender Farbinformationen von Bildelementen |
DE102015109979B4 (de) * | 2015-06-22 | 2017-04-06 | Jenoptik Optical Systems Gmbh | Verfahren zur Schachbrettinterpolation fehlender Farbinformationen von Bildelementen |
US10356408B2 (en) * | 2015-11-27 | 2019-07-16 | Canon Kabushiki Kaisha | Image encoding apparatus and method of controlling the same |
JP7313330B2 (ja) | 2017-07-05 | 2023-07-24 | レッド.コム,エルエルシー | 電子機器でのビデオ画像データ処理 |
TWI670708B (zh) * | 2017-11-08 | 2019-09-01 | 瑞昱半導體股份有限公司 | 顏色偏移校正方法及裝置 |
CN109788261B (zh) * | 2017-11-15 | 2021-06-22 | 瑞昱半导体股份有限公司 | 颜色偏移校正方法及装置 |
JP2023010159A (ja) * | 2021-07-09 | 2023-01-20 | 株式会社ソシオネクスト | 画像処理装置および画像処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4642678A (en) * | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
AU7860300A (en) * | 1999-10-05 | 2001-05-10 | Sony Electronics Inc. | Demosaicing using wavelet filtering for digital imaging device |
EP1175101B1 (en) * | 2000-07-14 | 2013-11-13 | Texas Instruments Incorporated | Digital still camera system and method. |
-
2001
- 2001-03-20 US US09/813,750 patent/US20020167602A1/en not_active Abandoned
-
2002
- 2002-03-20 EP EP02709867A patent/EP1371014B1/en not_active Expired - Fee Related
- 2002-03-20 WO PCT/US2002/008642 patent/WO2002075654A2/en active IP Right Grant
- 2002-03-20 DE DE60211870T patent/DE60211870T2/de not_active Expired - Lifetime
- 2002-03-20 JP JP2002574588A patent/JP4184802B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8005297B2 (en) | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
JP2009536470A (ja) * | 2006-01-19 | 2009-10-08 | クゥアルコム・インコーポレイテッド | 適応自己校正センサの緑色チャネル利得平衡化のための方法および装置 |
WO2009001956A1 (ja) | 2007-06-25 | 2008-12-31 | Acutelogic Corporation | 画像処理装置、画像処理方法、プログラムおよび撮像装置 |
JP2015149628A (ja) * | 2014-02-06 | 2015-08-20 | 株式会社東芝 | 画像処理装置、画像処理方法及び撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4184802B2 (ja) | 2008-11-19 |
WO2002075654A2 (en) | 2002-09-26 |
WO2002075654A3 (en) | 2003-09-12 |
DE60211870D1 (de) | 2006-07-06 |
DE60211870T2 (de) | 2006-11-02 |
EP1371014A2 (en) | 2003-12-17 |
EP1371014B1 (en) | 2006-05-31 |
US20020167602A1 (en) | 2002-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4184802B2 (ja) | 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法 | |
US8068700B2 (en) | Image processing apparatus, image processing method, and electronic appliance | |
JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
US9756266B2 (en) | Sensor data rescaler for image signal processing | |
US7643676B2 (en) | System and method for adaptive interpolation of images from patterned sensors | |
US9210391B1 (en) | Sensor data rescaler with chroma reduction | |
US7825965B2 (en) | Method and apparatus for interpolating missing colors in a color filter array | |
US8452122B2 (en) | Device, method, and computer-readable medium for image restoration | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
WO2013031367A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US8270774B2 (en) | Image processing device for performing interpolation | |
US7577315B2 (en) | Method and apparatus for processing image data of a color filter array | |
US8295595B2 (en) | Generating full color images by demosaicing noise removed pixels from images | |
US7373020B2 (en) | Image processing apparatus and image processing program | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
US8233733B2 (en) | Image processing device | |
EP1394742A1 (en) | Method for filtering the noise of a digital image sequence | |
JP4912979B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Lee et al. | Cost-efffective color filter array demosaicing using spatial correlation | |
Wang et al. | Demosaicing with improved edge direction detection | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
JP2013055622A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
Lee et al. | An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor | |
Jung et al. | Advanced directionally weighted demosaicing for digital cameras | |
Lukac et al. | Demosaicked image postprocessing framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070813 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071109 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080814 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080904 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |