JP2009095012A - 補間方向の判定方法、色補間方法および色補間装置 - Google Patents
補間方向の判定方法、色補間方法および色補間装置 Download PDFInfo
- Publication number
- JP2009095012A JP2009095012A JP2008237525A JP2008237525A JP2009095012A JP 2009095012 A JP2009095012 A JP 2009095012A JP 2008237525 A JP2008237525 A JP 2008237525A JP 2008237525 A JP2008237525 A JP 2008237525A JP 2009095012 A JP2009095012 A JP 2009095012A
- Authority
- JP
- Japan
- Prior art keywords
- photosite
- photosites
- blue
- red
- green
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000008859 change Effects 0.000 claims abstract description 20
- 239000003086 colorant Substances 0.000 claims abstract description 19
- 238000007689 inspection Methods 0.000 claims description 18
- 235000019557 luminance Nutrition 0.000 description 27
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】カラーフィルタアレイにおける欠けている色を生成するための色従属性補間の方
向を判定するための方法と装置。
【解決手段】赤、緑、と青フォトサイトを含むカラーフィルタアレイにおける欠けている
色を生成するために使用される補間方向を判定するための方法であって、方法は、各赤と
各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検査するこ
と、と各方向に対してある有意な輝度変化がフォトサイトから離れている距離を表すスコ
アを生成することを含むと共に、最も高いスコアに対応する方向をそれぞれの各赤と青フ
ォトサイトに対する補間方向として選択することを含む。
【選択図】図5
向を判定するための方法と装置。
【解決手段】赤、緑、と青フォトサイトを含むカラーフィルタアレイにおける欠けている
色を生成するために使用される補間方向を判定するための方法であって、方法は、各赤と
各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検査するこ
と、と各方向に対してある有意な輝度変化がフォトサイトから離れている距離を表すスコ
アを生成することを含むと共に、最も高いスコアに対応する方向をそれぞれの各赤と青フ
ォトサイトに対する補間方向として選択することを含む。
【選択図】図5
Description
本発明は一般的にイメージプロセッシングに関し、より具体的にカラーフィルタアレイ
における欠けている色を生成するための色従属性補間の方向を判定するための方法と装置
に関する発明である。
における欠けている色を生成するための色従属性補間の方向を判定するための方法と装置
に関する発明である。
デジタルカメラとその他のイメージキャプチャ装置は、イメージがその後に格納され表
示されるためにイメージをディジタルにキャプチャするために、電荷結合素子(CCD)
、相補型金属酸化膜半導体(CMOS)装置、またはFoveonセンサのようなイメー
ジセンサを使用する。イメージキャプチャ装置における一般的なCCDまたはCMOSカ
ラーイメージセンサは、フォトサイトと一般的に呼ばれる感光性場所のグリッドまたはア
レイを含む。あるシーンをイメージキャプチャする時に、各フォトサイトは一つの緑、赤
、または青色のみを感知できる。その結果として生じるデジタルイメージデータはカラー
フィルタアレイ(CFA)として知られている赤、緑、と青色のパターン(または「モザ
イク」)を形成する。そのシーンをビジュアル表示に正しい色で再生するために、ビジュ
アル表示における各画素は完全な色情報を必要とする。従って、CFAにはシーンを正し
い色で再生するために必要とする情報が欠けていることが理解される。
示されるためにイメージをディジタルにキャプチャするために、電荷結合素子(CCD)
、相補型金属酸化膜半導体(CMOS)装置、またはFoveonセンサのようなイメー
ジセンサを使用する。イメージキャプチャ装置における一般的なCCDまたはCMOSカ
ラーイメージセンサは、フォトサイトと一般的に呼ばれる感光性場所のグリッドまたはア
レイを含む。あるシーンをイメージキャプチャする時に、各フォトサイトは一つの緑、赤
、または青色のみを感知できる。その結果として生じるデジタルイメージデータはカラー
フィルタアレイ(CFA)として知られている赤、緑、と青色のパターン(または「モザ
イク」)を形成する。そのシーンをビジュアル表示に正しい色で再生するために、ビジュ
アル表示における各画素は完全な色情報を必要とする。従って、CFAにはシーンを正し
い色で再生するために必要とする情報が欠けていることが理解される。
CFAから完全なカラーイメージを生成するために、緑、赤、と青色が欠けている(つ
まり感知されていない)フォトサイトで、ローカルフォトサイトで感知された色を使って
、それらを補間しなければならない。このCFAにおける欠けている色を補間するプロセ
スはモザイク解除として知られている。
まり感知されていない)フォトサイトで、ローカルフォトサイトで感知された色を使って
、それらを補間しなければならない。このCFAにおける欠けている色を補間するプロセ
スはモザイク解除として知られている。
よく知られているCFAであるベイヤパターンは、色の2×2アレイであり、その色の
半分は緑で、その4分の1は赤で、その4分の1は青である。ベイヤCFAの行は、緑と
赤が交互しているフォトサイト、または交互している緑と青フォトサイトを有し、そこで
ベイヤCFAの緑フォトサイトは五点形パターンに配置されている。ベイヤCFAとその
他のCFAのモザイク解除方法はよく証明されている。例えば、Muresanの米国特
許出願公開第2005/0146629号明細書は、エッジを対象とするモザイク解除ア
ルゴリズムを開示している。ある補間方向は、キャプチャされたCFAの緑チャネルを使
って、北南、東西、北東、北西の方向の各々の補間エラーを判定することと共にその最小
補間エラーに基づいて補間方向を選択することによって推定される。3つのカラープレー
ンのすべてにおいてオブジェクト境界が同じであり、従ってある補間方向を判定するため
にすべてのカラープレーンの組み合わせが使用できるという基に、異なる一つずつの赤、
緑、と青チャネルの間に補間エラーが計算される。
半分は緑で、その4分の1は赤で、その4分の1は青である。ベイヤCFAの行は、緑と
赤が交互しているフォトサイト、または交互している緑と青フォトサイトを有し、そこで
ベイヤCFAの緑フォトサイトは五点形パターンに配置されている。ベイヤCFAとその
他のCFAのモザイク解除方法はよく証明されている。例えば、Muresanの米国特
許出願公開第2005/0146629号明細書は、エッジを対象とするモザイク解除ア
ルゴリズムを開示している。ある補間方向は、キャプチャされたCFAの緑チャネルを使
って、北南、東西、北東、北西の方向の各々の補間エラーを判定することと共にその最小
補間エラーに基づいて補間方向を選択することによって推定される。3つのカラープレー
ンのすべてにおいてオブジェクト境界が同じであり、従ってある補間方向を判定するため
にすべてのカラープレーンの組み合わせが使用できるという基に、異なる一つずつの赤、
緑、と青チャネルの間に補間エラーが計算される。
Chuiに付与された米国特許第6496608号明細書は、有限インパルス応答(F
IR)フィルタを使用するイメージデータ補間システムと方法を開示している。キャプチ
ャされたベイヤCFAの値の部分集合に基づいて、平滑性、低ひずみと連続的な表面を確
保するために画素詰め[pixel filling]方程式が使用される。
IR)フィルタを使用するイメージデータ補間システムと方法を開示している。キャプチ
ャされたベイヤCFAの値の部分集合に基づいて、平滑性、低ひずみと連続的な表面を確
保するために画素詰め[pixel filling]方程式が使用される。
Keshetetal.に付与された米国特許第6816197号明細書は、輝度遷移
を保存するためにバイラテラルフィルタリング手法を使ってCFAをモザイク解除するた
めの方法を開示している。カラー画素のモザイクパターンの近傍画素の中の補間は、輝度
非感度的な[intensity insensitive]ウィンドウ内の画素値の相
対的な位置とフォトメトリック類似性を含む要因に基づいてある。言い換えれば、物理的
に近い画素の輝度値はより離れている画素の輝度値により大きな重みが付けられ、それと
同時に、量的に類似している輝度値は量的に類似していない輝度値により大きな重みが付
けられる。ある極端な輝度遷移の一つの側に在る画素がその極端な輝度遷移の反対側の補
間した輝度値に与える影響を低下することによって、再構築されたイメージにおいて遷移
の鮮明度が向上させる。バイラテラルフィルタリングする時に、近傍の画素の輝度値の中
のフォトメトリック類似性を示す類似性関数は、近傍の画素位置の相対的な位置の判定と
アルゴリズム的に組み合わせられる。
を保存するためにバイラテラルフィルタリング手法を使ってCFAをモザイク解除するた
めの方法を開示している。カラー画素のモザイクパターンの近傍画素の中の補間は、輝度
非感度的な[intensity insensitive]ウィンドウ内の画素値の相
対的な位置とフォトメトリック類似性を含む要因に基づいてある。言い換えれば、物理的
に近い画素の輝度値はより離れている画素の輝度値により大きな重みが付けられ、それと
同時に、量的に類似している輝度値は量的に類似していない輝度値により大きな重みが付
けられる。ある極端な輝度遷移の一つの側に在る画素がその極端な輝度遷移の反対側の補
間した輝度値に与える影響を低下することによって、再構築されたイメージにおいて遷移
の鮮明度が向上させる。バイラテラルフィルタリングする時に、近傍の画素の輝度値の中
のフォトメトリック類似性を示す類似性関数は、近傍の画素位置の相対的な位置の判定と
アルゴリズム的に組み合わせられる。
Nguyenの米国特許出願公開第2002/0167602号明細書は、特徴エッジ
[feature edges]に沿っている補間アーティファクトを低減するためにベ
イヤCFAを使ってキャプチャされたイメージデータをモザイク解除するための方法を開
示している。カラー非連続性は、あるローカル平均に対するローカル色の輝度値の変化が
赤、緑、と青カラー成分の各々に対して同じであるといった仮定に基づいて均等化される
。
[feature edges]に沿っている補間アーティファクトを低減するためにベ
イヤCFAを使ってキャプチャされたイメージデータをモザイク解除するための方法を開
示している。カラー非連続性は、あるローカル平均に対するローカル色の輝度値の変化が
赤、緑、と青カラー成分の各々に対して同じであるといった仮定に基づいて均等化される
。
Nakakukiの米国特許出願公開第2003/0016295号明細書は、ある水
平サンプリング周波数の半分でカラーチャネル信号の各々を減衰させることによってベイ
ヤCFAからの色を補間する時にモアレノイズの発生を抑圧するイメージ信号プロセッサ
を開示している。
平サンプリング周波数の半分でカラーチャネル信号の各々を減衰させることによってベイ
ヤCFAからの色を補間する時にモアレノイズの発生を抑圧するイメージ信号プロセッサ
を開示している。
Tsukiokaの米国特許出願公開第2003/0231251号明細書は、水平と
垂直方向に断続的な読み出し操作ができるカラーフィルタアレイを有するシングルチップ
イメージセンサを含むイメジング装置を開示している。断続性制御手段はイメージセンサ
の断続的な読み出しを制御する。断続性制御手段で示された透かしたパターン[thin
ned out pattern]にイメージセンサから読み出された信号を処理するた
めの補間手段は、三色要素からなる減色イメージ[reduced image]を形成
する。
垂直方向に断続的な読み出し操作ができるカラーフィルタアレイを有するシングルチップ
イメージセンサを含むイメジング装置を開示している。断続性制御手段はイメージセンサ
の断続的な読み出しを制御する。断続性制御手段で示された透かしたパターン[thin
ned out pattern]にイメージセンサから読み出された信号を処理するた
めの補間手段は、三色要素からなる減色イメージ[reduced image]を形成
する。
Acharyaetal.の米国特許出願公開第2005/0174441号明細書は
、感知されていない色値を補間するプロセスを簡易化するカラーフィルタアレイ(CFA
)を開示している。CFAは半分以上の緑センサを含み、それによって補間法は完全な緑
チャネルをもっと正確に生じることが可能になる。エッジゾーン、平滑なゾーン、と縞の
あるゾーンは画素のローカライズされた3×3アレイの変異値の判定によって計算される
。補間はゾーンの種類の判定に基づいて行なわれる。
、感知されていない色値を補間するプロセスを簡易化するカラーフィルタアレイ(CFA
)を開示している。CFAは半分以上の緑センサを含み、それによって補間法は完全な緑
チャネルをもっと正確に生じることが可能になる。エッジゾーン、平滑なゾーン、と縞の
あるゾーンは画素のローカライズされた3×3アレイの変異値の判定によって計算される
。補間はゾーンの種類の判定に基づいて行なわれる。
Malvaretal.の米国特許出願公開第2005/0201616号明細書は、
カラーイメージをモザイク解除するための勾配で訂正される[gradient−cor
rected]線形補間法を開示している。方法の実行中、ある所与の画素での関心の色
の勾配に基づいて補間が行なわれ訂正項が計算される。補間および訂正項が訂正された色
を生成するために線形に組み合わせられる。補間に適用される勾配訂正量を影響するため
に勾配訂正ゲインを勾配訂正項に適用しても構わない。
カラーイメージをモザイク解除するための勾配で訂正される[gradient−cor
rected]線形補間法を開示している。方法の実行中、ある所与の画素での関心の色
の勾配に基づいて補間が行なわれ訂正項が計算される。補間および訂正項が訂正された色
を生成するために線形に組み合わせられる。補間に適用される勾配訂正量を影響するため
に勾配訂正ゲインを勾配訂正項に適用しても構わない。
Mathersonetal.の米国特許出願公開第2005/0030409号明細
書は、二次元フォトセンサアレイと光源の間に入っている光学素子が動いている間にイメ
ージを表すデータを生成する二次元フォトセンサアレイを含む装置を開示している。フォ
トセンサでキャプチャされたイメージをぼける方法は有効にイメージをハイパスフィルタ
リングし、それによってエイリアシングの影響を減衰させる。
書は、二次元フォトセンサアレイと光源の間に入っている光学素子が動いている間にイメ
ージを表すデータを生成する二次元フォトセンサアレイを含む装置を開示している。フォ
トセンサでキャプチャされたイメージをぼける方法は有効にイメージをハイパスフィルタ
リングし、それによってエイリアシングの影響を減衰させる。
Sawadaの米国特許出願公開第2005/0276475号明細書は、入力カラー
フィルタアレイ(CFA)から出力カラーイメージを生成するための繰り返し方法を開示
している。方法の実行中、第2イメージをCFAイメージの推定イメージとして生成する
ためにCFAパターンを表す入力イメージが使用される。第2イメージが第1イメージに
比較され罰が計算される。罰は推定イメージを訂正するために使用され、訂正が繰り返す
ように適用される。
フィルタアレイ(CFA)から出力カラーイメージを生成するための繰り返し方法を開示
している。方法の実行中、第2イメージをCFAイメージの推定イメージとして生成する
ためにCFAパターンを表す入力イメージが使用される。第2イメージが第1イメージに
比較され罰が計算される。罰は推定イメージを訂正するために使用され、訂正が繰り返す
ように適用される。
Tsukiokaの米国特許出願公開第2006/0012841号明細書は、ベイヤ
CFAでキャプチャされたイメージから完全なカラーイメージを計算するイメージ処理装
置を開示している。重み設定ユニットは、ある予め定義された近傍の中の関心の画素から
始まる複数の方向の各々に対して重みを設定する。平均値計算ユニットは、画素値のそれ
ぞれの重みを使ってある具体的なカラー成分を有すると共にその予め定義された近傍の中
に各方向に位置づけられている画素の価の重み付き平均を計算する。復元ユニットは平均
計算ユニットに重み付き平均を計算させる。画素の重み付き平均とそれぞれの輝度値は、
関心の画素の抜かされた(つまり感知されていない)カラー成分の値を復元するために使
用される。
CFAでキャプチャされたイメージから完全なカラーイメージを計算するイメージ処理装
置を開示している。重み設定ユニットは、ある予め定義された近傍の中の関心の画素から
始まる複数の方向の各々に対して重みを設定する。平均値計算ユニットは、画素値のそれ
ぞれの重みを使ってある具体的なカラー成分を有すると共にその予め定義された近傍の中
に各方向に位置づけられている画素の価の重み付き平均を計算する。復元ユニットは平均
計算ユニットに重み付き平均を計算させる。画素の重み付き平均とそれぞれの輝度値は、
関心の画素の抜かされた(つまり感知されていない)カラー成分の値を復元するために使
用される。
Spampinatoetal.の米国特許出願公開第2006/0022997号明
細書は、データ依存三角測量を使ってカラーフィルタされた入力イメージにおける感知さ
れていない画素を補間するための方法を開示している。3つのカラーチャネルのそれぞれ
の一つずつに在る赤、緑、と青画素は三角の頂点として関連づけられ、決定されようとす
る感知されていない画素値の各々はその妥当な三角の頂点の線形補間によって計算される
。
細書は、データ依存三角測量を使ってカラーフィルタされた入力イメージにおける感知さ
れていない画素を補間するための方法を開示している。3つのカラーチャネルのそれぞれ
の一つずつに在る赤、緑、と青画素は三角の頂点として関連づけられ、決定されようとす
る感知されていない画素値の各々はその妥当な三角の頂点の線形補間によって計算される
。
Kobayashiの米国特許出願公開第2006/0023089号明細書は、単一
プレート個体化カラーイメージセンサから出力されたモーションイメージデータを変換す
るための方法と装置を開示している。空間デシメーションプロセスはカラーイメージデー
タの各カラー成分に対して一つ以上の代表的な値を選択し、選択された代表的な値からな
る空間的にデシメーションされたデータを生成する。
プレート個体化カラーイメージセンサから出力されたモーションイメージデータを変換す
るための方法と装置を開示している。空間デシメーションプロセスはカラーイメージデー
タの各カラー成分に対して一つ以上の代表的な値を選択し、選択された代表的な値からな
る空間的にデシメーションされたデータを生成する。
CFAにおける欠けている色を補間するための方法はよく証明されているにもかかわら
ず、上に説明した先行技術の引用例はイメージ質劣化が生じる傾向のある技法を開示して
いる。劣化は最適でない補間方向の選択による誤りまたは補間中にアーティファクトが出
ることによって発生する。さらに、上に説明した先行技術の技法の多くは二階またはそれ
より高位の計算のための複雑で費用がかかる処理が必要とする。従って、改良は望ましい
。
ず、上に説明した先行技術の引用例はイメージ質劣化が生じる傾向のある技法を開示して
いる。劣化は最適でない補間方向の選択による誤りまたは補間中にアーティファクトが出
ることによって発生する。さらに、上に説明した先行技術の技法の多くは二階またはそれ
より高位の計算のための複雑で費用がかかる処理が必要とする。従って、改良は望ましい
。
従って、一つの目的はカラーフィルタアレイにおける欠けている色を生成するために色
従属性補間の方向を判定するための新たな方法とシステムを提供することである。
従属性補間の方向を判定するための新たな方法とシステムを提供することである。
このような目的は、下記の本発明により達成される。
本発明の補間方向の判定方法は、赤、緑および青フォトサイトを含むカラーフィルタア
レイにおける欠けている色を生成するために使用する補間方向を判定するための補間方向
の判定方法であって、各赤と各青フォトサイトに対して、複数の方向の各々に隣接してい
るフォトサイトを検査すると共に各方向に対してある有意な輝度変化が前記フォトサイト
から離れている距離を表すスコアを生成するステップと、それぞれの前記各赤と青フォト
サイトの補間方向として最も高いスコアに対応する方向を選択するステップとを含むこと
を特徴とする。
レイにおける欠けている色を生成するために使用する補間方向を判定するための補間方向
の判定方法であって、各赤と各青フォトサイトに対して、複数の方向の各々に隣接してい
るフォトサイトを検査すると共に各方向に対してある有意な輝度変化が前記フォトサイト
から離れている距離を表すスコアを生成するステップと、それぞれの前記各赤と青フォト
サイトの補間方向として最も高いスコアに対応する方向を選択するステップとを含むこと
を特徴とする。
また本発明の補間方向の判定方法において、前記検査中に、選択されたフォトサイトか
ら前記方向の各々に延びて離れる緑フォトサイトが検査されることが好ましい。
ら前記方向の各々に延びて離れる緑フォトサイトが検査されることが好ましい。
また本発明の補間方向の判定方法において、前記検査中、前記方向の各々の複数のフォ
トサイトの線に沿っている緑フォトサイトが検査されることが好ましい。
トサイトの線に沿っている緑フォトサイトが検査されることが好ましい。
また本発明の補間方向の判定方法において、前記複数の方向は垂直上、垂直下、水平左
、水平右、対角右上、対角右下、対角左上、と対角左下の方向を含む。
、水平右、対角右上、対角右下、対角左上、と対角左下の方向を含む。
また本発明の補間方向の判定方法において、各前記スコアは、前記検査された隣接する
緑フォトサイトの相対的輝度に基づいていることが好ましい。
緑フォトサイトの相対的輝度に基づいていることが好ましい。
また本発明の補間方向の判定方法において、前記検査されたフォトサイトの線の各々の
スコアが生成され、かつ前記各方向の線のスコアがその方向のスコアを与えるように加算
されることを特徴とする。
スコアが生成され、かつ前記各方向の線のスコアがその方向のスコアを与えるように加算
されることを特徴とする。
また本発明の補間方向の判定方法において、前記各方向に対して、前記各フォトサイト
の線に沿って行なわれる検査は、隣接する緑フォトサイトの前記有意な輝度変化を示す相
対的な輝度が等しくないところまで外側方向に進むことが好ましい。
の線に沿って行なわれる検査は、隣接する緑フォトサイトの前記有意な輝度変化を示す相
対的な輝度が等しくないところまで外側方向に進むことが好ましい。
また本発明の補間方向の判定方法において、前記各線に沿っている検査は、検査窓の境
界に達した時点で停止されることを特徴とする。
界に達した時点で停止されることを特徴とする。
また本発明の補間方向の判定方法において、各赤と青フォトサイトに対して、正反対の
方向の対に対して得られたスコアを組み合わせるステップをさらに含むことが好ましい。
方向の対に対して得られたスコアを組み合わせるステップをさらに含むことが好ましい。
一方、本発明の色補間方法は、赤、緑および青フォトサイトを含むカラーフィルタアレ
イにおける欠けている色を補間する色補間方法であって、エッジ距離情報に基づいて各赤
と各青フォトサイトに対して補間方向を判定するステップと、各赤と各青フォトサイトに
対して、前記フォトサイトの判定された補間方向に緑色を補間するステップと、各緑フォ
トサイトに対して、赤と青色を補間するステップと、各赤フォトサイトに対して、前記フ
ォトサイトの判定された補間方向に青色を補間するステップと、各青フォトサイトに対し
て、前記フォトサイトの判定された補間方向に赤色を補間するステップを含むことを特徴
とする。
イにおける欠けている色を補間する色補間方法であって、エッジ距離情報に基づいて各赤
と各青フォトサイトに対して補間方向を判定するステップと、各赤と各青フォトサイトに
対して、前記フォトサイトの判定された補間方向に緑色を補間するステップと、各緑フォ
トサイトに対して、赤と青色を補間するステップと、各赤フォトサイトに対して、前記フ
ォトサイトの判定された補間方向に青色を補間するステップと、各青フォトサイトに対し
て、前記フォトサイトの判定された補間方向に赤色を補間するステップを含むことを特徴
とする。
また本発明の色補間方法において、前記各赤と各青フォトサイトの補間方向は、前記フ
ォトサイトから最も遠く離れて検出されたエッジに沿っている方向に対応することが好ま
しい。
ォトサイトから最も遠く離れて検出されたエッジに沿っている方向に対応することが好ま
しい。
また本発明の色補間方法において、前記補間方向を判定するステップは、前記各赤と各
青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検査するとと
もに、前記各方向に対してある有意な輝度変化がそのフォトサイトから離れている距離を
表すスコアを生成するステップと、最も高いスコアに対応する方向をそれぞれの各赤と青
フォトサイトの補間方向として選択するステップとを含むことが好ましい。
青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検査するとと
もに、前記各方向に対してある有意な輝度変化がそのフォトサイトから離れている距離を
表すスコアを生成するステップと、最も高いスコアに対応する方向をそれぞれの各赤と青
フォトサイトの補間方向として選択するステップとを含むことが好ましい。
また本発明の色補間方法において、前記検査中、選択されたフォトサイトから前記方向
の各々に延びて離れる緑フォトサイトが検査されることが好ましい。
の各々に延びて離れる緑フォトサイトが検査されることが好ましい。
また本発明の色補間方法において、前記検索中、前記方向の各々の複数のフォトサイト
の線に沿っている緑フォトサイトが検査されることが好ましい。
の線に沿っている緑フォトサイトが検査されることが好ましい。
また本発明の色補間方法において、前記複数の方向は垂直上、垂直下、水平左、水平右
、対角右上、対角右下、対角左上、と対角左下の方向を含むことが好ましい。
、対角右上、対角右下、対角左上、と対角左下の方向を含むことが好ましい。
また本発明の色補間方法において、前記各スコアは、前記検査された隣接する緑フォト
サイトの相対的輝度に基づいていることが好ましい。
サイトの相対的輝度に基づいていることが好ましい。
また本発明の色補間方法において、前記検査されたフォトサイトの線の各々のスコアが
生成され、かつ前記各方向の線のスコアがその方向のスコアを与えるように加算されるこ
とが好ましい。
生成され、かつ前記各方向の線のスコアがその方向のスコアを与えるように加算されるこ
とが好ましい。
また本発明の色補間方法において、前記各方向に対して、前記各フォトサイトの線に沿
って行なわれる検査は、隣接する緑フォトサイトの前記有意な輝度変化を示す相対的な輝
度が等しくないところまで外側方向に進むことを特徴とする。
って行なわれる検査は、隣接する緑フォトサイトの前記有意な輝度変化を示す相対的な輝
度が等しくないところまで外側方向に進むことを特徴とする。
また本発明の色補間方法において、前記各線に沿っている検査は、検査窓の境界に達し
た時点で停止されることを特徴とする。
た時点で停止されることを特徴とする。
また本発明の色補間方法において、各赤と青フォトサイトに対して、正反対の方向の対
に対して得られたスコアを組み合わせるステップをさらに含むことを特徴とする。
に対して得られたスコアを組み合わせるステップをさらに含むことを特徴とする。
ここで本発明の色補間装置は、赤、緑および青フォトサイトを含むカラーフィルタアレ
イにおける欠けている色を補間する色補間装置であって、エッジ距離情報に基づいて各赤
と各青フォトサイトに対して補間方向を判定する手段と、各赤と各青フォトサイトに対し
てそのフォトサイトの判定された補間方向に緑色を補間する手段と、各緑フォトサイトに
対して、赤と青色を補間する手段と、各赤フォトサイトに対して、前記フォトサイトの判
定された補間方向に青色を補間する手段と、各青フォトサイトに対して、前記フォトサイ
トの判定された補間方向に赤色を補間する手段とを含むことを特徴とする。
イにおける欠けている色を補間する色補間装置であって、エッジ距離情報に基づいて各赤
と各青フォトサイトに対して補間方向を判定する手段と、各赤と各青フォトサイトに対し
てそのフォトサイトの判定された補間方向に緑色を補間する手段と、各緑フォトサイトに
対して、赤と青色を補間する手段と、各赤フォトサイトに対して、前記フォトサイトの判
定された補間方向に青色を補間する手段と、各青フォトサイトに対して、前記フォトサイ
トの判定された補間方向に赤色を補間する手段とを含むことを特徴とする。
従って、一つの態様において赤、緑、と青フォトサイトを含むカラーフィルタアレイに
おける欠けている色を生成するために使用される補間方向を判定する方法が提供され、前
記方法は、各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサ
イトを検査し、各方向に対してある有意な輝度変化がフォトサイトから離れている距離を
表すスコアを生成することを含み、それぞれの赤と青フォトサイトの各々に対して最高の
スコアに対応する方向を補間方向として選択することを含む。
おける欠けている色を生成するために使用される補間方向を判定する方法が提供され、前
記方法は、各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサ
イトを検査し、各方向に対してある有意な輝度変化がフォトサイトから離れている距離を
表すスコアを生成することを含み、それぞれの赤と青フォトサイトの各々に対して最高の
スコアに対応する方向を補間方向として選択することを含む。
一つの実施例において、検索する時に、方向の各々にフォトサイトの複数の線に沿って
選択されたフォトサイトから延びる緑フォトサイトが検査される。方向は垂直上、垂直下
、水平左、水平右、対角右上、対角右下、対角左上、と対角左下の方向を含む。スコアは
検査された隣接の緑フォトサイトの相対的な輝度に基づいている。各検査されたフォトサ
イトの線に対してスコアが生成される。各方向の線のスコアが加算され、それによってそ
の方向のスコアが与えられる。各方向に対して、各フォトサイトの線に沿っている検索は
、隣接の緑フォトサイトの相対的な輝度が等しくない(つまり有意な輝度変化を示す)と
ころまで外側方向に進む。各線に沿っている検索は、サーチウィンドウの境界まで至って
いる時にも停止しても構わない。
選択されたフォトサイトから延びる緑フォトサイトが検査される。方向は垂直上、垂直下
、水平左、水平右、対角右上、対角右下、対角左上、と対角左下の方向を含む。スコアは
検査された隣接の緑フォトサイトの相対的な輝度に基づいている。各検査されたフォトサ
イトの線に対してスコアが生成される。各方向の線のスコアが加算され、それによってそ
の方向のスコアが与えられる。各方向に対して、各フォトサイトの線に沿っている検索は
、隣接の緑フォトサイトの相対的な輝度が等しくない(つまり有意な輝度変化を示す)と
ころまで外側方向に進む。各線に沿っている検索は、サーチウィンドウの境界まで至って
いる時にも停止しても構わない。
もう一つ別の態様に従って、赤、緑、と青フォトサイトを含むカラーフィルタアレイ(
CFA)における欠けている色を補間する方法が提供され、方法は、各赤と各青フォトサ
イトに対してエッジ距離情報に基づいて補間方向を判定するステップ、と各赤と各青フォ
トサイトに対してそのフォトサイトの判定された補間方向に緑色を補間するステップ、と
各緑フォトサイトに対して、赤と青色を補間するステップ、と各赤フォトサイトに対して
、そのフォトサイトの判定された補間方向に青色を補間するステップ、と各青フォトサイ
トに対して、そのフォトサイトの判定された補間方向に赤色を補間するステップ、を含む
。
CFA)における欠けている色を補間する方法が提供され、方法は、各赤と各青フォトサ
イトに対してエッジ距離情報に基づいて補間方向を判定するステップ、と各赤と各青フォ
トサイトに対してそのフォトサイトの判定された補間方向に緑色を補間するステップ、と
各緑フォトサイトに対して、赤と青色を補間するステップ、と各赤フォトサイトに対して
、そのフォトサイトの判定された補間方向に青色を補間するステップ、と各青フォトサイ
トに対して、そのフォトサイトの判定された補間方向に赤色を補間するステップ、を含む
。
さらにもう一つ別の態様に従って、赤、緑、と青フォトサイトを含むカラーフィルタア
レイにおける欠けている色を生成するために使用される補間方向を判定するためのコンピ
ュータプログラムを実装するコンピュータ可読媒体が提供され、コンピュータプログラム
は、各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを
検査し、各方向に対してある有意な輝度変化がフォトサイトから離れている距離を表すス
コアを生成するためのコンピュータプログラムコードを含み、それぞれの赤と青フォトサ
イトの各々に対して最高のスコアに対応する方向を補間方向として選択するためのコンピ
ュータプログラムコードを含む。
レイにおける欠けている色を生成するために使用される補間方向を判定するためのコンピ
ュータプログラムを実装するコンピュータ可読媒体が提供され、コンピュータプログラム
は、各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを
検査し、各方向に対してある有意な輝度変化がフォトサイトから離れている距離を表すス
コアを生成するためのコンピュータプログラムコードを含み、それぞれの赤と青フォトサ
イトの各々に対して最高のスコアに対応する方向を補間方向として選択するためのコンピ
ュータプログラムコードを含む。
さらにもう一つ別の態様に従って、赤、緑、と青フォトサイトを含むカラーフィルタア
レイにおける欠けている色を補間するための装置が提供され、装置は、各赤と各青フォト
サイトに対してエッジ距離情報に基づいて補間方向を判定するための手段、と各赤と各青
フォトサイトに対してそのフォトサイトの判定された補間方向に緑色を補間するための手
段、と各緑フォトサイトに対して、赤と青色を補間するための手段、と各赤フォトサイト
に対して、そのフォトサイトの判定された補間方向に青色を補間するための手段、と各青
フォトサイトに対して、そのフォトサイトの判定された補間方向に赤色を補間するための
手段、を含む。
レイにおける欠けている色を補間するための装置が提供され、装置は、各赤と各青フォト
サイトに対してエッジ距離情報に基づいて補間方向を判定するための手段、と各赤と各青
フォトサイトに対してそのフォトサイトの判定された補間方向に緑色を補間するための手
段、と各緑フォトサイトに対して、赤と青色を補間するための手段、と各赤フォトサイト
に対して、そのフォトサイトの判定された補間方向に青色を補間するための手段、と各青
フォトサイトに対して、そのフォトサイトの判定された補間方向に赤色を補間するための
手段、を含む。
さらにもう一つさらなる別の態様に従って、赤、緑、と青フォトサイトを含むカラーフ
ィルタアレイにおける欠けている色を補間するためのコンピュータプログラムを実装する
コンピュータ可読媒体が提供され、前記コンピュータプログラムは、各赤と各青フォトサ
イトに対してエッジ距離情報に基づいて補間方向を判定するためのコンピュータプログラ
ムコード、と各赤と各青フォトサイトに対してそのフォトサイトの判定された補間方向に
緑色を補間するためのコンピュータプログラムコード、と各緑フォトサイトに対して、赤
と青色を補間するためのコンピュータプログラムコード、と各赤フォトサイトに対して、
そのフォトサイトの判定された補間方向に青色を補間するためのコンピュータプログラム
コード、と各青フォトサイトに対して、そのフォトサイトの判定された補間方向に赤色を
補間するためのコンピュータプログラムコード、を含む。
ィルタアレイにおける欠けている色を補間するためのコンピュータプログラムを実装する
コンピュータ可読媒体が提供され、前記コンピュータプログラムは、各赤と各青フォトサ
イトに対してエッジ距離情報に基づいて補間方向を判定するためのコンピュータプログラ
ムコード、と各赤と各青フォトサイトに対してそのフォトサイトの判定された補間方向に
緑色を補間するためのコンピュータプログラムコード、と各緑フォトサイトに対して、赤
と青色を補間するためのコンピュータプログラムコード、と各赤フォトサイトに対して、
そのフォトサイトの判定された補間方向に青色を補間するためのコンピュータプログラム
コード、と各青フォトサイトに対して、そのフォトサイトの判定された補間方向に赤色を
補間するためのコンピュータプログラムコード、を含む。
以下、本発明の実施形態を図面に基づいて説明する。
図1には、複数のフォトサイト52を含むベイヤカラーフィルタアレイ(以降、ベイヤ
CFAという)50および関連する凡例が示される。各フォトサイト52は赤(R)、緑
(G)、青(B)色の内の一つを感知する。説明を容易にするために、赤色を感知するフ
ォトサイト52を「赤」フォトサイトと呼ばれ、緑色を感知するフォトサイト52を「緑
」フォトサイトと呼ばれ、そして青色を感知するフォトサイト52を「青」フォトサイト
と呼ばれる。以下の説明を容易にするためにベイヤCFA50の赤、緑、青のフォトサイ
ト52をアルファニューメリックで表す。例えば、ベイヤCFA50の左上隅のフォトサ
イト52は青色を感知しB1としてラベル付けられている。そのすぐ右にあるフォトサイ
トは緑色を感知しG2としてラベル付けられている。G2フォトサイトの右にあるフォト
サイトは青色を感知しB3としてラベル付けられており、以降同様。ベイヤCFA50の
次の行に、G11、R12、G13、R14、G15などとしてラベル付けられている緑
と赤が交替しているフォトサイト52がある。このラベルの付け方を使うことによって各
フォトサイト52がユニークなフォトサイト番号で識別され、フォトサイト52が感知す
る色を表す最初のR、G、とBの色指定の内の一つで識別されることを理解すべきである
。
CFAという)50および関連する凡例が示される。各フォトサイト52は赤(R)、緑
(G)、青(B)色の内の一つを感知する。説明を容易にするために、赤色を感知するフ
ォトサイト52を「赤」フォトサイトと呼ばれ、緑色を感知するフォトサイト52を「緑
」フォトサイトと呼ばれ、そして青色を感知するフォトサイト52を「青」フォトサイト
と呼ばれる。以下の説明を容易にするためにベイヤCFA50の赤、緑、青のフォトサイ
ト52をアルファニューメリックで表す。例えば、ベイヤCFA50の左上隅のフォトサ
イト52は青色を感知しB1としてラベル付けられている。そのすぐ右にあるフォトサイ
トは緑色を感知しG2としてラベル付けられている。G2フォトサイトの右にあるフォト
サイトは青色を感知しB3としてラベル付けられており、以降同様。ベイヤCFA50の
次の行に、G11、R12、G13、R14、G15などとしてラベル付けられている緑
と赤が交替しているフォトサイト52がある。このラベルの付け方を使うことによって各
フォトサイト52がユニークなフォトサイト番号で識別され、フォトサイト52が感知す
る色を表す最初のR、G、とBの色指定の内の一つで識別されることを理解すべきである
。
図2はキャプチャされたシーンの完全な色イメージを生じることを可能にするようにベ
イヤCFA50をモザイク解除するための一般的な方法を示すフローチャートである。方
法中に、赤と青フォトサイトで補間する緑色は最初に決定される(ステップ100)。次
に緑フォトサイトで補間する赤と青色が決定される(ステップ200)。次にベイヤCF
A50のモザイク解除を完成するために青フォトサイトで補間する赤色と赤フォトサイト
で補間する青色が決定される(ステップ300)。次にモアレがモザイク解除されたベイ
ヤCFAから解除される(ステップ400)。一般的な方法は、本願の譲渡人に譲渡され
た引用することにより本書に組み込まれている、対応する「カラーフィルタアレイの欠け
ている色を補間するための方法と装置」と名称するAchongetal.の2007年
9月7日に手続きされた米国特許出願No.11/852144号明細書(弁護士整理番
号EETP041)の発明に開示している方法と非常に類似していることを理解すべきで
ある。
イヤCFA50をモザイク解除するための一般的な方法を示すフローチャートである。方
法中に、赤と青フォトサイトで補間する緑色は最初に決定される(ステップ100)。次
に緑フォトサイトで補間する赤と青色が決定される(ステップ200)。次にベイヤCF
A50のモザイク解除を完成するために青フォトサイトで補間する赤色と赤フォトサイト
で補間する青色が決定される(ステップ300)。次にモアレがモザイク解除されたベイ
ヤCFAから解除される(ステップ400)。一般的な方法は、本願の譲渡人に譲渡され
た引用することにより本書に組み込まれている、対応する「カラーフィルタアレイの欠け
ている色を補間するための方法と装置」と名称するAchongetal.の2007年
9月7日に手続きされた米国特許出願No.11/852144号明細書(弁護士整理番
号EETP041)の発明に開示している方法と非常に類似していることを理解すべきで
ある。
上に引例した同時係属出願Achongetal.に説明したように、フォトサイトに
近接しているローカルエッジを垂直、水平、と対角の方向の各々に検査し、最も強いロー
カルエッジを与える方向を補間方向として指定するよりも、この実施例において赤と青フ
ォトサイトの各々で欠けている緑色を補間する時に、赤と青フォトサイトの各々に対して
選択される補間方向はエッジが選択されたフォトサイトから離れている距離に基づいてあ
る。各赤フォトサイトと各青フォトサイトの判定された補間方向はそのフォトサイトでの
欠けている緑色を補間する時に使用される。各赤フォトサイトの補間方向はそのフォトサ
イトでの欠けている青色を補間する時にも使用され、各青フォトサイトの補間方向はその
フォトサイトでの欠けている赤色を補間する時にも使用される。補間方向の判定に関する
さらなる詳細は以下に説明する。
近接しているローカルエッジを垂直、水平、と対角の方向の各々に検査し、最も強いロー
カルエッジを与える方向を補間方向として指定するよりも、この実施例において赤と青フ
ォトサイトの各々で欠けている緑色を補間する時に、赤と青フォトサイトの各々に対して
選択される補間方向はエッジが選択されたフォトサイトから離れている距離に基づいてあ
る。各赤フォトサイトと各青フォトサイトの判定された補間方向はそのフォトサイトでの
欠けている緑色を補間する時に使用される。各赤フォトサイトの補間方向はそのフォトサ
イトでの欠けている青色を補間する時にも使用され、各青フォトサイトの補間方向はその
フォトサイトでの欠けている赤色を補間する時にも使用される。補間方向の判定に関する
さらなる詳細は以下に説明する。
一般的に、赤と青フォトサイトの補間方向を判定する時に、赤または青フォトサイトが
最初に選択される。選択されたフォトサイトに隣接しているフォトサイトの異なるグルー
プが垂直、水平、と対角の方向の各々に選択され、その中に在る緑フォトサイトがエッジ
の存在を示す有意な輝度変化を検出するように検査される。この実施例において、フォト
サイトのグループの各々は複数のフォトサイトの線または糸を含み、つまり選択されたフ
ォトサイトを交差するフォトサイトの中央線およびその中央線の側に沿って走る隣接のフ
ォトサイトの線を含む。検索が各グループの線に沿って行なわれ、線の緑フォトサイトが
有意な輝度変化を検出するように検査される。例えば、ベイヤCFA50の選択された青
フォトサイトB45の補間方向を判定する時に、垂直、水平、と対角の方向に検索される
フォトサイトの異なるグループは図3〜図6および図7〜図10に示されている。各検出
されたエッジが選択されたフォトサイトから離れている距離を表すスコアは生成されると
共に選択されたフォトサイトから最も遠く離れているエッジに関連づけられたスコアを検
出するように検査される。最も遠いエッジを示す検索方向が補間方向として指定される。
最初に選択される。選択されたフォトサイトに隣接しているフォトサイトの異なるグルー
プが垂直、水平、と対角の方向の各々に選択され、その中に在る緑フォトサイトがエッジ
の存在を示す有意な輝度変化を検出するように検査される。この実施例において、フォト
サイトのグループの各々は複数のフォトサイトの線または糸を含み、つまり選択されたフ
ォトサイトを交差するフォトサイトの中央線およびその中央線の側に沿って走る隣接のフ
ォトサイトの線を含む。検索が各グループの線に沿って行なわれ、線の緑フォトサイトが
有意な輝度変化を検出するように検査される。例えば、ベイヤCFA50の選択された青
フォトサイトB45の補間方向を判定する時に、垂直、水平、と対角の方向に検索される
フォトサイトの異なるグループは図3〜図6および図7〜図10に示されている。各検出
されたエッジが選択されたフォトサイトから離れている距離を表すスコアは生成されると
共に選択されたフォトサイトから最も遠く離れているエッジに関連づけられたスコアを検
出するように検査される。最も遠いエッジを示す検索方向が補間方向として指定される。
図11と図16は、有意な輝度変化がある選択された赤または青フォトサイトから離れ
ている距離を表す垂直、水平と対角の検索方向に対するスコアを生成するために実行され
るステップを示すフローチャートである。最初に、ステップ110で、赤または青フォト
サイトが選択される。水平右、水平左、垂直上、垂直下、対角右上、対角右下、対角左上
、と対角左下の検索方向の内の一つがついでに選択される(ステップ112)。次に、選
択された検索方向が水平または垂直であるかを判定するために検査が行なわれる(ステッ
プ113)。もし選択された検索方向は水平または垂直であれば、選択された検索方向に
関連づけられた中央線のフォトサイトのグループが選択される(ステップ114)。次に
、選択された検索方向の選択されたフォトサイトに隣接している緑フォトサイトが識別さ
れ「現在」の緑フォトサイトとしてとして指定される(ステップ116)。次に、選択さ
れた検索方向に対する関連性スコア[connectivity score]が増分さ
れる(ステップ120)。例えば、図12は、青フォトサイトB45がステップ110で
選択されたことを前提にして、水平検索方向に関連づけられたフォトサイトのグループを
示す。この場合、ステップ116で、選択された青フォトサイトB45に隣接している緑
フォトサイトG46が識別され現在の緑フォトサイトとして指定される。
ている距離を表す垂直、水平と対角の検索方向に対するスコアを生成するために実行され
るステップを示すフローチャートである。最初に、ステップ110で、赤または青フォト
サイトが選択される。水平右、水平左、垂直上、垂直下、対角右上、対角右下、対角左上
、と対角左下の検索方向の内の一つがついでに選択される(ステップ112)。次に、選
択された検索方向が水平または垂直であるかを判定するために検査が行なわれる(ステッ
プ113)。もし選択された検索方向は水平または垂直であれば、選択された検索方向に
関連づけられた中央線のフォトサイトのグループが選択される(ステップ114)。次に
、選択された検索方向の選択されたフォトサイトに隣接している緑フォトサイトが識別さ
れ「現在」の緑フォトサイトとしてとして指定される(ステップ116)。次に、選択さ
れた検索方向に対する関連性スコア[connectivity score]が増分さ
れる(ステップ120)。例えば、図12は、青フォトサイトB45がステップ110で
選択されたことを前提にして、水平検索方向に関連づけられたフォトサイトのグループを
示す。この場合、ステップ116で、選択された青フォトサイトB45に隣接している緑
フォトサイトG46が識別され現在の緑フォトサイトとして指定される。
次に、現在の緑フォトサイトと中央線および側を沿って走っている線のその他のローカ
ル緑フォトサイトの平均輝度を計算することによって現在の緑フォトサイトに対してロー
カル平均輝度が計算される(ステップ122)。選択された青フォトサイトB45に対し
て、ステップ122でローカル平均輝度を計算するために使用された現在の緑フォトサイ
トG46とその他のローカル緑フォトサイトG37,G39,G57,G59は図12に
太い枠線で示されている。現在の緑フォトサイトと側を沿って走っている線の近接対角緑
フォトサイトに対する相対的な輝度も計算される(ステップ124)。図12の例におい
て、緑フォトサイトG37,G57はステップ124で識別される。相対的輝度の各々は
、ステップ122で計算された平均輝度を現在緑または近接対角緑フォトサイトの輝度か
ら引き算することによって計算される。次に、計算された相対的輝度が比較される(ステ
ップ126)。もしステップ126で、計算された相対的輝度が等しいと判定されるなら
ば、検索ウィンドウの境界が至れているかを判定するための検査が行なわれる(ステップ
128)。検索ウィンドウは精度とスピードの必要性に基づいて指定される。
ル緑フォトサイトの平均輝度を計算することによって現在の緑フォトサイトに対してロー
カル平均輝度が計算される(ステップ122)。選択された青フォトサイトB45に対し
て、ステップ122でローカル平均輝度を計算するために使用された現在の緑フォトサイ
トG46とその他のローカル緑フォトサイトG37,G39,G57,G59は図12に
太い枠線で示されている。現在の緑フォトサイトと側を沿って走っている線の近接対角緑
フォトサイトに対する相対的な輝度も計算される(ステップ124)。図12の例におい
て、緑フォトサイトG37,G57はステップ124で識別される。相対的輝度の各々は
、ステップ122で計算された平均輝度を現在緑または近接対角緑フォトサイトの輝度か
ら引き算することによって計算される。次に、計算された相対的輝度が比較される(ステ
ップ126)。もしステップ126で、計算された相対的輝度が等しいと判定されるなら
ば、検索ウィンドウの境界が至れているかを判定するための検査が行なわれる(ステップ
128)。検索ウィンドウは精度とスピードの必要性に基づいて指定される。
もしステップ128で検索ウィンドウの境界が至られていないと判定されるならば、次
いでに選択された検索方向における中央線の次の緑フォトサイトが新しい「現在」のフォ
トサイトとして選択される(ステップ130)。上の例に従って、ステップ130で、図
13で示すように緑フォトサイトG48が新しい現在のフォトサイトとして選択される。
新しい現在の緑フォトサイトと中央線および側を沿って走っている線のその他のローカル
緑フォトサイトに基づいて新しい現在の緑フォトサイトに対して新しいローカル平均輝度
が計算される(ステップ132)。選択された青フォトサイトB45に対して、ステップ
132でローカル平均輝度を計算するために使用された新しい現在の緑フォトサイトG4
8とその他のローカル緑フォトサイトG39,Gx,G59,Gyは図13に太い枠線で
示されている。次に新しい現在緑フォトサイトの相対的輝度が前回の現在緑フォトサイト
に対して計算された相対的輝度と比較される。もし相対的輝度が等しいならば、前回の現
在緑フォトサイトと新しい緑フォトサイトが関連されているとされ、選択された検索方向
の関連性スコアが増分される(ステップ136)。次にプロセスはステップ124に戻る
。
いでに選択された検索方向における中央線の次の緑フォトサイトが新しい「現在」のフォ
トサイトとして選択される(ステップ130)。上の例に従って、ステップ130で、図
13で示すように緑フォトサイトG48が新しい現在のフォトサイトとして選択される。
新しい現在の緑フォトサイトと中央線および側を沿って走っている線のその他のローカル
緑フォトサイトに基づいて新しい現在の緑フォトサイトに対して新しいローカル平均輝度
が計算される(ステップ132)。選択された青フォトサイトB45に対して、ステップ
132でローカル平均輝度を計算するために使用された新しい現在の緑フォトサイトG4
8とその他のローカル緑フォトサイトG39,Gx,G59,Gyは図13に太い枠線で
示されている。次に新しい現在緑フォトサイトの相対的輝度が前回の現在緑フォトサイト
に対して計算された相対的輝度と比較される。もし相対的輝度が等しいならば、前回の現
在緑フォトサイトと新しい緑フォトサイトが関連されているとされ、選択された検索方向
の関連性スコアが増分される(ステップ136)。次にプロセスはステップ124に戻る
。
もしステップ134で新しい現在の緑フォトサイトと前回の現在の緑フォトサイトの相
対的輝度は等しくない、もしくはステップ128で検索ウィンドウの境界が至られている
、もしくはステップ126で計算された相対的輝度は等しくない場合に、選択された検索
方向に関連づけられたフォトサイトのグループの線のすべたが選択されているかどうかを
判定するために検査が行なわれる(ステップ138)。もしさもなければ、次の線が選択
され(ステップ140)、プロセスはステップ116に戻る。例えば、図12に示された
フォトサイトのグループの上の線を検索する時に、緑フォトサイトG35はステップ11
6で現在の緑フォトサイトとして選択される。ステップ122でローカル平均輝度を計算
するために使用される現在の緑フォトサイトG35とその他のローカル緑フォトサイトG
26,G28,G46,G48は図14に太い枠線で示される。ステップ132でローカ
ル平均輝度を計算するために使用されるステップ130で選択された上の線の新しい現在
の緑フォトサイトG37とその他のローカル緑フォトサイトG28,G30,G48,G
50は図15に太い枠線で示される。ステップ116〜136までが選択された検索方向
に関連づけられたフォトサイトのグループの各線に対して行なわれることを理解すべき。
従って、選択された検索方向の関連性スコアは各線の検索を考量する。
対的輝度は等しくない、もしくはステップ128で検索ウィンドウの境界が至られている
、もしくはステップ126で計算された相対的輝度は等しくない場合に、選択された検索
方向に関連づけられたフォトサイトのグループの線のすべたが選択されているかどうかを
判定するために検査が行なわれる(ステップ138)。もしさもなければ、次の線が選択
され(ステップ140)、プロセスはステップ116に戻る。例えば、図12に示された
フォトサイトのグループの上の線を検索する時に、緑フォトサイトG35はステップ11
6で現在の緑フォトサイトとして選択される。ステップ122でローカル平均輝度を計算
するために使用される現在の緑フォトサイトG35とその他のローカル緑フォトサイトG
26,G28,G46,G48は図14に太い枠線で示される。ステップ132でローカ
ル平均輝度を計算するために使用されるステップ130で選択された上の線の新しい現在
の緑フォトサイトG37とその他のローカル緑フォトサイトG28,G30,G48,G
50は図15に太い枠線で示される。ステップ116〜136までが選択された検索方向
に関連づけられたフォトサイトのグループの各線に対して行なわれることを理解すべき。
従って、選択された検索方向の関連性スコアは各線の検索を考量する。
ステップ138で、もしグループのフォトサイトの線のすべては検索されているならば
、水平右、水平左、垂直上、垂直下、対角右上、対角右下、対角左上、と対角左下の検索
方向の各々に検索が行なわれているかどうかを判定するための検査が行なわれる(ステッ
プ142)。もしさもなければ、次の選択されていない検索方向が選択され(ステップ1
44)、プロセスはステップ113に戻る。
、水平右、水平左、垂直上、垂直下、対角右上、対角右下、対角左上、と対角左下の検索
方向の各々に検索が行なわれているかどうかを判定するための検査が行なわれる(ステッ
プ142)。もしさもなければ、次の選択されていない検索方向が選択され(ステップ1
44)、プロセスはステップ113に戻る。
もしステップ113で、対角右上、対角右下、対角左上、と対角左下の検索方向の内の
一つが選択されていることが判定されるならば、次に選択された検索方向に延び選択され
たフォトサイトを交差するフォトサイトの対角の線の側に沿って走る緑フォトサイトの線
は識別される(図16のステップ156)。選択されたフォトサイトに隣接している側に
沿って走る線に在る緑フォトサイトはついでに識別され「現在」の緑フォトサイトとして
指定される(ステップ158)。次に選択された検索方向の関連性スコアが増分される(
ステップ160)。また上の例に従って、選択された青フォトサイトB45および選択さ
れた対角右上検索方向に対して、青フォトサイトB45に対角的に隣接している緑フォト
サイトG35,G46はステップ158で現在の緑フォトサイトとして識別される(図9
Aを参照)。
一つが選択されていることが判定されるならば、次に選択された検索方向に延び選択され
たフォトサイトを交差するフォトサイトの対角の線の側に沿って走る緑フォトサイトの線
は識別される(図16のステップ156)。選択されたフォトサイトに隣接している側に
沿って走る線に在る緑フォトサイトはついでに識別され「現在」の緑フォトサイトとして
指定される(ステップ158)。次に選択された検索方向の関連性スコアが増分される(
ステップ160)。また上の例に従って、選択された青フォトサイトB45および選択さ
れた対角右上検索方向に対して、青フォトサイトB45に対角的に隣接している緑フォト
サイトG35,G46はステップ158で現在の緑フォトサイトとして識別される(図9
Aを参照)。
現在緑フォトサイトとローカル対角緑フォトサイトの輝度を平均することによって現在
緑フォトサイトに対してローカル平均輝度がついでに計算される(ステップ162)。選
択された青フォトサイトB45に対して、ステップ162でローカル平均輝度を計算する
ために使用される現在の緑フォトサイトG35,G46およびローカル対角緑フォトサイ
トG26,G37は図17に太い枠線で示される。次に、現在の緑フォトサイトの各々に
対して、共に対角ローカル緑フォトサイトに対して相対的輝度は、その輝度とローカル平
均輝度の間の差を判定することによって計算される。次に、各現在緑フォトサイトとその
隣接している対角ローカル緑フォトサイトの相対的輝度が比較される(ステップ164)
。
緑フォトサイトに対してローカル平均輝度がついでに計算される(ステップ162)。選
択された青フォトサイトB45に対して、ステップ162でローカル平均輝度を計算する
ために使用される現在の緑フォトサイトG35,G46およびローカル対角緑フォトサイ
トG26,G37は図17に太い枠線で示される。次に、現在の緑フォトサイトの各々に
対して、共に対角ローカル緑フォトサイトに対して相対的輝度は、その輝度とローカル平
均輝度の間の差を判定することによって計算される。次に、各現在緑フォトサイトとその
隣接している対角ローカル緑フォトサイトの相対的輝度が比較される(ステップ164)
。
ステップ166で、もし比較された相対的輝度のどれでもが等しいと判定されるならば
、検索ウィンドウの境界が至られているかどうかを判定するために検査が行なわれる(ス
テップ168)。ステップ168でもし検索ウィンドウの境界が至られていないと判定さ
れるならば、線に在る対角ローカル緑フォトサイトは新しい現在緑フォトサイトとして指
定される(ステップ170)。従って上の例に場合には、ローカル緑フォトサイトG26
,G37は新しい現在緑フォトサイトとして指定される。新しい現在緑フォトサイトに対
して新しいローカル平均輝度は、新しい現在緑フォトサイトと対角ローカル緑フォトサイ
トの輝度を平均することによって計算される(ステップ172)。選択された青フォトサ
イトB45に対して、ステップ172でローカル平均輝度を計算するために使用された新
しい現在の緑フォトサイトG26,G37および対角ローカル緑フォトサイトG17,G
28は図18に示される。次に、新しい現在の緑フォトサイトに対する相対的輝度は上に
説明したと同様に計算される。もし新しい現在の緑フォトサイトの各々の相対的輝度はそ
の関連づけられた前回の現在の緑フォトサイトと等しいならば、新しい現在の緑フォトサ
イトと前回の現在の緑フォトサイトが関連されているとされ、選択された検索方向の関連
性スコアが増分される(ステップ176)。次にプロセスはステップ164に戻る。
、検索ウィンドウの境界が至られているかどうかを判定するために検査が行なわれる(ス
テップ168)。ステップ168でもし検索ウィンドウの境界が至られていないと判定さ
れるならば、線に在る対角ローカル緑フォトサイトは新しい現在緑フォトサイトとして指
定される(ステップ170)。従って上の例に場合には、ローカル緑フォトサイトG26
,G37は新しい現在緑フォトサイトとして指定される。新しい現在緑フォトサイトに対
して新しいローカル平均輝度は、新しい現在緑フォトサイトと対角ローカル緑フォトサイ
トの輝度を平均することによって計算される(ステップ172)。選択された青フォトサ
イトB45に対して、ステップ172でローカル平均輝度を計算するために使用された新
しい現在の緑フォトサイトG26,G37および対角ローカル緑フォトサイトG17,G
28は図18に示される。次に、新しい現在の緑フォトサイトに対する相対的輝度は上に
説明したと同様に計算される。もし新しい現在の緑フォトサイトの各々の相対的輝度はそ
の関連づけられた前回の現在の緑フォトサイトと等しいならば、新しい現在の緑フォトサ
イトと前回の現在の緑フォトサイトが関連されているとされ、選択された検索方向の関連
性スコアが増分される(ステップ176)。次にプロセスはステップ164に戻る。
もしステップ174で現在の緑フォトサイトと前回の現在の緑フォトサイトの相対的輝
度は等しくないならば、もしくはステップ168で検索ウィンドウの境界が至られている
ならば、もしくはステップ166で計算された相対的輝度のどれもは等しくないならば、
選択された検索方向に関連されたフォトサイトのグループの線のすべてが選択されている
かどうかを判定するために検査が行なわれる(ステップ178)。さもなけらば、次の線
が選択され(ステップ180)、プロセスはステップ158に戻る。例えば、図17に示
されている対角右上検索方向に関連づけられたフォトサイトのグループの上の線の検索中
に、緑フォトサイトG24,G35はステップ156で現在の緑フォトサイトとして選択
される。現在の緑フォトサイトG24,G35およびステップ162でローカル平均輝度
を計算するために使用された対角ローカル緑フォトサイトG15,G26は図19に太い
枠線で示される。ステップ170で選択された上の線の新しい現在の緑フォトサイトG1
5,G26およびステップ172でローカル平均輝度を計算するために使用された対角ロ
ーカル緑フォトサイトG6,G17は図20に太い枠線で示される。ステップ158〜1
76は選択された検索方向に関連づけられたフォトサイトのグループの線の各々に対して
行なわれることを理解すべきである。
度は等しくないならば、もしくはステップ168で検索ウィンドウの境界が至られている
ならば、もしくはステップ166で計算された相対的輝度のどれもは等しくないならば、
選択された検索方向に関連されたフォトサイトのグループの線のすべてが選択されている
かどうかを判定するために検査が行なわれる(ステップ178)。さもなけらば、次の線
が選択され(ステップ180)、プロセスはステップ158に戻る。例えば、図17に示
されている対角右上検索方向に関連づけられたフォトサイトのグループの上の線の検索中
に、緑フォトサイトG24,G35はステップ156で現在の緑フォトサイトとして選択
される。現在の緑フォトサイトG24,G35およびステップ162でローカル平均輝度
を計算するために使用された対角ローカル緑フォトサイトG15,G26は図19に太い
枠線で示される。ステップ170で選択された上の線の新しい現在の緑フォトサイトG1
5,G26およびステップ172でローカル平均輝度を計算するために使用された対角ロ
ーカル緑フォトサイトG6,G17は図20に太い枠線で示される。ステップ158〜1
76は選択された検索方向に関連づけられたフォトサイトのグループの線の各々に対して
行なわれることを理解すべきである。
ステップ178で、もしフォトサイトのグループの線のすべてが検索されているならば
、プロセスはステップ142に戻り、そこで水平右、水平左、垂直上、垂直下、対角右上
、対角右下、対角左上、と対角左下の検索方向の各々に検索が行なわれているかどうかを
判定するための検査が行なわれる。水平、垂直、と対角の方向の各々に対して関連性スコ
アを生成するために、上に説明して来た検索および関連性スコア判定プロセスがベイヤC
FA50の各赤と各青フォトサイトに対して行なわれる。
、プロセスはステップ142に戻り、そこで水平右、水平左、垂直上、垂直下、対角右上
、対角右下、対角左上、と対角左下の検索方向の各々に検索が行なわれているかどうかを
判定するための検査が行なわれる。水平、垂直、と対角の方向の各々に対して関連性スコ
アを生成するために、上に説明して来た検索および関連性スコア判定プロセスがベイヤC
FA50の各赤と各青フォトサイトに対して行なわれる。
もしステップ142で選択されたフォトサイトの各水平、垂直、と対角の検索方向が検
索されていると判定されるならば、その選択されたフォトサイトに対する検索が停止され
る。選択されたフォトサイトが検索方向に対して直角であるエッジ境界に位置づけられて
いない時のみに、選択されたフォトサイトの正反対側に在る検索方向(つまり、水平右・
水平左、垂直上・垂直下、対角右上・対角左下、対角左上・対角右下)に対して計算され
た関連性スコアが加算される(ステップ146)。このことは、組み合わせられるスコア
のそれぞれに正反対している検索方向において選択されたフォトサイトに隣接している緑
フォトサイトの大きさの両方はそのそれぞれのローカル輝度平均より以上または以下であ
るかどうかを確かめることによって判定される。必要があればステップ146で関連性ス
コアが加算されている後に、最も高い関連性スコアに関連づけられている検索方向が判定
され、選択されたフォトサイトの補間方向として指定される(ステップ148)。次に赤
と青フォトサイトのすべてが選択されているかどうかを判定するための検査が行なわれる
(ステップ150)。もしさもなければ、次の赤または青フォトサイトが選択され(ステ
ップ152)、プロセスはステップ112に戻る。このように、エッジ距離情報に基づい
て補間方向が各赤と青フォトサイトに対して生成される。
索されていると判定されるならば、その選択されたフォトサイトに対する検索が停止され
る。選択されたフォトサイトが検索方向に対して直角であるエッジ境界に位置づけられて
いない時のみに、選択されたフォトサイトの正反対側に在る検索方向(つまり、水平右・
水平左、垂直上・垂直下、対角右上・対角左下、対角左上・対角右下)に対して計算され
た関連性スコアが加算される(ステップ146)。このことは、組み合わせられるスコア
のそれぞれに正反対している検索方向において選択されたフォトサイトに隣接している緑
フォトサイトの大きさの両方はそのそれぞれのローカル輝度平均より以上または以下であ
るかどうかを確かめることによって判定される。必要があればステップ146で関連性ス
コアが加算されている後に、最も高い関連性スコアに関連づけられている検索方向が判定
され、選択されたフォトサイトの補間方向として指定される(ステップ148)。次に赤
と青フォトサイトのすべてが選択されているかどうかを判定するための検査が行なわれる
(ステップ150)。もしさもなければ、次の赤または青フォトサイトが選択され(ステ
ップ152)、プロセスはステップ112に戻る。このように、エッジ距離情報に基づい
て補間方向が各赤と青フォトサイトに対して生成される。
各赤と青フォトサイトに対して補間方向が判定されている後に、上の引用することによ
り本書に組み込まれているAchongetal.の出願に説明したように、関連づけら
れた補間方向を使って各赤と青フォトサイトに対して補間する緑色が判定される。各緑フ
ォトサイトでの欠けている赤と青色、と各青フォトサイトでの欠けている赤色、と各赤フ
ォトサイトでの欠けている青色も、上の引用することにより本書に組み込まれているAc
hongetal.の出願に説明したように補間される。
り本書に組み込まれているAchongetal.の出願に説明したように、関連づけら
れた補間方向を使って各赤と青フォトサイトに対して補間する緑色が判定される。各緑フ
ォトサイトでの欠けている赤と青色、と各青フォトサイトでの欠けている赤色、と各赤フ
ォトサイトでの欠けている青色も、上の引用することにより本書に組み込まれているAc
hongetal.の出願に説明したように補間される。
上の引用することにより本書に組み込まれているAchongetal.の出願に説明
したものと類似するエッジ検出器と複数の補間器を含む装置は、ベイヤCFAからイメー
ジデータを受信し上に説明した方法に従ってそのイメージデータを処理する。エッジ検出
器と補間器は、デジラルカメラ、ビデオレコーダー、スキャナ等のようなイメージキャプ
チャ装置の処理ユニットで実装されても構わない。この場合において、処理ユニットは感
知されたイメージデータにエッジ検出と補間を行なうソフトウェアアプリケーションを実
行する。ソフトウェアアプリケーションは、ルーチン、プログラム、オブジェクト要素、
データ構造などを含むプログラムモジュールを含むことができ、コンピュータ可読媒体に
格納されたコンピュータ可読プログラムコードとして実装することもできる。コンピュー
タ可読媒体は、格納後に処理ユニットが読めるいずれのデータを格納できるデータストー
レジデバイスである。コンピュータ可読媒体の例は、例えば読み出し専用メモリ、ランダ
ムアクセスメモリ、CD−ROM、磁気テープ、と光学式データストレージ装置を含む。
したものと類似するエッジ検出器と複数の補間器を含む装置は、ベイヤCFAからイメー
ジデータを受信し上に説明した方法に従ってそのイメージデータを処理する。エッジ検出
器と補間器は、デジラルカメラ、ビデオレコーダー、スキャナ等のようなイメージキャプ
チャ装置の処理ユニットで実装されても構わない。この場合において、処理ユニットは感
知されたイメージデータにエッジ検出と補間を行なうソフトウェアアプリケーションを実
行する。ソフトウェアアプリケーションは、ルーチン、プログラム、オブジェクト要素、
データ構造などを含むプログラムモジュールを含むことができ、コンピュータ可読媒体に
格納されたコンピュータ可読プログラムコードとして実装することもできる。コンピュー
タ可読媒体は、格納後に処理ユニットが読めるいずれのデータを格納できるデータストー
レジデバイスである。コンピュータ可読媒体の例は、例えば読み出し専用メモリ、ランダ
ムアクセスメモリ、CD−ROM、磁気テープ、と光学式データストレージ装置を含む。
実施例が説明されてきたが、当業者ならば添付の特許請求が定義するその発明の範囲並
びに精神から逸脱しない限りにおいて、変形と変更ができることを理解するだろう。
びに精神から逸脱しない限りにおいて、変形と変更ができることを理解するだろう。
50…カラーフィルタアレイ、52…フォトサイト。
Claims (21)
- 赤、緑および青フォトサイトを含むカラーフィルタアレイにおける欠けている色を生成
するために使用する補間方向を判定するための方法であって、
各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイトを検
査すると共に各方向に対してある有意な輝度変化が前記フォトサイトから離れている距離
を表すスコアを生成するステップと、
それぞれの前記各赤と青フォトサイトの補間方向として最も高いスコアに対応する方向
を選択するステップとを含むことを特徴とする補間方向の判定方法。 - 前記検査中に、選択されたフォトサイトから前記方向の各々に延びて離れる緑フォトサ
イトが検査されることを特徴とする請求項1に記載の補間方向の判定方法。 - 前記検査中、前記方向の各々の複数のフォトサイトの線に沿っている緑フォトサイトが
検査されることを特徴とする請求項2に記載の補間方向の判定方法。 - 前記複数の方向は垂直上、垂直下、水平左、水平右、対角右上、対角右下、対角左上、
と対角左下の方向を含むことを特徴とする請求項3に記載の補間方向の判定方法。 - 各前記スコアは、前記検査された隣接する緑フォトサイトの相対的輝度に基づいている
ことを特徴とする請求項4に記載の補間方向の判定方法。 - 前記検査されたフォトサイトの線の各々のスコアが生成され、かつ前記各方向の線のス
コアがその方向のスコアを与えるように加算されることを特徴とする請求項5に記載の補
間方向の判定方法。 - 前記各方向に対して、前記各フォトサイトの線に沿って行なわれる検査は、隣接する緑
フォトサイトの前記有意な輝度変化を示す相対的な輝度が等しくないところまで外側方向
に進むことを特徴とする請求項6に記載の補間方向の判定方法。 - 前記各線に沿っている検査は、検査窓の境界に達した時点で停止されることを特徴とす
る請求項7に記載の補間方向の判定方法。 - 各赤と青フォトサイトに対して、正反対の方向の対に対して得られたスコアを組み合わ
せるステップをさらに含むことを特徴とする請求項6に記載の補間方向の判定方法。 - 赤、緑および青フォトサイトを含むカラーフィルタアレイにおける欠けている色を補間
する色補間方法であって、
エッジ距離情報に基づいて各赤と各青フォトサイトに対して補間方向を判定するステッ
プと、
各赤と各青フォトサイトに対して、前記フォトサイトの判定された補間方向に緑色を補
間するステップと、
各緑フォトサイトに対して、赤と青色を補間するステップと、
各赤フォトサイトに対して、前記フォトサイトの判定された補間方向に青色を補間する
ステップと、
各青フォトサイトに対して、前記フォトサイトの判定された補間方向に赤色を補間する
ステップを含むことを特徴とする色補間方法。 - 前記各赤と各青フォトサイトの補間方向は、前記フォトサイトから最も遠く離れて検出
されたエッジに沿っている方向に対応することを特徴とする請求項10に記載の色補間方
法。 - 前記補間方向を判定するステップは、
前記各赤と各青フォトサイトに対して、複数の方向の各々に隣接しているフォトサイト
を検査するとともに、前記各方向に対してある有意な輝度変化がそのフォトサイトから離
れている距離を表すスコアを生成するステップと、
最も高いスコアに対応する方向をそれぞれの各赤と青フォトサイトの補間方向として選
択するステップとを含むことを特徴とする請求項11に記載の色補間方法。 - 前記検査中、選択されたフォトサイトから前記方向の各々に延びて離れる緑フォトサイ
トが検査されることを特徴とする請求項12に記載の色補間方法。 - 前記検索中、前記方向の各々の複数のフォトサイトの線に沿っている緑フォトサイトが
検査されることを特徴とする請求項13に記載の色補間方法。 - 前記複数の方向は垂直上、垂直下、水平左、水平右、対角右上、対角右下、対角左上、
と対角左下の方向を含むことを特徴とする請求項14に記載の色補間方法。 - 前記各スコアは、前記検査された隣接する緑フォトサイトの相対的輝度に基づいている
ことを特徴とする請求項15に記載の色補間方法。 - 前記検査されたフォトサイトの線の各々のスコアが生成され、かつ前記各方向の線のス
コアがその方向のスコアを与えるように加算されることを特徴とする請求項16に記載の
色補間方法。 - 前記各方向に対して、前記各フォトサイトの線に沿って行なわれる検査は、隣接する緑
フォトサイトの前記有意な輝度変化を示す相対的な輝度が等しくないところまで外側方向
に進むことを特徴とする請求項17に記載の色補間方法。 - 前記各線に沿っている検査は、検査窓の境界に達した時点で停止されることを特徴とす
る請求項18に記載の色補間方法。 - 各赤と青フォトサイトに対して、正反対の方向の対に対して得られたスコアを組み合わ
せるステップをさらに含むことを特徴とする請求項17に記載の色補間方法。 - 赤、緑および青フォトサイトを含むカラーフィルタアレイにおける欠けている色を補間
する色補間装置であって、
エッジ距離情報に基づいて各赤と各青フォトサイトに対して補間方向を判定する手段と
、
各赤と各青フォトサイトに対してそのフォトサイトの判定された補間方向に緑色を補間
する手段と、
各緑フォトサイトに対して、赤と青色を補間する手段と、
各赤フォトサイトに対して、前記フォトサイトの判定された補間方向に青色を補間する
手段と、
各青フォトサイトに対して、前記フォトサイトの判定された補間方向に赤色を補間する
手段とを含むことを特徴とする色補間装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/868,182 US20090092338A1 (en) | 2007-10-05 | 2007-10-05 | Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009095012A true JP2009095012A (ja) | 2009-04-30 |
Family
ID=40523304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008237525A Withdrawn JP2009095012A (ja) | 2007-10-05 | 2008-09-17 | 補間方向の判定方法、色補間方法および色補間装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20090092338A1 (ja) |
JP (1) | JP2009095012A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2939325B1 (fr) * | 2008-12-04 | 2015-10-16 | Parrot | Systeme de drones munis de balises de reconnaissance |
US9013611B1 (en) * | 2013-09-06 | 2015-04-21 | Xilinx, Inc. | Method and device for generating a digital image based upon a selected set of chrominance groups |
US9355315B2 (en) | 2014-07-24 | 2016-05-31 | Microsoft Technology Licensing, Llc | Pupil detection |
US10984505B2 (en) | 2018-01-16 | 2021-04-20 | Dolby Laboratories Licensing Corporation | Image demosaicing system and method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004221838A (ja) * | 2003-01-14 | 2004-08-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2005175590A (ja) * | 2003-12-08 | 2005-06-30 | Olympus Corp | 画像補間装置及び画像補間方法 |
JP2007174276A (ja) * | 2005-12-22 | 2007-07-05 | Sony Corp | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
Family Cites Families (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4308362C1 (de) * | 1993-03-16 | 1994-11-03 | Siemens Ag | Verfahren und Regelanordnungen zur Gleichstromübertragung |
US5382976A (en) * | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
WO1997017811A1 (fr) * | 1995-11-10 | 1997-05-15 | Techno Media Co., Ltd. | Procede et dispositif pour la prise de vue d'image fixe en couleur |
JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
US6611287B1 (en) * | 1997-11-28 | 2003-08-26 | Sony Corporation | Camera signal processing apparatus and camera signal processing method |
US6421084B1 (en) * | 1998-03-02 | 2002-07-16 | Compaq Computer Corporation | Method for interpolating a full color image from a single sensor using multiple threshold-based gradients |
JP4097815B2 (ja) * | 1998-11-24 | 2008-06-11 | 株式会社リコー | 画像処理装置および画像処理方法 |
EP1011262A1 (en) * | 1998-12-10 | 2000-06-21 | Interuniversitair Micro-Elektronica Centrum Vzw | Method and device for determining corrected colour aspects of a pixel in an imaging device |
US6496608B1 (en) * | 1999-01-15 | 2002-12-17 | Picsurf, Inc. | Image data interpolation system and method |
IL131092A (en) * | 1999-07-25 | 2006-08-01 | Orbotech Ltd | Optical inspection system |
US6791609B2 (en) * | 1999-12-20 | 2004-09-14 | Texas Instruments Incorporated | Digital still camera system and method |
US6917381B2 (en) * | 2000-11-30 | 2005-07-12 | Intel Corporation | Color filter array and color interpolation algorithm |
JP4503823B2 (ja) * | 2000-12-22 | 2010-07-14 | 富士フイルム株式会社 | 画像信号処理方法 |
US6900833B2 (en) * | 2001-01-15 | 2005-05-31 | Pentax Corporation | Image interpolating device |
JP3905708B2 (ja) * | 2001-01-26 | 2007-04-18 | ペンタックス株式会社 | 画像補間装置 |
US6900836B2 (en) * | 2001-02-19 | 2005-05-31 | Eastman Kodak Company | Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor |
US20020167602A1 (en) * | 2001-03-20 | 2002-11-14 | Truong-Thao Nguyen | System and method for asymmetrically demosaicing raw data images using color discontinuity equalization |
US6816197B2 (en) * | 2001-03-21 | 2004-11-09 | Hewlett-Packard Development Company, L.P. | Bilateral filtering in a demosaicing process |
JP4641675B2 (ja) * | 2001-07-18 | 2011-03-02 | 三洋電機株式会社 | 画像信号処理装置 |
US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
US6714232B2 (en) * | 2001-08-30 | 2004-03-30 | Eastman Kodak Company | Image producing process and apparatus with magnetic load roller |
US7245326B2 (en) * | 2001-11-19 | 2007-07-17 | Matsushita Electric Industrial Co. Ltd. | Method of edge based interpolation |
US20030117507A1 (en) * | 2001-12-21 | 2003-06-26 | Nasser Kehtarnavaz | Color filter array interpolation |
JP4190805B2 (ja) * | 2002-06-12 | 2008-12-03 | オリンパス株式会社 | 撮像装置 |
US7502057B2 (en) * | 2002-06-20 | 2009-03-10 | Hewlett-Packard Development Company, L.P. | Method and apparatus for color non-uniformity correction in a digital camera |
US7283164B2 (en) * | 2002-09-18 | 2007-10-16 | Micron Technology, Inc. | Method for detecting and correcting defective pixels in a digital image sensor |
JP4019417B2 (ja) * | 2003-01-14 | 2007-12-12 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
EP1439715A1 (en) * | 2003-01-16 | 2004-07-21 | Dialog Semiconductor GmbH | Weighted gradient based colour interpolation for colour filter array |
JP2004229055A (ja) * | 2003-01-24 | 2004-08-12 | Pentax Corp | 画像処理装置 |
WO2004068862A1 (ja) * | 2003-01-31 | 2004-08-12 | The Circle For The Promotion Of Science And Engineering | 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム |
US7133553B2 (en) * | 2003-02-18 | 2006-11-07 | Avago Technologies Sensor Ip Pte. Ltd. | Correlation-based color mosaic interpolation adjustment using luminance gradients |
US7130491B2 (en) * | 2003-03-14 | 2006-10-31 | Hewlett-Packard Development Company, L.P. | System and method for interpolating a color image |
WO2004088992A1 (ja) * | 2003-03-28 | 2004-10-14 | Olympus Corporation | 画像処理装置及び画像処理プログラム |
JP4104495B2 (ja) * | 2003-06-18 | 2008-06-18 | シャープ株式会社 | データ処理装置、画像処理装置およびカメラ |
US7266248B2 (en) * | 2003-08-08 | 2007-09-04 | Hewlett-Packard Development Company, L.P. | Method and apparatus for generating data representative of an image |
US7477803B2 (en) * | 2003-09-12 | 2009-01-13 | Canon Kabushiki Kaisha | Image processing apparatus |
US7525584B2 (en) * | 2004-01-05 | 2009-04-28 | Lifesize Communications, Inc. | Fast edge directed demosaicing |
US7916940B2 (en) * | 2004-01-31 | 2011-03-29 | Hewlett-Packard Development Company | Processing of mosaic digital images |
CN1857008B (zh) * | 2004-02-19 | 2010-05-05 | 三菱电机株式会社 | 图像处理方法 |
US7502505B2 (en) * | 2004-03-15 | 2009-03-10 | Microsoft Corporation | High-quality gradient-corrected linear interpolation for demosaicing of color images |
US7418130B2 (en) * | 2004-04-29 | 2008-08-26 | Hewlett-Packard Development Company, L.P. | Edge-sensitive denoising and color interpolation of digital images |
JP2005354610A (ja) * | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
EP1622393B1 (en) * | 2004-07-30 | 2010-03-31 | STMicroelectronics S.r.l. | Color interpolation using data dependent triangulation |
JP4810807B2 (ja) * | 2004-07-30 | 2011-11-09 | ソニー株式会社 | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム |
WO2007023817A1 (ja) * | 2005-08-23 | 2007-03-01 | Nikon Corporation | 画像処理システムおよび画像処理プログラム |
US7554559B2 (en) * | 2005-11-08 | 2009-06-30 | Intel Corporation | Edge directed de-interlacing |
US7830426B2 (en) * | 2005-12-29 | 2010-11-09 | Micron Technology, Inc. | Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms |
KR100843084B1 (ko) * | 2006-06-22 | 2008-07-02 | 삼성전자주식회사 | 노이즈 저감 방법 및 장치 |
-
2007
- 2007-10-05 US US11/868,182 patent/US20090092338A1/en not_active Abandoned
-
2008
- 2008-09-17 JP JP2008237525A patent/JP2009095012A/ja not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004221838A (ja) * | 2003-01-14 | 2004-08-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2005175590A (ja) * | 2003-12-08 | 2005-06-30 | Olympus Corp | 画像補間装置及び画像補間方法 |
JP2007174276A (ja) * | 2005-12-22 | 2007-07-05 | Sony Corp | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20090092338A1 (en) | 2009-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7825965B2 (en) | Method and apparatus for interpolating missing colors in a color filter array | |
US6724945B1 (en) | Correcting defect pixels in a digital image | |
US6181376B1 (en) | Method of determining missing color values for pixels in a color filter array | |
JP6080190B2 (ja) | デモザイク化の方法 | |
JP4374488B2 (ja) | デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法 | |
US8131067B2 (en) | Image processing apparatus, image processing method, and computer-readable media for attaining image processing | |
US8004588B2 (en) | Image processing procedure for receiving mosaic image data and calculating vertical and horizontal-direction color difference components for each pixel | |
TWI516132B (zh) | An image processing apparatus, an image processing method, and a program | |
JP5904213B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2013031367A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
US8837853B2 (en) | Image processing apparatus, image processing method, information recording medium, and program providing image blur correction | |
JP4946581B2 (ja) | 画像処理装置 | |
JP2004221839A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
CN103828345B (zh) | 用于图像处理的设备、方法以及图像拾取设备 | |
JP2013066157A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP3926363B2 (ja) | 画素信号処理装置及び画素信号処理方法 | |
CN101902548A (zh) | 图像处理设备、成像设备及图像处理方法 | |
JP2009095012A (ja) | 補間方向の判定方法、色補間方法および色補間装置 | |
JP2010016812A (ja) | 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体 | |
TWI524782B (zh) | 影像處理裝置與影像處理方法 | |
JP3697459B2 (ja) | 画像処理方法及び画像処理装置 | |
KR101327790B1 (ko) | 영상 보간 방법 및 장치 | |
JP2004172859A (ja) | 撮像装置および撮像方法 | |
JP2013055622A (ja) | 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム | |
KR100801057B1 (ko) | 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20101207 |