JP2003108999A - 電子カラー画像の色を補正する画像処理方法 - Google Patents
電子カラー画像の色を補正する画像処理方法Info
- Publication number
- JP2003108999A JP2003108999A JP2002207634A JP2002207634A JP2003108999A JP 2003108999 A JP2003108999 A JP 2003108999A JP 2002207634 A JP2002207634 A JP 2002207634A JP 2002207634 A JP2002207634 A JP 2002207634A JP 2003108999 A JP2003108999 A JP 2003108999A
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- pixels
- smoothed
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000012937 correction Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims description 29
- 238000004364 calculation method Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 14
- 239000003086 colorant Substances 0.000 description 12
- 230000008569 process Effects 0.000 description 9
- 238000009499 grossing Methods 0.000 description 8
- 238000013213 extrapolation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- YPELFRMCRYSPKZ-UHFFFAOYSA-N 4-amino-5-chloro-2-ethoxy-N-({4-[(4-fluorophenyl)methyl]morpholin-2-yl}methyl)benzamide Chemical compound CCOC1=CC(N)=C(Cl)C=C1C(=O)NCC1OCCN(CC=2C=CC(F)=CC=2)C1 YPELFRMCRYSPKZ-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【課題】 カラー画像の色を補正する画像処理装置を提
供する。 【解決手段】 カラー画像は異なる色値と輝度値を有す
る画像ピクセルの少なくとも２つのセットからなる。各
色値について、平滑化された画像ピクセルのセットから
なる低空間周波数の単色画像を、色補正関数の演算に基
づいて生成する。一実施形態では、前記平滑化画像ピク
セルのサブセットが選択され、色補正関数がこれらサブ
セットのそれぞれに適用され、対応する補正平滑化画像
ピクセルのサブセットを生成する。補正は、平滑化画像
ピクセルの１つまたは複数の他のセットにおける対応す
る平滑化画像ピクセルからの寄与を含む。補正平滑化画
像ピクセルのサブセットは補間及び／または外挿を行う
ことによって完成される。補正平滑化画像ピクセルのセ
ットそれぞれを使用して補正カラー画像を生成する。
供する。 【解決手段】 カラー画像は異なる色値と輝度値を有す
る画像ピクセルの少なくとも２つのセットからなる。各
色値について、平滑化された画像ピクセルのセットから
なる低空間周波数の単色画像を、色補正関数の演算に基
づいて生成する。一実施形態では、前記平滑化画像ピク
セルのサブセットが選択され、色補正関数がこれらサブ
セットのそれぞれに適用され、対応する補正平滑化画像
ピクセルのサブセットを生成する。補正は、平滑化画像
ピクセルの１つまたは複数の他のセットにおける対応す
る平滑化画像ピクセルからの寄与を含む。補正平滑化画
像ピクセルのサブセットは補間及び／または外挿を行う
ことによって完成される。補正平滑化画像ピクセルのセ
ットそれぞれを使用して補正カラー画像を生成する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、電子カラー画像の
色を補正する画像処理方法及び画像処理装置に関する。 【０００２】 【従来の技術】個々のセンサ素子からなるアレイに交互
パターンのカラーフィルタを採用することによって民生
用カラーセンサを製造することは一般的である。これは
多くの場合カラーモザイクと呼ばれ、一般に使用される
変形は、規則正しい格子上に緑／赤ピクセルの行と青／
緑ピクセルの行が交互になっているＲＧＢベイヤー（Ba
yer）パターンである（従って、緑のピクセルは赤及び
青のピクセルの２倍ある）。カラー平面の再構築（モザ
イク解除（de-mosaicing）とも呼ばれる）の目標は、そ
のようなセンサを用いて取り込んだ画像からフルＲＧＢ
画像を生成することである。 【０００３】単一のカラー平面でフル画像解像度を有す
るものはない。ピクセルの総数に関して、ベイヤーパタ
ーンを用いると、緑が解像度の半分を占め、赤及び青が
それぞれ１／４を占める。 【０００４】人間の目のスペクトル特性に厳密に一致す
るセンサ用のカラーフィルタや、画像を表現または表示
するためにコンピュータで使用される原色に厳密に一致
するセンサ用のカラーフィルタを構築することは非常に
難しい。この理由により、取り込んだ画像を処理して、
検出された色を所望の表色系にマッピングする必要があ
る。 【０００５】取り込んだ画像における色を、人間が同じ
シーンで知覚した色により厳密に一致するように補正す
るため、検出された各色を他の二色の検出された色と適
切な割合で混ぜ合わせることができる。例えば、画像中
のある１つの点における赤色信号の改良は、その点にお
ける赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）を重み付
けして組み合わせることで求めることができる。 【０００６】Ｃｒ（Ｒ）＝ａＲ＋ｂＧ＋ｃＢ ここで、Ｃｒ（ｍ）は、値ｍの赤ピクセルの補正値であ
る。 【０００７】画像のその点におけるすべての色を補正す
るには、３×３行列の乗算を用いることができる。 【０００８】 【数１】 ここで、Ｃ（ｎ）はＲＧＢの３つ組（triplet）ｎにつ
いての補正値である。 【０００９】行列値ａ、ｂ、．．．、ｉは、対比される
人間またはコンピュータの表色系の他、センサの特性、
カメラの光学系、及びシーンの照明に応じて決まる。こ
れらの値の導出は、本発明の範囲外である。 【００１０】色補正プロセスでは、各ピクセル位置にお
ける３つの色値すべてが必要なため、通常はセンサデー
タをモザイク解除した後に色補正プロセスを適用する。
補正では、各色値についてかなりの量の計算、すなわち
各画像においてピクセルごとに９回の乗算と６回の加算
が必要となる。 【００１１】多くの場合、１つのカラーチャネルがその
他のカラーチャネルよりも多くの雑音を有している。例
えば、スチル電子カメラまたはビデオ電子カメラにおい
て一般に使用されるカラー・センサ・アレイは、カラー
画像を生成するために赤色フィルタ、緑色フィルタ及び
青色フィルタを有する。画像における青色チャネルは、
青色フィルタの製造方法のせいで、他のチャネルよりも
暗いことが多い。このため、青色チャネルの信号対雑音
特性は劣る。色補正は異なる色平面を混合し、従って雑
音の多い青色情報が赤色チャネル及び緑色チャネルに混
合されてしまう。この状況は、スペクトル特性の広い低
飽和フィルタ（low saturation filter）の場合はさら
に悪化する。これは、色補正の計算には雑音増幅作用を
有する大きな軸外成分（off-axis component）を持つ行
列を伴うためである。 【００１２】 【発明が解決しようとする課題】本発明の目的は、例え
ば、フィルタモザイクから画像を再構築するとき、色補
正ステップを実行する効率的な方法を提供することにあ
る。 【００１３】 【課題を解決するための手段】本発明の第１の態様によ
れば、カラー画像の色を補正する画像処理方法が提供さ
れる。カラー画像は少なくとも２つの画像ピクセルのセ
ットで構成され、セットはそれぞれ別個の色値を有し、
各ピクセルはカラー画像におけるそのピクセルの色値の
強度を表す輝度値を有している。この方法は、以下に述
べるステップｉ〜ｖを含む。 ｉ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成するステップ。 ｉｉ）少なくとも１つの色値について、前記平滑化画像
ピクセルのサブセットを選択するステップ。 ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正
関数を適用して、１つまたは複数の対応する補正された
平滑化画像ピクセルのサブセットを生成するステップで
あって、前記関数は、各色値について、平滑化画像ピク
セルの１つまたは複数の他のセットにおける対応する平
滑化画像ピクセルからの寄与を含むステップ。 ｉｖ）前記補正された平滑化画像ピクセルから内挿及び
／または外挿を行うことによって、１つまたは複数の補
正された平滑化画像ピクセルのセットを完成させて、元
の平滑化画像ピクセルのサブセットにはない補正された
平滑化画像ピクセルを同様に生成するステップ。 ｖ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成するステップ。 【００１４】また、本発明の第１の態様によれば、プロ
セッサ、ソフトウェア及びメモリを含む、カラー画像の
色補正を行う画像処理装置が提供される。メモリは少な
くとも２つの画像ピクセルのセットを有するカラー画像
を表す画像データを格納し、各セットはそれぞれ別個の
色値を有し、各ピクセルはカラー画像におけるそのピク
セルの色値の強度を表す輝度値を有する。これらのプロ
セッサ、ソフトウェア及びメモリは、以下のａ〜ｅを実
行するように動作する。 ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成する。 ｂ）少なくとも１つの色値について、前記平滑化画像ピ
クセルのサブセットを選択する。 ｃ）前記平滑化画像ピクセルのサブセットに色補正関数
を適用して、１つまたは複数の対応する補正された平滑
化画像ピクセルのサブセットを生成する。前記関数は、
各色値について、平滑化画像ピクセルの１つまたは複数
の他のセットにおける対応する平滑化画像ピクセルから
の寄与を含む。 ｄ）前記補正された平滑化画像ピクセルから内挿及び／
または外挿を行うことによって、１つまたは複数の補正
された平滑化画像ピクセルのセットを完成させて、元の
平滑化画像ピクセルのサブセットにはない補正された平
滑化画像ピクセルを同様に生成する。 ｅ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成する。 本発明は、様々な画像処理システムにおいて有用であ
る。例えば、本発明を使用して、異なる色値をそれぞれ
有するインタリーブされたピクセルのセットから、画像
モザイクとして形成されたカラー画像をモザイク解除す
るよう役立たせることができる。このようなモザイクピ
クセルは、通常、異なる色値のピクセルを持つ画像モザ
イクの行及び列でインタリーブされ、少なくともいくつ
かの行及び／または列が少なくとも二色の画像ピクセル
を含むように画像モザイクを形成する。ベイヤーパター
ンでは、各行及び各列が二色の画像ピクセルを含む。 【００１５】詳細には、無彩色高周波数コンテンツと合
成される前に、カラー画像のカラーコンテンツを処理し
て高周波数コンテンツを除去することができる。従って
本方法は、ステップｖで、元の画像ピクセルから高空間
周波数輝度画像を生成するステップと、高空間周波数輝
度画像を補正されたみのまたは未補正の平滑化画像ピク
セルのセットと合成して、補正されたフルカラー画像を
形成するステップを含むことができる。 【００１６】無彩色高空間周波数画像を使用して画像モ
ザイクから開始して画像ディテールを追加し戻す場合、
高空間周波数輝度画像は、その色値の画像モザイクのピ
クセル位置にわたってのみ各色値について生成されるこ
とが好ましい。次いで、各高空間周波数輝度画像は、対
応する補正された平滑化画像ピクセルのセットと、また
はこのような補正されたセットがない場合には対応する
平滑化画像ピクセルのセットと合成される。 【００１７】中間平滑化画像ピクセルは、行及び列に沿
って同様に並べることができる。低周波数画像にわたる
カラーコンテンツの変化率が低減されるため、色補正
は、すべてのピクセル位置において完全に計算する必要
はない。これにより、要求される処理能力、時間及び関
連するハードウェアコストが大幅に節約される。この結
果、本発明は、画像処理スキームの一部として中間の低
空間周波数画像が生成される場合は、常に有用となる。 【００１８】本発明の第２の態様によれば、カラー画像
の色を補正する画像処理方法が提供される。画像は複数
の画像ピクセルで構成され、各画像ピクセルは少なくと
も２つの色値のうちの一方を有し、また画像におけるそ
のピクセルについての色値の強度を表す輝度値を有して
いる。この方法は、以下に述べるステップＩ〜ＩＶを含
む。 Ｉ）各色値について、平滑化された画像ピクセルからな
る低空間周波数モノクロ画像をその色値のピクセルから
生成するステップ。 ＩＩ）１つまたは複数の色値について色補正関数を前記
平滑化画像ピクセルに適用して、１つまたは複数の対応
する補正された平滑化画像を生成するステップであっ
て、前記関数は、各色値について、１つまたは複数のそ
の他の色値を有する対応する平滑化画像ピクセルからの
寄与を含むステップ。 ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝
度画像を生成するステップ。 ＩＶ）前記高空間周波数輝度画像を前記補正された低空
間周波数モノクロ画像と合成してフルカラー画像を形成
するステップ。 【００１９】この手法は、色補正で使用される画像、す
なわち低空間周波数モノクロ画像における雑音を低減す
る。従って、１つまたは複数のチャネルにおける雑音の
影響は、対応して色補正プロセスについての影響を低減
する。 【００２０】本発明の第１の態様の場合、上記ステップ
ＩＩにおける色補正は、低空間周波数画像ピクセルのサ
ブセットに対してのみ適用することができる。次いで、
ステップＩＶの前に、上記補正された低空間周波数モノ
クロ画像は、補正された平滑化画像ピクセルのサブセッ
トからの内挿及び／または外挿によって完成されて、元
の補正された平滑化画像ピクセルのサブセットにはない
補正された平滑化画像ピクセルを同様に生成する。 【００２１】本発明の第２の態様によれば、プロセッ
サ、ソフトウェア及びメモリを含むカラー画像の色補正
を行う画像処理装置が提供される。メモリは複数の画像
ピクセルを表す画像データを格納し、各画像ピクセルは
少なくとも２つの色値のうちの一方を有し、各ピクセル
は画像におけるそのピクセルの色値の強度を表す輝度値
を有する。これらのプロセッサ、ソフトウェア及びメモ
リは、以下のＡ〜Ｄを実行するように動作する。 Ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成する。 Ｂ）１つまたは複数の色値について色補正関数を前記平
滑化画像ピクセルに適用して、１つまたは複数の対応す
る補正された平滑化画像を生成する。前記関数は、各色
値について、１つまたは複数のその他の色値を有する対
応する平滑化画像ピクセルからの寄与を含む。 Ｃ）前記画像から１つまたは複数の高空間周波数輝度画
像を生成する。 Ｄ）前記高空間周波数輝度画像を前記補正された低空間
周波数モノクロ画像と合成してフルカラー画像を形成す
る。 【００２２】以下の説明は、本発明の第１の態様及び第
２の態様に等しく当てはまる。 【００２３】一般的な色補正方式では、各色値について
１つの色補正された平滑化画像を生成するが、より少数
のまたはただ１つの平滑化画像を色補正するべきである
場合もありうる。 【００２４】用途によっては、例えば画像モザイクデー
タからフルカラー画像を再構築する場合は、各色につい
て生成される低周波数モノクロ画像が元のカラー画像の
すべてのピクセル位置に広がることが好ましいこともあ
る。 【００２５】画像モザイクの場合では、１つの色値のピ
クセルが、元のカラー画像のすべてのピクセル位置を占
めることはない。従って、元の平滑化画像を生成する際
に、少なくとも１つの色値の元の画像ピクセルの間を内
挿して同じ色値の画像ピクセルをさらに作成し、該色値
について対応する内挿画像を生成することが便利である
ことがある。このような内挿は、色補正関数に必要な計
算と比べて比較的少ない計算で実施することができる。 【００２６】ベイヤーパターン状に配列されたモザイク
ピクセルのような、多くの画像モザイク方式では、１つ
の色値のピクセルの数が他の色値のピクセルと比較して
優勢であり、各行及び各列はその優勢な色と他の色のう
ち１つの色の両方の画像ピクセルを含んでいる。 【００２７】本発明の好ましい実施形態では、平滑化画
像ピクセルは、１つおきの行及び１つおきの列の両方に
ある画像ピクセルから構成される。すべての平滑化画像
ピクセルを色補正することと比較して、これは、大きな
画像について７５％に近い量だけ色補正計算を低減す
る。同時に、各内挿した平滑化画像ピクセルまたは外挿
した平滑化画像ピクセルは、色補正された平滑化画像ピ
クセルの１つに隣接する。 【００２８】 【発明の実施の形態】図１は、民生用撮像デバイス、こ
こではハンドヘルド型デジタルカメラ１の一例を示す。
このようなカメラは、撮像素子またはピクセル４の規則
的な二次元アレイを有するカラー画像センサ２を備え
る。典型的な民生用センサアレイは、幅２５００ピクセ
ル、高さ１６００ピクセルの矩形アレイ状に配列され
た、最大４メガピクセルの解像度を持つ。 【００２９】撮像素子は、広範囲の色のスペクトルにつ
いて光を感知するので、センサアレイ２には、モザイク
様パターンのカラーフィルタ６が重ねられる。通常は色
は赤（Ｒ）、緑（Ｇ）及び青（Ｂ）（ＲＧＢ）の三色し
かなく、また色はセンサアレイ２の端から端まで繰り返
されるパターンでインタリーブされる。従って、フィル
タ６の各色の下のアレイ素子４は、それぞれ対応するフ
ィルタ６によって透過された波長を有する光のみを感知
する。 【００３０】多くのフィルタ・パターンが存在するが、
最も一般的なものはベイヤー・フィルタ・パターンであ
る。ベイヤー・フィルタ・パターンは、表１に示すよう
な矩形状格子パターンに配列されたカラーフィルタを持
つピクセルから構成される。 【００３１】 【表１】 ＧＲＧＲ・ ・ ・ＧＲＧＲ ＢＧＢＧ・ ・ ・ＢＧＢＧ ＧＲＧＲ・ ・ ・ＧＲＧＲ ・ ・ ・ ・ ・ ・ ・ ＢＧＢＧ・ ・ ・ＢＧＢＧ ＧＲＧＲ・ ・ ・ＧＲＧＲ ＢＧＢＧ・ ・ ・ＢＧＢＧ ここで、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青色のカ
ラーフィルタを表す。ベイヤー・パターンでは、センサ
アレイの中で緑色ピクセルの数が多くフルセンサ解像度
の半分に寄与しており、赤色ピクセル及び青色ピクセル
はそれぞれ解像度の１／４に寄与する。 【００３２】図２は、デジタル・カメラ１で撮像される
シンボル「・ＵＰ」からなる元の白黒テキスト１０の例
を示す。テキスト１０は、デスクトップ型の文書撮像ア
プリケーションで撮像されるより大きな文書（図示せ
ず）の一部である。図３は、３５個の水平方向のピクセ
ル及び２９個の垂直方向のピクセルからなるセンサアレ
イ２の小部分内のＲＧＢモザイク１２として、テキスト
１０がどのように撮像されるかを示している。 【００３３】ベイヤー・パターンは、３つの色値である
赤１６、緑１７及び青１９について示す図４において最
も明確に観察することができる。緑色ピクセル１４は、
赤色ピクセル１３または青色ピクセル１５の２倍存在す
る。元のテキスト１０は、輝度レベルの異なるピクセル
１３、１４、１５として見ることができる。 【００３４】図５は、画像モザイク１２をどのように処
理して、色補正されモザイク解除されたフルカラー画像
２０を得られるかを示している。まず、各色値１６、１
７、１８について、平滑化画像３３、３４、３５が形成
される。次に、３つの色値１６、１７、１８について、
その特定の色値１６、１７、１８の個々の各ピクセル１
３、１４、１５の輝度レベルと、同じ色値の平滑化画像
の対応する点の輝度レベルの間の差２６、２７、２８が
とられる。この差２６、２７、２８を使用して無彩色高
周波数画像が生成される。無彩色高周波数画像は、その
他の２つの色値の同様の差と合成されると、元のＲＧＢ
画像モザイク１２のすべてのピクセル位置に広がる合成
無彩色高周波数画像３０になる。 【００３５】従って、得られた合成画像３０は、元のＲ
ＧＢ画像１２の白黒高周波数バージョンである。最も便
利なことには、高周波数画像３０は、元のＲＧＢモザイ
ク画像１２での対応するピクセルのセット１３、１４、
１５の位置と一致する合成画像３０での位置における３
つの高周波数画像ピクセルのセット４３、４４、４５か
ら構成される。図５から分かるように、３つのピクセル
４３、４４、４５は異なる輝度値を持つ。 【００３６】平滑化モノクロ画像３３、３４、３５は、
低域通過フィルタリングと組み合わせた二次元内挿によ
って形成される（低域通過フィルタまたは平滑化フィル
タを含む空間フィルタの例は、Gonzalez及びWoodsによ
る「Digital Image Processing」（Addison＆Wesley,pp
189-201,1992）に記載されている。ここで、平滑化画像
３３、３４、３５は、双一次内挿を前処理ステップとし
て用いて、３つの色値１６、１７、１８それぞれについ
て個別に形成される。そして、３つの平滑化画像３３、
３４、３５はすべて、ＲＧＢモザイクパターン１２のす
べての要素に対応する位置に広がる。 【００３７】次に、色値１６、１７、１８の３つの低空
間周波数画像ピクセルのセット３３、３４、３５のうち
の１つまたは複数が以下のように処理され、最大３つの
対応する色補正された低空間周波数画像ピクセル５３、
５４、５５が生成される。図５は、元の３つの平滑化画
像ピクセルのセット３３、３４、３５のすべてが処理さ
れ色補正が行われる一般的な場合を示す。色補正では、
平滑化画像の実際の色を変更する必要はなく、通常は、
最大３つの平滑化ピクセルのセットにおける強度値を補
正である。 【００３８】例えば、はじめに述べたように、画像中の
１点における改良された緑色信号は、その点における赤
色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）を重み付けして組
み合わせたものから求められる。 【００３９】Ｃｇ（Ｇ）＝ａＲ＋ｂＧ＋ｃＢ ここで、Ｃｇ（ｍ）は値ｍの緑色ピクセルの補正値であ
る。 【００４０】画像のその点におけるすべての色を補正す
るには、３×３行列の乗算を用いることができる。 【００４１】 【数２】 ここで、Ｃ（ｎ）はＲＧＢの三つ組ｎの補正値である。 【００４２】色補正は３つの色値１６、１７、１８のす
べてについて必要だが、簡潔のために、緑の色値１７に
ついての一色のみの補正の詳細について以下に述べる。
計算要件を低減するために、本発明は、完全な平滑化画
像ピクセルのセット３３、３４、３５のサブセット６
３、６４、６５に対してのみ色補正を実行することを提
示する。 【００４３】ここで、値Ｇ１〜Ｇ９で表される３×３ブ
ロックの未補正の低空間周波数平滑化された緑色の画像
ピクセルを考える。 【００４４】 【表２】 Ｇ１ Ｇ２ Ｇ３ Ｇ４ Ｇ５ Ｇ６ Ｇ７ Ｇ８ Ｇ９ 対応する色補正された低空間周波数の緑色の値ｇ１〜ｇ
９は、以下のように表すことができる。 【００４５】 【表３】 ｇｌ ｇ２ ｇ３ ｇ４ ｇ５ ｇ６ ｇ７ ｇ８ ｇ９ 角にある値Ｇ１、Ｇ３、Ｇ７及びＧ９からなる平滑化画
像ピクセルＧ１〜Ｇ９のサブセットが選択される。色補
正計算は、これら４つの画像ピクセルに対してのみ行わ
れ、他の画像ピクセルは以下のように内挿される。 【００４６】 【表４】 【００４７】当然であるが、選択可能なサブセットは他
にも多く考えられ、また選択されたサブセットにおいて
ではない補正された画像ピクセルを計算するためには他
にも多くの内挿または外挿方式がある。しかし、選択さ
れた平滑化画像ピクセルが１つおきの行及び１つおきの
列の両方からとられる本例では、要求される計算を大幅
に節約するという優れた結果が得られる。 【００４８】本明細書で述べる方法では、従来の色補正
方法と比べて必要な計算がはるかに少ない。例えば、上
記方法で必要な計算はおよそ１／４であり、検出可能な
画質の低下はわずかかまたは全くない。 【００４９】さらに、色補正は任意のカラーチャネルの
雑音が平滑化される低空間周波数ピクセルに対して行わ
れるため、色補正に際して色平面の間で雑音が混合され
ることがなく、または色補正された画像の雑音量が増大
することがない。 【００５０】色補正後、画像を以下のようにしてモザイ
ク解除することができる。各高周波数ピクセル４３、４
４、４５について、無彩色高周波数輝度値が３つの色補
正された平滑化画像５３、５４、５５の対応する部分に
加えられ（５０）、モザイク解除されたフルカラー画像
２０が生成される。色値１６、１７、１８のうちの１つ
または２つが色補正を必要としない場合は、補正されな
い色値についての計算のこの段階において、元の未補正
平滑化画像ピクセルのセット３３、３４、３５が対応す
る高周波数ピクセル４３、４４、４５と合成される。 【００５１】この方法は、電子ハードウェアでの計算が
比較的容易であるという利点を持ち、その一方色補正さ
れた画像の再構築された画質も優れている。 【００５２】平滑化を行う前に個々の色平面を全解像度
まで内挿して、その後に色補正のために平滑化したバー
ジョンをサンプリングするよりも、モザイクパターンを
空間的にフィルタリングして低空間解像度画像を生成す
るモザイクピクセル位置の数を低減することによって、
必要な計算をさらに低減することが可能である。この結
果、他の場合よりも低い空間周波数を持つ平滑化画像が
生成される（平滑化の程度自体が、空間解像度の変化に
適応するように低減されない限り）が、上述したよう
に、高周波数を加えることで画像のディテールが再度取
り入れられるので、情報コンテンツが最終的に大きく失
われることはない。例えば図４に示す緑色ピクセル１４
と赤色ピクセル１３の両方を持つ列５４（または行）に
おける緑色ピクセルのような、緑色ピクセル１４のサブ
セットについてのみ、平滑化画像が計算されることが好
ましい。ベイヤー・パターンについては、平滑化に必要
な計算の１／４が必要となり、その一方画質は略一定に
保たれる。 【００５３】赤色ピクセル１３及び青色ピクセル１５に
ついては、初期の内挿段階を回避し、また未処理の赤色
及び青色のピクセルだけから形成される画像に対する平
滑化を行うことになる。 【００５４】従って、各高空間周波数画像４４、４５、
４６は、その色値の画像モザイクピクセル１６、１７、
１８の輝度値と、同じ色値１６、１７、１８の平滑化モ
ノクロ画像３３、３４、３５の対応する部分の輝度値の
間の差２６、２７、２８から、色値１６、１７、１８に
ついて形成される。 【００５５】言い換えると、各モザイクピクセルの高周
波数成分は、同じ色値についての平滑化画像バージョン
の対応する位置からモザイク値を差し引くことによって
与えられる。 【００５６】そして、各高空間周波数画像３０を、その
色値の色補正された平滑化モノクロ画像５３、５４、５
５の対応する部分に加えることによって、色補正されモ
ザイク解除されたフルカラー画像２０が各色値１６、１
７、１８について形成される。 【００５７】このプロセスはハードウェアで容易に実現
することができ、図６のブロック図と図７のフローチャ
ートに示されている。 【００５８】シャッタ解放機構８は、ユーザによって起
動されると、デジタル信号プロセッサ（ＤＳＰ）を含む
マイクロプロセッサ・ユニット７２に信号７１を送る。
マイクロプロセッサは初期化信号７３をタイミング発生
器７４に送り、これによってタイミング発生器７４は、
トリガ信号７５を電子画像センサユニット７６に送る。 【００５９】センサ７６は、検出素子（典型的にフォト
ゲート（photogate）またはフォトダイオード構造）の
アレイからなる撮像領域７７とシリアル読み出しレジス
タ７８から構成される。シリアル読み出しレジスタ７８
では、増幅器８０を介してアナログ信号７９が生成され
る。この信号７９は、センサユニット７６がトリガ信号
７５を受信したときに生成される。 【００６０】増幅されたアナログ信号７９は、Ａ／Ｄユ
ニット８２によってデジタル信号８１に変換される。得
られた未処理のデジタル画像データは、揮発性メモリ８
４に一時的に格納される。 【００６１】本発明による画像処理はマイクロプロセッ
サ・ユニット７２によって実行することができる。マイ
クロプロセッサは、ハードウェアの専用ブロックの形態
で追加のＤＳＰ機能を含み、特定の機能を実行すること
ができる。または、別のより汎用的なＤＳＰコプロセッ
サを含むこともできる。 【００６２】処理自体は、図７のフローチャートで説明
するステップに従って実行することができる。これらの
ステップには前処理段階９２が含まれる。事前処理段階
９２には、一般にセンサのＯＥＣＦ（光電子変換機能）
の補正と照明のばらつきを補償するホワイトバランシン
グの補正が含まれる。上述の色補正とモザイク解除段階
９４の後に、後続する後処理段階９６には、露出補正
（前処理段階で行うこともできる）とｓＲＧＢ等の標準
の色空間への変換（IEC61966-2-1に記載のように）が含
まれる。最後に、ユビキタスＪＰＥＧ方式等の標準的な
画像圧縮方式を使用して、再構築されたＲＧＢ画像デー
タを圧縮して（９８）、長期メモリ８８に格納すること
ができる。 【００６３】さらに、表示装置９０を設計に組み込んで
もよい。画像をライブで表示して、さらなる復元処理段
階１００を必要とする長期メモリからのビューファイン
ディングまたはレビューを容易に行うことができる。 【００６４】本発明の好ましい実施形態をベイヤー・パ
ターンの画像ピクセルを参照して説明してきたが、本発
明は、すべての行及び／または列が少なくとも二色の画
像ピクセルを含むわけではない場合にも適用することが
できる。例えば、モザイクの中には、赤／青の行または
列でインタリーブされた全て緑の行及び列を持つものが
ある。本発明は、このような画像モザイクにも等しく適
用することができる。 【００６５】未処理の画像フレーム全体を揮発性メモリ
に格納することは必ずしも必要ではない。画像処理は実
行中に（on the fly）行うことができるため、必要とな
るのは画像パイプラインの実行に必要な量のメモリだけ
である。従って、最初の数行の画像データがセンサから
メモリに読み出された後に、画像の開始のために圧縮画
像データを生成し、これを長期メモリに格納することが
可能である。これは、すべてのプロセスが本質的に局所
的であり、画像の限られた領域に対してのみ作用すると
いうことから生ずる。 【００６６】言い換えると、プロセスの各段階で構築さ
れる「画像」は画像全体に広がるデータの完全なセット
であるが、実用的には、これにより、メモリ及び可能な
スループットに関するコストが付加される。従って、プ
ロセスの各段階で使用される「画像」は、一般に局所的
に動作するプロセスを使用して別個に作成される。制限
内で、隣接するピクセルから単一ピクセルについてのす
べての計算を実行することができる。 【００６７】本発明は、完全なＲＧＢ画像を再構築する
間、すべてのセンサ素子からの画像のディテールを維持
する。本発明は、無彩色高周波数画像と低周波数の赤、
緑及び青（または他の原色の組み合わせ）の画像との合
成に基づいている任意の方式に組み込まれることができ
る。本発明は、加算（additive）再構築方式に組み込ま
れるのが好ましく、これによって無彩色高周波数が各低
周波数カラーチャネルに加えられる。 【００６８】色を補正し、画像モザイクデータからフル
カラー画像を再構築する上記方法は、演算処理上魅力的
であり、モザイクの３つの色値すべてを利用して高解像
度カラー画像を生成する。この方法はまた、色補正プロ
セスにおける元のカラーチャネルの雑音の影響を大幅に
低減する。 【００６９】色補正計算では、低周波数画像の１つおき
のピクセル行及び列について色補正が計算され、その結
果が他の近隣ピクセルへと内挿されるとき、速度と品質
の間で好ましい折り合いが得られる。 【００７０】本発明は、カラー・モザイク・センサから
の画像データをモザイク解除するという状況で特に有用
であるが、色補正または色空間変換が必要な他の状況に
おいても（補正すべき画像がすでに各ピクセルについて
赤、緑及び青の値を有する場合ですらも）、適用するこ
とが可能である。例えば、印刷のために異なる色空間に
マッピングされるべき画像を、３つの低周波数色区分と
１つまたは複数の高周波数成分に変換することができ
る。低周波数区分は低減された空間解像度で色補正さ
れ、続いて高周波成分と再合成される前に内挿して元の
解像度に戻すことができる。このように、計算量が低減
されかつ潜在的に画質が改善された変換を実行すること
ができる。 【００７１】さらに、上述の例では画像データは画像モ
ザイクのものであったが、本発明は、元のカラー画像で
各位置が重なっている場合や、複数の色値のピクセルが
同時発生する場合にも適用することができる。このよう
な画像は、３つのＣＣＤセンサを有する撮像システムに
よって、フラットベッド・カラー・スキャナによって、
または別の登録されたＲＧＢ画像のセットからカラー画
像を形成する他の撮像システムによって生成することが
できる。 【００７２】本発明は、赤、緑及び青の各カラーチャネ
ルにおけるフルセンサ解像度で高品質の画像を色補正し
再構築する、画像雑音に対する感度を低減した効率的な
方法を提供する。 【００７３】本発明には、例として以下の実施形態が含
まれる。 【００７４】（１）少なくとも２つの画像ピクセルのセ
ットから構成されるカラー画像の色を補正する画像処理
方法であって、前記セットはそれぞれ別個の色値を有
し、前記ピクセルは前記カラー画像におけるそのピクセ
ルの色値の強度を表す輝度値を有しており、前記方法
は、 ｉ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成するステップと、 ｉｉ）少なくとも１つの色値について、前記平滑化画像
ピクセルのサブセットを選択するステップと、 ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正
関数を適用して、１つまたは複数の対応する補正された
平滑化画像ピクセルのサブセットを生成するステップで
あって、前記関数は、各色値について、平滑化画像ピク
セルの１つまたは複数の他のセットにおける対応する平
滑化画像ピクセルからの寄与を含む、ステップと、 ｉｖ）前記補正された平滑化画像ピクセルから内挿及び
／または外挿を行うことによって、１つまたは複数の補
正された平滑化画像ピクセルのセットを完成させて、元
の平滑化画像ピクセルのサブセットにはない補正された
平滑化画像ピクセルを同様に生成するステップと、ｖ）
前記補正された平滑化画像ピクセルのセットを使用して
補正されたカラー画像を生成するステップと、を含む画
像処理方法。 【００７５】（２）前記ステップｖは、前記元の画像ピ
クセルから高空間周波数輝度画像を生成するステップ
と、前記高空間周波数輝度画像を前記補正されたまたは
未補正の平滑化画像ピクセルのセットと合成して、前記
補正されたフルカラー画像を形成するステップを含む、
上記(１)に記載の画像処理方法。 【００７６】（３）前記カラー画像は画像モザイクであ
り、各色値についての前記画像モザイクのピクセル位置
にのみ広がる高空間周波数輝度画像が各色値について生
成され、前記高空間周波数輝度画像は、前記対応する補
正された平滑化画像ピクセルのセットと、またはこのよ
うな補正されたセットがない場合には前記対応する平滑
化画像ピクセルのセットと合成される、上記(２)に記載
の方法。 【００７７】（４）複数の画像ピクセルから構成される
カラー画像の色を補正する画像処理方法であって、各画
像ピクセルは少なくとも２つの色値のうちの一方と、前
記画像におけるそのピクセルの前記色値の強度を表す輝
度値とを有しており、前記方法は、 Ｉ）各色値について、平滑化された画像ピクセルからな
る低空間周波数モノクロ画像をその色値のピクセルから
生成するステップと、 ＩＩ）１つまたは複数の色値について色補正関数を前記
平滑化画像ピクセルに適用して、１つまたは複数の対応
する補正された平滑化画像を生成するステップであっ
て、前記関数は、各色値について、１つまたは複数のそ
の他の色値を有する対応する平滑化画像ピクセルからの
寄与を含む、ステップと、 ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝
度画像を生成するステップと、 ＩＶ）前記高空間周波数輝度画像を前記補正された低空
間周波数モノクロ画像と合成してフルカラー画像を形成
するステップと、 を含む画像処理方法。 【００７８】（５）Ｖ）前記ステップＩＩにおいて、前
記色補正は低空間周波数画像ピクセルのサブセットにの
み適用され、 ＶＩ）前記ステップＩＶの前に、前記補正された平滑化
画像ピクセルのサブセットから内挿及び／または外挿を
行うことによって前記補正された低空間周波数モノクロ
画像が完成されて、前記元の補正された平滑化画像ピク
セルのサブセットにはない補正された平滑化画像ピクセ
ルを同様に生成する、上記(４)に記載の画像処理方法。 【００７９】（６）前記カラー画像は画像モザイクであ
り、各色値のピクセルは異なる色値のピクセルを持つ前
記画像モザイクの端から端まで行及び列でインタリーブ
されて、少なくともいくつかの行及び／または列が少な
くとも２色の画像ピクセルを含むように前記画像モザイ
クを形成する、上記(１)ないし(５)のいずれかに記載の
画像処理方法。 【００８０】（７）１つの色値のピクセルはその他の色
値のピクセルと比較して多数であり、各行及び各列は前
記多数の色とその他の色のうち１つの色の両方の画像ピ
クセルを含む、上記(６)に記載の画像処理方法。 【００８１】（８）前記平滑化画像ピクセルは１つおき
の行及び１つおきの列の両方にある画像ピクセルからな
る、上記(７)に記載の画像処理方法。 【００８２】（９）前記低周波数モノクロ画像は、前記
元のカラー画像のすべてのピクセル位置に広がる、上記
(１)ないし(８)のいずれかに記載の画像処理方法。 【００８３】（１０）前記色値は赤、緑及び青を含み、
前記画像モザイクでは緑ピクセルが多数である、上記
(１)ないし(９)のいずれかに記載の画像処理方法。 【００８４】（１１）プロセッサ、ソフトウェア及びメ
モリを備えるカラー画像の補正を行う画像処理装置であ
って、前記メモリは少なくとも２つの画像ピクセルのセ
ットを有するカラー画像を表す画像データを格納し、前
記セットはそれぞれ別個の色値を有し、前記ピクセルは
前記カラー画像におけるそのピクセルの色値の強度を表
す輝度値を有しており、前記プロセッサ、ソフトウェア
及びメモリは、 ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成し、 ｂ）少なくとも１つの色値について、前記平滑化画像ピ
クセルのサブセットを選択し、 ｃ）前記平滑化画像ピクセルのサブセットに色補正関数
を適用して、１つまたは複数の対応する補正された平滑
化画像ピクセルのサブセットを生成し、前記関数は、各
色値について、平滑化画像ピクセルの１つまたは複数の
他のセットにおける対応する平滑化画像ピクセルからの
寄与を含み、 ｄ）前記補正された平滑化画像ピクセルから内挿及び／
または外挿を行うことによって、１つまたは複数の補正
された平滑化画像ピクセルのセットを完成させて、元の
平滑化画像ピクセルのサブセットにはない補正された平
滑化画像ピクセルを同様に生成し、 ｅ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成するように動作する、
画像処理装置。 【００８５】（１２）プロセッサ、ソフトウェア及びメ
モリを備えるカラー画像の補正を行う画像処理装置であ
って、前記メモリは複数の画像ピクセルを表す画像デー
タを格納し、前記画像ピクセルは少なくとも２つの色値
のうちの一方と、前記画像におけるそのピクセルの色値
の強度を表す輝度値とを有しており、前記プロセッサ、
ソフトウェア及びメモリは、 Ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成し、 Ｂ）１つまたは複数の色値について色補正関数を前記平
滑化画像ピクセルに適用して、１つまたは複数の対応す
る補正された平滑化画像を生成し、前記関数は、各色値
について、１つまたは複数のその他の色値を有する対応
する平滑化画像ピクセルからの寄与を含み、 Ｃ）前記画像から１つまたは複数の高空間周波数輝度画
像を生成し、 Ｄ）前記高空間周波数輝度画像を前記補正された低空間
周波数モノクロ画像と合成してフルカラー画像を形成す
るように動作する、画像処理装置。
色を補正する画像処理方法及び画像処理装置に関する。 【０００２】 【従来の技術】個々のセンサ素子からなるアレイに交互
パターンのカラーフィルタを採用することによって民生
用カラーセンサを製造することは一般的である。これは
多くの場合カラーモザイクと呼ばれ、一般に使用される
変形は、規則正しい格子上に緑／赤ピクセルの行と青／
緑ピクセルの行が交互になっているＲＧＢベイヤー（Ba
yer）パターンである（従って、緑のピクセルは赤及び
青のピクセルの２倍ある）。カラー平面の再構築（モザ
イク解除（de-mosaicing）とも呼ばれる）の目標は、そ
のようなセンサを用いて取り込んだ画像からフルＲＧＢ
画像を生成することである。 【０００３】単一のカラー平面でフル画像解像度を有す
るものはない。ピクセルの総数に関して、ベイヤーパタ
ーンを用いると、緑が解像度の半分を占め、赤及び青が
それぞれ１／４を占める。 【０００４】人間の目のスペクトル特性に厳密に一致す
るセンサ用のカラーフィルタや、画像を表現または表示
するためにコンピュータで使用される原色に厳密に一致
するセンサ用のカラーフィルタを構築することは非常に
難しい。この理由により、取り込んだ画像を処理して、
検出された色を所望の表色系にマッピングする必要があ
る。 【０００５】取り込んだ画像における色を、人間が同じ
シーンで知覚した色により厳密に一致するように補正す
るため、検出された各色を他の二色の検出された色と適
切な割合で混ぜ合わせることができる。例えば、画像中
のある１つの点における赤色信号の改良は、その点にお
ける赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）を重み付
けして組み合わせることで求めることができる。 【０００６】Ｃｒ（Ｒ）＝ａＲ＋ｂＧ＋ｃＢ ここで、Ｃｒ（ｍ）は、値ｍの赤ピクセルの補正値であ
る。 【０００７】画像のその点におけるすべての色を補正す
るには、３×３行列の乗算を用いることができる。 【０００８】 【数１】 ここで、Ｃ（ｎ）はＲＧＢの３つ組（triplet）ｎにつ
いての補正値である。 【０００９】行列値ａ、ｂ、．．．、ｉは、対比される
人間またはコンピュータの表色系の他、センサの特性、
カメラの光学系、及びシーンの照明に応じて決まる。こ
れらの値の導出は、本発明の範囲外である。 【００１０】色補正プロセスでは、各ピクセル位置にお
ける３つの色値すべてが必要なため、通常はセンサデー
タをモザイク解除した後に色補正プロセスを適用する。
補正では、各色値についてかなりの量の計算、すなわち
各画像においてピクセルごとに９回の乗算と６回の加算
が必要となる。 【００１１】多くの場合、１つのカラーチャネルがその
他のカラーチャネルよりも多くの雑音を有している。例
えば、スチル電子カメラまたはビデオ電子カメラにおい
て一般に使用されるカラー・センサ・アレイは、カラー
画像を生成するために赤色フィルタ、緑色フィルタ及び
青色フィルタを有する。画像における青色チャネルは、
青色フィルタの製造方法のせいで、他のチャネルよりも
暗いことが多い。このため、青色チャネルの信号対雑音
特性は劣る。色補正は異なる色平面を混合し、従って雑
音の多い青色情報が赤色チャネル及び緑色チャネルに混
合されてしまう。この状況は、スペクトル特性の広い低
飽和フィルタ（low saturation filter）の場合はさら
に悪化する。これは、色補正の計算には雑音増幅作用を
有する大きな軸外成分（off-axis component）を持つ行
列を伴うためである。 【００１２】 【発明が解決しようとする課題】本発明の目的は、例え
ば、フィルタモザイクから画像を再構築するとき、色補
正ステップを実行する効率的な方法を提供することにあ
る。 【００１３】 【課題を解決するための手段】本発明の第１の態様によ
れば、カラー画像の色を補正する画像処理方法が提供さ
れる。カラー画像は少なくとも２つの画像ピクセルのセ
ットで構成され、セットはそれぞれ別個の色値を有し、
各ピクセルはカラー画像におけるそのピクセルの色値の
強度を表す輝度値を有している。この方法は、以下に述
べるステップｉ〜ｖを含む。 ｉ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成するステップ。 ｉｉ）少なくとも１つの色値について、前記平滑化画像
ピクセルのサブセットを選択するステップ。 ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正
関数を適用して、１つまたは複数の対応する補正された
平滑化画像ピクセルのサブセットを生成するステップで
あって、前記関数は、各色値について、平滑化画像ピク
セルの１つまたは複数の他のセットにおける対応する平
滑化画像ピクセルからの寄与を含むステップ。 ｉｖ）前記補正された平滑化画像ピクセルから内挿及び
／または外挿を行うことによって、１つまたは複数の補
正された平滑化画像ピクセルのセットを完成させて、元
の平滑化画像ピクセルのサブセットにはない補正された
平滑化画像ピクセルを同様に生成するステップ。 ｖ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成するステップ。 【００１４】また、本発明の第１の態様によれば、プロ
セッサ、ソフトウェア及びメモリを含む、カラー画像の
色補正を行う画像処理装置が提供される。メモリは少な
くとも２つの画像ピクセルのセットを有するカラー画像
を表す画像データを格納し、各セットはそれぞれ別個の
色値を有し、各ピクセルはカラー画像におけるそのピク
セルの色値の強度を表す輝度値を有する。これらのプロ
セッサ、ソフトウェア及びメモリは、以下のａ〜ｅを実
行するように動作する。 ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成する。 ｂ）少なくとも１つの色値について、前記平滑化画像ピ
クセルのサブセットを選択する。 ｃ）前記平滑化画像ピクセルのサブセットに色補正関数
を適用して、１つまたは複数の対応する補正された平滑
化画像ピクセルのサブセットを生成する。前記関数は、
各色値について、平滑化画像ピクセルの１つまたは複数
の他のセットにおける対応する平滑化画像ピクセルから
の寄与を含む。 ｄ）前記補正された平滑化画像ピクセルから内挿及び／
または外挿を行うことによって、１つまたは複数の補正
された平滑化画像ピクセルのセットを完成させて、元の
平滑化画像ピクセルのサブセットにはない補正された平
滑化画像ピクセルを同様に生成する。 ｅ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成する。 本発明は、様々な画像処理システムにおいて有用であ
る。例えば、本発明を使用して、異なる色値をそれぞれ
有するインタリーブされたピクセルのセットから、画像
モザイクとして形成されたカラー画像をモザイク解除す
るよう役立たせることができる。このようなモザイクピ
クセルは、通常、異なる色値のピクセルを持つ画像モザ
イクの行及び列でインタリーブされ、少なくともいくつ
かの行及び／または列が少なくとも二色の画像ピクセル
を含むように画像モザイクを形成する。ベイヤーパター
ンでは、各行及び各列が二色の画像ピクセルを含む。 【００１５】詳細には、無彩色高周波数コンテンツと合
成される前に、カラー画像のカラーコンテンツを処理し
て高周波数コンテンツを除去することができる。従って
本方法は、ステップｖで、元の画像ピクセルから高空間
周波数輝度画像を生成するステップと、高空間周波数輝
度画像を補正されたみのまたは未補正の平滑化画像ピク
セルのセットと合成して、補正されたフルカラー画像を
形成するステップを含むことができる。 【００１６】無彩色高空間周波数画像を使用して画像モ
ザイクから開始して画像ディテールを追加し戻す場合、
高空間周波数輝度画像は、その色値の画像モザイクのピ
クセル位置にわたってのみ各色値について生成されるこ
とが好ましい。次いで、各高空間周波数輝度画像は、対
応する補正された平滑化画像ピクセルのセットと、また
はこのような補正されたセットがない場合には対応する
平滑化画像ピクセルのセットと合成される。 【００１７】中間平滑化画像ピクセルは、行及び列に沿
って同様に並べることができる。低周波数画像にわたる
カラーコンテンツの変化率が低減されるため、色補正
は、すべてのピクセル位置において完全に計算する必要
はない。これにより、要求される処理能力、時間及び関
連するハードウェアコストが大幅に節約される。この結
果、本発明は、画像処理スキームの一部として中間の低
空間周波数画像が生成される場合は、常に有用となる。 【００１８】本発明の第２の態様によれば、カラー画像
の色を補正する画像処理方法が提供される。画像は複数
の画像ピクセルで構成され、各画像ピクセルは少なくと
も２つの色値のうちの一方を有し、また画像におけるそ
のピクセルについての色値の強度を表す輝度値を有して
いる。この方法は、以下に述べるステップＩ〜ＩＶを含
む。 Ｉ）各色値について、平滑化された画像ピクセルからな
る低空間周波数モノクロ画像をその色値のピクセルから
生成するステップ。 ＩＩ）１つまたは複数の色値について色補正関数を前記
平滑化画像ピクセルに適用して、１つまたは複数の対応
する補正された平滑化画像を生成するステップであっ
て、前記関数は、各色値について、１つまたは複数のそ
の他の色値を有する対応する平滑化画像ピクセルからの
寄与を含むステップ。 ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝
度画像を生成するステップ。 ＩＶ）前記高空間周波数輝度画像を前記補正された低空
間周波数モノクロ画像と合成してフルカラー画像を形成
するステップ。 【００１９】この手法は、色補正で使用される画像、す
なわち低空間周波数モノクロ画像における雑音を低減す
る。従って、１つまたは複数のチャネルにおける雑音の
影響は、対応して色補正プロセスについての影響を低減
する。 【００２０】本発明の第１の態様の場合、上記ステップ
ＩＩにおける色補正は、低空間周波数画像ピクセルのサ
ブセットに対してのみ適用することができる。次いで、
ステップＩＶの前に、上記補正された低空間周波数モノ
クロ画像は、補正された平滑化画像ピクセルのサブセッ
トからの内挿及び／または外挿によって完成されて、元
の補正された平滑化画像ピクセルのサブセットにはない
補正された平滑化画像ピクセルを同様に生成する。 【００２１】本発明の第２の態様によれば、プロセッ
サ、ソフトウェア及びメモリを含むカラー画像の色補正
を行う画像処理装置が提供される。メモリは複数の画像
ピクセルを表す画像データを格納し、各画像ピクセルは
少なくとも２つの色値のうちの一方を有し、各ピクセル
は画像におけるそのピクセルの色値の強度を表す輝度値
を有する。これらのプロセッサ、ソフトウェア及びメモ
リは、以下のＡ〜Ｄを実行するように動作する。 Ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成する。 Ｂ）１つまたは複数の色値について色補正関数を前記平
滑化画像ピクセルに適用して、１つまたは複数の対応す
る補正された平滑化画像を生成する。前記関数は、各色
値について、１つまたは複数のその他の色値を有する対
応する平滑化画像ピクセルからの寄与を含む。 Ｃ）前記画像から１つまたは複数の高空間周波数輝度画
像を生成する。 Ｄ）前記高空間周波数輝度画像を前記補正された低空間
周波数モノクロ画像と合成してフルカラー画像を形成す
る。 【００２２】以下の説明は、本発明の第１の態様及び第
２の態様に等しく当てはまる。 【００２３】一般的な色補正方式では、各色値について
１つの色補正された平滑化画像を生成するが、より少数
のまたはただ１つの平滑化画像を色補正するべきである
場合もありうる。 【００２４】用途によっては、例えば画像モザイクデー
タからフルカラー画像を再構築する場合は、各色につい
て生成される低周波数モノクロ画像が元のカラー画像の
すべてのピクセル位置に広がることが好ましいこともあ
る。 【００２５】画像モザイクの場合では、１つの色値のピ
クセルが、元のカラー画像のすべてのピクセル位置を占
めることはない。従って、元の平滑化画像を生成する際
に、少なくとも１つの色値の元の画像ピクセルの間を内
挿して同じ色値の画像ピクセルをさらに作成し、該色値
について対応する内挿画像を生成することが便利である
ことがある。このような内挿は、色補正関数に必要な計
算と比べて比較的少ない計算で実施することができる。 【００２６】ベイヤーパターン状に配列されたモザイク
ピクセルのような、多くの画像モザイク方式では、１つ
の色値のピクセルの数が他の色値のピクセルと比較して
優勢であり、各行及び各列はその優勢な色と他の色のう
ち１つの色の両方の画像ピクセルを含んでいる。 【００２７】本発明の好ましい実施形態では、平滑化画
像ピクセルは、１つおきの行及び１つおきの列の両方に
ある画像ピクセルから構成される。すべての平滑化画像
ピクセルを色補正することと比較して、これは、大きな
画像について７５％に近い量だけ色補正計算を低減す
る。同時に、各内挿した平滑化画像ピクセルまたは外挿
した平滑化画像ピクセルは、色補正された平滑化画像ピ
クセルの１つに隣接する。 【００２８】 【発明の実施の形態】図１は、民生用撮像デバイス、こ
こではハンドヘルド型デジタルカメラ１の一例を示す。
このようなカメラは、撮像素子またはピクセル４の規則
的な二次元アレイを有するカラー画像センサ２を備え
る。典型的な民生用センサアレイは、幅２５００ピクセ
ル、高さ１６００ピクセルの矩形アレイ状に配列され
た、最大４メガピクセルの解像度を持つ。 【００２９】撮像素子は、広範囲の色のスペクトルにつ
いて光を感知するので、センサアレイ２には、モザイク
様パターンのカラーフィルタ６が重ねられる。通常は色
は赤（Ｒ）、緑（Ｇ）及び青（Ｂ）（ＲＧＢ）の三色し
かなく、また色はセンサアレイ２の端から端まで繰り返
されるパターンでインタリーブされる。従って、フィル
タ６の各色の下のアレイ素子４は、それぞれ対応するフ
ィルタ６によって透過された波長を有する光のみを感知
する。 【００３０】多くのフィルタ・パターンが存在するが、
最も一般的なものはベイヤー・フィルタ・パターンであ
る。ベイヤー・フィルタ・パターンは、表１に示すよう
な矩形状格子パターンに配列されたカラーフィルタを持
つピクセルから構成される。 【００３１】 【表１】 ＧＲＧＲ・ ・ ・ＧＲＧＲ ＢＧＢＧ・ ・ ・ＢＧＢＧ ＧＲＧＲ・ ・ ・ＧＲＧＲ ・ ・ ・ ・ ・ ・ ・ ＢＧＢＧ・ ・ ・ＢＧＢＧ ＧＲＧＲ・ ・ ・ＧＲＧＲ ＢＧＢＧ・ ・ ・ＢＧＢＧ ここで、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青色のカ
ラーフィルタを表す。ベイヤー・パターンでは、センサ
アレイの中で緑色ピクセルの数が多くフルセンサ解像度
の半分に寄与しており、赤色ピクセル及び青色ピクセル
はそれぞれ解像度の１／４に寄与する。 【００３２】図２は、デジタル・カメラ１で撮像される
シンボル「・ＵＰ」からなる元の白黒テキスト１０の例
を示す。テキスト１０は、デスクトップ型の文書撮像ア
プリケーションで撮像されるより大きな文書（図示せ
ず）の一部である。図３は、３５個の水平方向のピクセ
ル及び２９個の垂直方向のピクセルからなるセンサアレ
イ２の小部分内のＲＧＢモザイク１２として、テキスト
１０がどのように撮像されるかを示している。 【００３３】ベイヤー・パターンは、３つの色値である
赤１６、緑１７及び青１９について示す図４において最
も明確に観察することができる。緑色ピクセル１４は、
赤色ピクセル１３または青色ピクセル１５の２倍存在す
る。元のテキスト１０は、輝度レベルの異なるピクセル
１３、１４、１５として見ることができる。 【００３４】図５は、画像モザイク１２をどのように処
理して、色補正されモザイク解除されたフルカラー画像
２０を得られるかを示している。まず、各色値１６、１
７、１８について、平滑化画像３３、３４、３５が形成
される。次に、３つの色値１６、１７、１８について、
その特定の色値１６、１７、１８の個々の各ピクセル１
３、１４、１５の輝度レベルと、同じ色値の平滑化画像
の対応する点の輝度レベルの間の差２６、２７、２８が
とられる。この差２６、２７、２８を使用して無彩色高
周波数画像が生成される。無彩色高周波数画像は、その
他の２つの色値の同様の差と合成されると、元のＲＧＢ
画像モザイク１２のすべてのピクセル位置に広がる合成
無彩色高周波数画像３０になる。 【００３５】従って、得られた合成画像３０は、元のＲ
ＧＢ画像１２の白黒高周波数バージョンである。最も便
利なことには、高周波数画像３０は、元のＲＧＢモザイ
ク画像１２での対応するピクセルのセット１３、１４、
１５の位置と一致する合成画像３０での位置における３
つの高周波数画像ピクセルのセット４３、４４、４５か
ら構成される。図５から分かるように、３つのピクセル
４３、４４、４５は異なる輝度値を持つ。 【００３６】平滑化モノクロ画像３３、３４、３５は、
低域通過フィルタリングと組み合わせた二次元内挿によ
って形成される（低域通過フィルタまたは平滑化フィル
タを含む空間フィルタの例は、Gonzalez及びWoodsによ
る「Digital Image Processing」（Addison＆Wesley,pp
189-201,1992）に記載されている。ここで、平滑化画像
３３、３４、３５は、双一次内挿を前処理ステップとし
て用いて、３つの色値１６、１７、１８それぞれについ
て個別に形成される。そして、３つの平滑化画像３３、
３４、３５はすべて、ＲＧＢモザイクパターン１２のす
べての要素に対応する位置に広がる。 【００３７】次に、色値１６、１７、１８の３つの低空
間周波数画像ピクセルのセット３３、３４、３５のうち
の１つまたは複数が以下のように処理され、最大３つの
対応する色補正された低空間周波数画像ピクセル５３、
５４、５５が生成される。図５は、元の３つの平滑化画
像ピクセルのセット３３、３４、３５のすべてが処理さ
れ色補正が行われる一般的な場合を示す。色補正では、
平滑化画像の実際の色を変更する必要はなく、通常は、
最大３つの平滑化ピクセルのセットにおける強度値を補
正である。 【００３８】例えば、はじめに述べたように、画像中の
１点における改良された緑色信号は、その点における赤
色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）を重み付けして組
み合わせたものから求められる。 【００３９】Ｃｇ（Ｇ）＝ａＲ＋ｂＧ＋ｃＢ ここで、Ｃｇ（ｍ）は値ｍの緑色ピクセルの補正値であ
る。 【００４０】画像のその点におけるすべての色を補正す
るには、３×３行列の乗算を用いることができる。 【００４１】 【数２】 ここで、Ｃ（ｎ）はＲＧＢの三つ組ｎの補正値である。 【００４２】色補正は３つの色値１６、１７、１８のす
べてについて必要だが、簡潔のために、緑の色値１７に
ついての一色のみの補正の詳細について以下に述べる。
計算要件を低減するために、本発明は、完全な平滑化画
像ピクセルのセット３３、３４、３５のサブセット６
３、６４、６５に対してのみ色補正を実行することを提
示する。 【００４３】ここで、値Ｇ１〜Ｇ９で表される３×３ブ
ロックの未補正の低空間周波数平滑化された緑色の画像
ピクセルを考える。 【００４４】 【表２】 Ｇ１ Ｇ２ Ｇ３ Ｇ４ Ｇ５ Ｇ６ Ｇ７ Ｇ８ Ｇ９ 対応する色補正された低空間周波数の緑色の値ｇ１〜ｇ
９は、以下のように表すことができる。 【００４５】 【表３】 ｇｌ ｇ２ ｇ３ ｇ４ ｇ５ ｇ６ ｇ７ ｇ８ ｇ９ 角にある値Ｇ１、Ｇ３、Ｇ７及びＧ９からなる平滑化画
像ピクセルＧ１〜Ｇ９のサブセットが選択される。色補
正計算は、これら４つの画像ピクセルに対してのみ行わ
れ、他の画像ピクセルは以下のように内挿される。 【００４６】 【表４】 【００４７】当然であるが、選択可能なサブセットは他
にも多く考えられ、また選択されたサブセットにおいて
ではない補正された画像ピクセルを計算するためには他
にも多くの内挿または外挿方式がある。しかし、選択さ
れた平滑化画像ピクセルが１つおきの行及び１つおきの
列の両方からとられる本例では、要求される計算を大幅
に節約するという優れた結果が得られる。 【００４８】本明細書で述べる方法では、従来の色補正
方法と比べて必要な計算がはるかに少ない。例えば、上
記方法で必要な計算はおよそ１／４であり、検出可能な
画質の低下はわずかかまたは全くない。 【００４９】さらに、色補正は任意のカラーチャネルの
雑音が平滑化される低空間周波数ピクセルに対して行わ
れるため、色補正に際して色平面の間で雑音が混合され
ることがなく、または色補正された画像の雑音量が増大
することがない。 【００５０】色補正後、画像を以下のようにしてモザイ
ク解除することができる。各高周波数ピクセル４３、４
４、４５について、無彩色高周波数輝度値が３つの色補
正された平滑化画像５３、５４、５５の対応する部分に
加えられ（５０）、モザイク解除されたフルカラー画像
２０が生成される。色値１６、１７、１８のうちの１つ
または２つが色補正を必要としない場合は、補正されな
い色値についての計算のこの段階において、元の未補正
平滑化画像ピクセルのセット３３、３４、３５が対応す
る高周波数ピクセル４３、４４、４５と合成される。 【００５１】この方法は、電子ハードウェアでの計算が
比較的容易であるという利点を持ち、その一方色補正さ
れた画像の再構築された画質も優れている。 【００５２】平滑化を行う前に個々の色平面を全解像度
まで内挿して、その後に色補正のために平滑化したバー
ジョンをサンプリングするよりも、モザイクパターンを
空間的にフィルタリングして低空間解像度画像を生成す
るモザイクピクセル位置の数を低減することによって、
必要な計算をさらに低減することが可能である。この結
果、他の場合よりも低い空間周波数を持つ平滑化画像が
生成される（平滑化の程度自体が、空間解像度の変化に
適応するように低減されない限り）が、上述したよう
に、高周波数を加えることで画像のディテールが再度取
り入れられるので、情報コンテンツが最終的に大きく失
われることはない。例えば図４に示す緑色ピクセル１４
と赤色ピクセル１３の両方を持つ列５４（または行）に
おける緑色ピクセルのような、緑色ピクセル１４のサブ
セットについてのみ、平滑化画像が計算されることが好
ましい。ベイヤー・パターンについては、平滑化に必要
な計算の１／４が必要となり、その一方画質は略一定に
保たれる。 【００５３】赤色ピクセル１３及び青色ピクセル１５に
ついては、初期の内挿段階を回避し、また未処理の赤色
及び青色のピクセルだけから形成される画像に対する平
滑化を行うことになる。 【００５４】従って、各高空間周波数画像４４、４５、
４６は、その色値の画像モザイクピクセル１６、１７、
１８の輝度値と、同じ色値１６、１７、１８の平滑化モ
ノクロ画像３３、３４、３５の対応する部分の輝度値の
間の差２６、２７、２８から、色値１６、１７、１８に
ついて形成される。 【００５５】言い換えると、各モザイクピクセルの高周
波数成分は、同じ色値についての平滑化画像バージョン
の対応する位置からモザイク値を差し引くことによって
与えられる。 【００５６】そして、各高空間周波数画像３０を、その
色値の色補正された平滑化モノクロ画像５３、５４、５
５の対応する部分に加えることによって、色補正されモ
ザイク解除されたフルカラー画像２０が各色値１６、１
７、１８について形成される。 【００５７】このプロセスはハードウェアで容易に実現
することができ、図６のブロック図と図７のフローチャ
ートに示されている。 【００５８】シャッタ解放機構８は、ユーザによって起
動されると、デジタル信号プロセッサ（ＤＳＰ）を含む
マイクロプロセッサ・ユニット７２に信号７１を送る。
マイクロプロセッサは初期化信号７３をタイミング発生
器７４に送り、これによってタイミング発生器７４は、
トリガ信号７５を電子画像センサユニット７６に送る。 【００５９】センサ７６は、検出素子（典型的にフォト
ゲート（photogate）またはフォトダイオード構造）の
アレイからなる撮像領域７７とシリアル読み出しレジス
タ７８から構成される。シリアル読み出しレジスタ７８
では、増幅器８０を介してアナログ信号７９が生成され
る。この信号７９は、センサユニット７６がトリガ信号
７５を受信したときに生成される。 【００６０】増幅されたアナログ信号７９は、Ａ／Ｄユ
ニット８２によってデジタル信号８１に変換される。得
られた未処理のデジタル画像データは、揮発性メモリ８
４に一時的に格納される。 【００６１】本発明による画像処理はマイクロプロセッ
サ・ユニット７２によって実行することができる。マイ
クロプロセッサは、ハードウェアの専用ブロックの形態
で追加のＤＳＰ機能を含み、特定の機能を実行すること
ができる。または、別のより汎用的なＤＳＰコプロセッ
サを含むこともできる。 【００６２】処理自体は、図７のフローチャートで説明
するステップに従って実行することができる。これらの
ステップには前処理段階９２が含まれる。事前処理段階
９２には、一般にセンサのＯＥＣＦ（光電子変換機能）
の補正と照明のばらつきを補償するホワイトバランシン
グの補正が含まれる。上述の色補正とモザイク解除段階
９４の後に、後続する後処理段階９６には、露出補正
（前処理段階で行うこともできる）とｓＲＧＢ等の標準
の色空間への変換（IEC61966-2-1に記載のように）が含
まれる。最後に、ユビキタスＪＰＥＧ方式等の標準的な
画像圧縮方式を使用して、再構築されたＲＧＢ画像デー
タを圧縮して（９８）、長期メモリ８８に格納すること
ができる。 【００６３】さらに、表示装置９０を設計に組み込んで
もよい。画像をライブで表示して、さらなる復元処理段
階１００を必要とする長期メモリからのビューファイン
ディングまたはレビューを容易に行うことができる。 【００６４】本発明の好ましい実施形態をベイヤー・パ
ターンの画像ピクセルを参照して説明してきたが、本発
明は、すべての行及び／または列が少なくとも二色の画
像ピクセルを含むわけではない場合にも適用することが
できる。例えば、モザイクの中には、赤／青の行または
列でインタリーブされた全て緑の行及び列を持つものが
ある。本発明は、このような画像モザイクにも等しく適
用することができる。 【００６５】未処理の画像フレーム全体を揮発性メモリ
に格納することは必ずしも必要ではない。画像処理は実
行中に（on the fly）行うことができるため、必要とな
るのは画像パイプラインの実行に必要な量のメモリだけ
である。従って、最初の数行の画像データがセンサから
メモリに読み出された後に、画像の開始のために圧縮画
像データを生成し、これを長期メモリに格納することが
可能である。これは、すべてのプロセスが本質的に局所
的であり、画像の限られた領域に対してのみ作用すると
いうことから生ずる。 【００６６】言い換えると、プロセスの各段階で構築さ
れる「画像」は画像全体に広がるデータの完全なセット
であるが、実用的には、これにより、メモリ及び可能な
スループットに関するコストが付加される。従って、プ
ロセスの各段階で使用される「画像」は、一般に局所的
に動作するプロセスを使用して別個に作成される。制限
内で、隣接するピクセルから単一ピクセルについてのす
べての計算を実行することができる。 【００６７】本発明は、完全なＲＧＢ画像を再構築する
間、すべてのセンサ素子からの画像のディテールを維持
する。本発明は、無彩色高周波数画像と低周波数の赤、
緑及び青（または他の原色の組み合わせ）の画像との合
成に基づいている任意の方式に組み込まれることができ
る。本発明は、加算（additive）再構築方式に組み込ま
れるのが好ましく、これによって無彩色高周波数が各低
周波数カラーチャネルに加えられる。 【００６８】色を補正し、画像モザイクデータからフル
カラー画像を再構築する上記方法は、演算処理上魅力的
であり、モザイクの３つの色値すべてを利用して高解像
度カラー画像を生成する。この方法はまた、色補正プロ
セスにおける元のカラーチャネルの雑音の影響を大幅に
低減する。 【００６９】色補正計算では、低周波数画像の１つおき
のピクセル行及び列について色補正が計算され、その結
果が他の近隣ピクセルへと内挿されるとき、速度と品質
の間で好ましい折り合いが得られる。 【００７０】本発明は、カラー・モザイク・センサから
の画像データをモザイク解除するという状況で特に有用
であるが、色補正または色空間変換が必要な他の状況に
おいても（補正すべき画像がすでに各ピクセルについて
赤、緑及び青の値を有する場合ですらも）、適用するこ
とが可能である。例えば、印刷のために異なる色空間に
マッピングされるべき画像を、３つの低周波数色区分と
１つまたは複数の高周波数成分に変換することができ
る。低周波数区分は低減された空間解像度で色補正さ
れ、続いて高周波成分と再合成される前に内挿して元の
解像度に戻すことができる。このように、計算量が低減
されかつ潜在的に画質が改善された変換を実行すること
ができる。 【００７１】さらに、上述の例では画像データは画像モ
ザイクのものであったが、本発明は、元のカラー画像で
各位置が重なっている場合や、複数の色値のピクセルが
同時発生する場合にも適用することができる。このよう
な画像は、３つのＣＣＤセンサを有する撮像システムに
よって、フラットベッド・カラー・スキャナによって、
または別の登録されたＲＧＢ画像のセットからカラー画
像を形成する他の撮像システムによって生成することが
できる。 【００７２】本発明は、赤、緑及び青の各カラーチャネ
ルにおけるフルセンサ解像度で高品質の画像を色補正し
再構築する、画像雑音に対する感度を低減した効率的な
方法を提供する。 【００７３】本発明には、例として以下の実施形態が含
まれる。 【００７４】（１）少なくとも２つの画像ピクセルのセ
ットから構成されるカラー画像の色を補正する画像処理
方法であって、前記セットはそれぞれ別個の色値を有
し、前記ピクセルは前記カラー画像におけるそのピクセ
ルの色値の強度を表す輝度値を有しており、前記方法
は、 ｉ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成するステップと、 ｉｉ）少なくとも１つの色値について、前記平滑化画像
ピクセルのサブセットを選択するステップと、 ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正
関数を適用して、１つまたは複数の対応する補正された
平滑化画像ピクセルのサブセットを生成するステップで
あって、前記関数は、各色値について、平滑化画像ピク
セルの１つまたは複数の他のセットにおける対応する平
滑化画像ピクセルからの寄与を含む、ステップと、 ｉｖ）前記補正された平滑化画像ピクセルから内挿及び
／または外挿を行うことによって、１つまたは複数の補
正された平滑化画像ピクセルのセットを完成させて、元
の平滑化画像ピクセルのサブセットにはない補正された
平滑化画像ピクセルを同様に生成するステップと、ｖ）
前記補正された平滑化画像ピクセルのセットを使用して
補正されたカラー画像を生成するステップと、を含む画
像処理方法。 【００７５】（２）前記ステップｖは、前記元の画像ピ
クセルから高空間周波数輝度画像を生成するステップ
と、前記高空間周波数輝度画像を前記補正されたまたは
未補正の平滑化画像ピクセルのセットと合成して、前記
補正されたフルカラー画像を形成するステップを含む、
上記(１)に記載の画像処理方法。 【００７６】（３）前記カラー画像は画像モザイクであ
り、各色値についての前記画像モザイクのピクセル位置
にのみ広がる高空間周波数輝度画像が各色値について生
成され、前記高空間周波数輝度画像は、前記対応する補
正された平滑化画像ピクセルのセットと、またはこのよ
うな補正されたセットがない場合には前記対応する平滑
化画像ピクセルのセットと合成される、上記(２)に記載
の方法。 【００７７】（４）複数の画像ピクセルから構成される
カラー画像の色を補正する画像処理方法であって、各画
像ピクセルは少なくとも２つの色値のうちの一方と、前
記画像におけるそのピクセルの前記色値の強度を表す輝
度値とを有しており、前記方法は、 Ｉ）各色値について、平滑化された画像ピクセルからな
る低空間周波数モノクロ画像をその色値のピクセルから
生成するステップと、 ＩＩ）１つまたは複数の色値について色補正関数を前記
平滑化画像ピクセルに適用して、１つまたは複数の対応
する補正された平滑化画像を生成するステップであっ
て、前記関数は、各色値について、１つまたは複数のそ
の他の色値を有する対応する平滑化画像ピクセルからの
寄与を含む、ステップと、 ＩＩＩ）前記画像から１つまたは複数の高空間周波数輝
度画像を生成するステップと、 ＩＶ）前記高空間周波数輝度画像を前記補正された低空
間周波数モノクロ画像と合成してフルカラー画像を形成
するステップと、 を含む画像処理方法。 【００７８】（５）Ｖ）前記ステップＩＩにおいて、前
記色補正は低空間周波数画像ピクセルのサブセットにの
み適用され、 ＶＩ）前記ステップＩＶの前に、前記補正された平滑化
画像ピクセルのサブセットから内挿及び／または外挿を
行うことによって前記補正された低空間周波数モノクロ
画像が完成されて、前記元の補正された平滑化画像ピク
セルのサブセットにはない補正された平滑化画像ピクセ
ルを同様に生成する、上記(４)に記載の画像処理方法。 【００７９】（６）前記カラー画像は画像モザイクであ
り、各色値のピクセルは異なる色値のピクセルを持つ前
記画像モザイクの端から端まで行及び列でインタリーブ
されて、少なくともいくつかの行及び／または列が少な
くとも２色の画像ピクセルを含むように前記画像モザイ
クを形成する、上記(１)ないし(５)のいずれかに記載の
画像処理方法。 【００８０】（７）１つの色値のピクセルはその他の色
値のピクセルと比較して多数であり、各行及び各列は前
記多数の色とその他の色のうち１つの色の両方の画像ピ
クセルを含む、上記(６)に記載の画像処理方法。 【００８１】（８）前記平滑化画像ピクセルは１つおき
の行及び１つおきの列の両方にある画像ピクセルからな
る、上記(７)に記載の画像処理方法。 【００８２】（９）前記低周波数モノクロ画像は、前記
元のカラー画像のすべてのピクセル位置に広がる、上記
(１)ないし(８)のいずれかに記載の画像処理方法。 【００８３】（１０）前記色値は赤、緑及び青を含み、
前記画像モザイクでは緑ピクセルが多数である、上記
(１)ないし(９)のいずれかに記載の画像処理方法。 【００８４】（１１）プロセッサ、ソフトウェア及びメ
モリを備えるカラー画像の補正を行う画像処理装置であ
って、前記メモリは少なくとも２つの画像ピクセルのセ
ットを有するカラー画像を表す画像データを格納し、前
記セットはそれぞれ別個の色値を有し、前記ピクセルは
前記カラー画像におけるそのピクセルの色値の強度を表
す輝度値を有しており、前記プロセッサ、ソフトウェア
及びメモリは、 ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成し、 ｂ）少なくとも１つの色値について、前記平滑化画像ピ
クセルのサブセットを選択し、 ｃ）前記平滑化画像ピクセルのサブセットに色補正関数
を適用して、１つまたは複数の対応する補正された平滑
化画像ピクセルのサブセットを生成し、前記関数は、各
色値について、平滑化画像ピクセルの１つまたは複数の
他のセットにおける対応する平滑化画像ピクセルからの
寄与を含み、 ｄ）前記補正された平滑化画像ピクセルから内挿及び／
または外挿を行うことによって、１つまたは複数の補正
された平滑化画像ピクセルのセットを完成させて、元の
平滑化画像ピクセルのサブセットにはない補正された平
滑化画像ピクセルを同様に生成し、 ｅ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成するように動作する、
画像処理装置。 【００８５】（１２）プロセッサ、ソフトウェア及びメ
モリを備えるカラー画像の補正を行う画像処理装置であ
って、前記メモリは複数の画像ピクセルを表す画像デー
タを格納し、前記画像ピクセルは少なくとも２つの色値
のうちの一方と、前記画像におけるそのピクセルの色値
の強度を表す輝度値とを有しており、前記プロセッサ、
ソフトウェア及びメモリは、 Ａ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成し、 Ｂ）１つまたは複数の色値について色補正関数を前記平
滑化画像ピクセルに適用して、１つまたは複数の対応す
る補正された平滑化画像を生成し、前記関数は、各色値
について、１つまたは複数のその他の色値を有する対応
する平滑化画像ピクセルからの寄与を含み、 Ｃ）前記画像から１つまたは複数の高空間周波数輝度画
像を生成し、 Ｄ）前記高空間周波数輝度画像を前記補正された低空間
周波数モノクロ画像と合成してフルカラー画像を形成す
るように動作する、画像処理装置。
【図面の簡単な説明】
【図１】赤、緑、及び青（ＲＧＢ）の撮像素子を有する
カラー・センサ・アレイを備える従来の電子カメラの内
部構成要素のいくつかを概略的に示す図である。 【図２】図１に示したようなカラー・センサ・アレイで
撮像される白黒テキストの例を示す図である。 【図３】ＲＧＢモザイク画像として取り込まれたテキス
トを示す図である。 【図４】図３の画像モザイクにおける赤色ピクセル、緑
色ピクセル及び青色ピクセルの配列を示す図である。 【図５】赤色ピクセル、緑色ピクセル及び青色ピクセル
が本発明による方法でどのように処理され各色値につい
て１つの色補正されたの中間平滑化画像を生じるか、及
び補正された画像をどのように使用して、モザイク解除
され色補正されたフルカラー画像を生成するかを概略的
に示す図である。 【図６】プロセッサ、ソフトウェア及びメモリを備え
た、画像モザイクをモザイク解除してフルカラー画像を
形成する本発明による装置の回路略図である。 【図７】画像モザイクをモザイク解除してフルカラー画
像をもたらす本発明による方法の好ましい実施形態を示
すフローチャートである。
カラー・センサ・アレイを備える従来の電子カメラの内
部構成要素のいくつかを概略的に示す図である。 【図２】図１に示したようなカラー・センサ・アレイで
撮像される白黒テキストの例を示す図である。 【図３】ＲＧＢモザイク画像として取り込まれたテキス
トを示す図である。 【図４】図３の画像モザイクにおける赤色ピクセル、緑
色ピクセル及び青色ピクセルの配列を示す図である。 【図５】赤色ピクセル、緑色ピクセル及び青色ピクセル
が本発明による方法でどのように処理され各色値につい
て１つの色補正されたの中間平滑化画像を生じるか、及
び補正された画像をどのように使用して、モザイク解除
され色補正されたフルカラー画像を生成するかを概略的
に示す図である。 【図６】プロセッサ、ソフトウェア及びメモリを備え
た、画像モザイクをモザイク解除してフルカラー画像を
形成する本発明による装置の回路略図である。 【図７】画像モザイクをモザイク解除してフルカラー画
像をもたらす本発明による方法の好ましい実施形態を示
すフローチャートである。
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 9/64 Ｈ０４Ｎ 1/40 Ｄ
(72)発明者 ステファン・バーナード・ポラード
イギリス国 ジー・エル11 ５エス・エル
グロスターシャー、エヌ・アール・ダー
ズリー、ウレイ、ザ・ストリート 51，バ
ーンウェル・コテージ
Ｆターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12
CA16 CB01 CB08 CB12 CB16
CE05 CE17
5C065 AA03 BB10 CC01 CC08 CC09
DD02
5C066 AA01 CA06 GA01 GA05 GB03
HA01 JA01 KE07 KM02
5C077 LL01 MM03 MP08 PP02 PP32
PP37 PQ12 RR19 TT09
5C079 HB01 JA14 JA23 LA14 LA28
LB01 MA11 NA01
Claims (1)
- 【特許請求の範囲】 【請求項１】 少なくとも２つの画像ピクセルのセット
から構成されるカラー画像の色を補正する画像処理方法
であって、前記セットはそれぞれ別個の色値を有し、前
記ピクセルは前記カラー画像におけるそのピクセルの色
値の強度を表す輝度値を有しており、 前記方法は、 ｉ）各色値について、平滑化された画像ピクセルのセッ
トからなる低空間周波数モノクロ画像をその色値のピク
セルから生成するステップと、 ｉｉ）少なくとも１つの色値について、前記平滑化画像
ピクセルのサブセットを選択するステップと、 ｉｉｉ）前記平滑化画像ピクセルのサブセットに色補正
関数を適用して、１つまたは複数の対応する補正された
平滑化画像ピクセルのサブセットを生成するステップで
あって、前記関数は、各色値について、平滑化画像ピク
セルの１つまたは複数の他のセットにおける対応する平
滑化画像ピクセルからの寄与を含む、ステップと、 ｉｖ）前記補正された平滑化画像ピクセルから内挿及び
／または外挿を行うことによって、１つまたは複数の補
正された平滑化画像ピクセルのセットを完成させて、元
の平滑化画像ピクセルのサブセットにはない補正された
平滑化画像ピクセルを同様に生成するステップと、 ｖ）前記補正された平滑化画像ピクセルのセットを使用
して補正されたカラー画像を生成するステップと、 を含む画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB0118456A GB2378077A (en) | 2001-07-27 | 2001-07-27 | Electronic image colour plane reconstruction |
| GB0118456.3 | 2001-07-27 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003108999A true JP2003108999A (ja) | 2003-04-11 |
| JP2003108999A5 JP2003108999A5 (ja) | 2005-09-08 |
| JP4142360B2 JP4142360B2 (ja) | 2008-09-03 |
Family
ID=9919389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002207634A Expired - Lifetime JP4142360B2 (ja) | 2001-07-27 | 2002-07-17 | 電子カラー画像の色を補正する画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7072509B2 (ja) |
| JP (1) | JP4142360B2 (ja) |
| GB (2) | GB2408888B (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033821A (ja) * | 2004-06-24 | 2006-02-02 | Hewlett-Packard Development Co Lp | 画像処理 |
| JP2007041834A (ja) * | 2005-08-03 | 2007-02-15 | Olympus Corp | 画像処理装置 |
| JP2011243233A (ja) * | 2011-09-09 | 2011-12-01 | Olympus Corp | 画像処理装置 |
| KR101493694B1 (ko) * | 2008-08-01 | 2015-02-16 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체 |
| KR101538655B1 (ko) * | 2008-11-21 | 2015-07-22 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| US7082218B2 (en) * | 2001-07-27 | 2006-07-25 | Hewlett-Packard Development Company, L.P. | Color correction of images |
| GB2408888B (en) | 2001-07-27 | 2006-02-22 | Hewlett Packard Co | Electronic image colour plane reconstruction |
| US6992707B2 (en) * | 2002-03-06 | 2006-01-31 | Hewlett-Packard Development Company, L.P. | Delayed encoding based joint video and still image pipeline with still burst mode |
| JP2003274264A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 撮像装置及び映像信号生成方法 |
| JP4133029B2 (ja) * | 2002-06-25 | 2008-08-13 | 富士フイルム株式会社 | 画像処理方法および装置 |
| JP4115220B2 (ja) * | 2002-09-19 | 2008-07-09 | キヤノン株式会社 | 撮像装置 |
| TWI225362B (en) * | 2003-06-19 | 2004-12-11 | Benq Corp | Color correcting device and method for image forming apparatus |
| US20060023217A1 (en) * | 2004-05-28 | 2006-02-02 | Chemimage Corporation | Method and apparatus for producing a mosaic image |
| US7656441B2 (en) * | 2005-01-05 | 2010-02-02 | Eastman Kodak Company | Hue correction for electronic imagers |
| IL173418A (en) * | 2006-01-29 | 2013-10-31 | Rafael Advanced Defense Sys | Correction of unevenness of characters produced by staring detectors |
| US7609307B2 (en) * | 2006-09-13 | 2009-10-27 | National Chiao Tung University | Heterogeneity-projection hard-decision interpolation method for color reproduction |
| KR101872233B1 (ko) | 2011-04-19 | 2018-06-29 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고휘도 투사형 디스플레이들 및 관련 방법들 |
| JP6083678B2 (ja) * | 2013-12-25 | 2017-02-22 | パナソニックＩｐマネジメント株式会社 | 画像処理装置 |
| US20150363912A1 (en) * | 2014-06-12 | 2015-12-17 | Samsung Electronics Co., Ltd. | Rgbw demosaic method by combining rgb chrominance with w luminance |
| TWI600324B (zh) * | 2014-06-23 | 2017-09-21 | Infrared Focal Plane Array Module Performance Parameters Measurement Method and Detection of Dead pixels | |
| DE102016112968B4 (de) * | 2016-07-14 | 2018-06-14 | Basler Ag | Bestimmung von Farbwerten für Pixel an Zwischenpositionen |
| US11423515B2 (en) * | 2019-11-06 | 2022-08-23 | Canon Kabushiki Kaisha | Image processing apparatus |
| JP7437921B2 (ja) | 2019-11-22 | 2024-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5189511A (en) * | 1990-03-19 | 1993-02-23 | Eastman Kodak Company | Method and apparatus for improving the color rendition of hardcopy images from electronic cameras |
| DE19509345A1 (de) * | 1995-03-15 | 1996-09-19 | Ver Glaswerke Gmbh | Verfahren zum Erkennen und Bewerten von Fehlern in teilreflektierenden Oberflächenschichten |
| JP3830598B2 (ja) * | 1996-12-19 | 2006-10-04 | 大日本印刷株式会社 | 色調修正方法 |
| US5965875A (en) | 1998-04-24 | 1999-10-12 | Foveon, Inc. | Color separation in an active pixel cell imaging array using a triple-well structure |
| EP1011262A1 (en) * | 1998-12-10 | 2000-06-21 | Interuniversitair Micro-Elektronica Centrum Vzw | Method and device for determining corrected colour aspects of a pixel in an imaging device |
| US6836289B2 (en) * | 1999-12-20 | 2004-12-28 | Texas Instruments Incorporated | Digital still camera architecture with red and blue interpolation using green as weighting factors |
| US6724945B1 (en) * | 2000-05-24 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | Correcting defect pixels in a digital image |
| GB2408888B (en) | 2001-07-27 | 2006-02-22 | Hewlett Packard Co | Electronic image colour plane reconstruction |
| US6982752B2 (en) | 2001-08-23 | 2006-01-03 | Motorola, Inc | Circuit and method for correcting a digital color sampled signal |
| US6642932B2 (en) * | 2001-09-13 | 2003-11-04 | The Hong Kong University Of Science And Technology | Method and system for interpolation in color images |
-
2001
- 2001-07-27 GB GB0428147A patent/GB2408888B/en not_active Expired - Fee Related
- 2001-07-27 GB GB0118456A patent/GB2378077A/en not_active Withdrawn
-
2002
- 2002-04-30 US US10/134,491 patent/US7072509B2/en not_active Expired - Lifetime
- 2002-07-17 JP JP2002207634A patent/JP4142360B2/ja not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033821A (ja) * | 2004-06-24 | 2006-02-02 | Hewlett-Packard Development Co Lp | 画像処理 |
| JP4689366B2 (ja) * | 2004-06-24 | 2011-05-25 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | 画像処理 |
| JP2007041834A (ja) * | 2005-08-03 | 2007-02-15 | Olympus Corp | 画像処理装置 |
| KR101493694B1 (ko) * | 2008-08-01 | 2015-02-16 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을실행시키기 위한 프로그램을 저장한 기록매체 |
| KR101538655B1 (ko) * | 2008-11-21 | 2015-07-22 | 삼성전자주식회사 | 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체 |
| JP2011243233A (ja) * | 2011-09-09 | 2011-12-01 | Olympus Corp | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030021474A1 (en) | 2003-01-30 |
| GB2378077A (en) | 2003-01-29 |
| GB0118456D0 (en) | 2001-09-19 |
| JP4142360B2 (ja) | 2008-09-03 |
| GB0428147D0 (en) | 2005-01-26 |
| GB2408888B (en) | 2006-02-22 |
| GB2408888A (en) | 2005-06-08 |
| US7072509B2 (en) | 2006-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4142360B2 (ja) | 電子カラー画像の色を補正する画像処理方法 | |
| US7082218B2 (en) | Color correction of images | |
| US7006686B2 (en) | Image mosaic data reconstruction | |
| US5373322A (en) | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients | |
| JP4233257B2 (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
| US5506619A (en) | Adaptive color plan interpolation in single sensor color electronic camera | |
| US6978050B2 (en) | Electronic image color plane reconstruction | |
| JP5123212B2 (ja) | パンクロマチック画素及びカラー画素の補間 | |
| JP4161295B2 (ja) | 画像センサのダイナミックレンジを拡大するカラー画像撮像システム | |
| JP4351825B2 (ja) | カラーのディジタルイメージを収集する方法 | |
| US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
| JP7349806B2 (ja) | 画像処理方法及びフィルタアレイ | |
| JP2004343685A (ja) | 重み付け勾配ベースの色補正された補間 | |
| JP2009153013A (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
| JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| TW200903347A (en) | Edge mapping using panchromatic pixels | |
| WO2002056603A1 (en) | Imaging device | |
| US20090046182A1 (en) | Pixel aspect ratio correction using panchromatic pixels | |
| KR20080106585A (ko) | 컬러 비디오 신호 생성 방법 및 장치 | |
| WO2002056602A1 (fr) | Dispositif de traitement d'image | |
| US7071978B2 (en) | Image mosaic data reconstruction | |
| EP2442556A1 (en) | Apparatus and method for capturing images with high dynamic range | |
| JP4246428B2 (ja) | トーンスケール関数の生成方法 | |
| WO2007082289A2 (en) | Color filter array with neutral elements and color image formation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050315 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080109 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080603 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080612 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4142360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120620 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130620 Year of fee payment: 5 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |