JP2007159141A - 色補正計算方法 - Google Patents

色補正計算方法 Download PDF

Info

Publication number
JP2007159141A
JP2007159141A JP2006329429A JP2006329429A JP2007159141A JP 2007159141 A JP2007159141 A JP 2007159141A JP 2006329429 A JP2006329429 A JP 2006329429A JP 2006329429 A JP2006329429 A JP 2006329429A JP 2007159141 A JP2007159141 A JP 2007159141A
Authority
JP
Japan
Prior art keywords
color
pixels
color values
raw data
uncorrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006329429A
Other languages
English (en)
Other versions
JP2007159141A5 (ja
JP5288702B2 (ja
Inventor
Dirk Stroeker
ディルク・シュトレカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OLYPMUS SOFT IMAGING SOLUTIONS
OLYPMUS SOFT IMAGING SOLUTIONS GmbH
Original Assignee
OLYPMUS SOFT IMAGING SOLUTIONS
OLYPMUS SOFT IMAGING SOLUTIONS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OLYPMUS SOFT IMAGING SOLUTIONS, OLYPMUS SOFT IMAGING SOLUTIONS GmbH filed Critical OLYPMUS SOFT IMAGING SOLUTIONS
Publication of JP2007159141A publication Critical patent/JP2007159141A/ja
Publication of JP2007159141A5 publication Critical patent/JP2007159141A5/ja
Application granted granted Critical
Publication of JP5288702B2 publication Critical patent/JP5288702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】色データ補正する場合に、処理時間を短縮し、遅延なしに表示する。
【解決手段】色データを撮影装置から出力装置に送る時に色データを補正する装置及び方法に関する。この場合、撮影装置の生データ(RG1 2 B)が、撮影装置に比べて少ないピクセル数(N′<N)を有する未補正の中間色値(R′,G′,B′)に変換され、次いでこれらの未補正の中間色値(R′,G′,B′)が、色補正計算され、引き続き出力装置に対する補正された中間色値(R* ,G* ,B* )に変換される。
【選択図】図8

Description

本発明は、色データを撮影装置から出力装置に送る時に色データを補正する方法に関する。
デジタル画像処理の分野では、上述した色補正する方法が特に重要である。すなわち、一般にデジタルカラー写真は、赤,緑及び青の画素(RGBピクセル)を使用して個々の撮影装置から1つ又は多数の表示装置又は出力装置に送られる。これは、移動するデジタル画像又はデジタルフィルムに対して同じである。この関係では、付加的な色の混合の意向に沿って異なる色を生成するため、各ピクセル内の赤,緑及び青の強度が制御される。
ディスプレイ技術又は印刷技術では、すなわち例えば表示装置又は出力装置としてのモニタの場合、いろいろに着色された個々の小さい点の像が、人の目の制限された解像度に起因したこの目の網膜上で層をなして重なるように、これらの点が密に並んで存在することによって、色の混合が得られる。スキャナ又はカラーCCDカメラのような標準的な撮影装置は、色の撮影に対して前方に接続された色調フィルタを有する3つのCCDチップを時々利用する。その結果、1つの独立したCCDアレイが、これらの3つの基調色RGB(赤,緑及び青)の各々に対して使用される。
しかしながら、例えば前方に接続されたストリップフィルタ又はモザイクフィルタによって個々の色を検出する単一のCCDセンサで作動するカラーカメラ又はデジタルカメラは、遥かにより一般に使用されている。すなわち、CCDチップの個々のピクセル又は画素自体が、一般に異なる色の選択性を有するのではなくて、一般にグレースケール値及びそれらの強度を記録する。すなわちそれぞれの色情報が、この場所で適切に構成され前方に設置された色調フィルタ又はモザイクフィルタ又はストリップフィルタによって処理される。
CCDセンサを利用するそれぞれの撮影装置が、表示装置、例えばモニタ又はプリンタと同様に撮影装置にその都度送られた色を機器固有に変える、すなわち色情報が、例えばその都度使用される燐光物質に起因して変わることなしに色を機器固有に変える。撮影装置は、撮影すべき物体に光を当てる役割もする。人の目の最大感度は、約555nm の緑の波長範囲内にある一方で、例えば半導体カメラの最大感度は、約700nm 〜800nm の波長の赤外線領域の近くにある。すなわち、目の感度に適合された色調フィルタが、関係する撮影装置の前方に接続されることによって、色調は、実際は粗く補正される。
さらに、対応するフィルタ関数をデジタル表示できるようにするため又は色データを補正するため、画像処理の計算方法が使用される。色データをその都度の撮影装置から出力装置に送る場合に可能な限り正確であるか又は人の色彩感知に適合されかつ相対色差を考慮する色データの交換を保証するため、多くのIT会社が、過去においていわば規格化された色補正計算に合意している。この色補正計算は、団体に付随する「International Color Consortium」(ICC)によって定められる(これに対するより詳しい情報は、インターネット・アドレス HYPERLINK "http://www.color.org" www.color.org 参照)。
この公知の色補正計算の場合、いわゆる基準色空間が規定される。これに対して現われるこの基準色空間を得るためには、一方では撮影装置としてのCCDカメラの色を感知する特別な特徴をメーカ側で把握してこれに応じて考慮すること、他方では出力装置としてのモニタ(燐光物質)の色を再生する個々の特徴を考慮に入れることが必要である。
上述した基準色空間は、撮影装置及び出力装置に依存しない。この場合、撮影装置の入力側の色データ及び出力装置に対する出力側の色データだけが、対応する機器に固有の変換を受ける。これによって実際には、一致する基準色空間にアクセスされるので、撮影装置としての任意の各機器が、出力装置としての任意の各機器と組み合わされ得る。撮影された色データは、色補正計算されて基準色空間の基準色値にされる。これらの基準色値は、同様に色補正計算されて出力装置の機器仕様を考慮する。この方法は、適することが実証されている。
しかしながら説明したICC方法又は色補正計算をするその他の計算方法は、常に全てのRGBの色値又は付随する撮影装置のRGBの色画素に使用されるので、処理速度が多くの場合に遅い。例えば、撮影装置としての百万画素を有するCCDチップが、理論通りに同じく百万色画素を生成する。これらの百万色画素は、−その都度前方に接続された色調フィルタに応じて−場合によっては色情報の一部だけを含み、最初にカメラを通して後に処理される補間によって百万色画素に変換される。これらの色画素は、説明したICC方法にしたがって色補正計算される。そのため、撮影装置によって撮影される色データを、或る程度大きい解像度を考慮しつつ説明した色補正計算で直接処理すること、及び、付随する出力装置上にほぼ遅延なしに出力することは、従来では不可能である。実際にこの点に関しては、撮影と再生との間の遅延を伴う必要な計算時間を考慮する必要がある。この計算時間は、例えば試料上の簡単な探索の途中の細胞の移動又は細胞の成長を直接観察することを不可能にする。むしろ、ビデオが、十分なイメージレートで撮影し、次いで分析することが従来では必要である。本発明は、ここでは支援手段を提供する。
ドイツ連邦共和国特許公開公報第102 23 751号明細書 国際特許公開公報第2005/032147 号明細書 書籍"Bildverarbeitung fuer Einsteiger", B. Neumann, Springer Verlag, 2004 年, 第135 頁以降
本発明の技術的な課題は、色データを補正する方法を提供することにある。処理時間が、この方法の支援によって明らかに短縮されている。その結果、例えば色補正した像を実際に遅延なしに表示することが可能である。
この技術的な問題点を解決するため、本発明の対象は、色データを撮影装置から出力装置に送る時に色データを補正する方法である。この方法にしたがって、撮影装置の生データが、撮影装置に比べて少ないピクセル数を有する未補正の中間色値に変換され、次いでこれらの未補正の中間色値が、色補正計算され、引き続き補正された中間色値つまり出力装置用の目的色値に変換される。この場合、これらの補正された中間色値又はこれらから補間によって得られた目的色値は、一般に最初のピクセル数に一致するピクセル数を有する。
生データは、単色のデータ、すなわち色情報なしの強度グレースケール値である。生データに色情報を付加するため、撮影装置は、一般に先方に接続されかつ生エータ構造体を提供する色調フィルタ構造を有する。このフィルタ構造体は、好ましくはモザイクフィルタである。このモザイクフィルタは、単一の色調フィルタを、例えば撮影装置としてのCCDカメラの各ピクセル又は画素に割り当てる。この場合、それぞれ隣接した画素又はピクセルが、異なる色調フィルタ、例えば赤及び緑又は緑及び青等を有する。すなわち前方に配置されたフィルタ又は色調フィルタ構造体は、光学スペクトルのうちの一部だけを透過させる。したがって完全な色情報が撮影されるのではなくて、存在する色の一部だけが撮影される。
この関係では、いわゆるBayer 構造体が、色調フィルタ構造体として使用されることが確認されているものの、当然に完全に異なる色調フィルタ構造体をBayer 構造体以外に使用してもよい。画素が4つずつ統合される点が、このBayer フィルタ構造体の特徴である。この場合、2つの画素又はピクセルの場合、それぞれ前方に接続された緑フィルタによって作動される。これに対して赤色及び青色はそれぞれ単独でのみ検出される。これによって、Bayer フィルタ又は色フィルタのBayer 構造体は、人の目の特別な緑色の感度を考慮する(これに対しては、ドイツ連邦共和国特許第102 23 751号明細書又は国際特許公開第2005/032147 号明細書を補足的に参照。このようなBayer フィルタがそこに説明されている)。
Bayer フィルタの代わりに、CMYGフィルタ(シアン,紫紅色,黄色及び緑)を使用してもよい。各場合では、CCDカメラのそれぞれの画素又はピクセルは、例として前方に接続されたフィルタによって提供された特定のスペクトル間隔の情報だけを収集する。これらのスペクトル間隔は、多くの場合は可視な波長領域のスペクトルの一部であるものの、本発明は当然にこれに限定されていない。
色データの観察される全体の処理時間が簡単に若干変わることなしに、生データ又は単色の生データは、異なるビット深さによって撮影され得る。例えば、単色の12ビットの深さの強度データによって処理される。個々のビットをもはや考慮しないか又は(零で割り当てられた)ビットをさらに追加することによって、これらの強度データは、場合によっては8ビット又は16ビットに変換される。各々の場合、上述した生データは、生データ構造体内のそれらの位置を考慮して未補正の中間色値に変換される。
生データ構造体又は生データラスタ内の生データの位置から、付随する強度グレースケール値が、どの色に対応するかが推測される。対応する色は、色調フィルタ構造体によってプリセットされる。この色調フィルタ構造体は、生データ構造体を決定する。4つずつ隣接した生データが、1つ(単一)の未補正の中間色値に変換されることが確認されている。明らかに、異なる数ごとにプリセットされた生データによって処理してもよい。これらの生データはそれぞれ、関係する未補正の中間色値に統合される。一般に、RGGBのピクセル群(例えばそれぞれ12ビットを有する4つのピクセル)の生データが、24ビット又は48ビットを有する1つの色ピクセルR′,G′,B′に統合されることによって、各未補正の中間色値が、個々のBayer 構造体に対応する。これらの色ピクセル又は未補正の中間色値R′,G′,B′では、24ビット表示が選択される場合、例えば最初の8ビットが赤色に対応し、その次の8ビットが緑に対応し、最後の8ビットが青に対応する。これに対して48ビットの中間色値が使用される場合、各色RGBはそれぞれ16ビットに対応する。この場合、先の12ビットの深さの生データが、最初に8ビット又は16ビットに変換されたことが分かる。
このようにして生成された未補正の中間色値は、撮影装置に比べて少ないピクセル数を有する状況が重要である。10×10ピクセルを有するCCDチップの例では、(未補正の中間色値を有する)ピクセルの数が、撮影装置の先の全ての100 画素又はピクセルの4分の1、すなわち25ピクセルである。本発明にしたがって撮影装置に比べて明らかに少ないピクセル数(25%)を有する未補正の中間色値が、色補正計算されるので、計算時間が、同様にほぼ4分の1に減少され得る。その結果、撮影装置によって検出された像を色補正し、同時に実際に遅延なしに出力装置に出力することが可能である。したがって本発明の範囲内では、色補正計算が、遅延なしに又はほとんど遅延なしにデータフロー中に実施される。これによって、撮影装置によって撮影された像が、いわゆる「ライブ」モードで色補正され、同時に出力装置に出力され得る。
この関係では、色情報ごとにそれぞれ8ビット又は16ビットの深さを有する生データが存在するかどうかは、色補正計算及び必要な計算時間に対して影響しない。中間色値が24ビット又は48ビットの情報であるかどうかは同様に重要でない。未補正の中間色値から構成された中間像が、撮影装置に比べて明らかに少ないピクセル数を有する点だけが重要である。例えば生きている細胞の試料が、生物学的に直接検査されなければならず、(例えば操作時に)先行する時間のかかる像処理作業及び色補正作業が妨害されるか又は不都合である場合、これから得られる「ライブ」モードの速度の十分な利用の可能性が特に重要である。明らかに本発明は、このような使用分野に全く限定されていない。
生データ及び/又は未補正の中間色値が、色補正計算前に例えば像を補正する補足的な補正アルゴリズムで処理される。ここでは、白調整を実施することが考えられる。付随する色値R,G及びBが同じ値をとる試料の透過性でしたがって「白い」領域が定義されるように、この白調整は実施され得る。このことは、一般に灰色に対応する。その結果、ここでは灰色調整について説明することもできる。どんな場合でも(白色光)源の色が、色値R=G=Bの等式によって白として定義される。
さらに、既に説明した(白色光)源の強度補正を、生データ及び/又は未補正の中間色値上で実施することが考えられる。例えばシェイディング補正が有効である。このシェイディング補正は、場合によっては起こり得る像の照射時の誤差又は伝送によって撮影された物体の不均一な像の照射を補償するか又は光学系、いわゆる「ビグネッティング」による縁領域に沿った輪郭を考慮する。書籍"Bildverarbeitung fuer Einsteiger", B. Neumann, Springer Verlag, 2004 年, 第135 頁以降中に記されているように、一般に、グレースケール値のセグメンテーションが、生データで自動的に閾値を生成することによって実施される。
未補正の中間色値の色補正によって最後に得られた補正された中間色値が、その後に設定されているデータ構造体内に書き込まれる。このデータ構造体は、好ましくは既に説明した生データラスタ又は生データ構造体である。すなわち、R,G及びBの色値を有する補正された中間色値が、規則的に同様にBayer 構造体内に書き込まれる。最終的には、補正された中間色値のピクセル数が、生データ構造体又は設定されているデータ構造体内で個々の色値R,G及びB間の補間によって変えられて、最後に目的色値を生成する。この場合、多くの場合、目的色値のピクセル数が、最後に撮影装置のピクセル数に一致する。基本的には、その他のピクセル数によって作動されてもよい。
本発明の対象は、請求項10中に記載されているように色データを撮影装置から出力装置に送る時に色データを補正する装置でもある。
上記の課題は、請求項1に記載の方法及び請求項10に記載の装置によって解決される。
以下に、本発明を1つの実施の形態だけを示す図面に基づいて詳しく説明する。
図中には、色データを撮影装置1から出力装置2に送る時に色データを補正する方法及び装置が示されている。これに対して、単色の強度グレースケール値の形式の生データRG1 2 Bが、撮影装置1によって図1にしたがって最初に撮影される。図1に基づく撮影装置1つまりイメージソース1は、例としては10×10つまり100 ピクセルを有するCCDチップ及び前方に接続されたモザイクフィルタである。
モザイクフィルタは、それぞれ隣接した画素、例えばマトリクス位置11及び21又は34及び35の画素がそれぞれ前に置かれた異なるフィルタを有するように仕様決定されている。すなわち位置11の画素に対しては、赤の成分だけが通過する。その結果対応する画素は、赤い色情報Rを持っている。同じことは、位置12及び21の画素に対して成立する。これらの位置はそれぞれ、緑の光Gを通過させる。この場合、緑のスペクトル領域内の人の目の特別な感度を考慮するため、緑の領域は、2つのピクセルつまり画素G1 及びG2 によって検出される。したがって位置22のピクセルは、青の値Bを検出する。
モザイクフィルタ又はこれから得られる色調フィルタ構造が、4つの画素RGGBから成る周期的なパターンによって構成されていることが、図1に基づいて分かる。この特別な色調フィルタ構造は、いわゆるBayer 構造である。したがって前方に接続されたモザイクフィルタは、Bayer フィルタである。単色の生データは、この色調フィルタ構造によって付随する生データ構造RG1 2 Bを有する。すなわち、例えばマトリクス位置11で読み取れる強度グレースケール値は、赤色Rに属する。これに対して位置22は、青色Bに対応する。前方に接続された色調フィルタが、図6に応じた伝送曲線を有するように、このことは、この実施の形態の範囲内でその都度実施される。これによって、伝送曲線の透過性に応じて選択された可視波長スペクトル内にあるスペクトル領域だけがそれぞれ、それぞれの色調フィルタの後方にあるピクセルに到達する。それぞれのスペクトル領域RGBが全体的に重なり合い、全ての可視スペクトルが約400nm 〜約700nm をカバーすることが、図6に基づいて分かる。
色調フィルタ構造体又は生データ構造体を考慮しつつ撮影装置1によって読み取られた生データRG1 2 Bは、「未補正の」中間色値R′,G′,B′に変換される(図2,3及び4参照)。その前に生データRG1 2 Bは、補足的な補正アルゴリズムによって例えば像補正される。この実施の形態の範囲内では、白色光源からの光が透過する透明な試料の透過性な位置で、値がR,G及びBに対して同じに設定される、すなわちR=G=Bであることによって、いわゆる白調整が実施される。さらに、全体的に均一な照射と白色光源とのずれを考慮するため、最初に説明したシェイディング補正を実施してもよい。
これらのオプションの補足的な補正アルゴリズムに続き、単色の生データRG1 2 B又はこれに属する強度グレースケール値が、既に言及した「未補正の」中間色値R′,G′,B′に変換される。先に説明した4つの画素RG1 2 Bから成るBayer パターンがそれぞれ、1つの「未補正の」中間色値又は色ピクセルR′,G′及びB′に統合される。このことは、図2及び3に示されている。両緑ピクセルG1 及びG2 が、

G′=(G1 +G2 )/2

に応じて平均され、赤値及び青値がそれぞれ維持されることによって、それぞれのRG1 2 Bのピクセルブロック、すなわち生データが、「未補正の」中間色値R′,G′,B′に変換されることがここで分かる。1つの3つ組み色ピクセルが、4つの生データピクセルRG1 2 Bごとに生成される。すなわち、未補正の中間色値R′,G′,B′が1つずつ生成される。これによって、撮影装置1に比べて少ないピクセル数を有する中間像が存在する。この中間像のピクセルが、未補正の中間色値R′,G′,B′を有する。実際には、例としては、特に図3で明らかなように、撮影装置1に対する100 のピクセル数が、未補正の中間色値R′,G′,B′に対する25の色ピクセルに減少する。
引き続き、撮影装置1に比べて減少したピクセル数を有するこうして算出された中間像の未補正の中間色値R′,G′,B′が、色補正計算される。この色補正計算は、図4中にCMM(Color Management Module) で示されている。すなわち色補正計算は、例としては撮影装置1のピクセルの25%だけで実施される。中間像は、本発明にしたがって得られる処理時の明らかな速度の利点を招く。
すなわち、CMM計算又はICC色補正計算は膨大でありかつ経費がかかる。この場合、8,12又は16ビットの色の深さを有する単色の生データRG1 2 Bが存在し、その結果未補正の中間色値R′,G′,B′24ビット又は例えば48ビットを有するかどうかは、計算時間に対して実際には影響しない。未補正の中間色値R′,G′,B′に対する色補正としてのICC計算は、1つの方法の例にすぎず、色補正計算に対するその他の方法も明らかに含まれる点を強調しなければならない。
未補正の中間色値R′,G′,B′は、色補正計算後に補正された中間色値R* ,G* ,B* を生成する。したがってこれらの中間色値R* ,G* ,B* は、色補正された3つ組み色ピクセルを示す。この3つ組み色ピクセルの数は、(最初は)未補正の中間色値R′,G′,B′の数に一致する(図4参照)。補正された中間色値R* ,G* ,B* のピクセル数を増やすため、例として又は撮影装置1のピクセル数に応じて理想的には同様に100 ピクセルに増やすため、引き続き詳しくさらに説明すべき補間過程が、補正された中間色値R* ,G* ,B* 上で実施される。
この目的のため、未補正の中間色値R′,G′,B′の色補正によって補正された中間色値R* ,G* ,B* が、設けられているデータ構造体、特に図1に応じた色調フィルタ構造体によって設けられている生データ構造体内に書き込まれる。このことは、図4及び5a中に示されている。すなわち補正された中間色値R* ,G* ,B* は、それらのいわば最初の位置を生データラスタ又は生データ構造体内に再び占める。この最初の位置は、色調フィルタ又はこの色調フィルタの色調フィルタ構造体によって設定される。したがって、補正された赤値R* が位置11で認識される。その一方で位置22が、補正された青値B* を指定する。これに対して位置21及び12は、それぞれ同じ緑値G* によって確保される。このことは、中間色値R′,G′,B′への変換時の最初の緑値G1 及びG2 の予め実施された平均に起因することができる。
説明した平均を補間によって実施するため、補正された中間色値R* ,G* ,B* のピクセル数を変えるため、当然にその他の方法も考えられるものの、例としていわゆる「9331」補間法が使用される。未補正の中間色値R′,G′,B′が、撮影装置1のピクセル数より小さい数N、すなわちN′<Nであるピクセル数N′で処理できる。したがってこのことは、補間前の補正された中間色値R* ,G* ,B* に対しても成立する。補正された中間色値R* ,G* ,B* の数が、同様にN′である。補間後に、この補間から得られた目的色値RZ ,GZ ,BZ の数が、同様にNになり、撮影装置1のNに一致する。
図5a〜図5d中で詳しく説明した補間法「9331」の場合、それぞれの仮想色ピクセルが、Bayer 表示内の4つのピクセル間ごとに計算される、つまり4つのピクセル間ごとの各位置に対して計算される。さらに補間された目的色値GZ の緑値が、図5bに基づいて平均によって、つまりマトリクス位置32及び23の(異なる)緑値が平均されることによって計算される(図5a参照)。その結果、緑値GZ が求まる(GZ =(G* 1+G* 2)/2)。
図5cにしたがって赤値を算定するため、本発明は、位置11,31,13及び33の赤値を以下の規則に応じて重み付けする:

Z =(R* 1 +3×(R* 2 +R* 3 )+9×R* 4 )/16.

このことは、図5c中に示されている。最後に位置22,42,24及び44の青値が、

Z =(9×B* 1 +3×(B* 3 +R* 2 )+B* 4 )/16.

にしたがって重み付けされることによって、青値が、図5d中の規則に応じて算定される。その結果、補間された色値RZ ,GZ ,BZ が、図5a中から選ばれた位置で求められる(黒丸)。同様にその他の各位置(図5a中の白丸)に対して補間された目的色値RZ ,GZ ,BZ を示すことができる。こうして補間された目的色値RZ ,GZ ,BZ の数は、この処理の終了時で撮影装置1のピクセルの数Nに等しい。必要であるならば、明らかに、補間された目的色値RZ ,GZ ,BZ に対してその他のピクセル数によって処理してもよい。
図7及び8中には、本発明の基本的な方法の概要が示されている。制御装置3が、撮影装置1と出力装置2との間に中間接続されている。この制御装置3は、色データ補正及び色補正計算を実施する。この場合、図8中に示された撮影装置1の撮影特性及び出力装置2の再生特性が考慮される。
詳しく言うと、単色の生データR,G2 ,G2 ,Bが、制御装置3内で未補正の中間色値R′,G′,B′に変換される。これらの未補正の中間色値R′,G′,B′は、曲線によって示された撮影装置1の撮影特性を考慮して色補正計算され、最終的に補正された中間色値R* ,G* ,B* に変換される。これらの補正された中間色値R* ,G* ,B* は、補間によって補間された目的色値RZ ,GZ ,BZ を生成する。これらの補間された目的色値RZ ,GZ ,BZ は、同時に出力装置2用の再生特性を考慮する。
前方に接続された色モザイクフィルタを有する撮影装置としてのCCDチップを示す。 中間色値を算定するための図1の一部を示す。 それぞれの中間色値を有する図1の対象を示す。 本発明の方法を概略的に示す。 目的色値に使用される補間方法を示す。 目的色値に使用される補間方法を示す。 目的色値に使用される補間方法を示す。 目的色値に使用される補間方法を示す。 図1の色モザイクフィルタの伝送曲線を概略的に示す。 本発明の装置の概要を示す。 本発明の装置の概要を示す。
符号の説明
1 撮影装置
2 出力装置
3 制御装置

Claims (10)

  1. 色データを撮影装置(1)から出力装置(2)に送る時に色データを補正する方法において、撮影装置(1)の生データ(RG1 2 B)が、撮影装置(1)に比べて少ないピクセル数(N′<N)を有する未補正の中間色値(R′,G′,B′)に変換され、次いでこれらの未補正の中間色値(R′,G′,B′)が、色補正計算され、引き続き出力装置(2)に対する補正された中間色値(R* ,G* ,B* )に変換される方法。
  2. 生データ(R,G1,G2,B)は、生データ構造体内のこれらの生データ(RG1 2 B)の位置を考慮して未補正の中間色値(R′,G′,B′)に変換されることを特徴とする請求項1に記載の方法。
  3. 生データ(R,G1,G2,B)は、単色に存在し、その部分色情報が、撮影装置(1)の前方に接続されかつ生データ構造体を提供する色フィルタ構造体によって得られることを特徴とする請求項1又は2に記載の方法。
  4. 色フィルタ構造体、例えばBayer 構造体が、使用されることを特徴とする請求項3に記載の方法。
  5. 所定の数の生データ(R,G1,G2,B)がそれぞれ、1つの未補正の中間色値(R′,G′,B′)に統合されることを特徴とする請求項1〜4のいずれか1項に記載の方法。
  6. 生データ(R,G1,G2,B)及び/又は未補正の中間色値(R′,G′,B′)は、例えば像を補正する補足的な補正アルゴリズムで処理されることを特徴とする請求項1〜5のいずれか1項に記載の方法。
  7. 未補正の中間色値(R′,G′,B′)の色補正によって得られた補正された中間色値(R* ,G* ,B* )は、所定のデータ構造体、例えば生データ構造体内に書き込まれることを特徴とする請求項1〜6のいずれか1項に記載の方法。
  8. 補正された中間色値(R* ,G* ,B* )を有する中間像のピクセルが、補間によって対応して変更されたピクセル数及び目的色値(RZ ,GZ ,BZ )を有する目的像に変換されることを特徴とする請求項1〜7のいずれか1項に記載の方法。
  9. 一般に補間された目的色値(RZ ,GZ ,BZ )のピクセル数(N)は、撮影装置(1)のピクセル数(N)に一致することを特徴とする請求項1〜8のいずれか1項に記載の方法。
  10. 色データを撮影装置(1)から出力装置(2)に送る時に色データを補正する装置において、装置は、撮影装置(1)、例えばCCDチップ(1)としての少なくとも1つのイメージソース及び制御装置(3)を有し、この場合、制御装置(3)内のイメージソース(1)の生データ(R,G1,G2,B)が、撮影装置(1)に比べて少ないピクセル数(N′<N)を有する未補正の中間色値(R′,G′,B′)に変換され、次いでこれらの未補正の中間色値(R′,G′,B′)が、色補正計算され、引き続き出力装置(2)に対する補正された中間色値(R* ,G* ,B* )に変換される装置。
JP2006329429A 2005-12-07 2006-12-06 色補正計算方法 Active JP5288702B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005058415A DE102005058415A1 (de) 2005-12-07 2005-12-07 Verfahren zur Farbkorrekturberechnung
DE102005058415.2 2005-12-07

Publications (3)

Publication Number Publication Date
JP2007159141A true JP2007159141A (ja) 2007-06-21
JP2007159141A5 JP2007159141A5 (ja) 2009-11-26
JP5288702B2 JP5288702B2 (ja) 2013-09-11

Family

ID=38055810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006329429A Active JP5288702B2 (ja) 2005-12-07 2006-12-06 色補正計算方法

Country Status (4)

Country Link
US (1) US7777786B2 (ja)
EP (1) EP1814308B1 (ja)
JP (1) JP5288702B2 (ja)
DE (1) DE102005058415A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801984A (zh) * 2012-07-31 2012-11-28 陶霖密 彩色图像传感器及获取彩色数字图像的方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1289309B1 (en) * 2001-08-31 2010-04-21 STMicroelectronics Srl Noise filter for Bayer pattern image data
US10083467B2 (en) * 2009-11-06 2018-09-25 Walmart Apollo, Llc System and method for communicating information to a customer at a point-of-sale via a wireless link within a retail store
US9648293B2 (en) * 2014-03-24 2017-05-09 Gopro, Inc. Color model look-up table generation
WO2020059050A1 (ja) * 2018-09-19 2020-03-26 オリンパス株式会社 撮像素子、撮像装置、撮像方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059800A (ja) * 1998-08-12 2000-02-25 Mitsubishi Electric Corp 画像信号処理回路
JP2000287219A (ja) * 1999-03-29 2000-10-13 Seiko Epson Corp 画像処理方法及び画像処理装置並びに画像処理プログラムを記録した記録媒体
JP2002209224A (ja) * 2001-01-10 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法および記録媒体
JP2004260813A (ja) * 2003-02-04 2004-09-16 Canon Inc 撮像装置、撮像方法及びデジタルカメラ
JP2005328215A (ja) * 2004-05-13 2005-11-24 Olympus Corp 画像処理装置および画像処理プログラム
JP2007006038A (ja) * 2005-06-22 2007-01-11 Canon Inc 画像処理装置及び画像処理方法及びプログラム及び記憶媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503372B2 (ja) * 1996-11-26 2004-03-02 ミノルタ株式会社 画素補間装置及びその画素補間方法
US6195456B1 (en) * 1996-12-19 2001-02-27 Xerox Corporation Multi resolution color correction using wavelet transforms
US7212229B2 (en) * 1997-04-04 2007-05-01 Eastman Kodak Company Digital camera providing image processing for an attachable printer
JP3413589B2 (ja) * 1998-03-09 2003-06-03 富士写真フイルム株式会社 画像処理方法および装置
US6731397B1 (en) * 1999-05-21 2004-05-04 Foveon, Inc. Method for storing and retrieving digital image data from an imaging array
US6888568B1 (en) * 1999-08-19 2005-05-03 Dialog Semiconductor Gmbh Method and apparatus for controlling pixel sensor elements
US6961064B2 (en) 2001-06-28 2005-11-01 Hewlett-Packard Development Company, L.P. System and method for combining graphics formats in a digital video pipeline
EP1308888A1 (en) * 2001-11-06 2003-05-07 STMicroelectronics S.r.l. A method of processing digital images
JP4657564B2 (ja) * 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
US20050068441A1 (en) 2003-09-26 2005-03-31 Eastman Kodak Company Multiple output CCD for color imaging
US7091466B2 (en) * 2003-12-19 2006-08-15 Micron Technology, Inc. Apparatus and method for pixel binning in an image sensor
US20050185836A1 (en) * 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059800A (ja) * 1998-08-12 2000-02-25 Mitsubishi Electric Corp 画像信号処理回路
JP2000287219A (ja) * 1999-03-29 2000-10-13 Seiko Epson Corp 画像処理方法及び画像処理装置並びに画像処理プログラムを記録した記録媒体
JP2002209224A (ja) * 2001-01-10 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法および記録媒体
JP2004260813A (ja) * 2003-02-04 2004-09-16 Canon Inc 撮像装置、撮像方法及びデジタルカメラ
JP2005328215A (ja) * 2004-05-13 2005-11-24 Olympus Corp 画像処理装置および画像処理プログラム
JP2007006038A (ja) * 2005-06-22 2007-01-11 Canon Inc 画像処理装置及び画像処理方法及びプログラム及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801984A (zh) * 2012-07-31 2012-11-28 陶霖密 彩色图像传感器及获取彩色数字图像的方法

Also Published As

Publication number Publication date
US20070126894A1 (en) 2007-06-07
EP1814308A2 (de) 2007-08-01
EP1814308B1 (de) 2011-08-24
US7777786B2 (en) 2010-08-17
JP5288702B2 (ja) 2013-09-11
EP1814308A3 (de) 2008-11-05
DE102005058415A1 (de) 2007-06-14

Similar Documents

Publication Publication Date Title
CN102204258B (zh) 图像输入装置
US7233352B2 (en) Method and apparatus for color non-uniformity correction in a digital camera
JP2018098630A5 (ja)
JP2000311243A (ja) 画像色補正方法及び装置
WO2011121760A1 (ja) 画像処理装置、およびそれを用いた撮像装置
US8284278B2 (en) Image processing apparatus, imaging apparatus, method of correction coefficient calculation, and storage medium storing image processing program
JP4796871B2 (ja) 撮像装置
JPH09130539A (ja) カラー走査を行う方法及びデジタルカラー走査システム
JP4874752B2 (ja) デジタルカメラ
JP2006237738A (ja) 色信号処理方法
JP5288702B2 (ja) 色補正計算方法
JP2007159141A5 (ja)
US8493463B2 (en) Spectral characteristic correction apparatus, spectral characteristic correction method and recording medium on which spectral characteristic correction program is recorded
EP1832108A2 (en) Automatic white balance control
WO2015111471A1 (ja) 撮像装置、映像信号処理方法及び映像信号処理プログラム
JP4859502B2 (ja) 撮像装置
US8804025B2 (en) Signal processing device and imaging device
JP5782324B2 (ja) 色補正装置および色補正処理方法
JP5054659B2 (ja) 撮像装置
JP6331966B2 (ja) 撮像装置及び撮像装置の調整方法
CN105359517A (zh) 图像处理装置和图像处理方法
JP6221911B2 (ja) 撮像装置、映像信号処理方法及び映像信号処理プログラム
CN115039402B (zh) 用于图像处理的设备
JP4334151B2 (ja) 画像補間装置
JP4334152B2 (ja) 画像補間装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091013

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130301

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R150 Certificate of patent or registration of utility model

Ref document number: 5288702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350