JP2000261814A - カラーフィルタ画像信号生成方法 - Google Patents
カラーフィルタ画像信号生成方法Info
- Publication number
- JP2000261814A JP2000261814A JP10325104A JP32510498A JP2000261814A JP 2000261814 A JP2000261814 A JP 2000261814A JP 10325104 A JP10325104 A JP 10325104A JP 32510498 A JP32510498 A JP 32510498A JP 2000261814 A JP2000261814 A JP 2000261814A
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixels
- array
- image
- cfa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims 2
- 239000013589 supplement Substances 0.000 claims 1
- 238000003384 imaging method Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 10
- 230000000295 complement effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
(57)【要約】
【課題】 カラー画像画素のアレイから導かれるカラー
画像信号を生成する方法を提供する。 【解決手段】 本方法において、カラー画素のアレイ
は、２次抽出されたカラー画素のアレイを生成するため
に２次抽出される。新しく均一に配置されるカラー画素
は、同色の周辺の画素を使用して２次抽出されたカラー
画素によって補完され、次に、新カラー画素のアレイか
ら導かれるカラー画像信号は、たとえば、カラーフィル
タアレイ補完によって処理される。この事前処理ステッ
プにおけるこの補正は、従来の不規則２次抽出パターン
によって惹起される濃淡むらおよび波形構造を解消し、
結果として得られる２次抽出されたＣＦＡ画像のその他
の処理は、通常の画像処理ハードウェアおよびソフトウ
ェアにより実行することができる。
画像信号を生成する方法を提供する。 【解決手段】 本方法において、カラー画素のアレイ
は、２次抽出されたカラー画素のアレイを生成するため
に２次抽出される。新しく均一に配置されるカラー画素
は、同色の周辺の画素を使用して２次抽出されたカラー
画素によって補完され、次に、新カラー画素のアレイか
ら導かれるカラー画像信号は、たとえば、カラーフィル
タアレイ補完によって処理される。この事前処理ステッ
プにおけるこの補正は、従来の不規則２次抽出パターン
によって惹起される濃淡むらおよび波形構造を解消し、
結果として得られる２次抽出されたＣＦＡ画像のその他
の処理は、通常の画像処理ハードウェアおよびソフトウ
ェアにより実行することができる。
Description
【０００１】
【発明の属する技術分野】本発明は、広くは電子写真の
分野に関し、特にカラーフィルタアレイを使用する形式
の単一センサカメラに関する。
分野に関し、特にカラーフィルタアレイを使用する形式
の単一センサカメラに関する。
【０００２】
【従来の技術】通常のディジタルカメラは、単一のカラ
ー撮像センサ、例えば、電荷結合素子（ＣＣＤ）を使用
し、情景についての色彩を含めて情景として映し出され
るものを記録する。これらのセンサ素子は、通常、アレ
イ上の各点において光を測定する光点画素の二次元アレ
イを含む。これらのセンサがカラー画像を記録すること
ができるようにするために、カラーフィルタアレイ（以
下、ＣＦＡと略す）が画素の上に配置される。そのた
め、各画素は画素に対応するフィルタの色の光を測定す
る。普通のＣＦＡフィルタのひとつは、バイエル（Ｂａ
ｙｅｒ）ＲＧＢパターンとして知られている。図１に示
すようにＢａｙｅｒ ＣＦＡは米国特許第３，９７１，
０６５号にも開示されており、そこではグリーンフィル
タのチェッカボード構造を含めレッド、グリーンおよび
ブルーのパターンが提供される。したがって、各画素に
対する主要なＣＦＡ画像信号は、一色のみ、すなわち、
レッド、グリーンまたはブルーのいずれかが関与するこ
とになる（Ｂａｙｅｒ ＣＦＡの場合）。ＣＦＡ画像が
記録された後で、各画素点に対する残りの（欠落してい
る）色が、たとえば、周辺の画素から各画素に対して補
完されるので、補完された完全解像度記録が各画像に対
して生成される。したがって、補完された記録中の各画
素は、ＲＧＢ値のセットを有することになる。
ー撮像センサ、例えば、電荷結合素子（ＣＣＤ）を使用
し、情景についての色彩を含めて情景として映し出され
るものを記録する。これらのセンサ素子は、通常、アレ
イ上の各点において光を測定する光点画素の二次元アレ
イを含む。これらのセンサがカラー画像を記録すること
ができるようにするために、カラーフィルタアレイ（以
下、ＣＦＡと略す）が画素の上に配置される。そのた
め、各画素は画素に対応するフィルタの色の光を測定す
る。普通のＣＦＡフィルタのひとつは、バイエル（Ｂａ
ｙｅｒ）ＲＧＢパターンとして知られている。図１に示
すようにＢａｙｅｒ ＣＦＡは米国特許第３，９７１，
０６５号にも開示されており、そこではグリーンフィル
タのチェッカボード構造を含めレッド、グリーンおよび
ブルーのパターンが提供される。したがって、各画素に
対する主要なＣＦＡ画像信号は、一色のみ、すなわち、
レッド、グリーンまたはブルーのいずれかが関与するこ
とになる（Ｂａｙｅｒ ＣＦＡの場合）。ＣＦＡ画像が
記録された後で、各画素点に対する残りの（欠落してい
る）色が、たとえば、周辺の画素から各画素に対して補
完されるので、補完された完全解像度記録が各画像に対
して生成される。したがって、補完された記録中の各画
素は、ＲＧＢ値のセットを有することになる。
【０００３】一部のデジタルカメラにおいては、ＣＣＤ
センサの標準解像度より低い解像度において記録する必
要がある。このひとつの理由は、短い低解像度ビデオ連
写のように、最小のメモリおよび画像処理時間必要条件
の状態において迅速に一連の画像を記録する必要がある
ためである。これを実現するために、ＣＣＤ中の画素
は、多くの場合、２次抽出される。たとえば、米国特許
第５，４９３，３３５号には、２×２ブロックの画素を
基礎とするひとつのパターンを含む多様な２次抽出パタ
ーンが開示されている。図２に示すＣＦＡパターンは、
画素を、どのようにして２次抽出し半解像度の２×２ブ
ロックとすることができるかを示す図である。図に示す
ように、このパターンにおいては、Ｒ、Ｇ、およびＢ画
素は、抽出されたレッド、グリーン、およびブルー画素
を表し、一方、ダッシュ「−」は、記憶されていない画
素を表す。この構成においては、妥当な画素を通常より
非常に迅速にＣＣＤハードウェアから読み込み、通常よ
り小さいメモリ領域に記憶することができる。その結
果、得られる画像を処理する時間も通常より短くするこ
とができる。
センサの標準解像度より低い解像度において記録する必
要がある。このひとつの理由は、短い低解像度ビデオ連
写のように、最小のメモリおよび画像処理時間必要条件
の状態において迅速に一連の画像を記録する必要がある
ためである。これを実現するために、ＣＣＤ中の画素
は、多くの場合、２次抽出される。たとえば、米国特許
第５，４９３，３３５号には、２×２ブロックの画素を
基礎とするひとつのパターンを含む多様な２次抽出パタ
ーンが開示されている。図２に示すＣＦＡパターンは、
画素を、どのようにして２次抽出し半解像度の２×２ブ
ロックとすることができるかを示す図である。図に示す
ように、このパターンにおいては、Ｒ、Ｇ、およびＢ画
素は、抽出されたレッド、グリーン、およびブルー画素
を表し、一方、ダッシュ「−」は、記憶されていない画
素を表す。この構成においては、妥当な画素を通常より
非常に迅速にＣＣＤハードウェアから読み込み、通常よ
り小さいメモリ領域に記憶することができる。その結
果、得られる画像を処理する時間も通常より短くするこ
とができる。
【０００４】
【発明が解決しようとする課題】しかし、この手法に関
する問題は、画素が不規則に抽出されるので、結果とし
て得られる画像の質が低下することである。例えば、こ
うした抽出パターンの影響により画像においてわずかに
濃淡のむらがあるように見えることや、また、被写体の
端部が波形に見えること等が生じる。従って、上記事前
処理ステップにおける抽出形式を補正し、かつ、その他
の画像処理については通常の画像処理ハードウェアおよ
びソフトウェアを使用することができる方法を見出すこ
とが望ましい。
する問題は、画素が不規則に抽出されるので、結果とし
て得られる画像の質が低下することである。例えば、こ
うした抽出パターンの影響により画像においてわずかに
濃淡のむらがあるように見えることや、また、被写体の
端部が波形に見えること等が生じる。従って、上記事前
処理ステップにおける抽出形式を補正し、かつ、その他
の画像処理については通常の画像処理ハードウェアおよ
びソフトウェアを使用することができる方法を見出すこ
とが望ましい。
【０００５】
【課題を解決するための手段】本発明は、前述したひと
つ以上の問題を解決することを目的とする。要するに、
本発明の一態様であるカラー画像画素のアレイから導か
れるカラー画像信号を生成するための方法は、カラー画
素画素のアレイを２次抽出して２次抽出されたカラー画
素のアレイを生成するステップと、同色の周辺の画素を
使用して２次抽出されたカラー画素によって新しく均一
に配置されるカラー画素のアレイを補完するステップ
と、新しいカラー画素のアレイから導かれるカラー画像
信号を処理するステップと、を含む。
つ以上の問題を解決することを目的とする。要するに、
本発明の一態様であるカラー画像画素のアレイから導か
れるカラー画像信号を生成するための方法は、カラー画
素画素のアレイを２次抽出して２次抽出されたカラー画
素のアレイを生成するステップと、同色の周辺の画素を
使用して２次抽出されたカラー画素によって新しく均一
に配置されるカラー画素のアレイを補完するステップ
と、新しいカラー画素のアレイから導かれるカラー画像
信号を処理するステップと、を含む。
【０００６】本発明の利点は、本発明の方法によれば不
規則な抽出パターンによって惹起される濃淡のむらおよ
び波形構造が補正されることである。さらに、これらの
構造は事前処理ステップにおいて補正することができる
が、同時に、それでもなお、通常の画像処理ハードウェ
アまたはソフトウェアの残部を結果として得られる２次
抽出されたＣＦＡ画像について使用することができる。
規則な抽出パターンによって惹起される濃淡のむらおよ
び波形構造が補正されることである。さらに、これらの
構造は事前処理ステップにおいて補正することができる
が、同時に、それでもなお、通常の画像処理ハードウェ
アまたはソフトウェアの残部を結果として得られる２次
抽出されたＣＦＡ画像について使用することができる。
【０００７】本発明のこれらのおよび他の態様、目的、
特徴および利点は、添付図面を参照して以下の本発明の
詳細説明および特許請求の範囲を精査することによって
一層明確に理解され評価される。
特徴および利点は、添付図面を参照して以下の本発明の
詳細説明および特許請求の範囲を精査することによって
一層明確に理解され評価される。
【０００８】
【発明の実施の形態】以下、本発明の好適な実施の形態
を図面を用いて説明する。なお、電子センサを利用する
デジタルカメラ、ならびにその結果得られる画像データ
の電子処理および記憶は公知であるため、本明細書で
は、これら電子センサの各要素のうち、特に本発明によ
る装置の一部を構成する、またはさらに本発明による装
置と共に直接に作用する、要素を対象に説明する。従っ
て、本明細書に特に示されていないまたは記述されてい
ない要素が、技術上周知である要素から選択されること
がある。また、記述する必要がある実施形態のある一定
の態様は、ソフトウェアとして提供される。以下の資料
に記載されるシステムを考慮すれば、本発明を実施する
ために必要とされる全てのこのようなソフトウェアの実
用化はこの分野における通常の専門家の技術の範囲内で
ある。
を図面を用いて説明する。なお、電子センサを利用する
デジタルカメラ、ならびにその結果得られる画像データ
の電子処理および記憶は公知であるため、本明細書で
は、これら電子センサの各要素のうち、特に本発明によ
る装置の一部を構成する、またはさらに本発明による装
置と共に直接に作用する、要素を対象に説明する。従っ
て、本明細書に特に示されていないまたは記述されてい
ない要素が、技術上周知である要素から選択されること
がある。また、記述する必要がある実施形態のある一定
の態様は、ソフトウェアとして提供される。以下の資料
に記載されるシステムを考慮すれば、本発明を実施する
ために必要とされる全てのこのようなソフトウェアの実
用化はこの分野における通常の専門家の技術の範囲内で
ある。
【０００９】図３にカメラ３０およびホストコンピュー
タ３２を備えるＣＦＡ補正を組み込んだ撮像システムを
示す。図３に示す通り、特にカメラがコンピュータに接
続される場合には、ＣＦＡ補正をカメラ３０またはコン
ピュータ３２において実行させることができる。カメラ
３０は、画像光を撮像センサ３６に向けるための光学セ
クション３４を備える。また、この撮像センサ３６は、
通常、電荷結合素子（ＣＣＤ）のような単一の撮像セン
サである。撮像センサ３６は、図１に示すバイエルアレ
イのようなカラーフィルタアレイ（ＣＦＡ）パターンを
重ね合わされたディスクリート感光性撮像要素のアレイ
を備え、ＣＦＡパターンに対応するカラー画像データを
生成する。光学セクションは、レンズ３８と、撮像セン
サ３６に対する画像光の露光を調整するためのシャッタ
−絞り機構４０とを備える。クロック発振器およびドラ
イバ回路４２によって、カラー画像データを撮像センサ
３６から生成するために必要とされる波形が提供され、
出力データは、アナログ信号処理（ＡＳＰ）およびアナ
ログ／ディジタル（Ａ／Ｄ）変換セクション４４に向け
られ、ここでカラー画像データからディジタルＣＦＡデ
ータが生成される。ディジタルＣＦＡデータは、センサ
３６、すなわち、完全センサまたはセンサの２次抽出さ
れた部分から得られる「生の」ＣＦＡ画像データを表
す。
タ３２を備えるＣＦＡ補正を組み込んだ撮像システムを
示す。図３に示す通り、特にカメラがコンピュータに接
続される場合には、ＣＦＡ補正をカメラ３０またはコン
ピュータ３２において実行させることができる。カメラ
３０は、画像光を撮像センサ３６に向けるための光学セ
クション３４を備える。また、この撮像センサ３６は、
通常、電荷結合素子（ＣＣＤ）のような単一の撮像セン
サである。撮像センサ３６は、図１に示すバイエルアレ
イのようなカラーフィルタアレイ（ＣＦＡ）パターンを
重ね合わされたディスクリート感光性撮像要素のアレイ
を備え、ＣＦＡパターンに対応するカラー画像データを
生成する。光学セクションは、レンズ３８と、撮像セン
サ３６に対する画像光の露光を調整するためのシャッタ
−絞り機構４０とを備える。クロック発振器およびドラ
イバ回路４２によって、カラー画像データを撮像センサ
３６から生成するために必要とされる波形が提供され、
出力データは、アナログ信号処理（ＡＳＰ）およびアナ
ログ／ディジタル（Ａ／Ｄ）変換セクション４４に向け
られ、ここでカラー画像データからディジタルＣＦＡデ
ータが生成される。ディジタルＣＦＡデータは、センサ
３６、すなわち、完全センサまたはセンサの２次抽出さ
れた部分から得られる「生の」ＣＦＡ画像データを表
す。
【００１０】結果として得られるディジタルデータはデ
ィジタル信号プロセッサ４６に送られ、ディジタル信号
プロセッサ４６は、たとえば、ＪＰＥＧ圧縮あるいはＤ
ＰＣＭコーディングを使用する数値上無損失または視覚
上無損失の圧縮技術を含む多数の圧縮技術のうちのいず
れかひとつを使用して画像データを圧縮すること、およ
び他の場合は画像データを処理し記憶することができ
る。特に、ディジタル信号プロセッサ４６は、ある一定
の状況下において、補正ＲＯＭ４７に記憶されるＣＦＡ
補正アルゴリズムを画像データに適用する。たとえば、
ユーザインタフェースセクション４９を使用し、カメラ
に低解像度画像の連写を記録すること、およびこれらの
画像にＣＦＡ補正を適用することを命令することができ
る。（この実施形態においては、メモリ５０は処理前に
ディジタルＣＦＡデータを記憶するためのバッファとし
ての機能を果たすが、独立したバッファを備えることも
できる。）処理されたＣＦＡデータは、出力インタフェ
ース４８を経由して交換可能メモリ５０に送られる。作
動中は、ＣＦＡ画像データは、固定解像度の画像、通
常、撮像センサ３６の実際の解像度に事実上対応する画
像を表す。それ故、メモリ５０は、この固定解像度に対
応する固定数の画像要素から得られるディジタルＣＦＡ
画像データを記憶する。しかし、前述した連写画像の場
合は、メモリ５０に記憶されるディジタルＣＦＡ画像デ
ータは、撮像センサによって提供される固定解像度の低
解像度表現である場合がある。
ィジタル信号プロセッサ４６に送られ、ディジタル信号
プロセッサ４６は、たとえば、ＪＰＥＧ圧縮あるいはＤ
ＰＣＭコーディングを使用する数値上無損失または視覚
上無損失の圧縮技術を含む多数の圧縮技術のうちのいず
れかひとつを使用して画像データを圧縮すること、およ
び他の場合は画像データを処理し記憶することができ
る。特に、ディジタル信号プロセッサ４６は、ある一定
の状況下において、補正ＲＯＭ４７に記憶されるＣＦＡ
補正アルゴリズムを画像データに適用する。たとえば、
ユーザインタフェースセクション４９を使用し、カメラ
に低解像度画像の連写を記録すること、およびこれらの
画像にＣＦＡ補正を適用することを命令することができ
る。（この実施形態においては、メモリ５０は処理前に
ディジタルＣＦＡデータを記憶するためのバッファとし
ての機能を果たすが、独立したバッファを備えることも
できる。）処理されたＣＦＡデータは、出力インタフェ
ース４８を経由して交換可能メモリ５０に送られる。作
動中は、ＣＦＡ画像データは、固定解像度の画像、通
常、撮像センサ３６の実際の解像度に事実上対応する画
像を表す。それ故、メモリ５０は、この固定解像度に対
応する固定数の画像要素から得られるディジタルＣＦＡ
画像データを記憶する。しかし、前述した連写画像の場
合は、メモリ５０に記憶されるディジタルＣＦＡ画像デ
ータは、撮像センサによって提供される固定解像度の低
解像度表現である場合がある。
【００１１】出力インタフェース４８は、ＰＣＭＣＩＡ
カードインタフェース標準のような従来のカードインタ
フェース標準に適合するメモリカードインタフェースで
あり、これはカリフォルニア州、Ｓｕｎｎｙｖａｌｅの
パーソナルコンピュータメモリカード国際協会（Ｔｈｅ
Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ
Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｓ
ｉａｔｉｏｎ）によって１９９７年に発行された“ＰＣ
Ｃａｒｄ Ｓｔａｎｄａｒｄ”に記載されているよう
な標準である。したがって、交換可能メモリ５０は、フ
ラッシュＥＰＲＯＭメモリのような固体記憶装置、また
は小型ハードドライブ（ＰＣＭＣＩＡカードインタフェ
ース標準に基づいてＰＣＭＣＩＡ−ＡＴＡタイプIIIハ
ードドライブとして類別される）のいずれかを含む不揮
発性ＰＣＭＣＩＡメモリカードである。別のカードイン
タフェース標準は、ＤＯＳファイルフォーマットを有す
るコンパクトフラッシュＡＴＡである。代替方法として
は、フロッピーディスク磁気媒体または光学記憶装置の
ような他の不揮発性記憶装置を使用することができる
（このような場合は、適切なインタフェースおよび従来
の読み取り／書き込み装置がカメラ３０に備えられる。
たとえば、磁気または光学読み取り／書き込みヘッドで
ある）。
カードインタフェース標準のような従来のカードインタ
フェース標準に適合するメモリカードインタフェースで
あり、これはカリフォルニア州、Ｓｕｎｎｙｖａｌｅの
パーソナルコンピュータメモリカード国際協会（Ｔｈｅ
Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｍｅｍｏｒｙ
Ｃａｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ａｓｓｏｓ
ｉａｔｉｏｎ）によって１９９７年に発行された“ＰＣ
Ｃａｒｄ Ｓｔａｎｄａｒｄ”に記載されているよう
な標準である。したがって、交換可能メモリ５０は、フ
ラッシュＥＰＲＯＭメモリのような固体記憶装置、また
は小型ハードドライブ（ＰＣＭＣＩＡカードインタフェ
ース標準に基づいてＰＣＭＣＩＡ−ＡＴＡタイプIIIハ
ードドライブとして類別される）のいずれかを含む不揮
発性ＰＣＭＣＩＡメモリカードである。別のカードイン
タフェース標準は、ＤＯＳファイルフォーマットを有す
るコンパクトフラッシュＡＴＡである。代替方法として
は、フロッピーディスク磁気媒体または光学記憶装置の
ような他の不揮発性記憶装置を使用することができる
（このような場合は、適切なインタフェースおよび従来
の読み取り／書き込み装置がカメラ３０に備えられる。
たとえば、磁気または光学読み取り／書き込みヘッドで
ある）。
【００１２】その上、カメラは、ホストコンピュータイ
ンタフェースドライバ５２を備え、カメラ３０をホスト
コンピュータ３２に直接接続し、たとえば、記録された
画像に対応するディジタルＣＦＡデータをダウンロード
する。（この処理においては、交換可能メモリ５０がバ
ッファメモリとして機能すること、または独立したバッ
ファメモリ（図示してない）を備えることができる。）
さらに、カメラ３０は、制御プロセッサ５４を備え、
（ａ）クロック発振器およびドライバ回路４２と、
（ｂ）ＡＳＰおよびＡ／Ｄセクション４４、ディジタル
信号プロセッサ４６、出力インタフェース４８、および
ユーザインタフェース４９を備えるディジタル信号処理
連鎖と、（ｃ）インタフェースドライバ５２と、を制御
する。インタフェースドライバ５２は、ＳＣＳＩまたは
ＩＥＥＥ−１３９４インタフェースのような従来のコン
ピュータインタフェースを提供する。その結果、カメラ
３０から得られるディジタルＣＦＡデータは、インタフ
ェースドライバ５２経由または交換可能メモリ５０を受
け取るカード読み取り装置５６経由のいずれかによって
ホストコンピュータ３２に連結される。
ンタフェースドライバ５２を備え、カメラ３０をホスト
コンピュータ３２に直接接続し、たとえば、記録された
画像に対応するディジタルＣＦＡデータをダウンロード
する。（この処理においては、交換可能メモリ５０がバ
ッファメモリとして機能すること、または独立したバッ
ファメモリ（図示してない）を備えることができる。）
さらに、カメラ３０は、制御プロセッサ５４を備え、
（ａ）クロック発振器およびドライバ回路４２と、
（ｂ）ＡＳＰおよびＡ／Ｄセクション４４、ディジタル
信号プロセッサ４６、出力インタフェース４８、および
ユーザインタフェース４９を備えるディジタル信号処理
連鎖と、（ｃ）インタフェースドライバ５２と、を制御
する。インタフェースドライバ５２は、ＳＣＳＩまたは
ＩＥＥＥ−１３９４インタフェースのような従来のコン
ピュータインタフェースを提供する。その結果、カメラ
３０から得られるディジタルＣＦＡデータは、インタフ
ェースドライバ５２経由または交換可能メモリ５０を受
け取るカード読み取り装置５６経由のいずれかによって
ホストコンピュータ３２に連結される。
【００１３】処理された画像を生成するために、ホスト
コンピュータ３２はアプリケーションプログラムを含
み、記録された画像を処理し、ディスプレイ５８によっ
てソフトコピーを生成、またはプリンタ６０（または、
フィルムライタなど）によってハードコピーを生成す
る。たとえば、アプリケーションプログラムは、ＣＦＡ
データにＣＦＡ補完アルゴリズム６４を適用するアルゴ
リズムセクション６２と、ユーザインタフェース６７と
を含む。アプリケーションプログラムによって、ＣＦＡ
データから各画像要素に対する完全カラーデータが補完
され、補完された出力画像が生成される。ＣＦＡ補完ア
ルゴリズム６４には、任意の数の公知の補完技術を含め
ることができる。たとえば、以下の特許に開示される補
完技術を使用することができる。すなわち、米国特許第
５，３７３，３２２号（発明の名称「彩度階調度を利用
し完全カラー画像を適切に補完するための装置および方
法」）、米国特許第５，３８２，９７６号（発明の名称
「画像階調性を利用し完全カラー画像を適切に補完する
ための装置および方法」）、並びに米国特許第５，５０
６，６１９号および第５，６２９，７３４号（共通の発
明の名称「単一センサカラー電子カメラにおける適切な
カラー面補完法」）である。これらの各内容は、本明細
書に包含される。処理アルゴリズムは、ノイズ減少、ホ
ワイトバランス補正、色補正、エッジ強調などに適用す
ることができる。代替方法としては、カメラ３０は、デ
ィジタルＣＦＡデータを補完するためのＣＦＡ補完アル
ゴリズム（およびノイズ減少、ホワイトバランス補正、
色補正、またはエッジ強調に適用されるひとつ以上の処
理アルゴリズム）を備えることが可能であり、この場
合、カメラ３０は完全に補完されたディジタルデータを
提供し、コンピュータ３２におけるその後の補完は不要
となる。
コンピュータ３２はアプリケーションプログラムを含
み、記録された画像を処理し、ディスプレイ５８によっ
てソフトコピーを生成、またはプリンタ６０（または、
フィルムライタなど）によってハードコピーを生成す
る。たとえば、アプリケーションプログラムは、ＣＦＡ
データにＣＦＡ補完アルゴリズム６４を適用するアルゴ
リズムセクション６２と、ユーザインタフェース６７と
を含む。アプリケーションプログラムによって、ＣＦＡ
データから各画像要素に対する完全カラーデータが補完
され、補完された出力画像が生成される。ＣＦＡ補完ア
ルゴリズム６４には、任意の数の公知の補完技術を含め
ることができる。たとえば、以下の特許に開示される補
完技術を使用することができる。すなわち、米国特許第
５，３７３，３２２号（発明の名称「彩度階調度を利用
し完全カラー画像を適切に補完するための装置および方
法」）、米国特許第５，３８２，９７６号（発明の名称
「画像階調性を利用し完全カラー画像を適切に補完する
ための装置および方法」）、並びに米国特許第５，５０
６，６１９号および第５，６２９，７３４号（共通の発
明の名称「単一センサカラー電子カメラにおける適切な
カラー面補完法」）である。これらの各内容は、本明細
書に包含される。処理アルゴリズムは、ノイズ減少、ホ
ワイトバランス補正、色補正、エッジ強調などに適用す
ることができる。代替方法としては、カメラ３０は、デ
ィジタルＣＦＡデータを補完するためのＣＦＡ補完アル
ゴリズム（およびノイズ減少、ホワイトバランス補正、
色補正、またはエッジ強調に適用されるひとつ以上の処
理アルゴリズム）を備えることが可能であり、この場
合、カメラ３０は完全に補完されたディジタルデータを
提供し、コンピュータ３２におけるその後の補完は不要
となる。
【００１４】前述したように、図２に示す２次抽出され
たデータの使用に関する問題は、画素が不規則に抽出さ
れるため、結果として得られる画像の質が低いことにあ
る。抽出パターンのために、画像がわずかに濃淡むらが
あるように見えること、および端部が波形に見えること
が通常である。こうした問題に対して、事前処理ステッ
プとして、この形式のサンプリングを補正し（ＣＦＡ補
完前に）、同時に、通常の画像処理ハードウェアまたは
ソフトウェアの残部を使用する方法を見出すことが望ま
しい。本発明によれば、ＣＦＡ補正は、カメラ内部にＣ
ＦＡ補正ＲＯＭ４７として含まれる。代替方法として
は、ＣＦＡ補正アルゴリズム６６をコンピュータ３２の
アルゴリズムセクション６２に含め、ＣＦＡ補正をコン
ピュータにおいてＣＦＡ補完前にＣＦＡデータに適用す
ることが可能である。
たデータの使用に関する問題は、画素が不規則に抽出さ
れるため、結果として得られる画像の質が低いことにあ
る。抽出パターンのために、画像がわずかに濃淡むらが
あるように見えること、および端部が波形に見えること
が通常である。こうした問題に対して、事前処理ステッ
プとして、この形式のサンプリングを補正し（ＣＦＡ補
完前に）、同時に、通常の画像処理ハードウェアまたは
ソフトウェアの残部を使用する方法を見出すことが望ま
しい。本発明によれば、ＣＦＡ補正は、カメラ内部にＣ
ＦＡ補正ＲＯＭ４７として含まれる。代替方法として
は、ＣＦＡ補正アルゴリズム６６をコンピュータ３２の
アルゴリズムセクション６２に含め、ＣＦＡ補正をコン
ピュータにおいてＣＦＡ補完前にＣＦＡデータに適用す
ることが可能である。
【００１５】この形式の抽出構造を補正するひとつの方
法は、図４に示すように、周辺の画素を使用し原始画素
から対角線方向に半画素離れた位置において画素を補完
することである。この図においては、（大文字）Ｒ、
Ｇ、およびＢ画素は、抽出された原始画素であり、（小
文字）ｒ、ｇ、およびｂ画素は、補完された画素であ
る。新しく補完された画素は通常の長方形ＣＦＡ形式の
パターンの中央（境界線上）に位置し、原始ＣＦＡパタ
ーンの低解像度版を生成することに注意することが重要
である。特に、新たに補完された画素は画像面全体に均
一に配置され、すなわち、図４に示すように、行方向で
間隔ｄ1だけ、列方向で間隔ｄ2だけ間隔を置いて均一に
配置される（ここで、ｄ1はｄ2と等しい必要はない）。
法は、図４に示すように、周辺の画素を使用し原始画素
から対角線方向に半画素離れた位置において画素を補完
することである。この図においては、（大文字）Ｒ、
Ｇ、およびＢ画素は、抽出された原始画素であり、（小
文字）ｒ、ｇ、およびｂ画素は、補完された画素であ
る。新しく補完された画素は通常の長方形ＣＦＡ形式の
パターンの中央（境界線上）に位置し、原始ＣＦＡパタ
ーンの低解像度版を生成することに注意することが重要
である。特に、新たに補完された画素は画像面全体に均
一に配置され、すなわち、図４に示すように、行方向で
間隔ｄ1だけ、列方向で間隔ｄ2だけ間隔を置いて均一に
配置される（ここで、ｄ1はｄ2と等しい必要はない）。
【００１６】新しい画素は、新画素を取り巻く同じ色の
４個の画素に対して双一次として補完を実施することに
よって生成することができる。たとえば、新画素ｒ21、
ｇ11、ｂ12およびｇ22は、原画素Ｒ21、Ｇ11、Ｂ12、お
よびＧ22から半画素だけ間隔をあけて生成することがで
きる。特に、新画素ｒ21は、下記の式を用いて原始デー
タから半画素だけ離して双一次として補完される。
４個の画素に対して双一次として補完を実施することに
よって生成することができる。たとえば、新画素ｒ21、
ｇ11、ｂ12およびｇ22は、原画素Ｒ21、Ｇ11、Ｂ12、お
よびＧ22から半画素だけ間隔をあけて生成することがで
きる。特に、新画素ｒ21は、下記の式を用いて原始デー
タから半画素だけ離して双一次として補完される。
【００１７】 ｒ21＝（４９Ｒ21＋７Ｒ01＋７Ｒ23＋Ｒ03）／６４ 必要とされる計算を簡略化するために、補完は下記の式
を用いて近似させることができる。
を用いて近似させることができる。
【００１８】ｒ21＝（６Ｒ21＋Ｒ01＋Ｒ23）／８ 同様に、ｇ11、ｂ12、およびｇ22画素は、下記の式を用
いて生成し補完することができる。
いて生成し補完することができる。
【００１９】ｇ11＝（６Ｇ11＋Ｇ31＋Ｇ13）／８ ｂ12＝（６Ｂ12＋Ｂ32＋Ｂ10）／８ ｇ22＝（６Ｇ22＋Ｇ02＋Ｇ20）／８ 図４に示す他の新画素（小文字ｒ、ｇ、ｂ）は、同様
に、それらを取り巻く近隣画素（大文字Ｒ、Ｇ、Ｂ）を
参照して双一次として補完することができる。これらの
式が２次抽出された画像においてすべての画素に対して
適用されたとき、原始画素に関して半画素だけ間隔を置
いた位置に補完される画素のみを含む新しく２次抽出さ
れた画像が生成される。この新しく２次抽出された画像
は、通常の完全解像度の場合と同じ補完アルゴリズム６
４を使用して処理し完全なＲＧＢ画像とすることができ
る。これらの補完アルゴリズムは、前述したように、技
術上公知である。２次抽出のために、いくらかのエイリ
アシング（不鮮明な画像）がまだ発生するが、結果とし
て得られる画像は補正処理しなかった場合に比較して濃
淡むらおよび波形が相当に減少する。
に、それらを取り巻く近隣画素（大文字Ｒ、Ｇ、Ｂ）を
参照して双一次として補完することができる。これらの
式が２次抽出された画像においてすべての画素に対して
適用されたとき、原始画素に関して半画素だけ間隔を置
いた位置に補完される画素のみを含む新しく２次抽出さ
れた画像が生成される。この新しく２次抽出された画像
は、通常の完全解像度の場合と同じ補完アルゴリズム６
４を使用して処理し完全なＲＧＢ画像とすることができ
る。これらの補完アルゴリズムは、前述したように、技
術上公知である。２次抽出のために、いくらかのエイリ
アシング（不鮮明な画像）がまだ発生するが、結果とし
て得られる画像は補正処理しなかった場合に比較して濃
淡むらおよび波形が相当に減少する。
【００２０】図５に、ＣＦＡ補正処理の全体ステップを
示す。最初に、ユーザシステムまたは撮像システムのい
ずれかが、比較的小さな画像サイズを選択する（ステッ
プ７０）。たとえば、ユーザは、連写モードの操作を選
択し、この操作によってシステムが比較的小さい画像サ
イズを選択することが誘導される。次に、完全解像度Ｃ
ＦＡ画像が撮像センサ３６によって記録される（ステッ
プ７２）。完全解像度ＣＦＡ画像データは、次に２次抽
出されて比較的小さいサイズの２次抽出されたＣＦＡ画
像を生成する（ステップ７４）。この２次抽出は、たと
えば、センサ３６から画素行の半分だけを読み取ること
によって実行される。この点は技術上公知である。他の
半分の画素行はセンサ３６から読み取られないので、こ
の結果、センサを読み取り期間における速度が相当に増
加される。なお、代替方法としては、ＣＣＤおよび処理
ハードウェアを配置することができる。この場合には、
完全解像度画像はセンサ３６から読み取られ、次に、バ
ッファメモリに記憶され、そこでバッファメモリは２次
抽出パターンに従って抽出される。しかし、この場合
は、速度の利点はセンサの読み出し時に喪失されること
になる。図２は、２次抽出されたＣＦＡ画像の例を示す
図である。
示す。最初に、ユーザシステムまたは撮像システムのい
ずれかが、比較的小さな画像サイズを選択する（ステッ
プ７０）。たとえば、ユーザは、連写モードの操作を選
択し、この操作によってシステムが比較的小さい画像サ
イズを選択することが誘導される。次に、完全解像度Ｃ
ＦＡ画像が撮像センサ３６によって記録される（ステッ
プ７２）。完全解像度ＣＦＡ画像データは、次に２次抽
出されて比較的小さいサイズの２次抽出されたＣＦＡ画
像を生成する（ステップ７４）。この２次抽出は、たと
えば、センサ３６から画素行の半分だけを読み取ること
によって実行される。この点は技術上公知である。他の
半分の画素行はセンサ３６から読み取られないので、こ
の結果、センサを読み取り期間における速度が相当に増
加される。なお、代替方法としては、ＣＣＤおよび処理
ハードウェアを配置することができる。この場合には、
完全解像度画像はセンサ３６から読み取られ、次に、バ
ッファメモリに記憶され、そこでバッファメモリは２次
抽出パターンに従って抽出される。しかし、この場合
は、速度の利点はセンサの読み出し時に喪失されること
になる。図２は、２次抽出されたＣＦＡ画像の例を示す
図である。
【００２１】次に、双一次補完が２次抽出されたＣＦＡ
画像上において実行され、新しく２次抽出されたＣＦＡ
画像が生成される（ステップ７６）。新しく２次抽出さ
れた画像は、図４に小文字のｒ、ｇ、ｂ値として示され
る。最後に、新しく２次抽出されたＣＦＡ画像上におい
て、処理が実行される（ステップ７８）。この処理は、
単一の処理ステップ、たとえば、ＣＦＡ補完、またはノ
イズ減少、ホワイトバランス補正、ＣＦＡ補完、色補
正、エッジ強調、および画像圧縮を含む全体の撮像連鎖
を包含することができる。
画像上において実行され、新しく２次抽出されたＣＦＡ
画像が生成される（ステップ７６）。新しく２次抽出さ
れた画像は、図４に小文字のｒ、ｇ、ｂ値として示され
る。最後に、新しく２次抽出されたＣＦＡ画像上におい
て、処理が実行される（ステップ７８）。この処理は、
単一の処理ステップ、たとえば、ＣＦＡ補完、またはノ
イズ減少、ホワイトバランス補正、ＣＦＡ補完、色補
正、エッジ強調、および画像圧縮を含む全体の撮像連鎖
を包含することができる。
【００２２】前述したすべての新画素は、同じ形式の式
を使用して生成されることに注意することが重要であ
る。これは、別の色のＣＦＡ補完後に、補完によって引
き起こされる平滑化はすべての３色面において同一であ
ることを意味する。このために、各３色面の頻度特性は
同じであり、このことはその後の画像処理アルゴリズム
は過剰カラーエイリアシングを有することはないことを
意味する。
を使用して生成されることに注意することが重要であ
る。これは、別の色のＣＦＡ補完後に、補完によって引
き起こされる平滑化はすべての３色面において同一であ
ることを意味する。このために、各３色面の頻度特性は
同じであり、このことはその後の画像処理アルゴリズム
は過剰カラーエイリアシングを有することはないことを
意味する。
【００２３】一部のＣＦＡセンサにおいては、ＣＦＡパ
ターンにおいてグリーン画素の行と行との間の不整合が
存在する。これは、通常、読み出しエレクトロニクスと
関係があり、この場合、グリーン／レッドラインは１セ
ットのゲインを有し、グリーン／ブルーラインは別の１
セットのゲインを有するので、グリーンはライン間にお
いて完全にはバランスされない。言い換えれば、グリー
ン／レッドラインのグリーン画素は、グリーン／ブルー
ラインのグリーン画素とわずかに異なる。これは、セン
サから読み取られる連続した画素間の前述した相互作用
によって惹起される。グリーン／レッド行においては、
レッド画素はグリーン画素に一方法によって影響を与え
るが、グリーン／ブルー行においては、ブルー画素は別
の方法によってグリーン画素に影響を与える。その結
果、得られる画像は予期されるものより遙かにノイズが
多くなる。
ターンにおいてグリーン画素の行と行との間の不整合が
存在する。これは、通常、読み出しエレクトロニクスと
関係があり、この場合、グリーン／レッドラインは１セ
ットのゲインを有し、グリーン／ブルーラインは別の１
セットのゲインを有するので、グリーンはライン間にお
いて完全にはバランスされない。言い換えれば、グリー
ン／レッドラインのグリーン画素は、グリーン／ブルー
ラインのグリーン画素とわずかに異なる。これは、セン
サから読み取られる連続した画素間の前述した相互作用
によって惹起される。グリーン／レッド行においては、
レッド画素はグリーン画素に一方法によって影響を与え
るが、グリーン／ブルー行においては、ブルー画素は別
の方法によってグリーン画素に影響を与える。その結
果、得られる画像は予期されるものより遙かにノイズが
多くなる。
【００２４】前述したアルゴリズムは、グリーン画素を
補完するために異なる画素を使用して修正し、この隣接
する行間の不整合問題を解消することができる。各原始
グリーン画素が対向する行形式から得られる他の二つの
グリーン画素の平均と平均化される（すなわち、奇数行
は偶数行と混合され、また逆に）場合は、隣接する行間
のオフセットは自動的に相殺され、一方同時に、新しい
補完グリーン画素が所望の位置に生成される。下記の式
は、これを実行する方法を示す。
補完するために異なる画素を使用して修正し、この隣接
する行間の不整合問題を解消することができる。各原始
グリーン画素が対向する行形式から得られる他の二つの
グリーン画素の平均と平均化される（すなわち、奇数行
は偶数行と混合され、また逆に）場合は、隣接する行間
のオフセットは自動的に相殺され、一方同時に、新しい
補完グリーン画素が所望の位置に生成される。下記の式
は、これを実行する方法を示す。
【００２５】ｇ11＝（２Ｇ11＋Ｇ20＋Ｇ02）／４ ｇ22＝（２Ｇ22＋Ｇ13＋Ｇ31）／４ これによって、隣接する行間の不整合問題はさらに複雑
なアルゴリズムを追加することなく取り除かれるが、そ
れはグリーンチャネルにおける補完ブルーはレッド、お
よびブルーチャネルにおける補完ブルーとわずかに異な
ることを意味することに留意することが必要である。そ
の結果、結果として得られる最終画像において非常に少
量のカラーエイリアシングが、ある一定の頻度において
目に見えるようになる。一部の資源の制約されるシステ
ムにおいては、このトレードオフは許容できる。
なアルゴリズムを追加することなく取り除かれるが、そ
れはグリーンチャネルにおける補完ブルーはレッド、お
よびブルーチャネルにおける補完ブルーとわずかに異な
ることを意味することに留意することが必要である。そ
の結果、結果として得られる最終画像において非常に少
量のカラーエイリアシングが、ある一定の頻度において
目に見えるようになる。一部の資源の制約されるシステ
ムにおいては、このトレードオフは許容できる。
【００２６】以上、好適な実施形態を参照して本発明を
述べた。しかし、通常の当業者は、本発明の範囲を逸脱
することなく異なる形および変形して実行することがで
きることは理解される。
述べた。しかし、通常の当業者は、本発明の範囲を逸脱
することなく異なる形および変形して実行することがで
きることは理解される。
【図１】 従来のバイエルカラーフィルタアレイを示す
図である。
図である。
【図２】 従来の２×２ブロックの画素に基づくバイエ
ルカラーフィルタアレイに対する２次抽出パターンを示
す図である。
ルカラーフィルタアレイに対する２次抽出パターンを示
す図である。
【図３】 本発明の実施形態におけるＣＦＡ補正を組み
込む撮像システムを示すブロック図である。
込む撮像システムを示すブロック図である。
【図４】 本発明の実施形態におけるＣＦＡ補正された
補完画素の空間構造を示す図である。
補完画素の空間構造を示す図である。
【図５】 本発明の実施形態におけるＣＦＡ補正処理を
示す工程図である。
示す工程図である。
３０ カメラ、３２ ホストコンピュータ、３４ 光学
セクション、３６ 撮像センサ、３８ レンズ、４０
シャッタ−絞り機構、４２ クロック発振器およびドラ
イバ回路、４４ ＡＳＰおよびＡ／Ｄ変換セクション、
４６ ＤＳＰ、４７ ＣＦＡ補正ＲＯＭ、４８ 出力イ
ンタフェース、４９，６７ ユーザインタフェース、５
０ 交換可能メモリ、５２ インタフェースドライバ、
５４ 制御プロセッサ、５６ カード読み取り装置、５
８ ディスプレイ、６０ ハードコピープリンタ、６２
アルゴリズムセクション、６４ ＣＦＡ補完アルゴリ
ズム、６６ ＣＦＡ補正アルゴリズム。
セクション、３６ 撮像センサ、３８ レンズ、４０
シャッタ−絞り機構、４２ クロック発振器およびドラ
イバ回路、４４ ＡＳＰおよびＡ／Ｄ変換セクション、
４６ ＤＳＰ、４７ ＣＦＡ補正ＲＯＭ、４８ 出力イ
ンタフェース、４９，６７ ユーザインタフェース、５
０ 交換可能メモリ、５２ インタフェースドライバ、
５４ 制御プロセッサ、５６ カード読み取り装置、５
８ ディスプレイ、６０ ハードコピープリンタ、６２
アルゴリズムセクション、６４ ＣＦＡ補完アルゴリ
ズム、６６ ＣＦＡ補正アルゴリズム。
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C065 AA03 BB13 BB48 CC09 DD02 DD17 EE05 EE06 EE12 GG13 GG18 GG30 GG32 GG49 HH04
Claims (11)
- 【請求項１】 カラー画像画素のアレイから導かれるカ
ラー画像信号を生成するための方法であって、 ２次抽出されたカラー画素のアレイを生成するために、
カラー画素のアレイを２次抽出するステップと、 同色の周辺の画素を使用し、２次抽出されたカラー画素
によって新しく均一に配置されるカラー画素のアレイを
補完するステップと、 新しくカラー画素のアレイから導かれるカラー画素信号
を処理するステップと、を含むことを特徴とする方法。 - 【請求項２】 請求項１に記載の方法において、前記補
完のステップは双一次補完を含むことを特徴とする方
法。 - 【請求項３】 所定の画素間隔で配列されるカラー画像
画素のアレイから導かれるカラー画像信号を処理するた
めの方法であって、 ２次抽出されたカラー画素のアレイを生成するために、
半解像度において２×２ブロックのカラー画素によって
カラー画素のアレイを２次抽出するステップと、 同色の周辺の画素を使用し、前記２次抽出されたカラー
画素によって半画素間隔の新しいカラー画素のアレイを
補完するステップと、 新カラー画素の前記アレイから導かれる前記カラー画素
信号を処理するステップと、を含むことを特徴とする方
法。 - 【請求項４】 請求項３に記載の方法において、前記補
完のステップは双一次補完を含むことを特徴とする方
法。 - 【請求項５】 請求項４に記載の方法において、前記双
一次補完は重み付けして半画素間隔を生成することを特
徴とする方法。 - 【請求項６】 所定の画素間隔で配列されるカラー画像
画素のアレイから導かれるカラー画素信号を処理するた
めの方法であって、 カラーフィルタアレイを通じてカラー画像を記録し、対
応するカラー画素のアレイを生成するステップと、 ２次抽出されたカラー画素のアレイを生成するために、
半解像度において２×２ブロックのカラー画素によって
カラー画素のアレイを２次抽出するステップと、 同色の周辺の画素を使用し、前記２次抽出されたカラー
画素によって半画素間隔の新しいカラー画素のアレイを
補完するステップと、 新カラー画素の前記アレイから導かれる前記カラー画素
信号を処理するステップと、を含むことを特徴とする方
法。 - 【請求項７】 請求項６に記載の方法において、前記補
完のステップは双一次補完を含むことを特徴とする方
法。 - 【請求項８】 請求項７に記載の方法において、前記双
一次補完は重みを付けられて半画素間隔を生成すること
を特徴とする方法。 - 【請求項９】 請求項６に記載の方法において、前記カ
ラーフィルタアレイはバイエルカラーフィルタアレイで
あることを特徴とする方法。 - 【請求項１０】 請求項６に記載の方法において、前記
処理のステップはカラーフィルタアレイ補完を含むこと
を特徴とする方法。 - 【請求項１１】 請求項６に記載の方法において、前記
処理のステップは、ノイズ減少、ホワイトバランス補
正、カラーフィルタアレイ補完、色補正、エッジ強調、
および画像圧縮よりなるグループから選択される一つ以
上のステップを含むことを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/049,400 | 1998-03-27 | ||
| US09/049,400 US6366318B1 (en) | 1998-03-27 | 1998-03-27 | CFA correction for CFA images captured at partial resolution |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000261814A true JP2000261814A (ja) | 2000-09-22 |
| JP4279384B2 JP4279384B2 (ja) | 2009-06-17 |
Family
ID=21959623
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32510498A Expired - Fee Related JP4279384B2 (ja) | 1998-03-27 | 1998-11-16 | カラーフィルタ画像信号生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6366318B1 (ja) |
| JP (1) | JP4279384B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7349016B2 (en) | 2003-04-03 | 2008-03-25 | Matsushita Electric Industrial Co., Ltd. | Solid-state color imaging apparatus capable of reducing false signals with regard to both luminance and chrominance |
| WO2009075243A1 (ja) * | 2007-12-12 | 2009-06-18 | Acutelogic Corporation | 固体撮像素子及びそれを用いた撮像装置 |
| JP2010192955A (ja) * | 2009-02-16 | 2010-09-02 | Nikon Corp | 撮像装置およびその画素加算方法 |
| JP2011171885A (ja) * | 2010-02-17 | 2011-09-01 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
| CN111345807A (zh) * | 2018-12-21 | 2020-06-30 | 四川锦江电子科技有限公司 | 一种心电波形绘制方法、模块及装置 |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6686961B1 (en) * | 1997-11-07 | 2004-02-03 | Minolta Co., Ltd. | Image pickup apparatus |
| JPH11168745A (ja) * | 1997-12-03 | 1999-06-22 | Minolta Co Ltd | デジタルカメラ |
| JP4284754B2 (ja) * | 1999-05-31 | 2009-06-24 | ソニー株式会社 | カラー撮像装置及びその制御方法 |
| US6900838B1 (en) * | 1999-10-14 | 2005-05-31 | Hitachi Denshi Kabushiki Kaisha | Method of processing image signal from solid-state imaging device, image signal processing apparatus, image signal generating apparatus and computer program product for image signal processing method |
| US7084905B1 (en) | 2000-02-23 | 2006-08-01 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for obtaining high dynamic range images |
| JP4195169B2 (ja) * | 2000-03-14 | 2008-12-10 | 富士フイルム株式会社 | 固体撮像装置および信号処理方法 |
| US7474337B1 (en) * | 2000-10-24 | 2009-01-06 | Sony Corporation | Method and apparatus to provide edge enhancements as part of a demosaicing process |
| US20030081564A1 (en) * | 2001-10-29 | 2003-05-01 | Chan James C. K. | Wireless transmission and recording of images from a video surveillance camera |
| US20070292022A1 (en) * | 2003-01-16 | 2007-12-20 | Andreas Nilsson | Weighted gradient based and color corrected interpolation |
| EP1439715A1 (en) * | 2003-01-16 | 2004-07-21 | Dialog Semiconductor GmbH | Weighted gradient based colour interpolation for colour filter array |
| US7019391B2 (en) * | 2004-04-06 | 2006-03-28 | Bao Tran | NANO IC packaging |
| US7862624B2 (en) * | 2004-04-06 | 2011-01-04 | Bao Tran | Nano-particles on fabric or textile |
| US7330369B2 (en) | 2004-04-06 | 2008-02-12 | Bao Tran | NANO-electronic memory array |
| US20050218398A1 (en) * | 2004-04-06 | 2005-10-06 | Availableip.Com | NANO-electronics |
| US20050218397A1 (en) * | 2004-04-06 | 2005-10-06 | Availableip.Com | NANO-electronics for programmable array IC |
| US7671398B2 (en) * | 2005-02-23 | 2010-03-02 | Tran Bao Q | Nano memory, light, energy, antenna and strand-based systems and methods |
| US8274715B2 (en) | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
| US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
| US7589772B2 (en) * | 2005-09-21 | 2009-09-15 | Coifman Ronald R | Systems, methods and devices for multispectral imaging and non-linear filtering of vector valued data |
| EP1958151B1 (en) * | 2005-11-10 | 2014-07-30 | DigitalOptics Corporation International | Image enhancement in the mosaic domain |
| US8154636B2 (en) * | 2005-12-21 | 2012-04-10 | DigitalOptics Corporation International | Image enhancement using hardware-based deconvolution |
| US7456881B2 (en) * | 2006-01-12 | 2008-11-25 | Aptina Imaging Corporation | Method and apparatus for producing Bayer color mosaic interpolation for imagers |
| JP4144630B2 (ja) | 2006-04-14 | 2008-09-03 | ソニー株式会社 | 撮像装置 |
| US7916362B2 (en) * | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
| US7393699B2 (en) | 2006-06-12 | 2008-07-01 | Tran Bao Q | NANO-electronics |
| US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
| US7769230B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
| US7769229B2 (en) * | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
| US8452082B2 (en) * | 2007-09-27 | 2013-05-28 | Eastman Kodak Company | Pattern conversion for interpolation |
| US8350936B2 (en) * | 2010-07-21 | 2013-01-08 | Canon Kabushiki Kaisha | Recording successive frames of raw sensor data depicting a moving scene |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| GB2231460B (en) * | 1989-05-04 | 1993-06-30 | Sony Corp | Spatial interpolation of digital video signals |
| US5053861A (en) * | 1989-07-24 | 1991-10-01 | Eastman Kodak Company | Compression method and apparatus for single-sensor color imaging systems |
| US5382976A (en) | 1993-06-30 | 1995-01-17 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients |
| US5493335A (en) | 1993-06-30 | 1996-02-20 | Eastman Kodak Company | Single sensor color camera with user selectable image record size |
| US5373322A (en) | 1993-06-30 | 1994-12-13 | Eastman Kodak Company | Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients |
| JP3392564B2 (ja) * | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
| US5506619A (en) | 1995-03-17 | 1996-04-09 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5629734A (en) | 1995-03-17 | 1997-05-13 | Eastman Kodak Company | Adaptive color plan interpolation in single sensor color electronic camera |
| US5596367A (en) * | 1996-02-23 | 1997-01-21 | Eastman Kodak Company | Averaging green values for green photosites in electronic cameras |
| US5652621A (en) * | 1996-02-23 | 1997-07-29 | Eastman Kodak Company | Adaptive color plane interpolation in single sensor color electronic camera |
| US6091851A (en) * | 1997-11-03 | 2000-07-18 | Intel Corporation | Efficient algorithm for color recovery from 8-bit to 24-bit color pixels |
-
1998
- 1998-03-27 US US09/049,400 patent/US6366318B1/en not_active Expired - Lifetime
- 1998-11-16 JP JP32510498A patent/JP4279384B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7349016B2 (en) | 2003-04-03 | 2008-03-25 | Matsushita Electric Industrial Co., Ltd. | Solid-state color imaging apparatus capable of reducing false signals with regard to both luminance and chrominance |
| WO2009075243A1 (ja) * | 2007-12-12 | 2009-06-18 | Acutelogic Corporation | 固体撮像素子及びそれを用いた撮像装置 |
| US7973831B2 (en) | 2007-12-12 | 2011-07-05 | Acutelogic Corporation | Solid-state image sensor and imaging apparatus using the same |
| TWI386049B (zh) * | 2007-12-12 | 2013-02-11 | Acutelogic Corp | A solid-state imaging device, and a device using the solid-state imaging device |
| JP2010192955A (ja) * | 2009-02-16 | 2010-09-02 | Nikon Corp | 撮像装置およびその画素加算方法 |
| US8797438B2 (en) | 2009-02-16 | 2014-08-05 | Nikon Corporation | Digital camera and pixel adding method of same |
| JP2011171885A (ja) * | 2010-02-17 | 2011-09-01 | Renesas Electronics Corp | 画像処理装置及び画像処理方法 |
| CN111345807A (zh) * | 2018-12-21 | 2020-06-30 | 四川锦江电子科技有限公司 | 一种心电波形绘制方法、模块及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6366318B1 (en) | 2002-04-02 |
| JP4279384B2 (ja) | 2009-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4279384B2 (ja) | カラーフィルタ画像信号生成方法 | |
| US6650366B2 (en) | Digital photography system using direct input to output pixel mapping and resizing | |
| US8223219B2 (en) | Imaging device, image processing method, image processing program and semiconductor integrated circuit | |
| US6192162B1 (en) | Edge enhancing colored digital images | |
| US6943831B2 (en) | Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images | |
| US5808674A (en) | Producing and improved digital image from digital signals corresponding to pairs of photosites | |
| US6697107B1 (en) | Smoothing a digital color image using luminance values | |
| JPH08298670A (ja) | 適応カラー補間単一センサカラー電子カメラ | |
| JP2002325197A (ja) | 取り付け可能なプリンタに画像処理を提供するデジタルカメラ | |
| JP2000078597A (ja) | デジタルカラ―イメ―ジ値の処理装置 | |
| JP2002010276A (ja) | 撮像装置 | |
| US6542187B1 (en) | Correcting for chrominance interpolation artifacts | |
| JP4096626B2 (ja) | 画像処理方法及び画像処理プログラム | |
| JPS63266982A (ja) | 画像信号の補間方法及びそれを実施する画像信号処理装置 | |
| JP4941219B2 (ja) | ノイズ抑圧装置、ノイズ抑圧方法、ノイズ抑圧プログラムおよび撮像装置 | |
| US6671401B1 (en) | Removing color moire patterns from digital images having known chromaticities | |
| JPH11282446A (ja) | 画像処理方法及び記憶媒体 | |
| EP2421239A2 (en) | Image processing apparatus and method for applying film grain effects | |
| JP4985180B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 | |
| JP2004023737A (ja) | 画像処理装置及びその方法 | |
| JP3253538B2 (ja) | 画像処理装置及びその画像処理方法 | |
| JP2000232618A (ja) | フォトフィニッシング方法およびシステム並びに記録媒体 | |
| JP3954204B2 (ja) | 信号処理装置およびその信号処理方法 | |
| JP2004253909A (ja) | 画像処理方法 | |
| JP4334740B2 (ja) | 画像生成装置および撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050906 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20051111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090312 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120319 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |