JP2002204399A - 画像圧縮方法 - Google Patents

Abstract

(57)【要約】 【課題】 ある照射に対して所定の応答を備えた高速フ
ォトサイトから生成された高速ピクセル値と、同じ照射
に対して低速の応答を備えた低速フォトサイトから生成
された低速ピクセル値を有する電子イメージセンサから
得られるデジタル画像を効率的かつ効果的に圧縮する。 【解決手段】 撮像素子１０及びＡ／Ｄ変換器１４で完
全な解像度から疎にサンプルしてダイナミックレンジを
拡張した画像を供給し、圧縮器３１２で完全な解像度か
ら疎にサンプルした画像を高速ピクセル値だけを有する
高速画像と低速ピクセル値だけを有する低速画像に分
け、前記高速画像と低速画像を別個に圧縮する。圧縮器
３１２は、ピクセル種類分離器により低速ピクセルと高
速ピクセルを分離して各々を独立に圧縮する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は一般に撮像分野に
関し、より詳細にはダイナミックレンジを拡張した撮像
素子からの画像を圧縮する方法に関する。

【０００２】

【従来の技術】電荷結合素子（ＣＣＤ）等の撮像素子は
一般に、デジタルカメラ、スキャナ、およびビデオカメ
ラ等の製品内に見られる。これらの撮像素子は、既存の
写真フィルム製品に比べてダイナミックレンジが制限さ
れている。典型的な電子撮像素子は、約７ストップのダ
イナミックレンジを有する。これは、典型的な情景の照
射が、結果的な信号のクリッピングを避けるために、か
なりの量の精度で決定されなければならない。一方、自
然の情景は、９ストップ以上のダイナミックレンジを示
すことが多い。これは主に複数の光源の結果であり、そ
の情景の対象を照射する強度は大きく変化している。さ
らに、鏡面のハイライトが、自然の情景のダイナミック
レンジに寄与している。

【０００３】写真フィルムを走査するために用いられる
電子センサはさらに、信号強度の高ダイナミックレンジ
に対処しなければならない。ミルチの（Ｍｉｌｃｈ）米
国特許第５，２２１，８４８号、公告日１９９３年６月
２２日では、電子イメージセンサのダイナミックレンジ
を拡張するために設計された方法および装置が開示され
ている。写真フィルムを走査することを主目的とし、ミ
ルチはその上に複数の直線状アレイを備えた電荷結合素
子スキャナを用いるワンパス・フィルム・スキャナの方
法を開示している。そのアレイの一つは高強度の光に対
応し、他のアレイは低強度の光に対応している。次に、
二つのアレイからの情報を組み合わせ、デジタル化して
ダイナミックレンジを拡張したデジタル画像を形成す
る。ミルチが開示した方法および装置は、光強度に対し
て同じスペクトル感度であるが、異なる性質を備えたフ
ォトサイトを有する電子イメージセンサであり、非常に
高いダイナミックレンジを備えたデジタル画像を生成す
ることができる。

【０００４】デジタル電子カメラは、カラーフィルタア
レイ（ＣＦＡ）を備えた単一のイメージセンサを用い
て、疎にサンプルしたデジタル画像を生成する。赤、
緑、および青のフォトサイトを用いて赤、緑、および青
のピクセル値を生成する典型的なカラーフィルタアレイ
・パターンは、バイエル（Ｂａｙｅｒ）の米国特許第
３，９７１，０６５号、公告日１９７６年７月２０日に
開示されている。補間アルゴリズムは、疎にサンプルし
た画像から完全な解像度のカラー画像を生成するために
用いられる。デジタルカメラはさらに、高ダイナミック
レンジを有する情景を記録する必要がある。デジタルカ
メラから高ダイナミックレンジの画像を得る一つの方法
は、カメラ内で高ビット深度のアナログ・デジタル変換
器を用いることである。別の方法は、ここに援用するギ
ャラガ（Ｇａｌｌａｇｈｅｒ）などの米国係属出願番号
第０９／６１５，３９８号、出願日２０００年７月１３
日に開示されているように、散在させた高速および低速
フォトサイトを備えたイメージセンサを用いることであ
る。さらに、デジタルカメラの重要な特徴は、管理可能
な大きさのデジタル画像を生成する必要があることであ
る。これは主に、デジタルカメラの制限された搭載メモ
リと、デジタル画像を他の素子に転送するための帯域幅
の制限による。

【０００５】ロバート・グレイ（Ｒｏｂｅｒｔ Ｇｒａ
ｙ）とボビー・ハント（ＢｏｂｂｙＨｕｎｔ）は、Ｐｒ
ｏｃ．ＳＰＩＥ，Ｖｏｌｕｍｅ ４３２、サンディエ
ゴ、１９８３年８月の記事「Ｍｕｌｔｉｓｐｅｃｔｒａ
ｌ ｄａｔａ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ
ｓｔａｇｇｅｒｅｄ ｄｅｔｅｃｔｏｒ ａｒｒａｙ
ｓ」に、ＣＦＡを備えたイメージセンサで捕捉した画像
の赤、緑、および青のピクセル値に対して、別個に画像
圧縮を行うことに関する利点を定量化している。しか
し、グレイとハントの方法は、ある照射に対して所定の
応答を備えた高速フォトサイトから生成された高速ピク
セル値と、同じ照射に対して低速の応答を備えた低速フ
ォトサイトから生成された低速ピクセル値を有するイメ
ージセンサを考慮してはいなかった。

【０００６】ツァイ（Ｔｓａｉ）などの同一出願人によ
る米国特許第５，０６５，２２９号、公告日１９９１年
１１月１２日と、第５，０５３，８６１号、公告日１９
９１年１０月１日は、色を補間する前にデジタル画像を
圧縮する方法を記載している。しかし、彼らの方法は、
ある照射に対して所定の応答を備えた高速フォトサイト
から生成された高速ピクセル値と、同じ照射に対して低
速の応答を備えた低速フォトサイトから生成された低速
ピクセル値を有するイメージセンサを考慮してはいなか
った。

【０００７】

【発明が解決しようとする課題】従って、ある照射に対
して所定の応答を備えた高速フォトサイトから生成され
た高速ピクセル値と、同じ照射に対して低速の応答を備
えた低速フォトサイトから生成された低速ピクセル値を
有する電子イメージセンサから得られるデジタル画像を
効率的かつ効果的に圧縮する必要がある。さらに、光強
度に対して同じスペクトル感度であるが、異なる性質を
備えたフォトサイトを有し、非常に高いダイナミックレ
ンジを備えたデジタル画像を生成することができる電子
イメージセンサで生成した画像を効果的に圧縮する必要
がある。

【０００８】

【課題を解決するための手段】その必要性は、この発明
に従って、ある照射に対して所定の応答を備え高速ピク
セル値を生成する高速フォトサイトと、同じ照射に対し
て低速応答を備え低速ピクセル値を生成する低速フォト
サイトを有し、疎にサンプルしてダイナミックレンジを
拡張した撮像素子によって生成され、完全な解像度から
疎にサンプルしてダイナミックレンジを拡張した画像か
ら、圧縮した画像を生成する方法を提供することによっ
て実現される。その方法は、完全な解像度から疎にサン
プルしてダイナミックレンジを拡張した画像を提供し、
完全な解像度から疎にサンプルした画像を高速ピクセル
値だけを有する高速画像と低速ピクセル値だけを有する
低速画像に分け、前記高速画像と低速画像を別個に圧縮
するステップを有する。

【０００９】この発明の利点は、ここで説明した圧縮技
術が明らかに、このようなセンサからのデジタル画像を
より効率的に圧縮するために、ある照射に対して所定の
応答を備えた高速フォトサイトと、同じ照射に対して低
速の応答を備えた低速フォトサイトからの低速ピクセル
値を有するイメージセンサ上のフォトサイトの独自の配
置を利用していることである。

【００１０】

【発明の実施の形態】デジタル画像は、一つ以上のデジ
タル画像のチャネルからなる。各デジタル画像のチャネ
ルは、二次元アレイのピクセルから構成されている。各
ピクセル値は、そのピクセルの幾何学的領域に応じて撮
像素子が受け取った光の量に関係している。カラー撮像
用途の場合、デジタル画像は一般に、赤、緑、青のデジ
タル画像のチャネルからなる。例えばシアン、マゼン
タ、イエローのデジタル画像のチャネルといった他の構
成も実現されている。単色の用途の場合、そのデジタル
画像は一つのデジタル画像のチャネルからなる。動画用
途は、デジタル画像の時系列として考えられる。当業者
には明らかなように、この発明は上記の用途のいずれに
も適用できるが、それらに限定されない。

【００１１】この発明は、行と列に配置したピクセル値
の二次元アレイとしてデジタル画像チャネルを説明して
いるが、当業者には明らかなように、同様の効果を備え
たモザイク（非直線の）アレイ、つまり六角形のアレイ
に適用することもできる。

【００１２】電子センサを用いる撮像素子は既知であ
り、従ってこの発明は特に、この発明による装置の一部
を構成するか、またはより直接的に協力している要素に
適用される。ここで特に示していないか、または説明し
ていない要素を当業者が選択することもできる。なお、
ここで用いられているように、画像という用語は二次元
アレイの値のことである。画像は、別の画像の二次元の
一部であってもよい。この発明は、プログラム式デジタ
ル・コンピュータまたはカスタム集積デジタル画像処理
回路を用いて実現できる。下記の開示内容に基づくコン
ピュータ・プログラム等を作成することは、プログラミ
ング技術の範囲内で可能である。コンピュータは、パー
ソナル・コンピュータ等の汎用デジタル・コンピュータ
であっても、デジタル画像処理用に特に設計した専用デ
ジタル・コンピュータであってもよい。この発明は、デ
ジタルカメラ内に全部であれ一部であれ実装できる。

【００１３】この発明の基本要素は、図１の機能ブロッ
ク図として示されている。対象または情景からの光はレ
ンズ２に入射し、電荷結合素子（ＣＣＤ）等の撮像素子
１０上に写真画像を形成する。なお、ＣＭＯＳ素子等の
他の素子を撮像素子１０として用いることもできる。レ
ンズ２と撮像素子１０の間に配置した光学的ローパス・
フィルタ６は、結像した光をややぼやかして擬似ライン
の発生を低減する。Ａ／Ｄ変換器１４は、結像した光に
応じた電圧信号を撮像素子１０から受け取り、その電圧
信号に応じた画像信号を生成する。Ａ／Ｄ変換器の出力
は、完全な解像度から疎にサンプルしてダイナミックレ
ンジを拡張した画像である。疎にサンプルした画像は、
複数の種類のフォトサイトを備えた単一のイメージセン
サを有する撮像素子で捕捉した画像として定義される。
この発明によると、疎にサンプルしたという用語もま
た、カラーフィルタアレイを有するイメージセンサを含
む、散在した高速および低速フォトサイトを有するイメ
ージセンサが生成した画像を指すことを意図している。

【００１４】完全な解像度から疎にサンプルしてダイナ
ミックレンジを拡張した画像は、この発明に従って圧縮
し、下記に説明する圧縮器３１２によって圧縮したデジ
タル画像を生成する。圧縮したデジタル画像は、コンピ
ュータメモリ（図示せず）内に格納するか、または通信
ネットワーク（図示せず）上に送信して、後で復元器２
１４で復元して再構成したデジタル画像を生成できる。

【００１５】図１に示したＡ／Ｄ変換器１４は、撮像素
子１０のフォトサイトで生成した電圧信号に応じた画像
信号、つまりデジタル・ピクセル値のストリームに、撮
像素子１０で生成した電圧信号を変換する。より詳細に
は、Ａ／Ｄ変換器１４は、線形にコード化した値が０〜
１０２３の範囲である例えば１０ビットの信号といった
離散的なデジタル画像信号に、入射光の強度に対してほ
ぼ線形の撮像素子１０からの電圧信号を変換する。Ａ／
Ｄ変換器１４はさらに線形のコード値の領域画像信号
を、その技術で一般に行われているように、８ビットの
対数信号のような非線形のコード値の領域画像信号に変
換する処理を行うこともできる。例えば、次に式を用い
て、１０ビットの線形の画像信号ａ（ｘ，ｙ）を８ビッ
トの対数画像信号ｂ（ｘ，ｙ）に変換できる。ここで、
（ｘ，ｙ）は撮像素子１０に関する信号位置の行列イン
デックスを指定する。

【００１６】

【数１】 なお、照射の（撮像素子の線形な応答領域における）各
ストップの結果、線形な画像信号ａ（ｘ，ｙ）は倍増
し、対数コード化した画像信号ｂ（ｘ，ｙ）は５１倍に
増大する。この場合、５１という値は照射のストップ
（ｃｖｓ）ごとのコード値の数を表す。

【００１７】好ましい実施例では、撮像素子１０は、フ
ォトサイトと呼ばれる光電性の要素のアレイからなる。
各フォトサイトは一般に、ここに援用するバイエルの同
一出願人による米国特許第３，９７１，０６５号に記載
されているように、赤、緑、または青のフィルタで被覆
されている。バイエルのアレイは、緑のフィルタをフォ
トサイト上に市松模様に配置し、赤と青のフィルタはラ
インごとに交互に配置して、市松模様の間隙部を充填し
たカラーフィルタアレイである。これは、赤または青の
フィルタサイトの二倍の数だけ緑のフィルタサイトを形
成する。なお、ここに記載した方法は、異なる構成の主
原色、異なる数の主原色、または異なる組の主原色を備
えたカラーフィルタアレイに容易に拡張できる。従っ
て、好ましい実施例では、各フォトサイトは、赤、緑、
または青い光のいずれかに対する感度を有する。従っ
て、撮影された画像は赤、緑および青に疎にサンプルさ
れる。しかし、各フォトサイトの位置で、赤、緑、およ
び青の各々を露光する照射に応じたピクセル値を得るこ
とが望ましい。この説明では、「赤」、「緑」、および
「青」は、画像処理技術で既知なように、撮像素子１０
の主なスペクトル感度を表す。

【００１８】一般に、フォトサイト上のカラーフィルタ
要素のカラー値ではなくカラーピクセル値が、補間によ
って隣接するフォトサイトからのカラーピクセル値から
構成される。一般に知られている補間器のいずれも使用
することができるが、好ましいＣＦＡ補間器の説明は、
ここに援用するアダムズ（Ａｄａｍｓ）などの米国特許
第５，６５２，６２１号、公告日１９９７年７月２９日
の開示内容に含まれている。アダムズなどは、行列に配
置したカラーフォトサイトを有するイメージセンサから
得たデジタル化した画像信号を処理する装置を説明して
おり、その装置は少なくとも三つの別個の明度を生成す
るが、各フォトサイト位置には明度は一つだけであり、
各フォトサイト位置用の明度を補間する構造を有し、三
つの異なる明度を有する。その装置は、隣接するフォト
サイト位置の欠けている明度ではなく、異なる色の明度
からこのようなフォトサイト位置の別の明度を補間する
ことで、あるフォトサイト位置の欠けている適切な明度
を生成する。その装置はさらに、同じ行列の隣接するフ
ォトサイトに応じて、ピクセル値から少なくとも二つの
画像方向におけるラプラシアン二次値、階調値および色
差バイアス値を得て、これらの値から展開した分類器に
基づいて欠けている明度を補間する好ましい方向を選択
する。最後に、隣接する複数のカラーピクセル値から欠
けているカラーピクセル値を選択し、好ましい方向に一
致させる。撮像素子１０に対する所定のフォトサイトの
配置は、下記にさらに詳しく説明する。好ましい実施例
では、所定のフォトサイトの応答は、ここでは低速フォ
トサイトと呼ばれる所定のフォトサイトの利得を変更す
ることで低速し遅延する。フォトサイトの利得の変更
は、一般的にデジタルカメラの設計および製造技術にお
いて実現される。

【００１９】図２を参照すると、各フォトサイト上に樹
脂小型レンズ５１を配置するイメージセンサの製造技術
における一般的な実施例が示されている。例えば、特に
撮像素子１０がインタライン型固体撮像素子である場
合、一つの小型レンズ技術は、ここに援用する石原（Ｉ
ｓｈｉｈａｒａ）などの米国特許第４，６６７，０９２
号、公告日１９８７年５月１９日に記載されている。石
原は、ブロック面を備えた画像記憶ブロックを有する固
体撮像素子を開示しており、複数の記憶要素はブロック
面に沿って組み込まれ、電荷の形で画像を記憶する。被
覆層は、記憶要素に対応して光学的レンズアレイを構成
するように形成する。中間層は、ブロック面と被覆層の
間に配置する。入射光は、記憶要素上のレンズと中間層
を介して集束する。中間層は、焦点距離を調整する調整
層として機能する。

【００２０】図２は、インタライン型固体撮像素子の断
面図を示している。小型レンズ５１がない場合、フォト
サイトの各光電性領域５５に対応する信号読み出し領域
は、光電変換領域として半導体基板の全領域を用いるこ
とができない。既存の固体撮像素子は、それに入射する
全ての光線を効率的には利用せず、低感度となる。フォ
トサイト上に樹脂小型レンズ５１を追加すると、フォト
サイトの光活性領域に入射光線を集束させ、入射光線を
より効率的に利用してフォトサイトの感度を向上でき
る。従って、小型レンズ５１の大きさや効率を変更する
ことによって、フォトサイトの感度（利得）を容易に変
更できる。さらに、インタライン型素子やＣＭＯＳセン
サの場合、フォトサイトの利得を変更する好ましい方法
は、フォトサイト上に配置した小型レンズ５１を変更す
ることによる。図２に示したように、位置５２は小型レ
ンズを有しておらず、光電性領域にはより少ない入射光
線しか入射しない。また、小型レンズは、小型レンズ５
１に比べて異なる半径、形状、大きさまたは材料で位置
５２に製造して、光電性領域５５に入射する光線を小型
レンズ５５より低い効率になるように構成できる。当業
者には明らかなように、小型レンズ５１が入射光線の８
０％を光電性領域５５上に集束し、小型レンズを有さな
い（または低速の小型レンズを有する）位置５２が入射
光線の２０％を光電性領域５５に到達させる場合、小型
レンズ５１によって被覆されたフォトサイトは位置５２
より２ストップだけ高速になる。この場合、小型レンズ
５１は高速フォトサイトに用いられ、位置５２で表され
るように小型レンズがない場合は低速フォトサイトに用
いられる。

【００２１】全フレーム撮像素子１０の断面図を示す図
３を参照すると、撮像素子１０が全フレーム素子である
場合、フォトサイトの光電性領域５５に入射する光線
は、一般に金属からなる遮光開口部を介して通過する。
この遮光開口部は遮光マスク部５４と、遮光部の間に散
在させた大開口部５６、小開口部５７を有するように図
３の断面図に示されている。好ましい実施例では、フォ
トサイトの利得は、遮光マスク部５４を修正することで
変更できる。そして、フォトサイトの感度は遮光マスク
部５４の開口部に直接関係する。例えば、第二フォトサ
イトの開口部の大きさの５０％の開口部を備えたフォト
サイトは、第二フォトサイトに対して５０％の応答を有
する。例えば、遮光マスク部５４の大開口部５６は、フ
ォトサイト上への入射光線の８０％を通過させ、小開口
部５７は入射光線の２０％しか通過させることができな
い。当業者には明らかなように、大開口部５６を備えた
フォトサイトは、小開口部５７を備えたフォトサイトよ
り２ストップ高速である。この場合、大開口部５６は高
速フォトサイトに用いられ、小開口部５７は低速フォト
サイトに用いられる。従って、遮光マスクの開口部は、
所定のフォトサイトの応答を調整するために修正するこ
とができる。Ｅａｓｔｍａｎ Ｋｏｄａｋ Ｃｏｍｐａ
ｎｙは、全てのピクセルのピクセル活性領域を約８０〜
約２０％まで（センサを水平および垂直に１／２ピクセ
ルの間隔だけ動かし、四つの画像を取り込むディザを行
ったスキャナ用途の場合）低減する金属マスク遮光部を
備えた全フレーム撮像素子を製造している。従って、こ
の発明は、このようなマスク技術を用いるが異なる大き
さの開口部を備え、イメージセンサに画像光の反応差を
提供する。

【００２２】好ましい実施例では、所定の低速フォトサ
イトの応答は、図４にグラフ的に示したように同じ照射
に対する高速フォトサイトのＸ％（Ｘ≦１００）にな
る。この好ましい実施例では、所定のフォトサイトは高
速フォトサイトに対して２ストップ（−ｌｏｇＸ／１０
０）だけ遅らされた応答を有し、Ｘ＝２５になる。従っ
て、撮像素子１０は、高速フォトサイトと低速フォトサ
イトという複数組のフォトサイトからなる。高速フォト
サイトの出力応答の集まりは、高速画像、つまり高速フ
ォトサイトで検出した情景の疎にサンプルした形態を構
成する。同様に、低速フォトサイトの出力応答の集まり
は、低速画像、つまり低速フォトサイトで検出した情景
の疎にサンプルした形態を構成する。

【００２３】別の方法のように、所定の低速フォトサイ
トの応答は、そのフォトサイトを被覆するニュートラル
・デンシティ・フィルタも用いることで低速にできる。
図５は、カラーフィルタアレイ５３を備えた撮像素子の
断面図を示している。なお、カラーフィルタアレイ５３
ａは赤、５３ｂは緑、５３ｃは赤、５３ｄは緑である。
ニュートラル・フィルタ５８の層は、カラーフィルタア
レイ５３上に配置されるが、ニュートラル・フィルタ５
８の層とカラーフィルタアレイ５３の位置は重要ではな
い。なお、ニュートラル・フィルタ５８の層だけが、ニ
ュートラル・フィルタ５９で示すように所定のフォトサ
イトの位置にニュートラル・フィルタを有する。この場
合、ニュートラル・フィルタ５８の層は、高速フォトサ
イトに対しては透明またはほぼ透明であり、低速フォト
サイトに対してはニュートラル・フィルタ５９を有す
る。例えば、ニュートラル・フィルタ５９が光をＸ％透
過できる材料からなる場合、低速フォトサイトの応答は
高速フォトサイトの応答に対して−ｌｏｇ2（Ｘ／１０
０）ストップだけ低速になる。

【００２４】好ましい実施例では、撮像素子１０のフォ
トサイトの５０％が、低速応答を有するように選択され
る。当業者には明らかなように、低速応答を有するフォ
トサイトの割合を変更してもこの発明の利点を得ること
ができる。全てのフォトサイトがほぼ等しいスペクトル
感度を有する撮像素子１０（つまり全整色撮像素子）の
場合、図６は低速フォトサイトの配置を示しており、撮
像素子１０の全フォトサイトの約５０％が低速応答とな
る。低速応答を有するフォトサイト２８にはアスタリス
ク（＊）が付けられており、高速応答を有するフォトサ
イト３０は空白である。疎にサンプルした画像は既に、
カラーフィルタアレイを有する撮像素子で捕捉した画像
として定義していた。この発明によると、疎にサンプル
したという用語は、高速および低速フォトサイトを散在
させている図６に示したようなイメージセンサが生成し
た画像を指すことも意図している。

【００２５】図７は、フォトサイトの各種類（赤、緑、
または青の感度を有する）の５０％が低速応答を有する
カラーイメージセンサの構成を示している。例えば、フ
ォトサイト３２、３４、および３６が各々低速応答を有
する赤、緑および青のフォトサイトであり、フォトサイ
ト３８、４０および４２が各々高速応答を有する赤、緑
および青のフォトサイトである。

【００２６】なお、図６、７は低速フォトサイトの位置
に対して規則的な模様を意味している。低速フォトサイ
トは規則的な模様で配置することが望ましいが、決して
必須ではない。低速フォトサイトは、撮像素子１０の表
面上にランダムまたはややランダムに配置することがで
きる。

【００２７】図４を参照すると、所定の照射に対する高
速フォトサイトの応答と、同じ照射に対する低速フォト
サイトの応答が示されている。なお、あるレベルの雑音
ｎをその応答に重ね合わせると、高速フォトサイトは、
低い照射に対して、低速フォトサイト（有効な信号は１
００Ｅ／Ｘから始まる）より有効な信号を出力できるこ
とが容易にわかる。また、低速フォトサイトからのデー
タは、高い照射レベル（１００Ｅ２＾S／Ｘのレベルの
信号まで、ここでＳは単一のフォトサイトの固有のダイ
ナミックレンジであり、一般にＳは約５ストップであ
る）に対しては、高速フォトサイト（Ｅ２＾Sの照射ま
で有効な応答を生成する）より有効である。なお、高速
フォトサイトと低速フォトサイトはどちらも、複数のス
トップの照射において同じ応答レンジ（Ｓ）を有する
が、低速フォトサイトの応答は好ましくは、図４に示す
ように高速フォトサイトより−ｌｏｇ2（Ｘ／１００）
ストップ遅い。好ましくは、高速および低速フォトサイ
トの応答は、照射に対して重なり合っている。つまり、
好ましくは、−ｌｏｇ2（Ｘ／１００）＜Ｓである。高
速および低速フォトサイトを両方とも考慮すると、撮像
素子１０の全ダイナミックレンジは、Ｓ−ｌｏｇ2（Ｘ
／１００）となる。好ましい実施例では、Ｓ＝５、Ｘ＝
２５であり、撮像素子１０の全有効ダイナミックレンジ
は７ストップの照射となる。

【００２８】完全な解像度のダイナミックレンジを拡張
したデジタル画像は、高速および低速画像のピクセル値
を等しくし、同じ光照射に対する応答の違いを明らかに
して、必要ないずれかの色の補間を行うことで生成され
る。

【００２９】Ａ／Ｄ変換器１４から出力し、完全な解像
度から疎にサンプルしてダイナミックレンジを拡張した
画像は、メモリの必要量を低減し画像の可搬性を助ける
ためにこの発明に従って圧縮する。好ましい実施例で
は、Ａ／Ｄ変換器１４から出力した画像信号は圧縮器３
１２に入力する。圧縮器３１２の出力は、圧縮したデジ
タル画像であり、例えばコンピュータのハードディスク
・ドライブ、フロッピ・ディスク、ＣＤ−ＲＯＭ、また
はコンピュータのＲＡＭ等のコンピュータメモリ内に保
存できる。圧縮したデジタル画像はさらに、通信ネット
ワークを介してある場所から別の場所にデジタル画像を
送るとき送信時間を低減する。例えば、圧縮したデジタ
ル画像は、通信ネットワークを介してリモート位置に送
信でき、圧縮した画像をそこで復元器３１４に入力して
再構成したデジタル画像を生成する。圧縮器３１２から
の圧縮したデジタル画像は、電子メールまたはインター
ネットを介して、ホストコンピュータまたはリモート・
コンピュータに送って復元することもできる。復元した
デジタル画像は、さらに処理して再構築したデジタル画
像のダイナミックレンジを拡張し、高解像度でダイナミ
ックレンジを拡張した画像を生成できる。Ａ／Ｄ変換器
１４から出力し、疎にサンプルしてダイナミックレンジ
を拡張した画像を圧縮することで、再構築したデジタル
画像のダイナミックレンジを拡張する計算上複雑な処理
は、より便利な時間まで遅延できる（例えばカメラでは
なくデスクトップ・コンピュータ上）。圧縮器３１２
は、ファイルの大きさを低減するために、不可逆的圧縮
または可逆的圧縮のいずれかを行うことができる。圧縮
器３１２の出力は、ほとんどの消費者に有用なＪＰＥＧ
等のファイル・フォーマットであってもよい。

【００３０】この発明の場合、フォトサイトは図６に示
したように高速または低速の二種類からなる。さらに、
図７に示したようなカラーイメージセンサ１０の場合、
各種類内でフォトサイトはさらに、赤、緑または青であ
ることができる。（当業者には明らかなように、多くの
他の組み合わせも可能である。）従って、全部で六種類
のフォトサイトがある。フォトサイトの各種類は、同じ
種類の隣接するフォトサイトと高い相関を有するので、
フォトサイトの各種類の出力は、この発明による圧縮器
３１２によって別個に圧縮される。圧縮器３１２につい
ては、下記にさらに詳しく説明する。

【００３１】圧縮器３１２は、いくつかのモードのいず
れか一つで動作してもよい。一つのモードは、イメージ
センサ１０が図６に示したような単色センサのときであ
る。イメージセンサ１０の大部分が図８に示されている
が、ここでは印＊を有する位置が前述のように低速応答
を有するフォトサイトを表す。単色センサの出力を圧縮
する異なる方法は下記に説明する。

【００３２】圧縮器３１２の動作の可能なモードの一つ
は、低速ピクセルとは独立に高速ピクセルを圧縮するこ
とである。図１７によると、低速ピクセルとは独立に高
速ピクセルを圧縮することは、ピクセル種類分離器３１
６によって可能になる。ピクセル種類分離器３１６の目
的は、各種類のピクセルに別個にアクセスできるように
することである。この実施例では、ピクセル種類分離器
３１６は、全ての高速ピクセル値と全ての低速ピクセル
値を別個に出力する。次に、ピクセル種類分離器３１６
からの出力として、特定の種類のフォトサイトに対応さ
せたピクセルをピクセル種類圧縮器３２２に入力する。
この方法の利点は、同じ種類のフォトサイトから得られ
る隣接するピクセル値が同じようになりやすいことであ
り、圧縮器３１２の効率を改善できる。この動作モード
では、圧縮器３１２は、高速ピクセルからなる圧縮した
画像と、低速ピクセルからなる圧縮した画像を出力す
る。さらに、いくつかの高速ピクセル値が飽和している
か、またはいくつかの低速ピクセル値がほぼクリッピン
グされている（信号が低い）場合、復元した画像のダイ
ナミックレンジを拡張する以降の処理ステップが、ほぼ
クリッピングされているピクセルをどうしても無視する
ので、これらの領域は高い誤りで圧縮される。従って、
より高い度合いの圧縮が実現される。これら二つの圧縮
したデジタル画像は、単一のファイルにまとめても別個
のファイルにしてもよい。この方法は、各種類のフォト
サイトの圧縮の設定を別個に設定できるという別の利点
を有する。例えば、低速ピクセルは以降の処理の間に増
幅される可能性があるので、高速ピクセルと比べて歪み
を少なく圧縮することが望ましい。

【００３３】別の実施例として図１８を参照すると、ピ
クセル種類分離器３１６から出力した低速ピクセル値
は、ピクセル種類圧縮器３２２で圧縮できる。さらに、
高速ピクセル値は、低速ピクセル値から高速ピクセル値
をまず予測し、次に予測値と実際の値の間の違いを圧縮
することで圧縮できる。この方法では、高速ピクセル値
を圧縮する前に、低速ピクセル値を用いて高速ピクセル
値を予測する。位置Ｐ（ｘ，ｙ）における高速ピクセル
値用の一般的な予測器３２０は、周囲の四つの低速ピク
セル値Ｐ（ｘ＋１，ｙ＋１）、Ｐ（ｘ−１，ｙ＋１）、
Ｐ（ｘ＋１，ｙ−１）、Ｐ（ｘ−１，ｙ−１）の一つ以
上を用いて、それらにまず非線形利得を加え、次に得ら
れた値の一次結合を構成する。次に、予測器３２０から
出力した予測を、ピクセル種類分離器３１６から出力し
た高速ピクセルの実際の値から差し引き差分画像を構成
して、次に別のピクセル種類圧縮器３２２で圧縮する。
再び、異なる圧縮設定（例えば圧縮が低く画像品質が高
くなる設定）で差分画像ではなく低速ピクセル値を圧縮
できる。

【００３４】上記の実施例の制限は、復元器３１４にお
いて、低速ピクセルの実際の値の代わりに復元後のそれ
らの再構成値だけが利用可能なことである。従って、高
速ピクセルを再構成するとき、復元した差分画像はピク
セル種類圧縮器３２２で用いた元の値ではなく、再構成
した低速ピクセル値に基づく予測に加えられる。その結
果、再構成した高速ピクセルの全圧縮歪みは、再構成し
た低速ピクセルの圧縮歪みと、復元した差分画像の圧縮
歪みの和による。

【００３５】この制限は、図１９に示したこの発明の実
施例によって克服される。まず、前のように、ピクセル
種類分離器３２２から出力した低速ピクセル値を好まし
い設定の圧縮パラメータで圧縮し、圧縮した画像を画像
メモリに記憶する。次に、高速ピクセル値を圧縮する前
に、まず低速ピクセル値をピクセル種類復元器３２４で
復元し、復元した値を用いて前のように予測器３２０で
高速ピクセルの値を予測する。なお、ピクセル種類復元
器３２４が動作すると、所定のピクセル種類の圧縮した
値を再構成する。さらに、ピクセル種類復元器３２４の
正確な動作は、ピクセル種類圧縮器３２２の動作を反転
させたものに基づく。当業者には、圧縮器と復元器の間
の関係は明らかであった。次に、予測器３２０から出力
した予測を高速ピクセルの実際の値から差し引きし残像
を構成して、別のピクセル種類圧縮器３２２で圧縮する
が、低速ピクセルとは異なる圧縮設定が可能である。

【００３６】この方法は特に、圧縮ハードウェアをカメ
ラ内で用いる場合に魅力的である。ほとんどの圧縮およ
び復元技術（例えばＪＰＥＧ圧縮規格）は高い度合いで
類似性を有するので、圧縮に用いる同じハードウェアを
復元にも用いることができ、圧縮性能を改善しながら回
路を追加する必要性を節約できる。

【００３７】図８に見られるように、高速ピクセルまた
は低速ピクセルの各組は五点形の模様を構成する（市松
模様上の赤い正方形を考える）。この模様は、前述のよ
うに高速ピクセル値を低速ピクセル値とは別個に圧縮す
る場合、いくつかの圧縮アルゴリズムに対して問題を引
き起こす。例えば、技術的に通常用いられるＪＰＥＧ圧
縮は、８×８ピクセルのブロックを構成することを基に
している。五点形のデータにＪＰＥＧ圧縮を適用するに
は、他の各行（または列）は左（または上）に移動させ
なければならない。これは、擬似垂直（または水平）周
波数を引き起こし、圧縮効率に著しく影響する。図９、
１０は、ＪＰＥＧ等のアルゴリズムで、五点形模様に配
置したピクセル値を圧縮する好ましい方法を示してい
る。まず、そのアレイの長方形の模様を構成する偶数位
置（指数ｘ、ｙが偶数である位置）の低速ピクセル値を
ＪＰＥＧ圧縮で圧縮する。奇数位置の低速ピクセル値か
ら偶数位置の低速ピクセル値を分離することは、偶数位
置の低速ピクセル値を第一種のフォトサイト、奇数位置
の低速ピクセル値を第二種のフォトサイトと考えること
で実現される。次に、ピクセル種類分離器３１６が、奇
数位置の低速ピクセル値から偶数位置の低速ピクセル値
を処理する。なお、最初の８×８ＪＰＥＧブロックは、
Ａ／Ｄ変換器１４から出力したように、完全な解像度か
ら疎にサンプルしてダイナミックレンジを拡張した画像
上で、１６×１６ブロックに効率的に広がる。同様に、
図１０に示したように奇数位置（ｘ、ｙが奇数である位
置）の低速ピクセル値も、圧縮器３１２によってＪＰＥ
Ｇ圧縮で圧縮される。当業者には明らかなように、同様
の処理を高速ピクセル値に対して行うこともできる。従
って、低速または高速ピクセル値の各組に対する圧縮器
３１２の出力は二つの圧縮ファイルである。

【００３８】偶数および奇数位置の低速（または高速）
ピクセル値を圧縮する方法は、五点形サンプルの再要求
から得られる擬似空間周波数を取り除く利点を別個に有
する。しかし、この方法の欠点は、偶数および奇数位置
のサンプルの間の空間的相関が用いられていないことで
ある。図１８について説明した別の実施例では、偶数位
置の低速ピクセル値をピクセル種類圧縮器３２２で圧縮
し、まず偶数位置の低速ピクセル値を入力した予測器３
２０で奇数位置の低速ピクセル値を予測し、その結果の
差分画像をピクセル種類圧縮器３２２で圧縮する。さら
に、予測に用いられるピクセルと予測したピクセルはど
ちらも同じ種類であるので、予測器３２０では簡単な線
形予測を用いることができる。位置Ｐ（ｘ，ｙ）でのあ
るピクセルに対する線形予測器のいくつかの簡単な例に
は、一行左上の位置のピクセル（Ｐ（ｘ−１，ｙ−
１））、一行左上と右上のピクセルの平均（Ｐ（ｘ−
１，ｙ−１）＋Ｐ（ｘ−１，ｙ＋１））／２、一行左上
と左下のピクセルの平均（Ｐ（ｘ−１，ｙ−１）＋Ｐ
（ｘ＋１，ｙ−１））／２、または周囲四つのピクセル
の平均（Ｐ（ｘ−１，ｙ−１）＋Ｐ（ｘ＋１，ｙ−１）
＋Ｐ（ｘ＋１，ｙ＋１）＋Ｐ（ｘ−１，ｙ＋１））／４
が含まれる。

【００３９】同様の動作は、高速ピクセル値の圧縮のた
めにも行うことができる。当業者には明らかなように、
高速ピクセル値を圧縮し、高速ピクセル値を用いて低速
ピクセル値を予測し、差分画像を生成して圧縮する等の
説明の変形態様は、上記の説明の観点から明らかであ
り、この発明の範囲内から著しく逸脱するものではな
い。

【００４０】単色センサで動作する圧縮器３１２の動作
の好ましいモードは、図１９を参照しながら次のように
なる。偶数位置の低速ピクセル値は、ピクセル種類圧縮
器３２２でのＪＰＥＧ等の標準圧縮技術で圧縮する。次
に、ピクセル種類復元器３２４で復元アルゴリズムを加
えることで、復元（再構成）した低速偶数ピクセル値を
計算する。復元（再構成）した低速偶数ピクセル値はさ
らに、予測器３２０で奇数位置の低速ピクセル値の値を
予測するために用いることもできる。低速奇数ピクセル
値と予測の間の残差はさらに、ＪＰＥＧ等の標準圧縮技
術で圧縮する。同様の動作は、高速ピクセル値について
も行うことができる。最後に、低速偶数ピクセル値、低
速奇数差分画像、高速偶数ピクセル、および高速奇数ピ
クセル差分画像に対する圧縮パラメータの設定は、以降
の処理に基づいて最善の画質を得るために異なるように
選択できる。

【００４１】イメージセンサ１０が図７に示したような
カラーセンサである場合、イメージセンサ１０の大部分
が図１１に示されており、そこでは印＊を含む位置が低
速応答を有するフォトサイトを表し、ｒｇおよびｂが前
述のように赤、緑および青の光に感度を有することを表
す。

【００４２】圧縮器３１２の動作の一モードが、図１１
に示したようなカラーイメージセンサで動作する場合が
下記に説明されている。赤、緑、および青に感度を有す
るフォトサイトは、高速および低速フォトサイトの各々
に対して存在し、好ましい実施例のフォトサイトは全部
で六種類ある。高速フォトサイトでもある赤のフォトサ
イトからのピクセル値は、ここでは赤の高速ピクセル値
と呼ぶ。同様の命名法は、他の色および高速フォトサイ
トの値に対しても当てはまる。当業者には明らかなよう
に、カラーアレイ上にフィルタを配置するために別の設
計を用いることもできる。さらに、カラーフィルタアレ
イは、赤、緑、および青以外の色から構成することもで
きる。例えば、その色は緑、黄色、シアン、マゼンタで
あってもよい。当業者には明らかなように、ここで説明
したようなカラーイメージセンサ上の、高速および低速
フォトサイトを有するセンサからの画像を圧縮するため
の、ここで説明した原理は技術的に知られている方法を
用いることで、いずれの選択、数、および配置の色に対
しても適用できる。

【００４３】圧縮器３１２の動作モードでは、各種類の
フォトサイトに関するピクセル値を別個に圧縮すること
を行い、基本的な概念は図１７に示されている。ピクセ
ル種類分離器３１６は、六種類のピクセル値の各々を別
個に出力する。ピクセル種類分離器３１６から出力され
るような特定の種類のフォトサイトに関するピクセルは
次に、ピクセル種類圧縮器３２２に入力される。この動
作モードでは、圧縮器３１２は、赤、緑、および青のフ
ォトサイトの三色の各々に対して、高速ピクセル値から
なる圧縮した画像と低速ピクセル値からなる圧縮した画
像を出力し、全部で六つの圧縮した画像となる。これら
の圧縮したデジタル画像はまとめて、単一ファイルの圧
縮したデジタル画像を構成しても別個のファイルであっ
てもよい。この方法の利点は、同じ種類のフォトサイト
から得られる隣接するピクセル値が同じようになりやす
いことであり、圧縮器３１２の性能を向上できる。この
動作モードでは、圧縮器３１２は六つの圧縮した画像を
出力する。これらの画像は、単一のファイルに格納する
ことも複数のファイルに格納することもできる。さら
に、圧縮パラメータを各ピクセルの種類ごとに別個に設
定して、以降の処理で必要とされる精度に適応させた
り、各色ごとに異なるように設定して、人の視覚系のス
ペクトル感度を利用することもできる。

【００４４】別の実施例のように、ピクセル種類分離器
３１６は、各色に対して二種類のピクセル値を各々別個
に出力する。次に、ピクセル種類分離器３１６からの出
力として、特定の種類のフォトサイトに対応させたピク
セルをピクセル型圧縮器３２２に入力する。その色に対
して第一種のフォトサイトに対応させたピクセル値（例
えば低速ピクセル値）は、図１８に見られるようなピク
セル種類圧縮器３２２で圧縮することもできる。次に、
残りの種類のフォトサイトに対応させたピクセル値（例
えば高速ピクセル値）は、まず予測器３２０を用いて第
一種のフォトサイト（低速ピクセル値）から、残りの種
類のフォトサイトに対応させたピクセル値（高速ピクセ
ル値）を予測し、残りの種類のフォトサイトの実際のピ
クセル値（高速ピクセル値）と予測器３２０からの予測
の間の差分画像を生成し、次にピクセル種類圧縮器３２
２で差分画像を圧縮することで圧縮できる。以前のよう
に、予測には、予測されるピクセルの近傍（撮像素子１
０上）にあるピクセル値に数式を加えることが含まれ
る。

【００４５】図１９に示した別の実施例のように信号の
歪みを最小にするために、差分画像は、ピクセル種類圧
縮器３２２で第一種のフォトサイトに対応させたピクセ
ル値を圧縮し、ピクセル種類復元器３２４で復元して復
元したピクセル値を得て、これらの復元したピクセル値
を用いて予測器３２０で残りの種類のピクセル値を予測
することで決定される。

【００４６】ＪＰＥＧ圧縮等の所定の圧縮アルゴリズム
は、データを五点形格子ではなく、通常の長方形の格子
に配置するときに最もよく動作する。図１２に示されて
いるように、緑の低速ピクセルは、ＪＰＥＧ圧縮で理想
的な長方形の格子を構成する。図１３は、緑の高速ピク
セルも、ＪＰＥＧ圧縮に理想的な長方形の格子を構成す
ることを示している。図１４は、赤の低速ピクセルが五
点形の模様の構成することを示している。この模様は、
前述のように、高速ピクセル値を低速ピクセル値とは別
個に圧縮する場合は、いくつかの圧縮アルゴリズムで問
題を引き起こすことがある。例えば、技術的に一般に用
いられるＪＰＥＧ圧縮は８×８ピクセル・ブロックを基
にしている。

【００４７】説明した問題の可能な解決策の一つは、赤
の低速ピクセル値の一つおきの行（列）を選び、それら
を左（上）に２ピクセル移動させることである。これ
は、ＪＰＥＧ圧縮に適した長方形の格子上に赤の低速ピ
クセル値を配置する。この方法は直接的であるが、圧縮
効率を低下させる擬似空間周波数を生成するかもしれな
い。

【００４８】この問題に対処する好ましい配置は、図１
５、１６に示されている。その手順は、図１７について
説明している。第一位置（図１５に示したようにｘが４
の整数倍より２大きく、ｙが４の整数倍より１大きい赤
のフォトサイトの位置）の赤の低速ピクセル値は、アレ
イ上に長方形の模様を形成し、ピクセル種類分離器３１
６が他のピクセルの種類から別個に出力するものは別の
ピクセルの種類と考える。第一位置にあるこれらの赤の
低速ピクセル値は、ピクセル種類圧縮器３２２内で例え
ばＪＰＥＧの圧縮ルーチンに基づくブロックで圧縮す
る。なお、最初の８×８ピクセルのＪＰＥＧブロック
は、Ａ／Ｄ変換器１４から出力されるように、完全な解
像度から疎にサンプルしてダイナミックレンジを拡張し
た画像上の３２×３２ブロックに広がる。同様に、第二
位置（図１６に示したようにｘが４の整数倍で、ｙが４
の整数倍より３大きい位置）の赤の低速ピクセル値も、
ピクセル種類分離器３１６が他のピクセルの種類から別
個に出力する別のピクセル種類と考える。第二位置のこ
れらの赤の低速ピクセル値は、ピクセル種類圧縮器３２
２でＪＰＥＧ圧縮のような圧縮アルゴリズムに基づくブ
ロックで圧縮する。当業者には明らかなように、青の低
速ピクセル値、赤の高速ピクセル値および赤の低速ピク
セル値に対して同様の処理を行うことができる。次に、
圧縮器３１２の出力をサブイメージに圧縮し、サブイメ
ージは緑の低速ピクセルから一つ、緑の高速ピクセルか
ら一つ、赤の低速ピクセルから二つ、赤の高速ピクセル
から二つ、青の高速ピクセルから二つ、青の低速ピクセ
ルから二つ得られる。

【００４９】カラーセンサ上で動作する圧縮器３１２の
好ましい動作モードは、色の差分値の圧縮に基づいて図
２０に示した最善の画質の再構成を実現し、次にように
説明される。まず、ピクセル種類分離器３１６から出力
した緑の低速ピクセル値を、ピクセル種類圧縮器３２２
で所定の圧縮設定（例えば以降の処理で必要とされるピ
クセルの精度で決定したもの）を用いて圧縮する。次
に、ピクセル種類分離器３１６から出力した緑の高速ピ
クセル値を、ピクセル種類圧縮器３２２で同じかまたは
異なる圧縮設定（例えば、より小さなファイルサイズを
実現する高い割合の圧縮）で圧縮する。次に、ピクセル
種類分離器３１６から出力した赤の低速ピクセル値の各
々に対して、ピクセル種類補間器３２６で隣接する緑の
低速ピクセル値を用いて、対応する緑の低速ピクセル値
を補間する。なお、ピクセル種類補間器３２６は、ピク
セル種類分離器３１６から出力するような所定のピクセ
ル種類の元のピクセル値を入力しても、より高精度の場
合はピクセル種類補間器３２６は、圧縮したピクセル種
類をピクセル種類復元器３２４で復元することで生成し
た、復元したピクセル種類値を入力してもよい。次に、
赤の低速ピクセル値と、補間した緑の低速ピクセル値の
間の差分画像を形成して、得られる差分画像をピクセル
種類圧縮器３２２で圧縮する。同様に、あらゆる赤の高
速ピクセル位置で、隣接する緑の高速ピクセル値を用い
て、対応する緑の高速ピクセル値をピクセル種類補間器
３２６で補間し、赤の高速ピクセル値と、補間した緑の
高速ピクセル値の間の差分画像を形成してピクセル種類
圧縮器３２２で圧縮する。最後に、同じ処理を低速およ
び青の高速ピクセル値に対して繰り返し、対応する緑の
低速または高速の隣接値を用いて、緑の低速および高速
ピクセル値を補間し、対応する青の低速または高速ピク
セル値から差し引き、得られる差分画像を圧縮する。

【００５０】この時点で、カラー画像は圧縮した六つの
サブイメージに分解され、六つの圧縮したデジタル画像
を形成する。図１１に示したＣＦＡ模様に基づいて、こ
れら六つのサブイメージは画像の１／４ピクセルを構成
する緑の低速サブイメージ、画像の１／４ピクセルを構
成する緑の高速サブイメージ、あらゆるピクセルが赤の
低速値と隣接する緑の低速値に基づく、対応する補間し
た緑の低速値の差であり画像の１／８ピクセルを構成す
る赤の低速差分サブイメージ、あらゆるピクセル値が赤
の高速値と隣接する緑の高速値に基づく、対応する補間
した緑の高速値の差であり画像の１／８ピクセルを構成
する赤の高速差分サブイメージ、あらゆるピクセルが青
の低速値と隣接する緑の低速値に基づく、対応する補間
した緑の低速値の差であり画像の１／８ピクセルを構成
する青の低速差分サブイメージ、および最後にあらゆる
ピクセルが青の高速値と隣接する緑の高速値に基づく、
対応する補間した緑の高速値の差であり画像の１／８ピ
クセルを構成する青の高速差分サブイメージである。

【００５１】補間した緑のピクセル値と、赤または青の
ピクセル値の間の違いを圧縮するこの方法は、赤、緑、
および青の値が結果的に各ピクセルの位置で必要とされ
ることが期待されるので好ましい。差分画像のピクセル
の差分値は、例えば、コーク（Ｃｏｋ）の同一出願人に
よる米国特許第４，６４２，６７８号、公告日１９８７
年２月１０日に記載されているように、これらの別のピ
クセル値の計算で直接用いることができる。

【００５２】当業者には明らかなように、この基本的な
主題における変形態様は、ここに開示されているものに
基づいて可能である。例えば、緑の低速ピクセルからな
る第一サブイメージを圧縮した後で、緑の低速ピクセル
値の実際の値、または復元（再構成）した緑の低速ピク
セル値のいずれかを用いて、緑の高速ピクセル値を予測
することができる。従って、緑の高速ピクセル値を圧縮
するする代わりに、緑の高速ピクセル値と、それらの予
測した値の間の差である差分画像が圧縮される。同様
に、サブイメージ３〜６の構成で用いられる、補間した
緑の低速および高速ピクセル値を実際の値の代わりに、
復元（再構成）した緑の低速または高速ピクセル値に基
づかせることができる。最後に、赤の低速および高速サ
ブイメージ（サブイメージ３、４）は、単一のファイル
または二つの別個のファイルとして圧縮できる。同様
に、青の低速および高速差分サブイメージ（サブイメー
ジ５、６）も、単一のファイルまたは二つの別個のファ
イルとして圧縮できる。

【図面の簡単な説明】

【図１】 この発明によるレンジを拡張した撮像素子と
デジタル画像処理器を用いるデジタル撮像システムのブ
ロック図である。

【図２】 小型レンズのアレイを用いて所定のフォトサ
イトの応答を変更するインタライン型撮像素子の断面図
である。

【図３】 金属マスクを用いて所定のフォトサイトの応
答を変更する全フレーム撮像素子の断面図である。

【図４】 高速フォトサイトと低速フォトサイトの応答
を示すグラフである。

【図５】 ニュートラル・デンシティ・フィルタのアレ
イを用いて所定のフォトサイトの応答を変更する撮像素
子の断面図である。

【図６】 全整色撮像素子上の低速フォトサイトと高速
フォトサイトの配置を示す図である。

【図７】 カラー撮像素子上の低速フォトサイトと高速
フォトサイトの配置を示す図である。

【図８】 全整色撮像素子上の低速フォトサイトと高速
フォトサイトの配置を示す図である。

【図９】 低速偶数フォトサイトの配置を示す図であ
る。

【図１０】 低速奇数フォトサイトの配置を示す図であ
る。

【図１１】 カラー撮像素子上の低速フォトサイトと高
速フォトサイトの配置を示す図である。

【図１２】 緑の低速フォトサイトに応じてサンプルし
たピクセルの配置を示す図である。

【図１３】 緑の高速フォトサイトに応じてサンプルし
たピクセルの配置を示す図である。

【図１４】 赤の低速フォトサイトに応じてサンプルし
たピクセルの配置を示す図である。

【図１５】 第一組の赤の低速フォトサイトに応じてサ
ンプルしたピクセルの配置を示す図である。

【図１６】 第二組の赤の低速フォトサイトに応じてサ
ンプルしたピクセルの配置を示す図である。

【図１７】 この発明による第二の圧縮器のブロック図
である。

【図１８】 この発明による第三の圧縮器のブロック図
である。

【図１９】 この発明による第四の圧縮器のブロック図
である。

【図２０】 この発明による好ましい圧縮器のブロック
図である。

【符号の説明】

２ レンズ、６ 光学的ローパス・フィルタ、１０ 撮
像素子、１４ Ａ／Ｄ変換器、２８ 低速フォトサイ
ト、３０ 高速フォトサイト、３２ 赤の低速フォトサ
イト、３４ 緑の低速フォトサイト、３６ 青の低速フ
ォトサイト、３８赤の高速フォトサイト、４０ 緑の高
速フォトサイト、４２ 青の高速フォトサイト、５１
高速小型レンズ、５２ 位置、５３ カラーフィルタア
レイ、５４ 遮光マスク部、５５ 光電性領域、５６
大開口部、５７ 小開口部、５８ニュートラル・デンシ
ティ・フィルタ層、５９ 低速ニュートラル・デンシテ
ィ・フィルタ、３１２ 圧縮器、３１４ 復元器、３１
６ ピクセル種類分離器、３２０ 予測器、３２２ ピ
クセル種類圧縮器、３２４ ピクセル種類復元器、３２
６ ピクセル種類補間器。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/07 Ｈ０１Ｌ 27/14 Ｂ ５Ｃ０７８ (72)発明者 エドワード ビー ジンデル アメリカ合衆国 ニューヨーク州 ロチェ スター ボニー ブレー アベニュー 394 (72)発明者 ロバート ティー グレイ アメリカ合衆国 ニューヨーク州 ロチェ スター フランクランド ロード 225 Ｆターム(参考） 4M118 AA02 AA10 AB01 BA13 CA01 FA06 GB03 GC08 GC14 GD04 5C022 AC42 AC69 5C024 AX01 BX01 CX46 CY45 EX43 EX51 GX21 GY01 HX01 5C051 AA01 BA03 DA06 DB01 DB08 DB22 DB23 DC02 DC03 DC07 DE02 DE15 EA01 FA00 5C065 AA01 AA03 BB48 CC01 DD02 EE03 5C078 AA04 BA21 CA01 DA00 DA01 DB04 EA00

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ある照射に対して所定の応答を備え高速
   ピクセル値を生成する高速フォトサイトと、同じ照射に
   対して低速応答を備え低速ピクセル値を生成する低速フ
   ォトサイトを有し、疎にサンプルしてダイナミックレン
   ジを拡張した撮像素子によって生成され、完全な解像度
   から疎にサンプルしてダイナミックレンジを拡張した画
   像から圧縮した画像を生成する方法であって、 ａ）完全な解像度から疎にサンプルしてダイナミックレ
   ンジを拡張した画像を提供し、 ｂ）前記完全な解像度から疎にサンプルした画像を、高
   速ピクセル値だけを有する高速画像と低速ピクセル値だ
   けを有する低速画像に分け、 ｃ）前記高速画像と低速画像を別個に圧縮する、 各ステップを有する方法。