【発明の詳細な説明】
所定の係数を用いて空間色彩多重化カラーイメージを復号化する方法と装置
本発明の背景
本発明は圧縮、送信、受信、記憶及びイメージ質の改善に用いられる空間色彩
多重化デジタルカラーイメージの復号化に関する。
関連する背景資料及び開示は、共同発明され共同譲渡された米国特許第５，３
９８，０６６号（以下、’０６６発明という）、及び共同発明され共同譲渡され
た１９９５年３月１０日提出の米国特許出願第０８／４０１，８２５号から知ら
れ、これらは共にいずれにしても参照されるべく編入される。従来技術の他の背
景情報及び説明は、これらの出願と共に引用及び提出されたレファレンスから知
ることができる。
上記刊行物に一貫して記載されているように、デジタルイメージ処理において
は、イメージ表現は数値アレイとして記憶され伝送される。イメージは格子状に
分割される。格子内の各々の小さな四角をピクセルと称する。各ピクセルでのイ
メージ強度は、数値に変換されアレイ内に記憶される。イメージを表す数値アレ
イをイメージ面と称する。
黒白（グレースケール）イメージは一般に２次元アレイとして表され、アレイ
内の１つのピクセル値の位置はイメージ内のピクセルの位置に対応する。グレー
スケールイメージのアレイ内の各位置には、一般に例えば０から２５５までの整
数（８ビット２進数）のような数が記憶できる。このことは、イメージ内の各ピ
クセルでは２５６個の異なるグレールベルのうちの１つのレベルで表示できるこ
とを意味している。
カラーイメージは一般に３つの２次元アレイにより表される。各アレイ（即ち
、面）は例えば赤、緑、又は青のよ、うな原色のうちの一つを表す。それらの面
が重なり合うことにより、表示イメージ内の各ピクセルにおいてそのピクセルで
の赤、緑、及び青の値の合成が表示される。通常の２４ビットカラーシステムで
は、その３面の各々における各ピクセルは０から２５５までの値を記憶できる。
こ
のことは、２５６3即ち１千６百万の異なる色のうちの１つが各ピクセルで表示
できることを意味している。通常のデジタルカラーイメージは１０7ビット／イ
メージ（ＴＶフレーム）から１０10ビット／イメージ（衛星イメージ）までの範
囲の大きさを有し、従って効率的な記憶と伝送の問題が生じる。
実際、写実的なデジタルイメージの情報を表すのに要求されるビット数は、知
覚される画質をたいして損なうことなく次の事実を利用して大きく減じることが
できる。つまり、通常のイメージにおいてはピクセル値が３つの領域、即ち、ス
ペクトル領域（なぜなら、例えばＲＧＢのような異なるスペクトル帯域のピクセ
ル値は一般に強く相関しているので。）、空間領域（なぜなら、近隣のピクセル
も強く相関する傾向があるので。）、及び動的イメージの時間領域（なぜなら、
連続したフレームはよく類似する傾向があるので。）で非常に冗長的である事実
を利用するのである。イメージ圧縮技術は、これらの冗長性を除去することによ
り、イメージを表すのに要求されるビット数を減少できる。
上記引用された刊行物は、従来技術のデジタルカラーイメージシステムのうち
の１つのタイプについて述べており、これは、ＣＣＤアレイを覆うモザイクカラ
ーフィルターを有する単一アレイＣＣＤタイプカメラを用いている。これらのカ
メラはそれらの固有の特質によりあらゆるピクセルでただ１つのカラー成分を含
むイメージ表現を作り出す。成分の配列はフィルター内のモザイクパターンによ
り決まる。このようなシステムにより作られたデジタルイメージは、空間色彩多
重化されていると称される。
上記引用された刊行物は、他の２つの手段、すなわち、’０６６特許に記載さ
れたように３面イメージを復号化するか、又はアレイオフセットを有する複数ア
レイＣＣＤタイプカメラを用いるかのどちらかにより空間色彩多重化デジタルイ
メージ面を作る手段と、’８２５出願に記載されているように複数アレイＣＣＤ
イメージを単一空間色彩多重化面として解釈しその面を復号化して分解能強化イ
メージを作る手段とについても述べる。
Ｍ面が作られるけれども、Ｍ面内のスペクトルピクセルのパターンがどんなも
のであっても、一般にＭ面は、全マルチスペクトルイメージ面を再度作るべく、
見られる前に復号化されなければならない。上記引用刊行物に述べられているよ
うに、空間多重化デジタルイメージを復号化するための従来技術の方法は、一般
にイメージが、全３面ＲＧＢイメージとして再構成される前にＹＩＱ ＪＰＥＧ
として復号化されることをまず要求する。
本発明の発明者は、’０６６特許において、ＹＩＱのような別のカラー表現に
変換することなく空間色彩イメージを直接復号化するための方法とシステムにつ
いて説明した。この復号化は、どのように作られるかには関係なく、２つのスペ
クトル成分のみを用いて多重化面を含む如何なる空間色彩多重化面に対しても有
効でありそのように説明された。
これは、ＹＩＱ変換の必要なシステムに対する単純化であり改良であることが
示された一方、この復号化においてさえ、マルチパス数学プロセスが、高品質イ
メージを復号化するのに要求される。
必要なのは、空間色彩多重化イメージ面をより早く効率的に復号化して全マル
チスペクトルイメージを得ることができる方法及びシステムである。好ましくは
、本方法は一般化でき、最小の計算と処理が求められる一方で、幾つかの異なる
タイプの空間色彩多重化面を有利に復号化する。
本発明の概略
本発明によれば、例えばＲＧＢ（赤、緑、青）から成る少なくとも２つのデジ
タルマルチスペクトル面を含み且つ空間的及び色彩的に多重化されたマルチスペ
クトルイメージが、単純化された相関復号方法を用いてマルチスペクトルイメー
ジに復号化される。単純化された相関復号化方法は、欠落ピクセルの近隣の複数
スペクトル面内でピクセル値の重み付き合計を計算することにより、１つのスペ
クトル面内の欠落ピクセル値を求めることから成る。重み付き合計は、各々のス
ペクトル面内の値の特定パターンを用いて計算される。この特定パターンは、場
合によっては異なるピクセル位置に対して、空間色彩多重化面内の同じスペクト
ル面とは異なる。
本発明は、任意の数のタイプのカラーイメージングデバイスと組み合わせて使
用され得る。カラーイメージングデバイスは、リセプター間でオフセットを有す
るマルチリセプターデバイスとすることが出来る。この場合には、本発明はイメ
ージングデバイスからデータを圧縮解除することにより、取り込まれたイメージ
の分解能を効果的に高めることができる。カラーイメージングデバイスは２つだ
けセンサーを含んだイメージングデバイスとすることも出来る。これらのセンサ
ーは、１つはＲ用で１つはＧ用であり、赤（又は他の色）で書き込まれた又はス
タンプされた材料が他の書き込みから区別されなければならない場合に、バンク
ドキュメントを処理するというような特別の用途に用いられる。
本発明はＲＧＢカラー原色に符号化された写実的なカラーイメージを扱うこと
に関して記載される。しかしながら、本発明がマルチスペクトルにも使用できる
ことは当業者には明らかとなるであろう。一つの選択肢として、シアン、マゼン
ダ、イエローを使うシステムのような、カラー表現にＲＧＢ以外の原色を用いる
カラーシステムで本発明を用いることができる。他の選択肢として、衛星からの
イメージ、赤外線検出器からのイメージ、又はＸ線検出器からのイメージのよう
な異なるタイプのマルチスペクトルデータを処理するシステムで本発明を用いる
ことができる。
本発明は、添付の図面に関する以下の詳細な説明を参照するとよりよく理解で
きるであろう。
図面の簡単な説明
図１は、本発明による復号化を使用できる基本的多重化及び多重分離処理を用
いたデータ圧縮システム例のブロック図である。
図２は、多重化入力装置を用いたデータ圧縮システムの別の実施例のブロック
図である。
図３Ａ〜３Ｂは、デジタルデータの空間色彩多重化面の異なる例を示し、これ
らに対して、本発明の種々の実施態様に従って本発明が有利に使用できる。これ
らの図には、本発明を説明する例として用いられるデジタルデータから成る特定
の１つの周期的空間色彩多重化面の最小セルが示される。
図４は、本発明による一般化された復号化方法のフローチャートである。
図５は、異なるサンプルピクセル対のグループを示す最小セルの図であり、本
発明により同様の復号化パターンが用いられる。
図６Ａ〜６Ｃは、本発明の実施態様により図５のセル例内の種々のサンプルピ
クセル位置における欠落ピクセル値の復号化を説明する図である。
図７Ａ〜７Ｈは、本発明の実施態様により種々のサンプルピクセル位置におけ
る欠落ピクセル値を復号化するための係数値例を説明する図である。
図８は、本発明の１実施態様に従って動作するよう設計されたイメージ圧縮用
システムの概略ブロック図である。
図９は、本発明の別の実施態様に従い、強化された分解能を有する３センサー
ＣＣＤカメラの概略ブロック図である。
図１０は、コンピュータ読み取り可能媒体を読み取る能力を有し、且つ、シス
テムが本発明に従って動作するのを可能にするコンピュータシステムのブロック
図である。
図１１は、本発明のソフトウエア実施態様を実行するよう使用されるコンピュ
ータシステム１０のシステムブロック図である。
好適実施例の説明デジタルイメージ処理及び圧縮に関連のある定義と用語
明細書中の大文字Ｒ，Ｇ，Ｂ及びＭは、イメージまたはイメージの分離可能な
成分を表す値の２次元アレイを示すのに用いられる。この値の２次元アレイは「
面」とも称される。例えば、Ｒ面とは、イメージのあらゆる位置（ピクセル）で
の赤成分を表す値の２次元アレイのことである。文字グループＲＧＢ及びＹＩＱ
は、別々に張られたイメージ成分面の合成としてのイメージを表す値の３次元ア
レイを示す。Ｍは、空間色彩多重化面を表すのに用いられる。
ＲＧＢ*、Ｍ*、Ｒ*、Ｇ*、Ｂ*のようにアスタリクス（＊）を付して用いられ
る大文字は、ある種の処理を受けた後のイメージまたはイメージの分離可能な成
分を表す値のアレイを示すのに用いられる。
小文字のｒ，ｇ，ｂはイメージ面内の個々のピクセルを指すのに用いられる。
これらの文字が下付文字ｓを付して用いられると（ｒs，ｇs，又はｂs）、元の
イメージから直接サンプリングされ変えられてないピクセル値を示す。これら
の文字が下付文字ｃを付して用いられると（ｒc，ｇc，又はｂc）、本発明のイ
メージ圧縮解除システムの構成要素により計算されたピクセル値を示す。
角括弧＜＞は、イメージ面の局所部分マトリックス内のピクセルから計算され
た局所平均値を示すのに用いられる。
復号カーネル又は復号マトリックスなる用語は、欠落ピクセル値及び関連係数
を求めるのに用いられるサンプルパターンを示す。復号カーネルは、Ｍ面の周り
を移動し、欠落ピクセルが復号化されているピクセルに対して位置するカーネル
の中心として回転する。最小セル内のどこにピクセルが位置しているかに依存し
て、Ｍ面内のピクセルに対する幾つかの異なる復号カーネルが存在する。システム概観
図１は、本発明が使用できる１タイプのイメージ圧縮及び圧縮解除システムの
特定の実施例のブロック図である。このシステムは、説明のためにのみ示され、
本発明の技術は、異なるタイプの空間色彩多重化イメージと共に用いることが出
来ることが分かる。
この図に示されるように、フルカラー場面１０がイメージ取り込み手段２０に
与えられる。取り込み手段２０は、あらゆるピクチャー要素（ピクセル）の位置
で取り込まれた複数の離散スペクトル成分（例えば、Ｒ，Ｇ，Ｂ）からのデータ
と共にマルチスペクトルイメージを取り込む。取り込み手段２０は、ランダムア
クセスメモリと結合したデジタルスキャナーとできるし、あるいはコンピュータ
メモリ又は磁気若しくは光記憶媒体のような記憶手段と結合した如何なるタイプ
のアナログ又はデジタルカメラとすることもできる。取り込み手段２０は、ラン
ダムアクセルメモリに以前記憶されていたイメージをビデオテープ又はレーザー
ディスクなどに受け取るための手段、又はコンピュータにより作られたイメージ
を受け取るための手段とすることもできる。この例のイメージ取り込み手段２０
ではイメージ表現はアイコン２２で示されている３面ＲＧＢアレイである。
イメージが取り込み手段２０に一旦存在すると、イメージマルチプレクサー３
０に送られる。イメージマルチプレクサー３０は、１つの実施例においてはあら
ゆるピクセルでイメージのただ一つのスペクトル成分に関する情報を抽出するこ
とによりＭ面と称する（「多重化された(multiplexed)」面なので。）イメージ
３２の新しいデータ表現を構築する。マルチプレクサー３０は、’０６６特許に
詳細に記載されているように動作できる。従って、３つの分離可能なスペクトル
成分から作られたイメージに対して、マルチプレクサー３０はソースイメージを
表現するのに必要なデータを３面ソース表現を基にした元のデータの１／３のサ
イズに「圧縮」する。それからこの圧縮されたデータは伝送又は記憶手段４０に
送られる。この伝送又は記憶手段４０としては、電気的情報を伝送又は記憶する
のに知られている如何なる手段でもよい。伝送又は記憶の後、デコーダー５０は
、本発明の方法を用いて多重化面を復号化してＲＧＢ*面５２を復元する。ＲＧ
Ｂ*面５２は取り込み手段２０に初めに取り込まれた全データセットの近い近似
である。復元されたデータセットは表示装置６０に送られ、見ることができるよ
うに表示する。
図２は、多重化入力装置７０を用いて本発明が利用され得る別のシステムのブ
ロック図である。多重化入力装置７０としては、モザイクカラーフィルター付Ｃ
ＣＤセンサーカメラや又は（以下に更に十分に説明する実施例で用いられる）セ
ンサー間のオフセットを有するマルチセンサーＣＣＤカメラのような、イメージ
から多重化面を直接取り込むための周知の如何なる手段でも用いることができる
。この実施例では、イメージがＭ面に多重化される前には決して全ＲＧＢ面とし
ては存在しない。多重化入力装置７０のＭ面出力は、記憶又は伝送手段４０に直
接入力される。デマルチプレクサー５０はその出力を受け取り多重分離してＲＧ
Ｂ*面５２を作る。これらのＲＧＢ*面５２は、イメージの全ＲＧＢ表現が表すも
のに近い近似となっている。一例において、本デバイスは、ユニークなモザイク
フィルターの配列を使用し、計算のオーバーヘッドを最小とし高いレベルのイメ
ージ圧縮と優れたイメージ復元を達成する処理を用いる。別の例においては、本
デバイスは、多重化入力装置として、センサー間オフセットを有するマルチセン
サーＣＣＤカメラを用いる。Ｍ面
本発明は、３２のようなＭ面を復号化することに関する。この面は、任意の数
の異なるピクセルパターンを有することができ、その主要な特徴は、この面が空
間的に多重化されることである。一般に、Ｍ面内の各位置では、ただ１つのスペ
クトル成分に対するピクセル値が存在し、このスペクトル成分が存在するかは、
Ｍ面内のピクセル位置に依存する。（本発明は、ハイブリッドＭ面にも適用でき
、ハイブリッドＭ面では、各位置は、１より多いスペクトル面からの値を含む。
）
Ｍ面が拡張されるとき、Ｍ面内の所与の位置に存在するスペクトル値は、しば
しばサンプル値として参照される。というのは、この値は、一般に全スペクトル
イメージから直接サンプリングされた値を表すからである。
図３Ａは、Ｍ面３２のような空間色彩的に多重化されたイメージ面内の８ｘ８
ピクセル領域の図である。この図は、空間色彩的に多重化されたイメージの１タ
イプの例を表し、本発明を効果的に利用できる。図３Ａの文字Ｒ、Ｇ、Ｂは各々
Ｍ面内の一つのピクセルの位置を表し、そのピクセルに記憶されたカラー成分を
示す。例えば、Ｒピクセル１２０は値ｒsを記憶し、この値は元のソースＲＧＢ
面のその位置からの赤成分のサンプリング値である。同様に、Ｇピクセル値１２
３はその位置のＲＧＢ面からのサンプリング緑成分ｇsを記憶する。Ｂピクセル
１２８は、値ｂを記憶し、’０６６特許によると、この値ｂは、元のイメージの
部分マトリックス内の青値の平均ｂaか、又は’０６６特許に記載されているよ
うに元のイメージからのサンプル値ｂsのどちらかとできる。この特定のパター
ンと幾つかの関連パターンは、本発明の譲受人によりクロモプレックス(Chromop
lex)（ＴＭ）パターンと称される。
Ｍ面内の各ピクセルＲ、Ｇ又はＢは３つのＲＧＢ面のうちの１つのみの値を記
憶し他の２つの面の値は捨てるので、Ｍ面３２は元のＲＧＢ面が使用するデータ
スペースの１／３を使用してイメージを表す。従って３：１のデータ圧縮が空間
色彩多重化により達成される。
図３Ｂは、本発明により復号化され得るＭ面３２の別の可能な構成を示す。こ
れらは、周知のベイヤーパターン(Bayer-pattern)、フィールドスタガード(fiel
d-staggered)３Ｇ ＣＦＡ、ラインスタガード(line-staggered)３Ｇ ＣＦＡ、
インターラインジオメトリ(interline geometry)ＣＦＡ、修正ベイヤー(modif
ied Bayer)、及び緑チェッカーフィールドシーケンス(green checker field seq
uence)を含む。例えばソニー株式会社により使用されるパターン、交互カラーラ
インのサンヨーパターン、又は空間多重化Ｍ面を構築するための他の任意のパタ
ーンのような他のパターンも、本発明により復号化され得る。
ＣＣＤカメラ又はフラットベット若しくは他のタイプのスキャナーのような、
モザイクフィルターを有するＣＣＤタイプデバイスによりＭ面が直接作られる場
合には、図３Ａ〜３Ｂは、７０のような多重化入力装置のフィルターモザイク内
で使用される赤、緑及び青フィルターをも表す。
異なるファクターが、図３に示されるようなサンプリングパターンの形式の基
礎となる。もし最終イメージが、人により見られる実際の世界イメージとなるよ
うならば、Ｇは、Ｒサンプルが後に続く選択されたＭ面パターンを支配し得る。
というのは、人の目は、Ｒ原色よりもＧ原色により感応しやすく、Ｂ原色にはず
っと少なく感応する。従って、人間の視覚に対して最適化するよう設計されたパ
ターンは、Ｂ値より大きいＧ及びＲ値を含み得る。
ＪＰＥＧや他の圧縮方法によりイメージが量子化される場合、選択されたパタ
ーンは、その方法の要求により影響される。例えば、ＪＰＥＧでは、標準化され
たＪＰＥＧ方法の１つの厳しい側面は、基本的な８ｘ８サイズのピクセルブロッ
クが、コサイン変換のための基本関数の範囲を定める。従って、起こり得る如何
なる多重化の位相誘導効果も、イメージを空間−周波数ドメインに変換するのに
必要なＪＰＥＧ基本関数に対して存在しないように、標準の偶数約数が望まれる
。
２つのバンクドキュメントを処理するのに用いられるか、又は衛星若しくはＸ
線イメージ用のＭ面イメージは、用途に依存して異なる最適Ｍ面パターンを有す
る。最小セル
種々のタイプのＭ面パターンが一般に有する１つの特徴は、それらが周期的で
あることであり、このことは、全Ｍ面を構築するのに必要なだけしばしば繰り返
される幾つかの基本最小パターンが存在することを意味する。この最小パターン
は、最小セルと称され、最小セルの１例が、図３Ａと図５に１２２として示され
る。１実施態様によると、本発明は、この最小セルを分析して欠落ピクセル値の
復号化において使用するべく適当な係数を求めることにより、相関復号化のプロ
セスを単純化し、Ｍ面を通してずっと対応するピクセル位置上でそれらの同じ係
数を用いる。イメージ復号化
一般に、イメージ復号化は、Ｍ面内の各ピクセル位置を順に検査する５０のよ
うなデコーダーから成る。上述し図３及び図４にも示されたように、Ｍ面は、そ
の位置での１つだけのスペクトル而を表す値を含む。Ｍ面を復号化することは、
各位置での欠落スペクトル成分の近似を求めることから成る。これは、上記引用
特許に従って、相関復号化プロセスを用いて達成され、この場合、所与の位置に
存在する値とそのスペクトル面内の周囲値との差は、異なるスペクトル面内の計
算値と他のスペクトル面内の値との差に相関する。
上記参照された特許には、Ｍ面を復号化するための幾つかの代替方法が記載さ
れている。こららの方法は、幾つかの異なるプロセスを結合して全体のイメージ
の質を高めており、これには、カラーシミ(speckles)、ぼけ(blurriness)及びパ
ターンノイズを低減することも含まれる。初めに引用した特許では、欠落ピクセ
ルの初期近似の後、高品質の復号化は、各ピクセル及び最終の復号化ピクセル値
を得る前に多数回訪れる近隣を用いて、復号化面を数回パスすることを要求する
。
上記開示された復号化は、幾つかの離散工程を有し、これらの工程は、全体の
イメージに対して各々１つ順に行われなければならなかった。というのは、各工
程は、それに先立つ工程に依存していたからである。これは、次の工程に移る前
に各工程の結果をバッファーに記憶しなければならないので、最適タイプのアル
ゴリズムではない。これは、時間及び／又はバッファーメモリに関してコストが
掛かる。本発明の実施態様により、５０のようなデコーダーは、拡張された係数
マトリックスを用いて各欠落ピクセル値の重み付き合計を計算することにより、
１回のパスで効果的な復号化を達成できる。
図６は、本発明の実施態様のＭ面復号化機能の一般的な手順のフローチャート
である。欠落ピクセル値が復号化される現在位置において、まずデマルチプレク
サーは、その位置でどのピクセル値が欠落しているのかを求める（Ｓ４）。特定
実施態様により、デマルチプレクサーは、最小セル内のどの位置が復号化されて
いるのかを求め、その位置に適したサンプリングパターンを選択し（Ｓ６）欠落
ピクセルを求める。それから、デマルチプレクサーは、そのサンプリングパター
ンに対する符号付き重みファクターのマトリックスを検索する（Ｓ１０）。次に
、デマルチプレクサーは、重き付きサンプル値の総和を求め、検索されたマトリ
ックスに従って種々のスペクトル面からサンプル値を取り、重み付け係数を適用
し、欠落ピクセル値を得るべく合計を求めることにより、欠落ピクセルに対する
値を求める（Ｓ１２）。計算値は、再構成されたイメージ面内の適当な位置に記
憶される（Ｓ１４）。これで、Ｍ面内の１つの位置での１欠落ピクセル値の復号
化が完了し、本方法は次の欠落ピクセル値にループする（Ｓ２４）。サンプルパターンの復号化の特定例
本発明により、所与のピクセル位置に対する復号化マトリックスは、その位置
の周りのＭ面の最小セル内のサンプル値の特定構成に基づく。最小セルの幾つか
の構成では、セル内部に幾つかのピクセル位置があり、これらのピクセル位置は
、こられの周りに同じサンプルパターン、よって同じ復号化マトリックスを有す
る。他のピクセル位置は、例えばマトリックスの回転により別の位置のマトリッ
クスから容易に導き出せる復号化マトリックスを有し得る。
例として、図５は、クロマプレックス(Chromaplex)（ＴＭ）パターンからの最
小セル１２２を示し、その底に８対のピクセル位置が示され、任意の対における
２つのピクセル位置は同じ復号化マトリックスを有する。図５に示されるように
、４対の等価Ｇ位置、３対の等価Ｒ位置及び１対の等価Ｂ位置がある。各位置に
対して、それらの位置で２つの欠落ピクセル値を復号化するには２つの復号化パ
ターンが必要である。
図６Ａ〜６Ｃは、図５に示された最小セル１２２を備えたＲＧＢ Ｍ面に対す
る復号化パターンの組の特定の１例を示す。図６Ａでは、３０８及び３０９で示
された２つのパターンが、円内の文字Ｇで示されたサンプルＧピクセル値が存在
する位置において、欠落Ｒ及び欠落Ｂピクセル値を復号化する。この位置は、復
号化カーネル又はマトリックスの中心としても指定される。復号化マトリックス
内の文字Ｒ，Ｂ及びＧは、Ｍ面内のサンプル値を示し、こららのサンプル値は、
以下に述べるような合計技術に従って欠落値を計算するのに用いられる。空いた
ボックスは、示された現在位置において欠落ピクセル値を復号化するのに用いら
れないＭ面内の位置を示す。
２つのカーネル３０８及び３０８は、３０１に示された２つのＧ位置での欠落
値に対するサンプルパターンである。それらの位置のどちらかが復号化ルーチン
での現在位置であるならば、カーネル３０８は、その位置に対するカーネル中心
を有して配置され、サンプルは、カーネルにより示されるようにＭ面から取られ
る。次に、以下に記載されるように、これらのサンプルは、それらに対して重み
付け係数を適用し、欠落ピクセル値を決めるべく合計が求められる。
最小セル１２２内の他のＧ位置に対するサンプリングパターンを求めるために
、パターン３０８及び３０９が回転される。パターン３０８及び３０９は、３０
２により示される２つのＧ位置に対して９０度時計回りに回転され、３０３によ
り示される２つのＧ位置に対して１８０度時計回りに回転され、３０４により示
される２つのＧ位置に対して２７０度時計回りに回転される。
同様に、図６Ｂ及び６Ｃは、サンプリングされたＲ及びＢ値をそれぞれ保持す
る位置での欠落値に対する復号化パターンを示す。３２１に示された２つのＢ値
は、それらの周囲のサンプル値パターンに関して同一であり、よって、異なるＢ
位置に対してパターンを回転する必要はないことに留意されたい。復号化係数の特定例
図６Ａ〜６Ｃに示されるパターンは、欠落ピクセル値の近隣でのどのサンプル
値が、その欠落値を求めるのに用いられるかを説明しているが、欠落値を得るた
めにそれらのサンプルに対して行われることを特定してはいない。
欠落ピクセル値を復号化する方法の１例は、図７Ａ〜７Ｈに示される。図７Ａ
〜７Ｈは、係数値の特定の例を示し、これらの係数値は、図６Ａ〜６Ｃに示され
る復号化パターンを用いて、欠落ピクセルを取り囲む近隣での単純な重き付き合
計を求めることにより、欠落ピクセル値を求めるために用いら得る。これらの数
値係数の値は、人間による概算や試行錯誤により選択又は調整され得るし、又は
以下に述べる自動手順により作られ得る。
例として、図７Ａは、係数４０８を示し、これは、パターン３０８を用いてＧ
サンプル値を有する位置での欠落赤ピクセル値を求めるのに用いることができる
。分かるように、最も大きな単一寄与は、正係数０．８を有するその位置での緑
サンプル値の値から来る。周囲のＲ，Ｇ及びＢ値は、割り当てられた正及び負の
係数であり、その近隣の他のスペクトル面で起こっていることに対して欠落Ｒ値
を相関させる。同様に、残りの例の係数パターンは、図６Ａ〜６Ｃに示されたパ
ターン及びパターン３０９、４１８〜３１８などに対応する係数４０９と共に使
用され得る。これらの係数値は、図６Ａ〜６Ｃに示されたようなパターンと共に
回転される。
’０６６特許に開示されたようなシミ補正及び他の技術による相関復号化と共
に述べたパターン及び係数を見てみると、本発明を用いた計算は、十分に早くで
き、且つ、完全な’０６６方法よりも復号化ピクセル当たりに必要な計算量がよ
り少なくできることが示される。また、本発明による復号化は、’０６６特許に
より求められる複数回のパスではなく、大きなイメージをたった１回のパスにて
実行され得る。復号化係数及びパターンの発生
図７Ａ〜Ｈに示される復号化パターン及び係数は、種々の方法により本発明に
従って求めることができる。１例として、これらのパターン及び係数は、試行錯
誤により選択でき、これは、復号化される特定のＭ面パターンに関する知識と得
られる復号化イメージの所望の質を用いて適当な初期係数を選択し、次に幾つか
のサンプルイメージを復号化し必要なら係数を調整することを繰り返して、経験
のあるスペクトルエンジニアが行う。バンクドキュメント処理用の２つのカラー
イメージのようなユニークなパターンや特定の用途に対しては、この「手動(by
hand)」アプローチは、特に適切となり得る。体系的な復号化の一般原理
本発明の他の実施態様により、復号化パターンは、’０６６特許に記載のもの
と類似のマルチパス相関復号化プロセスに従うことにより求められる。しかしな
がら、現在の発明では、このマルチパスプロセスは、特定のＭ面パターンの最小
セルの一つに対してただ１回だけ行われ、得られる係数は、そのＭ面パターンに
より符号化される如何なるイメージに対しても簡単な合計を用いて適用できる。
復号化係数を求めるために、本発明による１以上の体系的方法は、まず可能な
最も小さい２次元アレイを求めることから開始し、このアレイは、Ｍ面内の復号
化されるべき位置上に中心を置き、各スペクトル面から少なくとも１つのサンプ
ルを含む。図３Ａに示されたパターンでは、これは３ｘ３アレイである。
次に、これらの周囲サンプル値（−１から１までの間）の寄与に対する概算係
数値が、上記引用された’０６６特許に記載された相関符号化の手順の近似を用
いて、これらの値に対して選択される。たとえ周囲アレイ内の幾つかのサンプル
が選択されたカラーでないとしても、このプロセスは、一度に２つのカラー、中
心に対応する１つのカラー、及び中心の周りのサンプルから成る円形対象アレイ
に対応するもう一方のカラーと共に適用される。
もしイメージが２より多いスペクトル成分を有するならば、より高い次数のス
ペクトル面のサンプルに対応する係数の概算値を調整するために、係数の幾つか
の部分集合を特定する必要がある。係数のこれらの部分集合は、それらのサンプ
ル上に中心を有する最小セルを用いて上記工程を適用すること、及び異なるカラ
ー対を選択することにより計算される。このように、初期最小セル内のそれらを
越えた追加サンプル位置は、復号化パターンの一部となる。幾つかの位置は、一
方が概算値である２つ以上の係数、及び部分集合に対して計算される１つ以上の
値を有する。復号化パターン内のすべてのピクセルでは、得られる全ての係数は
、１つの係数に線形的に結合されてそのピクセル内のサンプルへの正味の効果を
作りだすべきである。
シミ補正のような復号化の質を改善するための追加の任意手順が、サンプリン
グパターンに対して適用され、該サンプリングパターンが、既に係数を有する位
置の幾つかにおいて再度影響される。復号化方法の特定の実施
本発明により、係数をさらに正確に求めることもでき、以下に記載の幾つかの
精密化を用いて、’０６６特許に開示された方法と類似の方法に従い、復号化カ
ーネルを求める。例として、係数パターン４１９を求めるためのプロセスが、以
下に説明される。この例が用いられる理由は、小さな復号化カーネルが得られる
からである。
一実施態様に従い赤サンプルでの青値を復号化するために、まず、５ｘ５近隣
上に、
ｂ＝Ｒ−Ｒavg＋Ｂavg
のような等式を適用する。
方法を一般化するために、復号化されているピクセルからの明確なオフセット
座標を用いて、次のように等式が書かれ得る。
ｂ＝Ｒ(0,0)−〔Ｒ(0,0)＋Ｒ(-2,0)＋４Ｒ(0,-2)＋４Ｒ(0,+2)＋４Ｒ(+2,0)
〕／５＋〔Ｂ(-1,-1)＋Ｂ(+1,+1)＋ｂ0(-1,+1)＋ｂ0(+1,-1)〕／４
係数整数を作るために２０を掛けることにより、次式が得られる。
２０ｂ＝２０Ｒ(0,0)−４Ｒ(0,0)−４Ｒ(-2,0)−４Ｒ(0,-2)−４Ｒ(0,+2)−
４Ｒ(+2,0)＋５Ｂ(-1,-1)＋５Ｂ(+1,+1)＋５ｂ0(-1,+1)＋５ｂ0(+1,-1)
項をまとめると、次式の重き付き等式が得られる。
２０ｂ(0,0)＝１６Ｒ(0,0)−４Ｒ(-2,0)−４Ｒ(0,-2)−４Ｒ(0,+2)−４Ｒ(+ 2,0)
＋５Ｂ(-1,-1)＋５Ｂ(+1,+1)＋５ｂ0(-1,+1)＋５ｂ0(+1,-1)
この等式の座標を３１９に示されたＭ面と比較すると、等式からの青値の幾つ
かが、Ｍ面内の赤サンプル上に実際に配置される。これらのピクセルでは、青値
も次のように復号化されなければならない。
２０ｂ(0,0)＝１６Ｒ(0,0)−４Ｒ(-2,-2)−４Ｒ(-2,+2)−４Ｒ(+2,-2)−４
Ｒ(+2,+2)＋５Ｂ(-2,0)＋５Ｂ(+2,0)＋５Ｂ(0,-2)＋５Ｂ(0,+2)
この等式の座標は、符号化されでいるピクセルに関係する。元の等式内のｂ0( -1,+1)
及びｂ0(+1,-1)での青値が復号化されているので、この座標シフトをｂ0
等式に加える。
２０ｂ0(-1,+1)＝１６Ｒ(-1,+1)−４Ｒ(-3,-1)−４Ｒ(-3,+3)−４Ｒ(+1,-1)
−４Ｒ(+1,+3)＋５Ｂ(-3,+1)＋５Ｂ(+1,+1)＋５Ｂ(-1,-1)＋５Ｂ(-1,+3)；
２０ｂ0(+1,-1)＝１６Ｒ(+1,-1)−４Ｒ(-1,-3)−４Ｒ(-1,+1)−４Ｒ(+3,-3)
−４Ｒ(+3,+1)＋５Ｂ(-1,-1)＋５Ｂ(+3,-1)＋５Ｂ(+1,-3)＋５Ｂ(+1,+1)
ここで、これらの等式を元の等式に代入し、適当な重みを保持し項をまとめる
と、次式のように最終コンボリュージョンカーネルを得る。
２０ｂ(0,0)＝１６Ｒ(0,0)−４Ｒ(-2,0)−４Ｒ(0,-2)−４Ｒ(0,+2)−４Ｒ(+ 2,0)
＋５Ｂ(-1,-1)＋５Ｂ(+1,+1)＋５ｂ0(-1,+1)＋５ｂ0(+1,-1)；
２０ｂ(0,0)＝１６Ｒ(0,0)−４Ｒ(-2,0)−４Ｒ(0,-2)−４Ｒ(0,+2)−４Ｒ(+ 2,0)
＋５Ｂ(-1,-1)＋５Ｂ(+1,+1)＋５〔｛１６Ｒ(-1,+1)−４Ｒ(-3,-1)−４Ｒ(- 3,+3)
−４Ｒ(+1,-1)−４Ｒ(+1,+3)＋５Ｂ(-3,+1)＋５Ｂ(+1,+1)＋５Ｂ(-1,-1)＋
５Ｂ(-1,+3)｝／２０〕＋５〔｛１６Ｒ(+1,-1)−４Ｒ(-1,-3)−４Ｒ(-1,+1)−４
Ｒ(+3,-3)−４Ｒ(+3,+1)＋５Ｂ(-1,-1)＋５Ｂ(+3,-1)＋５Ｂ(+1,-3)＋５Ｂ(+1,+ 1)
｝／２０〕
全係数を整数とするために、４を掛けると次式となる。
８０ｂ(0,0)＝６４Ｒ(0,0)−１６Ｒ(-2,0)−１６Ｒ(0,-2)−１６Ｒ(0,+2)−
１６Ｒ(+2,0)＋２０Ｂ(-1,-1)＋２０Ｂ(+1,+1)＋１６Ｒ(-1,+1)−４Ｒ(-3,-1)−
４Ｒ(-3,+3)−４Ｒ(+1,-1)−４Ｒ(+1,+3)＋５Ｂ(-3,+1)＋５Ｂ(+1,+1)＋５Ｂ(-1 ,-1)
＋５Ｂ(-1,+3)＋１６Ｒ(+1,-1)−４Ｒ(-1,-3)−４Ｒ(-1,+1)−４Ｒ(+3,-3)
−４Ｒ(+3,+1)＋５Ｂ(-1,-1)＋５Ｂ(+3,-1)＋５Ｂ(+1,-3)＋５Ｂ(+1,+1)
ここで、項をまとめ、復号化マト・リックス４１９内のそれらの列に従って項
をプリントアウトすると次式が得られる。
８０ｂ(0,0)＝−４Ｒ(-3,-1)＋５Ｂ(-3,+1)−４Ｒ(-3,+3)
−１６Ｒ(-2,0)
−４Ｒ(-1,-3)＋３０Ｂ(-1,-1)＋１２Ｒ(-1,+1)＋５Ｂ(- 1,-3)
−１６Ｒ(0,-2)＋６４Ｒ(0,0)−１６Ｒ(0,+2)
＋５Ｂ(+1,-3)＋１２Ｒ(+1,-1)＋３０Ｂ(+1,+1)−４Ｒ(+1,+3 )
−１６Ｒ(+2,0)
−４Ｒ(+3,-3)＋５Ｂ(+3,-1)−４Ｒ(+3,+1)
等式中の全ての係数を８０で割り、４１９に示される係数を得る。
上記したことは、コンボリュージョンカーネルの計算の１例にすぎない。現実
世界への適用で使用される実際のカーネルは、もっと多くの工程を含み得るが、
それは問題ではない。というのは、特定のパターンに対しては１回だけ計算する
必要があり、これらの係数が用いられて実際のイメージが復号化されるからであ
る。’０６６特許でのピクセルの実際の復号化は、精密化手順の幾つかに対して
より多くの工程を含む。
実際には、幾つかの近似が行われて大きなコンボリュージョンカーネルが作ら
れる。このカーネルは、例えば最終強面復号化工程をパターン削減／再飽和工程
と結合することで、大きな近隣操作から得られる。大きくなった（４５ｘ４５）
これらのカーネルは、素早く小さい値に落ち、従って、任意にクリップされてそ
れらのサイズを小さく保持するが機能的なまま残る。これは、本発明のコンボリ
ュージョンカーネルが近く、実際に人間の目には知覚分離できるが、’０６６特
許に記載の全体プロセスに対しては数値的に等価ではないからである。
計算の精度をテストするために、１実施態様では、欠落値と同じスペクトル面
内のサンプル値に対して特定カーネル内の係数の合計は、１であり、他のスペク
トル面の各々における係数値の個々の合計は、０である。特定回路の実施例
図８は、本発明の多重分離化及び復号化機能を行うように設計された汎用シス
テムのブロック図である。図８は、圧縮データセットとして表現されたイメージ
を受け取り、圧縮解除し、表示するように設計された汎用システムを示す。イン
ターフェース回路９１８は記憶又は伝送装置４０から信号を受け取り、圧縮デー
タセットをランダムアクセスメモリ（ＲＡＭ）９２０に記憶する。
中央処理装置（ＣＰＵ）９２３としては、汎用コンピューターの一部である標
準のマイクロプロセッサーか又は特別に構成されたマイクロコンピューターが使
える。メモリ９２５は、本発明により圧縮データセットを処理するようＣＰＵ９
２３に指示する命令を含む。ＣＰＵ９２３がこれらの復号化機能を行うとき、復
号化データはＲＡＭ９２０に記憶される。復号化機能が完了すると、結果として
得られるＲＡＭ９２０内のＲＧＢ復号化イメージは出力装置９３０で表示するた
めに表示ドライバー９２８に伝送される。マルチＣＣＤカメラの分解能の改善
本発明の別の一側面においては、’８２５特許出願で述べられたようなシステ
ムに本発明の改善された方法を適用することにより、複数のＣＣＤセンサーを用
いるマルチ空間イメージングデバイスの分解能を改善するのに本発明が用いられ
得る。この実施例の特定の１例では、図９に示されるように、個々のＣＣＤアレ
イのいずれかより高い分解能を有したＭ面を構築する可能な充満方法により、デ
ジタルカメラが、２以上の別々のＣＣＤアレイを使用して、１ピクセルの一部（
例えば１／２ピクセル）だけお互いに故意にオフセットしたセンサーで別々の完
全なスペクトル成分面を取り込む。次に、Ｍ面は、本発明の方法に従って復号化
される。コンピュータ読み取り可能媒体で実現される本発明
図１０は、一実施態様に従って汎用ソフトウエアで実施する場合の、本発明の
方法を実行するのに使用されるコンピュータシステムの例を示す。図１０は、モ
ニター７０３、スクリーン７０５、キャビネット７０７、キーボード７０９、及
びマウス７１１を含むコンピュータシステム１０を示す。マウス１１１は、例え
ばマウスボタン１１３のような１以上のボタンを有し得る。示されたキャビネッ
ト１０７は、ＣＤ−ＲＯＭや他のタイプのディスク１１７を読み取るためのディ
スクドライブ７１５を収納する。キャビネット７０７は、ネットワーク媒体１５
に接続するためのアダプター１だけでなく、プロセッサー、メモリ、ディスクド
ライブなどのような類似のコンピュータコンポーネント（図示せず）をも収納す
る。
図１１は、本発明のソフトウエアを実行するのに用いられるコンピュータシス
テム１０のシステムブロック図を示す。図１０に示されるように、コンピュータ
システム１０は、モニター７０３とキーボード７０９を含む。コンピュータシス
テム１０は、さらに中央プロセッサー７２２、システムメモリ７２４、Ｉ／Ｏコ
ントローラー７２６、ディスプレイアダプター７２８、シリアルポート７３２、
ディスク７３６、ネットワークインターフェース７３８、アダプター１及びスピ
ーカー７４０のようなサブシステムを含む。メモリ、ハードディスク、フロッピ
ー、ＣＤ−ＲＯＭ、テープ、フラッシュメモリなどのようなコンピュータ読み取
り可能媒体は、本発明を実施するコンピュータコードを含んだコンピュータプロ
グラムを記憶するのに使用され得る。本発明と共に使用するのに適した他のコン
ピュータシステムは、追加の又はより少ないサブシステムを含み得る。例えば、
別のコンピュータシステムは、１より多いプロセッサー７２２（すなわちマルチ
プロセッサーシステム）を含むことができ、１つのシステムは、キャッシュメモ
リを含み得る。
７２２の矢印は、コンピュータシステム１０のシステムバスアーキテクチャー
を表す。しかしながら、これらの矢印は、サブシステムをリンクする如何なる相
互接続方法をも表す。例えば、スピーカー７４０は、ポートを介して他のサブシ
ステムと接続でき、又は中央プロセッサー７２２に内部で直接接続できる。しか
し、図１１に示されたコンピュータシステム１０は、本発明と共に使用するのに
適したコンピュータシステムの一例にすぎない。本発明と共に使用するのに適し
たサブシステムの他の構成は、当業者には容易に明らかとなる。
本発明は特定の実施例に関してこれまで説明されてきた。当該技術分野で通常
の知識を有する者ならば他の実施例も明白なものとなるであろう。従って、添付
の請求の範囲で示されるものを除いてはこの発明は制限されるものではない。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 マルテイネツ―ウーリイガス，ユージニオ
アメリカ合衆国カリフオルニア州94306
パロ・アルト、スター・キング・サークル
3703