JP2000134634A - 画像変換方法 - Google Patents

Abstract

(57)【要約】 【課題】 重なり合わないセンサを持つ画素アレイから
のデータを完全にサンプリングされたデジタル画像へと
変換するための改善された画像処理方法を提供する。 【解決手段】 第一の画像から第二の画像を生成するた
めに、第一の画像に対応する入力画素面のベクトルを、
第二の画像に対応する出力画素面のベクトルに変換する
画像変換方法であって、線形変換を用いてこれらベクト
ル変換を演算し画像変換を行う。該線形変換は第一の画
像を生成するための焦点距離やｆナンバー等の光学系の
特性や、照明源の特性に依存することにより、上記各特
性の変化に適したベクトル変換を行うことができる。ま
た、前記線形変換は、第一の画像に取り込んだ像の種類
及び第二の画像の所望の出力フォーマットの条件を考慮
するように変化させることもできるので、条件に応じた
ベクトル変換を行うこともできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタルカメラに
関し、より具体的にはカメラセンサからのデータをカラ
ー画像へと変換する為の改善された画像変換方法に関す
る。

【０００２】

【従来の技術】通常、デジタルカラー画像は、整列した
格子上の各格子点における画像の輝度を表わす画素値の
配列により構成される。代表的には３つの色が画像の作
成に利用される。格子上の各格子点には、これら各々の
色の輝度が指定されており、従ってその格子ポイントに
は、画像の輝度及び色の両方が指定される。

【０００３】従来のカラー写真記録では、スペクトルの
異なる感度領域（通常は赤、緑、青）を有する色感度層
が３つ重なり合うことにより、画像データが記録されて
いる。それとは対照的に通常デジタルカメラでは、１つ
の単層のセンサアレイが用いられる。

【０００４】カラー画像を検出するセンサアレイが１つ
だけの場合、特定のセンサ位置で検出されるのは一色の
みである。結果として、これらのセンサによって作られ
るのは、これまでの通念のカラー画像ではなく、むしろ
個々のセンサに割り当てられたカラーフィルタによる個
々の色サンプルの集合である。この割り当てはカラーフ
ィルタ配列（ＣＦＡ）、即ちカラーモザイク配列と呼ば
れる。この配列の各位置において検出されるのはもとも
と一色のみであるので、各サンプル位置において色サン
プルの完全なセット（通常は赤、緑、青）を持つ真のカ
ラー画像を作成するために、失われた情報を推定するた
めの多大な量の計算が必要となる。この処理を「デモザ
イク」処理と呼ぶことにする。

【０００５】失われた情報を生成するために、画像セン
サ内の隣接する画素の情報を使わなければならない。推
定処理により発生する人工的な結果を最低限に抑えつつ
失われた情報を提供しようと、多くのアルゴリズムが提
案されている。最も簡単なアルゴリズムにおいては、失
われた情報を提供するために類似色のカラーセンサから
のデータを補間する。これらのアルゴリズムでは、例え
ば赤センサを緑センサから独立したものとして扱う。所
定の位置に赤色の値を与えるために、その位置の領域内
にある赤センサにより測定された値が補間される。この
手法においては、画像を低域フィルタでフィルタリング
しなければならない。このようなフィルタリングをする
と、画像の解像度がその基となるセンサアレイの画素解
像度よりも低くなってしまう。しかし、この失われた解
像度を回復することは出来ない。

【０００６】この解像度の低下を避けるにために、高級
なカメラでは、よりマイルドな光学低域フィルタを利用
しているものがある。しかしながら、そのようなシステ
ムにおいては、カラーセンサを独立したものとして取り
扱うことが出来なくなる。例えば、Ｗｏｂｅｒ等による
米国特許第５、４７５、７６９号では、失われた色情報
を計算しようとする画素に隣接した画素値の加重平均を
計算することにより、失われた色情報を生成する方法が
記載されている。この方法では、復元しようとする色だ
けではなく全てのカラーセンサによって、値に重み付け
がされる。しかしながらこの方法でさえも、全ての画像
に対して一組の重み付けしか用いないために、改善の要
望が多い。

【０００７】

【発明が解決しようとする課題】一つの画素アレイを、
各平面が同じ色のセンサを有する複数の別々の画素平面
から構成されているものと見ることが出来る。画素は重
なり合わない為、様々な平面にあるセンサは異なる位置
にある。１以上の平面にわたって加重平均を取るシステ
ムでは、これらサンプル位置間の統計的依存性が利用さ
れる。要するに、カメラの光学系がぼけることによって
１つの色平面のセンサに正確に入る画像のエッジを、他
の色平面にもあるかのように見せることが出来るという
ことで、これは画像がそのセンサ上でぼけて他の色平面
に広がるためである。異なる色平面間における統計的依
存性は、カメラの光学系のぼけ量によって影響を受ける
ために、最適なアルゴリズムとするには物理的なカメラ
設定に関しての配慮が必要となる。従って、一組の重み
付け関数では失われた情報の最適な推定が出来ない。

【０００８】また、統計的依存性は、照明源にも依存す
る。異なる照明源は異なるスペクトルを持つ。画素フィ
ルタは赤、緑及び青の波長が中心の通過帯域幅を有す
る。画像のぼけがない場合、いずれの画素の反応もその
カラーフィルタ、撮影される像の対応する位置の反射
率、そして照明源からそのポイントに入射する光スペク
トルによって決定される。カメラの光学系によるぼけは
画素間の光を混ぜ合わせる。従って一般的に、統計的依
存性は照明源及びカメラの光学系の両方に依存してい
る。従来技術による方法では、画素アレイデータを完全
にサンプリングされたカラーデジタル画像へと変換する
にあたり、照明源についての配慮がなされていなかっ
た。

【０００９】本発明はこのような状況に鑑みてなされた
もので、広義的に言えば、本発明の目的は、重なり合わ
ないセンサを持つ画素アレイからのデータを完全にサン
プリングされたデジタル画像へ変換するための改善され
た画像変換方法を提供するところにある。

【００１０】本発明の更なる目的は、カメラの光学系に
関する修正を行う画像変換方法を提供するところにあ
る。

【００１１】本発明のまた更なる目的は、照明源に関す
る修正を行う画像変換方法を提供するところにある。

【００１２】本発明のこれら及びその他の目的は、以下
の本発明に関する詳細な説明及び添付の図とにより当業
者に明らかとなるものである。

【課題を解決するための手段】

【００１３】本発明は、データ処理システムを操作して
第一の画像から第二の画像を生成するものである。第一
の画像は、２次元アレイの画素値を含み、各画素値は第
一の画像中の一箇所における複数のスペクトル帯域の内
の１つの輝度に対応する。画像変換方法は、少なくとも
１つの出力画素面を含むベクトルを得る為に、入力画素
面からのベクトルへ線形変換を行う。入力画素面は、第
一の画像の画素を複数の入力画像平面へと分割すること
により定められる。各入力画像平面は他の入力画像平面
と同数あり、正規化された水平及び垂直方向のサンプリ
ング間隔の画素でである。ある特定の画像平面中にある
画素は全て、その入力画像平面内の他の画素と同じスペ
クトル帯域に対応する。各入力画素面は大きさＰ（Ｐは
入力画像平面数）のベクトルであり、そのベクトルの各
成分は対応する入力画像平面からの入力画素である。同
様に、１組の出力画像平面が画定されるが、ある特定の
出力画像平面中の各画素は、第二の画像中の対応するポ
イントにおける複数スペクトル帯域の内の１つで、第二
の画像の輝度を表わしている。各出力画素面は大きさＱ
（Ｑは出力画像平面数）のベクトルであり、そのベクト
ルの各成分は対応する出力画像平面からの画素である。
本発明の実施形態においては、線形変換は第一の画像を
生成するために、利用された光学系及び照明源の特性に
依存する。また、線形変換は第一の画像に取り込んだ像
の内容及び第二の画像の所望の出力フォーマットを考慮
するように変えることも出来る。

【００１４】この画像変換方法によれば、入力画素面か
ら得たベクトルに線形変換を用いて、出力画素面のベク
トルを得るようにしているので、この線形変換によって
ベクトルを目的にそって変換することができる。

【００１５】

【発明の実施の形態】本発明の画像変換方法は、センサ
アレイからサンプルを得ることのできるカラーサンプリ
ング装置に適用でき、該センサアレイは下記の２つの条
件を満たす複数の画像平面へと分解可能である。第一の
条件は、正規化された水平及び垂直のサンプリング間隔
において、各画像平面がそれぞれ同数のサンプルを有し
ていることである。また、異なる画像平面は互いに任意
にずらされていても良い。第二の条件は、ある特定の画
像平面全てのサンプルが、同一の色特性でなければなら
ないことである。また、複数の画像平面が同じ色特性で
あっても良い。

【００１６】検出素子ユニットが反復してなるセンサ配
列である画像センサであればいずれもこれらの条件を満
たしている。例えば、ある一般的な画像センサアレイ
は、２つの緑センサ、１つの赤センサ及び１つの青セン
サを持つ２×２のセンサアレイユニットが反復してなる
ベイヤ配列に基づいたものである。

【００１７】図１において、このベイヤ配列は１０であ
り、ユニットは１２に示されている。このような画像セ
ンサは１４〜１７に示している様に、２つの緑平面１４
及び１７、１つの赤平面１６、そして１つの青平面１５
の４つの平面として見ることができる。サンプリングの
間隔は、そのユニットがもともと占めている領域であ
る。各平面は他の平面に対してずれている。見て明らか
なとおり、規則正しいサンプリング格子は、いずれも上
記条件を満たす１組の画像平面へと分解することが出来
る。

【００１８】各画像平面において測定された輝度値を、
ｘ_p［ｎ₁、ｎ₂］で示す。ここでｎ₁及びｎ₂は、ｐ番目
の画像平面における画素位置を示す記号であり、ｘ_pは
その画素の輝度値である。量［ｎ₁、ｎ₂］は、ｎａで表
わされるベクトルの２次元の整数値である。画像平面の
組全体としては、ベクトルの組合せｘａ［ｎａ］で表わ
され、これを下記（１）式に示す。

【００１９】

【数１】

【００２０】出力画像も同様に異なる画像平面の組に定
義されたベクトルの組合せとして表わすことが出来る。
通常、デモザイク処理アルゴリズムの目的は、３色の平
面（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の規則正しい間隔
である画素の組合せを生成することである。また、ｉ番
目の色の平面における輝度はｙ_i［ｎ₁、ｎ₂］で示す
と、出力画素もベクトルの組合せにより表わすことが出
来る。

【００２１】

【数２】

【００２２】デモザイク処理の場合、通常３であるが上
記Ｑには、異なるＱの値を用いることもできる。例え
ば、４色の染料を用いたカラープリンタで印刷する画像
はＱ＝４として、作成することができる。

【００２３】一般的に出力画像は入力画像とは異なる空
間解像度を有する。入力画像は、“画素面”の組合せで
あるｘａ［ｎａ］から成るように見える。同様に、出力
画像は画素面の組合せであるｙａ［ｍａ］から成る。各
入力画素に対応する出力画素の縦及び横方向の数は、そ
れぞれλ₁及びλ₂で示される。上述のベイヤ配列の場
合、デモザイク処理においてはλ₁＝λ₂＝２とされる。
即ち、入力アレイの各センサについて、１つが１つの出
力画素（ＲＧＢ）を作るのである。

【００２４】本実施形態において、出力画素は、ｘａ
［ｎａ］及びｙａ［ｍａ］から得たベクトルに作用する
線形演算によって、入力画素と関連付けられる。これら
の中間ベクトルは解像度の違いや、各出力画素が１つ以
上の画素面への依存について考慮される。ｙａ［ｍａ］
に対応する中間ベクトルは、下記（３）式において、ζ
［ｎａ］で表わされ、ｘａ［ｎａ］と同じサンプリング
密度を有する。

【００２５】

【数３】

【００２６】ここで行列Λは、下記（４）式に表され
る。

【００２７】

【数４】

【００２８】ベイヤ配列の場合、δ₁＝［０、０］、δ₁
＝［１／２、０］、δ₁＝［０、１／２］、そしてδ₁＝
［１／２、１／２］である。以下の説明において、ベク
トルζ［ｎａ］を多相出力ベクトルと呼ぶ。

【００２９】本発明の方法においては、各多相出力ベク
トルは入力画素面の有限な数に依存する。一般的に、特
定の多相出力ベクトルζ［ｎａ］に対する入力画素面は
画素位置［ｎａ］の近傍に位置する。以下により詳細を
説明するが、その正確な画素はカメラ及び撮像光学系の
特性により左右される。画素位置ｎａにおける多相出力
ベクトルに対する入力画素面は、変位ベクトルｋ₁、
ｋ₂、・・・、ｋ_Kの組み合わせに関係している。即ち、
多相出力ベクトルζ［ｎａ］は、ｘａ［ｎａ＋ｋ₁］、
ｘａ［ｎａ＋ｋ₂］、・・・、ｘａ［ｎａ＋ｋ_K］に依存
するのである。実施形態においては、多相出力ベクトル
ζ［ｎａ］は、入力画素面に線形的に依存する。また変
位ベクトルｋ₁、ｋ₂、・・・、ｋ_Kの組み合わせは、ｎ
ａに対して独立しており、スカラ量としてのｋ₁×ｋ₂の
長方形格子に配列されている。

【００３０】出力多相ベクトルζ［ｎａ］に依存する画
素面の全てを含むベクトルξ［ｎａ］に基づくと、下記
（５）式に示すように線形関係を容易に定義することが
出来る。

【００３１】

【数５】

【００３２】また、このベクトルに置き換えると、ζ
［ｎａ］とξ［ｎａ］との関係を行列の掛け算とするこ
とができる。

【００３３】ζ［ｎａ］＝Ｔξ［ｎａ］ …（６）

【００３４】ここで、Ｔは（Ｑλ₁λ₂）×（ＰＫ₁Ｋ₂）
行列である。

【００３５】図２及び図３を参照して、出力画素Ｙ
_j［Ｎ、Ｍ］と入力画素ｘ_i［Ｎ、Ｍ］及び、上記のベイ
ヤ配列センサにおける２つの出力多相ベクトルとの関係
を説明する。図２は、センサアレイの一部分と、そのセ
ンサアレイ中のξ［Ｎ、Ｍ］のための入力画素を描いた
ものである。図３が示すのは出力ＲＧＢ画像の一部及び
その出力ＲＧＢ画像のζ［Ｎ、Ｍ］に対応する画素であ
り、これらは図２に示される画素から（６）式の行列乗
算により計算されたものである。

【００３６】行列Ｔは複数の因子に依存する。これらの
いくつかは特定の撮像装置に固有であり、またいくつか
は撮像装置の特定の利用方法に依存する。例えば、画素
のスペクトル感光度やモザイクパターン及び画素数など
のような、センサアレイの物理的特性は、通常、画像毎
に変化することはない。対照的に、カメラのレンズ設定
（ｆナンバー及びズーム）といった撮像装置の光学的特
性は画像毎に変化する。更に、照明源のスペクトル特性
も画像により変化する（日光、フラッシュ、白熱灯
等）。

【００３７】更に、取り込まれる画像の統計値は行列Ｔ
を通じて得られる。例えば、高い容量の縦及び横エッジ
画像を有する画像又は画像の一部を、そのような特徴の
無い画像とは異なる行列で処理することができ、従って
出力画像の画質が向上する。

【００３８】可変出力フォーマットのカメラにおいて
は、最終画像の解像度を異なる行列Ｔを用いて設定する
ことができる。かわりに、単一の行列Ｔを全ての解像度
に対して用い、そして固定解像度の画像を再サンプリン
グすることにより所望の出力画像を決定しても良い。同
様に、異なる行列Ｔを使用することにより、又は単一色
フォーマットを再サンプリングすることにより、出力画
像色平面を他の色表現に変えることができる。一般的に
低コスト撮像装置においては、行列Ｔの大きさを変える
特性は、出来れば固定行列Ｔを用いて最終画像を再サン
プリングすることが好ましい。

【００３９】異なる行列Ｔの数が比較的小さい場合、シ
ステムを既知の画像に向けることにより、行列Ｔの係数
を決定することができる。可能な行列Ｔ各々について、
撮像装置によって複数の既知の画像が撮影される。する
とセンサ入力から計算された画像と、既知の画像との間
の差異が最小となるように、行列Ｔの係数が計算され
る。このような最適化計算は当業者には良く知られたも
のであるので、ここではその詳細には触れない。

【００４０】ｆナンバー等、幾つかのパラメータにおけ
る変化が比較的なめらかである場合、行列Ｔは独立した
パラメータの値についてのみ計算するだけで良い。その
後、計算されなかった可変パラメータ値に対する正確な
行列Ｔは、計算された行列Ｔの補間によって計算するこ
とが出来る。

【００４１】（１）モデルベースの行列Ｔの計算 上述したように、状況によって対象となる画像から、適
切な行列Ｔを計算することができる場合がある。残念な
がらこの手法は、必要とされる異なる撮像条件の数、す
なわち異なる行列Ｔの数が比較的小さいアプリケーショ
ンのみに限られる。

【００４２】ここに示した構成の目的は、基本画像にお
ける特定の統計的モデルの対象である任意の撮像装置
（例えば任意の色感度、センサ位置及び光学特性）と任
意の照明により、特に良好な再構成画質が得られる行列
Ｔを直接的に計算する方法を説明することである。後に
明らかとなるように、この統計的画像モデルはわずかな
数のパラメータだけで制御される。より高度なアプリケ
ーションにおいては、種々の方法により推測可能である
エッジの方向等、画像の統計的特性が整合するように、
これらのパラメータは局所的に或は全体的に調整され
る。

【００４３】（２）画像形成モデル ここでは原画像を原画像の画像平面ｘａ[ｎａ]へとマッ
ピングする画像形成プロセスにおけるパラメータを説明
する。少なくとも理論上においては、画像形成モデルは
測定可能な確定量に依存する。これらの確定量を以下に
示す。

【００４４】・像の光源のスペクトル電力密度：ｌ
（λ） ・各入力画像平面ｐにおける色スペクトル応答関数：ｒ
_p（λ） ・入力画像平面ｐの光学的伝達関数及びセンサ積分挙動
を組合せた効果に関する点広がり関数：ｈ_p（λ、ｓ）

【００４５】ここでｓ＝［ｓ₁、ｓ₂］は、点広がり関数
（ＰＳＦ）の、各波長λにおける空間的に連続した引数
である。留意すべきは、ＰＳＦが必然的に異なる入力画
像平面間の相対的変位の作用を含んでいるという点であ
る。以下においてはＰＳＦについて、空間周波数ベクト
ルω＝［ω₁、ω₂］が、入力画素面のナイキスト周波数
においてω₁＝ω₂＝πとなるように、正規化されるフー
リエ変換ｈｐ（λω）を通して引用する。よって、元の
センサアレイのナイキスト周波数はω＝［λ₁π、λ
₂π］に対応する。

【００４６】直接的に所望の出力画像画素面に関して、
画像形成プロセスをモデリングするよりも、表面スペク
トル反射率において中間表現にした方が良く、これはそ
れが統計学的観点から、像の放射輝度よりも良好である
ことがよく知られている。従って、次に述べる統計的モ
デリングになじみ易いのである。

【００４７】具体的には、原画像のスペクトル反射率
が、所定数の固定基本関数ｂ₁（λ）、ｂ₂（λ）、・・
・、ｂ_S（λ）の一次結合として完全に表現可能である
と仮定すると良く、ここで通常、Ｓに３又は４が選択さ
れるが、それより大きくても良い。以下に示すように、
実際の出力画像平面ベクトルｙａ［ｍａ］は、スペクト
ル反射率中間ベクトルｚ［ｍａ］で表わすことができ
る。

【００４８】

【数６】

【００４９】ここでｄ_q（λ）はｑ番目の表示スペクト
ル反応関数のスペクトル反応である。例えば、目的がＸ
ＹＺ表色画像を復元することである場合、Ｑを３に設定
し、ｄ ₁（λ）からｄ₃（λ）まではＣＩＥ（国際照明委
員会）の標準１９３１の三刺激関数に設定する。

【００５０】他の例としては、センサアレイ上の異なる
カラーフィルタと同じ色特性を持つ画像を復元する場
合、Ｑは一意の入力反応関数ｒ_p（λ）の数に設定し、
これら一意のｒ_p（λ）及びｄ_q（λ）を一対一で対応さ
せる。この基本構成における主要目的は、入力画像平面
ξ［ｎａ］の周辺を対応するスペクトル反射率画素面へ
とマッピングする（Ｓλ₁λ₂）×（ＰＫ₁Ｋ₂）の再構成
行列Ｔ_refを計算することである。

【００５１】

【数７】

【００５２】すると、最終（Ｑλ₁λ₂）×（ＰＫ₁Ｋ₂）
の再構成行列が簡単な行列乗算により求められる。

【００５３】

【数８】

【００５４】こうして線形画像形成モデルを、下記（１
０）式のように短く表わすことが出来る。

【００５５】

【数９】

【００５６】ここで ・ｘｂ（ω）は入力画像ｘａ［ｎａ］の離散空間フーリ
エ変換である。 ・νｂ（ω）はサンプリングノイズベクトルシーケンス
の離散空間フーリエ変換である。

【００５７】・ｚｂ（ω）はスペクトル反射率ベクトル
ｚ［ｍａ］の離散空間フーリエ変換である。 ・Ω_a（ω）は、それぞれのω∈［−π、π］²に対す
る、格子［ｍａ］上の高解像度出力画像の入力画素面格
子［ｎａ］へのサンプリングに関連する全てのλ₁λ₂エ
イリアシング周波数を含むセットである。 ・Ｈ（ω）は、下記（１１）式に示されるＰ×Ｓ画像形
成行列である。

【００５８】

【数１０】

【００５９】（３）統計的モデル 画像の再構成に関して適切な解を計算するには、サンプ
リングノイズνｂ（ω）及びスペクトル反射率ｚｂ
（ω）に統計的モデルを導入する必要がある。ここでは
以下の共分散行列により広義的固定ガウスモデルを仮定
する。

【００６０】

【数１１】

【００６１】通常、ノイズ共分散行列は、ホワイトノイ
ズに対応する全てのωに対する定数Ｃν（ω）＝σ²Ｉ
であるが、他のモデルを利用しても良い。

【００６２】以下のパラメータモデルは反射率共分散行
列に用いられる。

【００６３】

【数１２】

【００６４】ここでＣ_Z ⁰は定Ｓ×Ｓ共分散行列であり、
ρは通常は２０から３０ｄＢ（１０進）の範囲から選択
される周波数ロールオフパラメータであり、そしてГは
２×２「正行列」である。上記の式中の、定共分散行列
Ｃ_Z ⁰の後ろの項は、周波数領域においてその輪郭が楕円
であるスカラ包絡線関数を説明するものである。これら
楕円輪郭の向き及びアスペクト比はГ行列によって明確
に制御することが出来る。円形断面には恒等行列Г＝Ｉ
を用いることが出来る。

【００６５】Ｃ_Zにより表わされる統計的モデルは、最
終的に再構成される画像の画質の決定に重要な役割を果
たす。前記パラメータモデルは以下の理由から正しい。
モデルはスケール的に不変であり、これは像の統計値を
平均すると、カメラと像との距離にはよらないことを意
味する。実際の撮像アプリケーションにおいては光景中
の対象物の絶対距離が得られることは希であるため、こ
のスケール的不変性は重要である。更に、周波数ロール
オフ関数ρが約２０ｄＢ（１０進）の場合、像における
このスケール的不変性が重要である。

【００６６】（４）行列Ｔの効率的計算方法 前記のように重要な目的は、（Ｓλ₁λ₂）×（ＰＫ
₁Ｋ₂）行列Ｔ_refを計算することであり、これにより、
（１４）式をもってＴを容易に回復することができる。
下記に続く説明は、前記に説明した２つのモデルの対象
となる最適線形最小平均自乗誤差（ＬＭＭＳＥ）推定量
の導関数Ｔ_refに関するものである。このような推定量
の公式は周知であるが、具体的には下記に示す。

【００６７】Ｔ_ref＝Z・X^-1 …（１４）

【００６８】ここで、Ｚは（Ｓλ₁λ₂）×（ＰＫ₁Ｋ₂）
交差共分散行列である。

【００６９】 Ｚ＝Ｅ[ζ’[ｎａ]・ξ[ｎａ]^t] …（１５）

【００７０】そして、Ｘが（ＰＫ₁Ｋ₂）×（ＰＫ₁Ｋ₂）
次元自動共分散行列である。

【００７１】Ｘ＝Ｅ[ξ[ｎａ]・ξ[ｎａ]^t] …（１６）

【００７２】実際、Ｘは以下のＴｏｅｐｌｉｔｚブロッ
ク−Ｔｏｅｐｌｉｔｚ構造を有する。

【００７３】

【数１３】

【００７４】各ブロックＸａ［ｌ₂］は、Ｔｏｅｐｌｉ
ｔｚのフォームを有する。

【００７５】

【数１４】

【００７６】そして各サブブロックＸｂ［ｌ₁、ｌ₂］が
以下により得られるＰ×Ｐの原画像面共分散行列であ
る。

【００７７】 Ｘｂ［Ｌ］＝Ｅ[ｘａ[ｎａ]・ｘａ[ｎａ+Ｌ]^t] …（１９）

【００７８】（Ｓλ₁λ₂）×（ＰＫ₁Ｋ₂）行列Ｚもまた
二重にネスティングされたブロック構造を持っている。

【００７９】

【数１５】

【００８０】であり、ここでＺａ[ｌ₂]は、

【００８１】

【数１６】

【００８２】であり、そして（Ｓλ₁λ₂）×Ｐサブブロ
ック行列Ｚｂ［Ｌ］は以下により得られる。

【００８３】 Ｚｂ［Ｌ］＝Ｅ［ζ’［ｎａ］・ξ［ｎａ＋Ｌ］^t］ …（２２）

【００８４】Ｔ_refを計算する為には、行列Ｘｂ［Ｌ］
を−Ｋ_i＜ｌ_i＜Ｋ_iの範囲において［Ｌ］＝［ｌ₁、
ｌ₂］とし、Ｚｂ［Ｌ］を−［Ｋ_i／２］＜ｌ _i＜［（Ｋ_i
−ｌ）／２］の範囲において［Ｌ］＝［ｌ₁、ｌ₂］とし
て計算すればよく、その後Ｘ及びＺが求められ、式（１
４）によって計算される。Ｔ_refの効率的計算において
重要なのは、行列Ｘｂ［Ｌ］及びＺｂ［Ｌ］の効率的な
計算である。

【００８５】これらの行列はパーセヴアルの関係式を利
用することにより、効率的に計算できる。具体的には以
下に示す。

【００８６】

【数１７】

【００８７】であり、周波数自動及び交差共分散行列Ｃ
_X（ω）及びＣζ_'X（ω）は以下から得ることが出来
る。

【００８８】

【数１８】

【００８９】ここでФ（ω）は（Ｓλ₁λ₂）×Ｓの移相
の行列であり、

【００９０】

【数１９】

【００９１】出力多相成分の各々の相対的変位に対応す
るものである。

【００９２】行列Ｘｂ［Ｌ］及びＺｂ［Ｌ］を計算する
為に、Ｃ_X（ω）及びＣζ_'X（ω）は周波数ω∈［−
π、π］²の有限数で求められ、その後式（２３）の逆
フーリエ変換（ＩＦＴ）整数が概算される。行列Ｘｂ
［Ｌ］及びＺｂ［Ｌ］を求めるために最適な周波数ポイ
ントを決定する手法や、数値積分処理の最中にこれらの
周波数ポイント間を補間する手法は様々あるが、それら
はここでは説明を省略する。

【００９３】以上の説明及び添付の図から、当業者にと
っては本発明への様々な変更が可能となる。従って、本
発明は唯一請求項の範囲によってのみ、限定されるもの
である。

【００９４】以下に、本発明の実施の形態を要約する。 １．第一の画像から第二の画像を生成する為のデータ処
理システムを操作する方法であって、前記第一の画像は
２次元アレイの画素値からなり、各々の前記画素値は、
前記第一の画像中における複数スペクトル帯域の内の１
つのスペクトル帯域の輝度に対応しており、前記第一の
画像の画素を複数の入力画像平面へ分けるステップであ
って、各入力画像平面は正規化された水平及び垂直方向
のサンプリング間隔で、他の入力画像平面と同数の画素
を持ち、前記入力画像平面の全ての画素は該入力画像平
面において、同じスペクトル帯域を持つステップと、前
記第一の画像を入力画素面の組合せとして表わすステッ
プであって、前記入力画素面の各々が大きさＰのベクト
ルであり、ここでＰは前記入力画像平面の数であり、そ
のベクトルの各成分は対応する入力画像平面からの入力
画素とするステップと、出力画像平面の組合せを設定す
るステップであって、複数のスペクトル帯域の内の１つ
において、所定の出力画像平面中の各画素は、前記第二
の画像中の点に対応している前記第二の画像の輝度を表
わすステップと、前記第二の画像を出力画素面の組合せ
として表わすステップであって、前記出力画素面の各々
が大きさＱのベクトルであり、ここでＱは前記出力画像
平面の数であり、そのベクトルの各成分は対応する出力
画像平面からの画素とするステップと、前記入力画素面
から得たベクトルに線形変換を用いて、前記出力画素面
の少なくとも１つを含むベクトルを得るステップとを含
むことを特徴とする画像変換方法。

【００９５】２．前記第一の画像が、感光性検出素子ア
レイに結像するためのレンズ系を有する光学装置により
生成され、前記線形変換が前記レンズ系の特性に依存す
ることを特徴とする上記１に記載の画像変換方法。

【００９６】３．前記特性が、前記レンズ系の焦点距離
であることを特徴とする上記２に記載の画像変換方法。

【００９７】４．前記特性が、前記レンズ系のｆナンバ
ーであることを特徴とする上記２に記載の画像変換方
法。

【００９８】５．前記線形変換が、前記第一の画像を生
成する為に用いられた照明源に依存することを特徴とす
る上記１に記載の画像変換方法。

【００９９】６．前記線形変換が前記第一の画像として
取り込まれた像の種類に依存することを特徴とする上記
１に記載の画像変換方法。

【０１００】７．前記線形変換が前記第二の画像の出力
フォーマットに依存することを特徴とする上記１に記載
の画像変換方法。

【０１０１】

【発明の効果】第一の画像データに対応する入力画素面
のベクトルを、線形変換を用いて第二の画像データに対
応する出力画素面のベクトルに変換しているので、第二
の画像データの完全にサンプリングされた出力画素の復
元を行うことができる。

【０１０２】

【図面の簡単な説明】

【図１】反復する２×２のパターンを持つ画像センサの
画像平面への分離を示す平面図である。

【図２】センサアレイの一部分及びそのセンサアレイ中
の、特定の中間入力ベクトルに対する入力画素を示す平
面図である。

【図３】ＲＧＢ（赤緑青）出力画像の一部分及びそのＲ
ＧＢ出力画像中の、図２に示す中間出力ベクトルに対応
する画素を示す平面図である。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 第一の画像から第二の画像を生成する為
   のデータ処理システムを操作する方法であって、前記第
   一の画像は２次元アレイの画素値からなり、各々の前記
   画素値は、前記第一の画像中における複数スペクトル帯
   域の内の１つのスペクトル帯域の輝度に対応しており、 前記第一の画像の画素を複数の入力画像平面へ分けるス
   テップであって、各入力画像平面は正規化された水平及
   び垂直方向のサンプリング間隔で、他の入力画像平面と
   同数の画素を持ち、前記入力画像平面の全ての画素は該
   入力画像平面において、同じスペクトル帯域を持つステ
   ップと、 前記第一の画像を入力画素面の組合せとして表わすステ
   ップであって、前記入力画素面の各々が大きさＰのベク
   トルであり、ここでＰは前記入力画像平面の数であり、
   そのベクトルの各成分は対応する入力画像平面からの入
   力画素とするステップと、 出力画像平面の組合せを設定するステップであって、複
   数のスペクトル帯域の内の１つにおいて、所定の出力画
   像平面中の各画素は、前記第二の画像中の点に対応して
   いる前記第二の画像の輝度を表わすステップと、 前記第二の画像を出力画素面の組合せとして表わすステ
   ップであって、前記出力画素面の各々が大きさＱのベク
   トルであり、ここでＱは前記出力画像平面の数であり、
   そのベクトルの各成分は対応する出力画像平面からの画
   素とするステップと、 前記入力画素面から得たベクトルに線形変換を用いて、
   前記出力画素面の少なくとも１つを含むベクトルを得る
   ステップとを含むことを特徴とする画像変換方法。