JP2013240054A - 非コヒーレント・サンプリングのための辞書学習 - Google Patents

Abstract

【課題】少数のスパース（疎）エレメントに入力信号を線形的に分解することが可能であるプレノプティック・システムで、高分解能画像の再構築を可能とする。
【解決手段】入力信号のスパース性に関するこの事前知識は、最大事後推定による優れた再構成結果につながる。マシン学習は、学習された辞書に対して特定の特性（具体的には、システム応答との間の低いコヒーレンス性）を課し、この特性は、信頼できる再構成にとって重要である。
【選択図】図１

Description

本発明は、一般に、例えば、プレノプティック・システムによって捕捉された画像からのオブジェクトの再構成を含む、観測出力からの線形システムへの入力の再構成に関する。

圧縮サンプリング（センシング）は、信号獲得のサンプリング・レートを削減するための信号処理の成果から最近明らかになってきた理論である。しかし、全部ではないがほとんど全部の従来の研究は、ウェーブレットなどの周知の基底に関する特別なランダム測定マトリクスの使用に基づいている。前述の手法は、測定マトリクス（すなわち、システム応答マトリクス）が既知であり、カスタム化された基底が、入力信号の期待されたクラス及び測定マトリクスに合わせられる、本出願人が対処する再構成の課題とは別の課題を解決する。

別個に、疎信号モデルのための辞書学習も、最近、普及しているトピックである。しかし、入力信号が直接観測される旨を、辞書学習における研究のほとんど全部が仮定する。すなわち、システム応答マトリクスが恒等行列である旨が仮定される。更に、前述の手法は、本出願人が対処する再構成の課題に適用可能でない。本出願の場合、システム応答マトリクスは恒等行列からほど遠いからである。

よって、従来技術の欠点を解消することが可能な再構成手法に対する必要性が存在している。

少数の疎要素に入力信号を線形的に分解することが可能であるように入力信号要素の「辞書」を訓練するためのマシン学習手法を使用することにより、本発明は従来技術の制約を解消する。入力信号のスパース性に関する前述の事前知識は、最大事後推定により、優れた再構成結果をもたらす。前述の学習手法は、学習された辞書に対して特定の特性（特に、システム応答との低コヒーレンス）を課し、この特性は、信頼できる再構成にとって重要である。

システムは
で特徴付けることが可能であり、ここで、
はシステムに対する入力を表し、
は、ランク不足システム応答マトリクスを表し、
はシステム雑音を表し、
はシステムの出力を表す。入力
は、
で更に表され、ここで、
はシステムの「辞書」であり、係数
は疎である。

本発明の一局面は、特定のシステム応答マトリクス
及び入力信号
のクラスに対する、辞書
の選択に関する。辞書
は、マシン学習手法によって求められる。初期辞書推定
が選択され、次いで、訓練集合から選択され、以下で「サンプル」
として表される行列
において編成されたＢ個のサンプルを使用することによって改良される。改良は、サンプル
とサンプル表現
との間で低エラーを与える目的関数に基づき、ここで、
は
の係数表現であり、上記目的関数は更に、
と
との間で低コヒーレンスを与える。

と
との間の低コヒーレンスは、信頼できる再構成にとって重要である。

１つの特定の手法は以下に基づく。サンプル
が選択される。「推論」ステップでは、
が、事前スパース性に基づき、かつ、現在の辞書推定
を仮定して推定される。すなわち、
を与えられたとすると、
が求められる。相補的な「適応的学習」ステップでは、
の現在の推定の仮定に基づいて
が推定される。すなわち、
を与えられたとすると、
が求められる。これは、次のサンプル
について繰り返される。一定式化では、前述のステップは、何れも凸最適化問題であるので、計算量的に効率的なやり方で解くことが可能である。

本発明の別の局面は、辞書
が一旦選択された場合の再構成
に関する。問題は、観測出力
に対応する入力
を再構成するということである。一手法では、入力
は、
、及び求められた辞書推定
に基づいた最大事後推定である。

上記手法に対して、潜在的な適用分野が多く存在している。一適用分野クラスは、プレノプティック・システム用である。プレノプティック・システムは、即時多スペクトル撮像、焦点はずしや３Ｄ撮像などの更なる能力及び機能を提供することが可能であるので、従来の撮像システムよりも効果的である。これは、高度なディジタル画像（又は３Ｄシーン）再構成及び処理アルゴリズムに関する光学式の修正（マイクロレンズ・アレイ及び任意のフィルタ・モジュールの挿入）によって実現される。しかし、プレノプティック・システムは歴史的に、空間画像分解能のかなりの削減を犠牲にして前述の更なる機能を提供してきた。プレノプティック・システムを線形システムとしてモデリングすることが可能であるが、（瞳孔画像関数又はＰＩＦとして表される）システム応答マトリクスはランク不足である。よって、システム応答がランク不足であっても、より高い分解能画像を再構成するために、上記辞書ベースの再構成手法を、プレノプティック・システムに効果的に使用することが可能である。

プレノプティック・カメラに加えて、多くの他のシステム（特に、超音波トモグラフィやＭＲＩなどの医療撮像システム）は限定数の測定からの再構成という同様な課題に対処する。

本発明の他の局面は、上記全てに関する方法、装置、システム及びアプリケ―ションを含む。

本発明は、添付図面とともに解されると、本発明の以下の詳細な説明及び特許請求の範囲から更に容易に明らかとなる他の効果及び構成を有する。

本発明による、辞書によって拡充されたシステムを示すブロック図である。 辞書を求めるための一方法を示すフロー図である。 プレノプティック・システムを単純化した図である。 辞書学習に使用される訓練集合から得られたサンプル画像である。 （a）乃至(d)は、人形オブジェクトの辞書ベースの再構成を示す画像である。 （a）乃至(d)は、レナ・オブジェクトの辞書ベースの再構成を示す画像である。

図は、例証のみの目的で本発明の実施例を表す。本明細書及び特許請求の範囲記載の本発明の原理から逸脱しない限り、本明細書及び特許請求の範囲記載の構造及び方法の別の実施例を以下の記載から容易に認識するであろう。

図及び以下の説明は、例証の目的のみで、好ましい実施例に関する。本明細書記載の構造及び方法の別の実施例が、本特許請求の範囲の原理から逸脱しない限り、使用することができる妥当な代替策として当業者は容易に認識する。

図１は、本発明による、システム１１０の辞書によって拡充されたバージョンを示すブロック図である。システム１１０は線形モデル
で特徴付けることが可能であり、ここで、
はシステムに対する入力を表し、
はシステム応答マトリクスを表し、
はシステム雑音を表し、
はシステムの出力を表す。

再構成の問題は、
及び
を与えられたとすると、
を求めるというものである。すなわち、システム出力の測定を与えられたとし、かつ、システムの線形的な特徴付けを与えられたとすると、元の入力信号を推定するというものである。式１は線形であるので、再構成問題は線形逆問題である。解の存在及び一意性は、システム応答マトリクス
の特性に依存する。マトリクス
が反転可能であり、良条件である場合、再構成は、
を反転し、
を施すことによって解くことが可能である。

しかし、多くの場合、マトリクス
は矩形行列であり、ランク不足であり、線形システムは過少決定的である。これは、Ｍとして表される、
の行の数が、列の数Ｎよりも小さいか、又は、Ｍ＞Ｎの場合にも、
のランクがＮよりも小さい場合にあてはまる。これらの場合、特定の線形システムを近似的に満たす
の確率が最も高い解を探すことが可能である。形式上、
であるような推定
を求める。

を与えられたとすると、これは、確率が最も高い
である。すなわち、
の最大事後（ＭＡＰ）推定を求めたい。

更に、ＭＡＰ推定は、信号又は画像についての特定の事前情報を組み入れることを可能にし得る。すなわち、測定
の確率は、信号
に関する特定の更なる事前情報によって増加させることが可能である。信号再構成に対して好適な性能を有する一事前情報はスパース性である。事前スパース性は、特定の辞書において入力信号
が疎であると仮定する。

における辞書
は、単位正規ベクトルの
の集合である、すなわち、
である。辞書の要素は、アトムと呼ばれる。

の場合、すなわち、
における何れかのベクトルをアトムの線形結合として表すことが可能である場合、辞書は完全である。

及びアトムが線形従属の場合、辞書は過完全である。列がアトムである行列は辞書行列
と呼ばれる。話を単純にするために、上記行列
を
として表すことが可能であることが仮定され、係数のベクトル
は少数の非ゼロ・エントリを有する。すなわち、
は疎である。

の信号寸法がＮ×１（すなわち、ベクトル化形式でサイズ
の画像）であり、かつ、辞書
のサイズがＮ×Ｌである場合、係数
のベクトルは、Ｋ個の非ゼロ要素を伴うサイズＬ×１を有し、ここで、
である。Ｌは、Ｎに等しい（完全基底集合である）ことがあり得るが、通常は、Ｌ＞Ｎ（過完全基底集合）であると仮定される。

図１では、再構成は、再構成モジュール１２０及び辞書１３０によって行われる。観測出力
を与えられたとすると、再構成モジュール１２０は、以下に更に詳細に説明するように、対応する係数
を算出する。次いで、式２により、推定された入力
を算出する。

及び
についての特定の条件が満たされると、少数の測定から凸最適化を使用して疎の
（及び、よって、
）を再構成することが可能であるということが明らかとなっている。前述の数は、ナイキスト限界をずっと下回るものであり得、
のスパース性に依存する。一般に、線形独立である測定の数（すなわち、
のランク）は
のスパース性に依存する。測定の数が小さい場合、
は、スペース性がより高いはずである。係数が、厳密に疎でない（厳密にゼロでない）場合、再構成信号は、近似誤差を被り得る。このアルゴリズムは、
ベクトルが疎でない場合、行列
のランクが十分大きく、雑音があまり高くない場合にも機能し得る。満たすうえでより困難な条件の１つは、
及び
が相互に非コヒーレントであるべきであるというものである。すなわち、それらの間のコヒーレンス性は、良好な再構成を確実にするには小さくなければならない。

と
との間のコヒーレンス性は、
として定義され、ここで、
は
のｉ行目であり、φ_ｊは
のｊ列目であり、
は内積を表す。

が、
を知ることなく、先験的に選択された場合、非コヒーレンス性の保証はない。前述の条件を無視し、最善を期待して、信号推定をなお行うことが可能である。コヒーレンス性
は０以上１以下の範囲に及ぶ。相互に直交する
及び
の場合、コヒーレンス性μ＝０である。通常、正規化された
及び
の場合、コヒーレンス性
は好ましくは０．１未満である。以下の例では、μは約０．０３である。

もう一度、図１を参照すれば、辞書
は、与えられた
との間で低いコヒーレンス性を有するべきであり、入力信号
を疎に表すよう好適にフィットさせるべきである。これがあてはまる場合、係数
は、測定された出力
から推定することが可能であり、対応する
の推定は式２を使用して求めることが可能である。

係数
は、以下の通り、
から推定することが可能である。

である単純化された場合で始める。この場合、測定された出力は、入力信号の雑音があるバージョン
に過ぎない。辞書
、及び測定
のベクトルが与えられた場合、タスクは、係数
の疎ベクトルを推定（し、かつ、よって、更に、
を推定）するというものである。この場合におけるＭＡＰ推定は、
で表され、ここで、２番目のステートメントはベイズの定理に由来する。センサ雑音
がガウス分布
を有していると仮定した場合、
であり、ここで、
はｌ_２ノルム、すなわち、ユークリッド・ノルムを表し、σ^２は雑音の分散である。

係数のベクトルが疎であるという仮定は、密なピークをゼロに有するラプラス分布
として
上の事前分布をモデリングすることによってもたらされ、
となり、ここで、
はｌ_１ベクトル・ノルムであり、αはスケール・パラメータである。式６及び式７を式５に代入することにより、ＭＡＰ推定問題はこの場合、
となるか、又は、同等に、
となり、ここで、λ＝２σ^２／αとなる。この最適化問題は凸であり、内点法又はグラジエント法を使用して効率的に解くことが可能である。更に、行列
のそれ自体とのコヒーレンス性に応じて、係数推定のための保証されたエラー境界が存在している。

式４乃至９は一例に過ぎない。他のケースについて、他の定式化を導き出すことが可能である。例えば、雑音はガウスでなくてよい。例えば、ラプラス又はポアソンであり得る。
スパース係数の場合、その分布は異なり得るが、好ましくは、非常に尖っている（ゼロにピークを有する）。一例はコーシー分布であり、これは、凸目的関数にもつながる。よって、式８及び式９は、上記形式と異なる形式をとり得る。

である場合、ＭＡＰ推定は、
として設定し、上記と同様に解くことが可能である。しかし、（小さなエラーを伴って）正しい
を回復するための保証は、より複雑である。すなわち、
について好適な推定を求めるために、行列
及び
は、低い相互コヒーレンス性を有するべきである。この条件は辞書学習プロセスに影響を及ぼす。データを好適に表すのみならず、システム応答マトリクス
との間で低いコヒーレンス性を有する辞書
を求める必要があるからである。

図２は、入力信号例の訓練集合から辞書
を訓練すること、及び
と
との間で非コヒーレンス性を強制することに基づいて、前述の辞書を求めるための一方法を示すフロー図である。図２は、初期の辞書推定
を選択する（２１０）ことによって開始する。これは、辞書をランダムに選択することにより、又は、辞書についての特定の初期の推定又は推測を使用することによって行うことが可能である。ループ２２０は、次いで、訓練集合から選択され、以下で「サンプル」
として表される、行列
に編成されたＢ個のサンプルを各反復で使用することにより、この辞書推定を反復的に向上させる。この向上は、サンプル
とサンプル表現
との間の低エラーを与え、更に、
と
との間の低コヒーレンスを与える目的関数に基づく。

図２の具体例では、ループの各反復は、入力信号の訓練集合からサンプル
を選択する（２２２）。訓練集合が好ましくは、同じクラスからの広い範囲の種々の画像例を含んでおり、そのサイズが、辞書の要素の数よりもずっと大きい（Ｑ＞＞Ｌ）という意味で、訓練集合は実際の入力を表すべきである。ループの内部は２ステップ・プロセスである。（時には推論工程として表される）工程２２４では、
の推定は、事前スパース性に基づいて、かつ、現在の辞書推定
を仮定して推論される。すなわち、現在の辞書推定
を与えられたとすると、現在のサンプル
について
を求める。（学習工程として表される）工程２２６では、辞書推定
は、
の現在の推定を仮定することに基づいて適応させる。すなわち、工程２２４からの
の現在の推定が与えられるとすると、
を求める。十分な進展があるまで更なるサンプル
についてループを繰り返す（２２８）。例えば、特定数のループ後、あるいは、特定のレベルの収束に達した後、あるいは、特定のレベルの性能に達した後、訓練は停止し得る。

更に詳細に言えば、推論工程２２４は、
として実現することが可能であり、ここで、
である。ここで、
は、列がサンプル
に対応する出力である行列である。訓練集合が、Ｑ個の例を有している場合、例全てが一度に訓練されている場合、
及び
の第２の寸法はＱになる。しかし、訓練データの量が通常、大きいので、反復毎に、ランダムに選ばれたＢ個の例の別の部分集合を使用することが可能である。よって、各反復における
及び
のサイズはＭ×Ｂ及びＬ×Ｂそれぞれである。推論工程２２４は、出力
、システム応答マトリクス
、及び現在の辞書推定
の集合を与えられたとすると、事前スパース性下の
の最も高確率の解を求める。式１１の目的関数は凸であり、グラジエント法を使用して最適化することが可能である。上記目的関数の導関数は単純であり、
である。ゼロにおける符号関数は、ゼロに等しいものとして定義される。

学習工程２２６は
として実現することが可能であり、ここで、
である。

はＮ×Ｂ行列であり、その列は訓練集合からの例であり、δはトレードオフ・パラメータである。

前述の目的関数における第１の項は、サンプル
と、その表現
との間のエラーを測定する。これは式１２における項と異なる。これにより、
を使用して
の表現のエラーが求められるからである。この背後には、推論工程において得られた係数を使用して訓練集合における例を近似するうえで好適な機能を行う辞書を学習したいという直感がある。

目的関数における第２の項は、
と
との間のコヒーレンス性に対するペナルティである。式３におけるコヒーレンス性の定義をより詳細にみるに、これは、
すなわち、
の無限ノルムに等しいということが分かり得る。無限ノルムは、どこでも微分可能でないので、本実現形態では、フロベニウス・ノルム
、すなわち、ｌ_２行列ノルムにおいて近似する。このノルムは凸であり、どこでも微分可能であり、その単純な導関数は、すばやく算出される。あるいは、無限ノルムをより好適に近似するノルム（＞２）を使用することが可能であるが、これは、計算量を増加させる。よって、フロベニウス・ノルムは、性能と計算量との間の好適なトレードオフを表す。

式１３における目的関数は凸であり、グラジエント法を使用して最小化することが可能である。これは、
にわたる単純な導関数
を有する。これは、アレイ演算のみに基づいているので、導関数の算出は、大きく並列化可能であり、ＧＰＵの実現に好都合である。

この例示的な実現形態の擬似コードは以下に示す。

システム応答マトリクス
との間でコヒーレントでない辞書
から入力信号
を再構成することが可能である。

上記手法は、種々の多くのシステム及びアプリケーションに使用することが可能である。
プレノプティック撮像システムの具体例を以下に説明する。プレノプティック・システムでは、システムを横断する光は、通常の撮像よりも複雑な態様で影響を受ける。その結果、システム応答マトリクスは更に、通常の撮像システムにあてはまり得るように、点拡がり関数による単純な畳み込みと比較して、より複雑になる。以下の例では、入力信号
は、プレノプティック・システムが視る元のオブジェクトを表し、出力信号
はシステムによって捕捉されるプレノプティック画像であり、
はシステム応答マトリクスを表し、
はシステム雑音を表す。再構成の問題は、
及び
を与えられたとすると、
を求めるというものである。

図３は、プレノプティック・システムを単純化した図である。システムは、（図３における単一のレンズによって表される）一次撮像サブシステム３１０、（レンズレット・アレイによって表される）二次撮像アレイ３２０、及びセンサ・アレイ３３０を含む。これらは、図３においてサブシステム１及びサブシステム２として表す重なり合う２つの撮像サブシステムを形成する。プレノプティック・システムは任意的には、センサ・アレイ３３０と対をなす位置に配置されたフィルタ・モジュール３２５を有し得る。フィルタ・モジュールは、図３において１乃至３と付された空間多重された、いくつかのフィルタ・セルを含む。例えば、フィルタ・セルは、オブジェクト内の別々のモーダリティに対応し得る。

空間座標（ζ，η）はオブジェクト平面（システムに対する入力）において使用され、（ｔ，ｗ）はセンサ平面（システムに対する出力）において使用される。図３では、話を単純にするために、別々の構成部分がそれぞれ、単一の平面に配置される。しかし、他のシステムでは、別々の構成部分は、より複雑であり得る（例えば、一次「レンズ」は互いに離れたレンズの組であり得る）。更に、別々の構成部分は、厳密に図３に示すように企図されなくてよい。例えば、「一次レンズ」は、レンズ、ミラー、及びこれらの２つの組合せを含む、構成要素の種々の組合せであり得る。同様に、二次撮像アレイは、ピンホール・アレイ又は反射アレイであり得る。

撮像サブシステム１において、ここでフィルタ・モジュール３２５を無視すると、オブジェクト３５０は、「一次画像」として表される画像を生成するために一次レンズ３１０によって撮像される。この一次レンズ３１０は、カメラ撮像レンズ、顕微鏡対物レンズ、又は何れかの他の前述の撮像システムであり得る。レンズレット・アレイ３２０は、近似的に、一次画像の位置に配置される。各レンズレットは次いで、一次レンズの瞳孔をセンサ平面に撮像する。これは、撮像サブシステム１と部分的に重なり合う撮像サブシステム２である。センサ・アレイ３３０において生成された画像は、「一次画像」との混乱を避けるために「プレノプティック画像」として表される。プレノプティック画像は、レンズレットそれぞれに対応するサブ画像のアレイに分けることが可能である。しかし、サブ画像は、撮像サブシステム１の瞳孔の画像であり、オブジェクト３５０の画像でない。図３では、プレノプティック画像及びサブ画像にＡ１乃至Ｃ３が付されている。フィルタ・モジュール３２５におけるフィルタ・セル３によってフィルタリングされるように、Ａ１は概して、オブジェクト３５０の一部分Ａに対応する。

ここで、
は、センサ・エレメントＴ、Ｗにおける強度である。

は、オブジェクト・エレメントＭ、Ｎからの強度であり、
は、プレノプティック撮像システム応答であり、これは、瞳孔画像関数又はＰＩＦとして表す。

は、オブジェクト・エレメントＭ、Ｎによって生成されるセンサ・エレメントＴ、Ｗにおける強度である。Ｔ、Ｗはセンサ座標（ｔ，ｗ）の離散化バージョンであり、Ｍ、Ｎはオブジェクト座標（ζ，η）の離散化バージョンである。

式１５Ａは、
として更に簡潔に書くことが可能であり、ここで、更なる「ｖ」は、これが、ベクトル化画像に基づいているということを示す。すなわち、二次元プレノプティック画像Ｉ_ｆは、一次元ベクトル
として表される。同様に、２次元オブジェクトＩ_ｏは一次元ベクトル
として表される。相応に、四次元ＰＩＦは、二次元システム応答マトリクスＰＩＦｖとして表される。雑音項が加えられた後は、式１５Ｂは式１と同じ形式を呈する。

は入力ベクトル
であり、
は出力ベクトル
であり、ＰＩＦｖはシステム応答マトリクス
である。ＰＩＦは、例えば、幾何光学を使用して、又は波伝搬に基づいて種々のやり方で算出し、近似することが可能である。例えば、本明細書及び特許請求の範囲に援用する、「Ｓｐａｔｉａｌ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ Ｐｌｅｎｏｐｔｉｃ Ｉｍａｇｅｓ」と題する米国特許出願第１３／３９８,８１５号におけるＡｐｐｅｎｄｉｃｅｓを参照されたい。

以下の例では、ＰＩＦは、マイクロレンズ・アレイ平面においてオブジェクトの焦点が合っている場合に波伝搬解析を使用して生成されている。辞書学習に使用された訓練集合は、荒野で走っているシマウマの群れを描いた、野生動物に関するＢＢＣのドキュメンタリからのビデオ・フレームの組であった。ビデオ・フレームの一部を図４に示す。訓練集合に対する事前処理は存在していない。

種々のベクトル及び行列は以下のサイズを有する。

はＮ×１であり、
はＮ×Ｂであり、
はＮ×Ｌであり、
はＬ×１であり、
はＬ×Ｂであり、
はＭ×１であり、
はＭ×Ｂであり、
はＭ×Ｎである。Ｎは、オブジェクトのディジタル化バージョンにおけるサンプルの合計数である。一次元オブジェクト信号、及びシステムの通過帯域は帯域制限されている。最高周波数がｆ_２（例えば、ｆ_２＝２０である）である場合、ナイキスト・レートでサンプリングされたオブジェクトの離散化バージョンは、一次元において２×２０＝４０個のサンプルを有する。２次元オブジェクトの場合、ナイキスト・レートにおけるサンプルの数は、Ｎ＝４０×４０＝１６００である。Ｍは、このオブジェクトのプレノプティック画像のセンサ・サンプリングである。Ｍは、（同じ元のナイキスト・サンプリングを維持して）Ｎにまで減少し得る。あるいは、（例えば、同じオブジェクト点を撮像する画素、及びレンズレット間の暗画素が理由で）Ｍが、より大きくても、
のランクは、より小さいことがあり得る。以下の例では、Ｍ＝５２×５２＝２７０４を選んでいる。ここで、スーパ画素の両側における６個の画素の境界拡張＋４０の元のサンプリング＝５２画素（センサにおける一次元において）である。Ｌ＝１６００も選んでいる。学習アルゴリズムの各反復において、サイズ４０×４０のＢ＝４Ｌ＝６４００フレーム・ブロックのバッチを選択している。

のランクは〜７００である。すなわち、
のランク＜Ｎ／２である。したがって、Ｍ＞Ｎであっても、劣決定システム（線形独立等式の数は、未知数の２分の１未満である）をなお、有する。各ブロックはベクトルに再シェーピングされ、
の列を表す。次いで、焦点面に配置された、プレノプティック・システムの手前のオブジェクトとしてフレーム・ブロックを使用してプレノプティック撮像処理をシミュレートしている。この配置は方法の一般性を減らすものでない。ＰＩＦ行列は、何れの平面についても、又はボリューム全体について定義することが可能である。したがって、センサ平面においてシミュレートされたデータは、
であった。雑音
は、ＳＮＲ＝８０ｄＢの白色ガウス雑音である。

辞書
は、上記反復的な手法を使用して開発されている。辞書推定
は、ランダムに初期化され、再構成品質の更なる相当な向上がもう存在しなくなった際である、約３００の反復後に停止している。

図５ａ乃至図５ｄ、及び図６ａ乃至図６ｄは、人形オブジェクト及びレナ・オブジェクトそれぞれの辞書ベースの再構成を示す画像である。人形の画像及びレナの画像は、プレノプティック・システムの手前のオブジェクトとして撮影された。元のオブジェクトの４０×４０のブロック毎に、ＳＮＲ＝８０ｄＢの白色ガウス雑音を加えて、式１６と同様にセンサ・データをシミュレートした。式１１で表される推論工程を使用して、スパース係数ベクトル
を推定しており、再構成されたブロックが次いで、
として得られる。図５ａ及び図６ａは元のオブジェクト（入力信号
）を示す。図５ｂ及び図６ｂはセンサにおいて捕捉された対応するプレノプティック画像（出力信号
）を示す。プレノプティック画像は円形画像のアレイである。円形フットプリントであるのは、一次レンズが円形アパーチャを有しているからであり、各マイクロレンズはセンサ・アレイの対応する区画上に一次レンズを撮像する。各円形フットプリント内の強度は一定でないが、変動は、図５ｂ及び図６ｂに示す倍率で容易にみることが可能でない。

図５ｃ及び図６ｃは、上記辞書ベースの手法を使用した、再構成されたオブジェクトを示す。比較のために、図５ｄ及び図６ｄは、更なる平滑化を伴う非線形最小二乗法に基づいて、別の手法を使用した再構成オブジェクトを示す。再構成画像の品質を評価するために、ピーク信号対雑音比（ＰＳＮＲ）を使用した。図５ｃ及び図６ｃにおける辞書ベースの再構成のＰＳＮＲが、より高く、約２９ｄＢである一方、図５ｄ及び図６ｄに示す再構成のＰＳＮＲは、より低く、約２３ｄＢである。辞書ベースの再構成の視覚品質も、より良好である。

これは、例示的な一適用分野に過ぎない。他の適用分野も明らかになるであろう。上記例はフィルタ・モジュール３２５を利用していない。プレノプティック・システムの一適用分野はスペクトル・フィルタリングである。フィルタ・モジュール３２５は種々の波長を含み得る。このシステムは、
によってモデリングすることが可能である。ここで、プレノプティック画像
は、上述と同じ寸法を有する。しかし、オブジェクト
は、別々のＫ個の構成部分
で構成される。例えば、
は、波長帯１におけるオブジェクトの構成部分、
は、波長帯２におけるオブジェクトの構成部分であり得る。対応する「構成部分ＰＩＦ」は、
等を含み得、構成部分
は、捕捉されたプレノプティック画像に対する構成部分
の寄与度を表し、構成部分
は、捕捉されたプレノプティック画像に対する構成部分
の寄与度を表す等である。基本等式
がなお当てはまるが、この場合、行列
であり、ベクトル
である。これにより、システム応答マトリクス
は、今までよりも更にランク不足となり、再構成が、より困難になる。構成部分は更に、他の特性：例えば、偏光、減衰、オブジェクト照射又は深度に基づき得る。

別の例示的な適用分野は超音波トモグラフィである。この例では、入力
はシステムによって撮像される対象のオブジェクトであり、出力
は、超音波トモグラフィ・システムによって得られた超音波サンプルである。更に別の例示的な適用分野はＭＲＩ撮像である。入力
は、システムによって撮像される対象のオブジェクトであり、出力
は、ＭＲＩ撮像システムによって得られたＭＲＩサンプルである。更に別の例は、地中レーダー・トモグラフィである。

詳細な説明は、多くの具体的事項を含むが、これらは、本発明の範囲を制限すると解されるべきでないが、単に、本発明の種々の例及び局面を示しているに過ぎない。本発明の範囲は以下に詳細に説明していない他の実施例を含む。当業者に明らかとなる種々の他の修正、変更、及び変形は、特許請求の範囲記載の発明の趣旨及び範囲から逸脱しない限り、本明細書及び特許請求の範囲記載の本発明の方法及び装置の配置、動作、及び詳細において行い得る。したがって、本発明の範囲は、特許請求の範囲、及びその法的な均等物によって定められるべきである。

別の実施例では、本発明は、コンピュータ・ハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組合せで実現される。本発明の装置は、プログラム可能なプロセッサによって実行するためにマシン読み取り可能な記憶装置において有形に実施されたコンピュータ・プログラム・プロダクトにおいて実現することが可能である。本発明の方法工程は、入力データを処理し、出力を生成することにより、本発明の機能を行う旨の命令のプログラムを、プログラム可能なプロセッサが実行することによって行うことが可能である。本発明は、プログラム可能なシステム上で実行可能な１つ又は複数のコンピュータ・プログラムにおいて効果的に実現することが可能である。上記プログラム可能なシステムは、データ及び命令を受け取り、データ記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置にデータ及び命令を送信するよう結合された少なくとも１つのプログラム可能なプロセッサを含む。各コンピュータ・プログラムは、高水準手続型又はオブジェクト指向型プログラミング言語で、又は、所望の場合、アセンブリ言語若しくはマシン言語で実現することが可能であり、いずれにせよ、言語は、コンパイル型言語、又はインタープリタ型言語であり得る。適切なプロセッサは、例として、汎用マイクロプロセッサ及び特殊用途向マイクロプロセッサを含む。一般に、プロセッサは、リードオンリ・メモリ及び／又はランダム・アクセス・メモリから命令及びデータを受け取る。一般に、コンピュータは、データ・ファイルを記憶するために１つ又は複数の大容量記憶装置を含む。前述の装置は、内部のハード・ディスク及び着脱可能なディスク、光磁気ディスク、及び光ディスクを含む。コンピュータ・プログラム命令及びデータを有形に実施するために適切な記憶装置は、不揮発性メモリの形態全てを含む。上記不揮発性メモリの形態は、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭやフラッシュ・メモリ装置などの半導体メモリ装置、内部ハード・ディスクや着脱可能ディスクなどの磁気ディスク、光磁気ディスク、及びＣＤ−ＲＯＭディスクを含む。上記のうちの何れかは、ＡＳＩＣ（特定用途向集積回路）及び他の形態のハードウェアによって補完し、又はＡＳＩＣ（特定用途向集積回路）及び他の形態のハードウェアに組み入れることが可能である。

「モジュール」という語は、特定の物理的な形態に制限されることを意味するものでない。特定のアプリケーションに応じて、モジュールは、ハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組合せとして実現することが可能である。

１１０ システム
１２０ 再構成モジュール
１３０ 辞書

Claims (20)

1. で特徴付けることが可能であるシステムであって、
   が前記システムへの入力を表し、
   がランク不足システム応答マトリクスを表し、
   がシステム雑音を表し、
   が前記システムの出力を表すシステムについて、前記システム用の辞書
   を求めるためのコンピュータ実現可能な方法であって、
   であり、上記方法は、
   初期の辞書推定
   を選択する工程と、
   システム入力の訓練集合からサンプル
   を選択する工程、及び
   前記サンプル
   とサンプル表現
   との間の低エラーを与え、
   と
   との間の低コヒーレンスを与える目的関数に基づいて前記辞書推定
   を向上させる工程とを繰り返し行う工程と
   を含む方法。
2. 請求項１記載の方法であって、
   が疎である方法。
3. 請求項１記載の方法であって、前記目的関数は、
   に基づいた項を含めることにより、低コヒーレンスを与え、
   は
   のｉ行目であり、
   は
   のｊ列目であり、
   は内積である方法。
4. 請求項１記載の方法であって、前記辞書推定は、正規化された
   及び
   について
   であるように向上させられる方法。
5. 請求項１記載の方法であって、前記目的関数は、
   に基づいた項を含めることにより、低コヒーレンスを与え、
   はｌ_２行列ノルムを表す方法。
6. 請求項１記載の方法であって、前記目的関数は、
   に基づいた項を含めることにより、低エラーを与え、
   はｌ_２行列ノルムを表す方法。
7. 請求項１記載の方法であって、前記辞書推定
   を向上させる工程は、
   事前スパース性に基づき、かつ現在の辞書推定
   を仮定して、
   の推定を推論する工程、及び
   の現在の推定に基づいて
   を適応的に学習する工程
   を反復的に行う工程
   を含む方法。
8. 請求項１記載の方法であって、
   の推定を推論する工程は、凸である目的関数に基づく方法。
9. 請求項１記載の方法であって、
   の推定を推論する工程は、
   、現在の辞書推定
   、及び前記サンプル
   に対応する出力
   が与えられたとすると、事前スパース性の最も高確率の解
   を求めることに基づく方法。
10. 請求項９記載の方法であって、
    の推定を推論する工程は、
    に基づき、
    である方法。
11. 請求項１０記載の方法であって、
    の推定を推論する工程は、
    に基づいたグラジエント法を使用する方法。
12. 請求項１記載の方法であって、
    を適応的に学習する工程は、凸である目的関数に基づく方法。
13. 請求項１記載の方法であって、
    を適応的に学習する工程は、前記サンプル
    とサンプル表現
    との間のエラーにペナルティを与える第１の項を有し、
    と
    との間のコヒーレンスにペナルティを与える第２の項を有する目的関数に基づく方法。
14. 請求項１３記載の方法であって、
    を適応的に学習する工程は、
    に基づき、
    である方法。
15. 請求項１４記載の方法であって、
    を適応的に学習する工程は、
    に基づいたグラジエント法を使用する方法。
16. 請求項１記載の方法であって、
    観測出力
    を受け取る工程と、
    、
    、及び前記求められた辞書推定
    に基づいて、対応する入力
    を推定する工程とを更に含む方法。
17. 請求項１６記載の方法であって、
    を推定する工程は、
    凸最適化を使用して
    を推定する工程と、
    により、
    を推定する工程と
    を含む方法。
18. 請求項１記載の方法であって、前記入力
    はＮ×１ベクトルであり、
    はＬ×１ベクトルであり、前記辞書
    はＮ×Ｌマトリクスであり、Ｌ＞Ｎである方法。
19. で特徴付けることが可能なプレノプティック・システムであって、
    が、前記プレノプティック・システムによって撮像される対象のオブジェクトを表し、
    が瞳孔画像関数のランク不足マトリクスを表し、
    がシステム雑音を表し、
    が、前記プレノプティック・システムによって得られた前記オブジェクトのプレノプティック画像を表すプレノプティック・システムについて、前記プレノプティック・システム用の辞書
    を求める、コンピュータによって実現可能な方法であって、
    であり、前記方法は、
    当初の辞書推定
    を選択する工程と、
    オブジェクトの訓練集合からサンプル
    を選択する工程及び
    前記サンプル
    とサンプル表現
    との間の低エラーを与える目的関数に基づいて前記辞書推定
    を向上させる工程とを繰り返し行う工程とを含む、コンピュータによって実現可能な方法。
20. 辞書によって拡充可能なシステムであって、
    で特徴付けることが可能であるシステムであって、
    が前記システムへの入力を表し、
    がランク不足システム応答マトリクスを表し、
    がシステム雑音を表し、
    が前記システムの出力を表すシステムと、
    前記システム用の辞書
    を含むデータ記憶装置であって、
    であり、
    及び
    に、相互コヒーレンス
    があるデータ記憶装置と、
    前記システム及び前記データ記憶装置に結合された再構成モジュールであって、前記再構成モジュールは、前記システムから、観測出力
    を受け取り、
    、
    、及び前記記憶された辞書
    に基づいて、対応する入力
    を推定する再構成モジュールとを備える、辞書によって拡充可能なシステム。