JP2021519973A - 入力信号データにおけるベースライン推定のための装置および方法 - Google Patents

Abstract

本発明は、入力信号データ（Ｉ（ｘｉ））のベースライン推定データ（ｆ（ｘｉ））を得るための装置および方法に関する。正確なベースライン推定データを得ることで、画像データ、ソナーデータ、音データ、超音波トモグラフィデータおよび／または地震計データ等の入力信号データからノイズを効率的に除去することができる。ベースライン推定データは、グリーン関数による畳み込みを使用して計算される。畳み込みは、既知の行列乗算よりも計算上効率的である。

Description

本発明は、入力信号データにおけるベースライン推定のための装置および方法に関する。

カメラ等の光学デバイスを使用して、三次元領域の二次元画像を記録する場合には、焦点領域にあるそれらの特徴だけが鮮鋭にレンダリングされるだろう。焦点領域にないアイテムはぼやけている。画像へのこの焦点外れ関与によって、標準のエンジンおよび逆畳み込み等の画像鮮鋭化のための方法では除去されないアーチファクトが生じてしまう。

したがって、課題は、入力信号データによって表される画像等の信号における焦点外れ関与またはベースライン関与を除去する装置および方法を提供することである。

画像における焦点外れ関与またはベースライン関与と類似の特性を有するノイズコンテンツは、例えばエイリアシング、ノイズの多い背景、非線形吸収作用および／または散乱作用および／または信号源および／または反射ターゲットの移動によって生じる、さまざまなタイプの入力信号データで存在し得る。したがって、本発明の別の課題は、画像における焦点外れ関与と特性が類似している、入力信号データにおけるノイズ成分を除去することである。

上述の課題は装置によって解決され、ここでこの装置は入力信号データを検索し、出力信号データを計算するために入力信号データからベースライン推定データを差し引くように構成されており、ここで、装置はさらに、離散グリーン関数を使用した畳み込みからベースライン推定データを計算するように構成されている。

さらに、上述の課題は方法によって解決され、この方法は、ベースライン推定データを得るステップと、出力信号データを得るために入力信号データからベースライン推定データを差し引くステップとを含んでおり、ここで、ベースライン推定データを得るステップは、離散グリーン関数による畳み込みを使用して、ベースライン推定データを計算するステップを含んでいる。

上述の課題はさらに、特許請求の範囲に記載された方法をコンピュータに実施させるプログラムを格納する非一時的なコンピュータ可読媒体によって解決される。

上述の課題はまた、コンピュータプログラムがプロセッサ上で実行されるときに、本発明によるノイズ低減方法を実施するためのプログラムコードを有するコンピュータプログラムによって解決され、特許請求の範囲に記載された方法の実施の結果である出力信号データによって解決され、かつ／または、入力信号データおよび出力信号データによってトレーニングされたニューラルネットワークデバイスによって解決され、ここで、出力信号データは、特許請求の範囲に記載された方法によって入力信号データから作成される。

以降では、本発明を、単に例として入力画像データを表し得る入力信号データを参照して説明する。しかし、入力画像データに限定されず、用語「色」は一般的に、特定の波長または特定の波長帯域での入力信号の強さまたは強度に関連し得る。用語「色」は必ずしも画像入力データに限定されず、以降にさらに挙げられるように、他のタイプの入力データに関連していてもよい。同様に、用語「色空間」は、入力画像データに限定されず、異なる重畳波長または重畳波長帯域または非重畳波長または非重畳波長帯域で記録された入力信号データのあらゆるセットを表してよい。この文脈における波長は、空間的または時間的な波長に相当してよく、すなわち、時間的または空間的な周波数に関連していてよい。入力信号または出力信号が記録される波長または波長帯域のセットは、「色空間」に相当する。これらの波長または波長帯域のうちのそれぞれ１つが、個別の「チャネル」または「カラーチャネル」を構成する。

例えば、入力信号データは、入力画像データ、入力ソナーデータ、入力音データおよび／または入力超音波データ、入力レーダーデータ、ケプストラを含む入力分光法データおよび／または入力スペクトルデータ、入力マイクロ波データ、地震計データ等の入力振動データ、あらゆる種類のトモグラフィの入力トモグラフィデータおよび証券取引データ等の統計データのうちの１つならびにそれらのあらゆる組み合わせであってよい。入力信号データは、一次元、二次元、三次元およびＮ次元のうちの１つであってよい。

出力信号データは、出力画像データ、出力ソナーデータ、出力音データまたは出力超音波データ、出力レーダーデータ、ケプストラを含む出力分光法データおよび／またはスペクトルデータ、出力マイクロ波データ、地震計データ等の出力振動データおよび証券取引データ等の統計データのうちの１つならびにそれらのあらゆる組み合わせであってよい。出力信号データは、一次元、二次元、三次元およびＮ次元のうちの１つであってよい。出力信号データは、さらなる処理のために出力され得る。

すでに画像データと見なされ得る、ソナーデータ、音データおよび超音波データ等の入力信号データでは、本明細書で説明されるベースライン推定が、背景を除去するために使用されてよい。統計データでは、本明細書で説明されるベースライン推定が、グローバルトレンドを除去および／または修正するために使用されてよい。

より一般的な用語において、本明細書で説明されるベースライン推定方法は、入力信号データからベースライン推定値を除去するためだけでなく、ベースライン関与Ｉ_２（ｘ_ｉ）を「合焦」関与Ｉ_１（ｘ_ｉ）から分離するために使用されてよい。次に、これらの２つの成分が処理され、最終的には個別に分析されてよい。例えば、スペクトルデータ、特にハイパースペクトルデータでは、大規模なベースラインスペクトルフィーチャが、小規模なスペクトルフィーチャから分離されてよい。

入力信号データは、有利には、Ｎ次元アレイＩ（ｘ_ｉ）であり、ここでＮは２より大きい整数である。

用語ｘ_ｉは、Ｎ個のロケーション値を含んでおり、かつ離散ロケーションｘ_ｉまたはアレイにおけるそのロケーションへの位置ベクトルを表すタプル

に対する簡易表記である。ロケーションｘ_ｉは、入力信号データ内のピクセルまたは有利にはピクセルのコヒーレントセットによって表されてよい。離散ロケーションｘ_ｉは、例えば、二次元の入力信号データの場合の離散ロケーション変数の二つ組

および三次元の入力信号データの場合の離散ロケーション変数の三つ組

を示す。ｉ番目の次元において、アレイがＭ_ｉ個のロケーション、すなわち、

を含んでいてよい。全体として、Ｉ（ｘ_ｉ）には（Ｍ_１×・・・×Ｍ_N）個の要素が含まれていてよい。以降では、具体的なロケーションまたは具体的な次元は参照されないため、ロケーションは単にｘ_ｉによって示される。

Ｉ（ｘ_ｉ）は、ロケーションｘ_ｉでのあらゆる値または値の組み合わせであってよく、例えば色空間における色または「チャネル」の強度を表す値、例えばＲＧＢ空間における色Ｒの強度、または１つよりも多くの色の組み合わせ強度、例えばＲＧＢ色空間における

である。マルチスペクトルまたはハイパースペクトルカメラによって記録された入力画像は、３つよりも多くのチャネルを含んでいてよい。他のタイプの入力信号データについても同様である。

例えば、二次元の入力信号データは、３色のＲＧＢフォーマットで利用可能な入力画像データであってよく、二次元の入力信号データ

の３つの独立したセットと見なされてよく、ここでＩ_Ｒ（ｘ_ｉ）は色Ｒの強度等の値を表し、Ｉ_G（ｘ_ｉ）は色Ｇの強度等の値を表し、Ｉ_B（ｘ_ｉ）は色Ｂの強度等を表す。択一的に、各色は、別個の入力画像を構成し、したがって別個の入力信号データを構成すると見なされてよい。

入力信号データがマルチスペクトルカメラまたはハイパースペクトルカメラを使用して記録されている場合、３つよりも多くのチャネルが入力信号データによって表されてよい。各チャネルは、光スペクトラムの異なるスペクトラムまたはスペクトル範囲を表してよい。例えば、可視光スペクトラムを表すために、３つよりも多くのチャネルが使用されてよい。

対象物が少なくとも１つの蛍光体または少なくとも１つの自家蛍光物質等の蛍光材料を含んでいる場合、各チャネルは異なる蛍光スペクトラムを表してよい。例えば、複数の、蛍光を発する蛍光体が入力信号データに存在する場合、１つの蛍光体の各蛍光スペクトラムは、入力信号データの異なるチャネルによって表されてよい。さらに、一方での、照明によって選択的に引き起こされる蛍光と、他方での、引き起こされた蛍光の副産物としてまたは二次的作用として生成され得る自家蛍光とに、異なるチャネルが使用されてよい。付加的なチャネルは、ＮＩＲの範囲およびＩＲの範囲をカバーしてよい。チャネルには必ずしも強度データが含まれているとは限らないが、対象物の画像に関連する他の種類のデータを表してよい。例えば、チャネルは、画像内の特定のロケーションで引き起こされた後の蛍光寿命を表す蛍光寿命データを含んでいてよい。したがって、一般的に、入力信号データは

の形式になり、ここで、Ｃは入力信号データにおけるチャネルの総数である。

本発明の装置および方法は、合焦関与が高い空間周波数を有し、例えば、入力信号データ内の短い距離にわたって生じる強度の変化および／または色の変化の原因となるという仮定から始まる。焦点外れ関与は低い空間周波数を有し、すなわち、入力信号データの比較的広いエリアにわたって広がる、主に段階的な強度の変化および／または色の変化につながると仮定される。したがって焦点外れ関与は、入力信号データのベースラインに反映される。

この仮定から始めて、入力信号データにわたる強度の変化および／または色の変化は、高い空間周波数の合焦成分Ｉ_１（ｘ_ｉ）と、低い、ここでは空間周波数の焦点外れ成分またはベースライン成分Ｉ_２（ｘ_ｉ）とに、

として付加的に分離されてよい。

その空間周波数が低いため、焦点外れ成分Ｉ_２（ｘ_ｉ）を、空間周波数が高い特徴として合焦成分が重ね合わされた、多かれ少なかれ滑らかなベースラインと見なすことができる。本発明では、ベースラインは、入力信号データへの適合（ｆｉｔ）を使用して推定される。計算上、適合、すなわちベースライン推定値は、離散ベースライン推定データｆ（ｘ_ｉ）によって表される。ベースライン推定データは、Ｎ次元および（Ｍ_１×・・・×Ｍ_N）個の要素を有する超立方体アレイであってもよく、したがって、入力信号データと同じ次元数を有していてよい。

空間周波数の代わりに時間周波数が考慮される場合も当然、同じ検討が適用される。この場合、入力信号データは、例えば、スペクトラム、ケプストラムまたは複数のスペクトルまたはケプストラを表してよい。したがって、ベースライン推定を使用して、空間領域または周波数領域における小規模または大規模の（ベースライン）信号コンテンツを抽出および／または削除することができる。

ベースライン推定データを計算するために、最小二乗最小化規範（ｌｅａｓｔ−ｓｑｕａｒｅ ｍｉｎｉｍｉｚａｔｉｏｎ ｃｒｉｔｅｒｉｏｎ）が有利に使用される。これは、適合のために最小化されるべきである。最小二乗最小化規範の正確な定式化によって、適合の特性、したがってベースライン推定データの特性が決まる。最小二乗最小化規範の不適切な選択は、ベースライン推定値が十分な精度で焦点外れ成分を表さない原因となり得る。

ベースライン推定データが入力信号データにおける焦点外れ関与またはベースライン関与の正確な表現であることを保証し、ベースライン推定データが、合焦関与に適合されることを回避するために、本発明による最小二乗最小化規範は、ペナルティ項を含んでいてよい。ペナルティ項は、ベースライン推定データの不所望な動作にペナルティを課すために使用される。これは例えば、高い空間周波数のコンテンツを有し、したがって入力信号データの合焦成分に属すると考えられる入力信号データの成分を表すことである。

ベースライン推定データが決定され、したがってＩ_２（Ｘ_ｉ）に対するベースライン推定値ｆ（ｘ_ｉ）が得られると、ベースライン推定値と入力信号データとから、ボケ除去された出力信号データＯ（ｘ_ｉ）が得られてよい。特に、出力信号データは、次のように、入力信号データからベースライン推定値を差し引くことによって計算されてよい。

出力信号データＯ（ｘ_ｉ）はまた、有利には、次元ＮおよびＭ_１×・・・×Ｍ_ｎ個の要素を有する離散アレイによって表され、したがって、有利には、入力信号データおよび／またはベースライン推定データと同じ次元数を有する。

この文脈において、用語「ボケ除去された」出力信号データは、ベースライン推定値が除去されたあらゆる出力信号データを示す。上述のように、これは必ずしも画像だけに関係するのではなく、あらゆる信号データに関係する。したがって「焦点外れ」成分は、画像データにおける「焦点外れ」成分の特性に類似している特性を有するあらゆるノイズ成分であってよい。

本発明の解決策は、先行技術で知られている解決策、例えば、ＢｉｏＶｏｘｘｅｌ ｔｏｏｌｂｏｘにおける「ｃｏｎｖｏｌｕｔｅｄ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」とは異なる。「ｃｏｎｖｏｌｕｔｅｄ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ」では、背景が、信号またはより具体的には画像の畳み込まれたコピーから差し引かれ、本発明のように（畳み込まれていない）信号または画像から直接的に差し引かれるのではない。

上述の装置および方法が、以降で説明する特徴のうちの１つまたは複数を追加することによってさらに改良されてよい。以降の特徴のそれぞれは、他の特徴とは無関係に、本発明の方法および／または装置に追加されてよい。さらに、以降で説明するように、各特徴は独自の有利な技術的な効果を有している。

ある実施形態では、装置、特に内視鏡または顕微鏡等の医療用観察デバイスは、入力画像データ等の入力信号データを（有利には装置の画像保存セクションに）少なくとも一時的に保存し、出力画像データ等のボケ除去された出力信号データを（有利には装置の出力セクションによって）出力し、出力画像データ等の出力信号データを計算するために、入力画像データ等の入力信号データから、入力信号における焦点外れ関与またはベースライン関与を、（有利には、ボケ除去セクションを含んでいる、装置の画像プロセッサによって）除去し、特に差し引き、入力画像データ等の入力信号データの少なくともサブセットへの適合によって、焦点外れ関与を表すベースライン推定データを（有利には装置のベースライン推定器エンジンによって）計算するように構成されていてよい。ベースライン推定データは最小二乗最小化規範を含み、最小二乗最小化規範は有利にはペナルティ項を含んでいる。

さらに、この方法は、特に自動的に、画像等の信号をボケ除去する方法であってよく、画像等の信号は、入力画像データ等の入力信号データによって表され、この方法は以降のステップを含む。すなわち、ベースライン推定データを得るために、特に自動的に、画像等の信号における焦点外れ関与またはベースライン関与を推定するステップと、ボケ除去された、出力画像データ等の出力信号データを得るために、入力画像データ等の入力信号データからベースライン推定データを除去する、特に差し引くステップとを含み、ここで焦点外れ関与を推定するステップは、有利には、少なくとも、入力画像データ等の入力信号データのサブセットに対するものとして、最小二乗最小化規範を最小化することによってベースライン推定データを計算するステップを含み、ここで、最小二乗最小化規範は、有利にはペナルティ項を含んでいる。

ある実施形態では、多項式適合（ｐｏｌｙｎｏｍｉａｌ ｆｉｔ）が、入力信号データの次元に応じて、複数の次元で同時に行われてよい。

ある特定の例では、適合は、入力信号データに対する多項式適合であってよい。特に、ベースライン推定データは、任意のＮ次元ｉにおけるＫ次多項式によって表されてよい。

ここで、ａ_ｉ，ｋはｉ番目の次元における多項式の係数である。各次元ｉ＝１，・・・，Ｎに対して、別個の多項式が計算されてよい。

最大多項式次数Ｋの最適値は、ベースライン推定データの必要な滑らかさによって異なる。滑らかなベースラインのために、多項式次数をできるだけ低く設定する必要があるが、他方で非常に不規則な背景の適合は、より高い次数を必要とし得る。

多項式適合の場合、ベースライン推定データは多項式係数ａ_ｉ，ｋのみで構成されていてよい。しかし、入力信号データへの調整を可能にするパラメータだけが最大多項式次数であるため、多項式適合はコントロールするのが難しく、正確ではない場合がある。多項式次数は整数値のみを取ることができる。したがって、常に、最適なベースライン推定値を見つけることができるとは限らない。最適でない多項式適合は、ベースライン推定において局部的な極小値を示す可能性があり、これは不快なアーチファクトを生じさせる可能性がある。

したがって、別の有利な実施形態では、入力信号データへの適合は、スプライン適合（ｓｐｌｉｎｅ ｆｉｔ）、特に平滑化スプラインであってよい。スプライン適合は、例えば滑らかさの点でコントロールが容易であり、ノイズに対してロバストであり、かつ生じさせるアーチファクトが少ないため、通常、多項式適合よりも信頼性の高い結果を提供する。他方で、最小二乗最小化規範を最小化するためには、各ピクセルまたはより一般的には入力信号値を変化させる必要があるため、スプライン適合は多項式適合よりも計算が複雑である。

ある実施形態では、最小二乗最小化規範Ｍ（ｆ（ｘ_ｉ））は、

の形式を有していてよく、ここで、Ｃ（ｆ（ｘ_ｉ））はコスト関数であり、Ｐ（ｆ（ｘ_ｉ））はペナルティ項である。最小二乗最小化規範、コスト関数およびペナルティ項は、有利にはスカラー値である。

ある特定の例では、コスト関数は、入力信号データＩ（ｘ_ｉ）とベースライン推定データｆ（ｘ_ｉ）との間の差を表す。例えば、ε（ｘ_ｉ）が入力信号データとベースライン推定データとの間の差の項を、

として示す場合、コスト関数Ｃ（ｆ（ｘ_ｉ））は

を含んでいてよく、これはここでは、入力信号データとｉ番目の次元におけるベースライン推定データとの間の差分二乗和の全ての次元にわたる二乗平均平方根値の総計の簡略表記とし使用され、すなわち、

である。

はスカラー値である。コスト関数の例は

である。

ベースライン推定値の精度を高めるために、入力信号データとベースライン推定値との間の差が、例えば、切断された（ｔｒｕｎｃａｔｅｄ）差分項を使用して切断されるのは有利であり得る。切断された差分項は、ベースライン推定データに対する入力信号データのピークの影響を低減する。このような低減は、合焦関与がI（ｘ_ｉ）のピークに存在すると仮定される場合に有益である。切断された差分項があるため、ベースライン推定値から所定の一定の閾値ｓを超えて偏差する入力信号データのピークは、閾値への適合、特にスプライン適合に対するそのペナルティを切断することによって、コスト関数において「無視」されるだろう。したがって、ベースライン推定データは、限られた量でのみそのようなピークをたどる。切断された二次式（ｔｒｕｎｃａｔｅｄ ｑｕｄｒａｔｉｃ）は、対称または非対称であってよい。切断された差分項は、以降において、φ（ε（ｘ_ｉ））によって示される。

いくつかの適用では、合焦関与は、入力信号データにおけるピーク、すなわち画像の明るいスポットに含まれ得る、または入力信号データのピーク、すなわち画像の明るいスポットに少なくとも主に含まれ得る。これは、非対称であり、適合、特にスプライン適合が入力信号データにおけるピークではなく谷をたどることを可能にする切断された二次項を選択することによって反映されてよい。例えば、非対称の切断された二次式φ（ε（ｘ_ｉ））は、

の形式であってよい。

別の特定の適用において、谷、すなわち、入力信号データの低い値を有する暗いエリアまたは領域も合焦関与として考慮されるべき場合、非対称の切断された二次式の代わりに、対称の切断された二次式が使用されてよい。例えば、対称の切断された二次式は

の形式を有していてよい。

切断された二次式を使用する場合、コスト関数Ｃ（ｆ（ｘ_ｉ））は有利には、

として表されてよい。

最小二乗最小化規範Ｍ（ｆ（ｘ_ｉ））におけるペナルティ項Ｐ（ｆ（ｘ_ｉ））は、ベースライン推定値が、合焦成分Ｉ_１（ｘ_ｉ）に属すると見なされるデータに適合される場合に、ペナルティを導入するあらゆる形をとってよい。入力信号データ成分における合焦成分がベースライン推定データで表される場合、ペナルティ項の値を増加させるペナルティが作成される。

例えば、焦点外れ成分Ｉ_２（ｘ_ｉ）が低い空間周波数を有すると仮定される場合、ペナルティ項は、ベースライン推定値の空間周波数が大きくなると大きくなる項であってよい。

そのような項は、ある実施形態では、滑らかなベースラインから偏差する滑らかでないベースライン推定データにペナルティを課すあらさペナルティ項であってよい。そのようなあらさペナルティ項は、高い空間周波数を有するデータの適合に効果的にペナルティを課す。

ある態様では、滑らかなベースラインからの偏差は、ベースライン推定データの一次導関数、すなわち急勾配または勾配、および二次導関数、すなわち曲率の少なくとも１つにおいて大きな値をもたらし得る。したがって、あらさペナルティ項は、ベースライン推定データの一次空間導関数、特に一次空間導関数の二乗および／または絶対値、およびベースライン推定データの二次導関数、特に二次空間導関数の二乗および／または絶対値のうちの少なくとも１つを含んでいてよい。より一般的には、ペナルティ項は、ベースライン推定データのあらゆる任意の次数の空間導関数、またはベースライン推定データの空間導関数のあらゆる線形結合を含んでいてよい。異なるペナルティ項が異なる次元において使用されてよい。

例えば、あらさペナルティ項Ｐ（ｆ（ｘ_ｉ））は、

として形成されてよい。

このあらさペナルティ項は、ベースライン推定値の勾配の大きな変化率、または同等に高い曲率にペナルティを課すので、滑らかな推定値に有利である。ここでγ_ｊは正則化パラメータであり、

は、ｊ番目の次元における二次導関数を計算するための離散演算子である。離散において、畳み込みを使用して微分が効率的に計算されてよい。例えば、

であり、これは二次微分行列

を伴う。

正則化パラメータγ_ｉは、入力信号または入力画像データの構造に関連して変わる。これは、合焦信号データＩ_１（ｘ_ｉ）おける情報の空間的な長さスケールを大まかに表す。正則化パラメータは、ユーザーによって事前に決定されてよく、有利にはゼロよりも大きい。正則化パラメータの単位は、ペナルティ関数がスカラーの無次元量になるように選択される。典型的には、正則化パラメータの値は０．３から１００の間である。

しかし、あらさペナルティ項Ｐ（ｆ（ｘ_ｉ））が、

として形成されるのは有利である。

これは、ベースライン推定データにおける大きな勾配にペナルティを課すあらさペナルティ項である。ｊにわたった総計によって、異なる次元において異なるペナルティ項を使用することができる。ｘ_ｊとｆ（ｘ_ｉ）とはどちらも離散的であるので、微分は、微分アレイ∂_ｊとの畳み込みによって実行可能である、ということに留意されたい。演算子∂_ｊは、次元ｊにおける離散一次導関数演算子または勾配演算子を表し、これは、アレイによって表されてよい。

ベースライン推定データの導関数または導関数の線形結合の代わりに、またはベースライン推定データの導関数または導関数の線形結合に加えて、ペナルティ項は、特に線形の特徴抽出フィルタまたはそのようなフィルタの線形結合を含んでいてよい。特徴抽出フィルタは、ソーベルフィルタ、ラプラスフィルタおよび／またはＦＩＲフィルタ、例えば、高い空間周波数用の通過帯域を有するハイパスフィルタまたはバンドパス空間フィルタであってよい。

このような一般的な定式化では、ｊ番目の次元に対するペナルティ項は、一般的な演算子ζ^（ｊ）を含んでいてよく、

として表されてよい。

最小二乗最小化規範Ｍ（ｆ（ｘ_ｉ））は、既知の方法を使用して最小化されてよい。ある例では、有利には反復半二次最小化スキーム（ｉｔｅｒａｔｉｖｅ ｈａｌｆ−ｑｕａｄｒａｔｉｃ ｍｉｎｉｍｉｚａｔｉｏｎ ｓｃｈｅｍｅ）が使用されてよい。半二次最小化を実行するために、ベースライン推定器エンジンは、半二次最小化エンジンを含んでいてよい。半二次最小化は、２つの反復ステージを有する反復メカニズムを含んでいてよい。

半二次最小化スキームは、例えば、計算上効率的なＬＥＧＥＮＤアルゴリズムの少なくとも一部を含んでいてよい。ＬＥＧＥＮＤアルゴリズムについては、Ｉｄｉｅｒ，Ｊ．著（２００１年）「Ｃｏｎｖｅｘ Ｈａｌｆ−Ｑｕａｄｒａｔｉｃ Ｃｒｉｔｅｒｉａ ａｎｄ Ｉｎｔｅｒａｃｔｉｎｇ Ｖａｒｉａｂｌｅｓ ｆｏｒ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、１０（７）、１００１−１００９頁）およびＭａｚｅｔ，Ｖ．、Ｃａｒｔｅｒｅｔ，Ｃ．、Ｂｉｒｅ，Ｄ、Ｉｄｉｅｒ，Ｊ．およびＨｕｍｂｅｒｔ，Ｂ．著（２００５年）「Ｂａｃｋｇｒｏｕｎｄ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｓｐｅｃｔｒａ ｂｙ Ｄｅｓｉｇｎｉｎｇ ａｎｄ Ｍｉｎｉｍｉｚｉｎｇ ａ Ｎｏｎ−Ｑｕａｄｒａｔｉｃ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ」（Ｃｈｅｍｏｍｅｔｒｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｌａｂｏｒａｔｏｒｙ Ｓｙｓｔｅｍｓ、７６、１２１−１３３頁）に記載されている。両方の記事は、その全体が参照により本明細書に組み込まれる。

ＬＥＧＥＮＤアルゴリズムは、有利には入力信号データと同じ次元数である離散補助データｄ（ｘ_ｉ）を導入する。補助データは、最新の初期ベースライン推定データ、切断された二次項および入力信号データに応じて、各反復で更新される。

ＬＥＧＥＮＤアルゴリズムでは、コスト関数のみを含み、ペナルティ項を含んでいない最小二乗最小化規範が、収束基準が満たされるまで２つの反復ステップを使用して最小化される。

適切な収束基準は、例えば、現在のベースライン推定データと以前のベースライン推定データとの間の、全てのロケーションｘ_ｉにわたる差の総計が所定の閾値よりも小さいということであってよい。

さらなる改良において、収束基準は

として表されてよく、ここでｔは、ユーザーによって設定されてよいスカラー収束値である。

ＬＥＧＥＮＤアルゴリズムにおける開始ステップとして、ベースライン推定データの初期のセットが規定される。

ＬＥＧＥＮＤアルゴリズムは、多項式適合が使用される場合、第１のベースライン推定値

に対する係数ａ_ｋの開始セットをｉ＝１，・・・，Ｎの多項式のそれぞれに対して選択することによって開始されてよい。

スプライン適合が使用される場合、ＬＥＧＥＮＤアルゴリズムを開始するための初期条件は

であってよく、第２の反復ステップに入ることによって、反復が開始される。

第１の反復ステップでは、補助データは

のように更新されてよく、ここでｌ＝１．．．Ｌは現在の反復のインデックスであり、αは選択可能な定数であってよい。有利には、αは０．５に近いが、０．５ではない。αの適切な値は０．４９３である。

第２の反復ステップでは、以前に計算された補助データｄ_ｌ（ｘ_ｉ）、以前の反復ｌ−１からのベースライン推定データｆ_ｌ−１（ｘ_ｉ）およびペナルティ項Ｐ（ｘ_ｉ）に基づいて、ベースライン推定データｆ_ｌ（ｘ_ｉ）が更新される。

ベースライン推定データｆ_ｌ（ｘ_ｉ）は、補助データを含めることによって、ＬＥＧＥＮＤアルゴリズム用に修正された半二次最小化規範Ｍ（ｆ（ｘ_ｉ））を最小化することであってよい。

特に、更新されたベースライン推定データは、第２の反復ＬＥＧＥＮＤステップにおいて、式

を使用して計算されてよい。ここで、

は、修正された半二次最小化規範を表している。

第２の反復ステップは、行列計算

を使用してベースライン推定データを更新してよく、ここで

は、（Ｍ_１×・・・×Ｍ_N）^２次元アレイである。二次元の場合、Ａ_ｉは（Ｍ_ｘ−１）（Ｍ_ｙ−ｌ）×Ｍ_ｘＭ_ｙアレイであり、

として得られ、ここで

を伴う。

ｄ_ｌ（ｘ_ｉ）およびｆ_ｌ（ｘ_ｉ）を更新するためのこれら２つの反復ステップは、収束基準が満たされるまで繰り返される。

本発明の極めて有利な態様では、ＬＥＧＥＮＤアルゴリズムの第２のステップは、行列計算の代わりに畳み込みを使用して修正される。これによって、計算の労力が大幅に軽減される。

より具体的には、有利には、更新されたベースライン推定データｆ_ｌ（ｘ_ｉ）は、入力信号データと更新された補助データとの総計でグリーン関数を畳み込むことによって直接的に計算される。

本発明の解決策のより具体的な態様では、ＬＥＧＥＮＤアルゴリズムの第２の反復ステップは、以降の反復ステップによって置き換えられてよく、ここでは、更新されたベースライン推定データｆ_ｌ（ｘ_ｉ）は、

のように、グリーン関数Ｇ（ｘ_ｉ）を使用してｌ番目の反復において計算される。

このステップによって、従来のＬＥＧＥＮＤアルゴリズムと比較して、計算負荷が大幅に軽減される。

計算負荷の軽減は、本発明の第２の反復ステップに従って、畳み込みが計算されるという事実から得られる。この計算は、ＦＦＴアルゴリズムを使用して効率的に実行可能である。さらに、第２の反復ステップは、ＦＦＴアルゴリズムのために、グラフィックスプロセッシングユニットまたはＦＰＧＡ等のアレイプロセッサを完全に利用してよい。入力信号データと他の全てのアレイとが二次元である場合、計算上の問題は（Ｍ_ｘ×Ｍ_ｙ）^２からＭ_ｘ×Ｍ_ｙへ軽減される。一般的なＮ次元の場合、計算負荷は（Ｍ_１×・・・×Ｍ_N）^２次元行列計算から（Ｍ_１×・・・×Ｍ_N）次元アレイでのＦＦＴの計算へ軽減される。

したがって、ボケ除去を、極めて迅速に、有利にはリアルタイムに、二次元入力信号データに対して実行することができる。（２ｋ×２ｋ）信号データアレイ、ここでは画像は、５０ｍｓ以内にボケ除去が行われてよい。

ある特定の実施形態では、グリーン関数は、

の形式を有していてよく、ここで、Ｆ［・・・］は離散Ｎ次元フーリエ変換であり、Ｆ^−１［・・・］は逆離散Ｎ次元フーリエ変換であり、γ_ｉはあらさペナルティ項の正則化パラメータであり、

はロケーションｍでのｉ番目の次元における離散ペナルティアレイであり、Ｎは次元の総数である。上のインデックス

は、各次元ｊに対して異なるペナルティアレイが存在する可能性があることを示している。

一般的に、離散ペナルティアレイ

は、ｊ番目の次元に使用されるペナルティ項Ｐ^（ｊ）（ｆ（ｘ_ｉ））の汎函数微分（ｆｕｎｃｔｉｏｎａｌ ｄｅｒｉｖａｔｉｖｅ）

の離散表現に相当する。全ての関数は離散アレイで表されるので、微分を畳み込み

によって数値的に実行することができ、ここで

は、汎函数微分

を計算するための離散アレイである。

上述のグリーン関数の大きな利点は、あらゆる形式のペナルティ項Ｐ（ｆ（ｘ_ｉ））が、半二次最小化エンジンにおける第２の反復ステップの高速計算から利益を受け得るということである。したがって、グリーン関数を使用する実施形態では、良好なベースライン推定値を得るために、あらゆるペナルティ項が使用されてよい。

ペナルティ項

の一般的な定式化のために、アレイ

が

によって規定され、ここでζ^（ｉ）は、ペナルティ項の一般的な演算子であり、＊はＮ次元の畳み込みを示し、∇_ｆは関数ｆ（ｘ_ｉ，ｍ）における離散一次汎函数微分に対応し、これは例えば、強度を表してよい。この方程式を最小二乗法で解くことができる。

例えば、ペナルティ項が

である場合、畳み込みにおける導関数アレイは、

として表されてよい。

装置は、画像保存セクション等の信号保存セクションを含んでいてよい。信号保存セクションは、少なくとも一時的に、入力信号データを含むように構成されていてよい。

装置は、画像出力セクション等の信号出力セクションを含んでいてよい。装置は、ボケ除去された信号出力データを出力するように適合されていてよい。

装置はさらに、ベースライン推定を実行するように構成されていてよい、画像プロセッサ等の信号プロセッサを含んでいてよい。

信号プロセッサは、ボケ除去セクションを含んでいてよい。ボケ除去セクションは、出力信号データを計算するために、入力信号データからベースライン推定データ等のベースライン関与を差し引くように適合されていてよい。

信号プロセッサは、ベースライン推定エンジンを含んでいてよい。ベースライン推定エンジンは、入力信号データの少なくともサブセットへの適合によってベースライン関与を表すベースライン推定データを計算するように構成されていてよい。

ベースライン推定エンジンは、最小二乗最小化規範（Ｍ（ｘ_ｉ））の離散表現を含んでいてよい。

画像プロセッサとして構成されていてよい信号プロセッサ、ベースライン推定器エンジン、ボケ除去セクションおよび半二次最小化エンジンは、それぞれ、ハードウェア、ソフトウェアまたはハードウェアとソフトウェアとの組み合わせとして実装されていてよい。例えば、信号プロセッサ、ベースライン推定器エンジン、ボケ除去セクションおよび半二次最小化エンジンのうちの少なくとも１つは、少なくとも部分的に、サブルーチン、ＣＰＵ等の汎用プロセッサおよび／または、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ベクトルプロセッサおよび／またはＡＳＩＣ等の専用プロセッサのセクションによって実装されていてよい。

本発明のボケ除去アルゴリズムを実行する別の方法は、入力信号データと出力信号データとの二つ組を使用して、例えば畳み込みニューラルネットワークである人工ニューラルネットワークをトレーニングすることであり、ここで出力信号データは、上述の方法の実施形態を使用して生成されている。この方法でトレーニングされたニューラルネットワークデバイスを、入力信号データと出力信号データとのトレーニングペアを生成するために使用された方法の実装と見なすことができる。ある特定の例において、信号データは、例えば顕微鏡で取得した画像データであってよく、出力信号データは、入力データに本発明のボケ除去アルゴリズムを適用することによって得られた画像であってよい。

入力信号データとしての入力画像データのケースにおいて、入力信号データＩ（ｘ_ｉ）が、ボケ除去前に畳み込みまたは逆畳み込みされない場合に、本発明のボケ除去が最良の結果を提供するということに留意されたい。入力データＩ（ｘ_ｉ）が本発明のボケ除去によって前処理されている場合に、逆畳み込みは、最良の結果を提供する。

さらに、ボケ除去による前処理は、ＳＰＩＭ（選択的平面照明顕微鏡法、ライトシート顕微鏡法とも称される）と称される技術で取得された画像の結果を向上させることができる。特に、その後に異なる方向／配向の下で標本を照明するライトシート技術で取得された複数の画像に、本発明によるボケ除去が施され得る。複数画像の逆畳み込みは画像の融合方法であり、これは、分析対象のサンプルによるライトシートの散乱によって生じる影およびボケを軽減する（例えば、Ｓｔｅｐｈａｎ Ｐｒｅｉｂｉｓｃｈ等著の刊行物「Ｅｆｆｉｃｉｅｎｔ Ｂａｙｅｓｉａｎ−ｂａｓｅｄ ｍｕｌｔｉｖｉｅｗ ｄｅｃｏｎｖｏｌｕｔｉｏｎ」（Ｎａｔ Ｍｅｔｈｏｄｓ．、２０１４年６月、１１（６）、６４５−６４８頁）を参照されたい）。その後に異なる方向／配向等の下で標本を照明するライトシート技術で取得された複数の画像および／またはライトシートの異なる配向によって取得されたＳＰＩＭ画像のこのような複数画像の逆畳み込みの結果に、本発明によるボケ除去が施され得る。本発明のボケ除去で入力画像を前処理することによって、複数画像の逆畳み込みの前にボケの関与を取り除くことができ、これによって融合結果が向上する。

次に、本発明をさらに、図面にも示されるサンプルの実施形態を使用して、単に例として説明する。図面では、機能と設計とのうちの少なくとも１つに関して互いに対応する特徴には同じ参照番号が使用されている。

添付の実施形態に示される特徴の組み合わせは、説明のみを目的としており、変更可能である。例えば、特定の用途に不要な技術的な作用を有する実施形態の特徴は省かれてよい。同様に、実施形態の一部として示されていない特徴が、この特徴に関連する技術的な作用が特定の用途に必要とされる場合には、追加されてよい。

以降の例では、本発明の利点を説明するために、入力信号データおよび出力信号データは、それぞれ入力画像データおよび出力画像データである。上記から明らかなように、ベースライン推定にいかなる変更も加えることなく、画像データの代わりに、または画像データに加えて、あらゆる他のタイプの信号データが使用されてよい。

本発明の装置の概略図である。 本発明の方法のフローチャートの概略図である。 図２の詳細を示す図である。 入力信号データの例を示す図である。 図４の入力信号データから導出された、ボケ除去された出力信号データの例を示す図である。 図４および図５の線ＶＩに沿った、入力信号データ、ベースライン推定データおよびボケ除去された出力信号データにおける強度分布を示す図である。 入力信号データの別の例を示す図である。 図７の入力信号データに基づく出力信号データを示す図である。 逆畳み込み後の図８の出力信号データを示す図である。 図７および図８の線Ｘに沿った入力信号データ、ベースライン推定データおよび出力信号データにおける強度分布を示す図である。 入力信号データ、入力信号データにおける合焦関与、入力信号データにおける焦点外れ関与、ベースライン推定データおよび出力信号データの概略図である。

図１をはじめに参照して、装置１の構造について説明する。装置１は、内視鏡または顕微鏡等の医療用観察装置であってよい。単に説明のために、装置１の例として顕微鏡２が示されている。ボケ除去装置およびボケ除去方法の目的に関しては、内視鏡と顕微鏡との間に違いはない。

装置１は、例えばカメラ８を用いて入力信号データ６を捕捉するように適合されている信号形成セクション４、特に画像形成セクションを含んでいてよい。カメラ８は、ＣＣＤ、マルチスペクトルカメラまたはハイパースペクトルカメラであってよく、これは複数のチャネル１０において、入力信号データ６、ここでは入力画像データを記録し、ここで各チャネル１０は有利には、赤外線から紫外線までの異なる光スペクトル範囲を表す。以降では、入力信号データ６をＩ（ｘ_ｉ）とも表す。

当然、他のタイプの入力信号データ６が、カメラ以外のデバイスまたはセンサ、例えば１つ以上のマイクロホン、振動センサ、加速度計、速度センサ、アンテナ、圧力トランスデューサ、温度センサ、静電容量センサ、磁気センサおよびそれらのあらゆる組み合わせによって記録されてよい。

ＣＣＤカメラの場合には、例えば、対象物１２の可視光画像を表すために、３つのチャネル１０、例えば、Ｒチャネル、ＧチャネルおよびＢチャネルが提供されてよい。マルチスペクトルカメラまたはハイパースペクトルカメラの場合には、可視光範囲、ＩＲ光範囲、ＮＩＲ光範囲および紫外光範囲のうちの少なくとも１つにおいて、合計３つを超えるチャネル１０が使用されてよい。

対象物１２は、生物物質および／または無生物物質を含んでいてよい。対象物１２はさらに、少なくとも１つの蛍光体１４等である１つまたは複数の蛍光材料を含んでいてよい。マルチスペクトルカメラまたはハイパースペクトルカメラは、対象物１２内の蛍光材料の異なる蛍光スペクトラムごとにチャネル１０を有していてよい。例えば、各蛍光体１４が、照明１６によって引き起こされる蛍光スペクトラムに適合された少なくとも１つのチャネル１０によって表されてよい。択一的または付加的に、チャネル１０が、自家蛍光スペクトルに対して、または照明１６によって励起される蛍光によって引き起こされる二次蛍光のスペクトルに対して、または寿命蛍光データに対して提供されてよい。当然、照明１６は、対象物１２おいて蛍光を引き起こすことなく、白色光またはあらゆる他の構成の光も放出してよい、または白色光またはあらゆる他の構成の光だけを放出してよい。顕微鏡２は、照明１６による適切な蛍光励起波長を有する光で、例えば、対象物１２内で蛍光体１４の蛍光を励起するように適合されていてよい。

照明は、レンズ１７を通して案内されてよく、レンズを通して入力信号データも取得される。照明１６は、１つまたは複数の異なる方向から対象物１２に光を向けるために、１つまたは複数の可撓性光ガイドを含んでいてよい、または１つまたは複数の可撓性光ガイドから成っていてよい。例えばグレアを抑制するために、カメラ８の前面の光路に適切な遮断フィルタ（図示されていない）が配置されていてよい。蛍光の場合には、遮断フィルタは有利には、照明波長のみを遮断し、対象物１２内の蛍光体１４の蛍光光がカメラ８へ通過することを可能にする。

一般への制限なく、入力信号データ６を、あらゆる種類の顕微鏡によって、特にワイドフィールドモードで操作可能な蛍光光顕微鏡で、かつ／または共焦点レーザー走査顕微鏡を使用して捕捉できることが明らかである。

１つのチャネル１０が二次元画像に含まれている場合、入力信号データ６は二次元である。１つよりも多くのチャネル１０が含まれている場合および／または入力信号データ６が三次元画像等の三次元アレイを表している場合、入力画像は、２よりも高い次元数を有し得る。

三次元入力信号データ６または三次元入力画像データは、装置１によって、例えばライトフィールド技術を使用することによって、顕微鏡におけるｚスタッキングを使用することによって、ＳＣＡＰＥ顕微鏡によって得られた画像および／またはＳＰＩＭ顕微鏡によって得られた画像の三次元再構築を使用することによって記録されてよい。三次元画像の場合、三次元入力信号データ６の各面は、二次元入力画像６と見なされてよい。同様に、各面は、いくつかのチャネル１０を含んでいてよい。

各チャネル１０が、別個の二次元画像または二次元信号と見なされてよい。択一的に複数のチャネルがともに、多次元アレイとして解釈されてよい。

入力信号データは、強度等の量Ｉ（ｘ_ｉ）のデジタル表現である。ここで、ｘ_ｉは入力信号データ６におけるロケーションを表し、Ｉはそのロケーションでの量である。用語ｘ_ｉは、Ｎ次元を含み、離散入力信号データにおける離散ロケーションｘ_ｉを表すタプル

に対する簡易表記である。ロケーションｘ_ｉは、入力信号データ内のピクセルまたは有利にはピクセルのコヒーレントセットによって表されてよい。離散ロケーションｘ_ｉは、例えば、二次元入力信号データの場合の離散ロケーション変数の二つ組

および三次元入力信号データの場合の離散ロケーション変数の三つ組

を示す。ｉ番目の次元において、アレイがＭ_ｉ個のロケーション、すなわち、

を含んでいてよい。全体として、Ｉ（ｘ_ｉ）には（Ｍ_１×・・・×Ｍ_N）個の要素が含まれていてよい。

カメラ８は、入力信号データ６の後続のセットの時系列１８を生成してよい。

装置１はさらに、少なくとも一時的に入力信号データ６を含むように適合されている信号保存セクション、特に画像保存セクション２０を含んでいてよい。信号保存セクション２０は、揮発性メモリまたは不揮発性メモリを含んでいてよく、これはＰＣ等のコンピューティングデバイス２４のＣＰＵ２２および／またはＧＰＵ２６のキャッシュメモリ等である。画像保存セクション２０はさらに、ＲＡＭ、ハードディスクドライブまたはＵＳＢスティックまたはＳＤカード等の交換可能なストレージシステムを含んでいてよい。画像保存セクション２０は、これらのタイプのメモリのあらゆる組み合わせを含んでいてよい。

例えばカメラ８から入力信号データ６を取得するために、信号入力セクション、特に画像入力セクション２８が提供されていてよい。信号入力セクション２８は、標準のデータ交換プロトコル、ハードウェアコネクタおよび／または無線接続等の標準の接続手段３０を含んでいてよい。カメラ８に接続され得る標準のコネクタの例は、ＨＤＭＩ、ＵＳＢおよびＲＪ４５コネクタである。

装置１はさらに、信号出力セクション、特に画像出力セクション３２を含んでいてよくこれは、標準のデータ交換プロトコル、ハードウェアコネクタおよび／または無線接続等の標準の接続手段３４を含んでいてよく、それぞれがボケ除去された出力信号データ３６を１つまたは複数のディスプレイ３７に出力するように構成されている。出力信号データ３６、ここでは出力画像データは有利には、入力信号データ６と同じ次元数を有しており、離散値Ｏ（ｘ_ｉ）の離散アレイによって表される。

入力信号データ６からボケ除去された出力信号データ３６を計算するために、信号プロセッサ、特に画像プロセッサ３８が提供されていてよい。信号プロセッサ３８およびその構成要素は、少なくとも部分的にハードウェア、少なくとも部分的にソフトウェアおよび／またはハードウェアとソフトウェアとの両方の組み合わせであってよい。例えば、信号プロセッサ３８は、コンピューティングデバイス２４のＣＰＵ２２およびＧＰＵ２６のうちの少なくとも１つ、ならびにソフトウェアでコード化され、動作状態として、ＣＰＵ２２および／またはＧＰＵ２６における構造エンティティとして一時的に存在するセクションを含んでいてよい。信号プロセッサ３８は、本発明の装置および方法に必要な動作を実行するように特別に設計された１つまたは複数のＡＳＩＣ等の付加的なハードウェアも含んでいてよい。

図１のさらなる説明を続ける前に、入力信号データ６のボケ除去の一般的原理を、図１１を参照して説明する。入力信号データ６のボケ除去のために、信号プロセッサ３８は、ボケ除去セクション４０を含んでいてよい。

入力信号データＩ（ｘ_ｉ）は、焦点外れ成分Ｉ_２（ｘ_ｉ）と合焦成分Ｉ_１（ｘ_ｉ）とから加算的に構成されていると仮定される。合焦成分Ｉ_１（ｘ_ｉ）には、カメラ８の焦点面からの情報のみが含まれている。焦点外れ成分Ｉ_２（ｘ_ｉ）は、入力信号データ６に記録された、焦点領域外の領域からの光に起因する。対照的に、合焦成分Ｉ_１（ｘ_ｉ）は、焦点領域からの関与のみを表す。Ｉ_１（ｘ_ｉ）もＩ_２（ｘ_ｉ）も不明であるため、推定する必要がある。

本発明では、焦点外れ成分またはベースライン成分Ｉ_２（ｘ_ｉ）は、滑らかなベースラインと同様のものを表す、低い空間周波数を有する成分のみで構成され、これに関して合焦成分Ｉ_１（ｘ_ｉ）は比較的高い空間周波数で変動すると仮定される。焦点外れ成分Ｉ_２（ｘ_ｉ）は滑らかであり、大きい長さスケールを有している。対照的に、合焦成分Ｉ_１（ｘ_ｉ）は滑らかではなく、通常はピークを含んでいる。

入力信号データのボケ除去のために、焦点外れ成分またはベースライン成分Ｉ_２（ｘ_ｉ）に対する推定値が計算される。この推定値は、本発明の装置１および方法において、ベースライン推定データｆ（ｘ_ｉ）として表される。ベースライン推定データは、有利には入力信号データ６および／または出力信号データ３６と同じ次元数を有する離散アレイである。ベースライン推定データｆ（ｘ_ｉ）は、図１において参照番号４４によって示されている。ベースライン推定データｆ（ｘ_ｉ）は、少なくとも一時的に保存セクション２０内に存在してよい。ベースライン推定データが計算されると、ここではＯ（ｘ_ｉ）として表される出力信号データが、各ロケーションで、ベースライン推定データを入力信号データから差し引くことによって得られる。

図１では、信号プロセッサまたは画像プロセッサ３８は、少なくとも、入力信号データ６のサブセットへの適合によって、参照番号４４で示される、図１における、ベースライン推定データｆ（ｘ_ｉ）を計算するように構成されているベースライン推定器エンジン４２を含んでいてよい。有利には、少なくとも、入力信号データのサブセットへの適合は、スプライン適合である。

計算上効率的なスプライン適合のために、ベースライン推定器エンジン４２は、半二次最小化エンジン４６を含んでいてよく、これは、例えば、サブルーチンまたはハードワイヤードアルゴリズムとマッチングソフトウェアとの組み合わせであってよい。半二次最小化エンジン４６は、半二次最小化スキームを実行するように構成されていてよく、この目的に向けて、２つの反復ステージ４８、５０を含んでいてよい。

本発明では、半二次最小化エンジン４６は、畳み込みを使用して、第２の反復ステージ５０においてベースライン推定データ４４を計算する。ＦＦＴを使用してアレイプロセッサ上でより効率的に畳み込みを計算することができるので、有利には信号プロセッサ３８は、ＧＰＵ２６等のアレイプロセッサを含んでいる。動作時に、信号プロセッサは、半二次最小化エンジン４６を含んでいる。

図２を参照して、入力信号データＩ（ｘ_ｉ）または６からボケ除去された出力信号データＯ（ｘ_ｉ）または３６を計算するステップが、それらが装置１によって実行されるものとして説明されている。有利には、各チャネル１０は別個に扱われるということに留意されたい。

第１のステップ６０では、プリセットされる必要があるベースライン推定器エンジン４２のさまざまなパラメータが、例えば、グラフィカルユーザーインターフェース６２（図１）を使用して、ユーザーによって規定されてよい。これらのパラメータは、ベースライン推定器エンジン４２によって実行されるべき入力信号データ６への適合のタイプを含んでいてよい。例えばユーザーは、入力信号データ６への入力ベースライン推定データ４４の多項式適合とスプライン適合との間で選択をしてよい。

さらに、ユーザーは、半二次最小化スキームにおいて使用されるさまざまなペナルティ項Ｐ（ｆ（ｘ_ｉ））の間で選択をすることができる。ペナルティ項は、ベースライン推定データにおける合焦関与Ｉ_１（ｘ_ｉ）の成分の表現にペナルティを課すことによって、ベースライン推定値の形を決定する。

例えば、ベースライン推定データ４４の滑らかでない特性にペナルティを課すさまざまなペナルティ項の選択がユーザーに提示されてよい。例えば、ペナルティ項は、ベースライン推定データ４４のハイパス空間周波数フィルタであってよく、これは、ベースライン推定データ４４が高い空間周波数を有する成分を含んでいる場合に大きくなる。他のペナルティ項は、ベースライン推定データ４４の勾配を含んでいてよい。ペナルティ項の別の例は、ベースライン推定データ４４の曲率であってよい。さらに、ソーベルフィルタ、ラプラスフィルタおよび／またはＦＩＲバンドパスフィルタ、ハイパスフィルタまたはローパスフィルタ等の特徴抽出フィルタがペナルティ項としてユーザーによって選択されてよい。さらに、上記のいずれかの線形結合が選択されてよい。入力信号データ６の異なる次元または異なるチャネルに対して、異なるペナルティ項が選択されてよい。

ペナルティ項の一般的な表現は

であり、ここでζ^（ｊ）は、ペナルティ項のプロパティを規定する、ペナルティ項の一般的な演算子である。

以降では、ユーザーが、形式

を有する、ベースライン推定データｆ（ｘ_ｉ，ｍ）または４４の勾配に基づいて勾配ベースのあらさペナルティ項を選択すると仮定される。

このペナルティ項は、ベースライン推定データの大きな勾配にペナルティを課す。演算子∂_ｊは、次元ｊにおける一次導関数または勾配を表している。

上述の勾配ベースのペナルティ項を使用する場合、ユーザーによって指定されるパラメータはさらに、正則化パラメータのアレイγ_ｊを含んでいてよい。勾配ベースのペナルティ項の場合、正則化パラメータアレイは０．３から１００の間であり得る。

さらに、ベースライン推定器エンジンに対するパラメータを選択する際に、ユーザーは対称の二次項と非対称の二次項φ（ε（ｘ_ｉ））との間で選択をしてよく、これは、ベースライン推定データへの大きなピークの影響を指定することによってベースライン推定値の形も決定する。

最後に、ユーザーは、収束基準および／または収束基準が到達しなければならない閾値ｔを選択してよい。

例えば、ユーザーは非対称の切断された二次式

を選択してよく、ここでｓは、ユーザーによって入力される閾値を表している。閾値は、入力信号データとベースライン推定データとの間の最大偏差を規定する。ベースライン推定値を超えるピークが、閾値ぶん偏差するピークよりも、ベースライン推定値を誘引することはない。

ベースライン推定器エンジン４２に対する初期パラメータが設定された後、データは、ステップ６４において、反復半二次最小化スキーム６６のために初期化される。

それ以降、収束基準６８が満たされるまで、反復半二次最小化スキーム６６が半二次最小化エンジン４６によって実行される。この実施形態では、収束基準

が使用される。ここで、ｌは現在の反復を示し、ｔはユーザーが指定できる一定のスカラー閾値である。

収束基準６８が満たされる場合には、ベースライン推定データ４４が首尾よく計算されたことが仮定される。したがって、ステップ７０において、ボケ除去された出力信号データＯ（ｘ_ｉ）を得るために、ベースライン推定データｆ（ｘ_ｉ）が入力信号データＩ（ｘ_ｉ）から差し引かれる。

出力信号データＯ（ｘ_ｉ）の計算の後、逆畳み込み等の後処理操作７２が出力信号データ３６上で実行されてよい。

出力信号データＯ（ｘ_ｉ）は、後処理を伴ってまたは後処理を伴わずにディスプレイ３７上に表示されてよい。

図３では、図２の詳細ＩＩＩが、半二次最小化スキーム６６をより詳細に説明するために示されている。半二次最小化スキーム６６は、第１の反復ステージ４８および第２の反復ステージ５０を含んでいる。

原則として、半二次最小化エンジン４６によって実行される半二次最小化スキーム６６は、ＬＥＧＥＮＤアルゴリズムであってよい。しかし、本発明では、ＬＥＧＥＮＤアルゴリズムの第２のステップを修正することが有利であり、これは計算負荷を大幅に軽減するために修正されてよい。

示された実施形態では、ステップ６４でデータを初期化した後、第２の反復ステージ５０が開始される。この時点で、ベースライン推定データの第１の推定値ｆ_１（ｘ_ｉ）は、グリーン関数Ｇ（ｘ_ｉ）による入力信号データの畳み込みを使用して計算される。

この実施形態において使用される勾配ベースのペナルティ項に対して、グリーン関数は、

のように規定され、ここでＦ［・・・］は離散Ｎ次元フーリエ変換であり、Ｆ^−１［・・・］は逆離散Ｎ次元フーリエ変換であり、γ_ｉはあらさペナルティ項の正則化パラメータであり、

である。

次に、第１の反復ステージ４８において、補助データｄ_ｌ（ｘ_ｉ）の更新バージョンが、

のように現在のベースライン推定データ４４を使用して計算されてよい。

パラメータαは、ユーザーによって指定され得る定数である。

次に、第２の反復ステージ５０において、更新されたベースライン推定データ４４が、

のように、現在の反復ｌの更新された補助データｄ_ｌ（ｘ_ｉ）を使用して計算される。

次のステップでは、収束基準６８が満たされているか否かがチェックされる。収束基準６８が満たされていない場合、半二次最小化スキーム６６は、更新されたベースライン推定データｆ_ｌ（ｘ_ｉ）を使用する反復ステップ４８に進む。

以降では、ボケ除去された出力信号データの２つの例を示し、ここでは、勾配ベースのペナルティ項が、図２および図３を参照して説明されたグリーン関数による畳み込みを使用する第２の反復ステップとともに使用された。

図４は、サンプル写真の入力信号データＩ（ｘ_ｉ）または６を示している。図５は、ボケ除去された出力信号データＯ（ｘ_ｉ）または３６を示している。図４は、ＤＭ６０００ワイドフィールド顕微鏡およびＨＣＸ ＰＬ ＡＰＯ ＣＳ １００．０ｘ１．４０ ＯＩＬによって、開口数１．４およびピーク発光６４５ｎｍで記録されたミトコンドリアの写真を示している。ピクセルのサイズは４０ｎｍに対応する。

図４と図５との比較から、焦点外れ成分Ｉ_２（ｘ_ｉ）のかなりの部分が出力信号データにおいて除去されていることが分かる。これは、それぞれ図４および図５の線ＶＩに沿った強度分布を示す図６によって検証される。ベースライン推定データｆ（ｘ_ｉ）が強度分布の滑らかなベースラインを表すのに対して、ピークは出力信号データＯ（ｘｉ）、３６において維持されていることが見て取れる。

入力信号データＩ（ｘ_ｉ）における強度分布が異なる特性を有している場合も、ボケ除去は良好に機能する。これは、ゾウリムシを示す図７、図８および図１０において示されている。図４が１つのビーズ状の構造を含んでおり、ここでは、合焦点関与と焦点外れ関与とを区別するのは比較的簡単であるのに対して、図７はより複雑な構造を含んでいる。図７においてピクセルは６５ｎｍに対応する。画像は、ＨＣＸ ＦＬＵＯＴＡＲ １００ｘ／１．３０ ＯＩＬレンズを備えるＤＭ８ワイドフィールド顕微鏡を使用して、開口数１．３で、ピーク発光５２０ｎｍで記録された。

図７には、入力信号データＩ（ｘ_ｉ）が示されている。図８には、ボケ除去された出力信号データＯ（ｘ_ｉ）が示されている。図１０には、図７および図８の線Ｘに沿った、入力信号データ６、ベースライン推定データ４４および出力信号データ３６の強度分布が示されている。見て取れるように、ベースライン推定データｆ（ｘ_ｉ）もピークを含んでいる。しかし、これらのピークの長さスケールは、出力信号データＯ（ｘ_ｉ）における強度変動よりも大幅に大きい。

図９は、逆畳み込み後の出力信号データ３６を示している。出力信号データはボケ除去されているので、畳み込みの結果は、アーチファクトがほとんどない極めて良好な品質を有する。

したがって、要約すると、入力信号データのボケ除去のための装置１および方法を説明した。これらの装置および方法は、ベースライン推定データおよび／または特徴抽出フィルタのあらゆる離散導関数次数のペナルティ項を使用してよい。ペナルティ項が使用されているか、いないかに関係なく、滑らかなベースライン推定値を作成するために、多項式適合よりもスプライン適合が有利であり得る。本発明の第３の独立した態様として、第２の反復ステージ５０に畳み込みを導入することによって計算負荷を大幅に軽減する半二次最小化エンジン４６が提案される。計算効率は、広範囲のペナルティ項に対して保たれ得る。

アレイを再配置することによって、データの次元数を変更できるということに留意されたい。例えば、二次元データは、一次元データの１つまたは複数のセットとしてレンダリングされてよい。これは、後続の行または列を縦に並べることによって実現されてよい。さらに、三次元データが、後続の面を縦に並べることによって、二次元データに低減されてよい。この原理を再帰的に使用することによって、あらゆるＮ次元のデータが、上述のスキームを適用できる一次元または二次元のデータに低減されてよい。

逆もまた同様である。あらゆる一次元アレイが、二次元以上のアレイとして配置されてよい。これは単に、これをより小さな一次元アレイに分け、二次元以上のスキームにおいて、有利には同じ長さを有するこれらのより小さなアレイにインデックスを付けることによって行われる。さらに、あらゆるタイプのデータが、例えばグレースケール強度を入力信号データの各値に割り当て、それを上記のように二次元配置または三次元配置で表示することによって、画像データとしてまたは画像として見なされ、表示されてよい。

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

１ 装置
２ 顕微鏡
４ 信号形成セクション
６ 入力信号データ、入力画像データ、Ｉ（ｘ_ｉ）
８ カメラ
１０ チャネル
１２ 対象物
１４ 蛍光体
１６ 照明
１７ レンズ
１８ 入力信号データの時系列
２０ 画像保存セクション
２２ ＣＰＵ
２４ コンピューティングデバイス
２６ ＧＰＵ
２８ 信号入力セクション
３０ 信号入力セクションの接続手段
３２ 信号出力セクション
３４ 信号出力セクションの接続手段
３６ 出力信号データ、出力画像データ、Ｏ（ｘ_ｉ）
３７ ディスプレイ
３８ 信号プロセッサ
４０ ボケ除去セクション
４２ ベースライン推定器エンジン
４４ ベースライン推定データ、ｆ（ｘ_ｉ）
４６ 半二次最小化エンジン
４８ 第１の反復ステージ
５０ 第２の反復ステージ
６０ ベースライン推定パラメータのセットアップ
６２ グラフィカルユーザーインターフェース
６４ 半二次最小化エンジンおよびスキームの初期化
６６ 半二次最小化エンジンおよびスキーム
６８ 収束基準
７０ 出力信号データの計算
７２ 後処理操作

Claims (17)

1. 入力信号データにおけるベースライン推定のための装置（１）であって、
   前記装置（１）は、
   ・入力信号データ（Ｉ（ｘ_ｉ））を検索するように構成されており、
   ・出力信号データ（３６）を計算するために前記入力信号データ（Ｉ（ｘ_ｉ））からベースライン推定データ（ｆ（ｘ_ｉ））を差し引くように構成されており、
   前記装置はさらに、
   ・離散グリーン関数（Ｇ（ｘ_ｉ））を使用した畳み込みから前記ベースライン推定データ（ｆ（ｘ_ｉ））を計算するように構成されている、
   装置（１）。
2. 前記装置はさらに、
   ・第１の反復ステージ（４８）と第２の反復ステージ（５０）とを含んでいる反復半二次最小化スキーム（６６）によって、前記ベースライン推定データ（ｆ（ｘ_ｉ））を計算するように構成されており、
   ・前記第１の反復ステージ（４８）において、補助データ（ｄ（ｘ_ｉ））が、以前の反復（ｌ）の前記ベースライン推定データ（ｆ_ｌ−１（ｘ_ｉ））、切断された二次項（φ（ε（ｘ_ｉ）））および前記入力信号データ（Ｉ（ｘ_ｉ））に応じて更新され、
   ・前記第２の反復ステージ（５０）において、前記ベースライン推定データ（ｆ（ｘ_ｉ））が、前記入力信号データ（Ｉ（ｘ_ｉ））と更新された前記補助データ（ｄ（ｘ_ｉ））との総計での前記離散グリーン関数（Ｇ（ｘ_ｉ））の畳み込みによって計算される、
   請求項１記載の装置（１）。
3. 前記反復半二次最小化スキーム（６６）は、半二次最小化規範（Ｍ（ｆ（ｘ_ｉ）））を含んでいるＬＥＧＥＮＤアルゴリズムであり、最小二乗最小化規範は、コスト関数Ｃ（ｆ（ｘ_ｉ））を含んでいる、
   請求項２記載の装置（１）。
4. 前記コスト関数Ｃ（ｆ（ｘ_ｉ））は、切断された二次式（φ（ε（ｘ_ｉ）））を含んでおり、前記切断された二次式は、対称および非対称のいずれかである、
   請求項３記載の装置（１）。
5. 前記離散グリーン関数は、
   

   

   として規定され、ここでＦ［・・・］は、離散Ｎ次元フーリエ変換であり、Ｆ^−１［・・・］は、逆離散Ｎ次元フーリエ変換であり、γ_ｉは、あらさペナルティ項の正則化パラメータであり、
   

   

   であり、
   

   

   は、ロケーションｍでのｉ番目の次元における離散ペナルティアレイであり、Ｎは次元の総数である、
   請求項１から４までのいずれか１項記載の装置（１）。
6. 前記離散グリーン関数は、ペナルティ項（Ｐ^（ｊ）（ｆ（ｘ_ｉ）））の離散表現汎函数微分
   

   

   を含んでいる、
   請求項１から５までのいずれか１項記載の装置（１）。
7. 前記ペナルティ項（Ｐ^（ｊ）（ｆ（ｘ_ｉ）））は、前記ベースライン推定データ（４４）の勾配、前記ベースライン推定データ（４４）の曲率、特徴抽出線形フィルタ、ハイパスフィルタ、ローパスフィルタ、ソーベルフィルタ、ラプラスフィルタ、ＦＩＲバンドパスフィルタ、前記ベースライン推定データ（ｆ（ｘ_ｉ））の任意の次数の導関数およびいずれか１つの前記ペナルティ項の線形結合のうちの少なくとも１つを含んでいる、
   請求項６記載の装置（１）。
8. 異なるペナルティ項は、前記入力信号データ（６）の異なる次元に対して使用される、
   請求項６または７記載の装置（１）。
9. 前記入力信号データ（６）は、入力画像データ、入力ソナーデータ、入力音データおよび／または入力超音波データ、入力レーダーデータ、入力スペクトルデータ、入力ケプストラムデータ、入力地震計データ、入力統計データ、入力トモグラフィデータ、入力マクロ波データおよび入力振動データのうちの１つである、
   請求項１から８までのいずれか１項記載の装置（１）。
10. 前記出力信号データ（３６）は、出力画像データ、出力ソナーデータ、出力音データおよび／または出力超音波データ、出力レーダーデータ、出力分光法データ、出力ケプストラムデータ、出力地震計データ、出力統計データ、出力トモグラフィデータ、出力マクロ波データおよび出力振動データのうちの１つである、
    請求項１から９までのいずれか１項記載の装置（１）。
11. 入力信号データにおけるベースライン推定のための方法であって、
    前記方法は、
    ・入力信号データ（Ｉ（ｘ_ｉ））を検索するステップと、
    ・ベースライン推定データ（ｆ（ｘ_ｉ））を得るために、前記入力信号データ（Ｉ（ｘ_ｉ））におけるベースライン関与（Ｉ_２（ｘ_ｉ））を推定するステップと、
    ・出力信号データ（Ｏ（ｘ_ｉ））を得るために、前記入力信号データ（Ｉ（ｘ_ｉ））から前記ベースライン推定データを差し引くステップと、
    を含んでおり、
    ・前記ベースライン推定データ（ｆ（ｘ_ｉ））を得るステップは、離散グリーン関数（Ｇ（ｘ_ｉ））による畳み込みを使用して、前記ベースライン推定データ（ｆ（ｘ_ｉ））を計算するステップを含んでいる、
    方法。
12. 前記ベースライン推定データ（ｆ（ｘ_ｉ））を計算する前記ステップはさらに、
    ・第１の反復ステージ（４８）と第２の反復ステージ（５０）とを含んでいる反復半二次最小化スキーム（６６）を使用するステップを含んでおり、
    ・前記第１の反復ステージ（４８）において、補助データ（ｄ（ｘ_ｉ））を、以前の反復の前記ベースライン推定データ（ｆ（ｘ_ｉ））、切断された二次項（φ（ε（ｘ_ｉ）））および前記入力信号データ（Ｉ（ｘ_ｉ））に応じて更新し、
    ・前記第２の反復ステージ（５０）において、前記ベースライン推定データ（ｆ（ｘ_ｉ））を、前記入力信号データ（Ｉ（ｘ_ｉ））と更新された前記補助データ（ｄ（ｘ_ｉ））との総計での離散グリーン関数（Ｇ（ｘ_ｉ））の畳み込みを使用して直接的に計算する、
    請求項１１記載の方法。
13. 前記切断された二次項（φ（ε（ｘ_ｉ）））は、対称および非対称のいずれかである、
    請求項１２記載の方法。
14. 前記離散グリーン関数（Ｇ（ｘ_ｉ））は、滑らかでないベースライン推定データ（ｆ（ｘ_ｉ））にペナルティを課すペナルティ項（Ｐ（ｆ（ｘ_ｉ）））を含んでいる、
    請求項１１から１３までのいずれか１項記載の方法。
15. コンピュータプログラムがプロセッサ上で実行されるときに、請求項１１から１４までのいずれか１項記載の方法を実施するためのプログラムコードを有するコンピュータプログラム。
16. 入力信号データと、請求項１１から１４までのいずれか１項記載の方法によって入力信号データから作成された出力信号データと、によってトレーニングされたニューラルネットワークデバイス。
17. 請求項１１から１４までのいずれか１項記載の方法の結果である出力信号データ（３６）。

Images