JP2022551539A - 画像取得設定にとらわれない人工知能（ａｉ）モジュールを用いた画像再構成 - Google Patents

Abstract

画像取得設定にとらわれないＡＩモジュールを用いてシーンの画像を判定するための画像処理システム。当該システムは、画像取得設定推定器モジュールを実行して設定データを用いてフォワード演算子を推定するプロセッサを含む。さらに、終了条件が満たされるまでシーンの画像を再帰的に推定し、現在の反復について、プロセッサは、推定されたフォワード演算子と、以前の反復時に推定されたシーンの画像の以前の推定値とを用いて画像取得インバータモジュールを実行して、現在のノイズのある画像を生成し、画像の以前の推定値を用いてノイズレベル推定器モジュールを実行して、現在のノイズレベルを生成し、デノイザーを実行して、現在のノイズのある画像から現在のノイズレベルを除去して現在の画像を生成する。

Description

本開示は、概して画像処理に関し、より具体的には、画像取得設定にとらわれない人工知能（ＡＩ）モジュールを用いて線形逆問題を解くことによる画像再構成に関する。

逆問題とは、一連の観測からそれらを生成した原因要素を計算するプロセスである。結果から始めて原因を計算するため、逆問題と呼ばれる。逆問題は、原因から始めて結果を計算する順問題の逆である。

第１のステップはステップサイズα^ｔを用いる目的関数ｆ（・）に関する勾配降下更新であり、第２のステップはペナルティ関数に関する近接マッピングを計算する。しかしながら、アプリケーションによっては、ペナルティ関数ρ（・）を解析的に求めるまたは記述することは困難であり得るが、信号ｘのクラスの例は容易に利用可能であり得る。

最近の研究では、深層学習が線形逆問題を解くのに効果的であり得ることが実証されている。この成功の理由は、部分空間、多様体、またはスパースモデルなどの従来の信号モデルを用いて明確に特徴付けられない信号のクラスについての非線形の微分可能なモデルを、ディープネットワークアーキテクチャが提供できるからである。

しかしながら、深層学習法が優れた性能を示すのは、ニューラルネットワークを訓練するための画像取得設定およびノイズレベルが予め分かっている制御環境においてのみである。たとえば、多くのニューラルネットワークアーキテクチャは、自然画像のガウスデノイザー（Gaussian denoiser）として提案されている。たとえば、ノイズ除去畳み込みニューラルネットワーク（denoising convolutional neural network：ＤｎＣＮＮ）は残差接続を有する１７層を使用し、マルチレベルウェーブレット畳み込みニューラルネットワーク（multi-level wavelet convolution neural network：ＭＷＣＮＮ）は修正されたＵ－Ｎｅｔアーキテクチャおよびウェーブレット変換概念を使用し、残差エンコーダ－デコーダネットワーク（residual encoder-decoder network：ＲＥＤ－Ｎｅｔ）は対称スキップ接続を有するエンコーダ－デコーダを使用する。これらのアプローチは、その有望な性能にもかかわらず、ノイズ分布および分散が訓練データセットのノイズ分布および分散と異なる場合は適用できない。さらに、画像取得設定が変更されたためにフォワード演算子が変化すると、線形逆問題を解くためにエンドツーエンドで訓練されたニューラルネットワークを適用することは現実的ではなくなる。

したがって、画像取得設定にとらわれない人工知能（ＡＩ）モジュールを用いて線形逆問題を解くためのシステムおよび方法が必要である。

いくつかの実施形態の目的は、画像取得設定にとらわれない人工知能（ＡＩ）モジュールを用いて線形逆問題を解くためのシステムおよび方法を提供することである。このようなシステムは、移動画像センサを有するアプリケーションで頻繁に用いられる、制御されない画像取得設定の下での画像取得アプリケーションに有利である。

いくつかの実施形態は、シーンの画像の測定値が、ノイズの影響を受ける画像取得設定に従って取得されるという認識に基づいている。画像取得設定は、シーン内の１つ以上のターゲットに信号を送信してその反射を送受信する撮像装置の種類および相互配置、信号の種類および周波数、撮像装置の光学部品、ならびに撮像装置の動きなどの、画像取得の仕様を取り込むフォワード演算子によって表すことができる。画像取得設定は、撮像プロセスの前および最中に変更される場合がある。たとえば、撮像装置の送信機および受信機の相互配置は、送信機および／または受信機の動きに起因して、連続する画像フレームの間で変化する場合がある。送信機および受信機が共同配置されている、または互いに堅固に取り付けられている状況でも、撮像システムの動きの変化によって画像取得設定のブラー成分が修正される。このような状況では、画像取得設定の変更を反映するようにフォワード演算子をリアルタイムで動的にかつ適応的に推定する必要がある。

一方、測定値を乱すノイズを除去する能力は、画像取得設定から独立しているべきである。たとえば、ノイズはガウスであるとみなすことができ、ノイズのレベルは画像取得設定ではなく画像自体の関数である。これは、異なる画像取得設定によって異なる分布の異なるレベルのノイズが導入されるからである。しかしながら、取得フォワード演算子の影響を除去した後、残留ノイズが画像空間に存在し、適切なデノイザーが画像領域ノイズを処理可能でなければならない。そのために、ノイズは、フォワード演算子が測定値に与える影響の反転（言い換えると、画像取得設定の反転）を近似する画像上の加法性ノイズとみなすことができる。

いくつかの実施形態は、画像再構成を、画像取得に依存するまたは依存しないモジュールの組み合わせとして表すことができるという認識に基づいている。画像取得依存モジュールは、画像取得設定が測定値に与える影響を反転させる。このような反転の結果、ノイズのある画像が得られる。画像取得非依存モジュールは、画像取得設定の影響を反転させた後に画像から加法性ノイズを除去する。

いくつかの実施形態は、フォワード演算子が画像取得に与える影響を反転させる画像取得インバータなどの画像取得依存モジュールは、必要に応じてソルバー（solver）としてまたはラーナー（learner）として実現することができるという認識に基づいている。しかしながら、有利なことに、画像取得非依存プロセスは、ラーナーとして、すなわち、画像取得設定にとらわれないことが可能なニューラルネットワークのような人工知能（ＡＩ）モジュールとして実現することができる。このようなＡＩモジュールの一例は、測定値ではなくノイズのある画像で訓練することができるデノイザーである。

しかしながら、いくつかの実施形態は、画像デノイザーが適切に動作するためには、デノイザーを特定のレベルのノイズについて訓練する必要があるという認識に基づいており、これは、画像取得設定が制御されないためにノイズが変化する画像取得アプリケーションには計算上現実的ではない場合がある。制御されない画像取得は、たとえば、カメラが動いている、または画像取り込みセンサのうちの少なくとも１つもしくはターゲット自体が動いているなど、画像処理システムが動いている非制御環境で起こる場合がある。この問題に対処するために、いくつかの実施形態は、ノイズレベルを入力として受け付けるニューラルネットワークとしてデノイザーを実現する。このようなニューラルネットワークの例は、ノイズレベル入力チャネルを有するＦＦＤＮｅｔアーキテクチャおよびＵ－ｎｅｔアーキテクチャを含む。

いくつかの実施形態は、ＦＦＤＮｅｔベースのデノイザーが、画像取得設定が制御されない画像取得アプリケーションのノイズ除去を簡素化し、デノイザーを異なるノイズレベルに適応できるようにするという認識に基づいている。しかしながら、このようなアーキテクチャでは、ノイズのある画像のノイズレベルをデノイザーへの入力として提供することが必要になる。そのために、いくつかの実施形態の目的は、ノイズ適応デノイザへの入力として供給されるノイズレベルを推定するように訓練されたＡＩモジュールを提供することである。

いくつかの実施形態は、測定値自体からノイズレベルを推定することができるという認識に基づいている。しかしながら、測定値は画像取得設定に依存しているので、このようなＡＩモジュールの実現例は画像取得にとらわれることになる。いくつかの実施形態は、画像取得インバータによって生成されるノイズのある画像からノイズレベルを推定することができるという認識に基づいている。実際、このような実現例により、ノイズレベル推定器は画像取得設定にとらわれないようになる。しかしながら、画像取得によって推定されるノイズのある画像のノイズは、取得インバータの結果としてフォワード演算子Ａの零空間によって汚染される可能性があるので、この解決策は問題がある。演算子の零空間は、フォワード演算子Ａを通過した後にゼロ測定エネルギーをもたらすすべてのノイズ成分の集合である。その結果、フォワード演算子Ａの零空間は画像領域内にノイズ成分を寄与する可能性がある。

しかしながら、いくつかの実施形態は、画像取得インバータおよびデノイザーが連携的かつ再帰的に動作して画像を回復する必要があるという別の認識に基づいている。これは、画像取得設定が制御されない画像取得アプリケーションでは、ノイズを考慮せずに画像取得設定の影響を完全に反転させることは問題であるが、ノイズは反転後に除去されるからである。そのために、画像取得インバータおよびデノイザーを再帰的なペアとして実現し、インバータによって出力されるノイズのある画像をデノイザーへの入力とし、デノイザーの出力を次の反復時に測定値とともにインバータへの入力とすることが有利である。

このような再帰のさらなる利点として、以前の反復のデノイザーの出力、すなわち以前の画像推定値を、現在の反復時にノイズレベル推定器への入力とすることができる。これは、インバータが、以前の反復時に判定された画像を参考として測定値を反転させるからである。その以前の画像はノイズを含んでいる。インバータはノイズを処理しないので、インバータによって生成されるノイズのある画像は以前の画像と同じレベルのノイズを有していると考えるのが妥当である。さらに、反復ごとにデノイザーを利用してフォワード演算子の零空間からノイズを除去するので、Ａの零空間から寄与されるノイズの量は、画像がさらに反復を経るにつれて減少する。

このように、ノイズレベル推定器を測定値ではなく画像で訓練することができるので、ノイズレベル推定器は画像取得にとらわれないようになる。ノイズレベル推定器への入力は、以前の反復のノイズ除去画像であり、出力は、現在の反復においてノイズのある画像をノイズ除去するためのノイズレベルである。

したがって、一実施形態は、シーンの画像を判定するための画像処理システムを開示しており、上記画像処理システムは、画像取得設定の下で取得された上記シーンの測定値と、上記画像取得設定を示す設定データとを受け付けるように構成された入力インターフェイスと、上記システムのモジュールを実現する命令を格納するように構成されたメモリとを含む。上記モジュールは、上記設定データに基づいて上記画像取得設定のフォワード演算子を推定するように構成された画像取得設定推定器モジュールと、上記フォワード演算子で反転させた上記測定値と一致するように上記シーンの上記画像の以前の推定値を修正して、上記シーンの現在のノイズのある画像を生成するように構成された画像取得インバータモジュールと、デノイザーモジュールとを含む。上記デノイザーモジュールは、既知のノイズレベルの影響を受ける上記デノイザーモジュールに提供されたノイズのある画像からノイズを除去するように構成される。上記モジュールはさらに、ノイズレベル推定器モジュールを含み、上記ノイズレベル推定器モジュールは、上記ノイズレベル推定器モジュールに提供された入力画像のノイズレベルを推定するように構成されている。上記画像処理システムはさらに、上記メモリに結合されたプロセッサを含む。上記プロセッサは、上記画像取得設定推定器モジュールを実行して、上記設定データを用いて上記フォワード演算子を推定し、終了条件が満たされるまで上記シーンの上記画像を再帰的に推定するように構成される。現在の反復について、上記プロセッサは、（１）推定された上記フォワード演算子と、以前の反復時に推定された上記シーンの上記画像の上記以前の推定値とを用いて上記画像取得インバータモジュールを実行して、上記現在のノイズのある画像を生成し、（２）上記画像の上記以前の推定値を用いて上記ノイズレベル推定器モジュールを実行して、現在のノイズレベルを生成し、（３）上記デノイザーを実行して、上記現在のノイズのある画像から上記現在のノイズレベルを除去して現在の画像を生成する。上記画像処理システムはさらに、上記シーンの上記画像を出力するように構成された出力インターフェイスを含む。

いくつかの実施形態では、上記画像取得インバータモジュールは、距離関数のスケーリングされた勾配更新を加えることによって上記シーンの上記画像の上記以前の推定値を修正するように構成されたソルバーである。上記距離関数は、上記画像の上記測定値と上記画像の合成測定値との間の誤差を定量化する。上記合成測定値は、上記フォワード演算子と上記シーンの上記以前の推定値とを乗算することによって得られる。

いくつかの実施形態では、上記画像取得設定推定器モジュールは、焦点が合っていない取得または上記シーンの上記画像を取得するカメラの動きに起因するブラーカーネルを推定するようにさらに構成されている。

いくつかの実施形態では、上記画像取得設定推定器モジュールは一組の送信機および一組の受信機と通信している。上記画像取得設定推定器モジュールは、上記一組の送信機のうちの少なくとも１つの送信機（送信アンテナ）から送信されて上記シーン内の１つまたはいくつかのターゲットから反射されるパルスのレーダー測定値を収集する、上記一組の受信機のうちの少なくとも１つの受信機（受信アンテナ）の位置の補正を推定するようにさらに構成されている。

いくつかの実施形態では、上記画像取得設定推定器モジュールは、上記一組の送信機のうちの少なくとも１つの送信機から送信されるが装置誤差のために送信時に歪んだであろう基準照射パルスに対する補正を推定するようにさらに構成されている。

いくつかの例示的な実施形態では、上記デノイザーモジュールは、ＦＦＤＮｅｔニューラルネットワークまたはＵ－Ｎｅｔニューラルネットワークの少なくとも一方である。上記デノイザーモジュールは、異なるレベルのノイズを有するノイズのある画像で訓練される。

いくつかの実施形態では、上記ノイズレベル推定器モジュールは、事前訓練された上記デノイザーモジュールで訓練される畳み込みニューラルネットワークである。

別の実施形態は、シーンの画像を判定する方法を開示する。上記方法は、上記方法を実現する格納命令に結合されたプロセッサを使用し、上記命令は上記プロセッサによって実行されると上記方法のステップを実行する。上記方法は、入力インターフェイスが、画像取得設定の下で取得された上記シーンの上記画像の測定値と、上記画像取得設定を示す設定データとを受け付けるステップと、画像取得設定推定器モジュールが、上記設定データに基づいて上記画像取得設定のフォワード演算子を推定するステップと、画像取得インバータモジュールが、推定された上記フォワード演算子で反転させた上記測定値と一致するように上記シーンの上記画像の以前の推定値を修正して、上記シーンの現在のノイズのある画像を生成するステップと、デノイザーモジュールが、既知のノイズレベルの影響を受ける上記デノイザーモジュールに提供されたノイズのある画像からノイズを除去するステップと、ノイズレベル推定器（ＮＬＥ）モジュールが、上記ＮＬＥモジュールに提供された入力画像に存在するノイズレベルを推定するステップとを含む。

上記方法は、終了条件が満たされるまで上記シーンの上記画像を再帰的に推定するステップをさらに含む。上記方法は、現在の反復について、（１）推定された上記フォワード演算子と、以前の反復時に推定された上記シーンの上記画像の上記以前の推定値とを用いて上記画像取得インバータモジュールを実行して、上記現在のノイズのある画像を生成し、（２）上記画像の上記以前の推定値を用いて上記ノイズレベル推定器モジュールを実行して、現在のノイズレベルを生成し、（３）上記デノイザーを実行して、上記現在のノイズのある画像から上記現在のノイズレベルを除去して現在の画像を生成するステップと、出力インターフェイスが、上記シーンの上記画像を出力する。

いくつかの実施形態では、上記シーンの上記画像の上記以前の推定値を修正することは、距離関数のスケーリングされた勾配更新を加えることによって上記画像の上記以前の推定値を修正することを含む。

ここで開示されている実施形態を添付の図面を参照してさらに説明する。図面は必ずしも正確な縮尺ではなく、代わりに、ここで開示されている実施形態の原理を示すにあたり全体的に強調が加えられている。

本開示のいくつかの実施形態に係る、シーンの画像を判定するように構成された画像処理システムの概略図である。 本開示のいくつかの実施形態に係る、提案されている近接準ニュートン法（proximal-quasi Newton method：ＰＱＮＭ）アルゴリズムの１回の反復のブロック図である。 本開示のいくつかの実施形態に係る、シーンの画像を判定するために実現される方法のステップを示す図である。 本開示のいくつかの実施形態に係る、関心領域（region of interest：ＲＯＩ）内のターゲットの画像を判定するための移動レーダープラットフォームの分散アレイを有する非制御環境の例示的なシナリオを示す図である。 本開示の例示的な実施形態に係る、単一のターゲットの反射を測定する際に、受信機位置の誤差のために各アンテナの測定時間領域信号に影響を及ぼす歪みを示す図である。 本開示の例示的な実施形態に係る、単一のターゲットの反射を測定する際に、受信機位置の誤差のために各アンテナの測定時間領域信号に影響を及ぼす歪みを示す図である。 本開示の例示的な実施形態に係る、図３Ｂおよび図３Ｃからの、位置が摂動された、単一のターゲットの反射を測定する一組のアンテナと、位置が直線状に統一された、同じターゲットのシフトされたバージョンを測定する一組のアンテナとの間のマッピングを示す概略図である。 本開示のいくつかの実施形態に係る、シフトされたターゲット画像と、一組のシフトカーネルで畳み込まれた真のターゲット画像との関係を示す概略図である。 本開示のいくつかの実施形態に係る、レーダー画像および一組の画像シフトを推定するブラインドデコンボリューション法のブロック図である。 送信パルスを表す例示的なグラフを示す図である。 レーダー反射を表す例示的なグラフ示す図である。 例示的な実施形態に係る、分散移動レーダー撮像システムにおける時間シフトを示す概略図である。 例示的な実施形態に係る、単一のターゲットの反射を測定する際に、各レーダークロックの誤差のために各アンテナの測定時間領域信号に影響を及ぼす歪みを示す図である。 例示的な実施形態に係る、単一のターゲットの反射を測定する際に、各レーダークロックの誤差のために各アンテナの測定時間領域信号に影響を及ぼす歪みを示す図である。 例示的な実施形態に係る、ＦＦＤＮｅｔを実現するために用いられるフィードフォワードネットワークアーキテクチャを示す図である。 例示的な実施形態に係る、Ｕ－Ｎｅｔアーキテクチャを用いて実現された畳み込みブラインドノイズ除去（convolution blind denoising：ＣＢＤ）ネットワーク（ＣＢＤＮｅｔ）を示す図である。 例示的な実施形態に係る、特異値分解（singular value decomposition：ＳＶＤ）領域におけるノイズレベル推定器モジュール１０７の実現例を示す図である。 いくつかの実施形態に係る、展開されたＰＱＮＭ－ＰｎＰの微調整訓練段階の一例を示す図である。 いくつかの例示的な実施形態に係る、画像処理システムのブロック図である。

上記図面はここで開示されている実施形態を示しているが、本明細書で述べるようにその他の実施形態も意図されている。本開示は、説明のための実施形態を、限定のためではなく代表として示す。当業者は、ここに開示されている実施形態の原理の範囲および精神に含まれるその他数多くの改良形および実施形態に想到することが可能である。

以下の記載では、説明を目的として、本開示の十分な理解が得られるよう多数の具体的な詳細事項を述べる。しかしながら、本開示はこれらの具体的な詳細事項がなくても実施し得ることが当業者には明らかであろう。その他の場合では、装置および方法を、専ら本開示を曖昧にするのを避けるためにブロック図の形式で示す。

本明細書および請求項で使用される「たとえば」、「例として」および「～のような」という用語ならびに「備える」、「有する」、「含む」およびこれらのその他の動詞形の各々は、１つ以上の構成要素またはその他のアイテムの列挙とともに使用される場合、その列挙がさらに他の構成要素またはアイテムを除外するとみなされてはならないことを意味する、オープンエンドと解釈されねばならない。「～に基づく」という用語は、少なくとも部分的に基づいていることを意味する。さらに、本明細書で使用される文体および術語は、説明のためのものであって限定とみなされてはならないことが理解されるはずである。本明細書で使用されているいかなる見出しも、便宜的なものにすぎず、法的または限定効果を持つものではない。

現在、デノイザーは、画像処理システムにおいてディープニューラルネットワーク（deep neural network：ＤＮＮ）を用いて画像を判定しながら線形逆問題を効果的に解くことによって実現されている。ＤＮＮネットワークは、画像取得設定を示す異なる線形フォワード演算子Ａおよび加法性ノイズについて訓練することができる。ＤＮＮネットワークは、線形フォワード演算子Ａおよび加法性ノイズｖが既知である制御環境で訓練することができる。しかしながら、現実のアプリケーションでは、画像取得設定の線形フォワード演算子Ａおよびノイズｖが可変であり先験的に知られていない非制御環境が存在する。たとえば、シーンの画像を取り込むカメラが動いている非制御環境では、画像取得パラメータが変化し、その結果としてＡが変化する。したがって、ＤＮＮベースのデノイザーを特定のレベルのＡについて訓練した場合、Ａが変化すると、特定のレベルのＡについて訓練したＤＮＮベースのデノイザーも変える必要がある。つまり、ＤＮＮベースのデノイザーは、ある画像取得設定およびノイズレベルで訓練すると、ブラックボックスになり、ＤＮＮベースのデノイザーの強度を制御できなくなる。したがって、現在のＤＮＮベースのデノイザー（またはＡＩデノイザー）は画像取得設定および加法性ノイズに依存するので、デノイザーを訓練するために用いられる従来のアルゴリズムには根本的な一般化問題がある。ゆえに、現在のＤＮＮベースのデノイザーを用いて非制御環境で画像を判定することは困難である。

この問題に対処するために、本開示は、画像取得設定にとらわれずに（または画像取得設定から独立して）画像を再構成する画像処理システムを提案する。この画像処理システムは、たとえば画像取得インバータおよび人工知能（ＡＩ）モジュールなどのいくつかの構成要素を画像再構成のために用いる。ＡＩモジュールはディープニューラルネットワークを用いて実現されてもよい。いくつかの実施形態では、ＡＩモジュールは、デノイザーモジュールおよび残留ノイズレベル推定器（noise level estimator：ＮＬＥ）モジュールを含む。本開示によれば、画像取得インバータとＡＩモジュールとは分離される。これらの構成要素は、インバータによって生成されるノイズのある画像でＡＩモジュールを訓練することによってではなく、再構成される画像の以前の推定値でＡＩモジュールを訓練することによって分離される。再構成される画像のこの以前の推定値は、以前の反復におけるデノイザーの出力である。このような種類の分離により、ＡＩモジュールは画像取得設定にとらわれないようになる。さらに、インバータとＡＩモジュールとは、デノイザーの出力（すなわち、再構成される画像の以前の推定値）をインバータに提供することによって再帰的なペアを形成するように接続される。インバータは、画像の以前の推定値を用いることによってＡＩモジュールと連携して動作して、画像に用いられる画像取得設定を示す線形フォワードパラメータの影響を反転させる。このように、ＡＩモジュールによる画像再構成は画像取得設定にとらわれない。ゆえに、このようなＡＩモジュールを有する画像処理システムは、画像取得設定を制御できない環境（「非制御環境」としても知られる）においても画像再構成のために用いることができる。

いくつかの実施形態では、ＡＩモジュールは、ＮＬＥモジュールおよびデノイザーモジュールを含む。ＮＬＥは、シーンの画像の以前の推定値からノイズレベルを推定し、推定されたノイズレベルをデノイザーに与える。デノイザーは、入力されたノイズレベルを用いて現在の画像を推定する。このように、デノイザーおよびＮＬＥは、ノイズのある画像の測定値で訓練されるのではなく、これらの画像で訓練される。これにより、デノイザーおよびＮＬＥは画像取得設定にとらわれないようになるので、シーンの画像を効果的に再構成または判定するために非制御環境で用いることができる。提案されている画像処理システムの実現例の詳細な分析は、図１Ａおよび図１Ｂを参照して説明する。

実施形態のいくつかでは、逆問題を解くためにプラグアンドプレイ（plug-and-play：ＰｎＰ）ノイズ除去を用いる。ＰｎＰノイズ除去は、現代のノイズ除去を交互方向乗数法（Alternating Direction Method of Multipliers：ＡＤＭＭ）または他の近接アルゴリズムに統合する非凸フレームワークである。ＰｎＰノイズ除去の性能向上は、ガウスデノイザー（たとえば、高速で柔軟なノイズ除去畳み込みニューラルネットワーク（fast and flexible denoising convolutional neural network：ＦＦＤＮｅｔ））のノイズレベルと、反復ごとの降下ステップサイズとを慎重に選択することに依存する。さらに、提案されている開示は、ガウスデノイザーを訓練するために、展開される近接準ニュートン（proximal quasi-Newton：ＰＱＮ）アルゴリズムを用いる。この近接準ニュートンアルゴリズムでは、デノイザーへの入力信号を、反復ごとに、かつ、信号のエントリごとに推定する。さらに、要素ごとのノイズレベルを推定するために別の畳み込みネットワーク（ＣＮＮ）をデノイザーとともにデプロイして、準ニュートン法におけるヘシアン行列の対角近似を模倣する。提案されている画像判定方式の実現例は、図１Ａおよび図１Ｂと合わせて以下に詳細に説明する。

図１Ａは、本開示のいくつかの実施形態に係る、シーンの画像を判定するように構成された画像処理システムの概略図である。画像処理システム１００は、入力インターフェイス（図１Ａには図示せず）と、画像取得設定推定器モジュール（１０１）と、画像取得インバータモジュール（１０３）と、デノイザーモジュール（１０５）と、残留ノイズレベル推定器（ＮＬＥ）モジュール（１０７）と、出力インターフェイス（図１Ａには図示せず）とを含む。入力インターフェイスは、画像取得設定の下で取得されるシーンの画像ｘの測定値ｙと、画像取得設定を示す設定データとを得るように構成されている。シーンの画像は２次元画像であってもよく、または３次元画像であってもよい。
画像取得設定推定器モジュール：

画像取得設定推定器モジュール１０１は、設定データに基づいて画像取得設定の線形フォワード演算子Ａ（またはフォワード演算子）を推定するように構成されている。画像取得設定はＡによって表される。さらに、画像取得設定推定器モジュール１０１は、線形フォワード演算子を動的に推定するように構成されている。画像取得設定は、たとえば、シーンの３Ｄ画像を取り込むカメラの動き、または焦点が合っていない画像の取得など、さまざまな理由（カメラの動きなど）で画像の取り込み中に変更される場合があり、その結果として線形フォワード演算子Ａが変化する。カメラとシーンとが相対的に動くとモーションブラーが発生する。画像のモーションブラーは、さまざまなコンピュータビジョンアルゴリズムにおいて好ましくない効果である。特に、モーションブラーは、画像の構造ディテールを破壊し、不鮮明な方向の画像の解像度を低下させるため、対応関係問題において重要な課題である。

たとえば、例示的な実施形態では、画像取得設定推定器モジュール１０１は、焦点が合っていない取得またはカメラの動きに起因するブラーカーネルを推定するように構成されている。画像取得設定推定器モジュール１０１は、モーションブラーの影響を考慮することによって得られる画素対応関係を利用する。画像取得設定推定器モジュール１０１は、所与のカメラ運動についてシーン深度を用いて３Ｄ画像の不鮮明な外観をパラメータ化し、ブラーを考慮した画素対応関係に基づいて深度マップを正確に推定することができる。次に、推定された深度を画素ごとのブラーカーネルに変換し、不均一なモーションブラーを容易に除去する。得られたブラーカーネルは深度に依存するため、焦点が合っていない取得またはカメラの動きに起因するシーン深度の変化に効果的に対処する。

非制御環境の別の例は、画像取得設定推定器が一組の送信機および受信機と通信している分散アレイ撮像システムを含む。一組の送信機のうちの少なくとも１つの送信機が、関心領域（ＲＯＩ）内の少なくとも１つのターゲットにパルスを送信し得、一組の受信機のうちの少なくとも１つの受信機が、少なくとも１つのターゲットからの反射パルスを受信し、少なくとも１つの受信機の画像取得設定推定器モジュール１０１が、受信パルスに基づいて少なくとも１つのターゲットの画像を再構成する。分散アレイ撮像システムにおいて生じる基本的な課題は、アンテナ、たとえば受信機の正確な位置の不確実性に起因する。そのために、画像取得設定推定器モジュール１０１は、一組の送信機のうちの少なくとも１つの送信機から送信されてシーン（ＲＯＩ）内の１つまたはいくつかのターゲットから反射されるパルスの測定値を収集する、一組の受信機のうちの少なくとも１つの受信機の位置の補正を推定するように構成されている。

分散アレイ撮像において生じる別の基本的な課題は、受信機のクロックの不確実性に起因する。そのために、画像取得設定推定器モジュール１０１は、一組の送信機のうちの少なくとも１つの送信機から送信されてシーン（ＲＯＩ）内の１つまたはいくつかのターゲットから反射されるパルスのレーダー測定値を収集する、一組の受信機のうちの少なくとも１つの受信機のクロックの補正を推定するように構成されている。

さらに、画像処理システム１００は、画像ｘを再構成するためのモジュールを含む。これらのモジュールは、画像取得依存モジュール（インバータ）および画像取得非依存モジュール（デノイザー）を含む。これらのモジュールは、終了条件が満たされるまでシーンの画像を再帰的に推定するように共同で実現される。終了条件は、各反復の最後に出力画像に存在するノイズのレベルに基づいていてもよい。画像取得インバータモジュール１０３として実現される画像取得依存モジュールは、図１Ａを参照して以下に詳細に説明する。
画像取得インバータモジュール：

いくつかの実施形態では、画像取得インバータモジュール１０３はソルバーとして実現される。これに加えてまたはこれに代えて、いくつかの実施形態では、画像取得インバータモジュール１０３は、ラーナー、たとえば訓練されたニューラルネットワークとして実現される。画像取得インバータモジュール１０３は、画像取得設定を示す線形フォワード演算子Ａと、シーンの画像ｘ_ｔの以前の推定値ｘ_ｔ－１とを受信する。画像ｘ_ｔの以前の推定値ｘ_ｔ－１は、デノイザーモジュール１０５から直接得られてもよい。別の実施形態では、画像ｘ_ｔの以前の推定値ｘ_ｔ－１は、画像ｘ_ｔの以前の推定値ｘ_ｔ－１が画像処理システム１００によって格納され得るメモリから得られてもよい。画像取得インバータモジュール１０３は、画像取得設定Ａ（すなわち、フォワード演算子）が画像測定値ｙに与える影響を反転させる。さらに、画像取得インバータモジュール１０３は、フォワード演算子Ａで反転させた測定値と一致するようにシーンの画像ｘ_ｔの以前の推定値ｘ_ｔ－１を修正して、シーンの現在の画像ｚを生成するように構成されている。このような反転の結果、ノイズのある画像ｚが得られる。画像取得インバータモジュール１０３の動作は、図１Ｂを参照して以下にさらに説明する。

式（６）において、α^ｔはステップサイズであり、Ｄ（ｙ，ｘ_ｔ－１）は距離関数のスケーリングされた勾配更新である。距離関数は、画像の測定値ｙと画像の合成測定値Ａｘ_ｔ－１との間の誤差を定量化する。この結果、出力されるノイズのある画像ｚは、シーンの画像ｘ_ｔのノイズ除去画像を判定するために除去しなければならない加法性ノイズｖ（式（５）および式（６）には図示せず）を含む。

そのために、画像処理システム１００はＡＩモジュールを利用する。ＡＩモジュールは、デノイザーモジュール１０５およびＮＬＥモジュール１０７を含む。
ＡＩモジュール：

デノイザーモジュール１０５は、受信したノイズのある画像ｚから残留ノイズを除去して画像ｘ_ｔの最良推定値を生成する。デノイザーは、ラーナー、すなわち人工知能（ＡＩ）モジュールとして実現されてもよく、画像取得設定Ａにとらわれない（または画像取得設定から独立した）画像ｘ_ｔの推定値を生成する。デノイザーモジュール１０５は、特定のレベルのノイズについて訓練することができる。しかしながら、このようなノイズに依存する訓練は、画像取得設定が制御されないためにノイズが変化するさまざまな画像取得アプリケーションには計算上現実的ではない場合がある。

この問題に対処するために、いくつかの実施形態では、デノイザーは、ノイズレベルを入力として受け付けるニューラルネットワークとして実現される。このようなニューラルネットワークの例は、ノイズレベル入力チャネルを有するＦＦＤＮｅｔアーキテクチャおよびＵ－ｎｅｔアーキテクチャである。一実施形態では、ＦＦＤＮｅｔアーキテクチャベースのデノイザーが用いられる。ＦＦＤＮｅｔは、画像取得設定が制御されない画像取得アプリケーションのノイズ除去を簡素化し、デノイザーを異なるノイズレベルに適応できるようにする。それによって、異なるデノイザーの実現要件を除去するか、または、異なる画像取得設定および異なるノイズレベルに合わせてデノイザーを変えることができる。ノイズのある画像のノイズレベルをデノイザーへの入力として提供するために、いくつかの実施形態の目的は、ノイズ適応デノイザーモジュール１０５への入力として供給されるノイズレベルを推定するように訓練されたＡＩモジュール（残留ノイズレベル推定器（ＮＬＥ）と呼ばれる）を提供することである。

ＡＩモジュールの訓練：

すべての場合において、適応モーメント推定アルゴリズム（adaptive moment estimation algorithm：ＡＤＡＭ）を適用して損失関数が最小化され、そのすべてのハイパーパラメータがデフォルト値に設定されている。エポック数は８０に設定される。学習率のスケジューリングもすべての場合に共通である。学習率は、最初の５０エポックについては１ｅ－３で開始し、次の１０エポックについては１ｅ－４に変わり、残りの訓練については最終的に１ｅ－６に切り替わる。

訓練中、エポック数が第１のマイルストーンを超えた後、学習率を１０で割り、第２のマイルストーンを超えた後に再び１００で割る。これらのパラメータの実際値は、いくつかの訓練の損失グラフを観測した後にヒューリスティックに選択されている。つまり、学習率ステップ減衰がＡＤＡＭとともに使用されている。さらに、展開される訓練段階中に、既知のノイズレベルの仮定は撤回され、ＮＬＥモジュール１０７（ミニＣＮＮ）を用いてこのノイズレベル入力層を推定する。
ＰＱＮＭ－ＰｎＰの展開される訓練

一実現例では、ＰＱＮＭ－ＰｎＰアルゴリズムがＴ回の反復（たとえばＴ＝１０）にわたって展開された後、ＦＦＤＮｅｔデノイザーモジュール１０５の最後の３層の微調整とともにＮＬＥモジュール１０７が訓練される。この微調整の目的は、ＦＦＤＮｅｔデノイザーモジュール１０５を、反復ごとにフォワード演算子Ａの零空間から生じるノイズの分布変化に対処するように適応させることができるようにすることである。提案されている発明の性能をベンチマークのエンドツーエンド学習ＡＩシステムと比較するために、ＰＱＮＭは１回の反復について再訓練され、最初の２つの畳み込み層以外のすべての層が再訓練される。どちらのシナリオでも、シミュレーション設定は、Waterloo Explorationデータベースからサイズ１２８×１２８の１００，０００個のパッチが抽出されるような設定である。モーションブラーカーネルは，［０；π］内の６つの角度および［５，１５］の範囲内の６つの長さを１５×１５サイズのカーネルで均一にサンプリングすることによって生成される。各カーネルで画像を畳み込んだ後、不鮮明な画像に分散０．０１のガウスノイズを加える。各反復のステップサイズパラメータα^ｔは、学習可能なパラメータである。訓練はＡＤＡＭソルバーを用いて行われ、当初の学習率は１０^－４である。検証データセットには、Ｋｏｄａｋ２４データセットを用いる。ＡＤＡＭ学習率は、検証データセットの非増加平均ＰＳＮＲの２エポック後に、すなわち訓練がプラトー段階に達したときに、０．１倍減衰される。モデルは５０エポック分訓練される。
評価

異なる実施形態は異なるデータセットを用いて、提案されている画像処理システム１００に用いられるＰＱＮＭアルゴリズムの性能を評価する。異なるデータセットは、ＣＢＳＤ６８、Ｓｅｔ５、およびＳｅｔ１４などを含み得る。ＰＧＤ法のうちの１つでは、ガウス事前訓練されたＦＦＤＮｅｔデノイザーは固定され続け、真のノイズ標準偏差が反復ごとにデノイザーに与えられる。他の方法では、最後の３層が真のノイズ標準偏差と共に更新される微調整されたＦＦＤＮｅｔデノイザーを用いる。ＰＱＮＭを用いる提案されている画像処理システムは、最高のＰＳＮＲおよびＳＳＩＭを達成する。さらに、提案されているＰＱＮＭは、ＦＦＤＮｅｔを用いた単一の反復エンドツーエンド学習アプローチよりも、平均ＰＳＮＲ値が一貫して１ｄＢだけ優れている。

このように、ＡＩモジュールを測定値で訓練するのではなくノイズのある画像で訓練することで、ＡＩモジュールは画像取得設定にとらわれないようになる。さらに、一実施形態では、デノイザーモジュール１０５およびＮＬＥモジュール１０７は別々に訓練されてもよい。たとえば、一実施形態では、まずデノイザーモジュール１０５が別に訓練され、次にＮＬＥモジュール１０７が、事前訓練されたデノイザーモジュール１０５とともに訓練される。ＮＬＥモジュール１０７をデノイザーモジュール１０５と共同で訓練することで、デノイザーモジュール１０５は、反復ごとにフォワード演算子Ａの零空間から生じるノイズの分布変化に対処することができる。

この問題に対処するために、画像取得インバータモジュール１０３およびデノイザーモジュール１０５は連携的かつ再帰的に動作して画像ｘ_ｔを回復する。これは、画像取得設定が制御されない画像取得アプリケーションでは、ノイズを考慮せずに画像取得設定の影響を完全に反転させることは問題であるが、ノイズは反転後に除去されるからである。そのために、画像取得インバータモジュール１０３およびデノイザーモジュール１０５は再帰的なペアとして実現され、インバータモジュール１０３によって出力されるノイズのある画像ｚはデノイザーモジュール１０５への入力となり、デノイザーモジュール１０５の出力は次の反復時に測定値ｙとともにインバータモジュール１０５への入力となる。さらに、画像取得インバータ１０３の出力におけるノイズのある画像ｚではなく、画像ｘ_ｔの以前の推定値ｘ_ｔ－１がＮＬＥモジュールへの入力として提供されて、画像ｘ_ｔの以前の推定値ｘ_ｔ－１のノイズレベルが推定される。これにより、ＮＬＥモジュール１０７は、画像取得設定を示す線形フォワード演算子Ａにとらわれないようになる。さらに、ＮＬＥモジュール１０７によって推定されるノイズレベルが正確であり、フォワード演算子Ａの零空間の影響を受けないことが確実になる。これらの推定ノイズレベルはデノイザーモジュール１０７に提供される。

さらに、デノイザーモジュール１０５は、画像取得インバータモジュール１０３からノイズのある画像ｚを受信し、ＮＬＥモジュール１０７から推定ノイズレベルを受信する。デノイザーモジュール１０５は正しいノイズレベルを用いて、ノイズのある画像ｚから残留ノイズを除去することにより、受信したノイズのある画像ｚを強調する。

このように、反復手順によって確実に、以前の反復のデノイザーモジュール１０５の出力、すなわち以前の画像ｘ_ｔ－１を、現在の反復時にノイズレベル推定器モジュール１０７への入力とすることができる。これは、インバータが、以前の反復時に判定された画像を参考として測定値を反転させるからである。その以前の画像ｘ_ｔ－１はノイズを含んでいる。インバータはノイズを処理しないので、インバータによって生成されるノイズのある画像ｚは以前の画像ｘ_ｔ－１と同レベルのノイズを有していると考えるのが妥当である。さらに、反復ごとにデノイザーモジュール１０５を利用してフォワード演算子の零空間からノイズを除去するので、Ａの零空間から寄与されるノイズの量は、画像がさらに反復を経るにつれて減少する。

図２は、いくつかの実施形態に係る、シーンの画像を判定するために実現される方法のステップを示す。少なくとも１つのシステム１００および方法２００はステップ２０１で開始することができ、ステップ２０１は、画像処理システム１００の入力インターフェイスによって、画像取得設定の下で取得されたシーンの画像の測定値と、画像取得設定を示す設定データとを受け付けることを含む。画像の測定値および画像の設定データは、通信チャネルを通して無線で得られてもよい。ステップ２０３において、画像取得設定推定器モジュールによって、シーンの画像に使用される画像取得設定のフォワード演算子を推定する。フォワード演算子は設定データに基づいて推定される。ステップ２０５において、画像取得インバータモジュール１０３によって、画像取得設定が、すなわちフォワード演算子Ａが画像測定値に与える影響を反転する。さらに、画像取得インバータモジュール１０３によって、推定されたフォワード演算子で反転させた測定値と一致するように画像の以前の推定値を修正して、シーンの現在のノイズのある画像を生成する。

ステップ２０７において、デノイザーモジュールによって、既知のノイズレベルの影響を受けるデノイザーモジュールに提供されたノイズのある画像から、残留ノイズを除去する。ノイズのある画像は、画像取得インバータモジュール１０３から得られる。残留ノイズを除去することは、加法性白色ガウスノイズと、ノイズの分布を変化させるフォワード演算子Ａの零空間の影響を受けるノイズとを除去することを含み得る。ステップ２０９において、終了条件が満たされたか否かを確認する。終了条件は、デノイザーモジュール１０５の出力において画像に存在するノイズのレベルに基づいていてもよい。たとえば、出力画像のノイズレベルが一定の閾値内にある場合は、画像の再帰的推定は終了し、最終画像が出力として提供される。終了条件が満たされていない場合は、ステップ２１１において、ＮＬＥモジュール１０７によって、ＮＬＥモジュール１０７に提供された入力画像に存在するノイズレベルを推定し、入力画像はその画像の以前の推定値に対応する。さらに、ＮＬＥモジュール１０７によって、推定されたノイズレベルをデノイザーモジュール１０５に提供する。ステップ２１１は、終了条件が満たされるまでシーンの画像を再帰的に推定することによって実行され、現在の反復について、（１）推定されたフォワード演算子と、以前の反復時に推定されたシーンの画像の以前の推定値とを用いて画像取得インバータモジュールを実行して、現在のノイズのある画像を生成し、（２）画像の以前の推定値を用いてノイズレベル推定器モジュールを実行して、現在のノイズレベルを生成し、（３）デノイザーを実行して、現在のノイズのある画像から現在のノイズレベルを除去して現在の画像を生成する。終了条件が満たされると、ステップ２１３において、出力インターフェイスによってシーンの画像を出力する。この出力画像は最終的なノイズ除去画像である。

さらに、提案されている画像処理システム１００の利点は、非制御環境でも画像再構成のために使用できることである。提案されているシステムおよび方法の非制御環境における実現例は、図３Ａに示されている非制御環境の例示的なシナリオを参照して以下に詳細に説明する。

図３Ａは、本開示のいくつかの実施形態に係る、関心領域（ＲＯＩ）内のターゲットの画像を判定するための移動レーダープラットフォームの分散アレイを有する非制御環境の例示的なシナリオを示す。図３Ａに観察できるように、非制御環境３００は、本開示の実施形態に係る、関心領域（ＲＯＩ）３０５内のターゲット３０３の画像を判定するための移動レーダープラットフォームの分散アレイ３０１を有する。特に、方法２００を実現するシステム１００は、少なくとも１つの移動送信／受信プラットフォームまたは送信機／受信機３０７と、一連のＭ個の同様の分散移動受信機プラットフォームまたは受信機３０９、３１１、３１３とを含む飛行プラットフォームまたは車載プラットフォームを用いることができる。一連のＭ個の分散受信機は、５個以上、１０個以上、または２０個以上であってもよいことが意図されている。

少なくとも１つの送信機／受信機３０７からレーダーパルス３１５が送信されて、関心エリアまたは関心領域（ＲＯＩ）３０５に位置するターゲット３０３を照射し、対応する反射されたレーダー反射３１７が複数の分散受信機３０７、３０９、３１１、および３１３によって記録される。反射３１７は、遅延パルスの重み付けされた組み合わせとして特徴付けることができ、複合の重みは具体的なターゲット反射率およびアンテナパターンに依存する。パルスおよび反射が与えられると、対応する重みおよび遅延に従って、レーダー画像をレンジ－アジマス平面内に生成することができる。レーダー画像のアジマス分解能はアレイ開口のサイズに依存し、レンジ分解能はパルスの帯域幅に依存する。

分散アレイ撮像のような非制御環境で生じる基本的な課題は、アンテナ（送信機および受信機）の正確な位置の不確実性に起因する。全地球測位システム／全球測位衛星システム（global positioning system：ＧＰＳ／global navigation satellite system：ＧＮＳＳ）および慣性航法システム（inertial navigation system：ＩＮＳ）のような高度なポジショニングおよびナビゲーションシステムは、ある程度正確な位置情報を提供するが、真のアンテナ位置の依然として残る不確実性は複数の波長にまたがることがある。その結果、１つ以上の受信機における受信信号は、この１つ以上の受信機アンテナの不正確な位置を基準として用いる場合、利得アンビギュイティおよび位相アンビギュイティ（または誤差）を含む。したがって、１つ以上の受信アンテナの位置摂動を考慮せずに標準的な再構成技術を適用すると、焦点が合っていないレーダー画像が生成される。アンテナ位置摂動（または位置アンビギュイティ）を解決するためのフレームワークを、図３Ｂ～図３Ｅを参照して詳細に説明する。

図３Ｂおよび図３Ｃは共に、本開示の例示的な実施形態に係る、単一のターゲットの反射を測定する際に、アンテナ位置の誤差のために各アンテナの測定時間領域信号に影響を及ぼす歪みを示す。さらに、図３Ｂは、位置が摂動された、単一のターゲット３０３の反射を測定する一組のアンテナ／受信機３０７～３１３によって用いられるターゲット３０３からの反射パルスを示す。図３Ｃは、受信機３０７～３１３の各々によって受信された反射パルスの時間領域表現を示す。位置摂動が一組のレーダー反射の時間的な整合に与える影響を図３Ｃに観察することができる。受信パルスは時間がシフトしており、すなわち、互いに遅延したバージョンである。この現象は、受信機３０７～３１３のうちの少なくとも１つとターゲット３０３とが相対運動するため、ドップラーシフトによって起こる。

さらに、図３Ｄは、本開示の実施形態に係る、図３Ｂおよび図３Ｃからの、位置が摂動された、単一のターゲットの反射を測定する一組のアンテナと、位置が直線状に統一された、同じターゲットのシフトされたバージョンを測定する一組のアンテナとの間のマッピングを示す概略図である。さらに、図３Ｄは、摂動されたアンテナ位置における単一のターゲットの測定反射が、一組の受信機３０７ｘ、３０９ｘ、３１１ｘ、３１３ｘの誤った粗い位置における同じターゲットのシフトされたバージョンを測定することと同等であることを示す概略図であり、これにより、この一組の受信機についての一組の画像シフトを後で求めることができ、３１７Ａ、３１９Ａ、３２１Ａ、および３２３Ａはシフトされたターゲット画像を表している。

図３Ｅは、本開示の実施形態に係る、シフトされたターゲット画像３１７Ａ、３１９Ａ、３２１Ａ、３２３Ａと、一組のシフトカーネル３１７Ｂ、３１９Ｂ、３２１Ｂ、３２３Ｂで畳み込まれた真のターゲット画像３０３との関係を示す概略図である。図３Ｃの測定反射３０７ｘ、３０９ｘ、３１１ｘ、３１３ｘは、図３Ｂの粗い摂動位置３０７、３０９、３１１、３１３に位置するアンテナによる真のターゲット３０３の測定値に対応する。これらの同じ測定反射は、図３Ｄの誤った粗いアンテナ位置３０７ｘ、３０９ｘ、３１１ｘ、３１３ｘに位置するアンテナによるシフトされたターゲット３１７Ａ、３１９Ａ、３２１Ａ、３２３Ａのレーダー反射にも対応し、これらのレーダー反射は、図３Ｅのシフトカーネル３２５によって形成された画像シフト３１７Ｂ、３１９Ｂ、３２１Ｂ、３２３Ｂで畳み込まれる真のターゲット３０３の反射と同等であることが示されている。

焦点が合っていないレーダー画像の問題は、測定領域におけるブラインドデコンボリューション（blind deconvolution）問題として現れる測定信号の利得誤差および位相誤差を解決することによって解決することができる。例示的な実施形態では、画像取得設定推定器モジュール１０１は、ターゲットの画像ｘ（またはレーダー画像）および一組の画像シフトを推定するためにブラインドデコンボリューション法を用いてもよい。ブラインドデコンボリューション法を用いて、測定信号（たとえば、ＲＯＩ内の少なくとも１つのターゲットから反射されたパルス）の利得誤差および位相誤差を解決するというタスクに関連するブラインドデコンボリューション問題を解決する。ブラインドデコンボリューション法は、図４Ａ～図４Ｃを参照して詳細に説明する。図４Ａは、本開示の実施形態に係る、レーダー画像および一組の画像シフトを推定するブラインドデコンボリューション法のブロック図である。さらに、図４Ｂは、送信パルスを表す例示的なグラフを示す。図４Ｃは、レーダー反射を表す例示的なグラフを示す。

ステップ４０１は、レーダー画像の推定値と、（図３Ｅを参照して説明したような）一組の画像シフト３１７Ｂ、３１９Ｂ、３２１Ｂ、３２３Ｂの推定値とを得るための反復手順を示す。ステップ４０３において、当初の画像を推定し、当初の画像は、レーダー反射３１７と、送信パルス３１５および誤ったアンテナ位置を組み合わせることによって生成されたモデル化測定値との間の差を最小化することによって得られる。たとえば、当初のレーダー画像は、当初のアンテナ位置を用いて、測定データと現在の推定値を用いて合成されたモデル化データとの間の差を最小化する画像の更新を計算することによって、計算されてもよい。次に、１ノルム正則化器および全変動正則化器を適用することによって画像をフィルタリングし、このプロセスを収束するまで繰り返す。

ステップ４０５において、レーダー反射と、送信パルス、当初の画像シフト、およびレーダー画像の推定値から合成されたモデル化測定値との間の差を最小化することによって、一組の画像シフト３２５を推定する。たとえば、ステップ４０３において当初の画像を計算した後、レーダー反射と合成測定値またはモデル化測定値との間の差を最小化することによって図３Ｅのシフトカーネル３２５を更新する。次に、計算した画像シフト３２５を、想定される平均アンテナ位置に従って再び位置合わせして、画像シフトの新しい推定値を生成する。

ステップ４０７において、レーダー反射と、送信パルス、推定画像シフト、およびレーダー画像の推定値から合成されたモデル化測定値との間の差を最小化することによって、レーダー画像の推定値を更新する。ステップ４０９において、一組の画像シフトを推定した後、レーダー画像の推定値が変化しない収束基準に達するまでレーダー画像の推定値を反復的に更新する。ステップ４１１において、関心領域（ＲＯＩ）の収束レーダー画像を出力する。

分散アレイ撮像のような非制御環境で生じる別の基本的な課題は、アンテナのクロックの不確実性に起因する。全地球測位システムおよび全球測位衛星システム（ＧＰＳ／ＧＮＳＳ）ならびに慣性航法システム（ＩＮＳ）のような高度なポジショニングおよびナビゲーションシステムは、ある程度正確なタイミング情報を提供し、タイミングおよび同期アルゴリズムは妥当なコストで精度をさらに向上させることができる。しかしながら、真のクロック誤差の依然として残る不確実性は、送受信アンテナの動作周波数と比較して大きい場合がある。その結果、受信信号は、不正確なクロックタイミングを基準として用いる場合、利得および位相アンビギュイティを含む。したがって、タイミング摂動を考慮せずに標準的な再構成技術を適用すると、焦点が合っていないレーダー画像が生成される。

そのために、画像取得設定推定器モジュール１０１は、少なくとも１つの送信機から送信されてシーンまたは関心領域（ＲＯＩ）３０５内の１つまたはいくつかのターゲットから反射されるパルスのレーダー測定値を収集する少なくとも１つの受信機（３０７、３０９、３１１、および３１３）のクロックの補正を推定するように構成されている。少なくとも１つの受信機のクロックの補正の推定について、図５Ａ～図５Ｃを参照して以下に詳細に説明する。

図５Ａは、例示的な実施形態に係る、分散移動レーダー撮像システムにおける時間シフトを示す概略図である。図５Ａに観察できるように、移動レーダー撮像システム５００は、いくつかの実施形態に係る、ＲＯＩに向かって出力されるレーダーパルスを示す。レーダー受信機は、仮想アレイ５０１を形成するレーダーパルス反射３０７Ａ、３０９Ａ、３１１Ａ、３１３Ａを受信している。このレーダーパルス反射は、送信機からシーン５０３に向かって出力されてシーンから受信機に向かって反射されて受信機の仮想アレイ５０１を形成するレーダーパルスから得られる。移動レーダープラットフォームの分散アレイ３０１は、シーンに向かってレーダーパルスを生成するレーダー送信機３０７に接続されるアンテナセルを有する少なくとも１つのレーダープラットフォームを含む。上述のように、レーダー送信機３０７は受信機３０７と組み合わされる。レーダー受信機３０７、３０９、３１１、３１３は、シーン５０３の関心領域（ＲＯＩ）内のターゲット５０５によって反射された反射を取得する。

いくつかの実施形態では、レーダー受信機３０７、３０９、３１１、３１３はローカルクロック５０７、５０９、５１１、５１３をそれぞれ有し、これらのクロックはグローバルクロックに対して早いかもしれないし遅いかもしれない。これらのローカルクロックを用いて、受信した反射をタイムスタンプする。たとえば、いくつかの実施形態では、タイムスタンプは絶対時間を用いて行われてもよい。いくつかの他の実施形態では、タイムスタンプは、１つ以上の共通合意された開始時間（通常ゼロと呼ばれる）を基準として行われてもよい。いくつかの他の実施形態では、タイムスタンプは、たとえば、一連の記録された信号のサンプルによって、一定の間隔で、記録の開始時間を基準として、暗黙的に行われてもよい。

タイミング誤差を周波数領域における位相誤差としてモデル化し、それをレーダー画像を再構成する前に補正するのとは対照的に、タイミング誤差は、補償を表すシフトカーネル、すなわち１スパースである信号を用いた畳み込みとしてモデル化される。スパース信号とは、その係数の大部分がゼロであり、非ゼロの係数はほとんどない信号である。特に、１スパース信号は、その係数のうちの１つのみが非ゼロであり、残りの係数はすべてゼロに等しい信号である。シフトカーネルは、カーネルが実現する時間遅延または前進の時間インスタンスに非ゼロ係数が位置する１スパース信号である。

図５Ｂおよび図５Ｃは共に、例示的な実施形態に係る、単一のターゲットの反射を測定する際に、各レーダークロックの誤差のために各アンテナの測定時間領域信号に影響を及ぼす歪みを示す。さらに、図５Ｂは、すべてのレーダークロックが完全に同期している理想的な場合の概略図である。送信機／受信機プラットフォーム３０７と受信機専用プラットフォーム３０９、３１１、３１３とで構成される分散アレイ３０１が示されている。送信機アンテナは、単一の反射ターゲット３０３を含むシーンにパルス３１５を送信する。パルスは反射ターゲットによって反射され、その反射３１７がすべての受信プラットフォーム３０７、３０９、３１１、３１３のすべての受信アンテナによって取得される。アンテナ３０７～３１３は、アンテナの分散アレイ３０１を形成する。すべての送信機および受信機のクロックが完全に同期している場合、グローバルタイムｔ_０に従って、各アンテナ３０７、３０９、３１１、３１３によって受信される信号３０７、３０９、３１１、３１３は、送信機アンテナから単一の反射板に至り、そして各受信機に戻る往復距離に従って遅延してスケーリングされたパルスで構成される。

図５Ｃは、本開示の実施形態に係る、クロック誤差を示すとともに、単一のターゲットの反射を測定する一組のアンテナと、同期したクロックを有するとともに、同じターゲットの図５Ｂからシフトされたバージョンを測定する一組のアンテナとの間のマッピングを示す概略図である。さらに、図５Ｃはレーダー測定値における信号モデルの概略図であり、このモデルでは、誤ったクロックを有する単一のターゲットの測定反射が、グローバルタイムに同期しているクロックを有する同じターゲットの時間シフトの測定と同等である。

図５Ｃは、信号が記録されて各受信機のローカルタイムによって３０７ｘ、３０９ｘ、３１１ｘ、３１３ｘとタイムスタンプされる態様を示すことにより、取得データにおけるクロック誤差の影響を実証している。各システムのローカルクロックは５０７、５０９、５１１、５１３であり、実線は、破線のグローバルタイムと比較したローカルタイムを示している。この図の例では、一部のクロックは進むのが遅く（５０７、５１１）、すなわち、グローバルタイムがゼロを過ぎたときに時間０を示す場合があり、または進むのが早く（５０９、５１３）、すなわち、グローバルタイムがまだゼロに達していないときに時間０を示す場合がある。時間シフトに応じて、対応する信号は、すべてのクロックが同期している場合に信号が記録されたであろう場合（点線）と比較して、早くまたは遅く現れるように時間シフトされ得る（実線）。

この例では、送信機／受信機クロック５０７は進むのが遅い。したがって、送信パルス３１５はクロック誤差だけ遅延し、その反射は遅れて受信機に到達する。送信機／受信機プラットフォーム５０７の受信機アンテナは同じクロック誤差を示し、このクロック誤差は、ローカルタイムｔで信号を進めるので、このレコーダ信号３０７ｘの送信の遅延を打ち消す。一方、受信機３０９のクロック５０９はこの例では進むのが早い。したがって、レコーダ信号３０９ｘは、すべてのプラットフォームがグローバルクロックに同期している場合に記録されたであろう信号３０９と比較して、２つのクロックの累積誤差分だけ遅延する。同様に、受信機３１１のクロック５１１は、送信機クロック５０７の誤差よりも小さい量だけ進むのが遅い場合がある。したがって、レコーダ信号３１１ｘは、すべてのプラットフォームがグローバルクロックに同期している場合に記録されたであろう信号３１１と比較して、２つのクロックの誤差の差分だけ遅延する。同様に、受信機３１３のクロック５１３は、送信機クロック５０７の誤差よりも大きい量だけ進むのが早い場合がある。したがって、レコーダ信号３１３ｘは、すべてのプラットフォームがグローバルクロックに同期している場合に記録されたであろう信号３１３と比較して、２つのクロックの誤差の差分だけ進んでいる。

画像取得設定推定器モジュール１０１は、未知の理想信号の時間シフトを見つけることを、未知の理想信号に一致するであろうレーダー測定値の時間シフトを見つけることに転換する。このような問題変換により、未知の時間シフトを、未知の理想信号を生成する未知のシーンから分離することができ、すなわち、未知の時間シフトおよび未知のシーンは方程式の互いに異なる辺にある。こうして、画像取得設定推定器モジュール１０１は、測定値に一致する未知の理想信号の時間シフトを見つけるのではなく、未知の理想信号に一致するであろうレーダー測定値の時間シフトを見つける。

さらに、画像取得設定推定器モジュール１０１は、高速反復収縮閾値化（fast iterative shrinkage thresholding：ＦＩＳＴＡ）アルゴリズムを用いてシーン／ターゲットの画像ｘを得るように構成されている。ＦＩＳＴＡは、勾配ステップの計算、収縮演算子を用いた閾値化、制約セットへの射影、ステップサイズの更新、およびステップサイズに応じた解推定値の更新を反復する。反復のたびに誤差が減少する。このアルゴリズムは、たとえば、誤差が最大許容誤差を下回る、誤差が反復のたびに改善されなくなる、または所定の反復回数に達するなど、停止基準が満たされるまで反復される。
デノイザーモジュールの例：

いくつかの例示的な実施形態では、デノイザーモジュール１０５はＦＦＤＮｅｔを用いて実現される。図６Ａは、例示的な実施形態に係る、ＦＦＤＮｅｔを実現するために用いられる標準的なフィードフォワードネットワークアーキテクチャを示す。このネットワークは、同じ構造を共有するＤ個の畳み込み層からなる。これらの各々はＷ個の出力を有し、それらのカーネルの空間サイズはＫ×Ｋである。ＦＦＤＮｅｔベースのデノイザーは、ノイズのある画像Ｉを入力として受信し、ノイズのある画像Ｉは、画像取得インバータモジュール１０３によって生成されるノイズのある画像ｚに対応し得る。ＦＦＤＮｅｔデノイザーの出力は、デノイザー画像Ｉ_ｏである。

各畳み込み層の入力は、空間サイズが深度とともに減少しないように、（Ｋ－１／２）だけゼロパディングされる。ストライドはすべての場合において１に設定される。

最後に、後処理層６０５において、層Ｆ^Ｄ＋１は、Ｆ^Ｄの低解像度出力をアップサンプリングして元の解像度に戻す。すなわち、層Ｆ^Ｄ＋１は、式（２０）を逆にすることによって、寸法４ｎ_ｃｈ×ｈ／２×ｗ／２のその入力をサイズｎ_ｃｈ×ｈ×ｗの画像に再パックする。層の総数はＤ＋２に等しく、Ｄは畳み込み層の数である。畳み込みカーネルの空間サイズＫは３に等しい。一実施形態では、ＦＦＤＮｅｔを用いてデノイザーモジュール１０５を実現する。これは、ＦＦＤＮｅｔは、他の既存のニューラルネットワークデノイザーとは対照的に、速い実行時間および小さいメモリフットプリント、ならびに単一のネットワークモデルで広範囲のノイズレベルに対処する能力など、いくつかの望ましい性質を示すからである。ＦＦＤＮｅｔは、そのノイズ除去性能と低い計算負荷との組み合わせにより、実際のノイズ除去アプリケーションにとって魅力的である。

いくつかの例示的な実施形態では、デノイザーモジュール１０５はノイズ推定器モジュール１０７に取り付けられてもよい。図６Ａは、ノイズのある入力画像を用いて、ノイズ推定器モジュール１０７を使用してノイズレベルマップ６０６を判定することができる方法を示す。ノイズレベルマップ６０６は、ＦＦＤＮｅｔ構造を有するデノイザーモジュール１０５にも入力される。

いくつかの実施形態では、ＮＬＥモジュール１０７は、サイズ３×３の各層に２４個のフィルタを有する２つの２Ｄ畳み込み層６０４と、ＲｅＬＵ活性化関数とから形成される。ＮＬＥモジュール１０７の出力は、ＦＦＤＮｅｔデノイザー１０５に入力されるノイズ標準偏差６０６を生成する。

いくつかの例示的な実施形態では、ノイズレベル推定器（ＮＬＥ）モジュール１０７は、ブロックベースのノイズレベル推定アルゴリズムを用いて実現されてもよい。このアルゴリズムは、特異値分解（ＳＶＤ）領域においてより複雑な信号分析を実行するために人工ニューラルネットワーク（ＡＮＮ）に依存する。さらに、このアルゴリズムは、観測されたノイズレベルに関する有効な特異値テール長を調整する能力を示す。図６Ｃは、例示的な実施形態に係る、特異値分解（ＳＶＤ）領域におけるノイズレベル推定器モジュール１０７の実現例を示す。図６Ｃに観察できるように、ノイズのある画像ＩがＮＬＥモジュール１０７への入力として与えられる。画像Ｉは、未知のノイズ源σによって破損している。

式中、パラメータαは、ある範囲のノイズレベルにわたる平均Ｐ（Ｍ）個の値の分布を記述する線形関数の傾きを定義する。
典型的な訓練：

図６Ｄは、いくつかの実施形態に係る、展開されたＰＱＮＭ－ＰｎＰの微調整訓練段階の一例を示す。一実施形態では、ＰＱＮＭ－ＰｎＰアルゴリズムがＴ回の反復（たとえばＴ＝１０）にわたって展開された後、ＮＬＥモジュール１０７の反復ｔにおける微調整は、ＮＬＥモジュール１０７のみが更新され、かつＦＦＤＮｅｔデノイザーモジュール１０５の最後の３層６０３ｂも更新されるように、訓練される。最初のＤ－３個の層６０３ａは訓練前段階から変化しないままである。
典型的な実現例：

図７は、いくつかの実施形態に係る、画像処理システム１００のブロック図である。画像処理システム１００は、システム１００を他のシステムおよびデバイスに接続するいくつかのインターフェイスを有し得る。ネットワークインターフェイスコントローラ７０１は、画像処理システム１００をセンシングデバイスに接続するネットワーク７０５に、システム１００をバス７０３を通して接続するよう適合されている。たとえば、レーダーシステム１００は、レーダーパルスを出力するように送信機７０９に命令するように構成された送信機インターフェイス７０７を含む。システム１００は、受信機７１３に接続された受信機インターフェイス７１１を用いて、送信パルスに対応するシーンの反射を受信することができる。いくつかの実現例では、画像処理システム１００は、シーンの画像の測定値７１５を受信する。いくつかの実施形態では、この測定値は、送信機７０９によってネットワーク７０５を通してシーンに送信されたレーダーパルスの反射の測定値であるレーダー測定値であってよい。

画像処理システム１００は、再構成画像７２７をレンダリングするように構成された出力インターフェイス７１７を含む。たとえば、出力インターフェイス７１７は、再構成画像７２７をディスプレイデバイスに表示することができ、画像７２７を記憶媒体に格納することができ、および／または画像７２７をネットワーク７０５を通して送信することができる。たとえば、システム１００は、システム１００を特にコンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスなどのディスプレイデバイスに接続するように適合されたディスプレイインターフェイスに、バス７０３を通してリンクさせることができる。また、システム１００は、システム１００をさまざまなタスクを実行するための機器に接続するように適合されたアプリケーションインターフェイスに接続することができる。

いくつかの実現例では、画像処理システム１００は、タイミングアンビギュイティまたは位置アンビギュイティを有する一組のアンテナから収集されたシーンの画像の測定値を受信する入力インターフェイスを含む。入力インターフェイスの例は、ネットワークインターフェイスコントローラ（ＮＩＣ）７０１、受信機インターフェイス７１１、およびヒューマンマシンインターフェイス７１９を含む。システム１００内のヒューマンマシンインターフェイス７１９は、システムをキーボード７１９ａおよびポインティングデバイス７１９ｂに接続し、ポインティングデバイス７１９ｂは、特に、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、またはタッチスクリーンを含み得る。

システム１００は、格納命令７２３を実行するように構成されたプロセッサ７２１と、プロセッサ７２１によって実行可能な命令を格納するメモリ７２５とを含む。プロセッサ７２１は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であってもよい。メモリ７２５は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の適切なメモリシステムを含み得る。プロセッサ７２１は、バス７０３を通して１つ以上の入力および／または出力（Ｉ／Ｏ）デバイスに接続することができる。

命令は、線形逆問題を解くことによってシーンの画像を判定または再構成する方法を実現することができる。そのために、命令は、設定データに基づいて画像取得設定のフォワード演算子を推定するように構成された画像取得設定推定器モジュール１０１と、推定されたフォワード演算子が画像の測定値に与える影響を反転させ、さらに、フォワード演算子で反転させた測定値と一致するようにシーンの画像の以前の推定値を修正して、シーンの現在のノイズのある画像を生成するように構成された画像取得インバータモジュール１０３と、デノイザーモジュール１０５とを含み、デノイザーモジュール１０５は、既知のノイズレベルの影響を受けるデノイザーに提供されたノイズのある画像からノイズを除去するように構成されており、命令はさらに、ノイズレベル推定器モジュール１０７を含み、ノイズレベル推定器モジュール１０７は、ノイズレベル推定器に提供された入力画像のノイズレベルを推定するように構成されている。

以下の説明は、具体例としての実施形態のみを提供し、開示の範囲、適用可能性、または構成を限定することを意図していない。むしろ、具体例としての実施形態の以下の説明は、具体例としての１つ以上の実施形態の実現を可能にする説明を当業者に提供するであろう。添付の請求項に記載されている開示された主題の精神および範囲から逸脱することなく要素の機能および構成に対してなされ得る各種変更が意図されている。

具体的な詳細事項は、上記説明において、実施形態の十分な理解を得るために与えられている。しかしながら、これらの具体的な詳細事項がなくても実施形態を実行できることを、当業者は理解できる。たとえば、開示された主題におけるシステム、プロセス、および他の要素は、実施形態を不必要な詳細で不明瞭にしないために、ブロック図の形態で構成要素として示される場合もある。他の例では、実施形態を不明瞭にしないよう、周知のプロセス、構造、および技術は、不必要な詳細事項を伴わずに示されることがある。さらに、各種図面における同様の参照番号および名称は同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明される場合がある。フローチャートは動作を逐次プロセスとして説明する場合があるが、動作の多くは並列にまたは同時に実行することができる。加えて、動作の順序は並べ替えてもよい。プロセスは、その動作が完了したときに終了されてもよいが、論じられていないかまたは図に含まれていない追加のステップを有する場合がある。さらに、具体的に記載されている何らかのプロセスにおけるすべての動作がすべての実施形態に起こり得る訳ではない。プロセスは、方法、関数、手順、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応する場合、関数の終了は、呼び出し関数または主関数に関数を戻すことに対応し得る。

さらに、開示されている主題の実施形態は、少なくとも一部が、手作業または自動のいずれかで実現されてもよい。手作業または自動の実現は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその任意の組み合わせを通じて、実行されてもよく、または、少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、マシン読取可能媒体に格納されてもよい。プロセッサ（複数のプロセッサ）が必要なタスクを実行してもよい。

本開示の実施形態は、位置アンビギュイティを許可することによるコヒーレント分散レーダー撮像と、複数のセンサを用いた分散センシングによる単一センサアレイのオートフォーカス方式とを含む。特に、１つの送信／受信レーダープラットフォームおよび複数の受信レーダープラットフォームが、位置摂動を伴って関心領域（ＲＯＩ）に向かって移動しているマルチスタティックレーダー撮像アプローチである。本開示の実施形態は、ＲＯＩ内のターゲットを検出する。不正確な位置決めおよび運動誤差のために、実際のアレイ位置は最大で中心レーダー波長の数倍まで摂動される。各センサアレイの画像解像度は、その開口サイズが小さいので低い場合があるが、位置誤差が十分に補償されたすべての分散アレイの出力を共同で処理することによって高解像度画像を形成することができる。本開示の実施形態は、スパースシーンを想定しており、位置により引き起こされた位相誤差の補償、ターゲットシグネチャの利用、およびアンテナ位置の推定のための一連の最適化問題を解くことによって反復的に実現される。

また、本開示の実施形態は、単一の移動送信レーダープラットフォームまたは送信機／受信機の組み合わせを空間的に分散した複数の移動レーダー受信機プラットフォームまたは受信機とともに用いて、関心エリアに位置するターゲットのレーダー画像を生成するためのオートフォーカスレーダー撮像を提供する。移動レーダー受信機は、未知の位置誤差によって最大で数レーダー波長まで摂動される。

本明細書で概要を述べた各種方法またはプロセスは、さまざまなオペレーティングシステムまたはプラットフォームのうちのいずれか１つを採用した１つ以上のプロセッサ上で実行可能なソフトウェアとして符号化されてもよい。加えて、このようなソフトウェアは、複数の適切なプログラミング言語および／またはプログラミングもしくはスクリプトツールのうちのいずれかを用いて記述されてもよく、また、フレームワークもしくは仮想マシン上で実行される、実行可能な機械言語コードまたは中間符号としてコンパイルされてもよい。典型的に、プログラムモジュールの機能は、各種実施形態において所望される通りに組み合わせても分散させてもよい。

また、本発明の実施形態は方法として実施されてもよく、その一例が提供されている。この方法の一部として実行される動作の順序は任意の適切なやり方で決定されてもよい。したがって、実施形態は、例示されている順序と異なる順序で動作が実行されるように構成されてもよく、これは、いくつかの動作を、例示の実施形態では一連の動作として示されているが、同時に実行することを含み得る。さらに、請求項において請求項の要素を修飾するための「第１」、「第２」等の順序を示す用語の使用は、それ自体が、請求項のある要素の、別の要素に対する優先、先行、または順序を、またはある方法の行為が実行される時間的順序を、暗示するものではなく、クレームの要素を区別するために、特定の名称を有する請求項のある要素を（順序を示す用語の使用を別にして）同一の名称を有する別の要素と区別するためのラベルとして使用されているに過ぎない。

本開示をいくつかの好ましい実施形態を用いて説明してきたが、その他さまざまな適合化および修正を本開示の精神および範囲の中で実施できることが理解されねばならない。したがって、本開示の真の精神および範囲に含まれるこのような変形および修正形をすべてカバーすることが以下の請求項の局面である。

Claims (15)

1. シーンの画像を判定するための画像処理システムであって、
   画像取得設定の下で取得された前記シーンの測定値と、前記画像取得設定を示す設定データとを受け付けるように構成された入力インターフェイスと、
   前記システムのモジュールを実現する命令を格納するように構成されたメモリとを備え、前記モジュールは、
   前記設定データに基づいて前記画像取得設定のフォワード演算子を推定するように構成された画像取得設定推定器モジュールと、
   前記フォワード演算子で反転させた前記測定値と一致するように前記シーンの前記画像の以前の推定値を修正して、前記シーンの現在のノイズのある画像を生成するように構成された画像取得インバータモジュールと、
   デノイザーモジュールとを含み、前記デノイザーモジュールは、既知のノイズレベルの影響を受ける前記デノイザーモジュールに提供されたノイズのある画像からノイズを除去するように構成され、前記モジュールはさらに、
   ノイズレベル推定器モジュールを含み、前記ノイズレベル推定器モジュールは、前記ノイズレベル推定器モジュールに提供された入力画像のノイズレベルを推定するように構成され、前記画像処理システムはさらに、
   前記メモリに結合されたプロセッサを備え、前記プロセッサは、
   前記画像取得設定推定器モジュールを実行して、前記設定データを用いて前記フォワード演算子を推定し、
   終了条件が満たされるまで前記シーンの前記画像を再帰的に推定するように構成され、現在の反復について、前記プロセッサは、（１）推定された前記フォワード演算子と、以前の反復時に推定された前記シーンの前記画像の前記以前の推定値とを用いて前記画像取得インバータモジュールを実行して、前記現在のノイズのある画像を生成し、（２）前記画像の前記以前の推定値を用いて前記ノイズレベル推定器モジュールを実行して、現在のノイズレベルを生成し、（３）前記デノイザーを実行して、前記現在のノイズのある画像から前記現在のノイズレベルを除去して現在の画像を生成し、前記画像処理システムはさらに、
   前記シーンの前記画像を出力するように構成された出力インターフェイスを備える、画像処理システム。
2. 前記画像取得インバータモジュールは、距離関数のスケーリングされた勾配更新を加えることによって前記シーンの前記画像の前記以前の推定値を修正するように構成されたソルバーである、請求項１に記載の画像処理システム。
3. 前記距離関数は、前記画像の前記測定値と前記画像の合成測定値との間の誤差を定量化する、請求項２に記載の画像処理システム。
4. 前記合成測定値は、前記フォワード演算子と前記シーンの前記以前の推定値とを乗算することによって得られる、請求項３に記載の画像処理システム。
5. 前記画像取得設定推定器モジュールは、焦点が合っていない取得または前記シーンの前記画像を取得するカメラの動きに起因するブラーカーネルを推定するようにさらに構成されている、請求項１に記載の画像処理システム。
6. 前記画像取得設定推定器モジュールは一組の送信機および一組の受信機と通信している、請求項１に記載の画像処理システム。
7. 前記画像取得設定推定器モジュールは、前記一組の送信機のうちの少なくとも１つの送信機から送信されて前記シーン内の１つまたはいくつかのターゲットから反射されるパルスの測定値を収集する、前記一組の受信機のうちの少なくとも１つの受信機の位置の補正を推定するように構成されている、請求項６に記載の画像処理システム。
8. 前記画像取得設定推定器モジュールは、前記一組の送信機のうちの少なくとも１つの送信機から送信され、かつ、前記少なくとも１つの送信機と同期していない少なくとも１つの受信機によって受信される基準照射パルスのタイミングの補正を推定するようにさらに構成されている、請求項６に記載の画像処理システム。
9. 前記デノイザーモジュールは、ＦＦＤＮｅｔニューラルネットワークまたはＵ－Ｎｅｔニューラルネットワークの少なくとも一方である、請求項１に記載の画像処理システム。
10. 前記デノイザーモジュールは、異なるレベルのノイズを有するノイズのある画像で訓練される、請求項９に記載の画像処理システム。
11. 前記ノイズレベル推定器モジュールは、事前訓練された前記デノイザーモジュールで訓練される畳み込みニューラルネットワークである、請求項１に記載の画像処理システム。
12. シーンの画像を判定する方法であって、前記方法は、前記方法を実現する格納命令に結合されたプロセッサを使用し、前記命令は前記プロセッサによって実行されると前記方法のステップを実行し、前記方法は、
    入力インターフェイスが、画像取得設定の下で取得された前記シーンの前記画像の測定値と、前記画像取得設定を示す設定データとを受け付けるステップと、
    画像取得設定推定器モジュールが、前記設定データに基づいて前記画像取得設定のフォワード演算子を推定するステップと、
    画像取得インバータモジュールが、推定された前記フォワード演算子で反転させた前記測定値と一致するように前記シーンの前記画像の以前の推定値を修正して、前記シーンの現在のノイズのある画像を生成するステップと、
    デノイザーモジュールが、既知のノイズレベルの影響を受ける前記デノイザーモジュールに提供されたノイズのある画像からノイズを除去するステップと、
    ノイズレベル推定器（ＮＬＥ）モジュールが、前記ＮＬＥモジュールに提供された入力画像に存在するノイズレベルを推定するステップと、
    終了条件が満たされるまで前記シーンの前記画像を再帰的に推定するステップであって、現在の反復について、（１）推定された前記フォワード演算子と、以前の反復時に推定された前記シーンの前記画像の前記以前の推定値とを用いて前記画像取得インバータモジュールを実行して、前記現在のノイズのある画像を生成し、（２）前記画像の前記以前の推定値を用いて前記ノイズレベル推定器モジュールを実行して、現在のノイズレベルを生成し、（３）前記デノイザーを実行して、前記現在のノイズのある画像から前記現在のノイズレベルを除去して現在の画像を生成するステップと、
    出力インターフェイスが、前記シーンの前記画像を出力するステップとを備える、方法。
13. 前記シーンの前記画像の前記以前の推定値を修正することは、距離関数のスケーリングされた勾配更新を加えることによって前記画像の前記以前の推定値を修正することを含む、請求項１２に記載の方法。
14. 前記距離関数は、前記画像の前記測定値と前記画像の合成測定値との間の誤差を定量化する、請求項１３に記載の方法。
15. 前記合成測定値は、前記フォワード演算子と前記シーンの前記以前の推定値とを乗算することによって得られる、請求項１４に記載の方法。

Images