JP2018206371A - コンピューター実施画像再構成システムおよび画像再構成方法 - Google Patents

コンピューター実施画像再構成システムおよび画像再構成方法 Download PDF

Info

Publication number
JP2018206371A
JP2018206371A JP2018094026A JP2018094026A JP2018206371A JP 2018206371 A JP2018206371 A JP 2018206371A JP 2018094026 A JP2018094026 A JP 2018094026A JP 2018094026 A JP2018094026 A JP 2018094026A JP 2018206371 A JP2018206371 A JP 2018206371A
Authority
JP
Japan
Prior art keywords
image
scene
senn
image reconstruction
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018094026A
Other languages
English (en)
Other versions
JP2018206371A5 (ja
Inventor
ウルグベック・カミロフ
Kamilov Ulugbek
ハッサン・マンソール
Mansour Hassan
デホン・リウ
Dehong Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2018206371A publication Critical patent/JP2018206371A/ja
Publication of JP2018206371A5 publication Critical patent/JP2018206371A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】ニューラルネットワークを用いた画像再構成システム及び画像再構成方法を提供する。
【解決手段】コンピューター実施画像再構成システムは、シーンの測定値を受信する入力インターフェースと、層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリと、ＮＮを用いて測定値を処理して、シーンの画像を再構成するプロセッサと、シーンの再構成画像をレンダリングする出力インターフェースと、を備える。メモリはＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージをＮＮの別のノードに伝播し、非線形関数は、到着メッセージが閾値を越えている場合に到着メッセージの大きさを制限する双対射影関数であり、ＮＮは、シーンの測定値からシーンの画像を再構成するようにトレーニングされる。
【選択図】図１Ａ

Description

本開示は、包括的には、画像再構成に関し、より詳細には、ニューラルネットワークを用いた画像再構成に関する。
信号処理において、再構成は、通常、測定値のシーケンスから元の連続信号を求めることを意味する。例えば、画像再構成は、シーンの測定値からシーンの画像を数値的に再構成するツールを開発する。撮像機器によって提供される物理測定値の数は、多くの場合、ハードウェア制約に起因して制限される。画像再構成は、測定値の総数が画像内のピクセル／ボクセルの数を下回る場合を検討する。これによって、画像再構成は、測定値が未知数よりも少ない劣決定問題となる。したがって、画像再構成は不良設定逆問題である。反復再構成法及びフィルター逆投影法等の幾つかの方法が、この問題に対処するために開発されてきた。
反復再構成法は、幾つかの特定の撮像技法において２Ｄ画像及び３Ｄ画像を再構成するのに用いられる反復方法を指す。これらの反復再構成技法は、通常、単一の再構成ステップにおいて画像を直接計算する一般的なフィルター逆投影法のより良好な代替手段ではあるが、計算的により高価な代替手段である。今日の高速計算及び超並列性によって、反復再構成は、より実用的になっているが、依然として、フォワード演算子及び共役演算子の高い計算コストと、ハイパーパラメーター選択の難しさとを含む要因に起因して展開するのが困難である。
したがって、シーンの測定からの信号、例えばシーンの画像、の再構成を行うニューラルネットワークが必要とされている。
本開示の実施の形態は、画像再構成システム及び画像再構成方法を提供し、より詳細には、ニューラルネットワークを用いた画像再構成システム及び画像再構成方法を提供する。
本開示は、ダイナミカル（dynamical：動的）システムから発信されるセンサーデータをモデル化及び理解する手法の開発及び改良を更に目指している。非限定的な例として、ダイナミカルシステムは、気流検知、複合媒体における材料特性検知、並びにビデオセグメンテーション及びビデオトラッキングを含むことができる。本開示の少なくとも１つの面（aspect）は、とりわけそのようなシステムの動的挙動を利用することによって、それらのシステムの検知能力を更に改良することを含む。
最初に、本発明者らは、撮像機器によって収集された物理的測定値を用いて実験を行うことを開始し、そのような手法がハードウェア制約に起因して制限を受けることを知得した。これらのハードウェア制約は、画像再構成を、未知数よりも少ない測定値を有する劣決定問題にするものであり、本発明者らは、画像再構成が不良設定逆問題であることを更に知得した。逆問題は、測定値が画像を一意に表すのに十分でなく、画像に対する追加の制約が必要とされるときに不良設定となる。
本開示の実施の形態は、シーンの測定値から信号の再構成を行うことにニューラルネットワーク（ＮＮ）を用いることができるという認識に基づいている。信号は、シーンの画像からのものである。例えば、少数のトレーニング例を用いて、スパースである信号ｘのクラスの表現を見つける本開示のＮＮは、測定値ｙから信号ｘを生成することができる。本明細書において言及されるように、画像は、少なくとも２次元信号、３次元信号等とすることができる。
具体的には、本発明者らは、本開示の画像再構成方法が、特定の制約を再構成に導入することによって、画像において冗長性を用いることができるということを認識した。一方、本発明者らは、画像の全変動（ＴＶ）又はウェーブレット正規化等の画像のスパース性のモダリティ固有の事前知識を用いることによって、そのような制約を事前に決定することができることを認識した。本発明者らは、測定値自体からそれらの制約を学習することが有益であり得ることを更に認識した。なぜならば、データ駆動型の制約は、画像再構成の精度を高めることができるからである。
さらに、本開示の実施の形態は、特定の画像に対するスパース性制約を学習するように畳み込みニューラルネットワーク（ＣＮＮ）等のニューラルネットワーク（ＮＮ）をトレーニングすることができるという認識に基づいている。その上、それらのスパース性制約を用いる画像再構成も、ＮＮを用いて実行することができる。したがって、理論的には、双方のニューラルネットワークを接続して、エンドツーエンド形式にて合同でトレーニングすることができる共通の二重目的のニューラルネットワークにすることができる。しかしながら、実際には、本発明者らは、スパース性制約を求めるタスクと、画像再構成のスパース性制約を実施するタスクとを同時に実行するそのような共通のネットワークを設計することは困難であることが判明していることを知得している。これが困難であることの少なくとも１つの理由は、本発明者らは、ニューラルネットワーク（ＮＮ）を追加の処理ステップと組み合わせると、エンドツーエンド形式にてトレーニングされるＮＮの能力を活用することが妨げられる可能性があることを、実験を通じて知得したからである。このＮＮの能力は、画像再構成のプロセス全体のデータ駆動型の解を生成するとともにストリームライン化を提供することができるというものである。換言すれば、ニューラルネットワーク（ＮＮ）をトレーニング等の追加の処理ステップと組み合わせると、本発明者らは、今日のアプリケーションにおける使用に実用化するには、過度に多くの計算リソース及び時間リソースを要することに気付いた。
これらの難題を克服するために、本発明者らは、実験を更に行い、ニューラルネットワークについてより多くを知得する必要があった。本発明者らが知得したものの幾つかをここに示すと、例えば、ニューラルネットワークは、生物学的なニューラルネットワークによってインスパイアされたモデルのファミリーであり、多数の入力に依存することができ、一般に未知である関数を推定又は近似するのに用いられる。ニューラルネットワークは、互いの間でメッセージを交換する相互接続されたノード又は「ニューロン」のシステムとして一般に提示される。各ノードは、メッセージを変換する関数に関連付けられている。この関数は、通常、非線形であり、メッセージ変換の非線形部分を形成する。ノード間の各接続は、メッセージをスケーリングする数値重みに関連付けられ、メッセージ変換の線形部分を形成する。通常、関数は、全てのノードについて固定され、事前に求められ、例えば、ニューラルネットワークの設計者によって選択される。通常、ノードについて選択される関数の例には、シグモイド関数（sigmoid function）及び整流関数（rectifier function）が含まれる。本発明者らは、ニューラルネットワークによって再構成された画像とグランドトゥルース画像（ground truth image）との間の相違を削減するようにニューラルネットワークをトレーニングすることができることを更に知得した。一方、問題の不良設定性は、測定値に適合する可能性がある画像が無限個あることを意味するが、本開示の解の一意性の少なくとも１つの面（aspect）は、スパース性を用いて実施されている。
そのために、本発明者らは、ニューラルネットワークが、例えば、変換領域において再構成画像に対して一般的なスパース性を実施する場合に、そのような実施は、まず、特定のスパース性制約を学習し、次に、学習されたスパース性制約を画像再構成中に実施することに類似しているとみなすことができることを認識した。したがって、本発明者らは、二重目的のニューラルネットワークを、測定値から適した変換領域においてスパース画像を再構成する単一タスクを有するスパース性実施ニューラルネットワーク（ＳＥＮＮ）と取り替えることができることを認識した。
本開示は、シグモイド関数及び整流関数等のニューラルネットワークによって用いられる関数を、種々のアプリケーションに対するそれらの柔軟性及び適応性を得るために用いることができるという別の認識にも基づいている。しかしながら、それらの関数は、スパース性を再構成画像に対して実施することには不適当である。そのために、本開示の幾つかの実施の形態は、シグモイド関数及び整流関数を、スパース性実施に対して、より適している異なる非線形関数と取り替える。
例えば、１つの実施の形態は、ニューラルネットワークの少なくとも幾つかのノードを、入力信号が閾値を越えている場合にその信号を制限する非線形双対射影関数（non-linear dual-projection function）に関連付ける。この特定の実施の形態は、双対射影関数が再構成画像に対してスパース性を実施するという認識に基づいている。双対射影関数は、ｐ＜２を有する或るＬｐベクトルノルムの双対ノルム（dual norm）上への射影に対応する。Ｎ個の要素のベクトルｘの場合、Ｌｐベクトルノルムは、下式のように定義される。
Figure 2018206371
 ｐ＜２を有するＬｐノルムは、双対射影関数をＮＮ又はＣＮＮに組み込むことによって、ベクトルにおいてスパース性を数学的に実施するので、本発明者らは、スパース性制約を画像に直接課している。
したがって、本開示の１つの実施の形態は、複数の層を通じてメッセージを伝播するノードの当該層によって形成されたスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いて、シーンの測定値からシーンの画像を再構成する。ニューラルネットワークの少なくとも１つのノードは、スパース性実施非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、この送出メッセージを別のノードに伝播する。幾つかの実施の形態では、非線形関数は、信号が閾値を越えている場合にその信号の入力の量を制限する双対射影関数である。そのような双対射影関数の例は、Ｌｐの双対を含むことができる。ここで、ｐ≧１である。
本発明者らは、バックプロパゲーションを用いて実際の勾配を計算することによって、或る形式の勾配降下法を用いることができる人工ニューラルネットワークをトレーニングすることにニューラルネットワーク手法を用いることを考察した。これは、ネットワークパラメーターに関してコスト関数の導関数を取り、次に、勾配関連方向においてそれらのパラメーターを変更することによって行うことができる。
一方、本発明者らは、ＳＥＮＮのノードの特殊化された機能に起因して、重みも特殊な方法で更新されるべきであるという別の認識を発見した。そのために、本開示の幾つかの実施の形態は、スパース性実施エラーバックプロパゲーションを用いて、ＳＥＮＮの少なくとも幾つかの重みをトレーニングする。スパース性実施エラーバックプロパゲーションは、ＳＥＮＮの特定の構造を考慮することによって導出される。
幾つかの実施の形態は、画像のスパース性がシーンの測定値を入手するセンサーのタイプに依存するという認識に基づいている。具体的には、雑音を有する測定値ｙ∈ＲＮから未知の画像ｘ∈ＲＮを回復することを目的とする撮像逆問題ｙ＝Ｈｘ＋ｅにおいて、観測行列Ｈ∈ＲＭ×Ｎは既知であり、センサー、すなわち、測定値を入手するタイプのセンサーの応答をモデル化する一方、ベクトルｅ∈ＲＭは、測定値における未知の雑音を表す。
幾つかの実施の形態は、観測行列Ｈが画像を測定値に線形形式で関係付け、したがって、ノードの重みとしてＳＥＮＮに直接含めることができるという認識に基づいている。そのために、幾つかの実施の形態は、少なくともいくつかのノードを観測行列の値に関連付ける。例えば、観測行列に関連付けられたそれらの重みの値はＩ−γＨＴＨであり、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは観測行列の転置行列を示す。
１つの実施の形態では、ＳＥＮＮのトレーニング中、観測行列に関連付けられた重みは変更されない。すなわち、一定のままである。この実施の形態は、ＳＥＮＮにおけるセンサーのタイプを直接反映する。非限定的な例として、本開示とともに用いることができるセンサーのタイプのうちの幾つかは、光学センサー、ライダー（LIDAR）、及びレーダーを含むことができる。代替の実施の形態は、観測行列の値を示す値を用いて重みを初期化するが、トレーニング中にそれらの値の更新を可能にしている。この実施の形態は、センサーの較正パラメーターが動作中に変化する場合があり、これは、追加のトレーニングによって考慮することができるという理解に基づいている。
幾つかの実施の形態は、画像のスパース性が、異なるタイプのシーン間で変動するという認識に基づいている。例えば、顔の画像におけるスパース性は、建物の画像におけるスパース性と異なる。そのために、幾つかの実施の形態は、種々のタイプの画像の種々のニューラルネットワークをトレーニングする。それらの実施の形態によって、測定されたシーンのタイプに基づいてニューラルネットワークを選択して、画像再構成を改良することが可能になる。上記実施の形態のうちの幾つかの少なくとも１つの面（aspect）は、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であるＮＮを含むことができる。
本開示の少なくとも１つの実施の形態は、シーンの測定値を受信する入力インターフェースを備えるコンピューター実施画像再構成システムを含む。層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリ。前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播する。前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさ（amplitude：振幅）を制限する双対射影関数である。前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようトレーニングされるようになっている。前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成するプロセッサ。最後に、前記シーンの前記再構成画像をレンダリングする出力インターフェース。
本開示の別の実施の形態によれば、画像再構成の方法。該方法は、層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリに結合されたプロセッサを用いる。前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播する。さらに、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさを制限する双対射影関数である。前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされるようになっており、前記プロセッサは、該方法を実施する記憶された命令と結合される。前記命令は、前記プロセッサによって実行されると、該方法の少なくとも幾つかのステップを実行する。該方法は、シーンの測定値を受信することを含む。前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成することと、前記シーンの前記再構成画像をレンダリングすること。
本開示の別の実施の形態によれば、方法を実行するプロセッサによって実行可能なプログラムが具現化された非一時的コンピューター可読記憶媒体。シーンの測定値を受信することを含む方法。ニューラルネットワーク（ＮＮ）を用いて前記測定値を処理して、前記シーンの前記画像を変換及び再構成すること、前記ＮＮは、層を通じてメッセージを伝播するノードの該層によって形成される。前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播する。前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさを制限する双対射影関数であるようになっている。さらに、前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされ、次に、前記シーンの前記再構成画像をレンダリングすること。
更なる特徴及び利点は、以下の詳細な説明を添付図面とともに取り入れると、この詳細な説明からより容易に明らかになる。
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
本開示の幾つかの実施形態によるスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いた画像再構成システムのブロック図である。 本開示の幾つかの実施形態によるＳＥＮＮを用いた画像再構成の概略図である。 本開示の１つの実施形態によるＳＥＮＮを用いた画像再構成のコンピューター実施方法のブロック図である。 本開示の１つの実施形態によるＳＥＮＮの概略図である。 本開示の１つの実施形態によるＳＥＮＮを実施する擬似コードである。 本開示の１つの実施形態によるソフト閾値（SoftThreshold）関数の概略図である。 本開示の１つの実施形態によるＳＥＮＮを用いた画像再構成の態様のブロック図である。 本開示の実施形態による、物体の動作を検出する少なくとも１つの方法及びシステムの概略図である。 本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実施することができる図１Ａの方法を示すブロック図である。 本開示の１つの実施形態によるスパース性実施エラーバックプロパゲーションを実施する擬似コードである。
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、よく知られたプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼び出し側関数又はメイン関数へのその機能の復帰に対応することができる。
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、マシン可読媒体に記憶することができる。プロセッサ（複数の場合もある）が、それらの必要なタスクを実行することができる。
概略
本開示の実施形態は、ニューラルネットワークを用いた画像再構成のためにシステム及び方法を提供する。
本開示は、シーンの測定値から信号の再構成を行うことにニューラルネットワーク（ＮＮ）を用いることができるという認識に基づいている。信号は、シーンの画像からのものである。例えば、少数のトレーニング例を用いて、スパースである信号ｘのクラスの表現を見つける本開示のＮＮは、測定値ｙから信号ｘを生成することができる。本明細書において言及されるように、画像は、少なくとも２次元信号である。
具体的には、本発明者らは、本開示の画像再構成方法が、特定の制約を再構成に導入することによって、画像において冗長性を用いることができるということを認識した。一方、本発明者らは、画像の全変動（ＴＶ）又はウェーブレット正規化等の画像のスパース性のモダリティ固有の事前知識を用いることによって、そのような制約を事前に決定することができることを認識した。本発明者らは、測定値自体からそれらの制約を学習することが有益であり得ることを更に認識した。なぜならば、データ駆動型の制約は、画像再構成の精度を高めることができるからである。
さらに、本開示の実施形態は、特定の画像に対するスパース性制約を学習するように畳み込みニューラルネットワーク（ＣＮＮ）等のニューラルネットワーク（ＮＮ）をトレーニングすることができるという認識に基づいている。その上、それらのスパース性制約を用いる画像再構成も、ＮＮを用いて実行することができる。したがって、理論的には、双方のニューラルネットワークを接続して、エンドツーエンド形式にて合同でトレーニングすることができる共通の二重目的のニューラルネットワークにすることができる。しかしながら、実際には、本発明者らは、スパース性制約を求めるタスクと、画像再構成のスパース性制約を実施するタスクとを同時に実行するそのような共通のネットワークを設計することは困難であることが判明していることを知得している。これが困難であることの少なくとも１つの理由は、本発明者らは、ニューラルネットワーク（ＮＮ）を追加の処理ステップと組み合わせると、エンドツーエンド形式にてトレーニングされるＮＮの能力を活用することが妨げられる可能性があることを、実験を通じて知得したからである。このＮＮの能力は、画像再構成のプロセス全体のデータ駆動型の解を生成するとともにストリームライン化を提供することができるというものである。換言すれば、ニューラルネットワーク（ＮＮ）をトレーニング等の追加の処理ステップと組み合わせると、本発明者らは、今日のアプリケーションにおける使用に実用化するには、過度に多くの計算リソース及び時間リソースを要することに気付いた。
これらの難題を克服するために、本発明者らは、実験を更に行い、ニューラルネットワークについてより多くを知得する必要があった。本発明者らが知得したものの幾つかをここに示すと、例えば、ニューラルネットワークは、生物学的なニューラルネットワークによってインスパイアされたモデルのファミリーであり、多数の入力に依存することができ、一般に未知である関数を推定又は近似するのに用いられる。ニューラルネットワークは、互いの間でメッセージを交換する相互接続されたノード又は「ニューロン」のシステムとして一般に提示される。各ノードは、メッセージを変換する関数に関連付けられている。この関数は、通常、非線形であり、メッセージ変換の非線形部分を形成する。ノード間の各接続は、メッセージをスケーリングする数値重みに関連付けられ、メッセージ変換の線形部分を形成する。通常、関数は、全てのノードについて固定され、事前に求められ、例えば、ニューラルネットワークの設計者によって選択される。通常、ノードについて選択される関数の例には、シグモイド関数及び整流関数が含まれる。本発明者らは、ニューラルネットワークによって再構成された画像とグランドトゥルース画像との間の相違を削減するようにニューラルネットワークをトレーニングすることができることを更に知得した。一方、問題の不良設定性は、測定値に適合する可能性がある画像が無限個あることを意味するが、本開示の解の一意性の少なくとも１つの面（aspect）は、スパース性を用いて実施されている。
そのために、本発明者らは、ニューラルネットワークが、例えば、変換領域において再構成画像に対して一般的なスパース性を実施する場合に、そのような実施は、まず、特定のスパース性制約を学習し、次に、学習されたスパース性制約を画像再構成中に実施することに類似しているとみなすことができることを認識した。したがって、本発明者らは、二重目的のニューラルネットワークを、測定値から変換領域においてスパース画像を再構成する単一タスクを有するスパース性実施ニューラルネットワーク（ＳＥＮＮ）と取り替えることができることを認識した。
本開示は、シグモイド関数及び整流関数等のニューラルネットワークによって用いられる関数を、種々のアプリケーションに対するそれらの柔軟性及び適応性を得るために用いることができるという別の認識にも基づいている。しかしながら、それらの関数は、スパース性を再構成画像に対して実施することには不適当である。そのために、本開示の幾つかの実施形態は、シグモイド関数及び整流関数を、スパース性実施により適している異なる非線形関数と取り替える。
例えば、少なくとも１つの実施形態は、ニューラルネットワークの少なくとも幾つかのノードを、入力信号が閾値を越えている場合にその信号を制限する非線形双対射影関数に関連付ける。この特定の実施形態は、双対射影関数が再構成画像に対して１≦p＜２を有するＬｐベクトルノルムにペナルティを与えることによってスパース性を実施するという認識に基づいている。圧縮センシング及びスパース再構成における広範囲の従来の研究は、変換された画像に対するそのようなＬｐノルムペナルティを最適化に組み込むことによって、スパース結果を取得することが可能であることを示している。ＣＮＮへのＬｐノルムペナルティの直接の組み込みは簡単ではないが、双対最適化領域において双対射影関数を用いることによって行うことがはるかに容易であることが認識されている。
したがって、別の実施形態は、層を通じてメッセージを伝播するノードの当該層によって形成されたスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いて、シーンの測定値からシーンの画像を再構成する。ニューラルネットワークの少なくとも１つのノードは、スパース性実施非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、この送出メッセージを別のノードに伝播する。幾つかの実施形態では、非線形関数は、信号が閾値を越えている場合にその入力信号を制限する双対射影関数である。そのような双対射影関数の例は、Ｌｐの双対を含む。ここで、ｐ≧１である。
ニューラルネットワークの従来の関数とは対照的に、本開示の数値重みは、異なる非線形性の存在に起因して異なり、経験に基づいて調節され、本開示のニューラルネットワークを、入力に適応し、学習が可能なものにする。本発明者らは、バックプロパゲーションを用いて実際の勾配を計算することによって、或る形式の勾配降下法を用いることができる人工ニューラルネットワークをトレーニングすることにニューラルネットワーク手法を用いることを考察した。これは、ネットワークパラメーターに関してコスト関数の導関数を取り、次に、勾配関連方向においてそれらのパラメーターを変更することによって行うことができる。
一方、幾つかの実施形態は、スパース性実施ニューラルネットワーク（ＳＥＮＮ）のノードの特殊化された機能に起因して、重みも特殊な方法で更新されるべきであるという別の認識に基づいている。そのために、幾つかの実施形態は、スパース性実施エラーバックプロパゲーションを用いて、ＳＥＮＮの少なくとも幾つかの重みをトレーニングする。スパース性実施エラーバックプロパゲーションは、ＳＥＮＮの構造を考慮し、グランドトゥルース画像のセットを所与としてその効率的なトレーニングを可能にする。特に、スパース性実施エラーバックプロパゲーションは、スパース性を実施するのに用いられる重みに関して損失関数の勾配を計算する。スパース性実施エラーバックプロパゲーションは、ＳＥＮＮの出力から入力に向けて後方に勾配を計算することに連鎖律を用いることによって取得される。
幾つかの実施形態は、画像のスパース性がシーンの測定値を入手するセンサーのタイプに依存するという認識に基づいている。具体的には、雑音を有する測定値ｙ∈ＲＮから未知の画像ｘ∈ＲＮを回復することを目的とする撮像逆問題ｙ＝Ｈｘ＋ｅにおいて、観測行列Ｈ∈ＲＭ×Ｎは既知であり、センサー、すなわち、測定値を入手するタイプのセンサーの応答をモデル化する一方、ベクトルｅ∈ＲＭは、測定値における未知の雑音を表す。
さらに、幾つかの実施形態は、観測行列Ｈが画像を測定値に線形形式で関係付け、したがって、ノードの重みとしてＳＥＮＮに直接含めることができるという認識に基づいている。そのために、幾つかの実施形態は、少なくともいくつかのノードを観測行列の値に関連付ける。例えば、観測行列に関連付けられたそれらのノードの値はＩ−γＨＴＨ及びγＨＴであり、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは観測行列の転置行列を示す。
１つの実施形態では、ＳＥＮＮのトレーニング中、観測行列に関連付けられた重みは変更されない。すなわち、一定のままである。この実施形態は、ＳＥＮＮにおけるセンサーのタイプを直接反映する。１つの代替の実施形態は、観測行列の値を示す値を用いて重みを初期化することができるが、トレーニング中にそれらの値の更新を可能にしている。この実施形態は、観測行列が、例えば、較正パラメーター又は動作不確実性の変化に起因して動作中に変化し得るということを反映している。
幾つかの実施形態は、画像のスパース性が、異なるタイプのシーン間で変動するという認識に基づいている。例えば、顔の画像におけるスパース性は、建物の画像におけるスパース性と異なる。そのために、幾つかの実施形態は、種々のタイプの画像の種々のニューラルネットワークをトレーニングする。それらの実施形態によって、測定されたシーンのタイプに基づいてニューラルネットワークを選択して、画像再構成を改良することが可能になる。
図１Ａは、本開示の幾つかの実施形態によるスパース性実施ニューラルネットワーク（ＳＥＮＮ）を用いたコンピューター実施画像再構成システムのブロック図を示している。コンピューターシステム１００は、バス１１３を介してメモリ１４０に接続された少なくとも１つのプロセッサ１５０を有するコンピューター／コントローラー１３０を備える。プロセッサ１５０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。
メモリ１４０は、プロセッサ１５０が実行することができる命令を記憶する。メモリ１４０は、ノードの層によって形成されたスパース性実施ニューラルネットワーク（ＳＥＮＮ）１４５を記憶する。ノードは、これらの層を通じてメッセージを伝播する。ＳＥＮＮ１４５の少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、この送出メッセージをＳＥＮＮ１４５の別のノードに伝播する。さらに、この非線形関数は、到着メッセージが閾値を越えている場合には、到着メッセージを制限する双対射影関数である。双対射影関数は、１≦ｐ＜２を有するＬｐペナルティとのその直接的な数学的関係に起因して、本来的に、変換された領域において画像のスパース性を課す。ニューラルネットワークにおいて用いられるこれまでの非線形性は、そのような関係を有せず、満足な結果を与えない。ＳＥＮＮ１４５は、シーンの測定値１８０から取得されるシーンの画像を再構成するようトレーニングされるようになっている。プロセッサ１５０は、シーンの画像１９０を再構成するために、ＳＥＮＮ１４５を用いて測定値１８０を処理する。
図１Ｂは、本開示の幾つかの実施形態によるＳＥＮＮを用いた画像再構成の概略図を示している。コンピューターシステム１００Ａは、バス１１３を介してメモリ１４０に接続されたプロセッサ１５０を有するコンピューター／コントローラー１３０を備えることができる。メモリ１４０は、プロセッサ１５０が実行することができる命令を記憶するとともに、ＳＥＮＮ１４５を記憶する。測定値１８０は、デバイス１６３、すなわち、ビデオカメラ等のカメラを介して取得され、そのため、測定値１８０は、プロセッサ１５０がバス１１３を通じて入手することができる（１５１）。プロセッサ１５０は、シーン１６１の画像を再構成するために、ＳＥＮＮ１４５を用いて測定値１８０を処理する。プロセッサ１５０による入手（１５１）及びその後の処理の前に、測定データ１８０を処理することに入力インターフェース又はプリプロセッサ１０８を用いることができることが可能である。最後に、画像再構成が、メモリ１４０に記憶された命令を実行するプロセッサ１５０によって実行される。幾つかの実施形態では、ＳＥＮＮ１４５は、少なくとも１つのセンサー１６３を用いて収集されたシーン１６１の測定値を処理して、シーンの再構成画像１９０を生成する。
図２Ａは、ＳＥＮＮ１４５のコンピューター実施態様のブロック図を示している。測定値１８０は、最終的には物理モデル層２１０に渡され、現在の画像２２０と組み合わされて、雑音を有する画像２３０が生成される。雑音を有する画像２３０は、その後、スパース性モデル層２４０によって処理されて、現在の画像の改善版（すなわち、改善された現在の画像）２４２が生成される。このプロセスは、固定回数又は収束が満たされるまで繰り返される（２４４）。最後に、ＳＥＮＮ１４５は、再構成画像１９０を出力する。
図２Ｂは、本開示の１つの実施形態によるニューラルネットワークを概略的に定式化したものを示している。入力層２２１における測定値と、入力層２２２における現在の画像２２０とが、問題の物理的性質を表す観測行列の要素を示す第１の重みのサブセット２２３と組み合わされる。ニューラルネットワークの第２の層２２５に記憶された雑音を有する画像は、スパース性を実施するようにトレーニングされた重み２０２を通過する。双対射影関数２０１が出力２０３において適用される。出力層２０５は、出力２０３を、スパース性を実施するようにトレーニングされた重み２０４と組み合わせることによって取得される。現在の画像２２０は、出力２０３と出力２０５とを加算することによって取得される。
図２Ｃを参照すると、図２Ｂの上記動作は、図２Ｃにおける擬似コードに要約されている。
図２Ｄは、ｐ＝１の場合の双対射影関数２０１の一例を示している。双対射影関数２０１は、２＞ｐ≧１を有するスパース性実施ペナルティｌｑに対応するｌｑ球体上に入力を射影することによって取得される。ここで、
Figure 2018206371
 である。
ｐ＝１の場合に対応するｑの値はｑ＝∞であり、ｌ∞球体への射影は、図２Ｄにおける非線形性を用いて表すことができる。双対射影関数は、図２Ｄにおける関数を入力ベクトルの全ての要素に単に適用するだけである。
図３は、本開示の１つの実施形態によるＳＥＮＮを用いた画像再構成の態様（aspect）のブロック図である。図３は、画像再構成の劣決定問題の解が、事前に求めることもでき、あるいは、測定値から学習することもできる、スパース性制約を用いることを示している。ＣＮＮ等のニューラルネットワークは、特定の画像に対するスパース性制約を学習するようにトレーニングすることができる。それらのスパース性制約を用いる画像再構成も、ニューラルネットワークを用いて実行することができる。したがって、理論的には、双方のニューラルネットワークを接合することができる。実際には、スパース性制約を求めるタスクと、画像再構成のスパース性制約を実施するタスクとを同時に実行する共通の二重目的のネットワークを設計することは困難である。
問題の不良設定性は、測定値に適合する可能性がある画像が無限個あることを意味するが、解の一意性は、スパース性を用いて実施することができる。そのために、ニューラルネットワークが、例えば、変換領域において一般的なスパース性を再構成画像に対して実施する場合、そのような実施は、まず、特定のスパース性制約を学習し、次に、学習されたスパース性制約を画像再構成中に実施することに類似しているとみなすことができると認識されている。したがって、二重目的のニューラルネットワークは、測定値から変換領域においてスパース画像を再構成する単一タスクを有するスパース性実施ニューラルネットワークと取り替えることができる。
引き続き図３を参照すると、シグモイド関数及び整流関数等のニューラルネットワークによって用いられる関数は、種々のアプリケーションに対するそれらの柔軟性及び適応性を得るために用いられる。しかしながら、それらの関数は、スパース性を再構成画像に対して実施することには不適当である。そのために、幾つかの実施形態は、シグモイド関数及び整流関数を、スパース性実施により適している異なる非線形関数と取り替える。そのような関数は、到着メッセージが閾値を越えている場合にその到着メッセージを制限する双対射影関数である。例えば、Ｌｐの双対である。ここで、ｐ≧１である。双対射影関数を用いて到着メッセージを変更する新たなニューラルネットワークが、問題の解を提供することができる。
トレーニング
本発明者らの目標は、ＴＶの有限差分（finite-difference）フィルターをＫ個の適応可能反復依存（iteration-dependent）フィルターと取り替えることによって（３）のトレーニング可能な変形形態を取得することである。図１に示す対応するアルゴリズムは、Ｌ個のトレーニング例のセット｛ｘｌ，ｙｌ｝ｌ∈［１，．．．，Ｌ］から学習されるＴ×Ｋ個のフィルター
Figure 2018206371
 を有する特定の構造の畳み込みニューラルネットワーク（ＣＮＮ）と解釈することができる。これらのフィルターは、トレーニングセットにわたって、下式のようにエラーを最小にすることによって最適化することができる。
Figure 2018206371
 ここで、θ＝｛Ｄｔ｝ｔ∈［１，．．．，Ｔ］∈Θは、望ましいフィルターのセットを示す。画像雑音除去の問題の場合、ｔ＝Ｔ，Ｔ−１，．．．，１について下式の反復
Figure 2018206371
 を用いて、
Figure 2018206371
 を生成するエラーバックプロパゲーションアルゴリズムを用いて、エンドツーエンドの最適化を実行することができる。ここで、
Figure 2018206371
 は、フィルタリングを示し、μｔ＝１−（１−ｑｔ−１）／ｑｔであり、ｂＴ＝０であり、
Figure 2018206371
 である。これらのパラメーターは、θ←θ−α∇εｌ（θ）のように標準的な確率勾配法を用いて反復して更新される。
サイズ６×６ピクセルのＫ＝９個の反復依存カーネルを用いて上記アルゴリズムのＴ＝１０回の反復をトレーニングすることによって、本発明者らの方法を画像雑音除去に適用した。トレーニングには、１９２×１９２ピクセルにクロッピングされたバークリー（Berkeley）データセットからの４００個の画像を用いた。データセットからの６８個の個別のテスト画像に関して上記アルゴリズムを評価し、結果を３つの普及している雑音除去アルゴリズムと比較した（表Ｉ並びに図２及び図３を参照）。本発明者らの基本的なＭＡＴＬＡＢ実施態様は、４ＧＨｚのＩｎｔｅｌ Ｃｏｒｅ ｉ７プロセッサを有するＡｐｐｌｅ ｉＭａｃ上で、２５６×２５６ピクセル及び５１２×５１２ピクセルの画像に対してそれぞれ０：６９秒及び３：２７秒を要する。ＴＶの本発明者らの単純な拡張は、上記アルゴリズムの性能を大幅に増大させ、上記アルゴリズムを最先端の雑音除去アルゴリズムと競争し合えるものとすることが認められる。上記アルゴリズムは、より一般的な逆問題を解くＦＩＳＴＡ及びＡＤＭＭに容易に組み込むことができる。今後の研究は、そのような拡張に取り組み、コード最適化とより多くのカーネルを考慮することとによって性能を更に改善する。より一般的には、本発明者らの研究は、深層学習からの最新のアイデアを組み込むことによって撮像アルゴリズムの性能を増大させる近年の努力に貢献する。
図４は、本開示の幾つかの実施形態によるＳＥＮＮを用いた画像再構成の概略図を示している。コンピューターシステム４００は、バス１１３を介してメモリ１４０に接続されたプロセッサ１５０を有するコンピューター／コントローラー１３０を備えることができる。メモリ１４０は、プロセッサ１５０が実行することができる命令を記憶するとともに、ＳＥＮＮ１４５を記憶する。測定値１８０は、デバイス１６３、すなわち、ビデオカメラ等のカメラを介して取得され、そのため、測定値１８０は、プロセッサ１５０がバス１１３を通じて入手することができる（１５１）。プロセッサ１５０は、シーン１６１の画像を再構成するために、ＳＥＮＮ１４５を用いて測定値１８０を処理する。最後に、画像再構成が、メモリ１４０に記憶された命令を実行するプロセッサ１５０によって実行される。幾つかの実施形態では、ＳＥＮＮ１４５は、少なくとも１つのセンサー１６３を用いて収集されたシーン１６１の測定値を処理して、シーンの再構成画像１９０を生成する。
図４は、後の或る時点において処理することができる測定値１８０を記憶することができる外部メモリ４０６も備えることができる。さらに、入力インターフェース又はプリプロセッサ１０８は、プロセッサ１５０による入手（１５１）及びその後の処理の前に、測定データ１８０を処理することに用いることができる。また、ディスプレイ４７４及びキーボード４７６に接続することができるヒューマンユーザーインターフェース（ＨＭＩ）４７２を有することも考えられる。最後に、画像再構成は、メモリ１４０に記憶された命令を実行するプロセッサ１５０が実行することができる。幾つかの実施形態では、ＳＥＮＮ１４５は、少なくとも１つのセンサー１６３を用いて収集されたシーン１６１の測定値を処理して、シーンの再構成画像１９０を生成する。再構成画像１９０は、出力インターフェース４１８を介して外部メモリ４４４にレンダリングすることができる。
引き続き図４を参照すると、センサー１６３は、時間、温度、及びシーン１６１に関連した他のデータ等の他のデータを収集することができることが考えられる。さらに、ビデオ１６３は、シーン１６１の測定データ１８０を画像のシーケンスとして提供することができ、各画像はピクセルを含む。
特徴
本開示のいくつかの態様（aspect）は、Ｌｐの双対を有する双対射影関数を有する画像再構成システムを含むことができる。ここで、ｐ≧１である。
画像再構成システムの他の態様（aspect）は、測定値を入手するセンサーを備える入力インターフェースを含むことができ、ＳＥＮＮの重みのセットは、センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、再構成画像のスパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む。第１の重みのサブセット内の各重みは、観測行列の対応する要素の関数に等しくすることができる。さらに、その関数は、Ｉ−γＨＴＨ及びγＨＴに基づく観測行列Ｈの変換結果に対応する。ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは観測行列の転置行列を示す。ノードの層は、第１の重みのサブセットに関連付けられた第１の層のセットと、第２の重みのセットに関連付けられた第２の層のセットとを含むことができ、第１の層のセットからの層は、第２の層のセットからの層と交互になっている。第１の重みのサブセット内の重みは、ＳＥＮＮのトレーニング中、一定のままとすることができる。ＳＥＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされる。
本開示の別の態様（aspect）は、種々のタイプの画像についてトレーニングされたＳＥＮＮのセットを記憶するメモリを含むことができ、プロセッサは、測定値によって表される画像のタイプを求め、画像再構成用の画像の求められたタイプに対応するＳＥＮＮを選択する。上記種々のタイプの画像は、少なくとも２つのタイプの画像が強度画像及び深度画像を含むような少なくとも２つのタイプの画像の組み合わせを含む。
図５は、本開示の実施形態による、代替のコンピューター又はプロセッサを用いて実施することができる図１Ｂの方法を示すブロック図である。コンピューター５１１は、プロセッサ５４０と、コンピューター可読メモリ５１２と、記憶装置５５８と、ディスプレイ５５２及びキーボード５５１とを有するユーザーインターフェース５４９とを備え、これらは、バス５５６を通じて接続されている。例えば、プロセッサ５４０及びコンピューター可読メモリ５１２と通信するユーザーインターフェース５４９は、ユーザーによるユーザーインターフェース５５７の表面、キーボード表面からの入力を受信すると、測定データを入手し、コンピューター可読メモリ５１２内に記憶する。
メモリ５１２は、プロセッサによって実行可能な命令と、履歴データと、本開示の方法及びシステムによって利用することができる任意のデータとを記憶することができることが意図されている。プロセッサ５４０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成体とすることができる。プロセッサ５４０は、バス５５６を通じて１つ以上の入力デバイス及び出力デバイスに接続することができる。メモリ５１２は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。
図５を更に参照すると、記憶デバイス５５８は、プロセッサによって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように構成することができる。例えば、記憶デバイス５５８は、履歴デバイスデータと、デバイスのマニュアル等の他の関連したデバイスデータとを記憶することができ、デバイスは、本開示に関して上述したような測定データを取得することが可能な検知デバイスである。加えて又は代替的に、記憶デバイス５５８は、測定データと同様の履歴データを記憶することができる。記憶デバイス５５８は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを含むことができる。
システムは、任意選択で、バス５５６を通じて、システムをディスプレイデバイス（図示せず）に接続するように構成されたディスプレイインターフェース（図示せず）にリンクすることができ、ディスプレイデバイスは、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。
コンピューター５１１は、用途に応じて、電力源５５４を備えることができ、電力源５５４は、任意選択でコンピューター５１１の外部に配置されてもよい。バス５５６を通じて、ディスプレイデバイス５４８に接続するように構成されたユーザー入力インターフェース５５７をリンクすることができ、ディスプレイデバイス５４８は、とりわけ、コンピューターモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。プリンターインターフェース５５９も、バス５５６を通じて接続することができ、印刷デバイス５３２に接続するように構成することができる。印刷デバイス５３２は、とりわけ、液体インクジェットプリンター、固体インクプリンター、大規模商用プリンター、感熱式プリンター、ＵＶプリンター、又は昇華型プリンターを含むことができる。ネットワークインターフェースコントローラー（ＮＩＣ）５３４は、バス５５６を通じてネットワーク５３６に接続するように構成され、とりわけ、測定データ又は他のデータは、コンピューター５１１の外部の第三者ディスプレイデバイス、第三者画像デバイス、及び／又は第三者印刷デバイス上にレンダリングすることができる。
図５を更に参照すると、とりわけ、測定データ又は他のデータは、ネットワーク５３６の通信チャネルを介して送信することができ、及び／又は、記憶及び／又は更なる処理のために記憶システム５５８内に記憶することができる。さらに、測定データ又は他のデータは、受信機５４６（又は外部受信機５３８）から無線又は配線接続で受信することもできるし、送信機５４７（又は外部送信機５３９）を介して無線又は配線接続で送信することもでき、受信機５４６及び送信機５４７は、ともにバス５５６を通じて接続されている。コンピューター５１１は、入力インターフェース５０８を介して外部検知デバイス５４４及び外部入力／出力デバイス５４１に接続することができる。コンピューター５１１は、他の外部コンピューター５４２に接続することができる。出力インターフェース５０９は、プロセッサ５４０からの処理データを出力するのに用いることができる。
上述した本開示の実施形態は、数多くの方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims (20)

  1. シーンの測定値を受信する入力インターフェースと、
    層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリであって、前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの大きさを制限する双対射影関数であり、前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされる、メモリと、
    前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を再構成するプロセッサと、
    前記シーンの前記再構成画像をレンダリングする出力インターフェースと、
    を備える、コンピューター実施画像再構成システム。
  2. 前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１である、請求項１に記載の画像再構成システム。
  3. 前記入力インターフェースは、前記測定値を入手するセンサーを備え、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮの重みのセットは、前記センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、前記再構成画像の前記スパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む、請求項１に記載の画像再構成システム。
  4. 前記第１の重みのサブセットの各重みは、前記観測行列の対応する要素の関数に等しい、請求項３に記載の画像再構成システム。
  5. 前記関数は、Ｉ−γＨＴＨ及びγＨＴに基づく前記観測行列Ｈの変換に対応し、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは前記観測行列の転置行列を示す、請求項４に記載の画像再構成システム。
  6. 前記ノードの前記層は、前記第１の重みのサブセットに関連付けられた第１の層のセットと、前記第２の重みのセットに関連付けられた第２の層のセットとを含み、前記第１の層のセットからの前記層は、前記第２の層のセットからの前記層と交互になっている、請求項３に記載の画像再構成システム。
  7. 前記第１の重みのサブセット内の前記重みは、前記ＳＥＮＮの前記トレーニング中において一定である、請求項３に記載の画像再構成システム。
  8. 前記ＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされるスパース性実施ニューラルネットワーク（ＳＥＮＮ）である、請求項１に記載の画像再構成システム。
  9. 前記メモリは、異なるタイプの画像についてトレーニングされたＮＮのセットを記憶し、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記プロセッサは、前記測定値によって表される画像のタイプを求め、前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択する、請求項１に記載の画像再構成システム。
  10. 前記異なるタイプの画像は、少なくとも２つのタイプの画像の組み合わせを含み、前記少なくとも２つのタイプの画像は、強度画像及び深度画像を含む、請求項９に記載の画像再構成システム。
  11. 画像再構成方法であって、該方法は、層を通じてメッセージを伝播するノードの該層によって形成されたニューラルネットワーク（ＮＮ）を記憶するメモリに結合されたプロセッサを用い、前記ＮＮは、前記シーンの前記測定値から該シーンの画像を再構成するようにトレーニングされ、前記プロセッサは、該方法を実施する記憶された命令と結合され、 前記命令は、前記プロセッサによって実行されるときに、
    前記メモリと通信する前記プロセッサによってシーンの測定値を受信するステップと、
    前記ＮＮを用いて前記測定値を処理して、前記シーンの前記画像を変換及び再構成するステップであって、前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージの入力の量を制限する双対射影関数である、ステップと、
    前記シーンの前記再構成画像をレンダリングするステップと
    を含む該方法における、少なくとも複数のステップを実行する、方法。
  12. 前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１である、請求項１１に記載の方法。
  13. 前記測定値は、センサーによって入手され、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮの重みのセットは、前記センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、前記再構成画像の前記スパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む、請求項１１に記載の方法。
  14. 前記第１の重みのサブセット内の各重みは、前記観測行列の対応する要素の関数に等しく、該関数は、Ｉ−γＨＴＨ及びγＨＴに基づく前記観測行列Ｈの変換に対応し、ここで、γ＞０はパラメーターであり、Ｉは単位行列であり、ＨＴは前記観測行列の転置行列を示す、請求項１３に記載の方法。
  15. 前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮは、スパース性実施エラーバックプロパゲーションを用いてトレーニングされる、請求項１１に記載の方法。
  16. 前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記メモリは、異なるタイプの画像についてトレーニングされたＳＥＮＮのセットを記憶し、前記方法は、
    前記測定値によって表される画像のタイプを求めることと、
    前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択することと
    を更に含む、請求項１１に記載の方法。
  17. 方法を実行するプロセッサによって実行可能なプログラムが具現化される非一時的コンピューター可読記憶媒体であって、前記方法は、
    シーンの測定値を受信することと、
    ニューラルネットワーク（ＮＮ）を用いて前記測定値を処理して、前記シーンの前記画像を変換及び再構成することであって、前記ＮＮは、層を通じてメッセージを伝播するノードの該層によって形成され、前記ＮＮの少なくとも１つのノードは、非線形関数を用いて到着メッセージを変更して送出メッセージを生成し、該送出メッセージを前記ＮＮの別のノードに伝播し、前記非線形関数は、前記到着メッセージが閾値を越えている場合に前記到着メッセージを制限する双対射影関数であり、前記ＮＮは、前記シーンの前記測定値から前記シーンの画像を再構成するようにトレーニングされることと、
    前記シーンの前記再構成画像をレンダリングすることと
    を含む、非一時的コンピューター可読記憶媒体。
  18. 前記双対射影関数はＬｐの双対を含み、ここで、ｐ≧１である、請求項１７に記載の記憶媒体。
  19. 前記測定値は、センサーによって入手され、前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記ＳＥＮＮの重みのセットは、前記センサーの構造の物理的性質を表す観測行列の要素を示す第１の重みのサブセットと、前記再構成画像の前記スパース性を実施するようにトレーニングされた第２の重みのサブセットとを含む、請求項１７に記載の記憶媒体。
  20. 前記ＮＮは、スパース性実施ニューラルネットワーク（ＳＥＮＮ）であり、前記記憶媒体は、異なるタイプの画像についてトレーニングされた前記ＳＥＮＮのセットを記憶し、 前記方法は、
    前記測定値によって表される画像のタイプを求めることと、
    前記画像再構成の前記求められた画像のタイプに対応する前記ＳＥＮＮを選択することと
    を更に含む、請求項１７に記載の記憶媒体。
JP2018094026A 2017-06-02 2018-05-15 コンピューター実施画像再構成システムおよび画像再構成方法 Pending JP2018206371A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762514175P 2017-06-02 2017-06-02
US62/514,175 2017-06-02
US15/649,822 2017-07-14
US15/649,822 US10657446B2 (en) 2017-06-02 2017-07-14 Sparsity enforcing neural network

Publications (2)

Publication Number Publication Date
JP2018206371A true JP2018206371A (ja) 2018-12-27
JP2018206371A5 JP2018206371A5 (ja) 2021-03-25

Family

ID=64458293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018094026A Pending JP2018206371A (ja) 2017-06-02 2018-05-15 コンピューター実施画像再構成システムおよび画像再構成方法

Country Status (2)

Country Link
US (1) US10657446B2 (ja)
JP (1) JP2018206371A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017040644A (ja) * 2015-08-20 2017-02-23 三菱電機株式会社 壁の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法
JPWO2021095256A1 (ja) * 2019-11-15 2021-05-20
JP2022514566A (ja) * 2019-02-15 2022-02-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像復元方法及びその装置、電子機器並びに記憶媒体
WO2022176399A1 (ja) * 2021-02-19 2022-08-25 キヤノン株式会社 画像処理装置および方法、プログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234137A1 (en) * 2017-08-18 2020-07-23 Intel Corporation Efficient neural networks with elaborate matrix structures in machine learning environments
CN111353944B (zh) 2018-12-20 2024-05-28 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
US10925568B2 (en) * 2019-07-12 2021-02-23 Canon Medical Systems Corporation Apparatus and method using physical model based deep learning (DL) to improve image quality in images that are reconstructed using computed tomography (CT)
US20210192684A1 (en) * 2019-12-24 2021-06-24 Nvidia Corporation Panorama generation using one or more neural networks
US11087441B1 (en) * 2020-01-30 2021-08-10 Mitsubishi Electric Research Laboratories, Inc. Image reconstruction using artificial intelligence (Ai) modules agnostic to image acquisition settings
CN111369460B (zh) * 2020-03-03 2023-06-20 大连厚仁科技有限公司 基于admm神经网络的图像去模糊方法
CN112291169B (zh) * 2020-11-18 2021-11-26 中国海洋大学 一种信道修正方法及信道修正装置
CN113743534B (zh) * 2021-09-17 2022-06-07 黄河水利职业技术学院 基于深度残差网络下的变压器油中气体复合成像识别方法
CN114820326B (zh) * 2022-05-25 2024-05-31 厦门大学 基于可调节核稀疏化的高效单帧图像超分方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02101584A (ja) * 1988-10-11 1990-04-13 Nippon Telegr & Teleph Corp <Ntt> ステレオ画像処理方式
JPH08263649A (ja) * 1995-02-21 1996-10-11 Xerox Corp ニューラルベースの空間画像強化システム
JP2008505378A (ja) * 2004-06-25 2008-02-21 エフ・エー・フアウ・モトーレンテヒニック・ゲゼルシヤフト・ミト・ベシユレンクテル・ハフツング ニューラルネットを有する車両制御装置
JP2016123853A (ja) * 2014-12-29 2016-07-11 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4562540A (en) 1982-11-12 1985-12-31 Schlumberger Technology Corporation Diffraction tomography system and methods
WO1985002590A1 (en) * 1983-12-16 1985-06-20 Robert Bosch Gmbh Process for detecting the desired braking moment for the different wheels of a vehicle
US5729660A (en) 1994-05-03 1998-03-17 Chiabrera; Alessandro 3-D inverse scattering by artificial intelligence : apparatus and method
US6208982B1 (en) 1996-11-18 2001-03-27 Lockheed Martin Energy Research Corporation Method and apparatus for solving complex and computationally intensive inverse problems in real-time
US7809427B2 (en) 2005-02-11 2010-10-05 Wisconsin Alumni Research Foundation Time domain inverse scattering techniques for use in microwave imaging
US8139142B2 (en) 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
EP2153298A1 (en) 2007-04-24 2010-02-17 Optical Compressed Sensing Method and system for compressed imaging
JP2009237976A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 顔画像出力制御装置、顔画像出力制御方法、顔画像出力制御プログラムおよび印刷装置
US20100235129A1 (en) 2009-03-10 2010-09-16 Honeywell International Inc. Calibration of multi-sensor system
US8704887B2 (en) 2010-12-02 2014-04-22 GM Global Technology Operations LLC Multi-object appearance-enhanced fusion of camera and range sensor data
CN102955159B (zh) 2011-08-30 2014-07-23 中国科学院电子学研究所 一种基于压缩感知的电磁逆散射成像方法
WO2014068302A1 (en) 2012-11-05 2014-05-08 The Chancellor Masters And Scholars Of The University Of Oxford Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus
CN106462724B (zh) 2014-04-11 2019-08-02 北京市商汤科技开发有限公司 基于规范化图像校验面部图像的方法和系统
US9467628B2 (en) 2014-08-26 2016-10-11 Sensors Unlimited, Inc. High dynamic range image sensor
CN104866900B (zh) 2015-01-29 2018-01-19 北京工业大学 一种反卷积神经网络训练方法
US9633306B2 (en) 2015-05-07 2017-04-25 Siemens Healthcare Gmbh Method and system for approximating deep neural networks for anatomical object detection
US10936941B2 (en) * 2016-08-12 2021-03-02 Xilinx, Inc. Efficient data access control device for neural network hardware acceleration system
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02101584A (ja) * 1988-10-11 1990-04-13 Nippon Telegr & Teleph Corp <Ntt> ステレオ画像処理方式
JPH08263649A (ja) * 1995-02-21 1996-10-11 Xerox Corp ニューラルベースの空間画像強化システム
JP2008505378A (ja) * 2004-06-25 2008-02-21 エフ・エー・フアウ・モトーレンテヒニック・ゲゼルシヤフト・ミト・ベシユレンクテル・ハフツング ニューラルネットを有する車両制御装置
JP2016123853A (ja) * 2014-12-29 2016-07-11 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中島 綾香、外４名: ""超解像の応用によるＭＲＩの高速化に関する検討"", 電子情報通信学会技術研究報告, vol. 116, no. 506, JPN6021024682, 2 March 2017 (2017-03-02), JP, pages 161 - 166, ISSN: 0004538352 *
和泉 勇治、外２名: ""２乗結合をもつ多層パーセプトロンによる手書き文字の高精度認識"", 電子情報通信学会論文誌, vol. 83, no. 10, JPN6021024683, 25 October 2000 (2000-10-25), JP, pages 1969 - 1976, ISSN: 0004538353 *
寺島 由裕、外２名: ""ニューラルネットワークを用いたスパース信号推定"", 電子情報通信学会予稿集, JPN6021024681, 16 December 2016 (2016-12-16), JP, pages 342 - 347, ISSN: 0004588671 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017040644A (ja) * 2015-08-20 2017-02-23 三菱電機株式会社 壁の背後に位置するシーンの雑音のない画像を求めるシステムおよび方法
JP2022514566A (ja) * 2019-02-15 2022-02-14 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像復元方法及びその装置、電子機器並びに記憶媒体
JP7143529B2 (ja) 2019-02-15 2022-09-28 ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド 画像復元方法及びその装置、電子機器並びに記憶媒体
JPWO2021095256A1 (ja) * 2019-11-15 2021-05-20
WO2021095256A1 (ja) * 2019-11-15 2021-05-20 オリンパス株式会社 画像処理システム、画像処理方法、及び、プログラム
WO2022176399A1 (ja) * 2021-02-19 2022-08-25 キヤノン株式会社 画像処理装置および方法、プログラム

Also Published As

Publication number Publication date
US10657446B2 (en) 2020-05-19
US20180349771A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
JP2018206371A (ja) コンピューター実施画像再構成システムおよび画像再構成方法
Paredes-Vallés et al. Back to event basics: Self-supervised learning of image reconstruction for event cameras via photometric constancy
Kumar et al. Fisheyedistancenet: Self-supervised scale-aware distance estimation using monocular fisheye camera for autonomous driving
CN106920220B (zh) 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
Dimitrievski et al. Learning morphological operators for depth completion
JP2021503134A (ja) 画像深度とエゴモーション予測ニューラルネットワークの教師なし学習
JP6821038B2 (ja) 撮像システム及び画像処理の方法
Singh et al. Single image dehazing for a variety of haze scenarios using back projected pyramid network
CN113222825B (zh) 基于可见光图像训练的红外图像超分辨率重构方法及应用
Xia et al. A discrete-time learning algorithm for image restoration using a novel L2-norm noise constrained estimation
CN114746895A (zh) 用于图像去噪的噪声重构
Rani et al. A brief review on image restoration techniques
EP3435294B1 (en) Systems and methods for solving inverse problems using a coupled autoencoder
CN108389171A (zh) 一种基于联合估计模糊变量的光场去模糊和深度估计方法
CN113160179A (zh) 一种基于动态区域卷积的图像去模糊方法
Remez et al. A picture is worth a billion bits: Real-time image reconstruction from dense binary threshold pixels
Ali et al. Boundary-constrained robust regularization for single image dehazing
JP7398938B2 (ja) 情報処理装置およびその学習方法
CN104053006B (zh) 基于帧间差分背景图像的视频图像压缩感知重构方法
Riegler et al. Depth Restoration via Joint Training of a Global Regression Model and CNNs.
CN116109489A (zh) 去噪方法和相关设备
Nguyen et al. A non-local low rank and total variation approach for depth image estimation
JP2024082119A (ja) 画像処理装置、画像処理方法
Wang et al. Remote sensing image restoration based on wiener filter and RBF neural network
Remez et al. A picture is worth a billion bits: Real-time image reconstruction from dense binary pixels

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210907

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211014

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220510

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20230727