JP2017517723A - 画像の再構築、解析、及び/又はノイズ除去のためのシステム及び方法 - Google Patents

画像の再構築、解析、及び/又はノイズ除去のためのシステム及び方法 Download PDF

Info

Publication number
JP2017517723A
JP2017517723A JP2016564176A JP2016564176A JP2017517723A JP 2017517723 A JP2017517723 A JP 2017517723A JP 2016564176 A JP2016564176 A JP 2016564176A JP 2016564176 A JP2016564176 A JP 2016564176A JP 2017517723 A JP2017517723 A JP 2017517723A
Authority
JP
Japan
Prior art keywords
image
operator
signal
schroedinger
eigenfunction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016564176A
Other languages
English (en)
Inventor
ラレグ‐キラティ タオウス‐メリエム
ラレグ‐キラティ タオウス‐メリエム
カイセルリ ジネブ
カイセルリ ジネブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
King Abdullah University of Science and Technology KAUST
Original Assignee
King Abdullah University of Science and Technology KAUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by King Abdullah University of Science and Technology KAUST filed Critical King Abdullah University of Science and Technology KAUST
Publication of JP2017517723A publication Critical patent/JP2017517723A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • G06F2218/10Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

方法及びシステムは、画像を解析し、再構築し、及び/又はノイズを除去することができる。方法及びシステムは、シュレーディンガー演算子のポテンシャルとして信号を解釈すること、該信号を二乗固有関数に分解すること、該シュレーディンガー演算子の設計パラメーターを減らすこと、該シュレーディンガー演算子の離散スペクトルを解析すること、及び該離散スペクトルの解析を組み合わせて、画像を構築することを含み得る。【選択図】 図2

Description

(優先権の主張)
本出願は、2014年4月25日に出願された米国仮特許出願第61/984,719号明細書、及び2015年1月14日に出願された米国仮特許出願第62/103,385号明細書の優先権の利益を主張するものであり、それら各々の内容全体は引用により、組み込まれている。
(技術分野)
本発明は、例えば、シュレーディンガー演算子の半古典的解析に基づいて、画像を再構築するシステム及び方法に関する。
(背景)
効率的な画像の再構築及び解釈の必要性は、多くの分野においていまだ難題である。提案されている方法やアルゴリズムにもかかわらず、その性能を改善する必要がある。既存の方法としては、標準的な2Dフーリエ変換、その異なる修正バージョンを有するウェーブレット、又は全変分に基づく手法がある。より最近には、偏微分方程式に基づく方法が提案されている。多くの他のアルゴリズムが提案されており、各々の方法は、利点及び限界を有する。
信号は、関数群を用いて分解することができる。関数群は、半古典的シュレーディンガー演算子の離散スペクトルに関連する二乗固有関数によって与えられ、ここで、信号は、そのような演算子のポテンシャルと見なすことができる。この分解は、動脈圧信号又は機械性能信号などの一次元信号に適用することができる。
(概要)
本発明は、広義には、画像を解析するか又は近似するか又は画像のノイズを除去する、及び/又は、信号のノイズを除去するためのシステム及び方法に関する。態様には、信号をシュレーディンガー演算子のポテンシャルとして解釈すること、信号を二乗固有関数に分解すること、シュレーディンガー演算子の設計パラメーターを減らすこと、シュレーディンガー演算子の離散スペクトルを解析すること、及び例えば、画像に対して、離散スペクトルの解析を組み合わせて、画像を構築することを含み得る。信号及び/又は画像は、第1の関数群に関連する第1の成分と第2の関数群に関連する第2の成分とを少なくとも含み得る。信号及び/又は画像を分解することは、信号及び/又は画像を第2の関数群に関連する第2の二乗固有関数から第1の関数群に関連する第1の二乗固有関数に分解することを含み得る。
いくつかの実施態様において、シュレーディンガー演算子の設計パラメーターを減らすことは、プランク定数を減らすことを含み得る。いくつかの実施態様において、設計パラメーターを減らすことは、λ及びγパラメーターを最適化することをさらに含み得る。
他の実施態様において、信号は、映像信号であり得る。他の実施態様において、二次元画像は、磁気共鳴画像及び/又は断層画像であり得る。
別の態様には、画像を近似すること、例えば、画像を含むデータをシュレーディンガー演算子の二乗固有関数に分解すること、二乗固有関数の離散スペクトルを解析すること、シュレーディンガー演算子の設計パラメーターを最適化すること、及び離散スペクトルの解析に基づいて画像の近似を構築することを含み得る。
いくつかの実施態様において、離散スペクトルを解析することは、データのノイズを除外することができる。他の実施態様において、二乗固有関数は、適応性であり得る。解析することは、形態素解析を含み得る。
さらに別の態様には、信号のノイズを除去するためのシステムを含み得る。システムは、コンピュータープロセッサーと非一時的なコンピューター可読媒体とを含み得る。非一時的なコンピューター可読媒体は、信号をシュレーディンガー演算子のポテンシャルとして解釈すること、信号を分解すること、シュレーディンガー演算子の設計パラメーターを減らすこと、シュレーディンガー演算子の離散スペクトルを解析すること、解析を組み合わせて、ノイズ除去信号を再構築することを含むステップをシステムに実行させる命令を含み得る。信号は、第1の関数群に関連する第1の成分と第2の関数群に関連する第2の成分とを少なくとも含み得る。信号を分解することは、信号を第2の関数群に関連する第2の二乗固有関数から第1の関数群に関連する第1の二乗固有関数に分離することを含み得る。いくつかの実施態様において、信号は、二次元画像の情報を含み得る。他の実施態様において、二次元画像は、磁気共鳴画像であり得る。二次元画像は、断層画像であり得る。
本発明は、以下の詳細な説明において、本発明の例示的な実施態様の非限定的な例として、記載されている複数の図面を参照してさらに説明され、いくつかの図面を通して、同様の数字は同様の要素を表す。
設計パラメーターがシュレーディンガー演算子のポテンシャルに有し得る種々の影響を示す。 (a)画像、(b)再構築画像、及び(c)元の画像と再構築画像の間の相対誤差を示す。 (a)周知のレナの画像、(b)再構築画像、及び(c)元の画像と再構築画像の間の相対誤差を示す。 (a)x及びy方向における負の固有値の平均、及び(b)レナの画像のhに対する元の画像とその推定画像の間の平均二乗誤差を示す。 レナの画像の固有関数を示す。 例示的実施態様によるフローチャートを示す。 (a)レナの元の画像、(b)σ=75(SNR=11.2dB)のノイズの多い画像を示す。 (a)h=1.2(PSNR=25.4dB、MSSIM=0.513)を有するノイズ除去画像、(b)h=1.65(PSNR.=25.7dB、MSSIM=0.556)を有するノイズ除去画像、(c)h=2(PSNR=25:6dB、MSSIM=0:575)を有するノイズ除去画像を示す。 (a)レナの元の画像、(b)ノイズの多い画像(σ=75)、(c)ノイズ除去画像のヒストグラムを示す。 σ=40を有するノイズによって破損したレナの画像のノイズを除去することのズームを示す、(a)元の画像、(b)提案された方法、(c)SVD法。 平均=2を有する磁気共鳴スペクトルN°1を示す。 コリン及びNAAピークのズームを示す。 SCSA並列性能を示す。
(例示的実施態様の詳細な説明)
本発明の例示的実施態様によるシステム及び方法の詳細な説明を以下に述べる。本明細書に記載の、本明細書に示す、及び/又は本明細書に開示の例示的実施態様は、特許請求の範囲を限定する意図はなく、本発明の種々の態様について当業者に教示することを意図する。他の実施態様は、特許請求される本発明の範囲及び精神から逸脱することなく実施及び/又は実装することができる。
画像表現及びノイズ除去は、生物医学分野及び地震分野などの多くの応用において重要な演算である。新規の画像表現方法及びノイズ除去方法は、例えば、デジタル信号処理のためのシュレーディンガー演算子の二乗固有関数及び/又は離散スペクトルを利用する。そのような手法の一つの考えは、局在関数群を用いて画像を分解することであり得る。そのような関数は、二次元(2D)半古典的シュレーディンガー演算子の離散スペクトルに関連するL2正規化固有関数によって与えられ得、そのポテンシャルは、目的の画像により与えられる。2D演算子の固有値及び固有関数演算の複雑さを減らすため、提案されたアルゴリズムは、2D演算子を一次元(1D)演算子に分割する。その後、1D演算子の二乗L2正規化固有関数のテンソル積は、画像を分解するのに使用することができる。このアルゴリズムは、実装レベルで並列度を増すこともでき、さらなる並列性能をもたらすことができる。内部演算カーネルは、一般に、高密度の線形代数演算、すなわち、ドット積及び行列とベクトルの掛け算、並びに対称固有ソルバーであることが分かっている。このアルゴリズムは、より多くの同時並列性に曝すこともでき、並列性能のためのOpenMPプログラミングモデルによって活用することができる。
本発明のシステム及び方法は、広義には、半古典的な信号解析を介して画像を近似及び/又は再構築することに関する。上述のように、信号は、関数群を用いて分解することができる。関数群は、半古典的シュレーディンガー演算子の離散スペクトルに関連する二乗固有関数によって与えられ、ここで、信号は、そのような演算子のポテンシャルと見なすことができる。負の固有値及びL正規化固有関数の離散スペクトルを用いて、一部は、半古典的な信号解析(SCSA)により信号を再構築及び解析することができる。それらが含み得るL正規化固有関数及び関連情報の局在化特性に加えて、SCSAは、例えば、SCSA方法を動脈圧信号の解析及びターボ機械の性能の解析に適用することによって有益な結果をもたらし得る。さらに、SCSAは、例えば、ノイズ除去のためのツールとして、ノイズの多い信号の取り扱いに役立ち得る。SCSAのフィルタリング特性は、例えば、磁気共鳴分光法データを用いて、例えば、脂質含量を評価するインビボ実験で有用であり得る。
SCSAは、例えば、画像の近似に拡張することができる。画像は、負の固有値に関連するシュレーディンガー演算子の二乗固有関数により与えられる空間的にシフトされた及び/又は局在化された関数を用いて表すことができる。この近似は、半古典的パラメーターであるhがゼロに収束すると厳密になることができる。固有関数の数は、数値を介して、hが減少すると増加するが、比較的少ない数の固有関数(十分に大きいh)が画像を再構築するのに十分であり得ることが分かっており、この方法をコーディングなどの画像処理応用に有益なものとしている。
SCSAの拡張は、多次元、例えば、二次元及び三次元における画像の表現及びノイズ除去に有用であり得る。一つの手法は、二次元の半古典的シュレーディンガー演算子の二乗固有関数を解析する際に、変数の分離を用いることを含み得る。画像は、この演算子のポテンシャルと見なすことができる。次いで、問題を、例えば、一次元シュレーディンガー演算子のスペクトル解析を介して解いた後、画像の再構築の結果を半古典的解析理論からの適当な数式と組み合わせることができる。この数式は、x方向における二乗L正規化固有関数とy方向における二乗L正規化固有関数のテンソル積として表現することができる。二次元再構築のための一次元変換は、画像処理に使用することができ、一例は、二次元フーリエ変換である。一次元の場合と同様に、この数式は、半古典的パラメーターがゼロに収束する場合に収束する。
SCSAは、二次元に一般化することができる。本明細書でさらに記載されるように、解析の収束は、半古典的パラメーターがゼロに収束する場合に示すことができる。二次元におけるアルゴリズム、及びSCSAにおける異なるパラメーターの効果の数値解析を本明細書でさらに記載するのみならず、その数値結果は、画像再構築のための例示的方法の効率を示している。
まず論じるのは、一次元の場合のSCSAである。以下のシュレーディンガー演算子を考える:
Figure 2017517723
ここで、
Figure 2017517723
は、半古典的パラメーターであり、Vは、C(Ω)に属する正の実数値関数であり、ここで、
Figure 2017517723
は、有界開集合である。次いで、ポテンシャルVは、以下の命題を用いて近似することができる。
命題2.1
Figure 2017517723
を正の実数値関数とする。次いで、λ⊂Ωがコンパクトになるような任意のλについて、Vは、以下の数式、∀χ∈λを用いて近似することができる:
Figure 2017517723
ここで、
Figure 2017517723
は、以下により与えられる適切な普遍的な半古典的定数である:
Figure 2017517723
、ここで、Γは、ガンマ関数である。
さらに、λn,hは、
Figure 2017517723
によるH1,h(V)の負の固有値であり、
Figure 2017517723
は、λよりも小さい負の固有値の数であり、Ψn,hは、H1,h(V)Ψn,h,=λn,hΨn,hとなるような関連するL正規化固有関数である。
提案された信号推定方法の効率及びパラメーターλ、γ、及びhの影響について研究されている。特に、半古典的パラメーターhは、この手法に重要な役割を果たすことができる。hが減少すると、推定は、V1,h,γ,λを改善することができる。hが0になる傾向がある場合のシュレーディンガー演算子は、半古典的解析と呼ばれるため、本明細書で与えられる半古典的な信号解析の名前において正当化される。
(2)で与えられる数式は、λ=0の場合でも有効であり、λが定義の範囲外である場合であっても、目的の結果をもたらすことができる。
例えば、以下の数式:
Figure 2017517723
は、動脈圧信号の解析、並びにターボ機械の性能の解析に使用されている。
いくつかの幾何学的及び位相的な理由のため、画像処理において、変数分離手法を考慮して、一次元変換を二次元に拡張するのにより実用的であり得る。これは、例えば、x方向及びy方向における複素指数関数の積を用いて表すことができる二次元フーリエ変換の場合である。変数分離手法により、簡易数式及び高速数値アルゴリズムを定義することができる。SCS方法の同様の一般化は、二次元用に保つことができる。
いくつかの経験則は、二次元SCSA数式を数式化するのに役立ち得る。以下において、下記二次元シュレーディンガー演算子は、ポテンシャルVに関連付けることができる:
2,h(V)=−hΔ−V(4)
ここで、
Figure 2017517723
は、二次元ラプラシアン演算子であり、
Figure 2017517723
は、半古典的パラメーターであり、Vは、C(Ω)に属する正の実数値関数であり、ここで、Ω⊂]a,b[×]c,d[は、
Figure 2017517723
の有界開集合である。
上述のように、一次元実装は、方程式(1)により与えられる演算子H1,h(V)の負の固有値及び関連固有関数を使用して、ポテンシャルVを推定することができる。同様の手法を用いてポテンシャルVを推定するために、以下のスペクトル問題に焦点を合わせることができる:
Figure 2017517723
ここで、
Figure 2017517723
は、負の固有値及び関連するL正規化固有関数をそれぞれ指す。
変数分離を用いて、固有関数Ψk,hを計算することができる。
従って、
Figure 2017517723
に対して、(5)における:Ψk,h(x,y)=ψn,h(x)φm,h(y)(6)
を取ることによって、以下ものを得ることができる:
∀(x,y)∈λ2、
Figure 2017517723
これは、∀(x,y)∈λ
Figure 2017517723
を暗示する。
以下の一次元スペクトル問題を考える、∀(x,y)∈λを、
Figure 2017517723
ここで、
Figure 2017517723
は、演算子
Figure 2017517723
の負の固有値であり、
Figure 2017517723
であり、
Figure 2017517723
は、関連するL正規化固有関数である。次いで、∀(x,y)、(8)において(9)及び(10)を用いることで、
Figure 2017517723
を得る。
その結果、以下の関係を得る:
Figure 2017517723
Figure 2017517723
命題2.1で与えられる係数
Figure 2017517723
及び累乗
Figure 2017517723
は、Lieb−Thirringの予想に結び付けられたいくつかのRiesz平均及びスペクトル関数におけるKaradzhovの定理の適切な拡張に関する。Riesz平均のn次元の定式化及びKaradzhovのスペクトル関数を参照すると、二次元における合計の係数及び累乗が分かる。特に、累乗及び係数は、それぞれ
Figure 2017517723
によって与えられることが分かり、ここで、適切な普遍的な半古典的定数
Figure 2017517723
は、
Figure 2017517723
により与えられ、ここで、Γは、ガンマ関数である。
その結果、上記から、以下の命題を提案することができる。
命題3.1
をC(Ω)に属する正の実数値関数とする。次いで、λ⊂Ωがコンパクトになるような任意のλについて、Vは、λにおける以下の数式:
Figure 2017517723
で近似することができ、ここで、適切な普遍的な半古典的定数として知られる
Figure 2017517723
は、(12)により与えられる。
さらに、
Figure 2017517723
は、
Figure 2017517723
による演算子
Figure 2017517723
の負の固有値であり、
Figure 2017517723
は、λよりも小さい負の固有値の数であり、
Figure 2017517723
は、関連するL正規化固有関数である。
一次元の場合と同様に、半古典的パラメーターhは、二次元SCSA方法に重要な役割を果たすことができる。半古典的パラメーターがゼロに収束する場合の数式(13)の収束は、例えば、公知の証明の一般化によって示すことができる。
(定理4.1)
を、シュレーディンガー演算子(4)のポテンシャルと見なす有界開集合Ω上の実数値C関数とする。次いで、λ⊂Ωがコンパクトであり、かつ、
Figure 2017517723
であり、かつ、(x,y)∈λに対して均一であるような任意のペアλ2、Λについて、
Figure 2017517723
を有し、ここで、
Figure 2017517723
は、(12)により与えられる適切な普遍的な半古典的定数である。
さらに、
Figure 2017517723
は、
Figure 2017517723
による負の固有値を示し、
Figure 2017517723
は、λよりも小さい負の固有値の数であり、演算子
Figure 2017517723
の関連するL正規化固有関数である。
以下の結果を用いて、定理4.1を証明することができる。次の定理は、Helffer及びLalegによりなされた定理4.1の二次元における一般化であり、スペクトル関数上のKaradzhovの定理の適切な拡張である。
(定理4.2)
を、有界開集合]a,b[x]c,d[上のシュレーディンガー演算子(4)のポテンシャルと見なす実数値C関数とする。スペクトル関数として知られる
Figure 2017517723
を、h→0の場合の
Figure 2017517723
により定義する。
Figure 2017517723
は、λ未満の負の固有値の減少、及び演算子
Figure 2017517723
の関連するL正規化固有関数を指す。
次いで、(14)を満たす任意のペア(Ω、λ)について、
Ωに均一である、
Figure 2017517723
を有し、ここで、
Figure 2017517723
は、正の部分を指す。
(定理4.3)
を、
Figure 2017517723
であり、
かつ、hが半古典的パラメーターであるC(R)に属するシュレーディンガー演算子(4)のポテンシャルと見なす実数値関数とする。
Figure 2017517723
により、それぞれシュレーディンガー演算子
Figure 2017517723
のλ未満である減少する固有値λn,h及びλm,hのRiesz平均を示す。
次いで、γ>0について、
Figure 2017517723
を有し、ここで、
Figure 2017517723
は、正の部分であり、適切な普遍的な半古典的定数として知られる
Figure 2017517723
は、(12)により与えられる。
(定理4.1の証明)
証明は、Helffer及びRobertにより提案されたLieb−Thirringの予想に結び付けられたいくつかのRiesz平均(定理(4.3))及びスペクトル関数におけるKaradzhovの定理の適切な拡張(定理4.2)を用いて得ることができる。
まず、数式(16)及び(17)を組み合わせることによって、∀(x,y)∈λ
Figure 2017517723
が分かり、ここで、h→0であり、
Figure 2017517723
は、正の部分であり、かつ、
Figure 2017517723
である。
γの簡単な表現が分かる。方程式(21)の右側部分をx及びyで積分することで:
Figure 2017517723
一方:
Figure 2017517723
したがって、γ>0について、かつ定理4.3を用いて:
Figure 2017517723
これは、
Figure 2017517723
を暗示する。
最後に、半古典的パラメーターhが0に収束する場合、ポテンシャルVの正の部分のみを取ることによって、∀(x,y)∈Ω
Figure 2017517723
を有する。
(帰結1)
命題3.1と同じ条件下、
Figure 2017517723
を有する。
証明。命題3.1によれば:
Figure 2017517723
定理(4.3)によれば:
Figure 2017517723
、証明が完了する。
二次元SCSA数式(13)は、3つのパラメーター:λ、γ及びhに依存し得る。λは、再構築される信号の一部に関する情報を与える。簡潔にするために、λは、以下でゼロに等しくなることができ、λ=0が許容値ではなくても、一次元と同様に、非常にうまく働く。
残りのパラメーターについては、演算子はその値に依存するので、半古典的パラメーターhのみが、固有値及び固有関数に影響を及ぼす。また、負の固有値の数はhに依存し得る。実際、hが減少すると、N(resp.M)は増加する。フーリエ法と同様に、取り扱う基本要素の数と所望の再構築との間にはトレードオフが存在する。実装の観点から、十分に少ない数の固有値で画像を良好に表現する方が良い。そのため、hは、少ない数の固有値で良好な再構築を有するのに十分な大きさになるように選択される。さらに、SCSA解析では、パラメーターγは、所与の少ない数の負の固有値の信号の近似を改善することができる。これは、所与のh(N、M)について、例えば、γ値を変えることで画像の表現を改善することができることを意味する。
二次元SCSAによる画像の再構築のための数値スキームを記載するのに役立ち得る。
図6は、二次元SCSAによる画像の再構築の例示的な方法を示す。フーリエ疑似スペクトル法を利用して、シュレーディンガー演算子(方程式(1))を離散化することができる。
(実施例1)
以下の関数を考える:
Figure 2017517723
=0.02でi、j=−50、…、150に対してx=iT、及びy=jTの離散の場合で、Vが与えられると想定する。
設計パラメーターh及びγは、影響を有し得る。例えば、異なる値のh及びγを取り、Vと推定V2,h,γ,0の間の平均二乗誤差の変分を推定することによって、
Figure 2017517723
ここで、nは、離散点の数である。図1(a)に示すように、h=6×10−3及びγ=4で最小である。Vは、例えば、これらの最適なパラメーター値(図1(b)を参照)を有するV2,h,γ,0を用いて推定することができる。特に、図1(c)では、y=−1、−0.98、…、3での元の信号V(−0.62、y)と推定信号V2,0.006,4,0(−0.62、y)を示す。さらに、図1(d)では、関数とその推定値の間の相対誤差を示す。
別の例として、図2(a)は、440×440ピクセルの画像を考える。h=0.21及びγ=4の図2(b)の画像の良好な再構築を留意することができる。相対誤差を図2(c)に示す。
さらに別の例として、図3(a)は、周知の512×512ピクセルのレナ画像を考える。h=0.2及びγ=4の図3(b)の画像の良好な再構築を理解することができる。関連する相対誤差を図3(c)に示す。
レナの画像が画像処理アルゴリズム用のテスト画像として最も使用されるため、図4(a)及び図4(b)は、それぞれx及びy方向における負の固有値の挙動、及び元の画像とその推定画像の間の平均二乗誤差を、異なる値のhに対して示す。hが増加すると負の固有値
Figure 2017517723
が減少することは明らかである。図5(a)は、画像の最大ピークに対応するx=1及びy=1の最初のL正規化固有関数の局在化特性を示す。x=512及びy=512の最後のL正規化固有関数は、図5(b)により与えられる。それは、いくつかのピークを含み;それらは画像の詳細を表す。
実施態様において、画像解析エンジンは、コンピューター可読媒体に記憶されたプログラムによって指示された関数を実行することができる。すなわち、実施態様は、ハードウェア実施態様(回路を含む)、ソフトウェア実施態様、又はソフトウェア及びハードウェアを組み合わせた実施態様の形態を取ってもよい。本発明は、1つ又は複数のコンピューター可読媒体上に具体化されたコンピューター使用可能命令を含む、コンピュータープログラム製品の形態を取ってもよい。
本明細書に記載の種々の画像再構築の技術、方法、及びシステムは、一部又は全部を、コンピューターベースのシステム及び方法を用いて実行され得る。さらに、コンピューターベースのシステム及び方法を用いて、本明細書に記載の機能性を増大又は強化し、機能が実施され得る速度を増大し、さらなる特徴及び態様を、本文書中の他の箇所に記載されたものの一部として、又はそれらのものに加えて、提供し得る。上記の技術に従った種々のコンピューターベースのシステム、方法、及び実装を以下に提示する。
画像再構築システムは、汎用コンピューター又はサーバーによって具現化することができ、オペレーティングシステム(例えば、DOS、Windows 2000(商標)、Windows XP(商標)、Windows NT(商標)、OS/2、UNIX、又はLinux)及び1つ又は複数のアプリケーションプログラムなどのデータ及びプログラムを記憶するための内部又は外部メモリーを有し得る。アプリケーションプログラムの例としては、歌詞及びマルチメディアカスタマイズについて本明細書に記載の技術を実施するコンピュータープログラム、文書又は他の電子コンテンツを生成することが可能なオーサリングアプリケーション(例えば、文書処理プログラム、データベースプログラム、表計算プログラム、又はグラフィックスプログラム);他のコンピューターユーザーと通信し、種々のコンピューターリソースにアクセスし、電子コンテンツを閲覧し、作成し、あるいは操作することが可能なクライアントアプリケーション(例えば、インターネットサービスプロバイダー(ISP)クライアント、電子メールクライアント、又はインスタントメッセージ(IM)クライアント);標準のインターネットコンテンツ、及び、ハイパーテキスト転送プロトコル(HTTP)などの標準プロトコルに従ってフォーマットされた他のコンテンツをレンダリングすることが可能なブラウザアプリケーション(例えば、マイクロソフトのインターネットエクスプローラー)が挙げられる。1つ又は複数のアプリケーションプログラムを、汎用コンピューターの内部又は外部ストレージにインストールすることができる。あるいは、アプリケーションプログラムは、外部保存してもよいし、あるいは、汎用コンピューターの外部の1つ又は複数のデバイスにより実行してもよい。
汎用コンピューター又はサーバーは、コマンドに応答して命令を実行する中央処理装置(CPU)と、データを送信し受信する通信デバイスとを含み得る。通信デバイスの一例は、モデムである。他の例としては、送受信機、通信カード、衛星放送受信アンテナ、アンテナ、ネットワークアダプター、又は、有線又は無線データ経路を介して通信リンクを通じてデータを送信、受信することが可能な他のいくつかのメカニズムが挙げられる。
汎用コンピューター又はサーバーは、種々の周辺機器に有線又は無線接続することが可能な入力/出力インターフェースも含み得る。一実装において、汎用コンピューターのプロセッサーベースのシステムは、メインメモリー、好ましくは、ランダムアクセスメモリー(RAM)を含み得、二次記憶装置も含み得、これは、触知可能なコンピューター可読媒体であってもよい。触知可能なコンピューター可読媒体メモリーは、例えば、ハードディスクドライブ又はリムーバブル記憶ドライブ、フラッシュベースストレージシステム又はソリッドステートドライブ、フロッピーディスクドライブ、磁気テープドライブ、光ディスクドライブ(ブルーレイ、DVD、CDドライブ)、磁気テープ、紙テープ、パンチカード、スタンドアロン型RAMディスク、Iomega Zipドライブなどを含み得る。リムーバブル記憶ドライブは、リムーバブル記憶媒体から読み出し、これに書き込むことができる。リムーバブル記憶媒体は、フロッピーディスク、磁気テープ、光ディスク(ブルーレイディスク、DVD、CD)、メモリーカード(コンパクトフラッシュカード、セキュアデジタルカード、メモリースティック)、紙データストレージ(パンチカード、パンチテープ)などを含み得、これは、読み込み動作及び書き込み動作を行うのに使用した記憶ドライブから取り出すことができる。理解されるであろうように、リムーバブル記憶媒体は、コンピューターソフトウェア又はデータを含み得る。
別の実施態様において、触知可能なコンピューター可読媒体メモリーは、コンピュータープログラム又は他の命令をコンピューターシステムにロードさせることを可能とするための他の同様の手段を含み得る。そのような手段は、例えば、リムーバブル記憶装置及びインターフェースを含み得る。そのような手段の例としては、プログラムカートリッジ及びカートリッジインターフェース(例えば、ビデオゲーム機で見られるもの)、リムーバブルメモリーチップ(例えば、EPROM又はフラッシュメモリー)及び関連ソケット、並びに、ソフトウェア及びデータをリムーバブル記憶装置からコンピューターシステムに転送することができる他のリムーバブル記憶装置及びインターフェースが挙げられる。
いくつかの実施態様において、ビデオストリーム及び抽出画像データは、上述したものなどのメモリー又はストレージデバイスに記憶することができる。抽出画像データのコピーは、処理に使用することができる。
映像画像データ処理の一例は、シンボル(又はオブジェクト)ベースであり得る。カラーエッジ検出などの画像処理技術を用いて、スクリーンのシンボル又は映像の画像を隔離することができる。シンボルは、オブジェクトテンプレートデータベースを用いて識別することができる。例えば、シンボルが4本の足及び1本の尾を含み、オブジェクトテンプレートデータベースと一致した場合、シンボルを、イヌとして識別することができる。オブジェクトテンプレートデータベースは、適応性であってもよいため、性能は使用と共に改善するであろう。
他の画像データ処理技術は、画像抽出、ハイレベルビジョン及びシンボル検出、図地分離、深度及びモーション認識を含み得る。
(実施例2)
(シュレーディンガー演算子の二乗固有関数を用いた画像ノイズ除去)
本明細書で開示されるのは、画像ノイズ除去のための新規の方法である。提案された方法は、一次元の半古典的シュレーディンガー演算子の負の固有値に関連する二乗L正規化固有関数により与えられる、適応性のある空間的にシフトされかつ局在化された関数群のテンソル積を用いることに基づいている。半古典的パラメーターhの良好な値を選ぶことによって、実験結果は、SVDとしての他の既存の方法と比較して、提案された方法が、異なるレベルのノイズでPSNR、SSIM、及び視覚品質についてより高い性能を有することを示している。従って、この方法の主な利点は、固有関数の局在化特性及びそれらが含む関連情報によるノイズ除去処理における効率及び安定性である。
画像ノイズ除去は、画像の解釈及び視覚化のために非常に重要である。通常、これはノイズをフィルタリングするための画像処理における予備ステップである。画像ノイズ除去アルゴリズムが、画像の関連情報を保存することが重要である。画像ノイズ除去のための種々の方法が、文献に提示されている。提案された技術のいくつかは、空間フィルタリング、ウェーブレット理論、又はより最近では偏微分方程式(PDE)に基づいている。R.C. Gonzalez and R.E. Woods, Digital Image Processing. Prentice−Hall, (2008), T.C. Lin, A new adaptive center weighted median filter for suppressing impulsive noise in images. Information Sciences−Elsevier. Volume 177, (2007), 1073−1087, I.E. Fodor and C. Kamath, On denoising images using wavelet−based statistical techniques. Technical report UCRLJC−142357, Lawrence Livermore National Laboratory, (2001), Z. Hou, Adaptive singular value decomposition in wavelet domain for image denoising. Pattern Recog. Volume 36, (2003), 1747−1763, S.M. Chao and D.M. Tsai, An improved anisotropic diffusion model for detail and edge−preserving smoothing”. Pattern Recognition Letters. Volume 31, (2010), 2012−2023, 及び N. Khan, K.V. Arya and M. Pattanaik, A robust PDE based image denoising method. Proceedings of the IEEE International Conference Signal Acquisition and Processing (ICSAP 2011). Volume 1, (February 26−28、2011), 136−139を参照されたい。それら各々の内容全体は、引用により組み込まれている。PDEベースの手法は、エッジ上の照明の強度が幾何学的熱流量のように変化すると想定している。これらの技術により、良好にノイズを除去し、ノイズを均一に減少させることができるが、エッジを軟化させ得る。ピクソン領域における異方性拡散方程式の方法が、この困難を克服するためにNadernejadらに提案されているが、画像におけるいくつかの想定と、一般に満たされない境界条件とがある。E. Nadernejad, Sara Sharifzadeh and S. Forchhammer, Using anisotropic diffusion equations in pixon domain for image denosing. Springer−Verlag London. DOI 10.1007/s11760−012−0356−7を参照されたい。その内容全体は、引用により組み込まれている。
半古典的な信号解析(SCSA(Semi−Classical Signal Analysis))と呼ばれる半古典的ベースの手法が、信号解析に提案されている。B. Helffer and T.M. Laleg−Kirati, On semi−classical questions related to signal analysis. Asymptotic Analysis Journal. volume 75, Number 3−4, (2011), 125−144, 及び T.M. Laleg−Kirati, E. Crepeau and M. Sorine, Semi−classical signal analysis. Mathematics of Control, Signals, and Systems(MCSS)Journal. Volume 25, Issue 1, (2013), 37−61を参照されたい。それら各々の内容全体は、引用により組み込まれている。この方法は、画像表現用に二次元に拡張されている。Z. Kaisserli, T.M. Laleg−Kirati and A. Lahmar−Benbernou A novel algorithm for image representation using discrete spectrum of the Schrodinger operator. Submitted, 及び Z. Kaisserli and T.M. Laleg−Kirati Image representation and denoising using squared eigenfunctions of Schrodinger operatorを参照されたい。それら各々の内容全体は、引用により組み込まれている。この手法の主な考えは、画像の行と列ごとの一次元の半古典的シュレーディンガー演算子の離散スペクトルに関連する二乗L正規化固有関数のテンソル積により与えられる空間的にシフトされかつ局在化された関数群を用いて画像を分解することにある。D.E. Dudgeon and G. Lorentz, Constructive approximation. Comprehensive studies in mathematics, Springef−Varlag. Volume 303. 1993, 及び A.K. Jain, Fundamentals of digital image processing. Prentice−Hall, (1989)を参照されたい。それら各々の内容全体は、引用により組み込まれている。演算子のポテンシャルは、考慮した画像により与えられる。負の固有値と二乗L正規化固有関数とからなる離散スペクトルを用いて、画像を分解、再構築、及び解析できることが示されている。また、画像の表現において2D演算子を2つの1D演算子に分割することによるテンソル積の使用により、複雑さ及び処理時間において演算を簡素化し、並列演算の使用が可能になる。D.E. Dudgeon and G. Lorentz, Constructive approximation. Comprehensive studies in mathematics, Springef−Varlag. Volume 303. 1993, 及び A.K. Jain, Fundamentals of digital image processing. Prentice−Hall, (1989)を参照されたい。それら各々の内容全体は、引用により組み込まれている。
SCSA法は、画像ノイズ除去のために使用することができる。固有値分解にも基づいているSVD法と比較して、提案されたアルゴリズムは、高ノイズレベルであってもその固有関数の局在特性によりノイズ除去及び画像エッジの保存においてより高い性能を有する。SVD法については、M. Aharon, M. Elad, and A. M. Brukstein, K−SVD:an algorithm for denoising of overcomplete dictionaries for sparse representation. IEEE Transaction on Signal Processing. Volume 54, Number 11, (2006), 4311−4322, M. Elad and M. Aharon, Image denoising via sparse and redundant representations over learned dictionaries. IEEE Transaction on Image Processing. Volume 303, Number 12, (2006), 3736−3745, Y. He, T. Gan, W. Chen and H. Wang, Adaptive denoising by singular value decomposition. IEEE Signal Processing Letters. Volume 18, Number 4, (2011), 215−218, 及び L. Zhang, W. Dong, D. Zhang, and G. Shi, Two−stage image denoising by principal component analysis with local pixel grouping. Pattern Recognition Elsevier. Volume 43, (2010), 1531−1549を参照されたい。それら各々の内容全体は、引用により組み込まれている。
(画像表現のためのアルゴリズム)
次に、ポテンシャルVに関連する2D半古典的シュレーディンガー演算子:
Figure 2017517723
ここで、
Figure 2017517723
は、2Dラプラシアン演算子であり、
Figure 2017517723
は、半古典的パラメーターであり、Vは、C(Ω)に属する正の実数値関数であり、ここで、Ω=]a,b[×]c,d[は、
Figure 2017517723
の有界開集合である。
シュレーディンガー演算子の半古典的特性、及び1D SCSA数式から想起すると、2Dの場合におけるSCSA数式の拡張は、以下の定理により与えられる。
を、シュレーディンガー演算子(26)のポテンシャルと見なすΩ上の正の実数値C関数とする。次いで、Λ⊂Ωがコンパクトであり、かつ、
Figure 2017517723
であり、かつ、(x,y)∈Λに対して均一であるような任意のペア(Λ,λ)について、
Figure 2017517723
を有し、ここで、
Figure 2017517723
は、
Figure 2017517723
により与えられる適切な普遍的な半古典的定数であり:
Γは、標準的なガンマ関数を指す。
さらに、
Figure 2017517723
は、
Figure 2017517723
による負の固有値を示し、
Figure 2017517723
は、λよりも小さい負の固有値の有限数であり、
Figure 2017517723
となるような演算子H(V)の関連するL正規化固有関数である。
定理の証明は、B. Helffer及びT.M. Laleg−Kiratiらの文献「信号解析に関する半古典的問題(On semi−classical questions related to signal analysis)」において、Helffer及びLalegにより提案された定理4.1の一般化を用いて得られる。Asymptotic Analysis Journal. Volume 75, Number 3−4, (2011), 125−144を参照されたい。その内容全体は、引用により組み込まれている。Helffer及びLalegは、スペクトル関数上でKaradzhovの定理の拡張を使用する(G. E. Karadzhov, Semi−classical asymptotic of spectral function for some Schr¨odinger operator. Math. Nachr. Volume 128, (1986), 103−114を参照されたい。その内容全体は、引用により組み込まれている)。Riesz平均とLeib−Thirringの予想との結び付きは、その内容全体が引用によって組み込まれている、「Lieb−Thirringの予想Iと結びつけられた有界状態と半古典的極限のRiesz平均(Riesz means of bound states and semiclassical limit connected with a Lieb−Thirring’s conjecture I)」(Asymptotic Analysis Journal, Volume 3, (1990), 91−103)において、Helffer及びLalegにより提案されている。
(定理5.1)
Iを正方行列
Figure 2017517723
の空間上の画像とする。固有値問題(30)の離散化は、行列の以下の固有値問題により与えられる、
Figure 2017517723
ここで、
Figure 2017517723
による
Figure 2017517723

Figure 2017517723
は、
Figure 2017517723
による負の固有値と、2Dの離散化された半古典的シュレーディンガー演算子Hのそれぞれの関連l正規化固有ベクトルを指し、i,j=1,・・・,Nは、それぞれ、行列のi番目の行及びj番目の列を指す。
2D固有値問題(31)を解くため、アイデアは、1Dの固有値問題を解くこと、及び画像処理でしばしば行われるように、テンソル積を用いて結果を組み合わせることとから構成される。例えば、M.N. Do and M. Vetterli, finite ridgelet transform for image representation. IEEE trans. Image Processing, vol. 12, No. 1, (January 2003), 16−28, 及び S. Mallat, A wavelet tour of signal processing:sparse way. Third Edition, Elsevier, 2009を参照されたい。それら各々の内容全体は、引用により組み込まれている。これは、この問題を行ごと及び列ごとに解くことができることを意味し、これにより、複雑さ及び演算時間の観点から演算を簡素化し、並列演算を使用することができる。
離散の場合において、1D演算子の分離された行及び列は、以下によってそれぞれ与えられ得る:
Figure 2017517723
ここで、Dは、フーリエ疑似スペクトル法を用いて得られた二階微分行列であり、
Figure 2017517723
は、それぞれ、1D信号、行及び列信号の対角行列である。
関連スペクトル問題は、以下によって与えられ得る:
Figure 2017517723
特に、ピクセル[i、j]について、固有値問題(34)(resp.(35))を解いた後、
Figure 2017517723
についての全ての負の固有値とj番目(resp.i番目)の関連l正規化固有ベクトル
Figure 2017517723
とが取られる。従って、
Figure 2017517723
次いで、定理5.1に基づいて、画像の再構築は、画像処理の場合にはよくあることだが、ピクセルごとに以下のように行うことができる。
定義6.1
Figure 2017517723
を正の実数値正方行列とする。次いで、IのSCSA法による近似は、以下の数式により定義される:∀(i,j)∈{1,2,…,N}
Figure 2017517723
ここで、(32)により与えられる適切な普遍半古典的シュレーディンガー演算子として知られる
Figure 2017517723
は、普遍的な半古典的定数である。
さらに、
Figure 2017517723
は、
Figure 2017517723
による、(32)(resp.(33))により与えられた一次元半古典的シュレーディンガー演算子の負の固有値であり、
Figure 2017517723
は、λよりも小さい負の固有値の数であり、
Figure 2017517723
は、
Figure 2017517723
となるような関連L正規化固有ベクトルである。
Z.Kaisserli, T.M.らで行われたいくつかの数値的検証に沿って、定理5.1は、画像の表現におけるパラメーターhの重要性を示す。実際に、hが減少すると、負の固有値の数であるN λ×M λは増加する。しかしながら、実際には、より少ない数の固有値(すなわち;hが十分に大きい)で良好な結果が得られることが分かっており、これは、固有関数の局在化特性及びそれらの関数が含む関連情報によってもたらされる。事実、第1の固有関数は、画像における最大ピークと、最大ピークに続く2本のピークの2番目のピークとの良好な局在化をもたらした後、最後の固有関数にはいくつかの振動が存在することで、画像の詳細を表現することができる。この特性は、画像ノイズ除去のためにこの方法を使用する動機付けとなる。実際、アイデアは、ノイズの多い画像に属する最も重要な固有関数(これは、第1の固有関数により与えられ、ノイズを表す固有関数は破棄する)を保持することにある。画像における重要な詳細の無視につながる和(数式(28))を単純に切り捨てる代わりに、振動の数を、半古典的パラメーターhの値を増加させることで減らすことができる。これは、このタスクを達成するためにパラメーターhを効率的に選択する必要があることを暗示する。hの適当な値を見つける1つの方法は、推定誤差のノルムとノイズ除去信号のノルムにより与えられる平滑項とからなる適当なコスト関数を最小にすることである。
この方法に依存する設計パラメーターにおいて、パラメーターλは、再構築される信号の一部についての情報を与えることが分かっており、単純化のために、以下ではλをゼロに設定する。対照的に、パラメーターλは、所与の少ない数の負の固有値について画像の近似を改善することができ、ここでは、γ=4とした。
(2D二乗L正規化固有関数に基づく画像のノイズ除去)
提案された方法は、負の固有値と、半古典的シュレーディンガー演算子の関連二乗L正規化固有関数のみを使用し、ここで、ノイズの多い画像は、この演算子のポテンシャルと見なす。ノイズの多い画像にのみ依存するこの量は、画像自体に必ずしも依存するとは限らないいくつかの量を使用する既存の方法とは異なり、性能改善の理由を説明する2つの主要な特徴を表す。
このセクションでは、数値例は、提案された方法の効率性及び安定性を示す。ピーク信号対ノイズ比(PSNR)、構造類似性指数(SSIM)、及び平均構造的類似性指数(MSSIM)を客観的指標として採用し、ノイズ除去画像の画質を評価する。Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli, Image quality assessment:from error visibility to structural similarity. IEEE Transaction on Image Processing. Volume 4, Number 13, (2004), 1−14を参照されたい。その内容全体は、引用により組み込まれている。画像には、ゼロ平均及び異なるレベルの標準偏差σ(異なる値のSNR)を有する付加ガウス型白色ノイズを施す。
提案されたアルゴリズムは、以下のように記載することができる:
アルゴリズム1:画像ノイズ除去のためのアルゴリズム
インプット:ノイズを除去する画像
アウトプット:ノイズ除去画像
ステップ1:h、λ、及びγを初期化する。
ステップ2:1Dのラプラス演算子D2を離散化する。
ステップ3:(i;j=、…、Nそれぞれの全ての行i及び列jについて)1Dの固有値問題(34)及び(35)を解く。
ステップ4:数式(38)を用いて画像を再構築する。
ステップ5:停止規準をチェックし、
−満たす場合には、終了
−そうでない場合には、hを更新し、ステップ3に行く。
図7は、レナの元の画像とノイズの多い画像をそれぞれ示す。標準偏差σは、75と等しく、対応するSNRは、11.2dBである。図8Bは、1.65と等しい最良値のhを用いたレナの画像のノイズ除去を示す。しかしながら、最良値よりも小さいhの値を使用することは、ノイズを完全にフィルターしないが、ノイズの多い画像(図8Aを参照)を再構築するのに役立ち、より大きな値のhでは、重要な固有関数が図8Cに示すように正確ではないため、画像の関連情報が失われる。
レナの元の画像、ノイズの多い画像(σ=75)、及びノイズ除去した画像のヒストグラムを図9にそれぞれ示す。ノイズの多い画像のヒストグラムを表す図9Bは、ガウス関数の形状を有する。ノイズ除去プロセス(図9C)中にSCSA法を用いることで、元の画像(図9A)の形状が、高レベルのノイズでも得られる。
次に、ノイズの多い場合について提案された方法をSVD法と比較する(M. Aharon, M. Elad, and A. M. Brukstein, K−SVD:an algorithm for denoising of overcomplete dictionaries for sparse representation. IEEE Transaction on Signal Processing. Volume 54, Number 11, (2006), 4311−4322, 及び L. Zhang, W. Dong, D. Zhang, and G. Shi, Two−stage image denoising by principal component analysis with local pixel grouping. Pattern Recognition Elsevier. Volume 43, (2010), 1531−1549を参照されたい。それら各々の内容全体は、引用により組み込まれている)。SVD法は最も使用される方法の1つであり、かつ、画像に依存する固有値分解にも基づいているため、選択肢はSVD法に集中した。ゼロ平均及び異なるレベルの標準偏差σ={10、20、25、30、40、50、100}をそれぞれ有するガウス型白色ノイズを、レナの元の画像に加えた。空間の制限により、表1は、これら2つのアルゴリズムのPSNR及びMSSIM結果を示す。提案された方法を用いたノイズ除去がSVD法よりも良いことは明らかである。特に、高ノイズレベルでは、提案された方法は、画像がいくつかのテクスチャを有し、より良い視覚品質を提供する場合であっても、最良の結果をもたらす。画像のエッジ及びテクスチャは、それらがぼやけたり又は失われるSVD法と異なり、提案された方法でより良く保存される(図10を参照)。この第1の結果により、提案された方法が付加ガウス型ノイズに対して堅牢であることが確認される。
表1.K−SVD及び提案された方法による異なるノイズレベルでのノイズ除去画像のPSNR(dB)及びSSIM結果
Figure 2017517723
(実施例3)
(半古典的信号解析手法を用いた磁気共鳴分光法によるデータのノイズ除去:インビトロMRSデータへの適用)
SCSA法は、代謝物ピーク情報を保存しながらノイズを著しく減らすことができる。これにより、感度の低いMRSデータで、特に、インビボでの組織代謝の研究においてSCSAを使用することができる。これは、内部標準を用いたインビトロデータとインビボデータの完全な研究によって実証することができる。
局在化磁気共鳴分光法(MRS)は、インビボの組織の代謝を研究し、かつ、いくつかの診断法及び治療臨床応用に有用な情報を提供するのに用いられる有力な技術である。Martinez−Bisbal MCらの文献、Q J Nucl Med Mol Imaging. 2009; 53(6):618−30を参照されたい。その内容全体は、引用により組み込まれている。しかしながら、代謝物情報の精度は、取得したMRSデータの低い信号対ノイズ比(SNR)により疑わしい。SNRを保存するために信号加算平均が必要であり、これは、データの取得時刻を長くする。収集したデータを正確に解析しながら取得時刻を短くするため、半古典的信号解析(SCSA)方法を使用することができる。Laleg−Kirati TMらの文献、Semi−classical signal analysis, Math. Cont. Sign. Syst. 2013; 25(1):37−61を参照されたい。その内容全体は、引用により組み込まれている。この方法は、シュレーディンガー演算子を用いて、MRS信号の最も重要な固有関数及び固有値を抽出し、それらを使用して、ノイズ除去されたMRS信号を再構築する。得られた結果は、感度の低いインビトロMRSデータから代謝物ピーク情報を正確に推定することにおけるこの技術の有用性を示している。
(材料及び方法)
インビトロ実験は、3T(Tim Trio Siemens)で行う。局所水を抑制したスペクトルは、塩化コリン(Ch)及びN−アセチル−L−アスパラギン酸(NAA)を各々10mMの既知の濃度で含有するファントムから、PRESSシーケンス(TE/TR=30/2000ms、ボクセルサイズ=10×10×20mm)を用いて取得する。2〜32の範囲の平均値をもつ7本のMRスペクトルをSCSA法を用いて解析し、ここで、yで示される信号は、半古典的シュレーディンガー演算子のポテンシャルと見なす。負の固有値からなる離散スペクトルを演算して、以下のような信号を再構築するために使用する:
Figure 2017517723
は、
Figure 2017517723
となるように、それぞれ、シュレーディンガー演算子の負の固有値及び対応するL−正規化固有関数である。
パラメーターhは、SCSAで重要な役割を果たす。hが減少すると、近似は改善する。しかしながら、ノイズ除去プロセスでは、信号に属する固有関数を保持し、ノイズを表す固有関数を破棄することが推奨される。これは、パラメーターhの効率的な選択により達成され、これは、以下のコスト関数を最小化することでなされる:
Figure 2017517723
、ここで、(m:m)及びIは、それぞれ、ノイズ領域及び信号領域である。量である
Figure 2017517723
を用いて、SNRを演算する。∝は、重み関数である。
(結果/考察)
図11は、ノイズの多いインビトロスペクトル(青色)及び再構築されたSCSAスペクトル(赤色)を示す。コリン及びNAA領域のズームを図12に示し、スペクトルの差は緑色で示す。
MRSデータの著しいSNR増加は、SCSA法を用いて得られる(図11、12)。7本のスペクトル(表2)からの代謝物ピークの定量化の結果により、SCSAは、異なる感度レベル(表3)でデータを正確に解析することができることが示される。定量化は、インハウスMATLABプログラムを用いて行う。表3は、スペクトルごとのSNR増加の量、及び信号とノイズの固有関数間で分離するのに用いた対応するh値を報告する。
参照として水の線を用いた予備の絶対定量化結果(不図示)(Serrai H. et al, J. Magn. Reson. 2001; 149(1):45−51を参照されたい。その内容全体は、引用により組み込まれている)は、SCSA前よりもSCSA後に代謝物双方についてより良好である。
表2:SCSA前及びSCSA後(太字)の定量化結果。算出したコリン及びNAAピーク面積は、任意値(a.u)である。
Figure 2017517723
表3:SCSA前及びSCSA後のSNR値(a.u)及び対応するh値。スペクトル数及び平均値。
Figure 2017517723
(高パフォーマンス実装)
上述のSCSA画像ノイズ除去アルゴリズムは、2つのステージの演算、すなわち、画像表現及びピクセル再構築を特徴とする。第1ステージでは、画像の各列及び各行を、負の固有値及びそれらの対応する固有ベクトルを抽出することを介して解析する。第2ステージでは、各ピクセルを、その関連する行及び列の固有値及びそれらの対応する固有ベクトル成分を利用する一連のBLAS[7]作業で再構築する。アルゴリズム1は、SCSA画像ノイズ除去疑似コードを示す。
アルゴリズム2 SCSA。Iは、画像を表すn×n行列である。
1:δ行列Dを構築する
//画像表現
{ピクセルの各行r/各列cについて:}
2:for I=0〜n−1 do
3:S=−h*D−diag(r
4:S/Sの固有解析を行い、負の固有値Kx/Ky及び対応するL正規化固有ベクトルP/Pを抽出する
5:end for
//画像再構築
{各ピクセルpijについて:}
6:for i=0〜n−1 do
7:for j=0〜n−1 do
8:K=repmat(K(i),size(K(j)))+repmat(K(j),size(K(i)))
9:v=GEMV(K、P(j、i))
10:pij=DOT(P(i、j),v)
11:end for
12:end for
SCSA画像ノイズ除去アルゴリズムの3つの高性能な増分実装:1)、後続の実装の性能ベースラインとして使用されるMATLAB実装;2)行列演算、すなわち、固有分解、行列ベクトル、及びドット積を行うインテル・マルチスレッド化・マス・カーネル・ライブラリーを使用することができるC++シーケンシャル実装;及び3)リソース占有率を最大にするため、例えば、OpenMPプログラミングモデルに基づく第2レベルの並列処理による事前実装が提供される。例示的アルゴリズムは、並列であってもよく、ここで、画像の各行及び各列の処理は独立しているため、OpenMPコンストラクトを用いて同時に行ってもよい。各スレッドは、MKLからのLAPACKルーチンを用いて、一度に1つのピクセル行の固有分解を実行することができる。ピクセルの行は、周期的にスレッド間で分散してもよい。OpenMPバリアを用いて、画像再構築ステージを開始する前に行計算を確実に行うことができる。この後の手順は、ピクセル列にも適用することができる。データ管理は、例えば、画像表現中には慎重に取り扱う必要があり、ここで、生成された中間データは、立方体状に問題のサイズに成長させることができる。例示的アルゴリズムは、データ局所性を高めながら、メモリーフットプリントを最小にするように再設計することができ、これは、計算カーネルのメモリー束縛の性質を考えると群を抜いて優れている。所与のバッチのピクセル行及び列が画像表現中に処理されるとすぐに、新規のアルゴリズムは、対応するバッチの画像再構築を進行し、新たに計算された負の固有スペクトルを含むバッファーを再利用する。これらの中間バッファーは、後続のバッチ用に再初期化し、メモリースペースを節約することで、アルゴリズムスケーラビリティを保証することができる。
計算は、単精度浮動小数点演算で行ってもよい。実装は、例えば、デュアルソケットIntel(R)Xeon(R)CPU E5−2680(10個のコアを有し、各々は2.80GHzで動作し、トータルで128GBのメインメモリーを有する)上で行うことができる。図13は、MKL実装に対するOpenMP SCSA画像ノイズ除去アルゴリズムの並列性能及びMATLABコード並びにそのプロファイルを示す。特に、図13(a)は、MKL及び最適化MATLABコードに対する最適化OpenMP並列コードの性能高速化を示す。性能におけるそのようなブーストは、アルゴリズムの並列性質と、利用可能なハードウェアリソースを十分に利用しながらデータ局所性の利点を取る能力とによるものであり得る。図13(b)は、演算ステージの時間の内訳を示す。加速実装は、寸法が最大512×512ピクセルの範囲の画像について性能がピークになり、その後、高速化は、積極的なメモリー利用とバスバンド幅飽和により衰え始めることがある。固有分解は、大きな画像サイズについてのボトルネックを示し得るが、2ステージの固有ソルバーを用いてさらに最適化することができる。時間の一部は、図13(b)の右側のバーに示すように、データの操作(行列複製及び行列を整数乗に累乗)に費やされる。これは、例えば、このプロセスを簡素化することができる専用GPUカーネルを追加することで緩和することができる。スケーリングを維持するため、アルゴリズムは、例えば、利用可能な処理部のうちで異なるカーネルをスケジュールするためにタスク−ベースプログラミングモデルを利用することで、例えば、適正なロード・バランシング、データ局所性、及び演算ステージにわたるパイプライニングを保証する動的ランタイムシステムを使用することで拡張することができる。
(参考文献)
以下の参考文献の各々の内容全体は、引用により本明細書に組み込まれている。
Figure 2017517723
Figure 2017517723
Figure 2017517723
本明細書で開示され、特許請求される方法の全ては、本開示に鑑みて、過度の実験なくして作製され得、かつ行われ得る。本発明の装置及び方法は、好ましい実施態様の観点から記載されてきたが、バリエーションが、上記方法に、及び本明細書に記載される方法のステップ又は連続するステップにおいて、本発明の概念、趣旨及び範囲から逸脱することなく適用され得ることは、当業者に明らかである。加えて、上述のことから、本発明は、前述の全ての目標及び目的を、他の利点とともに達成するのに上手く適合していることが分かるであろう。特定の特徴及びサブコンビネーションは有用であり、他の特徴及びサブコンビネーションを参照することなく使用できることが理解されるであろう。これは、特許請求の範囲によって想定され、かつその範囲にある。当業者に明らかな全てのこのような類似の置換物及び改変は、添付の特許請求の範囲によって規定される、本発明の精神及び範囲内にあるとみなされる。

Claims (11)

  1. 信号から画像を構築する方法であって、
    該信号をシュレーディンガー演算子のポテンシャルとして解釈すること、ここで、該信号は、第1の関数群に関連する第1の成分と第2の関数群に関連する第2の成分を少なくとも含み;
    該信号を、該第2の関数群に関連する第2の二乗固有関数から該第1の関数群に関連する第1の二乗固有関数に分解すること;
    該シュレーディンガー演算子の設計パラメーターを減らすこと;
    該第1の関数群の該シュレーディンガー演算子の第1の離散スペクトルと該第2の関数群の該シュレーディンガー演算子の第2の離散スペクトルを解析すること;及び
    該第1の及び第2の離散スペクトルの解析を組み合わせて、該画像を構築すること
    を含む、前記方法。
  2. 前記信号が映像信号である、請求項1記載の方法。
  3. 前記二次元画像が磁気共鳴画像である、請求項2記載の方法。
  4. 前記二次元画像が断層画像である、請求項2記載の方法。
  5. 画像を近似する方法であって、
    該画像を含むデータをシュレーディンガー演算子の二乗固有関数に分解すること;
    該二乗固有関数の離散スペクトルを解析すること;
    該シュレーディンガー演算子の設計パラメーターを最適化すること;及び
    該離散スペクトルの解析に基づいて該画像の近似を構築すること
    を含む、前記方法。
  6. 前記離散スペクトルを解析することが、前記データのノイズを排除する、請求項5記載の方法。
  7. 前記二乗固有関数が適応性であり、前記解析することが形態素解析を含む、請求項5記載の方法。
  8. コンピュータープロセッサー及び非一時的なコンピューター可読媒体を含む、信号のノイズを除去するシステムであって、
    該非一時的なコンピューター可読媒体が、
    該信号をシュレーディンガー演算子のポテンシャルとして解釈すること、ここで、該信号は、第1の関数群に関連する第1の成分と第2の関数群に関連する第2の成分を少なくとも含み;
    該信号を、該第2の関数群に関連する第2の二乗固有関数から該第1の関数群に関連する第1の二乗固有関数に分解すること;
    該シュレーディンガー演算子の設計パラメーターを減らすこと;
    該第1の関数群の該シュレーディンガー演算子の第1の離散スペクトルと該第2の関数群の該シュレーディンガー演算子の第2の離散スペクトルを解析すること;及び
    該第1の及び第2の離散スペクトルの解析を組み合わせて、ノイズ除去信号を再構築すること
    を含むステップを該システムに実行させる命令を含む、前記システム。
  9. 前記信号が二次元画像の情報を含む、請求項8記載のシステム。
  10. 前記二次元画像が磁気共鳴画像である、請求項9記載のシステム。
  11. 前記二次元画像が断層画像である、請求項9記載のシステム。
JP2016564176A 2014-04-25 2015-04-24 画像の再構築、解析、及び/又はノイズ除去のためのシステム及び方法 Pending JP2017517723A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461984719P 2014-04-25 2014-04-25
US61/984,719 2014-04-25
US201562103385P 2015-01-14 2015-01-14
US62/103,385 2015-01-14
PCT/IB2015/001447 WO2015170192A2 (en) 2014-04-25 2015-04-24 System and method for image reconstruction, analysis, and/or de-noising

Publications (1)

Publication Number Publication Date
JP2017517723A true JP2017517723A (ja) 2017-06-29

Family

ID=54238467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564176A Pending JP2017517723A (ja) 2014-04-25 2015-04-24 画像の再構築、解析、及び/又はノイズ除去のためのシステム及び方法

Country Status (4)

Country Link
US (1) US10013607B2 (ja)
EP (1) EP3134853B1 (ja)
JP (1) JP2017517723A (ja)
WO (1) WO2015170192A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698065B2 (en) * 2015-05-15 2020-06-30 New York University System, method and computer accessible medium for noise estimation, noise removal and Gibbs ringing removal
US10181181B2 (en) * 2017-05-10 2019-01-15 Southwest Research Institute Denoising with three dimensional fourier transform for three dimensional images, including image sequences
TWI637351B (zh) * 2017-05-17 2018-10-01 國立中正大學 影像處理方法及非暫態電腦可讀取記錄媒體
US10983076B2 (en) * 2017-10-18 2021-04-20 King Abdullah University Of Science And Technology Magnetic resonance spectroscopy water suppression method and device
CN110688964B (zh) * 2019-09-30 2023-05-26 哈尔滨工程大学 一种基于稀疏分解的小波阈值与emd联合降噪方法
CN111681667B (zh) * 2020-06-23 2021-05-04 青岛科技大学 基于自适应窗口滤波和小波阈值优化的水声信号去噪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02500486A (ja) * 1986-07-11 1990-02-22 ジェネラル エレクトリック セージェーエール エス.アー. Nmrの測定においてラジオ周波数の励起を起こさせる方法
JPH10145590A (ja) * 1996-11-12 1998-05-29 Tsukuba Soft Kenkyusho:Kk カラー/濃淡画像入力出力装置と入力出力方法
WO2009088524A1 (en) * 2008-01-02 2009-07-16 D & H Global Enterprise, Llc System for and method of enhancing images using fractals
JP2013020337A (ja) * 2011-07-08 2013-01-31 Nikon Corp 画像分類方法
JP2013526361A (ja) * 2010-05-21 2013-06-24 コミサリア ア レネルジィ アトミーク エ オ ゼネ ルジイ アルテアナティーフ 複合rfパルスを用いたスライス選択型のmriのbl‐不均一性を補正するための方法および装置
JP2013156796A (ja) * 2012-01-30 2013-08-15 Osaka Univ 物質中又は物質近傍の原子又は分子等の量子状態推定方法、量子状態推定装置及びコンピュータプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847737B1 (en) * 1998-03-13 2005-01-25 University Of Houston System Methods for performing DAF data filtering and padding
US20040128081A1 (en) * 2002-12-18 2004-07-01 Herschel Rabitz Quantum dynamic discriminator for molecular agents
US10169445B2 (en) * 2008-11-07 2019-01-01 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for determining optimal parameters for dynamic quantum clustering analyses
WO2015039054A1 (en) * 2013-09-13 2015-03-19 The Regents Of The University Of California Method and system for analysis of volumetric data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02500486A (ja) * 1986-07-11 1990-02-22 ジェネラル エレクトリック セージェーエール エス.アー. Nmrの測定においてラジオ周波数の励起を起こさせる方法
JPH10145590A (ja) * 1996-11-12 1998-05-29 Tsukuba Soft Kenkyusho:Kk カラー/濃淡画像入力出力装置と入力出力方法
WO2009088524A1 (en) * 2008-01-02 2009-07-16 D & H Global Enterprise, Llc System for and method of enhancing images using fractals
JP2013526361A (ja) * 2010-05-21 2013-06-24 コミサリア ア レネルジィ アトミーク エ オ ゼネ ルジイ アルテアナティーフ 複合rfパルスを用いたスライス選択型のmriのbl‐不均一性を補正するための方法および装置
JP2013020337A (ja) * 2011-07-08 2013-01-31 Nikon Corp 画像分類方法
JP2013156796A (ja) * 2012-01-30 2013-08-15 Osaka Univ 物質中又は物質近傍の原子又は分子等の量子状態推定方法、量子状態推定装置及びコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DA-YAN LIU ET AL.: ""Mathematical poperities of a semi-classical signal analysis method: noisy signal case"", 2012 1ST INTERNATIONAL CONFERENCE ON SYSTEMS AND COMPUTER SCIENCE (ISSCS), JPN6018046616, 2012, ISSN: 0003927842 *
Z.KAISSERLI ET AL.: ""Semi-classical based image reconstruction"", 6TH COLLOQUIUM ON TRENDS IN THE APPLICATIONS OF MATHEMATICS IN TUNISIA, ALGERIA, MOROCCO, 2013, JPN7018004054, 2013, ISSN: 0003927841 *

Also Published As

Publication number Publication date
US20170046557A1 (en) 2017-02-16
EP3134853B1 (en) 2020-07-01
WO2015170192A2 (en) 2015-11-12
EP3134853A2 (en) 2017-03-01
US10013607B2 (en) 2018-07-03
WO2015170192A3 (en) 2016-01-14

Similar Documents

Publication Publication Date Title
JP2017517723A (ja) 画像の再構築、解析、及び/又はノイズ除去のためのシステム及び方法
He et al. An improved fractional-order differentiation model for image denoising
Zhang et al. Denoising of 3D magnetic resonance images by using higher-order singular value decomposition
US8380000B2 (en) Methods of deblurring image and recording mediums having the same recorded thereon
Almeida et al. Deconvolving images with unknown boundaries using the alternating direction method of multipliers
Wang et al. A new alternating minimization algorithm for total variation image reconstruction
Shukla et al. Generalized fractional filter-based algorithm for image denoising
Sudeep et al. Nonlocal linear minimum mean square error methods for denoising MRI
Wang et al. Iterative feature refinement for accurate undersampled MR image reconstruction
Wang et al. A new image denoising method based on adaptive multiscale morphological edge detection
Yuan An improved variational model for denoising magnetic resonance images
Cheng et al. Improved parallel image reconstruction using feature refinement
Zhai et al. Weighted Schatten p-norm minimization for 3D magnetic resonance images denoising
Kumar et al. An FPGA-based design for a real-time image denoising using approximated fractional integrator
Hanika et al. Edge‐Optimized À‐Trous Wavelets for Local Contrast Enhancement with Robust Denoising
Routray et al. MRI Denoising using sparse based Curvelet transform with variance stabilizing transformation framework
Panigrahi et al. Joint bilateral filter for signal recovery from phase preserved curvelet coefficients for image denoising
Liu et al. Undersampled MR Image Reconstruction with Data‐Driven Tight Frame
Joy et al. Multichannel compressed sensing MR image reconstruction using statistically optimized nonlinear diffusion
Sun et al. Evolution‐operator‐based single‐step method for image processing
Gambaruto Processing the image gradient field using a topographic primal sketch approach
Luisier The SURE-LET approach to image denoising
Yang et al. A new image denoising scheme using support vector machine classification in shiftable complex directional pyramid domain
Al‐Ameen et al. Attenuating noise from computed tomography medical images using a coefficients‐driven total variation denoising algorithm
Wen et al. Modified block-matching 3-D filter in Laplacian pyramid domain for speckle reduction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190702