JP2022538124A - デジタル入力信号を強調するための信号処理装置および方法 - Google Patents
デジタル入力信号を強調するための信号処理装置および方法 Download PDFInfo
- Publication number
- JP2022538124A JP2022538124A JP2021576699A JP2021576699A JP2022538124A JP 2022538124 A JP2022538124 A JP 2022538124A JP 2021576699 A JP2021576699 A JP 2021576699A JP 2021576699 A JP2021576699 A JP 2021576699A JP 2022538124 A JP2022538124 A JP 2022538124A
- Authority
- JP
- Japan
- Prior art keywords
- input signal
- length
- signal
- signal processing
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 28
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 title claims description 44
- 230000004044 response Effects 0.000 claims abstract description 56
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000003491 array Methods 0.000 description 11
- 238000005286 illumination Methods 0.000 description 11
- 239000000523 sample Substances 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000002189 fluorescence spectrum Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000003325 tomography Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000223785 Paramecium Species 0.000 description 1
- 241000656145 Thyrsites atun Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000011748 cell maturation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000009448 modified atmosphere packaging Methods 0.000 description 1
- 235000019837 monoammonium phosphate Nutrition 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/12—Condensers affording bright-field illumination
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
- G06F17/13—Differential equations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L25/00—Baseband systems
- H04L25/02—Details ; arrangements for supplying electrical power along data transmission lines
- H04L25/0202—Channel estimation
- H04L25/024—Channel estimation channel estimation algorithms
- H04L25/025—Channel estimation channel estimation algorithms using least-mean-square [LMS] method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
- G01V1/28—Processing seismic data, e.g. for interpretation or for event detection
- G01V1/36—Effecting static or dynamic corrections on records, e.g. correcting spread; Correlating seismic signals; Eliminating effects of unwanted energy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Operations Research (AREA)
- Radiology & Medical Imaging (AREA)
- Power Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Complex Calculations (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
本発明は、システム応答(H(xi))を有する記録システム(4)によって記録されたデジタル入力信号(I(xi))を強調するための信号処理装置(1)に関し、ここで、本装置は、デジタル入力信号を取得し、特徴長さ(fl)より大きいデジタル入力信号の空間特徴を含む、デジタル入力信号のベースライン推定値(f(xi))を計算し、特徴長さより小さい空間特徴を含む出力信号(O(xi))を取得するために、デジタル入力信号からベースライン推定値を除去するように構成され、ここで、本装置は、システム応答の特性長さ(cl)を取得し、システム応答の特性長さより小さい特徴長さを使用して、ベースライン推定値(f(xi))を計算するように構成されている。
Description
本発明は、デジタル入力信号を強調するための信号処理装置および方法に関する。
記録システムを使用して信号を記録する場合、点状ソースに対する記録システムの非理想的応答によって、そのインパルス応答またはシステム応答によって記述される、付加的なノイズが生成される。これは、信号が、レーダー信号または音響信号などの時間依存性の信号であるのかどうか、および/または場所依存性の信号であるのかどうかには依存しない。信号の次元にも依存しない。ノイズは、一次元信号ならびに画像などの二次元信号、あるいは例えば断層撮影画像もしくは複数の色チャネルを有する画像のような3次元データなどの多次元信号に導入される。信号から任意のアーチファクトを除去する装置および方法を提供するために多くの努力が払われている。
したがって、本発明の課題は、信号内のノイズを低減し、それによって、信号品質を改善することができる装置および方法を提供することである。
この課題は、システム応答を有する記録システムによって記録されたデジタル入力信号を強調するための信号処理装置であって、ここで、本装置は、デジタル入力信号を取得し、ベースラインを表しかつ特徴長さよりも大きいもしくは長いデジタル入力信号の空間特徴を含む、デジタル入力信号のベースライン推定値を計算し、特徴長さよりも小さい空間特徴を含む出力信号を得るために、デジタル入力信号からベースライン推定値を除去するように構成されており、ここで、本装置は、システム応答の特性長さを取得し、システム応答の特性長さよりも小さい特徴長さを使用して、ベースライン推定値を計算するように構成されている、信号処理装置によって解決される。
その上さらに、この課題は、システム応答を有する記録システムによって記録されたデジタル入力信号を強調するための信号処理方法であって、システム応答は、少なくとも1つの次元もしくは方向において少なくとも1つの特性長さを有し、出力信号を得るために、システム応答の少なくとも1つの特性長さよりも大きいもしくは長い特徴長さを有する空間特徴がデジタル入力信号から除去される、信号処理方法によって解決される。
この課題は、さらに、請求項に記載の方法をコンピュータに実行させるプログラムを格納している、非一過性のコンピュータ可読媒体によって解決され、コンピュータプログラムがプロセッサ上で実行されるときに、請求項に記載の方法を実行するためのプログラムコードを備えたコンピュータプログラムによって解決され、請求項に記載の方法を実行した結果である出力信号によって解決され、かつ/または入力信号データと、該入力信号データから請求項に記載の方法によって生成された出力信号データと、によってトレーニングされたニューラルネットワークデバイスによって解決される。
システム応答の特性長さよりも小さい、すなわち入力信号において期待できる最小の特徴よりも小さい、長さスケールを使用することによってベースライン推定値を計算し、そしてその後除去すれば、意外にもノイズ低減が改善されるのである。この特性長さは、空間座標において表現してもよいし、時間において表現してもよい。例えば、マイク信号などの時間信号が記録される場合、システム応答、ここではインパルス応答の特性長さは、秒などの時間次元で測定されてもよい。デジタル画像を記録する画像化システムなどの記録システムにおいて、ここでのシステム応答が例えば点拡がり関数であると、特性長さは空間座標において測定されてもよい。
入力信号の実際の例として、入力信号は、好適には、デジタル入力画像データ、入力ソナー、音響および/または超音波データ、入力レーダーデータ、入力分光法および/またはケプストラを含むスペクトルデータ、入力マイクロ波データ、地震記録データなどの入力振動データ、あらゆる種類の断層撮影の入力断層撮影データおよび証券取引データなどの統計データのうちの1つを含むか、またはそれらから成ることができ、ならびにそれらの任意の組み合わせを含むか、またはそれらから成ることができる。これらの全ては、デジタルデータの整数値配列、実数値配列であってもよいし、デジタルデータの複素数値配列であってもよい。入力信号は、一次元、二次元、三次元およびN次元の1つであってよく、ここでは、N≧1である。
出力信号は、好適には、デジタル出力画像データ、出力ソナー、音響または超音波データ、出力レーダーデータ、出力分光法および/またはケプストラを含むスペクトルデータ、出力マイクロ波データ、地震記録データなどの出力振動データ、証券取引データなどの統計データのうちの1つを含むか、またはそれらからなることができ、ならびにそれらの任意の組み合わせを含むか、またはそれらから成ることができる。出力信号は、実数値または整数値であってもよい。出力信号データは、一次元、二次元、三次元およびN次元のうちの1つであってよい。出力信号データは、さらなる処理のために出力されてもよい。
入力信号では、本明細書で説明されるようなベースライン推定値は、システム応答から導入されたアーチファクトを除去するために使用されてもよい。
より一般的な用語において、本明細書で説明されるベースライン推定法は、入力信号からベースライン推定値を除去するためだけでなく、コンテンツ内容I1(xi)からベースライン(ノイズ)成分I2(xi)を分離するために使用されてもよい。次いで、これら2つの成分は、処理され、最終的に別個に分析されてもよい。例えば、スペクトルデータ、特にハイパースペクトルデータでは、大規模なベースラインスペクトル特徴は、小規模なスペクトル特徴から分離され、独立して検査されてもよい。
項xiは、N個のロケーション値を含みかつ配列内の離散ロケーションxi(もしくは当該ロケーションに対する位置ベクトル)を表すタプル{x1;…;xN}の簡易表記である。ロケーションxiは、入力信号データを表す配列内のデータまたは好適なコヒーレントのデータセットによって表現されてもよい。離散ロケーションxiは、例えば、二次元の入力信号データの場合には、二つ組の離散ロケーション変数{x1;x2}を表し、三次元の入力信号データの場合には、三つ組の離散ロケーション変数{x1;x2;x3}を表す。i番目の次元では、配列は、Mi個のロケーション、すなわち、xi={xi,1,…,xiMi}を含むことができる。合計で、I(xi)は、(M1×…×MN)個の要素を含むことができる。以下では、具体的なロケーションや具体的な次元については言及しないため、ロケーションは単にxiによって示される。表記xiは、空間次元および/または時間次元を表すことができる。時間次元と空間次元との組み合わせは、例えば、一連の画像タイムフレームまたは入力信号データのシーケンスに存在する場合がある。
I(xi)は、電磁放射または音響の強度および/または振幅を表す値など、ロケーションxiにおける任意の値または値の組み合わせであり得る。I(xi)は、色空間、例えば、RGB空間における色Rの強度、または2つ以上の色の組み合わせ強度、例えばRGB色空間における(R+G+B)/3を表すことができる。例えばマルチスペクトルカメラもしくはハイパースペクトルカメラにより、または顕微鏡、特に走査型顕微鏡により、入力画像として記録された入力信号は、4つ以上のチャネルを含むことができる。他のタイプの入力信号についても同様である。
二次元の入力信号または3色のRGBフォーマットの入力画像は、二次元の入力信号データI(xi)={IR(xi);IG(xi);IB(xi)}の3つの独立したセットとみなされてもよく、ここで、IR(xi)は、色Rの強度などの値を表し、IG(xi)は、色Gの強度などの値を表し、IB(xi)は、色Bの強度などの値を表す。代替的に、各色は、別個の入力信号を構成し、したがって別個の入力信号データを構成しているものとみなされてもよい。入力信号データが、マルチスペクトルカメラまたはハイパースペクトルカメラを使用して入力画像として記録されている場合には、4つ以上のチャネルが入力信号データによって表されてもよい。各チャネルは、光スペクトルの異なるスペクトルまたはスペクトル範囲を表すことができる。例えば、可視光スペクトルを表現するために4つ以上のチャネルが使用されてもよい。撮像された対象物が、少なくとも1つの蛍光体または少なくとも1つの自家蛍光物質のような蛍光材料を含んでいる場合、各チャネルは、異なる蛍光スペクトルを表すことができる。例えば、複数の蛍光性蛍光体が入力信号内に存在する場合、1つの蛍光体の各蛍光スペクトルは、入力信号の異なるチャネルによって表されてもよい。その上さらに、一方で照明によって選択的にトリガーされた蛍光と、他方でトリガーされた蛍光の副生成物または二次的作用として生成され得る自家蛍光と、については異なるチャネルが使用されてもよい。付加的なチャネルは、NIRおよびIR範囲をカバーすることができる。チャネルは、必ずしも強度データを含んでいなくてもよいが、対象物の画像、例えば位相に関連する他の種類のデータを表すことができる。別の例では、チャネルは、画像内の特定のロケーションにおいてトリガーされた後の蛍光寿命を表す蛍光寿命データを含むことができる。したがって一般的に、入力信号データは、次式の形態を有することができ、
I(xi)={I1(xi);I2(xi);…;IC(xi)}
ここで、Cは、入力信号データにおけるチャネルの総数である。好適には、全てのチャネルは、同じ次元を有する。
I(xi)={I1(xi);I2(xi);…;IC(xi)}
ここで、Cは、入力信号データにおけるチャネルの総数である。好適には、全てのチャネルは、同じ次元を有する。
上記の装置および方法は、以下で説明される特徴のうちの1つまたは複数を追加することによってさらに改善されてもよい。以下の特徴のそれぞれは、他の特徴に依存することなく本方法および/または本装置に追加されてもよい。特に、当業者であるならば、本発明の装置を知りながら、本発明の方法が本発明の装置を動作させることができるように本発明の方法を構成することができる。さらに、以下で説明するように、各特徴は、それ自体で有利な技術的効果を有している。
1つの実施形態においては、入力信号は、入力画像、特にデジタル入力画像であってもよい。出力信号は、出力画像、特にデジタル出力画像であってもよい。
1つの実施形態によれば、本装置は、観察デバイス、特に内視鏡または顕微鏡などの医療用観察デバイスであってもよく、デジタル入力信号はデジタル入力画像であってもよい。本装置は、少なくとも一時的に入力画像を捕捉および/または格納し、出力信号を出力画像として出力し、出力信号を計算するために入力信号からベースライン推定値を除去、特に減算し、ペナルティ項を含む最小二乗最小化規範を使用して、入力信号の少なくともサブセットに対する当てはめによって、ノイズ成分を表すベースライン推定値を計算するように構成されてもよい。
さらに、本方法は、以下を含む、特に自動的に入力信号の分解能を高めるまたは改善するための方法であってもよく、該方法は、特に自動的に、入力信号のベースライン成分を推定するステップと、画像信号におけるベースラインを表すベースライン推定値を得るステップと、出力信号を得るために入力信号からベースライン推定値を除去する、特に減算するステップと、を含み、ここで、ノイズ成分を推定するステップは、好適には、最小二乗最小化規範による最小化によって、入力信号の少なくともサブセットに対する当てはめとして、ベースライン推定値を計算するステップを含み、ここで、最小二乗最小化規範は、好適には、ペナルティ項を含む。
例えば、入力信号中のコンテンツ成分、すなわち、さらなる処理のために分離されるべき成分は、高い空間周波数または時間周波数を有し、例えば、短い距離もしくは時間周期にわたって起こる入力信号の変化の原因であると仮定されてよい。ノイズ成分は、低い周波数を有するものと仮定され、すなわち、入力信号のより広い領域にわたって拡大する、主に漸進的な強度変化をもたらす。したがって、ノイズ成分は、入力信号のベースラインに反映される。
この仮定から出発して、入力信号にわたる変化は、次式のように高周波のコンテンツ成分I1(xi)と、低周波のノイズ成分I2(xi)と、に付加的に分離されてよい。
I(xi)=I1(xi)+I2(xi)
I(xi)=I1(xi)+I2(xi)
低い時間周波数もしくは空間周波数のために、ノイズ成分I2(xi)は、多かれ少なかれ滑らかなベースラインとみなすことができ、その上にコンテンツ成分I1(xi)が高い周波数の特徴として重畳される。
特に画像については、コンテンツ成分からベースライン成分を分離するために考慮されるべき周波数は、空間周波数であってよい。空間周波数の代わりに時間周波数が考慮される場合には、当然ながら同じ考察が適用される。この場合、入力信号は、例えば、スペクトル、ケプストラム、または複数のスペクトルもしくはケプストラムを表すことができる。
したがって、ベースライン推定値は、空間領域または周波数領域において小規模な(ベースライン)信号コンテンツかまたは大規模な(ベースライン)信号コンテンツを抽出および/または除去するために等しく使用されてよい。
入力信号I(xi)は、システム応答H(xi)を有することが想定されている記録システムを用いて記録されている。この記録された入力信号I(xi)は、次式のようにシステム応答との畳み込みによる真の画像IT(xi)から結果として生じる。
I(xi)=IT(xi)*H(xi)
I(xi)=IT(xi)*H(xi)
記録システムが画像化システムである場合、システム応答は、画像化システムの点拡がり関数に相当する。信号の時間トレースを記録するシステム、例えば音響記録システムなどの他のシステムでは、システム応答は、インパルス応答に対応する。
システム応答は、特性長さclを有し、この特性長さclは、例えば半値幅(HWHM)、半値全幅(FWHM)、または幅と最大値との任意の他の割合であってもよい。時間領域では、特性長さは持続時間に対応する。システム応答および/またはその特性長さは、予め定められてもよく、すなわち、本明細書に記載された装置に先行して、例えば、実験、数値シミュレーション、分析、またはそれらの任意の組み合わせによって既知であってもよく、装置内に格納されていてもよい。代替的または付加的に、システム応答またはその特性長さは、例えばLucy-Richardsonアルゴリズムによって計算されてもよい。
ベースライン推定値が決定され、したがってI2(xi)のためのベースライン推定値f(xi)が得られたならば、出力信号O(xi)は、ベースライン推定値と入力信号とから得られてもよい。特に、出力信号は、次式のようにベースライン推定値を入力信号から減算することによって計算されてもよい。
O(xi)=I(xi)-f(xi)
O(xi)=I(xi)-f(xi)
出力信号O(xi)は、好適には、次元NとM1×…×MN個の要素とを有する離散デジタルデータ配列によっても表され、したがって、好適には、入力信号および/またはベースライン推定と同じ次元を有する。ベースライン推定値は、N個の次元と(M1×…×MN)個の要素とを有するハイパーキューブ配列であってもよく、したがって、入力信号と同じ次元を有する。
ベースラインは、入力信号に対する当てはめを使用して推定されてもよい。計算上、この当てはめ、すなわちベースライン推定は、離散ベースライン推定値f(xi)によって表される。
1つの実施形態では、本装置は、例えば以下でさらに説明するように、正則化長さスケールを使用してベースライン推定値を計算するように構成されてもよい。例えば、ベースライン推定値は、ティホノフ正則化などの正則化を使用して計算されてもよく、ここで、正則化長さスケールは、正則化パラメータとして使用されてもよい。正則化長さスケールは、好適には特徴長さflのみに依存する。
本装置は、最小二乗最小化規範を使用してベースライン推定値を計算するように構成されてもよい。この最小化規範は、好適には、ベースライン推定値と特徴長さとを含む。特に、最小二乗最小化規範のペナルティ関数は、特徴長さを含むことができる。
別の実施形態では、最小二乗最小化規範は、特徴長さと、ベースライン推定値の少なくとも1つの導関数と、の好適な無次元の組み合わせを含むことができる。この導関数は、好適には、次元xiに関する導関数または導関数の組み合わせである。
1つの特定の例では、この当てはめは、入力信号に対する多項式当てはめであってもよい。特に、ベースライン推定値は、次式のように任意のN次元iにおけるK次多項式によって表されてもよい。
ここで、αi,kは、i番目の次元における多項式の係数である。各次元i=1,…,Nに対して、別個の多項式が計算されてもよい。1つの実施形態によれば、多項式当てはめは、入力信号の次元に依存して、複数の次元で同時に行われてもよい。
最大多項式次数Kの最適値は、ベースライン推定値に必要な平滑性に依存する。滑らかなベースラインのためには、多項式次数をできるだけ低く設定する必要があるが、非常に不規則な背景の当てはめには、より高い次数が必要になる場合がある。
多項式当てはめの場合、ベースライン推定値データは、多項式係数αi,kのみで構成することができる。しかしながら、多項式当てはめは、入力信号データに対して調整を可能にするパラメータのみが最大多項式次数であるため、制御が難しく、正確ではない可能性がある。多項式次数は、整数値しかとることができない。それゆえ、常に最適なベースライン推定値を見つけることができない場合もある。最適でない多項式当てはめは、ベースライン推定値において局所的な最小値を示す場合があり、このことは、厄介なアーチファクトにつながる可能性がある。
したがって、別の好適な実施形態によれば、入力信号データに対する当てはめは、スプラインフィット、特に平滑化スプラインフィットであってもよい。スプラインフィットは、通常、多項式当てはめよりも信頼性の高い結果を提供するが、その理由は、例えば平滑性の点で制御がより簡単であり、ノイズに対してもより堅牢であり、また少ないアーチファクトしか生成しないからである。他方で、スプラインフィットは、多項式当てはめよりも計算上より複雑である。
ベースライン推定値を計算するために、最小二乗最小化規範が好適には使用され、この最小二乗最小化規範は、当てはめのために最小化されるべきである。最小二乗最小化規範の正確な定式化により、当てはめの特性、したがってベースライン推定値データの特性が決定される。最小二乗最小化規範の不適切な選択は、ベースライン推定値が十分な精度でノイズ成分を表さないことを引き起こす可能性がある。
ベースライン推定値データが、入力信号データにおけるノイズもしくはベースライン成分の正確な表現であることを保証し、ベースライン推定値がコンテンツ成分に当てはまることを回避するために、最小二乗最小化規範は、ペナルティ項を含むことができる。このペナルティ項は、高い周波数のコンテンツを有し、したがってコンテンツ成分に属すると考えられる入力信号データの成分を表すなど、ベースライン推定値の望ましくない挙動にペナルティを課すために使用される。
1つの実施形態によれば、最小二乗最小化規範M(f(xi))は、以下のような形態を有することができる。
M(f(xi))=C(f(xi))+P(f(xi))
ただしC(f(xi))は、コスト関数であり、P(f(xi))はペナルティ項である。最小二乗最小化規範、コスト関数およびペナルティ項は、好適にはスカラー値である。
M(f(xi))=C(f(xi))+P(f(xi))
ただしC(f(xi))は、コスト関数であり、P(f(xi))はペナルティ項である。最小二乗最小化規範、コスト関数およびペナルティ項は、好適にはスカラー値である。
1つの特定の例では、コスト関数は、入力信号I(xj)とベースライン推定値f(xi)との間の差分を表す。例えば、次式のようにε(xi)が、入力信号とベースライン推定値との間の差分項を表す場合、
ε(xi)=I(xi)-f(xi)
コスト関数C(f(xi))は、L2ノルム||ε(xi)||2を含むことができ、これは、ここでは、次式のように入力信号とi番目の次元におけるベースライン推定値との間の差分二乗和の全ての次元にわたる二乗平均平方根値の合計の簡略表記として使用される。
ε(xi)=I(xi)-f(xi)
コスト関数C(f(xi))は、L2ノルム||ε(xi)||2を含むことができ、これは、ここでは、次式のように入力信号とi番目の次元におけるベースライン推定値との間の差分二乗和の全ての次元にわたる二乗平均平方根値の合計の簡略表記として使用される。
L2ノルム||ε(xi)||2は、スカラー値である。コスト関数の1つの例は、次式のような二次差分項である。
C(f(xi))=||ε(xi)||2
C(f(xi))=||ε(xi)||2
ベースライン推定値の精度を改善するために、入力信号とベースライン推定値との間の差分を、例えば切断された差分項の使用によって切断すると有利な場合がある。切断された差分項は、入力信号データにおけるピークがベースライン推定値データに与える影響を低減する。そのような低減は、コンテンツ成分がI(xi)のピークにあると想定される場合に有効である。切断された差分項のために、ベースライン推定値から予め定められた定数閾値sを超えて逸脱する入力信号データにおけるピークは、閾値に対する当てはめ、特にスプラインフィットに基づく自身のペナルティの切断によって、コスト関数において「無視される」。したがって、ベースライン推定値は、限られた量までしかそのようなピークに従わない。切断された二次式は、対称的であってもよいし、非対称であってもよい。切断された差分項は、以下ではφ(ε(xi))によって表される。
一部の用途においては、コンテンツ成分は、入力信号における山、例えば画像の輝点のみに含まれているか、または少なくとも主として含まれている場合がある。これは、非対称であり、当てはめ、特にスプラインフィットを、入力信号データにおける山ではなく谷に追従させることができる、切断された二次項を選択することによって反映させてもよい。例えば、非対称の切断された二次式φ(ε(xi))は、以下の形態であってもよい。
他の特定の用途において、谷、すなわち暗い領域または入力信号内の低い値を有する領域もコンテンツ成分としてみなされるべきである場合には、対称的な切断された二次式が非対称の切断された二次式の代わりに使用されてもよい。例えば、対称的な切断された二次式は、以下の形態を有することができる。
最小二乗最小化規範M(f(xi))におけるペナルティ項P(f(xi))は、ベースライン推定値がコンテンツ成分I1(xi)に属するとみなされるデータに当てはまる場合に、ペナルティを導入する任意の形態をとることができる。入力信号におけるコンテンツ成分がベースライン推定値で表される場合、ペナルティ項の値を増加させるペナルティが作成される。
例えば、ノイズ成分I2(xi)が低い空間周波数を有するとみなされることが想定された場合、ペナルティ項は、ベースライン推定値の空間周波数が大きくなると大きくなる項を含むことができる。
そのようなペナルティ項は、1つの実施形態では、滑らかなベースラインから逸脱する滑らかでないベースライン推定値データにペナルティを課し、したがって高い空間周波数を有するデータの当てはめに効果的にペナルティを課す粗さペナルティ項であってもよい。
特に、ベースライン推定値は、特徴長さflを含むペナルティ項を使用して計算されてもよい。この特徴長さflは、長さスケールを表しており、この長さスケールは、それより上では入力信号中の特徴がノイズとみなされ、それより下では入力信号中の特徴がコンテンツとみなされるものである。例えば、1つの特徴長さflが0.01mmに設定されている場合、0.01mmよりも小さい全ての特徴は、コンテンツとみなされ、したがって、ベースライン推定値に含まれている場合にはペナルティが課せられる。この特徴長さは、ベースライン推定値を計算するためのティホノフ正則化などの正則化の正則化長さスケールに使用されてもよい。
別の態様によれば、滑らかなベースラインからの逸脱は、ベースライン推定値の一次導関数、すなわち急勾配もしくは勾配と、二次導関数、すなわち曲率と、のうちの少なくとも1つにおいて値を増加させることにつながる可能性がある。したがって、粗さペナルティ項は、ベースライン推定値の一次空間導関数、特に一次空間導関数の二乗および/または絶対値と、ベースライン推定値の二次導関数、特に二次空間導関数の二乗および/または絶対値と、のうちの少なくとも1つを含み得る。より一般的には、ペナルティ項は、ベースライン推定値のあらゆる任意の次数の空間導関数、またはベースライン推定値の空間導関数のあらゆる線形結合を含むことができる。異なるペナルティ項が、異なる次元で使用されてもよい。
1つの実施形態では、ペナルティ項P(f(xi))は、その変数に関するベースライン推定値f(xi)の導関数と特徴長さflの無次元結合、例えば商を含み得る。異なる特徴長さは、異なる次元のために使用してもよい。
この粗さペナルティ項は、ベースライン推定値の勾配における大きな変化率、すなわち高い曲率にペナルティを課し、したがって、滑らかな推定値に有利である。ここで、γjは、正則化パラメータであり、
は、j番目の次元における二次導関数を計算するための離散演算子である。二次導関数の単位は、(xiの単位)-2、すなわち長さ-2または時間-2であるため、γjは、特徴長さの4乗
に設定され、それによって、ペナルティ項はスカラー値となる。
∂i∂jf(xi,j)、i≠jなどの組み合わされた導関数では、特徴長さの対応する組み合わせ、例えばfl
i・fl
jが使用されてもよい。
正則化長さスケールγjは、入力信号の構造、すなわちコンテンツ成分の一部であるとみなされる最大長さスケールに依存する。正則化長さスケールによって表される特徴長さよりも大きい長さスケールを有する入力信号の構造は、ノイズ成分に属するとみなされる。正則化長さスケールは、好適にはゼロよりも大きい。しかしながら、より良い分解能に達するために、正則化長さスケールγjは、それが表す特徴長さflが、システム応答H(xi)の特性長さclよりも小さくなるように選択されるのが好適であり、すなわちfl
i<cl
j、ここでcl
jは、次元jの方向におけるシステム応答の特性長さである。特性長さがシステム応答の特性長さの約40%~50%以下である場合、または等価的にfl
i≦0.4…0.5cl
jである場合、分解能に関してさらにより良い結果が得られる可能性がある。なお、特性長さと特徴長さとの両方が全次元において定数である可能性がある点に留意されたい。
これは、ベースライン推定値における小さなスケールの特徴および大きな勾配にペナルティを課す粗さペナルティ項である。jにわたる合計は、異なる次元において異なるペナルティ項を使用することができる。ここでは、xjおよびf(xi)はどちらも離散的であるので、微分配列∂jを用いた畳み込みによって微分を実行することができる点に留意されたい。演算子∂jは、次元jにおける離散一次導関数または勾配演算子を表し、これは、配列によって表されてもよい。
ベースライン推定値の導関数または導関数の線形結合の代わりに、またはそれに加えて、ペナルティ項は、特徴抽出フィルタ、特に線形フィルタまたはそのようなフィルタの線形結合を含めることができる。特徴抽出フィルタは、Sobelフィルタ、Laplaceフィルタおよび/またはFIRフィルタ、例えば、高い空間周波数用の通過帯域を有するハイパスまたはバンドパス空間フィルタであってもよい。
そのような一般的な定式化では、j番目の次元に対するペナルティ項は、一般的な演算子ζ(j)を含むことができ、次式のように表されてよい。
ここでも、γjは、ζ(j)に含まれる任意の長さスケールについての特徴長さflを含む。特に、γjは、特徴長さflの関数、γj=g(fl)であってもよい。より具体的には、正則化長さスケールは、特徴長さの線形関数、二次関数、またはより一般的には多項式関数であってよい。
最小二乗最小化規範M(f(xi))は、既知の方法を使用して最小化されてもよい。1つの例では、好適には、反復二次もしくは半二次最小化スキームが使用されてもよい。最小化を実行するために、ベースライン推定器エンジンは、最小化エンジンを含むことができる。最小化は、2つの反復ステージを有する反復機構を含むことができる。
最小化スキームは、例えば、計算上効率的なLEGENDアルゴリズムの少なくとも一部を含んでいてよい。LEGENDアルゴリズムについては、Idier,J.(2001年)「Convex Half-Quadratic Criteria and Interacting Variables for Image Restoration」(IEEE Transactions on Signal Processing,10(7)、1001-1009頁)、およびMazet,V.、Carteret,C.、Bire,D、Idier,J.、およびHumbert,B.(2005年)「Background Removal from Spectra by Designing and Minimizing a Non-Quadratic Cost Function」(Chemometrics and Intelligent Laboratory Systems、76、121-133頁)に記載されている。両記事は、その全体が参照により本明細書に組み込まれる。
LEGENDアルゴリズムは、好適には、入力信号データと同じ次元である離散補助データd(xi)を導入する。これらの補助データは、最新の初期ベースライン推定値、切断された二次項および入力信号データに依存して各反復において更新される。
LEGENDアルゴリズムでは、コスト関数のみを含みペナルティ項は含んでいない最小二乗最小化規範が、収束基準が満たされるまで、2つの反復ステップを使用して最小化される。
適切な収束基準は、例えば、全てのロケーションxiにわたる現在のベースライン推定値と先行のベースライン推定値との間の差分の合計が、予め定められた閾値よりも小さいことであってもよい。
LEGENDアルゴリズムにおける開始ステップとして、ベースライン推定データの初期セットが定義される。
スプラインフィットが使用される場合、LEGENDアルゴリズムを開始するための初期条件はd(xi)=0,f(xi)=I(xi)であってよく、反復は、第2の反復ステップにおいて入力することによって開始される。
第1の反復ステップでは、補助データは、以下のように更新されてもよい。
ここで、l=1…Lは、現在の反復のインデックスであり、αは選択可能な定数である。好適には、αは、0.5に近いが0.5ではない。αの適切な値は、0.493である。
第2の反復ステップでは、先行して計算された補助データdl(xi)、先行の反復l-1からのベースライン推定値fl-1(xi)およびペナルティ項P(xi)に基づいて、ベースライン推定値fl(xi)が更新される。
ベースライン推定値fl(xi)は、補助データを含めることによって、LEGENDアルゴリズム用に修正された最小化規範M(f(xi))を最小化することであってもよい。
特に、更新されたベースライン推定値は、第2の反復LEGENDステップにおいて、以下のような式を使用して計算されてもよい。
ここで、[||I(xi)-fl-1(xi)+dl(xi)||2+P(f(xi))]は、修正された最小化規範を表す。
第2の反復ステップでは、以下のような行列計算を使用してベースライン推定値データを更新することができる。
ここで
は、(M1×…×MN)2次元配列である。二次元の場合、Aiは(Mx-1)(My-1)×MxMy配列であり、これは以下のように、
として与えられ、
を伴う。
dl(xi)およびfl(xi)を更新する2つの反復ステップは、収束基準が満たされるまで繰り返される。
別の態様によれば、LEGENDアルゴリズムの第2のステップは、行列計算の代わりに畳み込みを使用して修正される。これにより、計算労力が大幅に軽減される。
より具体的には、好適には、更新されたベースライン推定値fl(xi)は、入力信号と更新された補助データとの合計を用いてグリーン関数を畳み込むことによって直接的に計算される。
より具体的な態様によれば、LEGENDアルゴリズムの第2の反復ステップは、以下のような反復ステップによって置き換えられてもよく、ここでは、更新されたベースライン推定値データfl(xi)が、以下のようにグリーン関数G(xi)を使用してl番目の反復において計算される。
fl(xi)=G(xi)*(I(xi)+dl(xi))
fl(xi)=G(xi)*(I(xi)+dl(xi))
このステップにより、従来のLEGENDアルゴリズムと比較して、計算負荷が大幅に軽減される。
計算負荷の軽減は、上記の第2の反復ステップに従って、畳み込みが計算されるということから結果として生じる。この計算は、FFTアルゴリズムを使用して効率的に実行することができる。その上さらに、第2の反復ステップは、FFTアルゴリズムのために、グラフィックス処理ユニットまたはFPGA等の配列プロセッサを最大限に使用することができる。入力信号データとその他の全ての配列とが二次元である場合、計算上の問題は、(Mx×My)2からMx×Myへ軽減される。一般的なN次元の場合には、計算負荷は、(M1×…×MN)2次元行列計算から、(M1×…×MN)次元配列を用いたFFTの計算へ軽減される。
したがって、ベースライン推定値の除去は、二次元の入力信号データに対して、非常に迅速に、好適にはリアルタイムで実行されてもよい。(2k×2k)データ配列では、ベースライン推定値の除去は、50ms以下で実行されてもよい。
1つの特定の実施形態では、グリーン関数は、以下の形態を有することができる。
ここで、F[…]は、離散N次元フーリエ変換であり、F-1[…]は、逆離散N次元フーリエ変換であり、γjは、粗さペナルティ項の正則化長さであり、
は、ロケーションmでのi番目の次元における離散ペナルティ配列であり、Nは、次元の総数である。上方のインデックスD(j)は、各次元jに対して異なるペナルティ配列が存在し得ることを示す。
好適には、離散ペナルティ配列
は、j番目の次元に使用されるペナルティ項P(j)(f(xi))の汎関数微分
の離散表現に対応する。全ての関数は、離散配列によって表されるので、微分は、次のような畳み込みによって数値的に行うことができる。
ここで、
は、汎関数微分
を計算するための離散配列である。
上記のグリーン関数の大きな利点は、任意の形式のペナルティ項P(f(xi))が、最小化エンジンにおける第2の反復ステップの高速計算からの恩恵を受けることができる点にある。したがって、グリーン関数を使用する実施形態では、良好なベースライン推定値を得るための任意のペナルティ項が使用されてよい。
ペナルティ項の一般式については、次式、
の通りであり、前述の配列
は、次式
によって定義される。ここで、ζ(j)は、ペナルティ項の一般的な演算子であり、*は、N次元畳み込みを表し、▽fは、例えば強度を表すことができる、関数f(xi,m)における離散的な一次の汎関数微分に対応する。この方程式は、最小二乗法によって解くことができる。
本装置は、記憶セクションを含むことができる。この記憶セクションは、少なくとも一時的に入力信号を格納するように構成されてもよい。
本装置は、信号入力セクションを含むことができ、この信号入力セクションは、例えば、1つまたは複数の標準コネクタおよび/またはHDMI、USB、RGB、DVIなどの1つまたは複数の標準化されたデータ交換プロトコルを含むことができる。信号入力セクションは、1つまたは複数の標準コネクタおよび/または1つまたは複数のデータ交換プロトコルを介して、出力信号を受信するように適合されてもよい。例えば、記憶デバイスおよび/またはカメラなどのセンサが、信号入力セクションに接続されてもよい。
本装置は、信号出力セクションを含むことができ、この信号出力セクションは、例えば1つまたは複数の標準コネクタおよび/またはHDMI、USB、RGB、DVIなどの1つまたは複数の標準化されたデータ交換プロトコルを含む。信号出力セクションは、1つまたは複数の標準コネクタおよび/または1つまたは複数のデータ交換プロトコルを介して、出力信号を出力するように適合されてもよい。例えば、別のコンピュータ、ネットワークおよび/またはディスプレイが、信号出力セクションに接続されてもよい。
本装置は、信号プロセッサをさらに含むことができ、この信号プロセッサは、ベースライン推定値を計算するように構成されてもよい。
信号プロセッサは、ベースライン除去セクションを含むことができる。このベースライン除去セクションは、出力信号を計算するために、入力信号から例えばベースライン推定値などのベースライン成分を減算するように適合されてもよい。一部の用途では、コンテンツ成分が入力信号の低周波成分内に存在することを想定した場合、ベースライン推定値は、既にコンテンツ成分を表す。この場合、入力信号からベースライン推定値を除去する必要はない。むしろ、ベースライン推定値は、表示またはさらなる処理のために出力されてもよい。
信号プロセッサは、ベースライン推定エンジンを含むことができる。このベースライン推定エンジンは、入力信号の少なくとも1つのサブセットに対する当てはめによってベースライン推定値を計算するように構成されてもよい。ベースライン推定エンジンは、最小二乗最小化規範(M(xi))の離散表現を含むことができる。
信号プロセッサ、ベースライン推定エンジン、ベースライン除去セクションおよび最小化エンジンは、それぞれ、ハードウェアで、ソフトウェアで、またはハードウェアとソフトウェアとの組み合わせとして実装されてもよい。例えば、信号プロセッサ、ベースライン推定器エンジン、ベースライン除去セクションおよび最小化エンジンのうちの少なくとも1つは、少なくとも部分的に、サブルーチン、CPUなどの汎用プロセッサおよび/またはCPU、GPU、FPGA、ベクトルプロセッサおよび/またはASICなどの専用プロセッサのセクションによって、実施することができる。
本装置および本方法の上記の任意の実施形態を実施する別のやり方は、入力信号データおよび出力信号データの二つ組を使用して人工ニューラルネットワーク、例えば畳み込みニューラルネットワークをトレーニングすることであり、ここで、出力信号データは、上述した方法の実施形態を使用して生成されたものである。このようにトレーニングされたニューラルネットワークデバイスは、入力信号データおよび出力信号データのトレーニングペアを生成するために使用された方法の実装とみなすことができる。
別の態様によれば、ニューラルネットワーク装置は、出力信号O(xi)を生成するように適合されてもよく、ここでは、システム応答の少なくとも1つの特性長さよりも小さい特徴長さflを有する空間特徴と、システム応答の少なくとも1つの特性長さよりも大きい特徴長さflを有しかつデジタル入力信号に含まれる空間特徴と、が除去される。
入力信号I(xi)が事前に畳み込みまたは逆畳み込みされない場合には、ベースラインの計算および/または除去が最良の結果を提供する点に留意されたい。入力信号I(xi)が本発明によるベースライン除去によって前処理されている場合、逆畳み込みは最良の結果を提供する。
1つの実施形態によれば、信号処理装置は、異なる特徴長さfl
1…Kおよび対応するペナルティ項を使用して、単一のデジタル入力信号I(xi)から2つ以上の、すなわち複数の出力信号O1…K(xi)を計算し、逆畳み込みされた出力信号J(xi)を得るために、複数の出力信号O1…K(xi)のマルチ画像逆畳み込みを実行するように構成される。異なる各特徴長さについて、異なる正則化長さスケール、したがって異なるペナルティ項が得られる。したがって、ベースライン推定値は、異なる特徴長さfl
1…Kごとに異なる。異なるベースライン推定値fl
1…K(xi)の各々は、複数の出力信号を得るために、次式のように入力信号の別個のコピーから除去される。Ok=I(xi)-fk(xi)。ここで、Kは、出力信号の総数、したがって、異なる特徴長さの総数を示す。
したがって、第1の出力信号O1(xi)は、結果として第1のベースライン推定値をもたらす第1の特徴長さfl
1を使用して計算されてもよく、第2の出力信号O2(xi)は、結果として第2のベースライン推定値をもたらす、第1の特徴長さfl
1とは異なる第2の特徴長fl
2を使用して計算されてもよい。次いで、マルチ画像逆畳み込みをO1(xi)およびO2(xi)に基づいて実行することができる。
マルチ画像逆畳み込みとは、解析されるべき試料とライトシートとの散乱によって引き起こされる影およびぼけを低減する、画像の融合手法である(例えば刊行物「Efficient Bayan-based multiview deconvolution」(Stephan Preibisch et al., Nat Methods., 2014 June, 11(6): 645-648)参照)。さらに、マルチ画像逆畳み込みは、刊行物(Castello, Diaspro, Vicidomini,(2014))「Multi-images deconvolution improves signal-to-noise ratio on gated stimulated depletion microscopy」、(Applied Physics Letters 105.23: 234106; in Faramarzi, Rajan, Christensen (2013))「Unified blind method for multi-image super resolution and single/multi-image blur deconvolution」(IEEE Transaction on Signal processing, (22) 6)、(Ingaromo, Yoork, Hoogendornらによる(2014))「Richardson-Lucy deconvolution as a general tool for combining images with complementary strength」、(Wiley online library、および Harmeling, Sra, Hirsch, Schoenkopfらによる)「Multiframe deconvolution, super-resolution, and saturation correction via incremental EM」(2010年、IEEE17回信号処理国際会議)に記載されている。
マルチ画像逆畳み込みが、特性長さclよりも小さい特徴長さfl、特に0.4…0.5clよりも小さい特徴長さflを用いて計算された少なくとも1つの出力信号O(xi)と、特性長さcl以上の特徴長さflを用いて計算された少なくとも別の出力信号O(xi)と、に基づいている場合、入力信号分解能の予想外の改善が得られる可能性がある。
また、個別のシステム応答H1…K(xi)が、複数の出力信号Ok(xi)の各々について個別に推定され、マルチ画像逆畳み込みに使用されるならば、分解能においてさらなる改善が得られる可能性がある。代替的に、計算労力を低く抑える必要がある場合には、入力信号I(xi)のシステム応答が使用されてもよい。ただし、ベースライン除去後に有効なシステム応答が変更されるため、出力信号Ok(xi)の各々についてシステム応答を新たに推定すると、より良好な結果が得られる。
好適には、システム応答は、最大事後確率(MAP)分布を使用して出力信号Ok(xi)から推定される。
より具体的には、以下のようなMAPが最大化されてもよい。
P(Tk(xi),Hk(xi)|Ok(xi))
P(Tk(xi),Hk(xi)|Ok(xi))
これは、未知のプロパティTk(xi)、すなわち真の原画像と、マルチ画像逆畳み込みのための入力として使用される所与の出力信号Ok(xi)と、に対する確率である。ポアソン確率を仮定すれば、この最大化の解は、blind Richardson-Lucy逆畳み込みとして知られる反復アルゴリズムである。このアルゴリズムは、刊行物(Fish, Brinicombe, Pike (1995))「Blind deconvolution by means of the Richardson-Lucy algorithm」(J. Opt. Soc. Am. A. (12) 1)に記載されている。
次に、1つの実施形態を、図面にも示されているサンプルの実施形態を使用して単なる例としてさらに説明する。図面では、機能および設計のうちの少なくとも1つに関して相互に対応する特徴には、同じ参照符号が使用されている。
添付の実施形態に示された特徴の組み合わせは、説明のみを目的としており、変更することができる。例えば、特定の用途には不要である技術的効果を有する実施形態の特徴は省かれてよい。同様に、実施形態の一部として示されていない特徴が、この特徴に関連する技術的効果が特定の用途のために必要とされる場合には、追加されてもよい。
上記から明らかであるように、任意のタイプの画像データが使用されてもよい。
図1を始めに参照して装置1の構造を説明する。この装置1は、内視鏡または顕微鏡2aなどの医療用観察デバイス2であってもよいし、または空撮用もしくは天体観測用デバイスなど、高品質の画像を捕捉するように構成された任意の他のデバイスであってもよい。単に説明のために、装置1の例として顕微鏡2aが示されている。以下の実施形態の説明の目的について、内視鏡との間または顕微鏡との間に違いはない。
装置1は、記録システム4を含むことができ、この記録システム4は、入力信号データ6を捕捉するように適合されている。記録システム4が画像化システムである場合、記録システム4に、例えば、好適にはデジタルフォーマットでデジタル入力画像を記録するように構成されたカメラ8が設けられていてもよい。このカメラは、画像センサ9を含むことができる。カメラ8は、入力信号データ6を複数のチャネル10に記録するCCDカメラ、マルチスペクトルカメラ、またはハイパースペクトルカメラであってよく、ここで、各チャネル10は、好適には赤外線から紫外線までの異なる光スペクトル範囲を表す。以下では、入力信号データ6も入力信号I(xi)と表記する。
もちろん他のタイプの入力信号データ6が、カメラ以外のデバイスもしくはセンサ、例えば共焦点顕微鏡の場合のようにポイント検出器、1つまたは複数のマイクロフォン、振動センサ、加速度計、速度センサ、アンテナ、圧力トランスデューサ、温度センサ、容量センサ、磁気センサを用いて、放射線撮影方式、断層撮影方式、超音波方式、ならびにそれらの任意の組み合わせによって記録されてもよい。
RGB色空間で記録するCCDカメラの場合、例えば、対象物12の可視光入力信号を表すために、例えばRチャネル、GチャネルおよびBチャネルの3つのチャネル10が設けられてもよい。マルチスペクトルカメラまたはハイパースペクトルカメラの場合、合計4つ以上のチャネル10が、可視光範囲、赤外光範囲、近赤外光範囲および紫外光範囲の少なくとも1つにおいて使用されてもよい。
記録システム4は、システム応答H(xi)を有し、このシステム応答H(xi)は、例えば測定値から既知であってもよいし、またはRichardson-LucyアルゴリズムなどのMAPアルゴリズムを使用して推定されてもよい。システム応答H(xi)は、特性長さclを有し、この特性長さclは、既知であってもよいし、かつ/または方向依存性であってもよい。代替的に、図1に示すように、x1方向のcl
1およびx2方向のcl
2のように、異なる次元ごとに異なる特性長さclが存在していてもよい。この特性長さは、HWHM長さまたはFWHM長さであってもよい。変数xiは、空間次元または時間次元を示すことができる。
記録システム4としての画像化システムの場合、対象物12は、プローブボリューム13内に配置される。このプローブボリュームは、装置1によって検査されるべき対象物12を受容するように構成されてもよい。記録システムとしての画像化システムの場合、プローブボリュームは、好適には、画像化システムの視野14に配置される。対象物12は、生物および/または無生物を含むことができる。対象物12は、少なくとも1つの蛍光体15などの1つまたは複数の蛍光材料をさらに含むことができる。
マルチスペクトルカメラまたはハイパースペクトルカメラは、対象物12内の蛍光材料の異なる蛍光スペクトルごとにチャネル10を有することができる。例えば、各蛍光体15は、照明システム16によってトリガーされる蛍光スペクトルに整合する少なくとも1つのチャネル10によって表されてもよい。代替的または付加的に、別個のチャネル10が、自動蛍光スペクトル用、または照明システム16によって励起される蛍光によってトリガーされる二次蛍光のスペクトル用、または寿命蛍光データ用に提供されてもよい。もちろん、照明システム16は、対象物12における蛍光をトリガーすることなく、白色光または他の任意の組成の光を放出することもでき、または単独で放出することもできる。
顕微鏡2は、例えば照明システム16によって適切な蛍光励起波長を有する光で対象物12内の蛍光体15の蛍光を励起するように適合されてもよい。照明システム16は、プローブボリューム13に関して記録システム4と反対側に配置されてもよく、かつ/または記録システム4と同じ側に配置されてもよい。
照明システム16が記録システム4と同じ側に配置されている場合、その光はレンズ17を通して案内されてもよく、該レンズ17を通して入力信号I(xi)も獲得される。照明システム16は、光を1つまたは複数の異なる方向から対象物12上に向けるための1つまたは複数のフレキシブルな光導波路を含むことができ、あるいはそのような光導波路から成ることができる。適切な阻止フィルタ(図示せず)が、例えばグレアを抑制するために、カメラ8の前方の光路に配置されてもよい。蛍光の場合、阻止フィルタは、好適には、照明波長のみを阻止し、対象物12における蛍光体15の蛍光はカメラ8まで通すことができる。
照明システムがプローブボリューム13に対向して配置されている場合、その光はプローブボリューム13を通過することができる。
入力信号データ6が任意の種類のカメラまたは光検出器によって捕捉され得ることは、一般的に限定されることなく明らかである。
入力信号データ6は、単一のチャネル10が二次元画像に含まれる場合、二次元である。入力信号は、3つ以上のチャネル10が含まれている場合、かつ/または入力信号データ6が例えば三次元画像などの三次元配列を表している場合、三次元以上の高い次元を有することができる。信号は、自身が例えば時間トレースまたは一次元空間測定値を表す場合、一次元であってよい。
三次元入力信号データ6は、装置1によって、例えば、光場技法、顕微鏡におけるZスタッキング、SCAPE顕微鏡によって得られた画像および/またはSPIM顕微鏡によって得られた画像の三次元再構成を使用して記録されてもよい。三次元入力信号データの他のソースは、断層撮影画像であってもよい。三次元画像の場合、三次元入力信号データ6の各平面は、二次元入力信号6とみなされてもよい。ここでも、各平面は、複数のチャネル10を含むことができる。
各チャネル10は、別個の二次元画像または信号とみなされてもよい。代替的に、複数のチャネルは、まとめて多次元配列として解釈されてもよい。
入力信号データ6は、強度または位相などのような離散的な実数値量もしくは整数値量I(xi)のデジタル表現であり、ここで、xiは、入力信号データ6におけるロケーションを表し、Iは、入力信号を構成するその位置における量である。項xiは、N個(N≧1)の次元を含みかつ離散入力信号データ内の離散ロケーションxiを表すタプル{x1;…;xN}の簡易表記である。ロケーションxiは、入力信号データ内のピクセルまたは好適にはピクセルのコヒーレントな集合であってよい。離散ロケーションxiは、例えば、二次元の入力信号データの場合には、二つ組の離散ロケーション変数{x1;x2}を表し、三次元の入力信号データの場合には、三つ組の離散ロケーション変数{x1;x2;x3}を表す。i番目の次元では、配列は、Mi個のロケーション、すなわち、xi={xi,1,…,xiMi}を含むことができる。合計で、I(xi)は、(M1×…×MN)個の要素を含むことができる。
装置1は、入力信号データ6を少なくとも一時的に含むように適合された記憶セクション20をさらに含むことができる。この記憶セクション20は、PCおよび/またはGPU26などの計算デバイス24のCPU22のキャッシュメモリなどの揮発性メモリまたは不揮発性メモリを含むことができる。記憶セクション20は、RAM、ハードディスクドライブ、あるいはUSBスティックもしくはSDカードなどの交換可能な記憶セクションをさらに含むことができる。記憶セクション20は、これらのタイプのメモリの任意の組み合わせを含むことができる。
入力信号データ6を例えばカメラ8から獲得するために、信号入力セクション28が設けられてもよい。この信号入力セクション28は、標準化されたデータ交換プロトコル、ハードウェアコネクタおよび/または無線接続、あるいはそれらの任意の組み合わせなどの標準化された接続手段30を含むことができる。カメラ8が接続されてもよい標準化されたコネクタの例は、HDMIコネクタ、USBコネクタおよびRJ45コネクタである。
装置1は、各々が出力信号データ36を1つまたは複数のディスプレイ37に出力するように構成された、標準されたデータ交換プロトコル、ハードウェアコネクタおよび/または無線接続などの標準化された接続手段34を含むことができる信号出力セクション32をさらに含むことができる。出力信号データ36は、好適には、入力信号データ6と同じ次元を有し、出力信号O(xi)を形成する離散値の離散配列によって表される。
入力信号I(xi)から出力信号O(xi)を計算するために、信号プロセッサ38が設けられてもよい。この信号プロセッサ38は、少なくとも部分的にハードウェア、少なくとも部分的にソフトウェアおよび/またはハードウェアとソフトウェアとの両方の組み合わせであってもよい。例えば、信号プロセッサ38は、計算デバイス24のCPU22およびGPU26のうちの少なくとも1つを含むことができ、ならびにソフトウェアで符号化され、CPU22および/またはGPU26における動作状態としての構造エンティティとして一時的に存在するセクションを含むことができる。信号プロセッサ38は、本装置および本方法に必要な動作を実行するように特別に設計された1つまたは複数のASICなどの付加的なハードウェアも含むことができる。
図12を参照して、図1のさらなる説明を続ける前に、ベースラインを推定するステップ、ならびに必要な場合には、ベースラインを除去するステップによる、入力信号I(xi)を強調する一般的な原理を説明する。ベースラインの除去のために、信号プロセッサ38は、ベースライン除去セクション40を含むことができる。
入力信号I(xi)は、関心内容を含みかつ特に未知の「真の」入力信号に対応し得るコンテンツ成分I2(xi)と、真の入力信号の一部ではないアーチファクトおよびノイズを含むノイズ成分I1(xi)と、から付加的に構成されることを想定する。以下では、ノイズ成分I2(xi)が、主に低い空間周波数を有する成分から成るか、または低い空間周波数を有する成分を含むことを想定する。したがって、ノイズ成分は、滑らかなベースラインを表し、その周りでコンテンツ成分I1(xi)は、より高い空間周波数で変動する。ノイズ成分I2(xi)は、滑らかでありかつ大きな長さスケールを有することが想定され、対照的に、コンテンツ成分I1(xi)は、滑らかではなく、かつ山と谷の少なくとも一方を含み、ノイズ成分よりも小さい長さスケールもしくは特徴長さflを有する構造もしくは特徴から構成されることが想定される。図12に示されるように、ノイズ成分、すなわちベースラインを減算することにより、画像コントラストが強調され、ノイズが低減される。しかしながら、一部の状況では、この状況が逆であってもよく、コンテンツが大規模な構造に存在し、ノイズが小規模な構造に存在する場合もある。I1(xi)もI2(xi)も既知ではないので、推定する必要がある。
入力信号を強調するために、ノイズ成分I2(xi)の推定値が計算される。この推定値は、ベースライン推定値f(xi)、すなわち、ベースラインの推定を表すデータによって表される。ベースライン推定値f(xi)は、好適には入力信号データ6および/または出力信号データ36と同じ次元を有する離散的な好適には実数値配列である。ベースライン推定値f(xi)は、図1ではベースライン推定値データ44によって表されている。ベースライン推定値f(xi)は、少なくとも一時的に記憶セクション20に存在していてもよい。ベースライン推定値が計算されると、各ロケーションにおける入力信号I(xi)からベースライン推定値f(xi)を減算することによって、出力信号(本明細書ではO(xi)として表される)が得られる。
図1によれば、信号プロセッサ38は、ベースライン推定器エンジン42を含むことができ、このベースライン推定器エンジン42は、入力信号データ6の少なくともサブセットに対する当てはめによってベースライン推定値f(xi)を計算するように構成されている。好適には、入力信号データの少なくともサブセットに対する当てはめは、スプラインフィットである。
計算上効率的なスプラインフィットについて、ベースライン推定器エンジン42は、半二次または二次最小化エンジン46を含むことができ、この半二次または二次最小化エンジン46は、例えばサブルーチンであってもよいし、ハードワイヤードアルゴリズムとソフトウェアとの組み合わせであってもよい。最小化エンジン46は、二次または半二次最小化スキームを実行するように構成されてもよく、この目的に向けて、2つの反復ステージ48,50を含むことができる。
好適には、最小化エンジン46は、第2の反復ステージ50におけるベースライン推定値データ44の計算のために畳み込みを使用する。この畳み込みは、FFTを使用して配列プロセッサ上でより効率的に計算することができるので、信号プロセッサ38は、GPU26などの配列プロセッサを含んでいると有利である。動作中、信号プロセッサは、最小化エンジン46を含む。
図2を参照すると、入力信号I(xi)から出力信号O(xi)を計算するステップは、それらが装置1によって実行されるものとして説明されている。入力信号としての入力画像の場合、好適には各チャネル10は、別個に処理されることに留意されたい。
第1のステップ60では、プリセットされる必要があるベースライン推定器エンジン42の様々なパラメータが、ユーザーによって、例えばグラフィカルユーザーインタフェース62(図1)使用して定義されてよい。これらのパラメータは、ベースライン推定器エンジン42によって実行されるべき入力信号データ6に対する当てはめのタイプを含むことができる。例えば、ユーザーは、入力信号データ6に対するベースライン推定値データ44の多項式当てはめとスプラインフィットとの間で選択することができる。ユーザーは、コンテンツ成分をノイズ成分から分離するために使用してもよい特徴長さflを設定することもできる。
さらに、ユーザーは、最小化スキームで使用される様々なペナルティ項P(f(xi))間で選択することができる。これらのペナルティ項は、ベースライン推定値におけるコンテンツ成分I1(x1)の成分表現にペナルティを課すことにより、ベースライン推定値の形状を決定する。
例えば、ベースライン推定値データ44の滑らかでない特性にペナルティを課す様々なペナルティ項の選択がユーザーに提示されてもよい。例えば、ペナルティ項は、ベースライン推定値データ44用のハイパス空間周波数フィルタであってもよく、これは、ベースライン推定値データ44が高い空間周波数を有する成分を含んでいる場合により大きくなる。他のペナルティ項は、ベースライン推定値データ44の勾配を含むことができる。ペナルティ項の別の例は、ベースライン推定値データ44の曲率であってもよい。さらに、Sobel、Laplaceおよび/またはFIRバンドパス、ハイパスもしくはローパスフィルタなどの特徴抽出フィルタが、ペナルティ項としてユーザーによって選択されてもよい。さらに、上記の任意の線形結合が選択されてもよい。異なるペナルティ項が、入力信号データ6の異なる次元または異なるチャネルに対して選択されてもよい。
ペナルティ項の一般的な表現は次式の通りである。
ここで、ζ(j)は、ペナルティ項のプロパティを定義する、ペナルティ項の一般演算子であり、γjは、正則化長さスケールである。この正則化長さスケールの次元は、ペナルティ項がスカラー値となるように適合される。正則化長さスケールは、特徴長さflの関数、γj=g(fl)である。
このペナルティ項は、ベースライン推定値データにおける大きな勾配にペナルティを課す。演算子∂jは、次元jにおける一次導関数または勾配を表す。
上記の勾配ベースペナルティ項を使用する場合、ユーザーによって特定されるべきパラメータは、正則化長さスケールの配列γjをさらに含むことができる。正則化長さスケールは、長さスケール、すなわち、特徴長さ
を表し、その下で入力信号における構造がコンテンツとみなされる。
よりも大きい長さを有する入力信号における構造は、ノイズとみなされる。γjのインデックスjから明らかであるように、正則化長さスケール、したがって特徴長さは、各方向において異なっていてもよい。もちろん、1つの方向に依存しない特徴長さだけが使用されてもよい。
驚くべきことに、ペナルティ関数における正則化長さスケールとしてもしくは正則化長さスケールにおいて使用される特徴長さflが、特性長さclよりも小さい場合、すなわち、fl<cl、fl
i<cl
iである場合に、入力信号の分解能が大幅に改善された。
これらの結果は、特徴長さflが、システム応答の特性長さclの半分以下、または40パーセント以下に設定された場合、すなわち、fl≦0.4…0.5cl、fl
i≦0.4…0.5cl
iの場合にさらに改善することができた。
ベースライン推定器エンジンのためのパラメータを選択するとき、ユーザーは、ベースライン推定値データに対する大きなピークの効果を特定することによって、対称性と、ベースライン推定値の形状も決定する対称的な二次項φ(ε(xi))と、の間で選択することができる。
例えば、ユーザーは、以下のような非対称の切断された二次項を選択することができる。
ここで、sは、ユーザーによって入力されるべき閾値を表す。この閾値は、入力信号データとベースライン推定値データとの間の最大偏差を定める。ベースライン推定値を超えるピークは、閾値分逸脱したピークよりもベースライン推定値を引き寄せることはない。
最終的に、ユーザーは、収束基準および/または収束基準が到達しなければならない閾値tを選択することができる。
ベースライン推定器エンジン42のための初期パラメータが設定された後、ステップ64において反復最小化スキーム66のためにデータが初期化される。
それ以降、反復最小化スキーム66は、収束基準68が満たされるまで最小化エンジン46によって実行される。実施形態では、以下のような収束基準が使用される。
ここで、lは現在の反復を示し、tは、ユーザーが指定してもよい定数スカラー閾値である。
収束基準68が満たされる場合には、ベースライン推定値データ44が正常に計算されたものと推定される。したがって、ステップ70では、出力信号データO(xi)を得るために、ベースライン推定値データf(xi)が、入力信号データI(xi)から減算される。
出力信号O(xi)が計算された後、逆畳み込みなどの後処理操作72が、出力信号データ36上で実行されてもよい。
より具体的には、ベースライン推定値の上記の計算は、同じ入力信号I(xi)に基づいて少なくとも2回実行されてもよいが、毎回異なる特徴長さfl、したがって異なる正則化長さスケールyjが使用される。これは、K個の異なる正則化長さスケールに対するK個の異なるベースライン推定値を結果としてもたらす。これらのK個の異なるベースライン推定値fk(xi)の各々は、入力信号から別個に除去され、特に減算され、それによって、複数の出力信号Ok(xi)が得られる(ただし、k=1…K)。すなわち、Ok(xi)=I(xi)-fk(xi)である。
K個の出力信号Ok(xi)の各々において、異なる正則化長さスケール、yj,kまたは等価的な特徴長さfl
j,kが表される。少なくとも1つの出力信号が、好適には、特性長さclの40%~50%よりも小さい特徴長さflを含む正則化長さスケールを用いて計算され、さらに好適には、少なくとも1つの出力信号が、特性長さ以上の特徴長さfl>cl、fl
i>cl
iを有する正則化長さスケールを用いて計算される。特徴長さと特性長さとの間の±20%の偏差は、まだ等しいものとみなされてもよい。
出力信号Ok(xi)の各々に対して、各修正システム応答の推定値が、Richardson-LucyアルゴリズムなどのMAPアルゴリズムを使用して計算される。次いで、逆畳み込みされた出力信号J(xi)を表す逆畳み込みされた出力信号データ36を得るために、マルチ信号逆畳み込みまたはマルチ画像逆畳み込みが、出力信号Ok(xi)(ただしk=1…K)のセットに対して実行される。逆畳み込みされた出力信号J(xi)は、好適には入力信号I(xi)と同じ次元を有する、離散的なデジタルの実数値配列もしくは整数値配列である。
出力信号Ok(xi)および逆畳み込みされた出力信号J(xi)は、後処理を伴って、または伴わずにディスプレイ37に表示されてもよい。
図3には、最小化スキーム66をより詳細に説明するために、図2の細部IIIが示されている。最小化スキーム66は、第1の反復ステージ48および第2の反復ステージ50を含む。
原則として、最小化エンジン46によって実行される最小化スキーム66は、LEGENDアルゴリズムであってもよい。しかしながら、計算負荷を大幅に軽減するために変更されてもよいLEGENDアルゴリズムの第2のステップを変更することが有利である。
図示の実施形態では、第2の反復ステージ50は、ステップ64においてデータを初期化した後に入力される。この時点で、ベースライン推定値データの第1の推定値f1(xi)は、グリーン関数G(xi)を用いた入力信号データの畳み込みを使用して計算される。
f1(xi)=G(xi)*I(xi)
f1(xi)=G(xi)*I(xi)
この実施形態で使用される勾配ベースのペナルティ項について、グリーン関数は、以下のように定義される。
ここで、F[…]は、離散N次元フーリエ変換であり、F-1[…]は、逆離散N次元フーリエ変換であり、γjは、粗さペナルティ項の正則化パラメータであり、さらに次式の通りである。
パラメータαは、ユーザーによって指定されていてもよい定数である。
次に、第2の反復ステージ50では、更新されたベースライン推定値データ44が、現在の反復lの更新された補助データdl(xi)を使用して以下のように計算される。
f(xi)=G(xi)*(I(xi)+dl(xi))
f(xi)=G(xi)*(I(xi)+dl(xi))
次のステップでは、収束基準68が満たされているか否かが検査される。収束基準68が満たされていない場合には、最小化スキーム66は、更新されたベースライン推定値データfl(xi)を使用する反復ステップ48に進む。
図4は、入力信号I(xi)から逆畳み込みされた出力信号J(xi)を得るためのサンプルプロセスフローを示す。ステップ400では、出力信号O1(xi)が、第1の特徴長さfl
1,iを使用して計算され、これについて、好適にはfl
1,i<0.4…0.5cl
1,iが保持される。ステップ402では、別の出力信号O2(xi)が、第1の特徴長さとは異なる第2の特徴長さfl
2,iを使用して計算され、これについては好適にはfl
2,i≧cl
2,iが保持される。任意選択的なステップ404では、別の出力信号O3(xi)が、さらに異なる特徴長さを使用する他の出力信号における特徴長さとは異なる特徴長さを使用して計算される。ステップ404は、より多くの出力信号sを取得するために繰り返されてもよい。ステップ400~ステップ404において実行されるステップは、図1~図3を参照して上記で説明したものに対応する。
ステップ406では、システム応答が、出力信号Ok(xi)の各々について推定される。
ステップ408では、逆畳み込みされた出力信号J(xi)を得るために、マルチ画像逆畳み込みが、ステップ400~ステップ404において計算された複数の出力信号と、ステップ406の推定されたシステム応答と、を使用して実行される。
図5~図9には、ゾウリムシの実画像について、ベースライン除去を用いた分解能強調が示されている。
図5は、入力信号I(xi)と入力画像とを示し、この入力画像は、開口数1.3、ピーク発光520nmでHCX FLUOTAR 100x/1.30オイルレンズを備えたDMi8広視野顕微鏡を使用して記録されている。
図6は、出力信号O(xi)と出力画像とを示し、ここでは、80nmの特徴長さfl、すなわちfl=0.4clの特徴長さflが、上述のようにベースライン推定値の一次導関数の二乗を含むペナルティ項の正則化長さスケールにおいて使用されている。分解能強調における改善が明らかに見て取れる。
図7および図8は、図5の細部VIIおよび図6の細部VIIIをそれぞれ示している。ここでは、ブラーとみなされる、ノイズ成分I2(xi)のかなりの部分が出力信号において除去されていることがわかる。
このことは、図7および図8のそれぞれのライン700に沿った強度分布を示している図9によって検証される。ベースライン推定値f(xi)を除去することによって、コンテンツを表す強度ピークが維持され、出力信号O(xi)においてより良好に見えることがわかる。
図10は、図6に示した出力信号O(xi)を第1の入力として使用したマルチ画像逆畳み込みの結果を示す。マルチ画像逆畳み込みに対する第2の入力として、第2の出力信号が、システム応答の特性長さに対応する特徴長さfl=clを用いて計算された。次いで、逆畳み込みされた出力信号J(xi)を得るべく上述のように画像化を実行するために、これらの画像にマルチ画像逆畳み込みが実行された。得られた結果は、小さな特徴長さを有する出力信号を使用する場合ほど極端にS/N比が低下しないという点で改善されている。このことは、図10の細部XIを示す図11に見ることができる。
ベースラインの除去とマルチ画像逆畳み込みの適用に関する一般的な注意事項として、データの次元は、配列を再配置することによって変更してもよい。例えば、二次元データは、一次元データの1つまたは複数のセットとしてレンダリングされてもよい。これは、後続する行または列を相互に後方に連結することによって達成されてもよい。さらに、後続する面の1つを相互に後方に連結することによって、三次元データを二次元データに低減してもよい。この原理を再帰的に使用することにより、任意のN次元データを、上述のスキームが適用され得る一次元または二次元のデータに低減してもよい。
逆に、任意の一次元配列は、それをより小さな一次元配列に単純に分解し、好適には同じ長さを有するそれらのより小さな配列を2次元またはより高次元のスキームでインデックス化することによって、2次元またはより高次元の配列として配置してもよい。さらに、任意のタイプのデータは、例えば、上述のように、入力信号データの各値にグレースケールの強度を割り当て、それを2次元または3次元の配置で表示することによって、画像データまたは画像とみなして表示してもよい。
本明細書で使用されるように、用語「および/または(かつ/または)」は、関連する記載項目のうちの1つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「/」として略記されることがある。
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置(またはハードウェア装置を使用すること)によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか1つまたは複数が、そのような装置によって実行されてもよい。
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記憶媒体によって実行可能であり、非一過性の記憶媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する(または協働することが可能である)、電子的に読取可能な制御信号が格納されている、デジタル記憶媒体等であり、これは例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROMおよびEPROM、EEPROMまたはFLASHメモリである。したがって、デジタル記憶媒体は、コンピュータ読取可能であってもよい。
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記憶媒体(またはデータ担体またはコンピュータ読取可能な媒体)である。データ担体、デジタル記憶媒体または被記憶媒体は、典型的に、有形である、かつ/または非一過性である。本発明の別の実施形態は、プロセッサと記憶媒体を含んでいる、本明細書に記載されたような装置である。
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを(例えば、電子的にまたは光学的に)受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
いくつかの実施形態では、プログラマブルロジックデバイス(例えばフィールド・プログラマブル・ゲート・アレイ)が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
1 装置
2 観察デバイス
2a 顕微鏡
4 記録システム
6 入力信号データI(xi)
8 カメラ
9 画像センサ
10 チャネル
12 対象物
13 プローブボリューム
14 視野
15 蛍光体
16 照明システム
17 対物レンズ
20 記憶セクション
22 CPU
24 計算デバイス
26 GPU
28 信号入力セクション
30 信号入力セクションの接続部
32 信号出力セクション
34 信号出力セクションの接続部
36 出力信号データO(xi)
37 ディスプレイ
38 信号プロセッサ
40 ベースライン除去セクション
42 ベースライン推定器エンジン
44 ベースライン推定値f(xi)
46 二次または半二次最小化エンジン
48 第1の反復ステージ
50 第2の反復ステージ
60 ベースライン推定パラメータの設定
62 グラフィカルユーザーインタフェース
64 最小化エンジンおよび/またはスキームの初期化
66 二次または半二次最小化スキーム
68 収束基準
70 出力信号データの計算
72 後処理操作
400~404 ぼけを除去する
406 システム応答を推定する
408 マルチ画像逆畳み込み
700 ライン
2 観察デバイス
2a 顕微鏡
4 記録システム
6 入力信号データI(xi)
8 カメラ
9 画像センサ
10 チャネル
12 対象物
13 プローブボリューム
14 視野
15 蛍光体
16 照明システム
17 対物レンズ
20 記憶セクション
22 CPU
24 計算デバイス
26 GPU
28 信号入力セクション
30 信号入力セクションの接続部
32 信号出力セクション
34 信号出力セクションの接続部
36 出力信号データO(xi)
37 ディスプレイ
38 信号プロセッサ
40 ベースライン除去セクション
42 ベースライン推定器エンジン
44 ベースライン推定値f(xi)
46 二次または半二次最小化エンジン
48 第1の反復ステージ
50 第2の反復ステージ
60 ベースライン推定パラメータの設定
62 グラフィカルユーザーインタフェース
64 最小化エンジンおよび/またはスキームの初期化
66 二次または半二次最小化スキーム
68 収束基準
70 出力信号データの計算
72 後処理操作
400~404 ぼけを除去する
406 システム応答を推定する
408 マルチ画像逆畳み込み
700 ライン
Claims (20)
- システム応答(H(xi))を有する記録システム(4)によって記録されたデジタル入力信号(I(xi))を強調するための信号処理装置(1)であって、前記信号処理装置(1)は、
-デジタル入力信号を取得し、
-前記デジタル入力信号のベースラインを表しかつ特徴長さ(fl)よりも大きい前記デジタル入力信号の特徴を含む、前記デジタル入力信号のベースライン推定値(f(xi))を計算し、
-前記特徴長さよりも小さい空間特徴を含む出力信号(O(xi))を得るために、前記デジタル入力信号から前記ベースライン推定値を除去する、
ように構成され、
前記信号処理装置(1)は、
-前記システム応答(H(xi))の特性長さ(cl)を取得し、
-前記システム応答(H(xi))の前記特性長さよりも小さい特徴長さを使用して、前記ベースライン推定値(f(xi))を計算する、
ように構成されている、
信号処理装置(1)。 - 前記特徴長さ(fl)は、前記システム応答(H(xi))の前記特性長さ(cl)の半分よりも小さい、
請求項1記載の信号処理装置(1)。 - 前記信号処理装置(1)は、
-前記デジタル入力信号(I(xi))から複数の出力信号(O1…K(xi))を計算し、
-異なる特徴長さ(fl)を有するベースライン推定値(f(xi))に基づいて、前記複数の出力信号の各々を計算し、
-前記複数の出力信号(O1…K(xi))の各々についてシステム応答(H(xi))を推定し、
逆畳み込み出力信号(J(xi))を得るために、前記複数の出力信号(O1…K(xi))のマルチ画像逆畳み込みを実行する、
ように構成されている、
請求項1または2記載の信号処理装置(1)。 - 前記複数の出力信号(O1…K(xi))のサブセットは、前記システム応答(H(xi))の前記特性長さよりも大きい特徴長さ(fl)に基づいている、
請求項3記載の信号処理装置(1)。 - 前記複数の出力信号(O1…K(xi))のサブセットは、前記システム応答(H(xi))の前記特性長さ(cl)に等しい特徴長さ(fl)に基づいている、
請求項3または4記載の信号処理装置(1)。 - 前記信号処理装置(1)は、
-前記デジタル入力信号(6,I(xi))の少なくとも2つの次元内の異なる特徴長さ(fl)を適用するように構成されている、
請求項1から5までのいずれか1項記載の信号処理装置(1)。 - 前記システム応答(H(xi))の前記特性長さ(cl)は、前記デジタル入力信号(I(xi))の少なくとも2つの次元(i)内で異なっている、
請求項1から6までのいずれか1項記載の信号処理装置(1)。 - 前記特徴長さ(fl)は、前記ベースライン推定値を含む最小二乗最小化規範(M(f(xi)))に含まれている、
請求項1から7までのいずれか1項記載の信号処理装置(1)。 - 前記最小二乗最小化規範(M(f(xi)))は、前記特徴長さ(fl)を含んだペナルティ関数(P(f(xi)))を含んでいる、
請求項8記載の信号処理装置(1)。 - 前記特徴長さ(fl)は、正則化長さスケール(γj)に含まれる、
請求項1から10までのいずれか1項記載の信号処理装置(1)。 - 前記信号処理装置(1)は、2つの反復ステージ(50,60)を有する二次最小化スキーム(66)を実行するように構成されている、
請求項1から11までのいずれか1項記載の信号処理装置(1)。 - 観察装置(1)、特に、顕微鏡(2)または内視鏡などの医療用観察デバイスであって、請求項1から12までのいずれか1項記載の信号処理装置(1)を含んでいる、
観察装置(1)。 - システム応答(H(xi))を有する記録システム(4)によって記録されたデジタル入力信号(I(xi))を強調するための信号処理方法であって、前記信号処理方法は、
好適には、請求項1から12までのいずれか1項記載の信号処理装置(1)を動作させるか、または、請求項13記載の観察装置を動作させるように構成され、
前記システム応答(H(xi))は、少なくとも1つの次元(i)において少なくとも1つの特性長さ(cl)を有し、出力信号(O(xi))を得るために、前記システム応答(H(xi))の前記少なくとも1つの特性長さよりも大きい特徴長さ(fl)を有する空間特徴がデジタル入力信号から除去される、
信号処理方法。 - 少なくとも1つのさらなる出力信号(O2(xi))が計算され、前記少なくとも1つのさらなる出力信号を計算するステップは、前記システム応答(H(xi))の前記少なくとも1つの特性長さ(cl)以上の特徴長さである特徴長さ(fl)を有する空間特徴を前記デジタル入力信号から除去するステップを含み、逆畳み込み出力信号(J(xi))を得るために、マルチ画像逆畳み込みが前記出力信号(O(xi))および前記少なくとも1つのさらなる出力信号(O2(xi))から計算される、
請求項14記載の信号処理方法。 - 前記ベースライン推定値(f(xi))は、前記特徴長さ(fl)に依存する正則化長さスケール(γj)を使用して計算される、
請求項14または15記載の信号処理方法。 - コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ上で実行されるときに、請求項14から16までのいずれか1項記載の方法を実行するためのプログラムコードを備えた、
コンピュータプログラム。 - 非一過性のコンピュータ可読媒体であって、請求項14から16までのいずれか1項記載の信号処理方法をコンピュータに実行させるコンピュータプログラムを格納している、
非一過性のコンピュータ可読媒体。 - システム応答(H(xi))を有する記録システム(4)によって記録されたデジタル入力信号(I(xi))を強調するためのニューラルネットワークデバイスであって、
前記システム応答(H(xi))は、少なくとも1つの次元(i)において少なくとも1つの特性長さ(cl)を有し、前記ニューラルネットワークデバイスは、出力信号(O(xi))を生成するように適合され、前記システム応答(H(xi))の前記少なくとも1つの特性長さよりも小さい特徴長さ(fl)を有する空間特徴と、前記システム応答(H(xi))の少なくとも1つの特性長さよりも大きい特徴長さ(fl)を有しかつ前記デジタル入力信号に含まれる空間特徴と、が除去される、
ニューラルネットワークデバイス。 - 出力信号(O(xi))であって、請求項14から16までのいずれか1項記載の方法の結果である、
出力信号(O(xi))。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018204943 | 2018-03-29 | ||
EP19182090.1A EP3588432A1 (en) | 2018-06-27 | 2019-06-24 | Signal processing apparatus and method for enhancing a digital input signal |
EP19182090.1 | 2019-06-24 | ||
PCT/EP2020/067117 WO2020260152A1 (en) | 2018-03-29 | 2020-06-19 | Signal processing apparatus and method for enhancing a digital input signal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022538124A true JP2022538124A (ja) | 2022-08-31 |
Family
ID=62751006
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552393A Active JP7436379B2 (ja) | 2018-03-29 | 2019-03-29 | 入力信号データにおけるベースライン推定のための装置および方法 |
JP2020552395A Active JP7391865B2 (ja) | 2018-03-29 | 2019-03-29 | 信号データのボケ除去のためのベースライン推定および半二次最小化を使用する装置および方法 |
JP2021576073A Pending JP2022538406A (ja) | 2018-03-29 | 2020-06-19 | 位相分布を強調するための画像処理装置および方法 |
JP2021576699A Pending JP2022538124A (ja) | 2018-03-29 | 2020-06-19 | デジタル入力信号を強調するための信号処理装置および方法 |
JP2022501010A Pending JP2022541743A (ja) | 2018-03-29 | 2020-07-08 | ぼけを除去するための局所的長さスケールを使用した信号処理装置および方法 |
JP2022513394A Pending JP2022546461A (ja) | 2018-03-29 | 2020-08-31 | オートフォーカスシステムにおいて使用するためのイメージ処理装置および方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020552393A Active JP7436379B2 (ja) | 2018-03-29 | 2019-03-29 | 入力信号データにおけるベースライン推定のための装置および方法 |
JP2020552395A Active JP7391865B2 (ja) | 2018-03-29 | 2019-03-29 | 信号データのボケ除去のためのベースライン推定および半二次最小化を使用する装置および方法 |
JP2021576073A Pending JP2022538406A (ja) | 2018-03-29 | 2020-06-19 | 位相分布を強調するための画像処理装置および方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022501010A Pending JP2022541743A (ja) | 2018-03-29 | 2020-07-08 | ぼけを除去するための局所的長さスケールを使用した信号処理装置および方法 |
JP2022513394A Pending JP2022546461A (ja) | 2018-03-29 | 2020-08-31 | オートフォーカスシステムにおいて使用するためのイメージ処理装置および方法 |
Country Status (7)
Country | Link |
---|---|
US (6) | US11854166B2 (ja) |
EP (4) | EP3571663B1 (ja) |
JP (6) | JP7436379B2 (ja) |
CN (6) | CN111937031B (ja) |
DE (1) | DE202018006284U1 (ja) |
ES (1) | ES2820228T3 (ja) |
WO (5) | WO2019185174A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2820228T3 (es) * | 2018-03-29 | 2021-04-20 | Leica Microsystems | Aparato y método, en particular para microscopios y endoscopios, que utilizan estimación de línea de base y minimización semi-cuadrática para eliminar la borrosidad de imágenes |
US20210348998A1 (en) * | 2018-09-17 | 2021-11-11 | Koc Universitesi | Method and apparatus for detecting nanoparticles and biological molecules |
EP3633534A1 (en) * | 2018-10-04 | 2020-04-08 | Thales Dis France SA | A connected device adapted to measure at least a physical quantity |
EP3795100A1 (en) * | 2019-09-20 | 2021-03-24 | Dornier MedTech Systems GmbH | A method and device for monitoring a coupling quality of an interface between a therapeutic device and a patient |
DE102020204615A1 (de) | 2020-04-09 | 2021-10-14 | Leica Microsystems Cms Gmbh | Schiefeebenemikroskop mit verbesserter Sammeleffizienz |
EP4312808A1 (en) * | 2021-05-03 | 2024-02-07 | The Cleveland Clinic Foundation | Machine vision needle counting imaging tray |
WO2023057348A1 (en) | 2021-10-05 | 2023-04-13 | Leica Microsystems Cms Gmbh | Sample carrier and method for imaging a sample |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3828381C2 (de) * | 1988-08-20 | 1997-09-11 | Zeiss Carl Fa | Verfahren und Einrichtung zur automatischen Fokussierung eines optischen Systems |
US5121443A (en) * | 1989-04-25 | 1992-06-09 | Spectra-Physics, Inc. | Neural net system for analyzing chromatographic peaks |
JPH063268A (ja) | 1992-06-23 | 1994-01-11 | Toshiba Ceramics Co Ltd | シリコンウエハの格子間酸素又は置換型炭素濃度の赤 外吸収分光法 |
US6058322A (en) * | 1997-07-25 | 2000-05-02 | Arch Development Corporation | Methods for improving the accuracy in differential diagnosis on radiologic examinations |
NL1016034C2 (nl) | 2000-08-03 | 2002-02-08 | Tno | Werkwijze en systeem voor het identificeren en kwantificeren van chemische componenten van een te onderzoeken mengsel van materialen. |
AU2002952483A0 (en) | 2002-11-05 | 2002-11-21 | Silverbrook Research Pty Ltd | Methods and Systems (NPW009) |
US7457708B2 (en) * | 2003-03-13 | 2008-11-25 | Agilent Technologies Inc | Methods and devices for identifying related ions from chromatographic mass spectral datasets containing overlapping components |
EP1716537B1 (en) * | 2004-02-11 | 2009-03-11 | Philips Intellectual Property & Standards GmbH | Apparatus and method for the processing of sectional images |
US20070196856A1 (en) * | 2006-02-23 | 2007-08-23 | Allergan, Inc. | Methods of determining activity of ryanodine receptor modulators |
US20070248268A1 (en) * | 2006-04-24 | 2007-10-25 | Wood Douglas O | Moment based method for feature indentification in digital images |
SG177951A1 (en) * | 2007-01-05 | 2012-02-28 | Myskin Inc | System, device and method for dermal imaging |
US8155409B2 (en) * | 2008-04-17 | 2012-04-10 | Ruprecht-Karls-Universitat | Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions |
US7983852B2 (en) | 2008-10-21 | 2011-07-19 | Thermo Finnigan Llc | Methods of automated spectral peak detection and quantification without user input |
US8199248B2 (en) * | 2009-01-30 | 2012-06-12 | Sony Corporation | Two-dimensional polynomial model for depth estimation based on two-picture matching |
US8645090B2 (en) * | 2009-05-14 | 2014-02-04 | Agilent Technologies, Inc. | Automated baseline removal of signal |
WO2011106527A2 (en) * | 2010-02-24 | 2011-09-01 | Ampersand International, Inc. | Method for noise filtering based on confidence interval evaluation |
US8045046B1 (en) * | 2010-04-13 | 2011-10-25 | Sony Corporation | Four-dimensional polynomial model for depth estimation based on two-picture matching |
DE102012201286A1 (de) * | 2012-01-30 | 2013-08-01 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren für die wellenlängenselektive und örtlich hochauflösende Mikroskopie |
BR112014027631A2 (pt) * | 2012-05-04 | 2019-05-14 | Rearden, Llc | sistema de multipla antena (mas) e multiusuário (mu) e método |
US9715098B2 (en) * | 2012-05-31 | 2017-07-25 | The Board Of Trustees Of The University Of Illinois | Sparse deconvolution spatial light microscopy in two and three dimensions |
CN103118323A (zh) * | 2012-12-28 | 2013-05-22 | 中国科学院声学研究所 | 基于平面波分解的wfs系统主动房间补偿方法和系统 |
US9456141B2 (en) * | 2013-02-22 | 2016-09-27 | Lytro, Inc. | Light-field based autofocus |
WO2015047462A2 (en) * | 2013-06-03 | 2015-04-02 | The Regents Of The University Of California | Artifact removal techniques with signal reconstruction |
US9524567B1 (en) * | 2014-06-22 | 2016-12-20 | InstaRecon | Method and system for iterative computed tomography reconstruction |
CN104123558B (zh) * | 2014-06-30 | 2017-10-13 | 中国地质科学院矿产资源研究所 | 地热资源的多源分布式遥感判别方法和系统 |
US20160062952A1 (en) * | 2014-09-03 | 2016-03-03 | Science Software Co., Ltd. | Measurement precision evaulation device, method, and computable readable medium |
CN104596636B (zh) * | 2014-12-29 | 2018-03-27 | 广西科技大学 | 声场分离方法 |
US9786092B2 (en) * | 2015-02-18 | 2017-10-10 | The Regents Of The University Of California | Physics-based high-resolution head and neck biomechanical models |
JP6597062B2 (ja) * | 2015-08-31 | 2019-10-30 | 株式会社Jvcケンウッド | 雑音低減装置、雑音低減方法、雑音低減プログラム |
WO2017050972A1 (en) | 2015-09-25 | 2017-03-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoder and method for encoding an audio signal with reduced background noise using linear predictive coding |
EP3156937A1 (en) * | 2015-10-15 | 2017-04-19 | Université Paris Est Créteil | Method for analysing a numerical image obtained by microscopy |
EP3374817B1 (en) * | 2015-11-11 | 2020-01-08 | Scopio Labs Ltd. | Autofocus system for a computational microscope |
CN107170007B (zh) * | 2016-03-02 | 2019-12-27 | 钰立微电子股份有限公司 | 具有图像散焦功能的图像装置及其产生散焦图像的方法 |
ES2820228T3 (es) * | 2018-03-29 | 2021-04-20 | Leica Microsystems | Aparato y método, en particular para microscopios y endoscopios, que utilizan estimación de línea de base y minimización semi-cuadrática para eliminar la borrosidad de imágenes |
EP4216161A1 (en) * | 2022-01-24 | 2023-07-26 | Leica Microsystems CMS GmbH | Apparatus, method and machine learning product for computing a baseline estimate |
-
2018
- 2018-06-27 ES ES18734549T patent/ES2820228T3/es active Active
- 2018-06-27 DE DE202018006284.7U patent/DE202018006284U1/de active Active
- 2018-06-27 WO PCT/EP2018/067244 patent/WO2019185174A1/en unknown
- 2018-06-27 EP EP18734549.1A patent/EP3571663B1/en active Active
- 2018-06-27 EP EP20185781.0A patent/EP3742391A1/en active Pending
-
2019
- 2019-03-29 JP JP2020552393A patent/JP7436379B2/ja active Active
- 2019-03-29 EP EP19712818.4A patent/EP3776453A1/en active Pending
- 2019-03-29 US US17/042,195 patent/US11854166B2/en active Active
- 2019-03-29 CN CN201980023893.2A patent/CN111937031B/zh active Active
- 2019-03-29 JP JP2020552395A patent/JP7391865B2/ja active Active
- 2019-03-29 CN CN201980023895.1A patent/CN111937032A/zh active Pending
- 2019-03-29 EP EP19712815.0A patent/EP3776452A1/en active Pending
- 2019-03-29 US US17/042,194 patent/US11669940B2/en active Active
-
2020
- 2020-06-19 JP JP2021576073A patent/JP2022538406A/ja active Pending
- 2020-06-19 CN CN202080045891.6A patent/CN114041162A/zh active Pending
- 2020-06-19 US US17/621,710 patent/US20220253983A1/en active Pending
- 2020-06-19 WO PCT/EP2020/067117 patent/WO2020260152A1/en active Application Filing
- 2020-06-19 US US17/620,777 patent/US20220357558A1/en active Pending
- 2020-06-19 JP JP2021576699A patent/JP2022538124A/ja active Pending
- 2020-06-19 WO PCT/EP2020/067096 patent/WO2020254574A1/en active Application Filing
- 2020-06-19 CN CN202080045519.5A patent/CN114008613A/zh active Pending
- 2020-07-08 CN CN202080050240.6A patent/CN114097002A/zh active Pending
- 2020-07-08 WO PCT/EP2020/069224 patent/WO2021005098A1/en active Application Filing
- 2020-07-08 US US17/625,099 patent/US20220327670A1/en active Pending
- 2020-07-08 JP JP2022501010A patent/JP2022541743A/ja active Pending
- 2020-08-31 US US17/637,480 patent/US20220277441A1/en active Pending
- 2020-08-31 CN CN202080061266.0A patent/CN114424102B/zh active Active
- 2020-08-31 WO PCT/EP2020/074219 patent/WO2021038103A1/en active Application Filing
- 2020-08-31 JP JP2022513394A patent/JP2022546461A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022538124A (ja) | デジタル入力信号を強調するための信号処理装置および方法 | |
EP2405816B1 (en) | Pattern noise correction for pseudo projections | |
Li et al. | PURE-LET deconvolution of 3D fluorescence microscopy images | |
EP3588432A1 (en) | Signal processing apparatus and method for enhancing a digital input signal | |
EP3716199B1 (en) | Signal processing apparatus and method using local length scales for deblurring | |
US10181181B2 (en) | Denoising with three dimensional fourier transform for three dimensional images, including image sequences | |
Bal et al. | A multiresolution approach for enhancement and denoising of microscopy images | |
Nguyen et al. | Generalized sparse variation regularization for large fluorescence image deconvolution | |
Kaynar et al. | Non-iterative Blind Deblurring of Digital Microscope Images with Spatially Varying Blur | |
Ambrozic | Image Deblurring for Material Science Applications in Optical Microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230619 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240718 |