CN111937032A - 用于输入信号数据中的基线估计的装置和方法 - Google Patents

用于输入信号数据中的基线估计的装置和方法 Download PDF

Info

Publication number
CN111937032A
CN111937032A CN201980023895.1A CN201980023895A CN111937032A CN 111937032 A CN111937032 A CN 111937032A CN 201980023895 A CN201980023895 A CN 201980023895A CN 111937032 A CN111937032 A CN 111937032A
Authority
CN
China
Prior art keywords
data
signal data
input signal
baseline estimation
baseline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980023895.1A
Other languages
English (en)
Inventor
凯·沃尔特
弗罗里安·齐塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Priority claimed from PCT/EP2019/058084 external-priority patent/WO2019185912A1/en
Publication of CN111937032A publication Critical patent/CN111937032A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13Differential equations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202Channel estimation
    • H04L25/024Channel estimation channel estimation algorithms
    • H04L25/025Channel estimation channel estimation algorithms using least-mean-square [LMS] method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28Processing seismic data, e.g. for interpretation or for event detection
    • G01V1/36Effecting static or dynamic corrections on records, e.g. correcting spread; Correlating seismic signals; Eliminating effects of unwanted energy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Operations Research (AREA)
  • Power Engineering (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Complex Calculations (AREA)
  • Endoscopes (AREA)
  • Focusing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明涉及用于获得输入信号数据(I(x;))的基线估计数据(f(x;))的装置和方法。获得准确的基线估计数据允许有效地从输入信号数据中去除噪声,输入信号数据诸如图像、声纳、声音、超声、断层摄影和/或地震数据。使用与格林函数的卷积来计算基线估计数据。卷积在计算上比已知的矩阵乘法更有效。

Description

用于输入信号数据中的基线估计的装置和方法
技术领域
本发明涉及一种用于输入信号数据中的基线估计的装置和方法。
背景技术
当使用诸如相机的光学设备记录三维区域的二维图像时,仅清晰地呈现聚焦区域中的那些特征。不在聚焦区域中的项被模糊。这种对图像的离焦贡献导致了标准引擎和用于图像锐化的方法(诸如去卷积)无法去除的伪影。
发明内容
因此,本发明的目的是提供一种去除由输入信号数据表示的诸如图像的信号中的离焦或基线贡献的装置和方法。
具有与图像中的离焦或基线贡献类似的特性的噪声内容可以存在于各种类型的输入信号数据中,输入信号数据例如由混叠、由噪声背景、由非线性吸收和/或散射效应、和/或由移动信号源和/或反射目标引起。因此,本发明的另一目的是去除输入信号数据中的噪声分量,噪声分量在特性上类似于图像中的离焦贡献。
此目的通过一种装置来解决,其中装置被配置为检索输入信号数据;从输入信号数据中减去基线估计数据以计算输出信号数据;以及其中装置还被配置为使用离散格林函数根据卷积来计算基线估计数据。
另外,此目的通过一种方法来解决,方法包括获得基线估计数据的步骤和从输入信号数据中减去基线估计数据以获得输出信号数据的步骤,其中获得基线估计数据的步骤包括使用与离散格林函数的卷积来计算基线估计数据的步骤。
目的还通过存储使计算机执行所要求保护的方法的程序的非瞬时性计算机可读介质来解决。
目的还通过一种具有程序代码的计算机程序来实现,当计算机程序在处理器上运行时,程序代码用于执行根据本发明的降噪方法;通过作为执行所要求保护的方法的结果的输出信号数据;和/或通过由输入和输出信号数据训练的神经网络设备,其中输出信号数据是通过所要求保护的方法从输入信号数据创建的。
下面,参考输入信号数据描述本发明,输入信号数据仅作为示例可以表示输入图像数据。然而,除了输入图像数据之外,术语“颜色”通常可以涉及在特别的波长处或特别的波长带中的输入信号强度或强度。术语“颜色”不必限于图像输入数据,而是还可以涉及诸如下面另外列出的其他类型的输入数据。术语“颜色空间”同样不限于输入图像数据,而是可以指定已经以不同的重叠或非重叠波长或波长带记录的任何输入信号数据的集合。在这种情况下,波长可以对应于空间或时间波长,即与时间或空间频率有关。其中记录输入或输出信号的波长或波长带的集合对应于“颜色空间”。这些波长或波段中的每个构成分离的“通道”或“颜色通道”。
例如,输入信号数据可以是输入图像数据、输入声纳、声音和/或超声数据、输入雷达数据、输入谱学和/或包括倒谱的谱数据、输入微波数据、输入振动数据,诸如地震数据、任何种类的断层摄影的输入断层摄影数据和统计数据,诸如股票交易数据,以及它们的任何组合中的一个。输入信号数据可以是一维、二维、三维和N维中的一个。
输出信号数据可以是输出图像数据、输出声纳、声音或超声数据、输出雷达数据、输出谱学和/或包括倒谱的谱数据、输出微波数据、输出振动数据,诸如地震数据和统计数据,诸如股票交易数据,以及它们的任意组合中的一个。输出信号数据可以是一维、二维、三维和N维中的一种。输出信号数据可被输出用于另外的处理。
在诸如声纳、声音和超声数据的输入信号数据中,其可能已经被认为是图像数据,如本文所述的基线估计可以用于去除背景。在统计数据中,本文所述的基线估计可用于去除和/或校正全局趋势。
在更一般的术语中,本文描述的基线估计方法不仅可以用于从输入信号数据中去除基线估计,而且可以用于将基线贡献I2(xi)与“焦点对准”贡献I1(xi)分离。然后,这两个分量可以被处理,并且最终被分离地分析。例如,在谱数据中,特别是在超谱数据中,大规模基线谱特征可以与小规模谱特征分离。
输入信号数据优选地是N维矩阵I(xi),其中N是大于2的整数。
项xi是元组{x1;…;xN}的快捷符号,元组包含N个位置值并表示在矩阵中的离散位置xi-或指向该位置的位置向量。位置xi可以由输入信号数据中的像素或优选地相干的像素的集合来表示。离散位置xi在二维输入信号数据的情况下表示例如一对离散位置变量{x1;x2},在三维输入信号数据的情况下表示三元离散位置变量{x1;x2;x3}。在第i维中,该阵列可包含Mi个位置,即
Figure BDA0002710035830000032
总计,I(xi)可包含(M1×…×MN)个元素。因为在下文中,将不参考具体位置或具体维度,所以位置仅由xi来指示。
I(xi)可以是在xi位置处的任何值或值的组合,诸如表示颜色空间中的颜色或“通道”的强度的值,例如RGB空间中的颜色R的强度,或者多于一种颜色的组合的强度,例如RGB颜色空间中的
Figure BDA0002710035830000031
已经由多谱或超谱相机记录的输入图像可包括多于三个通道。对于其它类型的输入信号数据也是如此。
例如,二维输入信号数据可以是输入图像数据,输入图像数据可以三色RGB格式获得,可以被认为是三个独立的二维输入信号数据的集合I(xi)={IR(xi);IG(xi);IB(xi)},其中IR(xi)表示诸如颜色R的强度的值,IG(xi)表示诸如颜色G的强度的值,以及IB(xi)表示诸如颜色B的强度的值。
如果已经使用多谱相机或超谱相机记录了输入信号数据,则输入信号数据可以表示多于三个通道。每个通道可以表示光谱的不同的谱或谱范围。例如,可以使用多于三个通道来表示可见光谱。
如果对象包括荧光材料,诸如至少一个荧光团或至少一个自发荧光物质,则每个通道可以表示不同的荧光谱。例如,如果在输入信号数据中存在多个荧光荧光团,则一个荧光团的每个荧光谱可以由输入信号数据的不同的通道表示。另外,一方面,不同的通道可以用于选择性地由照明触发的荧光,另一方面,可以用于作为副产物或作为触发的荧光的副作用产生的自发荧光。额外的通道可以覆盖NIR和IR范围。通道可以不必包括强度数据,而是可以表示与对象的图像有关的其他种类的数据。例如,通道可包括表示在图像中的特别的位置处触发之后的荧光寿命数据。通常,输入信号数据因此可以具有以下形式
I(xi)={I1(xi);I2(xi);…;IC(xi)},
其中C是输入信号数据中的通道的总数。
根据本发明的装置和方法从焦点对准贡献具有高空间频率的假设开始,例如,焦点对准贡献负责在输入信号数据中在短距离上发生的强度和/或颜色改变。假设离焦贡献具有低空间频率,即导致在输入信号数据的较大区域上延伸的主要地逐渐的强度和/或颜色改变。因此,离焦贡献反映在输入信号数据的基线中。
从这个假设出发,跨输入信号数据的强度和/或颜色改变可以被加性地分离为高空间频率焦点对准分量I1(xi)和低(这里是空间)频率离焦或基线分量I2(xi),如
I(xi)=I1(xi)+I2(xi)。
由于其低空间频率,离焦分量I2(xi)可以被认为是或多或少平滑的基线,在此基线上叠加了焦点对准分量作为具有高空间频率的特征。根据本发明,使用对输入信号数据的拟合来估计基线。在计算上,拟合,即基线估计,由离散基线估计数据f(xi)表示。基线估计数据也可以是具有N个维度和(M1×…×MN)个元素的超立方体矩阵,并且因此具有与输入信号数据相同的维度。
如果考虑时间频率而不是空间频率,当然应用相同的过程的考虑。在这种情况下,输入信号数据可以例如表示谱、倒谱或多个谱或倒谱。因此,基线估计可以用于提取和/或消除空间或频率域中的小型的或大型的(基线)信号内容。
为了计算基线估计数据,优选地使用最小平方最小化准则,其将被最小化以用于拟合。最小平方最小化准则的确切的公式确定拟合的特性,并因此确定基线估计数据的特性。最小平方最小化准则的不适当的选择可导致基线估计不能以足够的准确度表示离焦分量。
为了确保基线估计数据是输入信号数据中离焦或基线贡献的准确的表示,并且为了避免基线估计数据拟合到焦点对准贡献,根据本发明的最小平方最小化准则可包括惩罚项。惩罚项用于惩罚基线估计数据的不需要的行为,诸如表示具有高空间频率内容并且因此被认为属于输入信号数据的焦点对准分量的输入信号数据的分量。
一旦已经确定了基线估计数据并因此已经获得了用于I2(xi)的基线估计f(xi),则可以从基线估计和输入信号数据获得去模糊的输出信号数据O(xi)。特别地,输出信号数据可以通过从输入信号数据减去基线估计来计算:
O(xi)=I(xi)-f(xi)。
输出信号数据O(xi)优选地也由具有维度N和M1×…×MN个元素的离散矩阵表示,并且因此优选地具有与输入信号数据和/或基线估计数据相同的维度。
在此上下文中,术语“去模糊”输出信号数据表示已经从其去除了基线估计的任何输出信号数据。如上所述,这不一定仅涉及图像,而是涉及任何信号数据。因此,“离焦”分量可以是具有与图像数据中的“离焦”分量的特性类似的特性的任何噪声分量。
本发明的解决方案不同的于现有技术中已知的解决方案,例如不同的于BioVoxxel工具箱中的“卷积背景减去”。在那里,从信号的卷积的副本中减去背景,或者更特别地,从图像中减去背景,而不是如根据本发明那样直接从(未卷积的)信号或图像中减去背景。
上述装置和方法可以通过增加下面描述的特征中的一个或多个而进一步改进。以下特征中的每个可以独立于其他特征而被添加到本发明的方法和/或装置。另外,每个特征具有其自身的有利技术效果,如在下文中所解释的。
根据一个实施例,装置,特别是医学观察设备,诸如内窥镜或显微镜,可以被配置为至少临时地存储输入信号数据(优选地在装置的图像存储部分中),诸如输入图像数据;输出去模糊的输出信号数据(优选地通过装置的输出部分),诸如输出图像数据;从输入信号数据,诸如输入图像数据中去除,特别地减去(优选地通过装置的图像处理器,图像处理器包括去模糊部分)输入信号,诸如图像中的离焦或基线贡献,以计算输出信号数据,诸如输出图像数据;通过拟合到输入信号数据的至少一个子集,诸如输入图像数据,计算表示离焦贡献的基线估计数据(优选地通过装置的基线估计器引擎),输入信号数据的至少一个子集包括最小平方最小化准则,其中最小平方最小化准则优选地包括惩罚项。
另外,方法可以是用于-特别地自动地-对诸如图像的信号去模糊的方法,诸如图像的信号由诸如输入图像数据的输入信号数据表示,方法包括-特别地自动地-估计诸如图像的信号中的离焦或基线贡献以获得基线估计数据的步骤,以及从诸如输入图像数据的输入信号数据去除尤其是减去基线估计数据以获得去模糊的输出信号数据,诸如输出图像数据的步骤,其中估计离焦贡献的步骤优选地包括通过最小化最小平方最小化准则来计算基线估计数据作为诸如输入图像数据的输入信号数据的至少子集的步骤,并且其中最小平方最小化准则优选地包括惩罚项。
根据一个实施例,多项式拟合可以取决于输入信号数据的维度在多个维度上同时进行。
在一个特别的实例中,拟合可以是对输入信号数据的多项式拟合。特别地,基线估计数据可以由N个维度i中的任一个中的K阶多项式表示:
Figure BDA0002710035830000051
其中ai,k是第i维中的多项式的系数。对于每个维度i=1,...,N,可以计算分离的多项式。
用于最大多项式阶数K的最优值取决于基线估计数据的所需的平滑度。对于平滑基线,多项式阶数必须被设置得尽可能低,而拟合高度不规则的背景可能需要更高阶的。
在多项式拟合的情况下,基线估计数据可以仅由多项式系数ai,k组成。然而,多项式拟合可能难以控制并且不精确,因为允许对输入信号数据进行调整的唯一参数是最大多项式阶数。多项式阶数只能取整数值。因此,可能不总是能够找到最优基线估计。非最优多项式拟合可在基线估计中呈现局部最小值,这可能导致恼人的伪像。
因此,根据另一有利实施例,对输入信号数据的拟合可以是样条拟合,特别是平滑样条。样条拟合通常比多项式拟合提供更可靠的结果,因为它例如在平滑度方面控制更简单,并且对噪声鲁棒并且创建更少的伪像。另一方面,样条拟合在计算上比多项式拟合更复杂,因为每个像素或更一般地,输入信号值必须变化以最小化最小平方最小化准则。
根据一个实施例,最小平方最小化准则M(f(xi))可以具有以下形式:
M(f(xi))=C(f(xi))+P(f(xi)),
其中C(f(xi))是成本函数,P(f(xi))是惩罚项。最小平方最小化准则、成本函数和惩罚项优选地是标量值。
在一个特别的实例中,成本函数表示输入信号数据I(xi)和基线估计数据f(xi)之间的差。例如,如果ε(xi)表示输入信号数据和基线估计数据之间的差项为
ε(xi)=I(xi)-f(xi),
成本函数C(f(xi))可包括L2-norm‖ε(xi)‖2,其在这里用作输入信号数据和第i维中的基线估计数据之间的平方差和的所有维上的均方根值的和的速记符号,即
Figure BDA0002710035830000061
L2-norm||ε(xi)||2是标量值。成本函数的示例是:
C(f(xi))=||ε(xi)||2
为了提高基线估计的准确度,如果例如通过使用截断的差项来截断输入信号数据和基线估计之间的差,则可能是有利的。截断的差项减少了输入信号数据中的峰值对基线估计数据的影响。如果假设焦点对准贡献位于I(xi)的峰值中,则这种减小是有益的。由于截断的差项,输入信号数据中偏离基线估计超过预先确定的恒定阈值s的峰值将通过截断其对阈值拟合、特别是样条拟合的惩罚而在成本函数中被“忽略”。因此,基线估计数据将仅在有限的量上跟随这样的峰值。截断的二次项可以是对称的或非对称的。截断的差项在下面由
Figure BDA0002710035830000062
表示。
在一些应用中,焦点对准贡献可以仅或至少主要地包括在输入信号数据中的峰值中,即图像的亮点中。这可以通过选择截断的二次项来反映,截断的二次项是不对称的,并且允许拟合,特别是样条拟合,以跟随输入信号数据中的谷而不是峰。例如,非对称截断的二次项
Figure BDA0002710035830000063
可以是以下形式
Figure BDA0002710035830000071
在另一特别的应用中,如果输入信号数据中的谷,即暗区或具有低值的区域也被认为是焦点对准贡献,则可以使用对称的截断的二次项来代替不对称的截断的二次项。例如,对称的截断的二次项可以具有以下形式:
Figure BDA0002710035830000072
使用截断的二次项,成本函数C(f(xi))优选地可以表示为
Figure BDA0002710035830000073
如果基线估计拟合到被认为属于焦点对准分量I1(xi)的数据,则最小平方最小化准则M(f(xi))中的惩罚项P(f(xi))可以采取引入惩罚的任何形式。如果输入信号数据分量中的焦点对准分量在基线估计数据中表示,则由于惩罚项的值增加而创建惩罚。
如果例如假设离焦分量I2(xi)被认为具有低空间频率,则惩罚项可以是如果基线估计的空间频率变大而变大的项。
在一个实施例中,这样的项可以是对偏离平滑基线的非平滑基线估计数据进行惩罚的粗糙度惩罚项。这种粗糙度惩罚项有效地惩罚了具有高空间频率的数据的拟合。
根据一个方面,与平滑基线的偏差可导致基线估计数据的一阶导数,即陡度或梯度和二阶导数,即曲率中的至少一个中的较大值。因此,粗糙度惩罚项可包括基线估计数据的一阶空间导数,特别是一阶空间导数的平方和/或绝对值,和基线估计数据的二阶导数,特别是二阶空间导数的平方和/或绝对值中的至少一个。更一般地,惩罚项可包括基线估计数据的任何任意阶的空间导数,或者基线估计数据的空间导数的任何线性组合。可以在不同的维度中使用不同的惩罚项。
例如,粗糙度惩罚项P(f(xi))可以形成为
Figure BDA0002710035830000074
此粗糙度惩罚项惩罚基线估计的梯度的大的变化率,或者等效地,惩罚高曲率,并且因此有利于平滑估计。在本文中,γj是正则化参数,以及
Figure BDA0002710035830000075
是用于计算第j维中的二阶导数的离散算子。在离散中,可以使用卷积有效地计算微分。例如,
Figure BDA0002710035830000076
具有二阶导数矩阵
Figure BDA0002710035830000081
正则化参数γj取决于输入信号或图像数据的结构。它粗略地表示在焦点对准信号数据I1(xi)中的信息的空间长度尺度。正则化参数可以由用户预先确定,并且优选地大于零。选择正则化参数的单位,使得惩罚函数是标量的无量纲的量。通常,正则化参数具有0.3和100之间的值。
然而,优选的是,粗糙度惩罚项P(f(xi))被形成为
Figure BDA0002710035830000082
这是惩罚基线估计数据中的大梯度的粗糙度惩罚项。遍及j的和允许在不同的维度中使用不同的惩罚项。应当注意的是,由于xj和f(xi)都是离散的,因此可以通过与导数矩阵
Figure BDA0002710035830000085
的卷积来执行微分。算子
Figure BDA0002710035830000084
表示维度j中的离散一阶导数或梯度算子,其可以由矩阵表示。
代替基线估计数据的导数或导数的线性组合或除了基线估计数据的导数或导数的线性组合之外,惩罚项可包括特征提取滤波器,特别是线性滤波器或这样的滤波器的线性组合。特征提取滤波器可以是Sobel滤波器、Laplace滤波器和/或FIR滤波器,例如具有用于高空间频率的通带的高通或带通空间滤波器。
在这种一般公式中,用于第j维的惩罚项可包含一般算子ζ(j)并且可以表示为
Figure BDA0002710035830000083
可以使用已知方法使最小平方最小化准则M(f(xi))最小化。在一个实例中,可以使用优选的迭代半二次最小化方案。为了执行半二次最小化,基线估计器引擎可包括半二次最小化引擎。半二次最小化可包括具有两个迭代阶段的迭代机制。
半二次最小化方案可以例如包括LEGEND算法的至少部分,其在计算上是高效的。LEGEND算法在Idier,J.(2001)的Convex Half-Quadratic Criteria and InteractingVariables for Image Restoration,IEEE Transactions on Image Processing,10(7),第1001-1009页,以及Mazet,V.,Carteret,C.,Bire,D,Idier,J.,and Humbert,B.(2005)的Background Removal from Spectra by Designing and Minimizing a Non-QuadraticCost Function,Chemometrics and Intelligent Laboratory Systems,76,第121-133页两篇文章中描述。这两篇文章在此全文引入作为参考。
LEGEND算法引入离散辅助数据d(xi),其优选地具有与输入信号数据相同的维度。在每次迭代时,取决于最新的初始基线估计数据、截断的二次项和输入信号数据来更新辅助数据。
在LEGEND算法中,通过使用两个迭代步骤,使仅包含成本函数而不包含惩罚项的最小平方最小化准则最小化,直到满足收敛准则。
例如,合适的收敛准则可以是当前基线估计数据和先前的基线估计数据之间的跨所有位置xi的差的和小于预定阈值。
在另外的改进中,收敛准则可以表示为
Figure BDA0002710035830000091
其中t是可以由用户设置的标量收敛值。
作为LEGEND算法中的开始步骤,限定初始的基线估计数据的集合。
如果使用多项式拟合,则可以通过针对i=1,…,N个多项中的每个多项为第一基线估计
Figure BDA0002710035830000092
选择系数ak的起始集合,来开始LEGEND算法。
如果使用样条拟合,则用于开始LEGEND算法的初始条件可以是d(xi)=0,f(xi)=I(xi),并且所述迭代通过进入第二迭代步骤来开始。
在第一迭代步骤中,辅助数据可以如下更新:
Figure BDA0002710035830000093
其中l=1…L是当前迭代的索引,以及α是可以选择的常数。优选地,α接近但不等于0.5。α的合适的值为0.493。
在第二迭代步骤中,基于先前计算的辅助数据dl(xi)、来自先前的迭代l-1的基线估计数据fl-1(xi)以及惩罚项P(xi)更新基线估计数据fl(xi)。
基线估计数据fl(xi)可以是使已经通过包括辅助数据而针对LEGEND算法修改后的半二次最小化准则M(f(xi))最小化。
特别地,可以在第二迭代LEGEND步骤中使用以下公式来计算更新的基线估计数据:
Figure BDA0002710035830000101
本文中,[‖I(xi)-fl-1(xi)+dl(xi)‖2+P(f(xi)]表示修改的半二次最小化准则。
第二迭代步骤可以使用以下矩阵计算来更新基线估计数据:
Figure BDA0002710035830000102
本文中,
Figure BDA0002710035830000103
是(M1×…×MN)2维矩阵。在二维情况下,Ai是(Mx-1)(My-1)×MxMy矩阵,并如下给出
Figure BDA0002710035830000104
其中
Figure BDA0002710035830000105
用于更新dl(xi)和fl(xi)的两个迭代步骤被重复,直到满足收敛准则。
根据本发明的一个非常优选的方面,LEGEND算法的第二步骤使用卷积而不是矩阵计算来修改。这大大减少了计算量。
更特别地,优选地,通过将格林函数与输入信号数据和更新的辅助数据的和进行卷积来直接计算更新的基线估计数据fl(xi)。
根据本发明解决方案的更具体的方面,LEGEND算法的第二迭代步骤可以由以下迭代步骤代替,其中使用如下格林函数G(xi)在第l次迭代中计算经更新的基线估计数据fl(xi)
fl(xi)=G(xi)*(I(xi)+dl(xi))。
与传统LEGEND算法相比,此步骤显著地减少了计算负担。
根据本发明的第二迭代步骤,计算卷积,这导致了计算负担的降低。此计算可以使用FFT算法有效地执行。另外,由于FFT算法,第二迭代步骤可以充分使用阵列处理器,诸如图形处理单元或FPGA。如果输入信号数据和所有其它矩阵是二维的,则计算问题从(Mx×My)2减少到Mx×My。对于一般N维的情况,计算负担从(M1×…×MN)2维矩阵计算减少到具有(M1×…×MN)矩阵的FFT的计算。
因此,可以非常快速地执行去模糊,优选地对于二维输入信号数据实时执行去模糊。(2k×2k)信号数据矩阵,在本文中是图像,可以在50ms或更短时间内被去模糊。
在一个特定实施例中,格林函数可以具有以下形式
Figure BDA0002710035830000111
其中F[…]是离散N维傅立叶变换,F-1[…]是离散N维傅立叶逆变换,γj是粗糙度惩罚项的正则化参数,
Figure BDA0002710035830000112
是在位置m处的第i维中的离散惩罚矩阵,以及N是维度的总数。上索引D(j)示对于每个维度j可以有不同的惩罚矩阵。
通常,离散惩罚数矩阵
Figure BDA0002710035830000113
对应于用于第j维的惩罚项P(j)(f(xi))的函数导数
Figure BDA0002710035830000114
的离散表示。由于所有函数都由离散矩阵表示,因此可以通过以下卷积以数值方式执行微分
Figure BDA0002710035830000115
其中
Figure BDA0002710035830000116
是用于计算函数导数
Figure BDA0002710035830000117
的离散矩阵。
上述格林函数的一个很大的优点是惩罚项P(f(xi))的任何形式都可以从半二次最小化引擎中的第二迭代步骤的快速计算中受益。因此,在使用格林函数的实施例中,可以使用用于获得良好基线估计的任何惩罚项。
用于惩罚项的一般公式
Figure BDA0002710035830000118
矩阵
Figure BDA0002710035830000119
被限定为
Figure BDA00027100358300001110
其中ζ(j)是惩罚项的一般算子,*表示N维卷积,以及
Figure BDA00027100358300001111
对应于函数f(xi,m)中的离散一阶函数导数,其可以例如表示强度。此等式可以借助于最小二乘法求解。
例如,如果惩罚项是
Figure BDA00027100358300001112
卷积中的导数阵列可以表示为:
Figure BDA0002710035830000121
装置可包括信号存储部分,诸如图像存储部分。信号存储部分可以被配置为至少临时地包括输入信号数据。
装置可包括信号输出部分,诸如图像输出部分。装置可以适于输出去模糊的信号输出数据。
装置还可包括信号处理器,诸如图像处理器,其可以被配置为执行基线估计。
信号处理器可包括去模糊部分。去模糊部分可以适于从输入信号数据中减去基线贡献,例如基线估计数据,以计算输出信号数据。
信号处理器可包括基线估计引擎。基线估计引擎可以被配置为通过对输入信号数据的至少一个子集的拟合来计算表示基线贡献的基线估计数据。
基线估计引擎可包括最小平方最小化准则(M(xi))的离散表示。
可以被配置为图像处理器的信号处理器、基线估计器引擎、去模糊部分和半二次最小化引擎中的每个可以以硬件、软件或硬件和软件的组合实现。例如,信号处理器、基线估计器引擎、去模糊部分和半二次最小化引擎中的至少一个可以至少部分地由子例程、诸如CPU的通用处理器的一部分和/或诸如CPU、GPU、FPGA、矢量处理器和/或ASIC的专用处理器实现。
实现本发明的去模糊算法的另一种方式是使用输入信号数据和输出信号数据对来训练人工神经网络,例如卷积神经网络,其中已经使用上述方法的实施例来生成输出信号数据。已经以这种方式训练的神经网络设备可以被认为是已经用于生成输入和输出信号数据的训练对的方法的实现。在一个特别的实例中,信号数据可以是例如使用显微镜获取的图像数据,并且输出信号数据可以是通过将本发明的去模糊算法应用于输入数据而获得的图像。
应当注意的是,如果输入信号数据I(xi)在输入图像数据作为输入信号数据的情况下在去模糊之前没有被卷积或去卷积,则本发明的去模糊提供了最优结果。如果输入数据I(xi)通过本发明的去模糊被预处理,则去卷积提供最优结果。
另外,通过去模糊的预处理可以增强使用被称为SPIM(选择性平面照明显微镜,也被称为光片显微镜)的技术获取的图像的结果。特别地,根据本发明,可以对使用光片层技术获取的随后在不同的方向/取向下照亮样本的多个图像进行去模糊。多图像去卷积是图像的融合方法,其减少了由光薄片与待分析的样本的散射引起的阴影和模糊(参见例如出版物“Efficient Bayesian-based multiview deconvolution”,Stephan Preibisch等人著,Nat Methods.,2014年6月11日(6):645–648)。使用光片技术已经获取的随后在不同的方向/取向下照亮样本的多个图像本身和/或通过光片的不同的取向获取的SPIM图像的这种多图像去卷积的结果可能经受根据本发明的去模糊。使用本发明的去模糊对输入图像进行预处理,可以在多图像去卷积之前消除模糊贡献,这导致增强的融合结果。
附图说明
接下来,仅通过示例的方式使用示例实施例进一步描述本发明,示例性实施例也在附图中示出。在附图中,相同的附图标记相对于功能和设计中的至少一个用于彼此对应的特征。
在所附实施例中示出的特征的组合仅用于解释性目的,并且可以被修改。例如,可以省略具有特定应用不需要的技术效果的实施例的特征。同样,如果对于特别的应用需要与未示出为实施例的部分的特征相关联的技术效果,则可以添加此特征。
在以下示例中,为了解释本发明的优点,输入信号数据和输出信号数据分别是输入图像数据和输出图像数据。如从上文清楚的,可以使用任何其他类型的信号数据来代替图像数据或作为图像数据的补充,而不对基线估计进行任何改变。
图1示出根据本发明的装置的示意图;
图2示出根据本发明的方法的流程图的示意性再现;
图3示出图2的细节;
图4示出输入信号数据的示例;
图5示出从图4的输入信号数据导出的去模糊的输出信号数据的示例;
图6示出沿图4和5的线VI的输入信号数据、基线估计数据和去模糊的输出信号数据中的强度分布;
图7示出输入信号数据的另一示例;
图8示出基于图7的输入信号数据的输出信号数据;
图9示出去卷积之后的图8的输出信号数据;
图10示出沿图7和8中的线X的输入信号数据、基线估计数据和输出信号数据中的强度分布;以及
图11示出输入信号数据、输入信号数据中的焦点对准贡献、输入信号数据中的离焦贡献、基线估计数据和输出信号数据的示意性表示。
具体实施方式
首先,参照图1说明装置1的结构。装置1可以是诸如内窥镜或显微镜的医学观察设备。仅为了说明的目的,显微镜2被示出为装置1的示例。为了去模糊装置和方法的目的,在显微镜的内窥镜之间没有差别。
装置1可包括信号形成部分4,特别是图像形成部分,其适于例如使用相机8捕获输入信号数据6。相机8可以是CCD、多谱或超谱相机,其在多个通道10中记录输入信号数据6,这里是输入图像数据,其中每个通道10优选地表示从红外到紫外的不同的光谱范围。以下,输入信号数据6也指定为I(xi)。
当然,可以使用除相机之外的设备或传感器来记录其他类型的输入信号数据6,例如,一个或多个麦克风、振动传感器、加速度计、速度传感器、天线、压力换能器、温度传感器、电容传感器、磁传感器及其任意组合。
在CCD相机的情况下,例如,可以提供三个通道10,例如R通道、G通道和B通道,以表示对象12的可见光图像。在多谱或超谱相机的情况下,可以在可见光范围、IR光范围、NIR光范围和紫外光范围中的至少一个中使用总共多于三个的通道10。
对象12可包括有生命和/或无生命的物质。对象12还可包括一种或多种荧光材料,诸如至少一个荧光团14。多谱或超谱相机可具有用于对象12中的荧光材料的每个不同的荧光谱的通道10,例如,每个荧光团14可由与由照明16触发的荧光谱匹配的至少一个通道10表示。可替换地或额外地,通道10可提供用于自发荧光谱或由照明16激发的荧光触发的二次荧光谱,或用于寿命荧光数据。当然,照明16也可以或仅发射白光或任何其他光成分而不触发对象12中的荧光。显微镜2可以适于通过照明16使用具有合适荧光激发波长的光来激发对象12内的例如荧光团14的荧光。
照明可以通过透镜17被引导,通过透镜17也获取输入信号数据。照明16可包括一个或多个柔性光导或由一个或多个柔性光导组成,以将光从一个或多个不同的方向引导到对象12上。合适的阻挡滤光器(未示出)可以布置在相机8前面的光路中,例如以抑制眩光。在荧光的情况下,阻挡滤光器优选地仅阻挡照明波长,并且允许对象12中的荧光团14的荧光传到相机8。
显然,输入信号数据6可以由任何种类的显微镜捕获,尤其是使用可在宽场模式下操作的荧光显微镜和/或使用共焦激光扫描显微镜捕获,但这并不限于一般情况。
如果在二维图像中包括单个通道10,则输入信号数据6是二维的。如果包括多于一个通道10和/或如果输入信号数据6表示三维阵列,诸如三维图像,则输入图像可以具有比两个更高的维度。
三维输入信号数据6或输入图像数据可以由装置1通过例如使用光场技术、显微镜中的z堆叠、通过SCAPE显微镜获得的图像和/或通过SPIM显微镜获得的图像的三维重建来记录。在三维图像的情况下,三维输入信号数据6的每个平面可以被认为是二维输入图像6。同样,每个平面可包括若干通道10。
每个通道10可以被认为是分离的二维图像或信号。可替换地,多个通道可以一起被解释为多维阵列。
输入信号数据是诸如强度的量I(xi)的数字表示,其中xi表示输入信号数据6中的位置,I是该位置处的量。术语xi是用于包含N个维度并且表示离散输入信号数据中的离散位置xi的元组{x1;…;xN}的快捷符号。位置xi可以是输入信号数据中的像素或优选地是相干的像素的集合。离散位置xi在二维输入信号数据的情况下表示例如一对离散位置变量{x1;x2},在三维输入信号数据的情况下表示三个离散位置变量{x1;x2;x3}。在第i维中,矩阵可包含Mi个位置,即
Figure BDA0002710035830000151
总计,I(xi)可包含(M1×…×MN)个元素。
相机8可以产生输入信号数据6的后续集合的时间序列18。
装置1还可包括信号存储部分,特别是图像存储部分20,其适于至少临时地包括输入信号数据6。信号存储部分20可包括易失性或非易失性存储器,诸如计算设备24(诸如PC的CPU 22和/或GPU 26)的高速缓冲存储器。图像存储部分20还可包括RAM、硬盘驱动器或诸如USB棒或SD卡的可交换存储系统。图像存储部分20可包括这些类型的存储器的任意组合。
为了例如从相机8获取输入信号数据6,可以提供信号输入部分,特别是图像输入部分28。信号输入部分28可包括标准化连接装置30,诸如标准化数据交换协议、硬件连接器和/或无线连接。可以连接到相机8的标准化连接器的示例是HDMI、USB和RJ45连接器。
装置1还可包括信号输出部分,特别是图像输出部分32,其可包括标准化连接装置34,诸如标准化数据交换协议、硬件连接器和/或无线连接,每个被配置为将去模糊的输出信号数据36输出到一个或多个显示器37。输出信号数据36,本文中是输出图像数据,优选地具有与输入信号数据6相同的维度,并且由离散值O(xi)的离散阵列表示。
为了根据输入信号数据6计算去模糊的输出信号数据36,可以提供信号处理器,特别是图像处理器38。信号处理器38及其组成部分可以至少部分是硬件、至少部分是软件和/或硬件和软件的组合。例如,信号处理器38可包括计算设备24的CPU 22和GPU 26中的至少一个,以及已经以软件编码并且作为操作状态临时存在于CPU 22和/或GPU 26中作为结构实体的部分。信号处理器38还可包括额外的硬件,诸如一个或多个ASIC,其被专门设计用于执行根据本发明的装置和方法所需的操作。
在继续图1的进一步描述之前,参考图11解释输入信号数据6的去模糊的一般原理。对于输入信号数据6的去模糊,信号处理器38可包括去模糊部分40。
假设输入信号数据I(xi)是由离焦分量I2(xi)和焦点对准分量I1(xi)加性构成的。焦点对准分量I1(xi)仅包括来自相机8的焦平面的信息。离焦分量I2(xi)由来自焦点区域之外的区域的输入信号数据6中记录的光产生。相反,焦点对准分量I1(xi)仅表示来自焦点区域的贡献。I1(xi)和I2(xi)都不是已知的,因此必须被估计。
根据本发明,假设离焦或基线分量I2(xi)仅由具有低空间频率的分量组成,这表示类似平滑基线的某物,焦点对准分量I1(xi)围绕该平滑基线以较高空间频率波动。离焦分量I2(xi)平滑且具有大的长度尺度;相反,焦点对准分量I1(xi)不是平滑的,并且通常包括峰值。
为了对输入信号数据去模糊,计算离焦或基线分量I2(xi)的估计。在根据本发明的装置1和方法中,此估计被表示为基线估计数据f(xi)。基线估计数据是优选地具有与输入信号数据6和/或输出信号数据36相同的维度的离散矩阵。基线估计数据f(xi)在图1中由附图标记44指示。基线估计数据f(xi)也可以至少暂时存在于存储部分20中。一旦已经计算了基线估计数据,通过在每个位置处从输入信号数据中减去基线估计数据来获得输出信号数据,输出信号数据在本文中表示为O(xi)。
根据图1,信号或图像处理器38可包括基线估计器引擎42,基线估计器引擎42被配置为通过对输入信号数据6的至少一个子集的拟合来计算基线估计数据f(xi),在图1中用附图标记44表示。优选地,对输入信号数据的至少一个子集的拟合是样条拟合。
对于计算有效的样条拟合,基线估计器引擎42可包括半二次最小化引擎46,其可以例如是子例程或硬连线算法和匹配软件的组合。半二次最小化引擎46可以被配置为执行半二次最小化方案,并且为此可包括两个迭代阶段48、50。
根据本发明,半二次最小化引擎46在第二迭代阶段50中使用卷积来计算基线估计数据44。由于卷积可以在阵列处理器上使用FFT更有效地计算,优选地,信号处理器38包括阵列处理器,诸如GPU 26。在操作中,信号处理器包括半二次最小化引擎46。
参考图2,从输入信号数据I(xi)或6计算去模糊的输出信号数据O(xi)或36的步骤被描述为由装置1执行。应当注意的是,优选地,每个通道10被分离地处理。
在第一步骤60中,需要被预设的基线估计器引擎42的各种参数可以由用户例如使用图形用户界面62(图1)来限定。参数可包括待由基线估计器引擎42执行的对输入信号数据6的拟合类型。例如,用户可以在基线估计数据44对输入信号数据6的多项式拟合和样条拟合之间进行选择。
另外,用户可以在半二次最小化方案中使用的各种惩罚项P(f(xi))之间进行选择。惩罚项通过对基线估计数据中的焦点对准贡献I1(xi)的分量的表示进行惩罚来确定基线估计的形状。
例如,可以向用户呈现对基线估计数据44的非平滑特性进行惩罚的各种惩罚项的选择。例如,惩罚项可以是用于基线估计数据44的高通空间频率滤波器,如果基线估计数据44包括具有高空间频率的分量,则高通空间频率滤波器变得更大。其他惩罚项可包括基线估计数据44的梯度。惩罚项的另一示例可以是基线估计数据44的曲率。另外,用户可以选择诸如Sobel、Laplace和/或FIR带通、高通或低通滤波器的特征提取滤波器作为惩罚项。另外,可以选择上述任意的线性组合。可以为输入信号数据6的不同的维度或不同的通道选择不同的惩罚项。
惩罚项的一般表示如下
Figure BDA0002710035830000171
其中ζ(j)是惩罚项的一般算子,其定义惩罚项的属性。
在下文中,假设用户基于基线估计数据f(xi,m)或44的梯度来选择基于梯度的粗糙度惩罚项,具有以下形式
Figure BDA0002710035830000181
此惩罚项惩罚基线估计数据中的大梯度。算子
Figure BDA0002710035830000182
表示维度j中的一阶导数或梯度。
使用上述基于梯度的惩罚项,用户待指定的参数还可包括正则化参数阵列γj。对于基于梯度的惩罚项,正则化参数阵列可以在0.3和100之间。
另外,当选择用于基线估计器引擎的参数时,用户可以在对称和非对称二次项
Figure BDA0002710035830000185
之间进行选择,这也通过指定大峰值对基线估计数据的影响来确定基线估计的形状。
最后,用户可以选择收敛准则和/或收敛准则必须达到的阈值t。
例如,用户可以选择以下非对称的、截断的二次项:
Figure BDA0002710035830000183
其中s表示待由用户输入的阈值。阈值限定输入信号数据和基线估计数据之间的最大偏差。基线估计以上的峰值不会吸引基线估计超过偏离阈值的峰值。
在已经设置用于基线估计器引擎42的初始参数之后,在步骤64中初始化数据,用于迭代半二次最小化方案66。
从那时起,由半二次最小化引擎46执行迭代半二次最小化方案66,直到满足收敛准则68。在实施例中,使用以下收敛准则:
Figure BDA0002710035830000184
其中I指示当前迭代以及t是可以是用户指定的恒定标量阈值。
如果满足收敛准则68,则假定已经成功地计算基线估计数据44。因此,在步骤70中,从输入信号数据I(xi)中减去基线估计数据f(xi),以获得去模糊的输出信号数据O(xi)。
在计算输出信号数据O(xi)之后,可以对输出信号数据36执行后处理操作72,诸如去卷积。
输出信号数据O(xi)可以在显示器37上显示,可以具有或不具有后处理。
在图3中,示出图2的细节III,以更详细地解释半二次最小化方案66。半二次最小化方案66包括第一迭代阶段48和第二迭代阶段50。
原则上,由半二次最小化引擎46执行的半二次最小化方案66可以是LEGEND算法。然而,根据本发明,优选地,可以修改LEGEND算法的第二步骤以显著地减少计算负担。
在所示的实施例中,在步骤64处初始化数据之后进入第二迭代阶段50。此时,通过使用输入信号数据与格林函数G(xi)的卷积来计算基线估计数据的第一估计f1(xi)。
f1(xi)=G(xi)*I(xi)。
对于在此实施例中使用的基于梯度的惩罚项,格林函数被限定如下:
Figure BDA0002710035830000191
其中F[…]是离散N维傅立叶变换,F-1[…]是离散N维傅立叶逆变换,γj是粗糙度惩罚项的正则化参数,以及
Figure BDA0002710035830000192
然后,在第一迭代阶段48中,可以使用当前基线估计数据44如下计算辅助数据dl(xi)的更新的版本:
Figure BDA0002710035830000193
参数α是可能已经由用户指定的常数。
接下来,在第二迭代阶段50中,使用当前迭代l的更新的辅助数据dl(xi)如下计算更新的基线估计数据44
fl(xi)=G(xi)*(I(xi)+dl(xi))。
在下一步骤中,检查是否满足收敛准则68。如果不是这种情况,半二次最小化方案66使用更新的基线估计数据fl(xi)进行到迭代步骤48。
下面,给出去模糊的输出信号数据的两个示例,其中基于梯度的惩罚项与第二迭代步骤一起使用,第二迭代步骤使用如参考图2和3所述的与格林函数的卷积。
图4示出输入信号数据输入信号数据或者样本图片的6,图5示出去模糊的输出信号数据O(xi)或者36。图4示出使用DM6000宽场显微镜和HCX PL APO CS 100.0x1.40 OIL以1.4的数值孔径和645nm的峰值发射记录的线粒体的图片。像素的尺寸对应于40nm。
从图4和5的比较可以看出,在输出信号数据中已经去除了离焦分量I2(xi)的显著部分。这由图6证实,图6分别示出沿图4和5中的线VI的强度分布。可以看出的是,基线估计数据f(xi)表示强度分布中的平滑基线,而峰值被保持在输出信号数据O(xi),36中。
如果输入信号数据I(xi)中的强度分布具有不同的特性,则去模糊也工作良好。这在图7、8和10中得到了证明,这些图示出草履虫(Paramecium)。图4包括单个珠状结构,其中相对容易区分焦点对准贡献与离焦贡献,而图7包括更复杂的结构。在图7中,像素对应于65nm。使用具有HCX FLUOTAR 100x/1.30OIL透镜的DM8宽场显微镜以1.3的数值孔径和520nm处的峰值发射记录图像。
在图7中,示出输入信号数据I(xi)。在图8中,示出去模糊的输出信号数据O(xi)。在图10中,示出沿图7和8的线X的输入信号数据6、基线估计数据44和输出信号数据36的强度分布。可以看出,基线估计数据f(xi)还包含峰值。然而,这些峰的长度尺度显著大于输出信号数据O(xi)中的强度变化。
图9示出去卷积之后的输出信号数据36。由于输出信号数据已被去模糊,卷积的结果具有几乎没有伪像的非常好的质量。
因此,总而言之,已经描述了用于去模糊输入信号数据的装置1和方法。装置和方法可以使用基线估计数据和/或特征提取滤波器的任何离散导数阶的惩罚项。无论是否使用惩罚项,样条拟合可以优于多项式拟合,以创建平滑基线估计。作为本发明的第三独立方面,提出半二次最小化引擎46,它通过在第二迭代阶段50中引入卷积而显著地减少计算负担。可以为大范围的惩罚项保持计算效率。
应当注意的是,数据的维度可以通过重新排列阵列来改变。例如,二维数据可以被渲染为一维数据的一个或多个集合。这可以通过将随后的行或列彼此串接来实现。另外,通过将连续的平面一个接一个地串接,三维数据可以被简化为二维数据。通过递归地使用此原理,可以将任何N维的数据简化为可以应用上述方案的一维或二维数据。
反之亦然,通过简单地将任何一维阵列分解为较小的一维阵列并以二维或更高维的方案对优选具有相同长度的这些较小阵列进行索引,可以将任何一维矩阵布置为二维或更高维阵列。另外,任何类型的数据都可以被视为图像数据或图像,例如通过将灰度强度分配给输入信号数据的每个值,并如上所述以二维或三维布置显示它,来将其显示为图像数据或图像。
如本文所用,术语“和/或”包括相关的所列项目中的一个或多个的任何和所有组合,并且可以缩写为“/”。
虽然已经在装置的上下文中描述了一些方面,但是显然,这些方面也表示对应方法的描述,其中块或设备与方法步骤或方法步骤的特征对应。类似地,在方法步骤的上下文中描述的方面也表示对对应装置的对应块或项目或特征的描述。方法步骤中的一些或全部可以通过或使用硬件装置执行,例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中,最重要的方法步骤中的某个或多个可以由这样的装置执行。
取决于特定的实现要求,本发明的实施例可以用硬件或软件实现。可以使用非暂时性存储介质执行实现,诸如其上存储有电子可读控制信号的数字存储介质,例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器,电子可读控制信号与可编程计算机系统协作或能够与可编程计算机系统协作,使得执行相应的方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,电子可读控制信号能够与可编程计算机系统协作,以便执行本文所述的方法中的一个。
通常,本发明的实施例可以被实现为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,该程序代码可操作用于执行所述方法中的一个。程序代码可以例如存储在机器可读载体上。
其它实施例包括存储在机器可读载体上的用于执行本文所述的方法中的一个的计算机程序。
因此,换句话说,本发明的实施例是一种具有程序代码的计算机程序,当该计算机程序在计算机上运行时,程序代码用于执行本文所述的方法中的一个。
因此,本发明的另外的实施例是一种存储介质或数据载体,或者计算机可读介质,其包括存储在其上的计算机程序,当由处理器执行时,该计算机程序用于执行本文所述的方法中的一个。数据载体、数字存储介质或记录介质通常是有形的和/或非瞬时的。本发明的另外的实施例是一种如本文所述的装置,包括处理器和存储介质。
因此,本发明的另外的实施例是表示用于执行本文所述的方法中的一个的计算机程序的数据流或信号序列。例如,数据流或信号序列可以被配置为经由数据通信连接(例如经由因特网)传送。
另外的实施例包括处理装置,例如计算机或可编程逻辑器件,被配置为或适于执行本文所述的方法中的一个。
另外的实施例包括一种计算机,其上安装有用于执行本文所述的方法中的一个的计算机程序。
根据本发明的另外的实施例包括一种装置或系统,被配置为例如以电子或光学方式将用于执行本文所述方法中的一个的计算机程序传送到接收器。例如,接收器可以是计算机、移动设备、存储器设备等。例如,装置或系统可包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中,可编程逻辑器件,例如现场可编程门阵列,可以用于执行本文所述的方法的一些或全部功能。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文所述的方法中的一个。通常,优选地,由任何硬件装置执行所述方法。
附图标记
1 装置
2 显微镜
4 信号形成部分
6 输入信号数据,输入图像数据,I(xi)
8 相机
10 通道
12 对象
14 荧光团
16 照明
17 透镜
18 输入信号数据的时间序列
20 图像存储部分
22 CPU
24 计算设备
26 GPU
28 信号输入部分
30 信号输入部分的连接装置
32 信号输出部分
34 信号输出部分的连接装置
36 输出信号数据,输出图像数据,O(xi)
37 显示器
38 信号处理器
40 去模糊部分
42 基线估计器引擎
44 基线估计数据,f(xi)
46 半二次最小化引擎
48 第一迭代阶段
50 第二迭代阶段
60 基线估计参数的设置
62 图形用户界面
64 半二次最小化引擎和方案的初始化
66 半二次最小化引擎和方案
68 收敛准则
70 输出信号数据的计算
72 后处理操作

Claims (17)

1.一种用于输入信号数据中的基线估计的装置(1),
其中所述装置(1)被配置为
-检索输入信号数据(I(xi));
-从所述输入信号数据(I(xi))中减去基线估计数据(f(xi))以计算输出信号数据(36);
以及其中所述装置还被配置为
-使用离散格林函数(G(xi))从卷积计算所述基线估计数据(f(xi))。
2.如权利要求1所述的装置(1),其中所述装置还被配置为
-通过包括第一迭代阶段(48)和第二迭代阶段(50)的迭代半二次最小化方案(66)来计算所述基线估计数据(f(xi)),其中,
-在所述第一迭代阶段(48)中,取决于先前的迭代(l)的基线估计数据(fl-1(xi))、截断的二次项
Figure FDA0002710035820000011
和所述输入信号数据(I(xi))来更新辅助数据(d(xi)),
-在所述第二迭代阶段(50)中,使用所述离散格林函数(G(xi))与所述输入信号数据(I(xi))和更新的辅助数据(d(xi))的和的卷积来计算所述基线估计数据(f(xi))。
3.如权利要求2所述的装置(1),其中所述迭代半二次最小化方案(66)是包括半二次最小化准则(M(f(xi)))的LEGEND算法,所述最小平方最小化准则包括成本函数C(f(xi))。
4.如权利要求3所述的装置(1),其中所述成本函数C(f(xi))包括截断的二次函数
Figure FDA0002710035820000012
所述截断的二次项是对称的和非对称中的一个。
5.如权利要求1至4中任一项所述的装置(1),其中所述格林函数被限定如下:
Figure FDA0002710035820000021
其中F[…]是离散N维傅立叶变换,F-1[…]是离散N维傅立叶逆变换,γj是粗糙度惩罚项的正则化参数,以及
Figure FDA0002710035820000022
Figure FDA0002710035820000023
是在位置m处的第i维中的离散惩罚矩阵,以及N是维度的总数。
6.如权利要求1至5中任一项所述的装置(1),其中所述格林函数包括所述惩罚项(P(j)(f(xi)))的离散表示函数导数
Figure FDA0002710035820000024
7.如权利要求6所述的装置(1),其中所述惩罚项(P(j)(f(xi)))包括所述基线估计数据(44)的梯度、所述基线估计数据(44)的曲率、特征提取线性滤波器、高通滤波器、低通滤波器、Sobel滤波器、拉普拉斯滤波器、FIR带通滤波器、所述基线估计数据(f(xi))的任意阶的导数、以及前述惩罚项中的任何一个的线性组合中的至少一个。
8.如权利要求6或7所述的装置(1),其中不同的惩罚项被用于所述输入信号数据(6)的不同的维度。
9.如权利要求1至8中任一项所述的装置(1),其中所述输入信号数据(6)是输入图像数据,输入声纳,声音和/或超声数据,输入雷达数据,输入谱数据,输入倒谱数据,输入地震数据,输入统计数据,输入断层摄影数据,输入微波数据和输入振动数据中的一个。
10.如权利要求1至9中任一项所述的装置(1),其中,所述输出信号数据(36)是输出图像数据,输出声纳,声音和/或超声数据,输出雷达数据,输出谱数据,输出倒谱数据,输出地震数据,输出统计数据,输出断层摄影数据,输出微波数据和输出振动数据中的一个。
11.一种用于输入信号数据中的基线估计的方法,
所述方法包括以下步骤
-检索输入信号数据(I(xi)),
-估计所述输入信号数据(I(xi))中的基线贡献(I2(xi))以获得基线估计数据(f(xi)),以及
-从所述输入信号数据(I(xi))中减去所述基线估计数据以获得输出信号数据(O(xi)),
-其中获得所述基线估计数据(f(xi))的步骤包括使用与离散格林函数(G(xi))的卷积来计算所述基线估计数据(f(xi))的步骤。
12.如权利要求11所述的方法,其中计算所述基线估计数据(f(xi))的步骤进一步包括以下步骤:
-使用迭代半二次最小化方案(66),
以及其中所述迭代半二次最小化方案(66)包括第一迭代阶段(48)和第二迭代阶段(50),其中,
-在所述第一迭代阶段(48)中,取决于先前的迭代的所述基线估计数据(f(xi))、截断的二次项
Figure FDA0002710035820000031
和所述输入信号数据(I(xi))来更新辅助数据(d(xi)),以及
-在所述第二迭代阶段(50)中,使用离散格林函数(G(xi))与输入信号数据(I(xi))和所述更新的辅助数据(d(xi))的和的卷积来直接计算所述基线估计数据(f(xi))。
13.如权利要求12所述的方法,其中所述截断的二次项
Figure FDA0002710035820000032
是对称和非对称中的一个。
14.如权利要求11至13中任一项所述的方法,其中所述离散格林函数(G(xi))包含惩罚非平滑基线估计数据(f(xi))的惩罚项(P(f(xi)))。
15.一种具有程序代码的计算机程序,当所述计算机程序在处理器上运行时,所述程序代码用于执行如权利要求11至14中任一项所述的方法。
16.一种通过输入信号数据和输出信号数据训练的神经网络设备,其中所述输出信号数据是通过如权利要求11至14中任一项所述的方法从所述输入信号数据创建的。
17.一种输出信号数据(36),所述输出信号数据(36)是如权利要求11至14中任一项所述的方法的结果。
CN201980023895.1A 2018-03-29 2019-03-29 用于输入信号数据中的基线估计的装置和方法 Pending CN111937032A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102018204943.2 2018-03-29
DE102018204943 2018-03-29
EPPCT/EP2018/067244 2018-06-27
PCT/EP2018/067244 WO2019185174A1 (en) 2018-03-29 2018-06-27 Apparatus and method, particularly for microscopes and endoscopes, using baseline estimation and half-quadratic minimization for the deblurring of images
PCT/EP2019/058084 WO2019185912A1 (en) 2018-03-29 2019-03-29 Apparatus and method for baseline estimation in input signal data

Publications (1)

Publication Number Publication Date
CN111937032A true CN111937032A (zh) 2020-11-13

Family

ID=62751006

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201980023893.2A Active CN111937031B (zh) 2018-03-29 2019-03-29 用于信号数据去模糊的装置和方法
CN201980023895.1A Pending CN111937032A (zh) 2018-03-29 2019-03-29 用于输入信号数据中的基线估计的装置和方法
CN202080045891.6A Pending CN114041162A (zh) 2018-03-29 2020-06-19 用于增强数字输入信号的信号处理装置和方法
CN202080045519.5A Pending CN114008613A (zh) 2018-03-29 2020-06-19 用于增强相位分布的图像处理装置和方法
CN202080050240.6A Pending CN114097002A (zh) 2018-03-29 2020-07-08 使用局部长度尺度进行去模糊的信号处理装置和方法
CN202080061266.0A Active CN114424102B (zh) 2018-03-29 2020-08-31 用于在自动聚焦系统中使用的图像处理装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980023893.2A Active CN111937031B (zh) 2018-03-29 2019-03-29 用于信号数据去模糊的装置和方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202080045891.6A Pending CN114041162A (zh) 2018-03-29 2020-06-19 用于增强数字输入信号的信号处理装置和方法
CN202080045519.5A Pending CN114008613A (zh) 2018-03-29 2020-06-19 用于增强相位分布的图像处理装置和方法
CN202080050240.6A Pending CN114097002A (zh) 2018-03-29 2020-07-08 使用局部长度尺度进行去模糊的信号处理装置和方法
CN202080061266.0A Active CN114424102B (zh) 2018-03-29 2020-08-31 用于在自动聚焦系统中使用的图像处理装置和方法

Country Status (7)

Country Link
US (6) US11854166B2 (zh)
EP (4) EP3571663B1 (zh)
JP (6) JP7391865B2 (zh)
CN (6) CN111937031B (zh)
DE (1) DE202018006284U1 (zh)
ES (1) ES2820228T3 (zh)
WO (5) WO2019185174A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3571663B1 (en) * 2018-03-29 2020-08-19 Leica Microsystems CMS GmbH Apparatus and method, particularly for microscopes and endoscopes, using baseline estimation and half-quadratic minimization for the deblurring of images
EP3633534A1 (en) * 2018-10-04 2020-04-08 Thales Dis France SA A connected device adapted to measure at least a physical quantity
EP3795100A1 (en) * 2019-09-20 2021-03-24 Dornier MedTech Systems GmbH A method and device for monitoring a coupling quality of an interface between a therapeutic device and a patient
DE102020204615A1 (de) 2020-04-09 2021-10-14 Leica Microsystems Cms Gmbh Schiefeebenemikroskop mit verbesserter Sammeleffizienz
US20220346904A1 (en) * 2021-05-03 2022-11-03 The Cleveland Clinic Foundation Machine vision needle counting imaging tray
WO2023057348A1 (en) 2021-10-05 2023-04-13 Leica Microsystems Cms Gmbh Sample carrier and method for imaging a sample

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070196856A1 (en) * 2006-02-23 2007-08-23 Allergan, Inc. Methods of determining activity of ryanodine receptor modulators
US20080194928A1 (en) * 2007-01-05 2008-08-14 Jadran Bandic System, device, and method for dermal imaging
US20100100336A1 (en) * 2008-10-21 2010-04-22 Wright David A Methods of automated spectral peak detection and quantification without user input
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型
CN103118323A (zh) * 2012-12-28 2013-05-22 中国科学院声学研究所 基于平面波分解的wfs系统主动房间补偿方法和系统
CN104123558A (zh) * 2014-06-30 2014-10-29 中国地质科学院矿产资源研究所 地热资源的多源分布式遥感判别方法和系统
CN104603853A (zh) * 2012-05-04 2015-05-06 李尔登公司 用于处理分布式输入-分布式输出无线系统中的多普勒效应的系统和方法
CN104596636A (zh) * 2014-12-29 2015-05-06 广西科技大学 声场分离方法
US20160247312A1 (en) * 2015-02-18 2016-08-25 The Regents Of The University Of California Physics-based high-resolution head and neck biomechanical models
US9524567B1 (en) * 2014-06-22 2016-12-20 InstaRecon Method and system for iterative computed tomography reconstruction

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3828381C2 (de) 1988-08-20 1997-09-11 Zeiss Carl Fa Verfahren und Einrichtung zur automatischen Fokussierung eines optischen Systems
US5121443A (en) * 1989-04-25 1992-06-09 Spectra-Physics, Inc. Neural net system for analyzing chromatographic peaks
JPH063268A (ja) * 1992-06-23 1994-01-11 Toshiba Ceramics Co Ltd シリコンウエハの格子間酸素又は置換型炭素濃度の赤 外吸収分光法
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
NL1016034C2 (nl) 2000-08-03 2002-02-08 Tno Werkwijze en systeem voor het identificeren en kwantificeren van chemische componenten van een te onderzoeken mengsel van materialen.
AU2002952483A0 (en) 2002-11-05 2002-11-21 Silverbrook Research Pty Ltd Methods and Systems (NPW009)
US20070248268A1 (en) * 2006-04-24 2007-10-25 Wood Douglas O Moment based method for feature indentification in digital images
US8155409B2 (en) * 2008-04-17 2012-04-10 Ruprecht-Karls-Universitat Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
US8645090B2 (en) * 2009-05-14 2014-02-04 Agilent Technologies, Inc. Automated baseline removal of signal
WO2011106527A2 (en) * 2010-02-24 2011-09-01 Ampersand International, Inc. Method for noise filtering based on confidence interval evaluation
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
DE102012201286A1 (de) * 2012-01-30 2013-08-01 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die wellenlängenselektive und örtlich hochauflösende Mikroskopie
US9715098B2 (en) * 2012-05-31 2017-07-25 The Board Of Trustees Of The University Of Illinois Sparse deconvolution spatial light microscopy in two and three dimensions
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
US20160062952A1 (en) * 2014-09-03 2016-03-03 Science Software Co., Ltd. Measurement precision evaulation device, method, and computable readable medium
ES2769061T3 (es) 2015-09-25 2020-06-24 Fraunhofer Ges Forschung Codificador y método para codificar una señal de audio con ruido de fondo reducido que utiliza codificación predictiva lineal
EP3156937A1 (en) * 2015-10-15 2017-04-19 Université Paris Est Créteil Method for analysing a numerical image obtained by microscopy
US10705326B2 (en) * 2015-11-11 2020-07-07 Scopio Labs Ltd. Autofocus system for a computational microscope
CN107170007B (zh) * 2016-03-02 2019-12-27 钰立微电子股份有限公司 具有图像散焦功能的图像装置及其产生散焦图像的方法
EP3571663B1 (en) * 2018-03-29 2020-08-19 Leica Microsystems CMS GmbH Apparatus and method, particularly for microscopes and endoscopes, using baseline estimation and half-quadratic minimization for the deblurring of images
EP4216161A1 (en) * 2022-01-24 2023-07-26 Leica Microsystems CMS GmbH Apparatus, method and machine learning product for computing a baseline estimate

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070196856A1 (en) * 2006-02-23 2007-08-23 Allergan, Inc. Methods of determining activity of ryanodine receptor modulators
US20080194928A1 (en) * 2007-01-05 2008-08-14 Jadran Bandic System, device, and method for dermal imaging
US20100100336A1 (en) * 2008-10-21 2010-04-22 Wright David A Methods of automated spectral peak detection and quantification without user input
CN101795361A (zh) * 2009-01-30 2010-08-04 索尼公司 用于基于两个影像的匹配进行深度估计的二维多项式模型
CN104603853A (zh) * 2012-05-04 2015-05-06 李尔登公司 用于处理分布式输入-分布式输出无线系统中的多普勒效应的系统和方法
CN103118323A (zh) * 2012-12-28 2013-05-22 中国科学院声学研究所 基于平面波分解的wfs系统主动房间补偿方法和系统
US9524567B1 (en) * 2014-06-22 2016-12-20 InstaRecon Method and system for iterative computed tomography reconstruction
CN104123558A (zh) * 2014-06-30 2014-10-29 中国地质科学院矿产资源研究所 地热资源的多源分布式遥感判别方法和系统
CN104596636A (zh) * 2014-12-29 2015-05-06 广西科技大学 声场分离方法
US20160247312A1 (en) * 2015-02-18 2016-08-25 The Regents Of The University Of California Physics-based high-resolution head and neck biomechanical models

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JOB G. BOUWMAN;CHRIS J. G. BAKKER: "Alias subtraction more efficient than conventional zero-padding in the Fourier-based calculation of the susceptibility induced perturbation of the magnetic field in MR", vol. 68, no. 2 *
JUNTAO LIU: "Goldindec: A Novel Algorithm for Raman Spectrum Baseline Correction", 《APPL SPECTROSC》, pages 3 - 5 *
张丽敏;和慧园;高峰;赵会娟;: "荧光分子层析中的全时间分辨图像重建法", 光学学报, no. 07 *
杨桂燕;李路;陈和;陈思颖;张寅超;郭磐;: "基于广义Whittaker平滑器的拉曼光谱基线校正方法", 中国激光, no. 09, pages 1 - 9 *
陈晓东, 陈心昭, 陆益民, 李志远: "声全息重构卷积计算中混迭问题的研究", 数据采集与处理, no. 03, pages 346 - 351 *

Also Published As

Publication number Publication date
EP3742391A1 (en) 2020-11-25
CN114097002A (zh) 2022-02-25
JP2021519974A (ja) 2021-08-12
US20220327670A1 (en) 2022-10-13
JP2022546461A (ja) 2022-11-04
CN114041162A (zh) 2022-02-11
US11669940B2 (en) 2023-06-06
JP7436379B2 (ja) 2024-02-21
CN114424102A (zh) 2022-04-29
US20210118102A1 (en) 2021-04-22
DE202018006284U1 (de) 2019-11-26
WO2021038103A1 (en) 2021-03-04
CN111937031B (zh) 2024-05-28
CN114008613A (zh) 2022-02-01
CN114424102B (zh) 2024-05-07
EP3571663B1 (en) 2020-08-19
JP2021519973A (ja) 2021-08-12
US20220277441A1 (en) 2022-09-01
WO2021005098A1 (en) 2021-01-14
EP3776452A1 (en) 2021-02-17
WO2019185174A1 (en) 2019-10-03
JP2022541743A (ja) 2022-09-27
WO2020260152A1 (en) 2020-12-30
EP3776453A1 (en) 2021-02-17
ES2820228T3 (es) 2021-04-20
JP2022538124A (ja) 2022-08-31
US11854166B2 (en) 2023-12-26
US20220357558A1 (en) 2022-11-10
EP3571663A1 (en) 2019-11-27
CN111937031A (zh) 2020-11-13
WO2020254574A1 (en) 2020-12-24
JP7391865B2 (ja) 2023-12-05
JP2022538406A (ja) 2022-09-02
US20220253983A1 (en) 2022-08-11
US20210118101A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN111937031B (zh) 用于信号数据去模糊的装置和方法
Hosseini et al. Convolutional deblurring for natural imaging
John et al. Multiframe selective information fusion from robust error estimation theory
TW201407535A (zh) 自多重平行處理一維直方圖導出多維直方圖以精確的發覺具有0(1)複雜度的直方圖特性以用於在視頻中雜訊降低及藝術效果
EP4216161A1 (en) Apparatus, method and machine learning product for computing a baseline estimate
EP3716199B1 (en) Signal processing apparatus and method using local length scales for deblurring
Moghimi et al. A joint adaptive evolutionary model towards optical image contrast enhancement and geometrical reconstruction approach in underwater remote sensing
EP3716200B1 (en) Image processing apparatus and method for use in an autofocus system
Li et al. Defocus hyperspectral image deblurring with adaptive reference image and scale map
EP3624047B1 (en) Deconvolution apparatus and method using a local signal-to-noise ratio

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination