CN114008613A - 用于增强相位分布的图像处理装置和方法 - Google Patents

用于增强相位分布的图像处理装置和方法 Download PDF

Info

Publication number
CN114008613A
CN114008613A CN202080045519.5A CN202080045519A CN114008613A CN 114008613 A CN114008613 A CN 114008613A CN 202080045519 A CN202080045519 A CN 202080045519A CN 114008613 A CN114008613 A CN 114008613A
Authority
CN
China
Prior art keywords
baseline
input
phase distribution
input phase
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080045519.5A
Other languages
English (en)
Inventor
凯·沃尔特
本杰明·戴斯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP19181836.8A external-priority patent/EP3588430A1/en
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of CN114008613A publication Critical patent/CN114008613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/12Condensers affording bright-field illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13Differential equations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L25/00Baseband systems
    • H04L25/02Details ; arrangements for supplying electrical power along data transmission lines
    • H04L25/0202Channel estimation
    • H04L25/024Channel estimation channel estimation algorithms
    • H04L25/025Channel estimation channel estimation algorithms using least-mean-square [LMS] method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/28Processing seismic data, e.g. for interpretation or for event detection
    • G01V1/36Effecting static or dynamic corrections on records, e.g. correcting spread; Correlating seismic signals; Eliminating effects of unwanted energy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Operations Research (AREA)
  • Power Engineering (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Complex Calculations (AREA)
  • Endoscopes (AREA)
  • Focusing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

一种用于增强输入相位分布(I(xi))的装置(1)和方法,其中装置(1)和方法被配置为检索输入相位分布;计算基线估计(f(xi))作为输入相位分布中的基线(I2(xi))的估计;并且其中所述装置和方法被进一步配置为基于基线估计和输入相位分布获得输出相位分布(O(xi))。

Description

用于增强相位分布的图像处理装置和方法
技术领域
本发明涉及一种用于增强数字输入相位分布的图像处理装置和方法。
背景技术
高度半透明的物体很难用光学方法研究,例如通过观察设备,诸如显微镜。由于只有非常少量的光被吸收和/或散射,因此高度半透明物体的明场图像中的对比度非常小。因此,不使用光强,而是使用对穿过高度半透明物体的光施加的相移进行光学研究。图像不同位置或像素的相移由相位分布表示。
一些使相移可见的方法,诸如相位对比和微分干涉对比,不适用于孔板。此外,相移图像或相位分布的后处理,诸如细胞计数或汇合测量,需要对记录的图像进行分割,这在微分干涉对比、相位对比或调制对比图像上很难执行。
此外,基于干涉的相位分布生成需要昂贵的硬件,诸如相干光源以及光路的仔细分离和连接,这阻碍了与现有光学观察设备,诸如显微镜的集成。
基于微分相位对比或从散焦图像重建的定量相位成像需要相位传递函数的知识,特别是用于记录从中导出相位对比的输入图像的光学成像系统的知识。由于相位传递函数在频率为零时为零,因此通过补偿相位传递函数会引入低频伪影或噪声。过去,试图通过改变物体的照明来补偿这些误差,例如通过使用环形照明。然而,这会导致更长的曝光时间,并且不适用于孔板。
因此,需要提供一种装置和方法,其能够快速且可靠地重建相位分布,即具有尽可能少的伪影。
发明内容
这种需要通过一种用于输入相位分布中的噪声降低的装置来解决,其中该装置被配置为检索输入相位分布,并且计算基线估计作为输入相位分布中的基线的估计;并且其中该装置被进一步配置为基于基线估计和输入相位分布获得输出相位分布。
这种需要通过一种用于输入相位分布中的噪声降低或估计基线的方法来进一步解决,该方法包括以下步骤:检索输入相位分布;估计输入相位分布中的基线以获得基线估计,以及从基线估计和输入相位分布获得输出相位分布。
该目的进一步通过一种存储使计算机执行要求保护的方法的程序的非暂时性计算机可读介质来解决;通过具有程序代码的计算机程序,当计算机程序在处理器上运行时,用于执行要求保护的方法;通过作为执行要求保护的方法的结果的输出相位分布;和/或通过输入相位分布和输出相位分布训练的神经网络设备,其中输出相位分布是通过要求保护的方法从输入相位分布数据创建的。
根据要求保护的装置和方法,估计输入相位分布的基线。基线表示具有低空间频率和大空间结构的输入相位分布的分量。通过估计基线,估计由相位传递函数的零点引入的低空间频率的伪影。因此,基线估计可用于获得噪声较小的输出相位分布,例如通过从输入相位分布中去除,特别是减去基线估计。
输入相位分布优选地是N维数字阵列I(xi),其中N是大于1的整数并且x1到xN指定阵列的维度或坐标。对于数字阵列,xi是整数。特别地,输入相位分布可以是二维实值阵列,以数字方式表示,例如通过浮点数阵列。术语“空间”是指阵列的维度。
术语xi是元组{x1;…;xN}的快捷表示法,该元组包含N个位置值并表示阵列中的离散位置xi,或该位置的位置向量。位置xi可以由输入相位分布数据中的像素或优选地相干像素集来表示。离散位置xi表示例如一对离散位置变量{x1;x2}在二维输入相位分布数据和离散位置变量的三元组{x1;x2;x3}情况下,在三维输入相位分布数据的情况下。在第i维,阵列可能包含Mi个位置,即
Figure BDA0003423384220000021
I(xi)总共可能包含(M1×…×MN)个元素。因为在下文中将不涉及具体位置或具体尺寸,该位置仅由xi指示。
可以通过添加以下描述的一个或多个特征来进一步改进上述装置和方法。可以独立于其他特征将以下特征中的每一个添加到本发明的方法和/或装置。特别地,本领域技术人员——在本发明装置的知识中——能够配置本发明方法,使得本发明方法能够操作本发明装置。此外,每个特征都有其自身的有利技术效果,如下文所述。
所要求保护的装置和方法开始于以下假设:输入相位分布中的噪声贡献,由于其低空间频率,主要是导致逐渐变化,该变化扩展到输入相位分布阵列的更大区域。从这个假设开始,在一个实施例中,跨输入相位分布的变化可以被附加地分为高空间频率分量I1(xi)和低空间频率噪声分量I2(xi),如
I(xi)=I1(xi)+I2(xi)。
内容分量对应于(未知)相位分布,没有(附加的)大型结构伪影。由于其低空间频率,噪声分量I2(xi)可以被认为是输入相位分布的或多或少平滑的基线,其中内容分量作为具有高空间频率的特征叠加在其上。
一旦确定了基线估计并因此获得了I2(xi)的基线估计f(xi),例如作为离散值的数字阵列,输出相位分布O(xi)可以从基线估计和输入相位分布中获得。特别地,可以通过从输入相位分布中减去基线估计来计算输出相位分布:
O(xi)=I(xI)-f(xi)。
输出相位分布O(xi)优选地也由具有维度N和M1×…×MN个元素的离散数字数据阵列表示,因此优选地具有与输入相位分布和/或基线估计相同的维度。
优选地,使用对输入相位分布的拟合来计算基线估计。在一个特定实例中,拟合可以是对输入相位分布的多项式拟合。特别地,基线估计可以由N个维度i中的任何一个的K阶多项式表示:
Figure BDA0003423384220000031
其中ai,k是第i维多项式的系数。对于每个维度i=1,…,N,可以计算单独的多项式。根据一个实施例,多项式拟合可以在多个维度中同时进行,这取决于输入相位分布的维度。
最大多项式阶数K的最佳值取决于基线估计所需的平滑度。对于平滑的基线,多项式阶数必须设置得尽可能低,而拟合高度不规则的背景可能需要更高的阶数。
在多项式拟合的情况下,基线估计可能仅由多项式系数ai,k组成。然而,多项式拟合可能难以控制且不精确,因为允许对输入相位分布数据进行调整的唯一参数是最大多项式阶数。多项式阶数只能取整数值。因此,可能无法始终找到最佳基线估计。非最佳多项式拟合可能会在基线估计中表现出局部最小值,这可能会导致烦人的伪影。
因此,根据另一有利实施例,对输入相位分布数据的拟合可以是样条拟合,特别是平滑样条拟合。样条拟合通常比多项式拟合提供更可靠的结果,因为它更易于控制,例如在平滑度方面,对噪声更稳健并产生更少的伪影。另一方面,样条拟合比多项式拟合在计算上更复杂,因为每个像素或更一般地,输入相位分布数据必须变化以最小化最小二乘最小化标准。
为了确保基线估计是输入相位分布数据中噪声或基线贡献的准确表示并避免基线估计与内容贡献拟合,可以使用最小二乘最小化标准。
最小二乘最小化标准可以包括惩罚项。惩罚项用于惩罚基线估计的任何不需要的行为,诸如表示具有高空间频率内容和/或表示小尺度结构并因此属于内容分量的输入相位分布数据的分量。
根据一个实施例,最小二乘最小化标准M(f(xi))可以具有以下形式:
M(f(xi))=C(f(xi))+P(f(xi)),
其中C(f(xi))是成本函数,P(f(xi))是惩罚项。最小二乘最小化标准、成本函数和惩罚项优选地是标量值。
在一个特定实例中,成本函数可以反映输入相位分布I(xi)和基线估计f(xi)之间的差。例如,如果ε(xi)表示输入相位分布和基线估计之间的差异项为
ε(x[)=I(xi)-f(xi),
成本函数C(f(xi))可包括L2范数||ε(xi)||2,这里用作第i个维度中的输入相位分布与基线估计之间的平方差之和的跨所有维度的均方根值之和的简写表示法,即
Figure BDA0003423384220000041
L2-范数||ε(xi)||2是标量值。成本函数的示例是:
C(f(xi))=||ε(xi)||2
为了计算相位输入分布的基线估计,最好有对称的差分项,这样从基线的负和正小结构偏差的表示都会导致成本函数的增加。
为了提高基线估计的准确性,如果输入相位分布和基线估计之间的差被截断,例如通过使用经截断的差异项,则可能是有利的。经截断的差异项减少了输入相位分布中的峰值对基线估计的影响。如果假定内容分量包括I(xi)的峰值,则这种减少是有益的。由于经截断的差异项,输入相位分布中偏离基线估计超过预定恒定阈值s的峰值将通过截断它们对拟合的惩罚,特别是样条拟合,到阈值,在成本函数中具有较小的权重。因此,基线估计将仅在有限的量内跟随这样的峰值。
下面用
Figure BDA0003423384220000044
表示经截断的差异项。例如,对称截断的二次项可能具有以下形式:
Figure BDA0003423384220000042
这里,s代表截断的值,即阈值。当然,在其他实施例中,
Figure BDA0003423384220000043
可以为|ε(xi)|>s假设除s2之外的其他值。
使用经截断的二次项,成本函数C(f(xi))优选可以表示为
Figure BDA0003423384220000051
最小二乘最小化标准M(f(xi))中的惩罚项P(f(xi))可以采用任何形式,如果基线估计适合被认为属于内容分量I1(xi)的数据,则引入惩罚。如果输入相位分布中的内容分量在基线估计中表示,则惩罚项的值会增加,因此会产生惩罚项。
如果例如假设噪声分量I2(xi)被认为具有低空间频率,如果基线估计的空间频率变小,惩罚项可以包括变大的项。
在一个实施例中,这样的惩罚项可以是粗糙度惩罚项,其惩罚偏离平滑基线的非平滑基线估计并因此有效地惩罚具有高空间频率的数据的拟合。
根据另一方面,与平滑基线的偏差可能导致基线估计的一阶导数,即陡度或梯度和二阶导数,即曲率中的至少一个中的大值。因此,粗糙度惩罚项可以包含基线估计的一阶空间导数,特别是一阶空间导数的平方和/或绝对值,以及基线估计的二阶导数,特别是平方和/或二阶空间导数的绝对值中的至少一个。更一般地,惩罚项可以包含基线估计的任何任意阶的空间导数,或基线估计的空间导数的任何线性组合。可以在不同的维度中使用不同的惩罚项。
在一个实施例中,惩罚项P(f(xi))可以包括无因次组合,例如商,基线估计f(xi)关于其变量和特征长度fl的导数。不同的特征长度可用于不同的维度
例如,粗糙度惩罚项P(f(xi))可以形成为
Figure BDA0003423384220000052
这里,γj是正则化参数,
Figure BDA0003423384220000053
是离散算子,用于计算第j维的二阶导数。此粗糙度惩罚项惩罚基线估计的梯度中的大变化率,或者等效地,高曲率,因此有利于平滑估计。
正则化参数γj的设置取决于输入相位分布的空间结构。它表示被认为是内容分量的一部分的最大长度比例。输入相位分布中长度尺度大于特征尺度flj的结构被认为属于噪声分量。正则化参数可以由用户预先确定并且优选地大于零。
由于二阶导数的单位是(xi的单位)-2,即长度-2或时间-2,γj设为特征长度的四次方,
Figure BDA0003423384220000054
使得惩罚项为标量.
在基于一阶导数
Figure BDA0003423384220000056
的惩罚项中,诸如
Figure BDA0003423384220000055
正则化参数γj可以等于特征长度的平方,
Figure BDA0003423384220000061
因为一阶导数的单位是(xi的单位)-1
对于各种导数的组合,诸如
Figure BDA0003423384220000062
每个正则化参数是根据对应的导数设置的。以上示例中,
Figure BDA0003423384220000063
Figure BDA0003423384220000064
在组合导数中,诸如
Figure BDA0003423384220000065
特征长度的对应组合,例如可以使用fli·flj
在离散中,可以使用卷积有效地计算微分。例如,
Figure BDA0003423384220000066
具有二阶导数矩阵
Figure BDA0003423384220000067
然而,优选的是,粗糙度惩罚项P(f(xi))形成为
Figure BDA0003423384220000068
这是粗糙度惩罚项,它惩罚基线估计中的小尺度特征和大梯度。j上的总和允许在不同维度上使用不同的惩罚项和正则化参数。需要注意的是,由于xj和f(xi)都是离散的,因此可以通过与导数阵列
Figure BDA0003423384220000069
卷积来进行微分。算子
Figure BDA00034233842200000610
表示j维上的离散一阶导数或梯度算子,可以用阵列表示。
作为基线估计的导数或导数的线性组合的替代或补充,惩罚项可以包含特征提取的,特别是线性的或这种滤波器的线性组合。特征提取滤波器可以是Sobel滤波器、Laplace滤波器和/或FIR滤波器,例如具有高空间频率通带的高通或带通空间滤波器。
在这样的一般公式中,第j维的惩罚项可能包含一般算子ζ(j)并表示为
Figure BDA00034233842200000611
最小二乘最小化标准M(f(xi))可以使用已知方法最小化。在一种情况下,可以使用优选的迭代最小化方案来计算最小化标准。为了执行最小化,基线估计器引擎可以包括最小化引擎。最小化可以包括具有两个迭代级的迭代机制。
最小化方案可以例如包括LEGEND算法的至少一部分,该算法在计算上是高效的。LEGEND算法在Idier,J.(2001):Convex Half-Quadratic Criteria and InteractingVariables for Image Restoration(《图像恢复的凸半二次准则与交互变量》),IEEETransactions on Image Processing,10(7),第1001-1009页以及Mazet,V.、Carteret,C.、Bire,D、Idier,J.和Humbert,B.(2005):Background Removal from Spectra byDesigning and Minimizing a Non-Quadratic Cost Function(《设计并最小化非二次成本函数的光谱背景去除》),Chemometrics and Intelligent Laboratory Systems,76,第121-133页中有描述。两篇文章均通过引用整体并入本文。
LEGEND算法引入离散辅助数据dl(xi),其优选地与输入相位分布数据具有相同的维度。辅助数据在每次迭代时根据最新的初始基线估计、经截断的二次项和输入相位分布数据进行更新。
在LEGEND算法中,使用两个迭代步骤来最小化仅包含成本函数且没有惩罚项的最小二乘最小化标准,直到满足收敛标准。
例如,合适的收敛标准可以是所有位置xi上的当前基线估计和先前基线估计之间的差小于预定阈值。
在进一步改进中,收敛标准可以表示为
Figure BDA0003423384220000071
其中t是可由用户设置的标量收敛值。
作为LEGEND算法的开始步骤,定义了一组初始基线估计。
如果使用多项式拟合,LEGEND算法可以通过针对i=1,…,N多项式中的每一个为第一基线估计
Figure BDA0003423384220000072
选择系数ak的起始组来启动。
如果使用样条拟合,启动LEGEND算法的初始条件可能是dl(xi)=0,f(xi)=I(xi)并且通过进入第二迭代步骤开始迭代。
在第一迭代步骤中,辅助数据可能更新如下:
Figure BDA0003423384220000073
其中l=1…L是当前迭代的索引,β是可以选择的常数。优选地,β接近但不等于0.5。合适的β值为0.493。
在第二迭代步骤中,基线估计fl(xi)基于先前计算的辅助数据dl(xi)、来自先前迭代l-1的基线估计fl-1(xi)以及惩罚项P(xi)进行更新。
基线估计fl(xi)可以使最小化标准M(f(xi))最小化,该最小化标准已通过包括辅助数据针对LEGEND算法受到修正。
特别地,更新的基线估计可以在第二迭代LEGEND步骤中使用以下公式计算:
Figure BDA0003423384220000081
此处,[||I(xi)-fl-1(xi)+dl(xi)||2+P(f(xi)]表示修正后的最小化标准。
第二迭代步骤可以使用以下矩阵计算更新基线估计:
Figure BDA0003423384220000082
此处
Figure BDA0003423384220000083
是(M1×…×MN)2维阵列。在二维情况下,Ai是(Mx-1)(My-1)×MxMy阵列,并给出为
Figure BDA0003423384220000084
其中
Figure BDA0003423384220000085
重复更新dl(xi)和fl(xi)的两个迭代步骤,直到满足收敛标准。
根据另一方面,使用卷积而不是矩阵计算来修正LEGEND算法的第二步。这大大减少了计算工作量。
更具体地,优选地,更新的基线估计fl(xi)是通过将格林函数与输入相位分布和更新的辅助数据的和进行卷积来直接计算的。
根据更具体的方面,LEGEND算法的第二迭代步骤可以由以下迭代步骤代替,其中经更新的基线估计fl(xi)是在第l次迭代中使用格林函数G(xi)如下计算的fl(xi)=G(xi)*(I(xi)+dl(xi))。
与传统的LEGEND算法相比,此步骤显著减少了计算负担。
减少的计算负担源于根据上述第二迭代步骤计算卷积的事实。可以使用FFT算法有效地执行此计算。而且,由于FFT算法,第二迭代步骤可以充分利用阵列处理器,诸如图形处理单元或FPGA。如果输入相位分布数据和所有其他阵列都是二维的,则计算问题从(Mx×My)2减少到Mx×My。对于一般的N维情况,计算负担从(M1×…×MN)2维矩阵计算减少到具有(M1×…×MN)维阵列的FFT计算。
因此,对于二维输入相位分布数据,可以非常快速地、优选地实时地执行基线估计。(2k×2k)图像数据阵列,这里是一个图像,可以在50毫秒或更短的时间内处理。
在一个具体实施例中,格林函数可以具有以下形式
Figure BDA0003423384220000091
其中
Figure BDA0003423384220000092
是离散N维傅里叶变换,
Figure BDA0003423384220000093
是离散N维傅里叶逆变换,γj是粗糙度惩罚项的正则化参数,
Figure BDA0003423384220000094
是位置m处第i维的离散惩罚阵列,N是总维数。上面的索引D(j)表示每个维度j可能有不同的惩罚阵列。
一般来说,离散惩罚阵列
Figure BDA0003423384220000095
对应于用于第j维的惩罚项P(j)(f(xi))的函数导数
Figure BDA0003423384220000096
的离散表示。由于所有函数都由离散阵列表示,因此可以通过卷积在数值上进行微分
Figure BDA0003423384220000097
其中
Figure BDA0003423384220000098
是用于计算函数导数
Figure BDA0003423384220000099
的离散阵列。
上述格林函数的一大优点是任何形式的惩罚项P(f(xi))都可以从最小化引擎中第二迭代步骤的快速计算中受益。因此,在使用格林函数的实施例中,可以使用用于获得良好基线估计的任何惩罚项。
对于惩罚项的一般表述
Figure BDA00034233842200000910
阵列
Figure BDA00034233842200000911
定义为
Figure BDA00034233842200000912
其中ζ(j)是惩罚项的一般算子,*表示N维卷积,
Figure BDA0003423384220000101
对应于函数f(xi,m)中的离散一阶泛函导数,它可以例如代表强度。此等式可以通过最小二乘法求解。
例如,如果惩罚项是
Figure BDA0003423384220000102
卷积中的导数阵列可以表示为:
Figure BDA0003423384220000103
在一个实施例中,输出相位分布O(xi)可以已经构成准备用于进一步后处理或用于显示的输出图像。然而,可能需要将输出相位分布转换为彩色或单色图像的图像格式,例如通过将实值相位分布转换为相应标准化图像格式值范围内的整数格式。该装置可以包括用于显示输出相位分布的显示器。
根据另一个实施例,该装置可以被配置为检索两个或多个数字输入图像Jk(xi)并且检索相位点扩展函数H(xi)。检索这两个实体Jk(xi)和H(xi)中的任何一个包括以允许计算此实体的格式检索实体。例如,可以检索其傅立叶变换
Figure BDA0003423384220000104
即相位传递函数,而非H(xi)。数字输入图像可以是例如从连接到装置或装置的一部分的相机中检索。数字图像和相位传递函数也可以存储在存储部分上,该存储部分可以连接到装置或作为装置的一部分,并且可以从该存储部分检索它们。该装置可以被配置为从至少两个数字输入图像Jk(xi)和相位传递函数获得输入相位分布I(xi)。两个输入图像不应相同,但最好略有不同。
特别地,该装置可以被配置为对于两个或多个数字输入图像中的每一个,使用物镜距探测器体积的不同焦距、不同照明方向、不同距离中的一个和从图像传感器和/或检测器到探测器体积的不同长度的光路来记录两个或多个输入图像。
两个或多个输入图像可以是明场图像,特别是单色明场图像。在一个实施例中,使用偶数个输入图像,其中输入图像以相等的变化成对记录,例如等离焦或等照度不对称,方向相反。该装置可以被配置为以相反方向的相等变化自动成对地记录输入图像。如果使用两个输入图像来获得相位分布,则可能已经实现了输出相位分布中的有效伪影减少。
物镜和/或图像传感器/检测器可以是装置的一部分。
为了便于记录两个或多个输入图像,该装置可以包括后焦平面中的可控孔中的至少一个;一种照明系统,其被配置为从至少两个不同的方向顺序地或同时地、优选地不对称地照明探测器体积;一种成像系统,包括至少一个成像传感器和/或一个相机,该成像系统被配置为记录两个或多个数字输入图像,两个或多个图像中的每一个都在距探测器体积不同的距离处记录;物镜具有光轴并且可沿光轴相对于探测器体积移动,以及具有可变焦距的透镜中的至少一个。
该装置和/或其样品体积可以被配置为接收至少一个孔板。孔板可以在一个或多个孔板的孔中包括一个或多个物体。
该装置进一步可以包括具有多个光源的照明系统,多个光源中的至少一些光源被配置为彼此独立地控制。特别地,该装置可以被配置为自动地控制光源以获得对于两个或多个输入图像中的每一个的不同的、优选地不对称的照明。
照明系统进一步可以设置有聚光器。光源可以布置在聚光器的后焦平面中或至少靠近聚光器的后焦平面。替代地或附加地,可变孔径、孔或光阑可以布置在聚光器的后焦平面中或至少靠近聚光器的后焦平面。该装置可以被配置为自动控制可变孔,例如,自动将孔设置为两种不同的操作状态,以记录每个输入图像。在每个操作状态下,都会生成探测器体积的不同非对称照明。
为了获得具有不同散焦的两个或多个输入图像,可以使用该装置的以下实施例中的一个或多个:具有可变焦距的透镜可以布置在物镜的后焦平面处或者布置在共轭平面处到焦平面;图像传感器/检测器可以相对于样品体积移动到至少两个位置,每个位置位于距样品体积不同距离处;该装置可以包括两个或多个图像传感器/检测器,每个图像传感器/检测器被布置在距探测器体积不同的距离处并且被选择性地用于记录输入图像。
在一个实施例中,中间图像II(xi)可以从两个或多个数字输入图像Jk(xi)计算,例如,通过将两个或多个输入图像彼此相减。相应地,该装置尤其是其图像处理器可以被配置为将两个或多个输入图像彼此相减。
对于薄的、高度透明的物体,诸如孔板上的物体,中间图像II(xi)的傅立叶变换
Figure BDA0003423384220000111
与相位分布I(xi)的傅立叶变换
Figure BDA0003423384220000112
和相位点扩展函数H(xi)的傅立叶变换
Figure BDA0003423384220000113
相关,如下:
Figure BDA0003423384220000114
相位传递函数是已知的,例如来自实验、数值模拟和/或分析,并且可以检索,例如从存储部分检索。由于相位传递函数在傅立叶空间中的零频率处为零,因此优选使用正则化方法求解上述H(xi)方程,诸如最小化表达式
Figure BDA0003423384220000121
其中R是正则化函数。对于正则化函数R,可以使用吉洪诺夫正则化中的公式,诸如,
Figure BDA0003423384220000122
其中α是正则化参数,它优选地代表强度和/或中间图像中噪声的长度尺度。总体而言,“真实”相位分布与较小的α更好地匹配。然而,在这种情况下,会引入强烈的低频(大结构)伪影。如果选择较大的α,低频伪影较小,但相位分布的整体表示质量不高。
将如上所述的基线去除应用于相位分布I(xi)允许用较小的α值求解相位分布的正则化,从而获得相位分布中小空间结构的非常准确的表示。可以容忍大规模、低空间频率结构中的伪影,因为它们可以在基线估计f(xi)中表示并从输入相位分布中去除。因此,通过上述正则化计算的相位分布,优选地α较小,用作基线估计和去除的输入相位分布。
为了至少临时存储数字输入图像、中间图像、输入相位分布、相位传递函数和输出相位分布中的至少一个,该装置可以包括存储部分。
该装置可以包括输入部分,其可以包括例如一个或多个标准连接器和/或一个或多个标准化数据交换协议。输入部分可以适于经由一个或多个标准连接器和/或一个或多个数据交换协议接收输入相位分布和/或两个或多个输入图像。例如,存储部分和/或相机可以连接到图像输入部分。
该装置可以包括图像输出部分,该部分包括例如一个或多个标准连接器和/或一个或多个标准化数据交换协议。图像输出部分可以适于经由一个或多个标准连接器和/或一个或多个数据交换协议输出输出图像。例如,另一台计算机、网络和/或显示器可以连接到图像输出部分。
该装置进一步可以包括图像处理器,其可以被配置为执行基线估计。
图像处理器可以包括去模糊部分。去模糊部分可以适用于减去基线贡献,例如输入图像的基线估计以计算输出图像。
图像处理器可以包括基线估计器引擎。基线估计器引擎可以被配置为通过对输入图像的至少一个子集的拟合来计算基线估计。基线估计器引擎可以包括最小二乘最小化标准M(xi)的离散表示。
图像处理器可以被配置为从至少两个数字输入图像计算中间图像,例如,将两个或多个数字输入图像相减。该装置可以被配置为,例如,如果中间图像已经在装置外部被计算,则从存储部分检索中间图像。
图像处理器进一步可以包括正则化引擎。正则化引擎可以被配置为基于中间图像和相位传递函数来计算输入相位分布,例如通过最小化包括正则化参数α和/或正则化函数的吉洪诺夫正则化,诸如
Figure BDA0003423384220000131
它代表中间图像中噪声水平和/或噪声结构的长度尺度。
图像处理器、基线估计器引擎、去模糊部分和最小化引擎可以分别以硬件、软件或硬件和软件的组合来实现。例如,图像处理器、基线估计器引擎、去模糊部分和最小化引擎中的至少一个可以至少部分地由子程序、通用处理器的一部分,诸如CPU,和/或专用处理器,诸如CPU、GPU、FPGA、矢量处理器和/或ASIC实现。
实现上述方法的实施例的另一种方式是训练人工神经网络,例如,卷积神经网络,使用输入相位分布数据和输出相位分布数据对,其中输出相位分布数据是使用上述方法的实施例生成的。以此种方式训练的神经网络设备可以看作是用于生成输入和输出相位分布数据的训练对的方法的实现。
该装置可以是诸如显微镜的观察设备的一部分。输入图像不需要用相机记录,也不需要代表可见光图像。例如,该装置可以是来自使用相干光源或非相干光源的X射线显微镜、电子显微镜和/或显微镜的两个或多个输入图像或输入相位分布的一部分和/或该方法可以为此执行。
下面仅通过示例性实施例进一步举例说明本发明,该示例性实施例也在附图中示出。在附图中,相同的附图标记用于在功能和设计中的至少一个方面彼此对应的特征。
所附实施例中所示的特征组合仅用于说明目的并且可以修正。例如,可以省略具有特定应用不需要的技术效果的实施例的特征。同样,如果特定应用需要与该特征相关联的技术效果,则可以添加未示出为实施例的一部分的特征。
从上面可以清楚地看出,可以使用任何类型的图像数据。
附图说明
图1示出了用于在输入相位分布中去除基线的装置的实施例的示意图。
图2示出了输入相位分布基线去除的流程图的示意图。
图3示出了图2的细节III。
图4示出了装置1的示意图。
图5示出了装置1的另一个示意图。
图6示出了装置1的另一个示意图。
图7示出了装置1的另一个示意图。
图8示出了装置1的另一个示意图。
图9示出了输入相位分布的样本。
图10是图9的输入相位分布去除基线估计后得到的输出相位分布。
图11示出了输入和输出相位分布以及噪声分量(基线估计)和内容分量的示意图。
具体实施方式
首先,参照图1说明装置1的结构。装置1可以是观察设备2,诸如内窥镜或显微镜2a。只为了说明的目的,显微镜2a被示为装置1的示例。显微镜2a可以是任何类型的显微镜,诸如明场显微镜、SPIM显微镜、SCAPE显微镜、扫描显微镜或共焦显微镜。
装置1可包括成像系统4,其适于捕捉表示输入图像J(xi)的输入图像数据6,例如,使用相机8,最好是以数字格式。相机8可以包括至少一个图像传感器和/或检测器9。更具体地,相机8可以是单色、CCD、多光谱或高光谱相机、光子计数器或光传感器。在下文中,输入图像J(xi)被视为单色图像。然而,输入图像可以表示彩色图像的单个颜色通道或表示彩色图像的所有颜色通道或子集上的光强度。
其他类型的输入图像数据6当然可以用除相机之外的设备或传感器记录,例如一个或多个麦克风、振动传感器、加速度计、速度传感器、天线、压力传感器、温度传感器、电容传感器、磁传感器、通过射线照相、通过断层扫描、通过超声波及其任何组合。
输入图像数据6可以是表示测量的物理量I的数字阵列,其取决于阵列中的位置xi。术语xi是包含N维的元组{x1;…;xN}的简写。位置xi可以是输入图像数据6中的像素/体素或优选地相干的像素/体素集合。离散位置xi表示例如在二维输入图像数据6的情况下的像素的离散位置变量{x1;x2}和在三维输入图像数据的情况下的体素的离散位置变量{x1;x2;x3}的三元组。在第i维,阵列可能包含Mi个位置,即
Figure BDA0003423384220000141
在N维的情况下,J(xi)总共可能包含(M1×…×MN)个元素。包括多于一个(颜色)通道的输入图像J(xi)可以由多于2维的阵列表示,其中一维是颜色通道的索引。或者,可以单独查看每个通道并将其视为二维输入图像。
物体10位于成像系统4的探测器体积12中。探测器体积12被配置为接收待由装置1检查的物体10。为此,探测器体积12优选地位于成像系统4的视场13中。装置1或成像系统4的光路14分别从探测器体积12延伸到图像传感器/检测器9的至少一个。
物体10优选地是薄且高度半透明的。它可以布置在孔板15上。物体10可以包括有生命的和/或无生命的物质。
由于物体10的高半透明性,输入图像J(xi)中的强度变化对于物体的研究来说将不够高。因此,优选地使用相位信息来研究物体10,相位信息代表跨物体10的折射差异,而不是强度信息,代表跨物体10的透射率差异。
装置1可以包括照明系统16,该照明系统16相对于探测器体积12与成像系统4相对。来自照明系统16的光被引导穿过物体10和-如果存在的话-孔板15进入成像系统4,其也可以是装置1的一部分,沿着光路14到达图像传感器/检测器9。成像系统4可以包括物镜18和管透镜19。
装置1进一步可以包括存储部分20,其适于至少暂时地包含输入图像数据6。存储部分20可以包括易失性或非易失性存储器,诸如计算设备24的CPU 22的高速缓存存储器,诸如PC,和/或GPU 26。存储部分20可以包括RAM、磁盘驱动器或可交换存储设备,诸如USB棒或SD卡。存储部分20可以包括这些类型的存储器的任意组合。
用于例如可以从相机8获取输入相位分布I(xi),提供图像输入部分28。图像输入部分28可包括标准化输入连接设备30,诸如标准化数据交换协议、硬件连接器和/或无线连接,或其任何组合。可以连接相机8的标准化输入连接设备30的示例是HDMI、USB和RJ45连接器。
装置1进一步可以包括图像输出部分32,其可以包括标准化的输出连接设备34,诸如标准化的数据交换协议、硬件连接器和/或无线连接,或它们的任何组合,每个被配置为将输出相位分布数据36输出给一个或多个显示器37。输出相位分布数据36优选地由离散值的离散阵列表示,表示如下所述的输出相位分布O(xi)。
为了从输入图像数据6计算输出相位分布O(xi),可以提供图像处理器38。图像处理器38及其组成部分可以至少部分是硬件、至少部分是软件和/或硬件和软件的组合。例如,图像处理器38可以包括计算设备24的CPU 22和GPU 26中的至少一个,以及已经在软件中编码并且作为结构实体暂时存在于CPU 22和/或在GPU 26中作为操作状态的部分。图像处理器38还可以包括额外的硬件,诸如一个或多个ASIC和/或FPGA,它们已经被专门设计用于执行根据本发明的装置和方法所需的操作。
装置1可以被配置为获得多个K个不同的输入图像J1…k(xi)。例如,相机8可以优选地自动地记录两个输入图像J1(xi)和J2(xi),其中照明、曝光和聚焦中的至少一个已经再次优选地自动地在记录之间改变。
装置1,特别是图像处理器38,可以被进一步配置为从多个输入图像Jk(xi)和相点扩展函数H(xi)获得输入相位分布I(xi)。相点扩展函数H(xi),或者等价地,其傅立叶变换
Figure BDA0003423384220000161
相位传递函数,可以存储在存储部分20中。
为了获得输入相位分布I(xi),装置1,特别是图像处理器38,可以被配置为从至少两个数字输入图像Jk(xi),计算中间图像II(xi),例如将两个或多个数字输入图像相减。在最简单的情况下,II(xi)=J1(xi)-J2(xi)。替代地或累积地,如果例如中间图像II(xi)已经在装置1外部计算,则装置1可以被配置为从存储部分20检索中间图像II(xi)。
装置1,特别是图像处理器38,进一步可以包括正则化引擎40,其可以是图像处理器38的硬件部分、软件部分或硬件和软件部分的组合。
正则化引擎40可以被配置为基于中间图像II(xi)和相点扩展函数H(xi)计算输入相位分布I(xi),例如通过在I(xi)上最小化以下正则化函数
Figure BDA0003423384220000162
其中α是正则化参数,它代表中间图像II(xi)中的噪声水平和/或噪声结构的长度尺度。为了计算输入相位分布I(xi),α被设置为由用户确定或基于测量的噪声结构预先确定的值。通常,α取值范围为10-10到10-6。使用此范围内的α值通常会导致高空间频率的相位分布I(xi)的准确表示,但会在低频处引入伪影。
在下文中,将描述如何从相位分布I(xi)中去除这些伪影,从而也为低频获得准确的表示。
替代地或累积地,如果输入相位信息已经在装置1外部计算,则装置1可以被配置为从存储部分20检索输入相位分布I(xi)。检索的输入相位信息优选地已经通过执行对两个或多个明场图像Jk(xi)的差的正则化进行计算和/或包含主要低(空间)频率的噪声分量。
假设输入相位分布I(xi)由内容分量I1(xi)相加组成,它表示输出相位分布O(xi)的估计值,它在输入相位分布I(xi)上有所改进,和噪声分量I2(xi),其中包含不属于真实图像的伪影和噪声。I1(xi)和I2(xi)都不知道,因此必须估计。
为了计算输出相位分布O(xi),可以假设噪声分量I2(xi)由具有低空间频率的分量组成或主要包括具有低空间频率的分量。因此,噪声分量I2(xi)表示平滑的基线,内容分量I1(xi)围绕该基线以更高的空间频率波动。相比之下,内容分量I1(xi)被假定为不平滑且至少包含峰谷之一,并且由具有比噪声分量I2(xi)更小的长度尺度的特征的结构或特征组成。减去噪声分量I2(xi),即基线,降低噪声并使内容分量I1(xi)的结构更加清晰,如图11示意性所示。由于输出相位分布O(xi)可以是显示为图像,去除噪声分量I2(xi)使物体10的结构更加可见。
对于降噪,计算噪声分量I2(xi)的估计。此估计由基线估计f(xi)表示。基线估计f(xi)是离散数字阵列,其优选地具有与输入相位分布I(xi)和/或输出相位分布数据36相同的维度。图1中基线估计f(xi)由基线估计数据44表示。基线估计f(xi)也可以至少暂时存储在存储部分20中。一旦计算出基线估计f(xi),输出相位分布O(xi)通过减去来自每个位置xi处的输入相位分布I(xi)的基线估计f(xi)。
根据图1,图像处理器38可以包括基线估计器引擎42,其被配置为通过对输入相位分布数据I(xi)的至少一个子集的拟合来计算基线估计f(xi)。优选地,对至少输入相位分布数据的子集的拟合是样条拟合。
对于计算上有效的样条拟合,基线估计器引擎42可以包括最小化引擎46,其可以例如是子程序或硬连线算法和匹配软件的组合。最小化引擎46可以被配置为执行最小化方案并且为此目的可以包括两个迭代级48、50。
根据本发明,最小化引擎46在第二个迭代级50中使用卷积来计算基线估计44。因为可以使用FFT在阵列处理器上更有效地计算卷积,所以优选地,图像处理器38包括阵列处理器诸如GPU 26。在操作中,图像处理器30包括最小化引擎46。
参考图2,描述了从输入相位分布I(xi)或可选地从多个K个输入图像Jk(xi)计算输出相位分布O(xi)的步骤,如它们由装置1执行的。
在第一步骤200中,可能需要预设的基线估计器引擎42的各种参数可由用户定义,例如使用图形用户界面62(图1)。参数可以包括将由基线估计器引擎42执行的对输入相位分布I(xi)的拟合类型。例如,用户可以在到输入相位分布I(xi)的基线估计44的多项式拟合和样条拟合之间进行选择。用户还可以设置长度标度,该长度标度可用于将内容分量I1(xi)与噪声分量I2(xi)分开。
用户进一步可以在使用相机记录输入图像Jk(xi)或从存储部分20检索输入图像之间进行选择。用户进一步可以选择是否要从输入图像Jk(xi)计算中间图像或从存储部分20检索。进一步可以提示用户选择输入相位分布I(xi)是从存储部分20检索还是从多个输入图像Jk(xi)计算。用户可以设置输入图像Jk(xi)的数量和要在输入图像Jk(xi)之间自动改变的参数(散焦、照明、曝光设置)。
此外,用户可以选择正则化参数α和γj的值。可以为每个维度不同地选择正则化参数γj,如下文进一步解释的。
此外,用户可以在用于最小化方案的各种惩罚项P(f(xi))之间进行选择。惩罚项P(f(xi))通过惩罚基线估计44中的内容分量I1(xi)的分量的表示来确定基线估计44的形状。例如,可以向用户呈现以下选择:惩罚基线估计44的非平滑特性的各种惩罚项。例如,惩罚项可以是基线估计44的高通空间频率滤波器,如果基线估计44包含具有高空间频率的分量,则该滤波器会变大。其他惩罚项可以包括基线估计44的梯度。惩罚项的另一个示例可以是基线估计44的曲率。此外,用户可以选择特征提取滤波器,诸如索贝尔、拉普拉斯和/或FIR带通、高通或低通滤波器作为惩罚项。此外,可以选择上述任一项的线性组合。可以为不同的维度选择不同惩罚项。
惩罚项的一般表示如下:
Figure BDA0003423384220000181
其中ζ(j)是惩罚项的一般算子,它定义了惩罚项的性质。
在下文中,假设用户基于具有以下形式的基线估计f(xi,m)的梯度选择基于梯度的粗糙度惩罚项
Figure BDA0003423384220000182
此惩罚项惩罚基线估计中的大梯度。算子
Figure BDA0003423384220000183
表示维度j中的一阶导数或梯度。
使用上述基于梯度的惩罚项,用户指定的参数进一步可以包括正则化参数阵列γj。正则化参数表示长度尺度的平方,低于该尺度的输入相位分布中的结构被认为是内容。输入相位分布I(xi)中长度大于
Figure BDA0003423384220000184
的结构被认为是噪声。从γj的索引j可以清楚地看出,每个维度中的正则化参数和长度尺度可能不同。当然,也可以只使用一种与方向无关的特征长度。
此外,当为基线估计器引擎42选择参数时,用户可以在对称二次项
Figure BDA0003423384220000185
之间进行选择,它也通过指定对基线估计f(xi,m)的大峰值的影响来确定基线估计f(xi,m)的形状。
最后,用户可以选择收敛标准和/或收敛标准必须达到的阈值t。
例如,用户可以选择以下对称的截断二次项:
Figure BDA0003423384220000191
其中s代表用户输入的阈值。阈值定义了输入相位分布数据I(xi)和基线估计f(xi)之间的最大偏差。高于基线估计f(xi)的峰不会比偏离阈值的峰更吸引基线估计f(xi)。
如果用户选择使用装置1记录输入图像Jk(xi),则在步骤202中记录输入图像的设定数量J1…k(xi)。否则,输入图像Jk(xi)为从存储部分20中检索。
如果用户选择计算中间图像II(xi),则中间图像II(xi)由装置1从输入图像的设定数量J(xi)计算,例如通过在步骤204中的减法。如果用户选择使用保存的中间图像,则在此步骤从存储部分20下载它。
在步骤206中,输入相位分布I(xi)由装置1计算,如果用户选择使用已经计算的输入相位分布,例如,使用吉洪诺夫正则化,或从存储部分20中检索。在此步骤中,可以从存储部分20中检索相点扩展函数H(xi)。
在步骤208中,为输入相位分布I(xi)计算基线估计。
特别地,基线估计的计算可以包括如上所述的迭代二次最小化方案210,直到满足收敛标准212。在本实施例中,采用以下收敛标准:
Figure BDA0003423384220000192
其中l表示当前迭代,t是可由用户指定的常数标量阈值。
如果满足收敛标准212,则假设已经成功计算了基线估计f(xi)。因此,在步骤214中,例如获得输出相位分布O(xi),例如通过从输入相位分布数据I(xi)中减去基线估计f(xi)。
在计算输出相位分布O(xi)之后,可以对输出相位分布数据36执行后处理操作216,诸如去卷积,和/或输出相位分布O(xi)可以进行或不进行后处理在显示器37上显示。
在图3中,图2的细节III被示出以更详细地解释用于计算基线估计f(xi)的最小化方案210。最小化方案210包括第一迭代级48和第二迭代级50。
原则上,由最小化引擎46执行的最小化方案210可以是LEGEND算法。然而,根据本发明,优选地修正LEGEND算法的第二步骤以显著减少计算负担。
在所示实施例中,在步骤300初始化数据之后进入第二迭代级50。此时,基线估计f(xi)的第一估计f1(xi)是通过使用输入相位分布数据I(xi)与格林函数G(xi)的卷积来计算的。
f1(xi)=G(xi)*I(xi)
对于此实施例中使用的基于梯度的惩罚项,格林函数定义如下:
Figure BDA0003423384220000201
其中F[…]是离散N维傅里叶变换,F-1[…]是离散N维傅里叶逆变换,γj是粗糙度惩罚项的正则化参数和
Figure BDA0003423384220000202
然后,在第一个迭代级48,辅助数据dl(xi)的更新版本可以使用当前基线估计fl-1(xi)计算如下:
Figure BDA0003423384220000203
参数β是常数,可能已经由用户指定。通常β在0.4-0.499的范围内。
接下来,在第二个迭代级50,更新的基线估计f(xi)使用当前迭代l的更新的辅助数据dl(xi)计算如下:
fl(xi)=G(xi)*I(xi)+dl(xi))
在下一步中,检查是否满足收敛标准212。如果不满足,则最小化方案210使用更新的基线估计fl(xi)进行到迭代步骤48。
接下来,示出了可用于记录多个输入图像Jk(xi)的装置1的各种示例性实施例。各种实施例可单独使用或以各种特征的任何组合使用。
图4示出了装置1的示意图,其被配置为使用输入图像Jk(xi)中的每一个的不同照明来记录多个输入图像Jk(xi)。特别地,照明可以是不对称的。不同的照明可以通过例如,在聚光器404的后焦平面402中使用优选地自动控制的孔400完成。根据此实施例,装置1被配置为将孔400自动移动到不同位置以用于照明每个输入图像Jk(xi),如箭头405所示。孔400优选地可以包括至少一个不对称布置的半透明区406和至少一个互补的、不对称布置的不透明区408。孔400可以包括不同不对称孔400的匣410。该装置可以使用图像传感器/检测器9适于将匣410的不同孔400移动到光路14中以记录数字输入图像。
替代地或附加地,照明系统16可以包括如图5所示的单独可控的照明元件500,其优选地也布置在聚光器404的后焦平面402中。根据此实施例,装置1被配置为自动地将不同组的照明元件500打开和/或关闭和/或切换到不同的照明强度,从而为输入图像Jk(xi)中的每一个实现不同的照明设置。
替代地或附加地,物镜18和/或管透镜19可由装置1支撑以可沿其光轴600或光路14移动,如图6所示。装置1可包括驱动机制602,诸如滚珠丝杠驱动器,具有致动器604,诸如电动机。在此实施例中,装置1被配置为对于输入图像Jk(xi)中的每一个,将物镜18和/或管透镜19自动移动到相对于探测器体积12的不同位置,例如,通过操作驱动机制602,如箭头606所示。
替代地或附加地,装置1,特别是物镜18,可以包括在物镜18的后焦平面702或其共轭位置中具有可变焦距的透镜700。这在图7中示出。在此实施例中,装置1被配置为针对每个输入图像Jk(xi)自动改变透镜700的焦距。
替代地或附加地,装置1可以包括两个或多个图像传感器/检测器9,它们被布置在距图像平面800或探测器体积12不同距离d1、d2中,如图8所示。图像传感器/检测器图9可以固定地或可移动地保持在装置1中。分束布置802可以用于同时或交替地将光引导到至少两个图像传感器/检测器9,并且分离光路14。
在图9中,示出了如常规获得的输入相位分布I(xi)。低频伪影作为非常亮和非常暗的区域可见。
在图10中,示出了通过去除基线估计f(xi)获得的输出相位分布O(xi)。图像的动态比图9中的更均匀,并且物体10的细节不会被低频伪影模糊。
如本文所用,术语“和/或”包括一个或多个相关所列项目的任何和所有组合并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面,但是很明显,这些方面也代表了相应方法的描述,其中块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤的上下文中描述的方面也表示相应装置的相应块或项目或特征的描述。一些或所有方法步骤可以由(或使用)硬件装置来执行,例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中,一些一个或多个最重要的方法步骤可以由这样的装置执行。
根据某些实施要求,本发明的实施例可以以硬件或软件来实施。可以使用诸如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器等数字存储介质之类的非暂时性存储介质来执行该实现,在其上具有存储的电子可读控制信号,其与可编程计算机系统协作(或能够协作)从而执行相应的方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,所述控制信号能够与可编程计算机系统协作,从而执行本文所述的方法之一。
通常,本发明的实施例可以被实现为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,该程序代码可操作用于执行方法之一。例如,程序代码可以存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
换句话说,本发明的实施例因此是具有程序代码的计算机程序,当该计算机程序在计算机上运行时,该程序代码用于执行本文描述的方法之一。
因此,本发明的进一步实施例是一种存储介质(或数据载体,或计算机可读介质),其上存储有用于在由处理器执行时执行本文所述方法之一的计算机程序。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡性的。本发明的进一步实施例是如本文所述的装置,包括处理器和存储介质。
因此,本发明的进一步实施例是数据流或信号序列,其表示用于执行本文描述的方法之一的计算机程序。数据流或信号序列例如可以被配置为经由数据通信连接、例如经由互联网来传送。
进一步实施例包括处理装置,例如,计算机或可编程逻辑器件,其被配置为或适合于执行本文所述的方法之一。
进一步实施例包括其上安装有用于执行本文所述方法之一的计算机程序的计算机。
根据本发明的进一步实施例包括被配置为向接收器传送(例如,电子地或光学地)用于执行本文描述的方法之一的计算机程序的装置或系统。例如,接收器可以是计算机、移动设备、存储设备等。例如,该装置或系统可以包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可用于执行本文所述方法的一些或全部功能。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文描述的方法之一。通常,这些方法优选地由任何硬件装置执行。
参考编号
1 装置
2 观察设备
2a 显微镜
4 成像系统
6 输入图像的输入图像数据I(xi)
8 相机
9 探测器/图像传感器
10 物体
12 探测器体积
13 视野
14 光路
15 孔板
16 照明系统
18 物镜
19 管透镜
20 存储部分
22 CPU
24 计算设备
26 GPU
28 图像输入部分
30 输入连接设备
32 图像输出部分
34 输出连接设备
36 输出相位分布数据,也是O(xi)
37 显示器
38 图像处理器
40 正则化引擎
42 基线估计器引擎
44 基线估计f(xi)
46 最小化引擎
48 第一迭代级
50 第二迭代级
62 图形用户界面
200 设置基线估计参数
202 记录或检索输入图像
204 计算或检索中间图像
206 计算或检索输入相位分布
208 计算基线估计
210 最小化方案
212 收敛标准
214 获取输出相位分布
216 后处理操作
300 初始化基线正则化
400、400a、400b 孔
402 后焦平面
404 聚光器
405 箭头
406 半透明区
408 不透明区
410 匣
500 照明元件
600 光轴
602 驱动机制
604 致动器
606 箭头
700 可变焦距的透镜
702 物镜的后焦平面
800 图像平面
802 分束布置

Claims (21)

1.一种用于增强输入相位分布(I(xi))的装置(1),
其中所述装置(1)被配置为
-检索所述输入相位分布(I(xi));
-计算基线估计(f(xi))作为所述输入相位分布(I(xi))中的基线(I2(xi))的估计;以及,其中所述装置(1)被进一步配置为
-基于所述基线估计(f(xi))和所述输入相位分布(I(xi))获得输出相位分布(O(xi))。
2.根据权利要求1所述的装置(1),其中所述装置(1)被进一步配置为从所述输入相位分布(I(xi))中减去所述基线估计(f(xi))。
3.根据权利要求1或2所述的装置(1),其中,所述装置(1)被进一步配置为
-通过迭代最小化方案(210)计算所述基线估计(f(xi))。
4.根据权利要求3所述的装置(1),其中所述迭代最小化方案(210)包括最小二乘最小化标准(M(f(xi))),所述最小二乘最小化标准包括经截断的二次项
Figure FDA0003423384210000011
5.根据权利要求4所述的装置(1),其中所述经截断的二次项
Figure FDA0003423384210000012
是对称的。
6.根据权利要求3至5中任一项所述的装置(1),其中所述迭代最小化方案(210)包括第一迭代级(48)和第二迭代级(50),其中,
-在所述第一迭代级(48)中,取决于先前迭代(l)的基线估计(fl-1(xi))、经截断的二次项
Figure FDA0003423384210000013
和所述输入相位分布(I(xi)),更新辅助数据(dl(xi)),以及,
-在所述第二迭代级(50)中,所述基线估计(f(xi))是使用离散格林函数(G(xi))与所述输入相位分布(I(xi))和经更新的辅助数据(d(xi))的和的卷积计算的。
7.根据权利要求1至6中任一项所述的装置(1),其中,所述装置(1)被进一步配置为
-检索两个或多个数字输入图像(Jk(xi)),以及
-检索相位传递函数
Figure FDA0003423384210000021
所述装置(1)被进一步配置为
从所述两个或多个数字输入图像(Jk(xi))和所述相位传递函数
Figure FDA0003423384210000022
获得所述输入相位分布(I(xi))。
8.根据权利要求7所述的装置(1),其中所述装置(1)被配置为
-使用正则化函数R计算所述输入相位分布(I(xi))。
9.根据权利要求7或8所述的装置(1),其中所述装置(1)被配置为
-将所述两个或多个数字输入图像(Jk(xi))彼此相减。
10.根据权利要求7至9中任一项所述的装置(1),其中所述两个或多个数字输入图像(Jk(xi))是明场图像。
11.根据权利要求7至10所述的装置(1),其中所述装置(1)被配置为
-针对所述两个或多个数字输入图像(Jk(xi))中的每一个,使用不同焦距、不同照明、距探测器体积(12)的物镜(18)的不同距离、和从图像传感器(9)到所述探测器体积(12)的光路(14)的不同长度,来记录所述两个或多个数字输入图像(Jk(xi))。
12.根据权利要求1至11中任一项所述的装置(1),其中所述装置(1)包括以下中的至少一项:
-物镜(18)的后焦平面(702)中的可控孔径(400);
-照明系统(16),其被配置为切换到至少两种不同的照明设置,在所述至少两种照明设置中的每一个中不同地照明探测器体积(12);
-从所述探测器体积(12)延伸到至少一个图像传感器(9)的光路(14),所述光路(14)具有可变长度;
-成像系统(4),包括至少一个成像传感器(9),所述成像传感器(9)是相对于所述成像系统(4)可移动的,所述成像系统(4)被配置为记录两个或多个数字输入图像(Jk(xi)),所述两个或多个数字输入图像(Jk(xi))中的每一个在距所述探测器体积(12)的不同距离处被记录;
-布置在距所述探测器体积(12)的不同距离处的至少两个图像传感器(9):
-物镜(18)具有以下中的至少一项
-光轴(600),并且是沿所述光轴(600)相对于所述探测器体积(12)可移动的;以及
-具有可变焦距的透镜(700)。
13.一种显微镜(2),包括根据权利要求1至12中任一项所述的装置(1)。
14.一种用于增强输入相位分布(I(xi))的方法,所述方法优选地被配置为操作根据权利要求1至12中的一项所述的装置(1)或操作根据权利要求13所述的显微镜,所述方法包括以下步骤
-检索所述输入相位分布(I(xi));
-估计所述输入相位分布(I(xi))中的基线(I2(xi))以获得基线估计(f(xi)),以及
-从所述基线(I2(xi))和所述输入相位分布获得输出相位分布(O(xi))。
15.根据权利要求14所述的方法,其中检索所述输入相位分布(I(xi))的所述步骤进一步包括以下步骤:
-检索至少两个数字输入图像((Jk(xi))和相位传递函数
Figure FDA0003423384210000031
-从所述至少两个数字输入图像((Jk(xi))和所述相位传递函数
Figure FDA0003423384210000032
获得所述输入相位分布(I(xi))。
16.根据权利要求14所述的方法,进一步包括以下步骤:
-将所述至少两个数字输入图像(Jk(xi))记录为明场显微图像。
17.根据权利要求14或16所述的方法,进一步包括以下步骤
-使用正则化函数R从所述相位传递函数
Figure FDA0003423384210000033
和所述至少两个数字输入图像(Jk(xi))计算所述输入相位分布(I(xi))。
18.根据权利要求14至17中任一项所述的方法,进一步包括以下步骤:
-使用最小化方案(210)计算所述基线估计(f(xi))。
19.一种具有程序代码的计算机程序,当所述计算机程序在处理器上运行时,用于执行根据权利要求14至18中任一项所述的方法。
20.一种通过多个数字输入图像(Jk(xi))和多个输出相位分布(O(xi))训练的神经网络设备,其中所述输出相位分布(O(xi))是通过根据权利要求14至18中任一项所述的方法从输入相位分布(I(xi))创建的。
21.一种输出相位分布(O(xi)),其是根据权利要求14至18中任一项所述的方法的结果。
CN202080045519.5A 2018-03-29 2020-06-19 用于增强相位分布的图像处理装置和方法 Pending CN114008613A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102018204943 2018-03-29
EP19181836.8 2019-06-21
EP19181836.8A EP3588430A1 (en) 2018-06-27 2019-06-21 Image processing apparatus and method for enhancing a phase distribution
PCT/EP2020/067096 WO2020254574A1 (en) 2018-03-29 2020-06-19 Image processing apparatus and method for enhancing a phase distribution

Publications (1)

Publication Number Publication Date
CN114008613A true CN114008613A (zh) 2022-02-01

Family

ID=62751006

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201980023893.2A Active CN111937031B (zh) 2018-03-29 2019-03-29 用于信号数据去模糊的装置和方法
CN201980023895.1A Pending CN111937032A (zh) 2018-03-29 2019-03-29 用于输入信号数据中的基线估计的装置和方法
CN202080045891.6A Pending CN114041162A (zh) 2018-03-29 2020-06-19 用于增强数字输入信号的信号处理装置和方法
CN202080045519.5A Pending CN114008613A (zh) 2018-03-29 2020-06-19 用于增强相位分布的图像处理装置和方法
CN202080050240.6A Pending CN114097002A (zh) 2018-03-29 2020-07-08 使用局部长度尺度进行去模糊的信号处理装置和方法
CN202080061266.0A Active CN114424102B (zh) 2018-03-29 2020-08-31 用于在自动聚焦系统中使用的图像处理装置和方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201980023893.2A Active CN111937031B (zh) 2018-03-29 2019-03-29 用于信号数据去模糊的装置和方法
CN201980023895.1A Pending CN111937032A (zh) 2018-03-29 2019-03-29 用于输入信号数据中的基线估计的装置和方法
CN202080045891.6A Pending CN114041162A (zh) 2018-03-29 2020-06-19 用于增强数字输入信号的信号处理装置和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202080050240.6A Pending CN114097002A (zh) 2018-03-29 2020-07-08 使用局部长度尺度进行去模糊的信号处理装置和方法
CN202080061266.0A Active CN114424102B (zh) 2018-03-29 2020-08-31 用于在自动聚焦系统中使用的图像处理装置和方法

Country Status (7)

Country Link
US (6) US11854166B2 (zh)
EP (4) EP3571663B1 (zh)
JP (6) JP7391865B2 (zh)
CN (6) CN111937031B (zh)
DE (1) DE202018006284U1 (zh)
ES (1) ES2820228T3 (zh)
WO (5) WO2019185174A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3571663B1 (en) * 2018-03-29 2020-08-19 Leica Microsystems CMS GmbH Apparatus and method, particularly for microscopes and endoscopes, using baseline estimation and half-quadratic minimization for the deblurring of images
EP3633534A1 (en) * 2018-10-04 2020-04-08 Thales Dis France SA A connected device adapted to measure at least a physical quantity
EP3795100A1 (en) * 2019-09-20 2021-03-24 Dornier MedTech Systems GmbH A method and device for monitoring a coupling quality of an interface between a therapeutic device and a patient
DE102020204615A1 (de) 2020-04-09 2021-10-14 Leica Microsystems Cms Gmbh Schiefeebenemikroskop mit verbesserter Sammeleffizienz
US20220346904A1 (en) * 2021-05-03 2022-11-03 The Cleveland Clinic Foundation Machine vision needle counting imaging tray
WO2023057348A1 (en) 2021-10-05 2023-04-13 Leica Microsystems Cms Gmbh Sample carrier and method for imaging a sample

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3828381C2 (de) 1988-08-20 1997-09-11 Zeiss Carl Fa Verfahren und Einrichtung zur automatischen Fokussierung eines optischen Systems
US5121443A (en) * 1989-04-25 1992-06-09 Spectra-Physics, Inc. Neural net system for analyzing chromatographic peaks
JPH063268A (ja) * 1992-06-23 1994-01-11 Toshiba Ceramics Co Ltd シリコンウエハの格子間酸素又は置換型炭素濃度の赤 外吸収分光法
US6058322A (en) 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
NL1016034C2 (nl) 2000-08-03 2002-02-08 Tno Werkwijze en systeem voor het identificeren en kwantificeren van chemische componenten van een te onderzoeken mengsel van materialen.
AU2002952483A0 (en) 2002-11-05 2002-11-21 Silverbrook Research Pty Ltd Methods and Systems (NPW009)
US20070196856A1 (en) * 2006-02-23 2007-08-23 Allergan, Inc. Methods of determining activity of ryanodine receptor modulators
US20070248268A1 (en) * 2006-04-24 2007-10-25 Wood Douglas O Moment based method for feature indentification in digital images
JP2010515489A (ja) * 2007-01-05 2010-05-13 マイスキン インコーポレイテッド 皮膚を撮像するためのシステム、装置、及び方法
US8155409B2 (en) * 2008-04-17 2012-04-10 Ruprecht-Karls-Universitat Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions
US7983852B2 (en) * 2008-10-21 2011-07-19 Thermo Finnigan Llc Methods of automated spectral peak detection and quantification without user input
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8645090B2 (en) * 2009-05-14 2014-02-04 Agilent Technologies, Inc. Automated baseline removal of signal
WO2011106527A2 (en) * 2010-02-24 2011-09-01 Ampersand International, Inc. Method for noise filtering based on confidence interval evaluation
US8045046B1 (en) * 2010-04-13 2011-10-25 Sony Corporation Four-dimensional polynomial model for depth estimation based on two-picture matching
DE102012201286A1 (de) * 2012-01-30 2013-08-01 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren für die wellenlängenselektive und örtlich hochauflösende Mikroskopie
RU2018109118A (ru) * 2012-05-04 2019-02-26 Риарден, Ллк Система и способы борьбы с эффектами доплера в беспроводных системах с распределенным входом - распределенным выходом
US9715098B2 (en) * 2012-05-31 2017-07-25 The Board Of Trustees Of The University Of Illinois Sparse deconvolution spatial light microscopy in two and three dimensions
CN103118323A (zh) * 2012-12-28 2013-05-22 中国科学院声学研究所 基于平面波分解的wfs系统主动房间补偿方法和系统
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
US9524567B1 (en) * 2014-06-22 2016-12-20 InstaRecon Method and system for iterative computed tomography reconstruction
CN104123558B (zh) * 2014-06-30 2017-10-13 中国地质科学院矿产资源研究所 地热资源的多源分布式遥感判别方法和系统
US20160062952A1 (en) * 2014-09-03 2016-03-03 Science Software Co., Ltd. Measurement precision evaulation device, method, and computable readable medium
CN104596636B (zh) * 2014-12-29 2018-03-27 广西科技大学 声场分离方法
US9786092B2 (en) * 2015-02-18 2017-10-10 The Regents Of The University Of California Physics-based high-resolution head and neck biomechanical models
ES2769061T3 (es) 2015-09-25 2020-06-24 Fraunhofer Ges Forschung Codificador y método para codificar una señal de audio con ruido de fondo reducido que utiliza codificación predictiva lineal
EP3156937A1 (en) * 2015-10-15 2017-04-19 Université Paris Est Créteil Method for analysing a numerical image obtained by microscopy
US10705326B2 (en) * 2015-11-11 2020-07-07 Scopio Labs Ltd. Autofocus system for a computational microscope
CN107170007B (zh) * 2016-03-02 2019-12-27 钰立微电子股份有限公司 具有图像散焦功能的图像装置及其产生散焦图像的方法
EP3571663B1 (en) * 2018-03-29 2020-08-19 Leica Microsystems CMS GmbH Apparatus and method, particularly for microscopes and endoscopes, using baseline estimation and half-quadratic minimization for the deblurring of images
EP4216161A1 (en) * 2022-01-24 2023-07-26 Leica Microsystems CMS GmbH Apparatus, method and machine learning product for computing a baseline estimate

Also Published As

Publication number Publication date
EP3742391A1 (en) 2020-11-25
CN114097002A (zh) 2022-02-25
JP2021519974A (ja) 2021-08-12
US20220327670A1 (en) 2022-10-13
JP2022546461A (ja) 2022-11-04
CN114041162A (zh) 2022-02-11
US11669940B2 (en) 2023-06-06
JP7436379B2 (ja) 2024-02-21
CN114424102A (zh) 2022-04-29
US20210118102A1 (en) 2021-04-22
DE202018006284U1 (de) 2019-11-26
WO2021038103A1 (en) 2021-03-04
CN111937031B (zh) 2024-05-28
CN114424102B (zh) 2024-05-07
EP3571663B1 (en) 2020-08-19
JP2021519973A (ja) 2021-08-12
US20220277441A1 (en) 2022-09-01
WO2021005098A1 (en) 2021-01-14
EP3776452A1 (en) 2021-02-17
WO2019185174A1 (en) 2019-10-03
JP2022541743A (ja) 2022-09-27
WO2020260152A1 (en) 2020-12-30
EP3776453A1 (en) 2021-02-17
ES2820228T3 (es) 2021-04-20
JP2022538124A (ja) 2022-08-31
US11854166B2 (en) 2023-12-26
US20220357558A1 (en) 2022-11-10
EP3571663A1 (en) 2019-11-27
CN111937031A (zh) 2020-11-13
CN111937032A (zh) 2020-11-13
WO2020254574A1 (en) 2020-12-24
JP7391865B2 (ja) 2023-12-05
JP2022538406A (ja) 2022-09-02
US20220253983A1 (en) 2022-08-11
US20210118101A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN114008613A (zh) 用于增强相位分布的图像处理装置和方法
CN108271410B (zh) 成像系统以及使用所述成像系统的方法
EP2374107B1 (en) Devices and methods for processing images using scale space
Liu et al. A new polarization image demosaicking algorithm by exploiting inter-channel correlations with guided filtering
John et al. Multiframe selective information fusion from robust error estimation theory
EP3716199B1 (en) Signal processing apparatus and method using local length scales for deblurring
EP3588430A1 (en) Image processing apparatus and method for enhancing a phase distribution
US20230274392A1 (en) Apparatus, method and machine learning product for computing a baseline estimate
Rahim et al. Improving the iterative back projection estimation through Lorentzian sharp infinite symmetrical filter
Babacan et al. Variational Bayesian Super-Resolution Reconstruction
Kaynar et al. Non-iterative Blind Deblurring of Digital Microscope Images with Spatially Varying Blur
CN117764994A (zh) 基于人工智能的胆胰成像系统及方法
Tang Modeling and Analysis of Optical Blur for Everyday Photography
Chaudhuri et al. Blind Restoration of Photometric Observations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination