CN113228096A - 通过机器学习进行光学矫正 - Google Patents
通过机器学习进行光学矫正 Download PDFInfo
- Publication number
- CN113228096A CN113228096A CN201980084312.6A CN201980084312A CN113228096A CN 113228096 A CN113228096 A CN 113228096A CN 201980084312 A CN201980084312 A CN 201980084312A CN 113228096 A CN113228096 A CN 113228096A
- Authority
- CN
- China
- Prior art keywords
- neural network
- image
- optical system
- training
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 206
- 238000012937 correction Methods 0.000 title description 15
- 238000010801 machine learning Methods 0.000 title description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 211
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000012634 optical imaging Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims description 138
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 26
- 238000004519 manufacturing process Methods 0.000 claims description 20
- 230000004075 alteration Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 206010010071 Coma Diseases 0.000 claims description 5
- 201000009310 astigmatism Diseases 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 239000003153 chemical reaction reagent Substances 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 30
- 238000013135 deep learning Methods 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 7
- 238000005067 remediation Methods 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001454 recorded image Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004113 cell culture Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012067 mathematical method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 206010040925 Skin striae Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 210000002220 organoid Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000005496 tempering Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于确定用来矫正光学成像误差的神经网络(130；200；330)的方法，包括以下步骤：确定(418)一个或多个图像，其中，所述一个或多个图像(126)至少部分地与光学系统(152)或其构造方式相关；根据所确定的一个或多个图像来确定(420)神经网络(130；200；330)，其方式为，把所确定的神经网络(130；200；330)应用到通过所述光学系统(152)获取的图像(210)上，输出针对一个或多个光学成像误差矫正的图像(220)。
Description
技术领域
本发明涉及用于确定用来矫正光学成像误差的神经网络的方法和装置。
背景技术
光学系统可以理解为映射函数，也称为光学传递函数(OTF)，其方式是，在输出端离开光学系统的波形与在光学系统输入端的波形不同。这些变化中的一些是不希望的，并且导致已知的光学成像误差，例如像差、散光、渐晕和/或彗差。光学成像误差可能与光学系统如镜头或各个透镜的制造和工作方式有关。这些光学成像误差会影响图像质量，从而导致图像中的某些信息无法直接看到。
现有技术披露了用于矫正光学成像误差的各种不同的方法。现有技术中用来避免这些光学误差的一种可行方案是，对光学系统在其制造时予以优化。例如，为了减少色彩像差，给透镜调质(镀膜)，或者使用某些具有严格确定的物理特性的玻璃或矿物质，可以减少光学成像误差。替代地，在某些情况下使用额外的光学器件，也可以引起改善光学系统的光学特性。
然而，现有技术中的该方法表现出一些将在以下考察的缺点和问题。光学误差可以通过使用更高质量的材料或在光学系统中使用其它光学元件来减少，但无法完全避免。例如，对镜头中的图像误差的矫正可以朝边缘减少。在哪个图像场上针对多大的数值孔径指定镜头，这在一定程度上由开发人员自行决定，且与某些质量参数的下降以及预期的制造公差有关。然而，与制造公差相关的光学成像误差无法通过优化光学机构来消除。因此，对于高质量的镜头，只能允许非常小的制造公差。此外，通过这种用于减小成像误差的方法会产生高成本(材料成本或由于附加器件而产生的成本)。
用于矫正光学成像误差的另一可行方案是，通过电子数据处理(EDV)进一步处理由图像记录系统获取的图像。通常，对图像误差的矫正是利用数学模型进行的。在此，可以使用泽尼克多项式来描述误差的各个分量。图像误差被分解为诸如球面像差、色彩像差、散光、彗差等的分量，这些分量又被指配给某些泽尼克多项式。如果现在利用镜头来获取点源的图像，并由此确定镜头的点扩散函数(PSF)，则可以通过比较测量的点图像与理想的点图像，来推断各个图像误差的贡献，进而推断泽尼克多项式的幅度。然而，在这种情况下，需要准确确定镜头的PSF。这并非始终都可行，或者有时也过于不精确。
其他方法例如渐晕矫正或去卷积，也可用于矫正光学误差。在用于渐晕矫正的现有方法中，通常使用均匀样本来获取参考图像，然后使用线性方法将其与样本的获取图像结算。然而，这种方法的缺点是，它只作用于一个样本级别，而忽略了与渐晕相关的其他误差。
现有技术中用于矫正成像误差的这些数学方法的缺点在于，这些数学方法不能或只能有限地用于通过未知镜头获取的旧数据，因为这些数学方法依赖于测量特定样本或者测量镜头及其光学特性。因此，现有技术中的这些方法无法应用于使用未知镜头获取的旧数据(图像)，或提供不准确的结果。
发明内容
因此，本发明的目的是，提供用于矫正光学成像误差的改进机构。
本发明通过一种用于确定用来矫正光学成像误差的神经网络的方法解决了上述问题和目的。该方法包括以下步骤：确定一个或多个图像，其中，一个或多个图像至少部分地与光学系统或光学系统的构造方式相关；根据所确定的一个或多个图像来确定神经网络，其方式为，把所确定的神经网络应用到通过光学系统获取的图像上，输出针对一个或多个光学成像误差矫正的图像。
根据本发明的装置包括一个或多个处理器和一个或多个计算机可读的存储介质，其中，在一个或多个计算机可读的存储介质上存储着计算机可执行的指令，这些指令在其由一个或多个处理器执行时，引起通过成像和/或图像记录系统来获取一个或多个图像，其中，在一个或多个所获取的图像中的一个或多个光学成像误差与成像和/或图像记录系统的至少一部分相关，将神经网络应用于一个或多个所获取的图像，其中，神经网络被设计用来从一个或多个所获取的图像中生成一个或多个相应的矫正图像，从而在一个或多个矫正后的图像中矫正或减少一个或多个光学的成像误差。
根据本发明的方法和根据本发明的装置具有如下优点：神经网络，例如在深度学习的意义上，被指定于或应用于对光学成像误差的矫正。这可以实现改善现有光学系统的成像性能。此外，根据本发明的方法和根据本发明的装置可以实现能够节省光学系统的制造成本。光学系统(例如高性能系统)的制造成本在很大程度上取决于为避免光学成像误差而必须采取哪些措施(如材料的选择、涂层的应用、接入其它透镜和透镜组)。光学系统生产中的另一个成本因素是光学机构的允许偏差。根据本发明的方法允许对光学参数的变化有更高的容限。由此可以降低成本。通过确定用来矫正光学成像误差的神经网络，例如可以节省光学系统制造中的某些制造步骤，可以使用更具成本效益的材料，和/或可以简化光学结构(例如通过省去透镜)。由此可以更成本低廉地制造与用来矫正光学成像误差的神经网络组合地工作的图像记录系统或光学系统。此外，神经网络可以实现为以前未知的应用程序提供更好的普及性。
根据本发明的方法和根据本发明的装置的另一个优点是，可以调整光学系统，从而在不影响图像质量的情况下拓展它们的应用领域。例如，可以对光学系统的某些参数提出较低的要求，由此提高了其他光学特性的自由度，这开辟了新的应用领域。例如，最大平面度和最大工作距离是相互排斥的。如果与光学系统的平面度相关的光学误差可以通过确定用于矫正这些误差的神经网络而被忽略，则可以有更大的工作距离，从而在样本选择方面具有更大的灵活性。此外，根据本发明的方法可以提供用于同时矫正多个也是非线性的光学误差的手段。
根据本发明的方法和根据本发明的装置均可以通过具体设计得到进一步的改进。下面描述的本发明设计的各个技术特征在此可以任意地相互组合和/或省略，只要省略的技术特征所达到的技术效果不重要。
在一种实施方式中，确定神经网络包括：训练神经网络。确定一个或多个图像可以包括：确定训练图像，其中，训练神经网络包括：对包括多个图像对的训练图像进行训练。用于训练的多个图像对中的每个图像对可以分别包括用于神经网络的输入图像和给定输出图像。这可以实现矫正在使用未知镜头获取的旧数据中的成像误差，并且由此可行的是，神经网络已经学会了借助与光学系统或其构造方式相关的训练数据来矫正光学成像误差。因此在个别情况下并不是绝对有必要对每个现有镜头进行参考测量，因为神经网络会学习图像数据和图像内容应该是什么样子。常规方法无法做到这一点。
在一些实施方式中，训练图像可以从所获取的例如描绘一种或多种类型样本的图像生成，其中，所获取的图像是借助一个或多个光学系统和/或利用所述光学系统获取的，并且其中，一个或多个光学系统中没有、其一部分或者全部是与所述光学系统属于同一类型的。在可以与先前实施方式组合的其它实施方式中，可以通过模拟光学成像误差来生成训练图像。为了模拟，可以确定所述光学系统或一种类型的光学系统的光学传递函数(OTF)或点扩散函数(PSF)。替代地，也可以独立于模拟来确定OTF或PSF。借助可以相互转换的PSF或OTF，可以通过将无误差的图像与PSF卷积来生成多个图像对的输入图像。这允许生成几乎“完美”的训练数据(图像对)，因为无误差的图像可以用作多个图像对的相应的给定输出图像。光学系统可以是显微镜的成像和/或图像记录系统、显微镜系统、照相机、智能手机、望远镜、计算机(其有利地也可以是便携式的)或测量设备的一部分，且可以包括一个或多个光学组件(例如透镜、反射镜和/或其他光学机构)。
在一个实施方式中，为了训练所述神经网络(以下也称为第一神经网络)，可以采用另一个(第二)神经网络。该另一个神经网络可以用作用于训练第一神经网络的损失函数。这能实现改进对第一神经网络的训练，因为作为损失函数的神经网络能够实现精确的训练，其中，确保神经网络的输出等同于所期望的图像。如果仅按像素计算输出图像中的误差，则无法保证这一点。因此，输出图像不作为一组独立像素予以处理，而是置于语义上的关联中。
在有利的实施方式中，可以进一步训练(微调)所确定的神经网络。微调(以下也称为细微调节)可以包括仅训练所确定的(第一)神经网络的一部分。在此，所确定的神经网络的一个或多个参数在微调期间可以保持不变。此外，微调可以包括专门针对光学系统的训练。因此可以调整神经网络，以矫正特定于光学系统的成像误差。微调的神经网络可以明确地指配给光学系统。可以借助个体的训练数据进行微调。可以基于与光学系统相关的光学特性和/或测量样本来生成个体的训练数据。光学系统的光学特性可以在一个步骤中确定，和/或可以通过光学系统来获取测量样本。测量样本、光学特性和个体训练数据中的至少一个可以被存储在例如数据库中，其中，测量样本、光学特性和/或个体训练数据被明确地指配给光学系统。
在根据本发明的方法的设计中，可以明确地和/或自动地识别光学系统。第一神经网络以及自适应的/微调的神经网络可以明确地指配给光学系统。例如，光学系统可以通过电磁识别、光学识别、机械识别或磁识别进行识别。
在一种可与前述设计组合的设计中，根据本发明的用于矫正光学成像误差的方法包括将所确定的神经网络或细调的神经网络应用于所获取的数据。所获取的数据(例如图像)可以通过光学系统或相同类型的光学系统(和光电探测器，或者在扫描系统的情况下，使用点光电探测器)获得。光学成像误差可包括散光、渐晕、彗差、色彩像差、球面像差或散焦。
在一些实施方式中，对神经网络的确定可以包括：借助一个或多个特定图像来训练神经网络，其中，神经网络在训练期间学习对象和/或结构在一个或多个图像中理想地看起来如何，并且矫正与其的偏差。这可以实现在OTF不完全知道时矫正成像误差。在这种情况下，神经网络可以自动识别存在什么类型的错误、在所获取的图像中成像了什么类型的对象。在此，错误类型和对象类型都不需要明确指明。神经网络被训练，以便把在所获取的图像中的对象转换为矫正后的图像，从而使对象在网络中“隐式地”正确重建，即作为学习参数的一部分。这样做的前提是，神经网络在训练时已看到过类似的对象。“类似”在这里意味着，在训练图像中存在与在要矫正的图像中相同的图像特征，也就是说，训练图像与所获取的图像处于关联中。
在一种实施方式中，根据本发明的装置被设计用于存储一个或多个所获取的图像，并将神经网络应用于一个或多个被存储的所获取的图像。替代地，可以将神经网络直接应用于一个或多个所获取的图像，并且仅存储一个或多个矫正后的图像。对光学成像误差的矫正因此在图像获取期间就已经可以进行，即在存储图像之前(“实时地”)进行，或在其已经被存储之后才进行。成像和/或图像记录系统的至少一部分可以包括光学系统、照相层、sCMOS或CCD传感器或者或一个或多个散射玻片。
附图说明
下面借助示例图详述本发明的主题。附图中示出了本发明的有利设计的例子。
图1为本发明的根据一种实施方式的用于确定用来矫正光学成像误差的神经网络的方法的示意图；
图2为本发明的根据一种实施方式的用于借助神经网络来矫正光学成像误差的方法的示意图；
图3为本发明的根据一种实施方式的装置的示意图；
图4为本发明的方法的一种实施方式的示意性流程图。
具体实施方式
图1所示为用于确定神经网络130的方法的示意图。用来矫正光学成像误差的该神经网络130—下面也称为“矫正网络”—可以分多个步骤110和120予以确定和/或训练。附加地，所确定的神经网络130可以在另一个训练步骤140中予以微调。用来矫正像差的神经网络130例如可以包括自动编码器、U-Net或“生成对抗网络”(GAN)，并且被设计用于输出图像。神经网络130属于“卷积神经网络”类，也称为CNN。
在任选的第一步骤110中，可以准备对步骤120和/或140的训练。对训练的可能的准备包括：确定用于在训练步骤120中的训练的损失函数136。例如，可以确定或者训练第二神经网络116，并且至少部分地用作损失函数136的基础。例如，第二神经网络116或者第二神经网络116的一些部分，优选第二神经网络116的从图像参数或图像特性提取的部分，可以作为损失函数136用于训练神经网络130，或者也可以用作目标函数。在这种情况下，损失函数136是损失网络。
所述第二神经网络116—下面也称为“主模型”—可以选自于多个存储在数据存储器114中的神经网络，而不必是本身输出图像的神经网络。例如，主模型116可以是预先训练过的解决分类问题的神经网络。
替代地，主模型也可以通过机器学习在所谓的“训练”112中找到或者确定。然后可以借助多个来自不同应用领域(例如单细胞培养、三维细胞培养、组织切片、类器官、球体、天然器官或活生物体)的样本来训练主模型。在此可以采用所谓的“监督训练”。为了训练，可以采用如下场景：模型例如解决分类问题，即本身甚至不输出图像。可以在与神经网络130的后续应用领域相关的关联中训练主模型。例如，可以使用显微镜图像的数据组来训练主模型。
主模型可以用作“特征提取器”，以便计算所谓的“激活”。激活表明哪些“神经元”响应于某些图像部分(特征)，即例如已识别面貌或(在显微镜情况下)细胞器。在聚合形式中，整个或部分主模型的所有神经元的激活可以被视为“图像质量”的量度，进而是矫正的图像的正确性的量度，因此用作损失函数。
在一些实施方式中，可以使用主模型或主模型的一些部分，以便通过神经网络130进行预测，或通过“转移学习”来加速神经网络130的收敛。
矫正网络130可以被设计用于将输入图像Xi转换成输出图像
或将输入图像Xi映射到输出图像
上。损失函数136可以输出关于矫正网络130的预测
与给定输出图像y0(无错误的图像)匹配程度的数值量度lfeat。变量Xi、
和y0是向量或矩阵，其元素指配于图像的像素。待训练的矫正网络130和损失函数136形成用于训练矫正网络130的系统。
损失网络或损失函数可用于定义一个或多个损失函数，这些损失函数测量在各图像、各输出图像
和相应的给定输出图像y0之间的关于内容的感知差异。在训练矫正网络130期间，不改变或一同训练损失网络。
在一些实施方式中，矫正网络130可以是神经网络，例如“残差卷积神经网络”，其由权重(“weights”)W参数化。矫正网络130通过映射
将输入图像Xi转换成输出图像
一个或多个损失函数中的每一个损失函数都可以计算一个标量值，该标量值表示在输出图像
与给定输出图像或目标图像y0之间的差。可以使用深度学习方法来训练矫正网络。例如，可以通过随机梯度下降(“stochastic gradient descent”)来训练矫正网络，以便使得损失函数136的加权组合最小。例如，调整权重W，使得特征恢复损失lfeat最小。
基于每像素损失的损失函数容易出错，并且可能为训练提供不精确的结果。为了消除这些缺点，在一些实施方式中可以使用确定各图像之间的感知差异和语义差异的损失函数。已针对图像分类被训练过的主模型116已经具有在隐藏表示(“hiddenrepresentations”)或隐藏特征中表达输入图像的特征或语义信息的特性。这些隐藏的表示可用于对各图像的相似性做出判定。神经网络116因此可以定义损失函数136，其中，将各隐藏表示并进而将各语义信息相互比较。损失网络136可以定义特征恢复损失lfeat，其表明在给定输出图像y0和矫正网络130的输出图像
之间的在图像内容上的差异的量度。
因此可以通过损失网络136确定感知损失(英文：“perceptual loss”)。因此可以借助损失网络136来确保神经网络130的输出
看起来像预期的图像。对于仅为图像的每个像素计算误差的损失函数，情况并非如此。因此，输出图像
不被作为一组独立的像素来对待，而是放置在语义关联中。
在一些实施方式中，生成训练数据组。该训练数据组可以包括图像对126(训练图像)，其中，图像对126的特征在于，图像对的一个图像是神经网络130的输入图像Xi，而图像对的另一个图像对应于神经网络130的给定输出图像y0。输入图像Xi可以视为有误差的图像，或者是被测量或检测的图像，而给定输出图像y0可以视为所期望的无误差的或经矫正的图像。基于图像对126，特别是基于给定输出图像，可以训练神经网络130来矫正大量可能的成像误差中的一个或多个成像误差。通过图像对126，可以训练神经网络来矫正存在于输入图像中并且在给定输出图像中缺失或减弱的成像误差。替代地或附加地，用于训练神经网络130的训练数据组可以包括其他数据。这些其他数据可以包括以下中的至少一个：与图像对126或训练图像相关联的参数数据、验证数据、与光学系统的制造相关的测量数据、关于实验或测量过程的数据、试剂和材料的信息、对象或样本的信息、光学系统的信息、用户相关数据、用户输入及图像采集系统的信息。
训练数据组可以借助各种不同的方法生成，或者也可以通过这些方法的组合生成。在图1中，在用于产生可组合的训练数据的两个步骤122和124之间进行了区分。在步骤122中，可以人工产生训练数据。例如，可以通过图像处理人为地产生像差。在步骤124中，可以从测得的或检测的数据中产生训练数据，其中，测得的或检测的数据通过一个或多个光学系统获得，并且光学成像误差由一个或多个光学系统产生。生成的训练数据可以存储在数据存储器128中。下面更详细地描述了一些用于产生训练数据的可能方法。
用于生成用来训练神经网络的训练数据的第一种方法(放大策略)基于通过一个或多个光学系统来获取均匀样本的图像。从这些均匀样本中创建具有不同变焦的图像。例如，光学系统最大变焦的第一次记录和同一光学系统最小变焦的第二次记录是从均匀样本中生成的。当在均匀样本的图像中心采用最大变焦或大变焦进行记录时，可以生成(近乎)无误差的图像，并且可以使用最小变焦或小变焦生成有误差的图像。这种方法利用了这样一个事实，即某些成像误差对图像中心的影响比在边缘的影响要小。
用于生成训练数据的第二种方法(移位策略)能够从均匀的结构化的样本的记录中生成图像对126。与第一种方法一样，该方法也利用了这样一个事实，即某些光学成像误差在图像中心比在图像边缘具有更弱的影响。在该第二种方法中，至少一个图像以任意的变焦例如中变焦或高变焦被记录。给定输出图像是从至少一个所记录的图像的记录图像的图像中心创建的，并且输入图像是在所记录的图像的边缘或角落的规定位置处从所记录的图像生成的。训练数据组的图像对126可以包括许多不同的规定的位置和/或不同的变焦。为了创建训练数据组，可以使用一种或多种类型的一个或多个光学系统对一个或多个均匀的和/或结构化的样本进行记录。
用于生成训练数据的第三种方法(模拟策略)基于对光学成像误差的模拟。如果等同于光学系统的傅立叶变换点扩散函数(PSF)的光学传递函数(OTF)或光学系统的PSF是已知的或者可以予以测量或模拟，则可以人工生成图像对126。可以用作给定输出图像的无误差的图像，可以通过数学方法，例如无误差的图像与光学系统的PSF的卷积，转换为可以用作输入图像的有误差的图像。
训练数据组可以采用不同结构类型的多个光学系统例如多个镜头来生成。这可以包括所有光学系统或所有类型的光学系统，与这些光学系统相关联地采用借助这些训练数据被训练的神经网络。例如，可以使用各种不同的镜头生成训练数据，并且可以使用这些训练数据来训练神经网络。该神经网络可用于矫正在由一个或多个不同的镜头获取的测量图像中的成像误差。
训练数据组可以存储在云中、存储在数据存储器128上、计算机例如独立工作计算机上或适合于训练神经网络的服务器上。服务器或计算机然后可以执行训练，并且再存储来自训练的结果(例如存储在数据存储器128上或另一存储器上)。
可以采用深度学习方法训练神经网络。这包括按计划采用至少一种深度学习方法，但优选采用多个深度学习方法用于实现特定目标。这里的目标可以包括图像处理(例如矫正一个或多个光学误差，由另一图像生成一个图像，其中，这些图像中的至少一个特征是不同的，等等)。深度学习方法可以包括一系列方法步骤，这些方法步骤把一个流程分成可追踪的多个步骤，确切地说，该流程可重复。这些方法步骤可以是某些深度学习算法。但其也可以是用于学习网络的方法(例如反向传播)，其例如可以是数据收集类型，或如何处理有关硬件的数据的方式，等等。
为了训练神经网络130，可以使用训练数据组，其比如按一种或多种上述方法生成，或由第三方提供。在一种实施方式中，用于训练的目标是生成一个神经网络130，把输入图像比如采用光学系统检测过的那些图像转换成矫正后的图像，其中，转换的图像矫正或者减少至少一个由光学系统在输入图像中产生的成像误差。这意味着，与输入图像相比，输出图像中(在一个或多个区域中)的图像质量例如对比度或清晰度提高了。理想情况下，这样就可以由有误差的图像生成无误差图像。
在另一阶段140即所谓的“微调”中，可以进一步优化矫正网络130。通常在制造中以一定的公差制得光学系统。因此，通过相同的制造工艺制得的各光学系统可以在制造公差的范围内相互间具有偏差。这些偏差会影响由光学系统产生的光学成像误差。因此，相同类型的光学系统可以与不同的OTF相关。
为了补偿制造中的这些公差，可以在步骤142中确定光学系统的特性。例如，可以测量一个单独的光学系统152的光学特性。测量光学系统152可以包括：检测一个或多个测量样本。这些测量样本和/或光学系统的特性可以存储在数据存储器144上。在一些实施方式中，确定光学系统152的特性包括：确定制得的该光学系统152的OTF和/或PSF。具有测量样本和/或光学系统特性的数据组可以在光学系统的整个生命周期内可用。在一种实施方式中，具有测量样本和/或光学系统特性的数据组可以存储在云中。
为了能将测量样本和/或光学系统152的特性指配给光学系统152比如镜头，把包括测量样本和/或光学系统特性的数据指配给光学系统的标识154，并且可以根据该标识154或与相应于标识154的识别号一起存储。光学系统152可以在制造期间获得其标识154，其中，标识152对于每个光学系统可以是明确的，并且可以永久地安置在光学系统152上。例如，标识154可以是光学编码(例如条形码、快速响应码、记号或某种颜色)、一个或多个螺纹和/或一个或多个机械部件的编码、某种形状、一定的重量、声带、钢雕刻、射频应答器、磁性带芯片卡或磁性颜色。
因此，可以通过电磁识别、光学识别、机械识别、磁性识别或其组合来识别光学系统152。
基于测量样本和/或光学特性，可以产生训练数据156。这些训练数据可以如同训练数据那样产生，其中，训练数据156仅仅或者特别地与光学系统152关联。训练数据156可以基于测量样本—这些测量样本可以含有通过光学系统152获取的图像—来产生，或者基于仿真借助于光学系统152的OTF或相关的PSF来产生。
由于可以将测量样本和光学系统的光学特性指配给该光学系统152，因此也可以将训练数据156指配给该光学系统152。因此，训练数据156可以根据标识154予以存储。如图1所示，这些数据156可以根据标识154存储在数据存储器144中。在一些实施例中，一个或多个数据存储器114、128和144可以是相同的。例如，所有训练步骤110、120和130都可以在光学系统152的制造商那里执行。替代地，也可以在光学系统152的用户处执行各个训练步骤110、120和130，例如微调130。
可以使用光学系统152的标识154或相应于标识154的识别号来访问具有测量样本和/或光学系统152的特性的数据组，或者访问具有与光学系统相关联的训练数据156的数据组。在一些实施方式中，这些数据组可以存储在制造商的服务器上或存储在云中。例如，用户可以借助授权凭证如用户名和密码或光学系统152的识别号访问这些数据组。
在训练步骤140中，可以微调来自训练步骤120的神经网络130。以下示范性地借助神经网络130说明微调。但替代地也可以进一步微调来自其他来源例如神经网络用户的神经网络。
微调是指，使得先前训练过的、已经可以识别基本图像特征的神经网络适应于新的未知数据组。神经网络，例如神经网络130，可以以矫正某些图像误差的方式进行预训练。为此可以使用尽可能广泛的数据组。对于具体的光学机构或具体的光学系统例如某个镜头，于是可以通过微调来改善预测精度，即输出图像的图像质量，其方式为，利用该镜头产生(较小的)训练数据组156，并“微调”即调整预训练的网络130。这种微调方式可以在光学系统的制造商处进行。但替代地，也可以在客户或第三方处进行微调。可以针对特定光学系统或者一个或多个特定样本进行微调。例如，这些一个或多个特定样本可能不包含在原始训练数据组中或代表性不足。因此，通过微调可以改善神经网络的预测精度。在微调时，可以在新数据上训练预训练的神经网络，其学习速度(“学习率”)低1-2个数量级。该意义下的“学习率”是数值优化的比例因子，它决定了改变所学习的模型参数的步长。如果这个值很大，模型可以在更少的步骤中收敛，但也存在模型参数再次偏离最优值的风险。在微调时，可以假设预训练的参数已经接近最优值。因此，与步骤120中的训练相比，可以减小步长或学习速度，以找到损失函数的全局最小值。由此可以防止由模型参数表示的模型的现有“知识”不会因太大的步骤而破坏。
训练数据组156可用于微调神经网络130。在微调时，已存在的神经网络例如神经网络130可以用作进一步训练的基础。进一步的训练包括：只训练神经网络的一部分。在这里，神经网络的一些参数是固定的或不可改变的，而其余参数可以通过进一步的训练来影响或改变。这可以实现快速训练。可以根据参数在神经网络中的位置，以不同的学习率进行进一步的训练。
为了对训练数据156进行进一步训练，可以使用各种不同的深度学习方法。在一些实施方式中，神经网络150借助第二神经网络被训练为损失函数。这可以如在图1中的训练步骤120中那样完成。
通过进一步的训练，产生了自适应的神经网络150，它是专门为光学系统152训练的。因此可以实现使得神经网络150单独适应于具体的光学系统152(例如镜头)，同时，矫正网络130的能够矫正某些光学误差的基本特性得以保留。
自适应的神经网络150可以连同光学系统152的标识154，或者与对应于标识154的识别号一起，存储在数据存储器、服务器或云中。在一些实施方式中，自适应的神经网络150在服务器或云上实施和使用。因此，服务器或云被设计用于借助自适应的神经网络150矫正图像中的光学成像误差。例如，有误差的图像可以上传到云端或服务器上。借助自适应的神经网络150，于是可以生成并提供无误差的或误差减少的图像。可以借助标识154或光学系统152的相应标识号来访问自适应的神经网络150。例如，用户可以借助诸如用户名和密码的授权凭证来访问自适应神经网络150。用户的授权凭证可以通过购买或接收光学系统获得。替代地，镜头或光学系统152可以是图像记录系统的一部分，并且神经网络150可以在图像记录系统上实施。
因此，可以单独考虑在光学系统的制造中出现的在制造公差范围内的差异，并且可以结合将自适应神经网络150应用于通过光学系统152获取的图像，来改进光学系统152的光学性能。。
在一些实施方式中，可以针对一种类型的或一种构造方式的光学系统而不是个体的光学系统进行微调。在这里，可以微调借助通过不同类型的光学系统生成的训练数据被训练过的矫正网络130，其中，结合一种类型的光学系统创建训练数据156。在这种情况下，自适应神经网络150可以与这种类型的光学系统的标识一起存储。
图2示出了用于矫正光学成像误差的神经网络200的工作方式的示意图。神经网络200可以包括如图1中被训练过的矫正网络130或自适应神经网络150。神经网络被设计用于减少或去除图像210中的光学成像误差，其方式为，神经网络200产生无误差的或误差减少的图像220。输入图像210可以含有一个或多个光学成像误差，例如渐晕。替代地或附加地，图像210还可含有一个或多个光学成像误差，例如散光、彗差、色彩像差、球面像差、图像场曲、畸变、高斯误差或散焦。像差可能是由于技术原因造成的。例如，光学系统元件(透镜和反射镜)的尺寸偏差和形状偏差、光学系统元件相对于其规定位置的偏差、光学系统透镜的由制造引起的偏差折射率、在光学机构或光学系统的玻璃中的不均匀性(条纹，或光学机构的固有应力和框架引起的应力—其可导致应力双折射，与所获取的图像中的像差有关。
如果将神经网络200应用于有误差的图像210或将该有误差的图像210输入到神经网络中，则神经网络200可以从图像210生成输出图像220。在输出图像220中，可以减少或消除一种或多种光学成像误差。这可以表示为，在输出图像220中或在输出图像220的区域中的图像质量(例如细节对比度)大于在输入图像210或输入图像的相应区域中的图像质量。
神经网络200的应用与神经网络200的训练的区别在于所使用的数据组。在训练中，将一个或多个有误差的图像输入到神经网络中，并且调整神经网络的内部参数，使神经网络的输出图像尽可能与给定输出图像匹配。在使用神经网络时，图像数据通过神经网络一次，并且神经网络生成输出图像作为预测。
神经网络可以表示结果，其中，这些结果是通过至少一种深度学习过程和/或至少一种深度学习方法学习到的。这些神经网络通过自动学习以合适的方式将收集到的知识浓缩到特定的任务集合中，从而使特定任务今后可以自动化并以最高质量执行。
成像和/或图像记录系统可以被设计用于获取一个或多个图像，其中，一个或多个所获取的图像中的一个或多个光学成像误差与成像和/或图像记录系统的至少一部分相关联。一个或多个图像可以包括能通过神经网络200予以处理的图像210。成像和/或图像记录系统可以包括光学系统，例如镜头、光学机构或各个透镜、照相层、sCMOS(“科学互补金属氧化物半导体”)或CCD(“电荷耦合器件”)传感器或者一个或多个散射玻片。在一些实施方式中，可以存储一个或多个所获取的图像，并且可以将一个或多个所存储的图像输入到神经网络200中。替代地，可将一个或多个所获取的图像直接输入到神经网络200中，并且仅存储一个或多个经矫正的图像。
图3示出了装置300，其包括一个或多个处理器310和一个或多个存储介质320。装置300可以包括成像和/或图像记录系统。替代地，装置300也可以与成像和/或图像记录系统在空间上分离，并且经由网络(例如无线电网络)与成像和/或图像记录系统连接。在这种情况下，该装置可以包括工作站计算机、服务器、微型计算机、计算机或嵌入式计算机。
一个或多个处理器310可以包括计算加速器，如机器学习(ML)和/或深度学习(DL)专用集成电路(ASIC)上的图形处理单元(GPU)、张量处理单元(TPU)或现场可编程门控阵列(FPGA)或至少一个中央处理单元(CPU)。专用集成电路(英文：“Application SpecificIntegrated Circuit”，ASIC，也称为定制芯片)是一种可以作为集成电路实现的电子电路。由于其架构适用于特定问题，因此ASIC的工作效率非常高，并且比功能等效地通过微控制器中的软件实现要快得多。张量处理单元(TPU)，也称为张量处理器，是特定于应用的芯片，并且与CPU相比，可以加速在机器学习范畴内的应用程序。这种或类似的专用硬件可用于最佳地解决深度学习任务。特别地，对神经网络的使用需要比训练即模型的开发少几个数量级的计算能力，也适用于常见的CPU。
此外，在一些实施方式中，该装置可以包括一个或多个神经网络330。借助一个或多个神经网络330，使得装置300能够借助人工智能(AI)来矫正或最小化图像中的光学成像误差。一个或多个神经网络330可由一个或多个处理器310运行。运行神经网络330需要的计算能力比训练或开发神经网络少几个数量级。
通过在装置300上实施神经网络330，该装置获得了额外的“智能”。装置300因此能够独立地解决期望的任务。由此得到了认知扩展的装置300。认知扩展意味着，该装置可以通过使用神经网络(或深度学习模型)或其他机器学习方法而能够在语义上识别和处理图像内容或其他数据。
此外，装置300可以包括一个或多个组件340。例如，一个或多个组件340可以包括用户界面和/或用于将神经网络下载到装置300上的界面。在一种实施方式中，一个或多个组件340包括用于获取图像的图像记录系统。
在一些实施方式中，装置300可以用于训练神经网络330。为此，装置300可以包括用于确定用来矫正光学成像误差的神经网络的装置。存储在一个或多个计算机可读的存储介质320上的计算机可执行的指令，当这些指令由一个或多个处理器310执行时，可引起执行根据图1和/或图4的方法中的一个或一些部分。
图4示出了用于确定用来矫正光学成像误差的第一神经网络的根据本发明的(计算机实施的)方法400的一个实施例的示意性流程图。方法400包括步骤418，在该步骤中确定一个或多个图像，以便借助这些图像确定第一神经网络(步骤420)。确定418一个或多个图像可以包括：确定用于训练第一神经网络的训练图像。对训练数据或训练图像的确定可以包括：与一个或多个光学系统或者一种或多种类型(构造方式)的光学系统和/或一种或多种样本相关地进行一次或多次测量和/或一次或多次模拟，以便产生训练数据。替代地，可以为了训练而确定存储在数据库中或由第三方提供的训练数据。训练数据包括一个或多个图像对，其中，这些图像对含有带误差的输入图像和无误差的或误差减少的给定输出图像。
在任选的步骤410中，可以准备训练。在步骤410中，可以确定训练条件。这可以包括：确定第二个神经网络作为第一个神经网络(要训练的神经网络)的损失函数。例如，这可以通过训练第二个神经网络来完成。替代地，该确定可以包括：从多个神经网络中选出第二神经网络，其中，多个神经网络已经针对不同的样本类型进行了训练，并且第二神经网络根据样本类型来选择。第二神经网络可以在与第一神经网络的后续应用目的相关的样本类型上训练过或被训练。第二神经网络可以被设计用来基于作为第二神经网络的输入值的图像进行预测，例如分类。
在步骤420中，借助来自步骤418的训练数据，训练第一神经网络。在步骤420中的训练期间，找到第一神经网络的内部参数(例如权重“W”和阈值“B”)，这些参数使得多个输入到第一神经网络中的输入图像最优地或尽可能地映射到给定输出图像。因此，第一神经网络能够由图像生成新图像，并解决与训练数据相关的任务。可以训练第一神经网络，以便去除或减少图像中的一个或多个光学成像误差，使得输入图像例如具有比第一神经网络的相应输出图像更低的细节对比度或更低的清晰度。
在步骤426中，确定光学系统。为了能够清楚地识别该光学系统，可以为该光学系统指配一个标识。为此，可以为光学系统设置单独的编码。这可以在光学系统的制造期间完成。
在步骤428中，确定个体的训练数据。在一些实施方式中，确定个体的训练数据包括：确定单独的在步骤426中确定的光学系统的光学特性。这可以包括对光学系统的测量和/或模拟。例如，可以为单独的光学系统确定光学传递函数OTF。这可以在光学系统制造期间或之后完成。可以借助光学系统的标识清楚地将光学系统指配给OTF。在这种情况下，可以基于光学系统的光学特性来生成个体的训练数据以进行微调。借助对OTF的了解，可以产生图像对作为个体的训练数据，因为OTF描述了相关光学系统的光学成像误差。
在步骤430中，可以微调在步骤420中已确定的第一神经网络。在这里，进一步训练第一神经网络，以获得自适应的(第三)神经网络。可以针对特殊应用来训练自适应神经网络。例如，可以借助在步骤428中生成的个体的训练数据，进一步训练第一神经网络。因此，可以针对单独的光学系统专门训练自适应的(第三)神经网络。替代地，也可以针对特定应用目的进一步训练第一神经网络，其方式为，使用特定样本类型的训练数据(与特定应用目的相关)进行微调。
在步骤430中的进一步训练(微调)时，这些个体的训练数据可用于进一步训练被预训练的(第一)神经网络的至少一部分。例如，只有神经网络的内部参数的一部分可以根据进一步的训练而改变，其中，其余的内部参数不能通过进一步的训练来改变。这使神经网络能够快速地单独地适应于特定的应用目的，例如矫正在由特定光学系统获取的图像中的光学成像误差。
通过微调神经网络，可以不断改进这些神经网络，和/或可以指定神经网络的应用领域。这可以有利地通过仅训练神经网络中的几个节点来完成。例如，轻微受损的光学系统会影响利用该受损的光学系统获取的图像的质量。通过根据本发明的方法来微调和/或训练神经网络，可以确定用于矫正这些误差的神经网络。
在另一步骤440中，可以把自适应的神经网络提供给第三方，在装置上使用，其中，该装置与光学系统相关联，或者存储在云中、服务器或另一数据存储器上。
可以借助机器学习(ML)方法来矫正与光学系统的制造和工作方式相关的各种不同的光学像差。所描述的ML方法包括算法，机器可以利用这些算法从经验中学习，并且这些算法可以来自所谓的“深度学习”(DL)，一种特定类型的神经网络。对成像误差的有效矫正能够更有利地生产高性能镜头，因为可以矫正具有明显更大图像误差的镜头的成像误差，特别是在同一系列的各个样本之间的较大波动。由此，一方面，可以通过允许更大的公差分布来补偿各镜头之间的公差。此外，可以设计相应的镜头，使得其在光轴上的成像质量优化。图像场边缘的光学矫正不必那么高，因为它可以通过神经网络予以矫正。例如，也可以在设计镜头时，根据通过镜头或软件后处理(神经网络的应用)矫正的复杂程度，评估成像误差。通过ML/DL网络特别容易矫正的误差，可以在镜头的构造/设计中不太重要。
附图标记清单
110、120、140 训练步骤
112 方法步骤
114、128、144 数据存储器
116、130、150 神经网络
122、124 方法步骤
126 图像对
136 损失函数
142 方法步骤
152 光学系统
154 标识
156 各个训练数据
200 神经网络
210 带有光学成像误差的图像
220 矫正的图像
300 装置
310 处理器
320 存储介质
330 神经网络
340 组件
400 方法
410–440 方法步骤
Claims (22)
1.一种用于确定用来矫正光学成像误差的神经网络(130；200；330)的方法，包括以下步骤：
确定(418)一个或多个图像，其中，所述一个或多个图像至少部分地与光学系统(152)或光学系统(152)的构造方式相关；
根据所确定的一个或多个图像来确定(420)神经网络(130；200；330)，其方式为，把所确定的神经网络(130；200；330)应用到通过所述光学系统(152)获取的图像(210)上，输出针对一个或多个光学成像误差矫正的图像(220)。
2.如权利要求1所述的方法，其特征在于，确定(418)所述神经网络(130；200；330)包括：训练所述神经网络(130；200；330)。
3.如权利要求2所述的方法，其特征在于，确定(420)所述一个或多个图像包括：确定训练图像，所述训练图像包括多个图像对(126)，
其中，训练所述神经网络(130；200；330)包括：对所述训练图像进行训练，其中，所述多个图像对(126)中的每个图像对分别包括用于所述神经网络(130；200；330)的输入图像(Xi)且包括给定输出图像(y0)。
4.如权利要求3所述的方法，其特征在于，所述训练图像从所获取的图像生成，其中，所获取的图像是借助一个或多个光学系统和/或利用所述光学系统(152)获取的，并且，
其中，所述一个或多个光学系统中没有一个、其一部分或者全部是与所述光学系统(152)属于同一类型的，和/或，
其中，所获取的图像描绘了一种或多种类型的样本。
5.如权利要求3所述的方法，其特征在于，通过模拟光学成像误差来生成所述训练图像。
6.如权利要求3所述的方法，其特征在于，所述方法还包括以下步骤：确定用于所述光学系统(152)或用于至少部分地与所述光学系统(152)相同类型的一些光学系统的至少一个光学传递函数OTF或至少一个点扩散函数PSF，其中，通过将无误差的图像与至少一个点扩散函数PSF之一的卷积来生成所述多个图像对(126)的输入图像，其中，把无误差的图像用作所述多个图像对(126)的相应的给定输出图像。
7.如权利要求3～6中任一项所述的方法，其特征在于，训练所述神经网络(130；200；330)包括：对所述训练图像和其他数据进行训练，其中，所述其他数据包括以下中的至少一个：与所述训练图像相关联的参数数据、验证数据、与所述光学系统(152)的制造相关的测量数据、关于实验或测量过程的数据、试剂和材料的信息、对象或样本的信息、所述光学系统(152)的信息、用户相关数据、用户输入及图像采集系统的信息。
8.如权利要求2～7中任一项所述的方法，其特征在于，所述神经网络(130；200；330)是第一神经网络(130；200；330)，并且，训练所述第一神经网络(130；200；330)包括：使用第二神经网络(136)，其中，所述第二神经网络(136)用作用于训练所述第一神经网络(130；200；330)的损失函数。
9.如权利要求1～8中任一项所述的方法，其特征在于，所述方法还包括以下步骤(140)：对所确定的所述神经网络(130；200；330)予以微调(430)。
10.如权利要求9所述的方法，其特征在于，所述微调(430)包括仅训练所确定的所述神经网络(130；200；330)的一部分，其中，所确定的所述神经网络(130；200；330)的一个或多个参数在所述微调(430)期间保持不变，和/或，
其中，所述微调(430)包括专门针对所述光学系统(152)的训练，和/或，
微调的神经网络(150)可以明确地指配给所述光学系统(152)。
11.如权利要求9和10中任一项所述的方法，其特征在于，所述方法还包括以下步骤：生成(428)用于所述微调(430)的个体的训练数据(156)，其中，生成(428)所述个体的训练数据(156)包括：确定(142)所述光学系统的光学特性，和/或，借助所述光学系统(152)来获取测量样本，其中，基于所述光学特性和/或所述测量样本来生成所述个体的训练数据(156)。
12.如权利要求11所述的方法，其特征在于，所述方法包括以下步骤：存储所述测量样本、所述光学特性和/或所述个体的训练数据(156)，和/或，
其中，把所述测量样本、所述光学特性和/或所述个体的训练数据(156)明确地指配给所述光学系统(152)。
13.如权利要求1～12中任一项所述的方法，其特征在于，可明确地和/或自动地识别所述光学系统(152)，和/或，
可以把所述神经网络(130；200；330)明确地指配给所述光学系统(152)。
14.如权利要求13所述的方法，其特征在于，所述光学系统(152)可通过电磁识别、光学识别(154)、机械识别或磁识别进行识别。
15.如权利要求1～14中任一项所述的方法，其特征在于，所述方法包括以下步骤：
将所确定的神经网络(130；200；330)应用于所获取的数据(210)，其中，所获取的数据(210)通过所述光学系统(152)或相同类型的光学系统获取。
16.如权利要求1～15中任一项所述的方法，其特征在于，所述一个或多个光学成像误差包括如下光学成像误差中的至少一个：散光、渐晕、彗差、色彩像差、球面像差和散焦。
17.如权利要求1所述的方法，其特征在于，对所述神经网络(130；200；330)的确定(420)包括：借助一个或多个图像来训练所述神经网络(130；200；330)，其中，所述神经网络(130；200；330)在所述训练期间学习对象和/或结构在所述一个或多个图像中理想地看起来如何，并且矫正与其的偏差。
18.如权利要求1～17中任一项所述的方法，其特征在于，所述光学系统(152)是显微镜的成像和/或图像记录系统、显微镜系统、照相机、智能手机、望远镜、移动式计算机、固定式计算机或测量设备的一部分。
19.一种用来矫正光学成像误差的装置(300)，包括：
一个或多个处理器(310)；
一个或多个计算机可读的存储介质(320)，在该存储介质上存储着计算机可执行的指令，这些指令在其由所述一个或多个处理器(310)执行时引起：
通过成像和/或图像记录系统来获取一个或多个图像(210)，其中，在一个或多个所获取的图像(210)中的一个或多个光学成像误差与所述成像和/或图像记录系统的至少一部分相关；和，
将神经网络(130、150；200；330)应用于一个或多个所获取的图像(210)，其中，所述神经网络(130、150；200；330)被设计用来从一个或多个所获取的图像(210)中生成一个或多个相应的矫正图像(220)，从而在一个或多个矫正后的图像(220)中矫正或减少一个或多个光学的成像误差。
20.如权利要求19所述的装置(300)，其特征在于，存储一个或多个所获取的图像(210)，并将所述神经网络(130、150；200；330)应用于一个或多个被存储的所获取的图像(210)，或者，
将所述神经网络(130、150；200；330)直接应用于一个或多个所获取的图像(210)，并且仅存储一个或多个矫正后的图像(220)。
21.如权利要求19和20中任一项所述的装置(300)，其特征在于，所述成像和/或图像记录系统的至少一部分包括光学系统、照相层、sCMOS或CCD传感器或者或一个或多个散射玻片。
22.一种计算机程序，包括指令，这些指令在由计算机执行所述计算机程序时引起该计算机实施根据权利要求1～18中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018222147.2A DE102018222147A1 (de) | 2018-12-18 | 2018-12-18 | Optikkorrektur durch Maschinenlernen |
| DE102018222147.2 | 2018-12-18 | ||
| PCT/EP2019/084553 WO2020126720A1 (de) | 2018-12-18 | 2019-12-11 | Optikkorrektur durch maschinenlernen |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113228096A true CN113228096A (zh) | 2021-08-06 |
Family
ID=69061278
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980084312.6A Pending CN113228096A (zh) | 2018-12-18 | 2019-12-11 | 通过机器学习进行光学矫正 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11972542B2 (zh) |
| EP (1) | EP3899861A1 (zh) |
| JP (1) | JP7192128B2 (zh) |
| CN (1) | CN113228096A (zh) |
| DE (1) | DE102018222147A1 (zh) |
| WO (1) | WO2020126720A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019129695A1 (de) * | 2019-11-04 | 2021-05-06 | Carl Zeiss Microscopy Gmbh | Verfahren zum Vorbereiten eines Mikroskops für das Abbilden einer Probe |
| CN114981836A (zh) * | 2020-01-23 | 2022-08-30 | 三星电子株式会社 | 电子设备和电子设备的控制方法 |
| CN113379635A (zh) * | 2021-06-18 | 2021-09-10 | 北京小米移动软件有限公司 | 图像处理方法及装置，模型训练方法、装置及存储介质 |
| WO2023234674A1 (ko) * | 2022-05-30 | 2023-12-07 | 삼성전자 주식회사 | 신경망 모델을 이용한 영상 신호 처리 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| WO2024053046A1 (ja) * | 2022-09-08 | 2024-03-14 | オリンパスメディカルシステムズ株式会社 | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103809290A (zh) * | 2014-01-21 | 2014-05-21 | 北京理工大学 | 一种光学系统面形误差相互补偿优化方法 |
| WO2018037521A1 (ja) * | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
| CN108885682A (zh) * | 2016-02-26 | 2018-11-23 | 谷歌有限责任公司 | 使用神经网络处理细胞图像 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282822B2 (en) * | 2016-12-01 | 2019-05-07 | Almalence Inc. | Digital correction of optical system aberrations |
| CN106778867B (zh) * | 2016-12-15 | 2020-07-07 | 北京旷视科技有限公司 | 目标检测方法和装置、神经网络训练方法和装置 |
| US10755428B2 (en) * | 2017-04-17 | 2020-08-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model |
| JP6957197B2 (ja) | 2017-05-17 | 2021-11-02 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| CN107730469A (zh) * | 2017-10-17 | 2018-02-23 | 长沙全度影像科技有限公司 | 一种基于卷积神经网络cnn的三片简单透镜图像复原方法 |
| CN108550125B (zh) * | 2018-04-17 | 2021-07-30 | 南京大学 | 一种基于深度学习的光学畸变修正方法 |
| JP7414430B2 (ja) | 2018-10-04 | 2024-01-16 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体 |
-
2018
- 2018-12-18 DE DE102018222147.2A patent/DE102018222147A1/de active Pending
-
2019
- 2019-12-11 WO PCT/EP2019/084553 patent/WO2020126720A1/de unknown
- 2019-12-11 JP JP2021535195A patent/JP7192128B2/ja active Active
- 2019-12-11 EP EP19829003.3A patent/EP3899861A1/de active Pending
- 2019-12-11 CN CN201980084312.6A patent/CN113228096A/zh active Pending
- 2019-12-11 US US17/414,390 patent/US11972542B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103809290A (zh) * | 2014-01-21 | 2014-05-21 | 北京理工大学 | 一种光学系统面形误差相互补偿优化方法 |
| CN108885682A (zh) * | 2016-02-26 | 2018-11-23 | 谷歌有限责任公司 | 使用神经网络处理细胞图像 |
| WO2018037521A1 (ja) * | 2016-08-25 | 2018-03-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、記憶媒体 |
Non-Patent Citations (2)
| Title |
|---|
| HAOZHANG等: "High-throughput, high-resolution Generated Adversarial Network Microscopy", ARXIV.ORG，CORNELL UNIVERSITY LIBRARY, pages 1 - 22 * |
| HONGDA WANG等: "Deep learning achieves super-resolution in fluorescence microscopy", BIORXIV, pages 1 - 19 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020126720A1 (de) | 2020-06-25 |
| EP3899861A1 (de) | 2021-10-27 |
| JP2022514580A (ja) | 2022-02-14 |
| JP7192128B2 (ja) | 2022-12-19 |
| DE102018222147A1 (de) | 2020-06-18 |
| US11972542B2 (en) | 2024-04-30 |
| US20220051373A1 (en) | 2022-02-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113228096A (zh) | 通过机器学习进行光学矫正 | |
| US11226481B2 (en) | Methods and apparatuses for designing optical systems using machine learning with delano diagrams | |
| US20220067588A1 (en) | Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model | |
| US11971368B2 (en) | Determination method, elimination method and apparatus for electron microscope aberration | |
| JP2005537526A (ja) | パターンの分類および決定価値の査定を学習するための方法および装置 | |
| CN111967573A (zh) | 数据处理方法、装置、设备及计算机可读存储介质 | |
| CN112200887B (zh) | 一种基于梯度感知的多聚焦图像融合方法 | |
| CN114764189A (zh) | 用于评估图像处理结果的显微镜系统和方法 | |
| CN110555820A (zh) | 基于卷积神经网络和动态引导滤波的图像融合方法 | |
| Qu et al. | Dat: Training deep networks robust to label-noise by matching the feature distributions | |
| CN111783936B (zh) | 卷积神经网络构建方法、装置、设备及介质 | |
| CN115272136A (zh) | 基于大数据的证件照眼镜反光消除方法、装置、介质及设备 | |
| Zhao et al. | Representing camera response function by a single latent variable and fully connected neural network | |
| CN109815796B (zh) | 人脸识别通过率的影响因素的测试方法及装置 | |
| Lehmann et al. | Resolution and accuracy of non-linear regression of PSF with artificial neural networks | |
| CN113052294A (zh) | 用于模拟第二摄影机物镜的方法及配置方法和电影摄影机 | |
| JP2021056928A (ja) | 最適解獲得プログラム、最適解獲得方法および情報処理装置 | |
| Wei et al. | Blurring kernel extraction and super-resolution image reconstruction based on style generative adersarial networks | |
| EP4202869A1 (en) | Method and apparatus for determining at least one optical parameter of at least one spectacle lens | |
| CN117351448B (zh) | 一种基于YOLOv8改进的偏振图像道路目标检测方法 | |
| CN117474037B (zh) | 基于空间距离对齐的知识蒸馏方法及装置 | |
| Lopez-Fuentes et al. | Image vignetting reduction via a maximization of fuzzy entropy | |
| WO2021111831A1 (ja) | 情報処理方法、情報処理システム及び情報処理装置 | |
| JP2023157332A (ja) | 学習装置、デプスマップ生成装置、及びプログラム | |
| Gwak et al. | Modeling nonstationary lens blur using eigen blur kernels for restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |