CN115439397A - 用于无卷积图像处理的方法和装置 - Google Patents

用于无卷积图像处理的方法和装置 Download PDF

Info

Publication number
CN115439397A
CN115439397A CN202210617342.2A CN202210617342A CN115439397A CN 115439397 A CN115439397 A CN 115439397A CN 202210617342 A CN202210617342 A CN 202210617342A CN 115439397 A CN115439397 A CN 115439397A
Authority
CN
China
Prior art keywords
output
image
layer
layers
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210617342.2A
Other languages
English (en)
Inventor
M·阿姆托尔
D·哈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN115439397A publication Critical patent/CN115439397A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于在显微术中通过人工神经网络将输入图像无卷积地图像处理成输出图像的方法、装置以及计算机程序产品，该神经网络具有至少一个由层组成的收缩路径、至少一个由层组成的扩展路径和至少一个滤波器内核。所述方法包括在人工神经网络的一个或多个层中确定在至少一个滤波器内核与先前层的输出之间的相似性度量。所述方法还包括在收缩路径的至少一个层中降低先前层的输出的分辨率并且在扩展路径的至少一个层中提高先前层的输出的分辨率。在此，人工神经网络的第一层将输入图像作为先前层的输出进行处理并且人工神经网络的最后层的输出是输出图像。

Description

用于无卷积图像处理的方法和装置
技术领域
本发明涉及在显微术中通过人工神经网络将输入图像无卷积地处理成输出图像。
背景技术
本发明原则上可以应用于任何类型的图像处理，即，在神经网络中将输入图像加工和处理成输出图像。人工神经网络(KNN)也被称为仅神经网络，这是一种特殊形式的机器学习，其可被多样地用于图像处理。对此的一些示例如下：
图像去噪(英语为denoising或noise reduction，简称NR)，其中，神经网络可以从噪声较强烈的图像中再次生成噪声较低的图像。
超分辨率(英语为super resolution)，也称为高分辨率或分辨率改善，其中，神经网络可以提高图像的分辨率。在此，尤其是可以通过较高的计算耗费来实现较高的质量。这种方法尤其是应用于医学目的、天体对象的摄影、图像数据的取证分析、生命细胞成像等等。
去卷积(英语为deconvolution)，由此同样能够增强图像的分辨率，其方式为逆计算先前应用的卷积。点扩散函数(PSF，英语为point spread function)描述源与所记录的信号的卷积。去卷积然后尝试再次撤销通过PSF描述的效果。为了去卷积，可以使用已知的PSF。但是也存在所谓的盲去卷积(英语为blind deconvolution)，其中不必已知PSF。
另一个应用领域例如是成像人员的人为老化或年轻化，其有时也通过生成对抗网络(GAN，英语为generative adversarial network)实现。GAN是监督式学习的一部分并且包括两个人工神经网络，其中，其中一个人工神经网络、即生成器修改图像(所谓的候选)并且另一个人工神经网络、即鉴别器对候选进行评估。两者都在其学习中顺便提到其结果，从而在要实现的目标的意义上不断改进候选，其中，生成器尝试学习生产如下图像，鉴别器不能将所述图像与真实图像进行区分，而鉴别器尝试学习将生成器的变得越来越好的候选与真实的实际的图像进行区分。
压缩检测(英语为compressed sensing、compressive sensing、compressivesampling或sparses ampling)，其中，神经网络可以检测并且重建图像数据中的稀疏的信号或信息源。因为信息基于其冗余而能够在没有显著的信息损失的情况下被压缩，所以这在采集信号时与常规方法相比有效地用于显著降低采样率。
虚拟着色或染色(英语为virtual staining)是指在显微术的情景下通过图像分析和处理从源对比度(例如明场)的相应图像产生目标对比度(例如荧光)的图像。尤其是，在此使用基于深度学习的图像到图像方法，但是也使用其它机器学习模型。具体地，在过去使用基于卷积神经网络(英语为convolutional Neural Network，CNN)的深度学习方法。在这些网络中，卷积是核心运算。
图1A例如示出以相位对比图像拍摄细胞，而图1B示出用某种染料(例如4’,6-二脒-2-苯基吲哚，简称DAPI，作为荧光染料，其在荧光显微术中用于标记DNS(脱氧核糖核酸，英语DNA代表脱氧核糖核酸)对其染色之后的同一细胞区域。图1B象征表示以荧光对比度拍摄的照片并且应表示细胞对染料的良好接受。由于细胞根据类型和性质不能始终同样良好地接受染料，并且染色也是耗费复杂的，并且此外可能不利地影响样品质量，因此值得期望的是，虚拟地通过神经网络来模拟着色。这例如可以在图1C中看出，其中，传统卷积网络给图1A中的样品虚拟染色。
本发明也可应用于其它类型的图像处理或图像改善。
实际上，研究机构也及制造商越来越多地重视虚拟着色。然而，在迄今为止的方法中始终使用卷积神经网络(CNN)。
CNN中的卷积运算基于乘法并且因此是复杂的数学函数，其复杂度根据计算时间和能量而付出代价。
发明内容
本发明的任务是，消除现有技术的这些缺点并且提出一种用于在神经网络中进行图像处理的改进的或至少替代的方法。
所述任务通过根据权利要求的装置和方法来解决。
附图说明
为了更好地理解本发明，借助以下附图详细阐述本发明。
分别在极度简化的示意图中：
图1A示出以相位对比度图像拍摄的细胞样品，
图1B示出以荧光对比度拍摄的细胞样品，
图1C示出根据现有技术的通过CNN给图像1A虚拟着色的图像处理结果，
图1D示出根据本发明的通过无卷积神经网络给图像1A虚拟着色的图像处理结果，
图2示出根据本发明的用于图像处理的无卷积神经网络的示例性结构，以及
图3示出根据本发明的在无卷积神经网络中的图像处理的示例性过程。
首先要注意的是，在不同地描述的实施方式中，相同元件设有相同附图标记或相同元件名称，其中，在整个说明书中包含的公开内容可以符合意义地转用到具有相同附图标记或相同元件名称的相同元件上。在说明书中选择的方位说明、例如上、下、侧等也涉及直接描述的以及示出的附图，并且这些方位说明在方位改变时可符合意义地转用到新的方位上。
具体实施方式
在本发明中描述了一般用于图像到图像映射的无卷积(亦即不基于CNN)的解决方案并且描述了虚拟着色作为示例性的应用情况。
下面描述根据本发明的用于在显微术中通过神经网络将输入图像无卷积地图像处理成输出图像的方法，该神经网络具有至少一个由层组成的收缩路径、至少一个由层组成的扩展路径和至少一个滤波器内核。
图像处理优选是图像回归或图像到图像映射。
所述方法包括在KNN的一个或多个层中确定在至少一个滤波器内核与先前层的输出之间的相似性度量。此外，所述方法包括在收缩路径的层中的一个或多个层中降低先前层的输出的分辨率，以及在扩展路径的层中的一个或多个层中提高先前层的输出的分辨率，其中，KNN的第一层将输入图像作为先前层的输出进行处理并且KNN的最后层的输出是输出图像。
已知乘法比加法更慢，但在用于虚拟着色的已知解决方案中始终使用CNN。
图2示出根据本发明的用于图像处理的无卷积神经网络的示例性结构。图3示出根据本发明的在无卷积神经网络中的图像处理的示例性过程。
将输入图像210输入到其中。这然后在第一层220和230中进行处理。
在图3中所示的流程包括收缩路径220和230以及扩展路径240、250和260。这些路径从流程上与常规卷积网络的路径相似。然而，在这里取代层中的常规卷积层，不应用卷积运算，而是应用更有效率的逐元素求和运算。
在此，重复确定在收缩路径中的在元素220中的相似性度量并且然后降低分辨率230，以用于增加通道的数量，例如用于使通道的数量加倍，从而相应地减少图像的维度。
收缩路径也可被称为编码路径(英语为encoder path)，并且其函数例如可以通过跨步(英语为striding)或池化(英语为pooling)来实现。
在收缩路径的末端，处理进入所谓的瓶颈(英语为bottleneck)，在该瓶颈的层中通过逐元素求和函数来实施非线性变换。在此，分辨率和通道数量保持相同。
在扩展路径中，在元素240中通过提高分辨率以及进一步应用对相似性度量250确定来再次降低通道的数量、例如将通道的数量减半。分辨率的提高优选不是通过转置卷积(英语为transposed convolution)实现，而是例如通过双线性插值实现，以便再次获得输出分辨率。
扩展路径也可以被称为解码路径(英语为decoder path)，并且其函数除了双线性插值之外例如也可以通过其它类型的插值或通过转置的逐元素求和函数来实现。
可选地，可以使用跳跃连接(英语为skip connections)270，即，在收缩路径中复制图像的一部分并且将其转移到扩展路径中，分离的部分260在那里再次合并，以改善(相应层的)输出图像。
在此，跳跃连接可以有助于在输出图像中重建精细结构。因此，可能出现的由于分辨率提高所产生的模糊(Weichzeichnen)可以借助插值来补偿。由于丢失边缘像素，可能需要裁剪。
替代地或附加地，可以使用残差连接(residual connections)。在此，从一个层的开始到该同一层的结束或者从第一层到最后层实现恒等函数。在此，在残差学习(英语为residual learning)的范围内实现残差训练(英语为residual training)，即，不是学习结果图像，而是仅学习输入图像和输出图像(一个层或第一层的输入和最后层的输出)之间的残差。这通常对于图像改善是更简单的并且细节(如锐边)仍然保留。
图3在此示出具有23个层的网络，然而其它数量的层也是可能的。此外可能的是，在一些层中也不进行降低、提高或确定。
在进行相似性度量确定的层220和250中，各一个滤波器内核在图像上运行，从而增加通道的数量，但降低维度。
在此，相似性度量可以被实施为求和运算并且是内核与输入图像之间的相似性的计量单位。
因为总和在此逐元素地形成，所以求和函数被称为逐元素的。也就是说，当内核移动经过待处理的图像时，滤波器内核的像点(像素)的值分别与图像的位于其下方的像点通过求和运算(加法或减法)相互连接。这些结果再次被相加。
一种可能的变型方案在于，使用蓝图可分离卷积(BSConv)(DE102019130930)。在这里所描述的3D滤波器可以借助于在那里所描述的滤波器分离来近似。为此，滤波器被表示为以逐点(英语为pointwise)运算和深度或者说逐层(英语为depthwise)运算的顺序。在所提及的文献中，这些运算是卷积。在应用本发明时，可以通过应用无卷积度量来至少替换深度卷积。在此，逐点运算也可以理解为各个2D滤波器的加权并且由此理解为纯乘法并且因此同样是无卷积的。
通过这两种运算的顺序的变形，然后得出用于“蓝图可分离卷积”的等效方案(当首先实施逐点运算并且然后实施深度运算时)，或在相反的顺序中得出用于“深度可分离卷积”的等效方案(当首先实施深度运算并且然后实施逐点运算时)。其它细节可以从以下公开物中获得：Daniel Haase和Manuel Amthor的“Rethinking Depthwise SeparableConvolutions:How Intra-Kernel Correlations Lead to Improved MobileNets”，以及Andrew G.Howard等人的“MobileNets:Efficient Convolutional Neural Networks forMobile Vision Applications”。
此外，滤波器也可以在空间上分离。
因此，求和函数例如可以是针对输入图像的图像元素与滤波器内核的图像元素之间的每个图像通道的图像元素的距离的总和。也就是说，对于每个像点、即像素，在内核移动经过输入图像时，计算在内核的每个像素与输入图像的位于其下方的像素之间的距离。
利用例如以下的公式，层的输出可以通过求和函数来确定：
Figure BDA0003673773710000061
其中，A是具有cA通道的输出图像，E是具有cE通道的输入图像，F是具有维度d和e的滤波器内核，并且D是距离函数。
借助上述公式，对于在相应通道cA中的每个位置xA,yA，求取用于输出图像的相应值。在此，标号i、j和k在相应的范围上延伸：i和j在内核的维度d和e上延伸。其中，这些标号也可以是相同的，即d＝e。因此，内核例如可以具有3×3像素的大小，或者也可以具有2×3、3×4等的大小。
在上述公式中的距离函数可以根据p范数形成。因此，可以利用L1范数来计算简单的距离，即作为像素值的差值的和。
也可以利用L2范数来计算距离，即作为像素值的差值的平方和。
所有其它的p范数也可相应地被用作距离计算。在此也可以相应地应用其它距离函数。
替代地，相似性度量可以根据径向基函数或多项式函数来形成。在这种情况下，使用所谓的RBF内核或多项式内核，其中，这些内核不能与神经网络的滤波器内核互换(或者说混淆)。因此，这些名称在此不被继续用于相似性度量，而是内核或滤波器内核始终涉及神经网络的一个或多个内核或滤波器内核。
可选地，可以在最后层中实施回归251。这例如可以在常见的全连接层(英语为fully connected layer)中实现。
但优选的是，回归251同样通过逐元素求和函数来实施，所述求和函数可以与之前在层中的求和函数相同，但也可以不同地构造，其方式为例如使用其它距离。另一个选择是例如通过批量归一化来归一化相似性度量的确定。这种归一化可以可选地包括缩放运算和移动运算(英语为scale&shift operation)。尽管如此，回归251也可以通过卷积、更准确地说通过1×1卷积实现。
可以与回归251无关地、但在每层之后可选地实施归一化。对于归一化，代替批量归一化，也可以使用群组归一化(英语为group normalization)或实例归一化(英语为instance normalization)。也可以使用任何其它已知的归一化。仅作为示例列举批量归一化、群组归一化和实例归一化。可选地，在任何归一化的情况下可以应用缩放运算和移动运算。
然而如开头所述，除了虚拟着色之外，图像处理可以是任何其它类型的图像处理，尤其是任何类型的图像改善，诸如去噪、超分辨率、去卷积或压缩检测。
在处理结束时存在输出图像280。
借助于在此所描述的方法也可以训练神经网络。存在产生源对比度(例如宽场)和目标对比度(荧光)的训练数据的可能性。这也可以利用不同的样品/仪器相互独立地进行。为此，然后需要记录源数据和目标数据(从而它们能彼此关联)或者使用不需要记录的模型，例如循环GAN。循环GAN是一种技术，在该技术中在没有配对的示例的情况下自动训练图像到图像转换模型。在使用来自源域和目标域的图像的集合的情况下无监管地训练模型，这些图像不必以任何方式彼此关联。
然而，使用常规GAN技术同样也是可行的。
为了使用如这里所述的神经网络，存在产生源对比度的可能性，从该源对比度可以映射到虚拟荧光上。
图1D示出根据本发明的通过无卷积神经网络对图像1A进行虚拟着色(即通过没有卷积运算的神经网络进行虚拟着色)的图像处理的结果280。结果显示，即使没有卷积网络(CNN)也能够运行虚拟着色。
另一实施例是一种用于在显微术中利用人工神经网络将输入图像无卷积地图像处理成输出图像的装置、优选计算机，该人工神经网络具有至少一个由层组成的收缩路径、至少一个由层组成的扩展路径和至少一个滤波器内核。该装置包括计算单元，该计算单元被配置用于在人工神经网络的一个或多个层中确定在至少一个滤波器内核与先前层的输出之间的相似性度量。该计算单元还被配置用于在收缩路径的一个或多个层中降低先前层的输出的分辨率并且在扩展路径的一个或多个层中提高先前层的输出的分辨率。在此，人工神经网络的第一层将输入图像作为先前层的输出进行处理并且人工神经网络的最后层的输出是输出图像。
以上提及的用于方法的修改同样适用于该装置。
另外的实施例示出可行的实施变型方案，其中，在此处应当注意，本发明不限于具体示出的实施变型方案本身，而是更确切地说也是多种多样的。另一实施方式是一种具有用于数据处理装置的程序的计算机程序产品，该计算机程序产品包括软件代码段，所述软件代码段用于当在数据处理装置上执行程序时执行上述方法的步骤。
这种计算机程序产品可以包括计算机可读介质，在该计算机可读介质上存储软件代码段，其中，所述程序能被直接加载到数据处理装置的内部存储器中。
各个实施变型方案彼此间的组合是可能的，并且这些变化可能性基于通过本发明所给出的用于技术处理的教导而处于本领域技术人员的能力范围之内。
保护范围由权利要求书确定。然而，应采用说明书和附图来解释权利要求。从所示出的和描述的不同实施例得出的单个特征或特征组合本身可以构成独立的有创造性的解决方案。这些独立的有创造性的解决方案所基于的任务能够从说明书中得出。
在本说明书中所有关于值范围的说明应理解为，该值范围包括其任意的和所有的子范围，例如1至10的说明应理解为包括自下限1起至上限10的所有子范围，即，以下限1或更大值开始并且在上限10或更小值中结束的所有子范围，例如1至1.7、或3.2至8.1、或5.5至10。
最后出于规范起见要指出的是，为了更好地理解结构，元件部分不按比例地和/或放大地和/或缩小地示出。
附图标记列表
210 输入图像
220 确定收缩路径中的相似性度量
225 确定瓶颈中的相似性度量
230 降低分辨率
240 提高分辨率
250 确定扩展路径中的相似性度量
251 回归
260 跳跃连接的附加块
270 跳跃连接
280 输出图像

Claims (15)

1.用于在显微术中通过人工神经网络将输入图像(210)无卷积地图像处理成输出图像(280)的计算机实现方法，该人工神经网络具有至少一个由层组成的收缩路径(220、230)、至少一个由层组成的扩展路径(240、250、260)和至少一个滤波器内核，其中，所述方法包括：
在所述人工神经网络的一个或多个层中确定在至少一个滤波器内核与先前层的输出之间的相似性度量(220、225、250)；
在所述收缩路径(220、230)的一个或多个层中降低所述先前层的输出的分辨率，并且
在所述扩展路径(240、250)的一个或多个层中提高所述先前层的输出的分辨率，
其中，所述人工神经网络的第一层将输入图像(210)作为所述先前层的输出进行处理并且所述人工神经网络的最后层的输出是输出图像(280)。
2.根据前述权利要求中任一项所述的方法，其中，所述相似性度量使用逐元素求和函数。
3.根据前述权利要求中任一项所述的方法，其中，所述相似性度量使用针对在所述先前层的输出的图像元素与所述滤波器内核的图像元素之间的每个图像通道的图像元素的距离的总和。
4.根据前述权利要求中任一项所述的方法，其中，通过如下函数求取层的输出
Figure FDA0003673773700000011
其中，A是具有cA通道的层的输出，E是具有cE通道的先前层的输出，F是具有维度d和e的滤波器内核，并且D是相似性度量，并且
其中，上述公式为相应通道cA中的每个位置xA,yA求取层的输出的相应值。
5.根据前述权利要求中任一项所述的方法，其中，所述相似性度量构成为根据p范数构成的、优选根据L1范数构成的距离函数，
所述相似性度量根据径向基函数构成，或
所述相似性度量根据多项式函数构成。
6.根据前述权利要求中任一项所述的方法，
其中，所述滤波器内核在两个维度方面是一样大的，即d＝e，
其中，通过跨步或池化来实施在至少一个收缩路径中的降低，和/或
其中，通过双线性插值、其它类型的插值或通过转置的逐元素求和函数来实施在至少一个扩展路径中的提高。
7.根据前述权利要求中任一项所述的方法，其中，所述方法还包括在一个或多个层中应用跳跃连接(260、270)，所述跳跃连接补充(240)提高扩展路径中的分辨率，以改善相应层的输出。
8.根据前述权利要求中任一项所述的方法，其中，在所述最后层中实施回归(251)，和/或
其中，所述最后层是全连接层，或
其中，所述回归(251)使用另外的逐元素求和函数。
9.根据前述权利要求中任一项所述的方法，其中，所述方法在一个或多个层之后还包括归一化，优选通过群组归一化、实例归一化或批量归一化实现所述归一化，其中，所述归一化可以包括缩放运算和移动运算。
10.根据前述权利要求中任一项所述的方法，其中，所述图像处理是虚拟着色、去噪、超分辨率、去卷积、压缩检测或其它类型的图像改善。
11.根据前述权利要求中任一项所述的方法，其中，所述方法用于训练神经网络。
12.根据权利要求11所述的方法，其中，在生成对抗网络训练的范围内利用另外的神经网络来实施所述训练。
13.用于在显微术中利用人工神经网络将输入图像(210)无卷积地图像处理成输出图像(280)的装置、优选计算机，所述人工神经网络具有至少一个由层组成的收缩路径(220、230)、至少一个由层组成的扩展路径(240、250、260)和至少一个滤波器内核，其中，所述装置被配置用于执行根据前述权利要求中任一项所述的方法，并且所述装置包括计算单元，所述计算单元被配置用于：
在所述人工神经网络的一个或多个层中确定在至少一个滤波器内核与先前层的输出之间的相似性度量(220、225、250)；
在所述收缩路径(220、230)的一个或多个层中降低所述先前层的输出的分辨率；并且
在所述扩展路径(240、250)的一个或多个层中提高所述先前层的输出的分辨率，
其中，所述人工神经网络的第一层将输入图像(210)作为所述先前层的输出进行处理并且所述人工神经网络的最后层的输出是输出图像(280)。
14.具有用于数据处理装置的程序的计算机程序产品，所述计算机程序产品包括软件代码段，所述软件代码段用于当在数据处理装置上执行所述程序时执行根据权利要求1至13中任一项所述的步骤。
15.根据权利要求14所述的计算机程序产品，其中，所述计算机程序产品包括计算机可读介质，在所述计算机可读介质上存储所述软件代码段，其中，所述程序能被直接加载到所述数据处理装置的内部存储器中。
CN202210617342.2A 2021-06-02 2022-06-01 用于无卷积图像处理的方法和装置 Pending CN115439397A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021114350.0A DE102021114350A1 (de) 2021-06-02 2021-06-02 Verfahren und Vorrichtung zur faltungsfreien Bildverarbeitung
DE102021114350.0 2021-06-02

Publications (1)

Publication Number Publication Date
CN115439397A true CN115439397A (zh) 2022-12-06

Family

ID=84102221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210617342.2A Pending CN115439397A (zh) 2021-06-02 2022-06-01 用于无卷积图像处理的方法和装置

Country Status (3)

Country Link
US (1) US20220398703A1 (zh)
CN (1) CN115439397A (zh)
DE (1) DE102021114350A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116188612A (zh) * 2023-02-20 2023-05-30 信扬科技(佛山)有限公司 图像重建方法、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019130930A1 (de) 2019-11-15 2021-05-20 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren mit Ausführen eines faltenden neuronalen Netzes

Also Published As

Publication number Publication date
US20220398703A1 (en) 2022-12-15
DE102021114350A1 (de) 2022-12-08

Similar Documents

Publication Publication Date Title
Wei et al. 3-D quasi-recurrent neural network for hyperspectral image denoising
Lan et al. MADNet: a fast and lightweight network for single-image super resolution
US10593021B1 (en) Motion deblurring using neural network architectures
Zhao et al. Discrete cosine transform network for guided depth map super-resolution
CN108062754B (zh) 基于密集网络图像的分割、识别方法和装置
Shi et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network
Zhang et al. Adaptive residual networks for high-quality image restoration
Wang et al. Deep networks for image super-resolution with sparse prior
Yang et al. Fast image super-resolution based on in-place example regression
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
Lai et al. Deep plug-and-play prior for hyperspectral image restoration
Zhang et al. LR-Net: Low-rank spatial-spectral network for hyperspectral image denoising
Shi et al. Unsharp mask guided filtering
Liu et al. Effective image super resolution via hierarchical convolutional neural network
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
Wei et al. Deep unfolding with normalizing flow priors for inverse problems
Cao et al. New architecture of deep recursive convolution networks for super-resolution
KR102319643B1 (ko) 점 확산 함수 레이어를 가진 뉴럴 네트워크를 이용한 현미경 영상 처리 방법 및 그 장치
CN112529777A (zh) 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法
Fu et al. Nonlocal spatial–spectral neural network for hyperspectral image denoising
CN115439397A (zh) 用于无卷积图像处理的方法和装置
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN112633260B (zh) 视频动作分类方法、装置、可读存储介质及设备
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination