CN114846382A - 具有卷积神经网络实现的显微镜和方法 - Google Patents

具有卷积神经网络实现的显微镜和方法 Download PDF

Info

Publication number
CN114846382A
CN114846382A CN202080077686.8A CN202080077686A CN114846382A CN 114846382 A CN114846382 A CN 114846382A CN 202080077686 A CN202080077686 A CN 202080077686A CN 114846382 A CN114846382 A CN 114846382A
Authority
CN
China
Prior art keywords
filtering
matrix
weights
convolution
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080077686.8A
Other languages
English (en)
Other versions
CN114846382B (zh
Inventor
曼努埃尔·阿姆托尔
丹尼尔·哈泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN114846382A publication Critical patent/CN114846382A/zh
Application granted granted Critical
Publication of CN114846382B publication Critical patent/CN114846382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种用于处理显微镜图像以产生图像处理结果的方法，包括：执行卷积神经网络，其中第一卷积层(100)从由显微镜图像形成的输入张量(10)计算输出张量(20)。输出张量(20)被输入到卷积神经网络的一个或多个进一步的层中，以便计算图像处理结果。第一卷积层(100)包括多个过滤卷积核(15A‑15M)。至少多个过滤卷积核(15A‑15M)分别由至少一个具有学习参数(L1‑L9，L11‑L19)过滤矩阵(15A1‑15M1)和具有隐式参数的从属过滤矩阵(15A2‑15AN，15M2‑15MN)表示，所述隐式参数由学习参数(L1‑L9，L11‑L19)和一个或多个要学习的权重(W)确定，其中不同过滤卷积核(15A‑15M)的具有学习参数(L1‑L9,L11‑L19)的过滤矩阵(15A1‑15M1)彼此不同，且输出张量(20)的不同层由不同的过滤卷积核(15A‑15M)计算。

Description

具有卷积神经网络实现的显微镜和方法
技术领域
本公开涉及一种实现卷积神经网络的方法。本发明还涉及一种被配置为实现该方法的机器可读存储介质和显微镜。
背景技术
卷积神经网络(CNN)用于各种不同的应用。示例包括图像处理、图像分割或分类、或图像中对象的检测。神经网络可以是机器学习算法的一部分，特别是深度学习算法。例如，在US2019/0333199A1中描述了具有经过训练的用于图像处理的深度神经网络的显微镜。
神经网络的输入数据可以是图像或从用显微镜捕获的待分析样本的图像中获得。这种通用显微镜包括：用于照亮待分析样本的光源；用于引导来自样本的检测光的物镜；用于通过来自物镜的检测光捕获显微镜图像的相机；以及计算设备，配置为处理显微镜图像并输出图像处理结果。
一种通用方法包括运行卷积神经网络，其中通过第一过滤层或卷积层从输入张量计算输出张量。第一卷积层包括一个或多个过滤卷积核。
在本公开的意义上，输入张量被理解为是多维数据阵列，其应用用于生成输出张量的计算。在三维输入张量的情况下，这可以对应于，例如，输入数据的N个二维矩阵。输入张量也可以称为激活图或特征图。它可以是前一个卷积层生成的输出张量，也可以是从这样的输出张量导出的，或者由原始数据形成。输入张量的维数原则上可以是任意数或大于/等于三的数。输入张量可以由包含在一个或多个列表中或由其形成的预定输入数据形成。输入张量的深度也可以限定为通道数。例如，输入张量可以是通道对应不同颜色的图像；具体的，RGB颜色可以有三个通道。在CNN的后续层中，输入张量的深度通常要高得多，例如大于100或1000。
前面对输入张量的描述也比照适用于输出张量，输出张量通常被称为特征图。
过滤卷积核或过滤卷积核也可以称为过滤器、卷积核、滤芯，或，在3D过滤卷积核的情况下，深度为N的卷积矩阵/过滤矩阵(即，具有N个二维过滤矩阵)。术语卷积矩阵/过滤矩阵旨在说明数学卷积将与输入张量一起发生，特别是离散卷积。可以计算过滤卷积核与输入张量的当前底层部分的内积，以便计算输出张量的一个值。卷积计算方法本身可以采用不同的形式，例如，可以先将输入张量的矩阵转换为向量，然后将其与由过滤卷积核形成的矩阵或由其形成的向量一起应用于计算。
为了说明的目的，参考图1描述了实现现有技术的卷积神经网络的卷积层100'。
图1示意性示出了输入张量10'，其与M个过滤卷积核12A-12M卷积，由此计算输出张量20'。输入张量10'的尺寸为X×Y×N，即数量为Y行，X列，深度方向为N，即N个不同的二维X×Y层。
M个过滤卷积核12A-12M中的每一个都具有K×K×N的尺寸，即N层的二维K×K矩阵。经常使用3×3矩阵或5×5矩阵，其中N可以远大于K，例如大于100或1000。
输入张量10'与M个过滤卷积核12A-12M的卷积生成输出张量20'，在所示示例中其尺寸为X*Y*M。输出张量20'的深度相应地由过滤卷积核M的数量确定。卷积计算以已知方式发生，例如如DE102017113733A1的图8-9中所示并简要描述如下：输出张量的每个X×Y×1层通过图1的过滤卷积核12A-12M中任一计算。该过滤卷积核(或其反射)的每个K×K×1过滤层乘以输入张量的相应层的一部分。这发生在所有N层上，并且各自的子结果相加在一起形成一个标量。输入张量的使用部分在其位置方面对应于输出张量中计算值的位置。通过在输入张量10'上滑动过滤卷积核，计算输出张量20'的一个X×Y×1层的不同值。M个过滤卷积核的下一个过滤卷积核与输入张量10'的卷积产生输出张量20'的下一个X×Y×1层。
这里过滤卷积核12A-12M的值/条目总数为K*K*N*M。这个值的数量构成了使用训练数据通过机器学习算法确定的参数。然后可以将已设置过滤卷积核值的部分学习机器学习算法应用于输入张量，以处理或评估此数据。要学习的参数K*K*N*M的数量可以非常多，例如大于100,000。待确定的大量参数增加了计算和硬件要求。即使使用专用硬件进行这些计算，所需的时间消耗仍然是一个相关因素。因此，希望提供一种尽可能高效的过滤卷积核设计，其中过滤卷积核充分利用输入张量中包含的信息，并通过机器学习算法对训练数据过度拟合来降低风险。该设计应进一步促进尽可能快的计算，并对输入张量的数据变化具有鲁棒性。
例如，在现有技术的以下文献中描述了CNN：
[1].克里热夫斯基，亚历克斯；萨茨克维尔，伊利亚；欣顿,杰弗里·E。基于深度卷积神经网络的Imagenet分类。在：神经信息处理系统的进展.2012.第1097-1105页。
[2].肖莱特，弗朗索瓦。Xception：深度可分离卷积的深度学习。在：IEEE计算机视觉和模式识别会议论文集.2017.第1251-1258页。
[3].安多拉，福雷斯特N.，等人。SqueezeNet：AlexNet级别的精度，参数减少50倍，模型大小<0.5MB。arXiv预印本arXiv：1602.07360，2016。
[4].霍华德，安德鲁G.，等人。Mobilenets：用于移动视觉应用的高效卷积神经网络。arXiv预印本arXiv：1704.04861，2017。
[5].谭明兴(TAN,Mingxing)；LE，QuocV。EfficientNet：对卷积神经网络模型缩放的再思考。arXiv预印本arXiv：1905.11946，2019。
[6].拉斯特加里，穆罕默德等人。Xnor-net：使用二元卷积神经网络的Imagenet分类。在：欧洲计算机视觉会议。施普林格，卡姆，2016年。第525-542页。
[7].约菲，谢尔盖；塞格迪，克里斯蒂安。批量标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。
[8].佐夫，巴雷特等人。学习用于可扩展图像识别的可迁移架构。在：IEEE计算机视觉和模式识别会议论文集。2018。第8697-8710页。
[9].谭明兴(TAN,Mingxing)等人。Mnasnet：面向移动设备的平台感知神经架构搜索。在：IEEE计算机视觉和模式识别会议论文集。2019。第2820-2828页。
引用的出版物具体的描述了以下CNN，以下将对其进行更详细的讨论：
-Xception[2]
-SqueezeNet[3]
-移动网络[4]
-高效网络[5]
-NasNet/MNasNet[8,9]
-XNOR网络[6]。
这些算法使用不同的技术来减少参数的数量以及CNN的计算时间。这些技术可以大致分为：微架构改编，其中CNN的单个构建块被其他构建块替换，例如，深度可分离卷积[2,4,5]的实现；宏观架构改编，其中CNN的整个架构都进行了改编，例如自动搜索新架构[4,5]；微架构和宏观架构改编的混合体[6]；经过训练的模型的后处理，例如量化模型参数的压缩或删除可忽略不计的CNN构建块的剪枝。
这些技术可能具有以下缺点：
-微架构改编：深度可分离卷积[2,4,5]的实现导致卷积核的无效利用，因为每个卷积核只卷积一个而不是所有输入通道。由此存在学习冗余以及导致模型中会保留大量不必要的参数的风险。
-宏观架构改编：自动搜索新架构[8,9]导致资源消耗非常大(例如，几个GPU月)。
-后处理：通过剪枝产生的网络并不优于同等规模的架构。此外，架构的剪枝、压缩或减少通常会导致性能损失。相比之下，如下所述，使用本发明可以在保持甚至提高性能的同时实现参数减少。这归因于积极的正则化效应，它可以防止可能发生的过度改编，例如，在非常深的网络中[2,8]。这对于小型数据集特别地有利。
为了将本发明与现有技术的深度可分离卷积(DSC)划界，参考图3描述了DSC。图3示出了由N层二维矩阵10'A到10'N组成的输入张量10'，通过卷积计算从中计算具有M层二维矩阵20'A到20'M的输出张量20'。在DSC中，这不是通过单个卷积操作来实现的，而是通过连续执行的两个卷积操作来实现的。在第一操作中，输入张量10'的N层中的每一层与各个过滤卷积核13A-13N进行卷积，由此计算张量(中间张量)14。每个过滤卷积核13A-13N的深度为1，因此是K×K矩阵，例如一个5×5矩阵。在图示的情况下，输入张量10'具有深度N＝3，从而通过将输入张量10'的第一层10'A与过滤卷积核13A卷积来计算中间张量14的第一层14A，中间张量14的第二层14B通过将输入张量10'的第二层10'B与过滤卷积核13B进行卷积来计算，并且通过输入张量10'第三层10'N与过滤卷积核13N进行卷积来计算中间张量14的第三层14N。中间张量14现在与1×1×N过滤卷积核16A进行卷积/矩阵相乘，由此计算输出张量20'的层20'A。M个不同的这种过滤卷积核16A-16M用于从中间张量14计算输出张量20'的M个层20'A到20'M。M的值可以任意设置，根据输出张量20'所需要的深度。
为了计算输出张量20'的一层，例如，层20'A中，第一卷积操作的所有过滤卷积核13A-13N和第二卷积操作的一个过滤卷积核16(即过滤卷积核16A)由此被使用。该过程中使用的过滤卷积核的所有条目都是要学习的参数。
输出张量20'的不同层是用第一卷积操作的相同过滤卷积核13A-13N计算的。这在输出张量20'的不同层20'A到20'M之间产生了相互依赖关系。在图3所示的例子中。在图3中，要学习的参数的数量是K*K*N+N*M，因此比图1中所示的情况要少。在图1中，过滤卷积核12A-12M的所有条目都是要学习的参数，即K*K*M*N个参数。
可以在西弗，劳伦特；马拉特，斯蒂芬“用于图像分类的刚体运动散射”博士论文，2014，http://www.cmapx.polytechnique.fr/～sifre/research/phd_sifre.pdf中找到使用深度可分离卷积的神经网络的具体示例的描述。如在本文档中图6.3所示，单层的卷积计算是通过两个连续的卷积操作来实现的，以与本申请图3类似的方式。然而，与图3相反的，第一次卷积操作中的过滤卷积核的数量不等于输入张量的深度(图6.3中的Dm)；相反，作为过滤卷积核的数量是原来的Km倍，由此中间张量的深度不是Dm,，而是Dm*Km.。否则，本申请与图3相关的解释也适用于本文件。
用于图像处理的卷积神经网络的进一步实现描述于：郭云辉(GUOYunhui)等人：“深度卷积是你学习多个视觉领域所需的全部”，arXiv：1902.00927v2，2019年2月19日，https://arxiv.org/abs/1902.00927。
发明内容
可以认为本发明的一个目的是提供一种用于处理显微镜图像的方法、一种计算设备和一种显微镜，其可以从显微镜图像计算图像处理结果，特别是分类、图像分割或对象识别，通过卷积神经网络以特别稳健的方式，对看不见的显微镜图像具有特别高的普遍性。
该目的通过具有权利要求1的特征的方法、根据权利要求14的计算设备和具有权利要求15的特征的显微镜来实现。
本发明的方法、计算设备和显微镜的有利变体是从属权利要求的目的并且也在以下描述中进行解释。
根据本发明在上述类型的方法中，过滤卷积核中的至少一个可以由至少一个具有学习参数的过滤矩阵和具有隐式参数的从属过滤矩阵来表示，这些隐式参数是通过学习参数(这个过滤卷积核的过滤器矩阵的)和一个或多个要学习的权重来确定。
被配置为由计算设备执行实现根据本发明的方法的程序代码存储在本发明的机器可读存储介质上。
在前述引用的显微镜中，根据本发明，计算设备被配置为从捕获的显微镜图像计算输入张量并执行根据本发明的方法。
与本发明相关的初步研究是使用其中所有条目都是可自由学习的参数的常规过滤卷积核进行的。这些参数的具体值是通过机器学习算法的训练步骤确定的。在此过程中，确定了不同层/深度(N)的参数值之间的高度相关性。这如图2所示，其显示了图1的过滤卷积核12M的N层。本示例中，K×K×N过滤卷积核12M为3×3×22过滤卷积核，且不同的灰度代表不同的数值。在过滤卷积核12M中，K×K×1过滤矩阵的N层12M1至12MN清楚地表现出彼此之间的高相关性。在不同的训练数据集和机器学习应用程序中观察到了这种相关性。相关性的存在表明大量相互独立的参数(在过滤卷积核12M的情况下为K*K*N，即图2中的3*3*22＝198)不一定是必需的。相反，可以预先确定K×K×1过滤矩阵与该过滤卷积核的剩余过滤矩阵之间的从属关系，从而具有类似的结果可以显著减少要学习的参数数量。这种从属关系不同于前面参考图3描述的深度可分离卷积技术的依赖关系。在本发明的引用变体中，输出张量的一个层通过包含一个具有要学习的参数的K×K×1过滤矩阵的过滤卷积核计算，而该过滤卷积核的剩余层依赖于K×K×1过滤矩阵，例如因为每一层是由一个要学习的因子乘以所述K×K×1过滤矩阵形成的。另一方面，在图3的应用中，输出张量的层是通过相互独立的过滤卷积核13A-13N计算的；他们的值可以自由地相互学习。因此，本发明在用于计算输出张量层的过滤卷积核内采用参数减少(卷积核内参数减少)，这使得可以利用在实验中观察到的冗余或从属性。在图3的示例中，相比之下，没有卷积核参数减少，而是卷积核间参数减少(输出张量的不同层通过相同的过滤卷积核13A-13N计算)。
事实证明，要学习的参数数量减少不仅可以加快计算速度，还可以提高机器学习算法的鲁棒性，尤其是在训练数据量较小的情况下。这归因于参数减少作为一种正则化的事实，它可以防止神经网络过度拟合训练数据。为了促进有效计算，可以使用特别的1x1分组卷积，与标准卷积层相比，它提供了巨大的速度优势。由于参数数量的减少，也有利于深度神经网络的可选可视化。
在现有技术中，参数减少部分是通过后处理来实现的。在这种情况下，训练所需的资源消耗(内存、时间、能量)保持不变。相比之下，使用本发明，从一开始就只需要学习较少数量的参数，从而在训练阶段只需要一小部分计算资源。
在这里使用的术语中，具有学习参数的过滤矩阵表示过滤卷积核的矩阵，例如3D过滤卷积核的2D矩阵。更高的维度也是可能的，这里使用的术语卷积矩阵/过滤矩阵表示过滤卷积核的一层。学习参数表示其值将由机器学习算法使用训练数据来学习的参数。特别地，参数(学习参数)的数量可以等于矩阵的大小，即在3×3矩阵的情况下可以有九个学习参数。该过滤卷积核的其他矩阵旨在依赖于该具有学习参数的过滤矩阵，因此称为“具有隐式参数的过滤矩阵”。名称“隐式参数”旨在说明这些参数不是相对于彼此独立/自由地学习的。相反，隐式参数是通过对具有学习参数的过滤矩阵的数学依赖性来描述的，其中还应用了至少一个要学习的权重。例如，具有学习参数的过滤矩阵可以乘以要学习的权重，以形成任一具有隐式参数的过滤矩阵。根据这个例子，在3×3过滤矩阵的情况下，一个带有隐式参数的过滤矩阵总共包含9个值/条目，但仅由要学习的单个权重值和具有有学习参数的3×3过滤矩阵定义。
将要学习的权重与具有学习参数的过滤矩阵的乘法仅应理解为实施的示例。其他数学关系也是可能的。此外，本发明的优点已经至少部分地通过要学习的参数数量的少量减少来实现。因此可以定义要学习的权重数量的上限，使得要学习的所有权重的数量加上所有学习参数的数量小于所述的过滤卷积核或所有过滤卷积核的大小。过滤卷积核的“大小”旨在表示其条目的数量；在图1的示例中，过滤卷积核的大小为K×K×N，所有M个过滤卷积核的大小为K×K×N×M。
为了更大程度地减少要学习的参数数量，可以规定以所述方式形成卷积层的不仅是一个，而且是多个或所有过滤卷积核。在这种情况下，这些过滤卷积核中的每一个分别使用至少一个(或恰好一个)具有学习参数的过滤矩阵，其中不同过滤卷积核的具有学习参数的过滤矩阵可以相互独立。因此，例如，如果有M个大小为K×K×N的过滤卷积核，则可以有M个具有K*K学习参数的过滤矩阵。要学习的权重与带有学习参数的过滤矩阵一起使用，以确定剩余的过滤矩阵(“从属过滤矩阵”)。可选地，相同的学习参数可以用于不同的过滤矩阵，以进一步减少要学习的参数的数量。
在本发明的意义上，过滤卷积核中的至少一个是“可表示的”，以具有学习参数的过滤器矩阵和要学习的权重来描述的方式。通过“可表示的”，理解不同的具体数学公式或计算方法，它们在结果方面等于所描述的过滤卷积核，因此可以由这样的过滤卷积核来表示。因此，一方面，任一过滤卷积核或每个过滤卷积核可以分别由与输入张量卷积的主体(body)形成，该主体由至少一个具有学习参数的过滤器矩阵和要学习的权重形成。因此，如果学习参数和权重是已知的或预先确定的，则该主体的每个条目都是完全确定的。主体在此被理解为表示多维数字块。在替代实施方式中，任一所述过滤卷积核(或每个过滤卷积核，分别)通过至少一个第一主体(学习参数主体)和一个第二主体(权重主体)来实现，它们被依次应用于计算中，具体的与输入张量卷积。这可以通过深度卷积与逐点卷积相结合来实现。第一主体包括或由具有学习参数的过滤矩阵形成，特别是没有要学习的权重。深度为N的所有层可以等于此处所述具有学习参数来的过滤矩阵，即卷积计算始终使用相同的具有学习参数的K×K×1过滤矩阵。另一方面，第二个主体包括或(仅)由要学习的权重形成，并且完全没有学习参数。在X×Y×N输入张量的情况下，权重体因此可以是形状为1×1×N的向量。这两个主体现在可以与输入张量进行卷积，其中两个卷积计算的顺序原则上并不重要。在本发明的意义上，使用两个这样的主体被认为可能是所述过滤卷积核的表示。特别是，包含要学习的权重的第二个主体可以乘以输入张量(与1×1×N主体的卷积)；如果输入张量的大小为X×Y×N，则输入张量的每一X×Y×1层分别乘以一个权重，即X×Y×1层的每个条目乘以相同的权重，而根据本发明的变体，不同的X×Y×1层可以乘以不同的权重或(部分地)乘以相同的权重。然后与第一个体进行卷积，原则上可以由单独的K×K过滤矩阵或由每个K×K×1层相等的K×K×N过滤矩阵形成。一种简单的计算方法，可以先将乘以权重的输入张量的N层相加，形成一个X×Y×1的主体，从而只需待计算与一个K×K×1的过滤矩阵(其可以包含学习参数)卷积。在卷积操作的逆序中，X×Y×N输入张量首先与具有学习参数的K×K×1过滤矩阵或K×K×N过滤矩阵进行深度卷积，其中K×K×N过滤矩阵每个K×K×1层可以相同，即输入张量的每一层X×Y×1层分别与K×K×1过滤矩阵进行卷积，得到的主体深度为N；然后这个得到的主体与1×1×N权重主体逐点卷积，由此得到的主体的深度为1，从而形成输出张量的一层。
在本发明的一些变体中，任一从属过滤矩阵通过将一过滤矩阵要学习的权重与学习参数相乘来形成。对于所述从属过滤矩阵的不同隐含参数，每个学习参数乘以相同的权重。在其他变体中，权重是通过激活函数应用的，即通过非线性函数，例如sigmoid函数，例如反正切函数。权重可以是激活函数的参数，且后者的结果应用于计算，例如乘以具有学习参数的过滤矩阵以确定从属过滤矩阵。或者，激活函数的参数可以通过在应用计算中形成，例如通过相乘，权重和学习参数以及激活函数的结果构成任一从属过滤矩阵的条目(隐式参数)。在另一个实施例中，输出张量的条目被输入到激活函数中，并且由此计算的张量作为该卷积层的结果被输出。
要学习的权重旨在建立过滤卷积核的不同层之间的相关性。因此，权重在过滤卷积核的不同层之间创建了相互依赖关系。这是为了减少要学习的值的总数。按照惯例，这个要从一个过滤层学习的值的总数通常等于这个过滤层的所有过滤卷积核的条目(＝元素)的总数。为了达到减少要学习的值的数量，所有过滤卷积核的要学习的权重的数量加上所有学习参数的数量要小于所有过滤卷积核的元素总数。为了更显著地减少要学习的值的数量，可以选择每个过滤卷积核要学习的权重数量，使其小于或等于该过滤卷积核的从属过滤器矩阵的数量。因此，对于一个过滤卷积核的每个从属过滤矩阵，可以只使用一个要学习的权重；或者，例如，相同的要学习的权重用于相同过滤卷积核的多个从属过滤矩阵。
下面描述了不同的实施例，它们显著减少了要学习的值/参数的数量，同时描述了过滤卷积核中的适当从属关系，从而在机器学习应用中实现了高鲁棒性：
可以规定，每个过滤卷积核仅包括单个具有学习参数的过滤矩阵或者两个或更多个具有学习参数的过滤矩阵。该过滤卷积核的所有剩余的从属过滤器矩阵可以分别由要学习的权重和具有学习参数的过滤器矩阵来定义，或者通过在利用具有学习参数的过滤器矩阵的计算中应用的多个权重来定义。还可以规定，相同的要学习的权重用于任一过滤卷积核的所有或一些从属过滤器矩阵。
当过滤卷积核中的至少一个包括两个或多个具有学习参数的过滤矩阵时，该过滤卷积核的从属过滤矩阵可以由具有与权重链接的学习参数的过滤矩阵的组合形成。例如，从属过滤矩阵可以表示为两个或多个具有学习参数的过滤矩阵的线性组合，它们分别乘以权重。剩余的过滤卷积核可以以相同的方式形成，或者可以在它们所包含的具有学习参数的过滤矩阵的数量方面有所不同。
同一卷积层不同过滤卷积核的具有学习参数的过滤矩阵可以不同，也可以相互独立。或者，过滤卷积核中的至少一个可以不包括其自己的具有学习参数的过滤矩阵，而是根据一个或多个剩余过滤卷积核中的一个或多个具有学习参数的过滤矩阵形成。在过滤卷积核包括两个或更多个具有学习参数的过滤矩阵的情况下，不同的过滤卷积核也可以共享具有学习参数的过滤矩阵并且另外包括不同的具有学习参数的过滤矩阵。
可选地，相同的要学习的权重可以用于多个或所有过滤卷积核中的每个从属过滤器矩阵。这进一步减少了要学习的参数的数量，同时进一步提高了机器学习应用程序的鲁棒性。
本发明的变体利用多个卷积层，特别是用于深度学习的实施例。如关于第一卷积层所描述的那样形成至少一些卷积层。可以为不同的卷积层选择本公开中描述的不同实施方式。第二卷积层的第二输入张量由第一卷积层的输出张量形成。原则上，输出张量可以直接用作第二输入张量，尽管也可以使用可选的中间层，例如激活层和/或池化层。当应用于输出张量或由其形成的张量时，池化层从多个相邻值形成新张量的相应值，该新张量可以是第二输入张量或从其计算第二输入张量。例如，在平均池化中，形成多个相邻值的平均值，并在新张量中使用。在一个最大池化中，在新张量中使用多个相邻值的相应最大值。这允许输入张量中的特征具有一定的平移不变性。
第二卷积层包括多个过滤卷积核，这些过滤卷积核被称为第二过滤卷积核，以便将它们与第一卷积层的过滤卷积核区分开来。借助第二过滤卷积核，从第二输入张量计算出第二输出张量。至少一些第一卷积层的过滤卷积核的要学习的权重可以同时用作确定第二过滤卷积核的从属过滤矩阵的权重。这允许进一步减少参数。第一和第二卷积层的过滤卷积核通常可以具有不同的深度。为了利用共同的权重，使第一卷积层的权重适配第二卷积层的不同深度是可取的。为此，可以采用沿第一卷积层中的深度使用的权重的线性组合，以便形成用于第二卷积层的第二过滤卷积核的权重。例如，如果第一个卷积层的过滤卷积核的深度为N，而第二个过滤卷积核的深度为2N，则可以在两者之间插值两个权重的平均值，从而生成深度或大小2N的权重向量并保持第二卷积层/过滤层的权重的局部顺序。
学习参数可以完全是具有学习参数的过滤器矩阵的条目，尽管该过滤矩阵的条目也可以仅通过学习参数形成。例如，该过滤器矩阵的两个条目可以由相同的学习参数确定，或者该过滤器矩阵的条目可以由学习参数的线性组合形成。
要学习的学习参数和权重不必直接通过训练数据来确定。相反，还可以从传统的、经过训练的机器学习算法的过滤卷积核中导出要学习的学习参数和权重的值。例如，通过使用损失函数或回归自适应的数据拟合，可以确定要学习的学习参数和权重的值，使用经过训练的机器学习算法的过滤卷积核尽可能真实地复制。
如果使用训练数据确定要学习的学习参数和权重，也可以采用“剪枝”：在这个过程中，对初始确定的权重值进行稀疏化，即将相应权重矩阵的尽可能多的条目设置为0。这降低了权重矩阵的复杂性并实现了速度优势。
利用此处描述的方法的机器学习算法的可能应用包括图像分析以及语音处理、文本处理或音频处理。在图像分析的上下文中，在此引用的输出张量可以传递到神经网络的一个或多个更深的层，最终结果被输出，例如，以结果图像、分类、分割、对象识别、给用户的信息消息或命令的形式。特别地，该命令可以是用于控制测量设备的命令，例如用于捕获图像的显微镜。
附图说明
下面参考所附示意图描述本发明的其他优点和特征。
图1是现有技术的卷积层的示意图；
图2是图1的卷积层的过滤卷积核的示意图；
图3是根据现有技术的深度可分离卷积的卷积计算示意图；
图4是根据本发明使用的卷积层的示例实施例的示意图；
图5是图4的过滤卷积核的示意图；
图6-10分别是用于确定图4的过滤卷积核的权重的示意图；
图11是说明在机器学习应用中要学习的参数数量的表格；以及
图12是根据本发明的显微镜系统的示例实施例的示意图。
具体实施方式
通常，相同的部件和以相同方式起作用的部件在图中用相同的附图标记表示。
图4示出了根据本发明的方法的示例实施例，其中执行了卷积神经网络。神经网络可以是机器学习算法的一部分。示意性地示出了神经网络的第一卷积层100，其从输入张量10计算输出张量20。命名第一卷积层100并非旨在定义所述卷积层首先应用在神经网络中；相反，可以在所示的第一卷积层100之前执行其他卷积层。第一卷积层100包括多个过滤卷积核15A到15M。计算每个过滤卷积核15A到15M与输入张量10的卷积，以形成输出张量20。
输入张量10可以与图1的输入张量10'相似或相同。输出张量20的尺寸为Y1×X1×M，其中Y1和X1相对于输入张量10的尺寸Y和X可以相同或不同。Y1和X1的大小可以取决于，例如，在填充或步幅上，填充描述用于卷积计算的输入张量处添加数字(例如零)和步幅描述卷积计算中的跳跃/步长。
过滤卷积核15A至15M分别具有K×K×N的尺寸。这里描述的实施例也可以以这样的方式概括为过滤卷积核的维度为K1×K2×N，并且K1和K2可以相同或不同。原则上，过滤卷积核15A到15M也可以具有不同的K或K1和K2的值。
如上面参考图2所描述的，本发明的初步研究已经确定，传统过滤卷积核的不同K×K×1过滤矩阵之间表现出高度相关性。可以利用这种洞察力来减少过滤卷积核要学习的参数数量，而不会显著减少过滤卷积核从输入张量中提取的信息量。在神经网络用于机器学习算法的情况下，这也可以提高过滤器的鲁棒性。
图5示出了过滤卷积核15A的K×K×N个条目/元素以及图4的过滤卷积核15M的相应条目。过滤卷积核15A的过滤矩阵或过滤层15A1由学习参数L1-L9形成。学习参数L1-L9的值是在机器学习算法使用训练数据的训练步骤中学习的。剩余的过滤矩阵15A2到15AN构成从隐式参数P1-P9、P1'-P9'、...、P1"-P9"形成的从属过滤矩阵。这些隐式参数不是通过机器学习算法的训练步骤作为可自由确定的值来学习的。相反，它们是通过使用权重W＝(W1,2,W1,3,…,W1,N)计算调整学习参数L1-L9来预先确定的。具体地，在该示例中，权重W与过滤矩阵15A相乘以形成从属过滤矩阵15A2至15AN。因此，从属过滤矩阵15A2的条目被定义为：P1＝L1*W1,2,P2＝L2*W1,2,…,P9＝L9*W1,2。
因此，每个过滤卷积核15A-15M可以表示为：
Fy，x，n＝Wn·Gy，x mit
Figure BDA0003628747060000121
其中Fy,x,n表示任一过滤卷积核，Wn表示该过滤卷积核的权重，以及Gy,x表示具有该过滤卷积核具有学习参数的过滤矩阵。索引x和y可以从1运行到K，同时n从1运行到N。
权重是W在机器学习算法的训练步骤中学习的。因此，对于过滤卷积核15A，在训练步骤中要学习其值的参数的数量仅为K*K+N，这显著低于其元素的数量，即K*K*N。前面的描述可以类似地应用于剩余的过滤卷积核，特别是图5中所示的具有学习参数L11-L19和隐式参数P11-P19、P11'-P19'、...、P11"-P19"的过滤卷积核15M，它们通过权重WM,2,WM,3,…,WM,N定义。第一列权重(W1,1,…,WM,1)也可以省略或设置为常数值，由此每个过滤卷积核要学习的参数数量不是K*K+N，而是K*K+N-1。
原则上可以以任何方式选择过滤卷积核15A...15M的哪一层是具有学习参数L1-L9的过滤矩阵，并且它不必是过滤卷积核的第一层。
为了清楚起见，需要注意的是，在现有技术中，术语“权重”经常被使用与学习参数L1-L9的过滤卷积核相关。在现有技术中，权重由此直接构成过滤卷积核的条目，因此，在现有技术中，这种权重的数量通常等于过滤卷积核的元素的数量，即K*K*N。另一方面，在本发明中，权重W不形成过滤卷积核15A的条目，而是应用在包含学习参数L1-L9的卷积矩阵15A1的计算中，以形成过滤卷积核15A中的条目。
由于权重W与具有学习参数的过滤矩阵一起使用，因此图5的过滤卷积核15A可以类似于图2的过滤卷积核，然而，其中过滤卷积核的独立参数的数量大大减少。可以以与过滤卷积核15A相同的方式形成卷积层100的剩余过滤卷积核。因此，对于各个过滤卷积核15A-15M中的每一个，可以有一个权重向量，即它们共同形成一个权重矩阵W。权重矩阵的示例如图6至10所示。
图6显示了具有尺寸为M×N的权重矩阵W。一行的N个条目因此形成过滤卷积核15A-15M中任一的权重，其中权重矩阵具有总共M行，对应于过滤卷积核15A-15M的数量。如图6所示，权重矩阵W的所有条目都是可自由学习的参数。因此过滤卷积核15A-15M彼此独立。因此，卷积层100的要学习的权重的数量是N*M，或者如果例如图5所示过滤卷积核15A的权重从W1,2运行到W1,N，则是(N-1)*M。在本例中，卷积层100的要学习的参数的总数包括所述药学习的权重的数量加上学习参数的数量，这里可以为K2*M。
图7示出了权重矩阵W的示例，其中将所有权重设置为相同的值。该常数可以是要学习的参数或固定的预定数。这允许简化、加速甚至完全省略许多操作。这在参数和时间方面产生了极大的节省。根据CNN架构，参数的数量大约减少75倍或更多。鉴于大量参数减少，具有该卷积层的模型的性能不如初始/源模型或如图6的模型。然而，这对于不太复杂的任务可能是有利的，因为即使使用非常小的数据集(典型的，例如在显微镜领域中)，这里也可以实现良好且通常更好的泛化性。
在图6和7两个极端之间，其中参数的数量小于图6且大于图6时，可以进行分级。图8的情况显示了权重矩阵W的使用，其条目根据Wm，n＝Vn是常数列，即同一列的所有条目具有相同的值。因此，对于所有过滤卷积核15A-15M，输入张量10的给定通道被同等加权。这个对应于输入张量的过滤器独立权重，可以再次以存储效率和时间效率的方式实现，特别是在CNN中使用1x1卷积。
类似地，图9显示了权重矩阵W的使用，其条目为Wm，n＝Vn，即W行中的所有条目都具有相同的要学习的值。这意味着对于任一过滤卷积核，输入张量10的所有通道的权重相同。因此，这有效地导致了输出张量中通道的加权。这可以再次在CNN中非常有效地执行，由此，除了在参数方面节省外，还可以实现显著的速度优势。
权重矩阵或权重块W也可以用低秩近似表示，例如矩阵乘积W＝AB，其中W是M×N矩阵，A是M×M'矩阵，B是M'×N矩阵，参见图10。矩阵A和B的条目是要在训练步骤中学习的权重/权重参数。因此，权重矩阵W的条目是矩阵A和B的权重参数的线性组合。权重矩阵W的这种配置受到以下观察的启发：在如图6中所示的权重矩阵W的情况下，学习到的权重在不同的过滤卷积核之间具有很强的相关性。M'小于N，例如小于0.2*N或小于0.1*N。M'也可以定义为＜0.5M，以相对于图6的权重矩阵减少参数的数量。实际上，尽管相对于图6的权重矩阵，实现参数减少了大约5倍，具有图10的权重矩阵以及M'＝0.1M的值的CNNs，预期仍将表现出与图6的权重矩阵相当的性能。与标准卷积层相比，这对应于参数减少了大约50倍。
为了规范低维空间中的学习过程，可以对矩阵B的行进行正交归一化。这可以通过正则化损失函数L,L＝||BBT–I||F来实现，其中BT是B的转置矩阵，I是单位矩阵，||.||F是弗罗贝尼乌斯范数。正则化损失函数被纳入CNN训练的优化中。由此学习了权重矩阵W的一种主成分分析(PCA)。
在图10的权重矩阵的变体中，描述权重矩阵W的权重，如图10所示，通过权重参数的组合/线性组合。这些权重参数将在训练步骤中学习。然而，与图10相反，权重矩阵W的条目不必表示为两个矩阵A和B的矩阵乘积，而是可以基本上以任何其他方式链接。
图11为权重矩阵W的不同示例列出了要学习的参数的数量以及相对于传统卷积层(标准CNN)的参数减少程度，其中数量为K2*M*N。针对K＝3和N>>K2的情况估计参数减少的程度，这在实际中经常发生。
图6至10中所示的权重矩阵W的示例用于说明目的，很明显后者的变体也是可能的。更笼统地说，过滤卷积核可以定义为：恰好一个具有学习参数的过滤矩阵或多个过滤卷积核，其中每个所述过滤卷积核具有学习参数的过滤矩阵；以及一个具有要学习的权重的权重块/权重矩阵W。特别地，要学习的权重的数量可以小于或等于所有过滤卷积核的从属过滤矩阵的总数。
如果权重矩阵W的大小(条目的数量)大于要学习的权重的数量，这旨在被理解为意味着权重矩阵的剩余条目由常数和/或要学习的一个或多个权重的从属来定义。
如果使用两个或更多过滤层，那么它们也可以共享权重。这意味着上述权重中的至少一些也用于一个或多个其他过滤层。参考图10，特别是矩阵B的权重可以用于多个过滤层，而这些过滤层包括不同的/相互独立的矩阵A。
显微镜的示例实施例
图12示出了根据本发明的显微镜50的示例实施例。显微镜50包括光源59和用于照亮位于样本台53上的样本58的聚光器60。从样本58发出的检测光通过物镜51沿着光轴52被引导至用于捕获样本图片的相机56。可以通过显微镜支架54可选地支持概览相机57，通过该相机可以捕获样本58的概览图像。计算设备55被配置为处理捕获的显微镜图像(即，样本图像或概览图像)并由此形成输入张量，该输入张量用于如前所述的机器学习算法的神经网络中的计算。在这方面，计算设备55被配置为执行参考图4至图11描述的步骤。特别地，机器学习算法可以被训练以执行显微镜图像的分类，其中潜在的类别可以包括，例如，一种或多种：样本、背景、盖玻片、样本容器、盖玻片边缘、样本容器边缘、样本载体标签。替代地或附加地，机器学习算法可以被训练以执行分割或检测，其中，例如，显微镜图像被分割成不同的区域和/或图像中的特定对象被识别和定位，例如样本区域、阴影或光反射。机器学习算法也可以针对图像到图像的映射进行训练，其中结果是输出图像。
计算设备55也可以用在另一个显微镜中，该显微镜与图示的显微镜不同，例如，根据不同的测量原理操作，或者是扫描或电子显微镜。还可以提供在此所述的计算设备，用于在除显微镜之外的设备中进行图像分析。
通过所描述的神经网络，可以在机器学习应用中获得相对于输入数据变化非常稳定的鲁棒结果，同时所需的计算消耗相对较低。不需要专用硬件。基于这种神经网络的机器学习算法的泛化性很高，即即使在训练中没有观察到数据，该算法也能可靠地工作且具有数据高效。此外，使用所描述的过滤卷积核，“从头开始”训练机器学习算法，即无需使用参考数据进行预训练，这很容易实现。由于这里描述的特殊参数减少方法，机器学习算法的性能甚至可能得到增强。
参考符号列表
10,10' 输入张量
12A-12M 现有技术的过滤卷积核
12M1-12MN 过滤卷积核12M的过滤器矩阵
13,13A-13N 现有技术的深度可分离卷积的过滤卷积核
14 使用过滤卷积核13计算的中间张量
15A-15M 过滤卷积核
15A1-15AN 过滤卷积核15A的过滤矩阵
15M1-15MN 过滤卷积核15M的过滤器矩阵
16,16A-16M 现有技术的深度可分离卷积的过滤卷积核
20,20' 输出张量
20'A-20'M 输出张量20'的层
50 显微镜
51 物镜
52 物镜51的光轴
53 样本台
54 显微镜支架
55 计算设备
56 相机
57 概览相机
58 样本
59 光源
60 聚光器
100 卷积层
100' 现有技术的卷积层
A 用于确定权重矩阵W的条目的矩阵
B 用于确定权重矩阵W的条目的矩阵
K 过滤卷积核的高度和宽度
M 输出张量的深度；过滤卷积核数，权重矩阵W的行数/高度
M' 矩阵A的列数；矩阵B的行数
N 输入张量和过滤卷积核的深度，列数/权重矩阵W的宽度
L1-L9,L10-L19 学习参数
P1-P9,P1'-P9',P1"-P9",P11-P19,P11-P19',P11"-P19" 隐式参数
X 输入张量的宽度/列数
Y 输入张量的高度/行数
vn 权重矩阵W的行，即具有权重的向量
vm 权重矩阵W的列，即具有权重的向量
W 权重，权重矩阵

Claims (15)

1.一种处理显微镜图像以产生图像处理结果的方法，包括：执行卷积神经网络，其中第一卷积层(100)从由显微镜图像形成的输入张量(10)计算输出张量(20)，输出张量(20)被输入到卷积神经网络的一个或多个进一步层中，以计算图像处理结果，
其中第一卷积层(100)包括多个过滤卷积核(15A-15M)，
其特征在于
至少多个过滤卷积核(15A-15M)的分别可表示为：
-至少一个具有学习参数(L1-L9、L11-L19)的过滤矩阵(15A1-15M1)和
-具有隐式参数的从属过滤矩阵(15A2-15AN,15M2-15MN)，所述隐式参数由学习参数(L1-L9,L11-L19)和要学习的一个或多个权重(W)确定，
其中不同过滤卷积核(15A-15M)的具有学习参数(L1-L9，L11-L19)的过滤矩阵(15A1-15M1)彼此不同，以及
输出张量(20)的不同层由不同的过滤卷积核(15A-15M)计算。
2.根据权利要求1所述的方法，
其特征在于
图像处理结果是结果图像、分类、图像分割、对象识别或通过其控制捕获显微镜图像的显微镜的命令。
3.根据权利要求1或2所述的方法，
其特征在于
任一过滤卷积核(15A-15M)的任一从属过滤矩阵(15A2-15AN,15M2-15MN)由任一要学习的权重(W)与同样过滤卷积核(15A-15M)的任一具有学习参数(L1-L9，L11-L19)的过滤矩阵(15A1-15M1)相乘形成，以及
其中所有过滤卷积核(15A-15M)的要学习的权重数量(W)加上所有学习参数的数量(L1-L9，L11-L19)小于所有过滤卷积核(15A-15M)的元素总数。
4.根根据权利要求1至3中任一项所述的方法，
其特征在于
每个过滤卷积核(15A-15M)仅包含具有学习参数(L1-L9,L11-L19)的单个过滤矩阵(15A1-15M1)，或相反的仅包含从属过滤矩阵(15A2-15AN,15M2-15MN)，它们是分别由要学习的权重(W)和具有学习参数(L1-L9,L11-L19)的过滤矩阵(15A1-15M1)定义。
5.根据权利要求1至4中任一所述的方法，
其特征在于
任一过滤卷积核(15A-15M)的所有从属过滤矩阵(15A2-15AN,15M2-15MN)使用相同的要学习的权重(W,vm)。
6.根据权利要求1至5中任一项所述的方法，
其特征在于
过滤卷积核(15A-15M)在其各自的具有学习参数(L1-L9,L11-L19)的过滤矩阵(15A1-15M1)方面有所不同。
7.根据权利要求1至6中任一项所述的方法，
其特征在于
多个过滤卷积核(15A-15M)中每个的从属过滤矩阵(15A2-15M2)使用相同的要学习的权重(vn)。
8.根据权利要求1至7中任一项所述的方法，
其特征在于
过滤卷积核(15A-15M)定义为：
-每个过滤卷积核(15A-15M)具有学习参数(L1-L9,L11-L19)的从属过滤矩阵(15A1-15M1)以及
-具有要学习的权重(W)的权重块，其中要学习的权重(W)的数量小于或等于所有过滤卷积核(15A-15M)的从属过滤器矩阵(15A2-15AN,15M2-15MN)的总数。
9.根据权利要求8所述的方法，
其特征在于
权重块可表示为尺寸为M×N的矩阵，该矩阵由尺寸为M×M'和M'×N的两个矩阵(A,B)的矩阵乘积形成，其中这两个矩阵(A,B)由要学习的权重组成。
10.根据权利要求1至9中任一项所述的方法，
其特征在于
过滤卷积核(15A-15M)中的至少一个包括两个或多个具有学习参数(L1-L9、L11-L19)的过滤矩阵(15A1-15M1)，以及该过滤卷积核(15A-15M)的从属过滤矩阵(15A2-15AN、15M2-15MN)由过滤矩阵(15A1-15M1)与由权重(W)链接的学习参数(L1-L9,L11-L19)组合形成。
11.根据权利要求1至10中任一项所述的方法，
其特征在于
每个过滤卷积核(15A-15M)由要与输入张量(10)卷积的主体形成，所述主体由至少一个具有学习参数(L1-L9,L11-L19)的过滤矩阵(15A1-15M1)和要学习的权重(W)形成。
12.根据权利要求1至10中任一项所述的方法，
其特征在于
任一过滤卷积核(15A-15M)包括学习参数主体和权重主体，它们依次与输入张量(10)进行卷积，以计算输出张量(20)的层，
其中学习参数注意由至少一个具有学习参数(L1-L9、L11-L19)的过滤矩阵(15A1-15M1)形成，并且
其中权重主体由要学习的权重(W)形成。
13.根据权利要求1至12中任一项所述的方法，
其中第二卷积层的第二输入张量由第一卷积层(100)的输出张量(20)形成，
其中第二卷积层包括第二过滤卷积核，通过第二过滤卷积核从第二输入张量计算第二输出张量，
其特征在于
第一卷积层(100)的过滤卷积核(15A-15M)的要学习的权重(W)中的至少一些同时用作确定第二卷积层的第二过滤卷积核的从属过滤矩阵的权重。
14.一种机器可读存储介质，其上存储有程序代码，其中所述程序代码被配置为当由计算设备(55)执行时实现执行权利要求1至13中任一项所述的方法。
15.一种用于分析样本(58)的显微镜，包括
用于照亮样本(58)的光源(59)，
用于引导来自样本(58)的检测光的物镜(51)，
用于通过来自物镜(51)的检测光捕获显微镜图像法的相机(56)，以及
计算设备(55)，用于配置为处理显微镜图像并输出图像处理结果，
其特征在于
计算设备(55)被配置为从显微镜图像计算输入张量(10)并执行根据权利要求1至13中任一项所述的方法。
CN202080077686.8A 2019-11-15 2020-11-13 具有卷积神经网络实现的显微镜和方法 Active CN114846382B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019130930.1 2019-11-15
DE102019130930.1A DE102019130930A1 (de) 2019-11-15 2019-11-15 Mikroskop und Verfahren mit Ausführen eines faltenden neuronalen Netzes
PCT/EP2020/082160 WO2021094597A1 (de) 2019-11-15 2020-11-13 Mikroskop und verfahren mit ausführen eines faltenden neuronalen netzes

Publications (2)

Publication Number Publication Date
CN114846382A true CN114846382A (zh) 2022-08-02
CN114846382B CN114846382B (zh) 2024-05-28

Family

ID=73455687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080077686.8A Active CN114846382B (zh) 2019-11-15 2020-11-13 具有卷积神经网络实现的显微镜和方法

Country Status (4)

Country Link
US (1) US20220382038A1 (zh)
CN (1) CN114846382B (zh)
DE (1) DE102019130930A1 (zh)
WO (1) WO2021094597A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021114350A1 (de) 2021-06-02 2022-12-08 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zur faltungsfreien Bildverarbeitung
CN113609909B (zh) * 2021-07-05 2024-05-31 深圳数联天下智能科技有限公司 苹果肌下垂识别模型训练方法、识别方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316312A1 (en) * 2016-05-02 2017-11-02 Cavium, Inc. Systems and methods for deep learning processor
CN108427958A (zh) * 2018-02-02 2018-08-21 哈尔滨工程大学 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法
CN109086773A (zh) * 2018-08-29 2018-12-25 电子科技大学 基于全卷积神经网络的断层面识别方法
US20190206056A1 (en) * 2017-12-29 2019-07-04 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN110232719A (zh) * 2019-06-21 2019-09-13 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10546211B2 (en) 2016-07-01 2020-01-28 Google Llc Convolutional neural network on programmable two dimensional image processor
IE87469B1 (en) * 2016-10-06 2024-01-03 Google Llc Image processing neural networks with separable convolutional layers
CA2948499C (en) * 2016-11-16 2020-04-21 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316312A1 (en) * 2016-05-02 2017-11-02 Cavium, Inc. Systems and methods for deep learning processor
US20190206056A1 (en) * 2017-12-29 2019-07-04 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
CN108427958A (zh) * 2018-02-02 2018-08-21 哈尔滨工程大学 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法
CN109086773A (zh) * 2018-08-29 2018-12-25 电子科技大学 基于全卷积神经网络的断层面识别方法
CN110232719A (zh) * 2019-06-21 2019-09-13 腾讯科技（深圳）有限公司 一种医学图像的分类方法、模型训练方法和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAIR RIVENSON: "Deep Learning Microscopy", CONFERENCE ON LASERS AND ELECTRO-OPTICS, pages 1 - 29 *

Also Published As

Publication number Publication date
DE102019130930A1 (de) 2021-05-20
US20220382038A1 (en) 2022-12-01
WO2021094597A1 (de) 2021-05-20
CN114846382B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
EP3803791B1 (en) Generating a displacement map of an input dataset pair of image or audio data
Cortinhal et al. Salsanext: Fast, uncertainty-aware semantic segmentation of lidar point clouds
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN111639692A (zh) 一种基于注意力机制的阴影检测方法
US20160196672A1 (en) Graph image representation from convolutional neural networks
CN109766805B (zh) 一种基于深度学习的双层车牌字符识别方法
US20210056357A1 (en) Systems and methods for implementing flexible, input-adaptive deep learning neural networks
CN111696110B (zh) 场景分割方法及系统
CN111126385A (zh) 一种可变形活体小目标的深度学习智能识别方法
CN113095254B (zh) 一种人体部位关键点的定位方法及系统
CN111428664B (zh) 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
US11151416B2 (en) Method and apparatus for efficiently processing convolution neural network operations
CN114846382A (zh) 具有卷积神经网络实现的显微镜和方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN111401294A (zh) 基于自适应特征融合的多任务人脸属性分类方法及系统
Al-Amaren et al. RHN: A residual holistic neural network for edge detection
CN111899203A (zh) 基于标注图在无监督训练下的真实图像生成方法及存储介质
CN108629405B (zh) 提高卷积神经网络计算效率的方法和装置
CN111882053A (zh) 一种基于拼接卷积的神经网络模型压缩方法
CN113902966A (zh) 一种针对电子元器件的无锚框目标检测网络及应用该网络的检测方法
Zhang et al. Fast contour detection with supervised attention learning
CN111611999B (zh) 一种融合小型深度生成模型的显著性检测方法及终端
Hostetler Toward runtime-throttleable neural networks
Manzoor et al. Ancient coin classification based on recent trends of deep learning.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant