CN114241066A - 用于生成hdr图像的显微镜系统和方法 - Google Patents
用于生成hdr图像的显微镜系统和方法 Download PDFInfo
- Publication number
- CN114241066A CN114241066A CN202111049764.6A CN202111049764A CN114241066A CN 114241066 A CN114241066 A CN 114241066A CN 202111049764 A CN202111049764 A CN 202111049764A CN 114241066 A CN114241066 A CN 114241066A
- Authority
- CN
- China
- Prior art keywords
- image
- semantic
- original
- coefficients
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000010801 machine learning Methods 0.000 claims description 57
- 230000011218 segmentation Effects 0.000 claims description 50
- 238000005286 illumination Methods 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 8
- 238000001303 quality assessment method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 230000010287 polarization Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims 5
- 238000012549 training Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 11
- 235000019557 luminance Nutrition 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000003463 organelle Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 239000006059 cover glass Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011532 electronic conductor Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
- Microscoopes, Condenser (AREA)
Abstract
用于产生HDR图像(30)的显微镜系统包括显微镜(1),用于捕获显示具有不同图像亮度的场景的多个原始图像(11‑15)和被配置为通过组合至少两个原始图像(11‑15)生成HDR图像(30)的计算设备(20)。计算设备(20)还被配置为根据这些区域(21A‑23A)中所描绘的对象,在原始图像(11‑15)中设置用于不同区域(21A‑23A)的系数(K),其中通过系数(K)定义是否以及在何种程度上将原始图像(11‑15)的像素纳入HDR图像(30)中。计算设备(20)还被配置为通过基于设置的系数(k)组合原始图像(11‑15)来生成HDR图像(30)。一种方法通过基于根据原始图像中描绘的对象设置的系数来组合原始图像生成HDR图像。
Description
技术领域
本公开涉及一种用于生成HDR图像的显微镜系统和方法。
在本公开中通常理解HDR图像(高动态范围图像),以表示由多个叠加的原始图像(RAW图像)计算的图像,并且包含比所述多个叠加的原始图像之中的任何单个原始图 像的图像信息更多的图像信息。用于HDR图像或伪HDR图像的原始图像通常采用不同 的亮度或相机快门速度(曝光融合)捕获。然而,在本公开的意义上,也可以使用原始 图像的原始图像生成HDR图像,其中图像亮度的差异原则上可以源于图像捕获的任何其 他差异。
背景技术
在现代显微镜系统中,数字图像处理在获取样本或样本载体的高质量图像中起着越 来越重要的作用。
已知将多个图像(下述的原始图像)组合成用于此目的的高质量聚合图像或HDR图像。一种用于生成HDR图像的通用显微镜系统,因此包括用于捕获多个原始图像的显微 镜,该原始图像显示具有不同图像亮度的场景,和计算设备,该计算设备被配置为通过 组合至少两个原始图像中来生成HDR图像。这种显微镜系统,例如,在US 9274328 B2 中或由申请人在DE 102017111718 A1中描述。
用于生成HDR图像的通用方法类似地包括获取具有显示不同图像亮度的场景的多个原始图像。通过至少两个原始图像的组合产生HDR图像。这种方法原则上,可以与的 任何图像捕获设备一起结合或者与图像捕获设备分开来执行。
Yuma Kinoshita和Hitoshi Kiya在2019年3月18日出版于arXiv预印本1903.07428v1 的“基于场景分割的多曝光图像融合亮度调整”中描述了基本HDR原理的高级实施例。 在本文件中描述的方法中,每个原始图像基于其亮度值被划分为不同的图像段。例如, 原始图像被划分为三个图像段,其中一个图像段包括所有暗像素,第二个图像段包括所 有中亮像素,第三个图像段包括所有亮像素。然后,通过对不同原始图像的图像段进行 加权计算来生成HDR图像。
发明内容
可以认为本发明的一个目的是,提供一种显微镜系统和一种可以从多个原始图像中 计算最佳质量的聚合图像,而没有任何干扰图像伪影的方法。
该目的通过显微镜系统和方法来实现。
根据本发明,在上述类型的显微镜系统中,计算设备被配置为根据这些区域中描绘 的对象来设置用于原始图像中的不同区域的系数。系数用于定义原始图像的像素是否或 在多大程度上合并在HDR图像中。计算设备被配置为通过基于设置的系数组合原始图像来生成HDR图像。
根据本发明,在上述类型的方法中,根据这些区域中描绘的对象来设置用于原始图 像中的不同区域的系数。系数用于定义原始图像的是否或在多大程度上或多大程度(例如,百分比值)上纳入在HDR图像中。通过基于设置的系数组合原始图像来生成HDR 图像。
虽然在现有技术中确定哪些图像区域来自哪些原始图像被融合为HDR图像是基于图像亮度的,但是根据本发明,该确定是基于所描绘的对象进行的。基于对象的融合允 许为特定对象选择理想的显示特性,该特定对象与基于其全部的原始图像的确定相比, 对对象的描绘是有利的。特别地,可以避免在同一对象内的亮度信息的扭曲。还可以排 除在其中一个原始图像中恰好显示的对象的质量被其他原始图像的叠加损害:基于对象 的评估还允许根据不同标准将来自原始图像中的不同对象包括在HDR图像中,如稍后更 详细地描述。
本发明不需要特殊硬件,尤其是特殊且成本密集的HDR相机传感器。
可选实施例
根据本发明的显微镜系统和根据本发明的方法的有利变体是从属权利要求的对象并 且在以下描述中解释。
所描述的处理步骤可以通过图像处理程序以自动化方式实施,特别地,图像处理程 序可以包括一个或多个训练好的机器学习模型,如下文更详细地描述。
语义区域
为了设置不同区域的系数,可以规定,首先通过将每个原始图像划分为区域并为每 个区域分配语义标签来在原始图像中确定语义区域。然后可以根据至少包含的语义区域 的语义标签为每个原始图像导出系数。语义标签被理解为表示分配给相应区域的图像内 容的含义,即一个或多个描绘对象的含义。语义标签使得区分多个预定义类别成为可能, 特别是区分以下类别中的两个或多个:样本载体、盖玻片、样本、固定框架和背景。还可以进一步细分为多个不同类别的样本,以便区分例如需要不同曝光条件的显微样本。 因此,通常不以相同的方式处理原始图像中具有相同亮度的不同像素,而是作为它们对 应的语义标签的函数。
可以通过为此目的训练好的机器学习模型来确定原始图像中的语义区域。训练好的 机器学习模型被理解为表示具有模型参数的模型,其模型参数值已使用训练数据定义。该定义通过学习算法进行,目标函数通常通过该算法进行优化,例如最小化损失函数。损失函数取决于预定目标值(在有监督学习过程的标记训练数据的情况下)和根据当前模 型参数值从训练数据计算的输出之间的差异。模型参数值被迭代调整以最小化损失函数。 目标函数也可以包括奖励函数而不是损失函数并被最大化。
机器学习模型可以例如由一个或多个神经网络形成并且特别地,包括CNN(卷积神经 网络)。在这种情况下,模型参数包括卷积矩阵的条目。机器学习模型的示例实施例是或包括分割机器学习模型、实例分割机器学习模型或检测机器学习模型。语义分割对应于 原始图像中结构或对象的逐个像素分类。原始图像的每个图像像素因此被分配给多个预 定类别的对象之一。在实例分割机器学习模型的情况下,也会发生逐个像素的分类,另 外,同一类的多个对象被区分。例如,原始图像可以分别显示具有两个或更多个显微样 本的样本载体。分类包括类别,例如样本载体、样本和背景,其中两个显微样本属于同 一类别。通过实例分割,两个显微样本也彼此区分,从而可以为两个样本的图像片段确 定不同的系数,其中基于各自确定的系数进行图像融合。在检测机器学习模型的情况下, 机器学习模型被训练以检测原始图像中的多个预定对象并将检测到的对象的坐标连同对 应的对象名称一起输出。坐标可以描述对象周长,特别是检测到的对象的(矩形)边界。
分割原始图像的方式可以基于所有原始图像或仅基于单个原始图像或一些原始图像 来确定。例如,可以规定,仅将原始图像之一或原始图像的一部分输入到机器学习模型 中,由此计算分割掩模。现在可以针对所有原始图像,即包括未用于确定分割掩模的原始图像,根据计算出的分割掩模划分语义区域。在分割掩模中,像素值表示特定类别, 因此不同像素值的数量对应于检测到的类别数量。如果原始图像是在相同的视场下捕获 的,则对象(例如样本载体)在每个原始图像中位于相同的位置。从原始图像之一生成 的分割掩模因此通常也适用于其他原始图像并且不必为每个原始图像单独计算。为了利 用来自多个原始图像的图像信息来确定分割掩模,还可以输入多个或所有原始图像的聚 合,例如将所有原始图像的平均值或总和,放入机器学习模型中,以便从中计算出分割 掩模。代替单个神经网络对所有所需类别执行语义分割,还可以由多个神经网络各自并 行执行语义分割,网络在可检测和分割的对象类别方面分别不同。例如,一个神经网络 可以创建一个二值分割掩模,其中区分样本区域和背景,而另一个神经网络计算二值分 割掩模,其中区分样本载体和背景。
更普遍地,语义标签的确定可以基于一个或多个原始图像或者基于未纳入HDR图像 中的另一图像发生。这样的另一图像可以,例如使用不同的捕获模式,特别是不同的对比度方法来产生。例如,可以使用显微镜捕获相位对比图像,其中样本区域更清晰可见, 因此可以确定图像中包含哪些样本类型。然后可以在原始图像的语义分割中使用这种语 义标签的高级知识。
设置系数
确定多个原始图像的图像区域如何融合在一起的系数值可以以不同方式确定。
例如,可以提供系数表(查找表或通常的数据库),其中包含用于不同图像捕获参数 和不同语义标签的系数。在接收到关于原始图像的图像捕获参数的信息后,可以从系数表中读出为原始图像中的语义区域设置的系数。例如,图像捕获参数可以根据显微镜的 光源的照明强度而不同。例如,可以知道最好用高照明强度渲染样本区域,而(覆盖) 玻璃边缘的图像区域迅速过饱和,因此在较低照明强度下更清晰可见;另一方面,对于 以没有样本为特征的样本载体区域,可以优选中等或低照明强度,以抑制划痕、污垢或 其他不希望的或不相关的细节的描绘。在本示例中,分别采用系数表中基于图像捕获参 数“低/中/高照明强度”为上述三个语义标签预先确定的系数。因此不必为了设置系数值 而评估原始图像的图像内容。
替代地,还可以规定,原始图像之一的系数也根据其在语义区域中的图像内容来设 置。在这种情况下,可以单独评估每个语义区域的图像内容,从而可以为每个原始图像的每个语义区域分别设置系数。因此,要设置的系数的数量可以对应于语义区域的数量 乘以原始图像的数量。然而,没有必要在HDR图像中包含来自每个原始图像的图像内 容;因此,也没有必要为对HDR图像没有贡献(取决于相应的选择标准)的原始图像设 置多个系数。
为了设置系数,还可以基于评估标准计算每个原始图像的语义区域中的图像内容的 图像质量评估。特别地,评估标准可以是过载(明亮图像值的剪裁,例如由于过度曝光的)、欠载(例如,曝光不足)、噪声、亮度值的频率分布(对应于亮度直方图)和/或对 比度。然后可以根据相应的图像质量评估和语义标签为每个原始图像中的每个语义区域 设置系数。因此,基于评估标准分别分析原始图像中的每个区域。随着图像质量评估的 增加可以选择系数,尽管与系数大小的相关性也可以取决于语义标签。例如,在样本的 图像区域中可能需要最大对比度,以便在该图像区域中的所有原始图像中具有最高对比 度的原始图像的语义区域被分配最大系数。另一方面,最好在样本载体的图像区域中抑 制干扰细节,以便这种情况下在该图像区域中所有原始图像中对比度最高的原始图像的 语义区域不分配最大系数。
不同的评估标准可以作为语义标签的函数应用于语义区域。例如,如果为一个区域 确定语义标签“盖玻片边缘”(或语义标签“背景”,包括盖玻片边缘),则可以选择避免过载作为评估标准。另一方面,如果确定了具有语义标签“样本”的区域,则可以优选 诸如尽可能高的对比度或亮度值的频率分布扩展的评价标准。因此,根据对象应用不同 的选择标准,以便从原始图像中选择图像区域以纳入到HDR图像中。
通过机器学习模型设置系数
系数的设置也可以通过机器学习模型(下文中的系数确定机器学习模型)来进行。后者接收至少原始图像或从中计算出的图像作为输入,并生成到系数的映射作为输出。 系数确定机器学习模型可以是回归机器学习模型。原则上,输出系数可以是预定值范围 内的任何值。或者,系数确定机器学习模型也可以设计为分类器,并为系数生成到不同 类别(离散值)的映射。
特别地,系数确定机器学习模型可以根据上述图像质量评估进行训练。训练数据可 以包括,例如,来自不同原始图像的多个区域,其中图像质量评估已经被手动指定为标签/目标值。可选地,还可以指示区域的语义标签。通过这样的训练数据,系数确定机器 学习模型学习生成不同区域的图像质量评估。
系数确定机器学习模型的输入可以是来自原始图像的区域或整个原始图像。此外, 输入还可以包括关于将原始图像划分为语义区域以及对应的语义标签的信息。多个原始 图像也可以共同构成输入。因此,系数确定机器学习模型可以输出标准化系数,例如,与同一区域相关的不同原始图像的系数之和总是产生相同的恒定值,例如,1。标准化系 数可以在将不同原始图像的像素相加时直接用作权重。
系数确定机器学习模型可以设计为计算线性或非线性映射。它可以逐个像素地分配 系数,其中同一语义区域内的像素可以接收相同的系数或不同的系数。也可以考虑从原始图像计算的至少一个分割掩模的结构信息,如下文更详细描述的。
对于系数确定机器学习模型的使用,语义区域可以在前面的步骤中确定,特别是通 过参考语义区域描述的机器学习模型。这两个机器学习模型也可以连接起来形成一个模 型。在这种情况下,确定的语义标签和分割仅作为计算过程中的中间步骤生成,例如由神经网络的一层生成,而不必从神经网络输出。聚合机器学习模型的其他变体也可用于 端到端学习。因此,根据区域所描绘的对象的系数分配可以通过单个模型执行。或者, 该模型可以直接输出HDR图像,其中原始图像的图像区域根据依赖于那些原始图像区 域中描绘的对象的系数组合,其中不需要显式输出系数。也不需要将语义标签显式分配 给像素或区域。可以使用相应的标记训练图像来学习模型,例如使用多个原始图像和相 应的预定系数掩模或预定HDR图像,例如,其由用户根据区域中描绘的对象手动创建 的。因此,根据描绘的对象选择预定标签/目标数据,以便模型学习如何在这种情况下设 置系数值或将原始图像组合成HDR图像。因此学习一个模型,该模型使用来自单个原 始图像或所有原始图像的结构信息来估计系数。上下文数据也可以被利用,稍后将更详 细地描述。
语义区域系数的相关性
可以以不同方式利用原始图像中不同区域的系数来生成HDR图像。
如果一个区域的系数被确定,例如基于该区域的原始图像内容和语义标签,那么该 区域内的每个像素都可以被分配相同的系数。该系数可以构成该原始图像区域的图像内 容纳入到HDR图像中的区域权重。
或者,可以通过混合同一原始图像中相邻语义区域的系数来生成连续转换。因此,一个像素根据其与相邻语义区域的区域边界的距离,经受这些区域的相应系数进行混合。区域之间的这种软过渡可以通过机器学习以基于结构的方式或通过经典混合来实现。原则上,相同区域的所有像素因此接收不同的系数值,这些系数值形成为所述系数的组合。例如,可以为具有三个语义区域的原始图像计算三个不同的系数,并且这些系数以这样 一种方式叠加,即所有像素(或至少在区域边界的过渡区域中的所有像素)接收不同的 系数值,基于这些值,随后发生合并到HDR图像中。
使用系数将原始图像组合成HDR图像
在将原始图像组合进入HDR图像期间,例如在原始图像的线性组合或非线性组合中,设置的系数可以用作权重。加权可以,如上面参考混合所描述的,对于语义区域逐 个像素或者均匀地发生。例如,在位置方面彼此对应的不同原始图像的像素可以根据它 们的权重相加并且随后标准化为有效值范围。还可以授予零权重,以便原始图像相应的 像素或语义区域不纳入到HDR图像中。
除了用作权重之外,设置的系数还可以用于从不同的原始图像中选择语义区域。例 如,从原始图像中选择语义区域,对该语义区域确定最大系数。然后组合选定的语义区域以形成HDR图像。在这种情况下,HDR图像中的每个语义区域都源自单个原始图像。
上下文数据
还可以利用上下文数据来确定语义区域和/或系数的设置。特别地,上下文数据可以 用于上述机器学习模型或没有学习模型的经典算法中。特别地,上下文数据可以涉及以下一项或多项:
-原始图像中描绘的样本或样本载体的类型:例如,可以预先知道与不同类型的样本或样本载体相关的几何信息,可以利用这些信息对原始图像中的对象进行分割或检测。上下文数据也可以是关于哪些照明参数或图像捕获参数适合于不同类型的样本的知识,这可以用于,例如,上述系数表。
-图像捕获参数:例如,可以考虑有关照明强度、照明/检测波长、相机灵敏度、曝光时间(快门速度)、荧光激发、对比法、过滤器设置或样本台设置的信息。这些参数可 以提供关于在相应的原始图像中通常可以看到哪种对象的信息,从而有助于确定系数。 该信息还可用于确定分割区域的语义标签。
-来自其他原始图像的信息:例如,关于在其中一个原始图像中检测到的描绘对象的结构信息/信息可用于其他原始图像。例如,显微样本在其中一张原始图像中清晰可见,而在另一张原始图像中无法识别。
-整个图像特征的分类结果:原始图像—或多个原始图像/所有原始图像的集合—的 分类尤其可以通过额外训练好的机器学习模型发生。不同的类别可以区分,例如,腔室载玻片、微量滴定板、带盖玻片的载玻片或培养皿。可能的分类结果允许,例如,预先 确定语义分割的不同边界条件,例如允许哪些语义标签,即可供选择。在上述情况下, 例如对于原始图像的语义分割,腔室载玻片的圆形样本区域/孔或矩形样本区域,或明亮 的盖玻片边缘都可以属于允许的语义标签。
-来自其他捕获模式的信息:捕获模式可以涉及,例如,其他对比法或其他概览图像。这些还可以提供关于原始图像中包括或可能包括的对象的信息。
具有不同图像亮度的场景的原始图像
在本公开中,原始图像通常表示为计算HDR图像而评估或考虑的图像。特别地, 它可以是由相机捕获的图像、由其处理的图像或从多个图像计算的图像。特别地,原始 图像可以是经由显微镜物镜捕获的显微样本的样本图像。原始图像也可以是显微镜的概 览图像,显示例如样本载体和样本载体环境。还可以在显微镜上提供一个额外的用于捕 获概览图像的概览相机,它不通过显微镜物镜观察样本载体。原始图像也可以通过扫描 来捕获,在该扫描过程中,连续测量不同的采样点,例如在激光扫描显微镜的情况下。
原则上,不同的图像亮度可能由图像捕获的任何差异引起。例如,就以下一个或多个方面而言,一些或所有原始图像的捕获过程可能不同:
-光偏振:例如,可以使用线性偏振照明光,其中偏振方向因原始图像而异。也可以使用椭圆偏振光或圆偏振光。
-照明光和/或检测光的光波长:特别是,显微样本可以包含不同元素(例如生物细胞或细胞器、电子或半导体组件),其可见性显著依赖于波长。在细胞器的情况下,可以 基于不同的细胞器,即样本组分来进行语义分割。
-照明设置、照明角度和染料激发,特别是荧光或磷光激发:这些方面也会影响原始图像中哪些对象可见。
-捕获模式:特别地,原始图像可能因所使用的照明模式而不同。例如,可以使用高斯光片照明显微镜(Gaussian lightsheet microscopy),贝塞尔光片照明显微镜(Bessel lightsheet microscopy)、STED照明显微镜或共聚焦显微镜捕获图像。
-相机灵敏度或不同的饱和度也会导致原始图像的图像亮度不同。
在一些变体中,原始图像的不同图像亮度表示原始图像之间的平均亮度不同。然而, 一般而言,不同图像亮度的原始图像旨在理解为包括仅在位置上对应于不同原始图像的 单个图像像素具有不同亮度值的情况。在这种情况下,多个原始图像可以具有相同的平均亮度甚至相同的亮度直方图。
一般来说,原始图像中描绘的场景可以是任何主体。所描绘的主体可以包括一个或 多个对象,其原则上可以是任何结构。特别地,对象可以是样本或样本组件,例如生物样本或半导体产品、样本架或载体、样本载体的固定框架、盖玻片、描述性领域或相同 的部分或表面。原始图像可以对应于它们的视场,特别是可以用相同的相机连续捕获。 在相应视场的情况下,每个原始图像覆盖场景的相同区域。在不同的原始图像中占据相 同位置的像素(例如每个原始图像左上角的像素)可以根据它们各自的系数相加在一起, 以形成在相应位置的HDR图像的像素。原始图像也可以可替代地显示场景的部分不同或 重叠部分,即它们的视场仅部分对应。在这种情况下,不需要每个原始图像都包含所有 区域。例如,如果要创建微量滴定板的概览图像,则可以将概览相机捕获的多个图像缝 合在一起。可以进行关于评估是否应该对于其中一个有修改的图像捕获参数的部分捕获 其他图像。例如,可以根据上述图像质量标准进行语义分割和对分割区域的后续评估; 如果此评估显示质量不足(例如样本区域中的欠载),则可以使用修改后的图像捕获参数, 例如,使用更高的照明强度,再次捕获该区域。然后使用额外捕获的原始图像生成HDR 图像。
一般特征
显微镜系统被理解为包括至少一个显微镜和计算设备的装置。具体地,显微镜可以 理解为光学显微镜、X射线显微镜、电子显微镜、宏观镜或具有一些其他设计的放大能力的图像捕获设备。
计算设备可以设计为显微镜的组成部分,单独布置在显微镜附近,或者布置在距显 微镜任何距离的远程位置。计算设备也可以设计为分散的,并经由数据链路与显微镜通信。它通常可以由电子和软件的任何组合形成,并且具体包括计算机、服务器、基于云 的计算系统或一个或多个微处理器或图形处理器。计算设备还可以被配置为控制显微镜 相机,图像捕获,样本台驱动器和/或其他显微镜部件。
根据本发明的计算机程序包括当所述方法变体由计算机执行时导致执行所述方法变 体之一的命令。
已被描述为附加装置特征的本发明的特征在按预期实施时也产生根据本发明的方法 的变体。相反,显微镜系统也可以配置为执行所描述的方法变体。特别地,计算设备可以被配置为执行所描述的方法变体并且输出用于执行所描述的方法步骤的命令。计算设备还可以包括所描述的计算机程序。
附图说明
下面参照附图描述本发明的进一步优点和特征:
附图1是本发明的显微镜系统的示例实施例的示意图;
图2是根据本发明的示例实施例的原始图像和计算HDR图像的步骤的示意图;
图3是本发明方法的示例实施例的过程的示意图;以及
图4是本发明方法的示例实施例的一个过程的示意图。
具体实施方式
下面参照附图描述不同的示例实施例。通常,相似的元件和以相似方式起作用的元 件由相同的附图标记表示。
图1
图1示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算设备20和显微镜1,在所示示例中显微镜1是光学显微镜,但原则上可以是任何类型的 显微镜。显微镜1包括支架2,通过该支架2支撑其他的显微镜部件。后者具体可以包括: 物镜旋转器/转轮3,在所示示例中,物镜4安装在该物镜旋转器/转轮3上;具有用于 固定样本载体7和显微镜相机8的固定框架6的样本台5。如果物镜4已经旋转以位于显 微镜光路中,则显微镜相机8接收来自由样本载体7支撑的一个或多个样本的检测光以 捕获样本图像。
显微镜1还包括用于捕获样本载体7的概览图像的概览相机9。概览相机9的视场9A大于捕获样本图像时的视场。在所示示例中,概览相机9通过偏转镜9B观察样本载 体7。偏转镜9B布置在物镜旋转器3上并且可以被选择来代替物镜4。在该实施例的变 体中,偏转镜或一些其他偏转元件也可以布置在不同的位置。或者,概览相机9也可以 布置在支架2上,以便在没有偏转镜9B的情况下直接观察样本载体7。原则上,由显微 镜相机8捕获的图像也可以构成概览图像,特别是当通过物镜旋转器3选择宏观物镜 时。
计算设备20旨在从多个捕获图像计算高质量图像(HDR图像)。为此,计算设备20被配置为控制概览相机9以捕获具有不同显微镜设置的多个概览图像。附加地或替代地,计算设备20被配置为控制样本相机8以捕获具有不同显微镜设置的多个样本图像。不 同的显微镜设置会导致不同的图像亮度,例如通过不同的曝光时间(快门速度)、照明光 线强度、照明波长或过滤器设置。从中计算出HDR图像的样本图像或概览图像在下文 中称为原始图像。
HDR图像的计算借助于由计算设备20执行的计算机程序80来进行,如下面参照其他图更详细地描述的。
图2
图2示意性地示出了在本发明的示例实施例中如何从多个原始图像11-15计算HDR图像30。每个原始图像11-15都显示了相同的场景,是带有显微样本的样本载体的捕获 概览。为清楚起见,未在所有原始图像11-15中指示参考符号,尽管每个原始图像11-15 显示相同的场景。原始图像11-15的图像亮度不同,其在原始图像11中最大并且朝着原 始图像15逐渐减小。每个原始图像11-15显示位于盖玻片下的样本载体7上的显微样本 10。盖玻片边缘17在原始图像11-15中显得明亮。盖玻片外面的区域被指定为背景16, 其中固定框架6也可以可选地被认为是背景16的一部分。
样本10通常在相对高的照明强度以及因此高的图像亮度下是最清晰可见的,如所示 示例中的原始图像12所体现的。由于亮度的过饱和/过载,样本10的细节反而在特别明亮的原始图像11中丢失。在较暗的原始图像13-15中,无法识别样本10的细节,并 且更难将样本10与样本载体7区分开来。
盖玻片边缘17通常看起来比样本10基本上更明亮并且容易过载/过度曝光。盖玻片 边缘17在所示示例中最暗的原始图像15中最清晰可见。在该图像中盖玻片边缘17外部的周围区域非常暗,由此有效地抑制了干扰背景细节。
原始图像14最适合盖玻片下方的样本载体7的区域。在相对较暗的图像中可以抑制 划痕、污垢或瑕疵。与样本分析无关的样本载体7的其他细节也在原始图像14中衰减。对于样本载体7的在样本10的图像区域之外的图像区域,目标由此不是最大水平细节或 最大图像质量(在某种意义上,例如尽可能高的图像对比度或尽可能宽的亮度动态范围); 相反,应该抑制干扰图像内容。
在已知的HDR方法中,多个原始图像基于它们各自的图像亮度被组合。相反,根据本发明描绘的对象组合不同原始图像11-15的图像区域。不同的对象(例如,样本10、 盖玻片下的样本载体7、盖玻片外的背景16)被自动检测并相互区分,即提供有语义标 签。
为此,通过语义分割从一个或多个原始图像11-15中计算分割掩模21-23。分割掩模 21标记盖玻片下方的样本载体7的图像区域/区域21A,从而将其与剩余图像区域21B划界。分割掩模22标记样本的区域22A,而所有剩余的图像区域22B融入到另一个区域中。 分割掩模23标记背景23A,从而将其与剩余图像内容23B划界。背景23A包括盖玻片 外部的图像内容,即盖玻片边缘17的外部,特别也是固定框架6的图像内容。在所示示 例中,分割掩模21-23是二元掩模;然而,它们也可以组合成单个分割掩模,该掩模使 用两个以上不同的像素值来区分区域。在一个变体实施例中,分割掩模21还可以将没有 样本的区域标记为盖玻片下的样本载体7的区域,即图2中的区域21A减去区域22A。
分割掩模21-23用于定义如何将不同原始图像11-15的图像内容纳入HDR图像30中。图2的最下部示出了一个简单示例。分割掩模21逐个像素地乘以原始图像14,原始 图像14是样本载体7的区域的最合适的原始图像。区域21A的每个像素具有例如值1, 使得原始图像14的对应图像内容被包括在内,而图像区域21B的每个像素的值为0以排 除原始图像14的对应图像内容。分割掩模22类似地逐个像素乘以原始图像12,其中样 本10是最清晰可见的。分割掩模23也逐个像素地乘以原始图像15,其抑制了背景并显 示盖玻片边缘而没有过载。然后形成这三个计算图像的总和,其生成HDR图像30。因 此HDR图像30包含不同原始图像12、14、15的图像内容,其中图像内容不是被选 择作为原始图像11-15的亮度值的直接函数(与典型的HDR方法一样),而是基于语 义分割。
在所描述的示例中,为每个语义标签(样本、样本载体、背景)分别选择原始图像11-15之一。然后通过分割掩模21-23确定所选原始图像11-15的哪些像素将被纳入HDR 图像中。这可以被描述为向原始图像11-15的像素或区域分配系数:在原始图像14中, 样本载体7,对应于区域21A,的像素被分配非零系数。原始图像12中的样本10,对应 于区域22A,的像素同样被分配非零系数。最后,原始图像15中的背景,对应于区域23A, 的像素被分配非零系数。原始图像11-15的所有剩余像素或区域被分配系数为零。然后 将原始图像的每个像素乘以其分配的系数,然后将这些图像加在一起以获得HDR图像 30。
与相同区域21A或22A或23A相关的多个原始图像11-15的图像内容也可以通过相应的系数选择来组合。在这种情况下,系数可以在图像的组合或相加中充当权重。因此 在HDR图像30中形成由多个原始图像11-15的加权叠加组成的语义区域。不同语义区 域的权重不同。
可能的计算步骤将在下面参考图3进行更详细的解释。
图3
图3示意性地示出了根据本发明的方法示例实施例的用于从多个原始图像11-15生 成HDR图像30的计算步骤。
首先,接收例如,来自数据存储器,直接来自图1所示的显微镜系统100或来自其他图像捕获设备的多个原始图像11-15。
然后,在步骤S1中,使用机器学习模型M1来计算语义分割掩模21-23。机器学习 模型M1接收一个或多个原始图像11-15或从其计算的图像作为输入,例如,其可以是原 始图像11-15的平均值。此处的机器学习模型M1是一种分割机器学习模型,该模型已 被训练以从输入图像生成一个或多个分割掩模21-23。如上所述,还发生了逐个像素分 类,通过该分类为不同的图像区域指定语义标签。标记的训练数据可以用于训练(未图 示)。标记的训练数据包括与原始图像对应的多个训练图像以及对应语义标签的相关逐个 像素规范。从而在训练中定义机器学习模型M1的模型参数值。机器学习模型M1可以 具体得包括卷积神经网络(CNN)和/或不同网络架构的组合。机器学习模型M1也可 以可选地设计为利用上下文数据i。上下文数据i可以提供有关某些对象存在的信息。 例如,可以知道正在使用哪种样本载体类型(例如带有矩形盖玻片的载玻片)。特别地, 这种上下文数据i可以通过用户输入或基于先前的分析而获知。
在已经确定语义分割掩模21-23之后,定义系数K,其确定来自原始图像11-15的像素是否以及在多大程度上纳入HDR图像30中。系数的确定通过进一步的机器学习模型 发生在所示示例的步骤S3中,这里称为系数确定机器学习模型M2(模型M2)。模型 M2从原始图像11-15之一接收语义区域连同相应语义标签的指示作为输入。在所示示例 中,为此在步骤S2中将原始图像11与分割掩模22相乘。分割掩模22仅选择区域用于 该乘法,为此它的两个区域具有两个不同的值,例如零和非零的值。在所示示例中,模 型M2的输入因此对应于来自原始图像11的样本10的图像区域,其中还指示了关联的 语义标签,即输入图像区域与类型“样本”相关。训练模型M2被训练根据语义标签对 输入图像数据进行评估。为此目的,模型M2可以用训练数据进行训练,该训练数据包 括各个图像数据,其具有用于不同语义标签图像质量的关联标签。例如,语义标签“样 本”的训练数据可以包括多个图像或样本的图像片段,用户预先手动指定了质量评估。 如上所述,对于不同的语义区域可以优选不同的评价标准。相应地,模型M2可以用训 练数据进行训练,其中与不同语义标签相关的图像数据已经以不同方式进行了评估。模 型M2还可以在过程中利用上下文数据i。上下文数据i可以指示例如样本类型,已知对 于不同的样本类型,在更亮或更暗的图像中是否更有可能实现最佳图像质量。作为输出, 模型M2生成输入图像区域的系数,即在所示示例中原始图像11的区域21A的系数K11。 同一原始图像11的剩余语义区域现在连续输入到模型M2中,该模型计算原始图像11 的区域22A的系数K12和原始图像11的区域23A的系数K13。系数K11、K12、K13 可以组合为原始图像11的系数向量K1。对于其他原始图像类似地执行相同的过程,由此形成各自的系数向量,在所示示例中直到系数向量K5包含原始图像15的系数K51、 K52和K53。所有系数向量K1-K5的条目统称为系数K。
然后在步骤S4中使用系数K从原始图像11-15计算HDR图像30。在所示示例中, 在步骤S2中确定的原始图像11-15的语义区域乘以各个系数;随后将所有图像数据一起 相加。
生成的HDR图像30的特征在于样本结构特别清晰可见,没有图像区域被过载/过度曝光并且样本区域外的细节被抑制。因此,HDR图像30在质量方面优于单个捕获的原 始图像。
在一个变体实施例中,模型M2可以被设计和训练以执行图像到图像的映射,其中输出图像中的不同像素值是对应的系数。因此,模型M2的输出构成具有原始图像11-15 之一关联系数的分割掩模。在这种情况下,模型M2的输出乘以相关联的原始图像 11-15,然后在步骤S4中一起相加。
在所示实施例的进一步变体中,两个机器学习模型M1和M2可以由单个机器学习模型构成。因此,机器学习模型不必输出分割掩模。而是直接输出系数K,尽管也可以 将步骤S4集成到机器学习模型中,从而直接输出HDR图像30。
所说明的实施例还可以关于如何处理语义区域的边界而变化,例如图2中分割掩模 21的区域/图像区域21A和21B之间的边界。在到目前为止所描述的示例中,在两个系 数之间的边界处存在显著的跳跃。或者,可以在两个相关系数之间发生混合,即连续或 逐渐过渡。例如,可以使用模型M2为区域21A、22A、23A确定系数K11、K12、K13, 如针对原始图像11所述。然而,在这种情况下,系数K11并未分配给原始图像11的 区域21A的每个像素;相反,在区域21A和图像区域21B/23A之间的边界区域中,系数 K11和K13之间存在连续过渡。因此,将所确定系数K11-K13的不同(线性)组合分配 给原始图像11的像素。
图4
图4示出了替代步骤S3',其替代了本发明的一些示例实施例中的前图的步骤S3。
在图4所示的示例中,使用包含分别用于不同语义标签S和不同图像捕获参数P的系数值K的系数表T。语义标签S可以区分,例如“样本”、“样本载体”和“背景”。图 像捕获参数P可以指示,例如,不同的照明强度和/或曝光时间。原则上,可以有任意数 量的不同语义标签S和图像捕获参数P。在步骤S3'中,属于一个原始图像11-15的语义 标签S和图像捕获参数P作为输入被输入。语义标签S可以,例如根据图3的步骤S1, 确定。图像捕捉参数P直接从图像捕捉设备接收或从存储器检索或可以通过计算设备20 捕捉所讨论的原始图像11-15时确定。基于输入语义标签S和图像捕获参数P的输入值, 系数表T的对应条目被输出作为系数K。或者,多个条目的(线性)组合可以被输出作 为系数K,这是权宜之计,例如,当图像捕获参数P的输入值指示位于系数表T中包括 的两个照明强度之间的照明强度时。
所示示例的进一步变化是可能的。特别地,可以采用没有机器学习模型的经典图像 处理算法所取代图3的机器学习模型M1和M2。可以使用,例如,边缘检测过滤器来创 建分割。根据分割内容的形式,然后可以进行分类,由此可以创建语义分割掩模21-23。 系数的确定,例如,可以通过基于图像质量标准,例如基于其对比度或噪声评估输入到 图3中的模型M2中的图像区域。
图1的计算设备20和计算机程序80可以被配置为执行参考图2,图3和/或图4描 述的过程。所描述的示例实施例纯粹是说明性的并且可以在所附权利要求的范围内变化。 特别地,参考图1引用的样本图像和概览图像仅仅是原始图像的示例并且原则上具有不 同图像亮度的任何其他图像都可以用作原始图像。如图2中所示的原始图像也不必,如 所示的,在方向和放大率方面相同,以便使所有原始图像11-15中就其位置呈现相同的 图像内容;相反,如果所描绘的图像内容重叠就足够了。
参考列表
1 显微镜
2 支架
3 物镜旋转器
4 显微镜物镜
5 样本台
6 固定框架
7 样本载体
8 显微相机
9 概览相机
9A 概览相机的视场
9B 偏转镜
10 样本
11-15 原始图像(RAW图像)
16 背景
17 盖玻片
20 计算设备
21-23 分割掩模
21A 分割掩模21的图像区域/区域“样本载体”
21B 分割掩模21的非活动图像区域
22A 分割掩模22的图像区域/区域“样本”
22B 分割掩模22的非活动图像区域
23A 分割掩模23的图像区域/区域“背景”
23B 分割掩模23的非活动图像区域
30 HDR图像
80 本发明的计算机程序
100 本发明的显微镜系统
i 上下文数据
K K11-K53系数,包括系数向量K1-K5和单独的系数K11-K53
M1 机器学习模型
M2 系数确定机器学习模型
P 图像捕捉参数
S 语义标签
S1-S4,S3' 根据本发明的方法的示例实施例的步骤
T 系数表
Claims (19)
1.用于生成HDR图像(30)的显微镜系统,包括
用于捕获多个原始图像(11-15)的显微镜(1),显示具有不同图像亮度的场景;以及
计算设备(20),其被配置为通过组合至少两个原始图像(11-15)来生成HDR图像;其特征在于
计算设备(20)被配置为:
根据区域(21A-23A)中所描绘的对象,设置用于原始图像(11-15)中的不同区域(21A-23A)的系数(K),其中它通过系数(K)定义是否或在多大程度上原始图像(11-15)的像素纳入HDR图像(30)中;以及
基于设置的系数(K)通过组合原始图像(11-15)来生成HDR图像(30)。
2.生成HDR图像(30)的方法,包括
接收显示具有不同图像亮度的场景的多个原始图像(11-15);以及
通过组合至少两个原始图像(11-15)来产生HDR图像(30);
其特征在于
根据区域(21A-23A)中所描绘的对象设置原始图像(11-15)中的不同区域(21A-23A)的系数(K),其中,它通过系数(k)定义是否或在多大程度上原始图像(11-15)的像素纳入HDR图像(30)中;和
基于设置的系数(K)通过组合原始图像(11-15)来生成HDR图像(30)。
3.根据权利要求2所述的方法,
其中不同区域(21A-23A)的系数(K)的设置通过:
通过将每个原始图像(11-15)划分区域(21A-23A)并分配所述区域(21A-23A)相应的语义标签(S)来确定原始图像(11-15)中的语义区域(11-15);
根据所包括的语义区域(21A-23A)的至少语义标签(S)导出用于每个原始图像(11-15)的系数(k)。
4.根据权利要求3所述的方法,
其中提供了包含用于不同图像捕获参数(P)和不同语义标签(S)的系数(K)的系数表(T);
其中,接收关于原始图像(11-15)的图像捕获参数(P)的信息;
其中,基于系数表(T),进行原始图像(11-15)中用于语义区域(21A-23A)的系数(K)的设置。
5.根据权利要求3所述的方法,
其中一个原始图像(11-15)的系数(K)也根据语义区域(21A-23A)中的图像内容设置。
6.根据权利要求2所述的方法,
其中为每个原始图像(11-15)的每个语义区域(21A-23A)设置系数(K)。
7.根据权利要求2所述的方法,
其中系数(k)的设置包括以下步骤:
-基于评估标准至少一个有关的:过载,欠载,噪声,亮度值的频率分布和/或对比度,计算每个原始图像(11-15)的语义区域(21A-23A)中图像内容的图像质量评估:以及
-根据相应的图像质量评估和语义标签(S),设置每个原始图像(11-15)中每个语义区域(21A-23A)的系数(K)。
8.根据权利要求2所述的方法,
其中根据各个语义标签(S),对语义区域(21A-23A)应用不同的评价标准。
9.根据权利要求2所述的方法,
其中系数(K)的设置通过系数确定机器学习模型(M2)发生,其至少接收原始图像(11-15)作为输入,并将系数(k)设置为输出。
10.根据权利要求9所述的方法,
其中,系数确定机器学习模型(M2)接收原始图像(11-15),和关于划分为语义区域(21A-23A)的附加信息以及原始图像(11-15)的相应语义标签(S)作为输入。
11.根据权利要求2所述的方法,
其中原始图像(11-15)之一的一个语义区域(21A-23A)中的每个像素被分配相同的系数(K);或者
其中,对于连续过渡,混合相同原始图像(11-15)中的相邻语义区域(21A-23A)的系数(K),使得像素根据与其相邻语义区域(21A-23A)的区域边界的像素距离,经受这些相邻的语义区域(21A-23A)相应系数(K)的混合。
12.根据权利要求2所述的方法,
其中原始图像(11-15)显示了场景的部分不同或重叠的部分;
其中,评估是否应该对于其中一个有修改的图像捕获参数(P)的部分捕获其他图像。
13.根据权利要求2所述的方法,
其中,基于原始图像(11-15)中的一个或多个或基于另一图像,确定语义标签(S),以及,
其中语义区域(21A-23A)的语义标签(S)区分了以下至少两个或更多个的预定类别:样本载体(7),盖玻片,样本(10),固定框架(6)和背景(16)。
14.根据权利要求2所述的方法,
其中,原始图像(11-15)中语义区域(21A-23A)的确定是在为此目的而训练的机器学习模型(M1)的帮助下进行的,该机器学习模型包括分割机器学习模型、实例分割机器学习模型或检测机器学习模型。
15.根据权利要求2所述的方法,
其中,只有一个原始图像(11-15)或一些原始图像(11-15)被输入到机器学习模型(M1),其中机器学习模型(M1)由此计算至少一个分割掩模(21-23),
其中,根据计算出的至少一个分割掩模(21-23),在剩余的原始图像(11-15)中发生语义区域(21A-23A)的划分。
16.根据权利要求2所述的方法,
其中,当确定语义区域(21A-23A)和/或当确定系数(K)时,利用与以下一个或多个特征相关的上下文数据(i):
-样本(10)的类型或样本载体(7)的类型;
-图像采集参数(P);
-来自其他原始图像的信息(11-15);
-整个图像特征的分类结果;
-来自其他捕获模式的信息。
17.根据权利要求2所述的方法,
其中设置的系数(k)用作在原始图像(11-15)的组合成HDR图像(30)期间的权重;或者
其中,设置的系数(k)用于从不同原始图像(11-15)中选择语义区域(21A-23A),并且随后将所选择的语义区域组合到HDR图像(30)中。
18.根据权利要求2所述的方法,
其中,用于捕获原始图像(11-15)的过程在以下一个或多个特征方面不同:
-光偏振;
-照明光的波长;
-探测光的波长;
-照明设置;
-染料激发;
-照明角度;
-捕获模式和
-相机灵敏度。
19.具有命令的计算机程序,当由计算机执行时,该命令导致执行根据权利要求2至18之一的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020123504.6 | 2020-09-09 | ||
DE102020123504.6A DE102020123504A1 (de) | 2020-09-09 | 2020-09-09 | Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114241066A true CN114241066A (zh) | 2022-03-25 |
Family
ID=80266612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111049764.6A Pending CN114241066A (zh) | 2020-09-09 | 2021-09-08 | 用于生成hdr图像的显微镜系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11769236B2 (zh) |
CN (1) | CN114241066A (zh) |
DE (1) | DE102020123504A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7280107B2 (ja) * | 2019-05-10 | 2023-05-23 | 株式会社エビデント | 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム |
US20220207256A1 (en) * | 2020-12-30 | 2022-06-30 | Fei Company | Charged particle microscope systems and clustering processes for high dynamic range sample analysis |
WO2024015534A1 (en) * | 2022-07-14 | 2024-01-18 | Siemens Healthcare Diagnostics Inc. | Devices and methods for training sample characterization algorithms in diagnostic laboratory systems |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101520068B1 (ko) * | 2008-12-16 | 2015-05-13 | 삼성전자 주식회사 | 다중영상 합성장치 및 그 방법 |
JP6045355B2 (ja) | 2013-01-11 | 2016-12-14 | オリンパス株式会社 | 画像処理装置、顕微鏡システム、及び画像処理プログラム |
DE102013006994A1 (de) | 2013-04-19 | 2014-10-23 | Carl Zeiss Microscopy Gmbh | Digitalmikroskop und Verfahren zur Optimierung des Arbeitsablaufes in einem Digitalmikroskop |
CN104299213A (zh) * | 2014-09-30 | 2015-01-21 | 西安邮电大学 | 一种基于低动态图像的细节特征合成高动态图像的方法 |
DE102015114015A1 (de) | 2015-08-24 | 2017-03-02 | Carl Zeiss Ag | Maschinelles lernen |
US9870623B2 (en) * | 2016-05-14 | 2018-01-16 | Google Llc | Segmenting content displayed on a computing device into regions based on pixels of a screenshot image that captures the content |
DE102017109698A1 (de) | 2017-05-05 | 2018-11-08 | Carl Zeiss Microscopy Gmbh | Bestimmen von Kontextinformation für Wechselkomponenten eines optischen Systems |
DE102017111718A1 (de) | 2017-05-30 | 2018-12-06 | Carl Zeiss Microscopy Gmbh | Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes |
TW201947536A (zh) | 2018-05-08 | 2019-12-16 | 華晶科技股份有限公司 | 影像處理方法及影像處理裝置 |
WO2019239462A1 (ja) * | 2018-06-11 | 2019-12-19 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
BR112021011719A2 (pt) | 2018-12-18 | 2021-08-31 | Pathware Inc | Sistema baseado em microscopia computacional e método para geração de imagem automatizada e análise de espécimes de patologia |
DE102019113540A1 (de) | 2019-05-21 | 2020-11-26 | Carl Zeiss Microscopy Gmbh | Lichtmikroskop mit automatischer Fokussierung |
DE102019114012A1 (de) | 2019-05-24 | 2020-11-26 | Carl Zeiss Microscopy Gmbh | Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse |
DE102019114117B3 (de) | 2019-05-27 | 2020-08-20 | Carl Zeiss Microscopy Gmbh | Automatische Workflows basierend auf einer Erkennung von Kalibrierproben |
KR20220068990A (ko) * | 2019-09-24 | 2022-05-26 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 촬상 장치 |
KR20220077142A (ko) | 2019-10-02 | 2022-06-08 | 메모리얼 슬로안 케터링 캔서 센터 | 다중-클래스 이미지 분할을 위한 심층 다중-배율 네트워크들 |
JP2021064860A (ja) * | 2019-10-11 | 2021-04-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
DE102019131678A1 (de) | 2019-11-22 | 2021-05-27 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zum Verarbeiten von Mikroskopbildern |
-
2020
- 2020-09-09 DE DE102020123504.6A patent/DE102020123504A1/de active Pending
-
2021
- 2021-09-07 US US17/467,582 patent/US11769236B2/en active Active
- 2021-09-08 CN CN202111049764.6A patent/CN114241066A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102020123504A1 (de) | 2022-03-10 |
US11769236B2 (en) | 2023-09-26 |
US20220076395A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114241066A (zh) | 用于生成hdr图像的显微镜系统和方法 | |
US10841503B2 (en) | System and method for image acquisition using supervised high quality imaging | |
JP5458905B2 (ja) | 画像におけるシャドーの検知装置および検知方法 | |
EP2515273B1 (en) | Multiple exposure high dynamic range image capture | |
US9305343B2 (en) | Observation device and observation method | |
AU2014292179B2 (en) | Auto-focus methods and systems for multi-spectral imaging | |
EP2103925B1 (en) | Multi-exposure imaging for automated fluorescent microscope slide scanning | |
CN104717432A (zh) | 处理一组输入图像的方法、图像处理设备和数字照相机 | |
US7826652B2 (en) | Method for forming an optimally exposed image of cytological specimen | |
CN108603998B (zh) | 通过确定最优扫描轨迹获取载玻片上的样本的聚焦图像的方法、系统和产品 | |
JP2009168572A (ja) | 画像処理装置および画像処理プログラム | |
EP3204812B1 (en) | Microscope and method for obtaining a high dynamic range synthesized image of an object | |
EP1947441B1 (en) | Apparatus for determining positions of objects contained in a sample | |
US20230206416A1 (en) | Computer-implemented method for quality control of a digital image of a sample | |
US11985415B2 (en) | Microscopy system and method for generating an overview image | |
JP3338625B2 (ja) | 物体識別装置 | |
US20230418042A1 (en) | Microscopy System and Method for the Color Correction of Microscope Images | |
US8295562B2 (en) | Medical image modification to simulate characteristics | |
CN113436106B (zh) | 水下图像的增强方法、装置及计算机存储介质 | |
CN111856739B (zh) | 用于改善显微镜图像的信噪比的图像处理设备、系统和方法 | |
CN116309099A (zh) | 用于减少图像光晕的显微镜系统和方法 | |
WO2024046727A1 (en) | Multispectral image sensor arrangement, electronic device and method of multispectral imaging | |
CN116547983A (zh) | 用于眼科显微镜设备的图像曝光技术 | |
Inoué et al. | Techniques for optimizing microscopy and analysis through digital image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |