CN114424102A - 用于在自动聚焦系统中使用的图像处理装置和方法 - Google Patents

Abstract

本发明涉及一种用于确定自动聚焦系统(13)，特别是被动式自动聚焦系统(13)中的经聚焦输出图像(O_AF(x_i))的图像处理装置(1)。所述图像处理装置(1)可以是观察设备的一部分并且例如是显微镜(2a)或内窥镜。为了提供更可靠的自动聚焦功能，根据本发明的装置和方法被配置为检索一组(11)输入图像(I(x_i))；为一组输入图像中的至少一个输入图像计算至少一个基线估计(f(x_i))，所述至少一个基线估计表示具有大于预定图像特征长度尺度(fl_j)的长度尺度的图像结构；计算一组(31)输出图像(O(x_i))；基于(a)输入图像组的不同输入图像和此输入图像的至少一个基线估计和(b)用于相应的不同输入图像的至少一个基线估计中的一个计算一组输出图像的每个输出图像；将输出图像组中的一个输出图像确定为经聚焦输出图像。通过计算基线估计来识别基线，其中基线表示仅具有一定长度尺度的图像特征，去除模糊，从而更容易识别输出图像以进行自动聚焦。

Description

用于在自动聚焦系统中使用的图像处理装置和方法

技术领域

本发明涉及一种用于自动聚焦系统，特别是被动式自动聚焦系统的图像处理装置和方法，诸如显微镜或内窥镜中的自动聚焦系统。

背景技术

特别是在广角显微镜中，基于软件的被动式自动聚焦会比较在不同焦点位置/焦点距离处获取的一组堆叠的输入图像的对比度，以找到最清晰的输入图像。然后最清晰的输入图像定义最佳焦距或用作要显示给用户的输出图像。基于这种自动聚焦的装置和方法既可以用于寻找焦点，即找到最佳对焦位置，也可以用于保持焦点，即将移动的物体保持对焦。

显微镜的自动聚焦系统是例如从US 4,958,920已知的。此系统结合了第一主动自动聚焦系统和第二被动式自动聚焦系统。主动自动聚焦系统将至少一个光点投射到物体上，并根据光点的反射特性产生聚焦信号。被动式自动聚焦系统产生代表物体图像的视频信号，然后使用该视频信号的图像对比度作为聚焦标准。视频信号是一种模拟信号，其经过高通滤波后被整合并转换为数字信号。模拟视频信号需要调整积分器才能正确聚焦。

基于对比度的自动聚焦的一个缺点是计算量大。另一个缺点是结果对于漫反射样本不是最佳的。

发明内容

因此，需要一种快速可靠的、特别是被动式的、特别是基于软件的自动聚焦，它适用于漫反射探针，并且可以用于寻找和保持焦点。

这种需要由用于确定自动聚焦系统，特别是被动式自动聚焦和/或软件自动聚焦系统中的经聚焦输出图像的图像处理装置解决，其中图像处理装置被配置为检索一组输入图像；为所述组输入图像中的至少一个，优选每个输入图像计算至少一个基线估计，所述至少一个基线估计表示所述至少一个输入图像中的图像结构，所述图像结构具有大于预定图像特征长度尺度的长度尺度；计算一组输出图像；基于(a)所述组输入图像的一不同输入图像和用于此输入图像的至少一个基线估计(b)以及用于相应的不同输入图像的至少一个基线估计中的一个，计算所述组输出图像的每个输出图像；以及将所述组输出图像中的一个输出图像确定为经聚焦输出图像。

上述需要通过一种用于在自动聚焦系统中提供经聚焦输出图像的计算机实现的图像处理方法进一步解决，包括以下步骤：检索一组输入图像；为所述组输入图像中的输出图像的计算至少一个基线估计，该至少一个基线估计表示具有大于预定图像特征长度尺度的长度尺度的图像结构；计算一组输出图像；计算所述组输出图像的步骤包括以下步骤：基于以下之一计算所述组输出图像的每个输出图像：(a)所述组输入图像的一不同输入图像和此输入图像的至少一个基线估计，以及(b)用于相应的不同输入图像的至少一个基线估计；以及选择所述组输出图像中的一个输出图像作为经聚焦输出图像。

该目的进一步通过以下来解决，一种存储使计算机执行要求保护的方法的程序的非暂时性计算机可读介质；当计算机程序在处理器上运行时，通过具有用于执行要求保护的方法的程序代码的计算机程序；通过作为执行要求保护的方法的结果的输出图像；和/或通过输入和输出图像数据训练的神经网络设备或机器学习设备，其中输出图像数据是通过要求保护的方法从输入图像数据创建的。

图像处理装置和方法都使用基线估计。当使用可能包括光学系统和相机的成像系统记录三维区域的二维图像时，只有在光学系统的焦点区域中的那些特征将被清晰地呈现。不在焦点区域内的项目被模糊。在这种情况下，输入图像的“内容”应该存在于对焦贡献中，即焦点区域中的特征。对图像的离焦贡献会导致标准引擎和图像锐化方法，诸如反卷积无法去除的伪影。

离焦贡献可以表示为输入图像的基线，即通过涉及较大长度尺度的图像特征的平滑、渐进、低频变化。这反映了对输入图像的离焦贡献的漫反射特征。对焦分量可以表示为关于基线的高频变化，其中该变化包括高频变化和相应的较小长度尺度的特征。这反映了在清晰聚焦的输入图像中遇到的短距离对比度的急剧变化。

计算基线估计允许预测离焦分量，从而更可靠地获得经聚焦输出图像。

上述装置和方法可以通过添加以下描述的一个或多个特征来进一步改进。可以独立于其他特征将以下每个特征添加到图像处理方法、观察设备和/或图像处理装置。此外，每个特征都有其自身的有利技术效果，如下文所述。

术语“图像”涉及可以可视化为图像的任何类型的数据。术语“输入图像”和“输入图像数据”或“数字输入图像数据”以及“输出图像”和“输出图像数据”或“数字输出图像数据”作为最终图像及其内容同义使用由(数字)图像数据定义。图像数据可以是离散值并且是实值的，即由浮点数表示，或者是整数值。

术语“颜色”通常可能与特定波长或特定波段的输入信号强度或强度有关。波长可以指频谱或空间谱。术语“颜色”不一定限于图像输入数据，还可能涉及其他类型的输入数据，诸如下面进一步列出的。术语“颜色空间”同样不限于输入图像数据，而是可以指代以不同、重叠或非重叠波长或波段记录的任何一组输入图像数据。在此上下文中的波长可以对应于空间或时间波长，即与时间或空间频率相关。记录输入或输出信号的一组波长或波段对应于“颜色空间”。这些波长或波段中的每一个都构成单独的“通道”或“颜色通道”。

例如，输入图像可以是数字输入图像并且可以包含或由优选地表示可见和/或不可见光记录的数字输入图像数据、输入声纳、声音和/或超声数据、输入雷达数据、输入光谱学和/或光谱数据组成，光谱数据包括倒谱、输入微波数据、输入振动数据，诸如地震数据、任何类型的断层扫描的输入断层扫描数据和统计数据，诸如证券交易所数据，以及它们的任何组合。输入图像可以是一维、二维、三维和N维之一。输入图像可以是单色图像或彩色图像，诸如RGB、多光谱或高光谱图像。

输出图像可以是数字输出图像并且可以包含或由优选地表示可见和/或不可见光记录的数字输出图像数据、输出声纳、声音或超声数据、输出雷达数据、输出光谱和/或光谱数据组成，光谱数据包括倒谱、输出微波数据、输出振动数据，诸如地震数据，以及统计数据，诸如证券交易所数据，以及它们的任意组合。输出图像数据可以是一维、二维、三维和N维之一。可以输出输出图像数据以供进一步处理。

输入图像最好是N维阵列I(x_i)，其中N是大于2的整数。项x_i是元组{x₁；…；x_N}的快捷表示法，包含N个位置值并表示阵列中的离散位置x_i-或该位置的位置向量。位置x_i可以由输入图像数据中的像素或优选地相干的一组像素来表示。离散位置x_i例如表示在二维输入图像数据和离散位置变量的三元组{x₁；x₂；x₃}在三维输入图像数据的情况下的一对离散位置变量{x₁；x₂}。在第i维，阵列可能包含Mi个位置，即x_i＝{x_i，1，...，x_i，M_i}。总的来说，I(x_i)可能包含(M₁×…×M_N)个元素。由于在下文中将不提及具体位置或具体尺寸，因此该位置仅由x_i表示。符号x_i用于空间域，符号u_i用于频域，尽管用于估计、隔离和/或去除基线估计的相同操作可用于频域和空间域。

输入图像可以是彩色图像、单色图像或具有至少两个立体通道、左立体通道和右立体通道的彩色或单色立体图像。

I(x_i)可以是位置x_i处的任何值或值组合，诸如表示颜色强度的值或颜色空间中的“通道”，例如RGB空间中颜色R的强度，或一种以上颜色的组合强度，例如

在RGB颜色空间中。由多光谱或高光谱相机记录的输入图像可能包含三个以上的通道。对于其他类型的输入图像也是如此。

例如，三色RGB格式的二维输入图像可以看作是三组独立的二维输入图像数据I(x_i)＝{I_R(x_i)；I_G(x_i)；I_B(x_i)}，其中I_R(x_i)表示颜色R的强度等值，I_G(x_i)表示颜色G的强度等值，I_B(x_i)表示颜色B的强度等值。可替代地，可以将每种颜色视为构成单独的输入图像，从而构成单独的输入图像数据。

如果已经使用多光谱相机或高光谱相机记录了输入图像数据，则输入图像数据可以表示多于三个通道。每个通道可以代表光谱的不同光谱或光谱范围。例如，可以使用三个以上的通道来表示可见光谱。

如果物体包含荧光材料，诸如至少一种荧光团或至少一种自发荧光物质，则每个通道可以代表不同的荧光光谱。例如，如果输入图像数据中存在多个发荧光的荧光团，则一个荧光团的每个荧光光谱可以由输入图像数据的不同通道表示。此外，不同的通道一方面可用于由照明选择性触发的荧光，另一方面可作为副产物或作为触发荧光的次要效应生成的自发荧光。附加的通道可能涵盖NIR和IR范围。通道可能不一定包含强度数据，但可能代表与物体图像相关的其他类型的数据。例如，通道可能包含荧光寿命数据，这些数据代表在图像中特定位置触发后的荧光寿命。通常，输入图像数据因此可以具有以下形式

I(x_i)＝{I₁(x_i)；I₂(x_i)；…；I_C(x_i)}，

其中C是输入图像数据中的通道总数。

该装置和方法可以从对焦贡献具有高空间频率的假设开始，例如，负责输入图像数据中在短距离内发生的强度和/或颜色变化。假设离焦贡献具有低空间频率，即主要导致渐变的强度和/或颜色变化，这些变化延伸到输入图像数据的更大区域。因此，离焦贡献反映在输入图像数据的基线中。

从这个假设开始，输入图像数据的强度和/或颜色变化可以相加地分离成高空间频率对焦分量I_I(x_i)和低空间频率离焦或基线分量I_II(x_i)为

I(x_i)＝I_I(x_i)+I_II(x_i)。

由于其低空间频率，离焦分量I_II(x_i)可以被视为或多或少平滑的基线，在该基线上，对焦分量被叠加为具有高空间频率的特征。优选地，使用对输入图像数据的拟合来估计基线。在计算上，拟合，即基线估计f(x_i)，由离散的基线估计数据表示。基线估计数据也可以是具有N维和(M₁×…×M_N)个元素的超立方体阵列，因此具有与输入图像数据相同的维数。

更一般地说，所描述的基线估计不仅可以用于从输入图像中去除基线估计，而且可以将低频/大尺度特征贡献I_II(x_i)从高频/小尺度特征贡献I_I(x_i)中分离出来。然后可以对这两个分量进行处理，并最终分别进行分析。例如，在光谱数据，特别是高光谱数据中，大尺度基线光谱特征可以与小尺度光谱特征分离。

当然，如果考虑时间频率而不是空间频率，则同样的考虑也适用。在这种情况下，输入图像数据可以是例如表示光谱、倒谱或多个光谱或倒谱。因此，基线估计可用于提取和/或去除空间或频域中的小尺度或大尺度(基线)信号内容。

用于计算基线估计时，最好使用最小二乘最小化标准，该标准将被最小化以进行拟合。最小二乘最小化标准的精确方程决定了拟合的特征，从而决定了基线估计的特征。最小二乘最小化标准的不正确选择可能导致基线估计不能充分准确地表示离焦分量。

为了确保基线估计是输入图像数据中离焦或基线贡献的准确表示，并避免基线估计拟合为对焦贡献，最小二乘最小化标准可以包括惩罚项。惩罚项用于惩罚基线估计的不期望的行为，诸如表示输入图像数据的具有高频内容的分量，因此被认为属于输入图像数据的对焦分量。

一旦已经确定了基线估计并且因此已经获得了针对I_II(x_i)的基线估计f(x_i)，则可以从基线估计和输入图像获得输出图像O(x_i)。具体来说，可以通过从输入图像中减去基线估计来计算输出图像：

O(x_i)＝I(x_i)-f(x_i)。

输出图像O(x_i)优选地还由具有维度N和M₁×…×M_N个元素的离散数字数据阵列表示，因此优选地具有与输入图像和/或基线估计相同的维度。

在一个特定实例中，该拟合可以是对输入图像数据的多项式拟合。特别地，基线估计f(x_i)可以由N维i中的任何一个中的K阶多项式表示：

其中a_i，k是多项式在第i维中的系数。对于每个维度i＝1，…，N，可以计算单独的多项式。根据一个实施例，多项式拟合可以在多个维度上同时进行，这取决于输入图像数据的维度。

最大多项式阶数K的最佳值取决于基线估计所需的平滑度。对于平滑的基线，多项式阶数必须设置得尽可能低，而拟合高度不规则的背景可能需要更高阶数。

在多项式拟合的情况下，基线估计可能仅由多项式系数a_i，k组成。然而，多项式拟合可能难以控制且不精确，因为允许调整输入图像数据的唯一参数是最大多项式阶数。多项式阶数只能取整数值。因此，可能并不总是能够找到最佳基线估计值。非最佳多项式拟合可能会在基线估计中表现出局部最小值，这可能会导致令人讨厌的伪影。

因此，根据另一有利实施例，对输入图像数据的拟合可以是样条拟合，特别是平滑样条。样条拟合通常比多项式拟合提供更可靠的结果，因为它例如在平滑度方面更易于控制，对噪声具有鲁棒性，并产生更少的伪影。另一方面，样条拟合在计算上比多项式拟合更复杂，因为必须改变每个像素或更一般地，输入信号值以最小化最小二乘最小化标准。

根据一个实施例，最小二乘最小化标准M(f(x_i))可以具有以下形式：

M(f(x_i))＝C(f(x_i))+P(f(x_i))，

其中C(f(x_i))是成本函数，P(f(x_i))是惩罚项。最小二乘最小化标准、成本函数和惩罚项最好是标量值。

在一个特定实例中，成本函数表示输入图像I(x_i)和基线估计f(x_i)之间的差。例如，如果ε(x_i)表示输入图像和基线估计之间的差分项为

ε(x_i)＝I(x_i)-f(x_i)，

成本函数C(f(x_i))可能包括L₂范数||ε(x_i)||²，这里用作跨输入图像数据与第i维中的基线估计之间的平方差之和的所有尺寸的均方根值之和的简写符号，即

L₂范数||ε(x_i)||₂是标量值。成本函数的示例是：

C(f(x_i))＝||ε(x_i)||²

为了提高基线估计的准确性，如果例如通过使用截断的差分项截断输入图像和基线估计之间的差，则是有利的。截断的差分项减少了输入图像数据中的峰值对基线估计的影响。如果假设对焦贡献位于I(x_i)的峰值中，则这种减少是有益的。由于截断的差分项，输入图像数据中偏离基线估计值超过预定常数阈值s的峰值将在成本函数中“忽略”，通过将它们对阈值的拟合，尤其是样条拟合的惩罚截断来完成。因此，基线估计将仅在有限的数量范围内跟随此类峰值。截断的二次函数可以是对称的或不对称的。截断的差分项在下文中由

表示。

在一些应用中，对焦贡献可能仅或至少主要包含在输入图像的峰值中，即图像的亮点。这可以通过选择截断的二次项来反映，该项是不对称的并且允许拟合，特别是样条拟合，遵循输入图像数据中的谷值而不是峰值。例如，非对称截断的二次

可以是以下形式

如果在另一特定应用中，谷值，即输入图像中具有低值的暗区域或区域也被视为对焦贡献，则可以使用对称截断的二次函数来代替不对称截断的二次函数。例如，对称截断的二次函数可能具有以下形式：

使用截断的二次函数，成本函数C(f(x_i))最好可以表示为

如果基线估计拟合为被认为属于对焦分量I1(x_i)的数据，最小二乘最小化标准M(f(x_i))中的惩罚项P(f(x_i))可以采用任何引入惩罚的形式。如果输入图像中的对焦分量在基线估计中表示，则惩罚项的值会增加，从而产生惩罚。

例如如果假设离焦分量I₂(x_i)被认为具有低空间频率，则惩罚项可能是如果基线估计的空间频率变大则变大的项。

在一个实施例中，这样的项可以是粗糙度惩罚项，其惩罚偏离平滑基线的非平滑基线估计。这种粗糙度惩罚项有效地惩罚了具有高空间频率的数据的拟合。

根据另一方面，与平滑基线的偏差可能导致基线估计的一阶导数，即陡度或梯度和二阶导数，即曲率中的至少一个中的大值。因此，粗糙度惩罚项可以包含基线估计的一阶空间导数，尤其是第一空间导数的平方和/或绝对值，以及基线估计的二阶导数，尤其是平方和/或/或二次空间导数的绝对值中至少一个。更一般地，惩罚项可以包含基线估计的任何任意阶的空间导数，或基线估计的空间导数的任何线性组合。不同的惩罚项可以用于不同的维度。

例如，惩罚项P(f(x_i))可以形成为

此惩罚项是标量函数，它惩罚基线估计梯度的大变化率，或者等效地，高曲率，因此有利于平滑估计。因此它可以被称为粗糙度惩罚项。上面方程中，γ_j是正则化长度尺度，

是离散算子，用于计算第j维的二阶导数。j上的总和允许在不同维度上使用不同的项。

在离散中，可以使用卷积有效地计算微分。例如，

其中具有二阶导数矩阵

可替代地，惩罚项P(f(x_i))可以形成为

这是惩罚基线估计中的小尺度特征和大梯度的惩罚项。需要注意的是，由于x_i，m和f(x_i)都是离散的，所以可以通过与导数阵列

进行卷积来进行微分。算子

表示维数j中的离散一阶导数或梯度算子。

由于惩罚项是标量，正则化长度尺度γ_j和平方导数算子的单位需要相互抵消。由于如果输入图像的对应的维度的单位为[长度]，第n导数

的单位为[长度]^-n，则一般惩罚项的第n阶导数项

的单位为[长度]^-2n。因此，正则化长度尺度γj的单位为[长度]²ⁿ，即可以看作表示图像特征长度尺度fl的2ⁿ次方，γ_j＝fl²ⁿ。这也适用于任何导数组合，诸如在多个方向上的偏二阶导数或导数的线性组合。在后一种情况下，可以为每个导数阶分配不同的正则化长度尺度，例如在以下惩罚项示例中，涉及一阶和二阶导数与相应的正则化长度尺度的组合：

正则化长度尺度将图像特征分离为属于离焦贡献的特征和属于对焦贡献的特征。长度尺度大于正则化长度尺度中反映的长度尺度的图像特征将反映在基线估计中。长度尺度小于长度尺度的图像特征不会反映在基线估计中。因此，通过将正则化长度尺度设置为图像特征长度尺度fl，例如可以由用户预先确定或设置，例如γ_j＝fl²用于惩罚项中基线估计的一阶导数或γ_j＝fl⁴用于惩罚项中基线估计的二阶导数，可以选择一定大小的结构反映在基线估计中。更一般地说，正则化长度尺度是图像特征长度尺度的函数，γ_j＝γ_j(fl_j)，特征长度最好是唯一变量。

如果对于单个输入图像，计算两个不同的基线f_I(x_i)和f_II(x_i)，其中，对于一个基线估计，f_I(x_i)，第一图像特征长度尺度fl_I，对于另一个基线估计，f_II(x_i)，第二图像特征长度尺度fl_II，用于相应的正则化长度尺度中，其中fl_I＞fl_II，然后f_II(x_i)-f_I(x_i)产生图像中长度尺度介于fl_I和fl_II之间的结构。

代替或除了基线估计的导数或导数的线性组合之外，惩罚项可以包含特征提取的，特别是线性的，滤波器或这种滤波器的线性组合。特征提取滤波器可以是索贝尔(Sobel)滤波器、拉普拉斯滤波器和/或FIR滤波器，例如具有用于高空间频率的通带的高通或带通空间滤波器。

在此背景需要注意的是，在具有多个不同颜色通道的二维输入图像，诸如彩色图像、多光谱图像或高光谱图像中，如果颜色通道不单独考虑，波长或颜色可以形成三维。然后将反映光谱长度尺度的单独图像特征长度尺度分配给此维度。这样的图像特征长度尺度可用于将突然的颜色变化分配给“对焦”分量，并将远距离颜色变化分配给“离焦”分量。

此外，在三维彩色、多光谱和高光谱图像中，另一个维度可能与第三空间维度相关，可以为其定义另一个图像特征长度尺度。

在这样的一般方程中，第j维的惩罚项可以包含一般算子ζ^(j)并表示为

最小二乘最小化标准M(f(x_i))可以使用已知方法最小化。在一种情况下，可以使用优选的迭代最小化方案。特别地，可以使用半二次最小化方案。为了执行最小化，基线估计引擎可以包括最小化引擎，其具体可以是半二次最小化引擎。最小化方案或引擎可以包括具有两个迭代阶段的迭代机制。

最小化方案可以例如包括LEGEND算法的至少一部分，该算法在计算上是高效的。LEGEND算法在Idier，J.(2401)：Convex Half-Quadratic Criteria and InteractingVariables for Image Restoration(《用于图像恢复的凸半二次标准与交互变量》)，IEEETransactions on Image Processing，10(7)，p.1001-1009，以及在Mazet，V.、Carteret，C.、Bire，D、Idier，J.和Humbert，B.(2405)：Background Removal from Spectra byDesigning and Minimizing a Non-Quadratic Cost Function(《通过设计和最小化非二次成本函数从光谱中去除背景》)，Chemometrics and Intelligent Laboratory Systems，76，p.151-163中有描述。这两篇文章的全部内容通过引用并入本文。

可用于计算基线估计的其他最小化方案在Wang，G.等人(2014)：MorphologicalBackground Detection and Illumination Normalization of Text Image with PoorLighting(《形态学背景检测和光照不足的文本图像的照明归一化》)，PLoS One，2019，9(II)，e110991中进行了描述，通过引用整体并入本文。

LEGEND算法引入离散的辅助数据d(x_i)，它们最好与输入图像数据具有相同的维度。辅助数据在每次迭代时根据最新的初始基线估计、截断的二次项和输入图像数据进行更新。

在LEGEND算法中，最小二乘最小化标准使用两个迭代步骤最小化，直到满足收敛标准。

例如，合适的收敛标准可以是跨所有位置x_i的当前基线估计与先前基线估计之间的差之和小于预定阈值。

在进一步的改进中，收敛标准可以表示为

其中t是可以由用户设置的标量收敛值，(l)是迭代索引。

作为LEGEND算法的开始步骤，定义了用于基线估计的一组初始基线估计数据。

如果使用多项式拟合，LEGEND算法对于i＝1，…，N多项式中的每一个可以通过为第一基线估计

选择一组起始系数a_k来启动。

如果使用样条拟合，则启动LEGEND算法的初始条件可能是d(x_i)＝0，f(x_i)＝I(x_i)并通过进入第二个迭代步骤开始迭代。

在第一个迭代步骤中，辅助数据可以更新如下：

其中l＝1…L是当前迭代的索引，α是可以选择的常数。优选地，α接近但不等于0.5。α的合适值为0.493。

在第二个迭代步骤中，基线估计f_(l)(x_i)基于先前计算的辅助数据d_(l)(x_i)更新，来自上一次迭代(l-1)和惩罚项P(x_i)的基线估计f_(l-1)(x_i)。

基线估计f_(l)(x_i)可以使最小化标准M(f(x_i))最小化，该最小化标准已通过包括辅助数据针对LEGEND算法进行了修正。

特别地，更新后的基线估计可以在第二个迭代LEGEND步骤中使用以下方程计算：

这里，[||I(x_i)-f_(l-1)(x_i)+d_(l)(x_i)||²+P(f(x_i)]表示修正后的最小化标准。

第二个迭代步骤可以使用以下矩阵计算更新基线估计：

这里

是(M₁×…×M_N)²维阵列。在二维情况下，A_i是(M_x-1)(M_y-1)×M_xM_y阵列，并给出为

其中

重复更新d_(l)(x_i)和f_(l)(x_i)的两个迭代步骤，直到满足收敛标准。

根据非常优选的方面，LEGEND算法的第二步骤使用卷积而不是矩阵计算来修正。这大大减少了计算工作量。

更具体地，优选地，更新的基线估计f_(l)(x_i)直接通过将格林函数与输入图像数据和更新的辅助数据之和进行卷积来计算。

根据本发明解决方案的更具体方面，LEGEND算法的第二个迭代步骤可以由以下迭代步骤代替，其中更新的基线估计f_(l)(x_i)第l次迭代中使用格林函数G(x_i)计算如下fl(x_i)＝G(x_i)*(I(x_i)+d_(l)(x_i))。

与传统的LEGEND算法相比，这一步显著减少了计算负担。

减少的计算负担源于根据本发明的第二迭代步骤计算卷积的事实。可以使用FFT算法有效地执行此计算。此外，由于FFT算法，第二迭代步骤可以充分利用阵列处理器，诸如图形处理单元或FPGA。如果输入图像数据和所有其他阵列都是二维的，则计算问题从(M_x×M_y)²减少到M_x×M_y。对于一般的N维情况，计算负担从(M₁×…×M_N)²维矩阵计算减少到具有(M₁×…×M_N)维阵列的FFT计算。

因此，基线估计的计算和去除可以非常快速地执行，优选地对于二维输入图像数据是实时的。(2k×2k)输出图像可以在50毫秒或更短的时间内计算。

在一个具体实施例中，格林函数可以具有以下形式

其中F[…]是离散N维傅里叶变换，F^-1[…]是逆离散N维傅里叶变换，γ_j是粗糙度惩罚项的正则化长度尺度，

是位置m处第i维的离散惩罚阵列，N是总维数。上面的索引D^(j)表示每个维度j可能有不同的惩罚阵列。

一般来说，离散惩罚阵列

对应于惩罚项P^(j)(f(x_i))的函数导数

的离散表示，其用于第j个维度。由于所有函数都由离散阵列表示，因此可以通过卷积在数值上进行微分

其中

是用于计算函数导数

的离散阵列。

上述格林函数的一大优势是，任何形式的惩罚项P(f(x_i))都可能受益于最小化引擎中第二个迭代步骤的快速计算。因此，在使用格林函数的实施例中，可以使用任何用于获得良好基线估计的惩罚项。

对于惩罚项的一般表述

阵列

定义为

其中ζ^(j)是惩罚项的一般算子，*表示N维卷积，且

对应于函数f(x_i，m)中的离散一阶函数导数，它可能例如代表强度。此方程可以用最小二乘法求解。

例如，如果惩罚项是

卷积中的导数阵列可以表示为：

利用上述计算方案的任何变体，图像处理装置可以被配置为计算输入图像I(x_i)的至少一个基线估计f(x_i)。然而，如果这些输入图像的差异小于预定量，则可以将通用基线估计f(x_i)用于两个或更多输入图像。例如，可以计算两个或多个输入图像的相关，并且如果相关高于预定阈值，则使用相同的基线估计。这减少了计算负担。

由图像处理装置检索的输入图像组可以表示例如通过显微镜或内窥镜，在物镜的不同焦距下，诸如自动聚焦物镜记录的输入图像的堆叠。该组可以包括N个输入图像I₁(x_i)…I_N(x_i)。可替代地或附加地，输入图像的组可以表示例如在垂直于光学系统的光轴的平面中的不同位置，通过显微镜或内窥镜被记录的输入图像的堆叠，特别是光学系统的物镜，尤其是自动聚焦物镜，或焦距或等效地平行于焦距平面，即在x-/y-方向上移动，即在平行于焦平面的方向上，或者等效地，垂直于焦距。这种自动聚焦系统可用于跟踪移动的物体。该输入图像组或随后的输入图像组可以表示时变物体、时不变物体的不同输入图像，诸如以不同焦距、从不同位置和/或以不同颜色拍摄的输入图像，或其任意组合。

图像处理装置可以被配置为从已经为其计算了基线估计的组的相应输入图像中去除至少一个基线估计f(x_i)。如果对该组的每个输入图像重复此步骤，则获得一组输出图像。结果，为每个输入图像获得输出图像。因此，从N个输入图像获得N个输出图像O₁(x_i)…O_N(x_i)。

当离焦分量被去除时，输出图像组被去模糊，例如通过减法去模糊，如上所述。去模糊的输出图像允许更可靠地确定经聚焦输出图像，即经聚焦输出图像O_AF(x_i)。

通过调整图像特征长度尺度fl，可以仅使用具有特定长度尺度的特征来确定经聚焦输出图像。如果经聚焦输出图像的确定要基于长度尺度大于图像特征长度尺度fl的特征，则基线估计可以直接用作输出图像。如果经聚焦输出图像的确定基于具有小于图像特征长度尺度的长度尺度的特征，则选择基于通过从相应的输入图像中去除基线估计来计算的输出图像。如果经聚焦输出图像的选择是基于具有一定范围内长度尺度的特征，则基于第一长度尺度fl_I，j的f_I(x_i)和基于不同的第二图像特征长度尺度fl_II，j的f_II(x_i)的两个基线估计可以针对每个输入图像计算和减去以获得相应的输出图像。图像特征长度尺度可以独立于方向j。

可以通过使用聚焦函数从输出图像的组中确定经聚焦输出图像。聚焦函数是例如Groen，F.C.；Young，I.T；Ligthart G.(1985)：A Comparison ofDifferent FocusFunctions for Use in Autofocus Algorithms(《不同聚焦函数在自动聚焦算法中的应用比较》)：Cytometry 1985，6(2)：81-91中描述，其全文以引用方式并入本文。

特别地，聚焦函数可以包括以下列表中的至少一个聚焦函数：

·计算包含在输入图像和/或输出图像中的熵量，例如信息熵；

·计算输入图像和/或输出图像的至少一部分中的对比度；

·计算输入图像和/或输出图像的至少一部分中的强度和/或强度分布；

·计算相位相关；

·计算与预定模式的相关。

从上面可以看出，术语“焦点”应广义理解为不仅包括识别最清晰的输出图像，还包括识别包含某种模式和/或模式的相关表示的最清晰和/或最亮和/或最佳的输出图像，诸如用于物体跟踪。

例如，该输出图像可以被选择为具有最低信息熵的经聚焦输出图像O_AF(x_i)。

对于模式相关，可以使用静态或可变模式。例如，该模式可以由用户预先确定。可替代地，可以将先前选择的经聚焦输出图像用作模式，自动地或由用户设置。

在从该组中选择经聚焦输出图像之前，可以对该组输出图像的任何输出图像进行后处理。后处理可以包括反卷积、直方图修正、非锐化掩蔽、边缘增强、降噪和/或图像形态技术中的至少一种以增强图像的锐度，诸如顶帽变换。

同样，可以在计算基线估计之前对输入图像进行预处理。例如，可以对一个或多个或所有输入图像执行顶帽变换。此外，输入图像的预处理可以包括反卷积、直方图修正、非锐化掩蔽、边缘增强、降噪和增加锐度的处理中的至少一种。预处理用于优化图像质量。预处理可以进一步包括过滤输入图像的至少部分，例如使用图像分析工作流程和/或机器学习。

图像处理装置进一步可以被配置为根据经聚焦输出图像控制自动聚焦物镜，诸如根据经聚焦输出图像在输出图像组中的位置，或者根据焦距，其中记录了被选为经聚焦输出图像的输出图像中得到的输入图像。例如，输入图像和/或输出图像可以包括代表焦平面的焦距的深度数据，在该焦平面中记录了相应的输入图像。图像装置可以被配置为根据深度数据控制自动聚焦物镜。

例如，图像处理装置可以被配置为控制成像系统以记录一组输入图像，这组输入图像以得到经聚焦输出图像的输入图像的焦平面为中心，例如，通过样本架或成像系统的样本台的(电动)xy运动。

对于物体跟踪，图像处理装置可以被配置为根据经聚焦输出图像控制视场相对于探针体积或探针的移动。在这样的实施例中，输入图像和/或从输入图像导出的输出图像可以包含表示平行于焦平面的位置的位置信息，优选地除了如上所述的深度数据之外。

例如，图像处理装置可以被配置为根据经聚焦输出图像相对于彼此移动视场和探针体积。这样做时，可以跟踪物体并将其保持在预定位置，例如，视场的中心。

图像处理装置进一步可以包括图像处理器，其可以被配置为计算基线估计。图像处理器可以包括基线估计器引擎。基线估计器引擎可以适于计算基线估计并从基线估计获得输出图像。基线估计引擎可以包括最小二乘最小化标准(M(x_i))的离散表示。

图像处理器、基线估计器引擎和最小化引擎可以各自以硬件、软件或硬件和软件的组合来实现。例如，图像处理器、基线估计器引擎和最小化引擎中的至少一个可以至少部分地由子程序、通用处理器，诸如CPU的一部分和/或专用处理器，诸如CPU、GPU、FPGA、向量处理器和/或ASIC来实现。

该装置可以包括图像存储部分。更特别地，图像处理器可以包括图像存储部分。信号存储部分可以被配置为至少暂时地包含输入图像数据。信号存储部分可以只以硬件或软件来实现，或者以硬件和软件的组合来实现。例如，存储部分可以是数据阵列或子程序。替代地或附加地，存储部分可以包括硬盘、存储器设备并且包括易失性和非易失性存储器，其中存储了阵列和/或子程序。

该装置可以包括输入部分。更特别地，图像处理器可以包括输入部分。输入部分可以适于检索输入图像。输入部分可以只以硬件或软件来实现，或者作为硬件和软件的组合来实现。例如，输入部分可以是软件功能，例如一种数据传送协议，包括一个数据阵列，用作数据传送的接口。替代地或附加地，输入部分可以包括至少一个标准化连接器，诸如USB、HDMI和/或DisplayPort连接器。

该装置可以包括输出部分。更特别地，图像处理器可以包括输出部分。输出部分可以适于输出输出图像。输出部分可以只以硬件或软件来实现，或者作为硬件和软件的组合来实现。例如，输出部分可以是软件功能，例如一种数据传送协议，包括一个数据阵列，用作数据传送的接口。替代地或附加地，输出部分可以包括至少一个标准化连接器，诸如USB、HDMI和/或DisplayPort连接器。

图像处理装置可以是显微镜或内窥镜的一部分，其优选地包括自动聚焦物镜。自动聚焦物镜优选地被配置为由图像处理装置根据经聚焦输出图像来控制。

观察装置可以包括用于相对于物镜的视场移动探针的致动系统。图像处理装置可以被配置为通过操作致动器系统来控制视场相对于探针的位置。例如，可以以位置为中心记录一组后续输入图像，此处为先前经聚焦输出图像的x、y方向，也可能是z方向。

实现基线估计和自动聚焦算法的另一种方法是训练机器学习设备，诸如人工神经网络，例如，卷积神经网络，使用输入图像数据和输出图像数据对，其中输出图像数据是使用上述方法的实施例生成的。以这种方式训练的机器学习设备，或者等效地，这种训练设备的副本可以被视为已用于生成输入和输出图像数据的训练对的方法的实现。

应当注意，如果输入图像I(x_i)在输入图像数据作为输入图像数据的情况下，在去除离焦或对焦分量之前没有被卷积或反卷积，则该装置和方法提供了最佳结果。如果通过去除基线估计或对应于基线估计来预处理要反卷积的图像，则任何反卷积都会提供最佳结果。

接着，仅使用示例实施例以示例的方式进一步描述图像处理装置、图像处理方法和观察设备，该示例实施例也在附图中示出。在附图中，相同的附图标记用于关于功能和设计中的至少一个彼此对应的特征。

所附实施例中所示的特征组合仅用于说明目的并且可以修正。例如，可以省略具有特定应用不需要的技术效果的实施例的特征。同样，如果特定应用需要与此特征相关联的技术效果，则可以添加未显示为实施例一部分的特征。

在以下实施例中，为了说明本发明的优点，输入图像数据和输出图像数据分别是输入图像数据和输出图像数据。如从上面清楚描述的那样，可以使用任何其他类型的图像数据来代替图像数据或除了图像数据之外，而无需对基线估计进行任何改变。

附图说明

图1示出了用于自动聚焦系统、自动聚焦系统和包括自动聚焦系统的观察设备的图像处理装置的实施例的示意图；

图2示出了输入图像数据、输入图像数据中的对焦贡献、输入图像数据中的离焦贡献、基线估计数据和输出图像数据的示意图。

图3示出了基于基线估计的自动聚焦的实施例的流程图的示意性再现；

图4示出了图3的细节IV；

图5示出了一组输入图像的示意性再现；以及

图6示出了一组输出图像的示意性再现。

具体实施方式

首先，参照图1说明图像处理装置1的结构和功能以及方法。图像处理装置1可以是内窥镜(未图示)或显微镜2a等观察设备2的一部分。仅出于说明的目的，显微镜2a被示出为观察设备2的示例。出于装置和方法的目的，显微镜的内窥镜之间没有区别。

观察设备2可以包括成像系统4，其适于捕获输入图像数据6，例如带有一个或多个相机8，最好是以数字格式。相机可以包括图像传感器9。图像传感器可以包括光子检测器、光电二极管、线传感器、传感器阵列、单色、CCD、RGB、多光谱或高光谱线或阵列传感器，其记录在一个或多个颜色通道10中的输入图像数据6，其中每个通道10优选地代表电磁辐射的不同光谱范围。输入图像数据6在下文中也被指定为输入图像I(x_i)。

特别地，成像系统4或更具体地，其相机8可以被配置为捕获输入图像I(x_i)的堆叠或组11，或后续的堆叠或组11。组11包含N个输入图像I1(x_i)…IN(x_i)。因此，一组输入图像中的至少一些输入图像在不同焦距12处被捕获。输入图像在所示实施例中是数字输入图像。

为了自动找到焦点或保持焦点，成像系统4可以包括自动聚焦系统13。自动聚焦系统13优选地是被动式自动聚焦系统，即它没有用于测量焦距12的主动式传感器，但也可以是主动自动聚焦系统13。此外，自动聚焦系统13优选地是基于软件的。图像处理装置1可以是自动聚焦系统13的一部分。观察设备和/或自动聚焦系统可以包括自动聚焦物镜14。

例如，在RGB颜色空间中记录CCD相机的情况下，三个通道10，例如可以提供R通道、G通道和B通道来表示物体15的可见光或白光彩色输入图像。在多光谱或高光谱相机的情况下，在可见光范围、IR光范围、NIR光范围和紫外光范围中的至少一个中，每个输入图像可以使用多于三个通道10。

如果单个通道10包含在二维图像中，则输入图像数据6可以被认为是二维的。如果多于两个通道10被认为构成输入图像I(x_i)和/或如果输入图像数据6表示三维阵列，诸如三维图像，则输入图像可以具有比二维更高的维数.

物体15位于成像系统4的探针体积16中。探针体积被配置为接收要由装置1检查的物体15。为此，探针体积应位于成像系统4的视场17中，特别是物镜14。

观察装置可以包括致动器系统18，其被配置为相对于彼此和/或相对于自动聚焦物镜移动视场17和探针体积16或物体15。致动器系统可以包括例如电动机，用于在垂直于焦距或平行于焦平面的方向上移动物体和/或成像系统的一部分，诸如物镜14。这种移动可能与焦距12的变化同时发生或同步发生。

物体15可以包括有生命和/或无生命的物质。物体15可以进一步包括一种或多种荧光材料，诸如至少一种荧光团20。多光谱或高光谱相机可以具有用于物体15中荧光材料的每个不同荧光光谱的通道10。例如，每个荧光团20可以由与由照明系统19触发的荧光光谱匹配的至少一个通道10表示。

替代地或附加地，可以为自体荧光光谱或由照明系统19激发的荧光触发的次级荧光光谱或寿命荧光数据提供单独的通道10。当然，照明系统19也可以或单独发射白光或任何其他组合的光而不触发物体15中的荧光。显微镜2可以适于激发荧光，例如物体15内的荧光团20的荧光，其通过照明系统19具有合适的荧光激发波长的光。照明系统19可以相对于探针体积16与成像系统4相对布置和/或与成像系统4在同一侧。

如果照明系统19与成像系统4布置在同一侧，则其光可被引导通过自动聚焦物镜14，通过该自动聚焦物镜14也采集输入图像数据6。照明系统19可以包括或由一个或多个柔性光导组成，以将光从一个或多个不同方向引导到物体15上。可以在相机8或自动聚焦物镜14前面的光路中布置合适的阻挡滤光片(未示出)，例如以抑制眩光。在荧光的情况下，阻挡滤光片优选地仅阻挡照明波长并允许物体15中的至少一个荧光团20的荧光通过相机8。

如果照明系统被布置在探针体积16的对面，它的光可以穿过探针体积16。

显然——不限于一般情况——输入图像数据6可以由任何类型的显微镜捕获，特别是利用可在宽视场模式下操作的荧光显微镜和/或利用共焦激光扫描显微镜，或通过任何类型的内窥镜。

输入图像的组11可以通过例如使用光场技术、显微镜中的z堆叠、通过SPIM显微镜、SCAPE显微镜获得的图像，将视场和探针或探针体积相对于彼此或相对于物镜14在垂直于焦距和/或平行于焦平面，和/或由SPIM显微镜获得的图像的三维重建来捕捉。组11的每个输入图像代表不同的焦平面22。在三维图像的情况下，每个焦平面22可以被认为是二维灰度值或彩色输入图像6。每个平面可以包括多个通道10。自动聚焦系统13优选地被配置为在预定焦平面中自动捕获输入图像I(x_i)。为简单起见，以下省略输入图像在组11中的索引。

输入图像数据6是量I(x_i)的数字表示，诸如强度，其中x_i表示输入图像数据6中的位置并且I是构成输入图像的那个位置处的量。项x_i是元组{x₁；…；x_N}的快捷表示法，包含N维并表示离散输入图像数据中的离散位置x_i。位置x_i可以是输入图像数据中的像素或优选地相干的一组像素。离散位置x_i表示在二维输入图像数据的情况下例如一对离散位置变量{x₁；x₂}和在三维输入图像数据的情况下离散位置变量的三元组{x₁；x₂；x₃}。在第i维，阵列可能包含Mi个位置，即

总的来说，I(x_i)可能包含(M₁×…×M_N)个元素。I(x_i)可以是离散实值阵列，例如表示为数字浮点数或整数值数据。

图像处理装置1进一步可以包括存储部分24，其适于至少暂时地包含输入图像数据6。存储部分24可以包括易失性或非易失性存储器，诸如例如通用计算设备26的CPU25的高速缓冲存储器，诸如PC，和/或GPU 27。存储部分24进一步可以包括RAM、硬盘驱动器或可交换存储部分，诸如USB记忆棒或SD卡。存储部分24可以包括这些类型的存储器的任意组合。替代地或附加地，存储部分也可以被实现为软件设备，例如作为子程序、函数或阵列。

为了检索输入图像的组11，可以提供输入部分28。输入部分28可以包括标准化连接装置30，诸如标准化数据交换协议、硬件连接器和/或无线连接，或它们的任何组合。可以连接到相机8的标准化连接器的示例是HDMI、USB和RJ45连接器。可替代地或附加地，输入部分可以在软件中实现，例如作为子程序、函数或阵列，用作数据传送的软件接口。输入部分28可以是图像处理装置1的一部分。

图像处理装置1可以被配置为为组11中的每个输入图像I(x_i)计算输出图像O(x_i)，从而从输入图像的组中获得输出图像的堆叠或组31。因此，对于N个输入图像I₁(x_i)…I_N(x_i)，计算N个输出图像O₁(x_i)…O_N(x_i)。同样，为了保持符号简单，下面省略了输出图像的索引。在所示实施例中，输出图像是数字输出图像。

图像处理装置1进一步可以包括输出部分32，其可以包括标准化连接装置34，诸如标准化数据交换协议、硬件连接器和/或无线连接，每个都被配置为将输出图像数据35输出到一个或多个显示器37。输出图像数据35优选地具有与输入图像数据6相同的维度，并且由离散值的离散阵列表示，形成输出图像O(x_i)。输出图像数据35可以是实数或整数值。替代地或附加地，输出部分可以在软件中实现，例如作为子程序、函数或阵列，用作数据传送的软件接口。输出部分32可以是图像处理装置1的一部分。

为了从输入图像I(x_i)计算输出图像O(x_i)，可以提供图像处理器38。图像处理器38可以至少部分是硬件、至少部分是软件和/或硬件和软件的组合。例如，图像处理器38可以包括通用计算设备26的CPU 25和GPU 27中的至少一个，以及已经在软件中编码并且暂时作为结构实体存在于处于操作状态的CPU 25和/或GPU 27中的数据结构和部分。图像处理器38还可以包括附加硬件，诸如存储器和/或一个或多个ASIC，它们专门设计用于执行图像处理装置和方法所需的操作。

在继续图1的进一步描述之前，参考图2解释处理组11的输入图像I(x_i)的一般原理。用于估计输入图像I(x_i)的基线f(x_i)，图像处理器38可以包括基线估计器引擎40。以下适用于组11中的任何输入图像。

可以假设输入图像I(x_i)由包含对焦分量的对焦分量I_II(x_i)和离焦分量I_I(x_i)相加组成，对焦分量I_II(x_i)即位于输入图像的焦平面22内的物体15的结构，以及离焦分量I_I(x_i)可能主要包含来自背景的光，即来自焦平面22外部的光。I_I(x_i)和I_II(x_i)都是未知的，因此必须估计。

为了估计I_I(x_i)和I_II(x_i)，假设离焦分量I_II(x_i)是平滑的并且主要由具有低空间频率即大空间范围的分量组成或主要包括这些。因此，离焦分量表示对焦分量I_I(x_i)围绕其以较高空间频率波动的基线。假设离焦分量I_II(x_i)是平滑的并且具有较大的长度尺度；相比之下，对焦分量I_I(x_i)被假定为不平滑并且包含至少一个峰和谷。根据应用，感兴趣的信息可能位于I_I(x_i)或I_II(x_i)中。

对离焦分量I_II(x_i)的估计由基线估计f(x_i)表示。基线估计是基线估计数据44的离散阵列，其优选地具有与输入图像相同的维度。基线估计f(x_i)可以至少暂时存在于存储部分24中。由于为每个输入图像计算至少一个基线估计f(x_i)，输入图像的组11产生基线估计的组45。如果确定了，例如通过计算相关，即两个输入图像I(x_i)彼此之间的偏差不超过预定阈值，对于两个输入图像I(x_i)中的另一个可以使用已经为两个输入图像I(x_i)之一计算的基线估计f(x_i)。为此，每个基线估计f(x_i)可以至少暂时存储在存储部分中。在组45中，每个基线估计与组11的一个输入图像相关联。

一旦计算了基线估计，可以通过在每个位置x_i处从输入图像I(x_i)中去除，特别是减去基线估计f(x_i)来获得对焦分量，这里表示为O(x_i)。

图像处理装置1可以被配置为预处理组11的至少一个输入图像，优选地所有输入图像I(x_i)。例如，图像装置1可以被配置为将项帽变换应用于至少一个输入图像I(x_i)。附加地或替代地，图像处理装置1可以被配置为在预处理中应用滤波器、非锐化掩蔽、直方图均衡、形态滤波和其他用于增强图像质量的方法。

基线估计器引擎40被配置为通过与构成输入图像I(x_i)的输入图像数据6的至少一个子集的拟合来计算基线估计f(x_i)。优选地，至少对输入图像数据的子集的拟合是样条拟合。

对于计算上有效的样条拟合，基线估计器引擎40可以包括最小化引擎46，其例如可以是子程序或硬连线算法和匹配软件的组合。最小化引擎46可以被配置为执行最小化方案，并且为此可以包括两个迭代阶段48、50。

优选地，最小化引擎46包括用于在第二迭代阶段50中计算基线估计f(x_i)的卷积。由于可以使用FFT在阵列处理器上更有效地计算卷积，因此优选地，图像处理器38包括阵列处理器，诸如GPU 27。在操作中，图像处理器包括最小化引擎46。

参考图3，描述从输入图像I(x_i)计算输出图像O(x_i)的步骤，如它们由图像处理装置1执行的。

在第一步骤60中，需要预设的基线估计器引擎40的各种参数可以例如使用图形用户接口62(图1)由用户定义。参数可以包括要由基线估计器引擎40执行的对输入图像数据6的拟合类型。例如，用户可以在对输入图像数据6的基线估计数据44的多项式拟合和样条拟合之间进行选择。

此外，用户可以在最小化方案中使用的各种惩罚项P(f(x_i))之间进行选择。惩罚项通过惩罚基线估计中对焦贡献I_I(x_i)的分量的表示来确定基线估计的形状。

例如，可以向用户呈现对基线估计的非平滑特征进行惩罚的各种惩罚项的选择。例如，惩罚项可以是用于基线估计数据44的高通空间频率滤波器，如果基线估计包含具有高空间频率的分量，则惩罚项变得更大。其他惩罚项可能包括基线估计的梯度。惩罚项的另一个示例可以是基线估计的曲率。此外，用户可以选择诸如索贝尔、拉普拉斯和/或FIR带通、高通或低通滤波器的特征提取滤波器作为惩罚项。此外，可以选择上述任何一种的线性组合。可以为输入图像数据6的不同维度或不同通道选择不同的惩罚项。

惩罚项的一般表示如下

其中ζ(j)是惩罚项的一般算子，它定义了惩罚项的性质。

在下文中，假设用户基于具有以下形式的基线估计f(x_i，m)的梯度选择基于梯度的粗糙度惩罚项

此惩罚项惩罚基线估计中的大梯度。算子

表示维度j中的一阶导数或梯度。然而，可以向用户呈现选择并且选择基线估计的导数的任何顺序和组合。例如，用户可以在两个方向x_i和x_j中选择二阶导数

而不是上述一阶导数、一阶导数和二阶导数的组合，或组合的二阶导数

使用上述基于梯度的惩罚项，由用户指定的参数进一步包括用于每个方向或维度j的方向相关正则化长度尺度的阵列γ_j。与方向相关的正则化长度尺度γ_j表示与方向相关的长度尺度，诸如图像特征长度尺度fl_j。图像中在方向x_j上的长度尺度小于对应的图像特征长度尺度fl_j的特征被认为属于对焦贡献而不属于基线。输入图像中在相应的方向j上长度大于图像特征长度尺度的结构被认为属于基线。从γ_j的索引j可以清楚地看出，正则化长度尺度以及图像特征长度尺度可能在每个方向上都不同。当然，对于任何方向，也可以只使用一个恒定的图像特征长度尺度和/或一个恒定的正则化长度尺度。可以提示用户输入正则化长度尺度或图像特征长度尺度。后者是首选，因为它对用户来说更直观，并且独立于惩罚项的确切表述。

由于惩罚项P(f(x_i))是标量值，正则化长度尺度γ_j和一般算子ζ^(j)(f(x_i，m))的乘积必须是标量。如果一般算子例如是梯度，则正则化长度尺度的单位为[长度]²。如果一般算子是二阶导数，则正则化长度尺度的单位为[长度]4。在此使用梯度的实施例中，正则化长度尺度具有单位[长度]²，并因此等于图像特征长度尺度的平方

用户进一步可以选择是否要将长度尺度大于指定图像特征长度尺度或小于指定图像特征长度尺度的图像特征视为感兴趣的内容。在前一种情况下，基线估计本身将被视为输出图像，O(x_i)＝f(x_i)，在后一种情况下，需要从输入图像中去除基线估计以获得所需的内容。

此外，用户可以选择第一和第二图像特征长度尺度fl_I，j和fl_II，j，fl_I，j≠fl_II，j，或者对应的正则化长度尺度γ_I，j和γ_II，j，它们也可能与方向无关，在这种情况下，分别表示为γ_I和γ_II，或fl_I和fl_II。对于第一和第二图像特征长度尺度中的每一个，不同的基线估计f_I(x_i)和f_II(x_i)可以从得到的不同的惩罚项中计算出来。在基线估计f_I(x_i)中，包含长度尺度大于特征图像长度尺度fl_I的图像特征，而在基线估计f_II(x_i)中包含长度尺度大于特征长度尺度fl_II的图像特征。具有小于第一和第二图像特征长度尺度的长度尺度的图像特征未在相应的基线估计中表示或至少被强烈抑制。

指定两个不同的图像特征长度尺度允许计算输出图像O(x_i)，其中仅通过从另一个f_II(x_i)去除，特别是减去一个基线估计f_I(x_i)来表示落入由两个图像特征长度尺度限制的范围内的长度尺度的特征。

此外，用户可以指定要在输出图像的组31中搜索的图案Q(x_i)。该模式可以例如是物体15或其一部分的图像。例如，该模式可以是线粒体。

此外，用户可以在对称和非对称，特别是截断的二次项

之间进行选择，它还通过指定大峰值对基线估计的影响来确定基线估计的形状。截断值也可以由用户指定。

例如，用户可以选择以下不对称的截断二次方：

其中s表示用户可以输入的阈值。阈值定义了输入图像数据和基线估计之间的最大偏差。高于基线估计的峰值不会比偏离阈值的峰值更能吸引基线估计。

最后，用户可以选择收敛标准和/或收敛标准必须达到的阈值t。

在已经设置了基线估计引擎40的用户可定义参数之后，在步骤64中初始化数据以用于迭代最小化方案66。

图4，图3的细节IV被示出以更详细地解释最小化方案66。最小化方案66包括第一迭代阶段48和第二迭代阶段50。

原则上，由最小化引擎46执行的最小化方案66可以是LEGEND算法。但是，最好修正LEGEND算法的第二步，可以显著减少计算负担.

在所示实施例中，在步骤64，初始化数据之后进入第二迭代阶段50。此时，通过使用具有格林函数G(x_i)的输入图像数据的卷积计算基线估计的第一估计f₍₁₎(x_i)。括号中的索引表示迭代索引。

f₍₁₎(x_i)＝G(x_i)*I(x_i)

对于此实施例中使用的基于梯度的惩罚项，格林函数定义如下：

其中F[…]是离散N维傅里叶变换，F-1[…]是逆离散N维傅里叶变换，γ_j是粗糙度惩罚项的正则化长度尺度，并且

然后，在第一迭代阶段48中，辅助数据的更新版本d_(l)(x_i)可以使用当前基线估计f_(l-1)(x_i)计算如下：

参数α是可能已经由用户指定的常数。

接下来，在第二迭代阶段50中，使用当前迭代(l)的更新辅助数据d_(l)(x_i)计算更新基线估计f_(l-1)(x_i)如下

f_(l)(x_i)＝G(x_i)*(I(x_i)+d_(l)(x_i))

在下一步中，检查是否满足收敛标准68。如果不是这种情况，则最小化方案66使用更新的基线估计f_(l)(x_i)进行到迭代步骤48。

迭代最小化方案66由最小化引擎46执行，直到满足收敛标准68。在本实施例中，以如下收敛标准为示例：

其中(l)表示当前迭代，t是常数标量阈值，可以由用户指定。如果满足收敛标准68，则假定基线估计被成功计算。

除了用于基线估计的上述最小化方案，可以使用任何其他最小化方案，例如Wag，G.等人(2014)：Morphological Background Detection and IlluminationNormalization of Text Image with Poor Lighting(《光线不足的文本图像的形态学背景检测和光照归一化》)，PLoS One，2019，9(II)，e110991中描述的最小化方案。

如果用户已经指定了两个不同的图像特征长度尺度fl_I，j和fl_II，j，则上述步骤64到68执行两次，每个不同的图像特征长度尺度执行一次，得到两个基线估计f_I(x_i)和f_II(x_i)，每个不同图像特征长度尺度各得到一个基线估计。换句话说，一个基线估计f_I(x_i)使用正则化长度尺度

计算，另一个基线估计f_II(x_i)使用正则化长度尺度

计算。

在步骤70，从相应的输入图像获得输出图像O(x_i)。如何计算输出图像取决于用户设置。

例如，如果用户选择了他感兴趣的图像的特征具有小于所选择的图像特征长度尺度fl的长度尺度，则去除基线估计f(x_i)，特别是减去基线估计f(x_i)，O(x_i)＝I(x_i)-f(x_i)，在步骤70中，从输入图像数据I(x_i)获得输出图像数据O(x_i)。

如果用户选择了他感兴趣的特征大于图像特征长度尺度，则在步骤70中将输出图像设置为等于基线估计，O(x_i)＝f(x_i)。

如果用户对输入图像中具有两个指定图像特征长度尺度fl_I和fl_II之间的长度尺度的特征感兴趣，其中fl_II＞fl_I，则从基于较小的图像特征长度尺度的基线中减去基于较大图像特征长度尺度的基线估计，O(x_i)＝f_I(x_i)-f_II(x_i)。

步骤70进一步可以包含输出图像的后处理。后处理可以包括任何自动图像增强，诸如非锐化掩蔽、反卷积、边缘增强、直方图修正和降噪中的至少一种。

对组11的每个输入图像执行步骤64到70，从而对于每个输入图像I(x_i)获得输出图像O(x_i)。

步骤72涉及识别定义自动聚焦过程的结果的组36中的经聚焦输出图像O_AF(x_i)。为了选择输出图像O_AF(x_i)，可以根据应用和用户设置，独立于另一个或以任意组合应用几个聚焦函数。

经聚焦输出图像O_AF(x_i)可以例如通过计算模式Q(x_i)之间的相关来选择，或者执行任何其他类型的模式匹配。输出图像，其中可以选择具有最高相关的模式匹配结果。这种类型的聚焦函数尤其可以用于识别或跟踪随后记录的输入图像组11的特征。

组36的输出图像可以被选择为具有最高对比度的经聚焦输出图像O_AF(x_i)，总体上或在一个或多个颜色通道中，和/或在一个或多个预定或自动确定的区域中。

组36的输出图像可以被选择为具有低于预定的例如用户指定的阈值的信息熵的经聚焦输出图像O_AF(x_i)。

组36的输出图像可以被选择为经聚焦输出图像O_AF(x_i)，其总体上或在一个或多个颜色通道中具有最高强度和/或最窄强度分布。

其他聚焦函数是例如描述于Groen，F.C.；Young，I.T.，Ligthart，G.(1985)中：AComparison of Different Focus Functions for Use in Autofocus Algorithms(《不同聚焦函数在自动聚焦算法中的应用比较》)：Cytometry，19856(2)，81-91，在此通过引用对其进行整体解释。

组36的输出图像可以被选择为经聚焦输出图像O_AF(x_i)，其与来自先前输入图像组的先前选择的输出图像具有最高的相关。

如果满足聚焦函数的输出图像多于两个，则可以选择位于中间的输出图像作为经聚焦输出图像O_AF(x_i)。如果有两个输出图像满足聚焦函数，则可以选择焦距较小的那个。

在步骤74中，所选择的输出图像O(x_i)，即O_AF(x_i)被存储，例如，存储在存储部分24中，和/或显示，例如显示在显示器37上。在显示之前，所选择的经聚焦输出图像O_AF(x_i)可以被进一步处理，例如进行反卷积、非锐化掩蔽或任何其他图像增强，其尚未在输出图像O(x_i)上执行。

如果成像系统4获取后续组11，例如连续地，对每个组执行步骤64到74，最好是实时执行。因此，对于组11的每个输入图像I_n(x_i)，n＝1…N，优选地使用相同的图像特征长度尺度fl来获得基线估计f_n(x_i)。每个输出图像O_n(x_i)如上所述从相应的至少一个基线估计f_n(x_i)或f_I(x_i)、f_II(x_i)或相应的输入图像I_n(x_i)及其基线估计f_n(x_i)计算。

图5示出了通过使用显微镜聚焦堆叠获得的三个输入图像I_I(x_i)、I_II(x_i)和I_III(x_i)的组11。由于强烈的离焦分量，输入图像变得模糊。模糊使得难以确定正确的经聚焦图像。

图6示出了三个输出图像O_I(x_i)、O_II(x_i)和O_III(x_i)，它们分别通过基于图像特征长度尺度fl计算相应的基线估计f_I(x_i)、f_II(x_i)和f_III(x_i)从图5的相应的输入图像I_I(x_i)、I_II(x_i)和I_III(x_i)中获得，对于所有三个输入图像选择相同。然后从相应的输入图像I_n(x_i)中去除、特别是减去基线估计f_n(x_i)以获得相应的输出图像O_n(x_i)，n＝1，2，3。从图6中可以看出，组31中的输出图像包含明显更少的模糊，这允许比使用原始输入图像更容易和更确定地确定经聚焦图像。例如，通过选择具有最高对比度的组31的输出图像，使用聚焦函数来确定经聚焦图像。在图6的示例中，输出图像O₂(x_i)被确定为经聚焦输出图像O_AF(x_i)。

当然，任何数量的输入图像可以包含在组11中，以在组31中产生相应数量的输出图像。

如果组11中的两个或多个输入图像或跨多个输入图像仅具有微小差异，则可以对这些输入图像中的每一个使用相同的基线估计。这节省了计算成本。例如，图像处理装置可以被配置为存储输入图像的基线估计，例如，存储在存储设备中，并计算两个不同输入图像之间的相关，并确定相关是否超过预定阈值。如果图像处理装置根据相关测量确定超过或不超过预定阈值，则图像装置可以被配置为检索存储的相关的、先前获得的输入图像的基线估计并将其应用于计算对应于新获得的输入图像的输出图像。

图像处理装置可以被配置为根据经聚焦输出图像O_AF(x_i)和/或从其导出经聚焦输出图像的输入图像，控制致动器系统18以相对于彼此和/或自动聚焦物镜14移动视场17和探针体积16/物体15来改变焦距12。为此，每个输入图像或输出图像可以包含位置数据，其代表焦距、z位置和/或(x，y)位置。焦距12和/或视场17与物体15的相对位置可以由图像处理装置根据经聚焦输出图像或对应于输入图像的位置数据来控制。图像处理装置1可以被配置为根据位置数据生成代表要由例如自动聚焦物镜14设置的焦距的焦距控制信号。可替代地或附加地，图像处理装置1可以被配置为生成物体定位信号，该物体定位信号表示视场和要通过例如致动器系统18设置的物体的相对位置。

特别地，观察设备2可以被配置为根据从先前的输入图像组11导出的经聚焦输出图像记录随后的输入图像组11。特别地，输入图像的后续组11可以以前一组的经聚焦输出图像的位置为中心。

观察设备2进一步可以被配置为根据经聚焦输出图像、从其导出经聚焦输出图像的输入图像和/或聚焦的输入图像中的位置数据或从中导出经聚焦输出图像的输入图像，相对移动探针体积并相对于彼此移动视场。

替代地或附加地，设备2可以被配置为根据经聚焦输出图像、从其导出经聚焦输出图像的输入图像和/或聚焦的输入图像的位置数据或从中导出经聚焦输出图像的输入图像中来调整焦距12。

如本文所用，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合，并且可以缩写为“/”。

尽管已经在装置的上下文中描述了一些方面，但显然这些方面也表示相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对应装置的对应块或项目或特征的描述。一些或所有方法步骤可以通过(或使用)硬件装置来执行，例如处理器、微处理器、可编程计算机或电子电路。在一些实施例中，一些一个或多个最重要的方法步骤可以由这样的装置执行。

根据特定的实现需求，图像处理装置的实施例可以完全用硬件实现，也可以完全用软件实现，或者软件和硬件结合实现。可以使用非暂时性存储介质来执行该实现，诸如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器，其上存储有电子可读控制信号，其与可编程计算机系统协作(或能够协作)以执行相应的方法。因此，数字存储介质可以是计算机可读的。

根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，从而执行本文描述的方法之一。

通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法之一。例如，程序代码可以存储在机器可读载体上。

其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。

换言之，因此，本发明的实施例是具有程序代码的计算机程序，该程序代码用于当计算机程序在计算机上运行时执行本文描述的方法之一。

因此，本发明的进一步实施例是一种存储介质(或数据载体，或计算机可读介质)，其包括存储在其上的计算机程序，用于在由处理器执行时执行本文所述的方法之一。数据载体、数字存储介质或记录介质通常是有形的和/或非过渡的。本发明的进一步实施例是如本文所述的装置，包括处理器和存储介质。

因此，本发明的进一步实施例是表示用于执行本文所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接、例如经由互联网传送。

进一步实施例包括处理装置，例如计算机或可编程逻辑器件，其被配置为或适用于执行本文描述的方法之一。

进一步实施例包括其上安装有用于执行本文所述方法之一的计算机程序的计算机。

根据本发明的进一步实施例包括一种装置或系统，其被配置为将用于执行本文描述的方法之一的计算机程序(例如，电子地或光学地)传送到接收器。例如，接收器可以是计算机、移动设备、存储器设备等。例如，该装置或系统可以包括用于将计算机程序传送到接收器的文件服务器。

在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可用于执行本文描述的方法的一些或所有功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执行本文描述的方法之一。通常，这些方法优选地由任何硬件装置来执行。

参考数字

1 图像处理装置

2 观察设备

2a 显微镜

4 成像系统

6 输入图像数据

8 相机

9 图像传感器

10 通道

11 输入图像组

12 焦距

13 自动聚焦系统

14 自动聚焦物镜

15 物体

16 探针体积

17 视场

18 致动器系统

19 照明系统

20 荧光团

22 焦平面

24 存储部分

25 CPU

26 计算设备

27 GPU

28 输入部分

30 输入部分连接装置

32 输出部分

34 输出部分连接装置

35 输出图像数据

36 输出图像组

37 显示器

38 图像处理器

40 基线估计器引擎

44 基线估计数据

45 基线估计组

46 最小化引擎

48 第一迭代阶段

50 第二迭代阶段

60 基线估计参数的设置

62 图形用户接口

64 初始化最小化引擎及方案

66 最小化引擎及方案

68 收敛标准

70 计算输出图像数据

72 后处理操作

74 显示器。

Claims (21)

1.一种用于确定自动聚焦系统(13)，特别是破动式自动聚焦系统(13)中的经聚焦输出图像(O_AF(x_i))的图像处理装置(1)，

其中，所述图像处理装置(1)被配置为

-检索一组(11)输入图像(I(x_i))；

-为所述组输入图像中的至少一个输入图像计算至少一个基线估计(f(x_i))，所述至少一个基线估计表示所述至少一个输入图像中的图像结构，所述图像结构具有大于预定图像特征长度尺度(fl_j)的长度尺度；

-计算一组(31)输出图像(O(x_i))；

-基于(a)所述组输入图像中的一不同输入图像和用于此输入图像的至少一个基线估计以及(b)用于相应的不同输入图像的至少一个基线估计中的一个，计算所述组输出图像中的每一输出图像；以及

-将所述组输出图像中的一个输出图像确定为所述经聚焦输出图像。

2.根据权利要求1所述的图像处理装置(1)，其中被配置为基于一不同输入图像(I(x_i))和用于此输入图像的至少一个基线估计(f(x_i))计算所述组(31)输出图像中的每一输出图像(O(x_i))的所述图像处理装置(1)，被进一步配置为：

-从相应的输入图像(I(x_i))中去除所述至少一个基线估计(f(x_i))以获得所述组(31)输出图像中的输出图像(O(x_i))。

3.根据权利要求1或2所述的图像处理装置(1)，其中，所述图像处理装置(1)被配置为

-为所述组输入图像中的输入图像(I(x_i))计算基于第一预定图像特征长度尺度(fl_I，j)的第一基线估计(f_I(x_i))和基于第二图像特征长度尺度(fl_I，j)的第二基线估计(f_II(x_i))，所述第二图像特征长度尺度不同于所述第一图像特征长度尺度，以及

-根据所述第一基线估计和所述第二基线估计计算输出图像(O(x_i))。

4.根据权利要求3所述的图像处理装置(1)，其中，所述图像处理装置被配置为

-从基于较小图像特征长度尺度(fl_I)的基线估计(f_I(x_i))中去除基于较大图像特征长度尺度(fl_II)的基线估计(f_II(x_i))。

5.根据权利要求1至4中任一项所述的图像处理装置(1)，其中，所述图像处理装置(1)被配置为

-获得作为所述组(31)输出图像中的输出图像(O(x_i))的基线估计(f(x_i))。

6.根据权利要求1至5中任一项所述的图像处理装置(1)，其中，所述图像处理装置(1)被配置为

-使用针对所述基线估计的最小二乘最小化标准(M(f(x_i)))来计算所述基线估计(f(x_i))，所述最小二乘最小化标准包括所述基线估计的所述图像特征长度尺度与导数的标量组合。

7.根据权利要求6所述的图像处理装置(1)，其中，所述最小二乘最小化标准(M(f(x_i)))包括惩罚项(P(f(x_i)))，所述惩罚项包含所述图像特征长度尺度(fl_j)。

8.根据权利要求1至7中任一项所述的图像处理装置(1)，其中，所述装置(1)被配置为使用聚焦函数来确定所述组输出图像O(x_i)中的所述一个输出图像(O_AF(x_i))作为经聚焦图像。

9.根据权利要求8所述的图像处理装置(1)，其中，所述聚焦函数包括以下列表中的至少一个聚焦函数：

-计算所述输入图像和/或所述输出图像中包含的熵量；

-计算所述输入图像和/或所述输出图像的至少一部分中的对比度；

-计算所述输入图像和/或所述输出图像的至少一部分中的强度和/或强度分布；

-计算相位相关；

-计算与预定模式的相关。

10.根据权利要求1至9中任一项所述的图像处理装置(1)，其中，所述装置(1)被配置为使用顶帽变换对所述组(11)输入图像(I(x_i))中的至少一个输入图像(I(x_i))进行预处理。

11.根据权利要求1至10中任一项所述的图像处理装置(1)，其中，所述装置(1)被配置为对所述组输入图像中的至少一个输入图像(I(x_i))进行预处理以提高图像质量和/或用于过滤。

12.一种自动聚焦系统(13)，包括根据权利要求1至11中任一项所述的图像处理装置(1)，以及包括图像传感器(9)和自动聚焦物镜(14)的成像系统(4)。

13.一种观察设备(2)，包括根据权利要求1至11中任一项所述的图像处理装置(1)和根据权利要求12所述的自动聚焦系统中的一个，以及显示器(37)，所述显示器被配置为显示所述经聚焦输出图像(O_AF(x_i))。

14.根据权利要求13所述的观察设备(2)，所述观察设备是显微镜(2a)和内窥镜中的一种。

15.一种计算机实现的图像处理方法，用于确定自动聚焦系统(13)，特别是被动式自动聚焦系统(13)中的经聚焦输出图像(O_AF(x_i))，所述方法包括以下步骤

-检索一组(11)输入图像(I(x_i))；

-为所述组输入图像中的至少一个输入图像计算至少一个基线估计(f(x_i))，所述至少一个基线估计表示具有大于预定图像特征长度尺度(fl_j)的长度尺度的图像结构；

-计算一组(31)输出图像(O(x_i))；

-计算所述组输出图像的步骤包括以下步骤：

基于(a)所述组输入图像中的一不同输入图像和用于此输入图像的至少一个基线估计和(b)用于相应的不同输入图像的至少一个基线估计中的一个，计算所述组输出图像中的每一输出图像；以及

-选择所述组输出图像中的一个输出图像作为所述经聚焦输出图像。

16.根据权利要求15所述的计算机实现的图像处理方法，其中检索所述组(11)输入图像(I(x_i))的所述步骤包括在不同焦距(12)和/或视场(12)和物体(15)的不同的相对位置处自动捕获所述组输入图像中的至少一些输入图像的步骤。

17.一种计算机实现的自动聚焦方法，包括根据权利要求15或16所述的图像处理方法以及显示所选择的输出图像(O_AF(x_i))的步骤。

18.一种计算机程序，具有程序代码，用于当所述计算机程序在处理器上运行时执行根据权利要求15或16所述的方法。

19.一种非暂时性计算机可读介质，存储使计算机执行根据权利要求15或16所述的图像处理方法的计算机程序。

20.一种机器学习设备，被配置为在自动聚焦系统中使用，通过输入图像组和所选择的输出图像进行训练，其中所选择的输出图像是通过根据权利要求15或16所述的方法从所述输入图像组创建的。

21.一种经聚焦输出图像(O_AF(x_i))，所述经聚焦输出图像是根据权利要求15或16所述的方法的结果。

Images