CN110709749B - 组合式明视场和相衬显微镜系统及配备其的图像处理设备 - Google Patents

Abstract

一方面，本发明是组合式明视场和相衬显微镜系统，其包括明场照明单元(10)，相衬照明单元(20)和控制单元(40)，其适于控制所述明视场照明单元(10)的切换和所述相衬照明单元(20)的切换。明场照明单元(10)和相衬照明单元(20)具有彼此不同的光轴(11，21)，并且显微镜系统还包括：‑光学元件(30)，其为来自所述明视场照明单元(10)的照明和来自所述相衬照明单元(20)的照明提供公共的照明光轴(31)，以及沿着公共的公共的照明光轴(31)一个接一个地布置有：‑样本保持器(33)，相衬物镜(35)，以及‑图像记录器(50)，其适于在两种照明类型之间的每次相应切换之前和之后拍摄图像。另一方面，本发明是应用上述显微镜系统的图像处理设备。

Description

组合式明视场和相衬显微镜系统及配备其的图像处理设备

技术领域

本发明涉及组合式明视场和相衬显微镜系统，并且涉及配备有该系统的图像处理设备。

背景技术

现有技术的显微镜系统-例如，在生物样本分析领域，特别是体液样本的分析领域-应用基于所谓的明视场显微镜的测量技术方案。这种解决方案公开在例如WO2013/104937中。在根据该文献的系统中，从预先填充到测量管中、被搅拌并被离心的样本中获取图像，该图像默认地优选具有15个灰度值(位深度：8)和1280×960像素的分辨率。在每个样本的情况下，分析大约2.2μL天然尿液样本。在记录图像之前，在所有位置分别调整聚焦以便获得清晰的图像。利用基于神经网络的复杂算法来评估尿液沉淀物的图像，该算法接收所记录的图像作为其单个输入。图像是所谓的HPF(高倍视野)类型，即它们给出了看向显微镜的视觉印象。

在基于神经网络的图像处理算法中，如果除了记录的图像之外还将其他信息馈送到处理算法，则是有利的。根据上述引用的公开文本，例如，不仅图像，而且除了图像之外或代替图像，可以使用通过各种函数从图像生成的一个或多个变换图像或具有不同分辨率的图像的一个或多个变体作为输入。然而，这些仅携带基于原始记录的图像的信息，即，不提供用于图像处理的相关附加信息。

现有技术中还公开了其中应用相衬显微镜的原理记录生物样本的图像的解决方案。相衬设备与“普通”显微镜的不同之处在于，相衬设备由特殊的聚光器和所谓的相衬物镜组成。应用相衬方法获得的图像具有非常高的对比度，因此它们特别适合于检查组织培养物中粘附到基底的变薄细胞，以及具有非常低厚度(0.1-1μm)的未染色切片。该方法的不利特征是产生晕圈，尤其在高对比度结构周围，这使成像质量劣化。

在相衬显微镜中，在聚光透镜的前面放置非透明板，在该非透明板上消隐层包括环形透明区域(“环形光阑”)。因此，在样品的方向上离开聚光器的光沿着锥面穿过样品，然后在物镜的焦点处成像。相衬物镜包括具有环形层的板(“相位板”)，该板适于在正或负方向上将沿锥面入射的(参考)光束的相位移动四分之一波长。来自待检验样品的光学较密区的折射和相位延迟光束不穿过相位环，并且与参考光束一起到达图像平面处，并与其干涉。这导致光束彼此抵消(或者在较厚结构的情况下，增强)，因此物体的具有不同折射率和厚度的区域看起来具有不同的暗度(或者偶尔地，亮度)。相位板的目的是在具有相对小的相位延迟的波束的情况下提供合理大的相位差，并因此提供相当大的对比度。

相衬图像本身不太适合于上述图像处理方法，因为它主要是出现在图像中的相位转变(提供附加信息)，但是由于没有相位转变的区域变暗(抵消)，所以丢失了由明视场显微镜提供的大量信息。

现有技术包含这样的解决方案，其中提供了明视场和相衬成像之间的机械切换，因此至少在原理上，两种类型的图像都可以被提供用于图像处理的目的。例如，GB866,437、US6,479,807B1、US5,731,894和US4,407,569中公开了这种解决方案。然而，已知的解决方案不适合于根据本发明的目的，即，不适合于检查生物样本，因为在相对长的切换周期期间，图像成分(例如，细菌)改变位置。这是因为切换涉及移动多达两个光学元件：环形光阑必须被切换为明视场光阑，并且相位板也必须从物镜移除。

在DE 11 23 134 B中描述了一种干涉显微镜，其中，除了干涉照明之外，还施加了另外的明视场和/或暗视场和/或相衬照明。该文献没有教导照明之间的切换，但是旨在用于改善图像对比度的组合式照明。机械的方式(例如齿轮传动)被提出以用于照明之间的连续转换。照明的任何变化都需要机械干预，例如插入相位板，驱动齿轮传动或旋转双折射板。

在DE 10 2012 005 911 A1中公开了一种提供组合式相衬/明视场照明且具有单个光源的显微镜。可以通过偏振滤光片或环、通过相对于彼此旋转(即以机械方式)而相对于彼此调整两个照明分量的强度。

发明内容

根据本发明，我们已经认识到，如果除了明视场图像之外，还在与明视场图像相同的位置记录相衬显微镜图像，则可以在样本上获得附加信息，从而允许图像处理/评估算法处理两个而不是一个输入图像。更多的输入信息产生更精确的输出信息，这又导致图像识别的可靠性的显著增加，并且还可以允许在用于进一步的图像处理过程的决策分支之间进行适当的选择。

根据本发明的进一步认识，相同的相衬物镜和照相机被应用于记录两种类型的图像。明视场和相衬图像是通过使用耦合到同一光路中的单独的照明系统来记录的。记录图像的类型取决于哪个光源被接通，更准确地说，应用哪个光阑的光源被接通。通过根据给定次序在光源之间切换，可以在十分之几秒内在所有位置记录两种不同类型的图像。

因此，本发明涉及一种组合式显微镜，其包括相衬和折衷的明视场显微镜方案，两种照明以类似Y的方式合并，而到达样本并通过显微镜的光路部分是相同的，物镜是相同的，即，在明视场情况下也包括相位环。因此，明视场图像不是经典意义上的明视场图像，而是“折衷的”明视场图像，然而，我们的实验已经证明，这样的明视场图像完全适合于根据本发明的应用。因此，已经证明特别有利的认识是，对于在两种类型的显微镜之间的切换，通过在照明单元之间切换来执行在光阑之间的切换，相位板不从物镜移除，而是作为折衷的解决方案留在其中。根据我们的实验，由此产生的明视场图像的质量的小幅下降已由可从相衬图像获得的附加信息补偿。

举例来说，图像大小可以保持在原始的1280×960像素。因此，本发明的目的是提供一种解决方案，其中除了明视场图像之外，还在与明视场图像相同的位置记录相衬显微镜图像，从而借助于所提供的附加信息实现图像评估算法的更有效的操作。本发明的另一个目的是提供一种图像处理解决方案，其中，由于上述附加信息，在图像识别步骤之后允许在处理分支之间进行选择，从而可以将处理引导到以目标方式训练的决策模块。本发明的另一个目的是最大可能地减少或消除现有技术系统的上述缺点。

根据本发明的目的已经通过根据权利要求1所述的显微镜系统和根据权利要求11所述的图像处理设备实现了。本发明的优选实施例在从属权利要求中限定。

附图说明

下面参考附图通过示例描述本发明的优选实施例，其中：

图1示出了根据本发明的显微镜系统的示意图，

图2并排示出同一样本的明视场和相衬图像，

图3示出了通过根据本发明的方法处理的尿液样本的数字明视场图像，

图4是图3所示图像的标记部分的放大，

图5是示出从明视场和相衬图像生成概率图的示意图，

图6是表示位于概率图中的推测(presumably)存在的元素的组的示意图，以及与所述组相关联的检查区域，

图7是示出根据本发明的设备的决策模块的示例性输入信息的示意图，以及

图8是根据本发明的图像处理设备的示意图。

具体实施方式

本发明部分基于根据WO2013/104937的方案，其通过引用整体并入本文，并且其教导被认为是本申请的一部分，特别考虑其中公开的图像处理示例和应用模式。

图1中可以看到的示例性组合式明视场和相衬显微镜系统包括明视场照明单元10、相衬照明单元20以及适于控制明视场照明单元10和相衬照明单元20的切换的控制单元40。明视场照明单元10和相衬照明单元20具有各自不同的光轴11和21。显微镜系统还包括光学元件30，其提供用于来自明视场照明单元10的照明和来自相衬照明单元20的公共的照明光轴31，以及沿着公共的照明光轴31一个接一个地布置的样本保持器33、相衬物镜35以及适于在两种照明类型之间的每次相应切换之前和之后拍摄图像的图像记录器50。后一控制功能优选地也由控制单元40实现，控制单元40可以作为硬件或软件或其任意组合来实现。待检样本34可以放置在样本保持器33上。

以本身已知的方式，相衬物镜35包括透镜36、38和布置在透镜36、38之间的相位板37。

根据本发明，优选地应用图像记录器50，例如照相机，其被控制以在每次切换时以最大200ms(优选地100ms)的间隔拍摄图像。根据我们的经验，200ms是上限，如果高于该上限，由于在生物样本中可检测的某些元素的位移，则基于双图像的图像处理的质量与基于明视场图像的图像处理的情况相比可能较低。我们的实验表明，在100ms或更低的间隔的情况下，根据本发明的图像处理的质量出乎意料地提高；该时间限制确保生物样本中的元素的位置保持基本相同。

因此，本发明涉及一种组合式显微镜，其包括相衬和(折衷的)明视场显微镜方案，两种照明以类似Y的方式合并，而到达样本并通过显微镜的光路部分相同，物镜相同，即，在明视场情况下也包括相位环。因此，“明视场”图像不是该术语的经典意义上的明视场图像，而是已经证明非常适合于给定应用的“折衷”图像。本发明不需要机械步骤来在两种测量类型之间切换；因为本发明不同于现有技术的切换解决方案。

以图1所示的方式，提供公共的照明光轴31的光学元件30优选地是棱镜，但是当然也可以应用半透明反射镜或具有类似功能的不同光学元件。

两种照明优选地发射相同颜色的光，其中应用了被调谐到该颜色的相衬物镜35。由照明发射的光的颜色优选地是绿色，并且由一个或多个绿色LED13、23实现。这具有的优点是，商业上可获得的相衬物镜35通常也被优化用于/调谐到绿光(即，可见光谱的中间)。

相衬照明单元20优选地还能够发射可以应用于收集更多信息以用于基于神经网络的图像处理的另外颜色的光。该另外的颜色优选地是蓝色，由一个或多个蓝色LED 23实现；即使相衬物镜35对于绿光是最佳的，具有较短波长的蓝光也可用于产生具有更好横向分辨率的图像。

所记录的图像优选地是灰度图像，即，仅由给定像素记录强度值，而与照明的颜色无关。

明视场照明单元10优选地包括光源12、聚光透镜15和设置在它们之间并被调节成明视场照明的光阑14。相衬照明单元20优选地也包括光源22、聚光透镜25和布置在它们之间的环形光阑24。

以图1所示的方式，聚光透镜或聚光透镜系统32被布置在适于提供公共的照明光轴31的光学元件30和样本保持器33之间，在相衬物镜35和图像记录器50之间布置有成像透镜39或成像透镜系统，其功能是将图像大小调整到给定芯片的大小，例如当更换照相机时。相衬物镜35优选地是正相衬物镜，但是负相衬物镜当然也可以用于本发明的目的。

应用上述系统实现的新颖测量技术方案的最重要的特征如下：组合式明视场和相衬显微技术提供了给定视场的两个图像，即附加信息，其在基于神经网络的图像处理系统中产生更准确的结果。可以应用这两个图像以利用多种不同技术(例如，通过应用几种不同颜色的照明，或者通过组合/统一由不同技术记录的两个图像)生成所谓的“合成图像”，所生成的合成图像包含相位和强度信息。这两种类型的信息可以例如被记录在RGB图像中，该RGB图像包含每像素3×1字节的数据，使得强度值(明视场图像)被分配给RGB颜色中的一种，而相位信息(相衬图像)被分配给另一种颜色。分配可以利用任何合适的数学运算来执行；作为例子，相位值甚至可以与给定颜色的强度成反比。因此，可以向用户提供作为该技术的特征的表达性视觉体验。根据本发明，该合成图像(包含额外信息)也可以馈送到图像处理设备的输入端；在本申请的上下文中，两个分离的图像和从其生成的合成图像被认为是等同的和可互换的。

图2示出了一系列图像对，每对图像是从相同样本拍摄的，并且由明视场图像100和相衬图像101组成。测量类型之间的切换可以应用手动或自动(软件)控制来执行，通过简单地一个接一个地打开和关闭照明，并且在两种情况下拍摄图像(以任何顺序，尽管拍摄图像的顺序可以在所有测量中固定)。由此对于两个图像可以确保样本中元素的相同布置。

在相同视场中拍摄的不同类型的两个图像对于评估是特别有利的，因为与仅拍摄明视场或相衬图像的情况相比，它们包含附加信息。这已经通过训练神经网络结构和评估结果得到证明。在该测试期间，以三种不同的方式训练具有两个图像输入的神经网络：具有两个明视场图像、两个相衬图像，并且还具有一个明视场和一个相衬图像。在后一种情况下，训练更快，具有更好的最终结果(识别率更高，错误率更低)。在两种情况下，神经网络的结构是相同的，即网络和样本的数量是相同的。这已经证明了本发明的基本思想的适用性和有利性质。

优选地，拍摄相同视场的图像之间经过的时间不超过200ms，更优选地不超过100ms。这意味着对于该技术而言，在两种照明类型之间的快速切换是必要的，因为在拍摄图像之间的间隔(时间段)期间视场中没有(相关的)变化是非常重要的。尽可能快是重要的，因为例如尿液沉淀物的一些组分可以自己移动，尤其是细菌(其尺寸也小)，但是Trichomonas和其它组分也可能能够移位。

图3示出了与尿液分析相关联的尿液样本的示例性图像100。图4示出了图像100的标记部分的放大版本。在图4中，示出了要分类的多个元素116的视觉表示，即各种颗粒和图像元素的视觉表示。

根据本发明，图像100中所示的元素意味着可以被识别和分类的任何对象的视觉外观。下面描述用于尿液分析的本发明的优选实施例，即用于处理尿液样本的数字图像。在尿液样本的照片中，例如，可以对以下对象或元素进行分类：

-细菌(BAC)；

-鳞状上皮细胞(EPI)；

-非鳞状上皮细胞(NEC)；

-红细胞(RBC)；

-白细胞(WBC)，

-背景(BKNDD)，和

-颗粒的边缘。

当然，除了上述项之外，可以在尿液样本的照片中发现待分类的其他元素和对象。包括背景，通常总共可以设置10到30个元素类别。

基于以上描述，如果通常表示数字照片的最大表面的背景(即其他元素不出现的区域)在分析中被表征为单独的分类图像元素，则是特别有益的。因此，以这种方式，通过根据本发明的综合分析，背景可以比已知解决方案更有效地与要分类的其他元素分离。

在图5所示的明视场图像100和相衬图像101中，要分类的元素携带各种视觉信息。基于在图像100、101中可检测的视觉信息，生成与特定的预定元素类别相关联的概率图111_1-n。图像100、101也可以被单独地输入；在这种情况下，所需输入的数量对应于两个图像中的像素的组合数量。如果图像100、101作为组合的合成图像输入，则所需输入的数量可以等于包含在单个图像中的像素的数量。每个概率图111示出给定类别的元素的存在概率分布。

可以以与图像100、101相同的像素大小生成概率图111_1-n，但是概率图111_1-n优选地更小。在优选实施例中，应用1280×960分辨率的图像100、101(或合成图像)以及相应的160×120分辨率的概率图111_1-n。为了生成概率图111_1-n，优选地应用神经网络。神经网络的教导可以以任何合适的方式进行，例如根据文献WO2013/104938的公开内容。为了生成概率图111_1-n，可选地，不仅图像100、101(或合成图像)，而且另外，使用通过各种函数从图像生成的一个或多个变换图像，或者不同分辨率的图像100、101的一个或多个变体。

根据本发明，生成概率图111_1-n的模块被称为识别模块(RM)，该识别模块包括接收图像100、101(或合成图像)的像素的输入，以及提供概率图111_1-n的概率值的输出。

作为下一步骤，针对每个类别检查在图像100、101中是否存在推测存在的元素。如图6所示，优选地对每个概率图111执行对推测存在的元素的检查。在检查期间，查找高于预定阈值水平的概率值的连续组112，然后基于组112的大小和/或组112中的概率值的幅度来确定组112是否对应于推测存在的元素。

在确定推测存在的元素之后，确定检查区域113，其优选地位于与推测存在的元素相对应的组112的中心。检查区域113优选地由概率图111中的5×5个概率值组成；如图所示，在每个组112的中心或重心，确定一个检查区域113。

根据本发明，关于每个检查区域113，关于与它们相关联的元素的存在，考虑至少一个另外的概率图111以用于做出决定，优选地，其概率值在与上述检查区域113相同定位的检查区域113中。以图7所示的方式，优选地，在做出决定时涉及在所有111_1-n概率图中相同定位的检查区域113_1-n。在这些检查区域113_1-n中，在所描述的优选实施例中，存在5×5概率值114，其表示在给定区域中元素落入不同类别的存在概率，其被投影到0到100的值范围。

对检查区域113_1-n的分析是利用根据本发明的称为决策模块(DM)的设备来实现的，该决策模块优选地包括神经网络，该神经网络具有分配给检查区113_1-n中的像素(即概率值114)的输入。决策模块的输出优选地为相关检查区域提供每个类别的元素的相关概率。

通过对检查区域113_1-n的联合分析，可以以更高的可靠性执行对象识别和分类。这是因为，以此方式，还可以考虑相互排除的类别的概率值，并且可以在采取正确决策时使用图像100、101中的连续信息片段。

在图7所示的特别优选的实施例中，不仅在决策模块的分析中使用检查区域113_1-n的概率值114，而且还考虑与元素相关联的统计数据115。数据可以是文献WO2013/104937中公开的类型的统计数据115。

图8示出了根据本发明的图像处理设备的示意图。该图像处理设备适于对身体生物样本的图像100、101中的元素进行自动分类，并且包括：

-根据本发明的显微镜系统，其中，所述生物样本的图像100、101是明视场图像100和相衬图像101，或者是从利用所述显微镜系统拍摄的明视场图像和相衬图像对生成的合成图像，

-识别模块RM，用于基于图像100、101(或合成图像)中出现的视觉信息为每个类别生成相应的概率图111_1-n，概率图111示出给定类别的元素116的存在概率分布，

-分支模块BM，其适于基于对所述概率图111_1-n的组合处理来选择所谓的决策分支中的一个决策分支，其中，一个决策模块DM与所述决策分支中的每一个决策分支相关联，并且其中，每个决策模块DM包括利用所述给定决策分支的模式特性训练的神经网络，

-调用模块CM，用于定位图像100、101中(或合成图像中)的推测存在元素，并调用关于每个推测存在元素116的决策过程，以及

-用于每个分支的决策模块DM，其适于执行所述决策过程的所述给定分支，并且适于基于对所述概率图111_1-n的分析来提供关于所述类别的元素116的存在的信息，所述决策模块DM适于在检查所述元素116的存在时考虑与所述元素116的所述类别相关联的所述概率图111之外的至少一个另外的概率图111。

优选地，各个调用模块CM与每个决策分支相关联，每个调用模块适于调用位于相同决策分支上的决策模块DM，但是也可以设想一种替代的解决方案，其中分支模块BM的输出连接到应用于多于一个的决策模块DM的公共调用模块CM的选择器输入。

概率图111_1-n的组合处理可以包括例如生成概率图111_1-n的和或平均值、确定其局部峰值、或者评估局部峰值的幅度。

因此，根据本发明的思想，在识别模块RM之后包括决策点，从该决策点开始处理可以在多个方向上继续，或者可替换地，可以基于图像识别结果来做出“标志”类型，即一比特是/否的判定。基于任何合适的条件，通过概率图111_1-n的进一步组合处理来选择适当的决策分支；技术人员可以考虑特定于给定样本或应用的考虑因素或实验性地设计这种组合的处理过程。根据图像识别结果，将评估过程路由到不同方向可以呈现用于评估的开发的高潜力。例如，各种颗粒(元素116)是否必须相对于清楚、均匀的背景(并且基于神经网络的决策模块DM可以利用具有均匀背景的样本训练)或相对于充满细菌、粘液、结晶碎片或其他项的背景而识别是有相当大的差异的。鳞状上皮细胞的大小通常为10μm至100-150μm，细胞的内部结构高度类似于密集充满细菌的背景。因此，现有技术的图像处理方法给出相对大量的错误识别的鳞状上皮细胞。然而，如果在图像识别水平上可以将具有清晰背景的图像与具有充满细菌的背景的图像区分开，则可以应用分支模块BM来引导对相应分支的图像处理，在相同或更好的图像识别质量下，错误识别的鳞状上皮细胞的数量可以减少50-60％。可以利用各种训练图像样本来训练多于一个的决策模块DM，作为示例，这些训练图像样本的背景不同。由于其它原因，例如如果检测到具有特征颗粒含量的特征谱的样本等，也可以应用分支。

如果识别算法可以针对一些特殊情况单独准备，并且不需要利用被全局训练以识别所有所需元素的模块来处理所有情况，则可以预期更好的最终结果。然而，这需要更多的训练。因此，重要的是，在评估过程的第一、一般阶段之后包括决策点，在该点也可以做出单独的标志类型的决策，并且还可以从为各种典型情况设计的备选路径中选择要应用于即将到来的评估阶段的路径。对于每条路径，存在相应的决策模块DM，并且甚至不同的单独的最终决策模块FDM(见下文)也可以被分配给每个决策分支。最终的决策模块FDM也可以是用于所有决策模块DM的共用模块(如果是有利的)，对该特征没有限制。当然，必须用给定分支的训练和测试样本特征来训练对应于不同决策分支的决策模块DM。

标志类型决策的示例是对于给定图像是否可以自动获得可靠的结果，或者建议测量后的操作者核查(“核查标志”)。还可以对其它类型的标志(例如，如果在图像中存在伪像、气泡等)做出决策。标志可以由软件作为警告或错误消息显示给用户，但是可替换地，取决于信息的类型，它们可以被记录在日志文件中(不进行用户显示)。

识别模块RM优选地还包括神经网络，该神经网络包括用于接收图像100、101(或合成图像)的像素的输入，以及用于输出概率图111_1-n的概率值114的输出，该概率图111_1-n与图像100、101相比是较低分辨率的。

提供了调用模块CM，其关于每个推测存在元素116，调用用于在概率图111中定位到与其相关联的推测存在元素116的检查区域113的决策模块DM，并且决策模块DM适于考虑至少一个另外的概率图111的相同定位的检查区域113。

决策模块DM优选地包括神经网络，该神经网络具有接收根据调用呈现在检查区域113_1-n中的概率值114的输入，以及提供根据调用在检查区域113_1-n中落入每个类别中的元素116的存在概率的输出。

各个最终决策模块FDM与每个决策模块DM相连，最终决策模块优选地适于接受仅在阈值概率之上存在的元素116，优选地，针对每个类别单独地确定该阈值概率。

因此，图像100和101(或合成图像)或其一个或多个变换变体或其一个或多个不同分辨率版本被馈送到识别模块RM中。识别模块RM生成概率图111_1-n，基于该概率图识别推测存在元素并且为其分配检查区域113发生在每个类别中，即，针对每个概率图111。根据本发明的设备的调用模块CM将决策模块DM调用到每个概率图111中的每个引脚点。决策模块DM的输入由分配给该引脚点的概率图111_1-n中的检查区域113_1-n给出。为了确定与给定检查区域113相关联的元素的存在，决策模块DM还考虑其它检查区域113中的概率值，并且在此基础上，它提供关于与每个类别相关联的元素的存在的信息。

决策模块DM的神经网络优选地产生落入每个类别的元素的存在概率。基于这些概率，最终决策可以由进一步的最终决策模块FDM做出。

最终决策模块FDM优选地以检查元素的存在概率的方式起作用，并且仅接受在预定阈值概率之上存在的元素。在我们的实验期间已经证明，为每个类别单独地定义该阈值概率是可取的，因为图像100、101中要分类和识别的元素通常具有不同的概率值。

由最终决策模块FDM引入的似然性检查的本质是，尽管命中的数量随着阈值概率值的增加而减少，但是丢失的命中的数量也沿着不同的曲线单调地减少。对于每个类别，在这种情况下，对于每个颗粒类型，设置这样的阈值是可取的，其中错误率足够低，而正确识别率足够高。在能够以高可靠性识别的颗粒的情况下，并且在避免发生错误识别是重要的情况下，值得设置高阈值。

此外，可取的是，不仅为每个类别，而且为每个应用或在应用内分别为每个样本确定最终决策模块FDM的阈值概率。这是因为可能发生一个样本，即由图像100、101组成的图像系列具有相似的视觉特性，因此识别和分类的概率显示相似的趋势。

图像处理的第一步-和需要最多计算的步骤-运行识别模块RM。这之后运行决策模块，并且最后是最终决策模块FDM决定标签是否被应用于图像的已经识别的位置中的。因此，根据本发明，识别模块RM和判定模块DM优选地被实现为神经网络。根据本发明，设备的每个模块可以优选地以计算机程序模块的形式实现，但是这些模块的部分或全部甚至可以以硬件形式实现。

在以上描述中，出于尿液分析的目的，针对为尿液样本准备的图像100、101(合成图像)呈现了本发明，但是当然这并不将本发明的适用性限制于该技术领域。根据本发明的元素识别和分类也可以有利地应用于背景技术中提到的需要图像识别和分类的其他应用中。

本发明并不限于上面详细描述的优选实施例，而是在权利要求限定的保护范围内可以有进一步的变化和修改。例如，本发明不仅适用于处理二维图像，而且它也可以用于分析由三维成像过程产生的图像。在这种情况下，概率图优选地也是三维图，并且检查区域是这些图的三维空间部分。

Claims (20)

1.一种组合式明视场和相衬显微镜系统，包括：

-明视场照明单元(10)，以及

-相衬照明单元(20)，

其中，所述明视场照明单元(10)和所述相衬照明单元(20)具有彼此不同的光轴(11，21)，以及

-光学元件(30)，为棱镜或半透明反射镜，所述光学元件为来自所述明视场照明单元(10)的照明和来自所述相衬照明单元(20)的照明提供公共的照明光轴(31)，

其特征在于，包括：

-控制单元(40)，其适于通过一个接一个地打开和关闭所述照明来控制所述明视场照明单元(10)的切换和所述相衬照明单元(20)的切换，

以及所述显微镜系统进一步包括沿着所述公共的照明光轴(31)一个接一个地布置有：

-样本保持器(33)，

-相衬物镜(35)，以及

-图像记录器(50)，其适于在所述明视场照明和所述相衬照明之间的每次相应切换之前和之后拍摄图像。

2.根据权利要求1所述的系统，其特征在于，包括图像记录器(50)，所述图像记录器被控制为在每次切换时以最大200 ms的间隔拍摄图像。

3.根据权利要求2所述的系统，其特征在于，所述图像记录器被控制为在每次切换时以最大100 ms的间隔拍摄图像。

4.根据权利要求1至3中任一项所述的系统，其特征在于，所述控制单元（40）适于通过自动软件控制来执行切换。

5.根据权利要求1至3中任一项所述的系统，其特征在于，所述照明具有相同颜色的光，并且所述系统包括被调谐到所述颜色的相衬物镜(35)。

6.根据权利要求5所述的系统，其特征在于，由所述照明发射的光的颜色是绿色，由一个或多个绿色LED (13，23)实现。

7.根据权利要求5所述的系统，其特征在于，所述相衬照明单元(20)还适于发射附加颜色的光。

8.根据权利要求7所述的系统，其特征在于，发射的光的所述附加颜色是蓝色，由一个或多个蓝色LED (23)实现。

9.根据权利要求1至3中任一项所述的系统，其特征在于，

-所述明视场照明单元(10)包括光源(12)、聚光透镜(15)和布置在它们之间的明视场调节光阑(14)，

-所述相衬照明单元(20)包括光源(22)、聚光透镜(25)和布置在它们之间的环形光阑(24)。

10.根据权利要求1至3中任一项所述的系统，其特征在于，聚光透镜或聚光透镜系统(32)被布置在适于提供所述公共的照明光轴(31)的所述光学元件(30)与所述样本保持器(33)之间。

11.根据权利要求1至3中任一项所述的系统，其特征在于，在所述相衬物镜(35)与所述图像记录器(50)之间布置成像透镜(39)或成像透镜系统。

12.一种用于对生物样本的图像(100，101)中的元素进行自动分类的图像处理设备，所述设备包括：

-识别模块(RM)，用于基于在所述图像(100、101)中出现的视觉信息来生成针对每个类别的相应概率图(111_1-n)，每个概率图(111)示出所述给定类别的所述元素(116)的存在概率分布，以及

-调用模块(CM)，用于定位所述图像(100、101)中的推测存在元素(116)并且调用关于每个推测存在元素(116)的决策过程，

特征在于，进一步包括：

-决策模块(DM)，其适于执行所述决策过程并且适于基于对所述概率图(111_1-n)的分析来提供关于所述类别的元素(116)的存在的信息，每个决策模块(DM)适于在检查所述元素(116)的所述存在时考虑除了与所述元素(116)的所述类别相关联的所述概率图(111)之外的至少一个另外的概率图(111)，

-根据权利要求1至10中任一项所述的显微镜系统，其中，所述生物样本的所述图像(100、101)是借助于所述显微镜系统拍摄的明视场和相衬图像(100、101)，或者是根据这些图像(100、101)的对生成的合成图像，以及

-分支模块(BM)，适于基于所述概率图(111_1-n)的组合处理来选择决策分支中的一个决策分支，其中，相应的决策模块(DM)与所述决策分支中的每个决策分支相关联，并且其中，每个决策模块(DM)包括利用所述给定决策分支的模式特性来训练的神经网络。

13.根据权利要求12所述的设备，其特征在于，对所述概率图(111_1-n)的所述组合处理包括：

-生成所述概率图(111_1-n)的和，

-生成所述概率图(111_1-n)的平均值，

-确定所述概率图(111_1-n)中的局部峰值的数量，或者

-评估所述概率图(111_1-n)中的局部峰值的幅度。

14.根据权利要求12或13所述的设备，其特征在于，相应的调用模块(CM)与所述决策分支的每个决策分支相关联，每个调用模块(CM)适于调用位于相同决策分支上的所述决策模块(DM)。

15.根据权利要求12或13所述的设备，其特征在于，所述分支模块(BM)的输出构成与多个决策模块(DM)相关联的公共调用模块(CM)的输入。

16.根据权利要求12所述的设备，其特征在于，所述识别模块(RM)包括神经网络，所述神经网络具有：

-输入，用于接收所述图像(100，101)的像素或由其生成的所述合成图像的像素，以及

-输出，提供所述概率图(111_1-n)的概率值(114)，所述概率图(111_1-n)具有比所述图像(100、101)或所述合成图像低的分辨率。

17.根据权利要求12所述的设备，其特征在于，

包括调用模块(CM)，其关于每个推测存在元素(116)调用用于检查区域(113)的决策模块(DM)，所述检查区域被定位到与其相关联的概率图(111)中的所述推测存在元素(116)，以及

所述决策模块(DM)适于考虑至少一个另外的概率图(111)的相同定位的检查区域(113)。

18.根据权利要求17所述的设备，其特征在于，所述决策模块(DM)包括神经网络，所述神经网络具有：

-输入，根据所述调用接收呈现在检查区域(113_1-n)中的概率值(114)，以及

-输出，根据所述调用提供在所述检查区域(113_1-n)中的落入每个类别中的所述元素(116)的存在概率。

19.根据权利要求18所述的设备，其特征在于，包括最终决策模块(FDM)，每一个所述最终决策模块与每一个相应的决策模块相关联，并且所述最终决策模块适于接受仅在阈值概率以上存在的元素(116)。

20.根据权利要求19所述的设备，其特征在于，所述阈值概率针对每个类别单独地确定。

Images